DH{}DataHunter

Dataset de Hugging Face · lightonai

lightonai/trec-covid-decontaminated

Abrir en Hugging Face
Licencia
MITuso comercial permitidoTexto de la licencia
Esta licencia permite el uso comercial. Normalmente hay que citar al autor; consulta la licencia para ver las condiciones exactas.
Formatos
parquet, PARQUET
Tamaño
54 MB
Actualizado
25 mar 2026

Descripción

trec-covid (Decontaminated) A decontaminated version of the trec-covid dataset from the BEIR benchmark, with samples found in the mgte-en pre-training dataset removed. Decontamination methodology Contamination was detected using a two-pass approach against the full mgte-en dataset (484 GB, 1,235 parquet files): Pass 1: Exact hash matching All texts (queries and corpus documents) were normalized (lowercased, unicode NFKD, whitespace collapsed) and…

Descripción de Hugging Face, abreviada.

Archivos (3)

  • PARQUETcorpus.parquet54 MB
  • PARQUETqrels_test.parquet299 kB
  • PARQUETqueries.parquet5,1 kB

DataHunter no guarda ni aloja estos archivos: cada enlace lleva a la fuente original. Revisa allí la licencia antes de usar los datos.

Buscar otros datasets