Набор данных из Hugging Face · lightonai
lightonai/trec-covid-decontaminated
- Лицензия
- MITможно в коммерцииТекст лицензии
- Лицензия разрешает коммерческое использование. Обычно нужно указать автора — точные условия в тексте лицензии.
- Форматы
- parquet, PARQUET
- Размер
- 54 МБ
- Обновлён
- 25 мар. 2026 г.
Описание
trec-covid (Decontaminated) A decontaminated version of the trec-covid dataset from the BEIR benchmark, with samples found in the mgte-en pre-training dataset removed. Decontamination methodology Contamination was detected using a two-pass approach against the full mgte-en dataset (484 GB, 1,235 parquet files): Pass 1: Exact hash matching All texts (queries and corpus documents) were normalized (lowercased, unicode NFKD, whitespace collapsed) and…
Описание из Hugging Face, сокращённое.
Файлы (3)
DataHunter не хранит и не раздаёт эти файлы: каждая ссылка ведёт к первоисточнику. Перед использованием проверьте там лицензию.