DH{}DataHunter

Набор данных из Hugging Face · Salesforce

WikiText

Открыть на Hugging Face
Лицензия
CC BY-SA 3.0, gfdlможно в коммерции
Лицензия разрешает коммерческое использование. Обычно нужно указать автора — точные условия в тексте лицензии.
Форматы
parquet, PARQUET
Размер
614 МБ
Обновлён
4 янв. 2024 г.

Описание

Dataset Card for "wikitext" Dataset Summary The WikiText language modeling dataset is a collection of over 100 million tokens extracted from the set of verified Good and Featured articles on Wikipedia. The dataset is available under the Creative Commons Attribution-ShareAlike License. Compared to the preprocessed version of Penn Treebank (PTB), WikiText-2 is over 2 times larger and WikiText-103 is over 110 times larger. The WikiText dataset also features a far…

Описание из Hugging Face, сокращённое.

Файлы (14)

  • PARQUETwikitext-103-raw-v1/test-00000-of-00001.parquet715 кБ
  • PARQUETwikitext-103-raw-v1/train-00000-of-00002.parquet150 МБ
  • PARQUETwikitext-103-raw-v1/train-00001-of-00002.parquet150 МБ
  • PARQUETwikitext-103-raw-v1/validation-00000-of-00001.parquet642 кБ
  • PARQUETwikitext-103-v1/test-00000-of-00001.parquet705 кБ
  • PARQUETwikitext-103-v1/train-00000-of-00002.parquet149 МБ
  • PARQUETwikitext-103-v1/train-00001-of-00002.parquet149 МБ
  • PARQUETwikitext-103-v1/validation-00000-of-00001.parquet640 кБ
  • PARQUETwikitext-2-raw-v1/test-00000-of-00001.parquet715 кБ
  • PARQUETwikitext-2-raw-v1/train-00000-of-00001.parquet6,1 МБ
  • PARQUETwikitext-2-raw-v1/validation-00000-of-00001.parquet642 кБ
  • PARQUETwikitext-2-v1/test-00000-of-00001.parquet669 кБ
  • PARQUETwikitext-2-v1/train-00000-of-00001.parquet5,8 МБ
  • PARQUETwikitext-2-v1/validation-00000-of-00001.parquet603 кБ

DataHunter не хранит и не раздаёт эти файлы: каждая ссылка ведёт к первоисточнику. Перед использованием проверьте там лицензию.

Найти другие наборы