Набор данных из Hugging Face · Salesforce
Salesforce/fineweb_deduplicated
- Лицензия
- ODC-Byможно в коммерцииТекст лицензии
- Лицензия разрешает коммерческое использование. Обычно нужно указать автора — точные условия в тексте лицензии.
- Форматы
- parquet, PARQUET, CSV
- Размер
- 21 ТБ
- Обновлён
- 3 февр. 2025 г.
Описание
TL;DR Fineweb is a popular and high quality open dataset. This dataset is a deduplicated version of Fineweb - removing rows with duplicate text, collecting counts. Motivation Fineweb is an open text dataset intended for training language models. It's one of the highest quality and most popular open datasets available. It has been produced by a reputable AI lab - HuggingFace and has been downloaded tens of thousands of times. Fineweb dataset is 93.4 TB and has…
Описание из Hugging Face, сокращённое.
Файлы (100)
- PARQUETdata/part-00000-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00001-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00002-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00003-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00004-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00005-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00006-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00007-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00008-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00009-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00010-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00011-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00012-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00013-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00014-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00015-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00016-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00017-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00018-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00019-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00020-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00021-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00022-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00023-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00024-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00025-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00026-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00027-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00028-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00029-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00030-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00031-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00032-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00033-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00034-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00035-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00036-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00037-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00038-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00039-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00040-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00041-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00042-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00043-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00044-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00045-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00046-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00047-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00048-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00049-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00050-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00051-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00052-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00053-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00054-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00055-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00056-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00057-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00058-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00059-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00060-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00061-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00062-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00063-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00064-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00065-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00066-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00067-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00068-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00069-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00070-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00071-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00072-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00073-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00074-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00075-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00076-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00077-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00078-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00079-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00080-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00081-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00082-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00083-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00084-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00085-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00086-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00087-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00088-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00089-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00090-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00091-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00092-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00093-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00094-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00095-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00096-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00097-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00098-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
- PARQUETdata/part-00099-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 ГБ
DataHunter не хранит и не раздаёт эти файлы: каждая ссылка ведёт к первоисточнику. Перед использованием проверьте там лицензию.