Dataset de Hugging Face · Salesforce
Salesforce/fineweb_deduplicated
- Licencia
- ODC-Byuso comercial permitidoTexto de la licencia
- Esta licencia permite el uso comercial. Normalmente hay que citar al autor; consulta la licencia para ver las condiciones exactas.
- Formatos
- parquet, PARQUET, CSV
- Tamaño
- 21 TB
- Actualizado
- 3 feb 2025
Descripción
TL;DR Fineweb is a popular and high quality open dataset. This dataset is a deduplicated version of Fineweb - removing rows with duplicate text, collecting counts. Motivation Fineweb is an open text dataset intended for training language models. It's one of the highest quality and most popular open datasets available. It has been produced by a reputable AI lab - HuggingFace and has been downloaded tens of thousands of times. Fineweb dataset is 93.4 TB and has…
Descripción de Hugging Face, abreviada.
Archivos (100)
- PARQUETdata/part-00000-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00001-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00002-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00003-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00004-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00005-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00006-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00007-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00008-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00009-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00010-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00011-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00012-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00013-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00014-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00015-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00016-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00017-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00018-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00019-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00020-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00021-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00022-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00023-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00024-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00025-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00026-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00027-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00028-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00029-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00030-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00031-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00032-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00033-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00034-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00035-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00036-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00037-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00038-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00039-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00040-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00041-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00042-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00043-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00044-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00045-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00046-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00047-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00048-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00049-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00050-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00051-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00052-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00053-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00054-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00055-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00056-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00057-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00058-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00059-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00060-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00061-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00062-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00063-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00064-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00065-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00066-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00067-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00068-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00069-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00070-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00071-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00072-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00073-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00074-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00075-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00076-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00077-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00078-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00079-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00080-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00081-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00082-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00083-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00084-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00085-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00086-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00087-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00088-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00089-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00090-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00091-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00092-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00093-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00094-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00095-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00096-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00097-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00098-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
- PARQUETdata/part-00099-e9c46804-8d86-45cf-8ebc-4744ff73914d-c000.parquet2,5 GB
DataHunter no guarda ni aloja estos archivos: cada enlace lleva a la fuente original. Revisa allí la licencia antes de usar los datos.