Обновление Hugging Face 0.30.0: новые функции и возможности

Обновление Hugging Face: версия 0.30.0 - рвем старую модель!

🔥 Вы только посмотрите, что наделала компания Hugging Face! Они выпустили версию 0.30.0 своей библиотеки huggingface_hub, и это без всякого преувеличения — ЭКСПЛОЗИЯ! Это, кстати, самое крупное обновление за последние два года! И они, похоже, настроены по-крупному.

В этой версии мы увидим ТАНЦЫ С БУГРАМИ улучшений, которые особенным образом касаются хранения и обработки огромных моделей и дата-сетов. О да, именно это нам и нужно — в век больших данных и быстро растущих требований!

Что нового? Давайте копнем глубже:

Интеграция с Xet: В этом обновлении они внедрили поддержку Xet — протокол, который обещает вытеснить устаревший Git LFS из мироздания хранения крупных объектов в Git-репозиториях. Если вы когда-либо пробовали работать с LFS, то знаете, что его дедупликация на уровне файлов иногда заставляет вас рвать на себе волосы. Теперь с Xet дела обстоят иначе: эта новая система работает на уровне фрагментов данных, что просто ПРЕКРАСНО для тех, кто занимается массивными моделями и дата-сетами.
Для интеграции с Python теперь используется пакет xet-core, написанный на Rust. И, поверьте мне, это просто упростит жизнь тем, кто углубится в низкоуровневые детали!
Как же установить эту штуковину? Легко, как дважды два:
```
pip install -U huggingface_hub[hf_xet]
```
После этого вы сможете загружать файлы из репозиториев, поддерживающих Xet. Не отказывайте себе в этом удовольствии!
Расширение InferenceClient: Мы все знаем, как бывает сложно с инференсом, так вот тут вас порадует:
- Добавлена поддержка новых провайдеров для инференса, таких как Cerebras и Cohere.
- Асинхронные вызовы для таких задач, как text-to-video, что делает этот процесс не только более стабильным, но и серьезно удобным для использования.
Улучшения CLI:
- Команда huggingface-cli upload теперь поддерживает wildcards! (И это именно то, что нужно!). Теперь не надо изобретать велосипед, вы просто используете шаблоны прямо в пути к файлам. Например:
```
huggingface-cli upload my-model *.safetensors
```
- А вот и еще один приятный момент: команда huggingface-cli delete-cache теперь включает опцию --sort, что позволяет навести порядок в кэшированных репозиториях. Хочется сортировать по размеру? Пожалуйста! — --sort=size.

Полный список обновлений

Не забудьте ознакомиться с полным списком нововведений, блогом и документацией по Xet! Это действительно стоит вашего времени.

@ai_machinelearning_big_data

#huggingface #release #xet

В общем, друзья, это обновление — настоящая находка! Если вы не погрузились в мир Hugging Face, то я вам настоятельно рекомендую это сделать. Время не ждет, технологии развиваются — успевайте за ними!