Обновление Hugging Face: версия 0.30.0 - рвем старую модель!

🔥 Вы только посмотрите, что наделала компания Hugging Face! Они выпустили версию 0.30.0 своей библиотеки huggingface_hub, и это без всякого преувеличения — ЭКСПЛОЗИЯ! Это, кстати, самое крупное обновление за последние два года! И они, похоже, настроены по-крупному.

В этой версии мы увидим ТАНЦЫ С БУГРАМИ улучшений, которые особенным образом касаются хранения и обработки огромных моделей и дата-сетов. О да, именно это нам и нужно — в век больших данных и быстро растущих требований!

Что нового? Давайте копнем глубже:

• Интеграция с Xet: В этом обновлении они внедрили поддержку Xet — протокол, который обещает вытеснить устаревший Git LFS из мироздания хранения крупных объектов в Git-репозиториях. Если вы когда-либо пробовали работать с LFS, то знаете, что его дедупликация на уровне файлов иногда заставляет вас рвать на себе волосы. Теперь с Xet дела обстоят иначе: эта новая система работает на уровне фрагментов данных, что просто ПРЕКРАСНО для тех, кто занимается массивными моделями и дата-сетами.

  Для интеграции с Python теперь используется пакет xet-core, написанный на Rust. И, поверьте мне, это просто упростит жизнь тем, кто углубится в низкоуровневые детали!

  Как же установить эту штуковину? Легко, как дважды два:

  pip install -U huggingface_hub[hf_xet]

  После этого вы сможете загружать файлы из репозиториев, поддерживающих Xet. Не отказывайте себе в этом удовольствии!

• Расширение InferenceClient: Мы все знаем, как бывает сложно с инференсом, так вот тут вас порадует:

  • Добавлена поддержка новых провайдеров для инференса, таких как Cerebras и Cohere.
  • Асинхронные вызовы для таких задач, как text-to-video, что делает этот процесс не только более стабильным, но и серьезно удобным для использования.

• Улучшения CLI:

  • Команда huggingface-cli upload теперь поддерживает wildcards! (И это именно то, что нужно!). Теперь не надо изобретать велосипед, вы просто используете шаблоны прямо в пути к файлам. Например:

    huggingface-cli upload my-model *.safetensors

  • А вот и еще один приятный момент: команда huggingface-cli delete-cache теперь включает опцию --sort, что позволяет навести порядок в кэшированных репозиториях. Хочется сортировать по размеру? Пожалуйста! — --sort=size.

Полный список обновлений

Не забудьте ознакомиться с полным списком нововведений, блогом и документацией по Xet! Это действительно стоит вашего времени.

@ai_machinelearning_big_data

#huggingface #release #xet

В общем, друзья, это обновление — настоящая находка! Если вы не погрузились в мир Hugging Face, то я вам настоятельно рекомендую это сделать. Время не ждет, технологии развиваются — успевайте за ними!

Hugging Face 0.30.0: Главное обновление за два года! ver 0
Ширина: 1280 px
Высота: 482 px
Соотношение сторон.: 640:241

Скачать