KBLaM: Новация от Microsoft Research, которая взорвет мир языковых моделей

Microsoft Research выпустила нечто действительно уникальное – архитектуру под названием KBLaM, которая решает одну из самых насущных проблем языковых моделей: как интегрировать новые внешние знания без потери производительности. Забудьте о старых методах, таких как файнтюнинг или RAG. KBLaM совершенно иначе подходит к вопросу, кодируя структурированные данные в виде векторных пар "ключ-значение" и встраивая их непосредственно в механизмы внимания модели. И, о чудо, это позволяет обойтись без дорогостоящего повторного обучения и дополнительных модулей. Всё это сохраняет отличную масштабируемость даже для баз знаний в целых 10 000 триплетов.

Что же такое триплет в контексте KBLaM? Это структурированный элемент знания, который состоит из трех компонентов: сущности, свойства и значения. Возьмем, к примеру, фразу "Москва — столица России". Здесь "Москва" – это сущность, "столица" – свойство, а "Россия" – значение. Проще не придумаешь, правда?

Но что делает KBLaM действительно впечатляющим, так это его "прямоугольный механизм внимания". Он организован так, что языковые токены взаимодействуют с токенами знаний, но не наоборот. Этот потрясающий подход значительно снижает вычислительные затраты и позволяет обрабатывать поразительное количество информации, эквивалентное 200 тысячам токенов на одном GPU. И как бонус — знания могут обновляться динамически. Если тебе нужно изменить один триплет, не нужно пересчитывать всю базу. Это настоящая находка для разработчиков!

А самое главное – положительные результаты тестирования! KBLaM не только эффективен, но и прозрачен. Веса внимания модели визуализируются так, что можно видеть, какие факты она использует. Когда мы запрашиваем медицинский диагноз, более высокие оценки внимания к соответствующим триплетам снижают вероятность «галлюцинаций». Если же ответ отсутствует в базе знаний, модель просто отказывается отвечать. Это как если бы у тебя был честный и соратник, который не будет врать.

По словам авторов, KBLaM является не просто шагом к более умным языковым моделям, но настоящим мостом между обученными на базовых знаниях моделями и реальным миром, где информация постоянно обновляется. Надо отдать должное команде Microsoft Research – они действительно идут в ногу со временем!

На GitHub уже доступен код, поддерживающий модели с Hugging Face:

• 🟢Llama-3-8B-Instruct
• 🟢Llama-3.2-1B-Instruct
• 🟢Phi-3-mini-4k-instruct

Также доступны эмбеддинги для генерации базы знаний:

• 🟠text-embedding-ada-002
• 🟠all-MiniLM-L6-v2

⚠️ Если вы хотите добавить поддержку других моделей, вам нужно будет отредактировать скрипты обработки и интегрировать адаптер, похожий на llama_model.py, который находится в src/kblam/models. Не так уж и сложно, правда?

📌 Среди прочего, KBLaM лицензируется под MIT License.

Так что, если вы хотите быть в авангарде технологий AI, обратите внимание на этот прорыв, и не забудьте заценить ссылочки: 🟡Статья
🟡Arxiv
🖥GitHub

Сейчас словно живем в сказке, где технологии AI становятся умнее с каждым днем, и KBLaM – это лишь один из ярких примеров! Не упустите возможность засветиться на волне этой революции!

@ai_machinelearning_big_data

#AI #ML #LLM #MicrosoftResearch #KBLaM

KBLaM: Новая Архитектура Интеграции Знаний от Microsoft ver 0
Ширина: 547 px
Высота: 236 px
Соотношение сторон.: 547:236

Скачать

KBLaM: Новая Архитектура Интеграции Знаний от Microsoft ver 1
Ширина: 1280 px
Высота: 640 px
Соотношение сторон.: 2:1

Скачать

KBLaM: Новая Архитектура Интеграции Знаний от Microsoft ver 2
Ширина: 1280 px
Высота: 720 px
Соотношение сторон.: 16:9

Скачать

KBLaM: Новая Архитектура Интеграции Знаний от Microsoft ver 3
Ширина: 628 px
Высота: 209 px
Соотношение сторон.: 628:209

Скачать

KBLaM: Новая Архитектура Интеграции Знаний от Microsoft ver 4
Ширина: 1531 px
Высота: 832 px
Соотношение сторон.: 1531:832

Скачать