Да пошла эта "ZeroSearch" - Имитация поиска без поиска?!

Окей, народ, пристегните ремни, сейчас разберемся с этой "революцией" от Alibaba – ZeroSearch. Я, конечно, не против инноваций, но когда мне говорят про "революцию" в AI, хочется убедиться, что там действительно что-то новое, а не просто красивая обертка для старых идей. И тут, чёрт возьми, что-то не очень вяжется.

Что за ZeroSearch, блин?!

Суть в том, что Alibaba придумали способ научить языковую модель искать информацию, не подключаясь к настоящим поисковикам, типа Google или Bing. Как?! Они создали свой собственный "виртуальный поисковик" – симуляцию, где модель сначала "размышляет" (теги <think>), потом генерирует запросы (<search>), а потом получает "смоделированные" документы, на основе которых формирует ответ (<answer>).

В начале, чтобы модель не словила кривой старт, ей скармливают в основном полезные документы (90% чистой информации), постепенно увеличивая долю "мусора" по какой-то сложной формуле. Это, конечно, звучит логично – типа, закаливание, знаете ли. Но если я честно, это как учить ребёнка плавать, бросая его в бассейн с мутной водой и постепенно добавляя туда грязные тряпки.

Они еще придумали маскировку градиентов, чтобы модель не подстраивалась под этот искусственный "шум". Это, ясное дело, должно быть хитроумно, но выглядит как попытка спрятать не самую крутую технологию за сложными терминами.

Похвально, но...

В теории, конечно, звучит неплохо – автономный агент, который сам решает, когда искать, как формулировать запросы и что игнорировать. Но на практике... Как бы она себя поведет в реальном мире, где информация не структурирована, а "мусор" не просто рандомные факты, а преднамеренная дезинформация, манипуляции и просто откровенная ложь? Это, я понимаю, серьезный вызов.

И не надо мне тут рассказывать про "экспериментальные тесты". Показатели 43.24% точности на датасете NQ или 29.21% на HotpotQA – это, конечно, неплохо, но это не значит, что модель готова заменить настоящего Google. В реальности, если бы я доверил этой модели важную задачу, я бы очень нервничал.

А вот то, что 14B-версия модели превосходит Google на 33.97% против 32.47% у Google... Ну это уже, я думаю, можно приписать хорошей настройке и подгонке под конкретный датасет. Это не значит, что модель умнее Google. Это значит, что она лучше обучена решать задачу на этом конкретном датасете.

Simulation модели - Зачем они нужны?

Окей, они выпустили Simulation модели на Huggingface для имитации работы поисковых систем. И тут я вижу, как это может быть полезно. Для отладки, для исследования, для обучения других моделей. Но говорить, что это замена настоящим поисковикам – это, я думаю, перебор.

И нужно не забывать про то, что для работы с этими моделями нужно добавлять метки [useful] или [noisy] в промпт. Это, я думаю, должно было быть ясно сразу – без этих меток модель просто выдаст случайный набор слов.

Итог?

ZeroSearch – это интересная попытка создать автономного агента, который может искать информацию. Но на текущем этапе это скорее лабораторная разработка, чем готовое решение для реального мира. Пока что это просто красивая демонстрация того, как можно обучить модель генерировать документы, похожие на результаты поиска. И, честно говоря, я не уверен, что это стоит той шумихи, которая вокруг этого создана.

Ссылки для ознакомления (если вас это вообще интересно):

• [Arxiv](ссылка на arxiv)
• [Датасет](ссылка на датасет)
• [Набор Simulation моделей](ссылка на модели)
• [Коллекция обученных моделей](ссылка на коллекцию)
• [GitHub](ссылка на GitHub)

#AI #ML #LLM #ZeroSearch #Alibaba

🤯 ZeroSearch: LLM учится искать, даже без Google! 🤯 ZeroSearch – это дикий прорыв! Alibaba научил... ver 0
Ширина: 1280 px
Высота: 640 px
Соотношение сторон.: 2:1

Скачать

🤯 ZeroSearch: LLM учится искать, даже без Google! 🤯 ZeroSearch – это дикий прорыв! Alibaba научил... ver 1
Ширина: 1069 px
Высота: 506 px
Соотношение сторон.: 1069:506

Скачать

🤯 ZeroSearch: LLM учится искать, даже без Google! 🤯 ZeroSearch – это дикий прорыв! Alibaba научил... ver 2
Ширина: 1065 px
Высота: 1074 px
Соотношение сторон.: 355:358

Скачать