Периодическая таблица машинного обучения: революция в разработке алгоритмов

Когда речь заходит о машинном обучении, мы часто заходим в тупик, пытаясь смастерить идеальный алгоритм. Но вот исследователи из MIT, Microsoft и Google решили эту проблему! Они презентовали I-Con (Information Contrastive Learning), фреймворк, который, по их словам, может кардинальным образом изменить наш подход к разработке алгоритмов. Ну что ж, давайте разберемся, что же это за "периодическая таблица" и чем она так интересна.

Суть в том, что I-Con объединила более 20 классических методов машинного обучения, таких как кластеризация и контрастивное обучение, в единую систему, которая удивительно напоминает периодическую таблицу химических элементов. И это не случайность! Эта таблица не только аккуратно систематизирует известные методики, но и показывает, где находятся «белые пятна» — те области, которые еще предстоит исследовать и открыть новейшие алгоритмы.

Основой I-Con является эффективное уравнение, которое минимизирует расхождение Кульбака-Лейблера между двумя распределениями: тем, что возвышается как идеальное, – на основе данных, и тем раскладом, что используется для обучения модели. Это уравнение было найдено, можно сказать, случайно, и именно оно стало ключом к объединению столь разных направлений, как k-средних, SimCLR и PCA. Да, вы не ослышались, это реальная магия!

Для наглядности, давайте рассмотрим, как в I-Con трактуется алгоритм кластеризации — он представляется как способ «выравнивания» распределений сходства точек, в то время как контрастивное обучение становится своего рода мастерством работы с аугментациями изображений. Это дало возможность исследователям буквально «смешивать» методы и создавать что-то новенькое! Например, комбинация контрастивного обучения и спектральной кластеризации привела к новому алгоритму, который оказался на целых 8% точнее в предсказаниях классов изображений без меток. Это не просто круто — это впечатляет!

Но основная красота I-Con заключается в его предсказательной силе. Пускай в таблице и есть пустые клетки, эти ниши указывают на гипотетические алгоритмы, которые еще только предстоит разработать. Это, как если бы вы смотрели на карту с белыми пятнами — там всё еще можно открыть новые земли! Объединив подходы из парадигм supervised и unsupervised обучения, можно создать методы, способные решать задачи на основе частично размеченных данных. Здесь I-Con реально смог помочь избежать обретения «вечного» велосипеда. Вместо того, чтобы метаться от одного алгоритма к другому без мысли, исследователи могут целенаправленно комбинировать инструменты из таблицы, как бы создавая новый «инструментарий» для своих задач.

Пускай говорить о том, станет ли I-Con универсальным стандартом в машинном обучении, ещё очень рано, его потенциал дерзко виден невооруженным глазом. Как минимум, он предлагает совершенно новый взгляд на область — перестав воспринимать машинное обучение как набор случайных методик, а рассматривая его как организованную систему с глубокой структурой. Это не просто красиво, это умно, и, возможно, именно так нам нужен следующий шаг в развитии ML.

Но помимо всей этой теории, давайте перейдем к практике! Если вы хотите попробовать I-Con в действии, давайте разберемся, как это сделать.

Практическое применение I-Con

Вот тут уже без обиняков! Для начала, клонируйте репозиторий:

git clone https://github.com/ShadeAlsha/ICon.git cd ICon

Создайте виртуальную среду:

conda create -n ICon conda activate ICon

Теперь установите зависимости:

pip install -e . 

После этого можете переходить к оценке моделей:

cd ICon python evaluate.py

А затем оцененные результаты можно просмотреть в TensorBoard:

cd ../logs/evaluate tensorboard --logdir .

Если захотите обучить модель, не забудьте:

cd ICon python train.py

Пока мы ждем, когда исследователи откроют для нас следующие

Периодическая таблица машинного обучения: что нужно знать об I-Con ver 0
Ширина: 2560 px
Высота: 1135 px
Соотношение сторон.: 512:227

Скачать