Машины, они умнее шестилетки?

«Вообще говоря, машинное обучение — это наука об обучении машин действовать подобно людям, — сказал Мохаммад Ростами, руководитель исследований Института информационных наук Университета Южной Калифорнии (ISI) в Витерби.

Обучение машин обучению без какого-либо контроля со стороны человека является предметом его последней статьи «Преодоление изменения концепции в настройках с учетом предметной области с помощью консолидированных внутренних распределений», которую он представил на 37-й конференции AAAI по искусственному интеллекту, состоявшейся в Вашингтоне, округ Колумбия, 20 февраля. 7-14, 2023.

Ростами объяснил, как обычно осуществляется машинное обучение: «Мы собираем данные, аннотированные людьми, а затем учим машину, как действовать подобно людям, учитывая эти данные.

Проблема, с которой мы сталкиваемся, заключается в том, что знания, которые получает машина, ограничены набором данных, который использовался для обучения».

Кроме того, набор данных, используемый для обучения, часто недоступен после завершения процесса обучения.

В результате задача?

Если машина получает ввод, достаточно отличающийся от данных, на которых она обучалась, она запутается и не будет действовать как человек.

Бульдог или ши-тцу или что-то совсем другое?

Ростами привел пример: «Категорий собак много, разные породы собак визуально не очень похожи, а разнообразие значительное. Если вы обучаете машину классифицировать собак, ее знания ограничиваются образцами, которые вы использовали для обучения.

Если у вас есть новая категория собак, которой нет среди тренировочных образцов, машина не сможет узнать, что это новый тип собак».

Интересно, что люди в этом лучше, чем машины.

Когда людям дают что-то классифицировать, если им дают всего несколько образцов в новой категории (например, новую породу собак), они приспосабливаются и узнают, что это за новая категория.

Ростами сказал: «Шестилетний ребенок может выучить новую категорию, используя два, три или четыре образца, в отличие от большинства современных методов машинного обучения, которые требуют как минимум несколько сотен образцов для изучения этой новой категории».

Категоризация перед лицом смены концепции

Часто речь идет не об изучении совершенно новых категорий, а о возможности корректировки по мере изменения существующих категорий.

Если машина изучает категорию во время обучения, а затем с течением времени она претерпевает некоторые изменения (например, добавление новой подкатегории), Ростами надеется, что с помощью его исследования машина сможет изучить или расширить понятие о том, что это за категория. есть (т. е. включить новую подкатегорию).

Меняющийся характер категории — это то, что известно как «сдвиг концепции». Понятие о том, что такое категория, со временем меняется. Ростами привел еще один пример из реальной жизни: папку со спамом.

Он объяснил: «У вашей службы электронной почты есть модель, позволяющая классифицировать ваши входящие электронные письма на законные электронные письма и электронные письма со спамом.

Он обучен определять спам с помощью определенных функций. Например, если электронное письмо адресовано не вам лично, скорее всего, это спам».

К сожалению, спамеры знают об этих моделях и постоянно добавляют новые функции, чтобы обмануть модели, чтобы их электронные письма не классифицировались как спам.

Ростами продолжил: «Это означает, что определение спама со временем меняется. Это определение, зависящее от времени.

Концепция та же — у вас есть концепция «спама», — но со временем определение и детали концепции меняются. Это смена концепции».

Новый способ тренироваться

В своей статье Ростами разработал метод обучения модели машинного обучения, который решает эти проблемы.

Поскольку исходные обучающие данные не всегда доступны, метод Ростами не опирается на эти данные.

Соавтор и главный научный сотрудник ISI Арам Галстян объяснил, как: «Модель изучает распределение старых данных в скрытом пространстве, затем она может генерировать скрытое представление, почти как создание синтетического набора данных, изучая представление старых данных. ”

Из-за этого модель может сохранить то, что было изучено на начальном этапе обучения, что позволяет ей адаптироваться и изучать новые категории и подкатегории с течением времени.

Это также, что важно, означает, что он не забудет исходные обучающие данные или то, что он узнал из них.

Это основная проблема машинного обучения. Галстян объяснил: «Когда вы обучаете новую модель, она может забыть о некоторых паттернах, которые были полезны раньше. Это известно как катастрофическое забывание», — сказал Галстян.

С подходом, разработанным в этой статье, Галстян сказал, что «катастрофическое забывание неявно решается, потому что мы вводим соответствие между старым распределением данных и новым. Так что наша модель не забудет старую».

Что дальше?

Ростами и Галстян довольны результатами, тем более что не полагаются на наличие исходных данных. Галстян сказал: «Я был приятно удивлен, увидев, что модель выгодно отличается от большинства современных существующих базовых моделей».

Ростами и Галстян планируют продолжить работу над этой концепцией и применить предложенный метод к реальным задачам.

Но сначала Ростами представит исследования и выводы на предстоящей 37-й конференции AAAI по искусственному интеллекту.

Статья также опубликована на сервере препринтов arXiv.

Автор Джулия Коэн.