[ad_1]
Системы искусственного интеллекта могут выполнять задачи быстро, но это не значит, что они всегда делают это честно. Если наборы данных, используемые для обучения моделей машинного обучения, содержат предвзятые данные, вполне вероятно, что система может демонстрировать такую же предвзятость при принятии решений на практике.
Например, если набор данных содержит в основном изображения белых мужчин, то модель распознавания лиц, обученная на этих данных, может быть менее точной для женщин или людей с другим оттенком кожи.
Группа исследователей из Массачусетского технологического института в сотрудничестве с исследователями из Гарвардского университета и Fujitsu Ltd. стремилась понять, когда и как модель машинного обучения способна преодолеть такого рода предвзятость набора данных. Они использовали подход нейробиологии для изучения того, как обучающие данные влияют на то, сможет ли искусственная нейронная сеть научиться распознавать объекты, которых она раньше не видела. Нейронная сеть — это модель машинного обучения, которая имитирует человеческий мозг в том смысле, что он содержит слои взаимосвязанных узлов или «нейронов», которые обрабатывают данные.
Новые результаты показывают, что разнообразие обучающих данных оказывает большое влияние на способность нейронной сети преодолевать предвзятость, но в то же время разнообразие наборов данных может снизить производительность сети. Они также показывают, что способ обучения нейронной сети и конкретные типы нейронов, возникающие в процессе обучения, могут играть важную роль в том, сможет ли она преодолеть предвзятый набор данных.
«Нейронная сеть может преодолеть предвзятость набора данных, что обнадеживает. Но главный вывод здесь заключается в том, что нам необходимо учитывать разнообразие данных. Нам нужно перестать думать, что если вы просто соберете тонну необработанных данных, это вас куда-то приведет. Нам нужно быть очень осторожными в том, как мы проектируем наборы данных в первую очередь», — говорит Ксавье Бойкс, научный сотрудник Департамента мозга и когнитивных наук (BCS) и Центра мозга, разума и машин (CBMM). старший автор статьи.
Среди соавторов бывшие аспиранты Массачусетского технологического института Тимоти Генри, Джамелл Дозье, Хелен Хо, Нишчал Бхандари и Спандан Мадан, автор-корреспондент, который в настоящее время получает докторскую степень в Гарварде; Томотаке Сасаки, бывший приглашенный ученый, ныне старший научный сотрудник Fujitsu Research; Фредо Дюран, профессор электротехники и информатики Массачусетского технологического института и член Лаборатории компьютерных наук и искусственного интеллекта; и Ханспетер Пфистер, профессор информатики Гарвардской школы инженерии и прикладных наук Ан Ван. Исследование появилось сегодня в Природа Машинный интеллект.
Думать как нейробиолог
Бойкс и его коллеги подошли к проблеме предвзятости наборов данных, думая как нейробиологи. В нейробиологии, объясняет Бойкс, в экспериментах принято использовать контролируемые наборы данных, то есть набор данных, в котором исследователи знают как можно больше информации, которую он содержит.
Команда создала наборы данных, содержащие изображения разных объектов в разных позах, и тщательно контролировала комбинации, чтобы одни наборы данных были более разнообразными, чем другие. В этом случае набор данных был менее разнообразным, если он содержал больше изображений, показывающих объекты только с одной точки зрения. В более разнообразном наборе данных было больше изображений, показывающих объекты с разных точек зрения. Каждый набор данных содержал одинаковое количество изображений.
Исследователи использовали эти тщательно сконструированные наборы данных для обучения нейронной сети классификации изображений, а затем изучили, насколько хорошо она способна идентифицировать объекты с точек обзора, которые сеть не видела во время обучения (известная как комбинация вне распределения).
Например, если исследователи обучают модель классифицировать автомобили на изображениях, они хотят, чтобы модель узнала, как выглядят разные автомобили. Но если каждый Ford Thunderbird в обучающем наборе данных показан спереди, когда обученной модели дается изображение Ford Thunderbird, снятое сбоку, она может неправильно классифицировать его, даже если она была обучена на миллионах фотографий автомобилей.
Исследователи обнаружили, что чем разнообразнее набор данных — если больше изображений показывает объекты с разных точек зрения, — сеть лучше способна обобщать новые изображения или точки зрения. По словам Бойкса, разнообразие данных является ключом к преодолению предвзятости.
«Но это не значит, что больше разнообразия данных всегда лучше; здесь есть напряжение. Когда нейронная сеть станет лучше распознавать новые вещи, которых она не видела, ей станет труднее распознавать то, что она уже видела», — говорит он.
Тестирование методов обучения
Исследователи также изучили методы обучения нейронной сети.
В машинном обучении обычно обучают сеть выполнять несколько задач одновременно. Идея состоит в том, что если между задачами существует взаимосвязь, сеть научится выполнять каждую из них лучше, если будет изучать их вместе.
Но исследователи обнаружили обратное: модель, обученная отдельно для каждой задачи, смогла преодолеть предвзятость намного лучше, чем модель, обученная для обеих задач вместе.
«Результаты были действительно поразительными. На самом деле, когда мы впервые проводили этот эксперимент, мы подумали, что это ошибка. Нам потребовалось несколько недель, чтобы понять, что это реальный результат, потому что это было так неожиданно», — говорит он.
Они глубже погрузились в нейронные сети, чтобы понять, почему это происходит.
Они обнаружили, что специализация нейронов играет важную роль. Когда нейронную сеть обучают распознавать объекты на изображениях, появляется два типа нейронов — один специализируется на распознавании категории объекта, а другой — на распознавании точки зрения.
Когда сеть обучена выполнять задачи по отдельности, эти специализированные нейроны становятся более заметными, объясняет Бойкс. Но если сеть обучена выполнять обе задачи одновременно, некоторые нейроны разбавляются и не специализируются на одной задаче. По его словам, эти неспециализированные нейроны чаще путаются.
«Но теперь возникает следующий вопрос: как туда попали эти нейроны? Вы тренируете нейронную сеть, и они возникают в процессе обучения. Никто не говорил сети включать эти типы нейронов в свою архитектуру. Это самое увлекательное», — говорит он.
Это одна из областей, которую исследователи надеются изучить в будущей работе. Они хотят посмотреть, смогут ли они заставить нейронную сеть развивать нейроны с этой специализацией. Они также хотят применить свой подход к более сложным задачам, таким как объекты со сложной текстурой или разнообразным освещением.
Буа воодушевлен тем, что нейронная сеть может научиться преодолевать предвзятость, и он надеется, что их работа может вдохновить других на более внимательное отношение к наборам данных, которые они используют в приложениях ИИ.
Эта работа была поддержана, в частности, Национальным научным фондом, Премией факультета исследований Google, Исследовательским институтом Toyota, Центром исследований мозга, разума и машин, Fujitsu Research и Альянсом MIT-Sensetime по искусственному интеллекту.
[ad_2]
Source