[ad_1]
Огромные объемы данных необходимы для обучения моделей машинного обучения для выполнения задач классификации изображений, таких как выявление повреждений на спутниковых фотографиях после стихийного бедствия. Однако получить эти данные не всегда просто. Создание наборов данных может стоить миллионы долларов, если вообще существуют пригодные для использования данные, и даже самые лучшие наборы данных часто содержат систематические ошибки, которые негативно влияют на производительность модели.
Чтобы обойти некоторые проблемы, связанные с наборами данных, исследователи Массачусетского технологического института разработали метод обучения модели машинного обучения, который вместо использования набора данных использует специальный тип модели машинного обучения для создания чрезвычайно реалистичных синтетических данных, которые могут обучать другую модель для задачи дальнего зрения.
Их результаты показывают, что модель обучения с контрастным представлением, обученная с использованием только этих синтетических данных, способна изучать визуальные представления, которые конкурируют или даже превосходят те, которые были изучены на реальных данных.
Эта специальная модель машинного обучения, известная как генеративная модель, требует гораздо меньше памяти для хранения или совместного использования, чем набор данных. Использование синтетических данных также может обойти некоторые опасения, связанные с конфиденциальностью и правами на использование, которые ограничивают распространение некоторых реальных данных. Генеративную модель также можно отредактировать, чтобы удалить определенные атрибуты, такие как раса или пол, что может устранить некоторые предубеждения, существующие в традиционных наборах данных.
«Мы знали, что этот метод в конечном итоге должен сработать; нам просто нужно было дождаться, пока эти генеративные модели будут становиться все лучше и лучше. Но мы были особенно рады, когда показали, что этот метод иногда работает даже лучше, чем реальный», — говорит Али Джаханян, научный сотрудник Лаборатории компьютерных наук и искусственного интеллекта (CSAIL) и ведущий автор статьи.
Джаханян написал статью вместе с аспирантами CSAIL Ксавьером Пуигом и Йонглонгом Тианом, а также старшим автором Филиппом Изола, доцентом кафедры электротехники и компьютерных наук. Исследование будет представлено на Международной конференции по обучающим представлениям.
Генерация синтетических данных
После обучения генеративной модели на реальных данных она может генерировать синтетические данные, настолько реалистичные, что их почти невозможно отличить от реальных. Процесс обучения включает демонстрацию генеративной модели миллионов изображений, содержащих объекты определенного класса (например, автомобили или кошки), а затем она изучает, как выглядит машина или кошка, чтобы генерировать похожие объекты.
По сути, щелкнув переключатель, исследователи могут использовать предварительно обученную генеративную модель для вывода постоянного потока уникальных реалистичных изображений, основанных на изображениях в наборе обучающих данных модели, говорит Джаханян.
Но генеративные модели еще более полезны, потому что они учатся преобразовывать базовые данные, на которых они обучаются, говорит он. Если модель обучается на изображениях автомобилей, она может «представить», как машина будет выглядеть в различных ситуациях — ситуациях, которых она не видела во время обучения, — а затем выводить изображения, показывающие машину в уникальных позах, цветах или размерах.
Наличие нескольких представлений одного и того же изображения важно для метода, называемого контрастным обучением, когда модели машинного обучения показывают множество немаркированных изображений, чтобы узнать, какие пары похожи, а какие разные.
Исследователи соединили предварительно обученную генеративную модель с контрастной моделью обучения таким образом, чтобы две модели работали вместе автоматически. Джаханян объясняет, что контрастный ученик может сказать генеративной модели создавать разные виды объекта, а затем научиться идентифицировать этот объект с разных сторон.
«Это было похоже на соединение двух строительных блоков. Поскольку генеративная модель может дать нам разные взгляды на одну и ту же вещь, она может помочь контрастивному методу научиться лучше представлять», — говорит он.
Даже лучше, чем настоящая вещь
Исследователи сравнили свой метод с несколькими другими моделями классификации изображений, которые были обучены с использованием реальных данных, и обнаружили, что их метод работает так же хорошо, а иногда и лучше, чем другие модели.
Одним из преимуществ использования генеративной модели является то, что теоретически она может создавать бесконечное количество образцов. Итак, исследователи также изучили, как количество образцов влияет на производительность модели. Они обнаружили, что в некоторых случаях создание большего количества уникальных образцов приводило к дополнительным улучшениям.
«Самое классное в этих генеративных моделях то, что кто-то другой обучил их за вас. Вы можете найти их в онлайн-репозиториях, чтобы каждый мог их использовать. И вам не нужно вмешиваться в модель, чтобы получить хорошее представление», — говорит Джаханян.
Но он предупреждает, что существуют некоторые ограничения на использование генеративных моделей. В некоторых случаях эти модели могут раскрывать исходные данные, которые могут создавать риски для конфиденциальности, и они могут усилить предвзятость в наборах данных, на которых они обучаются, если они не проверены должным образом.
Он и его сотрудники планируют устранить эти ограничения в будущей работе. Еще одна область, которую они хотят изучить, — использование этой техники для создания крайних случаев, которые могут улучшить модели машинного обучения. Краеугольные случаи часто невозможно извлечь из реальных данных. Например, если исследователи обучают модель компьютерного зрения для беспилотного автомобиля, реальные данные не будут содержать примеров, когда собака и ее владелец бегут по шоссе, поэтому модель никогда не узнает, что делать в этой ситуации. Синтетическое создание этих крайних данных может повысить производительность моделей машинного обучения в некоторых ситуациях с высокими ставками.
По его словам, исследователи также хотят продолжать совершенствовать генеративные модели, чтобы создавать еще более сложные изображения.
Это исследование было частично поддержано Лабораторией искусственного интеллекта MIT-IBM Watson, Исследовательской лабораторией ВВС США и Ускорителем искусственного интеллекта ВВС США.
[ad_2]
Source