[ad_1]
Несмотря на все возможности нейронных сетей, мы до сих пор не понимаем, как они работают. Конечно, мы можем запрограммировать их на обучение, но понимание процесса принятия решений машиной остается во многом похожей на причудливую головоломку с головокружительной сложной структурой, в которую еще не уложено множество неотъемлемых частей.
Например, если модель пытается классифицировать изображение указанной головоломки, она может столкнуться с хорошо известными, но раздражающими враждебными атаками или даже с более обычными данными или проблемами обработки. Но новый, более тонкий тип сбоев, недавно обнаруженный учеными Массачусетского технологического института, является еще одной причиной для беспокойства: «чрезмерная интерпретация», когда алгоритмы делают уверенные прогнозы на основе деталей, которые не имеют смысла для людей, таких как случайные узоры или границы изображений.
Это может быть особенно тревожным в условиях высоких ставок, таких как мгновенные решения для беспилотных автомобилей и медицинская диагностика заболеваний, требующих более неотложного внимания. В частности, автономные транспортные средства в значительной степени полагаются на системы, которые могут точно понимать окружающую обстановку и затем принимать быстрые и безопасные решения. Сеть использовала определенные фоны, края или определенные узоры неба для классификации светофоров и уличных знаков – независимо от того, что еще было на изображении.
Команда обнаружила, что нейронные сети, обученные на популярных наборах данных, таких как CIFAR-10 и ImageNet, страдают от чрезмерной интерпретации. Например, модели, обученные на CIFAR-10, давали уверенные прогнозы даже тогда, когда 95 процентов входных изображений отсутствовали, а оставшаяся часть бессмысленна для людей.
«Излишняя интерпретация – это проблема набора данных, вызванная этими бессмысленными сигналами в наборах данных. Эти изображения с высокой степенью достоверности не только неузнаваемы, но и содержат менее 10 процентов исходного изображения в несущественных областях, таких как границы. Мы обнаружили, что эти изображения не имеют смысла для людей, но модели все же могут классифицировать их с высокой степенью уверенности », – говорит Брэндон Картер, аспирант Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института и ведущий автор статьи об исследовании.
Широко используются классификаторы глубокого изображения. Помимо медицинской диагностики и развития технологий автономных транспортных средств, существуют варианты использования в области безопасности, игр и даже приложений, которые сообщают вам, является ли что-то хот-догом или нет, потому что иногда нам нужно подтверждение. Обсуждаемая технология работает, обрабатывая отдельные пиксели из тонны предварительно размеченных изображений, чтобы сеть «училась».
Классифицировать изображения сложно, потому что модели машинного обучения способны улавливать эти бессмысленные тонкие сигналы. Затем, когда классификаторы изображений обучаются на наборах данных, таких как ImageNet, они могут делать кажущиеся надежными прогнозы на основе этих сигналов.
Хотя эти бессмысленные сигналы могут привести к хрупкости модели в реальном мире, сигналы действительно действительны в наборах данных, а это означает, что переинтерпретация не может быть диагностирована с помощью типичных методов оценки, основанных на этой точности.
Чтобы найти обоснование предсказания модели на конкретном входе, методы в настоящем исследовании начинают с полного изображения и неоднократно спрашивают, что я могу удалить из этого изображения? По сути, он продолжает скрывать изображение, пока у вас не останется самый маленький кусочек, который все же сделает уверенное решение.
С этой целью можно также использовать эти методы в качестве типа критериев проверки. Например, если у вас есть автомобиль с автономным управлением, который использует обученный метод машинного обучения для распознавания знаков остановки, вы можете протестировать этот метод, определив наименьшее входное подмножество, составляющее знак остановки. Если это ветка дерева, определенное время дня или что-то, что не является знаком остановки, вы можете быть обеспокоены тем, что машина может остановиться в месте, где это не должно быть.
Хотя может показаться, что модель является вероятным виновником здесь, скорее всего, виноваты наборы данных. «Возникает вопрос, как мы можем модифицировать наборы данных таким образом, чтобы модели могли быть обучены более точно имитировать то, что человек думает о классификации изображений, и, следовательно, мы надеемся, лучше обобщать в этих реальных сценариях, таких как автономное вождение. и медицинская диагностика, чтобы модели не вели себя бессмысленно », – говорит Картер.
Это может означать создание наборов данных в более контролируемых средах. В настоящее время классифицируются только изображения, извлеченные из общедоступных доменов. Но если вы хотите, например, выполнить идентификацию объекта, может потребоваться обучение моделей с объектами с неинформативным фоном.
Эта работа была поддержана Schmidt Futures и Национальными институтами здравоохранения. Картер написал статью вместе с Сиддхартхой Джайном и Джонасом Мюллером, учеными Amazon и профессором Массачусетского технологического института Дэвидом Гиффордом. Они представляют свою работу на конференции по нейронным системам обработки информации 2021 года.
[ad_2]
Source