[ad_1]

В загруженной больнице врач-рентгенолог использует систему искусственного интеллекта, чтобы диагностировать заболевания на основе рентгеновских снимков пациентов. Использование системы ИИ может помочь ей быстрее поставить диагноз, но как она узнает, когда доверять прогнозам ИИ?
Она не знает. Вместо этого он может полагаться на свой опыт, уровень достоверности, предоставляемый самой системой, или объяснение того, как алгоритм сделал свой прогноз — который может выглядеть убедительным, но все же ошибочным — чтобы сделать оценку.
Чтобы помочь людям лучше понять, когда доверять «товарищу по команде» ИИ, исследователи Массачусетского технологического института создали метод адаптации, который помогает людям лучше понимать те ситуации, в которых машина делает правильные прогнозы, и те, в которых она делает неправильные прогнозы.
Показывая людям, как ИИ дополняет их способности, методика обучения может помочь людям принимать более правильные решения или быстрее делать выводы при работе с агентами ИИ.
«Мы предлагаем этап обучения, на котором мы постепенно знакомим человека с этой моделью ИИ, чтобы он мог сам увидеть ее слабые и сильные стороны», — говорит Хусейн Мозаннар, аспирант группы клинического машинного обучения факультета компьютерных наук и искусственного интеллекта. Лаборатория (CSAIL) и Институт медицинской инженерии и науки. «Мы делаем это, имитируя то, как человек будет взаимодействовать с ИИ на практике, но мы вмешиваемся, чтобы дать им обратную связь, чтобы помочь им понять каждое взаимодействие, которое они совершают с ИИ».
Мозаннар написал статью вместе с Арвиндом Сатьянараяном, доцентом компьютерных наук, который возглавляет группу визуализации в CSAIL; и старший автор Дэвид Зонтаг, адъюнкт-профессор электротехники и компьютерных наук Массачусетского технологического института и руководитель группы клинического машинного обучения. Исследование будет представлено в Ассоциации развития искусственного интеллекта в феврале.
Ментальные модели
Эта работа посвящена ментальным моделям, которые люди строят о других. Если радиолог не уверен в конкретном случае, он может обратиться к коллеге, являющемуся экспертом в определенной области. Из прошлого опыта и своего знания этого коллеги у нее есть мысленная модель его сильных и слабых сторон, которую она использует для оценки его советов.
Люди строят такие же ментальные модели, когда взаимодействуют с агентами ИИ, поэтому важно, чтобы эти модели были точными, говорит Мозаннар. Когнитивная наука предполагает, что люди принимают решения для сложных задач, вспоминая прошлые взаимодействия и опыт. Итак, исследователи разработали процесс адаптации, который предоставляет репрезентативные примеры совместной работы человека и ИИ, которые служат ориентирами, на которые человек может опираться в будущем. Они начали с создания алгоритма, который может идентифицировать примеры, которые лучше всего расскажут человеку об ИИ.
«Сначала мы изучаем предубеждения и сильные стороны человека-эксперта, используя наблюдения за их прошлыми решениями без помощи ИИ», — говорит Мозаннар. «Мы объединяем наши знания о человеке с тем, что мы знаем об ИИ, чтобы увидеть, где человеку будет полезно полагаться на ИИ. Затем мы получаем случаи, когда мы знаем, что человек должен полагаться на ИИ, и аналогичные случаи, когда человеку не следует полагаться на ИИ».
Исследователи проверили свою технику онбординга на задаче ответа на вопрос на основе отрывка: пользователь получает письменный отрывок и вопрос, ответ на который содержится в отрывке. Затем пользователь должен ответить на вопрос и может нажать кнопку, чтобы «дать ответ ИИ». Однако пользователь не может заранее увидеть ответ ИИ, что требует от него полагаться на свою ментальную модель ИИ. Разработанный ими процесс адаптации начинается с показа этих примеров пользователю, который пытается сделать прогноз с помощью системы ИИ. Человек может быть прав или неправ, а ИИ может быть прав или неправ, но в любом случае после решения примера пользователь видит правильный ответ и объяснение, почему ИИ выбрал свой прогноз. Чтобы помочь пользователю обобщить пример, показаны два контрастирующих примера, которые объясняют, почему ИИ понял это правильно или неправильно.
Например, возможно, обучающий вопрос спрашивает, какое из двух растений произрастает на большем количестве континентов, основываясь на запутанном абзаце из учебника по ботанике. Человек может ответить сам или позволить ответить системе ИИ. Затем она видит два дополнительных примера, которые помогают ей лучше понять возможности ИИ. Возможно, ИИ ошибается в последующем вопросе о фруктах, но прав в вопросе о геологии. В каждом примере выделены слова, которые система использовала для предсказания. Видение выделенных слов помогает человеку понять ограничения агента ИИ, объясняет Мозаннар.
Чтобы помочь пользователю запомнить то, что он узнал, пользователь затем записывает правило, которое он выводит из этого обучающего примера, например: «Этот ИИ не умеет предсказывать цветы». Затем она может ссылаться на эти правила позже, когда работает с агентом на практике. Эти правила также представляют собой формализацию ментальной модели ИИ пользователя.
Влияние обучения
Исследователи протестировали эту методику обучения с тремя группами участников. Одна группа прошла всю процедуру адаптации, другая группа не получила последующих сравнительных примеров, а базовая группа не получила никакого обучения, но могла заранее увидеть ответ ИИ.
«Участники, получившие обучение, поступили так же хорошо, как и участники, которые не получили обучения, но могли видеть ответ ИИ. Таким образом, вывод заключается в том, что они могут смоделировать ответ ИИ так же, как если бы они его видели», — говорит Мозаннар.
Исследователи углубились в данные, чтобы увидеть правила, написанные отдельными участниками. Они обнаружили, что почти 50 процентов людей, прошедших обучение, написали точные уроки о способностях ИИ. Те, у кого были точные уроки, были правы в 63 процентах примеров, тогда как те, у кого не было точных уроков, были правы в 54 процентах случаев. А те, кто не обучался, но мог видеть ответы ИИ, были правы на 57 процентов вопросов.
«Когда обучение успешно, оно оказывает значительное влияние. Это вынос здесь. Когда мы можем эффективно обучать участников, они могут работать лучше, чем если бы вы действительно дали им ответ», — говорит он.
Но результаты также показывают, что разрыв все еще существует. Только 50 % тех, кто прошел обучение, построили точные ментальные модели ИИ, и даже те, кто это сделал, были правы только в 63 % случаев. По словам Мозаннара, несмотря на то, что они усвоили правильные уроки, они не всегда следовали своим собственным правилам.
Это один из вопросов, который заставляет исследователей ломать голову — даже если люди знают, что ИИ должен быть прав, почему они не прислушиваются к своей собственной ментальной модели? Они хотят изучить этот вопрос в будущем, а также усовершенствовать процесс адаптации, чтобы сократить время, которое он занимает. Они также заинтересованы в проведении исследований пользователей с более сложными моделями ИИ, особенно в медицинских учреждениях.
Это исследование было частично поддержано Национальным научным фондом.
[ad_2]
Source