[ad_1]
Неправильное обучение алгоритмам — серьезная проблема; когда искусственный интеллект отражает бессознательные мысли, расизм и предубеждения людей, создавших эти алгоритмы, это может нанести серьезный вред. Компьютерные программы, например, ошибочно помечают чернокожих подсудимых в два раза чаще, чем белых. Когда ИИ использовал стоимость в качестве косвенного показателя потребностей в области здравоохранения, он ошибочно называл чернокожих пациентов более здоровыми, чем столь же больные белые, поскольку на них тратилось меньше денег. Даже ИИ, который раньше писал пьесы, опирался на вредные стереотипы для кастинга.
Удаление конфиденциальных функций из данных кажется жизнеспособной настройкой. Но что происходит, когда этого недостаточно?
Примеры предвзятости при обработке естественного языка безграничны, но ученые Массачусетского технологического института исследовали еще одну важную, в значительной степени малоизученную модальность: медицинские изображения. Используя как частные, так и общедоступные наборы данных, команда обнаружила, что ИИ может точно предсказать расовую принадлежность пациентов, о которой они сообщают сами, только по медицинским изображениям. Используя данные визуализации рентгенограмм грудной клетки, рентгенограмм конечностей, компьютерной томографии грудной клетки и маммограмм, команда обучила модель глубокого обучения идентифицировать расу как белую, черную или азиатскую, хотя сами изображения не содержали явного упоминания о расе. раса пациента. Это подвиг, на который не способны даже самые опытные врачи, и неясно, как модель смогла это сделать.
В попытке разгадать и понять загадочное «как» все это исследователи провели множество экспериментов. Чтобы исследовать возможные механизмы определения расы, они рассмотрели такие переменные, как различия в анатомии, плотность костей, разрешение изображений и многое другое, и модели по-прежнему преобладали с высокой способностью определять расу по рентгенографии грудной клетки. «Поначалу эти результаты сбивали с толку, потому что члены нашей исследовательской группы не могли даже близко подобрать подходящего прокси для этой задачи», — говорит соавтор статьи Марзие Гассеми, доцент кафедры электротехники и компьютерных наук Массачусетского технологического института. и Институт медицинской инженерии и науки (IMES), который является филиалом Лаборатории компьютерных наук и искусственного интеллекта (CSAIL) и клиники Джамиля Массачусетского технологического института. «Даже когда вы отфильтровываете медицинские изображения в тех случаях, когда изображения вообще не распознаются как медицинские изображения, глубокие модели сохраняют очень высокую производительность. Это вызывает беспокойство, потому что сверхчеловеческие способности, как правило, гораздо сложнее контролировать, регулировать и предотвращать причинение вреда людям».
В клинических условиях алгоритмы могут помочь нам сказать, является ли пациент кандидатом на химиотерапию, диктовать сортировку пациентов или решить, необходим ли перевод в отделение интенсивной терапии. «Мы думаем, что алгоритмы смотрят только на показатели жизнедеятельности или лабораторные анализы, но, возможно, они также смотрят на вашу расу, этническую принадлежность, пол, находитесь ли вы в заключении или нет — даже если вся эта информация скрыта», — говорит соавтор статьи Лео Энтони Чели, главный научный сотрудник IMES в Массачусетском технологическом институте и доцент медицины в Гарвардской медицинской школе. «Тот факт, что в ваших алгоритмах представлены разные группы, не гарантирует, что он не увековечит или не усугубит существующие диспропорции и неравенства. Скармливание алгоритмам большего количества данных с представлением не является панацеей. Этот документ должен заставить нас сделать паузу и серьезно задуматься о том, готовы ли мы использовать ИИ у постели больного».
Исследование «Распознавание ИИ расы пациентов в медицинских изображениях: исследование моделирования» было опубликовано в Ланцет Цифровое Здоровье 11 мая. Чели и Гассеми написали статью вместе с 20 другими авторами из четырех стран.
Чтобы настроить тесты, ученые сначала показали, что модели могут предсказывать расу с помощью нескольких методов визуализации, различных наборов данных и разнообразных клинических задач, а также для ряда академических центров и групп пациентов в Соединенных Штатах. Они использовали три больших набора данных рентгенографии грудной клетки и протестировали модель на невидимом подмножестве набора данных, используемого для обучения модели, и на совершенно другом. Затем они обучили модели определения расовой идентичности рентгеновским изображениям, не относящимся к грудной клетке, из разных мест тела, включая цифровую рентгенографию, маммографию, боковые рентгенограммы шейного отдела позвоночника и КТ грудной клетки, чтобы увидеть, ограничивается ли производительность модели рентгенографией грудной клетки.
В попытке объяснить поведение модели команда рассмотрела множество основ: различия в физических характеристиках между различными расовыми группами (габитус тела, плотность груди), распространение болезней (предыдущие исследования показали, что у чернокожих пациентов чаще возникают проблемы со здоровьем, такие как болезни сердца). ), различия в зависимости от местоположения или ткани, влияние социальных предубеждений и стресса окружающей среды, способность систем глубокого обучения определять расу при объединении нескольких демографических факторов и факторов пациента, а также если определенные области изображения способствовали распознаванию расы.
То, что получилось, было поистине ошеломляющим: способность моделей предсказывать расу только по диагностическим меткам была намного ниже, чем у моделей, основанных на рентгенографии грудной клетки.
Например, в тесте плотности кости использовались изображения, на которых более толстая часть кости казалась белой, а более тонкая часть казалась более серой или полупрозрачной. Ученые предположили, что, поскольку у чернокожих обычно выше минеральная плотность костей, различия в цвете помогли моделям ИИ определить расу. Чтобы избавиться от этого, они обрезали изображения фильтром, чтобы модель не различала цвета. Оказалось, что отключение подачи цвета не смутило модель — она по-прежнему могла точно предсказывать гонки. (Величина «Площади под кривой», означающая меру точности количественного диагностического теста, составляла 0,94–0,96). Таким образом, изученные функции модели, по-видимому, полагались на все области изображения, а это означает, что управление этим типом алгоритмического поведения представляет собой запутанную и сложную проблему.
Ученые признают ограниченную доступность ярлыков расовой идентичности, что заставило их сосредоточиться на азиатском, черном и белом населении, и что их основная правда была деталью, о которой они сообщали сами. Другая предстоящая работа будет включать потенциальное изучение изоляции различных сигналов перед реконструкцией изображения, потому что, как и в случае с экспериментами по плотности костей, они не могли объяснить остаточную костную ткань, которая была на изображениях.
Примечательно, что другая работа Гассеми и Чели под руководством студента Массачусетского технологического института Хаммада Адама показала, что модели также могут идентифицировать расовую принадлежность пациента, о которой сообщают сами пациенты, из клинических записей, даже если в этих записях отсутствуют явные признаки расы. Как и в этой работе, эксперты-люди не могут точно предсказать расу пациента на основании тех же отредактированных клинических записей.
«Нам нужно привлечь социологов к делу. Экспертов в предметной области, которыми обычно являются клиницисты, практикующие специалисты в области общественного здравоохранения, компьютерщики и инженеры, недостаточно. Здравоохранение является социально-культурной проблемой в той же мере, что и медицинской проблемой. Нам нужна еще одна группа экспертов, чтобы взвесить и предоставить информацию и отзывы о том, как мы проектируем, разрабатываем, развертываем и оцениваем эти алгоритмы», — говорит Сели. «Мы также должны спросить ученых, прежде чем исследовать данные, есть ли расхождения? Какие группы пациентов являются маргинализованными? Каковы движущие силы этих диспропорций? Доступен ли уход? Это от субъективности поставщиков услуг? Если мы этого не поймем, у нас не будет возможности определить непреднамеренные последствия алгоритмов, и мы не сможем защитить алгоритмы от увековеченных предубеждений».
«Тот факт, что алгоритмы «видят» расу, как убедительно документируют авторы, может быть опасен. Но важный и связанный с этим факт заключается в том, что при осторожном использовании алгоритмы также могут работать для противодействия предвзятости», — говорит Зиад Обермейер, доцент Калифорнийского университета в Беркли, чьи исследования сосредоточены на применении ИИ в здравоохранении. «В нашей собственной работе, возглавляемой компьютерным специалистом Эммой Пирсон из Корнелла, мы показываем, что алгоритмы, которые учатся на опыте боли пациентов, могут находить новые источники боли в колене на рентгеновских снимках, которые непропорционально влияют на чернокожих пациентов — и непропорционально упускаются радиологами. Так что, как и любой инструмент, алгоритмы могут быть силой зла или силой добра — зависит от нас и от выбора, который мы делаем, когда создаем алгоритмы».
Работа частично поддерживается Национальным институтом здравоохранения.
[ad_2]
Source