Внедрение справедливости в модели машинного обучения

Если модель машинного обучения обучается с использованием несбалансированного набора данных, например, содержащего гораздо больше изображений людей со светлой кожей, чем людей с более темной кожей, существует серьезный риск того, что прогнозы модели будут несправедливыми при ее развертывании в реальном мире. .

Но это только одна часть проблемы. Исследователи Массачусетского технологического института обнаружили, что модели машинного обучения, которые популярны для задач распознавания изображений, на самом деле кодируют предвзятость при обучении на несбалансированных данных. Это смещение в модели невозможно исправить позже, даже с помощью самых современных методов повышения справедливости, и даже при переобучении модели со сбалансированным набором данных.

Итак, исследователи придумали технику, позволяющую внедрить справедливость непосредственно во внутреннее представление модели. Это позволяет модели выдавать достоверные результаты, даже если она обучена на недостоверных данных, что особенно важно, поскольку для машинного обучения очень мало хорошо сбалансированных наборов данных.

Решение, которое они разработали, не только приводит к моделям, которые делают более сбалансированные прогнозы, но также улучшает их производительность в последующих задачах, таких как распознавание лиц и классификация видов животных.

«В машинном обучении принято обвинять данные в предвзятости моделей. Но у нас не всегда есть сбалансированные данные. Итак, нам нужно придумать методы, которые действительно решат проблему несбалансированных данных», — говорит ведущий автор Натали Дюллеруд, аспирант группы Healthy ML Лаборатории компьютерных наук и искусственного интеллекта (CSAIL) Массачусетского технологического института.

Среди соавторов Дюллеруда Кимия Хамиди, аспирант Healthy ML Group; Карстен Рот, бывший приглашенный исследователь, ныне аспирант Тюбингенского университета; Николя Паперно, доцент кафедры электротехники и информатики Университета Торонто; и старший автор Марзие Гассеми, доцент и глава Healthy ML Group. Исследование будет представлено на Международной конференции по обучающим представлениям.

Определение справедливости

Метод машинного обучения, который изучали исследователи, известен как глубокое метрическое обучение, которое представляет собой широкую форму репрезентативного обучения. При глубоком метрическом обучении нейронная сеть изучает сходство между объектами, сопоставляя похожие фотографии, расположенные близко друг к другу, и разнородные фотографии, расположенные далеко друг от друга. Во время обучения эта нейронная сеть отображает изображения в «пространстве встраивания», где метрика сходства между фотографиями соответствует расстоянию между ними.

Например, если модель глубокого метрического обучения используется для классификации видов птиц, она будет отображать фотографии золотых вьюрков вместе в одной части пространства вложений и кардиналов вместе в другой части пространства вложений. После обучения модель может эффективно измерять сходство новых изображений, которых она раньше не видела. Он научился бы группировать изображения невидимых видов птиц близко друг к другу, но дальше от кардиналов или золотых вьюрков в пространстве встраивания.

По словам Даллеруда, метрики сходства, которые изучает модель, очень надежны, поэтому глубокое метрическое обучение так часто используется для распознавания лиц. Но она и ее коллеги задались вопросом, как определить, является ли метрика сходства предвзятой.

«Мы знаем, что данные отражают предвзятость процессов в обществе. Это означает, что мы должны сместить наше внимание на разработку методов, которые лучше подходят для реальности», — говорит Гассеми.

Исследователи определили два способа, которыми метрика сходства может быть несправедливой. Используя пример распознавания лиц, метрика будет несправедливой, если она с большей вероятностью поместит людей с более темными лицами ближе друг к другу, даже если они не являются одним и тем же человеком, чем если бы эти изображения были людьми со светлой кожей. лица с кожей. Во-вторых, будет несправедливо, если признаки, которые он изучит для измерения сходства, будут лучше для группы большинства, чем для группы меньшинства.

Исследователи провели ряд экспериментов с моделями с несправедливыми показателями подобия и не смогли преодолеть предвзятость, которую модель изучила в своем пространстве встраивания.

«Это довольно страшно, потому что компании очень часто выпускают эти модели встраивания, а затем люди настраивают их для какой-то последующей задачи классификации. Но независимо от того, что вы делаете дальше по течению, вы просто не можете решить проблемы со справедливостью, возникшие в пространстве встраивания», — говорит Дюллеруд.

По ее словам, даже если пользователь повторно обучает модель на сбалансированном наборе данных для нисходящей задачи, что является наилучшим сценарием для решения проблемы справедливости, все равно остается нехватка производительности не менее 20 процентов.

Единственный способ решить эту проблему — с самого начала обеспечить справедливое пространство для встраивания.

Изучение отдельных метрик

Решение исследователей, называемое частичной декорреляцией атрибутов (PARADE), включает в себя обучение модели изучению отдельной метрики сходства для чувствительного атрибута, такого как оттенок кожи, а затем декорреляцию метрики сходства тона кожи из целевой метрики сходства. Если модель изучает метрики сходства разных человеческих лиц, она научится отображать похожие лица близко друг к другу и непохожие лица далеко друг от друга, используя другие признаки, помимо тона кожи.

Таким образом, любое количество конфиденциальных атрибутов может быть декоррелировано из целевой метрики сходства. А поскольку метрика сходства для чувствительного атрибута изучается в отдельном пространстве внедрения, она отбрасывается после обучения, поэтому в модели остается только целевая метрика сходства.

Их метод применим ко многим ситуациям, поскольку пользователь может контролировать степень декорреляции между показателями сходства. Например, если модель будет диагностировать рак молочной железы по изображениям маммографии, клиницист, вероятно, захочет, чтобы некоторая информация о биологическом поле осталась в конечном пространстве для встраивания, потому что у женщин гораздо больше шансов заболеть раком молочной железы, чем у мужчин, объясняет Дюллеруд.

Они проверили свой метод на двух задачах, распознавании лиц и классификации видов птиц, и обнаружили, что он уменьшает пробелы в производительности, вызванные предвзятостью, как в пространстве встраивания, так и в последующей задаче, независимо от используемого набора данных.

Двигаясь вперед, Дюллеруд заинтересован в изучении того, как заставить модель глубокого метрического обучения изучать в первую очередь хорошие функции.

«Как правильно проверить справедливость? Это открытый вопрос прямо сейчас. Как вы можете сказать, что модель будет справедливой или что она будет справедливой только в определенных ситуациях, и что это за ситуации? Это вопросы, которые мне действительно интересны, чтобы двигаться вперед», — говорит она.