[ad_1]
Предположим, вы хотели построить лучшего в мире робота для подъема по лестнице. Вам нужно будет оптимизировать как мозг, так и тело, возможно, предоставив боту несколько высокотехнологичных ног и ступней в сочетании с мощным алгоритмом, позволяющим подняться.
Хотя конструкция физического тела и его мозга, «контроль», являются ключевыми составляющими, позволяющими роботу двигаться, существующие эталонные среды отдают предпочтение только последнему. Совместная оптимизация обоих элементов затруднена – требуется много времени, чтобы обучить различные модели роботов делать разные вещи, даже без элемента дизайна.
Ученые из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL) стремились восполнить пробел, разработав «Evolution Gym», крупномасштабную систему тестирования для совместной оптимизации конструкции и управления мягкими роботами, черпая вдохновение из природы и эволюционных процессов. .
Роботы в симуляторе немного похожи на мягкие, подвижные элементы тетриса, состоящие из мягких, жестких и приводных «ячеек» на сетке, выполняющих задачи ходьбы, лазания, манипулирования объектами, изменения формы и навигации по плотным слоям. местность. Чтобы проверить способности робота, команда разработала собственные алгоритмы совместного проектирования, объединив стандартные методы оптимизации дизайна и методы глубокого обучения с подкреплением (RL).
Алгоритм совместного проектирования функционирует как силовая пара, где методы оптимизации конструкции развивают тела робота, а алгоритмы RL оптимизируют контроллер (компьютерную систему, которая подключается к роботу для управления движениями) для предлагаемой конструкции. Оптимизация дизайна спрашивает: «Насколько хорошо дизайн работает?» и оптимизация управления дает оценку, которая может выглядеть как пять за «ходьбу».
Получился маленький робот-олимпиада. В дополнение к стандартным заданиям, таким как ходьба и прыжки, исследователи также включили некоторые уникальные задания, такие как лазание, переворачивание, балансирование и подъем по лестнице.
В более чем 30 различных средах боты отлично справлялись с простыми задачами, такими как ходьба или переноска предмета, но в более сложных условиях, таких как ловля и подъем, они не справлялись, показывая ограничения текущих алгоритмов совместного проектирования. Например, иногда оптимизированные роботы демонстрировали то, что команда называет «разочаровывающим», очевидным неоптимальным поведением во многих задачах. Например, робот-ловец часто нырял вперед, чтобы поймать падающий за ним блок.
Несмотря на то, что конструкции роботов развивались автономно с нуля и без предварительных знаний алгоритмов совместной разработки, шагая к более эволюционным процессам, они часто становились похожими на существующих естественных существ, превосходя роботов, созданных вручную.
«Создавая Evolution Gym, мы стремимся раздвинуть границы алгоритмов машинного обучения и искусственного интеллекта», – говорит студент Массачусетского технологического института Джагдип Бхатиа, ведущий исследователь проекта. «Создав крупномасштабный эталонный тест, ориентированный на скорость и простоту, мы не только создаем общий язык для обмена идеями и результатами в рамках обучения с подкреплением и совместного проектирования, но и даем возможность исследователям не пользоваться современными вычислениями. ресурсы, чтобы внести свой вклад в разработку алгоритмов в этих областях. Мы надеемся, что наша работа на один шаг приблизит нас к будущему с такими умными роботами, как вы или я ».
В некоторых случаях, когда роботы обучаются так же, как люди, метод проб и ошибок может привести к лучшему пониманию задачи, что лежит в основе обучения с подкреплением. Здесь роботы научились выполнять такую задачу, как толкание блока, получая некоторую информацию, которая поможет ему, например, «видеть», где находится блок и на что похожа близлежащая местность. Затем робот измеряет, насколько хорошо он работает («награда»). Чем больше робот толкает блок, тем выше награда. Робот должен был одновременно сбалансировать исследование (возможно, спрашивая себя: «Могу ли я увеличить награду, прыгая?») И эксплуатацию (дальнейшее изучение поведения, увеличивающего награду).
Различные комбинации «ячеек», которые алгоритмы придумали для разных конструкций, были очень эффективными: одна из них превратилась в похожую на скачущую лошадь со структурами, похожими на ноги, имитирующими то, что можно найти в природе. Робот-альпинист развил две руки и две структуры, похожие на ноги (вроде обезьяны), чтобы помочь ему подняться. Робот-подъемник напоминал двухпалый захват.
Одним из направлений будущих исследований является так называемое «морфологическое развитие», когда робот постепенно становится более умным по мере того, как он приобретает опыт решения более сложных задач. Например, вы начнете с оптимизации простого робота для ходьбы, затем возьмете ту же конструкцию, оптимизируете его для переноски, а затем подниметесь по лестнице. Со временем тело и мозг робота «трансформируются» во что-то, что может решать более сложные задачи по сравнению с роботами, непосредственно обученными тем же задачам с самого начала.
«Evolution Gym – это часть растущего осознания в сообществе ИИ того, что тело и мозг – равноправные партнеры в поддержке разумного поведения», – говорит профессор робототехники Университета Вермонта Джош Бонгард. «Еще очень много предстоит сделать, чтобы понять, какие формы может принять это партнерство. Спортзал, вероятно, станет важным инструментом в работе с такими вопросами ».
Evolution Gym имеет открытый исходный код и бесплатен для использования. Это сделано намеренно, поскольку исследователи надеются, что их работа вдохновит на создание новых и улучшенных алгоритмов кодового оформления.
Работа поддержана Агентством перспективных оборонных исследовательских проектов. Бхатия написал статью вместе с студенткой Массачусетского технологического института Холли Джексон, аспирантом Массачусетского технологического института Юншенг Тянь и Цзе Сюй, а также профессором Массачусетского технологического института Войцехом Матусиком. Они представляют свои исследования на конференции по нейронным системам обработки информации 2021 года.
[ad_2]
Source