Шлем дополненной реальности может помочь пользователям увидеть скрытые объекты

Устройство может помочь работникам находить объекты для выполнения заказов электронной коммерции или идентифицировать детали для сборки продуктов.

Исследователи Массачусетского технологического института создали гарнитуру дополненной реальности, которая дает владельцу рентгеновское зрение.

Гарнитура сочетает в себе компьютерное зрение и беспроводное восприятие, чтобы автоматически находить конкретный предмет, который скрыт от глаз, возможно, внутри коробки или под грудой, а затем направлять пользователя, чтобы найти его.

Система использует радиочастотные (РЧ) сигналы, которые могут проходить через обычные материалы, такие как картонные коробки, пластиковые контейнеры или деревянные перегородки, для поиска спрятанных предметов, помеченных метками RFID, которые отражают сигналы, посылаемые радиочастотной антенной.

Гарнитура направляет владельца, когда он идет по комнате, к местонахождению предмета, который отображается в виде прозрачной сферы в интерфейсе дополненной реальности (AR).

Как только предмет оказывается в руке пользователя, гарнитура X-AR проверяет, правильно ли он взял предмет.

Когда исследователи протестировали X-AR в среде, похожей на склад, гарнитура могла локализовать скрытые предметы в среднем с точностью до 9,8 сантиметра. И он подтвердил, что пользователи выбрали правильный элемент с точностью 96 процентов.

X-AR может помочь работникам склада электронной коммерции быстро находить товары на загроможденных полках или в коробках, а также определять точный товар для заказа, когда в одной корзине находится много похожих предметов. Его также можно использовать на производственном предприятии, чтобы помочь техническим специалистам найти нужные детали для сборки продукта.

«Наша главная цель в этом проекте состояла в том, чтобы создать систему дополненной реальности, которая позволяет вам видеть вещи, которые невидимы — вещи, которые находятся в коробках или за углами — и при этом она может направлять вас к ним и действительно позволяет вам видеть физический мир способами, которые раньше были невозможны», — говорит Фадель Адиб, доцент кафедры электротехники и компьютерных наук, директор группы Signal Kinetics в Media Lab и старший автор статьи. на X-AR.

Соавторами Адиба являются ассистенты-исследователи Тара Бороушаки, ведущий автор статьи; Мэйзи Лэм; Лаура Доддс; и бывший постдоктор Алин Эйд, которая сейчас является доцентом Мичиганского университета. Исследование будет представлено на симпозиуме USENIX по проектированию и внедрению сетевых систем.

Дополнение к гарнитуре AR

Чтобы создать гарнитуру дополненной реальности с рентгеновским зрением, исследователям сначала пришлось оснастить существующую гарнитуру антенной, которая могла бы связываться с предметами с RFID-метками.

Большинство систем локализации RFID используют несколько антенн, расположенных на расстоянии нескольких метров друг от друга, но исследователям нужна была одна легкая антенна, которая могла бы обеспечить достаточно высокую пропускную способность для связи с метками.

«Одной большой проблемой была разработка антенны, которая подходила бы к гарнитуре, не закрывая ни одну из камер и не препятствуя ее работе. Это очень важно, так как нам нужно использовать все характеристики визора», — говорит Эйд.

Команда взяла простую, легкую рамочную антенну и поэкспериментировала, сужая антенну (постепенно изменяя ее ширину) и добавляя промежутки — оба метода увеличивают пропускную способность. Поскольку антенны обычно работают на открытом воздухе, исследователи оптимизировали их для отправки и приема сигналов при прикреплении к козырьку гарнитуры.

После того, как команда построила эффективную антенну, они сосредоточились на ее использовании для локализации предметов с RFID-метками.

Они использовали метод, известный как радар с синтезированной апертурой (SAR), который похож на то, как самолеты отображают объекты на земле.

X-AR выполняет измерения с помощью своей антенны с разных точек зрения, когда пользователь перемещается по комнате, а затем объединяет эти измерения. Таким образом, он действует как антенная решетка, в которой измерения с нескольких антенн объединяются для локализации устройства.

X-AR использует визуальные данные от функции самоотслеживания гарнитуры для построения карты окружающей среды и определения своего местоположения в этой среде.

Когда пользователь идет, он вычисляет вероятность появления метки RFID в каждом месте. Вероятность будет самой высокой в ​​точном местоположении метки, поэтому она использует эту информацию, чтобы обнулить скрытый объект.

«Хотя это представляло собой проблему, когда мы проектировали систему, мы обнаружили в наших экспериментах, что она действительно хорошо работает с естественным движением человека. Поскольку люди много передвигаются, это позволяет нам проводить измерения из множества разных мест и точно определять местонахождение предмета», — говорит Доддс.

Как только X-AR локализует предмет и пользователь его берет, гарнитура должна убедиться, что пользователь взял нужный предмет. Но теперь пользователь стоит на месте, а антенна гарнитуры не двигается, поэтому он не может использовать SAR для локализации метки.

Однако когда пользователь берет предмет, метка RFID перемещается вместе с ним. X-AR может измерять движение метки RFID и использовать возможности гарнитуры по отслеживанию рук для локализации предмета в руке пользователя. Затем он проверяет, что метка посылает правильные РЧ-сигналы, чтобы убедиться, что это правильный объект.

Исследователи использовали возможности голографической визуализации гарнитуры, чтобы отображать эту информацию для пользователя в простой форме. Как только пользователь надевает гарнитуру, он использует меню для выбора объекта из базы данных помеченных элементов.

После того, как объект локализован, он окружен прозрачной сферой, чтобы пользователь мог видеть, где он находится в комнате. Затем устройство проецирует траекторию к этому предмету в виде шагов на полу, которые могут динамически обновляться по мере ходьбы пользователя.

«Мы абстрагировались от всех технических аспектов, чтобы обеспечить плавный и понятный опыт для пользователя, что было бы особенно важно, если бы кто-то использовал это в складской среде или в умном доме», — говорит Лам.

Тестирование гарнитуры

Чтобы протестировать X-AR, исследователи создали имитацию склада, заполнив полки картонными коробками и пластиковыми контейнерами и поместив внутрь предметы с RFID-метками.

Они обнаружили, что X-AR может направить пользователя к целевому объекту с погрешностью менее 10 сантиметров — это означает, что в среднем предмет находился менее чем в 10 сантиметрах от того места, куда X-AR направил пользователя. Базовые методы, протестированные исследователями, имели медианную ошибку от 25 до 35 сантиметров.

Они также обнаружили, что он правильно подтвердил, что пользователь выбрал правильный предмет в 98,9 процентах случаев. Это означает, что X-AR может снизить количество ошибок при комплектовании на 98,9%. Точность была даже 91,9%, когда предмет все еще находился внутри коробки.

«Системе не нужно визуально видеть предмет, чтобы убедиться, что вы взяли правильный предмет. Если у вас есть 10 разных телефонов в одинаковой упаковке, вы, возможно, не сможете определить разницу между ними, но это поможет вам выбрать правильный», — говорит Бороушаки.

Теперь, когда они продемонстрировали успех X-AR, исследователи планируют изучить, как различные способы обнаружения, такие как WiFi, технология mmWave или терагерцовые волны, могут использоваться для улучшения его возможностей визуализации и взаимодействия.

Они также могут улучшить антенну, чтобы ее дальность действия превышала 3 метра, и расширить систему для использования несколькими скоординированными гарнитурами.

«Поскольку сегодня ничего подобного нет, нам пришлось выяснить, как создать систему совершенно нового типа от начала до конца», — говорит Адиб. «На самом деле то, что мы придумали, — это фреймворк. Есть много технических вкладов, но это также план того, как вы будете разрабатывать гарнитуру AR с рентгеновским зрением в будущем».

«Эта статья делает значительный шаг вперед в будущее систем дополненной реальности, заставляя их работать в условиях отсутствия прямой видимости», — говорит Ранвир Чандра, управляющий директор по отраслевым исследованиям в Microsoft, который не участвовал в этой работе.

«В нем используется очень умная техника использования радиочастотного зондирования для расширения возможностей компьютерного зрения существующих систем дополненной реальности. Это может привести к применению систем дополненной реальности в сценариях, которых раньше не существовало, например, в розничной торговле, производстве или приложениях для новых навыков».

Это исследование было частично поддержано Национальным научным фондом, Фондом Слоана и Медиа-лабораторией Массачусетского технологического института.

Автор Адам Зеве.