Алгоритмы Amazon и Netflix могут помочь спутникам лучше видеть Землю

Алгоритмы, которые помогают потребителям решать, что смотреть в потоковом режиме или что покупать в Интернете, могут не только предсказывать привычки клиентов:

Согласно исследованию Рутгерса, они могут помочь спутникам лучше видеть Землю.

Оптические спутники теряют из виду поверхность Земли, когда она покрыта облаками, и исследователи долгое время полагались на неточные инструменты для заполнения слепых зон, особенно вдоль береговых линий.

Адаптировав рекомендательный алгоритм, впервые созданный для Netflix, Роджер Ван, доцент кафедры гражданского и экологического строительства в Инженерной школе Рутгерса, создал систему, которая точнее и быстрее прогнозирует затянутые облаками ландшафты в прибрежных районах, чем обычные данные. инструменты для заливки.

Результаты опубликованы в Международном журнале прикладных наблюдений за Землей и геоинформации.

«Платформы электронных услуг, такие как Alibaba и Amazon, используют рекомендательные системы, которые используют большие наборы данных для предоставления индивидуальных рекомендаций по продуктам, чтобы помочь клиентам в принятии решений», — сказал Ван.

«Интересно, что способ, которым рекомендательные системы обрабатывают данные, мало чем отличается от процесса прогнозирования прибрежных ландшафтов, скрытых облаками».

В открытом океане алгоритмы заполнения облаков, используемые в дистанционном зондировании, измеряют непрерывные данные, такие как температура воды, цвет и содержание водорослей, чтобы делать прогнозы того, что скрыто.

Но эти решения не работают вдоль побережья, где «ошибки увеличиваются из-за увеличения облачности, растительности и других переменных», — сказал Ван, добавив, что рекомендательные системы «могли бы лучше справиться с этой задачей».

Чтобы проверить свою гипотезу, Ван построил облачную модель на основе работы Саймона Фанка, разработчика программного обеспечения, выигравшего конкурс рекомендательных инструментов Netflix.

Алгоритм под названием Funk-SVD наносит отзывы потребителей на матрицу. Эти данные затем используются для прогнозирования привычек просмотра пользователями, которые не записали отзыв.

Это аналогичный процесс для заливки облаков: каждая координата на карте представлена ​​пикселем на фотографии, и этот пиксель может быть либо водой, либо землей, а облака представляют собой незарегистрированные данные.

Адаптация Ванга Funk-SVD делает предположения о том, что находится под облаками, на основе других точек данных.

Используя базу данных изображений из 258 кадров, полученных в результате миссий Landsat в заливе Делавэр, Ван обучил Funk-SVD выполнять схему заполнения облаков.

Его решение было более точным, чем наиболее широко используемый инструмент для заполнения облаков, DINEOF (эмпирические ортогональные функции с интерполяцией данных), и достигло такой же точности, как и другой популярный инструмент, Datawig, основанный на машинном обучении. В то время как Datawig использует огромные компьютерные мощности и обработка может занять несколько дней, решение Вана заняло 30 секунд.

Ван сказал, что его решение имеет множество применений для долгосрочного наблюдения за Землей. Этот метод можно использовать, например, для измерения урожайности или для картирования темпов урбанизации на больших территориях.

Это можно сделать быстрее и дешевле, чем обычные методы.

«С помощью этого инструмента можно отслеживать любые общие изменения в землепользовании», — сказал Ван.