Анализ спутниковых радиолокационных изображений с помощью глубокого обучения

Вопросы идентификации айсбергов на космических радиолокационных изображениях.

Перевод статьи "Analyzing Satellite Radar Imagery with Deep Learning".

Авторы: Kelley Dodge, Carl Howell, C-CORE

В среднем около 500 айсбергов подходят к берегам Лабрадора и Ньюфаундленда каждый год, что создает потенциальные угрозы для судоходства и другой морской деятельности. В 1990 начали использовать бортовые радиолокаторы с синтезированной апертурой, чтобы наблюдать айсберги и морской лед. SAR подходит для решения данной задачи, поскольку собирает изображения над большой территорией океана, как днем, так и ночью сквозь облака, туман и другие погодные условия.

Анализ SAR изображений включает в себя идентификацию целей (кластеры пикселей с высокой интенсивностью) в изображении и их классификацию как айсберги или корабли (Рисунок 1).

Рисунок 1.  Изображения, сделанные возле Гренландии, цели обведены кругом

Наша команда из C-Core заключило партнерское соглашение с Норвежской компанией Equinor, чтобы разработать автоматизированное программное обеспечение, которое использует глубокое обучение для классификации целей на радиолокационных изображениях. Мы решили провести экспертизу с помощью мирового сообщества исследователей искусственного интеллекта в рамках соревнования Kaggle. Мы изучили лучшие идеи из соревнований, основанные на сверточных нейронных сетях в Matlab. Затем разработали программное обеспечение, которое могло бы быть использовано функционально.

Проблемы идентификации айсбергов

Разрешение радиолокационных изображений зависит от того, как много пространства покрывает изображение: изображения, которые фокусируются на относительно малых районах,  имеют более высокое разрешение чем те, которые покрывают большие территории в широкой полосе обзора океана, и потому объекты проще классифицировать (Рисунок 2 и 3). На практике, чтобы извлечь большое количество полезной информации из датасета, мы должны работать с изображениями со всеми уровнями пространственного разрешения, даже с изображениями с целями размером в несколько пикселей

Рисунок 2. Цветные композитные изображения легко классифицируемых айсбергов (вверху справа) и кораблей (внизу справа), созданные из нескольких поляризационных каналов (помечены HH и HV)

Рисунок 3. Цветные композитные изображения айсбергов (вверху справа) и кораблей (внизу справа), которые тяжело классифицировать

Перед тем, как мы начали использовать глубокое обучение, мы использовали квадратичный дискриминантный анализ для классификации айсбергов, но это вовлекло сегментацию изображений для дискриминации целевых пикселей от фоновых пикселей океана. Сегментация изображения была проблемой, поскольку условия океана меняются значительно, и визуальный шум, вызванный плохими условиями, сделал затруднительным определение контуров каждой цели. С помощью сверточных нейронных сетей нет необходимости выделять цель из фона, потому что алгоритмы обучены на полных радиолокационных картинках, изображения фиксированного размера, содержащего одиночную цель.

Соревнование Kaggle

Наше Kaggle соревнование представляло собой состязание между участниками в решении простой задачи: разработать алгоритм, способный автоматически классифицировать цель на радиолокационном изображении, как корабль или айсберг. Датасет для соревнования включал 5000 изображений, извлеченных из многоканальных радиолокационных изображений, собранных космическим аппаратом Sentinel-1 вдоль побережья Лабрадора и Ньюфаундленда (Рисунок 4) . Наше соревнование стало самым популярным среди соревнований по обработке изображений, которое когда-либо проводилось в рамках Kaggle. В нем приняли участие 3343 команды с более чем 47000 результатами.

Рисунок 4. Радиолокационные данные, собранные Sentinel 1 вдоль побережья Ньюфаундленда и Лабрадора 

Adblu. “Statoil/C-CORE Iceberg Classifier Challenge. Корабль или айсберг, можешь ли ты выделить из пространства? Kaggle 8 Ноября 2007 https://www.kaggle.com/c/statoil-iceberg-classifier-challenge/discussion/42108

Наилучшие результаты, были получены с помощью глубокого обучения. Их модели обладали многими характеристиками и слоями, включая сверточные слои, RELU –слои, слои maxpolling и softmax слои. Вдобавок, топовые результаты были получены ансамблевыми методами машинного обучения, чтобы увеличить точность предсказания с 92% до 97%. 

Построение модели глубокого обучения с помощью Matlab

Используя топовые результаты Kaggle как стартовой точки, мы разработали нашу собственную модель с помощью Matlab и Deep Learning Toolbox. Мы начали с модификации простого классификатора в Deep Learning Toolbox. Через несколько дней мы получили сеть, которая давала хорошие реультаты.

Чтобы оптимизировать работу сети, мы протестировали различные комбинации значений параметров, изменяя, например, количество узлов в каждом слое, размер фильтра в сверточном слое, размер polling в слое max pooling и т.д. Мы написали скрипт на Matlab, который автоматически строит, обучает и тестирует до 10000 различных сверточных сетей со значениями параметров, случайно генерированными в пределах допущений и ограничений.

Мы выполнили жадный поиск по результатам, чтобы определить семь наиболее производительных сверточных сетей, и использовали их чтобы создать ансамблевый метод. Подобно ансамблям, использованным победителями соревнований Kaggle, наш ансамблевый метод увеличил общую точность почти на 5 %.

Работая в Matlab в течение двух недель мы пришли от малых знаний о работе сверточных нейросетей к разработке решения, которое работало достаточно хорошо, чтобы быть функциональным и оперативно используемым.

Интеграция классификатора в цельную систему

Разделение целей - это только один шаг в многошаговом процессе идентификации айсбергов. Процесс также включает накладывание маски на  земную поверхность, чтобы выделить ложные обнаружения, вызванные наземными объектами, и интеграцию с геоинформационной системой, чтобы производить карты, показывающие положение айсбергов и кораблей (Рисунок 5).

Рисунок 5. Локации айсбергов, построенные на карте

Когда орбитальная группировка спутников Radarsat начнет выдавать данные этого года, мы получим доступ к даже большему количеству радиолокационных изображений – слишком большому для визуального анализа. Программное обеспечение, которое включает алгоритмы Deep learning, подобно разработанным в среде Matlab, даст возможность C-Core обрабатывать большинство данных точно, быстро и автоматически.