Разработка подводной 3D-камеры с дистанционным управлением

Перевод статьи "Developing an Underwater 3D Camera with Range-Gated Imaging".

Авторы: Йенс Тилеманн, Петтер Ришолм и Карл Х. Хогольт, SINTEF

Подводная оптическая визуализация может дать изображения с гораздо более высоким разрешением, чем сонар. Однако четкость этих изображений зависит от качества воды. В мутной воде активное освещение, используемое в условиях низкой освещенности, вызывает обратное рассеяние или отражение света от частиц в воде обратно к камере (тот же эффект, который затрудняет управление автомобилем в тумане).

Чтобы решить эту проблему, SINTEF работал с партнерами по всей Европе над разработкой UTOFIA, системы визуализации мутной среды (рис. 1).

 

Рисунок 1 - Система камер UTOFIA.

 

Камера UTOFIA передает трехмерные изображения со скоростью 10–20 кадров в секунду с диапазоном до 15 метров и разрешением до одного сантиметра на глубине до 300 метров. Для минимизации эффекта обратного рассеяния и получения информации о дальности для объектов в его поле зрения он использует построение изображений со стробированием по дальности (см. Шкалу) (рисунок 2).

Рисунок 2 - Слева: изображение, полученное камерой UTOFIA, цветное для отображения информации о дальности. Справа: изображение той же сцены, снятое обычной камерой, демонстрирующее эффекты обратного рассеяния.

 

Мы разработали алгоритмы для обработки исходных данных с камеры и создания трехмерных изображений без обратного рассеяния. Мы работали в новой области, и нам нужно было быстро проверить новые идеи. Благодаря интегрированной среде MATLAB с сильной поддержкой визуализации мы смогли опробовать более 40 различных подходов и техник. В Python или C++ каждая реализация и тестирование заняли бы гораздо больше времени, и маловероятно, что у нас было бы время протестировать больше, чем мы планировали.

Визуализация с дистанционным управлением

Вместо того, чтобы освещать цель постоянным потоком света, в формировании изображений с дистанционным управлением используются импульсы света длительностью наносекунды, создаваемые стробированным лазером. Свет, отражающийся от частиц перед целью, возвращается в камеру немного раньше, чем свет, отражающийся от самой цели. Мы можем подавить обратное рассеяние, управляя затвором камеры, чтобы улавливать только свет, отраженный целью, и очень небольшую часть света, отраженного частицами в воде (рис. 3). Кроме того, мы можем точно определить расстояние до цели, измеряя отношение времени пролета отдельных световых импульсов и скорости света.

Рисунок 3 - Схема, показывающая камеру для обработки изображений с дистанционным управлением и изображения, снятые с разных расстояний от камеры.

 

Анализ исходных данных и обнаружение пиков

В отличие от стандартной цифровой камеры, которая создает двумерные массивы пикселей, наша камера создает трехмерные массивы кубов, при этом записанное значение в каждом кубе представляет интенсивность света, отраженного в определенном месте в поле зрения и на определенном расстоянии от камеры. Чтобы извлечь полезные изображения из нескольких гигабайт данных, генерируемых камерой, наши алгоритмы должны идентифицировать пики в этих значениях интенсивности (рисунок 4). Внешние факторы влияют на положение пиков, и рассеяние в воде приведет к ложным пикам. Это снижает четкость получаемого изображения и качество 3D-реконструкции.

Рисунок. 4 - Пики интенсивности как функция расстояния (в центре и внизу) для точек на захваченном изображении (вверху).

 

Чтобы понять механизм в действии, мы провели обширный статистический анализ данных при различных состояниях мутности воды и настроек камеры. Этот анализ включал построение эмпирических моделей обратного рассеяния, исследование свойств прямого рассеяния и моделирование характеристик отклика детектора.

Мы также разработали приложение MATLAB для автоматизации и управления процессом сбора данных (рисунок 5). Приложение включает элементы интерфейса для управления разверткой импульса и интерфейс .NET, который мы использовали для настройки параметров захвата и других компонентов камеры.

Рисунок 5 - Приложение MATLAB, используемое для автоматизации сбора данных.

 

Разработка алгоритмов 3D-реконструкции

Аппаратное обеспечение камеры значительно снижает обратное рассеяние, но мы знали, что можем еще больше уменьшить его влияние с помощью программного обеспечения. Мы разработали модель реакции обратного рассеяния в мутной среде и реализовали несколько алгоритмов для уменьшения эффектов обратного рассеяния. Здесь мы исследовали множество альтернатив, включая гомоморфную фильтрацию и варианты выравнивания гистограмм, и наконец, выбрали нерезкую фильтрацию, которая также улучшила нашу 3D-производительность. Кроме того, мы разработали алгоритмы калибровки камеры, 3D-оценки, обнаружения и подгонки пиков.

Визуализация данных изображения

После того как мы проанализировали данные и разработали алгоритмы трехмерной реконструкции, нам нужно было поделиться полученными результатами с другими организациями, входящими в консорциум UTOFIA. Для этого мы создали второе приложение MATLAB для визуализации данных изображения UTOFIA (рисунок 6). Это приложение включает элементы управления для настройки параметров и параметров алгоритма, включая контраст, фокус, удаление шума и выравнивание гистограммы. Пользователи могут установить эти параметры и сразу увидеть эффекты на экране.

Рисунок 6 - Приложение для визуализации данных изображения UTOFIA.

 

Мы упаковали автономную версию с MATLAB Compiler и распространили ее среди наших партнеров, которые предоставили нам отзывы и предложения по улучшению. Используя MATLAB и MATLAB Compiler, мы смогли реализовать запрошенные ими изменения за несколько дней. Реализация этих изменений в C/C++ или аналогичном языке заняла бы недели, если не месяцы.

Продолжение развития

Мы завершили первую фазу проекта UTOFIA, разработку камеры и ее основного программного обеспечения. Сейчас мы выполняем дополнительную обработку изображений и трехмерных данных для отраслевых приложений и изучаем вторую фазу проекта: применение машинного обучения и глубокого обучения к изображениям для распознавания объектов и других явлений.

Доступность 3D-данных в реальном времени открыла новые возможности для улучшения процессов в рыбной и аквакультурной отраслях, особенно в области автоматизированного количественного анализа. Например, на предприятии аквакультуры в Испании мы использовали камеру для определения и измерения длины красного тунца (рис. 7).

Рисунок 7 - Результаты измерения красного тунца камерой UTOFIA.

 

В исследовательском центре в Норвегии мы использовали UTOFIA для анализа поведения, отслеживания отдельных рыб с течением времени для оценки скорости и характера плавания (рис. 8).

Рисунок 8 - Визуализация биомассы рыб и моделей поведения.

 

Между тем, при испытаниях камеры в аквакультуре, рыба и другие морские обитатели наблюдаются в условиях низкой освещенности и высокой мутности для оценки биомассы (Рисунок 9).

Рисунок 9 - Вверху: изображение наложено с измерением длины. Внизу: изображения, используемые для отслеживания отдельных рыб.

 

Данные условия были бы неприступными с традиционной подводной камерой.