ИССПОЛЬЗОВАНИЕ ИНСТРУМЕНТОВ IMAGE PROCESSING TOOLBOX ДЛЯ ПОСТРОЕНИЯ АДАПТИВНЫХ ВИДЕОСИСТЕМ

В работе рассматриваются средства и инструменты для работы с цветом на примере программного комплекса Matlab. Выделяются особенности при проектировании разных систем, обращается внимание на то, что некоторые инструменты приводят к ограничениям на этапе моделирования, что может быть нежелательным. К последним следует отнести преобразования с одной системы координат в другую, а также определение параметров сигналов изображения, которые передаются каналами связи. Представлены матрицы преобразований при переходе на многоцветную систему передачи и репродукции визуальной информации. Данные системы являются перспективными и могут заменить традиционные трехцветные системы, так как позволяют передать большую часть диаграммы цветности несмотря на появление трехцветной репродукции, базированной на монохроматических излучателях. Исследования, проведенные в работе, включают алгоритм адаптации, который основывается на равноконтрастной модели цветовосприятия. Модель позволяет спрогнозировать как должно быть воспроизведено изображение для неискаженного его восприятия не зависимо от условий его съемки. Также представлены результаты моделирования адаптации к спектральному распределению источников освещения. Данные исследования применимы в сферах, где влияние источника освещения желательно исключить, а качество цвета является главным параметром.

Современный прогресс технологий неотъемлем рядом с использованием средств визуализации органов управления, вывод результатов функционирования, диагностики. Сфера применения средств визуализации самая широкая от военных приложений до медицинских, технических, экономических, до искусства, вещания и т д. 

Решая задачи визуализации, поиск информации на изображении, обучения систем, распознавания информации с визуальных источников информации инженер должен обладать полным набором инструментов для их реализации. Это приводит к тому, что инженеры сталкиваются с необходимостью корректного представления данных их преобразованием, обработкой графической информации и ее представления в понятном для конечного пользователя виде.

К последним следует отнести набор функций, существующих на данный момент в среде MATLAB к таковым, следует отнести, например, xyz2rgb, rgb2xyz, rgb2hvs, hvs2rgb, rgb2grey, grey2rgb, rgb2ycbcr, ycbcr2rgb, rgb2ntsc, ntsc2rgb, rgb2yuv, yuv2rgb. [1]

Рассматривая основные функции для работы с визуальной информации, их можно объединить в пункты:

-         некорректности при символьном и обозначении функций;

-         некоторые некорректности в использовании указанных функций;

-         возможность передачи визуальной информации.

Материалы и методы решения задач, принятые допущения.

Значения цвета изображения представляют в системе координат при этом учет регистра важная особенность. Так, например, в системе координат RGB и XYZ речь идет о абсолютные координат цвета, а rgb и xyzотносительные координаты цвета. При этом если же говорить о преобразовании типа rgb2xyz то на вход преобразования поступают абсолютные значения цвета RGB, а с выхода системы получают относительные координаты xyz, именно поэтому корректной записью преобразования следовало бы считать RGB2xyz или же при нынешнем названии функции требует дополнение формулой (1).

                                              (1)

В приложениях работающих на выделении границ и с градиентов яркости используют функцию rgb2grey, к которой заложена матрица преобразования для определения градиента яркости сигнала в системе телевидения стандартной четкости [2], описанной формулой (2). Если параметры rgb передаваемого изображения были получены в другой системе, например, (3, 4), отличающейся от [2] значения градиента будут отличаться, что будет влиять на конечный результат.

                             (2)

                        (3)

                        (4)

Невозможность в полной мере использовать функций приводит к невозможности применять функции в некоторых задачах на данный момент. С появлением новых систем и переходу на новые стандарты, функции в том виде в котором они существуют сейчас xyz2rgb, rgb2xyz, rgb2grey, grey2rgb, rgb2ycbcr, ntsc2rgb и т д потеряют необходимость использования их при моделировании. Ограниченность в первую очередь вызвана тем, что в основу преобразования закладываются матрицы определенной системы так, например, в преобразовании xyz2rgbзаложена матрица преобразования (5), которая отвечает системе цифрового телевидения [3], а также Adobe (6).

                                                           (5)

                                                            (6)

Область цветов данных систем ограничена треугольником цветов, который может охватывать до 40 % области всех существующих цветов, как это показано в работе [4]. Рядом с тем существуют такие системы как DCDM,ACES, RIMM, ROM [5-7], а также появившиеся в недавнем времени ТСВЧ [8], которые обладают охватом цветов до 80 % области существующих цветов. Использования преобразование в таком виде как оно существует на данное время приводит к искажению на этапе проектирования / моделирования системы, поэтому преобразование xyz2rgb должно быть дополнено матрицами М, содержащими координаты треугольника цветов указанных систем.

Перспективными являются пути создания систем многоцветной репродукции [9-21] (multy-primary colorreproduction), которые уже нашли внедрение в раде устройств, данными преобразованиями следует дополнить Matlab (Image Processing ToolBox). Дополнение следует внести в преобразование в виде матрицы , которая в общем виде имеет запись (7). Для систем с количеством основных цветов 4 матрица преобразования примет вид (8-12), для пяти цветной репродукции (13-15), а также для шести основных систем (16-18).

                                                                                   7

                                                       8

                                                       9

                                                       10

                                                       11

                                                       12

                                        13

                                        14

                                        15

                           16

                            17

                           18

Разнообразие матриц вызвано потребностью в передачи большего количества существующих цветов диаграммы цветности. Системы многоцветной репродукции требуют построения систем передачи и воспроизведения информации с использованием новых устройств, так как принцип совместимости вносит ограничения. Ограничения вызваны невозможностью восстановления информации многоцветной репродукции при передачи ее системой трёхцветной репродукции. Устранение ограничения представляется возможным при использовании новых систем передачи визуальной информации.

К перспективным путям развития инструментов Matlab могут быть функции, которые направленные на обработку изображений, созданных в трехкомпонентной или многоцветной системе с применением моделей, учитывающих адаптивные свойства зрения. Данные модели постоянно совершенствуются с появлением новых экспериментальных данных, описывающих физиологические особенности восприятия визуальной информации человеком.

Равноконтрастные пространства, которые могут использоваться для оценки качества цветопередачи

Для оценки качества цветопередачи объектов без учета пространственных характеристик изображения и его восприятия чаще всего используют системы равноконтрастных цветовых координат, определенные МКО:CIELUV()[22], CIELAB ()[23], а также CIECAM02 ()[25] и ее модификацию CAM02 - UCS()[26], CAM16 () [27].

Метрика систем CIELUV и CIELAB построена без учета влияния условий наблюдения изображения на воспринимаемые цвета объектов. В этих системах условия неискаженного цветопередачи формулируются как:

Метрика пространства CAM02 - UCS является надстройкой над системой CIECAM02 и зависит от яркости адаптации зрительной системы наблюдателя  і  и условий просмотра  и  на стороне съемки сцены и на стороне воспроизведения изображения, которые могут независимо варьироваться в широких пределах. Таким образом, в этой метрике условия неискаженного цветопередачи могут быть сформулированы следующим образом:

Это означает, что неискаженное цветопередачи может иметь место только в системах, адаптивных к условиям наблюдения, основные принципы построения которых определены в Рекомендациях ITU-R BT.1691 [27] и ITU-R BT.1692 [28]. В работе [29] приведены примеры оценки искажений цветопередачи и показано, что в зависимости от соотношения яркости адаптации и условий наблюдения на передающей и приемной сторонах, искажения цветопередачи могут варьироваться от незаметных до недопустимых.

Оценка верности цветовоспроизведения для систем с расширенным динамическим диапазоном (EDR - Extended Dynamic Range) яркости, в том числе, видеоинформационных систем, EDR ТВ систем и др., связанная с использованием моделей цветовосприятия, охватывающих диапазон яркостей, в несколько раз превышают яркость, равную 1000 кд / м², близкую к верхней границе диапазона яркостей, в котором действует модель CIECAM02 для фотопичного зрения, а также яркостей, в которых действует мезопичний и скотопического зрение. Для этих частей диапазона яркостей МКО пока не формализировала соответствующие модели, однако прогресс в этом направлении имеет место, и есть предложения по моделям цветовосприятия, которые могут использоваться для количественных оценок [30-33]. Среди них к наиболее перспективным можно отнести модель iCAM06 [30, 31], использование которой для колориметрических оценок в узком смысле возможно, если не использовать преобразования, относящихся к пространственных характеристик модели.

Если исходить из использования понятия "ТВ колориметрия" в широком смысле, то есть осуществлять оценку верности цветопередачи с учетом пространственных характеристик изображения и его восприятия, то тогда для оценки верности цветопередачи в ТВ системах в наиболее перспективных можно отнести модели iCAM [34] и iCAM06 , что является моделями цветного зрения нового поколения, на развитие которых и на международную стандартизацию потребуются годы [35].

Однако, использование этих моделей в исследованиях, посвященных оценке верности цветопередачи современных и новых ТВ систем, может дать больший эффект, чем любые другие подходы, поскольку они воплощают достигнутый уровень мирового прогресса в этой области.

При этом формулировка условия неискаженного цветопередачи зависит дополнительно от пространственных характеристик объекта.

Дополненные адаптирующие факторы при передаче визуальной информации каналами связи

Главной целью адаптации является непрерывное или периодическое определение влияния источника освещения на качество передаваемого цвета и коррекция видеосигнала в зависимости от величины изменения координат цветности.

Адаптация к спектральному распределению источника освещения состоит из двух подзадач, а именно, получение значения спектрального распределения объекта сцены и спектрального распределения источника освещения.

Данные спектрального распределения источника освещения могут измеряться дополнительным устройством или храниться в виде массива числовых значений в устройстве, являясь неотъемлемой составляющей системы адаптации.

Получение данных о спектрального распределения объекта сцены является задачей сложной. Это связано с тем, что сложные объекты сцены с большой детальностью содержат в себе информацию о множестве цветов и соответствующую множества спектральных распределений. Именно поэтому определить каждый из них не представляется возможным, из-за сложности аппаратной реализации, а соответственно и процесс определения влияния источника освещения отдельно на каждый цвет. Поэтому для определения влияния источника освещения на множество цветов предлагается алгоритм, представленный на блок-схеме, рис. 1.

Рис. 1. Алгоритм адаптації кольору об’єкту сцени до спектрального розполіду джерела освітлення 

Блок схема состоит из двух частей: первая — это общепринятая часть видео тракта, вторая — алгоритм определения адаптирующих коэффициентов и учета их в сигналах видеосвязи. 

Учитывая все перечисленные особенности, связанные с моделированием систем нового поколения в работе, представляются результаты моделирования в среде Matlab.

Результаты исследований алгоритма адаптации к источнику освещения и свойств цветовосприятия.

За входящие данные были выбраны изображения, имеющий в своем составе широкую гамму цветов и может использоваться для исследования цветов. Моделирование было проведено при использовании источников освещения типа D65, F135, F1, A. Структурная схема процесса моделирования представлена на рис. 2

Рис. 2. Структурна схема процесу моделювання

Изображение с камеры представлено на рис. 3, где матрица n × m состоит из множества корректирующих значений, в которой n - количество элементов изображения по горизонтали, а m - по вертикали. Зная величину и характер влияния источника освещения можно учесть корректирующие значения, результаты представлены на рис. 4.

а                                                                     б

в                                                                        г

Рис. 3. Тестовые изображения, является освещено источниками освещения различного типа: а - источник освещения типа А, б - источник освещения типа D65, в - источник освещения типа F315, г - источник освещения типа F1

На рис. 3 показано передаваемое изображение сцены освещена разными источниками освещения, и восстановленное изображение, рис. 4. Субъективно заметно, как меняется цветной тон и насыщенность цветов рис. 3 по сравнению с эталонным рис. 4.

Рис. 4. Восстановленное изображение

На рис. 5 и 6 изображено комплексное воздействие источника освещения и свойств цветовосприятия человека. Учитывая свойства цветовосприятия, появляется возможность расширить диапазон работы алгоритма по яркости. Указанное расширение позволяет получить изображение рис. 4 независимо от условий съемки и источника освещения (темного - рис. 5, тусклого, среднего - рис. 6).

а                                                                                 б

в                                                                                   г

Рис. 5. Тестовые изображения с условиями съемки на передающей стороне L_A = 200 кд / м² условий наблюдения - средние, на приемной стороне L_A = 20 кд / м² условий наблюдения - темные, для освещения использовались источники освещения: а - источник освещения типа А, б - источник освещения типа D65, в - источник освещения типа F315, г - источник освещения типа F1

а                                                                              б

в                                                                               г

Рис. 6. Тестовые изображения с условиями съемки на передающей стороне L_A = 20 кд / м² условий наблюдения - тусклые, на приемной стороне L_A = 200 кд / м² условий наблюдения - средние, для освещения использовались источники освещения: а - источник освещения типа А, б - источник освещения типа D65, в - источник освещения типа F315, г - источник освещения типа F1

В работе представлены результаты, которые определяют границы, в которых предлагаемый алгоритм восстанавливает изображения после воздействия источника освещения и учитывает вместе с тем свойства цветовосприятия.

Обсуждение полученных результатов.

Результирующие исследования касаются адаптации цвета к условиям просмотра, а также спектральному распределения источника освещения в реальном масштабе времени. Во время моделирования были решены вопросы с недостаточным функциональным набором средств моделирования Matlab. Предложены возможные пути их устранения, а также учет существующих ограничений при проектировании новых и усовершенствовании существующих систем передачи визуальной информации.

Использование модели цветовосприятия ориентировано на обычного зрителя, который может быть как ограничение, поэтому продолжить исследования с расширением способности модели на универсального зрителя является приоритетной задачей.

При развитии новых систем передачи видео использование в сферах применения таких как медицина, главным является качество передачи цвета, но качества передачи цвета вызвано появлением несущественных недостатков. К ним следует отнести увеличение расчетной способности передающего и приемного оборудования по отношению к существующему.

Заключение (выводы и рекомендации).

Следует отметить, что инструменты для моделирования Matlab желательно расширить, способствуя тем самым развитию новых систем передачи визуальной информации. Следовательно должны появится например следующие инструменты моделирования – rgb2mpc4 (преобразовании цветовых координат в системе с четырьмя основными цветами), rgb2mpc5 (преобразовании цветовых координат в системе с пятью основными цветами), rgb2mpc6 (преобразовании цветовых координат в системе с шестью основными цветами), rgb2CAM02, rgb2CAM16 (преобразовании цветовых координат в систему координат равноконтрастной системы цветовосприятия, для учета свойств человеческого зрения).

ЛИТЕРАТУРА

[1]       https://www.mathworks.com/search/site_search.html?c%5B%5D=entire_site&q=rgb2

[2]       https://www.itu.int/dms_pubrec/itu-r/rec/bt/R-REC-BT.601-7-201103-I!!PDF-R.pdf

[3]       https://www.itu.int/rec/r-rec-bt.709

[4]       Гофайзен О. В. Область цветов, передаваемая системами цифрового телевидения / О. В. Гофайзен, В. В. Пилявский // Цифровые технологии, 2012, Вип. 11, с. 47-70. - Режим доступа: http://nbuv.gov.ua/UJRN/ct_2012_11_8.

[5]       Digital Cinema System Specification Version 1.0 with Errata as of 30 August 2012 Incorporated.– Approved 10 October 2012.–Digital Cinema Initiatives, LLC, Member Representatives Committee

[6]       Digital Cinema System Specification Version 1.2 with Errata as of 30 August 2012 Incorporated.– Approved 10 October 2012.–Digital Cinema Initiatives, LLC, Member Representatives Committee

[7]       SMPTE ST 2065-1:2012Academy Color EncodingSpecification (ACES)

[8]       Gofaizen O. V. Matching of some color spaces for use in different industries and color spaces of television systems / O. V. Gofaizen, V. V. Pilyavskiy // Научные труды ОНАС им. А. С. Попова, 2013, № 2 с. 33-40. - Режим доступа: http://nbuv.gov.ua/UJRN/Nponaz_2013_2_8.

[9]       Yan Li Research on construction and evaluation of the reproduction color gamut for the future laser TV / Yan Li, Jing Wang, Na Li - EURASIP Journal on Wireless Communications and Networking 2013.

[10]    Dong-Woo Kang  Color decomposition method for multi-primary display using 3D-LUT in linearized LAB space / Color Imaging X: Processing, Hardcopy, and Applications SPIE Vol. 5667.

[11]    Masanori Takaya  Color-conversion method for a multi-primary display to reduce power consumption and conversion time / Journal of the SID 13/8,2005.

[12]    Yuri Murakami  Color conversion method for multi-primary display for spectral color reproduction / Journal of Electronic Imaging / October 2004 / Vol. 13(4) / 701.

[13]    Takeyuki Ajito / Color Conversion Method for Multiprimary Display Using Matrix Switching / Optical review Vol. 8, No. 3 (2001) 191-197.

[14]    Masahiro Yamaguchi Real-time video reproduction using six-band HDTV camera and six-primary display / Presented at 12th Color Imaging Conference, Late Breaking News Session, (2004).

[15]    Hyun Wook Ok Color processing for multi-primary display devices / 0-7803-9134-9/052005 IEEE.

[16]    Dong-Woo Kang Multiprimary Decomposition Method Based on aThree-Dimensional Look-Up Table in Linearized LABSpace for Reproduction of Smooth Tonal Change / Journal of Imaging Science and Technology® 50(4): 357–367, 2006.

[17]    Pat. No.: US 6,992,683 B2 Color conversion apparatus and method thereof.

[18]    Multiprimary CONVERSION/ Pub. No.: US 2012/0001963 Al.

[19]    Signal conversion circuit, and multiple-primary-color liquid crystal display device provided with same/ Pub. No.: US 2011/0210911 Al.

[20]    Method of converting signals for multi-primary color display / Patent No.: US 8,237,747 B2.

[21]    Apparatus, methods, and systems for multi-primary display or projection/ Patent No.: US 7,859,554 B2.

[22]    IEC 60050(845) International Lightning Vocabulary. Chapter 845: Lighting / IEC 60050(845). − Switzerland: Geneve. − 1987

[23]    CIE Supplement No.2 to Publication No.15 Recommendation on uniform colour space, colour difference equations, and psychometric terms / CIE Supplement No.2 to Publication No.15. – 1978

[24]    CIE A Colour Appearance Model for Color Management Systems: CIECAM02 / CIE TC8-01 Technical Report. − CIE Pub. No. 159. – 2004

[25]    Luo M. Ronnier CIE Colour Appearance Models and Associated Color Spaces / M. Ronnier Luo, C. L. Li // Colorimetry: Understanding the CIE System. – 2007. – p.261-294

[26]    C., L., Z., L., & al., W. Z. (2017). Comprehensive color solutions: CAM16, CAT16, and CAM16‐UCS. Color Res Appl., 703-718

[27]    Recommendation ITU-R BT.1691-1 Adaptive Image Quality Control in Digital Television Systems. − Geneva: ITU-R. – 2009

[28]    Recommendation ITU-R BT.1692-1 Optimization of the quality of colour reproduction in digital television . − Geneva: ITU-R. – 2009

[29]    Gofaizen, O. V., and V. V. Pilyavskiy. “TV image colour appearance characteristics: Perception adaptive properties.”Digital technologies10 (2011): 86-105.

[30]    Kuang J. iCAM06: A refined image appearance model for HDR image rendering / J. Kuang, Garrett M. Johnson, Mark D. Fairchild // Journal of Visual Communication and Image Representation 18.5. – 2007. – p. 406-414

[31]    Kuang J. iCAM06, HDR, and image appearance / J. Kuang, Mark D. Fairchild //. “Color and Imaging Conference. Vol. 2007. − No. 1

[32]    Rezagholizadeh M. Maximum Entropy Spectral Modeling Approach to Mesopic Tone Mapping / M. Rezagholizadeh, J. Clark James //Color and Imaging Conference. − Vol. 2013. − No. 1. − Society for Imaging Science and Technology, 2013

[33]    Kim Min H. Modeling human color perception under extended luminance levels / Min H. Kim, W. Tim, Kautz Jan // ACM Transactions on Graphics (TOG). − Vol. 28. − No. 3. – ACM 2009

[34]    Mark D. Fairchild iCAM framework for image appearance, differences, and quality / Mark D. Fairchild, M. Johnson Garrett //Journal of Electronic Imaging13.1. – 2004. – p. 126-138

[35]    Mark D. Fairchild Color Appearance Models. 3rd ed. Rochester, USA: IS&T. – 2013

[36]    V.Pilyavskyi (2019) Development of the algorithm of video image adaptation to spectral power distribution of illuminants. Eastern-European journal of enterprise technologies. 1/9 (97). 2019. P.58-6