BC/NW 2016 № 1 (28):10.1
АНАЛИЗ АЛГОРИТМОВ СЛИЯНИЯ ИЗОБРАЖЕНИЙ
Скворцова К.С., Артюхов О.И.
Всевозможные датчики, регистраторы, видеокамеры и др. формирующие и передающие изображения устройства, а также построенные на их основе информационные системы широко используются в самых различных областях человеческой деятельности: медицинской диагностике, космической промышленности, робототехнике, системах слежения и охраны и т.д. Причем, характерной для сегодняшнего дня тенденцией является не только расширение области их применения, но и рост объема информации, выдаваемой конкретной системой, человеку - специалисту, оператору. Эта информация представляется в виде графических изображений, которые поступают к человеку или последовательно, или параллельно во времени, что приводит к резкому повышению нагрузки, вследствие необходимости просмотра, анализа и сопоставления большого количества разрозненных снимков, кадров, видеозаписей.
Одним из подходов к устранению указанной проблемы и повышению эффективности обработки и анализа изображений является применения методологии слияния (объединения) изображений [1].
Данная методология позволяет уменьшить избыточность и объем обрабатываемой информации, следствием чего являются: ускорение процесса принятия решений, увеличение надежности системы, ее производительности и снижение ресурсных затрат.
Разработки по проблеме обработки изображений, создания эффективных и оптимальных их слияния алгоритмов активно ведутся с 80-х годов прошлого столетия. За эти годы были выявлены различные подходы и методы решения задачи. Их анализ позволяет, в зависимости от уровня абстрагирования, выделить три группы алгоритмов [1]:
- слияние на уровне пикселей;
- слияние на уровне областей;
- слияние на уровне решений.
Самыми простыми и очевидными являются алгоритмы слияния на уровне пикселей: в них исходными данными являются ”значения” пикселей исходных изображений, а итоговое изображение получается в результате логических и математических операций с яркостями пар исходных пикселей, координаты которых на входных изображениях совпадают. Алгоритмы слияния на уровне областей используют выделение областей, которые важны для решения задачи. И, наконец, алгоритмы объединения на уровне решений основываются на вычислениях т.н. характеристических функций и не предполагают генерации результирующего изображения, поэтому они применяются лишь для узкого круга конкретных прикладных задач и не рассматриваются далее.
Сравнительный анализ алгоритмов слияния изображений на уровне пикселей и областей по основным характеристикам представлен в табл. 1.
Таблица 1. Сравнение алгоритмов слияния изображений
|
Вид слияния/ Характеристика |
На уровне пикселей |
На уровне областей |
|
Объект слияния |
Пиксели, а основная информация - яркость отдельных пикселей. |
Области. |
|
Достоинства |
· Математическая простота. · Очевидность реализации. · Относительно небольшой объем вычислений. |
· Возможность обработки не совсем близких по своим характеристикам изображений. · Пониженная чувствительность к шуму. · Более высокие характеристики четкости результирующего изображения. |
|
Недостатки |
· Требования «близости» по характеристикам к сливаемым изображениям. · Высокая чувствительность к шуму. |
· Сложность алгоритмизации. · Большой объем вычислений. · Отсутствие универсальных алгоритмов сегментации и распознавания.
|
|
Степень развитости |
Весьма развиты из-за более ранних разработок. |
Весьма развиты, однако разработки начались значительно позже. |
|
Область применения |
Для задач, когда сливаемые изображения близки по своим параметрам/характеристикам (например, при слиянии изображений одного спектрального диапазона, но различных по времени или разрешению).
|
Для задач слияния связанных друг с другом изображений, когда степень различия между ними по параметрам/характеристикам выше некоторого «порога». |
|
Распространенность |
Наиболее распространенны. |
Незначительно распространены. |
|
Получение результирующего изображения |
Получается путем простых математических/логических операций над яркостями пар пикселей сливаемых изображений (либо усредненными показателями яркости совпадающих по координатам небольших по площади областей) |
Яркость каждой точки результирующего изображения вычисляется, исходя из параметров областей исходных изображений, содержащих пиксели, пространственно ей соответствующие выделение представляющих интерес областей осуществляется независимо в каждом канале.
|
Главное различие алгоритмов слияния изображений на уровне пикселей и на уровне областей можно увидеть, если чуть более детально рассмотреть процесс обработки ими изображений. Для этого целесообразно выделить в нем следующие основные этапы: предварительная обработка, классификация, различение, распознавание и главный этап – собственно слияние [2].
На первом этапе - предварительная обработка – происходит преобразование полученного изображения в образ, приемлемый для представления (выдачи) и комфортный для восприятия оператором. На этом этапе осуществляются методы реставрации и улучшения изображений. На этапе классификации выполняется отнесение объектов к одному из классов, различных между собой. На этапе различения осуществляется разделение объектов в различных классах на узкие подклассы, имеющие несущественные различия между собой. На этапе опознавания осуществляется выделение уникальных особенностей объекта. На основном этапе – этапе слияния происходит генерация результирующего изображения. Выполнение указанных этапов может осуществляться как вручную - человеком, так и автоматически - машиной. Перечисленные этапы в зависимости от вида алгоритма слияния, выполняются независимо друг от друга над каждым изображением или совместно.
При слиянии на уровне пикселей предварительная обработка выполняется независимо для каждого изображения. Затем происходит этап слияние, и после этого осуществляются остальные этапы обработки изображений, это показано на рис. 1.
Рис. 1. Процесс слияния изображений на уровне пикселей
При слиянии на уровне областей для каждого изображения происходят этапы предварительной обработки и классификации.
Затем области, выделенные на обоих изображениях, этапом слияния преобразуются в результирующие изображение.
После этого происходит дальнейшая обработка изображения (рис. 2).
Рис. 2. Процесс слияния изображений на уровне областей
Процесс слияния изображения на уровне пикселей и уровне областей различается тем, что этап классификации при слиянии на уровне пикселей осуществляется после слияния на уже объединенных изображениях, а при слиянии на уровне областей – для каждого изображения отдельно до этапа слияния.
Рассмотрев указанные выше две группы алгоритмов слияния изображений, можно утверждать, что и слияние на уровне пикселей, и слияние на уровне областей могут и успешно применяются в современных системах анализа и обработки. Первые из них более распространены за счет легкости и очевидности реализации, но применимы только для «близких» друг к другу изображений. В случае, если изображения значительно отличаются, применение алгоритмов на уровне пикселей невозможно, и необходимо прибегать к сложным вычислениям алгоритмов на уровне областей. Алгоритмы на уровне решений очень сложны в реализации и используются в частных случаях для узкого круга прикладных задач.
1. Lallier E., Farooq M. A real time pixel-level based image fusion via adaptive weight averaging. - 1SIF. – 2000.
2. Патент ВОИС WO 01/72033 кл. Н 04 N 5/222. Способ и система для объединения многоспектральных изображений. – 2002 .