BC/NW 2013, №2 (23):10.1

ПРЕДВАРИТЕЛЬНАЯ ОБРАБОТКА КАДРОВ ВИДЕОПОТОКА ДЛЯ АЛГОРИТМА ФРАГМЕНТАРНОГО СЖАТИЯ ВИДЕОПОТОКА

Огнев И.В., Огнев А.И., Горьков А.Г.

(ФБГОУ ВПО «Национальный исследовательский университет «МЭИ», Москва, Россия)

Данная работа представляет собой продолжение исследований фрагментарного метода сжатия видеопотока. Алгоритмы сжатия информации без потерь важны в ситуациях, когда необходимо абсолютно точное восстановление сжатой информации. В случае с видеопотоком во многих задачах требуется не точное, а визуально неотличимое восстановление информации. Если допустить незначительное (с точки зрения зрителя) искажение видеопотока, можно значительно улучшить коэффициент сжатия. В данной статье рассматривается возможность применения алгоритма фрагментарного сжатия видеопотока для сжатия с потерями.

Основная идея алгоритма фрагментарного сжатия видеопотока была описана в статьях [1] и [2].

Основные шаги рассматриваемого алгоритма:

1.     Создание базы элементов (вычисляются и сохраняются все элементы, реально встречающиеся в видеопотоке);

2.     Построение коротких кодов элементов (строятся префиксные коды с низкой избыточностью, например, коды Хаффмана или коды секущих функций);

3.     Кодирование фильма (окна кадра кодируются полученными на шаге 2 префиксными кодами).( Под окном в данной работе понимается прямоугольная область  на  пикселов)

Потери могут быть внесены как до этапа сбора базы элементов (предварительная обработка), так и после сбора базы элементов (постобработка), кроме того, оба этих метода могут использоваться совместно.

Алгоритм фрагментарного сжатия видеопотока чувствителен к шумам на исходном изображении. Зашумлённое окно будет храниться в базе как отдельный элемент. Предварительная обработка используется для улучшения качества исходного видеопотока и удаления шумов. В то же время шумы можно удалить и после сбора базы элементов. С большой вероятностью можно утверждать, что фрагменты с наименьшими частотами соответствуют зашумлённым окнам. Идея постобработки заключается в удалении самых редких элементов из базы и замене их наиболее близкими в визуальном смысле. Ниже более подробно рассмотрен первый подход.

Причин возникновения шумов довольно много. Это и неправильная настройка или неисправность устройств получения изображений, и помехи, возникающие в каналах связи, и плохие условия съёмки (например, шум КМОП-матриц в темноте). Каждая из перечисленных выше причин приводит к появлению разных типов шумов. На данный момент не существует универсального алгоритма, способного бороться со всеми видами шума, поэтому существует множество специализированных алгоритмов.

Основной способ борьбы с шумами – это фильтрация. При фильтрации изображений для некоторых пикселей исходного изображения вычисляются новые значения. Новое значение пиксела зависит как от значения исходного пиксела, так и от значений окрестных пикселов.

Наиболее распространёнными в практических задачах являются следующие фильтры:

·       Усредняющий фильтр;

·       Гауссов фильтр;

·       Медианный фильтр.

Но есть и множество других фильтров, предназначенных для других задач (например, детектор краёв). В работе исследуется два фильтра медианный и, предложенный авторами, оконный фильтр.

Медианный фильтр

Изначально медианный фильтр использовался в экономических задачах, но гораздо большую эффективность он показал в задачах обработки изображений.

При медианной фильтрации по исходному изображению перемещается двумерное окно (чаще всего квадратной формы), называемое окрестностью фильтра. В окрестности фильтра произвольно (но чаще всего в геометрическом центре) выбирается точка, именуемая центром фильтра. При движении фильтра по изображению создаётся выборка, состоящая из значений пикселов исходного изображения, попавших внутрь окрестности фильтра. Медианой называется элемент, занимающий центральное положение в отсортированной по неубыванию выборке. Медианное значение будет результатом фильтрации для пиксела, совпадающего с центром фильтра. Используя медианный фильтр можно избавиться от помех, не превышающих половину окрестности фильтра.

Основным недостатком медианного фильтра является то, что на отфильтрованном изображении смазываются границы, и изображение в целом становится менее резким. На Рис. 1 приведён пример применения к изображению медианного фильтра размером 3 на 3 пиксела.

Рис. 1. Результат обработки изображения медианным фильтром размером 3 на 3 пиксела

Оконный фильтр

Оконный фильтр принципиально отличается от медианного фильтра и других распространённых фильтров, т.к. применяется не к одному изображению, а к двум последовательным кадрам видеопотока. Вторым отличием оконного фильтра является то, что он применяется не к отдельным пикселам и их окрестностям, а к окну в целом. Т.е. при движении в строке фильтр смещается не на один пиксел, а на  пикселов, а при движении в столбце на  пикселов.

При движении фильтра по изображению создаётся вспомогательный массив, совпадающий по размерам с окном, который заполняется по следующему правилу:

где - это -ый кадр видеопотока.

Легко заметить, что количество единиц во вспомогательном массиве равно количеству пикселов, изменившихся в соответствующем окне при переходе от кадра к кадру. Далее для фильтра выбирается порог – т.е. доля пикселов, которые должны измениться, чтобы два окна считались существенно разными.

Если порог не превышен, то в i+1 кадре соответствующее окно считается помехой и копируется из i-ого кадра. На первый взгляд этот фильтр кажется весьма грубым, но на самом деле искажения, вносимы данным фильтром (особенно при низком пороге) практически не заметны см. рис. 2.

Рис. 2. Результат обработки изображения оконным фильтром (4 на 2 пиксела) с порогом фильтра 15%

Наиболее заметные искажения возникают при движении ярких объектов на тёмном фоне при пороге фильтра >=30% см. рис. 3.

 

Рис. 3. Результат обработки изображения оконным фильтром (4 на 2 пиксела) с порогом фильтра 30%

Совместное использование оконного и медианного фильтра привносит в изображение дополнительные искажения, и изображение получается ещё более размытым, чем при использовании только медианного фильтра (см. рис. 4).

Рис. 4. Результат обработки изображения оконным фильтром (4 на 2 пиксела) с порогом фильтра 30% и медианным фильтром 3 на 3 пиксела

Влияние фильтрации на коэффициент сжатия

Как было показано в [2], коэффициент сжатия можно оценить по формуле:

где - размеры кадра,  – длина видеопотока в кадрах,  - глубина цвета,  - количество уникальных элементов в базе.

Были проведены эксперименты, позволяющие вычислить количество уникальных элементов в базе и энтропию базы. Результаты экспериментов показаны на Рис. 5-6:

Рис. 5. Зависимость количества элементов в базе от применяемого фильтра

Рис. 6. Зависимость энтропии базы элементов от применяемого фильтра

Если подставить полученные значения энтропии и количество элементов в базе в формулу коэффициента сжатия и посчитать прирост коэффициента сжатия, получатся следующие значения (см. рис. 7):

Рис. 7. Зависимость прироста коэффициента сжатия от применяемого фильтра

В результате проведённых исследований показано, что метод фрагментарного сжатия видеопотока без потерь может быть модифицирован для сжатия видеопотока с потерями. При этом восстановленное видео визуально практически не отличается от исходного, а коэффициент сжатия возрастает в среднем на 26%. В качестве фильтров для предварительной обработки видеопотока авторы советуют оконный (порог 15% или 30%). Медианный фильтр стоит использовать только на видеопотоках без резких границ.

Литература

1.     Огнев И.В., Огнев А.И., Горьков А.Г. «АЛГОРИТМ ФОРМИРОВАНИЯ БАЗЫ ДАННЫХ ДЛЯ ФРАГМЕНТАРНОГО МЕТОДА СЖАТИЯ ВИДЕОПТОКА БЕЗ ПОТЕРЬ». Труды XX международной научно-технической конференции «Информационные средства и технологии» в трёх томах. Т.1. - М.: Издательство МЭИ, 2012 – 67-78 с.

2.     Огнев И.В., Огнев А.И., Горьков А.Г. «ОПТИМИЗАЦИЯ КОНФИГУРАЦИИ ОКНА СКАНИРОВАНИЯ В ФРАГМЕНТАРНОМ МЕТОДЕ СЖАТИЯ ВИДЕОПОТОКА БЕЗ ПОТЕРЬ». Труды XX международной научно-технической конференции «Информационные средства и технологии» в трёх томах. Т.1. - М.: Издательство МЭИ, 2012 – 78-86 с.

3.     Л. Шапиро, Дж. Стокман. Компьютерное зрение. –М.: Бином. Лаборатория знаний, 2006. – 752 с.

4.     4. Б. Яне. Цифровая обработка изображений. –М.: Техносфера, 2007. -584 с.