Методы и средства цифровой коррекции изображения в оптико-электронных системах визуализации
При масштабировании, повороте и прочих аффинных преобразованиях изображения широко применяются различные интерполяционные функции. При масштабировании в нецелое число раз видеопоследовательности, имеющей высокий уровень шума, появляется «сетка» чередующихся зон с высоким и низким уровнями шума. Различия между этими двумя зонами могут быть незначительными, однако в связи с периодичностью и отсутствием передвижения этих зон при движении сцены эта «сетка» хорошо различима и может отвлекать внимание оператора. Этот эффект возникает из-за особенностей интерполяции при масштабировании и повороте. Переход от линейной функции интерполяции к кубической не устраняет этот эффект. В диссертации предлагается метод интерполяции, который осуществляется путем вычисления взвешенного среднего (с динамически изменяемыми весовыми коэффициентами):
,
где
– значение яркости в пикселе старого
изображения,
– значение яркости в пикселе нового,
масштабированного, изображения,
– область, по которой
производится интерполяция (близлежащие точки), индекс пиксела
связан с областью
(с
индексами
) заданным пространственным преобразованием,
– интерполяционные коэффициенты, такие, что
. Индекс
можно
рассматривать как некоторое представление новых координат, а индекс
– старых. Рассматривается аддитивный
некоррелируемый гауссовский шум с математическим ожиданием, равным нулю. В этом
случае сигнал можно представить в виде:
,
где
и
– незашумленная и
зашумленная (получаемая) видеопоследовательности,
–
величина шума с математическим ожиданием
и
дисперсией
,
– индекс пиксела в
рассматриваемой строке матрицы изображения,
– номер
кадра. При условии некоррелируемости шума
выражение
для дисперсии по времени
для преобразованного
изображения примет вид:
.
Поскольку повысить резкость в размытых интерполяцией областях мы не можем, то, соответственно, для равномерности дисперсии шума искусственно «размоем» изображение в областях, не подверженных интерполяционному размытию. Поскольку размытие при интерполяции не велико, то и дополнительное местное размытие не должно сильно повлиять на изображение. Такое незначительное размытие может уменьшить влияние шумов, так как его можно рассматривать как низкочастотный фильтр. В работе представлено два примера построения подобных нелинейных фильтров.
Поиск пространственного взаимного рассогласования двух изображений является одной из основных частей алгоритмов геометрической стабилизации изображения, построения панорамного изображения, совмещения изображений. В работе предложен метод, рассчитанный для работы при произвольном угле взаимного поворота изображений.
Наиболее простой способ нахождения параметров поворота, смещений и масштабирования заключается в переборе некоторых возможных их сочетаний. Этот подход очень затратен по времени. Статистический анализ по столбцам и строкам позволяет оптимизировать только работу со смещениями и масштабированием, но работает нестабильно при движении и требует проверки ответа. Для каждого угла возможного угла поворота необходимо проводить всю процедуру заново. Такой метод пригоден для работы с малыми углами отклонения. При больших углах поворота он становится трудоемок.
Предлагается использовать
значения сигналов и статистические моменты, собранные по кольцу (группе
окружностей) с радиусами
на изображении
, где
‑ непрерывная
функция, интерполирующая дискретное изображение
. С каждым
таким кольцом можно связать матрицу
, где
изменяеться с шагом
,
т.е.
(где
), а
индекс
(где
).
Элементы матрицы
определяются интерполяционно, например,
по билинейной интерполяции.
С кольцом
свяжем ряд полезных в дальнейшем числовых
характеристик:
математическое ожидание
значений яркости внутри кольца
–
;
дисперсия значений
яркости внутри кольца
–
;
момент инерции значений
яркости на кольца
–
,
где
,
.
Заметим, что при
вращении изображения
на произвольный угол вокруг
пикселя
значения числовых характеристик
,
,
кольца
не меняются по значению, так как при
вычислении
,
и
просто
циклически меняется порядок суммирования.
Сначала ищутся три
числа
,
и
,
которые характеризуют распределение значений яркости вокруг пикселя
и которые инвариантны относительно поворотов
вокруг пикселя
. На практике равенство следует
рассматривать как некоторый допустимый интервал значений. Таким образом
,
и
на
первом кадре в точке
должны быть близки аналогичным
значениям
,
и
на
втором кадре в соответствующей точке
.
Поиск угла и смещения находится перебором путем сравнения эталонного кольца с выбранным. Для оптимизации работы на выбранном кольце число точек может быть существенно меньше, чем на эталонном. Подходящими значениями будем считать те значения смещений и поворота, при которых обеспечивается максимальная корреляция (либо минимальное рассогласование изображений по выбранной норме).
Используя величин взаимного смещения, поворота и масштабирования последовательности кадров, можно строить панорамное изображение, под которым здесь понимается покадровое совмещение изображений последовательности отдельных кадров, получаемой сканированием оптико-электронной системой (ОЭС) интересуемого участка пространства. Алгоритмически задача построения панорамного изображения из нескольких кадров близка к задаче пространственной стабилизации видеоизображения. Отличие заключается в том, что при построении панорамного изображения необходимо компенсировать полностью все движения, а не только высокочастотные, как это делается при стабилизации. Это накладывает более строгие ограничения на точность определения смещения. Проблема состоит в том, что с каждым последующим кадром ошибка накапливается. В работе предлагается уменьшать накопленную погрешность путем увеличения расстояния по времени между сравниваемыми кадрами. Для оптимизации объемов памяти предлагается вводить специальные опорные кадры, по которым будет производиться сравнение. Развитием идеи сравнения с опорным кадром является сравнение текущего кадра с построенной панорамой. Это позволит сократить использование памяти для хранения кадров для сравнения, а также, в некоторых случаях, сократить время на сравнение.
В третьей главе кратко описаны системы, в которых использованы разработанные алгоритмы. Приводятся основные технические характеристики тепловизионных систем и комплексов «Сыч», «Скопа», «Шахин», «Модуль-МБ2», «Филин», «Аврора», разработанных в ОАО «ЦНИИ «Циклон». Большинство рассмотренных тепловизионных систем было построено на базе ПЛИС фирмы Xilinx. Некоторые системы построены на базе DSP-процессоров фирмы Texas Instruments. Схемы других приборов отличаются незначительно. В качестве дисплея (если он предусматривается конструкцией) используется OLED-дисплей. Для вывода на внешние средства отображения во всех приборах полученное изображение преобразуется в телевизионные форматы PAL или NTSC.
На рис. 2 показана последовательность обработки сигнала с матрицы при компенсации неоднородностей и шумов. Она может быть реализована конвейерно. Разработанные в диссертации алгоритмы позволили расширить функциональные возможности тепловизионных систем и комплексов. Традиционный линейный алгоритм автоматической регулировки усиления заменен на последовательность обработки изображения перед выходом, состоящим из алгоритмов оконтуривания и преобразования уровней яркости с помощью модифицированного гистограммного метода. Для работы алгоритма оконтуривания кроме изображения заранее подготавливается размытое изображение, формируемое с помощью линейного фильтра размытия с учетом адаптивной фильтрации. В системах осуществляющих мультиспектральное совмещение, пространственное преобразование производится только над одним из видеоизображений.

Рис. 2. Последовательность обработки сигнала с матрицы
Заключение
Результаты проведенных исследований и разработок позволяют сделать следующие основные выводы.
Применение многотабличной трехточечной калибровки в тепловизионных системах с микроболометрами позволяет обеспечивать требуемое качество изображения в широком диапазоне температур наблюдаемых сцен.
Для замещения дефектных элементов матрицы, компенсации шумов, повышения контраста и автофокусировки может быть построена система алгоритмов, реализуемая на базе общего фильтра размытия.
Для компенсации искажений равномерности дисперсии шумов по кадру после геометрических преобразований (масштабирование, поворот) равномерно зашумленных белым шумом изображений возможно использовать предложенный метод, основанный на использовании фильтра размытия.
Предложенный быстрый алгоритм автоматической регулировки уровней яркости эффективен для обработки в реальном масштабе времени изображений с широким диапазоном яркости.
Используя метод, основанный на сборе статистики по окружностям на изображении, можно построить алгоритм нахождения геометрического рассогласования двух кадров для произвольного угла их взаимного поворота.
Реализация и тестирование предложенных методов и программных средств повышения качества изображений подтверждают их эффективность для тепловизионных систем с неохлаждаемыми микроболометрическими матрицами.
Список научных работ по теме диссертации
1. Демидов В.М. Преобразование уровней яркости видеоизображения с широким диапазоном градаций. // в сб. «Оптико-электронные системы визуализации и обработки оптических изображений» вып. 2, ‑ М.: ЦНИИ «Циклон», 2007, с. 212-221.
2. Демидов В.М. Компенсация неравномерности шума, возникающей при интерполяции. // в сб. «Оптико-электронные системы визуализации и обработки оптических изображений» вып. 2, ‑ М.: ЦНИИ «Циклон», 2007, с. 235-242.
3. Демидов В.М. Яковлев М.Б., Снижение уровня шума на видеоизображении путем цифровой обработки. // в сб. «Оптико-электронные системы визуализации и обработки оптических изображений» вып. 2, ‑ М.: ЦНИИ «Циклон», 2007, с. 243-247.
4. Демидов В.М. Критерии сопоставления качества фокусировки объектива. // в сб. «Оптико-электронные системы визуализации и обработки оптических изображений» вып. 2, ‑ М.: ЦНИИ «Циклон», 2007, с. 264-272.
5. Демидов В.М., Поляков А.Ю. Алгоритм пространственной стабилизации изображения с использованием свободных коэффициентов // в сб. «Оптико-электронные системы визуализации и обработки оптических изображений» вып. 2, ‑ М.: ЦНИИ «Циклон», 2007, с. 273 – 280.
6. Демидов В.М., Поляков А.Ю. Алгоритм пространственной стабилизации изображения // Научная сессия МИФИ-2007, Том 1, – 2007, с. 93 – 94.
7. Демидов В.М. Повышение точности определения геометрического рассогласования кадров видеопоследовательности при тепловизионной аэро- и космической съемке // «Изв. вузов. Геодезия и аэрофотосъемка» – 2008. №2. с. 168-175.