Демозаїкізація

Демозаїкізація (або дебаєрізація) — алгоритм, який використовуються для відтворення повного кольорового зображення з неповних вихідних даних з сенсора зображення, закритого масивом кольорових фільтрів (МКФ). Процедура також відома як реконструкція кольору.

Більшість сучасних камер використовують єдиний сенсор зображення, вкритий МКФ; таким чином, демозаїкізація є частиною послідовності процесу обробки зображення, що є необхідною для переводу цих зображень у формат, доступний для перегляду

Багато сучасних цифрових камер можуть зберігати зображення у «сирому форматі», що дозволяє користувачу проводити процес демозаїкізації за допомогою зовнішнього програмного забезпечення, а не використовуючи прошивку камери.

Мета

Метою демозаїкізації є відтворення повного кольорового зображення (тобто, повного набору кольорових трійок) з неповного набору вихідних даних з МКФ. Алгоритм повинен мати такі властивості:

• Уникати створювати кольорові артефакти, такі як хроматичний аліасинг, зіперінг (різка неприродна зміна насиченості поміж сусідніми пікселями) та фіолетові ореоли.
• Максимально зберігати роздільність зображення.
• Низька алгоритмічна складність для швидкої обробки або ефективної вбудованої апаратної реалізації.
• Доступність для аналізу для правильного зниження шуму.

Масив кольорових фільтрів

Баєровське розташування кольорових фільтрів на масиві пікселів сенсора зображена. Кожна клітка 2 на 2 містить два зелених, один червоний і один синій піксель.

Масив кольорових фільтрів являє собою мозаїку кольорових фільтрів перед сенсором зображення. Найбільш вживаною конфігурацією МКФ є баєрівський фільтр, що показаний на ілюстрації. Він має змінні червоний (R) та зелений (G) фільтри на непарних рядках та зелений (G) та синій (B) фільтри на парних. Зелених фільтрів удвічі більше, ніж червоних або синіх, оскільки чутливість людського ока до зеленого світла найвища.

Через те, що кольорова підвибірка МКФ за своєю природою веде до аліасингу, зазвичай використовується також оптичний анти-аліасинговий фільтр, що зазвичай розташований між сенсором та об'єктивом для зниження кольорових артефактів (хроматичних аліасів), що з'являються внаслідок інтерполяції.^[1]

Через те що кожного пікселя сенсора вкрито кольоровим фільтром, на виході маємо масив пиксельних значень інтенсивності яскравості для одного з трьох кольорів. Тобто, алгоритм повинен оцінювати значення усіх трьох компонентів для кожного пікселя, а не тільки одного з трьох.

Ілюстрація

Для відтворення повного кольорового зображення з даних МКФ потрібна певна форма інтерполяції.

У цьому зразку ми використовуємо бікубічну інтерполяцію Adobe Photoshop для симуляції схеми пристрою з баєровським фільтром, такого як цифрова камера.

Зображення нижче симулює вихідні дані з сенсору, вкритого Баєровським фільтром; кожен піксель має тільки червоний, зелений або синій компонент. Оригінальне зображення показано поруч с реконструйованим у кінці секції.

Зразок Баєровського фільтра
Червоний	Зелений	Синій

Цифрова камера зазвичай має засоби для реконструкції повного кольорового зображення, використовуючи інформацію вище. Результат може виглядати якось так:

Оригінал	Реконструкція

Реконструйоване зображення зазвичай доволі точне на однокольорових ділянках, проте втрачає роздільність (деталі та різкість) та має артефакти на краях (наприклад, краї літер мають видиму кольорову кайму та деякі нерівності).

Алгоритми

Проста інтерполяція

Ці алгоритми є зразком багатовимірної інтерполяції на рівномірній сітці, вони використовують відносно прості математичні операції на найближчих включеннях того ж самого кольорового компоненту. Найпростішим методом є інтерполяція методом найближчого сусіда, що просто копіює суміжний піксель того ж каналу. Цей метод не підходить будь-де, де важлива якість, але може використовуватися для генерації превью при обмежених обчислювальних ресурсах. Іншим простим методом є білінійна інтерполяція, де червоний канал нечервоного пікселя обчислюється як середнє двох або чотирьох сусідніх червоних пікселей, так само для зеленого та синього. Більш складні методи інтерполюють незалежно, в межах кожної кольорової площини, включають в себе бікубічну інтерполяцію, інтерполяцію сплайнами та фільтр Ланцоша.

Незважаючи на те, що за допомогою цих методів можна отримати хороші результати для однородних ділянок зображення, вони схильні до створення серйозних артефактів демозаїкізації у ділянках з краями та деталями, коли використовуються з чистокольоровими МКФ.^[2] Проте лінійна інтерполяція може давати дуже хороші результати в поєднанні з просторово-спектральним (панхроматичним) МКФ.^[3] Можливо використовувати для демозаїкізації прості моделі формування зображень. У природних зображеннях у межах одного сегмента співвідношення кольорів має зберігатися. Цей факт використано при створенні інтерполяції, чутливої до зображення, що використовується для демозаїкізації.^[4]

Кореляція пікселів у межах зображення

Складніші демозаїкувальні алгоритми використовують просторову та/або спектральну кореляцію пікселів у кольоровому зображенні.^[5] Просторова кореляція — це схильність пікселів приймати однакових кольорових значень у межах малих однорідних ділянок зображення. Спектральна кореляція — залежність між піксельними значеннями різних кольорових площин на маленькій ділянці зображення.

Ці алгоритми включають у себе:

• Інтерполяція зі змінним числом градієнтів^[6] обчислює градієнти навколо цільового пікселя та використовує нижчий градієнт (що представляє гладші та більш подібні частини зображення) для оцнки. Використовувалася у першій версії dcraw та потерпала від кольорових артефактів.
• Піксельне групування^[7] використовує припущення про природні зображення у своїх оцінках. Воно має менше кольорових артефактів, ніж метод змінного числа градієнтів; вперше представлене у dcraw 8.71 як «Групування пікселів по шаблону».
• Адаптивна однорідно-направлена інтерполяція обирає напрям інтерполяції таким чином, щоб максимізувати метрику однорідності, що зазвичай мінімізує кольорові артефакти.^[8] Вона була впроваджена у останніх версіях dcraw.^[9]

Компроміси

Деякі методи можуть давати кращий результат для природних зображень, а деякі — для печатних матеріалів. Також існує компроміс між швидкістю та якістю алгоритмів.

Використання у ПЗ для обробки зображень

При наявності доступу до зображення у сирому форматі з цифрової камери можливо використовувати комп'ютерне програмне забезпечення з асортиментом демозаїкувальних алгоритмів замість використання лише одного, вбудованого в камеру. Деякі програми, такі як  RawTherapee, дають користувачу можливість вибирати проміж алгоритмів. Але більшість програм зазвичай використовують тільки один алгоритм. Різниця у прорисовці тонких деталей (та зернистих текстур), викликана вибором алгоритму, є часто головною різницею поміж різних програм; часто фотографи вибирають конкретну програму з естетичних міркувань, пов'язаних із цим ефектом.

Кольорові артефакти, викликані демозаїкізацією, дають важливу інформацію для визначення підробок.^[10]

Див. також

• Фільтр Баєра