Фундаментальна матриця (комп'ютерний зір)

У комп'ютерному зорі фундаментальна матриця ${\displaystyle \mathbf {F} }$ - матриця 3 × 3, яка пов'язує відповідні точки у стереозображеннях. В епіполярній геометрії з однорідними координатами для координат x і x ′ відповідних точок у парі стереозображень Fx описує лінію (епіполярну лінію), на якій повинна лежати відповідна точка x ′ іншого зображення. Це означає, що для всіх пар відповідних точок має місце

${\displaystyle \mathbf {x} '^{\top }\mathbf {Fx} =0.}$

У Вікіпедії є статті про інші значення цього терміна: Фундаментальна матриця.

Матрицю оцінюють з урахуванням щонайменше семи точкових відповідностей. Сім параметрів визначають єдину геометричну інформацію про камери, яку можна отримати лише за допомогою точкових відповідностей.

Термін «фундаментальна матриця» був введений QT Луонгом у кандидатській дисертації. Цю матрицю іноді також називають "біфокальним тензором". Це двоточковий тензор, що є білінійною формою, яка повʼязує точки у різних системах координат.

Вищезазначене співвідношення, яке визначає фундаментальну матрицю, було опубліковано в 1992 р Олів'є Фаугерасом і Річардом Хартлі. Хоча істотна матриця Крістофера Лонге Хіггінса задовольняє аналогічній умові, істотна матриця являє собою метрику об'єкта, що відповідає каліброваним камерам, в той час як фундаментальна матриця описує відповідність в більш загальних і фундаментальних термінах проективної геометрії. Математично співвідношення між фундаментальною матрицею ${\displaystyle \mathbf {F} }$ та відповідною їй істотною матрицю ${\displaystyle \mathbf {E} }$ можна виразити як

${\displaystyle \mathbf {E} =({\mathbf {K} '})^{\top }\;\mathbf {F} \;\mathbf {K} }$

${\displaystyle \mathbf {K} }$ і ${\displaystyle \mathbf {K} '}$ є внутрішньою матрицею калібрування двох задіяних зображень.

Вступ

Фундаментальна матриця встановлює звʼязок між будь-якими двома зображеннями однієї і тієї ж сцени обмежуючи можливі координати проєкції точок сцени на обох зображеннях. Взявши проєкцію сцени на одне із зображень, відповідна точка на іншому зображенні може лежати лише на певній лінії, що полегшує пошук та дозволяє виявляти неправильні відповідності. Відношення між відповідними точками зображення, які представляє основна матриця, називається епіполярним обмеженням, обмеженням відповідності.

Теорема про проективну реконструкцію

Фундаментальну матрицю можна визначити набором точкових відповідностей. Крім того, ці відповідні точки зображення можуть бути триангульовані для визначення координат точки у 3Д просторі за допомогою матриць камер, отриманих безпосередньо з цієї фундаментальної матриці. Сцена, складена з цих точок, знаходиться в межах проективного перетворення справжньої сцени.^[1]

Доведення

Вважатимемо, що відповідні точки двох зображень ${\displaystyle \mathbf {x} \leftrightarrow \mathbf {x'} }$ яким відповідає точка ${\displaystyle {\textbf {X}}}$ на сцені отримано за допомогою камер із матрицям ${\displaystyle \left({\textbf {P}},{\textbf {P}}'\right)}$, тобто

${\displaystyle {\begin{aligned}\mathbf {x} &={\textbf {P}}{\textbf {X}}\\\mathbf {x'} &={\textbf {P}}'{\textbf {X}}\end{aligned}}}$

Введемо перетворення простору загальною матрицею гомографії ${\displaystyle {\textbf {H}}_{4\times 4}}$ як ${\displaystyle {\textbf {X}}_{0}={\textbf {H}}{\textbf {X}}}$.

Тоді перетворення камер

${\displaystyle {\begin{aligned}{\textbf {P}}_{0}&={\textbf {P}}{\textbf {H}}^{-1}\\{\textbf {P}}_{0}'&={\textbf {P}}'{\textbf {H}}^{-1}\end{aligned}}}$

${\displaystyle {\textbf {P}}_{0}{\textbf {X}}_{0}={\textbf {P}}{\textbf {H}}^{-1}{\textbf {H}}{\textbf {X}}={\textbf {P}}{\textbf {X}}=\mathbf {x} }$ і так само з ${\displaystyle {\textbf {P}}_{0}'}$ ми все щє отримуємо ті самі точки

Виведення фундаментальної матриці з використанням умови копланарності

Фундаментальну матрицю можна також отримати, використовуючи умову копланарності.^[2]

Методи знаходження

Якщо відомо що найменш вісім відповідних точок зображень, для знаходження фундаментальної матриці може бути використано восьмиточковий алгоритм.

Властивості

Фундаментальна матриця має ранг 2. Його ядро визначає епіполь.

Використання

Зазвичай фундаментальна матриця використовується для спрощєння пошуку відповідностей між двома зображеннями. Пошук відповідної точки зображення можна вести або увздовж епіполярної лінії на іншому зображенні, або ж зображення можна ректифікувати і вести пошук лише за однїєю координатою. Відновлення тривимірного положення точок із використанням лише фундаментальної матриці неможливе (в межах проективної невизначеності). Однак якщо відома інформація про параметри камери (фокусна відстань та принципова точка) то з фундаментальної матриці можна отримати істотну матрицю розклад якої дозволяє отримати інформацію про відносні положення та орієнтації камер, після чого стає можливим виконати тріангуляцію точок.

Ще

Пісня про фундаментальну матрицю на youtube(англ).

Див. також

• Епіполярна геометрія
• Восьмиточковий алгоритм
• Істотна матриця
• Трифокальний тензор