TWI387936B - A video conversion device, a recorded recording medium, a semiconductor integrated circuit, a fish-eye monitoring system, and an image conversion method - Google Patents

A video conversion device, a recorded recording medium, a semiconductor integrated circuit, a fish-eye monitoring system, and an image conversion method Download PDF

Info

Publication number
TWI387936B
TWI387936B TW098124538A TW98124538A TWI387936B TW I387936 B TWI387936 B TW I387936B TW 098124538 A TW098124538 A TW 098124538A TW 98124538 A TW98124538 A TW 98124538A TW I387936 B TWI387936 B TW I387936B
Authority
TW
Taiwan
Prior art keywords
image
coordinate system
dimensional
coordinates
point
Prior art date
Application number
TW098124538A
Other languages
English (en)
Other versions
TW201011690A (en
Inventor
Koji Inagaki
Original Assignee
Dainippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dainippon Printing Co Ltd filed Critical Dainippon Printing Co Ltd
Publication of TW201011690A publication Critical patent/TW201011690A/zh
Application granted granted Critical
Publication of TWI387936B publication Critical patent/TWI387936B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

影像轉換裝置、記錄有程式之記錄媒體、半導體積體電路、魚眼監視系統、及影像轉換方法
本發明係關於影像轉換裝置，特別係關於截出藉由使用魚眼透鏡之攝影所得的扭曲圓形影像一部分，以進行轉換為平面正規影像之處理的裝置。
當使用魚眼透鏡時，能在無機械動作機構之情況下取得表示半球狀之全方位的圓形影像。因此，被廣汎地利用於拍攝追求奇特效果之風景照片等時。然而，使用魚眼透鏡攝影所得之影像，因變成扭曲之圓形影像，故或許雖能直接利用於藝術照片等用途，但不適用於一般用途。
因此，已提出一種將使用魚眼透鏡之攝影所取得之扭曲圓形影像，轉換為扭曲少之平面正規影像之處理的裝置。例如，於下述之專利文獻1及2，揭示有利用電腦將扭曲圓形影像之一部分即時轉換為平面正規影像的技術。若利用此種轉換技術，即能將使用魚眼透鏡拍攝之扭曲圓形影像所組成之動畫，作為平面正規影像之動畫即時觀察，而能期待應用於具有180°視角之監視系統等。
另一方面，於下述之專利文獻3揭示，藉由將使用魚眼透鏡攝影所得之扭曲圓形影像轉換為展開於圓筒面上之影像，以於水平方向進行全景表示的技術，又，於下述之專利文獻4揭示，藉由將扭曲圓形影像轉換為平面正規影像時必要之除算及其他函數運算，以參照一覽表之處理來代用，減輕安裝硬體之技術。
[專利文獻1]日本專利第3012142號公報
[專利文獻2]日本專利第3051173號公報
[專利文獻3]日本專利第3025255號公報
[專利文獻4]日本專利第3126955號公報
最近，將安裝有魚眼透鏡之防犯攝影機設置於建築物之天花板或壁面，將該防犯攝影機攝影之影像顯示於監視器裝置的魚眼監視系統日益普及。在上述用途中，由於需在監視器畫面上正確地掌握人物之臉部或衣服等特徵，因此被期待能取得盡量不扭曲之平面正規影像。然而，以往提出之影像轉換裝置，欲取得符合此種期待之無扭曲平面正規影像係相當困難的。
例如，若使用揭示於上述之專利文獻1、2之技術，雖能從使用魚眼透鏡之攝影所得之扭曲圓形影像截出使用者所欲之部分，而取得矩形之平面正規影像，但所取得之平面正規影像會扭曲，不足以用於欲確認人物之細微特徵之用途夠。特別是，因所取得之矩形平面正規影像之外側部分(輪廓附近)的扭曲較大，欲使截出部分慢慢移動以進行水平移動時，不能取得圓滑之平移影像。
另一方面，揭示於上述之專利文獻3之技術，因能取得在水平方向成細長狀取得之全景影像，故若截出其一部分而顯示於監視器畫面上，即使進行水平移動時，仍能取得圓滑之平移影像。然而，以該技術取得之全景影像，水平方向之扭曲雖小，但因垂直方向之扭曲變大，故實用上，能截出之區域受限制。具體而言，即使拍攝半球狀之區域，因會於截出其天頂部附近之平面正規影像產生較大扭曲，故實用上，無法截出天頂部附近。如上述，當可截出部未受限時，利用於防犯攝影機時因會產生死角故不妥當。
因此，本發明之目的，在於提供一種影像轉換裝置，該裝置能從使用魚眼透鏡攝影所得之扭曲圓形影像截出所欲之任意部分，並轉換為扭曲少之平面正規影像。
(1)本發明之第1形態，係一種影像轉換裝置，係進行將使用魚眼透鏡之所攝得之扭曲圓形影像之一部分截出並轉換為平面正規影像之處理，其設置：扭曲圓形影像用記憶體，由配置於二維XY正交座標系統上之座標(x、y)所示位置之多數個像素之集合體構成，用以儲存具有以該二維XY正交座標系統之原點O為中心之半徑R之扭曲圓形影像；平面正規影像用記憶體，用以儲存由配置於二維UV正交座標系統上之座標(u、v)所示位置之多數個像素之集合體構成之平面正規影像；參數輸入單元，於包含該二維XY正交座標系統之三維XYZ正交座標系統中，將以該原點O為起點朝向任意方向之視線向量n作為表示平面正規影像之截出位置之參數輸入，將既定之平面傾斜角ψ作為表示平面正規影像之截出方向之參數輸入，將既定之倍率m作為表示平面正規影像之截出尺寸之參數輸入；對應座標算出單元，於該視線向量n上，以從該原點O離開「該倍率m與該半徑R之積m‧R」之點G為原點，將在通過該點G並正交於該視線向量n之平面上以對應該平面傾斜角ψ之方向配置之二維UV正交座標系統，藉由使其沿「該點G構成側面上之1點且具有與該二維UV正交座標系統之V軸平行之中心軸之假想圓柱」之側面彎曲，而定義出二維UV彎曲座標系統，使用表示該二維UV彎曲座標系統上之座標(u、v)與該二維XY正交座標系統上之座標(x、y)之對應關係的既定對應關係式，算出對應任意座標(u、v)之對應座標(x、y)；及平面正規影像作成單元，將構成該平面正規影像之1個著眼像素之座標(u、v)賦予該對應座標算出單元而算出對應座標(x、y)，讀出配置於該扭曲圓形影像用記憶體內之該對應座標(x、y)附近之像素之像素值，將根據所讀出之像素值決定該著眼像素之像素值的處理，就構成該平面正規影像之各像素分別執行，以將各像素之像素值寫入該平面正規影像用記憶體內，藉此作成該平面正規影像。
(2)本發明之第2形態，係上述第1形態之影像轉換裝置中，對應座標算出單元，當在以原點O為中心具有半徑R之假想球面上，因應所使用之魚眼透鏡之投影方式，取與二維XY正交座標系統之座標(xi、yi)所示之點Si對應之球面上對應點Qi，使連結該原點O與該球面上對應點Qi之直線與二維UV彎曲座標系統之圓柱側面狀座標面之交點Ci在該二維UV彎曲座標系統上之座標為(ui、vi)時，係使用該座標(xi、yi)作為對應該座標(ui、vi)之對應座標所求出之對應關係式。
(3)本發明之第3形態，係上述第2形態之影像轉換裝置中，對應座標算出單元，當儲存於扭曲圓形影像用記憶體之扭曲圓形影像係藉由正射影方式之魚眼透鏡所拍攝之正射影影像時，係對以座標(xi、yi)所示之點Si使用正射影影像用對應關係式，該正射影影像用對應關係式係將作為通過該點Si且平行於Z軸之直線與假想球面之交點而賦予之座標(xi、yi、zi)所示之點作為球面上對應點Qi，當儲存於扭曲圓形影像用記憶體之扭曲圓形影像係藉由非正射影方式之魚眼透鏡所拍攝之非正射影影像時，係使用以該正射影影像上之座標與該非正射影影像上之座標間之座標轉換式修正該正射影影像用對應關係式而藉此所得的非正射影影像用對應關係式。
(4)本發明之第4形態，係於上述第3形態之影像轉換裝置中，對應座標算出單元，係使用「點G構成側面上之1點且具有與二維UV正交座標系統之V軸平行且通過三維XYZ正交座標系統之原點O之中心軸之假想圓柱」，定義出二維UV彎曲座標系統。
(5)本發明之第5形態，係於上述第4形態之影像轉換裝置中，對應座標算出單元，係將視線向量n對XY平面上之正射影與Y軸所形成之角度作為方位角α，將視線向量n與Z軸正方向所形成之角度作為天頂角β，在
A=cosψcosα-sinψsinα cosβ
B=-sinψcosα-cosψsinα cosβ
C=sinβ sinα
D=cosψsinα+sinψcosα cosβ
E=-sinψsinα+cosψcosα cosβ
F=-sinβcosα
G=R/√(w2 +v2 )
W=mR
u’=w‧sin(u/w)
w’=w‧cos(u/w)
之定義下，作為表示座標(u、v)與座標(x、y)之對應關係的正射影影像用對應關係式，使用下式：
x=G(u’ A+vB+w’ C)
y=G(u’ D+vE+w’ F)
(6)本發明之第6形態，係於上述第5形態之影像轉換裝置中，對應座標算出單元，具有：旋轉係數運算部，係從參數輸入單元被賦予視線向量n及平面傾斜角ψ時，根據該視線向量n求出方位角α及天頂角β，並根據下列運算式
A=cosψcosα-sinψsinα cosβ
B=-sinψcosα-cosψsinα cosβ
C=sinβ sinα
D=cosψsinα+sinψcosα cosβ
E=-sinψsinα+cosψcosα cosβ
F=-sinψcosα
運算出旋轉係數A、B、C、D、E、F；共通係數運算部，當從參數輸入單元被賦予倍率m，從平面正規影像作成單元被賦予座標v時，使用扭曲圓形影像之半徑R，根據運算式
w=mR
G=R/√(w2 +v2 )
運算出共通係數；彎曲座標修正部，當從參數輸入單元被賦予倍率m，從平面正規影像作成單元被賦予座標u時，使用扭曲圓形影像之半徑R，根據運算式
w=mR
u’=w‧sin(u/w)
w’=w‧cos(u/w)
運算出u’及w’；及xy座標值算出部，係使用從該平面正規影像作成單元被賦予之座標v、該旋轉係數運算部所運算出之旋轉係數A、B、C、D、E、F、該共通係數運算部所運算出之共通係數G、該彎曲座標修正部所運算出之u’及w’、以及扭曲圓形影像之半徑R，根據下列運算式，
x=G(u’ A+vB+w’ C)
y=G(u’ D+vE+w’ F)
運算出x及y。
(7)本發明之第7形態，係於上述第6形態之影像轉換裝置中中，參數輸入單元，具有根據使用者之指示或根據儲存於扭曲圓形影像用記憶體之扭曲圓形影像將半徑R作為可變參數輸入之機能，共通係數運算部及彎曲座標修正部，係使用該參數輸入單元所輸入之半徑R進行運算。
(8)本發明之第8形態，係於上述第3~第7形態之影像轉換裝置中，對應座標算出單元，當儲存於扭曲圓形影像用記憶體之扭曲圓形影像，係藉由等距離射影方式之魚眼透鏡所拍攝之等距離射影影像時，係使用將正射影影像上之座標(xa、ya)轉換為等距離射影影像上之座標(xb、yb)之座標轉換式
xb=xa(2R/πr)sin-1 (r/R)
yb=ya(2R/πr)sin-1 (r/R)
其中，r=√(xa2 +ya2 )來進行對正射影影像對應關係式之修正。
(9)本發明之第9形態，係於上述第1~第8形態之影像轉換裝置中，參數輸入單元，係將二維XY正交座標系統上之截出中心點P之座標(x0、y0)作為定義視線向量n之參數輸入，於三維XYZ正交座標系統，定義出以原點O為中心具有半徑R之假想球面；當儲存於扭曲圓形影像用記憶體之扭曲圓形影像，係藉由正射影方式之魚眼透鏡所拍攝之正射影影像時，即定義出通過該截出中心點P且平行於Z軸之直線與該假想球面之交點Q，將以該原點O為起點通過該交點Q之向量作為視線向量n；當儲存於扭曲圓形影像用記憶體之扭曲圓形影像，係藉由非正射影方式之魚眼透鏡所拍攝之非正射影影像時，係使用該正射影影像上之座標與該非正射影影像上之座標間之座標轉換式，修正該截出中心點P之座標，定義出通過修正後之點且平行於Z軸之直線與該假想球面的交點Q，將以該原點O為起點通過該交點Q之向量作為視線向量n。
(10)本發明之第10形態，係於上述第1~第9形態之影像轉換裝置中，對應座標算出單元係將二維UV正交座標系統配置成：作為通過原點G、平行於XY平面且正交於視線向量n之軸所賦予之旋轉基準軸J與U軸形成之角度相等於平面傾斜角ψ的方向。
(11)本發明之第11形態，係於上述第1~第10形態之影像轉換裝置中，使儲存於平面正規影像用記憶體之平面正規影像之輪廓形成長方形，將於平行於該長方形之長邊之方向具U軸、於平行於短邊之方向具V軸的二維UV正交座標系統，藉由使其沿具有與V軸平行之中心軸之假想圓柱之側面彎曲，定義出二維UV彎曲座標系統。
(12)本發明之第12形態，係於上述第1~第11形態之影像轉換裝置中，平面正規影像作成單元，當欲決定配置於座標(u、v)所示之位置的著眼像素之像素值時，係對配置於對應座標(x、y)所示位置附近之扭曲圓形影像上之複數個參照像素之像素值進行內插運算。
(13)本發明之第13形態，係藉由將專用之程式組裝於電腦而構成上述第1~第12形態之影像轉換裝置。
(14)本發明之第14形態，係藉由組裝有電子電路之半導體積體電路，構成上述第1~第12形態之影像轉換裝置之構成要件的對應座標算出單元及平面正規影像作成單元。
(15)本發明之第15形態，係於上述第1~第12形態之影像轉換裝置，進一步附加安裝有魚眼透鏡之數位攝影機與顯示平面正規影像於畫面上之監視器裝置，來構成魚眼監視系統；將使用數位攝影機拍攝所得之扭曲圓形影像儲存於扭曲圓形影像用記憶體，藉由該監視器裝置顯示平面正規影像用記憶體所得之平面正規影像。
(16)本發明之第16形態，係一種影像轉換方法，係進行將使用魚眼透鏡之所攝得之扭曲圓形影像之一部分截出並轉換為平面正規影像之處理，其具有：影像準備階段，由配置於二維XY正交座標系統上之座標(x、y)所示位置之多數個像素之集合體構成，使具有以該二維XY正交座標系統之原點O為中心之半徑R之扭曲圓形影像，儲存於扭曲圓形影像用記憶體；參數設定階段，於包含該二維XY正交座標系統之三維XYZ正交座標系統中，將以該原點O為起點朝向任意方向之視線向量n設定為表示平面正規影像之截出位置的參數，將既定之平面傾斜角ψ設定為表示平面正規影像之截出方向之參數，將既定之倍率m設定為表示平面正規影像之截出尺寸之參數；對應座標算出階段，運算處理裝置，係對配置於二維XY正交座標系統之座標(u、v)所示位置之多數個像素之集合體所形成之平面正規影像，算出與1個著眼像素之座標(u、v)對應之對應座標(x、y)；像素值決定階段，運算處理裝置，係讀出配置於該扭曲圓形影像用記憶體內之該對應座標(x、y)附近之像素之像素值，並根據所讀出之像素值決定該著眼像素之像素值；及像素值寫入階段，運算處理裝置，係對用以儲存該平面正規影像之平面正規影像用記憶體內之該著眼像素，寫入所決定之該像素值；於該對應座標算出階段，於該視線向量n上，以從該原點O離開「該倍率m與該半徑R之積m‧R」之點G為原點，將在通過該點G並正交於該視線向量n之平面上以對應該平面傾斜角ψ之方向配置的二維UV正交座標系統，藉由使其沿「該點G構成側面上之1點且具有與該二維UV正交座標系統之V軸平行之中心軸的假想圓柱」之側面彎曲，而定義出二維UV彎曲座標系統，使用表示該二維UV彎曲座標系統上之座標(u、v)與該二維XY正交座標系統上之座標(x、y)之對應關係的既定對應關係式，進行算出對應任意座標(u、v)之對應座標(x、y)的處理；對用以構成平面正規影像所需之全像素，將其像素值寫入平面正規影像用記憶體內。
(17)本發明之第17形態，係藉由下列階段進行影像轉換：準備藉由使用魚眼透鏡之攝影所得之扭曲圓形影像，以作為配置於三維XYZ正交座標系統之XY平面上之座標(x、y)所示位置之多數個像素之集合體的階段；於構成三維XYZ正交座標系統之空間內之所欲位置定義出二維UV彎曲座標系統之階段，該二維UV彎曲座標系統係由配置於沿假想圓柱之側面之彎曲面上、平行於假想圓柱之中心軸之V軸，與構成以正交於該V軸之面切斷假想圓柱時之剖面的圓之圓周之圓弧狀U軸所構成；使用使該二維UV彎曲座標系統之座標(u、v)與該XY平面上之對應座標(x、y)對應為1對1之對應關係式，根據配置於對應座標(x、y)附近之像素之像素值決定配置於該二維UV彎曲座標系統上之座標(u、v)之像素之像素值，藉此於該二維UV彎曲座標系統上取得藉由多數個像素之集合體構成的彎曲正規影像之階段；及藉由將該二維UV彎曲座標系統展開於平面上，以將該彎曲正規影像轉換為平面正規影像之階段。
(發明之效果)
根據本發明之影像轉換裝置，因使二維XY正交座標系統上之扭曲圓形影像之各像素，進行對應沿圓柱側面彎曲之二維UV彎曲座標系統上之像素的處理，故從使用魚眼透鏡之攝影所得之扭曲圓形影像，截出所欲之任意部分而能得平面正規影像，並且，能得扭曲少之平面正規影像。
以下，根據圖示本發明之實施形態說明。
〈§1.影像轉換處理之基本模型〉
首先，說明使用魚眼透鏡之攝影所得之扭曲圓形影像之一般特徵，及割出其一部分並轉換為平面正規影像之處理之基本原理。圖1，係使用正射影方式之魚眼透鏡之攝影形成扭曲圓形影像S之基本模型的立體圖。一般而言，魚眼透鏡，依其投影方式分為複數個種類，但該圖1所示之模型，係根據正射影方式之魚眼透鏡者(適用本發明於正射影方式以外之魚眼透鏡之手法，記述於§7)。
於圖1，顯示於三維XYZ正交座標系之XY面上形成有扭曲圓形影像S的例子。此處如圖示，顯示於圖上方取Z軸，於Z軸之正區域側定義出圓頂狀之假想球面H(半球)的例子。
形成於XY面上之扭曲圓形影像S，係構成以座標系統之原點O為中心之半徑R之圓的影像，相當於使存在於Z軸之正區域側之具有180°之視角之區域的像扭曲來記録者。圖2，係表示使用魚眼透鏡之攝影所得之扭曲圓形影像S之一例的俯視圖。如此，則於扭曲圓形影像S記録存在於Z軸之正區域側之所有像，但於其中心部分與周圍部分，像之大小倍率不相同，被記録之像形狀變成為扭曲者。此外，圖2所示之扭曲圓形影像S，係表示使用魚眼透鏡之攝影所得之扭曲圓形影像之一般影像，而不是表示使用實際之魚眼透鏡所得之正確影像。
實際之魚眼透鏡，係以組合有複數個凸透鏡或凹透鏡之光學系統構成，但其光學特性，已知能藉由圖1所示之假想球面H予以模型化。亦即，若想像於扭曲圓形影像S之上面配置具半徑R之圓頂狀之假想球面H(半球)的模型，則正射影方式之魚眼透鏡之光學特性，可認為：從法線方向射入假想球面H上之任意點(x、y、z)之入射光線L1，作為平行於Z軸之入射光線L2，朝向XY平面上之點S(x、y)的情形。反言之，於圖2位於扭曲圓形影像S上之點S(x、y)的像素，則表示存在於圖1所示之入射光線L1之延長線上之物體上之1點。
當然，於實際之魚眼透鏡產生之光學現象，係藉由複數個凸透鏡或凹透鏡之折射，使作為攝影對象之物體之特定點成像於XY平面上之特定點(x、y)上之現象，但影像轉換處理等之進行方面，即使進行以使用圖1所示之假想球面H之模型替代的討論，亦無任何障礙。因此，揭示於前述之專利文獻的影像轉換處理，亦表示以此種模型為前提之手法，本發明之以下之說明，亦以此種模型為前提之說明。
本發明之影像轉換裝置之目的，在於截出扭曲圓形影像S上之一部分並轉換為平面正規影像之處理。例如，假設觀看圖2所示之扭曲圓形影像S之使用者，欲將描繪於其左下之女性影像以無扭曲之正確影像觀察。此種情形，使用者需指定要截出扭曲圓形影像S之何部分來進行轉換。例如，若欲將圖3施加陰影線所示之截出區域E指定為轉換對象之區域，最直接之指定方法，可能係指定其中心點P(x0、y0)之位置之方法。在本案，將如上述使用者所指定之點P稱為截出中心點P。不過，因扭曲圓形影像S係扭曲影像，故截出中心點P，不會成為針對截出區域E之正確之幾何學中心。
此處，為了將以截出中心點P(x0、y0)為中心之截出區域E內之影像轉換為平面正規影像，可考量如下之基本模型。圖4，係於該基本模型中表示含有扭曲圓形影像S之二維XY正交座標系統與含有平面正規影像T之二維UV正交座標系統之關係的立體圖。如圖示，扭曲圓形影像S，由於被定義於三維XYZ正交座標系統之XY平面上，因此扭曲圓形影像S本身係定義於二維XY正交座標系統上之影像。因此，考量通過被定義於該扭曲圓形影像S上之截出中心點P(x0、y0)且平行於Z軸之直線與假想球面H的交點G。該交點G，係所謂截出中心點P(x0、y0)之正上方之點，其位置座標係(x0、y0、z0)。
其次，於該交點G(x0、y0、z0)中，定義出相接於假想球α面H之切平面，於該切平面上定義二維UV正交座標系統。然後，將平面正規影像T作為該二維UV正交座標系統上之影像求出。圖4所示之例之情形，以使交點G(x0、y0、z0)為原點之方式定義二維UV正交座標系統。結果，於該模型之UV座標系統之原點G，設定於假想球面H上之任意點，構成UV座標系統之UV平面，一致於相對於該原點G之位置之假想球面H的切平面。
作為UV座標系統之原點的點G(x0、y0、z0)之位置，如圖示，能以方位角α與天頂角β特定。此處，方位角α(0≦α<360°)，係連結截出中心點P(x0、y0)與XY座標系統之原點O之直線及Y軸所形成之角度，天頂角β(0≦β≦90°)，係連結作為UV座標系統之原點的點G(x0、y0、z0)與XY座標系統之原點O之直線及Z軸所形成之角(銳角)。
如上述，UV平面，雖能藉由指定方位角α與天頂角β特定，但欲決定UV座標系統，則進一步需要指定另一個角度ψ。該角度ψ，係表示以直線OG為旋轉軸之UV座標系統方向的參數，於圖4之例中，定義為U軸與J軸所形成之角度。此處，J軸係通過點G(x0、y0、z0)、平行於XY平面且正交於直線OG之軸，以下稱為旋轉基準軸。扼要言之，角度ψ，在已於UV座標系統中定義出朝向U軸方向之向量U與朝向旋轉基準軸J之方向之向量J時，被定義為向量U與向量J所形成之角度，通常被稱為「平面傾斜角」。
圖5，係表示定義於UV座標系統上之平面正規影像T與平面傾斜角ψ之關係的俯視圖。於此所示之例之情形，平面正規影像T，係定義為以UV座標系統之原點G(x0、y0、z0)為中心之UV平面上之矩形，其長邊係平行於U軸，短邊係平行於V軸。由於平面傾斜角ψ如上述係U軸與J軸所形成之角度，因此圖5所示之例之情形，為表示UV平面上之平面正規影像T之旋轉因數的參數。
其結果，用以形成圖4所示之平面正規影像T的UV座標系統之位置與方向，藉由設定方位角α、天頂角β、平面傾斜角ψ之3個角度所形成之參數一義地決定。該3個角度，一般稱為歐拉角。
接著，此處所進行之影像轉換處理，其結果，係從XY座標系統至UV座標系統之座標轉換。因此，更詳細觀察XY座標系統與UV座標系統之幾何學的位置關係。如圖6之立體圖所示，使XY平面上之扭曲圓形影像S相對方位角α所示之方向傾斜天頂角β，則得傾斜面S1。此處，如圖示，於從XY座標系統之原點O朝向UV座標系統之原點G之方向定義出視線向量n，使傾斜面S1朝該視線向量n之方向平行移動僅距離R，則得切平面S2。移動距離R，係扭曲圓形影像S之半徑，亦係假想球面H之半徑。
切平面S2，係點G中相接在假想球面H之平面，視線向量n，係表示於點G之假想球面H之法線方向的向量。並且，UV座標系統，係定義於該切平面S2之座標系統，以點G為原點，使U軸與J軸(係通過點G、平行於XY平面且正交於視線向量n之軸，成為平行於圖之傾斜面S1與XY平面之交線的軸)所成之角度形成平面傾斜角ψ而定義之二維正交座標系統。圖7，係從水平方向觀察圖6之立體圖所示之各構成要件之圖。如前述，點G(x0、y0、z0)，係決定為通過定義於扭曲圓形影像S上之截出中心點(x0、y0)平行於Z軸之直線與假想球面H之交點所定的點，該位置由方位角α及天頂角β決定。另一方面，圖8，係將圖6之立體圖所示之各構成要件從上方觀察之圖。圖所示之交點G(x0、y0、z0)係假想球面H上之點，位於XY平面之上方。而且，將UV座標系統定義於相對該交點G(x0、y0、z0)之假想球面H的切平面上。此時，以使U軸與J軸所形成之角度成為ψ之方式，決定U軸之方向。
〈§2.考慮倍率之影像轉換處理之基本原理〉
§1中，敘述了以原點G(x0、y0、z0)成為假想球面H上之1點之方式定義出UV座標系統之基本模型。此時，XY座標系統之原點O與UV座標系統之原點G的距離一致於半徑R。相對於此，通常係利用於藉由轉換而取得之平面正規影像導入比例因素後的實用模型。即，係使用如下之實用模型：設定既定位率m，於2點OG間之距離成為半徑R之m倍之位置配置UV座標系統，並於該UV座標系統上，使用定義出平面正規影像T(具有與倍率m對應之尺寸)之實用模型。此處，說明該實用模型之影像轉換處理之基本原理。
圖9，係針對該實用模型，表示二維XY正交座標系統上之點Si(xi、yi)與二維UV正交座標系統上之點Ti(ui、vi)的對應關係之立體圖。與圖4所示之基本模型之差異處，在於二維UV正交座標系統之原點G(xg、yg、zg)之位置。即，圖9所示之實用模型之情形，2點OG間之距離設定於m‧R。圖9係設定為m=2之例。圖4所示之基本模型，於該實用模型，相當於設定為m=1，使原點G(xg、yg、zg)一致於球面上對應點Q(x0、y0、z0)的特殊例。
此處，球面上對應點Q(x0、y0、z0)，係對應截出中心點P(x0、y0)之假想球面H上之點，當為正射影方式之魚眼透鏡之情形，係通過截出中心點(x0、y0)且平行於Z軸之直線與假想球面H的交點所定義之點。視線向量n，因定義為從原點O向球面上對應點Q(x0、y0、z0)延伸之向量，故決定截出中心點P(x0、y0)，係與決定視線向量n一事等價。
當然，該圖9所示之實用模型之情形亦同樣地，二維UV正交座標系統之原點G(xg、yg、zg)，係視線向量n上之點，UV座標系統，定義於與該視線向量n正交之平面上。又，U軸之方向，係根據平面傾斜角ψ決定。具體而言，如圖示，係以通過原點G(xg、yg、zg)之旋轉基準軸J與U軸所形成之角度一致於平面傾斜角ψ之方式，決定UV座標系統之方向。
此處進行之影像轉換處理之目的，係將定義於XY座標系統上之扭曲圓形影像S上之截出中心點(x0、y0)為中心之截出區域內的扭曲影像截出而變形，並於UV座標系統上取得平面正規影像T。具體而言，將位於UV座標系統上所得之平面正規影像T上之1點Ti(ui、vi)的像素之像素值，根據位於對應此之XY座標系統上之1點Si(xi、yi)附近的像素之像素值來決定。因此，如§3所述，係需要表示座標(ui、vi)與座標(xi、yi)之對應關係之對應關係式。
為了進行如上述之影像轉換處理，視線向量n，係發揮表示平面正規影像之截出位置之參數的功能。若將視線向量n設定於圖示之方向時，則從以截出中心點P(x0、y0)為中心之截出區域內，進行平面正規影像之截出。若變更視線向量n之方向，截出中心點P之位置亦變更，平面正規影像之截出位置亦變更。另一方面，平面傾斜角ψ，發揮表示平面正規影像之截出方向之參數的功能，倍率m(決定2點OG間之距離之因素)，發揮表示平面正規影像之截出尺寸之參數的功能。
圖10及圖11，係表示倍率m與截出區域E之關係的側視圖。圖10，係相當於設定成m=1之模型(圖4所示之模型)，位於截出中心點P之正上方之球面上對應點Q，直接成為UV座標系統之原點G1，2點O、G1間之距離等於半徑R。相對於此，圖11係相當於設定成m>1之模型(圖9所示之模型)，於與位在截出中心點P之正上方之球面上對應點Q分離之位置，設定UV座標系統之原點G2，2點O、G2間之距離等於半徑R之m倍。雖截出中心點P之位置、球面上對應點Q之位置、視線向量n之位置均相同，但因原點之位置G1、G2不相同，故UV座標系統之位置(形成於其上方之平面正規影像T1、T2之位置)亦不相同。
比較圖10與圖11，即應能理解截出區域E會依倍率m而不同一事。亦即，於倍率m=1之設定下，如圖10所示，E1成為截出區域，相對於此，於倍率m>1之設定下，如圖11所示E2成為截出區域，倍率m越大，截出區域E之面積即越小。此處，將所得之平面正規影像T1、T2顯示於監視裝置之畫面上時，平面正規影像T1、T2之大小(因應監視器畫面之大小決定)係一定。因此，平面正規影像T1、T2，雖均係以截出中心點P為中心截出之影像，但設定成m>1之平面正規影像T2，成為將更狹小之截出區域E2放大表示之影像。另言之，相對於平面正規影像T1成為拍攝視角F1內之被攝體之影像，平面正規影像T2則成為拍攝更狹小之視角F1內之被攝體的影像。
相對於此，平面傾斜角ψ，係表示平面正規影像之截出方向之參數，若改變平面傾斜角ψ，平面正規影像T內所顯現之被攝體與影像框之位置關係(在旋轉方向之位置關係)則會改變。其原因在於，於圖5中若增加角度ψ，U軸(及V軸)則會往反時針方向旋轉，平面正規影像T之影像框亦會往反時針方向旋轉，如此可容易理解。
其結果，使用者，藉由設定視線向量n(截出中心點P)、倍率m、平面傾斜角ψ之3個參數，即能於UV座標系統取得所欲之平面正規影像T。又，若所取得之平面正規影像T係不能滿足要求時，藉由適當修正該等3個參數，即能修正平面正規影像T。亦即，若不能滿足所得之影像方向，則只要修正平面傾斜角ψ即可，若不能滿足所得之影像視角度，則只要修正倍率m即可，若不能滿足所得之影像截出位置，則只要修正視線向量n(截出中心點P)即可。
圖12，係表示針對圖2所例示之扭曲圓形影像S，適當設定該3個參數，藉由截出其一部分並加以轉換而於UV座標系統上取得平面正規影像T之一例的俯視圖。在本例中，將圖2所示之扭曲圓形影像S之女性鼻子之位置設定為截出中心點P，截出女性臉周邊之影像。唯，因設定使女性之身長方向成為U軸之截出方向，故如圖示，若顯示於以U軸為水平方向之監視器畫面，女性則顯示成橫向。
在上述情形下，使用者只要修正平面傾斜角ψ即可。例如，若將角度ψ減少90°程度，U軸(及V軸)則往順時針方向旋轉，平面正規影像T之影像框亦往順時針方向旋轉，如此即能取得女性之正立像。唯，圖示之監視器畫面，具有縱方向尺寸b(垂直方向之像素數)較橫方向尺寸a(水平方向之像素數)小的矩形框，因此若要顯示至女性之胸部，亦需要進行使倍率m減少些許之修正。
圖13，係透過上述修正取得之平面正規影像T。依照使用者之需求，得到至女性之胸部之正立像。圖12及圖13，均係視線向量n(截出中心點P)相同之設定，均成為以指定於女性鼻子之位置之截出中心點P為中心的影像。唯，於兩者因所定義之UV座標系統之位置及方向不相同，故所得之平面正規影像T成為不相同之結果。
又，本申請書所指之「平面正規影像」，並不是意指「無扭曲之完全影像」，而係意指「與藉由使用魚眼透鏡攝影之扭曲圓形影像S相較，較接近藉由使用通常透鏡之攝影所得之影像的平面影像」。因此，相較於圖2所示之扭曲圓形影像S上之女性像，圖12、圖13所示之平面正規影像T雖看似無扭曲之影像，但也並非完全消除扭曲。實際上，以往影像轉換所得之平面正規影像，在確認人物之細部特徵之用途上，扭曲修正並不充分，特別是影像之外側部分(輪廓附近)之扭曲相當大。
〈§3.正射影方式之對應關係式〉
圖14，係表示定義於二維UV座標系統上之平面正規影像T的俯視圖。此處，係使用UV座標系統之座標值ui、vi，將此平面正規影像T上之任意點Ti表示為Ti(ui、vi)。如圖9所示，該UV座標系統之原點G，則使用三維XYZ正交座標系統上之座標以點G(xg、yg、zg)表示，但若使用二維UV座標系統表示，則如圖14所示成為點T(0、0)。
另一方面，圖15係表示定義於二維UV座標系統上之扭曲圓形影像S的俯視圖。此處，使用XY座標系統之座標值xi、yi，將該扭曲圓形影像S上之任意點Si表示為Si(xi、yi)。圖14所示之原點G(點T(0、0))上之影像，係對應圖15所示之截出中心點P(x0、y0)上之影像，圖14所示之任意點Ti(ui、vi)上之影像，係對應圖15所示之點Si(xi、yi)上之影像。
如前述，為了於二維UV正交座標系統上取得平面正規影像T，需根據位於圖15所示之點Si(xi、yi)之像素(二維XY正交座標系統上之扭曲圓形影像S內之像素)之像素值決定，位於圖14所示之點Ti(ui、vi)之像素之像素值。因此，需有表示二維UV正交座標系統上之座標(ui、vi)與二維XY正交座標系統上之座標(xi、yi)間之1對1之對應關係的對應關係式。若使用上述之對應關係式，圖14所示之平面正規影像T上之任意點，則被對應於圖15所示之扭曲圓形影像S之截出區域E內之任一點，而能將截出區域E內之扭曲影像轉換為平面正規影像T。
如上述之對應關係式，只要決定配置於三維XYZ座標系統之空間內之UV座標系統的位置及方向，即能以幾何學的手法一義地定義。例如，於圖9所示之例，若著眼於平面正規影像T上之點Ti(ui、vi)與扭曲圓形影像S上之點Si(xi、yi)之位置關係，將位於點Si(xi、yi)之正上方之假想球面H上之點設為球面上對應點Qi(xi、yi、zi)時，點Ti(ui、vi)則位於連結原點O與球面上對應點Qi之直線ni與UV座標系統之座標平面的交點。
圖16，係用以更明確地說明上述2點間之位置關係的側視圖。於該圖16中，視線向量n，從原點O延伸於具有天頂角β之方向，視線向量n與假想球面H之交點Q，位於截出中心點P(x0、y0)之正上方。又，視線向量n上之自原點O起之距離，係於mR之位置定義有點G。該點G，係二維UV正交座標系統之原點，該UV座標系統之座標面，正交於視線向量n，平面正規影像T，定義於該UV座標系統之座標面上。
針對平面正規影像T上之任意點T1(u1、V1)之扭曲圓形影像S上之對應點S1(x1、y1)，定義如下。即，於連結點T1(u1、v1)與原點O之直線及假想球面H的交點位置，求出球面上對點Q1，並將位於該球面上對應點Q1之正下方之扭曲圓形影像S上之點設為對應點S1(x1、y1)即可。同樣地，針對平面正規影像T上之任意點T2(u2、v2)，於連結點T2(u2、v2)與原點O之直線及假想球面H的交點位置，求出球面上對點Q2，並將位於該球面上對應點Q2之正下方之扭曲圓形影像S上之點設為對應點S2(x2、y2)即可。
上述2點間之對應關係，能以幾何學對應關係式說明。具體而言，已知能以圖17所示之式(1)~(9)說明，例如，於前揭之專利文獻1、2等，以揭示了使用此種對應關係式之影像轉換之方法。此外，由於座標系統之設定方法或角度之定義方法，於各項之符號等會產生若干差異，故依各文獻之不同於所揭載之式會產生若干之差別，但本質上係表示同一之幾何學運算之式。
該圖17所示之對應關係式，係進行圖9所示之座標系統及角度之定義時之式，包含表示UV座標系統之位置之參數α、β，表示UV座標系統之方向之參數ψ的式。該等3個參數，係前述之歐拉角，亦即方位角α、天頂角β、平面傾斜角ψ。
具體而言，
x=R(uA+vB+wC)/√(u2 +v2 +w2 )　式(1)
雖係使用UV座標系統上之1點T(u、v)之座標值u、v求出XY座標系統上之對應點S(x、y)之x座標值之式，但A、B、C，分別係以
A=cosψcosα-sinψsinα cosβ　式(3)
B=-sinψcosα-cosψsinαcosβ　式(4)
C=sinβsinα　式(5)
之數式求出之值，而以使用歐拉角α、β、ψ之三角函數之運算來決定。
同樣地，
y=R(uD+vE+wF)/√(u2 +v2 +w2 )　式(2)
雖係使用UV座標系統上之1點T(u、v)之座標值u、v求出XY座標系統上之對應點S(x、y)之y座標值之式，但D、E、F，分別係以
D=cosψsinα+sinψcosα cosβ　式(6)
E=-sinψsinα+cosψcosαcosβ　式(7)
F=-sinβcosα　式(8)
之數式求出之值，而以使用歐拉角α、β、ψ之三角函數之運算來決定。
此外，式(1)、(2)之w，係以
w=mR　式(9)
所賦予之值。此處，R如已述係扭曲圓形影像S之半徑，m係倍率。倍率m，係表示座標值u、v之比例與座標值x、y之比例之關係，將倍率m設定得越大，則可求出平面正規影像T越放大之影像，但扭曲圓形影像S之截出區域E則越變小。
其結果，於圖17所示之式，因R之值係作為扭曲圓形影像S之半徑而為已知，m之值為使用者指定之倍率而為已知，故藉由使用者指定歐拉角α、β、ψ，以決定UV座標系統之位置及方向，於圖17所示之對應關係式中，用以算出座標值x、y之未知數僅成為u、v。因此，只要使用該對應關係式，即能決定對應平面正規影像T任意之1點T(u、v)之扭曲圓形影像S上之對應點S(x、y)。
圖18，係用來簡單說明該圖17所示之對應關係式之意思的圖。於該圖18，表示將截出中心點P(x0、y0)設定於三維XYZ正交座標系統之原點O之位置的特殊情形之UV座標系統之位置。該情形下，設定於方位角α=0°、天頂角β=0°，視線向量n係朝向正上方(Z軸正方向)。又，UV座標系統之原點G配置於Z軸上，三維XYZ正交座標系統上之座標成為G(0、0、mR)，UV座標面(平面正規影像T之形成面)成為平行於XY平面之平面。此處，若將平面傾斜角ψ設為ψ=0°，X軸與U軸則為平行，Y軸與V軸亦為平行。
在如上述之特殊條件下，平面正規影像T上之任意點T(u、v)與扭曲圓形影像S上之對應點S(x、y)的位置關係，係如圖示。即，求出位於點S(x、y)正上方之假想球面H上之點Q，求出連結2點OQ之直線與UV座標系統之座標平面的交點，該交點則成為點T(u、v)之關係。因此，於座標(x、y)與座標(u、v)之間，可得
x=(R/L)‧u　式(10)
y=(R/L)‧v　式(11)
之簡單之對應關係式。
圖17所示之(1)、(2)，係對上述之式(10)、(11)施加方位角α、天頂角β、平面傾斜角ψ所規定之旋轉因素之修正而取得的式。式(1)、(2)之分母√(u2 +v2 +w2 )，係對應式(10)、(11)之L。如圖18所示，L係原點O與點T(u、v)之距離，L=√(u2 +v2 +w2 )。另一方面，式(1)、(2)之分子(uA+vB+wC)及(uD+vE+wF)，係使用旋轉因素之修正項目。此處，係將A～F稱為旋轉係數。旋轉係數A～F，如圖17之式(3)～(8)所示，成為以使用歐拉角α、β、ψ之三角函數之運算式表示的係數。
前專利文獻1、2等所揭示之影像轉換之方法，係使用該圖17所示之對應關係式，使扭曲圓形影像S之一部分轉換成平面正規影像T。然而，根據如上述對應關係式之轉換運算所得之平面正規影像T變成扭曲，並不足以用來確認人物之詳細特徵。特別是，平面正規影像T之外側部分(輪廓附近)之扭曲大，若進行水平移動時，不能取得圓滑之改裝影像，此一點已如前述。
〈§4.本發明之基本概念〉
本發明係提供用以解決上述問題之新穎轉換手法。此處，參照圖19說明其基本概念。
圖19，係表示對§2所述之圖9之實用模型加以修正後之本發明之模型的立體圖。兩者之相異點，僅在UV座標系統之定義方法。即，於圖9之模型中，UV座標系統，定義為通過點G(xg、yg、zg)且正交於視線向量n之平面上，相對於此，於圖19之模型中，則於二維UV彎曲座標系統(圓柱側面上之座標系統)上取得彎曲正規影像C。
於圖19以虛線表示之平面正規影像T，係與圖9以實線表示之平面正規影像T相同，定義為通過點G(xg、yg、zg)且正交於視線向量n之平面上的二維UV正交座標系統上之影像。相對於此，於圖19以實線表示之彎曲正規影像C，相當於使該平面正規影像T彎曲之影像，形成沿圓柱側面之曲線上之影像。
總之，以該圖19所示之模型定義的二維UV彎曲座標系統，於構成三維UVZ正交座標系統之空間內之所欲位置中，成為配置於沿假想圓柱之側面之彎曲面上的座標系統，定義於該彎曲座標系統上之彎曲正規影像C，亦成為沿假想圓柱之側面彎曲的影像。
由於該二維UV彎曲座標系統亦係具有U軸與V軸之二維之座標系統，因此彎曲正規影像C內之任意1點以(u、v)座標表示之處，與通常之平面上之二維座標系統之情形相同。如上述，該二維UV彎曲座標系統，雖係藉由以點G為原點，使配置在與視線向量n正交之平面上之二維UV正交座標系統沿假想圓柱之側面彎曲所定義出的座標系統，但對該彎曲過程被賦予若干條件。
首先，使用於彎曲過程之假想圓柱，為具有平行於二維UV正交座標系統之V軸之中心軸的圓柱。特別是，此處所示之實施形態之情形，係使用半徑等於mR(點OG間之距離)之假想圓柱。並且，該假想圓柱，配置為使點G位於其側面上。其結果，若將滿足上述條件之假想圓柱配置於三維XYZ正交座標系統上，該假想圓柱之中心軸，即如圖19之一點鏈線所示，成為通過原點O之軸V’，連結2點OG之線段，構成該假想圓柱之半徑。
若將該彎曲過程，使用實在之物體比喻地說明，能說明如下。首先，如圖14所示，準備於橫方向描繪出U軸、於縱方向描繪出V軸之長方形之紙片。該長方形紙片之表面，相當於二維UV正交座標系統之座標面。此處，因U軸與V軸均係座標軸，故於各軸上刻有既定之座標刻度，紙片之中心點(兩軸之交點)之座標為T(0、0)。將該紙片配置成使其中心點T(0、0)位於三維XYZ正交座標系統上之點G(xg、yg、zg)之位置。使紙片仍維持平面之狀態，配置成與視線向量n正交之方向。又，如圖19所示，配置成描繪於紙片之U軸相對旋轉基準軸J形成平面傾斜角ψ之方向。
接著，準備具有半徑mR之圓柱，將該圓柱配置成使其中心軸位於軸V’上。此處，軸V’係與描繪於紙片之V軸平行且通過原點O之直線。若將圓柱配置於上述位置，描繪於紙片之V軸，則成為接觸於圓柱之側面之狀態。當然，紙片之中心點T(0、0)即點G(xg、yg、zg)，亦成為接觸於圓柱之側面之點。因此，只要使該紙片以捲繞於圓柱側面之方式彎曲，直接貼附於圓柱側面，描繪於該彎曲之紙片上之座標系統，即成為二維UV彎曲座標系統。
其結果，二維UV彎曲座標系統之V軸，係與二維UV正交座標系統之V軸完全相同，成為直線狀之座標軸，但二維UV彎曲座標系統之U軸，成為沿圓柱側面之圓弧狀之軸。換言之，該二維UV彎曲座標系統，係由平行於假想圓柱之中心軸V’之V軸及沿圓(構成以正交於該V軸之面切斷假想圓柱時之斷面)之圓周的圓弧狀U軸構成。當然，刻在U軸上之座標刻度則為沿該圓弧定義之刻度。
接著，於該二維UV彎曲座標系統上取得彎曲正規影像C之原理，係與於該二維UV正交座標系統上取得平面正規影像T之原理完全相同。亦即，只要使扭曲圓形影像S上之1點Si(xi、yi)與彎曲正規影像C上之1點Ci(ui、vi)對應，並根據位於點Si(xi、yi)附近之像素之像素值決定位於點Ci(ui、vi)之像素之像素值即可。因此，需使二維UV彎曲座標系統上之任意座標(u、v)與XY平面上之對應座標(x、y)對應為1對1的對應關係式。該對應關係式，如於§5詳述，可藉由對圖17所示之對應關係式進行修正後取得。
如此，能於二維UV彎曲座標系統上取得多數個像素之集合體所構成之彎曲正規影像C後，接著再進行使該二維UV彎曲座標系統展開於平面上之處理，並將彎曲正規影像C轉換為平面正規影像T即可。展開於該平面上之處理，於上述之例，可考量係撕下貼附於圓柱側面之紙片並將該紙片重貼於平面上之作業。
不過，展開於該平面上之處理，在運算處理上，不需要任何具體之作業。二維UV彎曲座標系統上位於座標(u、v)之像素(構成彎曲正規影像C之像素)，即使藉由進行展開於平面上之處理而成為二維UV正交座標系統上之像素(構成平面正規影像T之像素)，位於同一座標(u、v)亦不會變。因此，於二維UV彎曲座標系統上，若得到表示位於既定座標(u、v)之多數個像素之像素值的像素排列資料，只要將該像素排列資料直接作為二維UV正交座標系統上之像素排列資料輸出，並於通常之監視器畫面(平面畫面)進行影像顯示，於監視器畫面上即會顯示展開於平面上之處理後之平面正規影像T。
如此，原本使用為了於構成圓柱側面之二維UV彎曲座標系統表示彎曲正規影像C所取得的像素排列資料，於具有二維UV正交座標系統之通常監視器畫面(平面上之畫面)進行影像顯示的處理，於上述之例中，係對應於將貼附於圓柱側面之紙片撕下並將之重貼於平面上之作業。顯示影像雖從圓柱側面變成平面，但像素排列資料本身，不需施加任何變更。
其結果，本發明中，係取代於二維UV正交座標系統上求出平面正規影像T之方式，而採用於定義在圓柱側面上之二維UV彎曲座標系統上求出彎曲正規影像C，使用顯示該彎曲正規影像C之像素排列資料，藉由於通常之監視器畫面(平面畫面)進行影像顯示，最後於該監視器畫面上取得平面正規影像T的方式。
根據上述之基本原理，欲進行將藉由使用魚眼透鏡之攝影所得之扭曲圓形影像的一部分截出轉換為平面正規影像之轉換處理，只要執行如下之程序即可。
首先，進行影像準備階段，亦即以配置於二維XY正交座標系統上之座標(x、y)所示位置之多數個像素之集合體構成、以二維XY正交座標系統之原點O為中心具有半徑R的扭曲圓形影像S，將其作為像素排列資料擷取至扭曲圓形影像用記憶體。如此擷取之扭曲圓形影像S，係藉由用魚眼透鏡之攝影所得之影像，亦係作為轉換對象之影像。另一方面，亦先準備用以儲存經轉換所得之平面正規影像T的平面正規影像用記憶體。
接著，針對該扭曲圓形影像S，設定係以何部分為中心、朝何方向、以何程度之尺寸截出。該設定，如已述藉由設定如下之3種參數來進行。首先，於包含上述二維XY正交座標系統之三維XYZ正交座標系統中，將以原點O為起點朝向任意方向之視線向量n設定為表示平面正規影像之截出位置之參數。該視線向量n，幾何學上，雖係以方位角α與天頂角β規定之向量，但實際運用上，如已述，能以指定截出中心點(xo、yo)之方式來定義。接著，將既定之平面傾斜角ψ設定為表示平面正規影像之截出方向之參數，將既定之倍率m設定為表示平面正規影像之截出尺寸之參數。
以上，完成轉換處理之準備。此後，藉由具有存取上述各記憶體之功能之運算處理裝置(以使用LSI等之硬體構成亦可，以將專用之軟體裝入於通用之電腦之方式來構成亦可)執行如下之各處理即可。
首先，進行對應座標算出階段，即針對儲存於平面正規影像用記憶體內之平面正規影像(由配置於二維UV正交座標系統上之座標(u、v)所示之位置之多數個像素之集合體構成的影像)，算出對應於1個著眼像素之座標(u、v)之對應座標(x、y)。惟實際上，係取代算出與二維UV正交座標系統上之座標(u、v)對應之對應座標(x、y)之方式，而算出與二維UV彎曲座標系統上之座標(u、v)對應之對應座標(x、y)。亦即，首先，如圖19之模型所說明，定義出視線向量n上之從原點O僅離「倍率m與半徑R之積m‧R」之點G為原點，於通過點G且與視線向量n正交之平面上以對應平面傾斜角ψ之方向配置的二維UV正交座標系統。並且，藉由使該二維UV正交座標系統沿假想圓柱(即點G構成側面上之1點、具有平行於二維UV正交座標系統之V軸且通過三維XYZ正交座標系統之原點O之中心軸)之側面彎曲來定義二維UV彎曲座標系統，使用表示該二維UV彎曲座標系統上之座標(u、v)與二維XY正交座標系統上之座標(x、y)的對應關係之既定對應關係式，進行算出與任意座標(u、v)對應之對應座標(x、y)的處理。
接著，從扭曲圓形影像用記憶體讀出配置於所算出對應座標(x、y)附近之像素之像素值，根據所讀出之像素值決定該著眼像素之像素值，對用以儲存平面正規影像之平面正規影像用記憶體內之著眼像素，進行寫入所決定之像素值之處理。如此，針對構成平面正規影像所必要之全像素，只要將其像素值寫入平面正規影像用記憶體內即可。
如前述，二維UV正交座標系統與二維UV彎曲座標系統，均係具有U軸與V軸之二維座標系統，於二維UV正交座標系統上定義之平面正規影像T，於二維UV彎曲座標系統上定義之彎曲正規影像C，均由配置於座標值(u、v)所示之位置之多數個像素之排列構成，此點係共通。因此，根據儲存於平面正規影像用記憶體內之像素排列資料，顯示影像於平面上，如此能取得平面正規影像T，而若顯示影像於圓柱側面上，則可取得彎曲正規影像C。此處，為了說明方便，雖將儲存轉換後之像素排列資料之記憶體稱為「平面正規影像用記憶體」，儲存於該記憶體之像素排列資料本身，亦能稱為平面正規影像T用之資料，亦能稱為彎曲正規影像C用之資料。
若將圖9之模型所示之習知轉換方法與圖19所示之本發明之轉換方法之特徵之差異直接說明，則如下。首先，前者係將「位於轉換後之像素排列資料之座標(u、v)之著眼像素之像素值」，根據「位於使用二維UV『正交』座標系統上之座標(u、v)與二維XY正交座標系統上之座標(x、y)之對應關係所示之對應關係式求出之對應座標(x、y)附近之像素之像素值」來予以決定，藉由根據轉換後之像素排列資料顯示影像於平面上之監視器畫面，取得平面正規影像T。相對於此，後者係將「位於轉換後之像素排列資料之座標(u、v)之著眼像素之像素值」，根據「位於使用二維UV『彎曲』座標系統上之座標(u、v)與二維XY正交座標系統上之座標(x、y)之對應關係所示之對應關係式求出之座標(x、y)附近之像素之像素值」來予以決定，藉由根據轉換後之像素排列資料顯示影像於平面上之監視器畫面，取得平面正規影像T。
如上述，兩者之差異，雖僅係所使用之對應關係式之差異，但藉由該差異，所得之平面正規影像T上之扭曲能大幅改善。特別是，圖14所示之例之影像之右邊輸廓附近或左邊輸廓附近，其扭曲大幅改善，因此即使進行水平移動時，亦能取得圓滑之平移映像。當然，利用於使用魚眼透鏡之監視攝影機之系統時，可掌握位於影像之右端或左端之人物之詳細特徵，其目視確認性亦大幅提高。其理由在於，係於二維UV彎曲座標系統中使U軸非為直線軸而為圓弧狀之軸。
不過，因二維UV彎曲座標系統係圓柱側面上之座標系統，即使U軸係圓弧狀之軸，V軸仍係直線軸。因此，圖14所示之例之影像之上邊輪廓附近或下邊輪廓附近，不能取得明顯之扭曲修正效果。尤其，進行水平移動時，因構成動畫之幀框偏移於橫方向，若左右之輪廓附近之扭曲緩和，即能取得十分圓滑之平移影像。又，監視攝影機之用途亦同樣地，通常與上下之輪廓附近之目視確認性相較，左右之輪廓附近之目視確認性更為重要，若進行使圓弧狀之U軸為水平方向軸之設定，在實際運用上，能得到充分之扭曲矯正效果。
又，此處所述之基本的實施形態，由於係使用「點G構成側面上之1點、具有平行於二維UV正交座標系統之V軸且通過三維XYZ正交座標系統之原點O之中心軸的假想圓柱」，來定義二維UV彎曲座標系統，故假想圓柱如圖19一點鏈線所示，係以通過原點O之直線V’為中心軸成為具有半徑mR之圓柱，但實施本發明上所使用之假想圓柱，不一定係限定於半徑mR之圓柱，只要滿足「具有點G構成側面上之1點、具有平行於二維UV正交座標系統之V軸之中心軸的圓柱」之條件即可。
唯，實用上，如於基本的實施形態所述，較佳為將「以通過原點O之直線V’為中心軸、具有半徑mR之圓柱」作為假想圓柱使用。其理由在於，一般被認為藉由使假想圓柱之曲率半徑一致於mR，至少在沿圓弧狀之U軸之部分方面，自原點O之距離成為一定值mR而能取得最佳之扭曲修正效果。實際上，於本案發明人所實施之實驗中，當將「以通過原點O之直線V’為中心軸、具有半徑mR之圓柱」作為假想圓柱使用時，可得到扭曲最少之理想的平面正規影像。
又，一般的監視機裝置之顯示畫面，因具有長方形之輪廓，故在實施本發明時，較佳為以適合於該顯示畫面之方式取得具有長方形輪廓之平面正規影像。如此，儲存於平面正規影像用記憶體之平面正規影像之輪廓為長方形時，較佳為將在與該長方形長邊平行之方向具有U軸、在與短邊平行之方向具有V軸的二維UV正交座標系統，沿具有平行於V軸之中心軸之假想圓柱之側面彎曲，藉此來定義二維UV彎曲座標系統。
其理由在於，本發明中，因將彎曲成圓弧狀之座標軸稱為U軸、將直線狀之座標軸稱為V軸，故於與長邊平行之方向取U軸時，端部之彎曲效果則變大。例如，當於具有如圖14所示之長方形輪廓的平面正規影像T上將圓柱成使中心軸朝向縱方向，並將平面正規影像T捲繞於該圓柱側面時左右兩端從平面浮起的量、與將圓柱配置成使中心軸朝向橫方向且將平面正規影像T捲繞於該圓柱側面時上下兩端從平面浮起的量，進行比較，則前者較後者大。此表示前者之左右兩端附近之扭曲修正效果，係較後者之上下兩端附近之扭曲修正效果顯著。由於如上述之理由，一般而言，較佳為於在與長邊平行之方向取U軸。
〈§5.本發明所使用之對應關係式〉
如上述，圖9之模型所示之習知轉換方法，與圖19之模型所示之本發明之轉換方法的實質差異，僅在於對任意座標(u、v)求出對應座標(x、y)時所使用之對應關係式之差異。亦即，相對於前者係使用「表示二維UV『正交』座標系統上之座標(u、v)與二維XY正交座標系統上之座標(x、y)之對應關係的對應關係式」，後者係使用「表示二維UV『彎曲』座標系統上之座標(u、v)與二維XY正交座標系統上之座標(x、y)之對應關係的對應關係式」。又，前者之對應關係式，如§3.所述，成為圖17之式(1)~(9)。此處，說明藉由稍微修正該等式，而能取得後者之對應關係式之情形。
如已於§3.所述，圖17之式(1)~(9)，係藉由對滿足圖18所示之特殊條件的模型表示座標(u、v)與座標(x、y)之關係之式(10)、(11)，進行方位角α、天頂角β、平面傾斜角ψ所規定之旋轉因素之修正即能取得。因此，首先可考量滿足圖18所示之特殊條件的模型，亦即，針對β=0°、於三維XYZ正交座標系統上之座標(0、0、mR)之位置具有原點G，在與XY平面平行之平面上定義二維UV正交座標系統的模型，嘗試探討二維UV正交座標系統與二維UV彎曲座標系統之差異。
圖20，係表示二維UV正交座標系統(座標面係圖之T)與藉由彎曲此座標系統而取得之二維UV彎曲座標系統(座標面係圖之C)之位置關係的側視圖。二維UV正交座標系統之座標面之UV平面，係平行於XYZ三維正交座標系統上之XY平面的面，兩者之間隔設定為w=mR。如圖示，沿該UV平面之水平方向定義出U軸，於點G中在紙面垂直方向定義出V軸。並且，於該UV平面上，定義平面正規影像T。
另一方面，二維UV彎曲座標系統之座標面之UV曲面，係藉由使UV平面沿假想圓柱之側面彎曲所得之面。此處，假想圓柱係以Y軸(於原點O朝紙面垂直方向之軸)為中心軸、具有半徑w=mR之圓柱，於軸V之位置接於UV平面。UV曲面，係一致於該假想圓柱之側面，於沿具有半徑w=mR之圓之圓弧之方向定義出U軸，於點G中在紙面垂直方向定義出V軸。並且，於該UV曲面上定義出彎曲正規影像C。
如上述，二維UV正交座標系統與二維UV彎曲座標系統，雖共有一方之座標軸之V軸，但另一方之座標軸之U軸之空間位置不相同。唯，座標刻度均相同，將座標面上之任意1點之位置以座標(u、v)表示，此一點亦相同。因此，考慮以同一座標(u、v)表示之各座標面上之2點之關係。
首先，如圖之左上所示，著眼於二維UV正交座標系統上之點T(u、v)。該點T(u、v)係平面正規影像T上之點，從原點G沿U軸隔離座標值u(於圖中，描繪於離開以粗線描繪之線段D之長度的位置)，於V軸方向僅隔離座標值v之點(因在V軸方向之隔離，係在紙面垂直方向之隔離，故未圖示)。
其次，著眼於二維UV彎曲座標系統上之點C(u、v)。該點C(u、v)係彎曲正規影像C上之點，從原點G沿圓弧A僅隔離座標值u，在V軸方向僅隔離座標值v之點(因在V軸方向之隔離，係在紙面垂直方向之隔離，故未圖示)。此處，粗線所描繪之圓弧A之長度，等於粗線所描繪之線段D之長度。
如上述，點T(u、v)與點C(u、v)，雖均係以座標(u、v)表示之點，但因以不同座標系統定義，故XYZ三維正交座標系統所示之空間上之位置不相同。亦即，若以XYZ三維正交座標系統之座標值思考，相對於點T(u、v)之座標為T(u、v、w)，點C(u、v)之座標則為C(u’、v、w’)。此處，如圖示為下式：
u’=w‧sinθ　式(12)
w’=w‧cosθ　式(13)
又，由於圓弧A之長度等於座標值u之絕對值，而圓弧A之半徑係w，因此圖20所示之角度θ，為θ=u/w弧度。因此，如圖示，能得到下式：
u’=w‧sin(u/w)　式(14)
w’=w‧cos(u/w)　式(15)
此外，兩UV座標系統，因以V軸為共通之座標軸，故點T、C之Y座標值均成為同一之座標值v。
其結果，取代圖17所示之(1)、(2)之變數u而使用式(14)所示之變數u’，取代變數w而使用式(15)所示之變數w’，如圖21上段所示，得到如下之式：
x=R(u’ A+vB+w’ C)/√(u’2 +v2 +w’2 )　式(1’)
y=R(u’ D+vE+w’ F)/√(u’2 +v2 +w’2 )　式(2’)
此處情形，因以根據歐拉角α、β、ψ之旋轉因數之修正沒有變更，故旋轉係數A~F之算出，能直接使用圖17之式(3)~(8)。
如此，本發明所使用之對應關係式，亦即，表示二維UV彎曲座標系統上之座標(u、v)與二維XY正交座標系統上之座標(x、y)之對應關係的對應關係式，係以圖21上段所示之式(1’)、(2’)及圖17之式(3)~(9)表示。
又，考慮實際運算之方便，將共通係數G定義為
G=R/√(u’2 +V2 +w’2 )
代入(14)、(15)於該式之u’及w’，則因如圖21中段所示，得到如下之式
G=R/√(w2 +v2 )
其結果，本發明所使用之對應關係式，如圖21下段所示，能以下式，及圖17之式(3)~(9)定義。
x=G(u’ A+vB+w’ C)　式(16)
y=G(u’ D+vE+w’ F)　式(17)
G=R/√(w2 +v2 )　式(18)
圖22，係表示使用上述對應關係式，算出與二維UV彎曲座標系統上之任意座標(u、v)對應之二維XY正交座標系統上之座標(x、y)的過程之方塊圖。以下，參照該方塊圖所記載之方塊B1~B9，說明對應座標(x、y)之算出運算過程。
首先，於以虛線表示在圖上方之方塊B1，記載藉由使用者之指示輸入決定之參數。具體而言，賦予視線向量n作為表示平面正規影像之截出位置之參數、賦予平面傾斜角ψ作為表示截出方向之參數、賦予倍率m作為表示截出尺寸之參數。此處，視線向量n，實際上係被賦予作為扭曲圓形影像S上之截出中心點P(x0、y0)之位置，根據該情報能求出方位角α及天頂角β。
又，於以虛線表示在圖右上之方塊B2，記載有扭曲圓形影像S之半徑R。該半徑R，為所使用之魚眼透鏡固有之參數。若將本發明利用於魚眼監視系統等時，通常由於安裝於監視攝影機之魚眼透鏡係已規定者，故預先設定該魚眼透鏡固有之半徑R值即可。當然，能選擇各種魚眼透鏡來利用之系統之情形，需要設定所選擇之魚眼透鏡固有之半徑R。
另一方面，於以虛線表示在圖右下之方塊B9，記載有二維UV彎曲座標系統上之座標(u、v)，於以虛線表示在圖左下之方塊B8，記載有二維XY正交座標系統上之座標(x、y)。該圖22所示之過程，其結果，係表示根據方塊B9內之2個變數u、v，求出方塊B8內之2個變數x、y的運算過程，方塊B9相當於該運算過程之入口，方塊B8相當於該運算過程之出口。
於方塊B3內，記載有圖17之式(3)~(8)。該等式，係根據自方塊B1賦予之歐拉角α、β、ψ，求出6種頪之旋轉係數A~F之運算式。因歐拉角α、β、ψ，係藉由使用者之指示輸入變化之參數，方塊B3內之運算，每於從使用者給與新指示輸入時予以執行。
於方塊B4內，記載有圖17之式(9)。此處，係進行方塊B1所賦予之倍率m與方塊B2所賦予之半徑R的乘算，求出積w。於其下之方塊B5內記載有圖21之式(18)。此處，根據方塊B2所賦予之半徑R，方塊B4所賦予之積w，方塊B9所賦予之座標值v，求出共通係數G。再者，於其下之方塊B6內記載有圖20之式(14)、(15)。此處，根據方塊B4所賦予之積w及方塊B9所賦予賦予之座標值u，求出值u’及w’。
又，於方塊B7內，記載有圖21之式(16)、(17)。此處，根據方塊B3所賦予之6個旋轉係數A~F、方塊B5所賦予之共通係數G、方塊B6所賦予之值u’及w’、及方塊B9所賦予之座標值v，求出值x、y。所求得之x、y賦予至方塊B8。
如此，根據二維UV彎曲座標系統上之任意座標(u、v)，算出對應於此座標之二維XY正交座標系統上之座標(x、y)。
〈§6.本發明之影像轉換裝置之構成〉
此處，參照圖23之方塊圖說明將本發明之一實施形態之影像轉換裝置利用於魚眼監視系統之例。如圖示，該魚眼監視系統，係由參數輸入單元100、對應座標算出單元200、平面正規影像作成單元300、裝有魚眼透鏡之數位攝影器410、平面正規影像用記憶體420、監視器裝置430、扭曲圓形影像用記憶體440構成。
該等各構成要件中，參數輸入單元100、對應座標算出單元200、平面正規影像作成單元300、平面正規影像用記憶體420、扭曲圓形影像用記憶體440所構成之部分，係本發明之影像轉換裝置，具有將使用魚眼透鏡之攝影所得之扭曲圓形影像之一部分截出，以進行轉換為平面正規影像之處理的機能。魚眼監視系統，藉由於此影像轉換裝置附加用以拍攝扭曲圓形影像S之裝有魚眼透鏡之數位攝影機410與用以顯示轉換後之平面正規影像之監視器裝置430來構成。
裝有魚眼透鏡之數位攝影機410，係利用於監視攝影機等之一般數位録影攝影機，具有以180°之視角拍影周圍之被攝體、將具有半徑R之扭曲圓形影像S生成為數位資料之機能。生成為該數位資料之扭曲圓形影像S，儲存於扭曲圓形影像用記憶體440。影像轉換裝置，將此影像轉換為正面正規影像T，進行儲存於平面正規影像用記憶體420之處理。如上述，平面正規影像用記憶體420所得之正面正規影像T，藉由監視器裝置430顯示於畫面上。
扭曲圓形影像用記憶體440，係以一般影像資料儲存用之緩衝記憶體構成，將扭曲圓形影像S儲存為配置於二維XY正交座標系統上之座標(x、y)所示之位置的多數個像素之集合體構成的像素排列資料。該扭曲圓形影像S，成為以二維XY正交座標系統之原點O為中心具有半徑R之影像，則如已述者。
另一方面，平面正規影像用記憶體420，亦以一般影像資料儲存用之緩衝存儲器構成，將正面正規影像T儲存為以配置於二維UV正交座標系統上之座標(u、v)所示之位置的多數個像素之集合體構成的像素排列資料。通常，該正面正規影像T，雖成為適合顯示於監視器裝置430之顯示畫面之矩形狀影像，當然正面正規影像T之輪廓，可形成任何形狀。
又，此處，為了說明方便，雖將儲存轉換後之像素排列資料之記憶體稱為「正面正規影像用記憶體420」，但如§4所述，儲存於該記憶體420之像素排列資料本身，亦可稱為正面正規影像T用之資料，亦可稱為彎曲正規影像C用之資料。實際上，將儲存於扭曲圓形影像用記憶體440內之扭曲圓形影像S轉換為UV座標系統上之正規影像時，如以圖19之模型說明，因不是使用二維UV正交座標系統，而使用二維UV彎曲座標系統，故寫入於記憶體420之像素排列資料，則成為彎曲正規影像C用之資料。唯最後，由於該記憶體420內之像素排列資料讀出至監視器裝置430，而作為正面正規影像T顯示於平面上之監視器畫面，因此此處，稱該記憶體420為「平面正規影像用記憶體」，稱儲存於此之已轉換之影像資料為平面正規影像T。
將儲存於扭曲圓形影像用記憶體440內之扭曲圓形影像S轉換為平面正規影像T，寫入於平面正規影像用記憶體420之直接處理，係藉由平面正規影像作成單元300執行。唯在執行該處理時，需取得與UV座標系統上之座標(u、v)對應之XY座標系統上之對應座標(x、y)。進行算出該對應座標(x、y)之處理者為對應座標算出單元200。亦即，對應座標算出單元200，具有當從平面正規影像作成單元300被賦予任意之座標(u、v)時，即執行使用§5所說明之對應關係式之運算，算出對應座標(x、y)，將該值回歸至平面正規影像作成單元300的功能。
欲執行使用§5所說明之對應關係式之運算，需有視線向量n、平面傾斜角ψ、倍率m等3個參數。參數輸入單元100，係根據使用者之指示輸入，輸入該3個參數之構成要件。亦即，參數輸入單元100之功能，係於三維XYZ正交座標系統中，將以原點O為起點朝向任意方向之視線向量n，作為表示平面正規影像之截出位置之參數輸入，將既定之平面傾斜角ψ，作為表示平面正規影像之截出方向之參數輸入，將既定之倍率m作為表示平面正規影像之截出尺寸之參數輸入。
又，此處所示之實施形態之情形，係能視需要，於監視器裝置430顯示儲存於扭曲圓形影像用記憶體440之扭曲圓形影像S。並且，參數輸入單元100具有如下功能，即接收指定顯示於該監視器裝置430之扭曲圓形影像S上之1點的使用者之輸入指示，掌握該1點之位置作為截出中心點P(x0、y0)，將之作為表示視線向量n之參數擷取。
例如，於監視器裝置430之畫面上顯示圖2所示之扭曲圓形影像S之狀態下，若使用者指示該影像上之1點(例如女性鼻子之位置)，該指示點則掌握為截出中心點P(x0、y0)，並將作為表示視線向量n之參數予以擷取。使用者，此外亦進行指定倍率m及平面傾斜角ψ之輸入。當然，能於參數輸入單元100先組裝各種之人機介面，指定倍率m及平面傾斜角ψ之輸入可使用任意方法。
對應座標算出單元200，使用如上述設定之各參數與預先設定之半徑R，進行算出與平面正規影像作成單元300所賦予之任意座標(u、v)對應之對應座標(x、y)的運算。使用於該運算之對應關係式，雖如§5所例示，但其本質係如下。
亦即，如圖19之模型所示，首先定義以視線向量n上之從原點O僅離開「位率m與半徑R之積m‧R」之點G為原點，於通過該點G且與視線向量n正交之平面上以對應平面傾斜角ψ之方向配置的二維UV正交座標系統。具體而言，例如圖19所示，只要將二維UV正交座標系統配置成在通過原點G、平行於XY平面且與視線向量n正交之旋轉基準軸J與U軸所形成之角度等於平面傾斜角ψ之方向。
接著，定義「點G構成側面上之1點、具有與二維UV正交座標系統之V軸平行之中心軸的假想圓柱」。如前述，實用上，較佳為將該假想圓柱之半徑設定為mR，使其成為該中心軸通過原點O且平行於V軸之直線V’。然後藉由將該二維UV正交座標系統沿該假想圓柱之側面彎曲來定義出二維UV彎曲座標系統。
對應座標算出單元200使用於運算之對應關係式，成為表示如上述定義之二維UV彎曲座標系統上之座標(u、v)與二維XY正交座標系統上之座標(x、y)的對應關係之式即可。更具體而言，於以原點O為中心具有半徑R之假想球面上，對應所使用之魚眼透鏡之投影方式，取與二維XY正交座標系統上之座標(xi、yi)所示之點Si對應的球面上對應點Qi，使連結原點O與球面上對應點Qi之直線與二維UV彎曲座標系統之圓柱側面狀座標面的交點Ci在二維UV彎曲座標系統上之座標為(ui、vi)時，以幾何學求出將座標(xi、yi)作為與座標(ui、vi)對應之對應座標所求之對應關係式即可。
特別是，如上所述之例，儲存於扭曲圓形影像用記憶體440之扭曲圓形影像S，若係以正射影方式之魚眼透鏡攝影之正射影影像之情形，如圖19所示，球面上對應點Qi，成為點Si之正上方之點。換言之，相對座標(xi、yi)所示之點Si，通過該點Si且平行於Z軸之直線與假想球面H的交點所賦予之座標(xi、yi、zi)所示的點，則成為球面上對應點Qi。
並且，於該正射影方式，如圖19所示定義各座標系統或角度時之具體之正影射影像用對應關係式，如§5所述，成為下述之式：
x=G(u’A+vB+w’C)　式(16)
y=G(u’D+vE+w’F)　式(17)
G=R/√(w2 +v2 )　式(18)
，旋轉係數A~E，係以下式賦予：
A=cosψcosα-sinψsinα cosβ　式(3)
B=-sinψcosα-cosψsinα cosβ　式(4)
C=sinβ sinα　式(5)
D=cosψsinα+sinψcosα cosβ　式(6)
E=-Sinψsinα+cosψcosα cosβ　式(7)
F=-sinψcosα　式(8)
此處，方位角α，係設定為視線向量n對XY平面上之正射影與Y軸所形成之角度，天頂角β，係設定為視線向量n與Z軸正方向所形成之角度，平面傾斜角ψ，係設定為參數之角度。
圖23所示之對應座標算出單元，具有藉由根據上述之正射影影像用對應關係式之運算，算出對應座標(u、v)之對應座標(x、y)之功能，如圖示，具備：共通係數運算部210、彎曲座標修正部220、旋轉係數運算部230、xy座標值算出部240。
共通係數運算部210，從參數輸入單元賦予倍率m，從平面正規影像作成單元300賦予座標v時，使用預先設定之扭曲圓形影像之半徑R，根據下式
w=mR　式(9)
G=R/√(w2 +v2 )　式(18)
之運算式，進行運算共通係數G之處理。
另一方面，彎曲座標修正部220，具有進行將定義於平面上之二維UV正交座標系統上之座標(u、v)，修正為定義於圓柱側面上之二維UV彎曲座標系統上之座標(u、v)所必要之運算的功能，當從參數輸入單元100賦予倍率m，從平面正規影像作成單元300賦予座標u時，係使用預先設定之扭曲圓形影像之半徑R，根據如下之運算式
w=mR　式(9)
u’=W‧sin(u/w)　式(14)
w’=W‧cos(u/w)　式(15)
進行運算u'及w'之處理。又，若將式(14)之sin(u/w)，改寫成cos(u/w+π/2)，因能使式(14)、式(15)均以cos函數之運算器運算，故能減輕硬體之構裝(當然，使式(15)換寫為sin函數之運算式，將兩式均以sin函數之運算器運算亦相同。)
又，旋轉係數運算部230，從參數輸入單元100賦予視線向量n及平面傾斜角ψ時，根據視線向量n求出方位角α及天頂角β，根據如下之運算式
A=cosψcosα-sinψsinα cosβ　式(3)
B=-sinψcosα-cosψsinα cosβ　式(4)
C=sinβ sinα　式(5)
D=cosψsinα-sinψcosα cosβ　式(6)
E=-sinψsinα+cosψcosα cosβ　式(7)
F=-sinψcosα　式(8)
進行運算旋轉係數A、B、C、D、E、F之處理。
並且，xy座標值算出部240，使用平面正規影像作成單元300所賦予之座標v、旋轉係數運算部230所運算之旋轉係數A、B、C、D、E、F、共通係數運算部210所運算之共通係數G、彎曲座標修正部所運算之u’及w’、及預先設定之扭曲圓形影像之半徑R，根據如下之式
x=G(u’A+vB+w’C)　式(16)
y=G(u’D+vE+w’F)　式(17)
運算x及y，進行將此賦予至平面正規影像作成單元300之處理。此外，上述式(16)之運算與式(17)之運算，因僅係所使用之旋轉係數之組合不相同，故實際上，利用同一之運算電路，以時分(time division)執行式(16)之運算與式(17)之運算，能減輕硬體之安裝。
又，於該圖23，雖說明安裝於裝有魚眼透鏡之數位攝影機410之魚眼透鏡係固定，該透鏡之固有半徑R(扭曲圓形影像之半徑R)之值係預先決定之例，但選擇各種魚眼透鏡或各種數位攝影機來使用之系統之情形，能將半徑R設為可變參數。此情形，參數輸入單元100只要根據使用者之指示、或根據儲存於扭曲圓形影像用記憶體440之扭曲圓形影像S(分析構成扭曲圓形影像S之影像資料且自動辨識影像之半徑R)，將半徑R作為可變參數輸入即可。共通係數運算部210及彎曲座標修正部220，則進行使用以參數輸入單元100輸入之半徑R來運算。
以上，雖說明圖23所示於對應座標算出單元200進行之具體運算處理，但其結果，該對應座標算出單元200，係當賦予任意座標(u、v)後則具有使對應此之對應座標(x、y)返回之功能的單元。平面正規影像作成單元300，係借助該對應座標算出單元200，於平面正規影像用記憶體420內進行作成平面正規影像之處理。
亦即，平面正規影像作成單元300，首先將構成平面正規影像之1個著眼像素之座標(u、v)賦予於對應座標算出單元200，以算出對應座標(x、y)。接著，將讀出配置於扭曲圓形影像用記憶體440內之對應座標(x、y)附近之像素之像素值並根據所讀出之像素值決定著眼像素之像素值之處理，針對構成平面正規影像之各像素予以執行，藉由將各像素之像素值寫入於平面正規影像用記憶體420內，作成平面正規影像。
圖23所示之例之情形，平面正規影像作成單元300，係藉由uv座標值產生部310、平面正規影像記憶體控制器320、像素值決定部330、扭曲圓形影像用記憶體控制器340構成。
此處，平面正規影像記憶體控制器320，係對平面正規影像用記憶體420進行資料之寫入及讀出的控制裝置，藉由像素值決定部330決定特定之像素之像素值時，對平面正規影像用記憶體420內之該特定之像素，進行寫入所決定之像素值之處理。如此，寫入像素值之處理對全像素結束後，於平面正規影像用記憶體420內作成平面正規影像T。於是，此次，平面正規影像記憶體控制器320，係讀出平面正規影像T之資料且輸出至監視器裝置430，進行使平面正規影像T顯示於監視器畫面上的處理。
另一方面，扭曲圓形影像用記憶體控制器340，係對扭曲圓形影像用記憶體440進行資料之寫入及讀出的控制裝置。裝有魚眼透鏡之數位攝影機410所拍攝之扭曲圓形影像S之資料，藉由扭曲圓形影像用記憶體控制器340寫入於扭曲圓形影像用記憶體440。又，扭曲圓形影像用記憶體控制器340，亦可視必要讀出扭曲圓形影像用記憶體440內之扭曲圓形影像S之資料而輸出至監視器裝置430，能使扭曲圓形影像S亦顯示於監視器畫面上。再者，扭曲圓形影像用記憶體控制器340，當從對應座標算出單元200賦予座標(x、y)時，係從扭曲圓形影像用記憶體440內之扭曲圓形影像S之資料中讀出位於該座標(x、y)附近之像素之像素值，亦達成將該值賦予像素值決定部330之功能。
藉由圖示之平面正規影像作成單元300之平面正規影像T之作成過程如下。此處，說明平面正規影像T，係藉由以U軸為行方向、以V軸為列方向之像素排列資料構成之情形。首先，uv座標值產生部310，產生表示構成平面正規影像T之像素排列上之1著眼像素的1組座標(u、v)。所產生之座標(u、v)，從uv座標值產生部310被賦予至對應座標算出單元200。藉此，算出與座標(u、v)對應之對應座標(x、y)，該對應座標(x、y)，被賦予至扭曲圓形影像用記憶體控制器340。如上述，扭曲圓形影像用記憶體控制器340，從扭曲圓形影像用記憶體440內之扭曲圓形影像S之資料中，讀出位於該座標(x、y)附近之像素之像素值，將該值賦予至像素值決定部330。
扭曲圓形影像S，係藉由配置於二維XY正交座標系統上之座標(x、y)所示之位置的多數個像素之集合體構成之影像，實際上，係藉由於以既定節距縱橫排列之多數個格子點之位置定義各固有之像素值之數位資料所構成。因此，以對應座標算出單元200算出之對應座標(x、y)之位置，通常為複數個格子點之間之位置。例如，扭曲圓形影像S，當由定義以節距1縱橫排列之多數個格子點位置之像素值的數位資料構成時，任何格子點之座標值均為整數值。因此，若以對應座標算出單元200算出之對應座標x及y之值係包含小數之值時(多半之情形係如此)，對應座標(x、y)之位置，位於複數個格子點之間，而不能將所對應之像素值決定為1個。
因此，實際上，於像素值決定部330中，欲決定配置於座標(u、v)所示之位置之平面正規影像T上之著眼像素的像素值時，係讀出配置於對應座標(x、y)所示之位置附近之扭曲圓形影像S上之複數個參照像素的像素值，需進行對該等複數個參照像素之像素值的內插運算。進行如上述內插運算之方法，因有各種方法如雙線內插法、雙立方樣條內插法(Bicubic Spline Interpolation)等係周知，此處省略詳細說明。當然亦能不作如上述內插，而採取將最接近於對應座標(x、y)所示位置之像素之像素值直接決定為著眼像素之像素值的方法。
如上述，以像素值決定部330決定之著眼像素之像素值，被賦予至平面正規影像用記憶體控制器320。另一方面，uv座標值產生部310至平面正規影像記憶體控制器320，被賦予所產生之座標(u、v)。因此，平面正規影像用記憶體控制器320，係執行將以像素值決定部330決定之像素值作為位於平面正規影像用記憶體420內之座標(u、v)之著眼像素之像素值寫入的處理。
以上，雖說明決定1個著眼像素之像素值並寫入之處理，但uv座標值產生部310，係依序產生表示構成平面正規影像T之像素排列上之所有像素的座標(u、v)。藉此，對各像素分別決定各像素值，並寫入於平面正規影像用記憶體420內。
又，對應座標算出單元200之各運算部，不一定需每於uv座標值產生部310產生新座標(u、v)時進行再計算。例如，以共通係數運算部210計算之共通係數G，因係不依存於u之值，故在僅uv座標值產生部310所賦予之座標(u、v)之座標值u改變之情形不需要進行再計算。因此，在欲進行U軸為行方向、V軸為列方向之像素排列資料的運算時，只要依各行實施新的運算即足夠。又，藉由xy座標值算出部240進行之運算中，「vB」或「vE」之值，亦只要依各行實施新的運算即足夠。當然，旋轉係數運算部230，只要對視線向量n或平面傾斜角ψ不產生變更，即不需要進行新的運算。
圖23所示之實施形態之情形，作為影像轉換裝置之構成要件之對應座標算出單元200及平面正規影像作成單元300之部分，係藉由組裝有具有上述處理功能之電路之半導體積體電路構成。亦即，對應座標算出單元200及平面正規影像作成單元300之部分，係藉由1晶片所構成之專用LSI構成。另一方面，參數輸入單元100，係以其他之主控制器LSI晶片構成，俾能對應各種使用者介面。其結果，該魚眼監視系統，係藉由組合發揮參數輸入單元100功能之LSI、發揮對應座標算出單元200及平面正規影像用記憶體420功能之LSI、扭曲圓形影像用記憶體440、裝有魚眼透鏡之數位攝影機410、監視器裝置430來構成。
當然，該魚眼監視系統中，可藉由將發揮影像轉換裝置功能之部分，亦即將參數輸入單元100、對應座標算出單元200、平面正規影像作成單元300、平面正規影像用記憶體420、扭曲圓形影像用記憶體440之部分，以將專用程式組裝於通用電腦之方式來構成。又，亦可將圖23之參數輸入單元100與旋轉係數運算部230以通用電腦來構成，將對應座標算出單元200內之其他部分以LSI構成，將以通用電腦側計算之旋轉係數A~F賦予LSI。
又，以上所述之例，雖所得之平面正規影像之中心點，一致於UV座標系統之原點G，但平面正規影像，並不一定需要將原點G截出於中心。又，本發明之影像轉換裝置，雖係具有將藉由使用魚透鏡之攝影所得之扭曲圓形影像之一部分轉換為平面正規影像之功能的裝置，但作為該裝置之轉換對像之影像，不限定為僅以使用魚眼透鏡之攝影所得之影像。例如，使用凸面鏡之攝影影像等，只要係適用與魚眼透鏡同等之半球面射影模型的影像，則能進行利用了本發明之影像轉換裝置之影像轉換。
〈§7.非正射影方式之適用〉
前述之實施形態，均係使用正射影方式之魚眼透鏡之例，使用於影像轉換之對應關係式，亦係以正射影方式之魚眼透鏡所攝影之扭曲形影像S為前提之式。然而，實際販售之魚眼透鏡，不一定係正射影方式之透鏡。實際上，魚眼透鏡之投影方式，已知有等距離射影方式、立體射影方式、等立體角射影方式等各種方式，因應用途不同，來利用採取此等各種射影方式之魚眼透鏡。此處，說明對藉由此種非正射影方式之魚眼透鏡攝影之非正射影影像適用本發明的方法。
正射影方式之魚眼透鏡之光學特性，如已述，能藉由圖1所示之模型來說明。亦即，該特性係對假想球面H上之任意入射點H(x、y、z)射入自該法線方向之入射光線L1，會成為朝平行於Z軸之方向前進之入射光線L2，到達XY平面上之點S(x、y)。圖24，係表示該正射影方式之魚眼透鏡之入射光之投影狀態的前視圖。如圖示，從該法線方向射入具有天頂角β之假想球面H上之入射點H(x、y、z)的入射光線L1，係成為朝平行於Z軸之方向前進之入射光線L2，到達XY平面上之點S(x、y)。
此處，入射點H(x、y、z)之天頂角β與經過該入射點H(x、y、z)之入射光線L2在XY平面上到達之點S(x、y)自原點O起的距離r的關係，係藉由使用正射影方式之魚眼透鏡之攝影形成的正射影影像時，能以r=f‧sinβ之式表示。此處，f係魚眼透鏡固有之常數。相對於此，例如藉由使用等距離射影方式之魚眼透鏡攝影所形成的等距離射影影像時，兩者之關係，則以r=f‧β之式表示。
圖25，係表示使用正射影方式之魚眼透鏡形成的正射影影像與使用等距離射影方式之魚眼透鏡形成的等距離射影影像之關係的立體圖。於圖中以同心圓狀表示之線，係表示經過具有同一之天頂角β之入射點的入射光線在XY平面上之抵達點之集合。圖25(a)所示之正射影影像之情形，因成立r=f‧sinβ之式，故鄰接之同心圓狀之線之配置間隔，隨著從中心往周圍則越小。相對於此，圖25(b)所示之等距離射影影像之情形，因r=f‧β之式成立，故同心圓狀之線，係從中心朝向周圍配置成等間隔。
如上述，正射影影像與等距離射影影像均為扭曲圓形影像，雖此點係共通，但因其扭曲狀態在兩者間係不相同，故當然用以轉換為平面正規影像所使用之轉換運算式亦不相同。因此，欲將正射影影像轉換為平面正規影像時，雖能使用圖21所示之正射影影像用對應關係式，但若欲將等距離射影影像等之非正射影影像轉換為平面正規影像時，則需使用各自之專用對應關係式。
唯，正射影影像上之座標與非正射影影像上之座標，能透過既定之座標轉換式互相轉換。因此，當要實施本發明時，若儲存於扭曲圓形影像用記憶體440之扭曲圓形影像S，係藉由非正射影方式之魚眼透鏡攝影之非正射影影像時，可使用藉由使用正射影影像上之座標與非正射影影像上之座標間之座標轉換式修正正射影影像用對應關係式所得之非正射影影像用對應關係式。以下，以使用等距離射影影像作為非正射影影像之情形為例，說明該方法。
如圖25所示，正射影影像上之任意1點與等距離射影影像上之特定1點，能定義為彼此1對1之對應關係(圖之虛線表示該對應關係)。具體而言，若設等距離射影影像上之任意1點之座標為(xb、yb)，設對應於此之等距離射影影像上之特定1點之座標為(xa、ya)，兩者間，如圖26上段所示，成立下式：
xa=xb(R/r)sin(πr/2R)　式(19)
ya=yb(R/r)sin(πr/2R)　式(20)
其中，r=√(xb2 +yb2 )
相反地，設正射影影像上之任意1點之座標為(xa、ya)，設對應於此之等距離射影影像上之特定1點之座標為(xb、yb)，兩者間，如圖26下段所示，成立下式：
xb=xa(2R/πr)sin-1 (r/R)　式(21)
yb=ya(2R/πr)sin-1 (r/R)　式(22)
其中，r=√(xa2 +ya2 )
其結果，上式(19)、(20)，係將等距離射影影像上之座標(xb、yb)轉換為正射影影像上之座標(xa、ya)之式(以下，稱為第1座轉換式)，上式(21)、(22)，係將正射影影像上之座標(xa、ya)轉換為等距離射影影像上之座標(xb、yb)之式(以下，稱為第2座轉換式)。
因此，儲存於圖23所示之扭曲圓形影像用記憶體440之影像，係藉由等距離射影方式之魚眼透鏡所拍攝之等距離射影影像時，對應座標算出單元200，首先使用前逑之正射影影像用對應關係式，算出對應座標(x、y)即可。如此算出之對應座標(x、y)，因對應正射影影像上之座標(xa、ya)，故使用上述之第2座標轉換式，將之轉換為等距離射影影像上之座標(xb、yb)，再進行將轉換後之座標(xb、yb)作為賦予座標(x、y)賦予至平面正規影像作成單元300的處理即可。
此外，參數輸入單元100，接受將扭曲圓形影像S上之1點作為截出中心點P(x0、y0)指定之輸入，將該截出中心點P(x0、y0)之位置作為表示視線向量n之參數輸入時，亦需要注意。如前述之實施形態，儲存於扭曲圓形影像用記憶體440之扭曲圓形影像S，係藉由正射影方式之魚眼透鏡攝影之正射影影像時，如圖19之模型所示，能定義出通過截出中心點P(x0、y0)且平行於Z軸之直線與假球面H的交點Q(x0、y0、z0)，可將以原點O為起點通過交點Q(x0、y0、z0)之向量設為視線向量n。其理由在於，當為正射影方式之情形，於截出中心點P之正上方之位置存在有該球面上對應點Q。
然而，若儲存於扭曲圓形影像用記憶體440之扭曲圓形影像S，係藉由非正射影方式之魚眼透鏡拍攝之非正射影影像時，球面上對應點Q不位於截出中心點P之正上方。因此，該情形下，須使用正射影影像上之座標與非正射影影像上之座標間的座標轉換式，修正截出中心點P之座標，以定義通過修正後之點且平行於Z軸之直線與假想球面H之交點Q，並將以原點O為起點通過該交點Q之向量設為視線向量。
若扭曲圓形影像S為等距離射影影像時，由於指定為該扭曲圓形影像S上之1點之截出中心點P之座標相當於等距離射影影像上之座標(xb、yb)，因此只要使用上述第1座標轉換式，將之轉換為正射影影像上之座標(xa、ya)，並定義出通過轉換後之座標(xa、ya)所示之點平行於Z軸之直線與假想球面H之交點Q，並將以原點O為起點通過該交點Q之向量設為視線向量n即可。
若採用如上述之方法，儲存於扭曲圓形影像用記憶體440之影像，即使係藉由等距離射影方式之魚眼透鏡拍攝之等距離射影影像時，基本上，能適用與前述之實施形態同等之轉換處理。當然，該方法並不限定於適用等距離射影影像，一般能廣汎適用於非正射影影像。
100．．．參數輸入單元
200．．．對應座標算出單元
210．．．共通係數運算部
220．．．彎曲座標修正部
230．．．旋轉係數運算部
240．．．xy座標值算出部
300．．．平面正規影像作成單元
310．．．uv座標值產生部
320．．．平面正規影像用記憶體控制器
330．．．像素值決定部
340．．．扭曲圓形影像用記憶體控制器
410．．．安裝有魚眼透鏡之數位攝影機
420．．．平面正規影像用記憶體
430．．．監視器裝置
440．．．扭曲圓形影像用記憶體
A．．．圓弧
A~E．．．旋轉係數(數式中之符號)
a．．．監視器裝置之橫方向尺寸(水平方向之像素數)
b．．．監視器裝置之縱方向尺寸(垂直方向之像素數)
B1~B9．．．運算方塊
C．．．二維UV彎曲座標系統上之彎曲正規影像
C(u、v)．．．二維UV彎曲座標系統上之彎曲正規影像C內之點
Ci(ui、vi)．．．二維UV彎曲座標系統上之彎曲正規影像C內之點
D．．．線段
E、E1、E2．．．截出區域
F1、F2．．．視角
F．．．魚眼透鏡固有之常數
G．．．共通係數
G、G1、G2．．．二維UV正交座標系統之原點
G(x0、y0、z0)．．．二維UV正交座標系統之原點
G(xg、yg、zg)．．．二維UV正交座標系統之原點
G(0、0、mR)．．．二維UV正交座標系統之原點
H．．．假想球面
H(x、y、z)．．．假想球面上之入射點
J．．．旋轉基準軸
L．．．2點間之距離
L1、L2．．．入射光線
m．．．倍率
n．．．視線向量
ni．．．連結O與Qi之直線
O．．．三維XYZ正交座標系統之原點
P、P(xo、yo)．．．截出中心點
Q、Q1、Q2．．．球面上對應點
Q(x0、y0、z0)．．．球面上對應點
R．．．扭曲圓形影像S之半徑(假想球面H之半徑)
r．．．從扭曲圓形影像S之中心點起之距離
S．．．扭曲圓形影像
S．．．傾斜面
S2．．．切平面
S(x、y)．．．二維XY正交座標系統上之扭曲圓形影像S內之點
S1(x1、y1)．．．二維XY正交座標系統上之扭曲圓形影像S內之點
S2(x2、y2)．．．二維XY正交座標系統上之扭曲圓形影像S內之點
Si(xi、yi)．．．二維XY正交座標系統上之扭曲圓形影像S內之點
T、T1、T2．．．二維UV正交座標系統上之平面正規影像
T(u、v)．．．二維UV正交座標系統上之平面正規影像T內之點
T(0、0)．．．二維UV正交座標系統之原點
T1(u1、v1)．．．二維UV正交座標系統上之平面正規影像T內之點
T2(u2、v2)．．．二維UV正交座標系統上之平面正規影像T內之點
Ti(ui、vi)．．．二維UV正交座標系統上之平面正規影像T內之點
U．．．二維UV正交座標系統之座標軸/二維UV彎曲座標系統之座標軸
u．．．在二維UV正交座標系統或二維UV彎曲座標系統之座標軸U的座標值
u’．．．座標值u之修正值
V．．．二維UV正交座標系統之座標軸/二維UV彎曲座標系統之座標軸
v．．．在二維UV正交座標系統或二維UV彎曲座標系統之座標軸V的座標值
V’．．．平行於座標值V且通過原點O之直線(假想圓柱之中心軸)
w．．．以m×R所賦予之數值
w’．．．數值w之修正值
X．．．三維XYZ正交座標系統之座標軸
x、xa、xb．．．在二維XY正交座標系統之座標軸X之座標值
Y．．．三維XYZ正交座標系統之座標軸
y、ya、yb．．．在二維XY正交座標系統之座標軸Y之座標值
Z．．．三維XYZ正交座標系統之座標軸
α．．．方位角
β．．．天頂角
θ．．．角度
ψ．．．平面傾斜角
圖1係表示藉由使用正射影方式之魚眼透鏡之攝影形成扭曲圓形影像S之基本模型的立體圖。
圖2係表示使用魚眼透鏡之攝影所得之扭曲圓形影像S一例的俯視圖(係表示扭曲圓形影像S之一般影像，不是表示正確之影像)。
圖3係表示將截出區域E定義於扭曲圓形影像S之一部分之例的俯視圖。
圖4係表示包含扭曲圓形影像S之二維XY正交座標系統與包含平面正規影像T之二維UV正交座標系統之關係的立體圖。
圖5係表示定義於二維UV正交座標系統上之平面正規影像T與平面傾斜角ψ之關係的俯視圖。
圖6係表示二維XY正交座標系統至二維UV正交座標系統之座標轉換原理的立體圖。
圖7係從水平方向觀看圖6之立體圖所示之各構成要件的圖。
圖8係從上方觀看圖6之立體圖所示之各構成要件的圖。
圖9係表示於考慮了倍率m之模型中二維XY正交座標系統上之點Si(xi、yi)與二維UV正交座標系統上之點Ti(ui、vi)之對應關係的立體圖。
圖10係表示設定成倍率m=1時之二維UV正交座標系統之配置及截出區域E1之範圍的側視圖。
圖11係表示設定成倍率m>1時之二維UV正交座標系統之配置及截出區域E1之範圍的側視圖。
圖12係表示藉由將圖2所示之扭曲圓形影像S之一部分截出，於二維UV正交座標系統上取得之平面正規影像T一例的俯視圖。
圖13係表示藉由將圖2所示之扭曲圓形影像S之一部分截出，於二維UV正交座標系統上取得之平面正規影像T另一例的俯視圖。
圖14係表示定義於二維UV正交座標系統上之平面正規影像T的俯視圖。
圖15係表示定義於二維UV正交座標系統上之扭曲圓形影像S的俯視圖。
圖16係用以表示二維XY正交座標系統上之點S1(x1、y1)、S2(x2、y2)與二維UV正交座標系統上之點T1(u1、v1)、T2(u2、v2)之對應關係之假想球面的側視圖。
圖17係表示二維XY正交座標系統上之座標(x、y)與二維UV正交座標系統上之座標(u、v)之對應關係的正射影影像用對應關係式。
圖18係用以說明圖17所示之對應關係式之意義的圖。
圖19係用以表示二維XY正交座標系統上之點Si(xi、yi)與二維彎曲座標系統上之點Ci(ui、vi)之對應關係的立體圖。
圖20係表示二維UV正交座標系統上之點T(u、v)與二維UV彎曲座標系統上之點C(u、v)之對應關係的立體圖。
圖21係表示二維XY正交座標系統上之座標(x、y)與二維UV彎曲座標系統上之座標(u、v)之對應關係的正射影影像用對應關係式。
圖22係使用圖21所示之正射影影像用對應關係式，算出與二維UV彎曲座標系統上之任意座標(u、v)對應之二維XY正交座標系統上之對應座標(x、y)之過程的方塊圖。
圖23係表示本發明一實施形態之影像轉換裝置之基本構成的方塊圖。
圖24係表示正射影方式之魚眼透鏡之入射光之投影狀態的側視圖。
圖25係表示使用正射影方式之魚眼透鏡形成之正射影影像與使用等距離射影方式之魚眼透鏡形成之等距離射影影像之關係的立體圖。
圖26係表示用以在等距離射影影像上之座標與正射影影像上之座標之間進行座標轉換之轉換式的圖。
C．．．二維UV彎曲座標上之彎曲正規影像
Ci(ui、vi)．．．二維UV彎曲座標上之彎曲正規影像C內之點
G(xg、yg、zg)．．．二維UV正交座標系統之原點
H．．．假想球面
J．．．旋轉基準軸
n．．．視線向量
ni．．．連結O與Qi之直線O三維XYZ正交座標系統之原點
P(xo、yo)．．．截出中心點
Qi(xi、yi、zi)．．．球面上對應點
Q(x0、y0、z0)．．．球面上對應點
R．．．扭曲圓形影像S之半徑(假想球面H之半徑)
S．．．扭曲圓形影像
Si(xi、yi)．．．二維XY正交座標系統上之扭曲圓形影像S內之點
T．．．二維UV正交座標系統上之平面正規影像
U．．．二維UV正交座標系統之座標軸/二維UV彎曲座標系統之座標軸
V’．．．平行於座標值V且通過原點O之直線(假想圓柱之中心軸)X：三維XYZ正交座標系統之座標軸
Y．．．三維XYZ正交座標系統之座標軸
Z．．．三維XYZ正交座標系統之座標軸
α．．．方位角
β．．．天頂角
ψ．．．平面傾斜角

Claims (17)

  1. 一種影像轉換裝置，係進行將使用魚眼透鏡之所攝得之扭曲圓形影像之一部分截出並轉換為平面正規影像之處理，其特徵在於，具備：扭曲圓形影像用記憶體，由配置於二維XY正交座標系統上之座標(x、y)所示位置之多數個像素之集合體構成，用以儲存具有以該二維XY正交座標系統之原點O為中心之半徑R之扭曲圓形影像；平面正規影像用記憶體，用以儲存由配置於二維UV正交座標系統上之座標(u、v)所示位置之多數個像素之集合體構成之平面正規影像；參數輸入單元，於包含該二維XY正交座標系統之三維XYZ正交座標系統中，將以該原點O為起點朝向任意方向之視線向量n作為表示平面正規影像之截出位置之參數輸入，將既定之平面傾斜角ψ作為表示平面正規影像之截出方向之參數輸入，將既定之倍率m作為表示平面正規影像之截出尺寸之參數輸入；對應座標算出單元，於該視線向量n上，以從該原點O離開「該倍率m與該半徑R之積m‧R」之點G為原點，將在通過該點G並正交於該視線向量n之平面上以對應該平面傾斜角ψ之方向配置之二維UV正交座標系統，藉由使其沿「該點G構成側面上之1點且具有與該二維UV正交座標系統之V軸平行之中心軸之假想圓柱」之側面彎曲，而定義出二維UV彎曲座標系統，使用表示該二維UV彎曲座標系統上之座標(u、v)與該二維XY正交座標系統上之座標(x、y)之對應關係的既定對應關係式，算出對應任意座標(u、v)之對應座標(x、y)；及平面正規影像作成單元，將構成該平面正規影像之1個著眼像素之座標(u、v)賦予該對應座標算出單元而算出對應座標(x、y)，讀出配置於該扭曲圓形影像用記憶體內之該對應座標(x、y)附近之像素之像素值，將根據所讀出之像素值決定該著眼像素之像素值的處理，就構成該平面正規影像之各像素分別執行，以將各像素之像素值寫入該平面正規影像用記憶體內，藉此作成該平面正規影像。
  2. 如申請專利範圍第1項之影像轉換裝置，其中，對應座標算出單元，當在以原點O為中心具有半徑R之假想球面上，因應所使用之魚眼透鏡之投影方式，取與二維XY正交座標系統之座標(xi、yi)所示之點Si對應之球面上對應點Qi，使連結該原點O與該球面上對應點Qi之直線與二維UV彎曲座標系統之圓柱側面狀座標面之交點Ci在該二維UV彎曲座標系統上之座標為(ui、vi)時，係使用該座標(xi、yi)作為對應該座標(ui、vi)之對應座標所求出之對應關係式。
  3. 如申請專利範圍第2項之影像轉換裝置，其中，對應座標算出單元，當儲存於扭曲圓形影像用記憶體之扭曲圓形影像係藉由正射影方式之魚眼透鏡所拍攝之正射影影像時，係對以座標(xi、yi)所示之點Si使用正射影影像用對應關係式，該正射影影像用對應關係式係將作為通過該點Si且平行於Z軸之直線與假想球面之交點而賦予之座標(xi、yi、zi)所示之點作為球面上對應點Qi，當儲存於扭曲圓形影像用記憶體之扭曲圓形影像係藉由非正射影方式之魚眼透鏡所拍攝之非正射影影像時，係使用以該正射影影像上之座標與該非正射影影像上之座標間之座標轉換式修正該正射影影像用對應關係式而藉此所得的非正射影影像用對應關係式。
  4. 如申請專利範圍第3項之影像轉換裝置，其中，對應座標算出單元，係使用「點G構成側面上之1點且具有與二維UV正交座標系統之V軸平行且通過三維XYZ正交座標系統之原點O之中心軸之假想圓柱」，定義出二維UV彎曲座標系統。
  5. 如申請專利範圍第4項之影像轉換裝置，其中，對應座標算出單元，係將視線向量n對XY平面上之正射影與Y軸所形成之角度作為方位角α，將視線向量n與Z軸正方向所形成之角度作為天頂角β，在A=cosψcosα-sinψsinα cosβB=-sinψcosα-cosψsinα cosβC=sinβ sinαD=cosψsinα+sinψcosα cosβE=-sinψsinα+cosψcosα cosβF=-sinβcosαG=R/√(w2 +v2 )W=mRu’=w‧sin(u/w)w’=w‧cos(u/w)之定義下，作為表示座標(u、v)與座標(x、y)之對應關係的正射影影像用對應關係式，使用下式：x=G(u’ A+vB+w’ C)y=G(u’ D+vE+w’ F)。
  6. 如申請專利範圍第5項之影像轉換裝置，其中，對應座標算出單元，具有：旋轉係數運算部，係從參數輸入單元被賦予視線向量n及平面傾斜角ψ時，根據該視線向量n求出方位角α及天頂角β，並根據下列運算式A=cosψcosα-sinψsinα cosβB=-sinψcosα-cosψsinα cosβC=sinβ sinαD=cosψsinα+sinψcosα cosβE=-sinψsinα+cosψcosα cosβF=-sinψcosα運算出旋轉係數A、B、C、D、E、F；共通係數運算部，當從參數輸入單元被賦予倍率m，從平面正規影像作成單元被賦予座標v時，使用扭曲圓形影像之半徑R，根據運算式w=mRG=R/√(w2 +v2 )運算出共通係數；彎曲座標修正部，當從參數輸入單元被賦予倍率m，從平面正規影像作成單元被賦予座標u時，使用扭曲圓形影像之半徑R，根據運算式w=mRu’=w‧sin(u/w)w’=w‧cos(u/w)運算出u’及w’；及xy座標值算出部，係使用從該平面正規影像作成單元被賦予之座標v、該旋轉係數運算部所運算出之旋轉係數A、B、C、D、E、F、該共通係數運算部所運算出之共通係數G、該彎曲座標修正部所運算出之u’及w’、以及扭曲圓形影像之半徑R，根據下列運算式，x=G(u’ A+vB+w’ C)y=G(u’ D+vE+w’ F)運算出x及y。
  7. 如申請專利範圍第6項之影像轉換裝置，其中，參數輸入單元，具有根據使用者之指示或根據儲存於扭曲圓形影像用記憶體之扭曲圓形影像將半徑R作為可變參數輸入之機能，共通係數運算部及彎曲座標修正部，係使用該參數輸入單元所輸入之半徑R進行運算。
  8. 如申請專利範圍第3至7項中任一項之影像轉換裝置，其中，對應座標算出單元，當儲存於扭曲圓形影像用記憶體之扭曲圓形影像，係藉由等距離射影方式之魚眼透鏡所拍攝之等距離射影影像時，係使用將正射影影像上之座標(xa、ya)轉換為等距離射影影像上之座標(xb、yb)之座標轉換式xb=xa(2R/πr)sin-1 (r/R)yb=ya(2R/πr)sin-1 (r/R)其中，r=√(xa2 +ya2 )來進行對正射影影像對應關係式之修正。
  9. 如申請專利範圍第1至7項中任一項之影像轉換裝置，其中，參數輸入單元，係將二維XY正交座標系統上之截出中心點P之座標(x0、y0)作為定義視線向量n之參數輸入，於三維XYZ正交座標系統，定義出以原點O為中心具有半徑R之假想球面；當儲存於扭曲圓形影像用記憶體之扭曲圓形影像，係藉由正射影方式之魚眼透鏡所拍攝之正射影影像時，即定義出通過該截出中心點P且平行於Z軸之直線與該假想球面之交點Q，將以該原點O為起點通過該交點Q之向量作為視線向量n；當儲存於扭曲圓形影像用記憶體之扭曲圓形影像，係藉由非正射影方式之魚眼透鏡所拍攝之非正射影影像時，係使用該正射影影像上之座標與該非正射影影像上之座標間之座標轉換式，修正該截出中心點P之座標，定義出通過修正後之點且平行於Z軸之直線與該假想球面的交點Q，將以該原點0為起點通過該交點Q之向量作為視線向量n。
  10. 如申請專利範圍第1至7項中任一項之影像轉換裝置，其中，對應座標算出單元係將二維UV正交座標系統配置成：作為通過原點G、平行於XY平面且正交於視線向量n之軸所賦予之旋轉基準軸J與U軸形成之角度相等於平面傾斜角ψ的方向。
  11. 如申請專利範圍第1至7項中任一項之影像轉換裝置，其中，使儲存於平面正規影像用記憶體之平面正規影像之輪廓形成長方形，將於平行於該長方形之長邊之方向具U軸、於平行於短邊之方向具V軸的二維UV正交座標系統，藉由使其沿具有與V軸平行之中心軸之假想圓柱之側面彎曲，定義出二維UV彎曲座標系統。
  12. 如申請專利範圍第1至7項中任一項之影像轉換裝置，其中，平面正規影像作成單元，當欲決定配置於座標(u、v)所示之位置的著眼像素之像素值時，係對配置於對應座標(x、y)所示位置附近之扭曲圓形影像上之複數個參照像素之像素值進行內插運算。
  13. 一種記録有程式之記錄媒體，其特徵在於：該程式使電腦發揮申請專利範圍第1至~12項中任一項之影像轉換裝置的功能。
  14. 一種半導體積體電路，其特徵在於：組裝有電子電路，該電子電路係發揮申請專利範圍第1至12項中任一項之影像轉換裝置之構成要件之對應座標算出單元及平面正規影像作成單元的機能。
  15. 一種魚眼監視系統，其特徵在於，具備：申請專利範圍第1至12項中任一項之影像轉換裝置、安裝有魚眼透鏡之數位攝影機、以及將平面正規影像顯示於畫面上之監視器裝置；將使用該數位攝影機拍攝所得之扭曲圓形影像儲存於扭曲圓形影像用記憶體，藉由該監視器裝置顯示平面正規影像用記憶體所得之平面正規影像。
  16. 一種影像轉換方法，係進行將使用魚眼透鏡所攝得之扭曲圓形影像之一部分截出並轉換為平面正規影像之處理，其特徵在於，具有：影像準備階段，由配置於二維XY正交座標系統上之座標(x、y)所示位置之多數個像素之集合體構成，使具有以該二維XY正交座標系統之原點O為中心之半徑R之扭曲圓形影像，儲存於扭曲圓形影像用記憶體；參數設定階段，於包含該二維XY正交座標系統之三維XYZ正交座標系統中，將以該原點O為起點朝向任意方向之視線向量n設定為表示平面正規影像之截出位置的參數，將既定之平面傾斜角ψ設定為表示平面正規影像之截出方向之參數，將既定之倍率m設定為表示平面正規影像之截出尺寸之參數；對應座標算出階段，運算處理裝置，係對配置於二維XY正交座標系統之座標(u、v)所示位置之多數個像素之集合體所形成之平面正規影像，算出與1個著眼像素之座標(u、v)對應之對應座標(x、y)；像素值決定階段，運算處理裝置，係讀出配置於該扭曲圓形影像用記憶體內之該對應座標(x、y)附近之像素之像素值，並根據所讀出之像素值決定該著眼像素之像素值；及像素值寫入階段，運算處理裝置，係對用以儲存該平面正規影像之平面正規影像用記憶體內之該著眼像素，寫入所決定之該像素值；於該對應座標算出階段，於該視線向量n上，以從該原點O離開「該倍率m與該半徑R之積m‧R」之點G為原點，將在通過該點G並正交於該視線向量n之平面上以對應該平面傾斜角ψ之方向配置的二維UV正交座標系統，藉由使其沿「該點G構成側面上之1點且具有與該二維UV正交座標系統之V軸平行之中心軸的假想圓柱」之側面彎曲，而定義出二維UV彎曲座標系統，使用表示該二維UV彎曲座標系統上之座標(u、v)與該二維XY正交座標系統上之座標(x、y)之對應關係的既定對應關係式，進行算出對應任意座標(u、v)之對應座標(x、y)的處理；對用以構成平面正規影像所需之全像素，將其像素值寫入平面正規影像用記憶體內。
  17. 一種影像轉換方法，其特徵在於，具有：準備藉由使用魚眼透鏡所攝得之扭曲圓形影像，以作為配置於三維XYZ正交座標系統之XY平面上之座標(x、y)所示位置之多數個像素之集合體的階段；於構成三維XYZ正交座標系統之空間內之所欲位置定義出二維UV彎曲座標系統之階段，該二維UV彎曲座標系統係由配置於沿假想圓柱之側面之彎曲面上、平行於假想圓柱之中心軸之V軸，與構成以正交於該V軸之面切斷假想圓柱時之剖面的圓之圓周之圓弧狀U軸所構成；使用使該二維UV彎曲座標系統之座標(u、v)與該XY平面上之對應座標(x、y)對應為1對1之對應關係式，根據配置於對應座標(x、y)附近之像素之像素值決定配置於該二維UV彎曲座標系統上之座標(u、v)之像素之像素值，藉此於該二維UV彎曲座標系統上取得藉由多數個像素之集合體構成的彎曲正規影像之階段；及藉由將該二維UV彎曲座標系統展開於平面上，以將該彎曲正規影像轉換為平面正規影像之階段。
TW098124538A 2008-09-03 2009-07-21 A video conversion device, a recorded recording medium, a semiconductor integrated circuit, a fish-eye monitoring system, and an image conversion method TWI387936B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008225570A JP4629131B2 (ja) 2008-09-03 2008-09-03 画像変換装置

Publications (2)

Publication Number Publication Date
TW201011690A TW201011690A (en) 2010-03-16
TWI387936B true TWI387936B (zh) 2013-03-01

Family

ID=41724777

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098124538A TWI387936B (zh) 2008-09-03 2009-07-21 A video conversion device, a recorded recording medium, a semiconductor integrated circuit, a fish-eye monitoring system, and an image conversion method

Country Status (3)

Country Link
US (2) US8363089B2 (zh)
JP (1) JP4629131B2 (zh)
TW (1) TWI387936B (zh)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4697953B2 (ja) * 2005-09-12 2011-06-08 キヤノン株式会社 画像表示装置及び画像表示方法
EP2375376B1 (en) * 2010-03-26 2013-09-11 Alcatel Lucent Method and arrangement for multi-camera calibration
TWI427488B (zh) * 2010-04-23 2014-02-21 Realtek Semiconductor Corp 間距計算裝置與應用其之透鏡修正系統及方法
JP5555101B2 (ja) * 2010-08-31 2014-07-23 株式会社日立情報通信エンジニアリング 画像補正装置、補正画像生成方法および補正画像生成プログラム
TW201215126A (en) * 2010-09-27 2012-04-01 Hon Hai Prec Ind Co Ltd Image dividing system for cameras and using method of the same
JP5578011B2 (ja) * 2010-10-14 2014-08-27 大日本印刷株式会社 広角撮影画像へのスーパーインポーズ方法および装置
TW201239807A (en) * 2011-03-24 2012-10-01 Hon Hai Prec Ind Co Ltd Image capture device and method for monitoring specified scene using the image capture device
JP5739722B2 (ja) * 2011-04-26 2015-06-24 株式会社日立情報通信エンジニアリング 物体認識方法及び認識装置
JP5790345B2 (ja) 2011-09-07 2015-10-07 株式会社リコー 画像処理装置、画像処理方法、プログラムおよび画像処理システム
CN103108154A (zh) * 2011-11-14 2013-05-15 辉达公司 一种汽车导航设备
EP2800351A4 (en) * 2011-11-24 2016-06-01 Ntt Docomo Inc EXPRESSION OUTPUT DEVICE AND EXPRESSION PUBLISHING METHOD
JP5966341B2 (ja) 2011-12-19 2016-08-10 大日本印刷株式会社 画像処理装置、画像処理方法、画像処理装置用プログラム、画像表示装置
DE112013001869T5 (de) 2012-04-02 2014-12-24 Panasonic Corporation Bilderzeugungsvorrichtung, Kameravorrichtung, Bilddarstellungsvorrichtung und Bilderzeugungsverfahren
WO2013173728A1 (en) 2012-05-17 2013-11-21 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for unified scene acquisition and pose tracking in a wearable display
US10666860B2 (en) * 2012-09-11 2020-05-26 Ricoh Company, Ltd. Image processor, image processing method and program, and imaging system
TWI476678B (zh) * 2012-09-28 2015-03-11 Univ Nat Taiwan Normal 互動式模擬球體顯示系統
CN103247030A (zh) * 2013-04-15 2013-08-14 丹阳科美汽车部件有限公司 基于球面投影模型和逆变换模型的车辆全景显示***鱼眼图像校正方法
JP6302624B2 (ja) * 2013-04-24 2018-03-28 住友重機械工業株式会社 画像生成装置
CN103268487A (zh) * 2013-05-02 2013-08-28 山推工程机械股份有限公司 一种基于铲角特征的远程控制推土机目标检测方法
US8798451B1 (en) * 2013-06-15 2014-08-05 Gyeongil Kweon Methods of obtaining panoramic images using rotationally symmetric wide-angle lenses and devices thereof
WO2014208230A1 (ja) * 2013-06-24 2014-12-31 三菱電機株式会社 座標算出装置及び方法、並びに画像処理装置及び方法
US9883101B1 (en) * 2014-07-23 2018-01-30 Hoyos Integrity Corporation Providing a real-time via a wireless communication channel associated with a panoramic video capture device
CN105335748B (zh) * 2014-08-07 2018-10-12 株式会社理光 图像特征提取方法和***
TWI553565B (zh) * 2014-09-22 2016-10-11 銘傳大學 利用二維臉部影像估測其三維角度方法，及其臉部置換資料庫建立方法與臉部影像置換方法
WO2016073557A1 (en) 2014-11-04 2016-05-12 The University Of North Carolina At Chapel Hill Minimal-latency tracking and display for matching real and virtual worlds
RU2584557C1 (ru) * 2015-02-10 2016-05-20 Государственное бюджетное учреждение здравоохранения Свердловской области "Центр специализированных видов медицинской помощи "Уральский институт травматологии и ортопедии имени В.Д. Чаклина" (ГБУЗ СО "ЦСВМП "УИТО им. В.Д. Чаклина") Способ введения винтов в крестец
US10453173B2 (en) * 2015-07-24 2019-10-22 Robert Bosch Gmbh Panel transform
US10043237B2 (en) * 2015-08-12 2018-08-07 Gopro, Inc. Equatorial stitching of hemispherical images in a spherical image capture system
US9984436B1 (en) * 2016-03-04 2018-05-29 Scott Zhihao Chen Method and system for real-time equirectangular projection
WO2017179722A1 (ja) * 2016-04-15 2017-10-19 パナソニックＩｐマネジメント株式会社 画像処理装置及び撮像装置
US10699389B2 (en) * 2016-05-24 2020-06-30 Qualcomm Incorporated Fisheye rendering with lens distortion correction for 360-degree video
JP6330987B2 (ja) 2016-06-17 2018-05-30 日本電気株式会社 画像処理装置、画像処理方法、及び記憶媒体
JP7210188B2 (ja) * 2017-08-31 2023-01-23 キヤノン株式会社 情報処理システム、制御装置及び情報処理方法
CN109696122A (zh) * 2017-10-24 2019-04-30 华晶科技股份有限公司 利用鱼眼影像计算所摄物体坐标的方法及影像获取装置
CN109816587B (zh) * 2017-11-20 2021-04-16 杭州海康威视数字技术股份有限公司 一种鱼眼图像处理方法、装置及电子设备
US11245919B2 (en) * 2018-03-16 2022-02-08 Sony Corporation Image processing device and image processing method
CN110532840B (zh) * 2018-05-25 2022-05-10 深圳市优必选科技有限公司 一种方形物体的形变识别方法、装置及设备
US10410372B1 (en) * 2018-06-14 2019-09-10 The University Of North Carolina At Chapel Hill Methods, systems, and computer-readable media for utilizing radial distortion to estimate a pose configuration
KR102579007B1 (ko) * 2018-07-10 2023-09-15 삼성전자주식회사 크리스탈 결함 분석 시스템 및 크리스탈 결함 분석 방법
CN111179337B (zh) * 2018-10-24 2024-02-02 中国科学院自动化研究所 空间直线朝向测量方法、装置、计算机设备和存储介质
CN111353945B (zh) * 2018-12-21 2023-10-20 杭州海康威视数字技术股份有限公司 鱼眼图像校正方法、装置及存储介质
CN110136207B (zh) * 2019-05-08 2020-06-23 四川深瑞视科技有限公司 鱼眼相机标定***、方法、装置、电子设备及存储介质
EP3967969B1 (en) 2019-05-08 2024-05-08 Sichuan Visensing Technology Co., Ltd. Fisheye camera calibration system, method and apparatus, electronic device, and storage medium
US20220247924A1 (en) * 2019-06-13 2022-08-04 Nec Corporation Image processing device, image processing method, and non-transitory storage medium
CN112116530B (zh) * 2019-06-19 2023-08-18 杭州海康威视数字技术股份有限公司 鱼眼图像畸变矫正方法、装置和虚拟显示***
CN110646802B (zh) * 2019-09-26 2022-08-02 哈尔滨工程大学 一种水听器镜像对称弧型阵及其布置方法
US11276139B2 (en) * 2019-11-22 2022-03-15 Baidu Usa Llc Way to generate images with distortion for fisheye lens
CN110910802B (zh) * 2019-11-25 2023-06-09 北京京东方光电科技有限公司 全息显示方法、装置及可读存储介质
CN111429336B (zh) * 2019-12-27 2023-09-08 上海庄生晓梦信息科技有限公司 鱼眼视频数据的处理方法和处理装置
CN111260539B (zh) * 2020-01-13 2023-05-12 魔视智能科技(上海)有限公司 鱼眼图目标识别方法及其***
CN111354007B (zh) * 2020-02-29 2023-05-23 华南理工大学 一种基于纯机器视觉定位的投影交互方法
CN111709075B (zh) * 2020-06-05 2023-01-24 中国铁道科学研究院集团有限公司基础设施检测研究所 隧道局部变形识别方法及装置
US11417004B2 (en) * 2020-08-24 2022-08-16 Vmware, Inc. Variable transforms for three-dimensional engines
CN112203157B (zh) * 2020-12-08 2021-04-06 首望体验科技文化有限公司 基于720胶囊型屏幕的视频处理方法、装置及相关产品
CN114201832A (zh) * 2021-12-10 2022-03-18 多伦互联网技术有限公司 模拟雨天车窗玻璃雨滴和雨刮器刮动效果的方法及设备
US20240020935A1 (en) * 2022-07-15 2024-01-18 The Boeing Company Modeling system for 3d virtual model
CN117011179A (zh) * 2023-08-09 2023-11-07 北京精英路通科技有限公司 一种图像转换方法、装置、电子设备及存储介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60121036A (ja) * 1983-12-05 1985-06-28 Kaou Kueekaa Kk 硬化性鋳型組成物
US4620155A (en) * 1984-08-16 1986-10-28 General Electric Company Nuclear magnetic resonance imaging antenna subsystem having a plurality of non-orthogonal surface coils
JPH0219454A (ja) * 1988-07-06 1990-01-23 Nippon Yakin Kogyo Co Ltd 酸化物ウィスカーで被覆されたフェライトステンレス鋼箔の製造方法
EP0400168B1 (de) 1989-05-30 1994-09-14 Siemens Aktiengesellschaft Medizintechnische Anlage zur Positionierung eines Therapiegerätes
JPH0325255A (ja) 1989-06-21 1991-02-04 Fujitsu Ltd スターリング冷却機のピストン駆動機構
JPH0351173A (ja) 1989-07-20 1991-03-05 Nec Corp 検印自動押捺器
JPH03126955A (ja) 1989-10-12 1991-05-30 Ricoh Co Ltd 乾式電子写真用トナー
US5185667A (en) 1991-05-13 1993-02-09 Telerobotics International, Inc. Omniview motionless camera orientation system
US5359363A (en) * 1991-05-13 1994-10-25 Telerobotics International, Inc. Omniview motionless camera surveillance system
US7714936B1 (en) * 1991-05-13 2010-05-11 Sony Corporation Omniview motionless camera orientation system
JPH06343133A (ja) * 1993-06-01 1994-12-13 Toshiba Corp ロジカル走査型テレビカメラ
US6459451B2 (en) * 1996-06-24 2002-10-01 Be Here Corporation Method and apparatus for a panoramic camera to capture a 360 degree image
JP3051173U (ja) 1998-02-05 1998-08-11 株式会社アイ・プローター小林 眼鏡部品の連結構造
JP3126955B2 (ja) * 1999-02-12 2001-01-22 株式会社アドバネット 画像変換用演算装置
JP3025255B1 (ja) 1999-02-19 2000-03-27 有限会社フィット 画像デ―タ変換装置
JP4583670B2 (ja) * 2001-07-04 2010-11-17 パナソニック株式会社 画像歪み補正装置及び方法
TW200734965A (en) * 2006-03-10 2007-09-16 Sony Taiwan Ltd A perspective correction panning method for wide-angle image
US7961980B2 (en) 2007-08-06 2011-06-14 Imay Software Co., Ltd. Method for providing output image in either cylindrical mode or perspective mode
KR101404527B1 (ko) 2007-12-26 2014-06-09 다이니폰 인사츠 가부시키가이샤 화상 변환 장치 및 화상 변환 방법

Also Published As

Publication number Publication date
TW201011690A (en) 2010-03-16
US20130177258A1 (en) 2013-07-11
US20100053325A1 (en) 2010-03-04
US8363089B2 (en) 2013-01-29
JP4629131B2 (ja) 2011-02-09
JP2010062790A (ja) 2010-03-18
US8730323B2 (en) 2014-05-20

Similar Documents

Publication Publication Date Title
TWI387936B (zh) A video conversion device, a recorded recording medium, a semiconductor integrated circuit, a fish-eye monitoring system, and an image conversion method
CN106803884B (zh) 图像处理装置
CN110456967B (zh) 信息处理方法、信息处理设备以及程序
JP5676092B2 (ja) パノラマ画像生成方法及びパノラマ画像生成プログラム
US20160295108A1 (en) System and method for panoramic imaging
JP5558973B2 (ja) 画像補正装置、補正画像生成方法、補正テーブル生成装置、補正テーブル生成方法、補正テーブル生成プログラムおよび補正画像生成プログラム
JP5135380B2 (ja) 処理対象画像生成装置、処理対象画像生成方法、及び操作支援システム
TW201230786A (en) Conference system, monitoring system, image processing apparatus, image processing method and a non-transitory computer-readable storage medium
EP1686534A2 (en) Omnidirectional visual system, image processing method, control program, and readable recording medium
KR20180091033A (ko) 이미지 디스플레이 방법, 곡면을 가지는 불규칙 스크린을 제조하기 위한 방법 및 헤드-장착 디스플레이 장치
US20140085295A1 (en) Direct environmental mapping method and system
JP4875887B2 (ja) 画像合成システム及び画像合成方法
JP5245963B2 (ja) 画像変換装置
US20090059018A1 (en) Navigation assisted mosaic photography
JP2018109946A (ja) 表示装置、プログラム、表示方法
CN114511447A (zh) 图像处理方法、装置、设备及计算机存储介质
CN114449249A (zh) 图像投影方法、装置、存储介质以及投影设备
EP3573018B1 (en) Image generation device, and image display control device
US10785470B2 (en) Image processing apparatus, image processing method, and image processing system
JP2016114445A (ja) ３次元位置算出装置およびそのプログラム、ならびに、ｃｇ合成装置
Ha et al. Embedded panoramic mosaic system using auto-shot interface
JP4548228B2 (ja) 画像データ作成方法
JP3387900B2 (ja) 画像処理方法及び装置
WO2019163449A1 (ja) 画像処理装置、画像処理方法およびプログラム
Corke et al. Image Formation