TWI268096B - Image processing apparatus for correcting distortion of image, image shooting apparatus for correcting distortion of shot image and recordable medium - Google Patents

Description

1268096 九、發明說明： 【發明所屬之技術領域】 本發明是有關於修正影像之失真之影像處理裝置及修 正攝影影像之失真之攝影裝置。 【先前技術】 隨著數位照相機之發展和儲存型記憶體之低價位化’不 僅在風景或人物攝影使用數位照相機，而且拍攝紙面文件或 名片等文件類及在會議所筆記之在黑板等上所顯示者，將這 • 些影像以數位的方式儲存於個人電腦等，以進行管理之應 用，正持續地被考慮著。 在使用這種數位照相機，將用紙傾斜之後進行拍攝之情 況，用紙之四角形變形成梯形。因而，有作成修正該梯形失 真之攝影系統。又，在鏡頭使用低倍放大攝影鏡頭或廣角鏡 頭等之情況，由於這些鏡頭特性，用紙之形狀如第1 3圖所 示變形成桶形。爲了取得品質良好之影像，需要修正這種歪 曲失真。 # 在修正這種歪曲由鏡頭特性所引起之歪曲失真之歪曲 修正之方法上，有各種方法。例如，有一種方法，一般因這 種失真是依據鏡頭設計而定之歪曲失真，預先從無歪曲失真 < 之理想影像之像素座標和具有歪曲失真之影像之像素座標 V 之關係求出和理想影像之像素座標點對應之具有歪曲失真 之影像之像素座標之對應點後，從周邊像素之値進行插値 等，求出該影像資料。 可是，在本方法，在影像之剪下及投影修正，也進行像 1268096

I I 素插値等，必須進行2次插値計算。因而，影像之惡化變大。 又，在由鏡頭特性所引起之歪曲失真之情況’必須對各像素 進行修正，因此修正所需之計算次數變多，使處理需要時間。 【發明內容】 本發明鑑於上述以往之課題而開發者，提供一種影像處 理裝置，用以修正影像之失真，其特徵爲：具備攝影影像取 得部，取得所拍攝的攝影對象物之攝影影像，包含和該攝影 對象物對應之影像部分的攝影對象影像之攝影影像；縮小影 φ 像取得部，用以取得減少該攝影影像之解析度的縮小影像； 失真資訊取得部，根據該縮小影像而取得表示該攝影對象影 像之失真的失真資訊；投影參數取得部，根據該失真資訊， 而取得用以將該攝影對象影像變換成無失真之理想影像之 投影參數；及投影變換部，使用該投影參數’藉著進行該攝 影影像之投影變換而產生投影變換影像；若依據本發明，可 簡單地進行梯形失真或歪曲失真等影像之失真修正。又，在 具備攝影功能之攝影裝置，藉著對拍攝攝影對象物所得到之 φ 攝影影像進行上述之處理，而可得到無依據拍攝角度之線性 失真或依據鏡頭特性之歪曲失真等失真的攝影對象影像。 【實施方式】 " 以下，參照圖面說明本發明之實施形態之攝影裝置。 v 此外，在實施形態，以數位照相機說明攝影裝置。 在第1圖表示本實施形態之數位照相機1的構造。 本實施形態之數位照相機1在攝影對象物上，拍攝在原 稿2之用紙所記載的原稿內容後，從利用攝影所得到的第2 1268096 圖（a)所示之攝影影像修正是攝影對象影像之包含原稿2的 原稿影像之梯形失真，產生宛如自正面拍攝之第2圖（b)所 示的理想影像。數位照相機1具備攝影鏡頭部1 1、液晶監視 器1 2及快門按鈕1 3。 攝影鏡頭部1 1具備將光聚光之鏡頭等，是將來自原稿2 等之光聚光者。 液晶監視器1 2是用以顯示經由攝影鏡頭部1 1取入內部 之影像者。快門按鈕1 3是在拍攝原稿2時按下者。此外， φ 數位照相機1除此以外更具備電源開關、模式開關、影像調 整鍵等（圖上未示）。 電源開關係用以開關電源者。模式開關係用以設定進行 攝影之攝影模式、播放所拍攝之影像的播放模式之開關。影 像調整鍵是在進行影像處理時操作的鍵。 本數位照相機1如第3圖所示，在構造上具備光學鏡頭 裝置2 1、影像感測器22、記憶體23、顯示裝置24、影像處 理裝置25、操作部26、電腦界面部27、外部記憶10裝置 φ 28及程式碼儲存裝置29。 光學鏡頭裝置2 1具備攝影鏡頭部1 1和其驅動部，在影 像感測器22上，使來自原稿2之光聚光而使其成像。 < 影像感測器22是以數位化之影像資料取入所成像之影 "像者，利用CCD等構成。利用CPU30控制影像感測器22， 若未按下快門按鈕1 3，產生預覽用之解析度低的數位影像資 料，按照約每秒30張之間隔定期地向記憶體23傳送本影像 資料。又，若按下快門按鈕1 3，影像感測器22產生解析度 1268096 高之影像資料後，向記憶體23傳送所產生之影像資料。 記憶體23是暫時儲存來自影像感測器22之低解析度的 預覽影像、高解析度的影像資料、或影像處理裝置2 5進行 影像處理之原影像的資料、處理後之影像資料者。記憶體2 3 向顯示裝置24或影像處理裝置25傳送所暫存之影像資料。 顯示裝置24具備液晶監視器1 2，是用以使液晶監視器 1 2顯示影像的。顯示裝置24將記憶體23所暫存之低解析度 的預覽影像或高解析度的影像顯示於液晶監視器1 2。 φ 影像處理裝置25，是用以對記憶體23所暫存之影像資 料，進行影像資料的壓縮、影像的梯形失真、歪曲失真之修 正、影像變換等影像處理的。 影像處理裝置25藉著對如第2圖（a)所示之具有梯形失 真之影像進行影像處理，而產生如第2圖（b)所示之宛如自 正面拍攝本影像之影像。 影像處理裝置2 5爲了修正原稿影像之梯形失真，從失 真之原稿影像切割形成原稿影像之輪廓的四角形後，進行原 φ稿影像之投影變換。影像處理裝置25藉著進行這種影像處 理，而取得原稿2之設想的正面影像。 更具體而言，CPU30控制影像處理裝置25，主要進行 * 以下之影像處理。 w (1)來自攝影影像之輪廓取得處理 來自攝影影像之輪廓取得處理是從攝影所得到之攝影 影像取得和原稿2之紙i白勺車命fE t H ί高影ί象的輪廓之^ ® 理0 1268096 在光學鏡頭裝置2 1使用低倍放大攝影鏡頭或廣角鏡頭 等近接拍攝原稿2之情況，由於攝影鏡頭部1 1之歪曲像差， 原稿影像失真成桶形。影像處理裝置2 5對是具有這種歪曲 失真之影像也進行歪曲修正，而取得正確之原稿影像的輪 _ 廓。關於來自本攝影影像之輪廓取得處理之細節將後述。 I (2)影像變換處理（剪下、投影修正） 本影像變換處理是包含影像之剪下、投影修正等之處 理。剪下處理是自攝影影像剪下是攝影對象之原稿影像的輪 φ 廓（四角形）之處理。 投影修正處理是爲了修正原稿影像之梯形失真，使用仿 射（affine)變換對所剪下之原稿影像進行投影變換之處理。 仿射變換是在影像之空間變換廣爲應用者。又，影像處理裝 置25在本投影修正時，進行對應於歪曲修正之修正，求出 具有歪曲失真之原稿影像的對應點。 (3)影像之鮮明化處理 影像之鮮明化處理是對進行影像變換處理之影像進行 •亮度拉伸、彩色修正等，而取得可見性優異之影像的處理。 影像處理裝置25爲了進行影像之鮮明化處理，從已進 行影像變換處理之影像，抽出影像效果修正用參數。本影像 觀 效果修正用參數是在亮度直方圖（histogram)之最大値、最小 " 値、尖峰値、色差直方圖之尖峰値、平均値等影像效果處理 所需的變數。影像處理裝置25藉著將所抽出之影像效果修 正用參數變換成使影像變成鮮明化之値，而進行影像之鮮明 化處理。 1268096 1 1 . (4)影像之壓縮 影像之壓縮處理是將已進行鮮明化處理之影像資料壓 縮的處理。 操作部26是取得電源開關之開、關、快門按鈕〗3之按 下等使用者之操作資訊者。操作部2 6向C P U 3 0傳送所取得 的操作資訊。 電腦界面部27是在數位照相機1和電腦（圖上未示）連 接時作爲USB之儲存等級驅動器動作者。因而，電腦和數 φ 位照相機1連接後，將記憶卡3 1作爲電腦之外部儲存裝置 處理。 外部記憶10裝置28是在和記憶卡3 1之間進行影像資 料等之輸出入者。記憶卡3 1儲存自外部記憶1〇裝置28所 供給之影像資料等。 程式碼儲存裝置29用以儲存CPU30執行之程式，利用 ROM等構成。 CPU30按照在程式碼儲存裝置29所儲存之程式控制系 φ 統整體。此外，記憶體23亦作爲CPU30之工作記憶體使用。 藉著按下操作部26之開關、按鍵，而從操作部26傳送 操作資訊時，CPU30根據該操作資訊，控制影像感測器22、 記憶體23、顯示裝置24及影像處理裝置25等。 '具體而言，CPU30根據來自操作部26之操作資訊，利 用模式開關設爲攝影模式後，半壓快門按鈕1 3時，將影像 感測器22、記憶體23、顯示裝置24以及影像處理裝置25 等各部設爲攝影模式。在此狀態，CPU30將影像感測器22 -10- 1268096 設爲預覽模式，若再按下快門按鈕1 3，將本影像感測器22 設爲讀入高解析度之攝影對象影像的高解析度模式。又， C P U 3 0利用模式開關將模式設爲播放模式時，將上述之各部 設爲播放模式。 又，CPU30在從操作部26傳來內容爲按下影像調整鍵 之操作資訊時，控制影像處理裝置25等，使調整影像。 又，CPU30經由外部記憶10裝置28在記憶卡31記錄 預覽影像、高解析度之影像資料，或從記憶卡31讀出所記 φ 錄之影像資料。CPU30在記憶卡31記錄例如按照JPEG格式 壓縮後之影像資料。 CPU30在將影像資料暫存於記憶體23時，將預覽影像、 高解析度之影像資料記錄於相異之儲存區域。又，CPU30將 影像資料區分成影像檔案後記錄於記憶卡3 1。將影像資料記 錄於記憶卡31時，亦將關於影像資料之標題資訊記錄於標 題資訊儲存區域。 其次，說明實施形態之數位照相機1的動作。 φ 使用者送上數位照相機1之電源後，CPU3 0取得在程式 碼儲存裝置29所儲存之程式的資料。使用者利用模式開關 將模式設爲攝影模式後，按下快門按鈕1 3時，操作部26向 CPU30傳送該操作資訊。CPU30收到該操作資訊後，CPU30、 _ 影像處理裝置2 5等按照第4圖所示之流程圖執行攝影處理。 CPU 3 0將影像感測器22設爲預覽模式（步驟S1丨）。 C P U 3 0根據從操作部2 6所傳送之操作資訊判定是否按 下快門按鈕13(步驟S12)。

-11- •1268096 在判定按下快門按鈕13之情況（在步驟S12 Yes)， CPU3 0從預覽模式切換爲高解析度模式，控制影像感測器 22(步驟 S13)。 CPU30將影像感測器22所產生之高解析度的攝影對象 “影像之資料記錄於記憶體2 3上之和記錄預覽影像的儲存區 、域相異之儲存區域（步驟S 14)。 CPU30判定影像資料之讀入是否完了（步驟S15)。在判 定讀入未完了的情況（在步驟S15 No)，CPU30繼續控制影像 φ 感測器22，讀入影像資料。 在判定讀入全部之影像資料且影像傳送亦完了之情況 (在步驟S15 Yes)，CPU30從本攝影影像（高解析度影像）產生 低解析度之預覽影像後，將預覽影像之資料寫入記憶體23 之預覽影像用的儲存區域上（步驟S1 6)。 CPU 3 0控制影像處理裝置25，製作攝影影像之壓縮資 料（步驟S17)。 CPU3 0將該壓縮資料經由外部記憶1〇裝置28儲存於記 籲憶卡31(步驟SIS)。 接著，影像處理裝置25在CPU30之控制下，按照後述 之第9圖所示之流程圖，從攝影影像取得攝影對象之原稿影 ^ 像的輪廓（步驟S 19)。 ‘ CPU30判定影像處理裝置25是否已取得攝影影像的輪 廓（步驟S20)。 在判定已取得之情況（在步驟S20 Yes)，影像處理裝置 25根據所取得之攝影對象的輪廓製作投影變換影像（步驟 1268096 S21) 〇 按下操作部26之影像調整鍵後’操作部26向CPU30 傳送該操作資訊。CPU30向影像處理裝置25傳送來自操作 部26之操作資訊後，影像處理裝置25按照所傳送之操作資 訊進行影像變換之調整處理（步驟S22)。 影像處理裝置2 5抽出鮮明化處理之影像效果修正用參 數（步驟S23)，進行變換影像之鮮明化處理（步驟S24)。 影像處理裝置25對已進行鮮明化處理之影像資料進行 φ 壓縮處理，製作變換影像之壓縮資料（步驟S25)。 影像處理裝置2 5將所製作之變換影像的壓縮資料記錄 於記憶卡31(步驟S26)。 而，在判定無法抽出攝影對象的輪廓之情況（在步驟S20 No)，CPU30進行警告處理（步驟S27)。 CPU30等依此方式完成攝影處理。此外，只要使用者未 進行內容爲結束攝影處理之按鍵操作，CPU 3 0等重複執行本 攝影處理。 φ 其次，說明影像處理裝置25進行的影像處理。 (1)從攝影影像之輪廓抽出處理（第4圖之步驟S 1 9的處理） 影像處理裝置25爲了從攝影影像取得攝影對象之輪 廓，首先，從利用攝影所得到之攝影影像產生縮小影像後， ~ 從所產生之縮小影像取得邊緣二値影像。於是，不是使用攝 影對象之影像本身，而使用將其縮小後之縮小影像取得攝影 對象之輪廓，其理由是使該輪廓之取得精度不太高亦可，使 用縮小影像者可減輕處理。 -13- 1268096 攝影影像如第5圖（a)所示，一般因攝影鏡頭部1 1之鏡 頭特性而變成歪曲之影像。影像處理裝置2 5爲了提高輪廓 抽出之檢測精度，一方面進行該如第5圖（a)所示之歪曲的攝 影影像之歪曲修正，一方面縮小攝影影像，取得如第5圖（b) 所示之已進行歪曲修正之縮小影像。 接著，影像處理裝置25從如第5圖（b)所示之縮小影 像，取得如第5圖（c)所示之表示攝影影像之輪廓的邊緣二値 影像。影像處理裝置25依此方式，在取得縮小影像時’一 φ 倂進行輸入影像之歪曲修正。說明一方面進行該歪曲修正一 方面取得縮小影像之想法。 設經由攝影鏡頭部Π輸入影像感測器22之輸入影像爲 p(x，y)、其影像尺寸在X方向爲xmax、在y方向爲yrnax， 製作輸入影像的1/K之縮小影像 QO，η)。 設對應於輸入影像P(x，y)之無歪曲失真的座標系爲 (X，，y’），則利用如下之式1表示座標系（X’，y’）和縮小影像 Q (m，η)之關係。 φ [式 1] X ’ =m X Κ y，=n X K 但， χ’ ：對應於縮小亮度影像之座標Q(χ，y)的無歪曲失真 之情況的座標系之X座標 y ’ ：對應於縮小亮度影像之座標Q(χ，y)的無歪曲失真 之情況的座標系之y座標 -14- 1268096 在本實施形態，利用如下之式2表示輸入影像Ρ(χ ’ y) 和座標系（X，，y’）。 [式2] / χ 1—k(r/R) / , U，y) =-U，y ) 1—k R = xc2 + y〇2 ^ r = (x -xc)2+ (y' -yc)2 但，

Xc :影像中心之X座標 yc :影像中心之y座標 k :依據鏡頭決定之歪曲失真係數 藉著將m = 0〜xmax/K、n = 0〜ymax/K依次代入式1、式 2，而取得縮小影像Q。此外，在縮小影像之運算的計算次 ®數相對於原影像變成1/(ΚΛ2)。 爲了取得如第5圖（c)所示之邊緣二値影像，對如第5 圖（b)所示之已進行歪曲修正的縮小影像，例如可使用稱爲 羅伯（Roberts)濾波器之邊緣檢測用的濾波器。本羅伯 (Roberts)濾波器是藉著進行2個4鄰近像素之加權，取得2 個濾波器△ 1、△ 2後進行平均化，而檢測影像之邊緣的濾波 器。利用如下之式3表示本利用羅伯（Roberts)濾波器之變換。 -15- 1268096 [式3]

Pe(x,y)= ν(Δ1)ζ + (Δ2Υ △ 1=1 · f (x,y)+0 · f (x+l,y)+ 0 · f (x，y-l)+l · f (x+l,y-l) =f (x,y)- f (x+ l,y-l) Δ2=0 · f(x,y) + l · f(x+l,y)-l · f(x,y-l)+0 - f(x+l,yl) =f (x+l,y)-f (x,y-l) 但，P e (x，y):座標（x，y)之像素値（變換後） f(x，y):座標（X，y)之像素値（變換前） 根據如下之式4將根據式3變換後之影像二値化。 鲁[式4] M(x, y) = 1 (Pe (x, y) SV^thresh) BW (x, y) = 0 (Pe (x, y) < V^thresh) 但，BW(x，y):二値邊緣影像 V_thresh :預設之臨限値 此外，臨限値V_thresh是預設的値，影像處理裝置25 儲存該臨限値V_thresh。 此外，爲了從攝影影像取得原稿影像之輪廓’從所取得 之邊緣二値影像，取得形成攝影影像之輪廓的直線。影像處 理裝置2 5使用半變換取得該直線。 半變換是將表示如第6圖（a)所示之直線L的（X，Y)座 標之影像資料投影至通過影像之中心之傾斜角θ的投影面 後，在該投影面之Ρ軸上產生投影直方圖之變換手法。換言 之，半變換是將構成如第6圖（a)所示之X— Υ平面上之直線 的點投影至根據如下之式（5)表示之如第6圖（b)所示的Ρ — θ

-16- 1268096 平面上，變換成P— Θ座標系之投影數的變換手法。 [式5] p =xcos Θ +ysin θ 在本直線L歪曲成如第7圖（a)所示之情況，投影至s 1、 s2、s3軸上時，該投影直方圖顯示如第7圖（b)〜（d)所示之 分布。此外，si、S3軸是，以s2軸之角度Θ1爲基準，以（X， Y)座標系之原點爲中心，各自只傾斜角度+δ、一 δ之軸。 φ 如第7圖（b)〜（d)所示，依據本來之直線L，s2軸上之 投影數應變成尖峰値，但是s2軸上之尖峰値比s 1軸、S3軸 上之尖峰値小。影像處理裝置25檢測θ + δ或Θ — δ之尖峰値 後，選擇表示錯誤之原稿影像的輪廓之四角形候選。本實施 形態如上述所示，因在製作縮小影像時已進行歪曲修正，無 如第7圖（a)所示之歪曲，不會抽出這種錯誤之原稿輪廓。 說明本原稿影像之四角形候選的選擇處理之內容。 爲了選擇原稿影像之四角形候選，根據利用上述之半變 φ 換所檢測之尖峰値求出直線後，組合所求得之直線，製作四 角形候選。 利用上述之半變換，在各點之座標（X，y)使角度Θ從0 變化至3 60°爲止之情況，在ρ — Θ平面以一點表示同一直 線。因而，可將投影數多之p - Θ座標判斷爲直線。此時， 因投影數變成直線上之像素數，可看成直線之長度。因此， 投影數極少之ρ - Θ座標表示短的直線，可從直線之候選排 除之。 \〇 1 1268096 t * 在進行半變換時，減少調查對象之點、角度Θ的個數， 可提高處理速度。在使用半變換之手法，隨著調查對象之 點、角度Θ變多，處理速度降低。爲了避免本處理速度之降 低，在邊緣檢測時，藉著在X、Υ軸方向雙方按照固定間隔 間拔調查對象之座標資料，而縮小邊緣影像。因而，可減少 調查對象。 此外，利用以下之方法可減少調查角度。 在調查對象之邊緣影像依據以影像中心爲原點之座標 φ 系考慮時，因Ρ亦取負値，若在〇°$ θ< 180°之範圍量測角度 θ，ρ在剩下180°^θ<0°之範圍變成負。 可是，在攝影對象之中心位於影像之中心附近的情況， 實際拍攝之攝影對象（四角形）之各邊位於上下左右。在此情 況，與其在〇°$θ<180。之範圍調查ρ-θ平面上之投影數， 不如如第8圖（a)及第8圖（b)所示在以如下之式6表示之範 圍量測，效率更高。 [式6] • 上下之邊 45。^ 0 <135。 （或 225。以 <315。） 此時，s i η 0 : 〇 · 7 0 7—1 — 0 · 7 0 7 ’ cos(9 : 0·707-Μ~>-0·707 左右之邊 ‘ 135。S 0 <225 ° (或- 45。S 0 <45。） 此時，sin0 ·· 0.707"^ I — 一 〇.7〇7’ cos 0 ·· - 0.707— 1— -0.707 又，依據P是正値或負値’可特定邊之上下或邊之左右。 -18- 1268096 於是，在攝影對象之中心位於影像之中心附近的情況，可更 高效率地選擇構成輪廓之邊。 於是從利用半變換所檢測的直線之中特定形成攝影對 象之影像的輪廓之四角形的直線。 一般，亦可將攝影影像之中最外圍的四角形特定爲攝影 影像之輪廓。因此，藉著將上下左右邊特定爲P之絕對値 丨p|之最大者，而可特定上述之最大的區域。又，藉著按 照大小之順序排列丨P | ，而將這順序決定爲直線候選之優 p 先順序。 選擇四角形之4條直線後，接著可求出其交點。藉著將 在P — Θ系表示之直線變換成（X，y)座標系之直線，而計算四 角形之4條直線正交的xy座標。 此外，因所得到之座標是縮小影像的座標（Π1，η)，若使 該座標値變成κ倍，就對應於原影像之座標（X，y)。將依此 方式所得到四角形之4點的頂點座標設爲（x〇，y〇)、（xl ’ y1)、（x2，y2)、（x3，y3 卜 φ 根據這種想法，影像處理裝置2 5按照第9圖所示之流 程圖，執行攝影對象之輪廓取得處理。 影像處理裝置25藉著從攝影影像將m = 0〜xmax/K、n = 0 〜ymax/K依次代入式1、式2,而取得縮小影像Q(步驟S3 1)。 影像處理裝置25使用式3所表示之羅伯（Roberts)濾波 器進行計算後，再根據式4進行縮小影像之二値化，取得邊 緣二値影像（步驟S32)。 影像處理裝置2 5根據式5進行所取得之邊緣二値影像 -19- 1268096

I I 之半變換，而檢測形成邊緣二値影像之直線（步驟S3 3)。 影像處理裝置2 5將所檢測之直線組合後選擇四角形候 選（步驟S3 4)。影像處理裝置25按照第10圖所示之流程圖， 執行該四角形候選選擇處理。 即，影像處理裝置25將在45°$θ<135°之投影數多之座 標作爲形成上下之邊之直線之候選，取得多個（步驟S4 1)。 同樣地，影像處理裝置25將在135。$ θ<225。之投影數 多之座標作爲形成左右之邊之直線之候選，取得多個（步驟 • S42) 〇 影像處理裝置25從X軸方向之候選、Υ軸方向之候選 之中Ρ之値的+ —相異、大者依次設定優先順序（步驟S 43)。 影像處理裝置25將ρ成爲最大之上下左右邊選爲最優 先候選（步驟S44)。 影像處理裝置2 5記錄依此方式所選擇之四角形候選的 頂點座標（第9圖之步驟S3 5)。依此方式選擇四角形候選。 (2)影像變換處理（第4圖之步驟S21的處理） φ 首先，說明投影變換。 如第11圖所示，將p(x，y)、P(u，V)各自設爲進行剪 下和投影修正之投影變換前的原稿影像、投影變換後的投影 ~ 變換影像，原影像Ρ(χ，y)和投影變換影像P(u’ v)依據仿射 • 變換式賦與關連性。此外，在第11圖，（X，y)表示原影像 p(x，y)之像素位置，（u，V)表示投影變換影像P(u’ V)之像 素位置。 影像處理裝置2 5使利用原稿影像之四角形候選選擇處 -20- 1268096 I . 理所取得之原稿影像之四角形候選之頂點座標（χ〇，yO)、 (xl，y 1 )、（χ2，y2)、（χ3，y3)對應於仿射變換之一般式之 行列之要素而取得仿射參數。 依據如下之式7求出從想求出之投影變換影像P(u，v) 往原影像P(x，y)之仿射變換。 [式7] χ —X:—auu+a21v + a31 ζ· ai3u + a23v + a33 —y’ —aiEu + a22v + a沘 在式7，依據如下之式8表示仿射參數。 [式8] all=xl — x0十 α · xl a21=x3—x0+]3 · x3 a31=x0 al2=yl—y0+ a · yl a22=y3—y0+ jS · y3 a32=y0 al3= a a23= β 但，α、β依據如下之式9表示。 [式9] _ QcO- xl+ x2-x3)»(y3-y2)-(x3-x2)-(y0-yl+ y2-y3) α (χ 1 - χ2) - (y3 - y2) - (χ3 - χ2) (y 1 - y2) (xl- x2).(y0- yl + y2-y3〉一 (χ0-xl + x2-x3)，(yl-y2) (x 1 - x2) · (y 3 - y2) - (x3 - x2) (y 1 - y2) 根據式7〜式9，可從原影像p(x，y)求出投影變換影像 P (u，v)。此外，影像處理裝置2 5不僅進行剪下和投影變換’ 而且進行歪曲修正。說明本方法。 爲了進行歪曲修正，首先，求出對應於投影變換影像 P(U，V)的像素位置之原影像p(x，y)的像素位置。在此，在 -21 - 1268096 求出投影變換影像P(u，v)之情況，如第1 1圖所示，不是使 用仿射變換Af求出對應於原影像p(x，y)的像素位置（X，y) 之投影變換影像P(U，V)的像素位置（U，V)，而使用仿射變 換Af之逆變換A求出對應於投影變換影像P(1I，V)的像素位 置（u，V)之原影像p (X，y)的像素位置（X，y)，比較方便。 爲了求出對應於投影變換影像P(u，v)的像素位置（U， v)之原影像p(x，y)的像素位置（X，y)，使用依據式8表示之 仿射參數。但，本像素位置（X，y)因是無歪曲失真之影像’ φ 換言之已進行歪曲修正之影像的像素位置，在計算上，將原 影像Ρ(χ，y)置換成影像ρΐ(χ’，y’）後，將歪曲修正前之影 像作爲Ρ(χ，y)。根據本置換，將式7改寫成如下之式ίο所 示。 [式 1〇] ai£l!.?iv+ a3i Z ^13^+ a23v + &33 ，y al2u+ a22v + a 32 y ss — · ss — z’’ al3u+ a23v+a33 φ 但，（x”，y”，z”）：無歪曲失真之情況的影像P之座標點 (X’，y’）：無歪曲失真之情況的影像p之座標點 影像pl(X’，y’）和歪曲修正前之影像p(X，y)根據式2 β 之關係式賦與關連性。因此，使用式2之關係式，可一方面 進行對應於在產生縮小影像時進行之歪曲修正的修正，一方 面從影像pi (X’，y’）之各座標位置（X’，y’）求出對應之歪曲 修正前的影像P(x，y)之各座標位置（X，y)。 -22- 1268096 此外，對依此方式所求得之投影變換影像P(u，V)的各 像素之原影像的對應點p(x，y)之像素値X，y未必爲整數。 因而，在插値方法上可使用雙線性法。利用雙線性法之插値 方法，如依據如下之式11所示，是將對應於一方之影像（影 Λ 像Ρ)的座標點（U，V)之原影像的另一方之影像（投影變換影 : 像Ρ)的座標點（X，y)之像素値，從其周邊4點ρ(χ，Υ)、 ρ(Χ+1，Υ)、ρ(Χ，Υ+1)、ρ(Χ+1，Υ+1)之像素値求出另一方 之影像的座標點（II，ν)之像素値的方法。 _ [式 11] P(u, v) == (1-kx) *(1-ky) *p (X, Y) +kx* (l-ky) *p (X+l, Y) .+· (1-kx) *icy*p (X, Y+l) +kx*ky*p (X+l, Y+l) 但，將一方之影像之點p之座標設爲p(x，y)， kx : X之小數點以下之値 ky : y之小數點以下之値 X :整數部（X) Y :整數部（y) 根據這種想法，影像處理裝置25按照第1 2圖所示之流 程圖，執行依據仿射變換之投影變換處理。此外，將表示投 影變換影像P(u，v)之像素位置（u，v)的座標u、v各自設 爲 OSuSumax、OSvSvmax。 影像處理裝置25將投影變換影像P(u，v)之座標u起始 化爲〇(步驟S51)。 影像處理裝置25將投影變換影像P(u，v)之座標v起始 1268096 I ' 化爲ο (步驟S52)。 影像處理裝置25將投影變換影像P(u，v)之像素位置 (u，V)代入式10，求出影像pl(x’，y’）之像素位置（X’，y’）（步 驟 S53) 〇 影像處理裝置25對於所求得之影像p 1的像素位置 (X’，y’），依據式2修正，求出歪曲修正前之影像p(x，y) 的像素位置（x，y)(步驟S54)。 影像處理裝置25從投影變換影像P(ii，v)和影像p(x， φ y)，依據式11進行依據雙線性法之插値，求出投影變換影 像P(u，v)之像素値（步驟S55)。 影像處理裝置25將影像P(u，v)之座標v僅增加1(步驟 S56) ° 影像處理裝置25比較影像P(u，v)之座標v和最大値 vmax，判定投影變換影像P(u，v)之座標v是否變成最大値 vmax以上（步驟S57)。 在判定座標v未滿最大値vm ax之情況（在步驟S 5 7 φ N。），影像處理裝置25再度執行步驟S53〜S56。 藉著重複執行步驟S53〜S56之處理，而在判定座標v 變成最大値vmax以上之情況（在步驟S57 Yes)，影像處理裝 置25將影像P(u，v)之座標u僅增加1(步驟S58)。 影像處理裝置2 5比較座標u和最大値urnax，判定座 標u是否變成最大値umax以上（步驟S59)。 在判定是座標u未滿最大値u m a X之情況（在步驟s 5 9 No)，影像處理裝置25再度執行步驟S52〜S58之處理。 -24- 1268096 藉著重複執行步驟S52〜S58之處理’而在判定座標u 變成最大値umax以上 之情況（在步驟S59Yes)，影像處理裝 置25結束本影像變換處理。 依此方式，若可求出投影變換影像P(u ’ v)之像素値’ 可從歪曲修正前之影像P(x，y)求出投影變換影像P(u ’ v)。 如以上之說明所示，若依據本實施形態，不是對原影像 整體進行歪曲修正，而是在用以取得原稿影像之輪廓的縮小 影像製作時進行歪曲修正。因此，歪曲修正計算量變少，可 φ 縮短計算時間。 例如，在將已輸入數位照相機1之影像縮小1 /κ而產生 縮小影像之情況，其歪曲修正之計算次數變成1/(ΚΛ2) ’變 成極少。 又，在執行依據仿射變換之投影變換處理時，因利用對 應於歪曲修正之修正求出歪曲修正前之影像p(x，y)和投影 變換影像P(U，V)之對應關係，可從歪曲修正前之影像ρ(χ， y)正確地求出投影變換影像P(u，ν)。 φ 此外，在實施本發明時，有各種形態，未限定爲上述之 實施形態。 例如，影像處理裝置25亦可配合顯示影像縮小影像， 而不是將數位照相機1之輸入影像縮小。例如，數位照相機 1之輸入影像是400萬像素的影像大小，若電腦用之顯示影 像是（1 024 x7 68 = 80萬像素），亦配合電腦用之顯示影像的影 像大小，將8 0萬像素之影像縮小1 /K。依此方式，因對縮小 影像進行歪曲修正，和將400萬像素之影像縮小1 /K之情況 -25- 1268096 ^ * 相比，歪曲修正之計算次數可再減少至約1 /5。又’在拍攝 A4(297x210mm)之用紙的情況，一般輪廓抽出精度亦右有 1、2mm之解析度就夠了。因而，縮小影像使用320 x240影 像亦可充分達成此精度。在此情況，亦可減少至1 /5 2。 」 在本實施形態，使數位照相機1具備影像處理裝置25。 ； 可是，在攝影裝置上，除了數位照相機1以外，亦可具備電 腦，而在電腦具備具有該功能之影像處理裝置25，電腦和數 位照相機連接而構成。依此方式，數位照相機1可使用泛用 鲁者。 此外，本實施形態之影像處理裝置25未必用於攝影裝 置，在電腦具備本實施形態之影像處理裝置25之功能，無 數位照相機1，亦可在構造上使電腦儲存應進行歪曲修正、 梯形修正之影像後，·電腦對所儲存之影像進行上述之影像處 理。 又，亦可將用以執行上述之處理的程式儲存於軟碟、CD —ROM(Compact Disk— Read Only Memory) ^ DVD(Digital 鲁Video Disk)等電腦可讀出之記錄媒體後分發，將其安裝於電 腦，作爲上述之裝置使動作，或者執行上述之程序。又，亦 可將程式預先儲存於網際網路上之伺服器裝置所具有之碟 片裝置等，例如使和載波重疊後向電腦下載等。 ^ 又，在本實施形態，雖然利用仿射變換修正因應於拍攝 攝影對象物時之拍攝角度發生之梯形失真或旋轉失真等線 性失真，但是只要是可修正這種線性失真之投影變換，亦可 使用仿射變換以外之投影變換。又，亦可使用雖無法正確地 1268096 修正線性失真卻可近似地修正之投影變換。又，攝影對象物 亦可是記載原稿之用紙以外之建築物等，只要是預知實際形 狀之攝影對象物，亦可應用於不是長方形之任意之形狀，是 此情況，亦藉著比較攝影對象物之實際形狀和從攝影對象影 像所取得之形狀而可算出投影參數。又，亦可不取得攝影對 象物整體之形狀，而從在攝影對象物上之幾個點之失真算出 投影參數。 又，在本實施形態，雖然在縮小攝影影像而取得縮小影 • 像時，進行因應於鏡頭特性之歪曲修正，但是亦可和縮小處 理同時進行對在拍攝前預知之因鏡頭特性以外之要因而發 生之失真的失真修正。 【圖式簡單說明】 第1圖是表示本發明之實施形態的數位照相機之構造的 說明圖。 第2圖是用以說明第1圖所示數位照相機之功能的圖， (a)是表示失真之攝影影像的圖，（b)表示宛如從正面拍攝之 ♦修正後的理想影像。 第3圖是表示第1圖所示數位照相機之構造的方塊圖。 第4圖是表示第1圖所示數位照相機之攝影處理的流程 圖。 第5圖是第2圖所示影像處理裝置執行之攝影對象的輪 廓取得處理之說明圖，（a)表示因攝影鏡頭部之歪曲像差而失 真成桶型之原稿影像，（b)表示已進行失真修正之縮小影 像，（〇表示邊緣二値影像。

-27- 1268096 第6圖是半變換之說明圖。 第7圖是對失真之直線的半變換之說明圖，（a)表示對失 真之直線的半變換’（b)〜（d)各自表示對（a)所示之sl、s2、 S3軸的投影直方圖。 ； 第8圖是在半變換減少調查角度之手法的說明圖。 ； 第9圖是表示第3圖所示影像處理裝置執行之攝影對象 的輪廓取得處理之內容的流程圖。 第1 0圖是表示第3圖所示影像處理裝置執行之四角形 φ 候選選擇處理的內容之流程圖。 第11圖是仿射變換之說明圖。 第1 2圖是表示第3圖所示影像處理裝置執行之依據仿 射變換的投影變換處理之內容的流程圖。 第13圖是表示失真之影像的說明圖。 【元件符號說明】

1 數 位 照 相 機 2 原 稿 11 攝 影 鏡 頭 部 12 液 晶 監 視 器 13 快 門 按 鈕 21 光 學 鏡 頭 裝 置 22 影 像 感 測 器 23 記 憶 體 24 顯 示 裝 置 25 影 像 處 理 裝 置 -28 1268096

30 3 1 CPU記憶卡 -29-

Claims (1)

1268096 +月日修($)正替換頁 第94 1 08285號「修正圖像歪斜之圖像處理裝置、修正攝影圖像歪 斜之攝影裝置以及記錄媒體」專利案 (2 006年5月22日修正） 十、申請專利範圍： 1 . 一種影像處理裝置，用以修正影像之失真，其特徵爲具備： 攝影影像取得部，用以取得所拍攝的攝影對象物之攝影影 像，亦即包含和該攝影對象物對應之影像部分的攝影對象影像 之攝影影像； φ 縮小影像取得部，用以取得減少該攝影影像之解析度的縮小 影像； 失真資訊取得部，根據該縮小影像，而取得表示該攝影對象 影像之失真的失真資訊； 投影參數取得部，根據該失真資訊，而取得用以將該攝影對 象影像變換成無失真之理想影像之投影參數；及 投影變換部，使用該投影參數，藉著進行該攝影影像之投影 變換而產生投影變換影像。 參2.如申請專利範圍第1項之影像處理裝置’其中· 該攝影對象影像之失真係包含有因應於拍攝該攝影對象物 時之拍攝角度所發生之線性失真； | 該投影變換係修正該線性失真之變換。 • 3 .如申請專利範圍第2項之影像處理裝置，其中： 該攝影對象影像之失真係包含有因應於在該攝影對象物之 攝影時所使用之鏡頭之特性而發生之歪曲失真； 該失真資訊取得部，係藉著對該縮小影像進行因應於該鏡頭 之特性的歪曲修正而取得修正縮小影像，根據該修正縮小影像 L.. Ϊ268096 來取得表示該攝影對象影像之線性失真的失真資訊。 4.如申請專利範圍第3項之影像處理裝置，其中，該失真資訊取 得部，係根據該修正縮小影像而取得該攝影對象影像之形狀， 並根據該攝影對象影像之形狀和該攝影對象物之實際形狀而 取得表示該攝影對象影像之線性失真的失真資訊。 5 .如申請專利範圍第3項之影像處理裝置，其中，該失真資訊取 得部，係在取得減少該攝影影像之解析度的縮小影像時，和該 縮小處理同時地進行該歪曲修正，以取得該修正縮小影像。 • 6 ·如申請專利範圍第4項之影像處理裝置，其中： 該攝影對象物之實際形狀係長方形； 該失真資訊取得部，係根據該修正縮小影像而取得該攝影對 象影像之輪廓，並特定在該輪廓之4個直線部分，取得由該4 個直線部分所構成的梯形之形狀，以作爲該失真資訊。 7 ·如申請專利範圍第6項之影像處理裝置，其中，根據半變換而 進行該直線部分之特定，藉由該半變換所求得之各直線部分之 角度對應於對該修正縮小影像之中心的哪一個方向，藉以特定 對應於在該梯形之上邊、下邊、左邊、右邊各個之直線。 8 ·如申請專利範圍第1項之影像處理裝置，其中，該投影變換部 係和從該攝影影像剪下該攝影對象影像同時進行地該投影變 換。 9 ·如申請專利範圍第1項之影像處理裝置，其中，該投影變換 部’係對應於構成該投影變換影像之各像素位置而進行該投影 變換’根據該投影參數而特定和該投影變換影像上之各像素位 置對應之該攝影影像上之位置，採用和該特定之位置對應之該 攝影影像上之像素値，來作爲和該投影變換影像上之各像素位 1268096 ί V ' '' . 丨..V 丨！ ί 置對應之像素値。^ ^ 1 〇.如申請專利範圍第9項之影像處理裝置，其中，該投影變換部 係利用：接近根據該投影參數所特定之該攝影影像上之位置之 多個像素之像素插補，而計算和該投影變換影像上之各像素位 _ 置對應之像素値。 1 1 .如申請專利範圍第9項之影像處理裝置，其中，該投影變換影 像之解析度係比該攝影影像之解析度更低之解析度。 1 2.如申請專利範圍第3項之影像處理裝置，其中，該投影變換部 φ 係和該投影變換同時地進行因應於該鏡頭特性之歪曲修正’以 產生該投影變換影像。 1 3 .如申請專利範圍第1項之影像處理裝置，其中： 該攝影對象物係原稿用紙； 該投影變換影像，係拍攝該原稿用紙之記載內容的原稿影 像。 14.如申請專利範圍第1項之影像處理裝置，其中： 該影像處理裝置是攝影裝置，具備有：具有既定之特性的鏡 ® 頭；及經由該鏡頭拍攝攝影對象物並取得攝影影像的攝影部； 將該攝影部所拍攝之攝影影像作爲該攝影影像取得部所取 得之該攝影影像，記錄該投影變換部所取得之該投影變換影 ^ 像。 • 1 5 ·—種攝影裝置，用以修正攝影影像之失真，其特徵爲：具備有 鏡頭，具有既定之特性； 攝影部，經由該鏡頭拍攝攝影對象物，以取得攝影影像； 修正縮小影像取得部，減少該攝影影像之解析度，同時進行 因應於該鏡頭特性之歪曲修正而取得修正縮小影像； 1268096 % ,.v …' 失真資訊取得部，根據該修正縮小影像而取得表示拍攝該攝 影對象物時之失真的失真資訊； 變換部，根據該失真資訊，將該攝影影像變換成無失真之理 想影像。 k 1 6 ·如申請專利範圍第1 5項之攝影裝置，其中·· 具備有顯示該攝影影像的顯示部； 該縮小影像取得部係對應於該顯示部所顯示之影像的顯示 大小，而縮小該攝影影像。 • 1 7 .如申請專利範圍第1 5項之攝影裝置，其中，具備有記錄部， 用以記錄該變換部所產生之該理想影像。 1 8 · —種影像處理方法，其特徵爲：具備有 用以取得所拍攝的攝影對象物之攝影影像，亦即包含和該攝 影對象物對應之影像部分之攝影對象影像之攝影影像的步驟； 取得減少該攝影影像之解析度的縮小影像之步驟； 根據該縮小影像而取得表示該攝影對象影像之失真的失真 資訊之步驟； • 根據該失真資訊，而取得用以將該攝影對象影像變換成無失 真之理想影像之投影參數的步驟；及 使用該投影參數’藉著進行該攝影影像之投影變換而產生投 • 影變換影像的步驟。 • 1 9 . 一種記錄媒體，其記錄有用以在電腦中執行以下之程序的程 序： 取得所拍攝之攝影對象物的攝影影像，亦即包含和該攝影對 象物對應之影像部分的攝影對象影像之攝影影像的程序； 取得減少該攝影影像之解析度的縮小影像之程序； 1268096 % 根據該縮小影 資訊之程序； 根據該失真資 真之理想影像之 使用該投影參 影變換影像之程 年月曰修(^)正替換頁 像而取得表示該攝影對象影像之失真的失真 訊，而取得用以將該攝影對象影像變換成無失 投影參數之程序；及 數，藉著進行該攝影影像之投影變換而產生投 序0