TWI592020B - 投影機的影像校正方法及影像校正系統 - Google Patents

投影機的影像校正方法及影像校正系統 Download PDF

Info

Publication number
TWI592020B
TWI592020B TW105126843A TW105126843A TWI592020B TW I592020 B TWI592020 B TW I592020B TW 105126843 A TW105126843 A TW 105126843A TW 105126843 A TW105126843 A TW 105126843A TW I592020 B TWI592020 B TW I592020B
Authority
TW
Taiwan
Prior art keywords
image
parameter
projector
distortion
correction
Prior art date
Application number
TW105126843A
Other languages
English (en)
Other versions
TW201808000A (zh
Inventor
林宗翰
Original Assignee
國立臺灣科技大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立臺灣科技大學 filed Critical 國立臺灣科技大學
Priority to TW105126843A priority Critical patent/TWI592020B/zh
Priority to US15/294,350 priority patent/US9972075B2/en
Priority to EP17172123.6A priority patent/EP3287986B1/en
Application granted granted Critical
Publication of TWI592020B publication Critical patent/TWI592020B/zh
Publication of TW201808000A publication Critical patent/TW201808000A/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • G06T3/047Fisheye or wide-angle transformations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20216Image averaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)
  • Image Processing (AREA)

Description

投影機的影像校正方法及影像校正系統
本發明是有關於一種影像處理方法及其系統,且特別是有關於一種投影機的影像校正方法及影像校正系統。
一般投影機內部具有發光光源,經過光學鏡組後,可將影像投射到實體平面上,做為觀看使用。投影機在結構光(structure light)形式的三維(three dimension,3D)掃描器中,以及光固化(photocuring)形式的3D印表機中,亦同樣扮演著關鍵元件角色。然而,投影機所輸出的投影畫面,會因其內部的光學鏡組設計而導致投影畫面產生變形。
投影機的變形主要有兩個因素,其中一個因素為,光經過折射至成像表面,容易產生畸變變形;另一個因素為,光軸與成像平面不垂直所導致,或者裝配光學鏡組所產生的歪斜偏移,而導致梯形變形(Keystone)。以畸變變形來說,例如原本傳送給投影機的影像為正方形,在理想的投影條件下可以輸出正方形的外觀,然而大部分投影機因為光學鏡組的搭配往往會產生畸變變形(distortion),其常見的形式為桶狀變形(Barrel Distortion)與針狀變形(Pincushion Distortion),這類型的變形則需透過非線性的方程式來描述。另外,梯形變形可以單純使用線性變形方式來表示。
本發明提供一種投影機的影像校正方法及影像校正系統,可同步修正投影機的線性的梯形變形及非線性的鏡頭變形。
本發明的投影機的影像校正方法,包括:透過影像擷取裝置來拍攝實體校正板而獲得第一影像,其中實體校正板設置在投影機的投影幕的位置;利用處理器分析第一影像以獲得影像擷取裝置的第一校正參數以及第一單應性矩陣;透過影像擷取裝置來拍攝透過投影機將校正板圖像輸出至投影幕的輸出影像,而獲得第二影像;基於第一校正參數,利用處理器對第二影像執行反扭曲運算,而獲得第三影像;利用處理器分析第三影像以獲得投影機的第二校正參數以及第二單應性矩陣;以及基於第二校正參數、第二單應性矩陣以及該第一單應性矩陣,透過處理器對欲經由投影機輸出的原始影像進行補償運算而獲得補償後影像,以將補償後影像透過投影機輸出至投影幕。
在本發明的一實施例中,上述第一校正參數包括第一內部參數以及第一畸變參數。利用處理器來分析第一影像以獲得影像擷取裝置的第一校正參數以及第一單應性矩陣的步驟包括:基於第一影像的解析度來設定第一內部參數;基於第一內部參數來計算第一畸變參數;基於第一畸變參數執行反扭曲運算,而獲得第一反扭曲影像;以及依據第一反扭曲影像與實體校正板對應的座標矩陣,計算第一單應性矩陣。
在本發明的一實施例中,上述第二校正參數包括第二內部參數以及第二畸變參數。透過處理器分析第三影像以獲得投影機的第二校正參數以及第二單應性矩陣的步驟包括:基於第三影像的解析度來設定第二內部參數;基於第二內部參數來計算第二畸變參數;基於第二畸變參數執行反扭曲運算,而獲得第二反扭曲影像;以及依據第二反扭曲影像與校正板圖像對應的座標矩陣,計算第二單應性矩陣。
在本發明的一實施例中,上述基於第二校正參數、第二單應性矩陣以及第一單應性矩陣,透過處理器對欲經由投影機輸出的原始影像進行補償運算而獲得補償後影像的步驟包括:利用第二單應性矩陣,對原始影像進行反向單應性變換運算,而獲得第一修正影像;利用第二校正參數,對第一修正影像執行反扭曲運算,而獲得第二修正影像;利用第二單應性矩陣,對第二修正影像執行單應性變換運算,而獲得第三修正影像;以及利用第一單應性矩陣,對第三修正影像執行單應性變換運算,而獲得補償後影像。
在本發明的一實施例中,影像擷取裝置與投影機位於投影幕的同一側,或者影像擷取裝置與投影機位於投影幕的不同側。
本發明的影像校正系統,包括:投影機;影像擷取裝置,拍攝設置於投影機的投影幕的位置的實體校正板而獲得第一影像,並且拍攝由投影機將校正板圖像輸出至投影幕的輸出影像而獲得第二影像;以及處理器,耦接至影像擷取裝置與投影機。處理器分析第一影像以獲得影像擷取裝置的第一校正參數以及第一單應性矩陣;處理器基於第一校正參數,利用處理器對第二影像執行反扭曲運算,而獲得第三影像;處理器分析第三影像以獲得投影機的第二校正參數以及第二單應性矩陣;基於第二校正參數、第二單應性矩陣以及第一單應性矩陣,處理器對欲經由投影機輸出的原始影像進行補償運算而獲得補償後影像,以將補償後影像透過投影機輸出至投影幕。
基於上述,透過額外設置的影像擷取裝置來拍攝實體校正板及投影幕上的輸出影像而獲得兩張影像,進而計算出投影機中的線性變形模式與非線性變形模式,藉此來對預計投影的原始影像進行補償運算。據此,補償後影像中已加入了反變形的因素,在經由投影機輸出之後,便能夠獲得與原始影像具有相同比例的畫面,解決了投影機輸出畫面的變形問題,並達成精確定位之功效。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
圖1是依照本發明一實施例的影像校正系統的方塊圖。請參照圖1,影像校正系統100包括影像擷取裝置110、投影機120以及處理器130。在此,處理器130透過有線連接或是無線連接的方式,分別耦接至影像擷取裝置110及投影機120。即,影像擷取裝置110與投影機120利用有線傳輸或是無線傳輸的方式與處理器130進行溝通,使得處理器130得以自影像擷取裝置110接收資料,並且傳送資料至投影機120。
影像擷取裝置110例如是採用電荷耦合元件(Charge coupled device,CCD)鏡頭、互補式金氧半電晶體(Complementary metal oxide semiconductor transistors,CMOS)鏡頭的攝影機、照相機等。
投影機120例如是陰極射線管(cathode ray tube,CRT)投影機、液晶(liquid-crystal display,LCD)投影機、數位光處理(Digital Light Processing,DLP)投影機、矽基液晶(liquid crystal on silicon,LCoS)投影機、發光二極體(light-emitting diode,LED)投影機等視頻投影機(video projector),但本發明不限於此,可以在不同解析度與不同亮度對比等考量下,採用適合規格的裝置。
處理器130例如為中央處理單元(Central Processing Unit,CPU)、圖像處理單元(Graphic Processing Unit,GPU)、物理處理單元(Physics Processing Unit,PPU)、可程式化之微處理器(Microprocessor)、嵌入式控制晶片、數位訊號處理器(Digital Signal Processor,DSP)、特殊應用積體電路(Application Specific Integrated Circuits,ASIC)或其他類似裝置。
在影像校正系統100中,利用影像擷取裝置110來拍攝兩張影像。其中一張影像為設置在投影幕(projection screen)位置的實體校正板,另一張影像為校正板圖像透過投影機120而輸出至投影幕的輸出影像。處理器130透過上述兩張影像,可計算出投影機120中的線性變形模式與非線性變形模式,進一步再基於線性變形模式與非線性變形模式,反向修正預計投影的原始影像,使得投影後的畫面可以保持與原來預計投影的畫面具有相同比例。在此,實體校正板與校正板圖像的圖樣例如為規則的棋盤格圖樣,然,並不以此為限。
在本實施例中,處理器130例如為設置於另一獨立的電子裝置中。而影像擷取裝置110與投影機120位於投影幕的同一側,或者影像擷取裝置110與投影機120位於投影幕的不同側。
舉例來說,圖2A及圖2B是依照本發明一實施例的影像校正系統的配置方式的示意圖。圖2A所示為影像擷取裝置110與投影機120位於投影幕P的不同側。圖2B所示為影像擷取裝置110與投影機120位於投影幕P的同一側。
另外,在其他實施例中,處理器130可以內建於投影機120中;或者,處理器130可設置於影像擷取裝置110中。而在其他實施例中,也可將影像擷取裝置110、處理器130以及投影機120整合至同一裝置。例如是具有照相、攝影以及投影功能的個人電腦、筆記型電腦、智慧型手機以及平板電腦,本發明不以此為限。
底下即配合上述影像校正系統100來說明投影機的影像校正方法各步驟。圖3是依照本發明的一種投影機的影像校正方法的流程圖。請同時參照圖1~圖3,在步驟S305中,透過影像擷取裝置110來拍攝實體校正板而獲得第一影像。在此,實體校正板設置在投影機120的投影幕P的位置。例如,在投影幕P供影像擷取裝置110進行拍攝的一側,擺設一張校正用的校正薄板(實體校正板),以供影像擷取裝置110進行拍攝。在拍攝獲得第一影像之後,影像擷取裝置110傳送第一影像至處理器130來進行後續的影像分析處理,即,執行步驟S310。
在步驟S310中,處理器130分析第一影像以獲得影像擷取裝置110的第一校正參數以及第一單應性(homography)矩陣。例如,第一校正參數包括第一內部參數以及第一畸變參數。在自第一影像獲得第一內部參數以及第一畸變參數之後,基於第一畸變參數執行反扭曲運算,而獲得第一反扭曲影像。並且,處理器130依據第一反扭曲影像與實體校正板對應的座標矩陣,計算第一單應性矩陣,單應性矩陣包含了影像的旋轉、平移、縮放、仿射與透視投影之矩陣組合。第一單應性矩陣經過矩陣分解後可用來修正第一影像的梯形變形(Keystone)。
梯形變形在相機或投影機是常見的變形。梯形變形在不嚴重的情況下可以使用線性內插來修正,但由於線性內插無法處理到深度所產生的位置偏差修正,因此,在本實施例中以透視投影(perspective projection)來進行修正,即,單應性校正。
畸變參數(第一畸變參數、後述的第二畸變參數)通常是由多項式表示,用於描述鏡頭所導致的桶狀(barrel)或針狀(pincushion)變形。也就是說,處理器130在利用畸變參數將待測影像進行反扭曲運算後,所產生的反扭曲影像可將影像修正回近似針孔投影的數學模型。
並且,在步驟S315中,透過影像擷取裝置110來拍攝透過投影機120將校正板圖像輸出至投影幕P的輸出影像,而獲得第二影像。在此,設置一個可成像的半透明材質(例如很薄的紙)來作為投影幕P。在拍攝獲得第二影像之後,影像擷取裝置110傳送第二影像至處理器130來進行後續的分析。
之後,在步驟S320中,基於第一校正參數,處理器130對第二影像執行反扭曲運算,而獲得第三影像。即,將影像擷取裝置110所造成的畸變變形的因素自第二影像中消除,而獲得第三影像。之後,處理器130對第三影像執行後續的影像分析處理,即,執行步驟S325。
在步驟S325中,處理器130分析第三影像以獲得投影機120的第二校正參數以及第二單應性矩陣。例如,第二校正參數包括第二內部參數以及第二畸變參數。處理器130基於第三影像的解析度來設定第二內部參數,之後基於第二內部參數來計算第二畸變參數,然後,基於第二畸變參數執行反扭曲運算,而獲得第二反扭曲影像,再依據第二反扭曲影像與校正板圖像對應的座標矩陣,計算第二單應性矩陣。
之後,在步驟S330中,基於第二校正參數、第二單應性矩陣以及第一單應性矩陣,處理器130對欲經由投影機120輸出的原始影像進行補償運算而獲得補償後影像,以將補償後影像透過投影機120輸出至投影幕P。
關於步驟S310與步驟S325的影像分析處理的步驟,底下再舉例來進行說明。圖4是依照本發明的影像分析方法的流程圖。在本實施例中,將處理器130欲進行分析的影像(第一影像或第三影像)稱為待測影像。利用處理器130計算出待測影像的內部參數K、畸變參數k以及單應性矩陣。
首先,在步驟S405中,處理器130接收待測影像。在此,待測影像可以是上述第一影像或第三影像。接著,在步驟S410中,處理器130基於待測影像的解析度來獲得內部參數K。在本實施例中,內部參數K為假想的內部參數,其用於修正變形時而做為映射單位面積之運算,並非實際上影像擷取裝置110的真正內部參數。例如,處理器130基於下述方程式(1)先獲得內部參數K。在方程式(1)中, wh分別代表待測影像的寬與高。即, wh為影像擷取裝置110所拍攝的影像的解析度。
方程式(1)
之後,在步驟S415中,處理器130使用特徵偵測方法,找出待測影像中的多個特徵點 。就棋盤格圖樣而言,棋盤格內的黑白相間的角點即是所謂的特徵點。
然後,在步驟S420中,依據内部參數K,將特徵點 的座標系以及未變形的參考點的座標系轉換為單位座標下的變形座標 與未變形座標 。如下述方程式(2)所示,將每一個特徵點 乘上 後,讓每一個特徵點 映射至一個指定的範圍內(例如為-1~+1的範圍),而獲得變形狀態下經正規化後的變形座標
方程式(2)
另外,假設待測影像的棋盤格圖樣具有8×13的特徵點,則基於原始棋盤格圖樣來設定一個未變形的參考圖樣(具有8×13的參考點),而未變形座標 即代表參考圖樣中的未變形的特徵點,且也是正規化後的座標(數值範圍在-1~+1)。
接著,在步驟S425中,依據變形座標 與未變形座標 來決定畸變參數k。在取得單位座標下的變形座標 與未變形座標 的對應關係後,這兩組座標必須滿足方程式(3)。
方程式(3)
在方程式(3)中, 為線性的未變形座標。處理器130利用方程式(3)判斷待測影像的畸變參數k。一般可採用高次方的多項式來描述畸變參數k。例如,在本實施例中畸變參數k包含5個係數, 。然,在其他實施例中可依照需求來變更畸變參數k所包括的係數個數。為了解出畸變參數k,將方程式(3)改寫為下述方程式(4)。在收集至少四個對應點後,再由最小平方法解出,或者以奇異值分解(Singular Value Decomposition,SVD)來計算出畸變參數k。
方程式(4)
若要將單位化下的變形座標 轉換成真實使用的特徵點 ,則需乘上內部參數 ,例如方程式(5),即可獲得。同樣地,線性的未變形座標 ,也可以透過內部參數 ,轉換成真實座標系(單位為像素)。在處理畸變變形的模式,於本實施例中傾向於在單位化下的座標系下運算,以便滿足接近對稱且接近單位圓的狀態下進行變形的近似運算。真實座標與單位化座標,可以透過內部參數,或其反矩陣之運算達到。
方程式(5)
求出畸變參數k之後,在步驟S430中,由未變形座標 來決定估算值 。例如,將未變形座標 代入至上述方程式(3)所獲得的 視為是估算值 。這是因為,變形座標 是能夠測量到的,例如棋盤格圖樣中的各角點乘上 ;而估算值 並非是真正測量到的值,因此將未變形座標 代入至上述方程式(3)所獲得的結果另外定義為估算值
之後,在步驟S435中,評估估算值 與變形座標 之間的差異,並且計算兩者之間的轉換矩陣 。而在步驟S440中,判斷是否要終止疊代過程。若否,則執行步驟S445;若是,則執行步驟S450。例如,倘若估算值 與變形座標 之間的差異高於設定數值,則繼續執行疊代過程。即,在步驟S445中,利用估算值 與變形座標 之間的轉換矩陣 ,來更新變形座標 、未變形座標 以及內部參數K,如下所示。例如, 。在此,上述轉換矩陣 也是一種單應性矩陣。
在更新變形座標 、未變形座標 以及內部參數K之後,重新執行步驟S425,利用方程式(4)來求出畸變參數k,之後再評估估算值 與變形座標 之間的差異,以此類推重複進行疊代。而在經過疊代後的估算值 與變形座標 之間的誤差低於限定數值,或者疊代次數高於某個數量,即可終止疊代過程,而獲得最後的內部參數K與畸變參數k。
在確定終止疊代過程之後,在步驟S450中,依據內部參數K將未變形座標 轉換至影像擷取裝置110的座標空間,藉以來獲得單應性矩陣(第一單應性矩陣 、第二單應性矩陣 )。即,計算影像擷取裝置110的座標空間與實體校正板的第一單應性矩陣 ,或影像擷取裝置110的座標空間與輸入至投影機120的校正板圖像的座標空間的第二單應性矩陣
例如,將未變形座標 乘上內部參數K而轉換至影像擷取裝置110的座標空間,使用 與校正板的座標來計算梯形變形而獲得單應性矩陣(第一單應性矩陣 或第二單應性矩陣 )。在此, 為理想中的反扭曲影像的特徵點。倘若內部參數K計算夠準確,則 會與實際上的反扭曲影像的特徵點非常接近。
底下舉例來說明梯形變形的數學模式。例如,針對大於或等於四點的單應性校正的運算式可表示如底下方程式(A)所示。
方程式(A)
單應性矩陣H(第一單應性矩陣 、第二單應性矩陣 )例如為3×3的矩陣。在此,單應性矩陣用於描述影像擷取裝置110所拍攝到的平面座標(已經過反扭曲運算後的第一反扭曲影像),或者可視為投影機120投影後的平面座標(已經過反扭曲處理的第二反扭曲影像)。為了要解出單應性矩陣H,假設由影像擷取裝置110的座標空間的特徵點映射至已知的座標空間後( ),與已知的座標空間上的特徵點 的外積為零向量,如方程式(B)所示。並且,已知的座標空間的特徵點 的齊次座標(homogeneous coordinate)值如方程式(C)所示。
方程式(B)
方程式(C)
並且,將單應性矩陣H的行向量分別表示如 ,如方程式(D)。
方程式(D)
而方程式(B)可以改寫並簡化為方程式(E),最後以奇異值分解(SVD)來解出單應性矩陣H。
當單應性矩陣H計算出來後相當於一個迴歸矩陣。因此根據單應性矩陣,於影像擷取裝置110所拍攝的座標系上的任意一點X i 乘以單應性矩陣H即可計算出已知的座標系之座標值
在獲得第一影像之後,處理器130利用上述步驟S405~S450,由第一影像來獲得第一內部參數K c 、第一畸變參數k c 以及第一單應性矩陣H c 。之後,在獲得第二影像之後,處理器130以第一內部參數K c 、第一畸變參數k c 對第二影像執行反扭曲運算,藉以消除第二影像中由影像擷取裝置110所造成的畸變變形,進而獲得第三影像。然後,處理器130再次利用上述步驟S405~S450,由第三影像來獲得第二內部參數K p 、第二畸變參數k p 以及第二單應性矩陣H p
而在獲得各項參數之後,處理器130便能夠藉由這些參數對欲經由投影機120輸出的原始影像進行補償運算而獲得補償後影像。在此,假設欲經由投影機120輸出的原始影像為I。
首先,利用第二單應性矩陣H p ,對原始影像I進行反向單應性變換運算,而獲得第一修正影像H p -1 I。之後,利用第二校正參數(第二內部參數K p 、第二畸變參數k p ),對第一修正影像 H p -1 I執行反扭曲運算,而獲得第二修正影像undist(H p -1 I);接著,利用第二單應性矩陣H p ,對第二修正影像undist(H p -1 I)執行單應性變換運算,而獲得第三修正影像I'。即,I'=H p (undist(H p -1 I))。
而根據上述動作即可完成對原始影像I的畸形變形補償。最後若要同時修正梯形變形,則利用第一單應性矩陣H c 即可修正梯形變形。即,利用第一單應性矩陣H c ,對第三修正影像I'執行單應性變換運算,而獲得第四修正影像I",以第四修正影像來作為補償後影像。進一步地說,可將第一單應性矩陣H c 分解為投影(projection)變換矩陣、仿射(affine)變換矩陣和相似(similarity)變換矩陣H s 。即,H c =H s H ap 。其中,H ap 包含了仿射、投影以及位移的運算組合,也就是說H ap 可以消除第三修正影像I'的投影效應,亦即可以根據自己的形狀中心位置產生投影變形,而利用相似變換矩陣H s 修正了第三修正影像I'與實體校正板之間的差別。因此,複合修正梯形變形與扭曲變形之運算,則補償後的第四修正影像為I"=H p (H ap -1undist(H p -1 I))。亦或者可以由第三影像轉換得知,如I"=H p H ap -1 H p -1 I'
例如,以正圓形而言,在經由補償運算後,補償後影像則是已被變形後的影像,而在透過投影機120輸出補償後影像時,所輸出的圖形可以保持在正圓形的投影狀態。
綜上所述,在上述實施例中,於投影機的投影幕拍攝兩張影像,其中一張為拍攝實體校正板而獲得,另一張為拍攝投影機所投射出的校正板圖像而獲得。透過兩張影像,來計算出投影機中的線性變形模式與非線性變形模式,進一步再基於線性變形模式與非線性變形模式,反向修正預計投影的原始影像,使得投影後的畫面可以保持與原來預計投影的畫面具有相同比例。該技術可大幅簡化硬體所需的設計。
而投影機除了可以使用於一般顯示用途外,亦可用於3D掃描器與3D印表機,經過修正後的投影機可以大幅提高其在精密3D掃描與精密3D列印之應用。由於現階段諸多投影機應用於3D印表機與3D掃描器,並且追求投影之精確度,利用上述實施例可以有效解決因投影機於生產製造組裝過程中所產生的線性與非線性變形,進而提高投影之精確度,可提供現階段全球應用投影機所產生的大部分3D應用關鍵技術。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100‧‧‧影像校正系統
110‧‧‧影像擷取裝置
120‧‧‧投影機
130‧‧‧處理器
P‧‧‧投影幕
S305~S330‧‧‧投影機的影像校正方法各步驟
S405~S450‧‧‧影像分析方法各步驟
圖1是依照本發明一實施例的影像校正系統的方塊圖。 圖2A及圖2B是依照本發明一實施例的影像校正系統的配置方式的示意圖。 圖3是依照本發明的一種投影機的影像校正方法的流程圖。 圖4是依照本發明的影像分析方法的流程圖。
S305~S330‧‧‧投影機的影像校正方法各步驟

Claims (10)

  1. 一種投影機的影像校正方法,包括:透過一影像擷取裝置來拍攝一實體校正板而獲得一第一影像,其中該實體校正板設置在一投影機的一投影幕的位置;利用一處理器分析該第一影像以獲得該影像擷取裝置的一第一校正參數以及一第一單應性矩陣;透過該影像擷取裝置來拍攝透過該投影機將一校正板圖像輸出至該投影幕的一輸出影像,而獲得一第二影像;基於該第一校正參數,利用該處理器對該第二影像執行一反扭曲運算,而獲得一第三影像;利用該處理器分析該第三影像以獲得該投影機的一第二校正參數以及一第二單應性矩陣;以及基於該第二校正參數、該第二單應性矩陣以及該第一單應性矩陣,透過該處理器對欲經由該投影機輸出的一原始影像進行一補償運算而獲得一補償後影像,以將該補償後影像透過該投影機輸出至該投影幕。
  2. 如申請專利範圍第1項所述的投影機的影像校正方法,其中該第一校正參數包括一第一內部參數以及一第一畸變參數,而利用該處理器來分析該第一影像以獲得該影像擷取裝置的該第一校正參數以及該第一單應性矩陣的步驟包括:基於該第一影像的解析度來設定該第一內部參數;基於該第一內部參數來計算該第一畸變參數; 基於該第一畸變參數執行該反扭曲運算,而獲得一第一反扭曲影像;以及依據該第一反扭曲影像與該實體校正板對應的座標矩陣,計算該第一單應性矩陣。
  3. 如申請專利範圍第1項所述的投影機的影像校正方法,其中該第二校正參數包括一第二內部參數以及一第二畸變參數,而透過該處理器分析該第三影像以獲得該投影機的該第二校正參數以及該第二單應性矩陣的步驟包括:基於該第三影像的解析度來設定該第二內部參數;基於該第二內部參數來計算該第二畸變參數;基於該第二畸變參數執行該反扭曲運算,而獲得一第二反扭曲影像;以及依據該第二反扭曲影像與該校正板圖像對應的座標矩陣,計算該第二單應性矩陣。
  4. 如申請專利範圍第1項所述的投影機的影像校正方法,其中基於該第二校正參數、該第二單應性矩陣以及該第一單應性矩陣,透過該處理器對欲經由該投影機輸出的該原始影像進行該補償運算而獲得該補償後影像的步驟包括:利用該第二單應性矩陣,對該原始影像進行一反向單應性變換運算,而獲得一第一修正影像;利用該第二校正參數,對該第一修正影像執行該反扭曲運算,而獲得一第二修正影像; 利用該第二單應性矩陣,對該第二修正影像執行一單應性變換運算,而獲得一第三修正影像;以及利用該第一單應性矩陣,對該第三修正影像執行該單應性變換運算,而獲得第四修正影像,即該補償後影像。
  5. 如申請專利範圍第1項所述的投影機的影像校正方法,其中該影像擷取裝置與該投影機位於該投影幕的同一側,或者該影像擷取裝置與該投影機位於該投影幕的不同側。
  6. 一種影像校正系統,包括:一投影機;一影像擷取裝置,拍攝設置於該投影機的一投影幕的位置的一實體校正板而獲得一第一影像,並且拍攝由該投影機將一校正板圖像輸出至一投影幕的一輸出影像而獲得一第二影像;以及一處理器,耦接至該影像擷取裝置與該投影機;其中,該處理器分析該第一影像以獲得該影像擷取裝置的一第一校正參數以及一第一單應性矩陣;該處理器基於該第一校正參數,利用該處理器對該第二影像執行一反扭曲運算,而獲得一第三影像;該處理器分析該第三影像以獲得該投影機的一第二校正參數以及一第二單應性矩陣;基於該第二校正參數、該第二單應性矩陣以及該第一單應性矩陣,該處理器對欲經由該投影機輸出的一原始影像進行一補償運算而獲得一補償後影像,以將該補償後影像透過該投影機輸出至該投影幕。
  7. 如申請專利範圍第6項所述的影像校正系統,其中該 第一校正參數包括一第一內部參數以及一第一畸變參數,該處理器基於該第一影像的解析度來設定該第一內部參數,基於該第一內部參數來計算該第一畸變參數,基於該第一畸變參數執行該反扭曲運算,而獲得一第一反扭曲影像,並且依據該第一反扭曲影像與該實體校正板對應的座標矩陣,計算該第一單應性矩陣。
  8. 如申請專利範圍第6項所述的影像校正系統,其中該第二校正參數包括一第二內部參數以及一第二畸變參數,該處理器基於該第三影像的解析度來設定該第二內部參數,基於該第二內部參數來計算該第二畸變參數,基於該第二畸變參數執行該反扭曲運算,而獲得一第二反扭曲影像,並且依據該第二反扭曲影像與該校正板圖像對應的座標矩陣,計算該第二單應性矩陣。
  9. 如申請專利範圍第6項所述的影像校正系統,其中該處理器利用該第二單應性矩陣,對該原始影像進行一反向單應性變換運算,而獲得一第一修正影像;利用該第二校正參數,對該第一修正影像執行該反扭曲運算,而獲得一第二修正影像;利用該第二單應性矩陣,對該第二修正影像執行一單應性變換運算,而獲得一第三修正影像;以及利用該第一單應性矩陣,對該第三修正影像執行該單應性變換運算,而獲得第四修正影像,即該補償後影像。
  10. 如申請專利範圍第6項所述的影像校正系統,其中該 影像擷取裝置與該投影機位於該投影幕的同一側,或者該影像擷取裝置與該投影機位於該投影幕的不同側。
TW105126843A 2016-08-23 2016-08-23 投影機的影像校正方法及影像校正系統 TWI592020B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW105126843A TWI592020B (zh) 2016-08-23 2016-08-23 投影機的影像校正方法及影像校正系統
US15/294,350 US9972075B2 (en) 2016-08-23 2016-10-14 Image correction method of projector and image correction system
EP17172123.6A EP3287986B1 (en) 2016-08-23 2017-05-22 Image correction method of projector and image correction system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW105126843A TWI592020B (zh) 2016-08-23 2016-08-23 投影機的影像校正方法及影像校正系統

Publications (2)

Publication Number Publication Date
TWI592020B true TWI592020B (zh) 2017-07-11
TW201808000A TW201808000A (zh) 2018-03-01

Family

ID=59061775

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105126843A TWI592020B (zh) 2016-08-23 2016-08-23 投影機的影像校正方法及影像校正系統

Country Status (3)

Country Link
US (1) US9972075B2 (zh)
EP (1) EP3287986B1 (zh)
TW (1) TWI592020B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI639340B (zh) 2017-09-29 2018-10-21 中強光電股份有限公司 投影系統及其自動設定方法
CN109697736A (zh) * 2017-10-20 2019-04-30 杭州海康机器人技术有限公司 测量***的标定方法、装置、电子设备及可读存储介质
TWI682358B (zh) * 2017-10-25 2020-01-11 宏芯科技股份有限公司 多維影像投射裝置及其多維影像校正方法
US10594994B2 (en) 2018-07-30 2020-03-17 Coretronic Corporation Projection system and projection method
US10630949B2 (en) 2017-09-29 2020-04-21 Coretronic Corporation Projection system and automatic setting method thereof
US10652510B2 (en) 2017-09-29 2020-05-12 Coretronic Corporation Projection system and automatic setting method thereof
US10715770B2 (en) 2018-07-31 2020-07-14 Coretronic Corporation Projection device, projection system and an image calibration method
TWI703870B (zh) * 2018-07-31 2020-09-01 中強光電股份有限公司 投影裝置、投影系統及影像校正方法
TWI814680B (zh) * 2023-02-14 2023-09-01 國立中正大學 三維影像處理之校正方法

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018235163A1 (ja) * 2017-06-20 2018-12-27 株式会社ソニー・インタラクティブエンタテインメント キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
US10764562B2 (en) 2018-01-28 2020-09-01 Eys3D Microelectronics, Co. Depth generation system with adjustable light intensity
US11582402B2 (en) 2018-06-07 2023-02-14 Eys3D Microelectronics, Co. Image processing device
CN108881872B (zh) * 2018-07-24 2021-03-16 合肥合芯微电子科技有限公司 多维影像投射装置及其多维影像校正方法
CN111385546B (zh) 2018-12-28 2022-07-19 中强光电股份有限公司 投影***以及投影方法
CN110084860A (zh) * 2019-05-24 2019-08-02 深圳市速杰电子有限公司 一种投影仪镜头畸变矫正***及方法
CN110933391B (zh) * 2019-12-20 2021-11-09 成都极米科技股份有限公司 投影***的标定参数补偿方法、装置及可读存储介质
BR112022023024A2 (pt) * 2020-05-12 2023-01-24 Newco Jodito Llc Sistema de projeção para projetar padrões de costura em uma superfície
CN111811433B (zh) * 2020-07-15 2022-03-08 河北工业大学 基于红蓝正交条纹的结构光***标定方法及装置和应用
CN111915610A (zh) * 2020-09-30 2020-11-10 歌尔光学科技有限公司 基于工业相机的镜头畸变测试方法、装置、设备及介质
CN112437284A (zh) * 2020-11-23 2021-03-02 海信视像科技股份有限公司 一种投影画面校正方法、终端设备及显示设备
WO2022139974A1 (en) * 2020-12-22 2022-06-30 Ditto Products Llc Image projecting systems and methods
CN112614075B (zh) * 2020-12-29 2024-03-08 凌云光技术股份有限公司 一种面结构光3d***的畸变校正方法及设备
CN112689135B (zh) * 2021-03-19 2021-07-02 深圳市火乐科技发展有限公司 投影校正方法、装置、存储介质及电子设备
CN115314689A (zh) * 2022-08-05 2022-11-08 深圳海翼智新科技有限公司 投影校正方法、装置、投影仪和计算机程序产品
CN115314691B (zh) * 2022-08-09 2023-05-09 北京淳中科技股份有限公司 一种图像几何校正方法、装置、电子设备及存储介质
CN115965697B (zh) * 2022-12-31 2024-01-26 梅卡曼德(北京)机器人科技有限公司 基于沙姆定律的投影仪标定方法、标定***及装置
CN117014589B (zh) * 2023-09-27 2023-12-19 北京凯视达科技股份有限公司 投影方法、装置、电子设备和存储介质

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5638117A (en) * 1994-11-14 1997-06-10 Sonnetech, Ltd. Interactive method and system for color characterization and calibration of display device
KR100355378B1 (ko) * 1996-01-15 2002-12-26 삼성전자 주식회사 각종 조명광하에서의 칼라이미지 디스플레이방법
JPH1141629A (ja) * 1997-07-15 1999-02-12 Minolta Co Ltd 校正パターン表示装置及びこの校正パターン表示装置が適用されるカラー表示装置の表示特性測定装置
US6061102A (en) * 1997-10-10 2000-05-09 Hughes-Jvc Technology Corporation Automatic shading in an LCLV projector
KR100414083B1 (ko) * 1999-12-18 2004-01-07 엘지전자 주식회사 영상왜곡 보정방법 및 이를 이용한 영상표시기기
US6753907B1 (en) * 1999-12-23 2004-06-22 Justsystem Corporation Method and apparatus for automatic keystone correction
JP4150924B2 (ja) * 2003-07-02 2008-09-17 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP3868896B2 (ja) * 2002-01-23 2007-01-17 本田技研工業株式会社 自律移動体用撮像装置、撮像装置較正方法及び撮像装置較正プログラム
JP4445693B2 (ja) 2002-05-17 2010-04-07 日本電気株式会社 プロジェクタの投射面色補正方法、プロジェクタの投射面色補正システムおよびプロジェクタの投射面色補正用プログラム
JP3846592B2 (ja) * 2003-06-26 2006-11-15 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP4055010B2 (ja) * 2003-09-26 2008-03-05 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP3714365B1 (ja) 2004-03-30 2005-11-09 セイコーエプソン株式会社 プロジェクタの台形補正
JP3722146B1 (ja) 2004-06-16 2005-11-30 セイコーエプソン株式会社 プロジェクタおよび画像補正方法
JP4380557B2 (ja) * 2005-02-15 2009-12-09 カシオ計算機株式会社 プロジェクタ、チャート画像の表示方法及びプログラム
US7717569B2 (en) * 2006-04-13 2010-05-18 Nokia Corporation Projector screen with one or more markers
US20080007700A1 (en) * 2006-07-10 2008-01-10 Vanbaar Jeroen Method and system for aligning an array of rear-projectors
US8406562B2 (en) * 2006-08-11 2013-03-26 Geo Semiconductor Inc. System and method for automated calibration and correction of display geometry and color
JP4241797B2 (ja) 2006-09-29 2009-03-18 セイコーエプソン株式会社 プロジェクタおよびプロジェクタの台形歪み補正方法
US7701470B2 (en) * 2006-12-13 2010-04-20 Adobe Systems, Incorporated Stable mask combination in digital image editing
TWI383334B (zh) * 2008-04-30 2013-01-21 Quanta Comp Inc 用以產生座標校正點之影像處理裝置及方法
TW200841272A (en) 2008-05-30 2008-10-16 Univ Chang Gung Life and health maintaining and managing device and method
JP5316118B2 (ja) * 2009-03-12 2013-10-16 オムロン株式会社 3次元視覚センサ
US8373859B2 (en) * 2009-03-27 2013-02-12 Brightex Bio-Photonics Llc Methods and systems for imaging skin using polarized lighting
GB2482447B (en) * 2009-05-21 2014-08-27 Intel Corp Techniques for rapid stereo reconstruction from images
TWI434069B (zh) 2010-08-03 2014-04-11 Everest Display Inc 短焦光學互動投影機系統及其應用的影像擷取及鏡頭歪曲像差校正方法
JP2013019886A (ja) 2011-06-13 2013-01-31 Ricoh Co Ltd 画像計測装置
JP2013021674A (ja) 2011-06-13 2013-01-31 Ricoh Co Ltd 画像計測方法、画像計測装置及び画像検査装置
WO2013079098A1 (en) * 2011-11-29 2013-06-06 Layar B.V. Dynamically configuring an image processing function
TWI454147B (zh) 2011-12-02 2014-09-21 Giga Byte Tech Co Ltd 投影裝置及其影像校準方法
GB2497936B (en) * 2011-12-22 2015-04-08 Canon Kk Method and device for controlling a video projector in a video projection system comprising multiple video projectors
US8698901B2 (en) * 2012-04-19 2014-04-15 Hewlett-Packard Development Company, L.P. Automatic calibration
DE112013002200T5 (de) * 2012-04-27 2015-01-08 Adobe Systems Incorporated Automatische Anpassung von Bildern
TWI538516B (zh) 2012-06-27 2016-06-11 Projection correction method and its application system
US20140003706A1 (en) * 2012-07-02 2014-01-02 Sony Pictures Technologies Inc. Method and system for ensuring stereo alignment during pipeline processing
US10378877B2 (en) * 2012-11-02 2019-08-13 Sony Corporation Image processing device, image processing method, and program
JP2014131257A (ja) * 2012-11-27 2014-07-10 Ricoh Co Ltd 画像補正システム、画像補正方法及びプログラム
TWI554100B (zh) * 2012-12-27 2016-10-11 Metal Ind Res &Development Ct Correction sheet design for correcting a plurality of image capturing apparatuses and correction methods of a plurality of image capturing apparatuses
JP6278706B2 (ja) * 2013-02-19 2018-02-14 株式会社イクス パターン位置検出方法、パターン位置検出システム及びこれらを用いた画質調整技術
US8970709B2 (en) * 2013-03-13 2015-03-03 Electronic Scripting Products, Inc. Reduced homography for recovery of pose parameters of an optical apparatus producing image data with structural uncertainty
JP2014179698A (ja) * 2013-03-13 2014-09-25 Ricoh Co Ltd プロジェクタ及びプロジェクタの制御方法、並びに、その制御方法のプログラム及びそのプログラムを記録した記録媒体
US9325956B2 (en) * 2013-04-30 2016-04-26 Disney Enterprises, Inc. Non-linear photometric projector compensation
JP2015026992A (ja) * 2013-07-26 2015-02-05 株式会社リコー 投影システム、画像処理装置、投影方法およびプログラム
JP6299124B2 (ja) * 2013-09-13 2018-03-28 株式会社リコー 投影システム、画像処理装置、投影方法およびプログラム
TWI497448B (zh) 2013-09-26 2015-08-21 Univ Nat Taiwan Science Tech 影像強化方法及其系統
TWI486551B (zh) * 2013-10-21 2015-06-01 Univ Nat Taiwan Science Tech 三維資料擷取方法及其系統
JP6253368B2 (ja) * 2013-11-25 2017-12-27 キヤノン株式会社 三次元形状計測装置およびその制御方法
TWI489082B (zh) * 2013-12-24 2015-06-21 Univ Nat Taiwan Science Tech 用於校正雷射量測裝置的方法及其系統
JP2015128242A (ja) * 2013-12-27 2015-07-09 ソニー株式会社 画像投影装置及びそのキャリブレーション方法
JP2015204548A (ja) * 2014-04-15 2015-11-16 株式会社リコー 画像投影システム
KR102170182B1 (ko) * 2014-04-17 2020-10-26 한국전자통신연구원 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 시스템, 이를 이용한 방법
TW201607324A (zh) 2014-08-11 2016-02-16 佳世達科技股份有限公司 投影系統
TWI554976B (zh) * 2014-11-17 2016-10-21 財團法人工業技術研究院 監控系統及其影像處理方法
JP6581359B2 (ja) * 2015-01-07 2019-09-25 キヤノン株式会社 情報処理装置及びその制御方法及びプログラム及び記憶媒体、並びに、ビデオカメラ
US10535193B2 (en) * 2015-09-08 2020-01-14 Canon Kabushiki Kaisha Image processing apparatus, image synthesizing apparatus, image processing system, image processing method, and storage medium

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10893246B2 (en) 2017-09-29 2021-01-12 Coretronic Corporation Projection system and automatic setting method thereof
TWI639340B (zh) 2017-09-29 2018-10-21 中強光電股份有限公司 投影系統及其自動設定方法
US10630949B2 (en) 2017-09-29 2020-04-21 Coretronic Corporation Projection system and automatic setting method thereof
US10652510B2 (en) 2017-09-29 2020-05-12 Coretronic Corporation Projection system and automatic setting method thereof
CN109697736A (zh) * 2017-10-20 2019-04-30 杭州海康机器人技术有限公司 测量***的标定方法、装置、电子设备及可读存储介质
TWI682358B (zh) * 2017-10-25 2020-01-11 宏芯科技股份有限公司 多維影像投射裝置及其多維影像校正方法
US10616542B2 (en) 2017-10-25 2020-04-07 Terawins, Inc. Multi-dimensional image projection apparatus and multi-dimensional image calibration method thereof
US10594994B2 (en) 2018-07-30 2020-03-17 Coretronic Corporation Projection system and projection method
TWI703869B (zh) * 2018-07-31 2020-09-01 中強光電股份有限公司 投影裝置、投影系統及影像校正方法
TWI703870B (zh) * 2018-07-31 2020-09-01 中強光電股份有限公司 投影裝置、投影系統及影像校正方法
US10715770B2 (en) 2018-07-31 2020-07-14 Coretronic Corporation Projection device, projection system and an image calibration method
US11323674B2 (en) 2018-07-31 2022-05-03 Coretronic Corporation Projection device, projection system and image correction method
TWI814680B (zh) * 2023-02-14 2023-09-01 國立中正大學 三維影像處理之校正方法

Also Published As

Publication number Publication date
US9972075B2 (en) 2018-05-15
US20180061021A1 (en) 2018-03-01
EP3287986B1 (en) 2021-07-21
EP3287986A1 (en) 2018-02-28
TW201808000A (zh) 2018-03-01

Similar Documents

Publication Publication Date Title
TWI592020B (zh) 投影機的影像校正方法及影像校正系統
CN110099267B (zh) 梯形校正***、方法以及投影仪
US7317558B2 (en) System and method for image processing of multiple images
JP5257616B2 (ja) プロジェクター、プログラム、情報記憶媒体および台形歪み補正方法
JP5338718B2 (ja) 補正情報算出装置、画像処理装置、画像表示システム、および画像補正方法
JP6079333B2 (ja) 校正装置、方法及びプログラム
WO2013038656A1 (ja) 投影像自動補正システム、投影像自動補正方法およびプログラム
WO2021082264A1 (zh) 一种基于双目视觉的投影图像自动校正方法及***
JP2014131257A (ja) 画像補正システム、画像補正方法及びプログラム
TW200541329A (en) Image processing system, projector, program, information storage medium, and image processing method
JP2004312690A (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
WO2005055592A1 (ja) 画像構成装置及び画像構成方法
JP2010041419A (ja) 画像処理装置、画像処理プログラム、画像処理方法、および電子機器
Chun et al. Suppressing rolling-shutter distortion of CMOS image sensors by motion vector detection
JP5561503B2 (ja) プロジェクター、プログラム、情報記憶媒体および台形歪み補正方法
CN107770505B (zh) 投影机的影像校正方法及影像校正***
TWI737049B (zh) 投影校正系統與其投影校正方法
KR20190143535A (ko) 이미지 왜곡의 보정방법 및 이 보정방법을 이용하는 3d프린터
TW201720129A (zh) 電子裝置與影像處理方法
TW202122904A (zh) 投影設備與投影校正方法
CN110677555A (zh) 校正电子相机的图像的像素值中的渐晕效应的数字电路
Bhasker et al. Geometric modeling and calibration of planar multi-projector displays using rational bezier patches
JP2015201707A (ja) ディスプレイ表示パターン生成装置及びそのプログラム
TWI497448B (zh) 影像強化方法及其系統
JP2012150614A (ja) 自由視点画像生成装置