TWI663421B - 廣角鏡頭的畸變矯正方法、裝置及系統 - Google Patents
廣角鏡頭的畸變矯正方法、裝置及系統 Download PDFInfo
- Publication number
- TWI663421B TWI663421B TW107103694A TW107103694A TWI663421B TW I663421 B TWI663421 B TW I663421B TW 107103694 A TW107103694 A TW 107103694A TW 107103694 A TW107103694 A TW 107103694A TW I663421 B TWI663421 B TW I663421B
- Authority
- TW
- Taiwan
- Prior art keywords
- field
- angle
- wide
- image height
- lens
- Prior art date
Links
Landscapes
- Studio Devices (AREA)
Abstract
本發明揭露了一種廣角鏡頭的畸變矯正方法、裝置及系統,其中,方法包括:獲取廣角鏡頭的n個半視場角θ1至θn,並根據n個半視場角獲取相鄰視場比值β1至β(n-1);根據n個半視場角得到n個半視場角對應的像高r1至rn;根據相鄰視場比值β1至β(n-1)和n個半視場角對應的像高r1至rn得到相鄰半視場角的像高關係,根據最大視場角對應的像高和相鄰半視場角的像高關係通過遞迴計算得到每半視場角的像高;根據每半視場角的像高依次矯正廣角鏡頭在中心視場的畸變。該方法可以根據每半視場角的像高依次矯正廣角鏡頭在中心視場的畸變,使中心視場的取樣速率高於邊緣,有效提高矯正效率,降低成本,簡單易實現。
Description
本發明涉及影像處理技術領域,特別涉及一種廣角鏡頭的畸變矯正方法、裝置及系統。
ADAS(Advanced Driver Assistance System,先進駕駛輔助系統)是利用安裝在車上的各式各樣的感測器,在第一時間收集車內外的環境資料,進行靜、動態物體的辨識、偵測與追蹤等技術上的處理,從而能夠讓駕駛者在最快的時間察覺到可能發生的危險,有效增加汽車駕駛的舒適性和安全性。因此,ADAS在實現自動駕駛的過程中扮演著非常重要的角色。
相關技術中,典型的ADAS系統一般在車輛前端設有三攝像頭,視場角度大概為42度、60度和120度,如果需要雙目視覺,攝像頭的數目還需要加倍;每攝像頭配備有一2MP(Mega-Pixels,百萬像素),即200萬像素的CMOS感測器。
然而,相關技術中的設置存在很大的冗餘度,如42度相機本身的視場被60度相機和120度相機視場所覆蓋,使得複數相機不但增加了系統連接的複雜度以及各相機之間通訊和同步的複雜度,而且使整個系統的成本隨之升
高,並且各相機之間需要很好的保證視場的重疊,導致相互之間需要有一固定的角度關係,同時整體和汽車本身也要保證角度,因此需要定期的做相機之間以及相機與車體之間的矯正,三相機矯正的本身導致相對複雜且工作量大,亟待解決。
本發明旨在至少在一定程度上解決相關技術中的技術問題之一。
為此,本發明的一目的在於提出一種廣角鏡頭的畸變矯正方法,該方法可以實現廣角鏡頭的中心視場取樣速率高於邊緣,從而可使用一相機系統代替三相機系統。
本發明的另一目的在於提出一種廣角鏡頭的畸變矯正裝置。
本發明的再一目的在於提出一種廣角鏡頭的畸變矯正系統。
為達到上述目的,本發明一方面實施例提出了一種廣角鏡頭的畸變矯正方法,包括以下步驟:獲取廣角鏡頭的n個半視場角θ1至θn,其中,θn為θ(n-1)的相鄰半視場角,並根據該n個半視場角θ1至θn獲取該相鄰視場比值β1至β(n-1),n為正整數;根據該n個半視場角θ1至θn得到該n個半視場角對應的像高r1至rn;根據該相鄰視場比值β1至β(n-1)和該n個半視場角對應的像高r1至rn得到相鄰半視場角的像高關係,並根據最大視場角對應的像高和該相鄰半視場角的像高關係通過遞迴計算得到該每半視場角的像高;根據該每半視場角的像高依次矯正該廣角鏡頭在中心視場的畸變。
本發明實施例的廣角鏡頭的畸變矯正方法,可以根據相鄰視場比
值和複數半視場角對應的像高得到相鄰半視場角的像高關係,並根據最大視場角對應的像高和相鄰半視場角的像高關係通過遞迴計算得到每半視場角的像高,從而根據每半視場角的像高依次矯正廣角鏡頭在中心視場的畸變,實現了廣角鏡頭中心視場的取樣速率高於邊緣,提高矯正的準確性和可靠性的同時,提高矯正效率,有效降低成本,簡單易實現。
另外,根據本發明上述實施例的廣角鏡頭的畸變矯正方法還可以具有以下附加的技術特徵:進一步地,在本發明的一實施例中,該獲取廣角鏡頭的n個半視場角θ1至θn,進一步包括:收集該廣角鏡頭的最大視場角和預設個數的相鄰視場角;根據該廣角鏡頭的最大視場角得到該半視場角θ1,並根據該預設個數的相鄰視場角得到半視場角θ2至θn。
進一步地,在本發明的一實施例中,該根據該相鄰視場比值β1至β(n-1)和該n個半視場角對應的像高r1至rn得到相鄰半視場角的像高關係,進一步包括:通過視場角關係式對該n個半視場角對應的像高r1至rn進行取樣處理,其中,該取樣處理採用插值方法;根據該視場角關係式得到相鄰半視場角的像高關係式。
進一步地,在本發明的一個實施例中,該視場角關係式為:
以此類推,
進一步地,在本發明的一實施例中,該相鄰半視場角的像高關係式為:
並且,該根據最大視場角對應的像高和該相鄰半視場角的像高關係通過遞迴計算得到該每半視場角的像高:
其中,r(n-1)為半視場角θ(n-1)對應的像高,rn為半視場角θn對應的像高,β 1為θ1和θ2的比值,β 2為θ2和θ3的比值,β (n-1)為θ(n-1)和θn的比值。
進一步地,在本發明的一實施例中,該最大視場角大於等於70°。
進一步地,在本發明的一實施例中,該最大視場角大於等於100°且小於等於190°。
為達到上述目的,本發明另一方面實施例提出了一種廣角鏡頭的畸變矯正裝置,包括:收集模組,用於獲取廣角鏡頭的n個半視場角θ1至θn,其中,θn為θ(n-1)的相鄰半視場角,並根據該n個半視場角θ1至θn獲取該相鄰視場比值β1至β(n-1),n為正整數;獲取模組,用於根據該n個半視場角θ1至θn得到該n個半視場角對應的像高r1至rn;計算模組,用於根據該相鄰視場比值β1至β(n-1)和該n個半視場角對應的像高r1至rn得到相鄰半視場角的像高關係,並根據最大視場角對應
的像高和該相鄰半視場角的像高關係通過遞迴計算得到該每半視場角的像高;矯正模組,用於根據該每半視場角的像高依次矯正該廣角鏡頭在中心視場的畸變。
本發明實施例的廣角鏡頭的畸變矯正裝置,可以根據相鄰視場比值和複數半視場角對應的像高得到相鄰半視場角的像高關係,並根據最大視場角對應的像高和相鄰半視場角的像高關係通過遞迴計算得到每半視場角的像高,從而根據每半視場角的像高依次矯正廣角鏡頭在中心視場的畸變,實現了廣角鏡頭中心視場的取樣速率高於邊緣,提高矯正的準確性和可靠性的同時,提高矯正效率,有效降低成本,簡單易實現。
另外,根據本發明上述實施例的廣角鏡頭的畸變矯正裝置還可以具有以下附加的技術特徵:進一步地,在本發明的一實施例中,該收集模組,進一步包括:收集單元,用於收集該廣角鏡頭的最大視場角;選取單元,用於根據該廣角鏡頭的最大視場角得到該半視場角θ1,並根據相鄰的前一項半視場角θ(n-1)得到半視場角θn。
進一步地,在本發明的一實施例中,該計算模組,進一步包括:處理單元,用於通過視場角關係式對該n個半視場角對應的像高r1至rn進行取樣處理,其中,該取樣處理採用插值方法;獲取單元,用於根據該視場角關係式得到相鄰半視場角的像高關係式。
進一步地,在本發明的一個實施例中,該視場角關係式為:
以此類推,
進一步地,在本發明的一實施例中,該相鄰半視場角的像高關係式為:
並且,該根據最大視場角對應的像高和該相鄰半視場角的像高關係通過遞迴計算得到該每半視場角的像高:
其中,r(n-1)為半視場角θ(n-1)對應的像高,rn為半視場角θn對應的像高,β 1為θ1和θ2的比值,β 2為θ2和θ3的比值,β (n-1)為θ(n-1)和θn的比值。
進一步地,在本發明的一實施例中,該最大視場角大於或等於70°。
進一步地,在本發明的一實施例中,該最大視場角大於等於100°且小於等於190°。
為達到上述目的,本發明再一方面實施例提出一種廣角鏡頭的畸
變矯正系統,其包括上述的廣角鏡頭的畸變矯正裝置矯正過的廣角鏡頭和像素感測器。
本發明實施例的廣角鏡頭的畸變矯正系統,可以根據相鄰視場比值和複數半視場角對應的像高得到相鄰半視場角的像高關係,並根據最大視場角對應的像高和相鄰半視場角的像高關係通過遞迴計算得到每半視場角的像高,從而根據每半視場角的像高依次矯正廣角鏡頭在中心視場的畸變,實現了廣角鏡頭中心視場的取樣速率高於邊緣,提高矯正的準確性和可靠性的同時,提高矯正效率,有效降低成本,簡單易實現。
進一步地,在本發明的一實施例中,該廣角鏡頭從物側到像側依次包括第一透鏡、第二透鏡、第三透鏡、光圈、第四透鏡、第五透鏡、第六透鏡、第七透鏡、濾光片。
進一步地,在本發明的一實施例中,該第一透鏡、該第二透鏡和該第七透鏡均採用非球面透鏡。
本發明附加的方面和優點將在下面的描述中部分給出,部分將從下面的描述中變得明顯,或通過本發明的實踐瞭解到。
10‧‧‧廣角鏡頭的畸變矯正裝置
100‧‧‧收集模組
200‧‧‧獲取模組
300‧‧‧計算模組
400‧‧‧矯正模組
CMOS‧‧‧Complementary Metal Oxide Semiconductor,互補金屬氧化物半導體
L1、L2、L3、L4、L5、L6、L7‧‧‧透鏡
S1‧‧‧光圈
S2‧‧‧濾光片
S101、S102、S103、S104‧‧‧步驟
本發明上述的和/或附加的方面和優點從下面結合附圖對實施例的描述中將變得明顯和容易理解,其中:第1圖為根據本發明實施例的廣角鏡頭的畸變矯正方法的流程圖;
第2圖為根據本發明一實施例的廣角鏡頭在相鄰視場角的像高關係示意圖;第3圖為根據本發明實施例的廣角鏡頭的畸變矯正裝置的結構示意圖;第4圖為根據本發明一實施例的採用遞迴畸變矯正的廣角鏡頭的結構示意圖;第5圖為根據本發明一具體實施例的廣角鏡頭畸變矯正系統在降取樣前的格點圖示意圖;以及第6圖為根據本發明一具體實施例的廣角鏡頭畸變矯正系統在降取樣後的格點圖示意圖。
下面詳細描述本發明的實施例,該實施例的示例在附圖中示出,其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的,旨在用於解釋本發明,而不能理解為對本發明的限制。
在介紹本發明實施例的廣角鏡頭的畸變矯正方法、裝置及系統之前,先簡單介紹下相關技術中的廣角鏡頭的畸變矯正方法。
市場上和ADAS系統攝像頭配備的像素數為2MP的感測器本身尺寸約為1/3",並且下一代即將推出的感測器,像素數為8MP。基於此,能否設計一款相機,使用一高像素感測器相機而達到現有三感測器相機的效果?如果簡單的根據像素的疊加,那麼最新的8MP感測器的像素數已經超過了三2MP
感測器的總和。然而,8MP的感測器可以滿足最大視場角120°的像素要求,但是不一定滿足中心視場角60°和42°的2MP的像素要求。
相關技術中,典型的成像光學系統存在靠近中心視場的取樣速率低、邊緣取樣速率高的問題,同時邊緣的照度也會由於視場角的加大而下降。如果成像系統按照理想畸變曲線矯正(r=f*tanθ,θ為半視場角),假設120度橫向視場的相對像高為1,那麼中心60度全視場所對應的相對像高為tan(30°)/tan(60°)0.333,中心42度全視場對應像高tan(21°)/tan(60°)0.222。如此以來,120度時8MP的圖片,在截取了中心對應60度的區域後僅為0.9MP,對應於42度全視場更是下降到了0.4MP。這種理想畸變的矯正方法顯然無法實現最初的要求。
類似的,如果系統按照完美的f-theta畸變矯正(r=f*θ,θ為半視場角)方法,那麼中心60度全視場所對應的相對像高為(30°)/(60°)=0.5,中心42度全視場對應像高(21°)/(60°)=0.35,於是120度時8MP的圖片,在截取了中心對應60度區域後為2MP,在截取中心對應的42度視場後為1MP,f-theta畸變矯正方法,顯然也無法達到最初的期望。
綜合來看,相關技術中的理想畸變矯正方法和f-theta畸變矯正方法最主要的問題是邊緣過高的取樣速率。對於理想畸變矯正而言,邊緣取樣速率高於中心視場,即邊緣使力過大;對於f-theta畸變矯正,則是邊緣和中心取樣速率一致,即均勻使力。
本發明正是基於上述問題,而提出的一種廣角鏡頭的畸變矯正方法及裝置。
下面參照附圖描述根據本發明實施例提出的廣角鏡頭的畸變矯正方法、裝置及系統,首先將參照附圖描述根據本發明實施例提出的廣角鏡頭的畸變矯正方法。
第1圖是本發明實施例的廣角鏡頭的畸變矯正方法的流程圖。
如第1圖所示,該廣角鏡頭的畸變矯正方法包括以下步驟:
在步驟S101中,獲取廣角鏡頭的n個半視場角θ1至θn,其中,θn為θ(n-1)的相鄰半視場角,並根據n個半視場角θ1至θn獲取相鄰視場比值β1至β(n-1),n為正整數。
進一步地,在本發明的一實施例中,獲取廣角鏡頭的n個半視場角θ1至θn,進一步包括:收集廣角鏡頭的最大視場角和該預設個數的相鄰視場角;根據廣角鏡頭的最大視場角得到半視場角θ1,並根據該預設個數的相鄰視場角得到半視場角θ2至θn。
較佳地,在本發明的一實施例中,最大視場角大於或等於70°。
較佳地,在本發明的一實施例中,最大視場角大於等於100°且小於等於190°。
可以理解的是,廣角鏡頭又稱短焦距鏡頭,是視場角度大於60°的鏡頭;對於攝像機上的變焦鏡頭而言是焦距小於25mm的部分,廣角鏡頭的使用有利於近距離表現大範圍景物,並且廣角鏡頭適於展現畫面主體及其所處的環境,利用廣角鏡頭景深的特點,可以對物體進行多層次的表現,增加畫面的容量和資訊量;利用廣角鏡頭近距離接近拍攝物件,可以完成搶拍和偷拍;同時有利於維持移動攝像的平穩畫面。
可以理解的是,本發明實施例可以首先獲取廣角鏡頭的最大HFOV(Horizontal Field Of View,視場角),並依次選取n個廣角鏡頭相鄰的半視場角,如依次選取廣角鏡頭相鄰的半視場角θ 1,θ 2 θ n ,其中,θ 1=HFOV/2,n>=3,θ 1>θ 2>θ 3>...>θ n ,需要說明的是,廣角鏡頭的最大視場角可以大於或等於70°,較佳的廣角鏡頭的最大視場角大於等於100°且小於等於190°。
在步驟S102中,根據n個半視場角θ1至θn得到n個半視場角對應的像高r1至rn。
在步驟S103中,根據相鄰視場比值β1至β(n-1)和n個半視場角對應的像高r1至rn得到相鄰半視場角的像高關係,並根據最大視場角對應的像高和相鄰半視場角的像高關係通過遞迴計算得到每半視場角的像高。
進一步地,在本發明的一實施例中,根據相鄰視場比值β1至β(n-1)和n個半視場角對應的像高r1至rn得到相鄰半視場角的像高關係,進一步包括:通過視場角關係式對n個半視場角對應的像高r1至rn進行取樣處理,其中,取樣處理採用插值方法;根據視場角關係式得到相鄰半視場角的像高關係式。
進一步地,在本發明的一個實施例中,視場角關係式為:
以此類推,
其中,在本發明的一實施例中,相鄰半視場角的像高關係式為:
並且,根據最大視場角對應的像高和相鄰半視場角的像高關係通過遞迴計算得到每半視場角的像高:
其中,r(n-1)為半視場角θ(n-1)對應的像高,rn為半視場角θn對應的像高,β 1為θ1和θ2的比值,β 2為θ2和θ3的比值,β (n-1)為θ(n-1)和θn的比值。
可以理解的是,本發明實施例可以根據依次選取n個廣角鏡頭相鄰的半視場角θ 1,θ 2 θ n ,並定義n個半視場角θ 1,θ 2 θ n 的每半視場角對應的像高r 1,r 2 r n ,其中,θ 1=HFOV/2,n>=3,θ 1>θ 2>θ 3>...>θ n ,相鄰半視場角的像高關係示意圖如第2圖所示。
另外,本發明實施例可以定義相鄰視場比值依次為:β 1=θ 1/θ 2,β 2=θ 2/θ 3 ,β (n-1)=θ (n-1)/θ n ,從而根據相鄰半視場角的比值對n個半視場角的像高通過插值進行取樣處理,以得到關係式,其中,對廣角鏡頭的n個半視場角的像高通過插值進行取樣處理可以通過以下關係式得到實現:
……
其中,r1為半視場角θ1對應的像高,r2為半視場角θ2對應的像高,r3為半視場角θ3對應的像高,r(n-1)為半視場角θ(n-1)對應的像高,rn為半視場角θn對應的像高,β 1為θ1和θ2的比值,β 2為θ2和θ3的比值,β (n-1)為θ(n-1)和θn的比值,n為大於等於3的整數。
需要說明的是,關係式(3)的含義為高解析度的中心小視場θ n 對應的像高r n ,在相鄰的大視場θ (n-1)時可以進行降取樣,線性降取樣的倍率為視場比值β (n-1),而新加入的大視場像高(r (n-1)-r n )部分,理想狀況下不需要重新取樣,即不會浪費現有的像素解析度,其結果是大視場θ (n-1)本身實現和相鄰小視場θ n 完全一致的像素解析度,即降取樣後的大視場像高等於r n 。
另外,本發明實施例可以將上述關係式(1)至(3)進一步優化,獲得相鄰半視場角的像高關係:
……
也就是說,由於已知廣角鏡頭最大半視場角對應的像高為r 1,從而本發明實施例可以通過遞迴計算像高關係:
在步驟S104中,根據每半視場角的像高依次矯正廣角鏡頭在中心視場的畸變。
可以理解的是,本發明實施例可以根據每半視場角的像高依次矯正廣角鏡頭在中心視場的畸變。
舉例而言,本發明實施例採用遞迴畸變矯正的廣角鏡頭系統,並且較佳為8MP的CMOS(Complementary Metal Oxide Semiconductor,互補金屬氧化物半導體)感測器和最大視場角為120度的廣角鏡頭組成的光學系統,可以實現有效替換三鏡頭(視場角分別為120度、60度和42度)和三2MP感測器的系統,也即要實現整個廣角鏡頭的視場為120度,對應的解析度為8MP,中心60度和42度的小視場,同樣可實現中心2MP的解像度;具體步驟如下:首先,本發明實施例選取廣角鏡頭的最大視場角120度的一半θ 1為60度,其半視場角對應的像高為r 1;相鄰的中視場角60度的一半θ 2為30度,其半視場角對應的像高為r 2;中心小視場角42度的一半θ 3為21度,其半視場角對應的像高為r 3;從而得到相鄰視場比值:β 1=θ 1/θ 2=60/30=2,β 2=θ 2/θ 3=30/21=10/7;
其次,本發明實施例對半視場角θ 2和θ 3對應的像高分別進行取樣處理,通過以下關係式處理:
將上述關係式進一步優化,以獲得相鄰半視場角的像高關係:
由於已知廣角鏡頭最大半視場角對應的像高為r 1,通過遞迴計算像高關係:
從而根據求得的每半視場角的像高依次對上述廣角鏡頭進行畸變矯正設計。
根據關係式(12)和(13),假設120度視場角對應的像高r 1為1,那相鄰的60度視場角對應的歸一化像高r 2=2/3*r 1 0.6667;在計算中心42度視場角的像高時,本發明實施例可以採取遞迴演算法,對應的歸一化像高r 1=10/13*2/3*r 1=20/390.5128。
另外,本發明實施例提供的遞迴畸變矯正方法與相關技術中的常
見畸變矯正方法帶來的有益效果如表1所示。由於這種畸變要求是基於系統的非線性取樣提出的,並不是以人眼的本身喜好而來,而是完全針對機器視覺,而且本發明實施例採用的這種取樣的具體實現是插值,而插值點本身是非線性的分佈,因此可以提前計算出插值位置從而提高速度。表1為本發明實施例的遞迴畸變控制與相關技術中的畸變控制的像高對比表。
本發明實施例採用的是像素數為8MP的CMOS感測器及最大視場角為120度的廣角鏡頭,如果將像高關係換算成像素關係,比如安森美8MP的ARO820,像素為3840*2160,那麼半視場的像素為1920*1080,可以得到本發明實施例的遞迴畸變控制與相關技術中的畸變控制像素的對應關係,如表2所示。表2為本發明實施例的遞迴畸變控制與相關技術中的畸變控制的橫向像素對比表。
從表1和表2可以看出,本發明實施例採用的遞迴畸變矯正控制的結果是可以保證廣角鏡頭中心部分在截取後實現2MP的解析度。具體而言,根據表2可知,如果只截取中心部分半視場角21度以內的資訊,則對應像素數為985,和安森美2MP的AR0231的964(1928/2)像素基本一致。也就是說,這部分所包含的像素資訊量和單獨為之設計一鏡頭並配備AR0231是一致的。
進一步地,對於半視場角30度,在對中心21度部分降取樣後,所包含像素一樣為985(985*7/10+1280-985=985)。類似的,在60度視場情況下,對30度視場降取樣以後的有效像素分辨同樣為985。
綜上,本發明實施例提供的採用非線性遞迴畸變矯正的廣角鏡頭,120度視場角對應的解析度為8MP,截取中心42度的小視場,可以實現中心2MP的解像度;對中心42度視場做降取樣,並結合相鄰60度視場資訊,同樣可實現2MP的解像度;進一步對這個60度視場的圖像降取樣,結合60度和120度之間的資訊,能夠實現全視場的2MP解析度。因此,本發明實施例可以由一更高像素的感測器和一遞迴畸變矯正的廣角鏡頭取代複數低像素的感測器和複數鏡頭系統。
由於中心部分取樣速率更高,在降取樣的過程中,可以加入去雜訊的演算法,解決由於像素尺寸減小而引起的暗雜訊(dark noise)增大的問題。比如中心部分像素的取均值(binning)。舉例而言,如果是兩倍的降取樣,可以簡單的先對中心部分做一2×2的矩陣核(Kernel)卷積,然後取樣。
一典型的應用場景是白天光線充足時,中心部分比如42度視場
角內解像力足夠,信號強度足夠,ADAS系統可以看的很遠;晚上光線不足,由於車燈路燈的照度限制,42度的相機看的雖遠,但是獲得的照片雜訊很大,照度不夠,此時可以對60度視場進行降取樣處理,去除部分雜訊。此時雖然犧牲了42度以內中心部分的解像力,但是提高了系統的低光敏感度。由於夜間行車速度可以低一些,所需要辨別的物體解像力低些也是可以接受的。更進一步,如果照度更低,可見度更差,可以基於120度視場的情況,對中心的60度和42度同時去雜訊和降取樣。
換言之,本發明實施例可以用一8MP的CMOS晶片,現在產生了三2MP的圖像,分別對應於42度視場、60度視場和120度視場。光線充足時可以同時用42度視場和120度視場服務ADAS系統,此時42度視場保證ADAS系統可以看的很遠。光線稍弱時靠60度視場和120度視場。光線非常弱的時候可以只靠120度視場產生的2MP圖像。此時8MP的感測器晶片,像素尺寸為2.1um,實現的效果相當於對感測器做了2×2的取均值(binning),有效像素尺寸為4.2um,這個尺寸和低光表現非常好的AR0220晶片是一致的。
與相關技術中的畸變矯正控制方法相比,本發明實施例的廣角鏡頭畸變矯正方法還具有以下有益效果:(1)本發明實施例有效矯正了廣角鏡頭的畸變,實現了中心視場的取樣速率高於邊緣,使廣角鏡頭中心視場的解析度可以隨系統需要實現定量調節;(2)由於很大度數的資訊被壓縮到了中心視場比較小的區域,使得鏡頭系統的相對照度可以甚至大於1,使得在光學設計時可以提高CRA(Chief Ray Angle,光線入射角),從而減小系統的總長,使整個系統更緊湊。
以表2為例,在實際的光學鏡頭設計中,對畸變的控制可以加入幾個關鍵點,具體需要控制的是1920像素和985像素處的像高,如需要可以加入1280像素處畸變點,保證畸變曲線在此三點中光滑過渡。
這裡強調對1280像素處畸變無需嚴格控制,主要原因是此處接近中心視場,即21度半視場和30度半視場距離很近,對主光線的有效控制可能有一定挑戰。換言之,即使30度的視場無法有效控制,其直接結果就是在對30度視場取樣時,所得到的圖片的大小超過2MP(比如3MP),這種情況很容易由後續的數文書處理進行進一步矯正;另外一可以考慮的折衷是對30度半視場嚴格控制,而21度半視場本身就比較難做畸變矯正,其後果是21度半視場所切割出來的圖片本身沒有2MP。具體方案的選擇,需要本領域技術人員根據實際情況進行決定,但是,60度處的畸變是實現這個演算法的一關鍵,此處畸變需要有效控制。
根據本發明實施例提出的廣角鏡頭的畸變矯正方法,可以根據相鄰視場比值和複數半視場角對應的像高得到相鄰半視場角的像高關係,並根據最大視場角對應的像高和相鄰半視場角的像高關係通過遞迴計算得到每半視場角的像高,從而根據每半視場角的像高依次矯正廣角鏡頭在中心視場的畸變,實現了廣角鏡頭中心視場的取樣速率高於邊緣,使廣角鏡頭中心視場的解析度可以隨系統需要實現定量調節,並且可以通過提高光線入射角以減小系統的總長,使整個系統更緊湊;通過一高像素相機有效取代複數低像素相機,節省ADAS系統成本的同時簡化了系統矯正和系統計算方面的要求,提高矯正的準確性和可靠性的同時,提高矯正效率,有效降低成本,簡單易實現。
其次參照附圖描述根據本發明實施例提出的廣角鏡頭的畸變矯正裝置。
第3圖是本發明實施例的廣角鏡頭的畸變矯正裝置的結構示意圖。
如第3圖所示,該廣角鏡頭的畸變矯正裝置10包括:收集模組100、獲取模組200、計算模組300和矯正模組400。
其中,收集模組100用於獲取廣角鏡頭的n個半視場角θ1至θn,其中,θn為θ(n-1)的相鄰半視場角,並根據n個半視場角θ1至θn獲取相鄰視場比值β1至β(n-1),n為正整數。獲取模組200用於根據n個半視場角θ1至θn得到n個半視場角對應的像高r1至rn。計算模組300用於根據相鄰視場比值β1至β(n-1)和n個半視場角對應的像高r1至rn得到相鄰半視場角的像高關係,並根據最大視場角對應的像高和相鄰半視場角的像高關係通過遞迴計算得到每半視場角的像高。矯正模組400用於根據每半視場角的像高依次矯正廣角鏡頭在中心視場的畸變。本發明實施例的裝置10可以根據相鄰半視場角的像高關係矯正廣角鏡頭在中心視場的畸變,使得中心視場的取樣速率高於邊緣,降低成本,簡單易實現。
進一步地,在本發明的一實施例中,收集模組100進一步包括:收集單元和選取單元。其中,收集單元用於收集廣角鏡頭的最大視場角和預設個數的相鄰視場角。選取單元用於根據廣角鏡頭的最大視場角得到半視場角θ1,並根據預設個數的相鄰視場角得到半視場角θ2至θn。
進一步地,在本發明的一實施例中,計算模組300進一步包括:
處理單元和計算單元。其中,處理單元用於通過視場角關係式對n個半視場角對應的像高r1至rn進行取樣處理,其中,取樣處理採用插值方法。獲取單元用於根據視場角關係式得到相鄰半視場角的像高關係式。
進一步地,在本發明的一個實施例中,視場角關係式為:
以此類推,
進一步地,在本發明的一實施例中,相鄰半視場角的像高關係式為:
並且,根據最大視場角對應的像高和相鄰半視場角的像高關係通過遞迴計算得到每半視場角的像高:
其中,r(n-1)為半視場角θ(n-1)對應的像高,rn為半視場角θn對應的像高,β 1為θ1和θ2的比值,β 2為θ2和θ3的比值,β (n-1)為θ(n-1)和θn的比值。
進一步地,在本發明的一實施例中,最大視場角大於或等於70°。
進一步地,在本發明的一實施例中,最大視場角大於等於100°且小於等於190°。
需要說明的是,前述對廣角鏡頭的畸變矯正方法實施例的解釋說明也適用於該實施例的廣角鏡頭的畸變矯正裝置,此處不再贅述。
根據本發明實施例提出的廣角鏡頭的畸變矯正裝置,可以根據相鄰視場比值和複數半視場角對應的像高得到相鄰半視場角的像高關係,並根據最大視場角對應的像高和相鄰半視場角的像高關係通過遞迴計算得到每半視場角的像高,從而根據每半視場角的像高依次矯正廣角鏡頭在中心視場的畸變,實現了廣角鏡頭中心視場的取樣速率高於邊緣,使廣角鏡頭中心視場的解析度可以隨系統需要實現定量調節,並且可以通過提高光線入射角以減小系統的總長,使整個系統更緊湊。
此外,本發明實施例還提出了一種廣角鏡頭的畸變矯正系統,該系統包括上述的廣角鏡頭的畸變矯正裝置矯正過的廣角鏡頭和像素感測器。
進一步地,在本發明的一實施例中,採用上述畸變矯正裝置矯正過的廣角鏡頭從物側到像側依次包括第一透鏡、第二透鏡、第三透鏡、光圈、第四透鏡、第五透鏡、第六透鏡、第七透鏡、濾光片。
進一步地,在本發明的一實施例中,第一透鏡、第二透鏡和第七透鏡均採用非球面透鏡。
進一步地,在本發明的一實施例中,該第一透鏡、該第二透鏡、該第七透鏡的非球面表面形狀均滿足下列方程式:
其中,z為半徑所對應的曲率,h為徑向座標,c為曲面頂點的曲率,K為圓錐二次曲線係數,B、C、D、E分別表示四階、六階、八階、十階徑向座標所對應的係數。
可以理解的是,如第4圖所示,本發明實施例採用的遞迴畸變矯正的廣角鏡頭(最大視場角為120度)從物側到成像面依次包括:第一透鏡L1、第二透鏡L2、第三透鏡L3、光圈S1、第四透鏡L4、第五透鏡L5、第六透鏡L6、第七透鏡L7、濾光片S2,並且第一透鏡L1、第二透鏡L2、第七透鏡L7為非球面透鏡。本發明實施例的廣角鏡頭中各鏡片的設計參數如表3所示,各透鏡的非球面參數如表4所示。
進一步地,如第5圖所示,小x是主光線對視場的一均勻取樣,在投影到了CMOS感測器後,由於畸變的存在,整體發生了形變,結果是中心部分沒有太大畸變,一小x可以對應大概9個像素的取樣,因此解析度高,而邊上的一小x只對應一像素的取樣,解析度低,圖中的黑色小方格代表一像素。在經過降取樣後,這些小x又會均勻的分佈,重建的圖像如第6圖所示。這個重新取樣的頻率,可以計算為((30/21)*(60/30))^2=8.2。因此,本發明實施例提供的廣角鏡頭,在重新取樣後同時實現了畸變的矯正。
表5是本實施例提供的廣角鏡頭在不同半視場角時對應的像高及像素參數,從表5中可以看出,本發明實施例的廣角鏡頭和本發明遞迴畸變矯正方法的理論值基本一致,說明本發明實施例的遞迴畸變矯正方法能夠有效矯正廣角鏡頭在中心視場的畸變,能夠實現中心視場的取樣速率高於邊緣的取樣
速率。
舉例而言,在本發明的另一實施例中,通過採用遞迴畸變矯正的廣角鏡頭,並且假定採用一160度的廣角鏡頭和12.4MP的CMOS感測器的系統,如果依然保持中心42度視場的解析度為2MP,那麼根據表6可知,如果增加橫向視場到160度以後,感測器需要的像素為4802*2702,即12.4MP。另外如果保持橫向視場120度不變,在感測器增加到12MP以後,中心42度的視場的像素數目也增加到3MP。因此,下一代廣角鏡頭產品的發展可以有兩個方向,一是提高視場覆蓋,保持中心解像度;二是保持視場覆蓋,提高中心解像度。需要說明的是,本發明實施例可以根據ADAS的發展和演算法決定更適合的方案。
根據表6可知,在HFOV達到160度的時候,如果需要保證中心42度有2MP的覆蓋,那麼整個感測器像素為4802*2702(即12.4MP)。
需要說明的是,前述對廣角鏡頭的畸變矯正方法實施例的解釋說明也適用於該實施例的廣角鏡頭的畸變矯正系統,此處不再贅述。
根據本發明實施例提出的廣角鏡頭的畸變矯正系統,可以根據相鄰視場比值和複數半視場角對應的像高得到相鄰半視場角的像高關係,並根據最大視場角對應的像高和相鄰半視場角的像高關係通過遞迴計算得到每半視場角的像高,從而根據每半視場角的像高依次矯正廣角鏡頭在中心視場的畸變,實現了廣角鏡頭中心視場的取樣速率高於邊緣,使廣角鏡頭中心視場的解析度可以隨系統需要實現定量調節,並且可以通過提高光線入射角以減小系統的總長,使整個系統更緊湊;通過一高像素相機有效取代複數低像素相機,節省ADAS系統成本的同時簡化了系統矯正和系統計算方面的要求,提高矯正的準確性和可靠性的同時,提高矯正效率,有效降低成本,簡單易實現。
在本發明的描述中,需要理解的是,術語“中心”、“縱向”、“橫向”、“長度”、“寬度”、“厚度”、“上”、“下”、“前”、“後”、“左”、“右”、“垂直”、“水準”、“頂”、“底”、“內”、“外”、“順時針”、“逆時針”、“軸向”、“徑向”、“周向”等指示的方位或位置關係為基於附圖所示的方位或位置關係,僅是為了便於描述本發明和簡化描述,而不是指示或暗示所指的裝置或元件必須具有特定的方
位、以特定的方位構造和操作,因此不能理解為對本發明的限制。
此外,術語“第一”、“第二”僅用於描述目的,而不能理解為指示或暗示相對重要性或者隱含指明所指示的技術特徵的數量。由此,限定有“第一”、“第二”的特徵可以明示或者隱含地包括至少一該特徵。在本發明的描述中,“複數”的含義是至少兩個,例如兩個,三等,除非另有明確具體的限定。
在本發明中,除非另有明確的規定和限定,術語“安裝”、“相連”、“連接”、“固定”等術語應做廣義理解,例如,可以是固定連接,也可以是可拆卸連接,或成一體;可以是機械連接,也可以是電連接;可以是直接相連,也可以通過中間媒介間接相連,可以是兩個元件內部的連通或兩個元件的相互作用關係,除非另有明確的限定。對於本領域的普通技術人員而言,可以根據具體情況理解上述術語在本發明中的具體含義。
在本發明中,除非另有明確的規定和限定,第一特徵在第二特徵“上”或“下”可以是第一和第二特徵直接接觸,或第一和第二特徵通過中間媒介間接接觸。而且,第一特徵在第二特徵“之上”、“上方”和“上面”可是第一特徵在第二特徵正上方或斜上方,或僅僅表示第一特徵水準高度高於第二特徵。第一特徵在第二特徵“之下”、“下方”和“下面”可以是第一特徵在第二特徵正下方或斜下方,或僅僅表示第一特徵水準高度小於第二特徵。
在本說明書的描述中,參考術語“一實施例”、“一些實施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結合該實施例或示例描述的具體特徵、結構、材料或者特點包含於本發明的至少一實施例或示例中。在本說明書中,對上述術語的示意性表述不必須針對的是相同的實施例或示例。而且,
描述的具體特徵、結構、材料或者特點可以在任一或複數實施例或示例中以合適的方式結合。此外,在不相互矛盾的情況下,本領域的技術人員可以將本說明書中描述的不同實施例或示例以及不同實施例或示例的特徵進行結合和組合。
儘管上面已經示出和描述了本發明的實施例,可以理解的是,上述實施例是示例性的,不能理解為對本發明的限制,本領域的普通技術人員在本發明的範圍內可以對上述實施例進行變化、修改、替換和變型。
Claims (13)
- 一種廣角鏡頭的畸變矯正方法,其特徵在於,包括以下步驟:獲取一廣角鏡頭的n個半視場角θ1至θn,其中,θn為θ(n-1)的一相鄰半視場角,並根據該n個半視場角θ1至θn獲取該相鄰視場比值β1至β(n-1),n為正整數;根據該n個半視場角θ1至θn得到該n個半視場角對應的像高r1至rn;根據該相鄰視場比值β1至β(n-1)和該n個半視場角對應的像高r1至rn得到相鄰半視場角的像高關係,並根據最大視場角對應的像高和該相鄰半視場角的像高關係通過遞迴計算得到該每半視場角的像高;以及根據該每半視場角的像高依次矯正該廣角鏡頭在中心視場的畸變;其中,該根據該相鄰視場比值β1至β(n-1)和該n個半視場角對應的像高r1至rn得到相鄰半視場角的像高關係,進一步包括:通過一視場角關係式對該n個半視場角對應的像高r1至rn進行一取樣處理,其中,該取樣處理採用插值方法;根據該視場角關係式得到相鄰半視場角的像高關係式;該相鄰半視場角的像高關係式為:並且,該根據最大視場角對應的像高和該相鄰半視場角的像高關係通過遞迴計算得到該每半視場角的像高:其中,r(n-1)為半視場角θ(n-1)對應的像高,rn為半視場角θn對應的像高,β 1為θ1和θ2的比值,β 2為θ2和θ3的比值,β (n-1)為θ(n-1)和θn的比值。
- 如申請專利範圍第1項所述之廣角鏡頭的畸變矯正方法,其中,該獲取廣角鏡頭的n個半視場角θ1至θn,進一步包括:收集該廣角鏡頭的最大視場角和預設個數的相鄰視場角;根據該廣角鏡頭的最大視場角得到該半視場角θ1,並根據該預設個數的相鄰視場角得到半視場角θ2至θn。
- 如申請專利範圍第1項所述之廣角鏡頭的畸變矯正方法,其中,該視場角關係式為:以此類推,
- 如申請專利範圍第2項所述之廣角鏡頭的畸變矯正方法,其中,該最大視場角大於或等於70°。
- 如申請專利範圍第4項所述之廣角鏡頭的畸變矯正方法,其中,該最大視場角大於等於100°且小於等於190°。
- 一種廣角鏡頭的畸變矯正裝置,其特徵在於,包括:一收集模組,用於獲取一廣角鏡頭的n個半視場角θ1至θn,其中,θn為θ(n-1)的一相鄰半視場角,並根據該n個半視場角θ1至θn獲取該相鄰視場比值β1至β(n-1),n為正整數;一獲取模組,用於根據該n個半視場角θ1至θn得到該n個半視場角對應的像高r1至rn;一計算模組,用於根據該相鄰視場比值β1至β(n-1)和該n個半視場角對應的像高r1至rn得到相鄰半視場角的像高關係,並根據最大視場角對應的像高和該相鄰半視場角的像高關係通過遞迴計算得到該每半視場角的像高;以及一矯正模組,用於根據該每半視場角的像高依次矯正該廣角鏡頭在中心視場的畸變;其中,該計算模組,進一步包括:一處理單元,用於通過視場角關係式對該n個半視場角對應的像高r1至rn進行一取樣處理,其中,該取樣處理採用插值方法;一獲取單元,用於根據該視場角關係式得到相鄰半視場角的像高關係式;該相鄰半視場角的像高關係式為:並且,該根據最大視場角對應的像高和該相鄰半視場角的像高關係通過遞迴計算得到該每半視場角的像高:其中,r(n-1)為半視場角θ(n-1)對應的像高,rn為半視場角θn對應的像高,β 1為θ1和θ2的比值,β 2為θ2和θ3的比值,β (n-1)為θ(n-1)和θn的比值。
- 如申請專利範圍第6項所述之廣角鏡頭的畸變矯正裝置,其中,該收集模組,進一步包括:一收集單元,用於收集該廣角鏡頭的一最大視場角和該預設個數的相鄰視場角;一選取單元,用於根據該廣角鏡頭的最大視場角得到該半視場角θ1,並根據該預設個數的相鄰視場角得到半視場角θ2至θn。
- 如申請專利範圍第6項所述的廣角鏡頭的畸變矯正裝置,其中,該視場角關係式為:以此類推,
- 如申請專利範圍第7項所述之廣角鏡頭的畸變矯正裝置,其中,該最大視場角大於或等於70°。
- 如申請專利範圍第9項所述之廣角鏡頭的畸變矯正裝置,其中,該最大視場角大於等於100°且小於等於190°。
- 一種廣角鏡頭的畸變矯正系統,其特徵在於,包括:如申請專利範圍第6項至第10項任一項所述之廣角鏡頭的畸變矯正裝置矯正過的一廣角鏡頭和一像素感測器。
- 如申請專利範圍第11項所述之廣角鏡頭的畸變矯正系統,其中,該廣角鏡頭的畸變矯正裝置矯正過的廣角鏡頭從物側到像側依次包括一第一透鏡、一第二透鏡、一第三透鏡、一光圈、一第四透鏡、一第五透鏡、一第六透鏡、一第七透鏡和一濾光片。
- 如申請專利範圍第12項所述之廣角鏡頭的畸變矯正系統,其中,該第一透鏡、該第二透鏡和該第七透鏡均採用非球面透鏡。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW107103694A TWI663421B (zh) | 2018-02-01 | 2018-02-01 | 廣角鏡頭的畸變矯正方法、裝置及系統 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW107103694A TWI663421B (zh) | 2018-02-01 | 2018-02-01 | 廣角鏡頭的畸變矯正方法、裝置及系統 |
Publications (2)
Publication Number | Publication Date |
---|---|
TWI663421B true TWI663421B (zh) | 2019-06-21 |
TW201935072A TW201935072A (zh) | 2019-09-01 |
Family
ID=67764226
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW107103694A TWI663421B (zh) | 2018-02-01 | 2018-02-01 | 廣角鏡頭的畸變矯正方法、裝置及系統 |
Country Status (1)
Country | Link |
---|---|
TW (1) | TWI663421B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110519486B (zh) * | 2019-09-19 | 2021-09-03 | Oppo广东移动通信有限公司 | 基于广角镜头的畸变补偿方法、装置、及相关设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012056982A1 (ja) * | 2010-10-25 | 2012-05-03 | コニカミノルタオプト株式会社 | 画像処理方法、画像処理装置及び撮像装置 |
CN103283214A (zh) * | 2011-01-06 | 2013-09-04 | 松下电器产业株式会社 | 摄像机、畸变校正装置以及畸变校正方法 |
US20170004600A1 (en) * | 2013-04-15 | 2017-01-05 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
-
2018
- 2018-02-01 TW TW107103694A patent/TWI663421B/zh active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012056982A1 (ja) * | 2010-10-25 | 2012-05-03 | コニカミノルタオプト株式会社 | 画像処理方法、画像処理装置及び撮像装置 |
CN103283214A (zh) * | 2011-01-06 | 2013-09-04 | 松下电器产业株式会社 | 摄像机、畸变校正装置以及畸变校正方法 |
US20170004600A1 (en) * | 2013-04-15 | 2017-01-05 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
Also Published As
Publication number | Publication date |
---|---|
TW201935072A (zh) | 2019-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019148642A1 (zh) | 广角镜头的畸变矫正方法、装置及*** | |
US9686479B2 (en) | Method for combining multiple image fields | |
JP4247113B2 (ja) | 長方形の画像センサによりパノラマ画像を撮像する方法 | |
JP6214481B2 (ja) | 撮像装置 | |
TWI720445B (zh) | 攝像機裝置中圖像融合的方法及相關裝置 | |
CN104778656B (zh) | 基于球面透视投影的鱼眼图像校正方法 | |
JP5843454B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
CN107483791A (zh) | 一种多摄像头模组 | |
US10904454B2 (en) | Automated polarizer positioning | |
WO2019232793A1 (zh) | 双摄像头标定方法、电子设备、计算机可读存储介质 | |
US11895403B2 (en) | Imaging support device that performs registration control for setting a detected subject image position, imaging support system, imaging system, imaging support method, and program | |
TWI599809B (zh) | 鏡頭模組陣列、影像感測裝置與數位縮放影像融合方法 | |
US20140022440A1 (en) | Focus extending optical system and edof imaging system | |
WO2023236508A1 (zh) | 一种基于亿像素阵列式相机的图像拼接方法及*** | |
CN110376725B (zh) | 一种鱼眼镜头*** | |
WO2020184286A1 (en) | Imaging device, image capturing optical system, and movable apparatus | |
TWI663421B (zh) | 廣角鏡頭的畸變矯正方法、裝置及系統 | |
CN105472263A (zh) | 影像撷取方法及使用此方法的影像撷取设备 | |
CN203376514U (zh) | 一种大像面高像素透雾日夜两用fa光学*** | |
WO2014156712A1 (ja) | 複眼光学系及び撮像装置 | |
US10748258B2 (en) | Method, device and system for correcting distortion of wide-angle lens | |
JP3805631B2 (ja) | 多重焦点全方位撮像装置 | |
CN114660782B (zh) | 一种用于水下监控的鱼眼镜头、成像装置及图像校正方法及*** | |
JP2013128256A (ja) | 撮像装置及びその制御方法 | |
CN112866550B (zh) | 相位差获取方法和装置、电子设备、计算机可读存储介质 |