TWI577971B - 雙孔徑測距系統 - Google Patents
雙孔徑測距系統 Download PDFInfo
- Publication number
- TWI577971B TWI577971B TW104134744A TW104134744A TWI577971B TW I577971 B TWI577971 B TW I577971B TW 104134744 A TW104134744 A TW 104134744A TW 104134744 A TW104134744 A TW 104134744A TW I577971 B TWI577971 B TW I577971B
- Authority
- TW
- Taiwan
- Prior art keywords
- frame
- sub
- color
- aperture
- aperture stop
- Prior art date
Links
- 238000012545 processing Methods 0.000 claims description 53
- 238000000034 method Methods 0.000 claims description 18
- 239000000463 material Substances 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 3
- 239000000758 substrate Substances 0.000 description 10
- 230000000875 corresponding effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000009977 dual effect Effects 0.000 description 6
- 230000004888 barrier function Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/571—Depth or shape recovery from multiple images from focus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Color Television Image Signal Generators (AREA)
Description
本發明係有關一種光學系統,更特別有關一種雙孔徑測距系統。
影像系統已成為目前行動裝置上不可或缺的應用系統之一。該影像系統所擷取的信號除了紀錄影像之外,還可應用於手勢辨識(gesture recognition)、近接感測(proximity sensing)或距離偵測等。
於距離偵測的應用中,例如可使用飛行時間法(time of flight)、結構光法(structure light)、光場相機(light field camera)、編碼孔徑相機(aperture coded camera)等來計算深度。
然而,上述方法皆有其限制。例如,飛行時間法及結構光法會消耗較高的功率,因而較不適用於行動裝置。光場相機會降低影像解析度。編碼孔徑相機則會降低訊雜比(signal-to-noise ratio)。
有鑑於此,有需要提出一種方案,以解決上述問題。
本發明之目的在於提供一種雙孔徑測距系統,其比對綠光影像與複數模糊核(blur kernel)之旋積結果和紅外光影像與複數模糊核之旋積結果,藉以產生一深度圖。
本發明之另一目的在於提供一種雙孔徑測距系統,其比對藍光影像與複數模糊核之旋積結果和紅外光影像與複數模糊核之旋積結果,藉以產生一深度圖。
為達上述目的,本發明說明提供一種測距系統,包含一第一孔徑光闌、一第二孔徑光闌以及一像素陣列。該第一孔徑光闌包含紅外光截止濾光材質之薄片並具有一第一光圈開口。該第二孔徑光闌包含不透光材質之薄片並具有一第二光圈開口,其中該第二光圈開口大於該第一光圈開口。該像素陣列由紅外光像素及綠光像素所組成,或者由紅外光像素及藍光像素所組成,用以接收穿過該第一孔徑光闌及該第二孔徑光闌的光。
本發明說明另提供一種測距系統,包含一第一孔徑光闌、一第二孔徑光闌、一影像感測器以及一處理單元。該第一孔徑光闌包含紅外光截止濾光材質之薄片並具有一第一光圈開口。該第二孔徑光闌包含不透光材質之薄片並具有一第二光圈開口,其中該第二光圈開口大於該第一光圈開口。該影像感測器用以接收穿過該第一孔徑光闌及該第二孔徑光闌的光,並輸出一影像圖框。該處理單元用以將該影像圖框分割為一第一顏色子圖框及一第二顏色子圖框、分別計算該第一顏色子圖框與複數第一模糊核之旋積以產生複數模糊化第一子圖框、分別計算該第二顏色子圖框與複數第二模糊核之旋積以產生複數模糊化第二子圖框、以及對該等模糊化第一子圖框與該等模糊化第二子圖框進行最佳化匹配。
本發明說明另提供一種測距系統之運作方法。該測距系統包含一第一孔徑光闌、一第二孔徑光闌以及一影像感測器。該第一孔徑光闌為紅外光截止濾光材質,該第二孔徑光闌為不透光材質,該第二孔徑光闌之光圈開口大於該第一孔徑光闌之光圈開口。該運作方法包含下列步驟:以該影像感測器接收穿過該第一孔徑光闌及該第二孔徑光闌的光以產生一影像圖框;分別計算該影像圖框之一第一顏色子圖框與複數第一模糊核之旋積以產生複數模糊化第一子圖框;分別計算該影像圖框之一第二顏色子圖框與複數第二模糊核之旋積以產生複數模糊化第二子圖框;對該等模糊化第一子圖框與該等模糊化第二子圖框進行最佳化匹配以求得一組最佳匹配子圖框;及根據該組最佳匹配子圖框求得一深度。
為了讓本發明之上述和其他目的、特徵和優點能更明顯,下文將配合所附圖示,詳細說明如下。此外,於本發明之說明中,相同之構件係以相同之符號表示,於此先述明。
請參照圖1,其為本發明說明實施例之雙孔徑測距系統之剖視圖。本實施例之測距系統1包含一基板10、一第一孔徑光闌11、一第二孔徑光闌12、一透鏡支架13、一透鏡組(此處例如顯示包含三個透鏡141~143,但並不限於此)、一影像感測器15、一紅外光截止濾光片16以及一透鏡屏障17。
該透鏡支架13例如大致具有一圓柱狀結構,該等透鏡141~ 143、該一孔徑光闌11及該第二孔徑光闌12則設置於該透鏡支架13內;其中,圖1所示的該透鏡組所包含透鏡的數目及種類(例如凸透鏡或凹透鏡)僅為例示,其數目及種類係根據不同應用而定,並無特定限制。該透鏡屏障17用以保護設置於該透鏡支架13內的該透鏡組,並具有一開孔供外部光線進入該透鏡支架13而傳播至位於該透鏡支架13的該影像感測器15。
該第一孔徑光闌(aperture stop)11包含紅外光截止濾光材質之薄片(sheet)並具有一第一光圈開口;其中,該薄片例如為環狀(ring shape)並用以阻擋紅外光。更詳言之,該第一光圈開口為該薄片之開口,且大致位於該薄片之中央,但不以此為限。該第一光圈開口例如大致為一圓形開口,但並不以此為限。一實施例中,該紅外光截止濾光材質之一截止波長為550~650奈米,以阻擋該截止波長以上的光束(例如L2)穿透該薄片;其中,該截止波長係根據該影像感測器15所欲接收的可見光光譜決定。請參照圖2所示,其為不同色光的相對光譜響應。例如,當該影像感測器15主要用以感測藍光(blue)時,該截止波長可選擇較短(例如約為550奈米),而當該影像感測器15主要用以感測綠光(green)時,該截止波長可選擇較長(例如約為650奈米),以消除與紅外光間的干擾。
該第二孔徑光闌12包含不透光材質之薄片並具有一第二光圈開口;其中,該薄片例如為環狀用以阻擋全部色光(例如阻擋圖2所顯示的所有光譜)。更詳言之,該第二光圈開口為該薄片之開口,且大致位於該薄片之中央,但不以此為限。該第二光圈開口例如大致為一圓形開口,但並不以此為限。
本實施例中,為了形成雙孔徑,該第二光圈開口大於該第一光圈開口。藉此,紅外光經過的孔徑則不同於綠/藍色光所經過的孔徑。例如圖1中,光束L1為包含紅光、綠光、藍光及紅外光成分的光束,而光束L2主要包含綠光及藍光成分但不包含紅外光成分(被該第二孔徑光闌12所阻隔)或所包含的紅外光成分相對綠/藍光成分的比例非常低。因此,紅外光的有效光圈為該第一光圈開口;而綠光及藍光的有效光圈為該第二光圈開口。從圖2可知,紅光(Red)與紅外光(IR)的光譜彼此重疊的區域較多,因此本發明說明中,該影像感測器15設置為不感測紅光光譜能量,以降低與紅外光間的干擾。
可以了解的是,雖然圖1中顯示該第二孔徑光闌12較為靠近該影像感測器15,然其僅用以說明而並非用以限定本發明說明。一實施例中,該第一孔徑光闌11及該第二孔徑光闌12的位置可互換。另一實施例中,該第一孔徑光闌11及該第二孔徑光闌12可形成於同一透明平板(plate)上,並透過於該透明平板上形成(例如塗佈)不同的遮光層(例如作為該第二孔徑光闌12)及濾光層(例如作為該第一孔徑光闌11)以形成該第一光圈開口及該第二光圈開口。
該基板10上設置該影像感測器15及該透鏡支架13。該透鏡支架13可以適當方式結合於該基板10,例如卡合、黏合等方式,並無特定限制。該影像感測器15可以適當方式設置於該基板10,只要該影像感測器15電性連接於該基板10以傳遞電信號即可,並無特定限制。例如圖1顯示該影像感測器15係透過打線的方式電性耦接於該基板10,但並不以此為限。該透鏡支架13的一端(例如圖中靠近該基板10的一端)具有一容納空間,該影像感測器15及其像素陣列150則容設於該容納空間內。
該影像感測器15例如為一影像感測晶片(image sensing chip),其較佳包含一主動影像感測元件,例如CMOS影像感測元件,但不以此為限。該影像感測器15以一圖框率(frame rate)接收穿過該第一孔徑光闌11及該第二孔徑光闌12的光,並輸出一影像圖框。
請參照圖3A及3B,其為本發明說明實施例之像素陣列150之像素分布之示意圖。該影像感測器15包含一像素陣列150,其包含複數像素以陣列排列用以接收穿過該透鏡組、該第一孔徑光闌11及該第二孔徑光闌12的光,並輸出一影像圖框;其中,該像素陣列150之尺寸並無特定限制。
本實施例中,該像素陣列150由複數第一顏色像素151及複數第二顏色像素153所組成。例如,該第一顏色為綠色光或藍色光,該第二顏色為紅外光。本發明說明中,為了降低與紅外光間的干擾,該第一顏色像素151不包含紅色光像素。因此,該第一顏色像素151僅選擇為綠色光像素及藍色光像素其中之一。可以瞭解的是,所述不同顏色像素具有相同的電路結構,而僅於其上形成不同色光的濾光層,以使像素電路內的感光元件(例如光二極體)感測不同色光的光能量。
該像素陣列150中,該等第一顏色像素151及該等第二顏色像素153較佳以棋盤分布布置,以利後續的內插運算。參照圖4A及4B所示,該等第一顏色像素151沿對角線方向設置,並分別相鄰該等第二顏色像素153。
必須說明的是,本發明說明中所述該等第一顏色像素151及第二顏色像素153不包含該像素陣列150之虛擬畫素(dummy pixel)。某些實施例中,該像素陣列150之邊緣列可設置虛擬畫素作為消除雜訊的方式之一。
該紅外光截止濾光片16設置於該影像感測器15之像素陣列150上方,並具有一截止波長約為810奈米。可以瞭解的是,該截止波長端視該等第二顏色像素153欲感測的目標頻譜而定,並不限定為810奈米。此外,雖然圖1顯示該紅外光截止濾光片16係設置於該透鏡支架13上,但本發明說明並不以此為限。其他實施例中,該紅外光截止濾光片16可為一紅外光截止濾光層直接塗布於該影像感測器15之像素陣列150上,只要能達到阻擋長波長紅外光不照射至該影像感測器15之像素陣列150即可,其設置方式並無特定限制。
如前所述,該影像感測器15可為一影像感測晶片,並包含該像素陣列150以及一處理單元;其中,該處理單元直接對該像素陣列150所擷取的像素資料(例如數位灰階值資料)進行後處理。
請參照圖5所示,其為本發明說明實施例之測距系統之方塊示意圖。本實施例之測距系統6包含一像素陣列61、一讀取電路63以及一處理單元65。該像素陣列61可為前述像素陣列150 (如圖3A及3B),並包含複數第一顏色像素651及複數第二顏色像素653。該讀取電路63例如根據時脈信號(例如由一時序控制器所產生)依序讀取該像素陣列61的每一像素之灰階值資料,例如利用相關性雙取樣法(correlated double sampling)讀取像素資料,但並不以此為限。該處理單元65例如為一數位信號處理器(DSP),用以根據所讀取的像素資料計算並輸出一深度資料(例如深度圖)至一外部電子裝置9進行相對應控制;其中,該電子裝置9例如為一可攜式電子裝置或一穿戴式電子裝置等。該處理單元65例如包含一類比數位轉換單元以進行數位轉換。
該處理單元65接收該讀取電路63所輸出的影像圖框F的像素資料並分別處理第一顏色像素資料及第二顏色像素資料。例如,該處理單元65將複數第一顏色像素資料形成為一第一顏色子圖框(subframe)並將複數第二顏色像素資料形成為一第二顏色子圖框;其中,所述像素資料為轉換後的數位資料。如前所述,第一顏色為綠光或藍光,第二顏色為紅外光。例如,圖5顯示該第一顏色子圖框為綠/藍色子圖框(G/B subframe)而該第二顏色子圖框紅外光子圖框(IR subframe)。
該處理單元65包含一第一內插單元6511、一第二內插單元6521、一第一去噪單元6513、一第二去噪單元6523、一第一補償單元6515、一第二補償單元6525、一第一旋積計算器6517、一第二旋積計算器6527、一匹配計算器653以及一儲存單元655。必須說明的是,圖5雖將該第一內插單元6511、第二內插單元6521、第一去噪單元6513、第二去噪單元6523、第一補償單元6515、第二補償單元6525、第一旋積計算器6517、第二旋積計算器6527及匹配計算器653以不同功能方塊顯示,然而該等功能方塊均可以考慮是該處理單元65所執行,且該等功能方塊可以軟體及/或硬體實現,並無特定限制。
該儲存單元655例如為記憶體或緩衝器,用以預存複數第一模糊核、複數第二模糊核以及該等第一模糊核及該等第二模糊核相關的深度資訊。例如參照圖6所示,其顯示應用於本發明說明實施例之測距系統之模糊核之示意圖。該儲存單元655預存有相對於不同距離的藍光模糊核(blur kernel)K1,例如N1~N4,並預存有相對於不同距離的紅外光模糊核K2,例如N1~N4。每一該等模糊核N1~N4例如為事前以該測距系統1相對不同距離的單色光(例如藍光及紅外光)所量測並儲存者。例如N1為相對物距5公分、N2為相對物距10公分、N3為相對物距15公分、N4為相對物距20公分。可以瞭解的是,圖6中模糊核K1及K2的數目以及相對應的物距僅用以說明,並非用以限定本發明說明。此外,綠光模糊核亦可以相同方式預存。
該讀取電路63依序讀取該像素陣列61的每一個像素資料,例如從第一列第一行依序讀取至最後一列最後一行,並將該等像素資料傳送至該處理單元65。該處理單元65將該像素陣列61輸出之影像圖框F(其包含第一顏色像素資料及第二顏色像素資料)分割為一第一顏色子圖框及一第二顏色子圖框;例如,將相對該等第一顏色像素651之像素資料形成該第一顏色子圖框並將相對該等第二顏色像素652之像素資料形成該第二顏色子圖框。
由於該等第一顏色像素651僅為該像素陣列61的部分像素,該處理單元65之第一內插單元6511則對該影像圖框F (即相對該等第一顏色像素651之像素資料)進行內插運算以產生一第一顏色子圖框,以使該第一顏色子圖框與該像素陣列61之有效像素具有相同尺寸。例如,利用位置(1,2)及(2,1)的像素資料內插出位置(1,1)的像素資料;利用位置(1,2)、(2,3)及(1,4)的像素資料內插出位置(1,3)的像素資料;以此類推。然而,內插的方式並不限於此。
由於該等第二顏色像素653僅為該像素陣列61的部分像素,該處理單元65之第二內插單元6521則對該影像圖框F (即相對該等第二顏色像素653之像素資料)進行內插運算以產生一第二顏色子圖框,以使該第二顏色子圖框與該像素陣列61之有效像素具有相同尺寸。例如,利用位置(1,1)、(2,2)及(1,3)的像素資料內插出位置(1,2)的像素資料;利用位置(1,3)、(2,4)及(1,5)的像素資料內插出位置(1,4)的像素資料;以此類推。然而,內插的方式並不限於此。
該處理單元65之第一去噪單元6513例如以一數位濾波器(digital filter)對該第一顏色子圖框進行濾波(去噪)處理,以提高影像品質。同理,該處理單元65之第二去噪單元6523例如以一數位濾波器對該第二顏色子圖框進行濾波(去噪)處理。數位濾波器可為習知用以處理影像的濾波器,並無特定限制。
該處理單元65之第一補償單元6515用以對該第一顏色子圖框進行透鏡陰影補償,且該處理單元65之第二補償單元6525用以對該第二顏色子圖框進行透鏡陰影補償。透鏡陰影補償(lens shading compensation)的資訊係根據該等透鏡141~143(參照圖1)所事先儲存於該處理單元65中,例如儲存於該儲存單元655中。
本實施例中,該處理單元65可選擇執行濾波(去噪)處理及透鏡陰影補償處理至少其中之一,以增加距離計算的正確性。
該處理單元65之第一旋積計算器6517將該影像圖框F之第一顏色子圖框(例如去噪及補償後第一顏色子圖框)分別與複數第一模糊核進行旋積運算(convolution)以產生複數模糊化第一子圖框。例如參照圖6所示,該第一旋積計算器6517從該儲存單元655依序讀取藍光模糊核K1(例如N=1~4),並分別計算該第一顏色子圖框與藍光模糊核N=1~4之旋積以產生複數(此處為4個)模糊化第一子圖框(blurred first subframe)。可以瞭解的是,所產生的模糊化第一子圖框的數目與預存的模糊核K1的數目相同。
該處理單元65之第二旋積計算器6527將該影像圖框F之第二顏色子圖框(例如去噪及補償後第二顏色子圖框)分別與複數第二模糊核進行旋積運算以產生複數模糊化第二子圖框。例如參照圖6所示,該第二旋積計算器6527從該儲存單元655依序讀取紅外光模糊核K2(例如N=1~4),並分別計算該第二顏色子圖框與紅外光模糊核N=1~4之旋積以產生複數模糊化第二子圖框(blurred second subframe)。可以瞭解的是,所產生的模糊化第二子圖框的數目與預存的模糊核K2的數目相同,例如此處為4個。
該處理單元65之匹配計算器653接著比對該等模糊化第一子圖框與相對應的該等模糊化第二子圖框以求得一組最佳匹配子圖框。一實施例中,比對該等模糊化第一子圖框與該等模糊化第二子圖框係指對該等模糊化第一子圖框與該等模糊化第二子圖框進行最佳化匹配。該匹配計算器653將相對該模糊核N1的模糊化第一子圖框與模糊化第二子圖框進行減法運算,例如將該模糊化第一子圖框與該模糊化第二子圖框中相對應像素資料(pixel-by-pixel)相減,以得到一第一差分圖框,並將其儲存於該儲存單元655;將相對該模糊核N2的模糊化第一子圖框與模糊化第二子圖框進行減法運算以得到一第二差分圖框,並將其儲存於該儲存單元655;將相對該模糊核N3的模糊化第一子圖框與模糊化第二子圖框進行減法運算以得到一第三差分圖框,並將其儲存於該儲存單元655;將相對該模糊核N4的模糊化第一子圖框與模糊化第二子圖框進行減法運算以得到一第四差分圖框,並將其儲存於該儲存單元655。該匹配計算器653則選擇該第一差分圖框至該第四差分圖框中,像素數值之總和最小者所相相對應的一組模糊化第一子圖框與模糊化第二子圖框作為一組最佳匹配子圖框。
本實施例中,該第一顏色子圖框、該第二顏色子圖框、該等藍光模糊核K1、該等紅外光模糊核K2、該等模糊化第一子圖框、該等模糊化第二子圖框及該第一差分圖框至該第四差分圖框具有相同尺寸。
該匹配計算器653則根據該組最佳匹配子圖框所對應的該第一模糊核及/或該第二模糊核相關的深度資訊決定一深度。例如,當該組最佳匹配子圖框為對應模糊核N=1,如前所述,該模糊核N=1相關的深度資訊例如為5公分,則所決定之深度D則為5公分。同理,當該組最佳匹配子圖框為對應模糊核N=2~4時,則可決定相關的深度D。
此外,最佳化匹配並不限於計算該等模糊化第一子圖框與該等模糊化第二子圖框之減法運算。其他實施例中,最佳化匹配還可計算該等模糊化第一子圖框與相對應的該模糊化第二子圖框之相關性(correlation),或利用其他習知方法來計算,並不限於本發明說明中所揭示者。如前所述,此處所述相對應係指相對相同物距的模糊核N=1~4。上述計算差分圖框僅用以說明而並非用以限定本發明說明,一組最佳匹配子圖框係指相似度最高的一組模糊化第一子圖框與模糊化第二子圖框。
某些實施例中,當兩組模糊化第一子圖框與模糊化第二子圖框之相似度(例如上述差分圖框之像素數值之總和)的差異不大時,亦可利用差分的方式來計算深度。例如當相似度介於N=1及N=2之間時,深度D可選擇為7.5公分。
最後,該處理單元65輸出決定的深度D至該外部電子裝置9。
請參照圖7所示,其為本發明說明實施例之測距系統之運作方法之流程圖,其包含下列步驟:以一影像感測器接收穿過一第一孔徑光闌及一第二孔徑光闌的光以產生一影像圖框(步驟S71);分別計算該影像圖框之一第一顏色子圖框與複數第一模糊核之旋積以產生複數模糊化第一子圖框(步驟S72);分別計算該影像圖框之一第二顏色子圖框與複數第二模糊核之旋積以產生複數模糊化第二子圖框(步驟S73);對該等模糊化第一子圖框與該等模糊化第二子圖框進行最佳化匹配以求得一組最佳匹配子圖框(步驟S74);以及根據該組最佳匹配子圖框求得一深度(步驟S75);其中,步驟S72~S75係由該處理單元36利用軟體及/或硬體來執行,例如利用圖5的功能方塊執行。本實施例之詳細實施方式已說明於前,故於此不再贅述。
如前所述,為了增加運算精確度,本實施例之運作方法另包含步驟:以一處理單元對該第一顏色子圖框及該第二顏色子圖框進行濾波(去噪)處理及透鏡陰影補償處理至少其中之一。
此外,在對該第一顏色子圖框及該第二顏色子圖框處理前,該處理單元36先對該等第一顏色像素651之像素資料及該等第二顏色像素651之像素資料進行內插處理(interpolation),以分別產生該第一顏色子圖框及該第二顏色子圖框。如前所述,該處理單元36先對該影像圖框F之灰階值資料數位化之後再進行內插處理。
必須說明的是,本發明說明中所舉出的數值,例如像素陣列的尺寸、模糊核的個數、透鏡的個數及距離等僅用以說明,而非用限定本發明說明。此外,該讀取電路63亦不限於從第一個像素到最後一個像素依序讀取該像素陣列61的每個像素,亦可先讀取該等第一顏色像素651之像素資料,再讀取該等第二顏色像素653之像素資料,並無特定限制。
此外,搭配一系統光源的點亮熄滅,該處理單元65可先計算相對該系統光源點亮時所擷取之一第一影像圖框與相對該系統光源熄滅時所擷取之一第二影像圖框之一差分影像圖框,再對該差分影像圖框執行上述測距系統之運作方法。更詳言之,上述實施例之影像圖框F可以差分影像圖框取代,而其他運作均相同,故於此不再贅述。
如上所述,習知各種測距系統具有不同的應用限制。因此,本發明說明另提出一種雙孔徑測距系統(圖1及6)及其運作方法(圖7),其僅根據一張影像即可算出一深度圖;亦即該深度圖包含複數個深度值。此外,由於本發明說明僅使用藍/綠像素的感測結果而不包含紅色像素,可藉以降低與紅外光間的干擾以提高偵測精確度。
雖然本發明已以前述實例揭示,然其並非用以限定本發明,任何本發明所屬技術領域中具有通常知識者,在不脫離本發明之精神和範圍內,當可作各種之更動與修改。因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
1、6‧‧‧測距系統
10‧‧‧基板
11‧‧‧第一孔徑光闌
12‧‧‧第二孔徑光闌
13‧‧‧透鏡支架
141~143‧‧‧透鏡
15‧‧‧影像感測器
16‧‧‧紅外光截止濾光片
17‧‧‧鏡頭屏障
150、61‧‧‧像素陣列
151、651‧‧‧第一顏色像素
153、653‧‧‧第二顏色像素
63‧‧‧讀取電路
65‧‧‧處理單元
6511、6521‧‧‧內插單元
6513、6523‧‧‧去噪單元
6515、6525‧‧‧補償單元
6517、6527‧‧‧旋積計算器
653‧‧‧匹配計算器
655‧‧‧儲存單元
9‧‧‧外部電子裝置
K1、K2‧‧‧模糊核
L1、L2‧‧‧光束
圖1為本發明說明實施例之雙孔徑測距系統之剖視圖。 圖2為不同色光的相對光譜響應。 圖3A及3B為本發明說明實施例之像素陣列之像素分布之示意圖。 圖4A及4B為本發明說明實施例之像素陣列之像素分布之另一示意圖。 圖5為本發明說明實施例之測距系統之方塊示意圖。 圖6為應用於本發明說明實施例之測距系統之模糊核之示意圖。 圖7為本發明說明實施例之測距系統之運作方法之流程圖。
1‧‧‧測距系統
10‧‧‧基板
11‧‧‧第一孔徑光闌
12‧‧‧第二孔徑光闌
13‧‧‧透鏡支架
141~143‧‧‧透鏡
15‧‧‧影像感測器
150‧‧‧像素陣列
16‧‧‧紅外光截止濾光片
17‧‧‧鏡頭屏障
L1、L2‧‧‧光束
Claims (19)
- 一種測距系統,包含:一第一孔徑光闌,包含紅外光截止濾光材質之薄片並具有一第一光圈開口;一第二孔徑光闌,包含不透光材質之薄片並具有一第二光圈開口,其中該第二光圈開口大於該第一光圈開口;一像素陣列,由紅外光像素及綠光像素所組成,或者由紅外光像素及藍光像素所組成,用以接收穿過該第一孔徑光闌及該第二孔徑光闌的光;以及一處理單元,用以將該像素陣列輸出之一影像圖框之一第一顏色子圖框分別與複數第一模糊核進行旋積運算以產生複數模糊化第一子圖框,將該影像圖框之一第二顏色子圖框分別與複數第二模糊核進行旋積運算以產生複數模糊化第二子圖框,及比對該等模糊化第一子圖框與相對應的該等模糊化第二子圖框以求得一組最佳匹配子圖框。
- 如申請專利範圍第1項所述之測距系統,其中,該紅外光截止濾光材質之一截止波長為550~650奈米。
- 如申請專利範圍第1項所述之測距系統,其中,該比對係計算一個該等模糊化第一子圖框與相對應的一個該等模糊化第二子圖框之減法運算或相關性。
- 如申請專利範圍第1項所述之測距系統,其中,該處理單元另用以對該第一顏色子圖框及該第二顏色子圖框進行濾波處理及透鏡陰影補償處理至少其中之一。
- 如申請專利範圍第1項所述之測距系統,其中,該處理單元另用以對該影像圖框進行內插運算以產生該第一顏色子圖框及該第二顏色子圖框。
- 如申請專利範圍第1項所述之測距系統,其中,該處理單元另包含一儲存單元用以預存該等第一模糊核、該等第二模糊核以及該等第一模糊核及該等第二模糊核相關的深度資訊。
- 如申請專利範圍第1項所述之測距系統,其中,該測距系統另包含一紅外光截止濾光片,該紅外光截止濾光片之截止波長為810奈米。
- 如申請專利範圍第1項所述之測距系統,其中,該測距系統另包含一透鏡支架用以設置該第一孔徑光闌及該第二孔徑光闌,該透鏡支架具有一容納空間容設該像素陣列。
- 一種測距系統,包含:一第一孔徑光闌,包含紅外光截止濾光材質之薄片並具有一第一光圈開口;一第二孔徑光闌,包含不透光材質之薄片並具有一第二光圈開口,其中該第二光圈開口大於該第一光圈開口;一影像感測器,用以接收穿過該第一孔徑光闌及該第二孔徑光闌的光,並輸出一影像圖框;以及 一處理單元,用以將該影像圖框分割為一第一顏色子圖框及一第二顏色子圖框,分別計算該第一顏色子圖框與複數第一模糊核之旋積以產生複數模糊化第一子圖框,分別計算該第二顏色子圖框與複數第二模糊核之旋積以產生複數模糊化第二子圖框,及對該等模糊化第一子圖框與該等模糊化第二子圖框進行最佳化匹配。
- 如申請專利範圍第9項所述之測距系統,其中,該第一顏色為綠色光或藍色光,該第二顏色為紅外光。
- 如申請專利範圍第9項所述之測距系統,其中,該最佳化匹配係計算每一該等模糊化第一子圖框與相對應的一個該等模糊化第二子圖框之減法運算或相關性。
- 如申請專利範圍第9項所述之測距系統,其中,該處理單元另根據一組最佳匹配子圖框所對應的該第一模糊核及/或該第二模糊核相關的深度資訊決定一深度。
- 如申請專利範圍第9項所述之測距系統,其中,該處理單元另用以對該第一顏色子圖框及該第二顏色子圖框進行濾波處理及透鏡陰影補償處理至少其中之一。
- 如申請專利範圍第9項所述之測距系統,其中,該處理單元另用以對該影像圖框進行內插運算以產生該第一顏色子圖框及該第二顏色子圖框。
- 一種測距系統之運作方法,該測距系統包含一第一孔徑光闌、一第二孔徑光闌及一影像感測器,該第一孔徑光闌為紅外光截止濾光材質,該第二孔徑光闌為不透光材質,該第二孔徑光闌之光圈開口大於該第一孔徑光闌,該運作方法包含:以該影像感測器接收穿過該第一孔徑光闌及該第二孔徑光闌的光以產生一影像圖框;分別計算該影像圖框之一第一顏色子圖框與複數第一模糊核之旋積以產生複數模糊化第一子圖框;分別計算該影像圖框之一第二顏色子圖框與複數第二模糊核之旋積以產生複數模糊化第二子圖框;對該等模糊化第一子圖框與該等模糊化第二子圖框進行最佳化匹配以求得一組最佳匹配子圖框;以及根據該組最佳匹配子圖框求得一深度。
- 如申請專利範圍第15項所述之運作方法,另包含:對該第一顏色子圖框及該第二顏色子圖框進行濾波處理及透鏡陰影補償處理至少其中之一。
- 如申請專利範圍第15項所述之運作方法,另包含:對該影像圖框進行內插運算以產生該第一顏色子圖框及該第二顏色子圖框。
- 如申請專利範圍第15項所述之運作方法,其中,該最佳化匹配係計算每一該等模糊化第一子圖框與相對應的一個該等模糊化第二子圖框之減法運算或相關性。
- 如申請專利範圍第15項所述之運作方法,其中,該第一顏色為綠色光或藍色光,該第二顏色為紅外光。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW104134744A TWI577971B (zh) | 2015-10-22 | 2015-10-22 | 雙孔徑測距系統 |
US15/252,671 US10368014B2 (en) | 2015-10-22 | 2016-08-31 | Dual-aperture ranging system |
US16/435,881 US10778915B2 (en) | 2015-10-22 | 2019-06-10 | Dual-aperture ranging system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW104134744A TWI577971B (zh) | 2015-10-22 | 2015-10-22 | 雙孔徑測距系統 |
Publications (2)
Publication Number | Publication Date |
---|---|
TWI577971B true TWI577971B (zh) | 2017-04-11 |
TW201715202A TW201715202A (zh) | 2017-05-01 |
Family
ID=58559371
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW104134744A TWI577971B (zh) | 2015-10-22 | 2015-10-22 | 雙孔徑測距系統 |
Country Status (2)
Country | Link |
---|---|
US (2) | US10368014B2 (zh) |
TW (1) | TWI577971B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2545717B (en) * | 2015-12-23 | 2022-01-05 | Bae Systems Plc | Improvements in and relating to displays |
US10574909B2 (en) | 2016-08-08 | 2020-02-25 | Microsoft Technology Licensing, Llc | Hybrid imaging sensor for structured light object capture |
JP6266074B1 (ja) * | 2016-11-08 | 2018-01-24 | 三菱電機株式会社 | 赤外線カメラ |
TWI722870B (zh) * | 2019-06-25 | 2021-03-21 | 英屬開曼群島商音飛光電科技股份有限公司 | 薄型接近感測裝置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0318249A2 (en) * | 1987-11-23 | 1989-05-31 | General Electric Company | Ranging system |
US20120189293A1 (en) * | 2011-01-25 | 2012-07-26 | Dongqing Cao | Imaging devices having arrays of image sensors and lenses with multiple aperture sizes |
US8330852B2 (en) * | 2010-04-30 | 2012-12-11 | Eastman Kodak Company | Range measurement using symmetric coded apertures |
US20130033578A1 (en) * | 2010-02-19 | 2013-02-07 | Andrew Augustine Wajs | Processing multi-aperture image data |
US8885059B1 (en) * | 2008-05-20 | 2014-11-11 | Pelican Imaging Corporation | Systems and methods for measuring depth using images captured by camera arrays |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6774988B2 (en) * | 2002-07-30 | 2004-08-10 | Gentex Corporation | Light source detection and categorization system for automatic vehicle exterior light control and method of manufacturing |
US6211521B1 (en) * | 1998-03-13 | 2001-04-03 | Intel Corporation | Infrared pixel sensor and infrared signal correction |
JP2002034913A (ja) * | 2000-07-27 | 2002-02-05 | Asahi Optical Co Ltd | 電子内視鏡システムの光源装置の光学系 |
US7085070B2 (en) * | 2002-05-14 | 2006-08-01 | Olympus Corporation | Zoom lens and electronic imaging device having the same |
JP4285957B2 (ja) * | 2002-08-29 | 2009-06-24 | オリンパス株式会社 | ズームレンズ及びそれを有する電子撮像装置 |
JP3981034B2 (ja) * | 2003-03-25 | 2007-09-26 | 富士フイルム株式会社 | カラー画像取得装置およびカラー電子カメラ |
JP4143521B2 (ja) * | 2003-11-12 | 2008-09-03 | 三菱電機株式会社 | 車載用カメラ |
TWI395978B (zh) * | 2004-12-03 | 2013-05-11 | Ohara Kk | 光學元件與製造光學元件的方法 |
US7911517B1 (en) * | 2007-10-31 | 2011-03-22 | The United States Of America As Represented By The Secretary Of Agriculture | Device and method for acquiring digital color-infrared photographs for monitoring vegetation |
US20090159799A1 (en) * | 2007-12-19 | 2009-06-25 | Spectral Instruments, Inc. | Color infrared light sensor, camera, and method for capturing images |
GB2463480A (en) | 2008-09-12 | 2010-03-17 | Sharp Kk | Camera Having Large Depth of Field |
US20120293571A1 (en) * | 2010-02-26 | 2012-11-22 | Sharp Kabushiki Kaisha | Image display device |
US20130321477A1 (en) * | 2012-06-01 | 2013-12-05 | Pixtronix, Inc. | Display devices and methods for generating images thereon according to a variable composite color replacement policy |
FR3004882B1 (fr) * | 2013-04-17 | 2015-05-15 | Photonis France | Dispositif d'acquisition d'images bimode |
US9967527B2 (en) * | 2013-11-25 | 2018-05-08 | JVC Kenwood Corporation | Imaging device, image processing device, image processing method, and image processing program |
KR101591172B1 (ko) * | 2014-04-23 | 2016-02-03 | 주식회사 듀얼어퍼처인터네셔널 | 이미지 센서와 피사체 사이의 거리를 결정하는 방법 및 장치 |
WO2015178509A1 (ko) * | 2014-05-19 | 2015-11-26 | 삼성전자 주식회사 | 이종 화소 구조를 갖는 이미지 센서 |
WO2016003253A1 (en) * | 2014-07-04 | 2016-01-07 | Samsung Electronics Co., Ltd. | Method and apparatus for image capturing and simultaneous depth extraction |
WO2016020147A1 (en) * | 2014-08-08 | 2016-02-11 | Fotonation Limited | An optical system for an image acquisition device |
US9425233B2 (en) * | 2014-12-22 | 2016-08-23 | Google Inc. | RGBZ pixel cell unit for an RGBZ image sensor |
US9871065B2 (en) * | 2014-12-22 | 2018-01-16 | Google Inc. | RGBZ pixel unit cell with first and second Z transfer gates |
US20160255323A1 (en) * | 2015-02-26 | 2016-09-01 | Dual Aperture International Co. Ltd. | Multi-Aperture Depth Map Using Blur Kernels and Down-Sampling |
WO2016189600A1 (ja) * | 2015-05-22 | 2016-12-01 | オリンパス株式会社 | 撮像装置 |
US20170034456A1 (en) * | 2015-07-31 | 2017-02-02 | Dual Aperture International Co., Ltd. | Sensor assembly with selective infrared filter array |
KR102374116B1 (ko) * | 2015-09-30 | 2022-03-11 | 삼성전자주식회사 | 전자 장치 |
-
2015
- 2015-10-22 TW TW104134744A patent/TWI577971B/zh active
-
2016
- 2016-08-31 US US15/252,671 patent/US10368014B2/en active Active
-
2019
- 2019-06-10 US US16/435,881 patent/US10778915B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0318249A2 (en) * | 1987-11-23 | 1989-05-31 | General Electric Company | Ranging system |
US8885059B1 (en) * | 2008-05-20 | 2014-11-11 | Pelican Imaging Corporation | Systems and methods for measuring depth using images captured by camera arrays |
US20130033578A1 (en) * | 2010-02-19 | 2013-02-07 | Andrew Augustine Wajs | Processing multi-aperture image data |
US8330852B2 (en) * | 2010-04-30 | 2012-12-11 | Eastman Kodak Company | Range measurement using symmetric coded apertures |
US20120189293A1 (en) * | 2011-01-25 | 2012-07-26 | Dongqing Cao | Imaging devices having arrays of image sensors and lenses with multiple aperture sizes |
Also Published As
Publication number | Publication date |
---|---|
TW201715202A (zh) | 2017-05-01 |
US20170118418A1 (en) | 2017-04-27 |
US10778915B2 (en) | 2020-09-15 |
US10368014B2 (en) | 2019-07-30 |
US20190297279A1 (en) | 2019-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102474715B1 (ko) | 매크로포토그래피를 위한 컬러 및 모노 이미지들의 시차 마스크 융합 | |
US9497397B1 (en) | Image sensor with auto-focus and color ratio cross-talk comparison | |
US10070078B2 (en) | Solid-state image sensor with pixels having in-pixel memories, motion information acquisition apparatus, and imaging apparatus | |
US10778915B2 (en) | Dual-aperture ranging system | |
CN107071234B (zh) | 一种镜头阴影校正方法及装置 | |
JP2018535443A (ja) | 位相検出オートフォーカスの算術 | |
CN103546701A (zh) | 像素阵列、图像传感器及补偿局部暗电流的方法 | |
CN110275606B (zh) | 感测元件 | |
US20210067705A1 (en) | Phase detection autofocus (pdaf) sensor | |
TW201711449A (zh) | 分辨前景的成像裝置及其運作方法、以及影像感測器 | |
US20150015773A1 (en) | Image generating apparatus and method and non-transitory recordable medium | |
US20200389576A1 (en) | Display-based camera apparatus and methods | |
US20190139189A1 (en) | Image remosaicing | |
US20200228709A1 (en) | Method for processing image signal, image signal processor, and image sensor chip | |
US8929685B2 (en) | Device having image reconstructing function, method, and recording medium | |
US20160353017A1 (en) | Electronic device and method for photographing image | |
CN117378212A (zh) | 用于单光子雪崩二极管影像中的暗电流补偿的***和方法 | |
US12015835B2 (en) | Multi-sensor imaging color correction | |
CN117355768A (zh) | 用于使用单光子雪崩二极管来获得彩色图像的***和方法 | |
KR102412278B1 (ko) | 보색관계의 필터 어레이를 포함하는 카메라 모듈 및 그를 포함하는 전자 장치 | |
KR20240029003A (ko) | 멀티-포인트 깊이 감지 시스템 정보를 사용한 이미지 데이터 프로세싱 | |
WO2022226702A1 (zh) | 图像处理方法、处理装置、电子设备和存储介质 | |
CN110220494B (zh) | 双孔径测距***及其运作方法 | |
US20240054659A1 (en) | Object detection in dynamic lighting conditions | |
US20230370727A1 (en) | High dynamic range (hdr) image generation using a combined short exposure image |