TW201711449A - 分辨前景的成像裝置及其運作方法、以及影像感測器 - Google Patents

分辨前景的成像裝置及其運作方法、以及影像感測器 Download PDF

Info

Publication number
TW201711449A
TW201711449A TW104129150A TW104129150A TW201711449A TW 201711449 A TW201711449 A TW 201711449A TW 104129150 A TW104129150 A TW 104129150A TW 104129150 A TW104129150 A TW 104129150A TW 201711449 A TW201711449 A TW 201711449A
Authority
TW
Taiwan
Prior art keywords
frame
image
sub
pixels
region
Prior art date
Application number
TW104129150A
Other languages
English (en)
Other versions
TWI565323B (zh
Inventor
林榮泰
許恩峯
Original Assignee
原相科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 原相科技股份有限公司 filed Critical 原相科技股份有限公司
Priority to TW104129150A priority Critical patent/TWI565323B/zh
Priority to US15/189,189 priority patent/US10097773B2/en
Application granted granted Critical
Publication of TWI565323B publication Critical patent/TWI565323B/zh
Publication of TW201711449A publication Critical patent/TW201711449A/zh
Priority to US16/101,942 priority patent/US10341584B2/en
Priority to US16/412,723 priority patent/US10616506B2/en
Priority to US16/801,359 priority patent/US10979656B2/en
Priority to US17/197,355 priority patent/US11418729B2/en
Priority to US17/860,352 priority patent/US11917322B2/en
Priority to US18/401,745 priority patent/US20240236261A9/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Studio Devices (AREA)

Abstract

一種成像裝置，包含一聚光透鏡及一影像感測器。該影像感測器用以感測穿透該聚光透鏡之光線並包含一像素矩陣、一遮光層、複數微透鏡及一紅外光濾光層。該像素矩陣包含複數紅外線像素、複數第一像素及複數第二像素。該遮光層遮蔽於該等第一像素之一第一區域上方及該等第二像素之一第二區域上方，其中，該第一區域與該第二區域沿一第一方向形成鏡像對稱。該等微透鏡設置於該像素矩陣上方。該紅外光濾光層覆蓋於該等紅外線像素上方。

Description

分辨前景的成像裝置及其運作方法、以及影像感測器
本發明係有關一種光學感測器，更特別有關一種可分辨前景與背景的成像裝置及其運作方法。
透過分辨手勢以啟動系統的預設應用程式已廣泛應用於各式電子裝置，例如可攜式電子裝置或穿戴式電子裝置。一種習知分辨前景與背景的方式為使用一系統光源照明一操作範圍內的物件。當該系統光源打光時，一影像感測器擷取一張亮影像；而當該系統光源不打光時，該影像感測器擷取一張暗影像。透過計算該亮影像與該暗影像之一差分影像則可消除背景的干擾。
然而，可攜式電子裝置或穿戴式電子裝置時常***作於強光之下，例如太陽光下。由於系統光源的亮度與太陽光相較顯得非常微弱，因此透過習知計算亮暗影像之差分影像的方式並無法有效消除背景干擾。
有鑑於此，一種不受限於環境光強弱的成像裝置實為業界是所需。
本發明說明提出一種可分辨前景的成像裝置及其運作方法，其搭配相位偵測以克服強環境光所造成的限制。
本發明說明提出一種可於不同環境光下使用不同運作模式的可分辨前景的成像裝置及其運作方法。
本發明說明提供一種成像裝置，其包含一聚光透鏡以及一影像感測器。該影像感測器用以感測穿透該聚光透鏡之光線並包含一像素矩陣、一遮光層、複數微透鏡及一紅外光濾光層。該像素矩陣包含複數紅 外線像素、複數第一像素及複數第二像素沿一第一方向及一第二方向排列。該遮光層遮蔽於該等第一像素之一第一區域上方及該等第二像素之一第二區域上方，其中，該第一區域與該第二區域沿該第一方向形成鏡像對稱。該等微透鏡設置於該像素矩陣上方。該紅外光濾光層覆蓋於該等紅外線像素上方。
本發明說明另提供一種成像裝置，其包含一紅外光源、一聚光透鏡、一影像感測器以及一處理器。該影像感測器用以感測穿透該聚光透鏡之光線，於該紅外光源點亮時輸出一亮影像圖框並於該紅外光源熄滅時輸出一暗影像圖框。該影像感測器包含一像素矩陣、一遮光層、複數微透鏡及一紅外光濾光層。該像素矩陣包含複數紅外線像素、複數第一像素及複數第二像素沿一第一方向及一第二方向排列。該遮光層遮蔽於該等第一像素之一第一區域上方及該等第二像素之一第二區域上方，其中，該第一區域與該第二區域沿該第一方向形成鏡像對稱。該等微透鏡設置於該像素矩陣上方。該紅外光濾光層覆蓋於該等紅外線像素上方。該處理器用以將該亮影像圖框及該暗影像圖框中，對應該等紅外線像素之紅外線影像區域形成一紅外線子圖框，對應該等第一像素之第一影像區域形成一第一子圖框，對應該等第二像素之第二影像區域形成一第二子圖框，並於一第一模式計算該亮影像圖框之該紅外線子圖框與該暗影像圖框之該紅外線子圖框之一差分影像以分離出至少一前景影像，或於一第二模式根據該第一子圖框及該第二子圖框分離出至少一前景影像。
本發明說明另提供一種成像裝置之運作方法，該成像裝置包含一紅外光源、複數紅外線像素、複數第一像素、複數第二像素及複數微透鏡，該等第一像素及該等第二像素分別透過該等微透鏡之一第一部分及一第二部分接收不同相位的入射光。該運作方法包含下列步驟：以該成像裝置於該紅外光源點亮時輸出一亮影像圖框並於該紅外光源熄滅時輸出一暗影像圖框；將對應該等紅外線像素之紅外線影像區域形成一紅外線子圖框，將對應該等第一像素之第一影像區域形成一第一子圖框，將對應該等第二像素之第二影像區域形成一第二子圖框；於一第一模式中，計算該亮影像圖框之該紅外線子圖框與該暗影像圖框之該紅外線子圖框之一差分影像以分離出至少一前景影像；以及於一第二模式中，根據該第一子圖框 及該第二子圖框分離出至少一前景影像。
本發明說明另提供一種影像感測器，包含一像素矩陣、一遮光層、複數微透鏡及一紅外光濾光層。該像素矩陣包含複數紅外線像素、複數第一像素及複數第二像素沿一第一方向及一第二方向排列。該遮光層遮蔽於該等第一像素之一第一區域上方及該等第二像素之一第二區域上方，其中，該第一區域與該第二區域沿該第一方向形成鏡像對稱。該等微透鏡設置於該像素矩陣上方。該紅外光濾光層覆蓋於該等紅外線像素上方。
為了讓本發明之上述和其他目的、特徵和優點能更明顯，下文將配合所附圖示，詳細說明如下。此外，於本發明之說明中，相同之構件係以相同之符號表示，於此先述明。
1‧‧‧成像裝置
10‧‧‧聚光透鏡
11‧‧‧影像感測器
111‧‧‧像素矩陣
113‧‧‧遮光層
115‧‧‧微透鏡
117‧‧‧紅外光濾光層
13‧‧‧處理器
130‧‧‧儲存單元
131‧‧‧光源控制模組
133‧‧‧選擇模組
135‧‧‧差分模組
137‧‧‧偏移計算模組
139‧‧‧應用模組
15‧‧‧紅外光源
9‧‧‧物件
P1~P4、Pinf‧‧‧像素
F‧‧‧影像圖框
Ls‧‧‧紅外光
Lrs‧‧‧反射光線
La‧‧‧環境光
I9‧‧‧物件影像
I91~I94‧‧‧影像區域
Ia‧‧‧背景影像
S1~S4‧‧‧偏移量
FP1~FP4、Finf‧‧‧子圖框
Finf_B‧‧‧亮影像圖框之紅外線子圖框
Finf_D‧‧‧暗影像圖框之紅外線子圖框
IP1~IP4、Iinf‧‧‧影像區域
Sc‧‧‧控制信號
第1圖為本發明說明一實施例之成像裝置之方塊示意圖。
第2A~2B圖為本發明說明某些實施例之成像裝置之影像感測器之剖視圖。
第3A~3D圖為本發明說明某些實施例之遮光層之配置之示意圖。
第4圖為本發明說明一實施例之成像裝置之運作方法之示意圖。
第5圖為本發明說明一實施例之成像裝置之第一模式之運作方法之示意圖。
第6圖為本發明說明一實施例之成像裝置之運作方法之流程圖。
請參照第1及2A~2B圖所示，第1圖為本發明說明一實施例之成像裝置之方塊示意圖，第2A~2B圖為本發明說明某些實施例之成像裝置之影像感測器之剖視圖。成像裝置1包含一聚光透鏡10、一影像感測器11、一處理器13以及一紅外光源15。某些實施例中，該處理器13例如可與該影像感測器11及該紅外光源15設置於同一晶片內。某些實施例中，該處理器13可為該影像感測器11外部之一處理單元，用以接收並處理該影像感測器11所擷取之影像圖框F，以選擇利用一第一模式(例如普通模式) 或一第二模式(例如強光模式)從背景影像分離出至少一前景影像(foreground image)；例如，當該成像裝置1應用於手勢辨識時，該至少一前景影像可為使用者的手或使用者握持的物件。該處理器13例如可為一微控制器(MCU)、一中央處理器(CPU)、一數位信號處理器(DSP)等用以處理該影像感測器11所輸出之影像圖框F者。
該紅外光源15例如可為一發光二極體或一雷射二極體，用以發出紅外光Ls照明該成像裝置1之一可操作範圍；其中，該可操作範圍例如由元件參數所決定。當一物件9進入該可操作範圍內時，則朝向該影像感測器11反射該紅外光Ls以形成反射光線Lrs。某些實施例中，該成像裝置1可包含至少一光學元件(未繪示)以均勻化該紅外光源15所發出的光。
該聚光透鏡10例如可位於一取像裝置(例如照相機)的鏡頭內，其可為單一透鏡或沿一光軸(optical axis)排列的透鏡組，並無特定限制，而為了簡化圖式此處僅顯示單一透鏡。該聚光透鏡10用作為一鏡頭窗(lens window)，用以擷取來自該物件9的反射光線Lrs或環境光La，並引導該反射光線Lrs及環境光La至該影像感測器11。該聚光透鏡10與該影像感測器11之一距離較佳等於該聚光透鏡10之一第一焦距(例如靠近該影像感測器11側之焦距)。可以了解的是，當存在環境光La時，該反射光線Lrs也會包含部分環境光的反射光。
該影像感測器11(此處例如以一像素陣列表示)基於一預設焦距感測穿透該聚光透鏡10之光線(例如反射光線Lrs及環境光La)並輸出一影像圖框F；例如，該影像感測器11於該紅外光源15點亮時輸出一亮影像圖框並於該紅外光源15熄滅時輸出一暗影像圖框。該影像感測器11包含一像素矩陣111(例如以9×9像素矩陣為例說明)、一遮光層113、複數微透鏡115以及一紅外光濾光層117(參照第2A及2B圖)；其中，該遮光層113係經圖案化後用以遮蔽該像素矩陣111所包含之複數像素的至少一部分，以使該等像素之未遮蔽區透過該等微透鏡115之不同部分接收不同相位的入射光。該預設焦距係指該聚光透鏡10與該等微透鏡115所共同形成位於該聚光透鏡10之入光側之一第二焦距，本發明說明中有時簡稱為該聚光透鏡10或該影像感測器11之預設焦距。
申請人發現，當一物件9位於該聚光透鏡10之該第二焦距 (例如遠離該影像感測器11側之焦距，即該預設焦距)處反射紅外光Ls或環境光La至該成像裝置1時，該影像感測器11所輸出之影像圖框F中的物件影像在相對不同遮蔽型態之像素的子圖框中的位置不會產生偏移，而當該物件9不位於該聚光透鏡10之該第二焦距時，該影像感測器11所輸出之影像圖框F中的物件影像在相對不同遮蔽型態之像素的子圖框中的位置會朝向不同方向偏移(shift)，舉例詳述於後。因此，該成像裝置1可判斷該位置偏移量是否位於一預設範圍內，以判斷該物件9是否為位於可操作範圍內的前景影像。換句話說，本發明說明之成像裝置1具有一可操作範圍，位於該可操作範圍內的物件於該影像圖框F上之成像則定義為前景影像。
一實施例中，該像素矩陣111包含複數紅外線像素Pinf、複數第一像素P1及複數第二像素P2沿一第一方向(例如X方向)及一第二方向(例如Y方向)排列。必須說明的是，本發明說明中，該等第一像素P1及該等第二像素P2係指被該遮光層113遮蔽的區域不同。例如，於一單色影像感測器中，該等第一像素P1及該等第二像素P2的像素本身相同，而於其上的遮光層113之遮蔽型態(cover pattern)不同(如第1圖所示)。例如，於一彩色影像感測器中，該等第一像素P1及該等第二像素P2均可分別包含紅色像素(例如像素上形成紅色濾光層)、綠色像素(例如像素上形成綠色濾光層)、藍色像素(例如像素上形成藍色濾光層)或其他顏色像素，而該等第一像素P1及該等第二像素P2上的遮光層113之遮蔽型態不同。該等紅外線像素Pinf上方覆蓋有紅外光濾光層117但不被該遮光層113遮蔽。
該遮光層113例如可利用作為電性通路的金屬層所形成(例如CMOS製程中的M1~M10其中至少一層)，亦可為金屬層以外另外形成的黑色阻光層，或者為兩者的組合，並無特定限制，只要能夠阻擋入射光即可。本實施例中，該遮光層113遮蔽於該等第一像素P1之一第一區域(斜線區域)上方及該等第二像素P2之一第二區域(斜線區域)上方。第1圖中，該第一區域位於沿著該第一方向(例如X方向)之一側，而該第二區域位於沿著該第一方向之一反方向側，且該等第一像素P1之該第一區域與該等第二像素P2之該第二區域沿該第一方向形成鏡像對稱。此外，該等第一像素P1具有該第一區域以外的未遮蔽區(空白區域)而該等第二像素P2具有該第二區域以外的未遮蔽區(空白區域)；其中，該等第一像素P1之未遮蔽區及該 等第二像素P2之未遮蔽區分別透過該等微透鏡115之不同部分接收不同相位的入射光(如第2A圖所示)。
例如第1圖中，該等第一像素P1之第一區域為該等第一像素P1之上側而該等第二像素P2之第二區域為該等第二像素P2的下側。必須說明的是，雖然第1圖顯示該第一區域及該第二區域均大致為單一像素面積之50%，然其僅用以說明而並非用以限定本發明說明。其他實施例中，該第一區域及該第二區域可為單一像素面積之5%~95%，並無特定限制。
該等微透鏡115設置於該像素矩陣111上方，並分別對位於一個像素。該遮光層113及該紅外光濾光層117則介於該像素矩陣111與該等微透鏡115間；其中，該遮光層113及該紅外光濾光層117與該像素矩陣111之垂直距離可相等或不等，並無特定限制。藉此，該等第一像素P1及該等第二像素P2分別透過該等微透鏡115之一第一部分(相對第1圖例如為微透鏡115的下半部分，相對第2A圖例如為微透鏡115的右半部分)及一第二部分(相對第1圖例如為微透鏡115的上半部分，相對第2A圖例如為微透鏡115的左半部分)接收不同相位的入射光。必須說明的是，雖然第2A圖顯示該等第一像素P1及該等第二像素P2之未遮蔽區大致相對於該等微透鏡115之一半，然其僅用以說明而並非用以限定本發明說明。可以瞭解的是，光線穿透該等微透鏡115而能夠到達未遮蔽區的部分係根據該遮光層113之遮蔽部分而決定。本發明說明中，該等微透鏡115之第一部分及第二部分可配置為該等微透鏡115之5%~95%，並無特定限制。
第1圖中，該像素矩陣111另包含複數第三像素P3及複數第四像素P4沿該第二方向(例如Y方向)排列。該遮光層113另遮蔽於該等第三像素P3之一第三區域(斜線區域)上方及該等第四像素P4之一第四區域(斜線區域)上方；其中，該第三區域位於沿著該第二方向(例如Y方向)之一側，而該第四區域位於沿著該第二方向之一反方向側。例如第1圖中，該第三區域位於該等第三像素P3之左側，而該第四區域位於該等第四像素P4的右側，且該第三區域與該第四區域沿該第二方向形成鏡像對稱。
更詳言之，該遮光層113遮蔽於該像素矩陣111之上方，並包含一第一遮蔽型態遮蔽於該等第一像素P1之一第一區域上方；一第二遮蔽型態遮蔽於該等第二像素P2之一第二區域上方；一第三遮蔽型態遮蔽 於該等第三像素P3之一第三區域上方；一第四遮蔽型態遮蔽於該等第四像素P4之一第四區域上方；其中，該第一區域與該第二區域沿一第一方向形成鏡像對稱；該第三區域與該第四區域沿一第二方向形成鏡像對稱。一實施例中，該第一方向垂直於該第二方向。必須說明的是，該等第一像素P1至該等第四像素P4之配置並不限於第1圖所示，較佳能夠均勻分布於該像素陣列111的各處。此外，某些實施例中，該像素矩陣111僅包含該等第一像素P1及該等第二像素P2或僅包含該等第三像素P3及該等第四像素P4，端視不同應用而定。
一實施例中，該像素矩陣111的所有該第一區域、該第二區域、該第三區域及該第四區域均具有相同面積(如第1圖所示)，例如為單一像素面積之5%~95%。
必須說明的是，雖然第1圖中顯示該第一區域與該第二區域沿一第一方向形成鏡像對稱的矩形，且該第三區域與該第四區域沿一第二方向形成鏡像對稱的矩形，然其僅用以說明而並非用以限定本發明說明。其他實施例中，該第一區域至該第四區域可並非為矩形。例如參照第3A~3D圖所示，該第一區域至該第四區域之未遮蔽區(空白區域)例如配置為沿一預設方向(圖中顯示為兩像素相鄰接的方向)增加或單調增加，且其形狀於該預設方向成鏡像對稱。由於在該等第一像素P1(或該等第三像素P3)及該等第二像素P2(或該等第四像素P4)接收入射光束時，靠近該等第一像素P1(或該等第三像素P3)及該等第二像素P2(或該等第四像素P4)之中心所分別接收的入射光之間的相位差並不明顯，而靠近該等第一像素P1(或該等第三像素P3)及該等第二像素P2(或該等第四像素P4)之邊緣所分別接收的入射光之間的相位差則較大，因此，將相對像素邊緣之未遮蔽區配置為大於相對像素中心之未遮蔽區，可提昇相位偵測的精確度。必須說明的是，第3A~3D圖僅用以說明，並非用以限定本發明說明。
該處理器13用以將亮影像圖框及暗影像圖框中，對應該等紅外線像素Pinf之紅外線影像區域Iinf形成一紅外線子圖框Finf，對應該等第一像素P1之第一影像區域IP1形成一第一子圖框FP1，對應該等第二像素P2之第二影像區域IP2形成一第二子圖框FP2，如第4圖所示。該處理器13並於一第一模式計算亮影像圖框之紅外線子圖框Finf_B與暗影像圖框之紅外線 子圖框Finf_D之一差分影像以分離出至少一前景影像，或於一第二模式根據該第一子圖框FP1及該第二子圖框FP2分離出至少一前景影像；其中，該第一模式例如為一普通模式，該第二模式例如為一強光模式。詳而言之，該第一子圖框FP1係由該等第一像素P1輸出之灰階資料而形成，該第二子圖框FP2係由該等第二像素P2輸出之灰階資料而形成，該紅外線子圖框Finf係由該等紅外線像素Pinf輸出之灰階資料而形成。
當該像素矩陣111包含四種像素配置時，該處理器13另用以將亮影像圖框及暗影像圖框中，對應該等第三像素P3之第三影像區域IP3形成一第三子圖框FP3，對應該等第四像素P3之第四影像區域IP4形成一第四子圖框IP4，如第4圖所示。詳而言之，該第三子圖框FP3係由該等第三像素P3輸出之灰階資料而形成，該第四子圖框FP4係由該等第四像素P4輸出之灰階資料而形成。
請再參照第1圖，該處理器13包含一光源控制模組131、一選擇模組133、一差分模組135、一偏移計算模組137及一應用模組139；其中，該光源控制模組131、選擇模組133、差分模組135、偏移計算模組137及應用模組139例如可以軟體及/或硬體的方式實現，並無特定限制。為方便說明，該光源控制模組131、選擇模組133、差分模組135、偏移計算模組137及應用模組139係顯示為彼此分離，而實際上其運作均由該處理器13所完成。該處理器13較佳另包含一儲存單元130用以事先儲存運作時所需的參數，例如相對可操作範圍之一預設偏移量範圍。
該光源控制模組131用以控制該紅外光源15相對該影像感測器11之影像擷取點亮及熄滅，以使得該影像感測器11相對該紅外光源15點亮時擷取並輸出一亮影像圖框並相對該紅外光源15熄滅時擷取並輸出一暗影像圖框。
該處理器13之選擇模組133用以根據該影像感測器11所輸出之影像圖框F選擇一操作模式。一實施例中，該處理器13之選擇模組133用以根據暗影像圖框之一平均亮度選擇該第一模式或該第二模式。例如，該處理器13之選擇模組133僅計算該暗影像圖框之紅外光影像區域Iinf之平均亮度或計算該暗影像圖框之整體平均亮度，並比較該平均亮度與一亮度門檻值(其例如儲存於該儲存單元130中)。當該平均亮度小於該亮度門 檻值，表示環境光La不是很強，則進入該第一模式，因此該第一模式可稱為一普通模式或一弱光模式；當該平均亮度大於該亮度門檻值，表示環境光La很強，則進入該第二模式，因此該第二模式可稱為一強光模式。
如前所述，當環境光La太強時，亮影像圖框與暗影像圖框之亮度差並不明顯。因此，另一實施例中，該處理器13之選擇模組133用以根據亮影像圖框與暗影像圖框之一平均亮度差選擇該第一模式或該第二模式。當該平均亮度差大於一亮度差門檻值(其例如儲存於該儲存單元130中)，表示環境光La不是很強，因此進入該第一模式；當該平均亮度差小於該亮度差門檻值，表示環境光La很強，因此進入該第二模式。
請參照第5圖，其為本發明說明之第一模式之運作方法。第一模式中，該處理器13之差分模組135將該影像感測器11輸出之亮影像圖框之紅外線子圖框Finf_B及暗影像圖框之紅外線子圖框Finf_D進行差分運算。例如，假設該紅外線子圖框Finf_B包含一物件影像I9及一背景影像Ia，而該紅外線子圖框Finf_D僅包含一背景影像Ia。當該紅外線子圖框Finf_B減去該紅外線子圖框Finf_D後，一差分影像(Finf_B-Finf_D)僅剩下該物件影像I9，藉以消除背景影像的干擾。
請參照第1及4圖，接著說明第二模式的運作方式。本實施例中，例如以一點物件9位於該聚光透鏡10之入光側為例進行說明。該影像感測器11基於一預設焦距擷取並輸出一影像圖框F(其可為亮影像圖框或暗影像圖框)至該處理器13。假設該選擇模組133選擇進入該第二模式，該處理器13之偏移計算模組137將該影像圖框F分割為一第一子圖框FP1及一第二子圖框FP2；其中，該第一子圖框FP1相關於該等第一像素P1而該第二子圖框FP2相關於該等第二像素P2。如前所述，當該物件9位於該聚光透鏡10之第二焦距(即該預焦距)時，相關該物件9之影像區域於該第一子圖框FP1及該第二子圖框FP2中大致位於相對應位置而不會發生偏移。當該物件9不位於該聚光透鏡10之第二焦距時，相關該物件9之影像區域於該第一子圖框FP1及該第二子圖框FP2中會發生偏移而不位於相對應位置。該處理器13之偏移計算模組137則用以根據亮影像圖框或暗影像圖框之該第一子圖框FP1及該第二子圖框FP2分離出至少一前景影像。如前所述，當環境光La夠強時，亮影像圖框或暗影像圖框之亮度差異不明顯，因此俊 可用以分離前景影像。
例如，第4圖顯示該第一子圖框FP1中一第一影像區域I91從中線(例如虛線)之向上偏移量為S1，而該第二子圖框FP2中一第二影像區域I92從中線(例如虛線)之向下偏移量為S2。該處理器13之偏移計算模組137則用以計算S1及S2兩者間之一第一偏移量，例如(S1-S2)。必須說明的是，偏移量的計算並不限定為以中線為基準線，此處僅為了方便說明而以中線為例，偏移量的計算還可根據例如區塊比對(block matching)或動作偵測(motion detection)來實現，並無特定限制，只要能夠計算出該第一子圖框FP1與該第二子圖框FP2中相對應影像區域(例如I91、I92)間之該第一偏移量即可；其中，兩影像區域是否相對應例如可以該兩影像區域之亮度或形狀來判定。該處理器13之偏移計算模組137將介於一預設範圍內之該第一偏移量對應之至少一影像區域辨識為至少一前景影像，而將該預設範圍外的影像區域辨識為背景影像。
當該像素矩陣111包含四種像素配置時，該處理器13之偏移計算模組137另將該影像圖框F分割為一第三子圖框FP3及一第四子圖框FP4；其中，該第三子圖框FP3相關於該等第三像素P3，而該第四子圖框FP4相關於該等第四像素P4。該第二模式下，該處理器13之偏移計算模組137則用以根據亮影像圖框或暗影像圖框之該第三子圖框FP3及該第四子圖框FP4分離出至少一前景影像。
例如，第4圖顯示該第三子圖框FP3中一第三影像區域I93從中線(例如虛線)之向右偏移量為S3，而該第四子圖框FP4中一第四影像區域I94從中線(例如虛線)之向左偏移量為S4。該處理器13之偏移計算模組137則用以計算S3及S4兩者間之一第二偏移量，例如(S3-S4)，如前所述，偏移量的計算方式並不限於減法運算。該處理器13之偏移計算模組137將介於一預設範圍內之該第二偏移量對應之至少一影像區域辨識為至少一前景影像，而將該預設範圍外的影像區域辨識為背景影像。
如前所述，該預設範圍係預存於該儲存單元130，其為相對於一可操作範圍的偏移量。換句話說，當該第一偏移量及/或該第二偏移量超出該預設範圍，則表示該影像區域屬於背景影像。
必須說明的是，雖然第4圖顯示該第一影像區域I91向上偏 移S1，該二影像區域I92向下偏移S2，該第三影像區域I93向右偏移S3，該四影像區域I94向左偏移S4，其僅用以說明而非用以限定本發明。相對該物件9之影像區域的偏移方向係根據該物件9從該第二焦距遠離或靠近該聚光透鏡10以及該等第一像素P1至該等第四像素P4之遮光層113之遮蔽區域而定，並不限定於第4圖所顯示者。
該應用模組139則根據被辨識出的至少一前景物件輸出一控制信號Sc，例如根據該至少一前景物件的位移方向、速度及數量的變化輸出該控制信號Sc以控制一應用程式的運作。
必須說明的是，本實施例中影像區域係以圓形(相對點物件9)為例進行說明，但本發明說明並不以此為限，影像區域例如可為該影像圖框F中的邊緣(edge)等能夠清楚表現出偏移量者即可，並無特定限制。
此外，為增加判斷精確度，該處理器13另利用陰影法(shading)校正該第一子圖框FP1及該第二子圖框FP2之亮度為一致，如此，能夠正確判斷該第一子圖框FP1及該第二子圖框FP2中相對應的影像區域(例如亮度相同的影像區域)，例如I91、I92。當該像素矩陣111包含四種像素配置時，該處理器13另利用陰影法校正該第三子圖框FP3及該第四子圖框FP4之亮度為一致，如此，能夠正確判斷該第三子圖框FP3及該第四子圖框FP4中相對應的影像區域(例如亮度相同的影像區域)，例如I93、I94。
請同時參照第1、2A~2B及4~6圖所示，第6圖為本發明說明實施例之成像裝置之運作方法，其例如適用於第1圖之成像裝置1。如前所述，成像裝置1包含一紅外光源15、複數紅外線像素Pinf、複數第一像素P1、複數第二像素P2及複數微透鏡115。該等第一像素P1及該等第二像素P2分別透過該等微透鏡115之一第一部分及一第二部分接收不同相位的入射光，例如第1圖顯示該第一部分位於像素的下側而該第二部分位於像素的上側，但其位置及與像素的比例並不限於第1圖所示。
本實施例之運作方法包含下列步驟：以一成像裝置於一紅外光源點亮時輸出一亮影像圖框並於該紅外光源熄滅時輸出一暗影像圖框(步驟S61)；將對應該等紅外線像素之紅外線影像區域、對應該等第一像素之第一影像區域及對應該等第二像素之第二影像區域分別形成一紅外線子圖框、一第一子圖框及一第二子圖框(步驟S62)；選擇一第一模式或一第二 模式(步驟S63)；於該第一模式中，計算該亮影像圖框之該紅外線子圖框與該暗影像圖框之該紅外線子圖框之一差分影像以分離出至少一前景影像(步驟S64)；以及於該第二模式中，根據該第一子圖框及該第二分離出至少一前景影像(步驟S65)。
步驟S61：該處理器13之光源控制模組131控制該紅外光源15相對該影像感測器11之影像擷取而點亮及熄滅，以於該紅外光源15點亮時輸出一亮影像圖框並於該紅外光源15熄滅時輸出一暗影像圖框。更詳言之，該影像感測器11之一圖框率(frame rate)至少為該紅外光源15之點亮頻率之兩倍，例如兩倍、四倍…。
步驟S62：該影像感測器11將所擷取的每張影像圖框F(例如亮影像圖框及暗影像圖框)輸出至該處理器11進行後處理。例如，該處理器11將每張影像圖框F中，對應該等紅外線像素Pinf之紅外線影像區域Iinf形成一紅外線子圖框Finf，將對應該等第一像素P1之第一影像區域IP1形成一第一子圖框FP1並將對應該等第二像素P2之第二影像區域IP2形成一第二子圖框FP2，如第4圖所示。形成子圖框的方式例如按照原本位於該影像圖框F的位置關係重新組成該紅外線子圖框Finf、該第一子圖框FP1及該第二子圖框FP2。
某些實施例中，該成像裝置1另包含複數第三像素P3及複數第四像素P4，該等第三像素P3及該等第四像素P4分別透過該等微透鏡115之一第三部分及一第四部分接收不同相位的入射光，例如第1圖顯示該第三部分位於像素的右側而該第四部分位於像素的左側，但其位置及與像素的比例並不限於第1圖所示。第1圖所示的實施例中，該第一部分及該第二部分為該等微透鏡115沿一第一軸向(例如X軸)之兩相對側而該第三部分及該第四部分為該等微透鏡115沿一第二軸向(例如Y軸)之兩相對側。
當該像素矩陣111包含四種像素配置時，步驟S62中，該處理器11將每張影像圖框F中，對應該等第三像素P3之第三影像區域IP3形成一第三子圖框FP3，將對應該等第四像素P4之第四影像區域IP4形成一第四子圖框FP4。某些實施例中，第一模式時，該處理器13差分模組135僅產生紅外線子圖框Finf而不產生第一子圖框FP1至第四子圖框FP4；第二模式時，該處理器13偏移計算模組137僅產生第一子圖框FP1至第二子圖框 FP4而不產生紅外線子圖框Finf。
步驟S63：該處理器13之選擇模組133根據該影像圖框F之平均亮度判斷環境光是否太強。一實施例中，該處理器13之選擇模組133根據暗影像圖框之一平均亮度選擇一第一模式或一第二模式。另一實施例中，該處理器13之選擇模組133根據亮影像圖框與暗影像圖框之一平均亮度差選擇一第一模式或一第二模式。本發明說明中，該第一模式例如為普通模式或弱光模式，該第二模式例如為強光模式。藉此，該處理器13可根據環境光之強弱選擇適合的演算法來分離出至少一前景影像。
步驟S64：當環境光不是很強時，則進入第一模式。此時，該處理器13之差分模組135可直接計算亮影像圖框之紅外線子圖框Finf_B與暗影像圖框之紅外線子圖框Finf_D之一差分影像以分離出至少一前景物件影像I9，如第5圖所示。更詳言之，紅外線像素Pinf輸出之灰階值係於普通模式中被用來計算而不於強光模式中被計算。
步驟S65：當環境光很強時，則進入第二模式。此時，該處理器13之偏移量計算模組137根據該第一子圖框FP1及該第二子圖框FP2計算至少一第一偏移量(例如第4圖所示S1與S2偏移量)，並將介於一預設範圍內之該第一偏移量所對應之至少一影像區域辨識為至少一前景影像。如前所述，該預設範圍係為對應一可操作範圍之預設偏移量範圍。
當該像素矩陣111包含四種像素配置時，步驟S65中，該處理器13之偏移量計算模組137另根據該第三子圖框FP3及該第四子圖框FP4計算至少一第二偏移量(例如第4圖所示S3與S4偏移量)，並將介於一預設範圍內之該第二偏移量所對應之至少一影像區域辨識為至少一前景影像。必須說明的是，根據該第一偏移量與該第二偏移量所辨識出之前景影像並不一定完全相同，可能僅部分相同或完全不同，端視該影像圖框F中的影像特徵而定。
最後，該處理器13之應用模組139可根據所辨識出的前景影像輸出一控制信號Sc以進行不同應用，例如進行手勢辨識等。
此外，為了增加辨識精確度，該處理器13可利用陰影法校正該第一子圖框FP1及該第二子圖框FP2之亮度為一致並校正該第三子圖框FP3及該第四子圖框FP4之亮度為一致，以於計算偏移量時，於該第一子圖 框FP1與該第二子圖框FP2中較容易找到相對應的影像區域，並該於第三子圖框FP3與該第四子圖框FP4中較容易找到相對應的影像區域。
綜上所述，習知手勢辨識系統於環境光較強時，會出現無法正確運作的情形。因此，本發明說明提出一種成像裝置(第1圖)及其運作方法(第6圖)，其利用不同環境光強度下使用不同演算法來分離出前景影像，以克服習知手勢辨識系統的問題。
雖然本發明已以前述實例揭示，然其並非用以限定本發明，任何本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與修改。因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
1‧‧‧成像裝置
10‧‧‧聚光透鏡
11‧‧‧影像感測器
13‧‧‧處理器
130‧‧‧儲存單元
131‧‧‧光源控制模組
133‧‧‧選擇模組
135‧‧‧差分模組
137‧‧‧偏移計算模組
139‧‧‧應用模組
15‧‧‧紅外光源
9‧‧‧物件
P1~P4、Pinf‧‧‧像素
F‧‧‧影像圖框
Ls‧‧‧紅外光
Lrs‧‧‧反射光線
La‧‧‧環境光

Claims (21)

  1. 一種成像裝置，包含：一聚光透鏡；一影像感測器，用以感測穿透該聚光透鏡之光線，該影像感測器包含：一像素矩陣，包含複數紅外線像素、複數第一像素及複數第二像素沿一第一方向及一第二方向排列；一遮光層，遮蔽於該等第一像素之一第一區域上方及該等第二像素之一第二區域上方，其中，該第一區域與該第二區域沿該第一方向形成鏡像對稱；複數微透鏡，設置於該像素矩陣上方；及一紅外光濾光層，覆蓋於該等紅外線像素上方。
  2. 如申請專利範圍第1項所述成像裝置，其中該像素矩陣另包含複數第三像素及複數第四像素，該遮光層另遮蔽於該等第三像素之一第三區域上方及該等第四像素之一第四區域上方，其中，該第三區域與該第四區域沿該第二方向形成鏡像對稱。
  3. 如申請專利範圍第2項所述之成像裝置，其中該第一區域、該第二區域、該第三區域及該第四區域為單一像素面積之5%~95%。
  4. 一種成像裝置，包含：一紅外光源；一聚光透鏡； 一影像感測器，用以感測穿透該聚光透鏡之光線，於該紅外光源點亮時輸出一亮影像圖框並於該紅外光源熄滅時輸出一暗影像圖框，該影像感測器包含：一像素矩陣，包含複數紅外線像素、複數第一像素及複數第二像素沿一第一方向及一第二方向排列；一遮光層，遮蔽於該等第一像素之一第一區域上方及該等第二像素之一第二區域上方，其中，該第一區域與該第二區域沿該第一方向形成鏡像對稱；複數微透鏡，設置於該像素矩陣上方；及一紅外光濾光層，覆蓋於該等紅外線像素上方；以及一處理器，用以將該亮影像圖框及該暗影像圖框中，對應該等紅外線像素之紅外線影像區域形成一紅外線子圖框，對應該等第一像素之第一影像區域形成一第一子圖框，對應該等第二像素之第二影像區域形成一第二子圖框，並於一第一模式計算該亮影像圖框之該紅外線子圖框與該暗影像圖框之該紅外線子圖框之一差分影像以分離出至少一前景影像，或於一第二模式根據該第一子圖框及該第二子圖框分離出至少一前景影像。
  5. 如申請專利範圍第4項所述之成像裝置，其中該處理器用以根據該暗影像圖框之一平均亮度選擇該第一模式或該第二模式。
  6. 如申請專利範圍第4項所述之成像裝置，其中該處理器用以根據該亮影像圖框與該暗影像圖框之一平均亮度差選擇該第一模式或該第二模式。
  7. 如申請專利範圍第4項所述之成像裝置，其中該處理器用以根據該亮影像圖框或該暗影像圖框之該第一子圖框及該第二子圖框分離出該至少一前景影像。
  8. 如申請專利範圍第7項所述之成像裝置，其中該處理器根據該第一子圖框及該第二子圖框計算至少一第一偏移量，並將介於一預設範圍內之該第一偏移量所對應之影像區域辨識為該至少一前景影像。
  9. 如申請專利範圍第4項所述之成像裝置，其中該像素矩陣另包含複數第三像素及複數第四像素，該遮光層另遮蔽於該等第三像素之一第三區域上方及該等第四像素之一第四區域上方，其中，該第三區域與該第四區域沿該第二方向形成鏡像對稱。
  10. 如申請專利範圍第9項所述之成像裝置，其中該第一區域、該第二區域、該第三區域及該第四區域為單一像素面積之5%~95%。
  11. 如申請專利範圍第9項所述之成像裝置，其中該處理器另用以將該亮影像圖框及該暗影像圖框中，對應該等第三像素之第三影像區域形成一第三子圖框，對應該等第四像素之第四影像區域形成一第四子圖框，並於該第二模式根據該亮影像圖框或該暗影像圖框之該第三子圖框及該第四子圖框分離出該至少一前景影像。
  12. 如申請專利範圍第11項所述之成像裝置，其中該處理器根據該第三子圖框及該第四子圖框計算至少一第二偏移 量，並將介於一預設範圍內之該第二偏移量所對應之影像區域辨識為該至少一前景影像。
  13. 如申請專利範圍第11項所述之成像裝置，其中該處理器另利用陰影法校正該第一子圖框及該第二子圖框之亮度為一致，校正該第三子圖框及該第四子圖框之亮度為一致。
  14. 一種成像裝置之運作方法，該成像裝置包含一紅外光源、複數紅外線像素、複數第一像素、複數第二像素及複數微透鏡，該等第一像素及該等第二像素分別透過該等微透鏡之一第一部分及一第二部分接收不同相位的入射光，該運作方法包含：以該成像裝置於該紅外光源點亮時輸出一亮影像圖框並於該紅外光源熄滅時輸出一暗影像圖框；將對應該等紅外線像素之紅外線影像區域形成一紅外線子圖框，將對應該等第一像素之第一影像區域形成一第一子圖框，將對應該等第二像素之第二影像區域形成一第二子圖框；於一第一模式中，計算該亮影像圖框之該紅外線子圖框與該暗影像圖框之該紅外線子圖框之一差分影像以分離出至少一前景影像；以及於一第二模式中，根據該第一子圖框及該第二子圖框分離出至少一前景影像。
  15. 如申請專利範圍第14項所述之運作方法，另包含：根據該暗影像圖框之一平均亮度選擇該第一模式或該第二模式。
  16. 如申請專利範圍第14項所述之運作方法，另包含：根據該亮影像圖框與該暗影像圖框之一平均亮度差選擇該第一模式或該第二模式。
  17. 如申請專利範圍第14項所述之運作方法，另包含：根據該第一子圖框及該第二子圖框計算至少一第一偏移量，並將介於一預設範圍內之該第一偏移量所對應之影像區域辨識為該至少一前景影像。
  18. 如申請專利範圍第14項所述之運作方法，其中該成像裝置另包含複數第三像素及複數第四像素，該等第三像素及該等第四像素分別透過該等微透鏡之一第三部分及一第四部分接收不同相位的入射光，該第一部分及該第二部分為該等微透鏡沿一第一軸向之兩相對側而該第三部分及該第四部分為該等微透鏡沿一第二軸向之兩相對側。
  19. 如申請專利範圍第18項所述之運作方法，另包含：將對應該等第三像素之第三影像區域形成一第三子圖框；將對應該等第四像素之第四影像區域形成一第四子圖框；及根據該第三子圖框及該第四子圖框計算至少一第二偏移量，並將介於一預設範圍內之該第二偏移量所對應之影像區域辨識為該至少一前景影像。
  20. 如申請專利範圍第19項所述之運作方法，另包含： 利用陰影法校正該第一子圖框及該第二子圖框之亮度為一致，校正該第三子圖框及該第四子圖框之亮度為一致。
  21. 一種影像感測器，包含：一像素矩陣，包含複數紅外線像素、複數第一像素及複數第二像素沿一第一方向及一第二方向排列；一遮光層，遮蔽於該等第一像素之一第一區域上方及該等第二像素之一第二區域上方，其中，該第一區域與該第二區域沿該第一方向形成鏡像對稱；複數微透鏡，設置於該像素矩陣上方；及一紅外光濾光層，覆蓋於該等紅外線像素上方。
TW104129150A 2015-09-02 2015-09-02 分辨前景的成像裝置及其運作方法、以及影像感測器 TWI565323B (zh)

Priority Applications (8)

Application Number Priority Date Filing Date Title
TW104129150A TWI565323B (zh) 2015-09-02 2015-09-02 分辨前景的成像裝置及其運作方法、以及影像感測器
US15/189,189 US10097773B2 (en) 2015-09-02 2016-06-22 Imaging device for distinguishing foreground and operating method thereof
US16/101,942 US10341584B2 (en) 2015-09-02 2018-08-13 Imaging device for distinguishing foreground and sensor chip thereof
US16/412,723 US10616506B2 (en) 2015-09-02 2019-05-15 Imaging device for distinguishing foreground
US16/801,359 US10979656B2 (en) 2015-09-02 2020-02-26 Imaging device for distinguishing foreground
US17/197,355 US11418729B2 (en) 2015-09-02 2021-03-10 Image sensor having symmetrical opaque layer
US17/860,352 US11917322B2 (en) 2015-09-02 2022-07-08 Optical module having symmetrical opaque layer
US18/401,745 US20240236261A9 (en) 2015-09-02 2024-01-02 Optical sensor having opaque layer

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW104129150A TWI565323B (zh) 2015-09-02 2015-09-02 分辨前景的成像裝置及其運作方法、以及影像感測器

Publications (2)

Publication Number Publication Date
TWI565323B TWI565323B (zh) 2017-01-01
TW201711449A true TW201711449A (zh) 2017-03-16

Family

ID=58104467

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104129150A TWI565323B (zh) 2015-09-02 2015-09-02 分辨前景的成像裝置及其運作方法、以及影像感測器

Country Status (2)

Country Link
US (7) US10097773B2 (zh)
TW (1) TWI565323B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI638334B (zh) * 2017-11-15 2018-10-11 瑞昱半導體股份有限公司 前景影像提取的影像處理方法與電子裝置
US10755418B2 (en) 2018-05-18 2020-08-25 Realtek Semiconductor Corp. Background blurred method and electronic device based on foreground image

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10437157B2 (en) 2014-12-09 2019-10-08 Asml Netherlands B.V. Method and apparatus for image analysis
WO2016091536A1 (en) * 2014-12-09 2016-06-16 Asml Netherlands B.V. Method and apparatus for image analysis
US10148864B2 (en) 2015-07-02 2018-12-04 Pixart Imaging Inc. Imaging device having phase detection pixels and regular pixels, and operating method thereof
US9978154B2 (en) * 2015-07-02 2018-05-22 Pixart Imaging Inc. Distance measurement device base on phase difference and distance measurement method thereof
TWI565323B (zh) * 2015-09-02 2017-01-01 原相科技股份有限公司 分辨前景的成像裝置及其運作方法、以及影像感測器
US11987723B2 (en) * 2018-03-14 2024-05-21 Shin-Etsu Chemical Co., Ltd. Fluorinated coating agent composition, surface treatment agent, and article
KR102478607B1 (ko) 2018-03-27 2022-12-16 삼성전자주식회사 전자 장치 및 그 동작방법
CN109742109B (zh) * 2019-01-04 2021-01-26 京东方科技集团股份有限公司 显示装置及其制作方法以及利用其进行信息采集的方法
US11157086B2 (en) * 2020-01-28 2021-10-26 Pison Technology, Inc. Determining a geographical location based on human gestures
US11199908B2 (en) * 2020-01-28 2021-12-14 Pison Technology, Inc. Wrist-worn device-based inputs for an operating system
US11622087B2 (en) * 2021-02-04 2023-04-04 Omnivision Technologies, Inc. Image sensor with in-pixel background subtraction and motion detection

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6057586A (en) * 1997-09-26 2000-05-02 Intel Corporation Method and apparatus for employing a light shield to modulate pixel color responsivity
US6977684B1 (en) * 1998-04-30 2005-12-20 Canon Kabushiki Kaisha Arrangement of circuits in pixels, each circuit shared by a plurality of pixels, in image sensing apparatus
US7667174B2 (en) * 2004-10-15 2010-02-23 Konica Minolta Holdings, Inc. Solid state imaging device in which each photoelectric transducer of plural unit pixels being located axisymmetrically with a symmetrical axis of a centerline passing through an approximate center of the device
JP5219865B2 (ja) * 2008-02-13 2013-06-26 キヤノン株式会社 撮像装置及び焦点制御方法
KR101442313B1 (ko) * 2008-05-22 2014-09-19 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 카메라 센서 교정
US8773352B1 (en) * 2008-07-16 2014-07-08 Bby Solutions, Inc. Systems and methods for gesture recognition for input device applications
US20130314536A1 (en) * 2009-03-02 2013-11-28 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
CA2666470A1 (en) * 2009-05-21 2010-11-21 Pierre Benoit Boulanger Multi-spectral color and ir camera based on multi-filter array
KR101608903B1 (ko) * 2009-11-16 2016-04-20 삼성전자주식회사 적외선 이미지 센서
JP5585208B2 (ja) * 2010-05-20 2014-09-10 ソニー株式会社 固体撮像装置及び電子機器
JP2012003080A (ja) 2010-06-17 2012-01-05 Olympus Corp 撮像装置
US8408821B2 (en) 2010-10-12 2013-04-02 Omnivision Technologies, Inc. Visible and infrared dual mode imaging system
FR2969385A1 (fr) * 2010-12-21 2012-06-22 St Microelectronics Crolles 2 Capteur d'images a taux d'intermodulation réduit
US8742309B2 (en) * 2011-01-28 2014-06-03 Aptina Imaging Corporation Imagers with depth sensing capabilities
JP5469258B2 (ja) * 2011-02-09 2014-04-16 富士フイルム株式会社 撮像装置および撮像方法
JP5825817B2 (ja) * 2011-04-01 2015-12-02 キヤノン株式会社 固体撮像素子及び撮像装置
FR2974669B1 (fr) * 2011-04-28 2013-06-07 Commissariat Energie Atomique Dispositif imageur destine a evaluer des distances d'elements dans une image
US8878969B2 (en) * 2011-07-27 2014-11-04 Aptina Imaging Corporation Imaging systems with color filter barriers
JP6027777B2 (ja) * 2012-04-06 2016-11-16 キヤノン株式会社 画素情報管理装置およびそれを用いた撮像装置
TWI595219B (zh) * 2012-05-08 2017-08-11 Sony Corp Infrared conversion element, imaging device and imaging method
JP5681329B2 (ja) * 2012-06-07 2015-03-04 富士フイルム株式会社 撮像装置及び画像表示方法
US9733717B2 (en) * 2012-07-12 2017-08-15 Dual Aperture International Co. Ltd. Gesture-based user interface
US10009552B2 (en) * 2012-09-20 2018-06-26 Semiconductor Components Industries, Llc Imaging systems with front side illuminated near infrared imaging pixels
US9224782B2 (en) * 2013-04-19 2015-12-29 Semiconductor Components Industries, Llc Imaging systems with reference pixels for image flare mitigation
JP2015026675A (ja) * 2013-07-25 2015-02-05 ソニー株式会社 固体撮像素子およびその製造方法、並びに電子機器
JP2015195235A (ja) * 2014-03-31 2015-11-05 ソニー株式会社 固体撮像素子、電子機器、および撮像方法
KR20150118635A (ko) * 2014-04-14 2015-10-23 에스케이하이닉스 주식회사 이미지센서 및 그의 제조 방법
US9445018B2 (en) * 2014-05-01 2016-09-13 Semiconductor Components Industries, Llc Imaging systems with phase detection pixels
KR20160028196A (ko) * 2014-09-03 2016-03-11 에스케이하이닉스 주식회사 위상차 검출 픽셀을 구비한 이미지 센서
US9455285B2 (en) * 2015-02-04 2016-09-27 Semiconductors Components Industries, Llc Image sensors with phase detection pixels
US9699394B2 (en) * 2015-03-09 2017-07-04 Microsoft Technology Licensing, Llc Filter arrangement for image sensor
US10462431B2 (en) * 2015-04-10 2019-10-29 Visera Technologies Company Limited Image sensors
TWI551846B (zh) * 2015-04-22 2016-10-01 原相科技股份有限公司 感測元件及光學測距系統
US9807294B2 (en) * 2015-08-05 2017-10-31 Omnivision Technologies, Inc. Image sensor with symmetric multi-pixel phase-difference detectors, and associated methods
TWI565323B (zh) * 2015-09-02 2017-01-01 原相科技股份有限公司 分辨前景的成像裝置及其運作方法、以及影像感測器

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI638334B (zh) * 2017-11-15 2018-10-11 瑞昱半導體股份有限公司 前景影像提取的影像處理方法與電子裝置
US10748019B2 (en) 2017-11-15 2020-08-18 Realtek Semiconductor Corp. Image processing method and electronic apparatus for foreground image extraction
US10755418B2 (en) 2018-05-18 2020-08-25 Realtek Semiconductor Corp. Background blurred method and electronic device based on foreground image
US10943354B2 (en) 2018-05-18 2021-03-09 Realtek Semiconductor Corp. Method and electronic apparatus for extracting foreground image

Also Published As

Publication number Publication date
US20210203863A1 (en) 2021-07-01
US20240137456A1 (en) 2024-04-25
US20220345644A1 (en) 2022-10-27
US11418729B2 (en) 2022-08-16
US20190007629A1 (en) 2019-01-03
TWI565323B (zh) 2017-01-01
US20240236261A9 (en) 2024-07-11
US10616506B2 (en) 2020-04-07
US11917322B2 (en) 2024-02-27
US10341584B2 (en) 2019-07-02
US20190281234A1 (en) 2019-09-12
US10097773B2 (en) 2018-10-09
US20200195861A1 (en) 2020-06-18
US10979656B2 (en) 2021-04-13
US20170064219A1 (en) 2017-03-02

Similar Documents

Publication Publication Date Title
TWI565323B (zh) 分辨前景的成像裝置及其運作方法、以及影像感測器
US11206346B2 (en) Imaging device and operating method thereof
KR101709817B1 (ko) 롤링 이미지 캡처 시스템에서의 주변 보정
US20140028861A1 (en) Object detection and tracking
US10893244B2 (en) Compensating for vignetting
JP6547073B2 (ja) 改善されたオートフォーカス性能を有する撮像装置
TWI801637B (zh) 用於相機之紅外光預閃光
TW202119809A (zh) 相位偵測自動對焦(pdaf)感測器
JP7386703B2 (ja) ビネッティングの補償
US9906705B2 (en) Image pickup apparatus
CN110598685B (zh) 分辨前景的成像装置
JP2019202580A (ja) 配光制御装置、投光システム及び配光制御方法
JP2018116139A (ja) 撮像装置、その制御方法、および制御プログラム
JP2015045771A (ja) デジタルカメラ