TW202211165A - 雙感測器攝像系統及其深度圖計算方法 - Google Patents

雙感測器攝像系統及其深度圖計算方法 Download PDF

Info

Publication number
TW202211165A
TW202211165A TW109146922A TW109146922A TW202211165A TW 202211165 A TW202211165 A TW 202211165A TW 109146922 A TW109146922 A TW 109146922A TW 109146922 A TW109146922 A TW 109146922A TW 202211165 A TW202211165 A TW 202211165A
Authority
TW
Taiwan
Prior art keywords
image
infrared
color
images
sensor
Prior art date
Application number
TW109146922A
Other languages
English (en)
Other versions
TWI767484B (zh
Inventor
彭詩淵
鄭書峻
黃旭鍊
李運錦
賴國銘
Original Assignee
聚晶半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聚晶半導體股份有限公司 filed Critical 聚晶半導體股份有限公司
Priority to US17/214,946 priority Critical patent/US11496660B2/en
Publication of TW202211165A publication Critical patent/TW202211165A/zh
Application granted granted Critical
Publication of TWI767484B publication Critical patent/TWI767484B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Cameras In General (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Traffic Control Systems (AREA)
  • Air Bags (AREA)
  • Burglar Alarm Systems (AREA)
  • Measurement Of Optical Distance (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

一種雙感測器攝像系統及其深度圖計算方法。雙感測器攝像系統包括至少一個色彩感測器、至少一個紅外線感測器、儲存裝置及處理器。處理器經配置以載入並執行儲存在儲存裝置中的電腦程式以：控制色彩感測器及紅外線感測器採用適用於攝像場景下的多個曝光條件分別擷取多張色彩影像及多張紅外線影像；從多張色彩影像及多張紅外線影像中適應性選擇出彼此可對比的色彩影像及紅外線影像的組合；以及使用所選擇的色彩影像及紅外線影像計算攝像場景的深度圖。

Description

雙感測器攝像系統及其深度圖計算方法
本發明是有關於一種攝像系統及方法，且特別是有關於一種雙感測器攝像系統及其深度圖計算方法。
相機的曝光條件（包括光圈、快門、感光度）會影響所拍攝影像的品質，因此許多相機在拍攝影像的過程中會自動調整曝光條件，以獲得清晰且明亮的影像。然而，在低光源或是背光等高反差的場景中，相機調整曝光條件的結果可能會產生雜訊過高或是部分區域過曝的結果，無法兼顧所有區域的影像品質。
對此，目前技術有採用一種新的影像感測器架構，其是利用紅外線（IR）感測器高光敏感度的特性，在影像感測器的色彩像素中穿插配置IR像素，以輔助亮度偵測。舉例來說，圖1是習知使用影像感測器擷取影像的示意圖。請參照圖1，習知的影像感測器10中除了配置有紅（R）、綠（G）、藍（B）等顏色像素外，還穿插配置有紅外線（I）像素。藉此，影像感測器10能夠將R、G、B顏色像素所擷取的色彩資訊12與I像素所擷取的亮度資訊14結合，而獲得色彩及亮度適中的影像16。
然而，在上述單一影像感測器的架構下，影像感測器中每個像素的曝光條件相同，因此只能選擇較適用於顏色像素或紅外線像素的曝光條件來擷取影像，結果仍無法有效地利用兩種像素的特性來改善所擷取影像的影像品質。
本發明提供一種雙感測器攝像系統及其深度圖計算方法，可精確地算出攝像場景的深度圖。
本發明的雙感測器攝像系統包括至少一個色彩感測器、至少一個紅外線感測器、儲存裝置以及耦接所述色彩感測器、紅外光感測器及儲存裝置的處理器。所述處理器經配置以載入並執行儲存在儲存裝置中的電腦程式以：控制色彩感測器及紅外線感測器採用適用於攝像場景下的多個曝光條件分別擷取多張色彩影像及多張紅外線影像；從多張色彩影像及多張紅外線影像中適應性選擇出彼此可對比的色彩影像及紅外線影像的組合；以及使用所選擇的色彩影像及紅外線影像計算攝像場景的深度圖。
本發明的雙感測器攝像系統的深度圖計算方法，適用於包括至少一個色彩感測器、至少一個紅外線感測器及處理器的雙感測器攝像系統。所述方法包括下列步驟：控制色彩感測器及紅外線感測器採用適用於攝像場景下的多個曝光條件分別擷取多張色彩影像及多張紅外線影像；從多張色彩影像及多張紅外線影像中適應性選擇出彼此可對比的色彩影像及紅外線影像的組合；以及使用所選擇的色彩影像及紅外線影像計算攝像場景的深度圖。
基於上述，本發明的雙感測器攝像系統及其深度圖計算方法，藉由在獨立配置的色彩感測器及紅外線感測器上採用適於當前攝像場景的不同曝光條件來擷取多張影像，並從中選擇出彼此可對比的色彩及紅外線影像來計算攝像場景的深度圖，藉此可精確地算出攝像場景的深度圖。
本發明實施例適用在獨立配置有色彩感測器及紅外線感測器的雙感測器攝像系統。其中，由於色彩感測器及紅外線感測器之間具有像差（parallex），其所擷取的色彩影像及紅外線影像可用以計算攝像場景的深度圖。針對色彩感測器所擷取的色彩影像可能會因為攝像場景中的光線反射、陰影、高反差等因素的影響而有過曝或曝光不足的情況，本發明實施例利用紅外線影像具有較佳的訊噪比（Signal to noise ratio，SNR）且包含較多的攝像場景的紋理細節的優點，使用紅外線影像所提供的紋理資訊來輔助缺陷區域的深度值的計算，從而可獲得精確的攝像場景的深度圖。
圖2是依照本發明一實施例所繪示的使用影像感測器擷取影像的示意圖。請參照圖2，本發明實施例的影像感測器20採用獨立配置色彩感測器22與紅外線（IR）感測器24的雙感測器架構，利用色彩感測器22與紅外線感測器24各自的特性，採用適於當前拍攝場景的多個曝光條件分別擷取多張影像，並從中選擇曝光條件適當的色彩影像22a與紅外線影像24a。在一些實施例中，透過影像融合的方式，可使用紅外線影像24a來補足色彩影像22a中缺乏的紋理細節，從而獲得色彩及紋理細節均佳的場景影像26。而在一些實施例中，則可使用色彩影像22a與紅外線影像24a來計算攝像場景的深度圖，並利用紅外線影像24a所提供的紋理細節來補償色彩影像中缺乏的紋理細節，並輔助計算缺陷區域的深度值。
圖3是依照本發明一實施例所繪示的雙感測器攝像系統的方塊圖。請參照圖3，本實施例的雙感測器攝像系統30可配置於手機、平板電腦、筆記型電腦、導航裝置、行車紀錄器、數位相機、數位攝影機等電子裝置中，用以提供攝像功能。雙感測器攝像系統30包括至少一個色彩感測器32、至少一個紅外線感測器34、儲存裝置36及處理器38，其功能分述如下：
色彩感測器32例如包括電荷耦合元件（Charge Coupled Device，CCD）、互補性氧化金屬半導體（Complementary Metal-Oxide Semiconductor，CMOS）元件或其他種類的感光元件，而可感測光線強度以產生攝像場景的影像。色彩感測器32例如是紅綠藍（RGB）影像感測器，其中包括紅（R）、綠（G）、藍（B）顏色像素，用以擷取攝像場景中的紅光、綠光、藍光等色彩資訊，並將這些色彩資訊合成以生成攝像場景的色彩影像。
紅外線感測器34例如包括CCD、CMOS元件或其他種類的感光元件，其經由調整感光元件的波長感測範圍，而能夠感測紅外光。紅外線感測器34例如是以上述感光元件作為像素來擷取攝像場景中的紅外光資訊，並將這些紅外光資訊合成以生成攝像場景的紅外線影像。
儲存裝置36例如是任意型式的固定式或可移動式隨機存取記憶體（Random Access Memory，RAM）、唯讀記憶體（Read-Only Memory，ROM）、快閃記憶體（Flash memory）、硬碟或類似元件或上述元件的組合，而用以儲存可由處理器38執行的電腦程式。在一些實施例中，儲存裝置36例如還可儲存由色彩感測器32所擷取的色彩影像及紅外線感測器34所擷取的紅外線影像。
處理器38例如是中央處理單元（Central Processing Unit，CPU），或是其他可程式化之一般用途或特殊用途的微處理器（Microprocessor）、微控制器（Microcontroller）、數位訊號處理器（Digital Signal Processor，DSP）、可程式化控制器、特殊應用積體電路（Application Specific Integrated Circuits，ASIC）、可程式化邏輯裝置（Programmable Logic Device，PLD）或其他類似裝置或這些裝置的組合，本發明不在此限制。在本實施例中，處理器38可從儲存裝置36載入電腦程式，以執行本發明實施例的雙感測器攝像系統的深度圖計算方法。
圖4是依照本發明一實施例所繪示的雙感測器攝像系統的深度圖計算方法的流程圖。請同時參照圖3及圖4，本實施例的方法適用於上述的雙感測器攝像系統30，以下即搭配雙感測器攝像系統30的各項元件說明本實施例的深度圖計算方法的詳細步驟。
在步驟S402中，由處理器38控制色彩感測器32及紅外線感測器34採用適用於所識別之攝像場景下的多個曝光條件分別擷取多張色彩影像及多張紅外線影像。
在一些實施例中，處理器38例如是以標準曝光條件中的曝光時間為基準，控制色彩感測器32及紅外線感測器34擷取曝光時間較短或較長的色彩影像，這些色彩影像彼此的曝光時間的差例如為介於-3至3的曝光值（Exposure Value，EV）中的任意值，在此不設限。舉例來說，若A影像比B影像亮一倍，則可將B影像的EV加1，以此類推，曝光值可以有小數（例如+0.3EV），在此不設限。
在一些實施例中，處理器38例如是控制色彩感測器32及紅外線感測器34中的至少一者採用標準曝光條件來擷取攝像場景的至少一張標準影像，並使用這些標準影像來識別攝像場景。所述標準曝光條件例如包括採用既有測光技術所決定的光圈、快門、感光度等參數，而處理器38則根據在此曝光條件下所擷取之影像的色相（Hue）、明度（Value）、彩度（Chroma）、白平衡等影像參數的強弱或分佈來識別攝像場景，包括攝像場景的位置（室內或室外）、光源（高光源或低光源）、反差（高反差或低反差）、攝像物的種類（物品或人像）或狀態（動態或靜態）等。在其他實施例中，處理器38亦可採用定位方式來識別攝像場景或是直接接收使用者操作來設定攝像場景，在此不設限。
在步驟S404中，由處理器38從多張色彩影像及多張紅外線影像中適應性選擇出彼此可對比的色彩影像及紅外線影像的組合。在一些實施例中，處理器38例如會根據各張色彩影像的顏色細節和各張紅外線影像的紋理細節來選擇彼此可對比的色彩影像及紅外線影像的組合。在一些實施例中，處理器38則會以色彩影像或紅外線影像作為基準，來比較各張色彩影像和紅外線影像的影像直方圖，藉此確定彼此可對比的色彩影像及紅外線影像的組合。
在步驟S406中，由處理器38使用所選擇的述色彩影像及紅外線影像計算攝像場景的深度圖。在一些實施例中，處理器38例如會擷取所選擇的色彩影像及紅外線影像中特徵強健的多個特徵點，並根據色彩影像及紅外線影像中彼此相對應的特徵點的位置，計算攝像場景的深度圖。
藉由上述方法，雙感測器攝像系統30可選擇出顏色細節較佳的色彩影像及紋理細節較佳的紅外線影像來計算攝像場景的深度圖，並利用紅外線影像來補償或取代色彩影像中所缺乏的紋理細節來計算深度值，藉此可精確地算出攝像場景的深度圖。
在一些實施例中，處理器38例如會先根據各張色彩影像的顏色細節，選擇其中一張色彩影像作為基準影像，接著辨識基準影像中缺乏紋理細節的至少一個缺陷區域，然後再根據各張紅外線影像中對應於這些缺陷區域的影像的紋理細節，選擇其中一張紅外線影像作為可與基準影像彼此對比的影像，一同用於深度圖的計算。
詳言之，基於色彩感測器32每次只能採用單一曝光條件擷取色彩影像，在攝像場景為低光源或高反差的情況下，每一張色彩影像都可能會出現高雜訊、過曝或曝光不足的區域（即上述的缺陷區域）。此時，處理器38即可利用紅外線感測器34高光敏感度的特性，針對上述的缺陷區域，從先前擷取的多張紅外線影像中，選擇具備該缺陷區域的紋理細節的紅外線影像，而可用以補足色彩影像中缺陷區域的紋理細節。
圖5是依照本發明一實施例所繪示的雙感測器攝像系統的深度圖計算方法的流程圖。請同時參照圖3及圖5，本實施例的方法適用於上述的雙感測器攝像系統30，以下即搭配雙感測器攝像系統30的各項元件說明本實施例的深度圖計算方法的詳細步驟。
在步驟S502中，由處理器38從多張色彩影像中選擇能顯露出攝像場景的顏色細節的色彩影像作為基準影像。
在一些實施例中，處理器38例如是根據各張色彩影像的顏色細節，從多張色彩影像中選擇顏色細節最多的色彩影像作為基準影像。所述顏色細節的多寡例如可由色彩影像中過曝或曝光不足區域的大小來決定。
詳細而言，過曝區域像素的顏色趨近白色、曝光不足區域像素的顏色趨近黑色，因此這些區域的顏色細節會較少。因此，若色彩影像中包括較多的這類區域，代表其顏色細節較少，處理器38據此即可判斷出哪一張色彩影像的顏色細節最多，而用以作為基準影像。在其他實施例中，處理器38也可依據各張色彩影像的對比度、飽和度或其他影像參數來分辨其顏色細節的多寡，在此不設限。
在步驟S504中，由處理器38辨識基準影像中缺乏紋理細節的至少一個缺陷區域。所述的缺陷區域例如是上述的過曝區域或曝光不足區域，或是在低光源下所擷取的具較高雜訊的區域，在此不設限。
在步驟S506中，由處理器38根據各張紅外線影像中對應於所述缺陷區域的影像的紋理細節，選擇其中一張紅外線影像，而用以作為與基準影像彼此對比的組合。
在一些實施例中，處理器38例如是選擇對應於所述缺陷區域的影像的紋理細節最多的紅外線影像作為與基準影像彼此對比的組合。其中，處理器38例如是依據各張紅外線影像的對比度或其他影像參數來分辨其紋理細節的多寡，在此不設限。
在步驟S508中，由處理器38執行特徵擷取演算法，從基準影像及所選擇的紅外線影像中擷取特徵強健的多個特徵點。
在一些實施例中，所述的特徵擷取演算法例如是哈里斯邊角偵測（Harris corner detector）、海森仿射區域偵測（Hessian-affine region detector）、最大穩定極值區域（Maximally Stable Extremal Regions，MSER）、尺度不變特徵變換（Scale invariant feature transform，SIFT）或加速穩健特徵（Speeded up robust features，SURF），所述特徵點例如是影像中的邊緣或角落像素，在此不設限。在一些實施例中，處理器38還可根據所擷取特徵之間的對應關係將色彩影像及紅外線影像對齊。
在步驟S510中，由處理器38根據基準影像及紅外線影像中彼此相對應的特徵點的位置，計算攝像場景的深度圖。
在一些實施例中，處理器38例如是直接計算基準影像及紅外線影像中相對應的各個像素的像差，並依據雙感測器攝像系統30的色彩感測器及紅外線感測器34拍攝影像時的焦距、兩個感測器的間距以及各個像素的像差，估測各個像素的深度。其中，處理器38例如是依據各個像素在基準影像及紅外線影像中的位置，計算各個像素在基準影像及紅外線影像之間的位移，以作為像差。
詳細而言，雙感測器攝像系統30所拍攝的基準影像及紅外線影像中相對應像素的像差是由焦距（決定影像大小）、感測器間距（決定影像重疊範圍）以及該像素對應物件與感測器間的距離（即深度值，決定影像中物件的大小）來決定，其中存在著某種比例關係，而記載此比例關係的關係表可藉由在雙感測器攝像系統30出廠前預先測試而得。因此，當使用者使用雙感測器攝像系統30拍攝影像，而處理器38在計算影像中各個像素的像差時，即可利用預先建立的關係表查詢而獲得各個像素的深度值。
藉由上述方法，雙感測器攝像系統30即可利用色彩影像及紅外線影像中相對應像素的位置關係來計算各個像素的深度值，從而獲得精確的攝像場景的深度圖。
舉例來說，圖6是依照本發明一實施例所繪示的雙感測器攝像系統的深度圖計算方法的範例。請參照圖6，本實施例是通過上述圖5的深度圖計算方法，選擇出顏色細節最多的色彩影像62作為基準影像，並針對色彩影像62中缺乏紋理細節的缺陷區域（例如人臉區域62a），從採用不同曝光條件擷取的多張紅外線影像中選擇出該缺陷區域的紋理細節最多的紅外線影像64，用以與色彩影像62進行對比，從而計算出精確的攝像場景的深度圖66。
在一些實施例中，處理器38例如會在使用者啟動即時顯示（live view）模式時，控制色彩感測器32拍攝多張色彩影像，以執行自動對焦（auto focus），藉此獲得所拍攝物體的焦距，並根據此焦距來決定可顯露出物體顏色細節最多的色彩影像。
在即時顯示模式中，處理器38例如會以此可顯露出物體顏色細節最多的色彩影像對應的曝光時間為基準，控制色彩感測器32以較此曝光時間為長或短的多個曝光時間拍攝多張色彩影像，藉此監測攝像場景的環境變化。類似地，處理器38也可以可顯露出物體紋理細節最多的紅外線影像對應的曝光時間為基準，控制紅外線感測器34以較此曝光時間為長或短的多個曝光時間拍攝多張紅外線影像。最後，處理器38可從這些由色彩感測器32及紅外線感測器34所拍攝的影像中，選擇彼此最能夠對比的色彩影像及紅外線影像的組合，而用以計算攝像場景的深度圖。
舉例來說，在一些實施例中，處理器38會計算這些色彩影像及紅外線影像中每張影像的影像直方圖，並選擇以色彩影像或紅外線影像作為基準，來比較各張色彩影像和紅外線影像的影像直方圖，藉此確定彼此最能夠對比的色彩影像及紅外線影像的組合，並用以計算攝像場景的深度圖。
詳細而言，在一些實施例中，處理器38例如是選擇色彩影像其中之一（例如是選擇可顯露出物體顏色細節最多的色彩影像）作為基準影像，並選擇紅外線影像其中之一（例如是選擇可顯露出物體紋理細節最多的色彩影像）來與基準影像比較，而依據這些影像的影像直方圖判斷所選擇的紅外線影像的亮度是否高於基準影像的亮度。其中，若判斷結果為是，則處理器38會從紅外線感測器34預先擷取的多張紅外線影像中選擇曝光時間較所選擇的紅外線影像的曝光時間短的紅外線影像，或控制紅外線感測器34採用較所選擇的紅外線影像的曝光時間短的曝光時間擷取紅外線影像，用以作為與基準影像彼此對比的組合。反之，若判斷結果為否，則處理器38會從紅外線感測器34預先擷取的多張紅外線影像中選擇曝光時間較所選擇的紅外線影像的曝光時間長的紅外線影像，或控制紅外線感測器34採用較所選擇的紅外線影像的曝光時間長的曝光時間擷取紅外線影像，用以作為與基準影像彼此對比的組合。
另一方面，在一些實施例中，處理器38例如是選擇紅外線影像其中之一（例如是選擇可顯露出物體紋理細節最多的色彩影像）作為基準影像，並選擇色彩影像其中之一（例如是選擇可顯露出物體顏色細節最多的色彩影像）來與基準影像比較，依據這些影像的影像直方圖，判斷所選擇的色彩影像的亮度是否高於基準影像的亮度。其中，若判斷結果為是，則處理器38會從色彩感測器32預先擷取的多張色彩影像中選擇曝光時間較所選擇的色彩影像的曝光時間短的色彩影像，或控制色彩感測器32採用較所選擇的色彩影像的曝光時間短的曝光時間擷取色彩影像，用以作為與基準影像彼此對比的組合。反之，若判斷結果為否，則處理器38會從色彩感測器32預先擷取的多張色彩影像中選擇曝光時間較所選擇的色彩影像的曝光時間長的色彩影像，或控制色彩感測器32採用較所選擇的色彩影像的曝光時間長的曝光時間擷取色彩影像，用以作為與基準影像彼此對比的組合。
藉由上述方法，雙感測器攝像系統30即可從多張色彩影像及紅外線影像中適應性選擇出彼此最能夠對比的色彩影像及紅外線影像的組合，並用以算出精確的攝像場景的深度圖。
在一些實施例中，即便是選擇彼此最能夠對比的色彩影像及紅外線影像的組合來計算攝像場景的深度圖，所選擇的色彩影像仍有可能會因為反射或色彩感測器32的動態範圍不足等因素，而具有許多缺乏顏色及/或紋理細節不足的缺陷區域，此即所謂的遮擋（occlusion）。在此情況下，可使用由紅外線影像提供的紋理細節作為參考依據，而從遮擋周圍像素的深度值來估測該遮擋的深度值。
詳細而言，圖7是依照本發明一實施例所繪示的雙感測器攝像系統的深度圖計算方法的流程圖。請同時參照圖3及圖7，本實施例的方法適用於上述的雙感測器攝像系統30，並額外在雙感測器攝像系統30中配置如紅外線發光二極體（Light emitting diode，LED）等紅外線投射器（IR projector）（未繪示），用以加強所擷取的紅外線影像的紋理細節。以下即搭配雙感測器攝像系統30的各項元件說明本實施例的深度圖計算方法的詳細步驟。
在步驟S702中，由處理器38偵測所選擇的色彩影像中缺乏顏色細節或紋理細節的至少一個遮擋，並在步驟S704中，判斷是否偵測到遮擋。
若在步驟S704中有偵測到遮擋，則在步驟S706中，處理器38會控制紅外線投射器投射紅外線至攝像場景，並控制紅外線感測器34擷取攝像場景的紅外線影像。其中，藉由投射紅外線至攝像場景，可增強紅外線感測器34所擷取的攝像場景中暗部區域的紋理細節，而用以輔助後續深度圖的計算。
在步驟S708中，處理器38會根據紅外線感測器34所擷取的紅外線影像所提供的各個遮擋周圍的紋理細節，由各個遮擋周圍的多個像素的深度值決定遮擋的深度值。詳細而言，由於紅外線影像可提供遮擋周圍像素的精確的紋理細節，因此可利用與遮擋具有同質性（homogeneity）的周圍像素的深度值，來填補深度圖中空洞的深度值，使得深度圖中的空洞得以經由紅外線影像的輔助而填補正確的深度值。
另一方面，若在步驟S704中沒有偵測到遮擋，則在步驟S710中，處理器38會根據基準影像及紅外線影像中彼此相對應的特徵點的位置，計算攝像場景的深度圖。此步驟與前述實施例的步驟S510相同或相似，故其詳細內容在此不再贅述。
藉由上述方法，雙感測器攝像系統30可有效地填補所計算的深度圖中的空洞，從而獲得完整且精確的攝像場景的深度圖。
綜上所述，本發明的雙感測器攝像系統及其深度圖計算方法藉由獨立配置色彩感測器與紅外線感測器，並採用適於當前拍攝場景的多個曝光條件分別擷取多張影像，從中選擇彼此可對比的色彩影像及紅外線影像來進行深度圖的計算，藉此可精確地算出各種攝像場景的深度圖。而藉由使用紅外線影像所提供的紋理細節來輔助計算深度圖中空洞的深度值，藉此可生成完整的攝像場景的深度圖。
10、20:影像感測器 12:色彩資訊 14:亮度資訊 16:影像 22:色彩感測器 22a、62:色彩影像 24:紅外線感測器 24a、64:紅外線影像 26:場景影像 30:雙感測器攝像系統 32:色彩感測器 34:紅外線感測器 36:儲存裝置 38:處理器 62a:人臉區域 66:深度圖 R、G、B、I:像素 S402~S406、S502~S510、S702~S710:步驟
圖1是習知使用影像感測器擷取影像的示意圖。 圖2是依照本發明一實施例所繪示的使用影像感測器擷取影像的示意圖。 圖3是依照本發明一實施例所繪示的雙感測器攝像系統的方塊圖。 圖4是依照本發明一實施例所繪示的雙感測器攝像系統的深度圖計算方法的流程圖。 圖5是依照本發明一實施例所繪示的雙感測器攝像系統的深度圖計算方法的流程圖。 圖6是依照本發明一實施例所繪示的雙感測器攝像系統的深度圖計算方法的範例。 圖7是依照本發明一實施例所繪示的雙感測器攝像系統的深度圖計算方法的流程圖。
S402~S406:步驟

Claims (20)

  1. 一種雙感測器攝像系統，包括： 至少一色彩感測器； 至少一紅外線感測器； 儲存裝置，儲存電腦程式；以及 處理器，耦接所述至少一色彩感測器、所述至少一紅外光感測器及所述儲存裝置，經配置以載入並執行所述電腦程式以： 控制所述至少一色彩感測器及所述至少一紅外線感測器採用適用於攝像場景下的多個曝光條件分別擷取多張色彩影像及多張紅外線影像； 從所述多張色彩影像及所述多張紅外線影像中適應性選擇出彼此可對比的所述色彩影像及所述紅外線影像的組合；以及 使用所選擇的所述色彩影像及所述紅外線影像計算所述攝像場景的深度圖。
  2. 如請求項1所述的雙感測器攝像系統，其中所述處理器包括： 從所述多張色彩影像中選擇能顯露出所述攝像場景的顏色細節的色彩影像作為基準影像； 辨識所述基準影像中缺乏紋理細節的至少一缺陷區域；以及 從所述多張紅外線影像中選擇能顯露出所述缺陷區域的所述紋理細節的紅外線影像，用以作為與所述基準影像彼此對比的組合。
  3. 如請求項2所述的雙感測器攝像系統，其中所述處理器更包括： 利用所述色彩影像執行自動對焦，以取得所述攝像場景中所拍攝物體的焦距，並根據所述焦距決定可顯露所述物體的所述顏色細節最多的色彩影像作為所述基準影像。
  4. 如請求項1所述的雙感測器攝像系統，其中所述處理器包括： 計算各所述色彩影像及各所述紅外線影像的影像直方圖；以及 選擇所述色彩影像其中之一或所述紅外線影像其中之一作為基準，比較各所述色彩影像及各所述紅外線影像的所述影像直方圖，以確定彼此可對比的所述色彩影像及所述紅外線影像的組合。
  5. 如請求項4所述的雙感測器攝像系統，其中所述處理器包括： 選擇所述色彩影像其中之一作為基準影像，並選擇所述紅外線影像其中之一與所述基準影像比較，而依據所述影像直方圖判斷所選擇的所述紅外線影像的亮度是否高於所述基準影像的亮度； 若是，從所擷取的所述多張紅外線影像中選擇曝光時間較所選擇的所述紅外線影像的曝光時間短的紅外線影像，或控制所述至少一紅外線感測器採用較所選擇的所述紅外線影像的曝光時間短的曝光時間擷取紅外線影像，用以作為與所述基準影像彼此對比的組合；以及 若否，從所擷取的所述多張紅外線影像中選擇曝光時間較所選擇的所述紅外線影像的曝光時間長的紅外線影像，或控制所述至少一紅外線感測器採用較所選擇的所述紅外線影像的曝光時間長的曝光時間擷取紅外線影像，用以作為與所述基準影像彼此對比的組合。
  6. 如請求項4所述的雙感測器攝像系統，其中所述處理器包括： 選擇所述紅外線影像其中之一作為基準影像，並選擇所述色彩影像其中之一與所述基準影像比較，而依據所述影像直方圖，判斷所選擇的所述色彩影像的亮度是否高於所述基準影像的亮度； 若是，從所擷取的所述多張色彩影像中選擇曝光時間較所選擇的所述色彩影像的曝光時間短的色彩影像，或控制所述至少一色彩感測器採用較所選擇的所述色彩影像的曝光時間短的曝光時間擷取色彩影像，用以作為與所述基準影像彼此對比的組合；以及 若否，從所擷取的所述多張色彩影像中選擇曝光時間較所選擇的所述色彩影像的曝光時間長的色彩影像，或控制所述至少一色彩感測器採用較所選擇的所述色彩影像的曝光時間長的曝光時間擷取色彩影像，用以作為與所述基準影像彼此對比的組合。
  7. 如請求項1所述的雙感測器攝像系統，其中所述處理器包括： 偵測所選擇的所述色彩影像中缺乏顏色細節或紋理細節的至少一遮擋（occlusion）；以及 執行空洞填補（hole filling）演算法，以根據所選擇的所述紅外線影像所提供的各所述遮擋周圍的紋理細節，由各所述遮擋周圍多個像素的深度值決定所述遮擋的深度值。
  8. 如請求項7所述的雙感測器攝像系統，其中所述雙感測器攝像系統更包括紅外線投射器（IR projector），所述處理器更包括： 在偵測到所述遮擋時，控制所述紅外線投射器投射紅外線至所述攝像場景，並控制所述至少一紅外線感測器擷取所述攝像場景的紅外線影像；以及 根據所擷取的所述紅外線影像所提供的各所述遮擋周圍的紋理細節，由各所述遮擋周圍的多個像素的深度值決定所述遮擋的深度值。
  9. 如請求項1所述的雙感測器攝像系統，其中所述處理器包括： 擷取所選擇的所述色彩影像及所述紅外線影像中特徵強健的多個特徵點；以及 根據所述色彩影像及所述紅外線影像中彼此相對應的所述特徵點的位置，計算所述攝像場景的所述深度圖。
  10. 如請求項1所述的雙感測器攝像系統，其中所述處理器包括： 控制所述至少一色彩感測器及所述至少一紅外線感測器中的至少一者採用標準曝光條件擷取所述攝像場景的至少一標準影像，並使用所述至少一標準影像識別所述攝像場景。
  11. 一種雙感測器攝像系統的深度圖計算方法，所述雙感測器攝像系統包括至少一色彩感測器、至少一紅外線感測器及處理器，所述方法包括下列步驟： 由所述處理器控制所述至少一色彩感測器及所述至少一紅外線感測器採用適用於攝像場景下的多個曝光條件分別擷取多張色彩影像及多張紅外線影像； 由所述處理器從所述多張色彩影像及所述多張紅外線影像中適應性選擇出彼此可對比的所述色彩影像及所述紅外線影像的組合；以及 由所述處理器使用所選擇的所述色彩影像及所述紅外線影像計算所述攝像場景的深度圖。
  12. 如請求項11所述的方法，其中從所述多張色彩影像及所述多張紅外線影像中適應性選擇出彼此可對比的所述色彩影像及所述紅外線影像的組合的步驟包括： 從所述多張色彩影像中選擇能顯露出所述攝像場景的顏色細節的色彩影像作為基準影像； 辨識所述基準影像中缺乏紋理細節的至少一缺陷區域；以及 從所述多張紅外線影像中選擇能顯露出所述缺陷區域的所述紋理細節的紅外線影像。
  13. 如請求項12所述的方法，其中從所述多張色彩影像中選擇能顯露出所述攝像場景的顏色細節的色彩影像作為基準影像的步驟包括： 利用所述色彩影像執行自動對焦，以取得所述攝像場景中所拍攝物體的焦距，並根據所述焦距決定可顯露所述物體的所述顏色細節最多的色彩影像作為所述基準影像。
  14. 如請求項11所述的方法，其中從所述多張色彩影像及所述多張紅外線影像中適應性選擇出彼此可對比的所述色彩影像及所述紅外線影像的組合的步驟包括： 計算各所述色彩影像及各所述紅外線影像的影像直方圖；以及 選擇所述色彩影像其中之一或所述紅外線影像其中之一作為基準，比較各所述色彩影像及各所述紅外線影像的所述影像直方圖，以確定彼此可對比的所述色彩影像及所述紅外線影像的組合。
  15. 如請求項14所述的方法，其中比較各所述色彩影像及各所述紅外線影像的所述影像直方圖，以確定彼此可對比的所述色彩影像及所述紅外線影像的組合的步驟包括： 選擇所述色彩影像其中之一作為基準影像，並選擇所述紅外線影像其中之一與所述基準影像比較，而依據所述影像直方圖判斷所選擇的所述紅外線影像的亮度是否高於所述基準影像的亮度； 若是，從所擷取的所述多張紅外線影像中選擇曝光時間較所選擇的所述紅外線影像的曝光時間短的紅外線影像，或控制所述至少一紅外線感測器採用較所選擇的所述紅外線影像的曝光時間短的曝光時間擷取紅外線影像，用以作為與所述基準影像彼此對比的組合；以及 若否，從所擷取的所述多張紅外線影像中選擇曝光時間較所選擇的所述紅外線影像的曝光時間長的紅外線影像，或控制所述至少一紅外線感測器採用較所選擇的所述紅外線影像的曝光時間長的曝光時間擷取紅外線影像，用以作為與所述基準影像彼此對比的組合。
  16. 如請求項14所述的方法，其中比較各所述色彩影像及各所述紅外線影像的所述影像直方圖，以確定彼此可對比的所述色彩影像及所述紅外線影像的組合的步驟包括： 選擇所述紅外線影像其中之一作為基準影像，並選擇所述色彩影像其中之一與所述基準影像比較，而依據所述影像直方圖，判斷所選擇的所述色彩影像的亮度是否高於所述基準影像的亮度； 若是，從所擷取的所述多張色彩影像中選擇曝光時間較所選擇的所述色彩影像的曝光時間短的色彩影像，或控制所述至少一色彩感測器採用較所選擇的所述色彩影像的曝光時間短的曝光時間擷取色彩影像，用以作為與所述基準影像彼此對比的組合；以及 若否，從所擷取的所述多張色彩影像中選擇曝光時間較所選擇的所述色彩影像的曝光時間長的色彩影像，或控制所述至少一色彩感測器採用較所選擇的所述色彩影像的曝光時間長的曝光時間擷取色彩影像，用以作為與所述基準影像彼此對比的組合。
  17. 如請求項11所述的方法，更包括： 偵測所選擇的所述色彩影像中缺乏顏色細節或紋理細節的至少一遮擋；以及 執行空洞填補演算法，以根據所選擇的所述紅外線影像所提供的各所述遮擋周圍的紋理細節，由各所述遮擋周圍多個像素的深度值決定所述遮擋的深度值。
  18. 如請求項17所述的方法，其中所述雙感測器攝像系統更包括紅外線投射器，在偵測所選擇的所述色彩影像中缺乏顏色細節或紋理細節的至少一遮擋的步驟之後，所述方法更包括： 在偵測到所述遮擋時，控制所述紅外線投射器投射紅外線至所述攝像場景，並控制所述至少一紅外線感測器擷取所述攝像場景的紅外線影像；以及 根據所擷取的所述紅外線影像所提供的各所述遮擋周圍的紋理細節，由各所述遮擋周圍多個像素的深度值決定所述遮擋的深度值。
  19. 如請求項11所述的方法，其中使用所選擇的所述色彩影像及所述紅外線影像計算所述攝像場景的深度圖的步驟包括： 擷取所選擇的所述色彩影像及所述紅外線影像中特徵強健的多個特徵點；以及 根據所述色彩影像及所述紅外線影像中彼此相對應的所述特徵點的位置，計算所述攝像場景的所述深度圖。
  20. 如請求項11所述的方法，其中在控制所述至少一色彩感測器及所述至少一紅外線感測器採用適用於攝像場景下的多個曝光條件分別擷取多張色彩影像及多張紅外線影像的步驟之前，所述方法更包括： 控制所述至少一色彩感測器及所述至少一紅外線感測器中的至少一者採用標準曝光條件擷取所述攝像場景的至少一標準影像，並使用所述至少一標準影像識別所述攝像場景。
TW109146922A 2020-09-04 2020-12-30 雙感測器攝像系統及其深度圖計算方法 TWI767484B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/214,946 US11496660B2 (en) 2020-09-04 2021-03-29 Dual sensor imaging system and depth map calculation method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063074477P 2020-09-04 2020-09-04
US63/074,477 2020-09-04

Publications (2)

Publication Number Publication Date
TW202211165A true TW202211165A (zh) 2022-03-16
TWI767484B TWI767484B (zh) 2022-06-11

Family

ID=80438521

Family Applications (5)

Application Number Title Priority Date Filing Date
TW109145614A TWI778476B (zh) 2020-09-04 2020-12-23 雙感測器攝像系統及其攝像方法
TW109145632A TWI767468B (zh) 2020-09-04 2020-12-23 雙感測器攝像系統及其攝像方法
TW109146764A TWI764484B (zh) 2020-09-04 2020-12-30 雙感測器攝像系統及其校準方法
TW109146831A TWI797528B (zh) 2020-09-04 2020-12-30 雙感測器攝像系統及其隱私保護攝像方法
TW109146922A TWI767484B (zh) 2020-09-04 2020-12-30 雙感測器攝像系統及其深度圖計算方法

Family Applications Before (4)

Application Number Title Priority Date Filing Date
TW109145614A TWI778476B (zh) 2020-09-04 2020-12-23 雙感測器攝像系統及其攝像方法
TW109145632A TWI767468B (zh) 2020-09-04 2020-12-23 雙感測器攝像系統及其攝像方法
TW109146764A TWI764484B (zh) 2020-09-04 2020-12-30 雙感測器攝像系統及其校準方法
TW109146831A TWI797528B (zh) 2020-09-04 2020-12-30 雙感測器攝像系統及其隱私保護攝像方法

Country Status (2)

Country Link
CN (5) CN114143418B (zh)
TW (5) TWI778476B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091341B (zh) * 2022-12-15 2024-04-02 南京信息工程大学 一种低光图像的曝光差增强方法及装置

Family Cites Families (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004246252A (ja) * 2003-02-17 2004-09-02 Takenaka Komuten Co Ltd 画像情報収集装置及び方法
JP2005091434A (ja) * 2003-09-12 2005-04-07 Noritsu Koki Co Ltd 位置調整方法およびこの方法を用いた傷補正機能付き画像読取装置
JP4244018B2 (ja) * 2004-03-25 2009-03-25 ノーリツ鋼機株式会社 欠陥画素修正方法、プログラム及びその方法を実施する欠陥画素修正システム
JP4341680B2 (ja) * 2007-01-22 2009-10-07 セイコーエプソン株式会社 プロジェクタ
US9307212B2 (en) * 2007-03-05 2016-04-05 Fotonation Limited Tone mapping for low-light video frame enhancement
KR101733443B1 (ko) * 2008-05-20 2017-05-10 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
US8866920B2 (en) * 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
CN101404060B (zh) * 2008-11-10 2010-06-30 北京航空航天大学 一种基于可见光与近红外Gabor信息融合的人脸识别方法
US8749635B2 (en) * 2009-06-03 2014-06-10 Flir Systems, Inc. Infrared camera systems and methods for dual sensor applications
US8681216B2 (en) * 2009-03-12 2014-03-25 Hewlett-Packard Development Company, L.P. Depth-sensing camera system
US20120154596A1 (en) * 2009-08-25 2012-06-21 Andrew Augustine Wajs Reducing noise in a color image
US8478123B2 (en) * 2011-01-25 2013-07-02 Aptina Imaging Corporation Imaging devices having arrays of image sensors and lenses with multiple aperture sizes
JP2013115679A (ja) * 2011-11-30 2013-06-10 Fujitsu General Ltd 撮像装置
US10848731B2 (en) * 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
TW201401186A (zh) * 2012-06-25 2014-01-01 Psp Security Co Ltd 人臉判斷系統以及方法
US20150245062A1 (en) * 2012-09-25 2015-08-27 Nippon Telegraph And Telephone Corporation Picture encoding method, picture decoding method, picture encoding apparatus, picture decoding apparatus, picture encoding program, picture decoding program and recording medium
KR102086509B1 (ko) * 2012-11-23 2020-03-09 엘지전자 주식회사 3차원 영상 획득 방법 및 장치
EP2936799B1 (en) * 2012-12-21 2018-10-17 Flir Systems, Inc. Time spaced infrared image enhancement
TWM458748U (zh) * 2012-12-26 2013-08-01 Chunghwa Telecom Co Ltd 影像式深度資訊擷取裝置
JP6055681B2 (ja) * 2013-01-10 2016-12-27 株式会社 日立産業制御ソリューションズ 撮像装置
CN104661008B (zh) * 2013-11-18 2017-10-31 深圳中兴力维技术有限公司 低照度条件下彩色图像质量提升的处理方法和装置
CN104021548A (zh) * 2014-05-16 2014-09-03 中国科学院西安光学精密机械研究所 一种获取场景4d信息的方法
US9516295B2 (en) * 2014-06-30 2016-12-06 Aquifi, Inc. Systems and methods for multi-channel imaging based on multiple exposure settings
JP6450107B2 (ja) * 2014-08-05 2019-01-09 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
CN107005639B (zh) * 2014-12-10 2020-04-14 索尼公司 图像拾取设备、图像拾取方法和图像处理设备
CN107431760B (zh) * 2015-03-31 2018-08-28 富士胶片株式会社 摄像装置、摄像装置的图像处理方法以及存储介质
WO2016192437A1 (zh) * 2015-06-05 2016-12-08 深圳奥比中光科技有限公司 一种3d图像捕获装置、捕获方法及3d图像***
JP2017011634A (ja) * 2015-06-26 2017-01-12 キヤノン株式会社 撮像装置およびその制御方法、並びにプログラム
CN105049829B (zh) * 2015-07-10 2018-12-25 上海图漾信息科技有限公司 滤光片、图像传感器、成像装置以及三维成像***
CN105069768B (zh) * 2015-08-05 2017-12-29 武汉高德红外股份有限公司 一种可见光图像与红外图像融合处理***及融合方法
US10523855B2 (en) * 2015-09-24 2019-12-31 Intel Corporation Infrared and visible light dual sensor imaging system
TW201721269A (zh) * 2015-12-11 2017-06-16 宏碁股份有限公司 自動曝光系統及其自動曝光方法
JP2017112401A (ja) * 2015-12-14 2017-06-22 ソニー株式会社 撮像素子、画像処理装置および方法、並びにプログラム
CN206117865U (zh) * 2016-01-16 2017-04-19 上海图漾信息科技有限公司 深度数据监控装置
JP2017163297A (ja) * 2016-03-09 2017-09-14 キヤノン株式会社 撮像装置
KR101747603B1 (ko) * 2016-05-11 2017-06-16 재단법인 다차원 스마트 아이티 융합시스템 연구단 컬러 나이트 비전 시스템 및 그 동작 방법
CN106815826A (zh) * 2016-12-27 2017-06-09 上海交通大学 基于场景识别的夜视图像彩色融合方法
CN108280807A (zh) * 2017-01-05 2018-07-13 浙江舜宇智能光学技术有限公司 单目深度图像采集装置和***及其图像处理方法
JP6974873B2 (ja) * 2017-02-06 2021-12-01 フォトニック センサーズ アンド アルゴリズムス，エセ．エレ． シーンから深度情報を取得するための装置および方法
CN108419062B (zh) * 2017-02-10 2020-10-02 杭州海康威视数字技术股份有限公司 图像融合设备和图像融合方法
CN109474770B (zh) * 2017-09-07 2021-09-14 华为技术有限公司 一种成像装置及成像方法
CN109712102B (zh) * 2017-10-25 2020-11-27 杭州海康威视数字技术股份有限公司 一种图像融合方法、装置及图像采集设备
CN107846537B (zh) * 2017-11-08 2019-11-26 维沃移动通信有限公司 一种摄像头组件、图像获取方法及移动终端
CN109951646B (zh) * 2017-12-20 2021-01-15 杭州海康威视数字技术股份有限公司 图像融合方法、装置、电子设备及计算机可读存储介质
US10748247B2 (en) * 2017-12-26 2020-08-18 Facebook, Inc. Computing high-resolution depth images using machine learning techniques
US10757320B2 (en) * 2017-12-28 2020-08-25 Waymo Llc Multiple operating modes to expand dynamic range
TWI661726B (zh) * 2018-01-09 2019-06-01 呂官諭 加強影像辨識清晰的影像感測器及其應用
CN110136183B (zh) * 2018-02-09 2021-05-18 华为技术有限公司 一种图像处理的方法、装置以及摄像装置
CN108965654B (zh) * 2018-02-11 2020-12-25 浙江宇视科技有限公司 基于单传感器的双光谱摄像机***和图像处理方法
CN110572583A (zh) * 2018-05-18 2019-12-13 杭州海康威视数字技术股份有限公司 拍摄图像的方法及摄像机
CN108961195B (zh) * 2018-06-06 2021-03-23 Oppo广东移动通信有限公司 图像处理方法及装置、图像采集装置、可读存储介质和计算机设备
JP6574878B2 (ja) * 2018-07-19 2019-09-11 キヤノン株式会社 画像処理装置及び画像処理方法、撮像装置、プログラム、並びに記憶媒体
JP7254461B2 (ja) * 2018-08-01 2023-04-10 キヤノン株式会社 撮像装置、制御方法、記録媒体、および、情報処理装置
CN109035193A (zh) * 2018-08-29 2018-12-18 成都臻识科技发展有限公司 一种基于双目立体相机的成像处理方法及成像处理***
PL3852350T3 (pl) * 2018-09-14 2024-06-10 Zhejiang Uniview Technologies Co., Ltd. Sposób oraz urządzenie do automatycznej ekspozycji dla obrazu w podwójnym spektrum, oraz kamera do obrazów w podwójnym spektrum oraz maszynowy nośnik pamięci
JP2020052001A (ja) * 2018-09-28 2020-04-02 パナソニックＩｐマネジメント株式会社 奥行取得装置、奥行取得方法およびプログラム
US11176694B2 (en) * 2018-10-19 2021-11-16 Samsung Electronics Co., Ltd Method and apparatus for active depth sensing and calibration method thereof
CN109636732B (zh) * 2018-10-24 2023-06-23 深圳先进技术研究院 一种深度图像的空洞修复方法以及图像处理装置
CN110248105B (zh) * 2018-12-10 2020-12-08 浙江大华技术股份有限公司 一种图像处理方法、摄像机及计算机存储介质
US11120536B2 (en) * 2018-12-12 2021-09-14 Samsung Electronics Co., Ltd Apparatus and method for determining image sharpness
WO2020168465A1 (zh) * 2019-02-19 2020-08-27 华为技术有限公司 一种图像处理的装置和方法
US10972649B2 (en) * 2019-02-27 2021-04-06 X Development Llc Infrared and visible imaging system for device identification and tracking
JP7316809B2 (ja) * 2019-03-11 2023-07-28 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、システム、及び、プログラム
CN110349117B (zh) * 2019-06-28 2023-02-28 重庆工商大学 一种红外图像与可见光图像融合方法、装置及存储介质
CN110706178B (zh) * 2019-09-30 2023-01-06 杭州海康威视数字技术股份有限公司 图像融合装置、方法、设备及存储介质
CN111524175A (zh) * 2020-04-16 2020-08-11 东莞市东全智能科技有限公司 非对称式多摄像头的深度重建及眼动追踪方法及***
CN111540003A (zh) * 2020-04-27 2020-08-14 浙江光珀智能科技有限公司 一种深度图像的生成方法及装置
CN111586314B (zh) * 2020-05-25 2021-09-10 浙江大华技术股份有限公司 一种图像融合方法、装置以及计算机存储介质
CN111383206B (zh) * 2020-06-01 2020-09-29 浙江大华技术股份有限公司 一种图像处理方法、装置、电子设备及存储介质
IN202021032940A (zh) * 2020-07-31 2020-08-28 .Us Priyadarsan

Also Published As

Publication number Publication date
TW202211160A (zh) 2022-03-16
CN114143443A (zh) 2022-03-04
TWI778476B (zh) 2022-09-21
CN114143418A (zh) 2022-03-04
TWI797528B (zh) 2023-04-01
CN114143421B (zh) 2024-04-05
TW202211674A (zh) 2022-03-16
CN114143420A (zh) 2022-03-04
TW202211673A (zh) 2022-03-16
CN114143421A (zh) 2022-03-04
CN114143443B (zh) 2024-04-05
CN114143419A (zh) 2022-03-04
TW202211161A (zh) 2022-03-16
CN114143419B (zh) 2023-12-26
CN114143418B (zh) 2023-12-01
TWI764484B (zh) 2022-05-11
TWI767484B (zh) 2022-06-11
CN114143420B (zh) 2024-05-03
TWI767468B (zh) 2022-06-11

Similar Documents

Publication Publication Date Title
US7551797B2 (en) White balance adjustment
CN107948538B (zh) 成像方法、装置、移动终端和存储介质
CN107846556B (zh) 成像方法、装置、移动终端和存储介质
US11689822B2 (en) Dual sensor imaging system and privacy protection imaging method thereof
US11838648B2 (en) Image processing device, imaging apparatus, image processing method, and program for determining a condition for high dynamic range processing
JP5782311B2 (ja) 撮像装置及びその制御方法
TW202021339A (zh) 用於相機之紅外光預閃光
US11496694B2 (en) Dual sensor imaging system and imaging method thereof
TWI767484B (zh) 雙感測器攝像系統及其深度圖計算方法
US11496660B2 (en) Dual sensor imaging system and depth map calculation method thereof
US11418719B2 (en) Dual sensor imaging system and calibration method which includes a color sensor and an infrared ray sensor to perform image alignment and brightness matching
JP2017152866A (ja) 画像処理装置及び画像処理方法
US11568526B2 (en) Dual sensor imaging system and imaging method thereof
US20210360213A1 (en) Image processing apparatus, image processing method, and storage medium
JP2002196389A (ja) 測光装置およびカメラ
WO2022061908A1 (zh) 全景图像拍摄方法、拍摄设备与可移动平台
TWI405458B (zh) Digital camera sensitivity adjustment method
TW201643777A (zh) 影像擷取方法與影像擷取裝置
JP2015118320A (ja) 撮像装置、画像処理方法及びプログラム
JP2013219561A (ja) 撮像装置、その制御方法及びプログラム
AU2005203381A1 (en) White balance adjustment
JP2017103685A (ja) 画像処理装置および方法、および撮像装置
JPH03254581A (ja) カメラの露出制御機構