TWI767468B - 雙感測器攝像系統及其攝像方法 - Google Patents

雙感測器攝像系統及其攝像方法 Download PDF

Info

Publication number
TWI767468B
TWI767468B TW109145632A TW109145632A TWI767468B TW I767468 B TWI767468 B TW I767468B TW 109145632 A TW109145632 A TW 109145632A TW 109145632 A TW109145632 A TW 109145632A TW I767468 B TWI767468 B TW I767468B
Authority
TW
Taiwan
Prior art keywords
image
sensor
infrared
color
scene
Prior art date
Application number
TW109145632A
Other languages
English (en)
Other versions
TW202211674A (zh
Inventor
彭詩淵
鄭書峻
黃旭鍊
李運錦
賴國銘
Original Assignee
聚晶半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聚晶半導體股份有限公司 filed Critical 聚晶半導體股份有限公司
Priority to US17/216,639 priority Critical patent/US11568526B2/en
Publication of TW202211674A publication Critical patent/TW202211674A/zh
Application granted granted Critical
Publication of TWI767468B publication Critical patent/TWI767468B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Cameras In General (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Traffic Control Systems (AREA)
  • Burglar Alarm Systems (AREA)
  • Air Bags (AREA)
  • Measurement Of Optical Distance (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

一種雙感測器攝像系統及其攝像方法。所述方法包括：識別攝像場景；控制色彩感測器及紅外線感測器採用適於攝像場景的多個拍攝條件分別擷取多張色彩影像及紅外線影像；計算各色彩影像與紅外線影像的訊噪比差異以及各色彩影像的亮度平均值；選擇使用訊噪比差異小於一訊噪比門檻值且亮度平均值大於一亮度門檻值的拍攝條件下所擷取的色彩影像及紅外線影像執行特徵域轉換，以提取攝像場景的部分細節；以及融合所選擇的色彩影像及紅外線影像，以根據紅外線影像的部分細節的引導，調整色彩影像的部分細節，獲得具備攝像場景完整細節的場景影像。

Description

雙感測器攝像系統及其攝像方法
本發明是有關於一種攝像系統及方法，且特別是有關於一種雙感測器攝像系統及其攝像方法。
相機的曝光條件（包括光圈、快門、感光度）會影響所拍攝影像的品質，因此許多相機在拍攝影像的過程中會自動調整曝光條件，以獲得清晰且明亮的影像。然而，在低光源或是背光等高反差的場景中，相機調整曝光條件的結果可能會產生雜訊過高或是部分區域過曝的結果，無法兼顧所有區域的影像品質。
對此，目前技術有採用一種新的影像感測器架構，其是利用紅外線（IR）感測器高光敏感度的特性，在影像感測器的色彩像素中穿插配置IR像素，以輔助亮度偵測。舉例來說，圖1是習知使用影像感測器擷取影像的示意圖。請參照圖1，習知的影像感測器10中除了配置有紅（R）、綠（G）、藍（B）等顏色像素外，還穿插配置有紅外線（I）像素。藉此，影像感測器10能夠將R、G、B顏色像素所擷取的色彩資訊12與I像素所擷取的亮度資訊14結合，而獲得色彩及亮度適中的影像16。
然而，在上述單一影像感測器的架構下，影像感測器中每個像素的曝光條件相同，因此只能選擇較適用於顏色像素或紅外線像素的曝光條件來擷取影像，結果仍無法有效地利用兩種像素的特性來改善所擷取影像的影像品質。
本發明提供一種雙感測器攝像系統及其攝像方法，利用獨立配置的色彩及紅外線感測器分別擷取不同拍攝條件下的多張影像，並選擇曝光適當、雜訊在容許範圍內的色彩及紅外線影像融合為結果影像，可增加所攝影像的細節並提高影像品質。
本發明的雙感測器攝像系統包括至少一個色彩感測器、至少一個紅外線感測器、儲存裝置以及耦接所述色彩感測器、紅外光感測器及儲存裝置的處理器。所述處理器經配置以載入並執行儲存在儲存裝置中的電腦程式以：識別雙感測器攝像系統的攝像場景；控制色彩感測器及紅外線感測器採用適用於攝像場景下的多個拍攝條件分別擷取多張色彩影像及多張紅外線影像，所述拍攝條件包括曝光時間及感光度的不同組合；計算各張色彩影像的訊噪比分別與紅外線影像的訊噪比的差異，以及各張色彩影像的亮度平均值；選擇使用訊噪比差異小於一訊噪比門檻值且亮度平均值大於一亮度門檻值的拍攝條件下所擷取的色彩影像及紅外線影像執行特徵域轉換，以提取攝像場景的部分細節；以及融合所選擇的色彩影像及紅外線影像，以根據紅外線影像的部分細節的引導，調整色彩影像的部分細節，而獲得具備攝像場景的完整細節的場景影像。
本發明的雙感測器攝像系統的攝像方法，適用於包括至少一個色彩感測器、至少一個紅外線感測器及處理器的雙感測器攝像系統。所述方法包括下列步驟：識別雙感測器攝像系統的攝像場景；控制色彩感測器及紅外線感測器採用適用於攝像場景下的多個拍攝條件分別擷取多張色彩影像及多張紅外線影像，所述拍攝條件包括曝光時間及感光度的不同組合；計算各張色彩影像的訊噪比分別與紅外線影像的訊噪比的差異，以及各張色彩影像的亮度平均值；選擇使用訊噪比差異小於一訊噪比門檻值且亮度平均值大於一亮度門檻值的拍攝條件下所擷取的色彩影像及紅外線影像執行特徵域轉換，以提取攝像場景的部分細節；以及融合所選擇的色彩影像及紅外線影像，以根據紅外線影像的部分細節的引導，調整色彩影像的部分細節，而獲得具備攝像場景的完整細節的場景影像。
基於上述，本發明的雙感測器攝像系統及其攝像方法，在獨立配置的色彩感測器及紅外線感測器上採用適於當前攝像場景的不同拍攝條件擷取多張影像，並根據所擷取影像的訊噪比和亮度差異，選擇出曝光適當且雜訊在容許範圍內的色彩及紅外線影像融合為結果影像，可增加所攝影像的細節並提高影像品質。
圖2是依照本發明一實施例所繪示的使用影像感測器擷取影像的示意圖。請參照圖2，本發明實施例的影像感測器20採用獨立配置色彩感測器22與紅外線（IR）感測器24的雙感測器架構，利用色彩感測器22與紅外線感測器24各自的特性，採用適於當前拍攝場景的多個曝光條件分別擷取多張影像，並從中選擇曝光條件適當的色彩影像22a與紅外線影像24a，透過影像融合的方式，使用紅外線影像24a來補足色彩影像22a中缺乏的紋理細節，從而獲得色彩及紋理細節均佳的場景影像26。
圖3是依照本發明一實施例所繪示的雙感測器攝像系統的方塊圖。請參照圖3，本實施例的雙感測器攝像系統30可配置於手機、平板電腦、筆記型電腦、導航裝置、行車紀錄器、數位相機、數位攝影機等電子裝置中，用以提供攝像功能。雙感測器攝像系統30包括至少一個色彩感測器32、至少一個紅外線感測器34、儲存裝置36及處理器38，其功能分述如下：
色彩感測器32例如包括電荷耦合元件（Charge Coupled Device，CCD）、互補性氧化金屬半導體（Complementary Metal-Oxide Semiconductor，CMOS）元件或其他種類的感光元件，而可感測光線強度以產生攝像場景的影像。色彩感測器32例如是紅綠藍（RGB）影像感測器，其中包括紅（R）、綠（G）、藍（B）顏色像素，用以擷取攝像場景中的紅光、綠光、藍光等色彩資訊，並將這些色彩資訊合成以生成攝像場景的色彩影像。
紅外線感測器34例如包括CCD、CMOS元件或其他種類的感光元件，其經由調整感光元件的波長感測範圍，而能夠感測紅外光。紅外線感測器34例如是以上述感光元件作為像素來擷取攝像場景中的紅外光資訊，並將這些紅外光資訊合成以生成攝像場景的紅外線影像。
儲存裝置36例如是任意型式的固定式或可移動式隨機存取記憶體（Random Access Memory，RAM）、唯讀記憶體（Read-Only Memory，ROM）、快閃記憶體（Flash memory）、硬碟或類似元件或上述元件的組合，而用以儲存可由處理器38執行的電腦程式。在一些實施例中，儲存裝置36例如還可儲存由色彩感測器32所擷取的色彩影像及紅外線感測器34所擷取的紅外線影像。
處理器38例如是中央處理單元（Central Processing Unit，CPU），或是其他可程式化之一般用途或特殊用途的微處理器（Microprocessor）、微控制器（Microcontroller）、數位訊號處理器（Digital Signal Processor，DSP）、可程式化控制器、特殊應用積體電路（Application Specific Integrated Circuits，ASIC）、可程式化邏輯裝置（Programmable Logic Device，PLD）或其他類似裝置或這些裝置的組合，本發明不在此限制。在本實施例中，處理器38可從儲存裝置36載入電腦程式，以執行本發明實施例的雙感測器攝像系統的攝像方法。
基於在深夜（或低光源）、大太陽或背光等極端的攝像場景中，色彩影像的許多部分將由於過暗或過曝而失去細節，這些部分（即後述的缺陷區域）需要適當地填補，才能較佳地提高影像品質。對此，本發明實施例藉由適應性地調整色彩感測器的曝光時間及/或感光度（ISO），來確保所擷取影像至少可顯露出缺陷區域的一些細節。而針對曝光時間及/或感光度的調整，本發明實施例還利用預先定義的訊噪比門檻值和亮度門檻值作適當的限定，從而在影像細節、亮度和雜訊之間取得平衡。
圖4是依照本發明一實施例所繪示的雙感測器攝像系統的攝像方法的流程圖。請同時參照圖3及圖4，本實施例的方法適用於上述的雙感測器攝像系統30，以下即搭配雙感測器攝像系統30的各項元件說明本實施例的攝像方法的詳細步驟。
在步驟S402中，由處理器38識別雙感測器攝像系統30的攝像場景。在一些實施例中，處理器38例如是控制色彩感測器32及紅外線感測器34中的至少一者採用標準曝光條件來擷取攝像場景的至少一張標準影像，並使用這些標準影像來識別攝像場景。所述標準曝光條件例如包括採用既有測光技術所決定的光圈、快門、感光度等參數，而處理器38則根據在此曝光條件下所擷取之影像的色相（Hue）、明度（Value）、彩度（Chroma）、白平衡等影像參數的強弱或分佈來識別攝像場景，包括攝像場景的位置（室內或室外）、光源（高光源或低光源）、反差（高反差或低反差）、攝像物的種類（物品或人像）或狀態（動態或靜態）等。在其他實施例中，處理器38亦可採用定位方式來識別攝像場景或是直接接收使用者操作來設定攝像場景，在此不設限。
在步驟S404中，由處理器38控制色彩感測器32及紅外線感測器34採用適用於所識別之攝像場景下的多個拍攝條件分別擷取多張色彩影像及多張紅外線影像。在一些實施例中，處理器38例如會通過判定所擷取影像中是否包括缺乏紋理細節的亮部區域或暗部區域，來識別攝像場景中是否包括缺乏紋理細節的缺陷區域。而在識別出缺陷區域時，處理器38例如會以標準曝光條件中的曝光時間和感光度為基準，並以增加缺陷區域的紋理細節為目標，來決定各個拍攝條件的曝光時間及感光度。其中，針對攝像場景中包括缺乏紋理細節的亮部區域和暗部區域的情況，後文將分別舉實施例詳細描述其對應的實施方式。
在步驟S406中，由處理器38計算各張色彩影像的訊噪比分別與紅外線影像的訊噪比的差異，以及各張色彩影像的亮度平均值，並用以與預設的訊噪比門檻值和亮度門檻值比較。所述的訊噪比門檻值和亮度門檻值例如是預先針對各種場景，以不同的拍攝條件擷取影像，並通過分析影像的訊噪比、亮度等影像參數，而歸納出能夠使所擷取影像的品質符合需求的限定條件。此限定條件可提供處理器38用以作為選擇色彩影像和紅外線影像的依據。
在步驟S408中，由處理器38選擇使用訊噪比差異小於訊噪比門檻值且亮度平均值大於亮度門檻值的色彩影像及對應的紅外線影像來執行特徵域轉換，以提取攝像場景的部分細節。其中，處理器38例如是從符合上述訊噪比差異小於訊噪比門檻值且亮度平均值大於亮度門檻值的多張色彩影像中選擇具有較多攝像場景細節的色彩影像作為後續用以與紅外線影像融合的影像，藉此增加融合影像的細節。此外，處理器38例如會對所選擇的色彩影像和紅外線影像執行色彩空間轉換或梯度（gradient）轉換等特徵域轉換，藉此提取影像中具有更多攝像場景細節（例如色彩細節、紋理細節或邊緣細節）的特徵，作為後續影像融合的依據。
在步驟S410中，由處理器38融合所選擇的色彩影像及紅外線影像，以根據紅外線影像的部分細節的引導，調整色彩影像的部分細節，而獲得具備攝像場景的完整細節的場景影像。在一些實施例中，處理器38在融合色彩影像及紅外線影像時，例如是利用紅外線影像的紋理細節及/或邊緣細節的引導，來增強色彩影像中的色彩細節，最終獲得具備攝像場景完整的色彩、紋理、邊緣細節的場景影像。
需說明的是，在一些實施例中，雙感測器攝像系統30中可額外配置一個紅外線投射器（IR projector），而處理器38可在控制紅外線感測器32擷取紅外線影像的同時，藉由控制紅外線投射器向攝像場景投射紅外光，而增加紅外線感測器32所擷取的紅外線影像中的紋理細節。
此外，在一些實施例中，色彩影像中某些缺陷區域的紋理細節可能會因特定因素無法用紅外線影像來增強或補足，例如色彩感測器32與紅外線感測器34之間的視差（parallax）會造成紅外線感測器34被遮蔽。在此情況下，處理器38例如會控制色彩感測器32採用較所選擇色彩影像的曝光時間長或短的多個曝光時間擷取多張色彩影像並執行高動態範圍（high dynamic range，HDR）處理，以生成具備缺陷區域的紋理細節的場景影像。
在一些實施例中，處理器38例如會根據其所選擇的色彩影像的曝光時間，使用較此曝光時間為短的曝光時間以及較此曝光時間為長的曝光時間，控制色彩感測器32分別擷取曝光時間較短的色彩影像以及曝光時間較長的色彩影像，而結合使用原曝光時間擷取的色彩影像來實施HDR處理。即，從三張色彩影像中選擇具備較佳顏色及紋理細節的區域來補足其他色彩影像中欠缺細節的區域，從而獲得亮部及暗部細節均佳的HDR影像作為最終輸出的場景影像。
在一些實施例中，處理器38例如會針對HDR影像執行二維空間降噪（2D spatial denoise）等降噪（noise reduction，NR）處理，以減少HDR影像中的雜訊，提高最終輸出影像的影像品質。
在深夜或低光源的場景中，即使採用較長的曝光時間及/或較高的感光度擷取影像，嘗試增加所擷取影像的色彩及紋理細節，影像雜訊將對應增加。對此，為了確保所擷取影像的品質在可接受的範圍內，本發明實施例適應性地設定多個增加曝光時間及/或感光度的拍攝條件並用以拍攝影像，並藉由計算所拍攝影像之間的訊噪比和亮度值的差異，選擇曝光適當且雜訊在容許範圍內的影像進行融合，從而得到可兼顧影像細節及品質的場景影像。
圖5是依照本發明一實施例所繪示的雙感測器攝像系統的攝像方法的流程圖。請同時參照圖3及圖5，本實施例的方法說明雙感測器攝像系統30於深夜或低光源的場景的攝像方法，以下即搭配雙感測器攝像系統30的各項元件說明本實施例的攝像方法的詳細步驟。
在步驟S502中，由處理器38控制色彩感測器32及紅外線感測器34中的至少一者採用標準曝光條件來擷取攝像場景的至少一張標準影像，並使用這些標準影像來識別攝像場景。所述標準曝光條件的定義以及攝像場景的識別方式如前述實施例所述，在此不再贅述。
在步驟S504中，由處理器38辨識標準影像中缺乏紋理細節的至少一個暗部區域，並基於標準拍攝條件的曝光時間及感光度，以增加曝光時間及感光度至少其中之一的方式，決定多個拍攝條件的曝光時間及感光度。其中，所增加的曝光時間例如是介於0.1至3的曝光值（Exposure Value，EV）中的任意值，而所增加的感光度例如是介於50至1000中的任意值，在此不設限。
在步驟S506中，由處理器38控制色彩感測器32及紅外線感測器34採用上述決定的多個拍攝條件分別擷取多張色彩影像及多張紅外線影像。
在步驟S508中，由處理器38計算各張色彩影像的訊噪比分別與紅外線影像的訊噪比的差異，以及各張色彩影像的亮度平均值，並用以與預設的訊噪比門檻值和亮度門檻值比較。
在步驟S510中，由處理器38選擇使用訊噪比的差異小於訊噪比門檻值且亮度平均值大於亮度門檻值的色彩影像及對應的紅外線影像來執行特徵域轉換，以提取攝像場景的部分細節。
在步驟S512中，由處理器38融合所選擇的色彩影像及紅外線影像，以根據紅外線影像的部分細節的引導，調整色彩影像的部分細節，而獲得具備攝像場景的完整細節的場景影像。上述步驟S506~S512的實施方式與前述實施例的步驟S404~S410相同或相似，故其細節在此不再贅述。
藉由上述方法，即使在深夜或低光源的場景中，雙感測器攝像系統30也能夠藉由拍攝並選定曝光適當且雜訊在容許範圍內的色彩影像及紅外線影像以進行融合，從而最大程度地增加所攝影像的細節，並提高影像品質。
在背光場景或高亮度的場景中，背景將比拍攝主體亮，或是整體偏亮，這將使得由色彩感測器所擷取的色彩影像會因為過曝而失去色彩及紋理細節。為了讓所擷取影像包括更多的細節，本發明實施例適應性地設定多個減少曝光時間及/或感光度的拍攝條件並用以拍攝影像，藉由計算所拍攝影像之間的訊噪比和亮度值差異，選擇曝光適當且雜訊在容許範圍內的影像進行融合，從而得到可兼顧影像細節及品質的場景影像。
圖6是依照本發明一實施例所繪示的雙感測器攝像系統的攝像方法的流程圖。請同時參照圖3及圖6，本實施例的方法說明雙感測器攝像系統30於背光或高亮度場景的攝像方法，以下即搭配雙感測器攝像系統30的各項元件說明本實施例的攝像方法的詳細步驟。
在步驟S602中，由處理器38控制色彩感測器32及紅外線感測器34中的至少一者採用標準曝光條件來擷取攝像場景的至少一張標準影像，並使用這些標準影像來識別攝像場景。所述標準曝光條件的定義以及攝像場景的識別方式如前述實施例所述，在此不再贅述。
在步驟S604中，由處理器38辨識標準影像中缺乏紋理細節的至少一個亮部區域，並基於標準拍攝條件的曝光時間及感光度，以減少曝光時間及感光度至少其中之一的方式，決定多個拍攝條件的曝光時間及感光度。其中，所減少的曝光時間例如是介於0.1至3的曝光值（Exposure Value，EV）中的任意值，而所減少的感光度例如是介於50至1000中的任意值，在此不設限。
在步驟S606中，由處理器38控制色彩感測器32及紅外線感測器34採用上述決定的多個拍攝條件分別擷取多張色彩影像及多張紅外線影像。
在步驟S608中，由處理器38計算各張色彩影像的訊噪比分別與紅外線影像的訊噪比的差異，以及各張色彩影像的亮度平均值，並用以與預設的訊噪比門檻值和亮度門檻值比較。
在步驟S610中，由處理器38選擇使用訊噪比的差異小於訊噪比門檻值且亮度平均值大於亮度門檻值的色彩影像及對應的紅外線影像來執行特徵域轉換，以提取攝像場景的部分細節。
在步驟S612中，由處理器38融合所選擇的色彩影像及紅外線影像，以根據紅外線影像的部分細節的引導，調整色彩影像的部分細節，而獲得具備攝像場景的完整細節的場景影像。上述步驟S606~S612的實施方式與前述實施例的步驟S404~S410相同或相似，故其細節在此不再贅述。
藉由上述方法，即使在背光或高亮度的場景中，雙感測器攝像系統30也能夠藉由拍攝並選定曝光適當且雜訊在容許範圍內的色彩影像及紅外線影像以進行融合，從而最大程度地增加所攝影像的細節，並提高影像品質。
綜上所述，本發明的雙感測器攝像系統及其攝像方法藉由獨立配置色彩感測器與紅外線感測器，採用適於當前拍攝場景的多個拍攝條件分別擷取多張影像，並依據所擷取影像的訊噪比及亮度差異，從中選擇曝光適當且雜訊在容許範圍內的影像以進行融合。其中，利用紅外線影像的紋理、邊緣細節的引導，適當調整色彩影像的色彩細節，本發明的雙感測器攝像系統最終可獲得具備攝像場景的完整細節的場景影像。
10、20：影像感測器 12：色彩資訊 14：亮度資訊 16：影像 22：色彩感測器 22a：色彩影像 24：紅外線感測器 24a：紅外線影像 26：場景影像 30：雙感測器攝像系統 32：色彩感測器 34：紅外線感測器 36：儲存裝置 38：處理器 R、G、B、I：像素 S402~S410、S502~S512、S602~S612：步驟
圖1是習知使用影像感測器擷取影像的示意圖。 圖2是依照本發明一實施例所繪示的使用影像感測器擷取影像的示意圖。 圖3是依照本發明一實施例所繪示的雙感測器攝像系統的方塊圖。 圖4是依照本發明一實施例所繪示的雙感測器攝像系統的攝像方法的流程圖。 圖5是依照本發明一實施例所繪示的雙感測器攝像系統的攝像方法的流程圖。 圖6是依照本發明一實施例所繪示的雙感測器攝像系統的攝像方法的流程圖。
S402~S410：步驟

Claims (16)

  1. 一種雙感測器攝像系統，包括： 至少一色彩感測器； 至少一紅外線感測器； 儲存裝置，儲存電腦程式；以及 處理器，耦接所述至少一色彩感測器、所述至少一紅外光感測器及所述儲存裝置，經配置以載入並執行所述電腦程式以： 識別所述雙感測器攝像系統的一攝像場景； 控制所述至少一色彩感測器及所述至少一紅外線感測器採用適用於所述攝像場景下的多個拍攝條件分別擷取多張色彩影像及多張紅外線影像，所述拍攝條件包括曝光時間及感光度的不同組合； 計算各所述色彩影像的訊噪比分別與所述紅外線影像的訊噪比的差異，以及各所述色彩影像的亮度平均值； 選擇使用所述訊噪比的差異小於一訊噪比門檻值且所述亮度平均值大於一亮度門檻值的所述色彩影像及對應的所述紅外線影像來執行特徵域轉換，以提取所述攝像場景的部分細節；以及 融合所選擇的所述色彩影像及所述紅外線影像，以根據所述紅外線影像的所述部分細節的引導，調整所述色彩影像的所述部分細節，而獲得具備所述攝像場景的完整細節的場景影像。
  2. 如請求項1所述的雙感測器攝像系統，其中所述處理器包括： 控制所述至少一色彩感測器及所述至少一紅外線感測器中的至少一者採用標準拍攝條件擷取所述攝像場景的至少一標準影像，並使用所述至少一標準影像識別所述攝像場景。
  3. 如請求項1所述的雙感測器攝像系統，其中所述處理器包括在所識別的攝像場景包括缺乏紋理細節的至少一個缺陷區域時，以增加所述缺陷區域的所述紋理細節為目標決定各所述拍攝條件的所述曝光時間及所述感光度。
  4. 如請求項3所述的雙感測器攝像系統，其中所述處理器包括在所識別的攝像場景包括缺乏紋理細節的至少一個暗部區域時，基於所述標準拍攝條件的所述曝光時間及所述感光度，以增加所述曝光時間及所述感光度至少其中之一的方式，決定各所述拍攝條件的所述曝光時間及所述感光度。
  5. 如請求項3所述的雙感測器攝像系統，其中所述處理器包括在所識別的攝像場景包括缺乏紋理細節的至少一個亮部區域時，基於所述標準拍攝條件的所述曝光時間及所述感光度，以減少所述曝光時間及所述感光度至少其中之一的方式，決定各所述拍攝條件的所述曝光時間及所述感光度。
  6. 如請求項3所述的雙感測器攝像系統，更包括紅外線投射器，其中所述處理器更包括： 控制所述紅外線投射器投射紅外光，以增加所述至少一紅外線感測器所擷取之所述紅外線影像中的所述紋理細節。
  7. 如請求項3所述的雙感測器攝像系統，其中所述處理器更包括： 判斷各所述紅外線影像是否包括所述缺陷區域的所述紋理細節；以及 在所述紅外線影像均未包括所述紋理細節時，控制所述至少一色彩感測器採用較所選擇的所述色彩影像的曝光時間長或短的多個曝光時擷取多張色彩影像並執行高動態範圍（high dynamic range，HDR）處理，以生成具備所述缺陷區域的所述紋理細節的所述場景影像。
  8. 如請求項1所述的雙感測器攝像系統，其中所述特徵域轉換包括色彩空間轉換或梯度（gradient）轉換。
  9. 一種雙感測器攝像系統的攝像方法，所述雙感測器攝像系統包括至少一色彩感測器、至少一紅外線感測器及處理器，所述方法包括下列步驟： 識別所述雙感測器攝像系統的一攝像場景； 控制所述至少一色彩感測器及所述至少一紅外線感測器採用適用於所述攝像場景下的多個拍攝條件分別擷取多張色彩影像及多張紅外線影像，所述拍攝條件包括曝光時間及感光度的不同組合； 計算各所述色彩影像的訊噪比分別與所述紅外線影像的訊噪比的差異，以及各所述色彩影像的亮度平均值； 選擇使用所述訊噪比的差異小於一訊噪比門檻值且所述亮度平均值大於一亮度門檻值的所述拍攝條件下所擷取的所述色彩影像及所述紅外線影像執行特徵域轉換，以提取所述攝像場景的部分細節；以及 融合所選擇的所述色彩影像及所述紅外線影像，以根據所述紅外線影像的所述部分細節的引導，調整所述色彩影像的所述部分細節，而獲得具備所述攝像場景的完整細節的場景影像。
  10. 如請求項9所述的方法，其中識別所述雙感測器攝像系統的所述攝像場景的步驟包括： 控制所述至少一色彩感測器及所述至少一紅外線感測器中的至少一者採用標準拍攝條件擷取所述攝像場景的至少一標準影像，並使用所述至少一標準影像識別所述攝像場景。
  11. 如請求項9所述的方法，其中在識別所述雙感測器攝像系統的所述攝像場景的步驟之後，更包括： 在所識別的攝像場景包括缺乏紋理細節的至少一個缺陷區域時，以增加所述缺陷區域的所述紋理細節為目標決定各所述拍攝條件的所述曝光時間及所述感光度。
  12. 如請求項11所述的方法，其中以增加所述缺陷區域的所述紋理細節為目標決定各所述拍攝條件的所述曝光時間及所述感光度的步驟包括： 在所識別的攝像場景包括缺乏紋理細節的至少一個暗部區域時，基於所述標準拍攝條件的所述曝光時間及所述感光度，以增加所述曝光時間及所述感光度至少其中之一的方式，決定各所述拍攝條件的所述曝光時間及所述感光度。
  13. 如請求項11所述的方法，其中以增加所述缺陷區域的所述紋理細節為目標決定各所述拍攝條件的所述曝光時間及所述感光度的步驟包括： 在所識別的攝像場景包括缺乏紋理細節的至少一個亮部區域時，基於所述標準拍攝條件的所述曝光時間及所述感光度，以減少所述曝光時間及所述感光度至少其中之一的方式，決定各所述拍攝條件的所述曝光時間及所述感光度。
  14. 如請求項11所述的方法，其中所述雙感測器攝像系統更包括紅外線投射器，且所述方法更包括： 控制所述紅外線投射器投射紅外光，以增加所述至少一紅外線感測器所擷取之所述紅外線影像中的所述紋理細節。
  15. 如請求項11所述的方法，更包括： 判斷各所述紅外線影像是否包括所述缺陷區域的所述紋理細節；以及 在所述紅外線影像均未包括所述紋理細節時，控制所述至少一色彩感測器採用較所選擇的所述色彩影像的曝光時間長或短的多個曝光時擷取多張色彩影像並執行高動態範圍處理，以生成具備所述缺陷區域的所述紋理細節的所述場景影像。
  16. 如請求項9所述的方法，其中所述特徵域轉換包括色彩空間轉換或梯度轉換。
TW109145632A 2020-09-04 2020-12-23 雙感測器攝像系統及其攝像方法 TWI767468B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/216,639 US11568526B2 (en) 2020-09-04 2021-03-29 Dual sensor imaging system and imaging method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063074477P 2020-09-04 2020-09-04
US63/074,477 2020-09-04

Publications (2)

Publication Number Publication Date
TW202211674A TW202211674A (zh) 2022-03-16
TWI767468B true TWI767468B (zh) 2022-06-11

Family

ID=80438521

Family Applications (5)

Application Number Title Priority Date Filing Date
TW109145632A TWI767468B (zh) 2020-09-04 2020-12-23 雙感測器攝像系統及其攝像方法
TW109145614A TWI778476B (zh) 2020-09-04 2020-12-23 雙感測器攝像系統及其攝像方法
TW109146764A TWI764484B (zh) 2020-09-04 2020-12-30 雙感測器攝像系統及其校準方法
TW109146922A TWI767484B (zh) 2020-09-04 2020-12-30 雙感測器攝像系統及其深度圖計算方法
TW109146831A TWI797528B (zh) 2020-09-04 2020-12-30 雙感測器攝像系統及其隱私保護攝像方法

Family Applications After (4)

Application Number Title Priority Date Filing Date
TW109145614A TWI778476B (zh) 2020-09-04 2020-12-23 雙感測器攝像系統及其攝像方法
TW109146764A TWI764484B (zh) 2020-09-04 2020-12-30 雙感測器攝像系統及其校準方法
TW109146922A TWI767484B (zh) 2020-09-04 2020-12-30 雙感測器攝像系統及其深度圖計算方法
TW109146831A TWI797528B (zh) 2020-09-04 2020-12-30 雙感測器攝像系統及其隱私保護攝像方法

Country Status (2)

Country Link
CN (5) CN114143443B (zh)
TW (5) TWI767468B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091341B (zh) * 2022-12-15 2024-04-02 南京信息工程大学 一种低光图像的曝光差增强方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102461156A (zh) * 2009-06-03 2012-05-16 弗莱尔***公司 用于双传感器应用的红外相机***和方法
CN107431760A (zh) * 2015-03-31 2017-12-01 富士胶片株式会社 摄像装置、摄像装置的图像处理方法以及程序

Family Cites Families (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004246252A (ja) * 2003-02-17 2004-09-02 Takenaka Komuten Co Ltd 画像情報収集装置及び方法
JP2005091434A (ja) * 2003-09-12 2005-04-07 Noritsu Koki Co Ltd 位置調整方法およびこの方法を用いた傷補正機能付き画像読取装置
JP4244018B2 (ja) * 2004-03-25 2009-03-25 ノーリツ鋼機株式会社 欠陥画素修正方法、プログラム及びその方法を実施する欠陥画素修正システム
JP4341680B2 (ja) * 2007-01-22 2009-10-07 セイコーエプソン株式会社 プロジェクタ
US9307212B2 (en) * 2007-03-05 2016-04-05 Fotonation Limited Tone mapping for low-light video frame enhancement
WO2009151903A2 (en) * 2008-05-20 2009-12-17 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with hetergeneous imagers
US8866920B2 (en) * 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
CN101404060B (zh) * 2008-11-10 2010-06-30 北京航空航天大学 一种基于可见光与近红外Gabor信息融合的人脸识别方法
US8681216B2 (en) * 2009-03-12 2014-03-25 Hewlett-Packard Development Company, L.P. Depth-sensing camera system
US20120154596A1 (en) * 2009-08-25 2012-06-21 Andrew Augustine Wajs Reducing noise in a color image
US8478123B2 (en) * 2011-01-25 2013-07-02 Aptina Imaging Corporation Imaging devices having arrays of image sensors and lenses with multiple aperture sizes
JP2013115679A (ja) * 2011-11-30 2013-06-10 Fujitsu General Ltd 撮像装置
US10848731B2 (en) * 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
TW201401186A (zh) * 2012-06-25 2014-01-01 Psp Security Co Ltd 人臉判斷系統以及方法
JP5934375B2 (ja) * 2012-09-25 2016-06-15 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
KR102070778B1 (ko) * 2012-11-23 2020-03-02 엘지전자 주식회사 Rgb-ir 센서 및 이를 이용한 3차원 영상 획득 방법 및 장치
CN104995910B (zh) * 2012-12-21 2018-07-13 菲力尔***公司 利用融合的红外图像增强
TWM458748U (zh) * 2012-12-26 2013-08-01 Chunghwa Telecom Co Ltd 影像式深度資訊擷取裝置
JP6055681B2 (ja) * 2013-01-10 2016-12-27 株式会社 日立産業制御ソリューションズ 撮像装置
CN104661008B (zh) * 2013-11-18 2017-10-31 深圳中兴力维技术有限公司 低照度条件下彩色图像质量提升的处理方法和装置
CN104021548A (zh) * 2014-05-16 2014-09-03 中国科学院西安光学精密机械研究所 一种获取场景4d信息的方法
US9516295B2 (en) * 2014-06-30 2016-12-06 Aquifi, Inc. Systems and methods for multi-channel imaging based on multiple exposure settings
JP6450107B2 (ja) * 2014-08-05 2019-01-09 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
WO2016093070A1 (ja) * 2014-12-10 2016-06-16 ソニー株式会社 撮像装置、撮像方法、およびプログラム、並びに画像処理装置
WO2016192437A1 (zh) * 2015-06-05 2016-12-08 深圳奥比中光科技有限公司 一种3d图像捕获装置、捕获方法及3d图像***
JP2017011634A (ja) * 2015-06-26 2017-01-12 キヤノン株式会社 撮像装置およびその制御方法、並びにプログラム
CN105049829B (zh) * 2015-07-10 2018-12-25 上海图漾信息科技有限公司 滤光片、图像传感器、成像装置以及三维成像***
CN105069768B (zh) * 2015-08-05 2017-12-29 武汉高德红外股份有限公司 一种可见光图像与红外图像融合处理***及融合方法
US10523855B2 (en) * 2015-09-24 2019-12-31 Intel Corporation Infrared and visible light dual sensor imaging system
TW201721269A (zh) * 2015-12-11 2017-06-16 宏碁股份有限公司 自動曝光系統及其自動曝光方法
JP2017112401A (ja) * 2015-12-14 2017-06-22 ソニー株式会社 撮像素子、画像処理装置および方法、並びにプログラム
CN206117865U (zh) * 2016-01-16 2017-04-19 上海图漾信息科技有限公司 深度数据监控装置
JP2017163297A (ja) * 2016-03-09 2017-09-14 キヤノン株式会社 撮像装置
KR101747603B1 (ko) * 2016-05-11 2017-06-16 재단법인 다차원 스마트 아이티 융합시스템 연구단 컬러 나이트 비전 시스템 및 그 동작 방법
CN106815826A (zh) * 2016-12-27 2017-06-09 上海交通大学 基于场景识别的夜视图像彩色融合方法
CN108280807A (zh) * 2017-01-05 2018-07-13 浙江舜宇智能光学技术有限公司 单目深度图像采集装置和***及其图像处理方法
JP6974873B2 (ja) * 2017-02-06 2021-12-01 フォトニック センサーズ アンド アルゴリズムス，エセ．エレ． シーンから深度情報を取得するための装置および方法
CN111988587B (zh) * 2017-02-10 2023-02-07 杭州海康威视数字技术股份有限公司 图像融合设备和图像融合方法
CN109474770B (zh) * 2017-09-07 2021-09-14 华为技术有限公司 一种成像装置及成像方法
CN109712102B (zh) * 2017-10-25 2020-11-27 杭州海康威视数字技术股份有限公司 一种图像融合方法、装置及图像采集设备
CN107846537B (zh) * 2017-11-08 2019-11-26 维沃移动通信有限公司 一种摄像头组件、图像获取方法及移动终端
CN112788249B (zh) * 2017-12-20 2022-12-06 杭州海康威视数字技术股份有限公司 图像融合方法、装置、电子设备及计算机可读存储介质
US10748247B2 (en) * 2017-12-26 2020-08-18 Facebook, Inc. Computing high-resolution depth images using machine learning techniques
US10757320B2 (en) * 2017-12-28 2020-08-25 Waymo Llc Multiple operating modes to expand dynamic range
TWI661726B (zh) * 2018-01-09 2019-06-01 呂官諭 加強影像辨識清晰的影像感測器及其應用
CN110136183B (zh) * 2018-02-09 2021-05-18 华为技术有限公司 一种图像处理的方法、装置以及摄像装置
CN108965654B (zh) * 2018-02-11 2020-12-25 浙江宇视科技有限公司 基于单传感器的双光谱摄像机***和图像处理方法
CN110572583A (zh) * 2018-05-18 2019-12-13 杭州海康威视数字技术股份有限公司 拍摄图像的方法及摄像机
CN108961195B (zh) * 2018-06-06 2021-03-23 Oppo广东移动通信有限公司 图像处理方法及装置、图像采集装置、可读存储介质和计算机设备
JP6574878B2 (ja) * 2018-07-19 2019-09-11 キヤノン株式会社 画像処理装置及び画像処理方法、撮像装置、プログラム、並びに記憶媒体
JP7254461B2 (ja) * 2018-08-01 2023-04-10 キヤノン株式会社 撮像装置、制御方法、記録媒体、および、情報処理装置
CN109035193A (zh) * 2018-08-29 2018-12-18 成都臻识科技发展有限公司 一种基于双目立体相机的成像处理方法及成像处理***
US11689785B2 (en) * 2018-09-14 2023-06-27 Zhejiang Uniview Technologies Co., Ltd. Dual-spectrum image automatic exposure method and apparatus, and dual-spectrum image camera and machine storage medium
JP2020052001A (ja) * 2018-09-28 2020-04-02 パナソニックＩｐマネジメント株式会社 奥行取得装置、奥行取得方法およびプログラム
US11176694B2 (en) * 2018-10-19 2021-11-16 Samsung Electronics Co., Ltd Method and apparatus for active depth sensing and calibration method thereof
CN109636732B (zh) * 2018-10-24 2023-06-23 深圳先进技术研究院 一种深度图像的空洞修复方法以及图像处理装置
CN110248105B (zh) * 2018-12-10 2020-12-08 浙江大华技术股份有限公司 一种图像处理方法、摄像机及计算机存储介质
US11120536B2 (en) * 2018-12-12 2021-09-14 Samsung Electronics Co., Ltd Apparatus and method for determining image sharpness
WO2020168465A1 (zh) * 2019-02-19 2020-08-27 华为技术有限公司 一种图像处理的装置和方法
US10972649B2 (en) * 2019-02-27 2021-04-06 X Development Llc Infrared and visible imaging system for device identification and tracking
JP7316809B2 (ja) * 2019-03-11 2023-07-28 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、システム、及び、プログラム
CN110349117B (zh) * 2019-06-28 2023-02-28 重庆工商大学 一种红外图像与可见光图像融合方法、装置及存储介质
CN110706178B (zh) * 2019-09-30 2023-01-06 杭州海康威视数字技术股份有限公司 图像融合装置、方法、设备及存储介质
CN111524175A (zh) * 2020-04-16 2020-08-11 东莞市东全智能科技有限公司 非对称式多摄像头的深度重建及眼动追踪方法及***
CN111540003A (zh) * 2020-04-27 2020-08-14 浙江光珀智能科技有限公司 一种深度图像的生成方法及装置
CN111586314B (zh) * 2020-05-25 2021-09-10 浙江大华技术股份有限公司 一种图像融合方法、装置以及计算机存储介质
CN111383206B (zh) * 2020-06-01 2020-09-29 浙江大华技术股份有限公司 一种图像处理方法、装置、电子设备及存储介质
IN202021032940A (zh) * 2020-07-31 2020-08-28 .Us Priyadarsan

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102461156A (zh) * 2009-06-03 2012-05-16 弗莱尔***公司 用于双传感器应用的红外相机***和方法
CN107431760A (zh) * 2015-03-31 2017-12-01 富士胶片株式会社 摄像装置、摄像装置的图像处理方法以及程序

Also Published As

Publication number Publication date
CN114143420B (zh) 2024-05-03
TW202211673A (zh) 2022-03-16
TW202211160A (zh) 2022-03-16
TWI797528B (zh) 2023-04-01
CN114143418A (zh) 2022-03-04
CN114143419A (zh) 2022-03-04
TW202211161A (zh) 2022-03-16
CN114143421B (zh) 2024-04-05
TWI767484B (zh) 2022-06-11
CN114143421A (zh) 2022-03-04
CN114143419B (zh) 2023-12-26
CN114143418B (zh) 2023-12-01
CN114143443B (zh) 2024-04-05
CN114143420A (zh) 2022-03-04
TWI778476B (zh) 2022-09-21
TWI764484B (zh) 2022-05-11
CN114143443A (zh) 2022-03-04
TW202211165A (zh) 2022-03-16
TW202211674A (zh) 2022-03-16

Similar Documents

Publication Publication Date Title
US10397486B2 (en) Image capture apparatus and method executed by image capture apparatus
RU2565343C2 (ru) Устройство формирования изображений и способ управления
TWI454139B (zh) 高動態範圍轉換
TWI526068B (zh) 圖像擷取裝置及影像處理方法
US8106965B2 (en) Image capturing device which corrects a target luminance, based on which an exposure condition is determined
CN107846556B (zh) 成像方法、装置、移动终端和存储介质
US11689822B2 (en) Dual sensor imaging system and privacy protection imaging method thereof
US20110150357A1 (en) Method for creating high dynamic range image
US9036046B2 (en) Image processing apparatus and method with white balance correction
US11838648B2 (en) Image processing device, imaging apparatus, image processing method, and program for determining a condition for high dynamic range processing
US11496694B2 (en) Dual sensor imaging system and imaging method thereof
TWI767468B (zh) 雙感測器攝像系統及其攝像方法
JP2017152866A (ja) 画像処理装置及び画像処理方法
US11568526B2 (en) Dual sensor imaging system and imaging method thereof
WO2015192545A1 (zh) 拍照的方法、装置及计算机存储介质
US11496660B2 (en) Dual sensor imaging system and depth map calculation method thereof
US20210103201A1 (en) Flash metering for dual camera devices
JP6725105B2 (ja) 撮像装置及び画像処理方法
JP2014220701A (ja) 撮像装置及び撮像方法
JP2003259231A (ja) 自動露出制御装置及びそのプログラム
Leznik et al. Optimization of demanding scenarios in CMS and image quality criteria
JP2016005105A (ja) 撮像装置