TW202211160A - 雙感測器攝像系統及其校準方法 - Google Patents

雙感測器攝像系統及其校準方法 Download PDF

Info

Publication number
TW202211160A
TW202211160A TW109146764A TW109146764A TW202211160A TW 202211160 A TW202211160 A TW 202211160A TW 109146764 A TW109146764 A TW 109146764A TW 109146764 A TW109146764 A TW 109146764A TW 202211160 A TW202211160 A TW 202211160A
Authority
TW
Taiwan
Prior art keywords
infrared
image
color
sensor
test image
Prior art date
Application number
TW109146764A
Other languages
English (en)
Other versions
TWI764484B (zh
Inventor
彭詩淵
鄭書峻
黃旭鍊
李運錦
賴國銘
Original Assignee
聚晶半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聚晶半導體股份有限公司 filed Critical 聚晶半導體股份有限公司
Priority to US17/191,701 priority Critical patent/US11418719B2/en
Publication of TW202211160A publication Critical patent/TW202211160A/zh
Application granted granted Critical
Publication of TWI764484B publication Critical patent/TWI764484B/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/743Bracketing, i.e. taking a series of images with varying exposure conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Cameras In General (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Traffic Control Systems (AREA)
  • Air Bags (AREA)
  • Burglar Alarm Systems (AREA)
  • Measurement Of Optical Distance (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

一種雙感測器攝像系統及其校準方法。雙感測器攝像系統包括至少一個色彩感測器、至少一個紅外線感測器、儲存裝置及處理器。處理器經配置以載入並執行儲存在儲存裝置中的電腦程式以:控制色彩感測器及紅外線感測器採用多個拍攝條件分別擷取一攝像場景的多張色彩影像及多張紅外線影像;計算在各拍攝條件下擷取的色彩影像的多個色彩影像參數以及在各拍攝條件下擷取的紅外線影像的多個紅外線影像參數,用以計算色彩影像的亮度及紅外線影像的亮度之間的差異;以及根據所計算的差異,決定適於色彩感測器及紅外線感測器的曝光設定。

Description

雙感測器攝像系統及其校準方法
本發明是有關於一種攝像系統及方法,且特別是有關於一種雙感測器攝像系統及其校準方法。
相機的曝光條件(包括光圈、快門、感光度)會影響所拍攝影像的品質,因此許多相機在拍攝影像的過程中會自動調整曝光條件,以獲得清晰且明亮的影像。然而,在低光源或是背光等高反差的場景中,相機調整曝光條件的結果可能會產生雜訊過高或是部分區域過曝的結果,無法兼顧所有區域的影像品質。
對此,目前技術有採用一種新的影像感測器架構,其是利用紅外線(IR)感測器高光敏感度的特性,在影像感測器的色彩像素中穿插配置IR像素,以輔助亮度偵測。舉例來說,圖1是習知使用影像感測器擷取影像的示意圖。請參照圖1,習知的影像感測器10中除了配置有紅(R)、綠(G)、藍(B)等顏色像素外,還穿插配置有紅外線(I)像素。藉此,影像感測器10能夠將R、G、B顏色像素所擷取的色彩資訊12與I像素所擷取的亮度資訊14結合,而獲得色彩及亮度適中的影像16。
然而,在上述單一影像感測器的架構下,影像感測器中每個像素的曝光條件相同,因此只能選擇較適用於顏色像素或紅外線像素的曝光條件來擷取影像,結果仍無法有效地利用兩種像素的特性來改善所擷取影像的影像品質。
本發明提供一種雙感測器攝像系統及其校準方法,利用獨立配置的色彩及紅外線感測器分別擷取不同拍攝條件下的多張影像,據以進行影像對位及亮度匹配,並應用於後續擷取的影像,藉此可提高所擷取影像的影像品質。
本發明的雙感測器攝像系統包括至少一個色彩感測器、至少一個紅外線感測器、儲存裝置以及耦接所述色彩感測器、紅外光感測器及儲存裝置的處理器。所述處理器經配置以載入並執行儲存在儲存裝置中的電腦程式以:控制色彩感測器及紅外線感測器採用多個拍攝條件分別擷取一攝像場景的多張色彩影像及多張紅外線影像;計算在各拍攝條件下擷取的色彩影像的多個色彩影像參數以及在各拍攝條件下擷取的紅外線影像的多個紅外線影像參數,用以計算色彩影像的亮度及紅外線影像的亮度之間的差異;以及根據所計算的差異,決定適於色彩感測器及紅外線感測器的曝光設定。
本發明的雙感測器攝像系統的校準方法,適用於包括至少一個色彩感測器、至少一個紅外線感測器及處理器的雙感測器攝像系統。所述方法包括下列步驟:控制色彩感測器及紅外線感測器採用多個拍攝條件分別擷取一攝像場景的多張色彩影像及多張紅外線影像;計算在各拍攝條件下擷取的色彩影像的多個色彩影像參數以及在各拍攝條件下擷取的紅外線影像的多個紅外線影像參數,用以計算色彩影像的亮度及紅外線影像的亮度之間的差異;以及根據所計算的差異,決定適於色彩感測器及紅外線感測器的曝光設定。
基於上述,本發明的雙感測器攝像系統及其校準方法,在獨立配置的色彩感測器及紅外線感測器上採用不同拍攝條件擷取多張影像,並根據這些影像中對應像素的位置關係和這些影像之間的亮度差異,決定適於色彩感測器及紅外線感測器的曝光及對位設定,用以對後續擷取的影像進行影像對位及亮度匹配,而可提高所攝影像的影像品質。
圖2是依照本發明一實施例所繪示的使用影像感測器擷取影像的示意圖。請參照圖2,本發明實施例的影像感測器20採用獨立配置色彩感測器22與紅外線(IR)感測器24的雙感測器架構,利用色彩感測器22與紅外線感測器24各自的特性,採用適於當前攝像場景的多個曝光條件分別擷取多張影像,並從中選擇曝光條件適當的色彩影像22a與紅外線影像24a,透過影像融合的方式,使用紅外線影像24a來補足色彩影像22a中缺乏的紋理細節,從而獲得色彩及紋理細節均佳的場景影像26。
圖3是依照本發明一實施例所繪示的雙感測器攝像系統的方塊圖。請參照圖3,本實施例的雙感測器攝像系統30可配置於手機、平板電腦、筆記型電腦、導航裝置、行車紀錄器、數位相機、數位攝影機等電子裝置中,用以提供攝像功能。雙感測器攝像系統30包括至少一個色彩感測器32、至少一個紅外線感測器34、儲存裝置36及處理器38,其功能分述如下:
色彩感測器32例如包括電荷耦合元件(Charge Coupled Device,CCD)、互補性氧化金屬半導體(Complementary Metal-Oxide Semiconductor,CMOS)元件或其他種類的感光元件,而可感測光線強度以產生攝像場景的影像。色彩感測器32例如是紅綠藍(RGB)影像感測器,其中包括紅(R)、綠(G)、藍(B)顏色像素,用以擷取攝像場景中的紅光、綠光、藍光等色彩資訊,並將這些色彩資訊合成以生成攝像場景的色彩影像。
紅外線感測器34例如包括CCD、CMOS元件或其他種類的感光元件,其經由調整感光元件的波長感測範圍,而能夠感測紅外光。紅外線感測器34例如是以上述感光元件作為像素來擷取攝像場景中的紅外光資訊,並將這些紅外光資訊合成以生成攝像場景的紅外線影像。
儲存裝置36例如是任意型式的固定式或可移動式隨機存取記憶體(Random Access Memory,RAM)、唯讀記憶體(Read-Only Memory,ROM)、快閃記憶體(Flash memory)、硬碟或類似元件或上述元件的組合,而用以儲存可由處理器38執行的電腦程式。在一些實施例中,儲存裝置36例如還可儲存由色彩感測器32所擷取的色彩影像及紅外線感測器34所擷取的紅外線影像。
處理器38例如是中央處理單元(Central Processing Unit,CPU),或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、微控制器(Microcontroller)、數位訊號處理器(Digital Signal Processor,DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits,ASIC)、可程式化邏輯裝置(Programmable Logic Device,PLD)或其他類似裝置或這些裝置的組合,本發明不在此限制。在本實施例中,處理器38可從儲存裝置36載入電腦程式,以執行本發明實施例的雙感測器攝像系統的校準方法。
基於色彩感測器32與紅外線感測器34的特性(例如解析度、波長範圍、視野(field of view,FOV))不同,本發明實施例提供一種校準方法,可在生產階段(production stage)對裝配在雙感測器攝像系統30上的色彩感測器32與紅外線感測器34進行校準,以平衡色彩感測器32與紅外線感測器34在不同拍攝條件下的差異,此校準結果將儲存於儲存裝置36,而可在後續執行階段(run stage)中用以作為對擷取影像進行調整的依據。
圖4是依照本發明一實施例所繪示的雙感測器攝像系統的校準方法的流程圖。請同時參照圖3及圖4,本實施例的方法適用於上述的雙感測器攝像系統30,適於在生產階段對雙感測器攝像系統30的色彩感測器32與紅外線感測器34進行校準,以下即搭配雙感測器攝像系統30的各項元件說明本實施例的校準方法的詳細步驟。
在步驟S402中,將至少一個色彩感測器32及至少一個紅外線感測器34裝配於雙感測器攝像系統30。其中,色彩感測器32及紅外線感測器34例如是由機械人裝配於影像感測器中,例如圖2所示的裝配在影像感測器20中的色彩感測器22與紅外線感測器24。
在步驟S404中,由處理器38執行色彩感測器32及紅外線感測器34之間對位的校準。其中,處理器38例如會執行暴力法(bruteforce)、光流法(optical flow)、單應性變換法(homography)或局部翹曲法(local warping)等影像對位演算法,以對色彩感測器32所擷取的色彩影像與紅外線感測器34所擷取的紅外線影像進行對位,後文將描述其詳細的實施方式。
在步驟S406中,由處理器38執行色彩感測器32及紅外線感測器34在不同拍攝條件下的亮度匹配的校準。其中,處理器38例如會計算在不同拍攝條件下擷取的色彩影像及紅外線影像之間的差異,據以決定適於色彩感測器32及紅外線感測器34的曝光設定,後文將描述其詳細的實施方式。
對於上述對位的校準,圖5是依照本發明一實施例所繪示的雙感測器攝像系統的對位校準方法的流程圖。請同時參照圖3及圖5,本實施例的方法適用於上述的雙感測器攝像系統30,以下即搭配雙感測器攝像系統30的各項元件說明本實施例的對位校準方法的詳細步驟。
在步驟S502中,由處理器38控制色彩感測器32及紅外線感測器34分別拍攝具有特殊圖案的測試圖(test chart),以獲得一色彩測試影像及一紅外線測試影像。其中,所述特殊圖案例如是黑白棋盤圖案,或是其他可明顯區別出特徵的圖案,在此不設限。
在步驟S504中,由處理器38偵測色彩測試影像及紅外線測試影像中的特殊圖案的多個特徵點。
在一些實施例中,處理器38例如會將每張色彩測試影像及紅外線測試影像切割為多個區塊,並執行一特徵偵測演算法以偵測各個區塊內的至少一個特徵點。其中,處理器38例如是根據自身的計算能力決定從各個區塊偵測出特徵點的數目,而所述的特徵偵測演算法例如是哈里斯邊角偵測法(Harris corner detection)。在一些實施例中,處理器38例如會選擇每個區塊中的邊緣像素,或是每個區塊中具有高區域偏離(local deviation)的像素,作為所偵測的特徵點,在此不設限。
在步驟S506中,由處理器38執行影像對位演算法以根據色彩測試影像及紅外線測試影像中相對應的特徵點之間的位置關係,計算色彩測試影像及紅外線測試影像之間的匹配關係,用以對後續擷取的色彩影像及紅外線影像進行對位。其中,在執行影像對位時,處理器38例如會取得色彩影像中的所有特徵點以及紅外線影像中的所有特徵點,從而針對這些特徵點執行影像對位演算法。
在一些實施例中,當所攝像場景為平面場景時,處理器38會針對從色彩測試影像中偵測出的特徵點中的一個指定特徵點,在紅外線測試影像中的對應位置移動一個包括多個像素的補丁(patch),來搜尋紅外線測試影像中對應於此指定特徵點的對應特徵點。其中,處理器38例如是以紅外線測試影像中對應於此指定特徵點的像素為中心,在其周圍移動補丁,並將位於補丁內的像素與色彩測試影像中位於指定特徵點周圍的像素進行比較,直到補丁內的像素與指定特徵點周圍的像素匹配(例如所有像素的像素值的差值總和小於預定門檻值)為止。最終,處理器38即可將達成匹配時補丁所在位置的中心點像素判定為對應於指定特徵點的對應特徵點。處理器38將重複執行上述匹配動作,直到獲得所有特徵點的對應關係。
之後,處理器38例如會執行隨機抽樣一致(RANdom SAmple Consensus,RANSAC)演算法以建立單應性變換矩陣(homography transformation matrix),如下:
Figure 02_image001
其中,(x ,y )代表色彩測試影像中的指定特徵點的位置,(x’ ,y’ )則代表紅外線測試影像中的對應特徵點的位置,a~h代表變數。處理器38例如會將色彩測試影像中的各個特徵點與紅外線測試影像中的對應特徵點的位置帶入上述的單應性變換矩陣求解,從而以所求得的解作為色彩測試影像及紅外線測試影像之間的匹配關係。
在一些實施例中,當所攝像場景為具有多個深度的場景時,由於色彩感測器32及紅外線感測器34之間具有視差(parallax),其所擷取的影像會有像差(aberration),因此需要針對不同深度的影像平面計算其匹配關係。此時,處理器38會利用色彩測試影像及紅外線測試影像計算攝像場景的多個深度,據以將攝像場景區分為不同深度的多個深度場景(例如區分為近景和遠景)。其中,處理器38例如會針對各個深度場景,建立一個二次方程式(quadratic equation),如下:
Figure 02_image003
其中,(x ,y )代表色彩測試影像中的指定特徵點的位置,(x’ ,y’ )則代表紅外線測試影像中的對應特徵點的位置,a~f代表變數。處理器38例如會將色彩測試影像中的各個特徵點與紅外線測試影像中的對應特徵點的位置帶入上述的二次方程式求解,從而以所求得的解作為色彩測試影像及紅外線測試影像之間的匹配關係。
另一方面,對於上述亮度匹配的校準,圖6是依照本發明一實施例所繪示的雙感測器攝像系統的亮度匹配校準方法的流程圖。請同時參照圖3及圖6,本實施例的方法適用於上述的雙感測器攝像系統30,以下即搭配雙感測器攝像系統30的各項元件說明本實施例的亮度匹配校準方法的詳細步驟。
在步驟S602中,由處理器38控制色彩感測器32及紅外線感測器34採用多個拍攝條件分別擷取一攝像場景的多張色彩影像及多張紅外線影像。所述的拍攝條件例如包括環境光(ambient light)的波長範圍、亮度,與攝像場景中的主體、背景的距離其中之一或其組合,在此不設限。
在步驟S604中,由處理器38計算在各拍攝條件下擷取的色彩影像的多個色彩影像參數以及在各拍攝條件下擷取的紅外線影像的多個紅外線影像參數,並用以計算色彩影像的亮度及紅外線影像的亮度之間的差異。
在一些實施例中,對於在不同拍攝條件下拍攝的影像,處理器38例如會計算每張影像的3A(包括自動對焦(Auto Focus,AF)、自動曝光(Auto Exposure,AE)、自動白平衡(Auto White Balance,AWB))統計值,並用以計算所述影像亮度之間的差異(例如為差值或比值)。
在一些實施例中,處理器38例如會將各張色彩影像及各張紅外線影像切割為多個區塊(block),並計算各個區塊內所有像素的像素值平均,從而計算相對應區塊的像素值平均的差異,用以作為色彩影像的亮度及紅外線影像的亮度之間的差異。
在一些實施例中,處理器38例如會計算各張色彩影像及各張紅外線影像的影像直方圖(histogram),從而計算色彩影像及紅外線影像的影像直方圖的差異,用以作為色彩影像的亮度及紅外線影像的亮度之間的差異。
回到圖6的流程,在步驟S606中,由處理器38根據所計算的差異,決定適於色彩感測器32及紅外線感測器34的曝光設定。
在一些實施例中,為了達到畫面同步,處理器38例如會控制色彩感測器32及紅外線感測器34採用相同的曝光時間分別擷取攝像場景的色彩影像及紅外線影像,並計算色彩影像及紅外線影像之間的亮度差異,從而計算用以調整色彩影像的亮度及/或紅外線影像的亮度的增益(gain)。即,處理器38會計算可補償色彩影像及紅外線影像的亮度差異的增益,其可以是針對色彩影像的增益、針對於紅外線影像的增益,或是針對上述兩者的增益,在此不設限。
舉例來說,若採用相同曝光時間擷取的色彩影像較亮,則可計算用以調整紅外線影像的亮度的增益,使得紅外線影像的亮度乘上該增益後,與色彩影像的亮度相當。所計算的增益例如會連同其對應的拍攝條件儲存於儲存裝置36中,從而在後續的執行階段中,每當擷取色彩影像和紅外線影像時,處理器38即可藉由識別拍攝條件,從儲存裝置36中取得應對於該拍攝條件的增益,並將所擷取的色彩影像或紅外線影像的像素值乘上所取得的增益,從而使得色彩影像的亮度能夠與紅外線影像的亮度匹配。
在一些實施例中,雙感測器攝像系統30中可額外配置一個紅外線投射器(IR projector),從而搭配紅外線感測器32來輔助處理器38計算雙感測器攝像系統30與攝像場景中的主體和背景之間的距離。
詳言之,圖7是依照本發明一實施例所繪示的雙感測器攝像系統的校準方法的流程圖。請同時參照圖3及圖7,本實施例的方法適用於上述的雙感測器攝像系統30,以下即搭配雙感測器攝像系統30的各項元件說明本實施例的校準方法的詳細步驟。
在步驟S702中,由處理器38控制紅外線投射器投射具有特殊圖案的不可見光至攝像場景。
在步驟S704中,由處理器38控制紅外線感測器32中的兩個紅外線感測器分別擷取具有特殊圖案的攝像場景的多張紅外線影像。
在步驟S706中,由處理器38根據所擷取的紅外線影像中的特殊圖案以及兩個紅外線感測器之間的視差(parallax),分別計算雙感測器攝像系統30與攝像場景中的主體和背景之間的距離。其中,由於由紅外線投射器投射到攝像場景的特殊圖案不易受到環境的影響,因此藉由上述方法可取得較精確的拍攝主體及/或背景的距離,並用以識別拍攝條件來作為後續進行影像補償的依據。
綜上所述,本發明的雙感測器攝像系統及其校準方法針對配置於雙感測器攝像系統上的色彩感測器與紅外線感測器,採用不同的拍攝條件分別擷取多張影像,從而對色彩感測器與紅外線感測器進行影像對位及亮度匹配的校準,並將校準結果用以作為對後續擷取影像進行調整的依據。藉此,可提高雙感測器攝像系統所擷取影像的影像品質。
10、20:影像感測器 12:色彩資訊 14:亮度資訊 16:影像 22:色彩感測器 22a:色彩影像 24:紅外線感測器 24a:紅外線影像 26:場景影像 30:雙感測器攝像系統 32:色彩感測器 34:紅外線感測器 36:儲存裝置 38:處理器 R、G、B、I:像素 S402~S406、S502~S506、S602~S606、S702~S706:步驟
圖1是習知使用影像感測器擷取影像的示意圖。 圖2是依照本發明一實施例所繪示的使用影像感測器擷取影像的示意圖。 圖3是依照本發明一實施例所繪示的雙感測器攝像系統的方塊圖。 圖4是依照本發明一實施例所繪示的雙感測器攝像系統的校準方法的流程圖。 圖5是依照本發明一實施例所繪示的雙感測器攝像系統的對位校準方法的流程圖。 圖6是依照本發明一實施例所繪示的雙感測器攝像系統的亮度匹配校準方法的流程圖。 圖7是依照本發明一實施例所繪示的雙感測器攝像系統的校準方法的流程圖。
30:雙感測器攝像系統
32:色彩感測器
34:紅外線感測器
36:儲存裝置
38:處理器

Claims (20)

  1. 一種雙感測器攝像系統,包括: 至少一色彩感測器; 至少一紅外線感測器; 儲存裝置,儲存電腦程式;以及 處理器,耦接所述至少一色彩感測器、所述至少一紅外光感測器及所述儲存裝置,經配置以載入並執行所述電腦程式以: 控制所述至少一色彩感測器及所述至少一紅外線感測器採用多個拍攝條件分別擷取一攝像場景的多張色彩影像及多張紅外線影像; 計算在各所述拍攝條件下擷取的所述色彩影像的多個色彩影像參數以及在各所述拍攝條件下擷取的所述紅外線影像的多個紅外線影像參數,用以計算所述色彩影像的亮度及所述紅外線影像的亮度之間的差異;以及 根據所計算的差異,決定適於所述至少一色彩感測器及所述至少一紅外線感測器的曝光設定。
  2. 如請求項1所述的雙感測器攝像系統,其中所述處理器包括: 將各所述色彩影像及各所述紅外線影像切割為多個區塊(block),並計算各所述區塊內所有像素的像素值平均;以及 計算相對應的所述區塊的所述像素值平均的差異作為所述色彩影像的亮度及所述紅外線影像的亮度之間的差異。
  3. 如請求項1所述的雙感測器攝像系統,其中所述處理器包括: 計算各所述色彩影像及各所述紅外線影像的影像直方圖(histogram);以及 計算所述色彩影像及所述紅外線影像的所述影像直方圖的差異作為所述色彩影像的亮度及所述紅外線影像的亮度之間的差異。
  4. 如請求項1所述的雙感測器攝像系統,其中所述處理器包括: 控制所述至少一色彩感測器及所述至少一紅外線感測器採用相同的曝光時間分別擷取所述攝像場景的所述色彩影像及所述紅外線影像;以及 根據所計算的所述色彩影像的亮度及所述紅外線影像的亮度之間的差異,計算用以調整所述色彩影像的亮度或所述紅外線影像的亮度的增益(gain)。
  5. 如請求項1所述的雙感測器攝像系統,其中所述處理器更包括: 控制所述至少一色彩感測器及所述至少一紅外線感測器分別拍攝具有特殊圖案的測試圖(test chart),以獲得一色彩測試影像及一紅外線測試影像; 偵測所述色彩測試影像及所述紅外線測試影像中的所述特殊圖案的多個特徵點;以及 執行影像對位演算法以根據所述色彩測試影像及所述紅外線測試影像中相對應的所述特徵點之間的位置關係,計算所述色彩測試影像及所述紅外線測試影像之間的匹配關係,用以對後續擷取的所述色彩影像及所述紅外線影像進行對位。
  6. 如請求項5所述的雙感測器攝像系統,其中所述處理器包括: 將所述色彩測試影像及所述紅外線測試影像切割為多個區塊,並執行一特徵偵測演算法以偵測各所述區塊內的至少一個所述特徵點,其中所述特徵偵測演算法包括哈里斯邊角偵測法(Harris corner detection)。
  7. 如請求項5所述的雙感測器攝像系統,其中所述處理器包括: 針對從所述色彩測試影像中偵測出的所述特徵點中的一指定特徵點,以所述紅外線測試影像中對應於所述指定特徵點的像素為中心移動包括多個像素的補丁(patch)來搜尋所述紅外線測試影像中對應於所述指定特徵點的對應特徵點;以及 執行隨機抽樣一致(RANdom SAmple Consensus,RANSAC)演算法以建立單應性變換矩陣(homography transformation matrix),並將所述色彩測試影像中的所述特徵點與所述紅外線測試影像中的所述對應特徵點的位置帶入所述單應性變換矩陣求解,而以所求得的解作為所述色彩測試影像及所述紅外線測試影像之間的所述匹配關係。
  8. 如請求項5所述的雙感測器攝像系統,其中所述處理器包括: 利用所述色彩測試影像及所述紅外線測試影像計算攝像場景的多個深度,據以將所述攝像場景區分為多個深度場景;以及 針對各所述深度場景建立二次方程式(quadratic equation),並將位於各所述深度場景內的所述色彩測試影像中的所述特徵點與所述紅外線測試影像中的所述對應特徵點的位置帶入對應的所述二次方程式求解,而以所求得的解作為所述色彩測試影像及所述紅外線測試影像之間的所述匹配關係。
  9. 如請求項5所述的雙感測器攝像系統,其中所述影像對位演算法包括暴力法(bruteforce)、光流法(optical flow)、單應性變換法(homography)或局部翹曲法(local warping)。
  10. 如請求項1所述的雙感測器攝像系統,更包括紅外線投射器(IR projector),其中所述處理器更包括: 控制所述紅外線投射器投射具有特殊圖案的不可見光至所述攝像場景; 控制所述至少一紅外線感測器中的兩個紅外線感測器分別擷取具有所述特殊圖案的攝像場景的多張紅外線影像;以及 根據所擷取的所述紅外線影像中的所述特殊圖案以及所述兩個紅外線感測器的視差(parallax),分別計算所述雙感測器攝像系統與所述攝像場景中的主體和背景之間的距離。
  11. 一種雙感測器攝像系統的校準方法,所述雙感測器攝像系統包括至少一色彩感測器、至少一紅外線感測器及處理器,所述方法包括下列步驟: 控制所述至少一色彩感測器及所述至少一紅外線感測器採用多個拍攝條件分別擷取一攝像場景的多張色彩影像及多張紅外線影像; 計算在各所述拍攝條件下擷取的所述色彩影像的多個色彩影像參數以及在各所述拍攝條件下擷取的所述紅外線影像的多個紅外線影像參數,用以計算所述色彩影像的亮度及所述紅外線影像的亮度之間的差異;以及 根據所計算的差異,決定適於所述至少一色彩感測器及所述至少一紅外線感測器的曝光設定。
  12. 如請求項11所述的方法,其中計算所述色彩影像的亮度及所述紅外線影像的亮度之間的差異的步驟包括: 將各所述色彩影像及各所述紅外線影像切割為多個區塊,並計算各所述區塊內所有像素的像素值平均;以及 計算相對應的所述區塊的所述像素值平均的差異作為所述色彩影像的亮度及所述紅外線影像的亮度之間的差異。
  13. 如請求項11所述的方法,其中計算所述色彩影像的亮度及所述紅外線影像的亮度之間的差異的步驟包括: 計算各所述色彩影像及各所述紅外線影像的影像直方圖;以及 計算所述色彩影像及所述紅外線影像的所述影像直方圖的差異作為所述色彩影像的亮度及所述紅外線影像的亮度之間的差異。
  14. 如請求項11所述的方法,更包括: 控制所述至少一色彩感測器及所述至少一紅外線感測器採用相同的曝光時間分別擷取所述攝像場景的所述色彩影像及所述紅外線影像;以及 根據所計算的所述色彩影像的亮度及所述紅外線影像的亮度之間的差異,計算用以調整所述色彩影像的亮度或所述紅外線影像的亮度的增益。
  15. 如請求項11所述的方法,更包括: 控制所述至少一色彩感測器及所述至少一紅外線感測器分別拍攝具有特殊圖案的測試圖,以獲得一色彩測試影像及一紅外線測試影像; 偵測所述色彩測試影像及所述紅外線測試影像中的所述特殊圖案的多個特徵點;以及 執行影像對位演算法以根據所述色彩測試影像及所述紅外線測試影像中相對應的所述特徵點之間的位置關係,計算所述色彩測試影像及所述紅外線測試影像之間的匹配關係,用以對後續擷取的所述色彩影像及所述紅外線影像進行對位。
  16. 如請求項15所述的方法,其中偵測所述色彩測試影像及所述紅外線測試影像中的所述特殊圖案的多個特徵點的步驟包括: 將所述色彩測試影像及所述紅外線測試影像切割為多個區塊,並執行一特徵偵測演算法以偵測各所述區塊內的至少一個所述特徵點,其中所述特徵偵測演算法包括哈里斯邊角偵測法。
  17. 如請求項15所述的方法,其中計算所述色彩測試影像及所述紅外線測試影像之間的匹配關係的步驟包括: 針對從所述色彩測試影像中偵測出的所述特徵點中的一指定特徵點,以所述紅外線測試影像中對應於所述指定特徵點的像素為中心移動包括多個像素的補丁來搜尋所述紅外線測試影像中對應於所述指定特徵點的對應特徵點;以及 執行隨機抽樣一致演算法以建立單應性變換矩陣,並將所述色彩測試影像中的所述特徵點與所述紅外線測試影像中的所述對應特徵點的位置帶入所述單應性變換矩陣求解,而以所求得的解作為所述色彩測試影像及所述紅外線測試影像之間的所述匹配關係。
  18. 如請求項15所述的方法,其中計算所述色彩測試影像及所述紅外線測試影像之間的匹配關係的步驟包括: 利用所述色彩測試影像及所述紅外線測試影像計算攝像場景的多個深度,據以將所述攝像場景區分為多個深度場景;以及 針對各所述深度場景建立二次方程式,並將位於各所述深度場景內的所述色彩測試影像中的所述特徵點與所述紅外線測試影像中的所述對應特徵點的位置帶入對應的所述二次方程式求解,而以所求得的解作為所述色彩測試影像及所述紅外線測試影像之間的所述匹配關係。
  19. 如請求項15所述的方法,其中所述影像對位演算法包括暴力法、光流法、單應性變換法或局部翹曲法。
  20. 如請求項11所述的方法,其中所述雙感測器攝像系統更包括紅外線投射器,所述方法更包括: 控制所述紅外線投射器投射具有特殊圖案的不可見光至所述攝像場景; 控制所述至少一紅外線感測器中的兩個紅外線感測器分別擷取具有所述特殊圖案的攝像場景的多張紅外線影像;以及 根據所擷取的所述紅外線影像中的所述特殊圖案以及所述兩個紅外線感測器的視差,分別計算所述方法與所述攝像場景中的主體和背景之間的距離。
TW109146764A 2020-09-04 2020-12-30 雙感測器攝像系統及其校準方法 TWI764484B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/191,701 US11418719B2 (en) 2020-09-04 2021-03-04 Dual sensor imaging system and calibration method which includes a color sensor and an infrared ray sensor to perform image alignment and brightness matching

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063074477P 2020-09-04 2020-09-04
US63/074,477 2020-09-04

Publications (2)

Publication Number Publication Date
TW202211160A true TW202211160A (zh) 2022-03-16
TWI764484B TWI764484B (zh) 2022-05-11

Family

ID=80438521

Family Applications (5)

Application Number Title Priority Date Filing Date
TW109145614A TWI778476B (zh) 2020-09-04 2020-12-23 雙感測器攝像系統及其攝像方法
TW109145632A TWI767468B (zh) 2020-09-04 2020-12-23 雙感測器攝像系統及其攝像方法
TW109146764A TWI764484B (zh) 2020-09-04 2020-12-30 雙感測器攝像系統及其校準方法
TW109146831A TWI797528B (zh) 2020-09-04 2020-12-30 雙感測器攝像系統及其隱私保護攝像方法
TW109146922A TWI767484B (zh) 2020-09-04 2020-12-30 雙感測器攝像系統及其深度圖計算方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
TW109145614A TWI778476B (zh) 2020-09-04 2020-12-23 雙感測器攝像系統及其攝像方法
TW109145632A TWI767468B (zh) 2020-09-04 2020-12-23 雙感測器攝像系統及其攝像方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
TW109146831A TWI797528B (zh) 2020-09-04 2020-12-30 雙感測器攝像系統及其隱私保護攝像方法
TW109146922A TWI767484B (zh) 2020-09-04 2020-12-30 雙感測器攝像系統及其深度圖計算方法

Country Status (2)

Country Link
CN (5) CN114143418B (zh)
TW (5) TWI778476B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091341B (zh) * 2022-12-15 2024-04-02 南京信息工程大学 一种低光图像的曝光差增强方法及装置

Family Cites Families (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004246252A (ja) * 2003-02-17 2004-09-02 Takenaka Komuten Co Ltd 画像情報収集装置及び方法
JP2005091434A (ja) * 2003-09-12 2005-04-07 Noritsu Koki Co Ltd 位置調整方法およびこの方法を用いた傷補正機能付き画像読取装置
JP4244018B2 (ja) * 2004-03-25 2009-03-25 ノーリツ鋼機株式会社 欠陥画素修正方法、プログラム及びその方法を実施する欠陥画素修正システム
JP4341680B2 (ja) * 2007-01-22 2009-10-07 セイコーエプソン株式会社 プロジェクタ
US9307212B2 (en) * 2007-03-05 2016-04-05 Fotonation Limited Tone mapping for low-light video frame enhancement
KR101733443B1 (ko) * 2008-05-20 2017-05-10 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
US8866920B2 (en) * 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
CN101404060B (zh) * 2008-11-10 2010-06-30 北京航空航天大学 一种基于可见光与近红外Gabor信息融合的人脸识别方法
US8749635B2 (en) * 2009-06-03 2014-06-10 Flir Systems, Inc. Infrared camera systems and methods for dual sensor applications
US8681216B2 (en) * 2009-03-12 2014-03-25 Hewlett-Packard Development Company, L.P. Depth-sensing camera system
US20120154596A1 (en) * 2009-08-25 2012-06-21 Andrew Augustine Wajs Reducing noise in a color image
US8478123B2 (en) * 2011-01-25 2013-07-02 Aptina Imaging Corporation Imaging devices having arrays of image sensors and lenses with multiple aperture sizes
JP2013115679A (ja) * 2011-11-30 2013-06-10 Fujitsu General Ltd 撮像装置
US10848731B2 (en) * 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
TW201401186A (zh) * 2012-06-25 2014-01-01 Psp Security Co Ltd 人臉判斷系統以及方法
US20150245062A1 (en) * 2012-09-25 2015-08-27 Nippon Telegraph And Telephone Corporation Picture encoding method, picture decoding method, picture encoding apparatus, picture decoding apparatus, picture encoding program, picture decoding program and recording medium
KR102086509B1 (ko) * 2012-11-23 2020-03-09 엘지전자 주식회사 3차원 영상 획득 방법 및 장치
EP2936799B1 (en) * 2012-12-21 2018-10-17 Flir Systems, Inc. Time spaced infrared image enhancement
TWM458748U (zh) * 2012-12-26 2013-08-01 Chunghwa Telecom Co Ltd 影像式深度資訊擷取裝置
JP6055681B2 (ja) * 2013-01-10 2016-12-27 株式会社 日立産業制御ソリューションズ 撮像装置
CN104661008B (zh) * 2013-11-18 2017-10-31 深圳中兴力维技术有限公司 低照度条件下彩色图像质量提升的处理方法和装置
CN104021548A (zh) * 2014-05-16 2014-09-03 中国科学院西安光学精密机械研究所 一种获取场景4d信息的方法
US9516295B2 (en) * 2014-06-30 2016-12-06 Aquifi, Inc. Systems and methods for multi-channel imaging based on multiple exposure settings
JP6450107B2 (ja) * 2014-08-05 2019-01-09 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
CN107005639B (zh) * 2014-12-10 2020-04-14 索尼公司 图像拾取设备、图像拾取方法和图像处理设备
CN107431760B (zh) * 2015-03-31 2018-08-28 富士胶片株式会社 摄像装置、摄像装置的图像处理方法以及存储介质
WO2016192437A1 (zh) * 2015-06-05 2016-12-08 深圳奥比中光科技有限公司 一种3d图像捕获装置、捕获方法及3d图像***
JP2017011634A (ja) * 2015-06-26 2017-01-12 キヤノン株式会社 撮像装置およびその制御方法、並びにプログラム
CN105049829B (zh) * 2015-07-10 2018-12-25 上海图漾信息科技有限公司 滤光片、图像传感器、成像装置以及三维成像***
CN105069768B (zh) * 2015-08-05 2017-12-29 武汉高德红外股份有限公司 一种可见光图像与红外图像融合处理***及融合方法
US10523855B2 (en) * 2015-09-24 2019-12-31 Intel Corporation Infrared and visible light dual sensor imaging system
TW201721269A (zh) * 2015-12-11 2017-06-16 宏碁股份有限公司 自動曝光系統及其自動曝光方法
JP2017112401A (ja) * 2015-12-14 2017-06-22 ソニー株式会社 撮像素子、画像処理装置および方法、並びにプログラム
CN206117865U (zh) * 2016-01-16 2017-04-19 上海图漾信息科技有限公司 深度数据监控装置
JP2017163297A (ja) * 2016-03-09 2017-09-14 キヤノン株式会社 撮像装置
KR101747603B1 (ko) * 2016-05-11 2017-06-16 재단법인 다차원 스마트 아이티 융합시스템 연구단 컬러 나이트 비전 시스템 및 그 동작 방법
CN106815826A (zh) * 2016-12-27 2017-06-09 上海交通大学 基于场景识别的夜视图像彩色融合方法
CN108280807A (zh) * 2017-01-05 2018-07-13 浙江舜宇智能光学技术有限公司 单目深度图像采集装置和***及其图像处理方法
JP6974873B2 (ja) * 2017-02-06 2021-12-01 フォトニック センサーズ アンド アルゴリズムス,エセ.エレ. シーンから深度情報を取得するための装置および方法
CN108419062B (zh) * 2017-02-10 2020-10-02 杭州海康威视数字技术股份有限公司 图像融合设备和图像融合方法
CN109474770B (zh) * 2017-09-07 2021-09-14 华为技术有限公司 一种成像装置及成像方法
CN109712102B (zh) * 2017-10-25 2020-11-27 杭州海康威视数字技术股份有限公司 一种图像融合方法、装置及图像采集设备
CN107846537B (zh) * 2017-11-08 2019-11-26 维沃移动通信有限公司 一种摄像头组件、图像获取方法及移动终端
CN109951646B (zh) * 2017-12-20 2021-01-15 杭州海康威视数字技术股份有限公司 图像融合方法、装置、电子设备及计算机可读存储介质
US10748247B2 (en) * 2017-12-26 2020-08-18 Facebook, Inc. Computing high-resolution depth images using machine learning techniques
US10757320B2 (en) * 2017-12-28 2020-08-25 Waymo Llc Multiple operating modes to expand dynamic range
TWI661726B (zh) * 2018-01-09 2019-06-01 呂官諭 加強影像辨識清晰的影像感測器及其應用
CN110136183B (zh) * 2018-02-09 2021-05-18 华为技术有限公司 一种图像处理的方法、装置以及摄像装置
CN108965654B (zh) * 2018-02-11 2020-12-25 浙江宇视科技有限公司 基于单传感器的双光谱摄像机***和图像处理方法
CN110572583A (zh) * 2018-05-18 2019-12-13 杭州海康威视数字技术股份有限公司 拍摄图像的方法及摄像机
CN108961195B (zh) * 2018-06-06 2021-03-23 Oppo广东移动通信有限公司 图像处理方法及装置、图像采集装置、可读存储介质和计算机设备
JP6574878B2 (ja) * 2018-07-19 2019-09-11 キヤノン株式会社 画像処理装置及び画像処理方法、撮像装置、プログラム、並びに記憶媒体
JP7254461B2 (ja) * 2018-08-01 2023-04-10 キヤノン株式会社 撮像装置、制御方法、記録媒体、および、情報処理装置
CN109035193A (zh) * 2018-08-29 2018-12-18 成都臻识科技发展有限公司 一种基于双目立体相机的成像处理方法及成像处理***
PL3852350T3 (pl) * 2018-09-14 2024-06-10 Zhejiang Uniview Technologies Co., Ltd. Sposób oraz urządzenie do automatycznej ekspozycji dla obrazu w podwójnym spektrum, oraz kamera do obrazów w podwójnym spektrum oraz maszynowy nośnik pamięci
JP2020052001A (ja) * 2018-09-28 2020-04-02 パナソニックIpマネジメント株式会社 奥行取得装置、奥行取得方法およびプログラム
US11176694B2 (en) * 2018-10-19 2021-11-16 Samsung Electronics Co., Ltd Method and apparatus for active depth sensing and calibration method thereof
CN109636732B (zh) * 2018-10-24 2023-06-23 深圳先进技术研究院 一种深度图像的空洞修复方法以及图像处理装置
CN110248105B (zh) * 2018-12-10 2020-12-08 浙江大华技术股份有限公司 一种图像处理方法、摄像机及计算机存储介质
US11120536B2 (en) * 2018-12-12 2021-09-14 Samsung Electronics Co., Ltd Apparatus and method for determining image sharpness
WO2020168465A1 (zh) * 2019-02-19 2020-08-27 华为技术有限公司 一种图像处理的装置和方法
US10972649B2 (en) * 2019-02-27 2021-04-06 X Development Llc Infrared and visible imaging system for device identification and tracking
JP7316809B2 (ja) * 2019-03-11 2023-07-28 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、システム、及び、プログラム
CN110349117B (zh) * 2019-06-28 2023-02-28 重庆工商大学 一种红外图像与可见光图像融合方法、装置及存储介质
CN110706178B (zh) * 2019-09-30 2023-01-06 杭州海康威视数字技术股份有限公司 图像融合装置、方法、设备及存储介质
CN111524175A (zh) * 2020-04-16 2020-08-11 东莞市东全智能科技有限公司 非对称式多摄像头的深度重建及眼动追踪方法及***
CN111540003A (zh) * 2020-04-27 2020-08-14 浙江光珀智能科技有限公司 一种深度图像的生成方法及装置
CN111586314B (zh) * 2020-05-25 2021-09-10 浙江大华技术股份有限公司 一种图像融合方法、装置以及计算机存储介质
CN111383206B (zh) * 2020-06-01 2020-09-29 浙江大华技术股份有限公司 一种图像处理方法、装置、电子设备及存储介质
IN202021032940A (zh) * 2020-07-31 2020-08-28 .Us Priyadarsan

Also Published As

Publication number Publication date
CN114143443A (zh) 2022-03-04
TWI778476B (zh) 2022-09-21
CN114143418A (zh) 2022-03-04
TWI797528B (zh) 2023-04-01
CN114143421B (zh) 2024-04-05
TW202211674A (zh) 2022-03-16
CN114143420A (zh) 2022-03-04
TW202211673A (zh) 2022-03-16
CN114143421A (zh) 2022-03-04
CN114143443B (zh) 2024-04-05
CN114143419A (zh) 2022-03-04
TW202211161A (zh) 2022-03-16
CN114143419B (zh) 2023-12-26
CN114143418B (zh) 2023-12-01
TWI764484B (zh) 2022-05-11
TW202211165A (zh) 2022-03-16
TWI767484B (zh) 2022-06-11
CN114143420B (zh) 2024-05-03
TWI767468B (zh) 2022-06-11

Similar Documents

Publication Publication Date Title
KR100983037B1 (ko) 자동 화이트 밸런스 조정 방법
JP2014044345A (ja) 撮像装置
US10764550B2 (en) Image processing apparatus, image processing method, and storage medium
JP5848662B2 (ja) 画像処理装置およびその制御方法
JP2018041380A (ja) 画像処理装置、画像処理方法、及びプログラム
US11418719B2 (en) Dual sensor imaging system and calibration method which includes a color sensor and an infrared ray sensor to perform image alignment and brightness matching
US11838648B2 (en) Image processing device, imaging apparatus, image processing method, and program for determining a condition for high dynamic range processing
TWI764484B (zh) 雙感測器攝像系統及其校準方法
JP6702752B2 (ja) 画像処理装置、撮像装置、制御方法及びプログラム
JP2017138927A (ja) 画像処理装置、撮像装置およびそれらの制御方法、それらのプログラム
US11496660B2 (en) Dual sensor imaging system and depth map calculation method thereof
US20210360213A1 (en) Image processing apparatus, image processing method, and storage medium
JP2012085093A (ja) 撮像装置および取得方法
JP6272006B2 (ja) 撮像装置、画像処理方法及びプログラム
US12047678B2 (en) Image pickup system that performs automatic shooting using multiple image pickup apparatuses, image pickup apparatus, control method therefor, and storage medium
JP6337434B2 (ja) 画像処理装置及び撮像装置
US11843867B2 (en) Imaging apparatus, imaging method, and storage medium for correcting brightness of an image based on a predetermined value of exposure
US20230209187A1 (en) Image pickup system that performs automatic shooting using multiple image pickup apparatuses, image pickup apparatus, control method therefor, and storage medium
US20240163568A1 (en) Image capturing apparatus that generates images that can be depth-combined, method of controlling same, and storage medium
CN117135474A (zh) 图像白平衡增益计算方法、白平衡处理方法、装置及芯片
US9936158B2 (en) Image processing apparatus, method and program
JP6508889B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP2013219561A (ja) 撮像装置、その制御方法及びプログラム
JP2019106215A (ja) データ処理装置、撮像装置、およびデータ処理方法
JP2018121369A (ja) 画像処理装置及び撮像装置