CN114143421A - 双传感器摄像***及其校准方法 - Google Patents

双传感器摄像***及其校准方法 Download PDF

Info

Publication number
CN114143421A
CN114143421A CN202011625552.3A CN202011625552A CN114143421A CN 114143421 A CN114143421 A CN 114143421A CN 202011625552 A CN202011625552 A CN 202011625552A CN 114143421 A CN114143421 A CN 114143421A
Authority
CN
China
Prior art keywords
image
infrared
color
sensor
test image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011625552.3A
Other languages
English (en)
Other versions
CN114143421B (zh
Inventor
彭诗渊
郑书峻
黄旭鍊
李运锦
赖国铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Altek Semiconductor Corp
Original Assignee
Altek Semiconductor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Altek Semiconductor Corp filed Critical Altek Semiconductor Corp
Publication of CN114143421A publication Critical patent/CN114143421A/zh
Application granted granted Critical
Publication of CN114143421B publication Critical patent/CN114143421B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Cameras In General (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Traffic Control Systems (AREA)
  • Air Bags (AREA)
  • Burglar Alarm Systems (AREA)
  • Measurement Of Optical Distance (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

一种双传感器摄像***及其校准方法。双传感器摄像***包括至少一个色彩传感器、至少一个红外线传感器、存储装置及处理器。处理器经配置以加载并执行存储在存储装置中的计算机程序以：控制色彩传感器及红外线传感器采用多个拍摄条件分别获取一摄像场景的多张色彩图像及多张红外线图像；计算在各拍摄条件下获取的色彩图像的多个色彩图像参数以及在各拍摄条件下获取的红外线图像的多个红外线图像参数，用以计算色彩图像的亮度及红外线图像的亮度之间的差异；以及根据所计算的差异，决定适于色彩传感器及红外线传感器的曝光设定。

Description

双传感器摄像***及其校准方法
技术领域
本公开涉及一种摄像***及方法，尤其涉及一种双传感器摄像***及其校准方法。
背景技术
相机的曝光条件(包括光圈、快门、感亮度)会影响所拍摄图像的质量，因此许多相机在拍摄图像的过程中会自动调整曝光条件，以获得清晰且明亮的图像。然而，在低光源或是背光等高反差的场景中，相机调整曝光条件的结果可能会产生噪声过高或是部分区域过曝的结果，无法兼顾所有区域的图像质量。
对此，目前技术有采用一种新的图像传感器架构，其是利用红外线(IR)传感器高光敏感度的特性，在图像传感器的色彩像素中穿插配置IR像素，以辅助亮度检测。举例来说，图1是现有使用图像传感器获取图像的示意图。请参照图1，现有的图像传感器10中除了配置有红(R)、绿(G)、蓝(B)等颜色像素外，还穿插配置有红外线(I)像素。因此，图像传感器10能够将R、G、B颜色像素所获取的色彩信息12与I像素所获取的亮度信息14结合，而获得色彩及亮度适中的图像16。
然而，在上述单一图像传感器的架构下，图像传感器中每个像素的曝光条件相同，因此只能选择较适用于颜色像素或红外线像素的曝光条件来获取图像，结果仍无法有效地利用两种像素的特性来改善所获取图像的图像质量。
发明内容
本发明提供一种双传感器摄像***及其校准方法，利用独立配置的色彩及红外线传感器分别获取不同拍摄条件下的多张图像，据以进行图像对准及亮度匹配，并应用于后续获取的图像，因此可提高所获取图像的图像质量。
本发明的双传感器摄像***包括至少一个色彩传感器、至少一个红外线传感器、存储装置以及耦接所述色彩传感器、红外光传感器及存储装置的处理器。所述处理器经配置以加载并执行存储在存储装置中的计算机程序以：控制色彩传感器及红外线传感器采用多个拍摄条件分别获取一摄像场景的多张色彩图像及多张红外线图像；计算在各拍摄条件下获取的色彩图像的多个色彩图像参数以及在各拍摄条件下获取的红外线图像的多个红外线图像参数，用以计算色彩图像的亮度及红外线图像的亮度之间的差异；以及根据所计算的差异，决定适于色彩传感器及红外线传感器的曝光设定。
本发明的双传感器摄像***的校准方法，适用于包括至少一个色彩传感器、至少一个红外线传感器及处理器的双传感器摄像***。所述方法包括下列步骤：控制色彩传感器及红外线传感器采用多个拍摄条件分别获取一摄像场景的多张色彩图像及多张红外线图像；计算在各拍摄条件下获取的色彩图像的多个色彩图像参数以及在各拍摄条件下获取的红外线图像的多个红外线图像参数，用以计算色彩图像的亮度及红外线图像的亮度之间的差异；以及根据所计算的差异，决定适于色彩传感器及红外线传感器的曝光设定。
基于上述，本发明的双传感器摄像***及其校准方法，在独立配置的色彩传感器及红外线传感器上采用不同拍摄条件获取多张图像，并根据这些图像中对应像素的位置关系和这些图像之间的亮度差异，决定适于色彩传感器及红外线传感器的曝光及对准设定，用以对后续获取的图像进行图像对准及亮度匹配，而可提高所摄图像的图像质量。
为让本公开能还明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1是现有使用图像传感器获取图像的示意图；
图2是依照本发明一实施例所示出的使用图像传感器获取图像的示意图；
图3是依照本发明一实施例所示出的双传感器摄像***的方块图；
图4是依照本发明一实施例所示出的双传感器摄像***的校准方法的流程图；
图5是依照本发明一实施例所示出的双传感器摄像***的对准校准方法的流程图；
图6是依照本发明一实施例所示出的双传感器摄像***的亮度匹配校准方法的流程图；
图7是依照本发明一实施例所示出的双传感器摄像***的校准方法的流程图。
符号说明
10、20：图像传感器
12：色彩信息
14：亮度信息
16：图像
22：色彩传感器
22a：色彩图像
24：红外线传感器
24a：红外线图像
26：场景图像
30：双传感器摄像***
32：色彩传感器
34：红外线传感器
36：存储装置
38：处理器
R、G、B、I：像素
S402～S406、S502～S506、S602～S606、S702～S706：步骤
具体实施方式
图2是依照本发明一实施例所示出的使用图像传感器获取图像的示意图。请参照图2，本发明实施例的图像传感器20采用独立配置色彩传感器22与红外线(IR)传感器24的双传感器架构，利用色彩传感器22与红外线传感器24各自的特性，采用适于当前摄像场景的多个曝光条件分别获取多张图像，并从中选择曝光条件适当的色彩图像22a与红外线图像24a，通过图像融合的方式，使用红外线图像24a来补足色彩图像22a中缺乏的纹理细节，从而获得色彩及纹理细节均佳的场景图像26。
图3是依照本发明一实施例所示出的双传感器摄像***的方块图。请参照图3，本实施例的双传感器摄像***30可配置于手机、平板计算机、笔记本电脑、导航装置、行车纪录器、数字相机、数字摄影机等电子装置中，用以提供摄像功能。双传感器摄像***30包括至少一个色彩传感器32、至少一个红外线传感器34、存储装置36及处理器38，其功能分述如下：
色彩传感器32例如包括电荷耦合器件(Charge Coupled Device，CCD)、互补金属氧化物半导体(Complementary Metal-Oxide Semiconductor，CMOS)器件或其他种类的感光器件，而可感测光线强度以产生摄像场景的图像。色彩传感器32例如是红绿蓝(RGB)图像传感器，其中包括红(R)、绿(G)、蓝(B)颜色像素，用以获取摄像场景中的红光、绿光、蓝光等色彩信息，并将这些色彩信息合成以生成摄像场景的色彩图像。
红外线传感器34例如包括CCD、CMOS器件或其他种类的感光器件，其经由调整感光器件的波长感测范围，而能够感测红外光。红外线传感器34例如是以上述感光器件作为像素来获取摄像场景中的红外光信息，并将这些红外光信息合成以生成摄像场景的红外线图像。
存储装置36例如是任意型式的固定式或可移动式随机存取存储器(RandomAccess Memory，RAM)、只读存储器(Read-Only Memory，ROM)、闪存(Flash memory)、硬盘或类似器件或上述器件的组合，而用以存储可由处理器38执行的计算机程序。在一些实施例中，存储装置36例如还可存储由色彩传感器32所获取的色彩图像及红外线传感器34所获取的红外线图像。
处理器38例如是中央处理器(Central Processing Unit，CPU)，或是其他可编程的一般用途或特殊用途的微处理器(Microprocessor)、微控制器(Microcontroller)、数字信号处理器(Digital Signal Processor，DSP)、可编程控制器、专用集成电路(Application Specific Integrated Circuits，ASIC)、可编程逻辑器件(ProgrammableLogic Device，PLD)或其他类似装置或这些装置的组合，本发明不在此限制。在本实施例中，处理器38可从存储装置36加载计算机程序，以执行本发明实施例的双传感器摄像***的校准方法。
基于色彩传感器32与红外线传感器34的特性(例如分辨率、波长范围、视野(fieldof view，FOV))不同，本发明实施例提供一种校准方法，可在生产阶段(production stage)对装配在双传感器摄像***30上的色彩传感器32与红外线传感器34进行校准，以平衡色彩传感器32与红外线传感器34在不同拍摄条件下的差异，此校准结果将存储于存储装置36，而可在后续运行时间(run stage)中用以作为对获取图像进行调整的依据。
图4是依照本发明一实施例所示出的双传感器摄像***的校准方法的流程图。请同时参照图3及图4，本实施例的方法适用于上述的双传感器摄像***30，适于在生产阶段对双传感器摄像***30的色彩传感器32与红外线传感器34进行校准，以下即搭配双传感器摄像***30的各项器件说明本实施例的校准方法的详细步骤。
在步骤S402中，将至少一个色彩传感器32及至少一个红外线传感器34装配于双传感器摄像***30。其中，色彩传感器32及红外线传感器34例如是由机械人装配于图像传感器中，例如图2所示的装配在图像传感器20中的色彩传感器22与红外线传感器24。
在步骤S404中，由处理器38执行色彩传感器32及红外线传感器34之间对准的校准。其中，处理器38例如会执行暴力法(bruteforce)、光流法(optical flow)、单应性变换法(homography)或局部翘曲法(local warping)等图像对准算法，以对色彩传感器32所获取的色彩图像与红外线传感器34所获取的红外线图像进行对准，后文将描述其详细的实施方式。
在步骤S406中，由处理器38执行色彩传感器32及红外线传感器34在不同拍摄条件下的亮度匹配的校准。其中，处理器38例如会计算在不同拍摄条件下获取的色彩图像及红外线图像之间的差异，据以决定适于色彩传感器32及红外线传感器34的曝光设定，后文将描述其详细的实施方式。
对于上述对准的校准，图5是依照本发明一实施例所示出的双传感器摄像***的对准校准方法的流程图。请同时参照图3及图5，本实施例的方法适用于上述的双传感器摄像***30，以下即搭配双传感器摄像***30的各项器件说明本实施例的对准校准方法的详细步骤。
在步骤S502中，由处理器38控制色彩传感器32及红外线传感器34分别拍摄具有特殊图案的测试图(test chart)，以获得一色彩测试图像及一红外线测试图像。其中，所述特殊图案例如是黑白棋盘图案，或是其他可明显区别出特征的图案，在此不设限。
在步骤S504中，由处理器38检测色彩测试图像及红外线测试图像中的特殊图案的多个特征点。
在一些实施例中，处理器38例如会将每张色彩测试图像及红外线测试图像切割为多个块，并执行一特征检测算法以检测各个块内的至少一个特征点。其中，处理器38例如是根据自身的计算能力决定从各个块检测出特征点的数目，而所述的特征检测算法例如是哈里斯边角检测法(Harris corner detection)。在一些实施例中，处理器38例如会选择每个块中的边缘像素，或是每个块中具有高局域偏差(local deviation)的像素，作为所检测的特征点，在此不设限。
在步骤S506中，由处理器38执行图像对准算法以根据色彩测试图像及红外线测试图像中相对应的特征点之间的位置关系，计算色彩测试图像及红外线测试图像之间的匹配关系，用以对后续获取的色彩图像及红外线图像进行对准。其中，在执行图像对准时，处理器38例如会取得色彩图像中的所有特征点以及红外线图像中的所有特征点，从而针对这些特征点执行图像对准算法。
在一些实施例中，当所摄像场景为平面场景时，处理器38会针对从色彩测试图像中检测出的特征点中的一个指定特征点，在红外线测试图像中的对应位置移动一个包括多个像素的面片(patch)，来搜寻红外线测试图像中对应于此指定特征点的对应特征点。其中，处理器38例如是以红外线测试图像中对应于此指定特征点的像素为中心，在其周围移动面片，并将位于面片内的像素与色彩测试图像中位于指定特征点周围的像素进行比较，直到面片内的像素与指定特征点周围的像素匹配(例如所有像素的像素值的差值总和小于预定门坎值)为止。最终，处理器38即可将达成匹配时面片所在位置的中心点像素判定为对应于指定特征点的对应特征点。处理器38将重复执行上述匹配动作，直到获得所有特征点的对应关系。
之后，处理器38例如会执行随机抽样一致(RANdom SAmple Consensus，RANSAC)算法以建立单应性变换矩阵(homography transformation matrix)，如下：
Figure BDA0002874749470000071
其中，(x,y)代表色彩测试图像中的指定特征点的位置，(x’,y’)则代表红外线测试图像中的对应特征点的位置，a～h代表变量。处理器38例如会将色彩测试图像中的各个特征点与红外线测试图像中的对应特征点的位置带入上述的单应性变换矩阵求解，从而以所求得的解作为色彩测试图像及红外线测试图像之间的匹配关系。
在一些实施例中，当所摄像场景为具有多个深度的场景时，由于色彩传感器32及红外线传感器34之间具有视差(parallax)，其所获取的图像会有像差(aberration)，因此需要针对不同深度的图像平面计算其匹配关系。此时，处理器38会利用色彩测试图像及红外线测试图像计算摄像场景的多个深度，据以将摄像场景区分为不同深度的多个深度场景(例如区分为近景和远景)。其中，处理器38例如会针对各个深度场景，建立一个二次方程(quadratic equation)，如下：
Figure BDA0002874749470000072
其中，(x,y)代表色彩测试图像中的指定特征点的位置，(x’,y’)则代表红外线测试图像中的对应特征点的位置，a～f代表变量。处理器38例如会将色彩测试图像中的各个特征点与红外线测试图像中的对应特征点的位置带入上述的二次方程式求解，从而以所求得的解作为色彩测试图像及红外线测试图像之间的匹配关系。
另一方面，对于上述亮度匹配的校准，图6是依照本发明一实施例所示出的双传感器摄像***的亮度匹配校准方法的流程图。请同时参照图3及图6，本实施例的方法适用于上述的双传感器摄像***30，以下即搭配双传感器摄像***30的各项器件说明本实施例的亮度匹配校准方法的详细步骤。
在步骤S602中，由处理器38控制色彩传感器32及红外线传感器34采用多个拍摄条件分别获取一摄像场景的多张色彩图像及多张红外线图像。所述的拍摄条件例如包括环境光(ambient light)的波长范围、亮度，与摄像场景中的主体、背景的距离其中之一或其组合，在此不设限。
在步骤S604中，由处理器38计算在各拍摄条件下获取的色彩图像的多个色彩图像参数以及在各拍摄条件下获取的红外线图像的多个红外线图像参数，并用以计算色彩图像的亮度及红外线图像的亮度之间的差异。
在一些实施例中，对于在不同拍摄条件下拍摄的图像，处理器38例如会计算每张图像的3A(包括自动对焦(Auto Focus，AF)、自动曝光(Auto Exposure，AE)、自动白平衡(Auto White Balance，AWB))统计值，并用以计算所述图像亮度之间的差异(例如为差值或比值)。
在一些实施例中，处理器38例如会将各张色彩图像及各张红外线图像切割为多个块(block)，并计算各个块内所有像素的像素值平均，从而计算相对应块的像素值平均的差异，用以作为色彩图像的亮度及红外线图像的亮度之间的差异。
在一些实施例中，处理器38例如会计算各张色彩图像及各张红外线图像的图像直方图(histogram)，从而计算色彩图像及红外线图像的图像直方图的差异，用以作为色彩图像的亮度及红外线图像的亮度之间的差异。
回到图6的流程，在步骤S606中，由处理器38根据所计算的差异，决定适于色彩传感器32及红外线传感器34的曝光设定。
在一些实施例中，为了达到画面同步，处理器38例如会控制色彩传感器32及红外线传感器34采用相同的曝光时间分别获取摄像场景的色彩图像及红外线图像，并计算色彩图像及红外线图像之间的亮度差异，从而计算用以调整色彩图像的亮度和/或红外线图像的亮度的增益(gain)。即，处理器38会计算可补偿色彩图像及红外线图像的亮度差异的增益，其可以是针对色彩图像的增益、针对于红外线图像的增益，或是针对上述两者的增益，在此不设限。
举例来说，若采用相同曝光时间获取的色彩图像较亮，则可计算用以调整红外线图像的亮度的增益，使得红外线图像的亮度乘上该增益后，与色彩图像的亮度相当。所计算的增益例如会连同其对应的拍摄条件存储于存储装置36中，从而在后续的运行时间中，每当获取色彩图像和红外线图像时，处理器38即可通过识别拍摄条件，从存储装置36中取得应对于该拍摄条件的增益，并将所获取的色彩图像或红外线图像的像素值乘上所取得的增益，从而使得色彩图像的亮度能够与红外线图像的亮度匹配。
在一些实施例中，双传感器摄像***30中可额外配置一个红外线投射器(IRprojector)，从而搭配红外线传感器32来辅助处理器38计算双传感器摄像***30与摄像场景中的主体和背景之间的距离。
详言之，图7是依照本发明一实施例所示出的双传感器摄像***的校准方法的流程图。请同时参照图3及图7，本实施例的方法适用于上述的双传感器摄像***30，以下即搭配双传感器摄像***30的各项器件说明本实施例的校准方法的详细步骤。
在步骤S702中，由处理器38控制红外线投射器投射具有特殊图案的不可见光至摄像场景。
在步骤S704中，由处理器38控制红外线传感器32中的两个红外线传感器分别获取具有特殊图案的摄像场景的多张红外线图像。
在步骤S706中，由处理器38根据所获取的红外线图像中的特殊图案以及两个红外线传感器之间的视差(parallax)，分别计算双传感器摄像***30与摄像场景中的主体和背景之间的距离。其中，由于由红外线投射器投射到摄像场景的特殊图案不易受到环境的影响，因此通过上述方法可取得较精确的拍摄主体和/或背景的距离，并用以识别拍摄条件来作为后续进行图像补偿的依据。
综上所述，本发明的双传感器摄像***及其校准方法针对配置于双传感器摄像***上的色彩传感器与红外线传感器，采用不同的拍摄条件分别获取多张图像，从而对色彩传感器与红外线传感器进行图像对准及亮度匹配的校准，并将校准结果用以作为对后续获取图像进行调整的依据。因此，可提高双传感器摄像***所获取图像的图像质量。
然本公开已以实施例揭示如上，然其并非用以限定本公开，任何本领域技术人员，在不脱离本公开的精神和范围内，当可作些许的还动与润饰，因此本公开的保护范围当视后附的权利要求及其均等范围所界定的为准。

Claims (20)

1.一种双传感器摄像***，包括：
至少一色彩传感器；
至少一红外线传感器；
存储装置，存储计算机程序；以及
处理器，耦接所述至少一色彩传感器、所述至少一红外光传感器及所述存储装置，经配置以加载并执行所述计算机程序以：
控制所述至少一色彩传感器及所述至少一红外线传感器采用多个拍摄条件分别获取一摄像场景的多张色彩图像及多张红外线图像；
计算在各所述拍摄条件下获取的所述色彩图像的多个色彩图像参数以及在各所述拍摄条件下获取的所述红外线图像的多个红外线图像参数，用以计算所述色彩图像的亮度及所述红外线图像的亮度之间的差异；以及
根据所计算的差异，决定适于所述至少一色彩传感器及所述至少一红外线传感器的曝光设定。
2.根据权利要求1所述的双传感器摄像***，其中所述处理器包括：
将各所述色彩图像及各所述红外线图像切割为多个块，并计算各所述块内所有像素的像素值平均；以及
计算相对应的所述块的所述像素值平均的差异作为所述色彩图像的亮度及所述红外线图像的亮度之间的差异。
3.根据权利要求1所述的双传感器摄像***，其中所述处理器包括：
计算各所述色彩图像及各所述红外线图像的图像直方图；以及
计算所述色彩图像及所述红外线图像的所述图像直方图的差异作为所述色彩图像的亮度及所述红外线图像的亮度之间的差异。
4.根据权利要求1所述的双传感器摄像***，其中所述处理器包括：
控制所述至少一色彩传感器及所述至少一红外线传感器采用相同的曝光时间分别获取所述摄像场景的所述色彩图像及所述红外线图像；以及
根据所计算的所述色彩图像的亮度及所述红外线图像的亮度之间的差异，计算用以调整所述色彩图像的亮度或所述红外线图像的亮度的增益。
5.根据权利要求1所述的双传感器摄像***，其中所述处理器还包括：
控制所述至少一色彩传感器及所述至少一红外线传感器分别拍摄具有特殊图案的测试图，以获得一色彩测试图像及一红外线测试图像；
检测所述色彩测试图像及所述红外线测试图像中的所述特殊图案的多个特征点；以及
执行图像对准算法以根据所述色彩测试图像及所述红外线测试图像中相对应的所述特征点之间的位置关系，计算所述色彩测试图像及所述红外线测试图像之间的匹配关系，用以对后续获取的所述色彩图像及所述红外线图像进行对准。
6.根据权利要求5所述的双传感器摄像***，其中所述处理器包括：
将所述色彩测试图像及所述红外线测试图像切割为多个块，并执行一特征检测算法以检测各所述块内的至少一个所述特征点，其中所述特征检测算法包括哈里斯边角检测法。
7.根据权利要求5所述的双传感器摄像***，其中所述处理器包括：
针对从所述色彩测试图像中检测出的所述特征点中的一指定特征点，以所述红外线测试图像中对应于所述指定特征点的像素为中心移动包括多个像素的面片来搜寻所述红外线测试图像中对应于所述指定特征点的对应特征点；以及
执行随机抽样一致算法以建立单应性变换矩阵，并将所述色彩测试图像中的所述特征点与所述红外线测试图像中的所述对应特征点的位置带入所述单应性变换矩阵求解，而以所求得的解作为所述色彩测试图像及所述红外线测试图像之间的所述匹配关系。
8.根据权利要求5所述的双传感器摄像***，其中所述处理器包括：
利用所述色彩测试图像及所述红外线测试图像计算摄像场景的多个深度，据以将所述摄像场景区分为多个深度场景；以及
针对各所述深度场景建立二次方程式，并将位于各所述深度场景内的所述色彩测试图像中的所述特征点与所述红外线测试图像中的所述对应特征点的位置带入对应的所述二次方程式求解，而以所求得的解作为所述色彩测试图像及所述红外线测试图像之间的所述匹配关系。
9.根据权利要求5所述的双传感器摄像***，其中所述图像对准算法包括暴力法、光流法、单应性变换法或局部翘曲法。
10.根据权利要求1所述的双传感器摄像***，还包括红外线投射器，其中所述处理器还包括：
控制所述红外线投射器投射具有特殊图案的不可见光至所述摄像场景；
控制所述至少一红外线传感器中的两个红外线传感器分别获取具有所述特殊图案的摄像场景的多张红外线图像；以及
根据所获取的所述红外线图像中的所述特殊图案以及所述两个红外线传感器的视差，分别计算所述双传感器摄像***与所述摄像场景中的主体和背景之间的距离。
11.一种双传感器摄像***的校准方法，所述双传感器摄像***包括至少一色彩传感器、至少一红外线传感器及处理器，所述方法包括下列步骤：
控制所述至少一色彩传感器及所述至少一红外线传感器采用多个拍摄条件分别获取一摄像场景的多张色彩图像及多张红外线图像；
计算在各所述拍摄条件下获取的所述色彩图像的多个色彩图像参数以及在各所述拍摄条件下获取的所述红外线图像的多个红外线图像参数，用以计算所述色彩图像的亮度及所述红外线图像的亮度之间的差异；以及
根据所计算的差异，决定适于所述至少一色彩传感器及所述至少一红外线传感器的曝光设定。
12.根据权利要求11所述的方法，其中计算所述色彩图像的亮度及所述红外线图像的亮度之间的差异的步骤包括：
将各所述色彩图像及各所述红外线图像切割为多个块，并计算各所述块内所有像素的像素值平均；以及
计算相对应的所述块的所述像素值平均的差异作为所述色彩图像的亮度及所述红外线图像的亮度之间的差异。
13.根据权利要求11所述的方法，其中计算所述色彩图像的亮度及所述红外线图像的亮度之间的差异的步骤包括：
计算各所述色彩图像及各所述红外线图像的图像直方图；以及
计算所述色彩图像及所述红外线图像的所述图像直方图的差异作为所述色彩图像的亮度及所述红外线图像的亮度之间的差异。
14.根据权利要求11所述的方法，还包括：
控制所述至少一色彩传感器及所述至少一红外线传感器采用相同的曝光时间分别获取所述摄像场景的所述色彩图像及所述红外线图像；以及
根据所计算的所述色彩图像的亮度及所述红外线图像的亮度之间的差异，计算用以调整所述色彩图像的亮度或所述红外线图像的亮度的增益。
15.根据权利要求11所述的方法，还包括：
控制所述至少一色彩传感器及所述至少一红外线传感器分别拍摄具有特殊图案的测试图，以获得一色彩测试图像及一红外线测试图像；
检测所述色彩测试图像及所述红外线测试图像中的所述特殊图案的多个特征点；以及
执行图像对准算法以根据所述色彩测试图像及所述红外线测试图像中相对应的所述特征点之间的位置关系，计算所述色彩测试图像及所述红外线测试图像之间的匹配关系，用以对后续获取的所述色彩图像及所述红外线图像进行对准。
16.根据权利要求15所述的方法，其中检测所述色彩测试图像及所述红外线测试图像中的所述特殊图案的多个特征点的步骤包括：
将所述色彩测试图像及所述红外线测试图像切割为多个块，并执行一特征检测算法以检测各所述块内的至少一个所述特征点，其中所述特征检测算法包括哈里斯边角检测法。
17.根据权利要求15所述的方法，其中计算所述色彩测试图像及所述红外线测试图像之间的匹配关系的步骤包括：
针对从所述色彩测试图像中检测出的所述特征点中的一指定特征点，以所述红外线测试图像中对应于所述指定特征点的像素为中心移动包括多个像素的面片来搜寻所述红外线测试图像中对应于所述指定特征点的对应特征点；以及
执行随机抽样一致算法以建立单应性变换矩阵，并将所述色彩测试图像中的所述特征点与所述红外线测试图像中的所述对应特征点的位置带入所述单应性变换矩阵求解，而以所求得的解作为所述色彩测试图像及所述红外线测试图像之间的所述匹配关系。
18.根据权利要求15所述的方法，其中计算所述色彩测试图像及所述红外线测试图像之间的匹配关系的步骤包括：
利用所述色彩测试图像及所述红外线测试图像计算摄像场景的多个深度，据以将所述摄像场景区分为多个深度场景；以及
针对各所述深度场景建立二次方程式，并将位于各所述深度场景内的所述色彩测试图像中的所述特征点与所述红外线测试图像中的所述对应特征点的位置带入对应的所述二次方程式求解，而以所求得的解作为所述色彩测试图像及所述红外线测试图像之间的所述匹配关系。
19.根据权利要求15所述的方法，其中所述图像对准算法包括暴力法、光流法、单应性变换法或局部翘曲法。
20.根据权利要求11所述的方法，其中所述双传感器摄像***还包括红外线投射器，所述方法还包括：
控制所述红外线投射器投射具有特殊图案的不可见光至所述摄像场景；
控制所述至少一红外线传感器中的两个红外线传感器分别获取具有所述特殊图案的摄像场景的多张红外线图像；以及
根据所获取的所述红外线图像中的所述特殊图案以及所述两个红外线传感器的视差，分别计算所述方法与所述摄像场景中的主体和背景之间的距离。
CN202011625552.3A 2020-09-04 2020-12-30 双传感器摄像***及其校准方法 Active CN114143421B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063074477P 2020-09-04 2020-09-04
US63/074,477 2020-09-04

Publications (2)

Publication Number Publication Date
CN114143421A true CN114143421A (zh) 2022-03-04
CN114143421B CN114143421B (zh) 2024-04-05

Family

ID=80438521

Family Applications (5)

Application Number Title Priority Date Filing Date
CN202011541300.2A Active CN114143418B (zh) 2020-09-04 2020-12-23 双传感器摄像***及其摄像方法
CN202011540274.1A Active CN114143443B (zh) 2020-09-04 2020-12-23 双传感器摄像***及其摄像方法
CN202011625552.3A Active CN114143421B (zh) 2020-09-04 2020-12-30 双传感器摄像***及其校准方法
CN202011625515.2A Active CN114143420B (zh) 2020-09-04 2020-12-30 双传感器摄像***及其隐私保护摄像方法
CN202011622478.XA Active CN114143419B (zh) 2020-09-04 2020-12-30 双传感器摄像***及其深度图计算方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202011541300.2A Active CN114143418B (zh) 2020-09-04 2020-12-23 双传感器摄像***及其摄像方法
CN202011540274.1A Active CN114143443B (zh) 2020-09-04 2020-12-23 双传感器摄像***及其摄像方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202011625515.2A Active CN114143420B (zh) 2020-09-04 2020-12-30 双传感器摄像***及其隐私保护摄像方法
CN202011622478.XA Active CN114143419B (zh) 2020-09-04 2020-12-30 双传感器摄像***及其深度图计算方法

Country Status (2)

Country Link
CN (5) CN114143418B (zh)
TW (5) TWI778476B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091341B (zh) * 2022-12-15 2024-04-02 南京信息工程大学 一种低光图像的曝光差增强方法及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004246252A (ja) * 2003-02-17 2004-09-02 Takenaka Komuten Co Ltd 画像情報収集装置及び方法
US20110080487A1 (en) * 2008-05-20 2011-04-07 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US20130342703A1 (en) * 2012-06-25 2013-12-26 PSP Security Co., Ltd. System and Method for Identifying Human Face
CN104661008A (zh) * 2013-11-18 2015-05-27 深圳中兴力维技术有限公司 低照度条件下彩色图像质量提升的处理方法和装置
CN105009568A (zh) * 2012-12-21 2015-10-28 菲力尔***公司 利用融合的紧凑多光谱成像
US20150381963A1 (en) * 2014-06-30 2015-12-31 Aquifi, Inc. Systems and methods for multi-channel imaging based on multiple exposure settings
JP2017011634A (ja) * 2015-06-26 2017-01-12 キヤノン株式会社 撮像装置およびその制御方法、並びにプログラム
JP2017163297A (ja) * 2016-03-09 2017-09-14 キヤノン株式会社 撮像装置
CN110248105A (zh) * 2018-12-10 2019-09-17 浙江大华技术股份有限公司 一种图像处理方法、摄像机及计算机存储介质
WO2020051898A1 (zh) * 2018-09-14 2020-03-19 浙江宇视科技有限公司 双光图像自动曝光方法、装置、双光图像相机及机器存储介质
CN111586314A (zh) * 2020-05-25 2020-08-25 浙江大华技术股份有限公司 一种图像融合方法、装置以及计算机存储介质

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005091434A (ja) * 2003-09-12 2005-04-07 Noritsu Koki Co Ltd 位置調整方法およびこの方法を用いた傷補正機能付き画像読取装置
JP4244018B2 (ja) * 2004-03-25 2009-03-25 ノーリツ鋼機株式会社 欠陥画素修正方法、プログラム及びその方法を実施する欠陥画素修正システム
JP4341680B2 (ja) * 2007-01-22 2009-10-07 セイコーエプソン株式会社 プロジェクタ
US9307212B2 (en) * 2007-03-05 2016-04-05 Fotonation Limited Tone mapping for low-light video frame enhancement
KR101733443B1 (ko) * 2008-05-20 2017-05-10 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
CN101404060B (zh) * 2008-11-10 2010-06-30 北京航空航天大学 一种基于可见光与近红外Gabor信息融合的人脸识别方法
US8749635B2 (en) * 2009-06-03 2014-06-10 Flir Systems, Inc. Infrared camera systems and methods for dual sensor applications
US8681216B2 (en) * 2009-03-12 2014-03-25 Hewlett-Packard Development Company, L.P. Depth-sensing camera system
US20120154596A1 (en) * 2009-08-25 2012-06-21 Andrew Augustine Wajs Reducing noise in a color image
US8478123B2 (en) * 2011-01-25 2013-07-02 Aptina Imaging Corporation Imaging devices having arrays of image sensors and lenses with multiple aperture sizes
JP2013115679A (ja) * 2011-11-30 2013-06-10 Fujitsu General Ltd 撮像装置
US10848731B2 (en) * 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
US20150245062A1 (en) * 2012-09-25 2015-08-27 Nippon Telegraph And Telephone Corporation Picture encoding method, picture decoding method, picture encoding apparatus, picture decoding apparatus, picture encoding program, picture decoding program and recording medium
KR102086509B1 (ko) * 2012-11-23 2020-03-09 엘지전자 주식회사 3차원 영상 획득 방법 및 장치
TWM458748U (zh) * 2012-12-26 2013-08-01 Chunghwa Telecom Co Ltd 影像式深度資訊擷取裝置
JP6055681B2 (ja) * 2013-01-10 2016-12-27 株式会社 日立産業制御ソリューションズ 撮像装置
CN104021548A (zh) * 2014-05-16 2014-09-03 中国科学院西安光学精密机械研究所 一种获取场景4d信息的方法
JP6450107B2 (ja) * 2014-08-05 2019-01-09 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
CN107005639B (zh) * 2014-12-10 2020-04-14 索尼公司 图像拾取设备、图像拾取方法和图像处理设备
CN107431760B (zh) * 2015-03-31 2018-08-28 富士胶片株式会社 摄像装置、摄像装置的图像处理方法以及存储介质
WO2016192437A1 (zh) * 2015-06-05 2016-12-08 深圳奥比中光科技有限公司 一种3d图像捕获装置、捕获方法及3d图像***
CN105049829B (zh) * 2015-07-10 2018-12-25 上海图漾信息科技有限公司 滤光片、图像传感器、成像装置以及三维成像***
CN105069768B (zh) * 2015-08-05 2017-12-29 武汉高德红外股份有限公司 一种可见光图像与红外图像融合处理***及融合方法
US10523855B2 (en) * 2015-09-24 2019-12-31 Intel Corporation Infrared and visible light dual sensor imaging system
TW201721269A (zh) * 2015-12-11 2017-06-16 宏碁股份有限公司 自動曝光系統及其自動曝光方法
JP2017112401A (ja) * 2015-12-14 2017-06-22 ソニー株式会社 撮像素子、画像処理装置および方法、並びにプログラム
CN206117865U (zh) * 2016-01-16 2017-04-19 上海图漾信息科技有限公司 深度数据监控装置
KR101747603B1 (ko) * 2016-05-11 2017-06-16 재단법인 다차원 스마트 아이티 융합시스템 연구단 컬러 나이트 비전 시스템 및 그 동작 방법
CN106815826A (zh) * 2016-12-27 2017-06-09 上海交通大学 基于场景识别的夜视图像彩色融合方法
CN108280807A (zh) * 2017-01-05 2018-07-13 浙江舜宇智能光学技术有限公司 单目深度图像采集装置和***及其图像处理方法
JP6974873B2 (ja) * 2017-02-06 2021-12-01 フォトニック センサーズ アンド アルゴリズムス，エセ．エレ． シーンから深度情報を取得するための装置および方法
CN108419062B (zh) * 2017-02-10 2020-10-02 杭州海康威视数字技术股份有限公司 图像融合设备和图像融合方法
CN109474770B (zh) * 2017-09-07 2021-09-14 华为技术有限公司 一种成像装置及成像方法
CN109712102B (zh) * 2017-10-25 2020-11-27 杭州海康威视数字技术股份有限公司 一种图像融合方法、装置及图像采集设备
CN107846537B (zh) * 2017-11-08 2019-11-26 维沃移动通信有限公司 一种摄像头组件、图像获取方法及移动终端
CN109951646B (zh) * 2017-12-20 2021-01-15 杭州海康威视数字技术股份有限公司 图像融合方法、装置、电子设备及计算机可读存储介质
US10748247B2 (en) * 2017-12-26 2020-08-18 Facebook, Inc. Computing high-resolution depth images using machine learning techniques
US10757320B2 (en) * 2017-12-28 2020-08-25 Waymo Llc Multiple operating modes to expand dynamic range
TWI661726B (zh) * 2018-01-09 2019-06-01 呂官諭 加強影像辨識清晰的影像感測器及其應用
CN110136183B (zh) * 2018-02-09 2021-05-18 华为技术有限公司 一种图像处理的方法、装置以及摄像装置
CN108965654B (zh) * 2018-02-11 2020-12-25 浙江宇视科技有限公司 基于单传感器的双光谱摄像机***和图像处理方法
CN110572583A (zh) * 2018-05-18 2019-12-13 杭州海康威视数字技术股份有限公司 拍摄图像的方法及摄像机
CN108961195B (zh) * 2018-06-06 2021-03-23 Oppo广东移动通信有限公司 图像处理方法及装置、图像采集装置、可读存储介质和计算机设备
JP6574878B2 (ja) * 2018-07-19 2019-09-11 キヤノン株式会社 画像処理装置及び画像処理方法、撮像装置、プログラム、並びに記憶媒体
JP7254461B2 (ja) * 2018-08-01 2023-04-10 キヤノン株式会社 撮像装置、制御方法、記録媒体、および、情報処理装置
CN109035193A (zh) * 2018-08-29 2018-12-18 成都臻识科技发展有限公司 一种基于双目立体相机的成像处理方法及成像处理***
JP2020052001A (ja) * 2018-09-28 2020-04-02 パナソニックＩｐマネジメント株式会社 奥行取得装置、奥行取得方法およびプログラム
US11176694B2 (en) * 2018-10-19 2021-11-16 Samsung Electronics Co., Ltd Method and apparatus for active depth sensing and calibration method thereof
CN109636732B (zh) * 2018-10-24 2023-06-23 深圳先进技术研究院 一种深度图像的空洞修复方法以及图像处理装置
US11120536B2 (en) * 2018-12-12 2021-09-14 Samsung Electronics Co., Ltd Apparatus and method for determining image sharpness
WO2020168465A1 (zh) * 2019-02-19 2020-08-27 华为技术有限公司 一种图像处理的装置和方法
US10972649B2 (en) * 2019-02-27 2021-04-06 X Development Llc Infrared and visible imaging system for device identification and tracking
JP7316809B2 (ja) * 2019-03-11 2023-07-28 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、システム、及び、プログラム
CN110349117B (zh) * 2019-06-28 2023-02-28 重庆工商大学 一种红外图像与可见光图像融合方法、装置及存储介质
CN110706178B (zh) * 2019-09-30 2023-01-06 杭州海康威视数字技术股份有限公司 图像融合装置、方法、设备及存储介质
CN111524175A (zh) * 2020-04-16 2020-08-11 东莞市东全智能科技有限公司 非对称式多摄像头的深度重建及眼动追踪方法及***
CN111540003A (zh) * 2020-04-27 2020-08-14 浙江光珀智能科技有限公司 一种深度图像的生成方法及装置
CN111383206B (zh) * 2020-06-01 2020-09-29 浙江大华技术股份有限公司 一种图像处理方法、装置、电子设备及存储介质
IN202021032940A (zh) * 2020-07-31 2020-08-28 .Us Priyadarsan

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004246252A (ja) * 2003-02-17 2004-09-02 Takenaka Komuten Co Ltd 画像情報収集装置及び方法
US20110080487A1 (en) * 2008-05-20 2011-04-07 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US20130342703A1 (en) * 2012-06-25 2013-12-26 PSP Security Co., Ltd. System and Method for Identifying Human Face
CN105009568A (zh) * 2012-12-21 2015-10-28 菲力尔***公司 利用融合的紧凑多光谱成像
CN104661008A (zh) * 2013-11-18 2015-05-27 深圳中兴力维技术有限公司 低照度条件下彩色图像质量提升的处理方法和装置
US20150381963A1 (en) * 2014-06-30 2015-12-31 Aquifi, Inc. Systems and methods for multi-channel imaging based on multiple exposure settings
JP2017011634A (ja) * 2015-06-26 2017-01-12 キヤノン株式会社 撮像装置およびその制御方法、並びにプログラム
JP2017163297A (ja) * 2016-03-09 2017-09-14 キヤノン株式会社 撮像装置
WO2020051898A1 (zh) * 2018-09-14 2020-03-19 浙江宇视科技有限公司 双光图像自动曝光方法、装置、双光图像相机及机器存储介质
CN110248105A (zh) * 2018-12-10 2019-09-17 浙江大华技术股份有限公司 一种图像处理方法、摄像机及计算机存储介质
CN111586314A (zh) * 2020-05-25 2020-08-25 浙江大华技术股份有限公司 一种图像融合方法、装置以及计算机存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
董月;陈跃庭;冯华君;徐之海;李奇;: "基于环境光检测的场景融合***", 光子学报, no. 01 *

Also Published As

Publication number Publication date
TW202211160A (zh) 2022-03-16
CN114143443A (zh) 2022-03-04
TWI778476B (zh) 2022-09-21
CN114143418A (zh) 2022-03-04
TWI797528B (zh) 2023-04-01
CN114143421B (zh) 2024-04-05
TW202211674A (zh) 2022-03-16
CN114143420A (zh) 2022-03-04
TW202211673A (zh) 2022-03-16
CN114143443B (zh) 2024-04-05
CN114143419A (zh) 2022-03-04
TW202211161A (zh) 2022-03-16
CN114143419B (zh) 2023-12-26
CN114143418B (zh) 2023-12-01
TWI764484B (zh) 2022-05-11
TW202211165A (zh) 2022-03-16
TWI767484B (zh) 2022-06-11
CN114143420B (zh) 2024-05-03
TWI767468B (zh) 2022-06-11

Similar Documents

Publication Publication Date Title
CN108028895B (zh) 有缺陷的图像传感器元件的校准
JP2014044345A (ja) 撮像装置
US10764550B2 (en) Image processing apparatus, image processing method, and storage medium
US9654668B2 (en) Image composition apparatus and image composition method
KR20060118352A (ko) 화상 처리 장치, 촬상 장치 및 화상 처리 프로그램
US11418719B2 (en) Dual sensor imaging system and calibration method which includes a color sensor and an infrared ray sensor to perform image alignment and brightness matching
US11838648B2 (en) Image processing device, imaging apparatus, image processing method, and program for determining a condition for high dynamic range processing
CN113691795A (zh) 图像处理设备、图像处理方法和存储介质
US10863103B2 (en) Setting apparatus, setting method, and storage medium
JP6702752B2 (ja) 画像処理装置、撮像装置、制御方法及びプログラム
CN114143421B (zh) 双传感器摄像***及其校准方法
CN111866369B (zh) 图像处理方法及装置
JP2019179463A (ja) 画像処理装置、その制御方法、プログラム、記録媒体
US11496660B2 (en) Dual sensor imaging system and depth map calculation method thereof
JP4649734B2 (ja) 映像信号処理装置および映像信号処理プログラムを記録した記録媒体
JP7455656B2 (ja) 画像処理装置、画像処理方法、及びプログラム
KR100978675B1 (ko) 플래시를 이용한 촬영에서의 화이트밸런스 조정 방법
JP2012085093A (ja) 撮像装置および取得方法
JP2001008216A (ja) 画像処理装置
US20240163568A1 (en) Image capturing apparatus that generates images that can be depth-combined, method of controlling same, and storage medium
JP2017192027A (ja) 画像処理装置、画像処理方法、プログラム
US9936158B2 (en) Image processing apparatus, method and program
JP6508889B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
TW201733349A (zh) 影像處理方法及具有照相功能的電子裝置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant