CN114143420A - 双传感器摄像***及其隐私保护摄像方法 - Google Patents

双传感器摄像***及其隐私保护摄像方法 Download PDF

Info

Publication number
CN114143420A
CN114143420A CN202011625515.2A CN202011625515A CN114143420A CN 114143420 A CN114143420 A CN 114143420A CN 202011625515 A CN202011625515 A CN 202011625515A CN 114143420 A CN114143420 A CN 114143420A
Authority
CN
China
Prior art keywords
image
color
infrared
details
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011625515.2A
Other languages
English (en)
Other versions
CN114143420B (zh
Inventor
彭诗渊
郑书峻
黄旭鍊
李运锦
赖国铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Altek Semiconductor Corp
Original Assignee
Altek Semiconductor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Altek Semiconductor Corp filed Critical Altek Semiconductor Corp
Publication of CN114143420A publication Critical patent/CN114143420A/zh
Application granted granted Critical
Publication of CN114143420B publication Critical patent/CN114143420B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Cameras In General (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Traffic Control Systems (AREA)
  • Air Bags (AREA)
  • Burglar Alarm Systems (AREA)
  • Measurement Of Optical Distance (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明提供一种双传感器摄像***及其隐私保护摄像方法。此***控制色彩及红外线传感器采用适于摄像场景下的多个曝光条件分别获取多张色彩及红外线图像，适应性选择能显露出摄像场景细节的色彩及红外线图像的组合，检测色彩图像中具有兴趣对象特征的特征区域，以及融合色彩及红外线图像以生成具备摄像场景细节的融合图像，裁切融合图像的特征区域图像并以非属于红外线图像的图像取代，以生成场景图像。

Description

双传感器摄像***及其隐私保护摄像方法
技术领域
本公开涉及一种摄像***及方法，尤其涉及一种双传感器摄像***及其隐私保护摄像方法。
背景技术
相机的曝光条件(包括光圈、快门、感亮度)会影响所拍摄图像的质量，因此许多相机在拍摄图像的过程中会自动调整曝光条件，以获得清晰且明亮的图像。然而，在低光源或是背光等高反差的场景中，相机调整曝光条件的结果可能会产生噪声过高或是部分区域过曝的结果，无法兼顾所有区域的图像质量。
对此，目前技术有采用一种新的图像传感器架构，其是利用红外线(IR)传感器高光敏感度的特性，在图像传感器的色彩像素中穿插配置IR像素，以辅助亮度检测。举例来说，图1是现有使用图像传感器获取图像的示意图。请参照图1，现有的图像传感器10中除了配置有红(R)、绿(G)、蓝(B)等颜色像素外，还穿插配置有红外线(I)像素。因此，图像传感器10能够将R、G、B颜色像素所获取的色彩信息12与I像素所获取的亮度信息14结合，而获得色彩及亮度适中的图像16。
然而，在上述单一图像传感器的架构下，图像传感器中每个像素的曝光条件相同，因此只能选择较适用于颜色像素或红外线像素的曝光条件来获取图像，结果仍无法有效地利用两种像素的特性来改善所获取图像的图像质量。
发明内容
本发明提供一种双传感器摄像***及其隐私保护摄像方法，可在不侵犯摄像对象隐私的情况下，生成具备摄像场景细节的场景图像。
本发明的双传感器摄像***包括至少一个色彩传感器、至少一个红外线传感器、存储装置以及耦接所述色彩传感器、红外光传感器及存储装置的处理器。所述处理器经配置以加载并执行存储在存储装置中的计算机程序以：控制色彩传感器及红外线传感器采用适用于摄像场景下的多个曝光条件分别获取多张色彩图像及多张红外线图像；适应性选择能显露出摄像场景的细节的色彩图像及红外线图像的组合；根据兴趣对象的至少一个特征，检测所选择的色彩图像中具有此些特征的特征区域；以及融合所选择的色彩图像及红外线图像以生成具备摄像场景细节的融合图像，裁切融合图像中的特征区域的图像并以非属于红外线图像的图像取代，以生成场景图像。
本发明的双传感器摄像***的隐私保护摄像方法，适用于包括至少一个色彩传感器、至少一个红外线传感器及处理器的双传感器摄像***。所述方法包括下列步骤：控制色彩传感器及红外线传感器采用适用于摄像场景下的多个曝光条件分别获取多张色彩图像及多张红外线图像；适应性选择能显露出摄像场景的细节的色彩图像及红外线图像的组合；根据兴趣对象的至少一个特征，检测所选择的色彩图像中具有所述特征的特征区域，以及融合所选择的色彩图像及红外线图像以生成具备摄像场景细节的融合图像，裁切融合图像中的特征区域的图像并以非属于红外线图像的图像取代，以生成场景图像。
基于上述，本发明的双传感器摄像***及其隐私保护摄像方法利用独立配置的色彩传感器及红外线传感器采用适于当前摄像场景的不同曝光条件获取多张图像，从中选择出能够显露出摄像场景细节的色彩图像及红外线图像的组合以进行融合，并将其中的敏感区域以非红外线图像取代，例如:高动态范围图像，从而在不侵犯摄像对象隐私的情况下，生成具备摄像场景细节的场景图像。
为让本公开能还明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1是现有使用图像传感器获取图像的示意图；
图2是依照本发明一实施例所示出的使用图像传感器获取图像的示意图；
图3是依照本发明一实施例所示出的双传感器摄像***的方块图；
图4是依照本发明一实施例所示出的双传感器摄像***的隐私保护摄像方法的流程图；
图5是依照本发明一实施例所示出的双传感器摄像***的隐私保护摄像方法的流程图；
图6是依照本发明一实施例所示出的双传感器摄像***的隐私保护摄像方法的范例；
图7是依照本发明一实施例所示出的双传感器摄像***的隐私保护摄像方法的流程图。
符号说明
10、20：图像传感器
12：色彩信息
14：亮度信息
16：图像
22、32：色彩传感器
22a、62：色彩图像
24、34：红外线传感器
24a、64：红外线图像
26、66：场景图像
30：双传感器摄像***
36：存储装置
38：处理器
62a：人脸区域
R、G、B、I：像素
S402～S408、S502～S510、S702～S720：步骤
具体实施方式
本发明实施例公开一种双传感器摄像***与隐私保护摄像方法，利用独立配置的色彩及红外线传感器分别获取不同曝光条件下的多张图像，并选择曝光条件适当的色彩及红外线图像融合为结果图像，藉此补足色彩图像的纹理细节，提高所摄图像的图像质量。针对红外线传感器所获取的红外线图像可能会有侵害拍摄对象隐私的疑虑，例如会显露出穿着下的身体细节，本发明实施例的摄像方法可针对特定区域进行处理，从而在提高摄像质量的同时，避免造成上述侵害。
图2是依照本发明一实施例所示出的使用图像传感器获取图像的示意图。请参照图2，本发明实施例的图像传感器20采用独立配置色彩传感器22与红外线(IR)传感器24的双传感器架构，利用色彩传感器22与红外线传感器24各自的特性，采用适于当前拍摄场景的多个曝光条件分别获取多张图像，并从中选择曝光条件适当的色彩图像22a与红外线图像24a，通过图像融合的方式，使用红外线图像24a来补足色彩图像22a中缺乏的纹理细节，从而获得色彩及纹理细节均佳的场景图像26。
图3是依照本发明一实施例所示出的双传感器摄像***的方块图。请参照图3，本实施例的双传感器摄像***30可配置于手机、平板计算机、笔记本电脑、导航装置、行车纪录器、数字相机、数字摄影机等电子装置中，用以提供摄像功能。双传感器摄像***30包括至少一个色彩传感器32、至少一个红外线传感器34、存储装置36及处理器38，其功能分述如下：
色彩传感器32例如包括电荷耦合器件(Charge Coupled Device，CCD)、互补金属氧化物半导体(Complementary Metal-Oxide Semiconductor，CMOS)器件或其他种类的感光器件，而可感测光线强度以产生摄像场景的图像。色彩传感器32例如是红绿蓝(RGB)图像传感器，其中包括红(R)、绿(G)、蓝(B)颜色像素，用以获取摄像场景中的红光、绿光、蓝光等色彩信息，并将这些色彩信息合成以生成摄像场景的色彩图像。
红外线传感器34例如包括CCD、CMOS器件或其他种类的感光器件，其经由调整感光器件的波长感测范围，而能够感测红外光。红外线传感器34例如是以上述感光器件作为像素来获取摄像场景中的红外光信息，并将这些红外光信息合成以生成摄像场景的红外线图像。
存储装置36例如是任意型式的固定式或可移动式随机存取存储器(RandomAccess Memory，RAM)、只读存储器(Read-Only Memory，ROM)、闪存(Flash memory)、硬盘或类似器件或上述器件的组合，而用以存储可由处理器38执行的计算机程序。在一些实施例中，存储装置36例如还可存储由色彩传感器32所获取的色彩图像及红外线传感器34所获取的红外线图像。
处理器38例如是中央处理器(Central Processing Unit，CPU)，或是其他可编程的一般用途或特殊用途的微处理器(Microprocessor)、微控制器(Microcontroller)、数字信号处理器(Digital Signal Processor，DSP)、可编程控制器、专用集成电路(Application Specific Integrated Circuits，ASIC)、可编程逻辑器件(ProgrammableLogic Device，PLD)或其他类似装置或这些装置的组合，本发明不在此限制。在本实施例中，处理器38可从存储装置36加载计算机程序，以执行本发明实施例的双传感器摄像***的隐私保护摄像方法。
图4是依照本发明一实施例所示出的双传感器摄像***的隐私保护摄像方法的流程图。请同时参照图3及图4，本实施例的方法适用于上述的双传感器摄像***30，以下即搭配双传感器摄像***30的各项器件说明本实施例的隐私保护摄像方法的详细步骤。
在步骤S402中，由处理器38控制色彩传感器32及红外线传感器34采用适用于当前摄像场景下的多个曝光条件分别获取多张色彩图像及多张红外线图像。
在一些实施例中，处理器38例如是控制色彩传感器32及红外线传感器34中的至少一者采用标准曝光条件来获取摄像场景的至少一张标准图像，并使用这些标准图像来识别摄像场景。所述标准曝光条件例如包括采用既有测光技术所决定的光圈、快门、感亮度等参数，而处理器38则根据在此曝光条件下所获取的图像的色调(Hue)、明度(Value)、彩度(Chroma)、白平衡等图像参数的强弱或分布来识别摄像场景，包括摄像场景的位置(室内或室外)、光源(高光源或低光源)、反差(高反差或低反差)、摄像物的种类(物品或人像)或状态(动态或静态)等。在其他实施例中，处理器38亦可采用定位方式来识别摄像场景或是直接接收使用者操作来设定摄像场景，在此不设限。
在一些实施例中，处理器38例如是以标准曝光条件中的曝光时间为基准，控制色彩传感器32及红外线传感器34获取曝光时间较短或较长的色彩图像，这些色彩图像彼此的曝光时间的差例如为介于-3至3的曝光值(Exposure Value，EV)中的任意值，在此不设限。举例来说，若A图像比B图像亮一倍，则可将B图像的EV加1，以此类推，曝光值可以有小数(例如+0.3EV)，在此不设限。
在步骤S404中，由处理器38适应性选择能显露出摄像场景的细节的色彩图像及红外线图像的组合。在一些实施例中，处理器38例如会控制色彩传感器32以适当的曝光时间获取色彩图像，使得摄像场景的部分颜色细节可被保留，并确保之后融合的图像可显露出摄像场景的颜色细节。所述适当的曝光时间例如是比会造成所获取图像过曝的曝光时间还短一预设时间长度的曝光时间，所述预设时间长度例如为0.01至1秒中的任意值，在此不设限。
在一些实施例中，处理器38例如会先根据各张色彩图像的颜色细节，选择其中一张色彩图像作为基准图像，接着识别基准图像中缺乏纹理细节的至少一个缺陷区域，然后再根据各张红外线图像中对应于这些缺陷区域的图像的纹理细节，选择其中一张红外线图像作为与基准图像融合的图像。
详言之，基于色彩传感器32每次只能采用单一曝光条件获取色彩图像，在摄像场景为低光源或高反差的情况下，每一张色彩图像都可能会出现高噪声、过曝或曝光不足的区域(即上述的缺陷区域)。此时，处理器38即可利用红外线传感器34高光敏感度的特性，针对上述的缺陷区域，从先前获取的多张红外线图像中，选择具备该缺陷区域的纹理细节的红外线图像，而可用以补足色彩图像中缺陷区域的纹理细节。
在步骤S406中，由处理器38根据兴趣对象的至少一个特征，检测所选择色彩图像中具有所述特征的特征区域。所述特征例如是人类的身体特征，例如脸部、躯干、四肢等，或是人类穿着的特征，例如面罩、衣服、裤子，在此不设限。
在一些实施例中，处理器38例如会利用机器学习模型来识别色彩图像中的兴趣对象以检测特征区域。其中，所述的机器学习模型例如是利用包括兴趣对象的多张色彩图像以及对于各张色彩图像中的兴趣对象的识别结果所训练。
详言之，所述的机器学习模型例如是包括输入层、至少一隐藏层及输出层的卷积神经网络(Convolutional Neural Network，CNN)、深度神经网络(Deep Neural Network，DNN)、递归神经网络(Recurrent Neural Network，RNN)或其他具学习功能的模型，在此不设限。其中，处理器38例如是将包括兴趣对象的多张色彩图像依序输入输入层，由各个隐藏层的多个神经元利用一激励函数针对输入层的输出计算当次的输出。所述的激励函数例如是S形(sigmoid)函数或是双曲正切(tanh)函数，在此不设限，然后由输出层利用如归一化指数(softmax)函数的转换函数将隐藏层的当次输出转换为兴趣对象的预测结果。然后，处理器38会将预测结果与当次输入的色彩图像映射的识别结果比较，以根据比较结果更新隐藏层的各神经元的权重。其中，处理器38例如是以利用机器学习模型所输出的预测结果与真实的识别结果，来计算损失函数(loss function)并用以衡量机器学习模型的预测结果是否够准确，据以更新隐藏层的各个神经元的权重。在其他实施例中，处理器38亦可利用梯度下降法(Gradient Descent，GD)或反向传播法(Backpropagation，BP)来更新隐藏层的各个神经元的权重，在此不设限。最后，处理器38将重复上述步骤，藉此训练机器学习模型来识别兴趣对象，并可取得兴趣对象在色彩图像中所占的区域以作为特征区域。
在步骤S408中，由处理器38融合所选择的色彩图像及红外线图像，以生成具备摄像场景的细节的融合图像，并裁切此融合图像中的特征区域图像并以非属于红外线图像的图像取代，以生成场景图像。所述非属于红外线图像的图像例如是上述的色彩图像或是由多张色彩图像经由高动态范围(high dynamic range，HDR)处理所生成的图像，在此不设限。
在一些实施例中，处理器38例如是采用计算所选择色彩图像及红外线图像整张图像中对应像素的像素值的平均或加权平均的方式，或是采用其他图像融合方式，将所选择的色彩图像及红外线图像的整张图像直接融合。在一些实施例中，处理器38也可仅针对色彩图像中的缺陷区域，而使用红外线图像中对应于该缺陷区域的图像来填补或取代色彩图像中缺陷区域的图像，在此不设限。
在一些实施例中，处理器38例如是将所选择的色彩图像及红外线图像裁切掉特征区域图像后再进行融合，之后将非属于红外线图像的图像贴上融合图像中的特征区域，从而生成场景图像。藉此，可减少融合图像所需的计算量。
在一些实施例中，处理器38例如会控制色彩传感器32采用较所选择的色彩图像的曝光时间长或短的多个曝光时间获取多张色彩图像并执行高动态范围处理，以生成具备特征区域的细节的高动态范围图像，并使用此高动态范围图像来取代所裁切的融合图像中的特征区域的图像。
详细而言，处理器38例如会根据其所选择的色彩图像的曝光时间，使用较此曝光时间为短的曝光时间以及较此曝光时间为长的曝光时间，控制色彩传感器32分别获取曝光时间较短的色彩图像以及曝光时间较长的色彩图像，而结合使用原曝光时间获取的色彩图像来实施HDR处理。即，从三张色彩图像中选择具备较佳颜色及纹理细节的区域来补足其他色彩图像中欠缺细节的区域，从而获得亮部及暗部细节均佳的高动态范围图像。
在一些实施例中，处理器38可根据所选择色彩图像的特征区域的细节，选择用以获取多张色彩图像的曝光时间，使得所获取的多张色彩图像经高动态范围处理后，可生成具备此特征区域细节的高动态范围图像。举例来说，若所选择色彩图像的特征区域因为过曝而缺乏颜色及纹理细节，则处理器38可选择多个较短的曝光时间来获取色彩图像并用以执行高动态范围处理，藉此生成具备颜色及纹理细节的高动态范围图像。类似地，若所选择色彩图像的特征区域因为曝光不足而缺乏颜色及纹理细节，则处理器38会选择多个较长的曝光时间来获取色彩图像并用以执行高动态范围处理，藉此生成具备颜色及纹理细节的高动态范围图像。
在一些实施例中，处理器38例如会针对高动态范围图像执行二维空间降噪(2Dspatial denoise)等降噪(noise reduction，NR)处理，以减少高动态范围图像中的噪声，提高最终输出图像的图像质量。
通过上述方法，双传感器摄像***30不仅可生成可包括摄像场景的所有细节(颜色及纹理细节)的图像，且可将图像中特征区域的图像以非属于红外线图像的图像(例如高动态范围图像)取代，从而在不侵犯摄像对象隐私的情况下，提高所摄图像的图像质量。
图5是依照本发明一实施例所示出的双传感器摄像***的隐私保护摄像方法的流程图。请同时参照图3及图5，本实施例进一步说明上述针对整张图像进行融合的实施例的详细实施方式。本实施例的方法适用于上述的双传感器摄像***30，以下即搭配双传感器摄像***30的各项器件说明本实施例的隐私保护摄像方法的详细步骤。
在步骤S502中，由处理器38根据各张色彩图像的颜色细节，选择其中一张色彩图像作为基准图像。在一实施例中，处理器38例如是选择颜色细节最多的色彩图像作为基准图像。所述颜色细节的多寡例如可由色彩图像中过曝或曝光不足区域的大小来决定。详言之，过曝区域像素的颜色趋近白色、曝光不足区域像素的颜色趋近黑色，因此这些区域的颜色细节会较少。因此，若色彩图像中包括较多的这类区域，代表其颜色细节较少，处理器38据此即可判断出哪一张色彩图像的颜色细节最多，而用以作为基准图像。在其他实施例中，处理器38也可依据各张色彩图像的对比度、饱和度或其他图像参数来分辨其颜色细节的多寡，在此不设限。
在步骤S504中，由处理器38识别基准图像中缺乏纹理细节的至少一个缺陷区域。所述的缺陷区域例如是上述的过曝区域或曝光不足区域，或是在低光源下所获取的具较高噪声的区域，在此不设限。
在步骤S506中，由处理器38根据各张红外线图像中对应于所述缺陷区域的图像的纹理细节，选择其中一张红外线图像。在一实施例中，处理器38例如是选择对应于所述缺陷区域的图像的纹理细节最多的红外线图像作为与基准图像融合的图像。其中，处理器38例如是依据各张红外线图像的对比度或其他图像参数来分辨其纹理细节的多寡，在此不设限。
在步骤S508中，由处理器38对所选择的色彩图像及红外线图像执行特征获取，以获取色彩图像及红外线图像中的多个特征，并根据所获取特征之间的对应关系将色彩图像及红外线图像对准。需说明的是，上述的特征获取及匹配的方式仅为举例说明，在其他实施例中，处理器38亦可采用其他种类的图像对准方式对色彩图像及红外线图像进行对准，在此不设限。
在步骤S510，由处理器38对经对准的红外线图像与基准图像进行图像融合，以生成补足所述缺陷区域的纹理细节的场景图像。
在一些实施例中，处理器38例如是计算色彩图像及红外线图像整张图像中对应像素的像素值的平均或加权平均的方式来对红外线图像与基准图像进行图像融合。
在一些实施例中，处理器38例如是将基准图像的色彩空间由RGB色彩空间转换至YUV色彩空间，并将转换后基准图像的亮度分量以红外线图像的亮度分量取代，然后将取代后的基准图像的色彩空间转换回RGB色彩空间，以生成场景图像。在其他实施例中，处理器38亦可将基准图像的色彩空间转换至YCbCr、CMYK或其他种类的色彩空间，并在取代亮度分量之后再转换回原本的色彩空间，本实施例不限定色彩空间的转换方式。
详言之，由于红外线图像的亮度分量具有较佳的信噪比(signal-to-noiseratio，SNR)，且包括较多的摄像场景的纹理细节，因此以红外线图像的亮度分量直接取代基准图像的亮度分量，可大幅增加基准图像中的纹理细节。
通过上述方法，双传感器摄像***30即可利用红外线图像来增加色彩图像的纹理细节，特别是针对纹理细节不足的区域，从而提高所摄图像的图像质量。
举例来说，图6是依照本发明一实施例所示出的双传感器摄像***的隐私保护摄像方法的范例。请参照图6，本实施例是通过上述图5的隐私保护摄像方法，选择出颜色细节最多的色彩图像62作为基准图像，并针对色彩图像62中缺乏纹理细节的缺陷区域(例如人脸区域62a)，从采用不同曝光条件获取的多张红外线图像中选择出该缺陷区域的纹理细节最多的红外线图像64，用以与色彩图像62进行图像融合，从而获得同时具备较多颜色细节及纹理细节的场景图像66。
在一些实施例中，处理器38例如是将基准图像的色彩空间由RGB色彩空间转换至YUV色彩空间，并将转换后基准图像的缺陷区域的图像的亮度分量以红外线图像的对应于所述缺陷区域的亮度分量取代，然后将取代后的基准图像的色彩空间转换回RGB色彩空间，以生成场景图像。在其他实施例中，处理器38亦可将基准图像的色彩空间转换至YCbCr、CMYK或其他种类的色彩空间，并在取代亮度分量之后再转换回原本的色彩空间，本实施例不限定色彩空间的转换方式。
通过上述方法，双传感器摄像***30即可利用红外线图像来补足色彩图像中纹理细节不足的区域，从而提高所摄图像的图像质量。
需说明的是，在一些实施例中，色彩图像中某些缺陷区域的纹理细节可能会因特定因素无法用红外线图像来增强或补足，例如色彩传感器32与红外线传感器34之间的视差(parallax)会造成红外线传感器34被遮蔽。在此情况下，本发明实施例提供一种替代方式来增加缺陷区域的纹理细节，以最大程度地提高所摄图像的图像质量。
图7是依照本发明一实施例所示出的双传感器摄像***的隐私保护摄像方法的流程图。请同时参照图3及图7，本实施例的方法适用于上述的双传感器摄像***30，以下即搭配双传感器摄像***30的各项器件说明本实施例的隐私保护摄像方法的详细步骤。
在步骤S702中，由处理器38控制色彩传感器32及红外线传感器34中的至少一者采用标准曝光条件来获取摄像场景的至少一张标准图像，并使用这些标准图像来识别摄像场景。所述标准曝光条件的定义以及摄像场景的识别方式如前述实施例所述，在此不再赘述。
在步骤S704中，由处理器38控制色彩传感器32及红外线传感器34采用适用于所识别的摄像场景下的多个曝光条件分别获取多张色彩图像及多张红外线图像。在步骤S706中，由处理器38根据各张色彩图像的颜色细节，选择其中一张色彩图像作为基准图像。在步骤S708中，由处理器38根据兴趣对象的至少一个特征，检测所选择色彩图像中具有所述特征的特征区域。在步骤S710中，由处理器38控制色彩传感器32采用较所选择的色彩图像的曝光时间长或短的多个曝光时间获取多张色彩图像并执行高动态范围处理，以生成具备特征区域的细节的高动态范围图像。在步骤S712中，由处理器38识别基准图像中缺乏纹理细节的至少一个缺陷区域。上述步骤的实施方式分别与前述实施例的步骤S402～S408、S502～S504相同或相似，故其细节在此不再赘述。
与前述实施例不同的是，在步骤S714中，处理器38会判断前述的多张红外线图像中是否有红外线图像包括基准图像中缺陷区域的纹理细节。其中，处理器38例如会检视各张红外线图像中对应于所述缺陷区域的区域是否有图像，以判断红外线传感器34是否被遮蔽，并判断是否可用红外线图像来填补基准图像中缺陷区域的纹理细节。
若有红外线图像包括此缺陷区域的纹理细节，则在步骤S716中，处理器38会将基准图像中的所述缺陷区域的图像的亮度分量以红外线图像中对应于所述缺陷区域的亮度分量取代，以生成补足所述缺陷区域的纹理细节的融合图像。
若没有红外线图像包括此缺陷区域的纹理细节，则在步骤S914中，处理器38会将基准图像中的缺陷区域的图像以高动态范围图像中对应于此缺陷区域的图像取代，以生成具备此缺陷区域的纹理细节的融合图像。
在一些实施例中，处理器38可结合上述步骤S716及S718的处理方式，针对基准图像中的多个缺陷区域个别选用适当的处理方式，以最大程度地增加基准图像的细节，从而提高所摄图像的图像质量。
最后，在步骤S720中，由处理器38裁切融合图像中的特征区域图像并贴上高动态范围图像中的特征区域图像，以生成场景图像。
通过上述方法，双传感器摄像***30不仅可针对色彩图像中纹理细节不足的缺陷区域，利用红外线图像或高动态范围图像来补足纹理细节，且可进一步将融合图像中特征区域的图像以高动态范围图像取代，从而在不侵犯摄像对象隐私的情况下，提高所摄图像的图像质量。
综上所述，本发明的双传感器摄像***及其隐私保护摄像方法通过独立配置色彩传感器与红外线传感器分别获取多张图像，从中选择曝光条件适当的图像进行融合，以使用红外线图像填补或增加色彩图像中缺乏的纹理细节，且将融合图像中可能会侵害拍摄对象隐私的特征区域以非属于红外线图像的图像取代，因此可在不侵犯摄像对象隐私的情况下，生成具备摄像场景细节的场景图像。
然本公开已以实施例揭示如上，然其并非用以限定本公开，任何本领域技术人员，在不脱离本公开的精神和范围内，当可作些许的改动与润饰，因此本公开的保护范围当视后附的权利要求及其均等范围所界定的为准。

Claims (20)

1.一种双传感器摄像***，包括：
至少一色彩传感器；
至少一红外线传感器；
存储装置，存储计算机程序；以及
处理器，耦接所述至少一色彩传感器、所述至少一红外光传感器及所述存储装置，经配置以加载并执行所述计算机程序以：
控制所述至少一色彩传感器及所述至少一红外线传感器采用适用于摄像场景下的多个曝光条件分别获取多张色彩图像及多张红外线图像；
适应性选择能显露出所述摄像场景的细节的所述色彩图像及所述红外线图像的组合；
根据兴趣对象的至少一特征，检测所选择的所述色彩图像中具有所述特征的特征区域；以及
融合所选择的所述色彩图像及所述红外线图像以生成具备所述摄像场景的所述细节的融合图像，裁切所述融合图像中的所述特征区域的图像并以非属于所述红外线图像的图像取代，以生成场景图像。
2.根据权利要求1所述的双传感器摄像***，其中所述处理器还包括：
控制所述至少一色彩传感器采用较所选择的所述色彩图像的曝光时间长或短的多个曝光时间获取多张色彩图像并执行高动态范围处理，以生成具备所述特征区域的细节的高动态范围图像，并用以取代所裁切的所述融合图像中的所述特征区域的图像。
3.根据权利要求2所述的双传感器摄像***，其中所述处理器包括：
根据所述色彩图像的所述特征区域的所述细节选择用以获取所述多张色彩图像的所述曝光时间，使得所获取的所述多张色彩图像经高动态范围处理后，生成具备所述特征区域的细节的所述高动态范围图像。
4.根据权利要求1所述的双传感器摄像***，其中所述处理器包括：
控制所述至少一色彩传感器及所述至少一红外线传感器中的至少一者采用标准曝光条件获取所述摄像场景的至少一标准图像，并使用所述至少一标准图像识别所述摄像场景。
5.根据权利要求1所述的双传感器摄像***，其中所述处理器包括：
根据各所述色彩图像的颜色细节，选择所述色彩图像其中之一作为基准图像；
识别所述基准图像中缺乏纹理细节的至少一缺陷区域；以及
根据各所述红外线图像中对应于所述至少一缺陷区域的图像的纹理细节，选择所述红外线图像其中之一作为用以与所述基准图像融合的所述红外线图像。
6.根据权利要求5所述的双传感器摄像***，其中所述处理器包括：
选择所述颜色细节最多的所述色彩图像作为所述基准图像；以及
选择对应于所述至少一缺陷区域的图像的所述纹理细节最多的所述红外线图像作为用以与所述基准图像融合的所述红外线图像。
7.根据权利要求5所述的双传感器摄像***，其中所述处理器包括：
将所述基准图像中的所述至少一缺陷区域的图像的亮度分量以所述红外线图像中对应于所述至少一缺陷区域的图像取代，以生成补足所述至少一缺陷区域的所述纹理细节的所述场景图像。
8.根据权利要求5所述的双传感器摄像***，其中所述处理器还包括：
控制所述至少一色彩传感器采用较所选择的所述色彩图像的曝光时间长或短的多个曝光时间获取多张色彩图像并执行高动态范围处理，以生成具备所述特征区域的细节的高动态范围图像；
判断各所述红外线图像是否包括所述至少一缺陷区域的所述纹理细节；以及
在所述红外线图像均未包括所述纹理细节时，将所述基准图像中的所述至少一缺陷区域的图像以所述高动态范围图像中对应于所述至少一缺陷区域的图像取代，以生成具备所述至少一缺陷区域的所述纹理细节的所述场景图像。
9.根据权利要求1所述的双传感器摄像***，其中所述处理器还包括：
利用机器学习模型识别所述色彩图像中的所述兴趣对象以检测所述特征区域，其中所述机器学习模型是利用包括所述兴趣对象的多张色彩图像以及对于各所述色彩图像中的所述兴趣对象的识别结果所训练。
10.根据权利要求9所述的双传感器摄像***，其中所述机器学习模型包括输入层、至少一隐藏层及输出层，所述处理器包括：
将所述色彩图像依序输入所述输入层，由各所述至少一隐藏层的多个神经元利用激励函数针对所述输入层的输出计算当次的输出，并由所述输出层将所述隐藏层当次的所述输出转换为所述兴趣对象的预测结果；
将所述预测结果与当次输入的所述色彩图像映射的识别结果比较，以根据比较结果更新所述隐藏层的各所述神经元的权重；以及
重复上述步骤，训练所述机器学习模型以识别所述兴趣对象。
11.一种双传感器摄像***的隐私保护摄像方法，所述双传感器摄像***包括至少一色彩传感器、至少一红外线传感器及处理器，所述方法包括下列步骤：
控制所述至少一色彩传感器及所述至少一红外线传感器采用适用于摄像场景下的多个曝光条件分别获取多张色彩图像及多张红外线图像；
适应性选择能显露出所述摄像场景的细节的所述色彩图像及所述红外线图像的组合；
根据兴趣对象的至少一特征，检测所选择的所述色彩图像中具有所述特征的特征区域；以及
融合所选择的所述色彩图像及所述红外线图像以生成具备所述摄像场景的所述细节的融合图像，裁切所述融合图像中的所述特征区域的图像并以非属于所述红外线图像的图像取代，以生成场景图像。
12.根据权利要求11所述的方法，还包括：
控制所述至少一色彩传感器采用较所选择的所述色彩图像的曝光时间长或短的多个曝光时间获取多张色彩图像并执行高动态范围处理，以生成具备所述特征区域的细节的高动态范围图像，并使用所述高动态范围图像取代所裁切的所述融合图像中的所述特征区域的图像。
13.根据权利要求11所述的方法，其中识别所述双传感器摄像***的所述摄像场景的步骤包括：
控制所述至少一色彩传感器及所述至少一红外线传感器中的至少一者采用标准曝光条件获取所述摄像场景的至少一标准图像，并使用所述至少一标准图像识别所述摄像场景。
14.根据权利要求11所述的方法，其中适应性选择能显露出所述摄像场景的细节的所述色彩图像及所述红外线图像的组合的步骤包括：
根据各所述色彩图像的颜色细节，选择所述色彩图像其中之一作为基准图像；
识别所述基准图像中缺乏纹理细节的至少一缺陷区域；以及
根据各所述红外线图像中对应于所述至少一缺陷区域的图像的纹理细节，选择所述红外线图像其中之一作为用以与所述基准图像融合的所述红外线图像。
15.根据权利要求14所述的方法，其中适应性选择能显露出所述摄像场景的细节的所述色彩图像及所述红外线图像的组合的步骤包括：
选择所述颜色细节最多的所述色彩图像作为所述基准图像；以及
选择对应于所述至少一缺陷区域的图像的所述纹理细节最多的所述红外线图像作为用以与所述基准图像融合的所述红外线图像。
16.根据权利要求14所述的方法，其中融合所选择的所述色彩图像及所述红外线图像，以生成具备所述摄像场景的所述细节的所述场景图像的步骤包括：
将所述基准图像中的所述至少一缺陷区域的图像的亮度分量以所述红外线图像中对应于所述至少一缺陷区域的图像取代，以生成补足所述至少一缺陷区域的所述纹理细节的所述场景图像。
17.根据权利要求14所述的方法，其中在融合所选择的所述色彩图像及所述红外线图像，以生成具备所述摄像场景的所述细节的场景图像的步骤之前，所述方法还包括：
控制所述至少一色彩传感器采用较所选择的所述色彩图像的曝光时间长或短的多个曝光时间获取多张色彩图像并执行高动态范围处理，以生成具备所述特征区域的细节的高动态范围图像；
判断各所述红外线图像是否包括所述至少一缺陷区域的所述纹理细节；以及
在所述红外线图像均未包括所述纹理细节时，将所述基准图像中的所述至少一缺陷区域的图像以所述高动态范围图像中对应于所述至少一缺陷区域的图像取代，以生成具备所述至少一缺陷区域的所述纹理细节的所述场景图像。
18.根据权利要求11所述的方法，其中根据兴趣对象的至少一特征检测所选择的所述色彩图像及所述红外线图像中具有所述特征的特征区域的步骤包括：
利用机器学习模型识别所述色彩图像中的所述兴趣对象以检测所述特征区域，其中所述机器学习模型是利用包括所述兴趣对象的多张色彩图像以及对于各所述色彩图像中的所述兴趣对象的识别结果所训练。
19.根据权利要求18所述的方法，其中所述机器学习模型包括输入层、至少一隐藏层及输出层，在根据兴趣对象的至少一特征检测所选择的所述色彩图像及所述红外线图像中具有所述特征的特征区域的步骤之前，还包括：
将所述色彩图像依序输入所述输入层，由各所述至少一隐藏层的多个神经元利用激励函数针对所述输入层的输出计算当次的输出，由所述输出层将所述隐藏层当次的所述输出转换为所述兴趣对象的预测结果；
将所述预测结果与当次输入的所述色彩图像映射的识别结果比较，以根据比较结果更新所述隐藏层的各所述神经元的权重；以及
重复上述步骤，训练所述机器学习模型以识别所述兴趣对象。
20.根据权利要求11所述的方法，其中控制所述至少一色彩传感器采用较所选择的所述色彩图像的曝光时间长或短的多个曝光时间获取多张色彩图像并执行高动态范围处理，以生成具备所述特征区域的细节的高动态范围图像的步骤包括：
根据所述色彩图像的所述特征区域的所述细节选择用以获取所述多张色彩图像的所述曝光时间，使得所获取的所述多张色彩图像经高动态范围处理后，生成具备所述特征区域的细节的所述高动态范围图像。
CN202011625515.2A 2020-09-04 2020-12-30 双传感器摄像***及其隐私保护摄像方法 Active CN114143420B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063074477P 2020-09-04 2020-09-04
US63/074,477 2020-09-04

Publications (2)

Publication Number Publication Date
CN114143420A true CN114143420A (zh) 2022-03-04
CN114143420B CN114143420B (zh) 2024-05-03

Family

ID=80438521

Family Applications (5)

Application Number Title Priority Date Filing Date
CN202011541300.2A Active CN114143418B (zh) 2020-09-04 2020-12-23 双传感器摄像***及其摄像方法
CN202011540274.1A Active CN114143443B (zh) 2020-09-04 2020-12-23 双传感器摄像***及其摄像方法
CN202011625552.3A Active CN114143421B (zh) 2020-09-04 2020-12-30 双传感器摄像***及其校准方法
CN202011625515.2A Active CN114143420B (zh) 2020-09-04 2020-12-30 双传感器摄像***及其隐私保护摄像方法
CN202011622478.XA Active CN114143419B (zh) 2020-09-04 2020-12-30 双传感器摄像***及其深度图计算方法

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN202011541300.2A Active CN114143418B (zh) 2020-09-04 2020-12-23 双传感器摄像***及其摄像方法
CN202011540274.1A Active CN114143443B (zh) 2020-09-04 2020-12-23 双传感器摄像***及其摄像方法
CN202011625552.3A Active CN114143421B (zh) 2020-09-04 2020-12-30 双传感器摄像***及其校准方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202011622478.XA Active CN114143419B (zh) 2020-09-04 2020-12-30 双传感器摄像***及其深度图计算方法

Country Status (2)

Country Link
CN (5) CN114143418B (zh)
TW (5) TWI778476B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091341A (zh) * 2022-12-15 2023-05-09 南京信息工程大学 一种低光图像的曝光差增强方法及装置

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008176195A (ja) * 2007-01-22 2008-07-31 Seiko Epson Corp プロジェクタ
CN101404060A (zh) * 2008-11-10 2009-04-08 北京航空航天大学 一种基于可见光与近红外Gabor信息融合的人脸识别方法
JP2013115679A (ja) * 2011-11-30 2013-06-10 Fujitsu General Ltd 撮像装置
US20140354855A1 (en) * 2008-05-20 2014-12-04 Pelican Imaging Corporation Systems and Methods for Synthesizing Higher Resolution Images Using Images Captured by Camera Arrays
JP2016039409A (ja) * 2014-08-05 2016-03-22 キヤノン株式会社 画像処理装置及びその制御方法、プログラム、記憶媒体
US20180227509A1 (en) * 2015-08-05 2018-08-09 Wuhan Guide Infrared Co., Ltd. Visible light image and infrared image fusion processing system and fusion method
JP2018207497A (ja) * 2018-07-19 2018-12-27 キヤノン株式会社 画像処理装置及び画像処理方法、撮像装置、プログラム、並びに記憶媒体
TW201931847A (zh) * 2018-01-09 2019-08-01 呂官諭 加強影像辨識清晰的影像感測器及其應用
CN110349117A (zh) * 2019-06-28 2019-10-18 重庆工商大学 一种红外图像与可见光图像融合方法、装置及存储介质
US20190378258A1 (en) * 2017-02-10 2019-12-12 Hangzhou Hikvision Digital Technology Co., Ltd. Image Fusion Apparatus and Image Fusion Method
CN111383206A (zh) * 2020-06-01 2020-07-07 浙江大华技术股份有限公司 一种图像处理方法、装置、电子设备及存储介质
CN111527743A (zh) * 2017-12-28 2020-08-11 伟摩有限责任公司 扩展动态范围的多种操作模式
US20200275011A1 (en) * 2019-02-27 2020-08-27 X Development Llc Infrared and visible imaging system
IN202021032940A (zh) * 2020-07-31 2020-08-28 .Us Priyadarsan

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004246252A (ja) * 2003-02-17 2004-09-02 Takenaka Komuten Co Ltd 画像情報収集装置及び方法
JP2005091434A (ja) * 2003-09-12 2005-04-07 Noritsu Koki Co Ltd 位置調整方法およびこの方法を用いた傷補正機能付き画像読取装置
JP4244018B2 (ja) * 2004-03-25 2009-03-25 ノーリツ鋼機株式会社 欠陥画素修正方法、プログラム及びその方法を実施する欠陥画素修正システム
US9307212B2 (en) * 2007-03-05 2016-04-05 Fotonation Limited Tone mapping for low-light video frame enhancement
US8866920B2 (en) * 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8749635B2 (en) * 2009-06-03 2014-06-10 Flir Systems, Inc. Infrared camera systems and methods for dual sensor applications
US8681216B2 (en) * 2009-03-12 2014-03-25 Hewlett-Packard Development Company, L.P. Depth-sensing camera system
US20120154596A1 (en) * 2009-08-25 2012-06-21 Andrew Augustine Wajs Reducing noise in a color image
US8478123B2 (en) * 2011-01-25 2013-07-02 Aptina Imaging Corporation Imaging devices having arrays of image sensors and lenses with multiple aperture sizes
US10848731B2 (en) * 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
TW201401186A (zh) * 2012-06-25 2014-01-01 Psp Security Co Ltd 人臉判斷系統以及方法
US20150245062A1 (en) * 2012-09-25 2015-08-27 Nippon Telegraph And Telephone Corporation Picture encoding method, picture decoding method, picture encoding apparatus, picture decoding apparatus, picture encoding program, picture decoding program and recording medium
KR102086509B1 (ko) * 2012-11-23 2020-03-09 엘지전자 주식회사 3차원 영상 획득 방법 및 장치
EP2936799B1 (en) * 2012-12-21 2018-10-17 Flir Systems, Inc. Time spaced infrared image enhancement
TWM458748U (zh) * 2012-12-26 2013-08-01 Chunghwa Telecom Co Ltd 影像式深度資訊擷取裝置
JP6055681B2 (ja) * 2013-01-10 2016-12-27 株式会社 日立産業制御ソリューションズ 撮像装置
CN104661008B (zh) * 2013-11-18 2017-10-31 深圳中兴力维技术有限公司 低照度条件下彩色图像质量提升的处理方法和装置
CN104021548A (zh) * 2014-05-16 2014-09-03 中国科学院西安光学精密机械研究所 一种获取场景4d信息的方法
US9516295B2 (en) * 2014-06-30 2016-12-06 Aquifi, Inc. Systems and methods for multi-channel imaging based on multiple exposure settings
CN107005639B (zh) * 2014-12-10 2020-04-14 索尼公司 图像拾取设备、图像拾取方法和图像处理设备
CN107431760B (zh) * 2015-03-31 2018-08-28 富士胶片株式会社 摄像装置、摄像装置的图像处理方法以及存储介质
WO2016192437A1 (zh) * 2015-06-05 2016-12-08 深圳奥比中光科技有限公司 一种3d图像捕获装置、捕获方法及3d图像***
JP2017011634A (ja) * 2015-06-26 2017-01-12 キヤノン株式会社 撮像装置およびその制御方法、並びにプログラム
CN105049829B (zh) * 2015-07-10 2018-12-25 上海图漾信息科技有限公司 滤光片、图像传感器、成像装置以及三维成像***
US10523855B2 (en) * 2015-09-24 2019-12-31 Intel Corporation Infrared and visible light dual sensor imaging system
TW201721269A (zh) * 2015-12-11 2017-06-16 宏碁股份有限公司 自動曝光系統及其自動曝光方法
JP2017112401A (ja) * 2015-12-14 2017-06-22 ソニー株式会社 撮像素子、画像処理装置および方法、並びにプログラム
CN206117865U (zh) * 2016-01-16 2017-04-19 上海图漾信息科技有限公司 深度数据监控装置
JP2017163297A (ja) * 2016-03-09 2017-09-14 キヤノン株式会社 撮像装置
KR101747603B1 (ko) * 2016-05-11 2017-06-16 재단법인 다차원 스마트 아이티 융합시스템 연구단 컬러 나이트 비전 시스템 및 그 동작 방법
CN106815826A (zh) * 2016-12-27 2017-06-09 上海交通大学 基于场景识别的夜视图像彩色融合方法
CN108280807A (zh) * 2017-01-05 2018-07-13 浙江舜宇智能光学技术有限公司 单目深度图像采集装置和***及其图像处理方法
JP6974873B2 (ja) * 2017-02-06 2021-12-01 フォトニック センサーズ アンド アルゴリズムス，エセ．エレ． シーンから深度情報を取得するための装置および方法
CN109474770B (zh) * 2017-09-07 2021-09-14 华为技术有限公司 一种成像装置及成像方法
CN109712102B (zh) * 2017-10-25 2020-11-27 杭州海康威视数字技术股份有限公司 一种图像融合方法、装置及图像采集设备
CN107846537B (zh) * 2017-11-08 2019-11-26 维沃移动通信有限公司 一种摄像头组件、图像获取方法及移动终端
CN109951646B (zh) * 2017-12-20 2021-01-15 杭州海康威视数字技术股份有限公司 图像融合方法、装置、电子设备及计算机可读存储介质
US10748247B2 (en) * 2017-12-26 2020-08-18 Facebook, Inc. Computing high-resolution depth images using machine learning techniques
CN110136183B (zh) * 2018-02-09 2021-05-18 华为技术有限公司 一种图像处理的方法、装置以及摄像装置
CN108965654B (zh) * 2018-02-11 2020-12-25 浙江宇视科技有限公司 基于单传感器的双光谱摄像机***和图像处理方法
CN110572583A (zh) * 2018-05-18 2019-12-13 杭州海康威视数字技术股份有限公司 拍摄图像的方法及摄像机
CN108961195B (zh) * 2018-06-06 2021-03-23 Oppo广东移动通信有限公司 图像处理方法及装置、图像采集装置、可读存储介质和计算机设备
JP7254461B2 (ja) * 2018-08-01 2023-04-10 キヤノン株式会社 撮像装置、制御方法、記録媒体、および、情報処理装置
CN109035193A (zh) * 2018-08-29 2018-12-18 成都臻识科技发展有限公司 一种基于双目立体相机的成像处理方法及成像处理***
PL3852350T3 (pl) * 2018-09-14 2024-06-10 Zhejiang Uniview Technologies Co., Ltd. Sposób oraz urządzenie do automatycznej ekspozycji dla obrazu w podwójnym spektrum, oraz kamera do obrazów w podwójnym spektrum oraz maszynowy nośnik pamięci
JP2020052001A (ja) * 2018-09-28 2020-04-02 パナソニックＩｐマネジメント株式会社 奥行取得装置、奥行取得方法およびプログラム
US11176694B2 (en) * 2018-10-19 2021-11-16 Samsung Electronics Co., Ltd Method and apparatus for active depth sensing and calibration method thereof
CN109636732B (zh) * 2018-10-24 2023-06-23 深圳先进技术研究院 一种深度图像的空洞修复方法以及图像处理装置
CN110248105B (zh) * 2018-12-10 2020-12-08 浙江大华技术股份有限公司 一种图像处理方法、摄像机及计算机存储介质
US11120536B2 (en) * 2018-12-12 2021-09-14 Samsung Electronics Co., Ltd Apparatus and method for determining image sharpness
WO2020168465A1 (zh) * 2019-02-19 2020-08-27 华为技术有限公司 一种图像处理的装置和方法
JP7316809B2 (ja) * 2019-03-11 2023-07-28 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、システム、及び、プログラム
CN110706178B (zh) * 2019-09-30 2023-01-06 杭州海康威视数字技术股份有限公司 图像融合装置、方法、设备及存储介质
CN111524175A (zh) * 2020-04-16 2020-08-11 东莞市东全智能科技有限公司 非对称式多摄像头的深度重建及眼动追踪方法及***
CN111540003A (zh) * 2020-04-27 2020-08-14 浙江光珀智能科技有限公司 一种深度图像的生成方法及装置
CN111586314B (zh) * 2020-05-25 2021-09-10 浙江大华技术股份有限公司 一种图像融合方法、装置以及计算机存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008176195A (ja) * 2007-01-22 2008-07-31 Seiko Epson Corp プロジェクタ
US20140354855A1 (en) * 2008-05-20 2014-12-04 Pelican Imaging Corporation Systems and Methods for Synthesizing Higher Resolution Images Using Images Captured by Camera Arrays
CN101404060A (zh) * 2008-11-10 2009-04-08 北京航空航天大学 一种基于可见光与近红外Gabor信息融合的人脸识别方法
JP2013115679A (ja) * 2011-11-30 2013-06-10 Fujitsu General Ltd 撮像装置
JP2016039409A (ja) * 2014-08-05 2016-03-22 キヤノン株式会社 画像処理装置及びその制御方法、プログラム、記憶媒体
US20180227509A1 (en) * 2015-08-05 2018-08-09 Wuhan Guide Infrared Co., Ltd. Visible light image and infrared image fusion processing system and fusion method
US20190378258A1 (en) * 2017-02-10 2019-12-12 Hangzhou Hikvision Digital Technology Co., Ltd. Image Fusion Apparatus and Image Fusion Method
CN111527743A (zh) * 2017-12-28 2020-08-11 伟摩有限责任公司 扩展动态范围的多种操作模式
TW201931847A (zh) * 2018-01-09 2019-08-01 呂官諭 加強影像辨識清晰的影像感測器及其應用
JP2018207497A (ja) * 2018-07-19 2018-12-27 キヤノン株式会社 画像処理装置及び画像処理方法、撮像装置、プログラム、並びに記憶媒体
US20200275011A1 (en) * 2019-02-27 2020-08-27 X Development Llc Infrared and visible imaging system
CN110349117A (zh) * 2019-06-28 2019-10-18 重庆工商大学 一种红外图像与可见光图像融合方法、装置及存储介质
CN111383206A (zh) * 2020-06-01 2020-07-07 浙江大华技术股份有限公司 一种图像处理方法、装置、电子设备及存储介质
IN202021032940A (zh) * 2020-07-31 2020-08-28 .Us Priyadarsan

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王亚杰;冉晓艳;叶永生;石祥滨;: "基于彩色图像融合的隐藏武器检测技术", 光电工程, no. 02 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091341A (zh) * 2022-12-15 2023-05-09 南京信息工程大学 一种低光图像的曝光差增强方法及装置
CN116091341B (zh) * 2022-12-15 2024-04-02 南京信息工程大学 一种低光图像的曝光差增强方法及装置

Also Published As

Publication number Publication date
TW202211160A (zh) 2022-03-16
CN114143443A (zh) 2022-03-04
TWI778476B (zh) 2022-09-21
CN114143418A (zh) 2022-03-04
TWI797528B (zh) 2023-04-01
CN114143421B (zh) 2024-04-05
TW202211674A (zh) 2022-03-16
TW202211673A (zh) 2022-03-16
CN114143421A (zh) 2022-03-04
CN114143443B (zh) 2024-04-05
CN114143419A (zh) 2022-03-04
TW202211161A (zh) 2022-03-16
CN114143419B (zh) 2023-12-26
CN114143418B (zh) 2023-12-01
TWI764484B (zh) 2022-05-11
TW202211165A (zh) 2022-03-16
TWI767484B (zh) 2022-06-11
CN114143420B (zh) 2024-05-03
TWI767468B (zh) 2022-06-11

Similar Documents

Publication Publication Date Title
US9852499B2 (en) Automatic selection of optimum algorithms for high dynamic range image processing based on scene classification
US11689822B2 (en) Dual sensor imaging system and privacy protection imaging method thereof
US8724921B2 (en) Method of capturing high dynamic range images with objects in the scene
Battiato et al. Exposure correction for imaging devices: an overview
JP4234195B2 (ja) 画像分割方法および画像分割システム
US8811733B2 (en) Method of chromatic classification of pixels and method of adaptive enhancement of a color image
CN112118388B (zh) 图像处理方法、装置、计算机设备和存储介质
CN106464816A (zh) 图像处理设备及其图像处理方法
KR20130031574A (ko) 영상 처리 방법 및 영상 처리 장치
JP6685188B2 (ja) 撮像装置、画像処理装置及びそれらの制御方法、プログラム
US9489750B2 (en) Exposure metering based on background pixels
CN110246101B (zh) 图像处理方法和装置
CN110047060B (zh) 图像处理方法、装置、存储介质及电子设备
CN113691795A (zh) 图像处理设备、图像处理方法和存储介质
CN110677558A (zh) 图像处理方法与电子装置
US11496694B2 (en) Dual sensor imaging system and imaging method thereof
CN114143420B (zh) 双传感器摄像***及其隐私保护摄像方法
US11496660B2 (en) Dual sensor imaging system and depth map calculation method thereof
US11568526B2 (en) Dual sensor imaging system and imaging method thereof
WO2022192015A1 (en) Systems and methods for high dynamic range image reconstruction
CN114697483A (zh) 基于压缩感知白平衡算法的屏下摄像装置及方法
KR101710629B1 (ko) 촬상 장치 및 촬상 방법
Vallikumari et al. HDR scene detection and capturing strategy
CN118071658A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
Kumari et al. Optimal exposure sets for high dynamic range scenes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant