CN110213501A - 一种抓拍方法、装置、电子设备及存储介质 - Google Patents

一种抓拍方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110213501A
CN110213501A CN201910552991.7A CN201910552991A CN110213501A CN 110213501 A CN110213501 A CN 110213501A CN 201910552991 A CN201910552991 A CN 201910552991A CN 110213501 A CN110213501 A CN 110213501A
Authority
CN
China
Prior art keywords
image
target
visible light
candid photograph
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910552991.7A
Other languages
English (en)
Inventor
吴惠敏
吴赛玲
曾文智
易荣刚
郝李鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201910552991.7A priority Critical patent/CN110213501A/zh
Publication of CN110213501A publication Critical patent/CN110213501A/zh
Priority to PCT/CN2019/130308 priority patent/WO2020258816A1/en
Priority to EP19934970.5A priority patent/EP3949379A4/en
Priority to US17/645,447 priority patent/US11967052B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种抓拍方法、装置、电子设备及存储介质，所述方法包括：获取抓拍区域的目标可见光图像和目标红外图像；根据所述目标可见光图像中每个像素点的像素值和所述目标红外图像中每个像素点的像素值，确定融合图像；根据设定的抓拍目标，识别所述目标可见光图像和所述融合图像中与所述抓拍目标匹配的目标区域，并将所述融合图像中目标区域的图像替换为所述目标可见光图像中目标区域的图像，得到抓拍图像。用以保证抓拍图像的动态范围增加，在局部目标区域上分辨率不降低，使得抓拍图像在可视性上可见内容增多，局部目标区域清晰干净，提高了抓拍图像的质量。

Description

一种抓拍方法、装置、电子设备及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种抓拍方法、装置、电子设备及存储介质。
背景技术
随着科学技术水平的不断发展、安防监控的重要性不断提升，越来越多的功能集成在摄像设备上，现有的摄像设备即可以实时采集视频图像，也可以在实时采集视频图像的基础上，对过往的行人、车辆等进行抓拍。然而，易受光照条件等自然因素影响，在强光源如日光、反光等高亮区域，阴影、逆光等黑暗区域存在时，摄像设备抓拍的可见光图像会出现高亮区域因曝光过度成为白色，黑暗区域因曝光不足成为黑色的问题，即抓拍的可见光图像会在明亮区域和黑暗区域存在局限性，抓拍的可见光图像存在动态范围小的问题。
而红外图像具有不易受光照条件等自然因素影响的特点，但红外图像的分辨率低、清晰度低，对细节信息描述不足，因此如何利用红外图像改善现有抓拍方案的抓拍图像动态范围小的问题，同时避免造成抓拍图像的清晰度低影响，提升抓拍图像的质量成为一个亟待解决的问题。
发明内容
本发明提供一种抓拍方法、装置、电子设备及存储介质，用以解决现有技术中存在抓拍图像动态范围小、质量不高的问题。
第一方面，本发明公开了一种抓拍方法，所述方法包括：
获取抓拍区域的目标可见光图像和目标红外图像；
根据所述目标可见光图像中每个像素点的像素值和所述目标红外图像中每个像素点的像素值，确定融合图像；
根据设定的抓拍目标，识别所述目标可见光图像和所述融合图像中与所述抓拍目标匹配的目标区域，并将所述融合图像中目标区域的图像替换为所述目标可见光图像中目标区域的图像，得到抓拍图像。
在一个可选的设计中，所述获取抓拍区域的目标可见光图像和目标红外图像之前，所述方法还包括：
对所述抓拍区域进行可见光视频录制；
根据所述设定的抓拍目标，识别当前录制的可见光视频中对应录制时刻最大的一帧可见光图像中是否包含所述抓拍目标；
如果是，进行获取抓拍区域的目标可见光图像和目标红外图像的步骤。
在一个可选的设计中，识别到可见光图像中包含所述抓拍目标后，所述获取抓拍区域的目标可见光图像和目标红外图像之前，所述方法还包括：
控制红外补光灯和/或可见光补光灯开启。
在一个可选的设计中，所述根据所述目标可见光图像中每个像素点的像素值和所述目标红外图像中每个像素点的像素值，确定融合图像之前，所述方法还包括：
对所述目标可见光图像和所述目标红外图像进行配准。
第二方面，本发明公开了一种抓拍装置，所述装置包括：
获取融合模块，用于获取抓拍区域的目标可见光图像和目标红外图像；以及根据所述目标可见光图像中每个像素点的像素值和所述目标红外图像中每个像素点的像素值，确定融合图像，并将所述目标可见光图像和融合图像发送给识别处理模块；
所述识别处理模块，用于根据设定的抓拍目标，识别所述目标可见光图像和所述融合图像中与所述抓拍目标匹配的目标区域，并将所述融合图像中目标区域的图像替换为所述目标可见光图像中目标区域的图像，得到抓拍图像。
在一个可选的设计中，所述获取融合模块，还用于对所述抓拍区域进行可见光视频录制，并将所述可见光视频发送给所述识别处理模块；
所述识别处理模块，还用于根据所述设定的抓拍目标，识别当前录制的可见光视频中对应录制时刻最大的一帧可见光图像中是否包含所述抓拍目标；如果是，向所述获取融合模块发送抓拍指令，触发所述获取融合模块进行获取抓拍区域的目标可见光图像和目标红外图像的步骤。
在一个可选的设计中，所述获取融合模块，具体用于，通过消隐带宽向所述识别处理模块发送所述融合图像。
在一个可选的设计中，所述获取融合模块，还用于接收到抓拍指令后，控制红外补光灯和/或可见光补光灯开启。
在一个可选的设计中，所述获取融合模块，还用于对所述目标可见光图像和所述目标红外图像进行配准。
第三方面，本发明公开了一种电子设备，包括：处理器和存储器；
所述存储器中存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行上述第一方面或第一方面的任一种可选的设计中所述的方法。
第四方面，本发明公开了一种计算机可读存储介质，其存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行上述第一方面或第一方面的任一种可选的设计中所述的方法。
本发明有益效果如下：
由于在本发明实施例中，电子设备同步获取抓拍区域的目标可见光图像和目标红外图像，并根据目标可见光图像中每个像素点的像素值和目标红外图像中每个像素点的像素值，确定融合图像，并将融合图像中对应抓拍目标的目标区域的图像替换为目标可见光图像中对应抓拍目标的目标区域的图像，得到抓拍图像，保证了抓拍图像的动态范围增加，使得抓拍图像在可视性上可见内容增多，又能够保证抓拍图像在局部目标区域上分辨率不降低，使得抓拍图像的局部目标区域在可视性上清晰干净，提高了抓拍图像的质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种抓拍方法示意图；
图2为本发明实施例提供的一种抓拍装置结构示意图；
图3为本发明实施例提供的一种摄像机结构示意图；
图4为本发明实施例提供的一种电子设备结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的一种抓拍方法示意图，该方法包括：
S101：获取抓拍区域的目标可见光图像和目标红外图像。
本发明实施例提供的抓拍方法应用于电子设备，所述电子设备可以为设置有可见光传感器和红外传感器的摄像设备，如摄像机、数码照相机等；也可以为连接有可见光传感器和红外传感器的个人电脑、摄像控制器等。其中所述可见光传感器(如可见光摄像头)用于采集可见光图像，所述红外传感器(如红外摄像头)用于采集红外图像。
在道路路口、停车场出入口、商场出入口等区域通常会安装有摄像设备，用于进行实时监控，并对过往的人员、车辆等进行抓拍，以便工作人员获取车辆的通行信息、车辆的出入信息、人员的出入信息等，并可以在发生治安等事件时通过调取监控录像查找线索，给人们的生活带来了便利。然而，现有抓拍方法获取的抓拍图像的质量不高，本发明实施例旨在提供一种获取高质量的抓拍图像的抓拍方法。
在本发明实施例中，抓拍区域可以是道路路口、小区出入口、停车场出入口等，可以根据需求设定，具体的，电子设备在确定抓拍区域存在抓拍目标时，通过可见光传感器和红外传感器同步(同时)获取抓拍区域的目标可见光图像和目标红外图像。
具体的，电子设备可以通过与电子设备连接的外接设备，确定抓拍区域是否包含抓拍目标。以抓拍区域为小区车辆出入口、抓拍目标为车牌为例，可以在抓拍区域的地下设置地感线圈，当有车辆驶入抓拍区域时，会导致地感线圈的震荡频率发生变化，电子设备在地感线圈的震荡频率发生变化时，确定有车辆驶入抓拍区域，抓拍区域存在抓拍目标“车牌”，触发抓拍，通过可见光传感器和红外传感器同步获取抓拍区域的目标可见光图像和目标红外图像。以抓拍区域为商场出入口、抓拍目标为人脸为例，可以在抓拍区域设置红外探测器，当有人员走进抓拍区域时，会导致红外探测器检测到的红外特征发生变化，电子设备在红外探测器检测到的红外特征发生变化时，确定有人员走进抓拍区域，抓拍区域存在抓拍目标“人脸”，触发抓拍，通过可见光传感器和红外传感器同步获取抓拍区域的目标可见光图像和目标红外图像。
当然，电子设备还可以通过录制的抓拍区域的可见光视频识别抓拍区域是否包含抓拍目标。即所述获取抓拍区域的目标可见光图像和目标红外图像之前，所述方法还包括：
对所述抓拍区域进行可见光视频录制；
根据所述设定的抓拍目标，识别当前录制的可见光视频中对应录制时刻最大的一帧可见光图像中是否包含所述抓拍目标；
如果是，进行获取抓拍区域的目标可见光图像和目标红外图像的步骤。
具体的，电子设备可以通过可见光传感器对抓拍区域进行实时监控，即对抓拍区域进行可见光视频录制；并根据设定的抓拍目标，如人脸、车牌等，识别当录制的可见光视频中对应录制时刻最大的一帧可见光图像中是否包含抓拍目标，即实时识别录制视频中最新一帧可见光图像中是否包含抓拍目标，如果是，则触发抓拍，通过可见光传感器和红外传感器同步获取抓拍区域的目标可见光图像和目标红外图像。
S102：根据所述目标可见光图像中每个像素点的像素值和所述目标红外图像中每个像素点的像素值，确定融合图像。
在本发明实施例中，获取的抓拍区域的目标可见光图像和目标红外图像的大小相同，图像中相同位置的像素点相对应，如可见光图像中心的像素点与目标红外图像中心的像素点相对应。
具体的，电子设备可以采用对目标可见光图像和目标红外图像进行线性合成的方式，确定融合图像，如根据W(x，y)＝M(x，y)*k1+N(x，y)*K2，确定融合图像，其中x和y表示像素点在图像中的横坐标和纵坐标，W表示像素点在融合图像中的像素值，M表示像素点在目标可见光图像中的像素值、N表示像素点目标可见光图像中的像素值。
当然了，电子设备也可以采用对目标可见光图像和目标红外图像分别进行金字塔变换，得到目标可见光图像的低频分量和高频分量，目标红外图像的低频分量和高频分量；并根据设定的目标可见光图像对应的低频分量权重系数和高频分量权重系数、目标红外图像对应的低频分量权重系数和高频分量权重系数，将目标可见光图像的低频分量和目标红外图像的低频分量进行融合，将目标可见光图像的高频分量和目标红外图像的高频分量进行融合，并对融合后的低频分量和高频分量进行金字塔重构，得到融合图像。此外，电子设备还可以采用基于小波变换的图像融合算法，融合目标可见光图像和目标红外图像，得到融合图像。
较佳的，为了避免可见光传感器或红外传感器安装时造成的误差，在本发明实施例中，所述根据所述目标可见光图像中每个像素点的像素值和所述目标红外图像中每个像素点的像素值，确定融合图像之前，所述方法还包括：
对所述目标可见光图像和所述目标红外图像进行配准。
具体的，电子设备可以根据预先设置的像素阈值、灰度阈值等，通过数学形态学方法提取目标红外图像和目标可见光图像的边缘，得到目标红外图像的边缘图像和目标可见光图像的边缘图像；通过加速稳健特征(Speeded Up Robust Features,SURF)算法，分别提取目标红外图像的边缘图像和目标可见光图像的边缘图像中的特征点，根据正确的匹配点对之间斜率一致性的先验知识，进行特征点匹配；确定目标红外图像和目标可见光图像中用于配准的特征点对，最后通过最小二乘法求得仿射变换模型参数，实现对目标可见光图像和目标红外图像的配准，在本发明实施例中，对目标可见光图像和目标红外图像进行配准，是现有技术不再进行赘述。
此外，为了避免识别当前录制的可见光视频中最后一帧可见光图像中是否包含抓拍目标的处理器，和进行可见光视频的录制，及目标可见光图像和目标可见光图像融合的处理器不同时，发送融合图像对可见光视频的录制和抓拍造成影响，在本发明实施例中通过消隐(Blanking)带宽进行融合图像的传输，其中所述消隐带宽指没有可见光视频的可见光图像帧发送的间隔/间隙。
S103：根据设定的抓拍目标，识别所述目标可见光图像和所述融合图像中与所述抓拍目标匹配的目标区域，并将所述融合图像中目标区域的图像替换为所述目标可见光图像中目标区域的图像，得到抓拍图像。
虽然融合图像利用了红外图像不易受光照条件等自然因素影响的特点，克服了可见光图像易受光照条件等自然因素影响，在明亮区域和黑暗区域存在局限性的问题，解决了抓拍图像动态范围小的问题。但是由于红外的分辨率低、清晰度低，对细节信息描述不足，会导致局部目标区域的清晰度降低。在本发明实施例中，为了避免得到的抓拍图像局部目标区域清晰度降低，电子设备根据预先设定的抓拍目标，识别目标可见光图像和融合图像中与抓拍目标匹配的目标区域，并将融合图像中目标区域的图像替换为目标可见光图像中目标区域的图像，将完成替换的融合图像，作为抓拍图像。
例如抓拍目标为车牌，电子设备识别目标可见光图像和融合图像中与车牌匹配的车牌区域，并将融合图像中车牌区域的图像替换为目标可见光图像中车牌区域的图像，将完成替换的融合图像，作为抓拍图像。
由于在本发明实施例中，电子设备同步获取抓拍区域的目标可见光图像和目标红外图像，并根据目标可见光图像中每个像素点的像素值和目标红外图像中每个像素点的像素值，确定融合图像，并将融合图像中对应抓拍目标的目标区域的图像替换为目标可见光图像中对应抓拍目标的目标区域的图像，得到抓拍图像，保证了抓拍图像的动态范围增加，使得抓拍图像在可视性上可见内容增多，又能够保证抓拍图像在局部目标区域上分辨率不降低，使得抓拍图像的局部目标区域在可视性上清晰干净，提高了抓拍图像的质量。
为了进一步保证抓拍图像的效果，识别到可见光图像中包含所述抓拍目标后，所述获取抓拍区域的目标可见光图像和目标红外图像之前，所述方法还包括：
控制红外补光灯和/或可见光补光灯开启。
具体的，电子设备识别所述可见光图像中包含所述抓拍目标后，在获取抓拍区域的目标可见光图像和目标红外图像之前，可以控制红外补光灯和/或可见光补光灯等辅助抓拍的外设开启，保证获取的目标可见光图像和目标红外图像的质量；当然了，也可以是控制红外补光灯和/或可见光补光灯等外设，在获取抓拍区域的目标可见光图像和目标红外图像时同步开启，以保证获取的目标可见光图像和目标红外图像的质量。
图2为本发明实施例提供的一种抓拍装置结构示意图，所述装置包括：
获取融合模块21，用于获取抓拍区域的目标可见光图像和目标红外图像；以及根据所述目标可见光图像中每个像素点的像素值和所述目标红外图像中每个像素点的像素值，确定融合图像，并将所述目标可见光图像和融合图像发送给识别处理模块22；
所述识别处理模块22，用于根据设定的抓拍目标，识别所述目标可见光图像和所述融合图像中与所述抓拍目标匹配的目标区域，并将所述融合图像中目标区域的图像替换为所述目标可见光图像中目标区域的图像，得到抓拍图像。
优选地，所述获取融合模块21，还用于对所述抓拍区域进行可见光视频录制，并将所述可见光视频发送给所述识别处理模块22；
所述识别处理模块22，还用于根据所述设定的抓拍目标，识别当前录制的可见光视频中对应录制时刻最大的一帧可见光图像中是否包含所述抓拍目标；如果是，向所述获取融合模块发送抓拍指令，触发所述获取融合模块进行获取抓拍区域的目标可见光图像和目标红外图像的步骤。
优选地，所述获取融合模块21，具体用于，通过消隐带宽向所述识别处理模块22发送所述融合图像。
优选地，所述获取融合模块21，还用于接收到抓拍指令后，控制红外补光灯和/或可见光补光灯开启。
优选地，所述获取融合模块21，还用于对所述目标可见光图像和所述目标红外图像进行配准。
在本发明实施例中，获取融合模块和识别处理模块的功能实现可以分别通过电子设备中不同的处理器(单元)实现，参照图3所示，以电子设备为摄像机，获取融合模块和识别处理模块的功能实现分别通过摄像机的视频处理器1(video processorⅠ)和视频处理器2(video processorⅡ)实现为例进行说明，此外摄像机还包括可见光传感器(sensorA)和红外传感器(sensorB)。
步骤1：视频处理器1根据设置的时序控制，在每个采集时刻控制可见光传感器和红外传感器，分别采集抓拍区域的可见光图像和红外图像，处理器1在“端口1”接收到红外传感器采集的红外图像，直接丢弃，在“端口2”接收到可见光传感器采集的可见光图像，立刻通过“端口3”发送给视频处理器2，然后丢弃，视频处理器1持续获取并发送的可见光图像，即为对抓拍区域的可见光视频录制。
步骤2：视频处理器2在“端口4”接收到视频处理器1发送的可见光图像(当前录制的可见光视频中对应录制时刻最大的一帧可见光图像)，将该可见光图像，输入到视频处理器2中视频分析单元(Video Analyze Composite Module，VACM)，如果存在抓拍目标，向视频处理器1发送抓拍指令。
步骤3：视频处理器1接收的抓拍指令，控制红外补光灯和/或可见光补光灯等外设开启，或者控制红外补光灯和/或可见光补光灯等外设在设定的时序确定的即将到来的最近的一个采集时刻与可见光传感器和红外传感器同步开启，在设定的时序确定的即将到来的最近的一个采集时刻到来时，可见光传感器和红外传感器分别采集抓拍区域的可见光图像和红外图像，作为目标可见光图像和目标红外图像。参照图3所示，假设视频处理器2是在a1帧可见光图像识别到抓拍目标，由于视频处理器1和视频处理器2之间传输可见光图像及抓拍指令，及视频处理器2对可见光图像的分析处理，抓拍获取的目标可见光图像，可能不是与a1帧相邻的a2帧可见光图像，而是a2帧可见光图像之后的a3帧可见光图像；同理，抓拍获取的目标红外图像，可能不是与b1帧相邻的b2帧可见光图像，而是b2帧可见光图像之后的b3帧可见光图像。视频处理器1在“端口1”接收到红外传感器采集的目标红外图像(b3)，被缓存，在“端口2”接收到可见光传感器采集的目标可见光图像(a3)，立刻通过端口3发送给视频处理器2，同时缓存。
步骤4：视频处理器1将缓存的目标可见光图像(a3)和目标红外图像(b3)进行融合，得到融合图像(a3，b3)，融合图像的动态范围增加，可视性上可见内容增多，并通过“端口3”利用消隐(Blanking)带宽，将融合图像(a3，b3)发送给视频处理器2，将目标可见光图像(a3)、目标红外图像(b3)，融合图像(a3，b3)均丢弃。
参照图3所示，消隐带宽为传输可见光视频的消隐带宽，在消隐带宽中没有可见光图像帧的发送，不会对可见光视频的可见光图像帧的发送产生干扰，也不会对触发抓拍指令产生影响。
步骤5：视频处理器2，在“端口2”接收到处理器1发送的融合图像(a3，b3)，将融合图像(a3，b3)关联到目标可见光图像(a3)，输入到视频处理器2中VACM，识别目标可见光图像(a3)和融合图像(a3，b3)中与抓拍目标匹配的目标区域，并将融合图像(a3，b3)中目标区域的图像，替换为目标可见光图像(a3)中目标区域的图像，得到抓拍图像。能够保证抓拍图像在局部目标区域上分辨率不降低，使得抓拍图像的局部目标区域在可视性上清晰干净，提高了抓拍图像的质量。
在本发明实施例中，视频处理器1可以在接收到抓拍指令后，采用与未接受到抓拍指令时，不同的采集参数，如“感光时间”等，控制可见光传感器和红外传感器，采集目标可见光图像和目标红外图像。
基于同一发明构思，本发明实施例中还提供了一种电子设备，由于上述电子设备解决问题的原理与抓拍方法相似，因此上述电子设备的实施可以参见方法的实施，重复之处不再赘述。
如图4所示，其为本发明实施例提供的电子设备的结构示意图，其中在图4中，总线架构可以包括任意数量的互联的总线和桥，具体有处理器41代表的一个或多个处理器和存储器42代表的存储器的各种电路链接在一起。总线架构还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。处理器41负责管理总线架构和通常的处理，存储器42可以存储处理器41在执行操作时所使用的数据。
在本发明实施例提供的电子设备中：
所述处理器41，用于读取存储器42中的计算机程序，执行以下过程：获取抓拍区域的目标可见光图像和目标红外图像；
根据所述目标可见光图像中每个像素点的像素值和所述目标红外图像中每个像素点的像素值，确定融合图像；
根据设定的抓拍目标，识别所述目标可见光图像和所述融合图像中与所述抓拍目标匹配的目标区域，并将所述融合图像中目标区域的图像替换为所述目标可见光图像中目标区域的图像，得到抓拍图像。
优选地，所述处理器41，还用于对所述抓拍区域进行可见光视频录制；根据所述设定的抓拍目标，识别当前录制的可见光视频中对应录制时刻最大的一帧可见光图像中是否包含所述抓拍目标；如果是，进行获取抓拍区域的目标可见光图像和目标红外图像的步骤。
优选地，所述处理器41，还用于识别到可见光图像中包含所述抓拍目标后，所述获取抓拍区域的目标可见光图像和目标红外图像之前，控制红外补光灯和/或可见光补光灯开启。
优选地，所述处理器41，还用于在所述根据所述目标可见光图像中每个像素点的像素值和所述目标红外图像中每个像素点的像素值，确定融合图像之前，对所述目标可见光图像和所述目标红外图像进行配准。
在上述各实施例的基础上，本发明实施例还提供了一种计算机存储可读存储介质，所述计算机可读存储介质内存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行上述实施例描述的抓拍方法。
对于***/装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (11)

1.一种抓拍方法，其特征在于，所述方法包括：
获取抓拍区域的目标可见光图像和目标红外图像；
根据所述目标可见光图像中每个像素点的像素值和所述目标红外图像中每个像素点的像素值，确定融合图像；
根据设定的抓拍目标，识别所述目标可见光图像和所述融合图像中与所述抓拍目标匹配的目标区域，并将所述融合图像中目标区域的图像替换为所述目标可见光图像中目标区域的图像，得到抓拍图像。
2.如权利要求1所述的方法，其特征在于，所述获取抓拍区域的目标可见光图像和目标红外图像之前，所述方法还包括：
对所述抓拍区域进行可见光视频录制；
根据所述设定的抓拍目标，识别当前录制的可见光视频中对应录制时刻最大的一帧可见光图像中是否包含所述抓拍目标；
如果是，进行获取抓拍区域的目标可见光图像和目标红外图像的步骤。
3.如权利要求2所述的方法，其特征在于，识别到可见光图像中包含所述抓拍目标后，所述获取抓拍区域的目标可见光图像和目标红外图像之前，所述方法还包括：
控制红外补光灯和/或可见光补光灯开启。
4.如权利要求1所述的方法，其特征在于，所述根据所述目标可见光图像中每个像素点的像素值和所述目标红外图像中每个像素点的像素值，确定融合图像之前，所述方法还包括：
对所述目标可见光图像和所述目标红外图像进行配准。
5.一种抓拍装置，其特征在于，所述装置包括：
获取融合模块，用于获取抓拍区域的目标可见光图像和目标红外图像；以及根据所述目标可见光图像中每个像素点的像素值和所述目标红外图像中每个像素点的像素值，确定融合图像，并将所述目标可见光图像和融合图像发送给识别处理模块；
所述识别处理模块，用于根据设定的抓拍目标，识别所述目标可见光图像和所述融合图像中与所述抓拍目标匹配的目标区域，并将所述融合图像中目标区域的图像替换为所述目标可见光图像中目标区域的图像，得到抓拍图像。
6.如权利要求5所述的装置，其特征在于，所述获取融合模块，还用于对所述抓拍区域进行可见光视频录制，并将所述可见光视频发送给所述识别处理模块；
所述识别处理模块，还用于根据所述设定的抓拍目标，识别当前录制的可见光视频中对应录制时刻最大的一帧可见光图像中是否包含所述抓拍目标；如果是，向所述获取融合模块发送抓拍指令，触发所述获取融合模块进行获取抓拍区域的目标可见光图像和目标红外图像的步骤。
7.如权利要求6所述的装置，其特征在于，所述获取融合模块，具体用于，通过消隐带宽向所述识别处理模块发送所述融合图像。
8.如权利要求6所述的装置，其特征在于，所述获取融合模块，还用于接收到抓拍指令后，控制红外补光灯和/或可见光补光灯开启。
9.如权利要求5所述的装置，其特征在于，所述获取融合模块，还用于对所述目标可见光图像和所述目标红外图像进行配准。
10.一种电子设备，其特征在于，包括处理器和存储器；
所述存储器中存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行权利要求1-4任一项所述方法的步骤。
11.一种计算机可读存储介质，其特征在于，其存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行权利要求1-4任一项所述方法的步骤。
CN201910552991.7A 2019-06-25 2019-06-25 一种抓拍方法、装置、电子设备及存储介质 Pending CN110213501A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910552991.7A CN110213501A (zh) 2019-06-25 2019-06-25 一种抓拍方法、装置、电子设备及存储介质
PCT/CN2019/130308 WO2020258816A1 (en) 2019-06-25 2019-12-31 Systems and methods for image processing
EP19934970.5A EP3949379A4 (en) 2019-06-25 2019-12-31 IMAGE PROCESSING SYSTEMS AND METHODS
US17/645,447 US11967052B2 (en) 2019-06-25 2021-12-21 Systems and methods for image processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910552991.7A CN110213501A (zh) 2019-06-25 2019-06-25 一种抓拍方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN110213501A true CN110213501A (zh) 2019-09-06

Family

ID=67794478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910552991.7A Pending CN110213501A (zh) 2019-06-25 2019-06-25 一种抓拍方法、装置、电子设备及存储介质

Country Status (4)

Country Link
US (1) US11967052B2 (zh)
EP (1) EP3949379A4 (zh)
CN (1) CN110213501A (zh)
WO (1) WO2020258816A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020258816A1 (en) * 2019-06-25 2020-12-30 Zhejiang Dahua Technology Co., Ltd. Systems and methods for image processing
CN112887593A (zh) * 2021-01-13 2021-06-01 浙江大华技术股份有限公司 图像获取方法及装置
CN112907701A (zh) * 2019-11-19 2021-06-04 杭州海康威视数字技术股份有限公司 获取图像的方法、装置、计算机设备和存储介质
CN115273184A (zh) * 2022-07-15 2022-11-01 北京百度网讯科技有限公司 人脸活体检测模型训练方法及装置
CN117237779A (zh) * 2023-11-15 2023-12-15 江西联创特种微电子有限公司 可见光图像和红外图像结合分析的图像识别方法及***

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102458470B1 (ko) * 2020-05-27 2022-10-25 베이징 샤오미 모바일 소프트웨어 컴퍼니 리미티드 난징 브랜치. 이미지 처리 방법 및 장치, 카메라 컴포넌트, 전자 기기, 저장 매체
CN114666458B (zh) * 2020-12-22 2024-07-02 富泰华工业（深圳）有限公司 图像融合方法、装置、电子设备及存储介质
CN112862868B (zh) * 2021-01-31 2023-12-01 南京信息工程大学 一种基于线性变换和小波分析的运动海浪图像配准融合方法
US20230262300A1 (en) * 2022-02-16 2023-08-17 Lenovo (Singapore) Pte. Ltd Information processing apparatus and control method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013118337A1 (ja) * 2012-02-06 2013-08-15 日立コンシューマエレクトロニクス株式会社 撮像装置
CN104935822A (zh) * 2015-06-15 2015-09-23 努比亚技术有限公司 一种处理图像的方法和装置
CN105096289A (zh) * 2015-09-21 2015-11-25 河南科技学院 一种图像处理的方法及移动终端
CN108769550A (zh) * 2018-05-16 2018-11-06 中国人民解放军军事科学院军事医学研究院 一种基于dsp的图像显著分析***及方法
CN109429001A (zh) * 2017-08-25 2019-03-05 杭州海康威视数字技术股份有限公司 图像采集方法、装置、电子设备以及计算机可读存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7620265B1 (en) * 2004-04-12 2009-11-17 Equinox Corporation Color invariant image fusion of visible and thermal infrared video
CN103136831B (zh) 2013-02-19 2016-09-07 江苏开拓信息与***有限公司 一种小区多设备联动抓拍监控***及方法
US10148895B2 (en) * 2013-12-19 2018-12-04 Flir Systems Ab Generating a combined infrared/visible light image having an enhanced transition between different types of image information
CN103793896B (zh) * 2014-01-13 2017-01-18 哈尔滨工程大学 一种红外图像与可见光图像的实时融合方法
CN104463821A (zh) * 2014-11-28 2015-03-25 中国航空无线电电子研究所 一种红外图像与可见光图像的融合方法
CN107918929B (zh) 2016-10-08 2019-06-21 杭州海康威视数字技术股份有限公司 一种图像融合方法、装置及***
CN107977924A (zh) 2016-10-21 2018-05-01 杭州海康威视数字技术股份有限公司 一种基于双传感器成像的图像处理方法、***
CN110049921B (zh) * 2017-11-03 2022-12-23 深圳市大疆创新科技有限公司 用于红外跟踪的方法和***
US11228746B2 (en) * 2018-02-20 2022-01-18 Gopro, Inc. Multiple tone control
CN110213501A (zh) * 2019-06-25 2019-09-06 浙江大华技术股份有限公司 一种抓拍方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013118337A1 (ja) * 2012-02-06 2013-08-15 日立コンシューマエレクトロニクス株式会社 撮像装置
CN104935822A (zh) * 2015-06-15 2015-09-23 努比亚技术有限公司 一种处理图像的方法和装置
CN105096289A (zh) * 2015-09-21 2015-11-25 河南科技学院 一种图像处理的方法及移动终端
CN109429001A (zh) * 2017-08-25 2019-03-05 杭州海康威视数字技术股份有限公司 图像采集方法、装置、电子设备以及计算机可读存储介质
CN108769550A (zh) * 2018-05-16 2018-11-06 中国人民解放军军事科学院军事医学研究院 一种基于dsp的图像显著分析***及方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020258816A1 (en) * 2019-06-25 2020-12-30 Zhejiang Dahua Technology Co., Ltd. Systems and methods for image processing
CN112907701A (zh) * 2019-11-19 2021-06-04 杭州海康威视数字技术股份有限公司 获取图像的方法、装置、计算机设备和存储介质
CN112887593A (zh) * 2021-01-13 2021-06-01 浙江大华技术股份有限公司 图像获取方法及装置
CN112887593B (zh) * 2021-01-13 2023-04-07 浙江大华技术股份有限公司 图像获取方法及装置
CN115273184A (zh) * 2022-07-15 2022-11-01 北京百度网讯科技有限公司 人脸活体检测模型训练方法及装置
CN117237779A (zh) * 2023-11-15 2023-12-15 江西联创特种微电子有限公司 可见光图像和红外图像结合分析的图像识别方法及***
CN117237779B (zh) * 2023-11-15 2024-02-09 江西联创特种微电子有限公司 可见光图像和红外图像结合分析的图像识别方法及***

Also Published As

Publication number Publication date
US20220114712A1 (en) 2022-04-14
WO2020258816A1 (en) 2020-12-30
EP3949379A4 (en) 2022-04-06
EP3949379A1 (en) 2022-02-09
US11967052B2 (en) 2024-04-23

Similar Documents

Publication Publication Date Title
CN110213501A (zh) 一种抓拍方法、装置、电子设备及存储介质
CN107705574A (zh) 一种精准快速的道路违章停车全自动抓拍***
CN101344988B (zh) 图像获取和处理装置及方法、车辆监测和记录***
CN202838681U (zh) 一种治安智能卡口***
CN105096610A (zh) 一种小区出入口监控管理***
CN204884185U (zh) 一种小区出入口监控管理***
CN102194320B (zh) 高清网络智能摄像机及高清网络智能抓拍方法
CN104134352A (zh) 基于长短曝光结合的视频车辆特征检测***及其检测方法
TW202013252A (zh) 車牌辨識系統與方法
CN106448184A (zh) 车辆识别方法及车辆出场识别方法
KR101625538B1 (ko) 도시방범이 가능한 다차선 자동차 번호판 인식시스템
KR100834550B1 (ko) 불법 주정차 무인 자동 단속방법 및 그 시스템
CN103186982A (zh) 一种治安智能卡口***
CN110660222A (zh) 一种智能环保道路黑烟车辆电子抓拍***
CN107948465A (zh) 一种检测摄像头被干扰的方法和装置
CN103646550A (zh) 一种智能车牌识别***
KR100820952B1 (ko) 단일 카메라를 이용한 불법 주정차 무인 자동 단속방법 및그 시스템
CN109194873A (zh) 一种图像处理方法及装置
CN109274945B (zh) 一种自适应进行图像真彩色还原的方法及***
CN109766743B (zh) 一种智能仿生警察***
CN205179222U (zh) 一种实时隐藏拍摄防伪水印的视频监控装置
CN103778790B (zh) 一种基于视频序列的车流量方波统计法
CN110321378A (zh) 一种移动监控图像识别***及方法
CN108961169A (zh) 监控抓拍方法及装置
Pornpanomchai et al. Vehicle detection and counting from a video frame

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190906