CN114827435A - 免IR-Cut的视频流处理方法及装置、智能门锁及介质 - Google Patents

免IR-Cut的视频流处理方法及装置、智能门锁及介质 Download PDF

Info

Publication number
CN114827435A
CN114827435A CN202110118669.0A CN202110118669A CN114827435A CN 114827435 A CN114827435 A CN 114827435A CN 202110118669 A CN202110118669 A CN 202110118669A CN 114827435 A CN114827435 A CN 114827435A
Authority
CN
China
Prior art keywords
video stream
mode
stream data
lens
infrared lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110118669.0A
Other languages
English (en)
Other versions
CN114827435B (zh
Inventor
郑文杰
刘志伟
刘智程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lumi United Technology Co Ltd
Original Assignee
Lumi United Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lumi United Technology Co Ltd filed Critical Lumi United Technology Co Ltd
Priority to CN202110118669.0A priority Critical patent/CN114827435B/zh
Publication of CN114827435A publication Critical patent/CN114827435A/zh
Application granted granted Critical
Publication of CN114827435B publication Critical patent/CN114827435B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00563—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本申请提供一种免IR‑Cut的视频流处理方法、装置、智能门锁及计算机存储介质，所述方法包括：在红外镜头处于采图模式的情况下，对所述采图模式期间内的视频流数据的采集和/或显示进行偏红显色处理；在确定所述红外镜头的采图模式结束的情况下，恢复对所述视频流数据的采集和/或显示的常规工作模式，通过对红外镜头采集图像的时间段内的视频流数据进行偏红显色处理，在无需使用IR‑Cut滤光片的情况下可以避免图像偏红的问题，不仅可以有效减小智能门锁的厚度，而且可以降低成本。

Description

免IR-Cut的视频流处理方法及装置、智能门锁及介质
技术领域
本申请涉及智能家居技术领域，尤其是涉及一种免IR-Cut的视频流处理方法及装置、智能门锁及计算机存储介质。
背景技术
随着社会进步及需求的发展，人们对家居环境的智能化要求越来越高，门锁作为人们居家环境安防中的基础环节，通常应具备人脸识别、远程监控等功能。
已知的智能门锁包括的镜头模组，为了避免图像偏红的问题，均需要增加IR-Cut滤光片，从而使得智能门锁的厚度过厚，影响门锁外观设置，而且增加门锁成本。
发明内容
为解决现有存在的技术问题，本申请提供一种无需使用IR-Cut滤光片且可避免图像偏红、成本低的免IR-Cut的视频流处理方法及装置、智能门锁及计算机存储介质。
为达到上述目的，本申请实施例的技术方案是这样实现的：
第一方面，本申请实施例提供一种免IR-Cut的视频流处理方法，包括：
在红外镜头处于采图模式的情况下，对所述采图模式期间内的视频流数据的采集和/或显示进行偏红显色处理；
在确定所述红外镜头的采图模式结束的情况下，恢复对所述视频流数据的采集和/或显示的常规工作模式。
第二方面，本申请实施例提供一种免IR-Cut的视频流处理装置，包括：
处理模块，在红外镜头处于采图模式的情况下，对所述采图模式期间内的视频流数据的采集和/或显示进行偏红显色处理；
恢复模块，用于确定所述红外镜头的采图模式结束的情况下，恢复对所述视频流数据的采集和/或显示的常规工作模式。
第三方面，本申请实施例提供一种智能门锁，包括红外镜头、处理器及存储器，所述红外镜头用于采集待识别图像，所述存储器内存储有可被所述处理器执行的计算机程序，所述计算机程序被所述处理器执行时实现本申请任一实施例所述的免IR-Cut的视频流处理方法。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被控制器执行时实现本申请任一实施例所述的免IR-Cut的视频流处理方法。
本申请上述实施例提供的免IR-Cut的视频流处理方法、装置、智能门锁及计算机存储介质，红外镜头在采图模式下采集待识别图像时，对所述采图模式期间内的视频流数据的采集和/或显示进行偏红显色处理，当所述红外镜头的采图模式结束后，再恢复对所述视频流数据的采集和/或显示的常规工作模式，如此，通过对红外镜头的采图模式的工作时间段内的视频流数据进行偏红显色处理，在无需使用IR-Cut滤光片的情况下可以避免图像偏红的问题，不仅可以有效减小智能门锁的厚度，而且可以降低成本。
附图说明
图1为本申请一实施例中免IR-Cut的视频流处理方法的可选的应用场景的物联网***的示意图；
图2为本申请一实施例中智能门锁的结构示意图；
图3为本申请一实施例中智能门锁的***框图；
图4为本申请一实施例中免IR-Cut的视频流处理方法的流程图；
图5为本申请另一实施例中免IR-Cut的视频流处理方法的流程图；
图6为本申请一实施例中免IR-Cut的视频流处理装置的结构示意图；
图7为本申请另一实施例中智能门锁的结构示意图。
具体实施方式
以下结合说明书附图及具体实施例对本申请技术方案做进一步的详细阐述。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请的实现方式。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
在本申请的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
请参阅图1，为本申请实施例提供的免IR-Cut的视频流处理方法的可选的应用场景示意图。其中，免IR-Cut的视频流处理方法可应用于智能门锁，所述智能门锁10可与网关设备53、终端设备51、服务器52等组成物联网***。
终端设备51可以是任何具备通信和存储功能的设备，例如：智能手机、台式电脑、笔记本电脑、平板电脑或其他具有网络连接功能的智能通信设备。服务器52可以是网络接入服务器、数据库服务器、云服务器等。可选的，网关设备53可以为基于ZigBee协议搭建，智能门锁可以是预先加入网关设备53，例如，智能门锁可以是网关设备53出厂时网关设备所归属套件中的设备；也可以是后续通过用户操作连接至网关设备53中的设备。
可选的，终端设备51中安装了可以对智能门锁进行管理的客户端，所述客户端可以是应用程序客户端(如手机APP)，也可以是网页客户端，在此不作限定。
可选的，智能门锁10可基于ZigBee协议与网关设备53建立网络连接，从而加入到ZigBee网络中。
智能门锁10、终端设备51均可以通过网关设备53接入到以太网中，网关设备53可以通过有线或无线的通信连接方式接入服务器52。例如，网关设备53以及终端设备51可以将获取的信息存储到服务器52中。可选的，终端设备51还可以通过2G/3G/4G/5G、WiFi等与服务器52建立网络连接，从而可以获取服务器52下发的数据。
可选的，所述终端设备51、网关设备53和智能门锁10可以在同一局域网络中，也可以和服务器52在同一广域网络中。其中，当所述终端设备51与网关设备53在同一局域网络中时，终端设备51可通过局域网路径与网关设备53以及连接至网关设备53的智能门锁10进行交互；也可以通过广域网路径与网关设备53以及连接至网关设备53的智能门锁10进行交互。当终端设备51与网关设备53不在同一局域网络中时，终端设备51可以通过广域网路径与网关设备53以及连接至网关设备53的智能门锁10进行交互。物联网***可以通过所述智能门锁10实现门户安全远程监控，如远程实时查看监控视频、录制监控视频等。
请结合参阅图2和图3，分别为智能门锁的一可选的结构示意图，所述智能门锁10包括主控制器11、与所述主控制器连接的红外(Infrared Radiation，IR)镜头13、RGB镜头14、泛光(flood)灯15、投射灯16、红外补光灯17以及显示屏18。其中RGB镜头14是用于采集视频流，然后发送至显示屏18进行显示。RGB镜头14采用的是双通滤光片，可以通390nm(纳米)-780nm可见光和940nm红外光，在夜视状态下时，需要通940nm红外灯进行补光。IR镜头13是用来抓视频流数据以进行人脸识别。红外补光灯17是用来给夜视状态时的RGB镜头补光，所述IR镜头13为单通滤光片，只通940nm红外光。泛光灯15是用于给IR镜头13补光的。投射灯16是用于给IR镜头13打点后获取立体结构的视频流数据。智能门锁10在实现门户安全监控中，需要对视频流进行处理以识别人脸。本申请实施例中，人脸识别需要俩张图像数据，一张是红外图像，也即打开红外灯补光后捕捉的图像数据。另一张是深度图，也即打开投射灯16给镜头打点后捕捉的图像数据。
本申请发明人在研究中发现，已知的智能门锁在实现门户安全监控的过程中，在白天进行人脸识别，泛光灯和投射灯打开的时候，940nm的红外光会进入RGB镜头，导致RGB镜头在彩色图像的状态下会偏红，并且图像会出现闪一下的情况。在夜视的状态下，黑白图像也会出现闪一下的情况。而已知的通过增加IR-Cut滤光片来解决该问题时，会使得智能门锁的厚度过厚，影响门锁外观设置，而且增加门锁成本。为了解决这些问题，本申请提供一种免IR-Cut的视频流处理方法，通过软件的方式将人脸识别的工作时间段通过算法进行处理，如当打开泛光灯和投射灯的时候，通过IR镜头抓取用于人脸识别的红外图和深度图，主控制器把RGB镜头切换至睡眠(sleep)模式，丢掉RGB镜头的原始视频帧、或通过算法补偿显示屏的偏红显示、或直接控制显示屏在此时间间隔内不显示，如此，RGB镜头不会曝光到开灯后的视频流的视频帧，以解决显示屏显示偏红的问题。当IR镜头采图结束，关闭泛光灯和投射器，RGB镜头进入正常模式，RGB视频流恢复。
请参阅图4，为本申请一实施例提供的免IR-Cut的视频流处理方法，包括但不限于S101和S103，具体介绍如下：
S101，在红外镜头处于采图模式的情况下，对所述采图模式期间内的视频流数据的采集和/或显示进行偏红显色处理。
红外镜头处于采图模式，是指打开泛光灯和投射灯，通过红外镜头采集用于人脸识别的红外图和深度图的工作模式。对红外镜头的采图模式期间内获取的视频流数据的采集和/或显示进行偏红显色处理，包括对所述采图模式期间内的视频流数据的采集进行偏红显色处理、或对所述采图模式期间内的视频流数据的显示进行偏红显色处理、或对所述采图模式期间内的视频流数据的采集和显示分别进行偏红显色处理。
其中，对所述采图模式期间内的视频流数据的采集进行偏红显色处理可以是，当在红外镜头处于采图模式时，主控制器把RGB镜头切换至睡眠(sleep)模式，RGB镜头暂停进行视频流数据的采集、也可以是丢掉RGB镜头的原始视频帧；对所述采图模式期间内的视频流数据的显示进行偏红显色处理可以是，当在红外镜头处于采图模式时，主控制器通过算法补偿显示屏的偏红显示、也可以是直接控制显示屏在此时间间隔内不显示。
S103，在确定所述红外镜头的采图模式结束的情况下，恢复对所述视频流数据的采集和/或显示的常规工作模式。
常规工作模式，是指泛光灯和投射灯关闭后，通过RGB镜头采集视频流发送至显示屏进行显示的工作模式。红外镜头的采图模式结束后，恢复对所述视频流数据的采集和/或显示的常规工作模式是指，在红外镜头的采图模式结束之后停止对视频流数据进行偏红显色处理。
上述实施例中，通过红外镜头处于采图模式下时，对人脸识别工作时间段内的视频流数据进行偏红显色处理，当红外镜头采图结束后，关闭泛光灯和投射器，RGB镜头即进入正常模式，RGB视频流恢复，从而在无需使用IR-Cut滤光片的情况下可以避免图像偏红的问题，不仅可以有效减小智能门锁的厚度，而且可以降低成本。
在一些实施例中，所述在红外镜头处于采图模式的情况下，对所述采图模式期间内的视频流数据的采集和/或显示进行偏红显色处理，包括：
在红外镜头处于采图模式的情况下，控制RGB镜头在所述采图模式期间内停止获取视频流数据。
其中，对所述采图模式期间内的视频流数据的采集进行偏红显色处理的实现方案之一是，主控制器控制RGB镜头在所述采图模式期间内停止获取视频流数据。如，在红外镜头处于采图模式下时，主控制器控制RGB镜头切换至休眠模式，进入休眠模式的RGB镜头暂停视频流数据的采集。当红外镜头采图结束后，主控制器再控制RGB镜头从休眠模式切换回工作模式，采集视频流数据并发送给显示屏进行显示。
上述实施例中，通过控制RGB镜头在红外镜头处于采图模式时即切换到休眠模式，当红外镜头采图模式结束后再切换回工作模式，可以避免RGB镜头曝光到红外镜头处于采图模式时，泛光灯和投射灯开启后的视频流的视频帧，在无需使用IR-Cut镜片的前提下，可以避免显示偏红的问题，减小镜头模组的堆叠设计厚度，提供更好的外观设计和堆叠空间，降低镜头模组的成本，将红外镜头的采图模式和RGB镜头的采集视频流数据的工作模式相互错开，也可以节省功耗。
在一些实施例中，所述控制RGB镜头在所述采图模式期间内停止获取视频流数据，包括：
控制RGB镜头在所述采图模式期间内切换至睡眠模式，所述RGB镜头在所述睡眠模式下停止采集视频流数据；或
控制RGB镜头在所述采图模式期间内切换至睡眠模式，所述RGB镜头在所述睡眠模式下停止向显示模块输出视频流数据；或
控制RGB镜头向显示模块输出视频流数据时，将在所述采图模式期间内采集的视频流数据丢弃。
其中，可以预先设置RGB镜头在睡眠模式下停止采集视频流数据、或预先设置RGB镜头在睡眠模式下停止向显示模块输出视频流数据。主控制器控制RGB镜头在红外镜头进入采图模式时即切换至睡眠模式，RGB镜头在睡眠模式下停止采集视频流数据，可以避免RGB镜头曝光到红外镜头处于采图模式时，当泛光灯和投射灯开启后采集的视频流的视频帧；主控制器控制RGB镜头在红外镜头进入采图模式时即切换至睡眠模式，停止向显示模块输出视频流数据，此时显示屏可以不显示或保留在先的显示数据，也可以显示偏红问题。
可选的，主控制器控制RGB镜头在所述采图模式期间内停止获取视频流数据，还可以是控制RGB镜头在红外镜头进入采图模式后，向显示模块输出视频流数据时将在所述采图模式期间内采集的视频流数据丢弃，此时，显示屏可以不显示或保留在先的显示数据，从而同样可以显示偏红问题。
上述实施例中，通过控制RGB镜头在红外镜头处于采图模式时，对视频流数据的停止采集、停止将采集的视频流数据输出或将采集的视频流数据丢弃方式，通过控制RGB镜头的视频流采集来避免显示偏红的问题，无需使用IR-Cut镜片，可以减小镜头模组的堆叠设计厚度，降低镜头模组的成本。
在一些实施例中，所述在红外镜头处于采图模式的情况下，对所述采图模式期间内的视频流数据的采集和/或显示进行偏红显色处理，包括：
在红外镜头处于采图模式的情况下，控制显示模块在所述采图模式期间内获取RGB镜头的视频流数据时，忽略对差别帧的处理。
差别帧是指视频流数据的编码流中的预测编码帧(Predictive-Picture，P帧)。差别帧通常位于关键帧(Intra-Picture，I帧)之后，通过充分的将低于图像序列中前面已编码帧的时间冗余信息来压缩传输数据量的编码图像。差别帧需要参考前面的关键帧或双向预测内插编码帧来形成完整图像。本实施例中，对所述采图模式期间内的视频流数据的显示进行偏红显色处理的实现方案之一是，主控制器控制显示模块在所述采图模式期间内获取RGB镜头的视频流数据时，忽略对差别帧的处理，此时，显示屏仅保留RGB镜头在红外镜头处于采图模式期间内采集到的视频流数据的关键帧，大大的减少了显示偏红的问题。
上述实施例中，通过控制显示模块在红外镜头处于采图模式时，对RGB镜头输出的视频流数据编码流的P帧数据不做前后参考，去掉P帧数据的视频流数据可以大大减少或消除显示偏红的问题，无需使用IR-Cut镜片，可以减小镜头模组的堆叠设计厚度，降低镜头模组的成本。
在一些实施例中，所述在红外镜头处于采图模式的情况下，对所述采图模式期间内的视频流数据的采集和/或显示进行偏红显色处理，包括：
在红外镜头处于采图模式的情况下，控制显示模块在所述采图模式期间内停止显示。
其中，对所述采图模式期间内的视频流数据的显示进行偏红显色处理的实现方案还可以是，主控制器控制显示模块在所述红外镜头的采图模式期间内停止显示。如，在红外镜头处于采图模式下时，主控制器控制显示模块不显示监控画面。当红外镜头采图结束后，主控制器再控制显示模块恢复显示。
上述实施例中，通过控制显示模块在红外镜头处于采图模式时即停止显示当前从RGB镜头获得的视频流数据，当红外镜头采图模式结束后再恢复，在无需使用IR-Cut镜片的前提下，也可以避免显示偏红的问题。
在一些实施例中，所述在红外镜头处于采图模式的情况下，对所述采图模式期间内的视频流数据的采集和/或显示进行偏红显色处理，包括：
在红外镜头处于采图模式的情况下，若所述采图模式下采集的视频流数据中包含的目标对象颜色不为红色，则对所述视频流数据中的红外信号分量进行分离和去除，以对显示模块在所述采图模式期间内的偏红显色进行补偿；
若所述采图模式下采集的视频流数据中包含的目标对象颜色包括红色，则对所述视频流数据的除所述目标对象区域之外的红外信号分量进行分离和去除，以对显示模块在所述采图模式期间内的偏红显色进行补偿。
其中，对采图模式期间内的视频流数据的显示进行偏红显色处理的实现方案还可以是，主控制器控制显示模块对在所述红外镜头的采图模式期间内RGB镜头采集的视频流数据进行偏红显色补偿，以解决显色偏红的问题。偏红显色补偿可以是计算视频流数据中的红外信号分量，并对所述视频流数据中的红外信号分量进行分离和去除。视频流数据中的红外信号分量可以根据视频流数据中视频帧各像素点的像素值进行计算。进一步的，对视频流数据进行偏红显色补偿时，还包括判断采集的视频流数据中包含的目标对象颜色是否包括红色，目标对象本身包括红色时，则保留本身为红色的目标对象区域，仅对目标对象区域之外的图像区域中红外信号分量进行分离和去除，以提升偏红显色补偿的精度。
以目标对象为戴着红色帽子的人为例，主控制器对在红外镜头处于采图模式下采集的视频流数据中包含的目标对象颜色是否包含红色进行判断，确定目标对象成像区域中帽子部分为目标对象本身的颜色，则将帽子成像区域分离出来不做偏红显色补偿，将帽子成像区域之外的图像区域部分进行红外信号分量的计算、分离和去除。需要说明的是，目标对象成像区域本身包括红色的区域可以是多个，如目标对象为戴着红色帽子、且穿着红色衣服的人，则对于衣服成像区域同样分离出来不做偏红显色补偿。
上述实施例中，通过控制显示模块对在红外镜头处于采图模式时从RGB镜头获得的视频流数据的偏红显色进行补偿，同样可以在无需使用IR-Cut镜片的前提下，解决显示偏红的问题。
在一些实施例中，所述方法还包括：
在所述红外镜头处于采图模式的情况下，提高所述红外镜头的图像采集帧率，根据所述红外镜头的图像采集帧率调整所述采图模式的时长。
帧率(Frame rate)是指以帧称为单位的位图图像连续出现在显示器上的频率(速率)。图像采集帧率是指以帧称为单位的位图图像的采集速率。在红外镜头处于采图模式的情况下，提高红外镜头的图像采集帧率，可以缩短红外镜头采图模式的时长，从而相应地也可以缩短对所述采图模式期间内的视频流数据的采集和/或显示进行偏红显色处理的时长。
上述实施例中，通过在红外镜头处于采图模式时提高红外镜头的图形采集帧率，以减小采图模式的时长，从而可以缩短对所述采图模式期间内的视频流数据的采集和/或显示进行偏红显色处理的时长，如，当对所述采图模式期间内的视频流数据的采集和/或显示进行偏红显色处理的方案为控制RGB镜头暂停视频流数据的采集时，则相应使得RGB镜头停止采集视频流数据的时间间隔更短；当对所述采图模式期间内的视频流数据的采集和/或显示进行偏红显色处理的方案为控制显示屏停止显示时，则相应使得显示屏停止显示的时间间隔更短，在无需使用IR-Cut镜片的前提下，不仅可以解决显示偏红的问题，而且可以提高显示效果。
在一些实施例中，所述方法还包括：
在泛光灯和投射灯开启的情况下，则确定当前处于红外镜头的采图模式。
红外镜头在采图模式下，采集用于人脸识别的图像数据，泛光灯用于给红外镜头补光，用于红外镜头采集红外图像，投射灯用于给红外镜头打点后获取立体结构的视频流数据，用于红外镜头采集深度图。主控制器通过检测到泛光灯和投射灯开启时，则确定当前处于红外镜头的采图模式。
上述实施例中，主控制器通过检测泛光灯和投射灯开启来确定当前处于红外镜头的采图模式，从而可以将红外镜头采图的时段与RGB镜头采集视频流数据的时段区分开，通过对所述采图模式期间内的视频流数据的采集进行偏红显色处理，以解决显色偏红问题，泛光灯和投射灯在非红外镜头的采图模式下无需开启，可以节省功耗。
在一些实施例中，所述方法还包括：
获取所述红外镜头在所述采图模式下采集的视频流数据，所述视频流数据包括在泛光灯开启的情况下所述红外镜头采集的红外图像数据、以及在投射灯开启的情况下所述红外镜头采集的深度图像数据；
基于所述视频流数据进行目标对象识别。
红外镜头在采图模式期间内分别采集红外图像和深度图像，用于进行目标对象识别。该目标对象为人脸。本申请实施例提供的免IR-Cut的视频流处理方法，通过获取所述红外镜头在所述采图模式下采集的视频流数据，所述视频流数据包括在泛光灯开启的情况下所述红外镜头采集的红外图像数据、以及在投射灯开启的情况下所述红外镜头采集的深度图像数据，结合红外图像和深度图像进行人脸识别，可以提高人脸识别效率和准确率。
在一些实施例中，所述确定所述红外镜头的采图模式结束的情况下，恢复对所述视频流数据的采集和/或显示的常规工作模式，包括：
确定所述红外镜头的采图模式结束的情况下，在对所述视频流数据的采集和/或显示的常规工作模式期间内，停止进行偏红显色处理，RGB镜头采集视频流数据并发送给显示模块进行显示。
主控制器通过检测到泛光灯和投射灯开启时，则确定当前处于红外镜头的采图模式，反之，主控制器可以通过检测到泛光灯和投射灯关闭，确定红外镜头的采图模式结束。在另一些可选的实施例中，主控制器也可以在检测红外镜头采集到用于目标对象识别的图像之后，控制泛光灯和投射灯关闭，并相应确定采图模式结束。
上述实施例中，分别通过红外镜头采集用于人脸识别的红外图像、深度图像和通过RGB镜头采集用于显示屏显示的视频流数据，并将所述红外镜头采图的时段与RGB镜头采集视频流数据的时段区分开，对所述采图模式期间内的视频流数据的采集进行偏红显色处理，以解决显色偏红问题；在采图模式结束后，在常规工作模式期间内，对RGB镜头采集视频流数据停止进行偏红显色处理，RGB镜头正常采集视频流数据并发送给显示屏进行显示，如此，免IR-Cut的视频流处理方法仅需要对红外镜头采图模式期间进行偏红显色处理，解决偏红显示问题，泛光灯和投射灯在常规模式期间内无需开启，可以节省功耗。
请参阅图5，为了能够对本申请实施例提供的免IR-Cut的视频流处理方法具有更***的理解，下面结合一具体示例进行说明，所述免IR-Cut的视频流处理方法包括如下步骤：
S11，主控制器检测到泛光灯和投射灯开启时，确定当前处于红外镜头的采图模式；
S12，红外镜头在采图模式期间内，控制RGB镜头从工作模式切换至睡眠模式，并丢掉原始视频帧；
S13，红外镜头在采图模式下采集红外图像和深度图像发送给主控制器；
S14，主控制器对红外图像和深度图像进行分析以进行人脸识别，若识别失败，则返回S13；若识别成功，则采图模式结束，则执行S15；
S15，控制泛光灯和投射灯关闭；
S16，RGB镜头从睡眠模式切换回工作模式，RGB镜头采集视频流数据并发送给显示屏进行显示。
上述实施例中，该免IR-Cut的视频流处理方法可应用于智能门锁，通过将红外镜头抓取用于人脸识别的红外图和深度图时，控制RGB镜头切换至睡眠模式，丢掉RGB镜头的原始视频帧，以避免RGB镜头曝光到开灯后的视频流的视频帧，从而可以解决RGB镜头采集视频流数据后在显示屏上进行显示时显示偏红的问题。
请参阅图6，本申请实施例另一方面，还提供一种免IR-Cut的视频流处理装置，包括处理模块21，在红外镜头处于采图模式的情况下，对所述采图模式期间内的视频流数据的采集和/或显示进行偏红显色处理；恢复模块22，用于确定所述红外镜头的采图模式结束的情况下，恢复对所述视频流数据的采集和/或显示的常规工作模式。
可选的，所述处理模块21，还用于在红外镜头处于采图模式的情况下，控制RGB镜头在所述采图模式期间内停止获取视频流数据。
可选的，所述处理模块21，还用于控制RGB镜头在所述采图模式期间内切换至睡眠模式，所述RGB镜头在所述睡眠模式下停止采集视频流数据；或，控制RGB镜头在所述采图模式期间内切换至睡眠模式，所述RGB镜头在所述睡眠模式下停止向显示模块输出视频流数据；或，控制RGB镜头向显示模块输出视频流数据时，将在所述采图模式期间内采集的视频流数据丢弃。
可选的，所述处理模块21，还用于在红外镜头处于采图模式的情况下，控制显示模块在所述采图模式期间内获取RGB镜头的视频流数据时，忽略对差别帧的处理。
可选的，所述处理模块21，还用于在红外镜头处于采图模式的情况下，控制显示模块在所述采图模式期间内停止显示。
可选的，所述处理模块21，还用于在红外镜头处于采图模式的情况下，若所述采图模式下采集的视频流数据中包含的目标对象颜色不为红色，则对所述视频流数据中的红外信号分量进行分离和去除，以对显示模块在所述采图模式期间内的偏红显色进行补偿；若所述采图模式下采集的视频流数据中包含的目标对象颜色包括红色，则对所述视频流数据的除所述目标对象区域之外的红外信号分量进行分离和去除，以对显示模块在所述采图模式期间内的偏红显色进行补偿。
可选的，所述处理模块21，还用于在所述红外镜头处于采图模式的情况下，提高所述红外镜头的图像采集帧率，根据所述红外镜头的图像采集帧率调整所述采图模式的时长。
可选的，所述处理模块21，还用于在泛光灯和投射灯开启的情况下，则确定当前处于红外镜头的采图模式。
可选的，所述装置还包括识别模块，用于获取所述红外镜头在所述采图模式下采集的视频流数据，所述视频流数据包括在泛光灯开启的情况下所述红外镜头采集的红外图像数据、以及在投射灯开启的情况下所述红外镜头采集的深度图像数据；基于所述视频流数据进行目标对象识别。
可选的，所述装置还包括采集模块，用于确定所述红外镜头的采图模式结束的情况下，在对所述视频流数据的采集和/或显示的常规工作模式期间内，停止进行偏红显色处理，RGB镜头采集视频流数据并发送给显示模块进行显示。
需要说明的是：上述实施例提供的免IR-Cut的视频流处理装置在解决视频流数据显示中显色偏红问题的过程中，仅以上述各程序模块的划分进行举例说明，在实际应用中，可以根据需要而将上述方法流程分配由不同的程序模块完成，即可将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分方法步骤。另外，上述实施例提供的免IR-Cut的视频流处理装置与前述免IR-Cut的视频流处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
请参阅图7，本申请实施例另一方面，提供一种智能门锁，包括红外镜头13、处理器19及存储器20，所述红外镜头用于采集待识别图像，所述存储器20内存储有可被所述处理器19执行的计算机程序，所述计算机程序被所述处理器19执行时实现如任一实施例所述的免IR-Cut的视频流处理方法。
可选的，所述智能门锁还包括与所述处理器19连接的泛光灯和投射灯，所述泛光灯用于为所述红外镜头采集红外图像时进行补光，所述投射灯用于为所述红外镜头采集深度图像时进行补光。
可选的，所述智能门锁还包括RGB镜头和显示模块，所述RGB镜头用于获取视频流数据发送给所述显示模块进行显示。
本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述免IR-Cut的视频流处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-OnlyMemory，简称ROM)、随机存取存储器(RandomAccessMemory，简称RAM)、磁碟或者光盘等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围之内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (15)

1.一种免IR-Cut的视频流处理方法，其特征在于，包括：
在红外镜头处于采图模式的情况下，对所述采图模式期间内的视频流数据的采集和/或显示进行偏红显色处理；
在确定所述红外镜头的采图模式结束的情况下，恢复对所述视频流数据的采集和/或显示的常规工作模式。
2.如权利要求1所述的视频流处理方法，其特征在于，所述在红外镜头处于采图模式的情况下，对所述采图模式期间内的视频流数据的采集和/或显示进行偏红显色处理，包括：
在红外镜头处于采图模式的情况下，控制RGB镜头在所述采图模式期间内停止获取视频流数据。
3.如权利要求2所述的视频流处理方法，其特征在于，所述控制RGB镜头在所述采图模式期间内停止获取视频流数据，包括：
控制RGB镜头在所述采图模式期间内切换至睡眠模式，所述RGB镜头在所述睡眠模式下停止采集视频流数据；或
控制RGB镜头在所述采图模式期间内切换至睡眠模式，所述RGB镜头在所述睡眠模式下停止向显示模块输出视频流数据；或
控制RGB镜头向显示模块输出视频流数据时，将在所述采图模式期间内采集的视频流数据丢弃。
4.如权利要求1所述的视频流处理方法，其特征在于，所述在红外镜头处于采图模式的情况下，对所述采图模式期间内的视频流数据的采集和/或显示进行偏红显色处理，包括：
在红外镜头处于采图模式的情况下，控制显示模块在所述采图模式期间内获取RGB镜头的视频流数据时，忽略对差别帧的处理。
5.如权利要求1所述的视频流处理方法，其特征在于，所述在红外镜头处于采图模式的情况下，对所述采图模式期间内的视频流数据的采集和/或显示进行偏红显色处理，包括：
在红外镜头处于采图模式的情况下，控制显示模块在所述采图模式期间内停止显示。
6.如权利要求1所述的视频流处理方法，其特征在于，所述在红外镜头处于采图模式的情况下，对所述采图模式期间内的视频流数据的采集和/或显示进行偏红显色处理，包括：
在红外镜头处于采图模式的情况下，若所述采图模式下采集的视频流数据中包含的目标对象颜色不为红色，则对所述视频流数据中的红外信号分量进行分离和去除，以对显示模块在所述采图模式期间内的偏红显色进行补偿；
若所述采图模式下采集的视频流数据中包含的目标对象颜色包括红色，则对所述视频流数据的除所述目标对象区域之外的红外信号分量进行分离和去除，以对显示模块在所述采图模式期间内的偏红显色进行补偿。
7.如权利要求1至6中任一项所述的视频流处理方法，其特征在于，所述方法还包括：
在所述红外镜头处于采图模式的情况下，提高所述红外镜头的图像采集帧率，根据所述红外镜头的图像采集帧率调整所述采图模式的时长。
8.如权利要求1至6中任一项所述的视频流处理方法，其特征在于，还包括：
在泛光灯和投射灯开启的情况下，则确定当前处于红外镜头的采图模式。
9.如权利要求1至6中任一项所述的视频流处理方法，其特征在于，所述方法还包括：
获取所述红外镜头在所述采图模式下采集的视频流数据，所述视频流数据包括在泛光灯开启的情况下所述红外镜头采集的红外图像数据、以及在投射灯开启的情况下所述红外镜头采集的深度图像数据；
基于所述视频流数据进行目标对象识别。
10.如权利要求1至6中任一项所述的视频流处理方法，其特征在于，所述确定所述红外镜头的采图模式结束的情况下，恢复对所述视频流数据的采集和/或显示的常规工作模式，包括：
确定所述红外镜头的采图模式结束的情况下，在对所述视频流数据的采集和/或显示的常规工作模式期间内，停止进行偏红显色处理，RGB镜头采集视频流数据并发送给显示模块进行显示。
11.一种免IR-Cut的视频流处理装置，其特征在于，包括：
处理模块，在红外镜头处于采图模式的情况下，对所述采图模式期间内的视频流数据的采集和/或显示进行偏红显色处理；
恢复模块，用于确定所述红外镜头的采图模式结束的情况下，恢复对所述视频流数据的采集和/或显示的常规工作模式。
12.一种智能门锁，其特征在于，包括红外镜头、处理器及存储器，所述红外镜头用于采集待识别图像，所述存储器内存储有可被所述处理器执行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至10中任一项所述的免IR-Cut的视频流处理方法。
13.如权利要求12所述的智能门锁，其特征在于，还包括与所述处理器连接的泛光灯和投射灯，所述泛光灯用于为所述红外镜头采集红外图像时进行补光，所述投射灯用于为所述红外镜头采集深度图像时进行补光。
14.如权利要求12所述的智能门锁，其特征在于，还包括RGB镜头和显示模块，所述RGB镜头用于获取视频流数据发送给所述显示模块进行显示。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被控制器执行时实现如权利要求1至10中任一项所述的免IR-Cut的视频流处理方法。
CN202110118669.0A 2021-01-28 2021-01-28 免IR-Cut的视频流处理方法及装置、智能门锁及介质 Active CN114827435B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110118669.0A CN114827435B (zh) 2021-01-28 2021-01-28 免IR-Cut的视频流处理方法及装置、智能门锁及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110118669.0A CN114827435B (zh) 2021-01-28 2021-01-28 免IR-Cut的视频流处理方法及装置、智能门锁及介质

Publications (2)

Publication Number Publication Date
CN114827435A true CN114827435A (zh) 2022-07-29
CN114827435B CN114827435B (zh) 2024-05-07

Family

ID=82526769

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110118669.0A Active CN114827435B (zh) 2021-01-28 2021-01-28 免IR-Cut的视频流处理方法及装置、智能门锁及介质

Country Status (1)

Country Link
CN (1) CN114827435B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2224169A1 (en) * 1995-06-07 1996-12-19 Mark G. Fontenot Imaging system with independent processing of visible and infrared light energy
WO2013033481A1 (en) * 2011-09-02 2013-03-07 Microsoft Corporation Integrated local and cloud based speech recognition
CN203193791U (zh) * 2013-03-26 2013-09-11 深圳市中控生物识别技术有限公司 一种具有人脸识别功能的网络摄像机
US20150092986A1 (en) * 2012-06-22 2015-04-02 Microsoft Corporation Face recognition using depth based tracking
CN104660896A (zh) * 2015-02-06 2015-05-27 福建福特科光电股份有限公司 免IR-Cut切换器的日夜两用型镜头的摄像方法及装置
WO2016041437A1 (zh) * 2014-09-15 2016-03-24 苏州思源科安信息技术有限公司 用于移动终端的虹膜识别成像模组及图像获取方法
WO2017049923A1 (zh) * 2015-06-17 2017-03-30 广州市巽腾信息科技有限公司 一种多功能移动图像处理装置、处理方法及用途
US20170094141A1 (en) * 2015-09-24 2017-03-30 Intel Corporation Infrared and visible light dual sensor imaging system
WO2018040307A1 (zh) * 2016-08-31 2018-03-08 上海依图网络科技有限公司 一种基于红外可见双目图像的活体检测方法及装置
EP3328051A1 (en) * 2016-11-29 2018-05-30 Axis AB Method for controlling an infrared cut filter of a video camera
CN108875476A (zh) * 2017-08-03 2018-11-23 北京旷视科技有限公司 自动近红外人脸注册与识别方法、装置和***及存储介质
US20190098229A1 (en) * 2017-09-22 2019-03-28 Feedback, LLC Near-infrared video compositing
CN111327788A (zh) * 2020-02-28 2020-06-23 北京迈格威科技有限公司 相机组的同步方法、测温方法、装置及电子***
WO2020243968A1 (zh) * 2019-06-06 2020-12-10 深圳市汇顶科技股份有限公司 人脸识别的装置、方法和电子设备

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2224169A1 (en) * 1995-06-07 1996-12-19 Mark G. Fontenot Imaging system with independent processing of visible and infrared light energy
WO2013033481A1 (en) * 2011-09-02 2013-03-07 Microsoft Corporation Integrated local and cloud based speech recognition
US20150092986A1 (en) * 2012-06-22 2015-04-02 Microsoft Corporation Face recognition using depth based tracking
CN203193791U (zh) * 2013-03-26 2013-09-11 深圳市中控生物识别技术有限公司 一种具有人脸识别功能的网络摄像机
WO2016041437A1 (zh) * 2014-09-15 2016-03-24 苏州思源科安信息技术有限公司 用于移动终端的虹膜识别成像模组及图像获取方法
CN104660896A (zh) * 2015-02-06 2015-05-27 福建福特科光电股份有限公司 免IR-Cut切换器的日夜两用型镜头的摄像方法及装置
WO2017049923A1 (zh) * 2015-06-17 2017-03-30 广州市巽腾信息科技有限公司 一种多功能移动图像处理装置、处理方法及用途
US20170094141A1 (en) * 2015-09-24 2017-03-30 Intel Corporation Infrared and visible light dual sensor imaging system
WO2017052766A1 (en) * 2015-09-24 2017-03-30 Intel Corporation Infrared and visible light dual sensor imaging system
WO2018040307A1 (zh) * 2016-08-31 2018-03-08 上海依图网络科技有限公司 一种基于红外可见双目图像的活体检测方法及装置
EP3328051A1 (en) * 2016-11-29 2018-05-30 Axis AB Method for controlling an infrared cut filter of a video camera
CN108875476A (zh) * 2017-08-03 2018-11-23 北京旷视科技有限公司 自动近红外人脸注册与识别方法、装置和***及存储介质
US20190098229A1 (en) * 2017-09-22 2019-03-28 Feedback, LLC Near-infrared video compositing
WO2020243968A1 (zh) * 2019-06-06 2020-12-10 深圳市汇顶科技股份有限公司 人脸识别的装置、方法和电子设备
CN111327788A (zh) * 2020-02-28 2020-06-23 北京迈格威科技有限公司 相机组的同步方法、测温方法、装置及电子***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王庆祥: "基于Kinect的主动外观模型及在表情动画上的应用", 中国优秀硕士毕业论文 *

Also Published As

Publication number Publication date
CN114827435B (zh) 2024-05-07

Similar Documents

Publication Publication Date Title
RU2628745C2 (ru) Система защитного наблюдения и соответствующий способ инициирования тревожной сигнализации
US11790504B2 (en) Monitoring method and apparatus
JP6732902B2 (ja) 撮像装置および撮像システム
US20230360254A1 (en) Pose estimation method and related apparatus
WO2022141418A1 (zh) 一种图像处理方法以及装置
US10148915B2 (en) Lighting system with monitoring and alarm function
KR102586962B1 (ko) 감시 시스템 및 그 제어 방법
US10140826B2 (en) Surveillance system and method of controlling the same
WO2022141477A1 (zh) 一种图像处理方法以及装置
CN108124156B (zh) 用于控制摄像机的红外截止滤光片的方法
CN205909142U (zh) 一种带有监控报警功能的照明***
CN110225258B (zh) 数据处理方法、装置、计算机可读存储介质和电子设备
WO2022141333A1 (zh) 一种图像处理方法以及装置
WO2022141351A1 (zh) 一种视觉传感器芯片、操作视觉传感器芯片的方法以及设备
CN102018519A (zh) 人员专注程度监测***
US20220199120A1 (en) Image processing device, image processing method, and image processing program
CN107420826B (zh) 一种带有监控报警功能的照明***
CN105721829A (zh) 监控相机、用于监控的记录设备和监控***
CN114827435B (zh) 免IR-Cut的视频流处理方法及装置、智能门锁及介质
CN110930340B (zh) 一种图像处理方法及装置
CN103945098A (zh) 一种具有双摄像头的超高清拍照摄像机
CN113038017A (zh) 图像采集方法、装置及计算机可读存储介质
JP2004165804A (ja) カメラ監視システム
CN113497877A (zh) 摄像设备、控制方法和存储介质
CN102413296B (zh) 双通道电视的遥控方法及双通道电视***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant