CN114998957B - 自动曝光数据处理方法、装置、设备及*** - Google Patents
自动曝光数据处理方法、装置、设备及*** Download PDFInfo
- Publication number
- CN114998957B CN114998957B CN202210503763.2A CN202210503763A CN114998957B CN 114998957 B CN114998957 B CN 114998957B CN 202210503763 A CN202210503763 A CN 202210503763A CN 114998957 B CN114998957 B CN 114998957B
- Authority
- CN
- China
- Prior art keywords
- target object
- mode
- target
- main
- adjustment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000001514 detection method Methods 0.000 claims abstract description 37
- 238000000034 method Methods 0.000 claims description 85
- 238000012545 processing Methods 0.000 claims description 52
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 7
- 230000008447 perception Effects 0.000 abstract description 5
- 230000002441 reversible effect Effects 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 24
- 238000003860 storage Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000001105 regulatory effect Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 230000000750 progressive effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000007795 chemical reaction product Substances 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本说明书提供一种自动曝光数据处理方法、装置、设备及***，通过多模态图像帧识别多模态中的目标对象，再利用其他模态目标位置弥补了当背光或者过爆等特殊情况下主模态检测受影响情况下自动曝光调节缺失指导，导致会出现反向错误调节情况，提升了自动曝光调节的准确性。同时，通过场景感知确定自动包括目标，快速确定调节方向，从而提升了自动曝光调节的效率，为后续生物识别奠定了准确的数据基础。
Description
技术领域
本说明书属于计算机技术领域，尤其涉及一种自动曝光数据处理方法、装置、设备及***。
背景技术
随着计算机互联网技术的发展，人脸识别技术的应用越来越多如：刷脸支付、刷脸登录、刷脸身份认证等，还有其他生物识别技术的应用也在不断的增加。生物识别技术需要采集生物图像，再通过对生物图像进行自动曝光处理以实现身份认证的目的。
以人脸识别为例，一般的人脸识别设备会采用固定的几款多模态摄像头过人脸识别的认证，在应对户外的各种复杂场景时，相比手机和监控设备在成像上的高动态能力，就会略显不足，所以通常的优化方式，是通过摄像头的faceAE(Automatic Exposure，自动曝光)能力，进行人脸区域的局部曝光，提升人脸区域的成像质量。但很多人脸识别设备需要在户外使用，户外的光线等场景比较复杂，自动曝光数据的处理的难度也会相应的增加。
因此，如何提出一种自动曝光数据处理方案，可以自动曝光的准确调节，以提升生物识别的准确性是本领域亟需解决的技术问题。
发明内容
本说明书实施例的目的在于提供一种自动曝光数据处理方法、装置、设备及***，提升了自动曝光数据处理的准确性和效率，进而提升图像识别的准确性。
一方面，本说明书实施例提供了一种自动曝光数据处理方法，所述方法包括：
对接收到的多模态图像帧进行目标检测，确定所述多模态图像帧中每一个模态上的目标对象；
从所述多模态图像帧中每一个模态上的目标对象中选择主目标对象；
将所述多模态图像帧中每一个模态上的目标对象与所述多模态图像帧的前一帧图像的历史主目标对象进行匹配，若所述历史主目标对象与所述多模态图像帧中每一个模态上的目标对象均不同，则将所述主目标对象作为调节目标对象；
根据所述多模态图像帧中主模态的图像亮度和所述调节目标对象在对应模态上的位置，计算所述调节目标对象对应的目标有效亮度；
根据所述目标有效亮度、所述调节目标对象在对应模态上的位置以及所述多模态图像帧对应的自动曝光目标，对所述多模态图像帧进行自动曝光调节。
另一方面，本说明书提供了一种自动曝光数据处理装置，包括：
目标检测模块，用于对接收到的多模态图像帧进行目标检测，确定所述多模态图像帧中每一个模态上的目标对象；
主目标选择模块，用于从所述多模态图像帧中每一个模态上的目标对象中选择主目标对象；
目标调节模块，用于将所述多模态图像帧中每一个模态上的目标对象与所述多模态图像帧的前一帧图像的历史主目标对象进行匹配，若所述历史主目标对象与所述多模态图像帧中每一个模态上的目标对象均不同，则将所述主目标对象作为调节目标对象；
亮度计算模块，用于根据所述多模态图像帧中主模态的图像亮度和所述调节目标对象在对应模态上的位置，计算所述调节目标对象对应的目标有效亮度；
自动曝光调节模块，用于根据所述目标有效亮度、所述调节目标对象在对应模态上的位置以及所述多模态图像帧对应的自动曝光目标，对所述多模态图像帧进行自动曝光调节。
又方面，本说明书实施例提供了一种自动曝光数据处理设备，包括至少一个处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述自动曝光数据处理方法。
再一方面，本说明书实施例提供了一种自动曝光数据处理***，包括：图像采集模块和图像处理模块，其中所述图像采集模块用于采集多模态图像帧，所述图像处理模块包括至少一个处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述自动曝光数据处理方法。
本说明书提供的自动曝光数据处理方法、装置、设备及***，通过多模态图像帧识别多模态中的目标对象，再利用其他模态目标位置弥补了当背光或者过爆等特殊情况下主模态检测受影响情况下自动曝光调节缺失指导，导致会出现反向错误调节情况，提升了自动曝光调节的准确性。同时，通过场景感知确定自动包括目标，快速确定调节方向，从而提升了自动曝光调节的效率，为后续生物识别奠定了准确的数据基础。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本说明书实施例提供的自动曝光数据处理方法实施例的流程示意图；
图2是本说明书一个场景实施例中自动曝光数据处理的原理示意图；
图3是本说明书提供的自动曝光数据处理装置一个实施例的模块结构示意图；
图4是本说明书一个实施例中自动曝光数据处理服务器的硬件结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
随着生物识别技术的不断普及，生物识别之前的图像处理如：自动曝光处理是生物识别的关键技术。自动曝光可以理解为相机代替人的操作，自动调节曝光时间、光圈、ISO进行曝光，使得所摄物体亮度正常。自动曝光的目的是在不同的照明条件和场景中实现欣赏亮度级别或所谓的目标亮度级别，从而捕获的视频或图像既不太暗也不太亮。为了达到这个目的，要调整镜头孔径，传感器曝光时间，传感器模拟增益和传感器/ISP数字增益。但是，以人脸识别设备的自动曝光处理为例，在面临特别复杂的光线情况下，会存在两个问题，一个是成像太差，比如完全过爆或者过暗人脸检测不到，faceAE(Automatic Exposure，自动曝光)完全失效；一个是虽然faceAE能生效，但是在地铁或者铁路这种人流量比较大且排队的单人通行，会存在画面中有几帧有人脸，有几帧没有人脸的频繁切换过程，有人脸时进行faceAE，人脸区域成像正常背景区域过爆，没有人脸时，切换成全局区域曝光，背景区域正常显示，当下一个排队人进入画面时，人脸再次很暗，需要重新开始faceAE调节，通行过程中是画面明暗频繁变化频繁抖动的过程，使得用户通行效率不高，且体验很差。
自动曝光是结合图像中的特定目标区域进行调节曝光，如常见的基于RGB的检测框等。但是室内简单场景与复杂场景或者室外场景对于动态范围需求不同，不同场景对于AE调节的调节目标需求是不同的，简单场景是可以相对中间态，但是背光等场景则需要较高的调节目标来保证调节速度与效果。另外当目标处于大背光或过爆的情况下时，检测算法性能下降，单纯基于RGB图像的检测性能下降，此时只能通过默认区域进行调节，默认区域可能是灯等与感兴趣目标亮度相悖的目标区域，这种调节方法会将目标区域进一步调暗造成恶性循环，当排队场景中目标连续出现但是不能保证每一帧中都存在目标时，这种情况会导致频繁的调亮变到最暗再调亮的情况，一方面影响后续的产品流程，同时用户体验也非常不好。
本说明书一些实施例中可以提供自动曝光数据处理方法，利用多模态进行目标检测，当RGB检测不到目标的情况下，利用其他模态检测目标，从而获取相应的亮度信息，这种利用多模态检测与历史锁定的方法能使目标的亮度更稳定，尽量减少目标区域亮暗调变。
针对上述问题，本发明一方面利用场景理解来确定不同的target，并利用多模态目标检测以及同类目标亮度共享、短时锁定历史状态等方式保持在各个场景下亮度快速稳定调节。
图1是本说明书实施例提供的自动曝光数据处理方法实施例的流程示意图。虽然本说明书提供了如下述实施例或附图所示的方法操作步骤或装置结构，但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者部分合并后更少的操作步骤或模块单元。在逻辑性上不存在必要因果关系的步骤或结构中，这些步骤的执行顺序或装置的模块结构不限于本说明书实施例或附图所示的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置、服务器或终端产品应用时，可以按照实施例或者附图所示的方法或模块结构进行顺序执行或者并行执行(例如并行处理器或者多线程处理的环境、甚至包括分布式处理、服务器集群的实施环境)。
具体的一个实施例如图1所示，本说明书提供的自动曝光数据处理方法的一个实施例中，所述方法可以应用在服务器、计算机、平板电脑、服务器、智能手机、智能穿戴设备、车载设备、智能家居设备等能够进行图像处理的终端，所述方法可以包括如下步骤：
步骤102、对接收到的多模态图像帧进行目标检测，确定所述多模态图像帧中每一个模态上的目标对象。
在具体的实施过程中，一般的，对于生物识别如：人脸识别***的摄像头可能有多个，不同的摄像头可以从不同的维度采集图像，进而获得多模态图像帧，多模态图像帧可以理解为生物图像识别设备的摄像头采集到的一帧图像，其中可以包括多种成像维度采集到的图像。如：成像纬度包括但不限于RGB(红绿蓝颜色模式)、IR(Infrared Radiation，红外线)、Depth(深度或距离)。摄像设备采集到多模态图像帧后可以将采集到的图像发送至图像处理设备如：计算机、服务器、平板电脑等，图像处理设备在接收到多模态图像帧后，可以对当前接收到的图像帧进行目标检测，如：人脸等，进而确定出多模态图像帧中每一个模态上的目标对象，其中每一个模态中的目标对象可以是一个或多个，各个模态中的目标对象可以相同可以不同，当然，也可能没有检测到目标对象。
本说明书一些实施例中，所述方法还包括：
若在对接收到的多模态图像帧进行目标检测时，没有检测目标对象，且连续没有检测到目标对象的帧数小于预设阈值，则锁定所述多模态图像帧之前最近的一帧检测到目标对象的历史多模态图像帧的自动曝光参数。
在具体的实施过程中，在对接收到的多模态图像帧进行目标检测，发现没有检测到目标对象，即每一个模态中都没有检测到目标对象时，可以判断当前的多模态图像帧是连续第几帧没有检测到目标对象，如：可以则获取多模态图像帧之前的历史多模态图像帧的目标检测结果，若在多模态图像帧之前连续几帧历史多模态图像帧也没有检测到目标对象，若发现连续没有检测到目标对象的帧数小于预设阈值，如：小于5帧，则可以锁定最近一帧检测到目标对象的历史多模态图像帧的自动曝光参数。其中，预设阈值可以根据实际需要进行设置，本说明书实施例不做具体限定。
例如：在对接收到的多模态图像帧A进行目标检测，发现没有检测到目标对象，则获取多模态图像帧A之前的历史多模态图像帧的目标检测结果，发现在当前的多模态图像帧A之前有连续两帧图像也没有检测到目标对象，也就是说当前连续3帧图像没有检测到目标对象，若预设阈值为5，则可以认为当前连续没有检测到目标对象的帧数小于预设阈值，则可以锁定多模态图像帧A之前最近的一帧检测检测到目标对象的历史多模态图像帧的自动曝光参数，即多模态图像帧A往前数第三帧历史多模态图像帧是距离多模态图像帧A最近检测到目标对象的图像帧，锁定模态图像帧A往前数第三帧历史多模态图像帧的自动曝光参数，基于锁定的自动曝光参数对接收到的图像进行自动曝光调节。
通过锁定历史AE状态(历史自动曝光参数)的方式一定帧数内维持稳定，当比如人低头、排队切换等短时检测不到目标情况下，以便重新检测到目标情况时能快速继续调节，而不是被快速还原到默认调节状态，这种利用多模态检测与历史锁定的方法能使目标的亮度更稳定，尽量减少目标区域亮暗调变，提升目标检测的准确性和生物识别的效率。
步骤104、从所述多模态图像帧中每一个模态上的目标对象中选择主目标对象。
在具体的实施过程中，一般的，一帧图像上，可能会检测到多个目标对象，可以从每一个模态中的多个目标对象中选择一个主目标对象，主目标对象可以理解为主要拍摄的对象，以便能够精准的进行自动曝光调节。其中，主目标对象的选择方法一般可以根据实际需要进行设置，如：基于距离、大小等选择，或者通过智能学习模型学习训练，利用模型从多个目标对象中选择出一个主目标对象。
本说明书一些实施例中，所述从所述多模态图像帧中每一个模态上的目标对象中选择主目标对象，包括：
根据各个目标对象的位置、大小以及距离确定出所述主目标对象。
在具体的实施过程中，可以根据每个目标对象的位置即在多模态图像帧中的位置、大小以及距离如：距离镜头的距离或各个目标对象相互之间的距离，来选择主目标对象。一般，可以选择较大且距离镜头较近(较为靠前)的目标对象作为主目标对象。或者，也可以基于历史图像，学习位置、大小以及距离对主目标图像的影响，设置主目标图像的筛选规则，本说明书实施例对此不作具体限定。
此外，本说明书一些实施例中，所述从所述多模态图像帧中每一个模态上的目标对象中选择主目标对象之前，所述方法还包括：
根据所述多模态图像帧中每一个模态上的目标对象的坐标位置，将不同模态中属于同一个对象的目标对象进行关联集，获得关联目标对象集，每个关联目标对象中包括至少一个模态的目标对象；
从每个关联目标对象集中选择一个作为备选目标对象；
所述从所述多模态图像帧中每一个模态上的目标对象中选择主目标对象，包括：
从各个备选目标对象中选择所述主目标对象。
在具体的实施过程中，在检测到当前接收到的多模态图像帧中各个模态上的目标对象后，可以基于各个目标对象的坐标位置，将属于同一个对象的目标对象进行关联，获得关联目标对象集。当然，可能存在，有些目标对象只出现在一个模态中，其他模态中没有，对于该目标对象则不需要与其他目标对象进行关联，也就说一个关联目标对象集中可能包括多个模态中的多个目标对象，也有可能只包括一个模态中的一个目标对象。如：多模态图像帧RGB模态中检测到2个目标对象A、B，IR模态中检测到1个目标对象C，Depth模态中检测到3个目标对象E、F、G，可以根据各个目标对象的坐标位置将RGB、IR、Depth模态中检测到的目标对象进行关联，如：A、C、E是同一个目标，将A、C、E进行关联，获得一个关联目标对象集。同样的，B、F属于同一个目标，则将B、F进行关联，获得一个关联目标对象集，而Depth模态中检测到的目标对象G在其他模态中没有检测出，则目标对象G单独作为一个关联目标对象集。在进行主目标对象的选择时，因为关联目标对象集中的目标对象是同一个目标，因此，可以从每一个关联目标对象集中选择一个作为备选目标对象，如将A、B、F作为备选目标对象，从A、B、F中选择主目标对象。当然，在从关联目标对象集中选择一个作为备选目标对象时，可以优先选择主模态中检测到的目标对象，若关联目标对象集中没有主模态检测到的对象，则可以选择其他的目标对象，或者根据其他需要设定不同目标对象的优先级，以供选择备选目标对象，本说明书实施例不做具体限定。
本说明书实施例中，可以将多个模态检测到的目标对象进行关联融合，实现其他模态对主模态的补充，避免在主模态成像质量不好时，无法准确检测出主目标的问题，提升目标检测的准确性，进而为后续生物识别如：人脸识别等提供准确的数据基础。
步骤106、将所述多模态图像帧中每一个模态上的目标对象与所述多模态图像帧的前一帧图像的历史主目标对象进行匹配，若所述历史主目标对象与所述多模态图像帧中每一个模态上的目标对象均不同，则将所述主目标对象作为调节目标对象。
在具体的实施过程中，在检测到当前接收到的多模态图像帧中各个模态上的目标对象后，可以将各个目标对象与当前接收到的多模态图像帧的前一帧图像的主目标对象即历史主目标对象进行匹配，若历史主目标对象与当前接收到的多模态图像帧的目标对象均不同，也就是说上一帧的主目标对象不在当前帧的目标对象列表中。这时可以说明当前帧与前一帧图像的目标不同，即已经更换目标了，此时，可以将当前接收到的多模态图像帧的主目标对象作为调节目标对象，后续对调节目标对象进行自动曝光调节。
此外，如上述实施例的记载，在检测到当前接收到的多模态图像帧中各个模态上的目标对象后，可以基于各个目标对象的坐标位置，将属于同一个对象的目标对象进行关联，具体关联方式参见上述实施例的记载，此处不再赘述。在将目标对象与历史主目标对象进行匹配时，可以将相互关联的目标对象中只选择一个作为匹配对象，即直接将上述实施例中的各个备选目标对象与上一帧的历史主目标对象进行匹配，以提升匹配速度。
本说明书一些实施例中，在将所述多模态图像帧中每一个模态上的目标对象与所述多模态图像帧的前一帧图像的历史主目标对象进行匹配时，所述方法还包括：
若所述历史主目标对象与所述多模态图像帧中至少一个目标对象相同，则将所述历史主目标对象对应在所述多模态图像帧中的目标对象作为所述调节目标对象。
在具体的实施过程中，在将当前接收到的多模态图像中的各个目标对象与当前接收到的多模态图像帧的前一帧图像的主目标对象即历史主目标对象进行匹配时，若历史主目标对象与当前接收到的多模态图像帧的目标对象中的至少一个目标对象相同，则可以认为当前帧与前一帧的目标相同，不需要更换目标，将上一帧多模态图像帧中的历史主目标对象对应在多模态图像帧中的目标对象作为调节目标对象。例如：若历史主目标对象与当前接收到的多模态图像帧的目标对象A相同，则可以将多模态图像帧的目标对象A作为调节目标对象，后续对调节目标对象进行自动曝光调节。
在一些实施例中，若当前接收到的多模态图像帧中的各个目标对象中没有筛选出主目标对象，如：最大的目标对象也很小，可以说明当前接收到的多模态图像帧中没有拍摄到有效的对象。此时可以直接将当前接收到的多模态图像帧的前一帧图像的主目标对象即历史主目标对象作为调节目标对象。
其中，在将当前接收到的多模态图像中的各个目标对象与当前接收到的多模态图像帧的前一帧图像的主目标对象即历史主目标对象进行匹配时，可以通过计算当前接收到的多模态图像中的各个目标对象与历史主目标对象的相似度的方式，来确定二者是否相同，或者通过关键特征提取，判断两个目标对象的关键特征是否相同的方式来判断两个目标对象是否相同。或者，一般的，进行人脸识别时，需要在镜头前静止一定时间，那么可能连续几帧图像中目标对象的大小、位置、距离不会有太大差别，可以根据两个目标对象的位置、大小、距离等方式，来判断两个目标对象是否相同。关于目标对象的匹配方式可以根据实际需要进行选择，本说明书实施例不做具体限定。
本说明书实施例通过将上一帧图像的历史主目标对象与当前帧所有的目标对象进行匹配，来判断连续两帧图像中的检测对象是否更改，进行后续自动曝光处理对象的筛选，提升自动曝光处理对象的准确性。
步骤108、根据所述多模态图像帧中主模态的图像亮度和所述调节目标对象在对应模态上的位置，计算所述调节目标对象对应的目标有效亮度。
在具体的实施过程中，其中，在多模态图像帧中一般会包括一个主模态，本说明书一些实施例中，一般可以以RGB模态作为主模态，即将RGB维度采集到的图像作为自动曝光的图像处理基础。在确定出自动曝光需要处理的调节目标对象后，可以根据多模态图像帧中主模态的图像亮度和调节目标对象在对应模态上的位置，计算调节目标对象对应的目标有效亮度。即基于多模态图像帧中主模态的图像亮度和调节目标对象的位置，可以计算出调节目标对象所处位置对应的区域的亮度即为调节目标对象对应的目标有效亮度。
本说明书一些实施例中，所述根据所述多模态图像帧中主模态的图像亮度和所述调节目标对象在对应模态上的位置，计算所述调节目标对象对应的目标有效亮度，包括：
若所述调节目标对象在主模态中，则根据所述调节目标对象在所述主模态中的位置以及所述主模态的图像亮度，计算所述调节目标对象对应的目标有效亮度；
若所述调节目标对象不在所述主模态中，则根据所述调节目标对象所在的模态上的位置将所述调节目标对象映射到所述主模态对应的位置处，根据所述主模态中映射的图像位置以及所述主模态的图像亮度，计算所述调节目标对象对应的目标有效亮度。
在具体的实施过程中，调节目标对象可能在主模态中，也可能是其他模态的图像中检测出来的，主模态中没有。若调节目标对象在主模态中，则可以根据调节目标对象在主模态中的位置以及主模态的图像亮度，计算调节目标对象所处位置区域对应的目标有效亮度。若调节目标对象不在主模态中，则可以根据调节目标对象所在的模态上的位置，将调节目标对象映射到主模态对应的位置处，根据主模态中映射的图像位置以及主模态的图像亮度，计算调节目标对象对应位置区域的目标有效亮度。
本说明书实施例利用多模态进行目标检测，当主模态(如：RGB)检测不到目标的情况下，利用其他模态检测目标，并将其位置映射到主模态图像中，从而获取相应的亮度信息，弥补了特殊场景中主模态(如：RGB)成像质量差导致的检测召回不足影响调节问题，同时，利用同类目标有效亮度共享维持感兴趣目标类别亮度稳定，提升后续自动曝光处理以及图像识别的准确性。
此外，本说明书一些实施例中，所述根据所述多模态图像帧中主模态的图像亮度和所述调节目标对象在对应模态上的位置，计算所述调节目标对象对应的目标有效亮度，包括：
根据所述调节目标对象在所述主模态中的位置或所述调节目标对象在所述主模态中映射的图像位置，确定出所述调节目标对象在所述主模态中的目标区域；
将所述调节目标对象的遮挡物从所述目标区域中删除，获得所述调节目标对象对应的有效区域；
根据所述主模态的图像亮度，计算所述有效区域的亮度作为所述调节目标对象对应的目标有效亮度。
在具体的实施过程中，在计算调节目标对象的目标有效亮度时，可以先根据调节目标对象在主模态中的位置或调节目标对象在主模态中映射的图像位置，确定出调节目标对象在主模态中的有效区域，将其他无效区域删除。这里的有效亮度是指尽量去掉其他物体遮挡的情况下，如：口罩这类物体遮挡，可以检测调节目标对象上是否有遮挡物，若有，则将遮挡物所在区域删除，再计算调节目标对象的有效亮度。再根据主模态的图像亮度，可以确定出调节目标对象在主模态中的有效区域的亮度即述调节目标对象对应的目标有效亮度。基于调节目标对象的位置信息确定出目标区域，在将目标区域内的遮挡物剔除，进而提升调节目标对象的有效亮度计算结果的准确性，为后续自动曝光处理奠定了准确的数据基础。
步骤110、根据所述目标有效亮度、所述调节目标对象在对应模态上的位置以及所述多模态图像帧对应的自动曝光目标，对所述多模态图像帧进行自动曝光调节。
在具体的实施过程中，本说明书实施例中可以先基于多模态图像帧所处的场景，确定出对应的自动曝光目标，即：AE target。AE target中可以包括自动曝光调节所需要调节到的参数范围，如：曝光时间、光圈、ISO的取值范围等。再将AE target作为自动曝光的调节标准，根据计算出的目标有效亮度以及调节目标对象在对应模态上的位置，对多模态图像帧进行自动曝光调节，将多模态图像帧中的调节目标对象区域的自动曝光参数调节到AEtarget的范围内，以提升图像质量，进而为后续图像识别奠定准确的数据基础。
在对多模态图像帧进行自动曝光处理后，可以记录当前自动曝光处理的自动曝光参数，以备后续图像帧自动曝光处理时可能会使用。同时，继续接收下一阵多模态图像帧，继续进行上述实施例的方法，对接收到的多模态图像帧进行自动曝光处理。
本说明书一些实施例中，所述方法还包括：
在接收到所述多模态图像帧后，对所述多模态图像帧进行场景感知，确定所述多模态图像帧对应的目标场景；
根据所述多模态图像帧对应的目标场景，确定出所述多模态图像帧对应的自动曝光目标。
在具体的实施过程中，可以根据实际应用需要预先配置几种典型场景，如：室内场景、室外场景、背光场景、光线充足场景等，具体可以根据实际需要进行配置，如：根据设备实际使用时所处的场景进行配置，本说明书实施例不做具体限定。每一个典型场景可以配置对应的的自动曝光目标，自动曝光目标中可以包括该场景比较合适的自动曝光参数的取值范围。在接收到多模态图像帧后，可以对多模态图像帧进行场景感知，即识别多模态图像帧所处的场景与预先配置的典型场景中哪一个比较匹配，具体可以通过识别图像中的光源、亮度、图像背景、图像中的建筑物，还可以采集图像时同时采集对应的音频，基于声音背景等进行场景识别感知，或者根据实际需要采用其他的方式进行场景的识别，本说明书实施例不做具体限定。在确定出多模态图像帧对应的目标场景后，进而可以确定出多模态图像帧所处场景对应的自动曝光目标。
本说明书实施例用场景感知确定AE target，进而确定调节方向，保证能快速的进行自动曝光调节，提升了自动曝光调节的效率。
本说明书实施例提供的自动曝光数据处理方法，通过多模态图像帧识别多模态中的目标对象，再利用其他模态目标位置弥补了当背光或者过爆等特殊情况下主模态检测受影响情况下自动曝光调节缺失指导，导致会出现反向错误调节情况，提升了自动曝光调节的准确性。同时，场景感知确定自动包括目标，快速确定调节方向，从而提升了自动曝光调节的效率，为后续生物识别奠定了准确的数据基础。
图2是本说明书一个场景实施例中自动曝光数据处理的原理示意图，如图2所示，本说明书一些场景示例中，提供了一种基于时序多帧、多模态同类目标检测、场景理解，状态锁定等机制进行摄像头智能AE平滑调节的技术方案，自动曝光数据处理还可以包括以下步骤：
1、对当前送入的多模态图像帧进行感兴趣目标检测，如人脸等，输出每个模态上的所有目标对象。
2、当当前帧没有检测到任何目标对象时，且连续没有检测到目标对象帧数小于预设阈值，则继续锁定上一帧的AE状态，不进行默认区域调节。
3、对当前帧图像进行场景感知，确定AE target。
4、当当前帧有检测到目标对象时，对多模态中的多个目标对象进行关联，目标是把多模态中同一个目标对象关联在一起，便于后续主模态中没有检测到目标对象时，亮度的计算。
5、对当前帧的多个目标对象进行有效亮度计算，这里的亮度指的是RGB图像(即主模态)中的目标亮度，当有些目标没有RGB框的时候，则利用其他模态检测的位置进行模态映射到RGB中。这里的有效亮度是指尽量去掉其他物体遮挡的情况下，主要指口罩这类物体遮挡，因此在计算亮度时需要估算真实的目标区域进行计算。
6、对每个目标依据坐标位置、大小、互相之间的距离进行主目标对象的选取，主目标对象的原则是大目标与距离优先。
7、判定上一帧的历史主目标对象是否在当前帧的目标对象列表中，如果不在则直接选择当前帧主目标对象为调节目标对象；如果在则选择上一帧的历史主目标对象对应的当前帧中的目标对象为调节目标对象。
8、依据当前调节目标对象的位置与亮度进行自动曝光调节，并记录下AE状态参数。
参见上述实施例的记载，步骤5的亮度计算也可以在确定出调节目标对象后只计算调节目标对象的有效亮度，以节省计算资源。
本说明书实施例利用场景感知确定AE target，保证能快速的调节，利用其他模态目标位置映射弥补了当背光或者过爆时RGB模态检测受影响情况下AE调节缺失指导，导致会出现反向错误调节情况，或者目标姿态发生变化引起的短时跟踪或者检测不到时，如果立即用默认区域调节会导致前面的调节半途而废，目标重新出现后从头调节从而导致用户体验变差。本说明书实施例中的锁定状态能很好的保证在调节过程中不会返工，短时记录之前的调节，目标恢复后从当前状态继续调节，尽最大可能保证RGB的视觉效果；刷脸业务中也证明RGB成像质量对于整体通过率是至关重要的，而用户对于调节速度和视觉体验很敏感，所以稳定调节是非常必要的。
本说明书中上述方法的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参考即可，每个实施例重点说明的都是与其他实施例的不同之处。相关之处参考方法实施例的部分说明即可。
基于上述所述的自动曝光数据处理方法，本说明书一个或多个实施例还提供一种用于自动曝光数据处理的***。所述***可以包括使用了本说明书实施例所述方法的***(包括分布式***)、软件(应用)、模块、组件、服务器、客户端等并结合必要的实施硬件的装置。基于同一创新构思，本说明书实施例提供的一个或多个实施例中的装置如下面的实施例所述。由于装置解决问题的实现方案与方法相似，因此本说明书实施例具体的装置的实施可以参考前述方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
具体地，图3是本说明书提供的自动曝光数据处理装置一个实施例的模块结构示意图，该装置可以应用在生物识别设备中，如：刷脸设备、刷脸支付设备等，如图3所示，本说明书中提供的自动曝光数据处理装置可以包括：
目标检测模块31，用于对接收到的多模态图像帧进行目标检测，确定所述多模态图像帧中每一个模态上的目标对象；
主目标选择模块32，用于从所述多模态图像帧中每一个模态上的目标对象中选择主目标对象；
目标调节模块33，用于将所述多模态图像帧中每一个模态上的目标对象与所述多模态图像帧的前一帧图像的历史主目标对象进行匹配，若所述历史主目标对象与所述多模态图像帧中每一个模态上的目标对象均不同，则将所述主目标对象作为调节目标对象；
亮度计算模块34，用于根据所述多模态图像帧中主模态的图像亮度和所述调节目标对象在对应模态上的位置，计算所述调节目标对象对应的目标有效亮度；
自动曝光调节模块35，用于根据所述目标有效亮度、所述调节目标对象在对应模态上的位置以及所述多模态图像帧对应的自动曝光目标，对所述多模态图像帧进行自动曝光调节。
本说明书一些实施例中，所述亮度计算模块具体用于：
若所述调节目标对象在主模态中，则根据所述调节目标对象在所述主模态中的位置以及所述主模态的图像亮度，计算所述调节目标对象对应的目标有效亮度；
若所述调节目标对象不在所述主模态中，则根据所述调节目标对象所在的模态上的位置将所述调节目标对象映射到所述主模态对应的位置处，根据所述主模态中映射的图像位置以及所述主模态的图像亮度，计算所述调节目标对象对应的目标有效亮度。
本说明书实施例提供的自动曝光数据处理装置，利用场景感知确定AE target，保证能快速的调节，利用其他模态目标位置映射弥补了当背光或者过爆时RGB模态检测受影响情况下AE调节缺失指导，导致会出现反向错误调节情况，或者目标姿态发生变化引起的短时跟踪或者检测不到时，如果立即用默认区域调节会导致前面的调节半途而废，目标重新出现后从头调节从而导致用户体验变差。本说明书实施例中的锁定状态能很好的保证在调节过程中不会返工，短时记录之前的调节，目标恢复后从当前状态继续调节，尽最大可能保证RGB的视觉效果；刷脸业务中也证明RGB成像质量对于整体通过率是至关重要的，而用户对于调节速度和视觉体验很敏感，所以稳定调节是非常必要的。
需要说明的，上述所述的装置根据对应方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照上述对应的方法实施例的描述，在此不作一一赘述。
本说明书实施例还提供一种自动曝光数据处理设备，包括：至少一个处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述实施例的自动曝光数据处理方法，如：
对接收到的多模态图像帧进行目标检测，确定所述多模态图像帧中每一个模态上的目标对象；
从所述多模态图像帧中每一个模态上的目标对象中选择主目标对象；
将所述多模态图像帧中每一个模态上的目标对象与所述多模态图像帧的前一帧图像的历史主目标对象进行匹配，若所述历史主目标对象与所述多模态图像帧中每一个模态上的目标对象均不同，则将所述主目标对象作为调节目标对象；
根据所述多模态图像帧中主模态的图像亮度和所述调节目标对象在对应模态上的位置，计算所述调节目标对象对应的目标有效亮度；
根据所述目标有效亮度、所述调节目标对象在对应模态上的位置以及所述多模态图像帧对应的自动曝光目标，对所述多模态图像帧进行自动曝光调节。
本说明书实施例还提供一种自动曝光数据处理***，包括：图像采集模块和图像处理模块；其中，所述图像采集模块用于采集多模态图像帧，所述图像处理包括至少一个处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时上述自动曝光图像处理方法如：
对接收到的多模态图像帧进行目标检测，确定所述多模态图像帧中每一个模态上的目标对象；
从所述多模态图像帧中每一个模态上的目标对象中选择主目标对象；
将所述多模态图像帧中每一个模态上的目标对象与所述多模态图像帧的前一帧图像的历史主目标对象进行匹配，若所述历史主目标对象与所述多模态图像帧中每一个模态上的目标对象均不同，则将所述主目标对象作为调节目标对象；
根据所述多模态图像帧中主模态的图像亮度和所述调节目标对象在对应模态上的位置，计算所述调节目标对象对应的目标有效亮度；
根据所述目标有效亮度、所述调节目标对象在对应模态上的位置以及所述多模态图像帧对应的自动曝光目标，对所述多模态图像帧进行自动曝光调节。
需要说明的，上述所述的设备和***根据方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。
本说明书提供的自动曝光数据处理装置，也可以应用在多种数据分析处理***中。所述***或服务器或终端或设备可以为单独的服务器，也可以包括使用了本说明书的一个或多个所述方法或一个或多个实施例***或服务器或终端或设备的服务器集群、***(包括分布式***)、软件(应用)、实际操作装置、逻辑门电路装置、量子计算机等并结合必要的实施硬件的终端装置。所述核对差异数据的检测***可以包括至少一个处理器以及存储计算机可执行指令的存储器，所述处理器执行所述指令时实现上述任意一个或者多个实施例中所述方法的步骤。
本说明书实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例，图4是本说明书一个实施例中自动曝光数据处理服务器的硬件结构框图，该计算机终端可以是上述实施例中的自动曝光数据处理服务器或自动曝光数据处理装置。如图4所示服务器10可以包括一个或多个(图中仅示出一个)处理器100(处理器100可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的非易失性存储器200、以及用于通信功能的传输模块300。本领域普通技术人员可以理解，图4所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，服务器10还可包括比图4中所示更多或者更少的组件，例如还可以包括其他的处理硬件，如数据库或多级缓存、GPU，或者具有与图4所示不同的配置。
非易失性存储器200可用于存储应用软件的软件程序以及模块，如本说明书实施例中的自动曝光数据处理方法对应的程序指令/模块，处理器100通过运行存储在非易失性存储器200内的软件程序以及模块，从而执行各种功能应用以及资源数据更新。非易失性存储器200可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，非易失性存储器200可进一步包括相对于处理器100远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输模块300用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中，传输模块300包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输模块300可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书提供的上述实施例所述的方法或装置可以通过计算机程序实现业务逻辑并记录在存储介质上，所述的存储介质可以计算机读取并执行，实现本说明书实施例所描述方案的效果，如：
对接收到的多模态图像帧进行目标检测，确定所述多模态图像帧中每一个模态上的目标对象；
从所述多模态图像帧中每一个模态上的目标对象中选择主目标对象；
将所述多模态图像帧中每一个模态上的目标对象与所述多模态图像帧的前一帧图像的历史主目标对象进行匹配，若所述历史主目标对象与所述多模态图像帧中每一个模态上的目标对象均不同，则将所述主目标对象作为调节目标对象；
根据所述多模态图像帧中主模态的图像亮度和所述调节目标对象在对应模态上的位置，计算所述调节目标对象对应的目标有效亮度；
根据所述目标有效亮度、所述调节目标对象在对应模态上的位置以及所述多模态图像帧对应的自动曝光目标，对所述多模态图像帧进行自动曝光调节。
本说明书实施例提供的上述自动曝光数据处理方法或装置可以在计算机中由处理器执行相应的程序指令来实现，如使用windows操作***的c++语言在PC端实现、linux***实现，或其他例如使用android、iOS***程序设计语言在智能终端实现，以及基于量子计算机的处理逻辑实现等。
需要说明的是说明书上述所述的装置、计算机存储介质、***根据相关方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照对应方法实施例的描述，在此不作一一赘述。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参考即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于硬件+程序类实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参考方法实施例的部分说明即可。
本说明书实施例并不局限于必须是符合行业通信标准、标准计算机资源数据更新和数据存储规则或本说明书一个或多个实施例所描述的情况。某些行业标准或者使用自定义方式或实施例描述的实施基础上略加修改后的实施方案也可以实现上述实施例相同、等同或相近、或变形后可预料的实施效果。应用这些修改或变形后的数据获取、存储、判断、处理方式等获取的实施例，仍然可以属于本说明书实施例的可选实施方案范围之内。
上述实施例阐明的***、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
虽然本说明书一个或多个实施例提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或终端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至为分布式资源数据更新环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
本发明是参照根据本发明实施例的方法、装置(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程资源数据更新设备的处理器以产生一个机器，使得通过计算机或其他可编程资源数据更新设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程资源数据更新设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程资源数据更新设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储、石墨烯存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
本领域技术人员应明白，本说明书一个或多个实施例可提供为方法、***或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本本说明书一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参考即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参考方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
以上所述仅为本说明书一个或多个实施例的实施例而已，并不用于限制本说明书一个或多个实施例。对于本领域技术人员来说，本说明书一个或多个实施例可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在权利要求范围之内。
Claims (12)
1.一种自动曝光数据处理方法，所述方法包括：
对接收到的多模态图像帧进行目标检测，确定所述多模态图像帧中每一个模态上的目标对象；
从所述多模态图像帧中每一个模态上的目标对象中选择主目标对象；
将所述多模态图像帧中每一个模态上的目标对象与所述多模态图像帧的前一帧图像的历史主目标对象进行匹配，若所述历史主目标对象与所述多模态图像帧中每一个模态上的目标对象均不同，则将所述主目标对象作为调节目标对象；
根据所述多模态图像帧中主模态的图像亮度和所述调节目标对象在对应模态上的位置，计算所述调节目标对象对应的目标有效亮度；
根据所述目标有效亮度、所述调节目标对象在对应模态上的位置以及所述多模态图像帧对应的自动曝光目标，对所述多模态图像帧进行自动曝光调节。
2.如权利要求1所述的方法，所述根据所述多模态图像帧中主模态的图像亮度和所述调节目标对象在对应模态上的位置，计算所述调节目标对象对应的目标有效亮度，包括：
若所述调节目标对象在主模态中，则根据所述调节目标对象在所述主模态中的位置以及所述主模态的图像亮度，计算所述调节目标对象对应的目标有效亮度；
若所述调节目标对象不在所述主模态中，则根据所述调节目标对象所在的模态上的位置将所述调节目标对象映射到所述主模态对应的位置处，根据所述主模态中映射的图像位置以及所述主模态的图像亮度，计算所述调节目标对象对应的目标有效亮度。
3.如权利要求2所述的方法，所述根据所述多模态图像帧中主模态的图像亮度和所述调节目标对象在对应模态上的位置，计算所述调节目标对象对应的目标有效亮度，包括：
根据所述调节目标对象在所述主模态中的位置或所述调节目标对象在所述主模态中映射的图像位置，确定出所述调节目标对象在所述主模态中的目标区域；
将所述调节目标对象的遮挡物从所述目标区域中删除，获得所述调节目标对象对应的有效区域；
根据所述主模态的图像亮度，计算所述有效区域的亮度作为所述调节目标对象对应的目标有效亮度。
4.如权利要求1所述的方法，在将所述多模态图像帧中每一个模态上的目标对象与所述多模态图像帧的前一帧图像的历史主目标对象进行匹配时，所述方法还包括：
若所述历史主目标对象与所述多模态图像帧中至少一个目标对象相同，则将所述历史主目标对象对应在所述多模态图像帧中的目标对象作为所述调节目标对象。
5.如权利要求1所述的方法，所述方法还包括：
在接收到所述多模态图像帧后，对所述多模态图像帧进行场景感知，确定所述多模态图像帧对应的目标场景；
根据所述多模态图像帧对应的目标场景，确定出所述多模态图像帧对应的自动曝光目标。
6.如权利要求1所述的方法，所述方法还包括：
若在对接收到的多模态图像帧进行目标检测时，没有检测目标对象，且连续没有检测到目标对象的帧数小于预设阈值，则锁定所述多模态图像帧之前最近的一帧检测到目标对象的历史多模态图像帧的自动曝光参数。
7.如权利要求1所述的方法，所述从所述多模态图像帧中每一个模态上的目标对象中选择主目标对象，包括：
根据各个目标对象的位置、大小以及距离确定出所述主目标对象。
8.如权利要求1所述的方法，所述从所述多模态图像帧中每一个模态上的目标对象中选择主目标对象之前，所述方法还包括：
根据所述多模态图像帧中每一个模态上的目标对象的坐标位置，将不同模态中属于同一个对象的目标对象进行关联，获得关联目标对象集，每个关联目标对象集中包括至少一个模态的目标对象；
从每个关联目标对象集中选择一个作为备选目标对象；
所述从所述多模态图像帧中每一个模态上的目标对象中选择主目标对象，包括：
从各个备选目标对象中选择所述主目标对象；
所述将所述多模态图像帧中每一个模态上的目标对象与所述多模态图像帧的前一帧图像的历史主目标对象进行匹配，包括：
将所述多模态图像帧的前一帧图像的历史主目标对象与各个所述备选目标对象进行匹配。
9.一种自动曝光数据处理装置，所述装置包括：
目标检测模块，用于对接收到的多模态图像帧进行目标检测，确定所述多模态图像帧中每一个模态上的目标对象；
主目标选择模块，用于从所述多模态图像帧中每一个模态上的目标对象中选择主目标对象；
目标调节模块，用于将所述多模态图像帧中每一个模态上的目标对象与所述多模态图像帧的前一帧图像的历史主目标对象进行匹配，若所述历史主目标对象与所述多模态图像帧中每一个模态上的目标对象均不同，则将所述主目标对象作为调节目标对象；
亮度计算模块，用于根据所述多模态图像帧中主模态的图像亮度和所述调节目标对象在对应模态上的位置，计算所述调节目标对象对应的目标有效亮度；
自动曝光调节模块，用于根据所述目标有效亮度、所述调节目标对象在对应模态上的位置以及所述多模态图像帧对应的自动曝光目标，对所述多模态图像帧进行自动曝光调节。
10.如权利要求9所述的装置，所述亮度计算模块具体用于：
若所述调节目标对象在主模态中，则根据所述调节目标对象在所述主模态中的位置以及所述主模态的图像亮度，计算所述调节目标对象对应的目标有效亮度；
若所述调节目标对象不在所述主模态中，则根据所述调节目标对象所在的模态上的位置将所述调节目标对象映射到所述主模态对应的位置处，根据所述主模态中映射的图像位置以及所述主模态的图像亮度，计算所述调节目标对象对应的目标有效亮度。
11.一种自动曝光数据处理设备，包括：至少一个处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现权利要求1-8任一项所述的方法。
12.一种自动曝光数据处理***，包括：图像采集模块和图像处理模块，其中所述图像采集模块用于采集多模态图像帧，所述图像处理模块包括至少一个处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现权利要求1-8任一项所述的方法，用于对所述图像采集模块采集到的多模态图像帧进行自动曝光数据处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210503763.2A CN114998957B (zh) | 2022-05-10 | 2022-05-10 | 自动曝光数据处理方法、装置、设备及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210503763.2A CN114998957B (zh) | 2022-05-10 | 2022-05-10 | 自动曝光数据处理方法、装置、设备及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114998957A CN114998957A (zh) | 2022-09-02 |
| CN114998957B true CN114998957B (zh) | 2024-06-25 |
Family
ID=83024406
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210503763.2A Active CN114998957B (zh) | 2022-05-10 | 2022-05-10 | 自动曝光数据处理方法、装置、设备及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114998957B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108881710A (zh) * | 2017-12-28 | 2018-11-23 | 北京旷视科技有限公司 | 图像处理方法、装置和***及存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110731078B (zh) * | 2019-09-10 | 2021-10-22 | 深圳市汇顶科技股份有限公司 | 曝光时间计算方法、装置及存储介质 |
| CN112257617B (zh) * | 2020-10-26 | 2022-05-20 | 支付宝(杭州)信息技术有限公司 | 多模态目标识别方法和*** |
| US11290658B1 (en) * | 2021-04-15 | 2022-03-29 | Boston Polarimetrics, Inc. | Systems and methods for camera exposure control |
| CN113627263B (zh) * | 2021-07-13 | 2023-11-17 | 支付宝(杭州)信息技术有限公司 | 一种基于人脸检测的曝光方法、装置以及设备 |
| CN114332166A (zh) * | 2021-12-31 | 2022-04-12 | 安徽大学 | 基于模态竞争协同网络的可见光红外目标跟踪方法及装置 |
-
2022
- 2022-05-10 CN CN202210503763.2A patent/CN114998957B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108881710A (zh) * | 2017-12-28 | 2018-11-23 | 北京旷视科技有限公司 | 图像处理方法、装置和***及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| RGB-D图像中的分步超像素聚合和多模态融合目标检测;赵轩;郭蔚;刘京;;中国图象图形学报;20180816(第08期);1231-1241 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114998957A (zh) | 2022-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liba et al. | Handheld mobile photography in very low light. | |
| US20210264133A1 (en) | Face location tracking method, apparatus, and electronic device | |
| US8675091B2 (en) | Image data processing with multiple cameras | |
| CN108197546B (zh) | 人脸识别中光照处理方法、装置、计算机设备及存储介质 | |
| US10382712B1 (en) | Automatic removal of lens flares from images | |
| US8854489B2 (en) | Image processing method and image processing apparatus | |
| CN113518210B (zh) | 图像自动白平衡的方法及装置 | |
| US9070044B2 (en) | Image adjustment | |
| Fernandez-Sanchez et al. | Background subtraction model based on color and depth cues | |
| CN109618102B (zh) | 对焦处理方法、装置、电子设备及存储介质 | |
| CN106651797B (zh) | 一种信号灯有效区域的确定方法和装置 | |
| US20160156846A1 (en) | Method and system for accessing tv programs and applications on smart tv | |
| CN104853094A (zh) | 一种拍照方法及装置 | |
| CN111654643B (zh) | 曝光参数确定方法、装置、无人机和计算机可读存储介质 | |
| Torres et al. | Optimal camera exposure for video surveillance systems by predictive control of shutter speed, aperture, and gain | |
| CN111614867A (zh) | 一种视频去噪方法、装置、移动终端和存储介质 | |
| WO2023137956A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN111800568B (zh) | 补光方法及装置 | |
| CN113989387A (zh) | 相机拍摄参数调整方法、装置及电子设备 | |
| CN106851099B (zh) | 一种拍摄的方法及移动终端 | |
| CN112911160B (zh) | 图像拍摄方法、装置、设备及存储介质 | |
| CN114998957B (zh) | 自动曝光数据处理方法、装置、设备及*** | |
| CN110930340A (zh) | 一种图像处理方法及装置 | |
| CN112752031B (zh) | 图像采集检测方法、装置、电子设备及存储介质 | |
| CN115379128A (zh) | 曝光控制方法及装置、计算机可读介质和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |