CN115426458B - 光源检测方法及其相关设备 - Google Patents
光源检测方法及其相关设备 Download PDFInfo
- Publication number
- CN115426458B CN115426458B CN202211354642.2A CN202211354642A CN115426458B CN 115426458 B CN115426458 B CN 115426458B CN 202211354642 A CN202211354642 A CN 202211354642A CN 115426458 B CN115426458 B CN 115426458B
- Authority
- CN
- China
- Prior art keywords
- camera
- image
- light source
- electronic device
- detection method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
- Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection
Landscapes
- Studio Devices (AREA)
Abstract
本申请提供了一种光源检测方法及其相关设备,涉及图像处理领域,该光源检测方法包括:启动电子设备的相机应用程序;利用第一摄像头采集第一图像;对第二摄像头进行虚焦处理,和/或,降低曝光值处理;利用处理后的第二摄像头采集参考图像;基于参考图像,确定第一图像中包括的目标光源。本申请通过对第二摄像头来进行虚焦和/或降低曝光值处理,可以以简单快捷的方式,辅助第一摄像头准确的检测出光源。
Description
技术领域
本申请涉及图像处理领域,具体涉及一种光源检测方法及其相关设备。
背景技术
随着具有拍摄功能的电子设备在生活中的普及,人们使用电子设备进行拍摄已经成为了生活中的一种日常行为方式。
当拍摄的场景中包括光源时,由于光源产生的亮度比较高,影响周围环境的光影效果,因此,相关技术通常会先根据亮度阈值识别的方法来检测出光源,例如将大于预设亮度阈值的局部区域确定为光源,然后再进行后续处理。
然而,这种检测方法鲁棒性不高,会错误的将一些高反光物体、高亮金属等识别为光源,针对这一问题,亟需一种新的检测方法进行解决。
发明内容
本申请提供了一种光源检测方法及其相关设备,通过对第二摄像头来进行虚焦和/或降低曝光值处理,可以以简单快捷的方式,辅助第一摄像头准确的检测出光源。
第一方面,提供了一种光源检测方法,应用于包括第一摄像头和第二摄像头的电子设备,所述第一摄像头和所述第二摄像头用于拍摄同一场景;该方法包括:
启动所述电子设备的相机应用程序;
利用所述第一摄像头采集第一图像;
对所述第二摄像头进行虚焦处理,和/或,降低曝光值处理;
利用处理后的所述第二摄像头采集参考图像;
基于所述参考图像,确定所述第一图像中包括的目标光源。
本申请实施例提供的光源检测方法,在启用第一摄像头和第二摄像头进行拍摄的情况下,通过对第二摄像头进行虚焦和/或降低曝光值处理,使得处理后的第二摄像头采集到的参考图像中的非真实光源的区域变模糊、变黑;然后,结合该参考图像辅助第一图像筛除掉高反光物体、高亮金属、噪声等产生的高亮区域,从中识别出真正的光源,由此可以达到提高光源检测的准确度。
结合第一方面,在第一方面的一种实现方式中,对所述第二摄像头进行虚焦处理,包括:
将所述第二摄像头中镜头与图像传感器之间的距离减小到小于采集所述第一图像时,所述第一摄像头中镜头与图像传感器之间的距离。
在该实现方式中,由于对第二摄像头进行了虚焦处理,可以使得第二摄像头采集的第一参考图像中的大部分物体变得虚化。例如,可以使得距离第二摄像头较远的背景中的物体变得模糊。高亮金属、高反光的物体由于自身是反射高亮的光线成像的,反射光的能量相对发光光源的能量非常低,所以,这些高亮金属、高反光的物体在第一参考图像中对应的成像,在虚焦处理后也变得模糊不清,与背景混合成一团。此时,只有真正的发光光源由于能量较高,在虚焦处理后也不会模糊,从而可以在模糊的背景中凸显出来,相对于周围变得较亮。
结合第一方面,在第一方面的一种实现方式中,对所述第二摄像头进行降低曝光值处理,包括:
将所述第二摄像头对应的曝光值降低为采集所述第一图像时,所述第一摄像头对应的曝光值的一半。
在该实现方式中,降低曝光值会使得第二摄像头采集到的第二参考图像变成比较黑的图像。此时,高亮金属、高反光物体由于自身是反射高亮的光线成像的,反射光的能量相对发光光源的能力非常低,所以,这些高亮金属、高反光的物体在第二参考图像中对应的成像,随着曝光值的降低,也变成了灰色或者黑色区域;噪声生成的亮区同样也会随着曝光值的降低而变灰、变黑;此时,只有真正的发光光源由于能量较高,在第二摄像头降低曝光值之后还是会相对比较亮,接近白色。
结合第一方面,在第一方面的一种实现方式中,对所述第二摄像头进行降低曝光值处理,包括:
保持感光度不变,降低所述第二摄像头对应的曝光时间;或者,
保持曝光时间不变,降低所述第二摄像头对应的感光度。
在该实现方式中,通过降低曝光时间或感光度可以降低第二摄像头的曝光值。此外,还可以同时降低曝光时间和感光度。
结合第一方面,在第一方面的一种实现方式中,在对所述第二摄像头进行虚焦处理,和/或,降低曝光值处理之前,所述方法还包括:
利用所述第二摄像头采集第二图像;
对所述第一图像和所述第二图像进行亮度阈值识别和形状检测,确定所述第一图像中的待测区域和所述第二图像中的待测区域并进行匹配;
基于所述参考图像,确定所述第一图像中包括的目标光源,包括:
对所述参考图像进行所述亮度阈值识别和所述形状检测,确定所述参考图像中的目标区域,所述目标区域与所述第二图像中的待测区域具有对应关系;
确定具有对应的目标区域的所述第一图像中的待测区域为目标光源。
在该实现方式中,将第一图像中的待测区域和第二图像中的待测区域进行匹配,又因为第二参考图像中的目标区域与第二图像中的待测区域具有对应关系,从而可以将第一图像中的待测区域与第二参考图像中的目标区域关联起来。当第二参考图像中具有与第一图像中的待测区域具有关联的目标区域时,说明该待测区域指示真实的光源位置;当第二参考图像中没有与第一图像中的待测区域具有关联的目标区域时,说明该待测区域指示的是假的光源位置,例如为高反光物体、高亮金属或噪声形成的亮区。由此,以第二参考图像为参考,通过简单对比即可确定出第一图像中真实和虚假的光源。
结合第一方面,在第一方面的一种实现方式中,所述第二摄像头包括至少一个第二摄像头。
当具有多个第二摄像头时,可以对多个第二摄像头分别进行虚焦和/或降低曝光值处理,结合多个第二摄像头拍摄的参考图像中的目标区域,来确定出第一图像中的目标光源。辅助的摄像头越多,检测的越准确。
第二方面,提供了一种电子设备,所述电子设备包括:一个或多个处理器、存储器和显示屏;所述存储器与所述一个或多个处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行:
启动所述电子设备的相机应用程序;
利用所述第一摄像头采集第一图像;
对所述第二摄像头进行虚焦处理,和/或,降低曝光值处理;
利用处理后的所述第二摄像头采集参考图像;
基于所述参考图像,确定所述第一图像中包括的目标光源。
结合第二方面,在第二方面的一种实现方式中,对所述第二摄像头进行虚焦处理,包括:
将所述第二摄像头中镜头与图像传感器之间的距离减小到小于采集所述第一图像时,所述第一摄像头中镜头与图像传感器之间的距离。
结合第二方面,在第二方面的一种实现方式中,对所述第二摄像头进行降低曝光值处理,包括:
将所述第二摄像头对应的曝光值降低为采集所述第一图像时,所述第一摄像头对应的曝光值的一半。
结合第二方面,在第二方面的一种实现方式中,对所述第二摄像头进行降低曝光值处理,包括:
保持感光度不变,降低所述第二摄像头对应的曝光时间;或者,
保持曝光时间不变,降低所述第二摄像头对应的感光度。
结合第二方面,在第二方面的一种实现方式中,在对所述第二摄像头进行虚焦处理,和/或,降低曝光值处理之前,所述方法还包括:
利用所述第二摄像头采集第二图像;
对所述第一图像和所述第二图像进行亮度阈值识别和形状检测,确定所述第一图像中的待测区域和所述第二图像中的待测区域并进行匹配;
基于所述参考图像,确定所述第一图像中包括的目标光源,包括:
对所述参考图像进行所述亮度阈值识别和所述形状检测,确定所述参考图像中的目标区域,所述目标区域与所述第二图像中的待测区域具有对应关系;
确定具有对应的目标区域的所述第一图像中的待测区域为目标光源。
结合第二方面,在第二方面的一种实现方式中,所述第二摄像头包括至少一个第二摄像头。
第三方面,提供了一种光源检测装置,包括用于执行第一方面中任一种光源检测方法的单元。
在一种可能的实现方式中,当该光源检测装置是电子设备时,该处理单元可以是处理器,该输入单元可以是通信接口;该电子设备还可以包括存储器,该存储器用于存储计算机程序代码,当该处理器执行该存储器所存储的计算机程序代码时,使得该电子设备执行第一方面中的任一种方法。
第四方面,提供了一种芯片,所述芯片应用于电子设备,所述芯片包括一个或多个处理器,所述处理器用于调用计算机指令以使得所述电子设备执行第一方面中的任一种光源检测方法。
第五方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序代码,当所述计算机程序代码被电子设备运行时,使得该电子设备执行第一方面中的任一种光源检测方法。
第六方面,提供了一种计算机程序产品,所述计算机程序产品包括:计算机程序代码,当所述计算机程序代码被电子设备运行时,使得该电子设备执行第一方面中的任一种光源检测方法。
本申请实施例提供的光源检测方法,通过启用一个第一摄像头和至少一个第二摄像头,在拍摄时,利用第一摄像头采集第一图像,而对第二摄像头进行虚焦、降低曝光值处理,再利用处理后的第二摄像头采集第二参考图像;对第二摄像头采集的第二参考图像进行亮度阈值识别以及形状检测;然后,再利用该检测结果辅助第一图像筛除掉高反光物体、高亮金属、噪声等产生的高亮区域,从中识别出真正的光源作为目标光源。
由于相关电子设备普遍都包括多个摄像头,因此,本申请无需做结构上的修改,仅需要调用多个摄像头,经过简单的虚焦和/或降低曝光值处理即可进行检测,方法简单,检测效率较高,检测准确度也非常高。
附图说明
图1是一种适用于本申请的应用场景的示意图;
图2是本申请实施例提供的一种光源检测方法的流程示意图;
图3是本申请实施例提供的一种摄像头的布局示意图;
图4是本申请实施例提供的一种光源检测过程中的图像示意图;
图5是本申请实施例提供的另一种光源检测过程中的图像示意图;
图6是本申请实施例提供的一种显示界面示意图;
图7是一种适用于本申请的电子设备的硬件***的示意图;
图8是一种适用于本申请的电子设备的软件***的示意图;
图9是本申请提供的一种光源检测装置的结构示意图;
图10是本申请提供的一种芯片的结构示意图。
具体实施方式
下面将结合附图,对本申请实施例中的技术方案进行描述。
首先,对本申请实施例中的部分用语进行解释说明,以便于本领域技术人员理解。
1、RGB(red,green,blue)颜色空间,或者称为RGB域,指的是一种与人的视觉***结构相关的颜色模型。根据人眼睛的结构,将所有颜色都当作是红色、绿色和蓝色的不同组合。
2、YUV颜色空间,或者称为YUV域,指的是一种颜色编码方法,Y表示亮度,U和V表示的则是色度。上述RGB颜色空间着重于人眼对色彩的感应,YUV颜色空间则着重于视觉对亮度的敏感程度,RGB颜色空间和YUV颜色空间可以互相转换。
3、亮度(lighting value,LV)值,用于估计环境亮度,其具体计算公式如下:
其中,Exposure为曝光时间,Aperture为光圈大小,ISO为感光度,Luma为XYZ颜色空间中Y的平均值。
4、自动对焦(automatic focus,AF),是指电子设备通过调整聚焦镜头的位置,获得最高的图像频率成分,以得到更高的图像对比度。其中,自动对焦是一个不断积累的过程,电子设备比较镜头在不同位置下拍摄的图像的对比度,从而获得图像的对比度最大时镜头的位置,进而确定对焦的焦距。
5、焦距,焦距的大小标志着折光能力的大小,焦距越短,其折光能力就越大。
光学镜头组件的焦距决定了该光学镜头组件拍摄的被摄物体在成像平面上所生成图像的大小。假设以相同的距离面对同一被摄物体进行拍摄,那么光学镜头组件的焦距越长,则被摄体在感光元件(charge-coupled device,CCD)上所生成的图像的放大倍数就越大。
6、对焦距离,是指物体和成像之间的距离,是镜头到物体的距离与镜头到感光元件的距离之和。
7、拍摄参数,可包括快门、曝光时间、光圈值(aperture value,AV)、曝光值(exposure value,EV)和感光度ISO。以下分别进行介绍。
快门是控制光线进入摄像头时间长短,以决定图像曝光时间的装置。快门保持在开启状态的时间越长,进入摄像头的光线越多,图像对应的曝光时间越长。相反,快门保持在开启状态的时间越短,进入摄像头的光线越少,图像对应的曝光时间越短。
曝光时间是指为了将光投射到摄像头的感光材料的感光面上,快门所要打开的时间。曝光时间由感光材料的感光度和感光面上的照度确定。曝光时间越长,进入摄像头的光越多,曝光时间越短,进入摄像头的光越少。因此,暗光场景下需要长的曝光时间,逆光场景下需要短的曝光时间。
光圈值(f值),是摄像头中的镜头(lens)的焦距与镜头通光直径的比值。光圈值越大,进入摄像头的光线越多。光圈值越小,进入摄像头的光线越少。
曝光值,是曝光时间和光圈值组合起来表示摄像头的镜头通光能力的一个数值。曝光值可以定义为:
其中,N为光圈值;t为曝光时间,单位为秒。
ISO,用于衡量底片对于光的灵敏程度,即感光度或增益。对于不敏感的底片,需要更长的曝光时间以达到跟敏感底片亮度相同的成像。对于敏感的底片,需要较短的曝光时间以达到与不敏感的底片亮度相同的成像。
拍摄参数中,快门、曝光时间、光圈值、曝光值和ISO,电子设备可通过算法实现自动对焦(auto focus,AF)、自动曝光(automatic exposure,AE)、自动白平衡(auto whitebalance,AWB)中的至少一项,以实现这些拍摄参数的自动调节。
示例性地,上述曝光值的取值可以为-24、-4、-3、-2、-1、0、1、2、3、4、24中的任一项。
EV0对应的曝光图像,用于指示电子设备通过算法实现曝光时,通过确定的曝光值0来捕获的曝光图像。EV-2对应的曝光图像,用于指示电子设备通过算法实现曝光时,通过确定的曝光值-2来捕获的曝光图像。EV1对应的曝光图像,用于指示电子设备通过算法实现曝光时,通过确定的曝光值1来捕获的曝光图像。其他依次类推,在此不再赘述。
其中,曝光值每增加1将改变一挡曝光,也就是将曝光量(指物体表面某一面元接收的光照度在时间t内的积分)增加一倍,比如将曝光时间或光圈面积增加一倍。那么,曝光值的增加将对应于更慢的快门速度和更小的f值。由此可知,EV0相对于EV-2,曝光值增加了2,改变了两挡曝光;同理,EV1相对于EV0,曝光值增加了1,改变了一挡曝光。
此处,当曝光值EV等于0时,该曝光值通常为当前照明条件下的最佳曝光值。相应的,在EV0的条件下电子设备对应获取的曝光图像,为当前照明条件下的最佳曝光图像,该最佳曝光图像也可以称为参考曝光图像。
应理解,该“最佳”曝光图像指的是给定的电子设备通过算法确定的曝光图像,当电子设备不同、算法不同或当前照明条件不同时,确定的最佳曝光图像不同。
以上是对本申请实施例所涉及的名词的简单介绍,以下不再赘述。
本申请实施例提供的光源检测方法可以适用于各种电子设备。
在本申请的一些实施例中,该电子设备可以是运动相机、数码相机等各种摄像装置、手机、智慧屏、平板电脑、可穿戴电子设备、车载电子设备、增强现实(augmentedreality,AR)设备、虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personal digitalassistant,PDA)、投影仪等等,本申请实施例对电子设备的具体类型不作任何限制。
结合电子设备,图1是本申请实施例提供的光源检测方法的应用场景的示意图。
示例性地,本申请实施例中的光源检测方法可以应用于拍照领域;例如,本申请的光源检测方法可以应用于在具有光源的拍摄环境中拍摄包括光源在内的拍摄对象。拍摄环境可以为自然外景、实景外景、实景内景、摄影棚内景等拍摄环境。光源可以包括自然光源和人造光源,例如,太阳、打开的电灯、燃烧着的蜡烛等都是光源。其中,光源可以包括一个光源,也可以包括多个光源。
例如,如图1所示,以电子设备100是手机为例,拍摄对象包括便利店的玻璃门、门前的圣诞树、以及旁边提供照明的光源101(例如,路灯)。电子设备100运行相机应用程序,电子设备100采集包括拍摄对象的图像的过程中,显示屏上可以实时显示包括光源101在内的拍摄对象的预览图像;当用户在查看电子设备100的显示屏上的预览图像时,若想要以图1所示的视角拍摄时,则可以点击显示屏上显示的拍摄控件。当电子设备100的拍摄控件被触发,电子设备100可以拍摄到如图1中所示的包括光源101在内的拍摄对象的图像。
结合图1所示,当电子设备拍摄包括光源101在内的拍摄对象时,由于光源产生的亮度比较高,影响周围环境的光影效果,进而影响图像传感器采集的图像,可能会使得电子设备采集的图像出现模糊、局部过曝等问题。因此,相关技术通常会先根据亮度阈值识别的方法来检测出图像中的光源位置,例如将大于预设亮度阈值的局部区域确定为光源所在区域,然后再进行校正或其他一系列处理。
然而,相关技术提供的检测方法鲁棒性不高,光源检测结果不准确。针对真实的发光光源和高反光形成的亮区,以及噪声形成的亮区等,相关方法无法正确分辨,会错误的将一些高反光物体、高亮金属形成的亮区等检测为光源,进而造成后续处理的困扰。针对这一问题,亟需一种新的检测方法进行解决。
有鉴于此,本申请实施例提供一种光源检测方法,在启用第一摄像头和第二摄像头进行拍摄的情况下,通过对第二摄像头进行虚焦和/或降低曝光值处理,使得处理后的第二摄像头采集到的参考图像中的非真实光源的区域变模糊、变黑;然后,结合该参考图像辅助第一图像筛除掉高反光物体、高亮金属、噪声等产生的高亮区域,从中识别出真正的光源,由此可以达到提高光源检测的准确度。
示例性地,在相机应用程序处于预览状态(例如,拍照预览)时,电子设备显示的预览图像中包括局部模糊、过曝等情况,在电子设备的拍摄控件被触发后,可以执行本申请实施例提供的光源检测方法;或者,在电子设备检测到用户点击某一拍照模式(例如,大光圈模式、夜景模式)时,根据该检测结果结合相关图像处理方法,可以得到更清晰、对比度更好、光影效果更自然的图像。
可选地,在电子设备具有足够的运算能力的情况下,本申请实施例中的光源检测方法还可以应用于录制视频领域、视频通话领域或者其他图像处理领域。
示例性地,视频通话场景可以包括但不限于以下场景中:
视频通话、视频会议应用、长短视频应用、视频直播类应用、视频网课应用、人像智能运镜应用场景、***相机录像功能录制视频、视频监控,或者智能猫眼等人像拍摄类场景等。
应理解,上述为对应用场景的举例说明,并不对本申请的应用场景作任何限定。
下面结合图2至图6对本申请实施例提供的光源检测方法进行详细地描述。
图2是本申请实施例提供的一种光源检测方法的示意性流程图。该方法200可以由至少包括两个摄像头的电子设备执行。
示例性地,图3为本申请实施例提供的一种电子设备上的摄像头的布局图。
以电子设备100是手机为例,如图3中的(a)所示,在手机的后盖上可以排布两个摄像头,分别位于手机后盖左上角位置处的两个圆形区域中。该两个摄像头可以分别为广角摄像头1931和长焦摄像头1932。或者,如图3中的(b)所示,在手机的后盖上可以排布四个摄像头,该四个摄像头位于手机后盖上方中央的圆形区域中。该四个摄像头例如可以分别为超广角摄像头1933、广角摄像头1931、长焦摄像头1932和多光谱摄像头1934。
应理解,广角摄像头1931,由于对焦距离较小,所以适合拍摄近景,并且,顾名思义,广角摄像头适合拍摄视场角相对较大的场景。超广角摄像头1933对应的视场角范围相对大于广角摄像头1931对应的视场角范围,对焦距离更小,适合拍摄视场角更大的场景。长焦摄像头1932对应的视场角范围相对小于广角摄像头1931对应的视场角范围,对焦距离较大,所以适合拍摄远景。
多光谱摄像头1934,包含多光谱传感器的摄像头,其中,多光谱传感器为比三基色(RGB)传感器的光谱响应范围宽的其他多光谱传感器。例如,多光谱摄像头可以为红绿蓝青品黄(RGBCMY)传感器,该多光谱传感器的颜色还原能力以及信噪比表现相对于RGB传感器都有所提高。多光谱摄像头1934对应的视场角范围可以与主摄摄像头对应的视场角范围一致。
相对来说,超广角摄像头1933获取的图像细节更丰富,清晰度更高,长焦摄像头1932获取的图像细节较少,清晰度相对较低一些。
当然,上述仅为两种示例,手机的后盖上还可以排布三个或者四个以上的摄像头,摄像头的具体数量和排布位置、以及每个摄像头的种类、功能可以根据需要进行设置和修改,本申请实施例对此不进行任何限制。
在本申请实施例中,可以启用两个或两个以上摄像头,其中,一个可以称为第一摄像头,其他摄像头称为第二摄像头;第一摄像头用于正常采集图像,第二摄像头用于进行处理后辅助识别第一摄像头采集的图像中的光源。可以理解的是,第一摄像头和第二摄像头仅为一种指示,指示的具体摄像头可以根据需要进行更换。
例如,当电子设备包括两个摄像头时,一个摄像头为广角摄像头,另一个摄像头为超广角摄像头,可以称广角摄像头为第一摄像头,超广角摄像头为第二摄像头。超广角摄像头用于辅助识别广角摄像头采集的图像中的光源。
结合上述示例,本申请实施例提供的光源检测方法200可以包括以下S201至S206,下面分别对S201至S206进行详细地描述。
S201、启动电子设备中的相机应用程序。
示例性地,用户可以通过单击“相机”应用程序的图标,指示电子设备启动相机应用;或者,电子设备处于锁屏状态时,用户可以通过在电子设备的显示屏上向右滑动的手势,指示电子设备启动相机应用。又或者,电子设备处于锁屏状态,锁屏界面上包括相机应用程序的图标,用户通过点击相机应用程序的图标,指示电子设备启动相机应用程序。又或者,电子设备在运行其他应用时,该应用具有调用相机应用程序的权限;用户通过点击相应的控件可以指示电子设备启动相机应用程序。例如,电子设备正在运行即时通信类应用程序时,用户可以通过选择相机功能的控件,指示电子设备启动相机应用程序等。
应理解,上述为对启动相机应用程序的操作的举例说明;还可以通过语音指示操作,或者其它操作的指示电子设备启动相机应用程序;本申请对此不作任何限定。
还应理解,启动相机应用程序可以是指运行相机应用程序。
S202、利用第一摄像头采集第一图像。
其中,第一图像为第一摄像头对拍摄对象采集的图像,第一摄像头可以为超广角摄像头、广角摄像头、长焦摄像头和多光谱摄像头中的任意一种类型的摄像头;拍摄对象可以包括光源,第一图像包括一个或多个待测区域,待测区域可以通过亮度阈值识别和形状检测确定出。
应理解,第一图像可以为电子设备执行第一摄像头相关的算法,根据算法确定出镜头与图像传感器之间的目标距离、曝光值并进行调节后,利用第一摄像头所采集的图像。第一图像为一帧清晰的图像。此处,第一摄像头对应的镜头与图像传感器之间的目标距离指的是拍摄清晰的图像时,第一摄像头中的镜头与图像传感器之间的距离。
应理解,第一图像包括的一个或多个待测区域为待检测的光源位置,其中有可能是真实的光源所对应的亮区,也有可能是高反光物体、高亮金属形成的亮区。
还应理解,待测区域可以基于图像中每个像素对应的RGB像素值进行阈值识别后确定;或者,可以基于亮度值进行阈值识别后确定。待测区域的形状可以根据需要进行划分,本申请实施例对此不进行限制。
示例性地,第一图像可以如图4中的(a)所示的图像,图像中包括四个待测区域,分别为a1、a2、a3和a4,该四个待测区域即为待检测的光源位置。
可选地,第一图像可以为位于RAW域的图像、位于RGB域的图像,或者,还可以为位于YUV域的图像。
S203、对第二摄像头进行虚焦处理,并利用虚焦处理后的第二摄像头采集第一参考图像。
其中,第一参考图像为第二摄像头基于第一曝光值,进行虚焦处理后对拍摄对象采集的图像,第二摄像头也可以为超广角摄像头、长焦摄像头和多光谱摄像头中的任意一种类型的摄像头;第二摄像头的类型可以与第一摄像头不同,或者,也可以相同。第二摄像头所拍摄的拍摄对象与第一摄像头所拍摄的拍摄对象相同。
可选地,作为一种实现方式,在对第二摄像头进行虚焦处理之前,电子设备利用第二摄像头还可以采集第二图像。第二图像为电子设备执行第二摄像头相关的算法,根据算法确定出镜头与图像传感器之间的目标距离、曝光值并进行调节后,利用第二摄像头采集的图像。第二图像为一帧清晰的图像。此处,第二摄像头对应的镜头与图像传感器之间的目标距离指的是拍摄清晰的图像时,第二摄像头中镜头与图像传感器之间的距离。第二图像可以包括多个待测区域,待测区域可以通过亮度阈值识别和形状检测确定出;第二图像中的待测区域和第一图像中的待测区域的位置具有匹配关系。
例如,第一图像中的中心坐标为(i1,j1)的待测区域与第二图像中的中心坐标为(p2,q2)的待测区域指示的是拍摄对象中的同一光源,比如同一个路灯。
在此基础上,对第二摄像头进行虚焦处理指的是调整确定出的目标距离,使得第二摄像头中镜头与图像传感器之间的距离减小,从而使得虚焦处理后的第二摄像头采集的第一参考图像是模糊的,相对第二图像清晰度降低。第一参考图像相对于第一图像也是模糊的,清晰度降低。
应理解,电子设备中除了包括第二摄像头之外,还可以包括对焦处理部件和对焦马达。对焦处理部件用于采集第二摄像头中的图像传感器上所成的图像,并根据所采集的图像的清晰程度,控制对焦马达转动。对焦马达转动带动第二摄像头中的镜头移动,从而实现对焦功能。例如,对焦马达可以指示光学图像防抖(optical image stabilization,OIS)马达。
此处,在进行虚焦处理时,对焦处理部件可以控制对焦马达转动,对焦马达转动带动第二摄像头中的镜头向靠近图像传感器的方向移动,从而使得第二摄像头中的镜头与图像传感器的距离减小,第二摄像头逐渐虚焦,采集到模糊的第一参考图像。
可选地,作为另一种实现方式,在对第二摄像头进行虚焦处理时,可以先获取第一摄像头中的镜头与图像传感器之间的目标距离,再设定第二摄像头中镜头与图像传感器之间的目标距离为小于第一摄像头中的镜头与图像传感器之间的目标距离的数值。然后,依据该设定的数值,对第二摄像头中的镜头进行调整,再利用调整后的第二摄像头进行采集,从而可以得到模糊的第一参考图像。
示例性地,若第一摄像头为广角摄像头,第二摄像头为超广角摄像头,通过计算确定出第一摄像头采集第一图像时所对应的镜头与图像传感器之间的目标距离为V1,第二摄像头中镜头离图像传感器之间的距离应小于第一摄像头的目标距离V1,于是,可以设定第二摄像头中镜头离图像传感器之间的距离为V2,V2小于V1。
进一步地,若第二摄像头中镜头离图像传感器之间的最小距离为V3,还可以直接设定第二摄像头中的镜头与图像传感器之间的距离为V3,此时,相当于对焦马达无需转动带动第二摄像头中的镜头移动,V3小于V1,V3小于或等于V2。
可选地,第一摄像头对应的视场角范围小于或等于第二摄像头对应的视场角范围。
应理解,当第一摄像头对应的视场角范围小于或等于第二摄像头对应的视场角范围时,在后续利用第二摄像头采集的图像辅助第一摄像头识别出真实的光源位置时,可以对第一摄像头所采集的图像中的所有待测区域均进行识别。
例如,第一摄像头对应的视场角范围等于第二摄像头对应的视场角范围,第一摄像头采集的第一图像可以如图4中的(a)所示的图像;第二摄像头进行虚焦处理后,所采集的第一参考图像可以如图4中的(b)所示的图像。
如果第一摄像头对应的视场角范围大于第二摄像头对应的视场角范围时,第二摄像头采集的图像内容相当于是第一摄像头采集的图像内容的一部分,在后续利用第二摄像头采集的图像辅助第一摄像头识别出真实的光源位置时,只能对第一摄像头所采集的图像中的部分待测区域进行识别。若想要对第一摄像头的全部内容进行检测,则需要利用第二摄像头采集多个第一参考图像,且每个第一参考图像对应的内容不同,多个第一参考图像去重后能覆盖到第一摄像头的视场角范围。
在本申请实施例中,由于对第二摄像头进行了虚焦处理,可以使得第二摄像头采集的第一参考图像中的大部分物体变得虚化,例如,可以使得距离第二摄像头较远的背景中的物体变得模糊;高亮金属、高反光的物体由于自身是反射高亮的光线成像的,反射光的能量相对发光光源的能量非常低,所以,这些高亮金属、高反光的物体在第一参考图像中对应的成像,在虚焦处理后也变得模糊不清,与背景混合成一团。此时,只有真正的发光光源由于能量较高,在虚焦处理后也不会模糊,从而可以在模糊的背景中凸显出来,相对于周围变得较亮。
需要说明的是,由于后续还需要对第二摄像头进行处理,此处在仅对第二摄像头进行虚焦处理后,也可以不采集第一参考图像。
S204、降低第二摄像头对应的曝光值,并利用降低曝光值后的第二摄像头采集第二参考图像。
其中,第二参考图像为第二摄像头基于第二曝光值对拍摄对象采集的图像;或者,第二参考图像为第二摄像头虚焦处理后,基于第二曝光值对拍摄对象采集的图像。第二曝光值小于第一曝光值,同时,第二曝光值也小于第一摄像头采集第一图像时对应的曝光值。
此处,第一曝光值可以与第一摄像头采集第一图像时对应的曝光值相同,或者,第一曝光值可以小于第一摄像头采集第一图像时对应的曝光值。
可选地,为了增强明暗对比效果,可以使得降低后的第二曝光值可以为第一摄像头对应的曝光值的一半。
例如,第二摄像头对应的曝光值为第一摄像头对应的曝光值的一半。第一摄像头采集的第一图像可以如图4中的(a)所示的图像;第二摄像头进行虚焦处理后,所采集的第一参考图像可以如图4中的(b)所示的图像;第二摄像头对应的曝光值降低后,继续采集的第二参考图像可以如图4中的(c)所示的图像。
可选地,由于曝光值与曝光时间和感光度ISO相关,由此,在降低第二摄像头对应的曝光值时,可以保持感光度ISO不变,而降低曝光时间;或者,也可以保持曝光时间不变,而降低感光度ISO的大小。
在本申请实施例中,降低曝光值会使得第二摄像头采集到的第二参考图像变成比较黑的图像;此时,高亮金属、高反光物体由于自身是反射高亮的光线成像的,反射光的能量相对发光光源的能力非常低,所以,这些高亮金属、高反光的物体在第二参考图像中对应的成像,随着曝光值的降低,也变成了灰色或者黑色区域;噪声生成的亮区同样也会随着曝光值的降低而变灰、变黑;此时,只有真正的发光光源由于能量较高,在第二摄像头降低曝光值之后还是会相对比较亮,接近白色。
应理解,由于发光光源的能量可能会各不相同,所以在降低曝光值后,能量相对较低一点的发光光源在第二参考图像中的成像也会变灰一些。
S205、对第二参考图像进行亮度阈值识别和形状检测,确定目标区域。
示例性地,若第二参考图像为YUV域的图像,则可以针对第二参考图像中的像素对应的Y值进行判断,确定大于预设Y阈值的像素所连通的像素区域为预选区域;然后针对预选区域进行形状检测,确定预选区域对应的形状,例如为圆形、长方形、正方形等。Y值表示亮度大小。
若第二参考图像不是YUV域的图像,还可以利用颜色空间转换方法,将第二参考图像转成位于YUV域的图像,然后,再结合预设Y阈值进行判断;预设Y阈值的大小可以根据需要进行设置和修改,本申请实施例对此不进行任何限制。
应理解,针对第二参考图像确定出的检测结果可以为某一形状的目标区域,该目标区域中的像素的Y值大于预设Y阈值。若从第二参考图像中确定出一个或多个目标区域,该多个目标区域分别对应的形状可以相同,也可以不同。
可选地,可以利用多个降低曝光值后的第二摄像头采集多帧第二参考图像,或者,还可以利用降低曝光值后的第二摄像头采集多帧第二参考图像,再分别对多帧第二参考图像进行亮度阈值识别和形状检测,确定出各自对应的目标区域;然后,再将多帧第二参考图像中相近位置处的目标区域进行合并,确定出对应的交集为最终的目标区域。
应理解,第二参考图像中确定出的目标区域与第二图像中确定出的待测区域具有对应关系。例如,第二参考图像中确定出的目标区域和第二图像中确定出的待测区域交叠时,用于指示同一个位置处的光源。
S206、结合该检测结果,识别出第一图像中的目标光源。
可选地,结合第二参考图像中的目标区域,可以确定第一图像中待测区域和第二参考图像中对应的目标区域的交集区域来作为第一图像中的目标光源所在区域。若第一图像中的待测区域在第二参考图像中找不到对应的目标区域,无法结合,则说明该待测区域为非真实的光源形成的亮区,不能作为目标光源所在的区域。
此处,需要说明的是,在进行S203之前,还可以将第二摄像头采集的第二图像的内容与第一摄像头采集的第一图像进行匹配,生成一一对应的关系;由此,对第二摄像头进行处理后,后续可以借助该对应关系,从采集的第二参考图像中查找第一图像中的某一个待测区域对应的目标区域。
例如,第一摄像头采集的第一图像可以如图5中的(a)所示,第一图像中包括四个待测区域,分别为a1、a2、a3和a4,该四个待测区域即为待检测的光源位置。
第二摄像头进行虚焦、降低曝光值处理后采集的第二参考图像可以如图4中的(c)所示。将第二参考图像进行亮度阈值识别和形状检测后,所得到的图像可以如图5中的(b)所示,在该图像中可以包括三个目标区域,分别为b1、b2和b3,目标区域的形状为圆形。该三个目标区域即为第二摄像头辅助确定出的真实的光源。
结合图5中的(a)和图5中的(b)所示的检测结果,可以确定出第一图像中的三个待测区域均为真实的光源位置,此处可以将第一图像中的a1和第二参考图像中的b1指示的区域进行合并,求得交集区域a11作为第一个目标光源所在区域;可以将第一图像中的a2和第二参考图像中的b2指示的区域进行合并,求得交集区域a12作为第二个目标光源所在区域;同理,将第一图像中的a3和第二参考图像中的b3指示的区域进行合并,求得交集区域a13作为第三个目标光源所在区域。
此处,还可以确定出第一图像中的一个待测区域a4在第二参考图像中没有匹配的目标区域,因此,可以确定待测区域a4是非真实的光源位置。
本申请实施例提供的光源检测方法,通过启用一个第一摄像头和至少一个第二摄像头,在拍摄时,利用第一摄像头采集第一图像,而对第二摄像头进行虚焦、降低曝光值处理,再利用处理后的第二摄像头采集第二参考图像;对第二摄像头采集的第二参考图像进行亮度阈值识别以及形状检测;然后,再利用该检测结果辅助第一图像筛除掉高反光物体、高亮金属、噪声等产生的高亮区域,从中识别出真正的光源作为目标光源。
由于相关电子设备普遍都包括多个摄像头,因此,本申请无需做结构上的修改,仅需要调用多个摄像头,经过简单的虚焦、降低曝光值处理即可进行检测,方法简单,检测效率较高,检测准确度也非常高。
可选地,还可以启用一个第一摄像头和至少一个第二摄像头,在拍摄时,利用第一摄像头采集第一图像,而对第二摄像头进行虚焦处理,再利用处理后的第二摄像头采集第一参考图像;对第二摄像头采集的第一参考图像进行亮度阈值识别以及形状检测;然后,再利用该检测结果辅助第一图像筛除掉高反光物体、高亮金属、噪声等产生的高亮区域,从中识别出真正的光源作为目标光源。
可选地,还可以启用一个第一摄像头和至少一个第二摄像头,在拍摄时,利用第一摄像头采集第一图像,而对第二摄像头进行降低曝光值处理,再利用处理后的第二摄像头采集第二参考图像;对第二摄像头采集的第二参考图像进行亮度阈值识别以及形状检测;然后,再利用该检测结果辅助第一图像筛除掉高反光物体、高亮金属、噪声等产生的高亮区域,从中识别出真正的光源作为目标光源。
此外,第一图像可以是指电子设备中预览界面中的预览图像;其中,预览界面可以是指拍照预览界面,或者,录像预览界面。第一图像还可以是电子设备相册中的拍摄图像,或者,是视频中的一帧视频帧。
第一图像进行显示时,可以显示检测出的目标光源的位置;当然,也可以不显示,本申请对此不进行任何限制。
下面结合图6对电子设备中的界面示意图进行举例描述。
在一种可能的实现方式中,可以在电子设备的设置界面中设置开启“光源检测”的功能,在电子设备中用于拍照的应用程序运行后,可以自动开启“光源检测”的功能执行本申请实施例的光源检测方法。
在另一种可能的实现方式中,可以在电子设备的相机中设置开启“光源检测”功能,根据设置可以在拍摄照片时可以开启“光源检测”的功能,执行本申请实施例的光源检测方法。
在又一种可能的实现方式中,可以仅在电子设备的相机中的“大光圈”模式下,增加“光源检测”功能,根据增加可以在选择“大光圈”模式时,自动开启“光源检测”的功能执行本申请实施例的光源检测方法。
结合第三种实现方式,以电子设备在“大光圈”模式下自动开启“光源检测”功能为例,图6是本申请实施例提供的一种电子设备的界面示意图。
如图6中的(a)所示,为电子设备的桌面601,该桌面601上包括有相机应用程序对应的图标602。电子设备检测用户点击桌面601上的相机应用程序对应的图标602,如图6中的(b)所示。在电子设备检测到用户点击桌面601上的相机应用程序的图标602的操作后,响应于用户的操作,电子设备运行相机应用程序,显示如图6中的(c)所示的显示界面603,在该显示界面603中包括预览窗口,预览窗口可以显示默认拍照模式下,第一摄像头采集的预览图像;该显示界面603还包括其他模式,例如大光圈模式604等。
电子设备检测到用户从拍照模式切换到大光圈模式604后,可以执行本申请提供的光源检测方法。例如,利用第一摄像头采集第一图像,再启用一个第二摄像头,并对第二摄像头进行虚焦、降低曝光值处理,利用处理后的第二摄像头采集第二参考图像;针对第二参考图像进行亮度阈值识别和形状检测,确定出目标区域;再结合该目标区域,辅助确定出第一图像中真实的光源为目标光源。然后,如图6中的(d)所示,在预览窗口中显示第一图像并可以提示第一图像中的光源位置。
在该示例中,由于路灯光线较强,照射到玻璃门上、以及圣诞树上时,玻璃和金属装饰物对路灯投射的光线进行了强烈地反射,如果利用相关技术进行检测时,可能会错误的将玻璃上反射的假的路灯,以及金属装饰物反射的光线当作光源;而利用本申请实施例提供的光源检测方法在检测时,则会在第二摄像头进行虚焦、降低曝光值的处理过程中,将玻璃上反射的假的路灯、以及金属装饰物的反射的光线所对应的亮区变模糊、变暗然后筛除掉,识别出留下的亮区为真正的光源为路灯。
需要说明的是,上述为对电子设备中的显示界面的举例说明,本申请对此不作任何限定。
应理解,上述举例说明是为了帮助本领域技术人员理解本申请实施例,而非要将本申请实施例限于所例示的具体数值或具体场景。本领域技术人员根据所给出的上述举例说明,显然可以进行各种等价的修改或变化,这样的修改或变化也落入本申请实施例的范围内。
上文结合图1至图6,描述了本申请实施例的光源检测方法、适用场景和相关显示界面。下面将结合图7至图10,详细描述本申请适用的电子设备的软件***、硬件***、装置以及芯片。应理解,本申请实施例中的软件***、硬件***、装置以及芯片可以执行前述本申请实施例的各种方法,即以下各种产品的具体工作过程,可以参考前述方法实施例中的对应过程。
图7示出了一种适用于本申请的电子设备的硬件***。电子设备100可用于实现上述方法实施例中描述的光源检测方法。
电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
需要说明的是,图7所示的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图7所示的部件更多或更少的部件,或者,电子设备100可以包括图7所示的部件中某些部件的组合,或者,电子设备100可以包括图7所示的部件中某些部件的子部件。图7示的部件可以以硬件、软件、或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元。例如,处理器110可以包括以下处理单元中的至少一个:应用处理器(application processor,AP)、调制解调处理器、图形处理器(graphics processing unit,GPU)、图像信号处理器(image signal processor,ISP)、控制器、视频编解码器、数字信号处理器(digital signal processor,DSP)、基带处理器、神经网络处理器(neural-network processing unit,NPU)。其中,不同的处理单元可以是独立的器件,也可以是集成的器件。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了***的效率。
在一些实施例中,处理器110可以包括一个或多个接口。例如,处理器110可以包括以下接口中的至少一个:内部集成电路(inter-integrated circuit,I2C)接口、内部集成电路音频(inter-integrated circuit sound,I2S)接口、脉冲编码调制(pulse codemodulation,PCM)接口、通用异步接收传输器(universal asynchronous receiver/transmitter,UART)接口、移动产业处理器接口(mobile industry processor interface,MIPI)、通用输入输出(general-purpose input/output,GPIO)接口、SIM接口、USB接口。
示例性地,在本申请的实施例中,可以在处理器110中执行本申请提供的光源检测方法。
图7所示的各模块间的连接关系只是示意性说明,并不构成对电子设备100的各模块间的连接关系的限定。可选地,电子设备100的各模块也可以采用上述实施例中多种连接方式的组合。
电子设备100的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调处理器以及基带处理器等器件实现。天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。
电子设备100可以通过GPU、显示屏194以及应用处理器实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194可以用于显示图像或视频。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD)、有机发光二极管(organic light-emitting diode,OLED)、有源矩阵有机发光二极体(active-matrix organic light-emitting diode,AMOLED)、柔性发光二极管(flex light-emitting diode,FLED)、迷你发光二极管(mini light-emitting diode,Mini LED)、微型发光二极管(micro light-emitting diode,Micro LED)、微型OLED (Micro OLED)或量子点发光二极管(quantum dotlight emitting diodes,QLED)。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP、摄像头193、视频编解码器、GPU、显示屏194以及应用处理器等实现拍摄功能。
示例性地,ISP 用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP可以对图像的噪点、亮度和色彩进行算法优化,ISP还可以优化拍摄场景的曝光和色温等参数。在一些实施例中,ISP可以设置在摄像头193中。
示例性地,摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的红绿蓝(red green blue,RGB),YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
示例性地,数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
示例性地,视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1、MPEG2、MPEG3和MPEG4。
示例性地,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,例如可以是电阻式压力传感器、电感式压力传感器或电容式压力传感器。电容式压力传感器可以是包括至少两个具有导电材料的平行板,当力作用于压力传感器180A,电极之间的电容改变,电子设备100根据电容的变化确定压力的强度。当触摸操作作用于显示屏194时,电子设备100根据压力传感器180A检测所述触摸操作。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令;当触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
示例性地,环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备100是否在口袋里,以防误触。
示例性地,指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现解锁、访问应用锁、拍照和接听来电等功能。
示例性地,触摸传感器180K,也称为触控器件。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,触摸屏也称为触控屏。触摸传感器180K用于检测作用于其上或其附近的触摸操作。触摸传感器180K可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,并且与显示屏194设置于不同的位置。
上文详细描述了电子设备100的硬件***,下面介绍电子设备100的软件***。软件***可以采用分层架构、事件驱动架构、微核架构、微服务架构或云架构,本申请实施例以分层架构为例,示例性地描述电子设备100的软件***。
如图8所示,***架构中可以包括应用层210、应用框架层220、硬件抽象层230、驱动层240以及硬件层250。
应用层210可以包括相机应用程序。
可选地,应用层210还可以包括图库、日历、通话、地图、导航、WLAN、蓝牙、音乐、视频、短信息等应用程序。
应用框架层220为应用程序层的应用程序提供应用程序编程接口(applicationprogramming interface,API)和编程框架;应用程序框架层可以包括一些预定义的函数。
例如,应用框架层220可以包括相机访问接口;相机访问接口中可以包括相机管理与相机设备。其中,相机管理可以用于提供管理相机的访问接口;相机设备可以用于提供访问相机的接口。
硬件抽象层230用于将硬件抽象化。比如,硬件抽象层可以包相机抽象层以及其他硬件设备抽象层;相机抽象层中可以包括相机设备1、相机设备2等;相机硬件抽象层可以与相机算法库相连接,相机硬件抽象层可以调用相机算法库中的算法。
示例性地,相机算法库中可以包括光源检测方法,运行光源检测方法时用于执行本申请实施例提供的光源检测方法。
驱动层240用于为不同硬件设备提供驱动。比如,驱动层可以包括相机设备驱动。
硬件层250可以包括图像传感器、多光谱传感器、图像信号处理器以及其他硬件设备。
图9是本申请实施例提供的光源检测装置的结构示意图。该光源检测装置300包括采集单元310和处理单元320。
处理单元320用于启动所述电子设备的相机应用程序;
采集单元310用于利用所述第一摄像头采集第一图像;
处理单元320用于对所述第二摄像头进行虚焦处理,和/或,降低曝光值处理;
采集单元310用于利用处理后的所述第二摄像头采集参考图像;
处理单元320还用于基于所述参考图像,确定所述第一图像中包括的目标光源。
可选地,作为一个实施例,处理单元320还用于:
将所述第二摄像头中镜头与图像传感器之间的距离减小到小于采集所述第一图像时,所述第一摄像头中镜头与图像传感器之间的距离。
可选地,作为一个实施例,处理单元320还用于:
将所述第二摄像头对应的曝光值降低为采集所述第一图像时,所述第一摄像头对应的曝光值的一半。
可选地,作为一个实施例,处理单元320还用于:
保持感光度不变,降低所述第二摄像头对应的曝光时间;或者,
保持曝光时间不变,降低所述第二摄像头对应的感光度。
可选地,作为一个实施例,处理单元320还用于:
利用所述第二摄像头采集第二图像;
对所述第一图像和所述第二图像进行亮度阈值识别和形状检测,确定所述第一图像中的待测区域和所述第二图像中的待测区域并进行匹配;
对所述参考图像进行所述亮度阈值识别和所述形状检测,确定所述参考图像中的目标区域,所述目标区域与所述第二图像中的待测区域具有对应关系;
确定具有对应的目标区域的所述第一图像中的待测区域为目标光源。
可选地,作为一个实施例,所述第二摄像头包括至少一个第二摄像头。
需要说明的是,上述光源检测装置300以功能单元的形式体现。这里的术语“单元”可以通过软件和/或硬件形式实现,对此不作具体限定。
例如,“单元”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(application specific integrated circuit,ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。
因此,在本申请的实施例中描述的各示例的单元,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
图10示出了本申请提供的一种电子设备的结构示意图。图10中的虚线表示该单元或该模块为可选的,电子设备400可用于实现上述方法实施例中描述的光源检测方法。
电子设备400包括一个或多个处理器401,该一个或多个处理器402可支持电子设备400实现方法实施例中的方法。处理器401可以是通用处理器或者专用处理器。例如,处理器401可以是中央处理器(central processing unit,CPU)、数字信号处理器(digitalsignal processor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现场可编程门阵列(field programmable gate array,FPGA)或者其它可编程逻辑器件,如分立门、晶体管逻辑器件或分立硬件组件。
可选地,处理器401可以用于对电子设备400进行控制,执行软件程序,处理软件程序的数据。电子设备400还可以包括通信单元405,用以实现信号的输入(接收)和输出(发送)。
例如,电子设备400可以是芯片,通信单元405可以是该芯片的输入和/或输出电路,或者,通信单元405可以是该芯片的通信接口,该芯片可以作为终端设备或其它电子设备的组成部分。
又例如,电子设备400可以是终端设备,通信单元405可以是该终端设备的收发器,或者,通信单元405可以是该终端设备的收发电路。
电子设备400中可以包括一个或多个存储器402,其上存有程序404,程序404可被处理器401运行,生成指令403,使得处理器401根据指令403执行上述方法实施例中描述的光源检测方法。
可选地,存储器402中还可以存储有数据。
可选地,处理器401还可以读取存储器402中存储的数据,该数据可以与程序404存储在相同的存储地址,该数据也可以与程序404存储在不同的存储地址。
可选地,处理器401和存储器402可以单独设置,也可以集成在一起;例如,集成在终端设备的***级芯片(system on chip,SOC)上。
示例性地,存储器402可以用于存储本申请实施例中提供的光源检测方法的相关程序404,处理器301可以用于在视频处理时调用存储器402中存储的光源检测方法的相关程序404,执行本申请实施例的光源检测方法。
本申请还提供了一种计算机程序产品,该计算机程序产品被处理器401执行时实现本申请中任一方法实施例所述的光源检测方法。
该计算机程序产品可以存储在存储器402中,例如是程序404,程序404经过预处理、编译、汇编和链接等处理过程最终被转换为能够被处理器401执行的可执行目标文件。
本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被计算机执行时实现本申请中任一方法实施例所述的光源检测方法。该计算机程序可以是高级语言程序,也可以是可执行目标程序。
可选地,该计算机可读存储介质例如是存储器402。存储器402可以是易失性存储器或非易失性存储器,或者,存储器402可以同时包括易失性存储器和非易失性存储器。其中,非易失性存储器可以是只读存储器(read-only memory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(dynamic RAM,DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlinkDRAM,SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM,DR RAM)。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的***、装置和方法,可以通过其它的方式实现。例如,以上所描述的电子设备的实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
应理解,在本申请的各种实施例中,各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请的实施例的实施过程构成任何限定。
另外,本文中的术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准总之,以上所述仅为本申请技术方案的较佳实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (9)
1.一种光源检测方法,其特征在于,应用于包括第一摄像头和第二摄像头的电子设备,所述第一摄像头和所述第二摄像头用于拍摄同一场景;
所述方法包括:
启动所述电子设备的相机应用程序;
利用所述第一摄像头采集第一图像;
对所述第二摄像头进行虚焦处理,和/或,降低曝光值处理;
利用处理后的所述第二摄像头采集参考图像;
基于所述参考图像,确定所述第一图像中包括的目标光源。
2.根据权利要求1所述的光源检测方法,其特征在于,对所述第二摄像头进行虚焦处理,包括:
将所述第二摄像头中镜头与图像传感器之间的距离减小到小于采集所述第一图像时,所述第一摄像头中镜头与图像传感器之间的距离。
3.根据权利要求1或2所述的光源检测方法,其特征在于,对所述第二摄像头进行降低曝光值处理,包括:
将所述第二摄像头对应的曝光值降低为采集所述第一图像时,所述第一摄像头对应的曝光值的一半。
4.根据权利要求1或2所述的光源检测方法,其特征在于,对所述第二摄像头进行降低曝光值处理,包括:
保持感光度不变,降低所述第二摄像头对应的曝光时间;或者,
保持曝光时间不变,降低所述第二摄像头对应的感光度。
5.根据权利要求1或2所述的光源检测方法,其特征在于,在对所述第二摄像头进行虚焦处理,和/或,降低曝光值处理之前,所述方法还包括:
利用所述第二摄像头采集第二图像;
对所述第一图像和所述第二图像进行亮度阈值识别和形状检测,确定所述第一图像中的待测区域和所述第二图像中的待测区域并进行匹配;
基于所述参考图像,确定所述第一图像中包括的目标光源,包括:
对所述参考图像进行所述亮度阈值识别和所述形状检测,确定所述参考图像中的目标区域,所述目标区域与所述第二图像中的待测区域具有对应关系;
确定具有对应的目标区域的所述第一图像中的待测区域为目标光源。
6.根据权利要求1所述的光源检测方法,其特征在于,所述第二摄像头包括至少一个第二摄像头。
7.一种电子设备,其特征在于,包括处理器和存储器;
所述存储器,用于存储可在所述处理器上运行的计算机程序;
所述处理器,用于执行如权利要求1至6中任一项所述的光源检测方法。
8.一种芯片,其特征在于,包括:处理器,用于从存储器中调用并运行计算机程序,使得安装有所述芯片的设备执行如权利要求1至6中任一项所述的光源检测方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时,使所述处理器执行如权利要求1至6中任一项所述的光源检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211354642.2A CN115426458B (zh) | 2022-11-01 | 2022-11-01 | 光源检测方法及其相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211354642.2A CN115426458B (zh) | 2022-11-01 | 2022-11-01 | 光源检测方法及其相关设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115426458A CN115426458A (zh) | 2022-12-02 |
CN115426458B true CN115426458B (zh) | 2023-04-07 |
Family
ID=84207878
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211354642.2A Active CN115426458B (zh) | 2022-11-01 | 2022-11-01 | 光源检测方法及其相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115426458B (zh) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7738015B2 (en) * | 1997-10-09 | 2010-06-15 | Fotonation Vision Limited | Red-eye filter method and apparatus |
WO2014159779A1 (en) * | 2013-03-14 | 2014-10-02 | Pelican Imaging Corporation | Systems and methods for reducing motion blur in images or video in ultra low light with array cameras |
JP2015090562A (ja) * | 2013-11-05 | 2015-05-11 | カシオ計算機株式会社 | 画像処理装置、方法、及びプログラム |
CN109816734B (zh) * | 2019-01-23 | 2021-01-26 | 武汉精立电子技术有限公司 | 基于目标光谱的相机标定方法 |
CN110198417A (zh) * | 2019-06-28 | 2019-09-03 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
-
2022
- 2022-11-01 CN CN202211354642.2A patent/CN115426458B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN115426458A (zh) | 2022-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113452898B (zh) | 一种拍照方法及装置 | |
CN113905182B (zh) | 一种拍摄方法及设备 | |
CN115601274B (zh) | 图像处理方法、装置和电子设备 | |
CN116347224B (zh) | 拍摄帧率控制方法、电子设备、芯片***及可读存储介质 | |
CN116744120B (zh) | 图像处理方法和电子设备 | |
CN115604572B (zh) | 图像的获取方法、电子设备及计算机可读存储介质 | |
CN115272138B (zh) | 图像处理方法及其相关设备 | |
CN117177062B (zh) | 一种摄像头切换方法及电子设备 | |
CN116055897A (zh) | 拍照方法及其相关设备 | |
CN117499779B (zh) | 一种图像预览方法、设备以及存储介质 | |
CN114390212B (zh) | 拍照预览方法、电子设备以及存储介质 | |
CN117135293B (zh) | 图像处理方法和电子设备 | |
WO2023160221A1 (zh) | 一种图像处理方法和电子设备 | |
CN115767290B (zh) | 图像处理方法和电子设备 | |
CN116668862B (zh) | 图像处理方法与电子设备 | |
WO2023124201A1 (zh) | 图像处理方法与电子设备 | |
CN115426458B (zh) | 光源检测方法及其相关设备 | |
CN116437198B (zh) | 图像处理方法与电子设备 | |
CN113891008B (zh) | 一种曝光强度调节方法及相关设备 | |
CN116668838B (zh) | 图像处理方法与电子设备 | |
CN116055855B (zh) | 图像处理方法及其相关设备 | |
CN117133252B (zh) | 图像处理方法和电子设备 | |
CN116051368B (zh) | 图像处理方法及其相关设备 | |
WO2023160220A1 (zh) | 一种图像处理方法和电子设备 | |
CN115526786B (zh) | 图像处理方法及其相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |