CN112183373B - 光源识别方法、装置、终端设备及计算机可读存储介质 - Google Patents

光源识别方法、装置、终端设备及计算机可读存储介质 Download PDF

Info

Publication number
CN112183373B
CN112183373B CN202011052635.8A CN202011052635A CN112183373B CN 112183373 B CN112183373 B CN 112183373B CN 202011052635 A CN202011052635 A CN 202011052635A CN 112183373 B CN112183373 B CN 112183373B
Authority
CN
China
Prior art keywords
differential image
light source
phase
phase point
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011052635.8A
Other languages
English (en)
Other versions
CN112183373A (zh
Inventor
金永杰
胡内彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omnivision Technologies Shanghai Co Ltd
Original Assignee
Omnivision Technologies Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Technologies Shanghai Co Ltd filed Critical Omnivision Technologies Shanghai Co Ltd
Priority to CN202011052635.8A priority Critical patent/CN112183373B/zh
Publication of CN112183373A publication Critical patent/CN112183373A/zh
Application granted granted Critical
Publication of CN112183373B publication Critical patent/CN112183373B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例公开了一种光源识别方法、装置、终端设备及计算机可读存储介质,其中所述光源识别方法包括:获取长曝光通道输出的第一间隔的两帧第一图像,并分析两帧第一图像得到第一差分图像,获取短曝光通道输出的第二间隔的两帧第二图像,并分析两帧第二图像得到第二差分图像,对第一差分图像和第二差分图像进行相位识别,得到第一差分图像和第二差分图像各自所包括的第一相位点和第二相位点,对第一相位点和第二相位点进行相位验证,以识别当前环境中是否存在目标频率的光源,该目标频率为第一差分图像和/或第二差分图像中包含的光源频率。通过实施本申请,能高效、准确地识别当前环境中是否存在目标频率的光源。

Description

光源识别方法、装置、终端设备及计算机可读存储介质
技术领域
本申请涉及通信技术领域,尤其涉及一种光源识别方法、装置、终端设备及计算机可读存储介质。
背景技术
随着路况监控设备的普及,车载设备识别路况监控设备的功能提升为重要的功能点。通常情况下,路况监控设备使用的光源的频率与路灯频率(50Hz或60Hz)不同,因此车载设备对人造光频率的检测提出了新的需求:在不影响常规频率的检测情况下,如何检测特定频率的光源是一个亟需解决的问题。
发明内容
本申请实施例提供了一种光源识别方法、装置及终端设备,能有效地进行目标频率的光源识别。
第一方面,提供了一种光源识别方法,包括:获取长曝光通道输出的两帧第一图像,并分析所述两帧第一图像得到第一差分图像,所述长曝光通道指曝光时间为光源周期时间(banding step)的整数倍的通道;获取短曝光通道输出的两帧第二图像,并分析所述两帧第二图像得到第二差分图像,所述短曝光通道指曝光时间为小于预设高频光源的一个banding step的通道;对所述第一差分图像和第二差分图像进行相位识别,得到所述第一差分图像与所述第二差分图像各自所包括的第一相位点和第二相位点;对所述第一差分图像与所述第二差分图像各自所包括的第一相位点和第二相位点进行相位验证,以识别当前环境中是否存在目标频率的光源,所述目标频率为所述第一差分图像和/或所述第二差分图像中包括的光源频率。
在一些实施例中,所述对所述第一差分图像与所述第二差分图像各自所包括的第一相位点和第二相位点进行相位验证,以识别当前环境中是否包括目标频率的光源包括:
若所述第一相位点和所述第二相位点满足预设的第一相位验证条件,则识别到当前环境中包括目标频率的光源;
所述第一相位验证条件包括以下中的至少一项:所述第一相位点及所述第二相位点的数量超过对应阈值、相邻两个所述第一相位点及所述第二相位点分别在所述第一差分图像和所述第一差分图像后面的下帧差分图像中的间距相同、所述第一相位点及所述第二相位点在所述第一差分图像和所述第一差分图像后面的下帧差分图像中对应的信号强度变化趋势符合预期设定;相邻两个所述第一相位点及所述第二相位点分别在所述第二差分图像和所述第二差分图像后面的下帧差分图像中的间距相同;所述第一相位点及所述第二相位点在所述第二差分图像及所述第二差分图像后面的下帧差分图像中对应的信号强度变化趋势符合预期设定。
在一些实施例中,所述第一差分图像包括至少一个区域,所述第二差分图像包括至少一个区域,所述至少一个区域为根据摄像传感器的输出特性对对应两帧图像进行划分得到的,所述对所述第一差分图像和第二差分图像进行相位识别,得到所述第一差分图像与所述第二差分图像各自所包括的第一相位点和第二相位点包括:
对所述第一差分图像和所述第二差分图像中的每个区域进行相位识别,得到所述第一差分图像与所述第二差分图像中每个区域各自所包括的第一相位点和第二相位点;
所述对所述第一差分图像与所述第二差分图像各自所包括的第一相位点和第二相位点进行相位验证,以识别当前环境中是否存在目标频率的光源包括:
若所述每个区域中存在至少一个区域的第一相位点和第二相位点满足预设的第二相位验证条件,则识别到当前环境中存在目标频率的光源;
所述第二相位验证条件包括以下中的至少一项:所述至少一个区域的第一相位点和第二相位点的数量超过对应阈值、所述至少一个区域中相邻两个所述第一相位点和所述第二相位点在所述第一差分图像和所述第一差分图像后面的下帧差分图像中的间距相同、所述至少一个区域中相邻两个所述第一相位点和所述第二相位点在所述第二差分图像和所述第二差分图像后面的下帧差分图像中的间距相同、所述至少一个区域的第一相位点和第二相位点分别在所述第一差分图像和所述第一差分图像后面的下帧差分图像中对应的信号强度变化趋势符合预期设定、所述至少一个区域的第一相位点和第二相位点分别在所述第二差分图像和所述第二差分图像的下帧差分图像中对应的信号强度变化趋势符合预期设定。
在一些实施例中,所述识别到当前环境中存在目标频率的光源包括:
对所述至少一个区域进行置信度评价,得到所述至少一个区域的置信度;
若所述至少一个区域的置信度中存在超过预设阈值的目标置信度,则识别到当前环境中存在目标频率的光源。
在一些实施例中,所述第一相位点为0相位点,所述第二相位点为π相位点;或者,所述第一相位点为π相位点,所述第二相位点为0相位点。
在一些实施例中,若所述第一图像的曝光时间为具有第一频率光源的曝光时间的整数倍,则所述第一差分图像表示为:
其中,ΔLumVTS1为第一差分图像,Epeak1为所述第一频率光源的能量峰值,ξ为反射率,w1为具有第一频率光源的角速度,expo为曝光时间,i为摄像传感器的第i个曝光行,VTS为帧间隔。
在一些实施例中,若所述第一图像的曝光时间为具有第二频率光源的曝光时间的整数倍,则所述第一差分图像表示为:
其中,ΔLumVTS1为第一差分图像,Epeak0为所述第二频率光源的能量峰值,ξ为反射率,w0为具有第二频率光源的角速度,expo为曝光时间,i为摄像传感器的第i个曝光行,VTS为帧间隔。
在一些实施例中,所述第二差分图像表示为:
其中,ΔLumVTS2为第二差分图像,Epeak0为第一频率光源的能量峰值,Epeak1为第二频率光源的能量峰值,ξ为反射率,w0为具有第二频率光源的角速度,w1为具有第一频率光源的角速度,expo为曝光时间,i为摄像传感器的第i个曝光行,VTS为帧间隔。
第二方面,提供了一种光源识别装置,可执行上述第一方面或第一方面的任意一种可选的实施方式中的方法。该功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的单元。该单元可以是软件和/或硬件。
第三方面,提供了一种终端设备,该终端设备包括:处理器以及和处理器相连的存储器;其中,该存储器包括计算机可读指令;该处理器用于执行该存储器中的计算机可读指令,从而使得该汽车执行上述第一方面或第一方面的任意一种可选的实施方式中的方案。
第四方面,提供了一种计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面或第一方面的任意一种可选的实施方式中的方法。
第五方面,提供了一种芯片产品,执行上述第一方面或第一方面的任意一种可选的实施方式中的方法。
第六方面,提了供一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述第一方面或第一方面的任意一种可选的实施方式中的方法。
附图说明
图1是本申请实施例提供的一种***框架示意图。
图2是本申请实施例提供的一种成像元件的曝光时序图。
图3是本申请实施例提供的一种图像区域划分示意图。
图4是本申请实施例提供的一种光源识别方法的流程示意图。
图5是本申请实施例提供的一种差分图像的波形示意图。
图6是本申请实施例提供的一种相位判定的示意图。
图7是本申请实施例提供的一种光源识别装置的结构示意图。
图8是本申请实施例提供的一种终端设备的结构示意图。
具体实施方式
下面结合附图对本申请具体实施例作进一步的详细描述。
请参见图1是本申请实施例提供的一种***结构示意图。如图1所示的结构中包括光源100、成像元件101及终端设备102。其中,光源100可提供光子,成像元件101(也可称为摄像传感器)按照行曝光的方式拍摄图像帧,请参见图2示例性给出成像元件的曝光时序图。如图2中,成像元件101按照预设曝光时间采集若干图像帧。进而成像元件101将采集的图像帧传送至终端设备102(亦可称为图像信号处理器),终端设备102中包括闪烁统计模块1021、闪烁识别模块1022及曝光控制模块1023。其中闪烁统计模块1021用于识别图像帧中的闪烁,具体地可将图像帧划分为若干个图像区域,如图3示例中将图像帧划分为64个图像区域,然后计算每个图像区域的亮度值,以识别每个图像区域中是否存在闪烁(banding)。在闪烁统计模块1021检测各区域是否存在闪烁后,可将每图像帧发送至闪烁识别模块1022,以识别每个图像帧中包含的光源频率。关于闪烁识别模块1022如何识别图像帧中是否包含的光源频率具体在下文进行详述,这里不做赘述。
进一步地,闪烁识别模块1022将识别到的光源频率(即环境光源频率)发送给曝光控制模块1023,以便曝光控制模块1023控制成像元件101的曝光时间,以按照该曝光时间来采集图像帧。
请参见图4是本申请实施例提供的一种光源识别方法的流程示意图。如图1所示的方法包括:
S401、终端设备获取长曝光通道输出的第一间隔的两帧第一图像,并分析这两帧第一图像得到第一差分图像。
S402、终端设备获取短曝光通道输出的第二间隔的两帧第二图像,并分析这两帧第二图像得到第二差分图像。
本申请第一间隔和第二间隔为***自定义设置的帧间隔,第一间隔与第二间隔可以相同,也可不相同,本申请不做限定。长曝光通道是指曝光时间为光源周期时间(bandingstep)的整数倍的通道。短曝光通道是指曝光时间小于预设高频光源的一个banding step的通道。
本申请终端设备通过摄像***采集长曝光通道的两帧第一图像及短曝光通道的两帧第二图像,并对两帧第一图像和两帧第二图像进行分析,对应生成第一差分图像和第二差分图像。
在一个示例中,摄像***采用电子快门曝光方式拍照,由电子快门工作机制可知,在混合频率光源下,相邻两帧的差分信号图像(即第一差分图像)可用如下公式(1)表示为:
其中,ΔLumVTS1为第一差分图像,Epeak0和Epeak1分别为两帧第一图像的峰值,ξ为反射率,w0为具有第二频率f0光源的角速度,w1为具有第一频率f1光源的角速度,expo为曝光时间,i为摄像传感器的第i个行,VTS为帧间隔。其中f0和f1为***自定义设置的,例如f0为50Hz,f1为36Hz。
在混合频率光源环境下,若第一图像的曝光时间按照f0光源的曝光时间来调整,则第一差分图像表示为如下公式(2):
其中,ΔLumVTS1为第一差分图像,Epeak1为所述第一频率光源的能量峰值,ξ为反射率,w1为具有第一频率光源的角速度,expo为曝光时间,i为摄像传感器的第i个行,VTS为帧间隔(即第一间隔)。
可选地在混合频率光源环境下,若第一图像的曝光时间按照f1光源的曝光时间来调整,则第一差分图像表示为如下公式(3):
其中,ΔLumVTS1为第一差分图像,Epeak0为所述第二频率光源的能量峰值,ξ为反射率,w0为具有第二频率光源的角速度,expo为曝光时间,i为摄像传感器的第i个行,VTS为帧间隔(即第一间隔)。
可选地在单一频率(如f0)光源环境下,第一图像的曝光时间按照f0光源的曝光时间来调整,则其第一差分图像表示为如下公式(4):
ΔLumVTS1=0 公式(4)
可选地在单一频率(如f1)光源环境下,第一图像的曝光时间按照f1光源的曝光时间来调整,则其第一差分图像表示为如下公式(5):
相应地在短曝光场景中,在混合频率光源环境下,使用短曝光的差分信号图像(即第二差分图像)可表示为如下公式(6):
可选地在单一频率(如f0)光源环境下,短曝光的第二差分图像表示为如下公式(7):
S403、终端设备对第一差分图像和第二差分图像进行相位识别,得到第一差分图像与第二差分图像各自所包括的第一相位点和第二相位点。
本申请终端设备可对长曝光下的第一差分信号和短曝光下的第二差分图像进行相位识别,以识别出第一差分图像与第二差分图像各自所包括的第一相位点和第二相位点。请参见图5示出一种第一差分图像的波形示意图。如图5所示可知,当第一差分图像的信号强度大小处于由负转正的临界点时,此时的相位为0;反之,当第一差分图像的信号强度大小处于由正转负的临界点,此时的相位为π。本申请中第一相位点和第二相位点均为特殊相位点,其可为0相位点和π相位点中的任一个,且第一相位点与第二相位点不同。
采用相同的原理对在短曝光下的第二差分图像进行相位分析和识别,得到第二差分图像中包括的第一相位点和第二相位点。
可理解地,在混合频率光源下,由于两种频率光源相互干扰无法获得理想的差分信号图像,而在单一频率光源下可以获得理想的差分信号图像,因此在短曝光下的差分信号图像(即第二差分图像)更倾向于判断当前光源是否是单一频率的光源。
S404、终端设备对第一差分图像和第二差分图像各自所包括的第一相位点和第二相位点进行相位验证,以识别当前环境中是否包括目频率的光源。该目标频率为第一差分图像和/或第二差分图像各自中所包括的光源频率(f0和/或f1)。
终端设备在进行相位验证时,由于差分信号图像(第一差分图像或第二差分图像)具有周期重复特性,在生成差分信号图像的间隔不变的情况下,前后两帧差分信号图像是以一定相位变化的,因此可利用下一帧的差分信号图像来验证S403中识别的相位点的正确性。具体地,S403中第一相位点和第二相位点在满足预设的第一相位验证条件时,可识别到当前环境中包括目标频率的光源,该第一相位验证条件具体可为用户设置的,也可为***自定义设置的,其可包括但不限于以下中的任一项或多项的组合:所述第一相位点及所述第二相位点的数量超过对应阈值、相邻两个第一相位点和第二相位点分别在第一差分图像和第一差分图像后面的下帧差分图像中的间距相同,均相差π相位、相邻两个第一相位点和第二相位点分别在第二差分图像和第二差分图像后面的下帧差分图像中的间距相同,均相差π相位、所述第一相位点及所述第二相位点在所述第一差分图像和所述第一差分图像的下帧差分图像中对应的信号强度(强度大小)变化趋势符合预期设定、所述第一相位点及所述第二相位点在所述第二差分图像及所述第二差分图像的下帧差分图像中对应的信号强度变化趋势符合预期设定。换句话说,利用S103中选取的特殊相位点(0和π相位点)在下一帧差分图像中的变化趋势来判断S403选取的特殊相位点是否正确,若正确继续执行S404;否则重复执行S403。
其中信号强度变化趋势是否符合预期设定,具体可通过如下公式进行验证:
第X帧和第Y帧的差分信号表达式为:
When 2i+expo=Tn(n∈Z+),VTS=Tm+ΔPhase,y>x≥0(x,y∈Z)Then
由上可知:在已知帧间隔VTS的情况下,根据光源频率的不同可计算得到ΔLumVTS。举例来说,已知50Hz的周期为20ms,60Hz的周期为16.7ms。假设VTS为35ms,expo为5ms。ΔPhase=2VTS%T;则如何判定当前光源为50Hz还是60Hz。
具体的,由ΔPhase的定义可知:
由此可知,当前帧中为0的相位点,到了下一帧之后,50Hz的情况下还是0;而60Hz的情况下为非0。因此当前光源为50Hz的光源,具体可参见图6所示。
其中差分信号图像具有周期重复的特性具体如下公式证明:
When 2i+expo+VTS=Tn(n∈Z+),i=i+VTS,Then
When 2i+expo+VTS=Tn(n∈Z+),i=i+VTS,Then
再一个示例中,在S401和S402中终端设备采集两帧第一图像或两帧第二图像后,可根据摄像传感器的输出特征(主要是图像高度和目标频率对应的曝光时间)将两帧第一图像及两帧第二图像划分为若干区域,便于后续对各区域独立检测闪烁。对应得到包括至少一个区域的两帧第一图像和包括至少一个区域的两帧第二图像。进一步终端设备对包含至少一个区域的两帧第一图像进行分析,可生成包含至少一个区域的第一差分图像。同理,终端设备对包含至少一个区域的两帧第二图像进行分析,可生成包含至少一个区域的第二差分图像。
在S403进行相位识别中,终端设备会对第一差分图像和第二差分图像中的每个区域进行相位识别,以得到每个区域中各自所包括的第一相位点和第二相位点。进一步在S104中,终端设备会对每个区域中各自所包括的第一相位点和第二相位点进行相位验证,以确定当前环境中是否包括目标频率的光源。具体地,若每个区域中存在至少一个区域的第一相位点和第二相位点满足预设的第二相位验证条件,则可识别当前环境中包括目标频率的光源。该第二相位验证条件为***自定义设置的,其可包括但不限于以下中的至少一项:所述至少一个区域的第一相位点和第二相位点的数量超过对应阈值、所述至少一个区域的第一相位点和第二相位点分别在所述第一差分图像和所述第一差分图像的下帧差分图像中对应的信号强度相同、所述至少一个区域的第一相位点和第二相位点分别在所述第二差分图像和所述第二差分图像的下帧差分图像中对应的信号强度相同。
可选地,在统计完每个区域中包含的第一相位点和第二相位点后,还可对至少一个区域进行置信度评价,例如若某一区域的第一相位点和第二相位点分别在第一差分图像和该第一差分图像的下帧差分图像中对应的信号强度相同,则将该区域的置信度置为1;否则置为0。进一步地若该至少一个区域置信度中存在超过预设阈值的目标置信度,则可确定当前环境中包括目标频率的光源;否则确定当前环境中无目标频率的光源。
再一个示例中,若当前环境中包含目标频率的光源,则终端设备按照该目标频率对应的曝光机制进行曝光拍照。本申请涉及的终端设备包括但不限于车载设备、汽车、手机、个人掌上电脑或其他具备通讯功能的设备。
再一个示例中,如果当前环境中存在两个频率的光源,即第一频率光源和第二频率光源,且第一频率光源的优先级高于第二频率光源的优先级,则终端设备可控制曝光时间来清除优先级较高的第一频率光源的闪烁。
为更好地理解本申请下面以一个例子进行详述。假设汽车以通过路灯频率为50Hz,路况监控设备使用36Hz的红绿灯十字路口为例,请参见如下表1示出4种汽车行驶情况下的曝光时间选择。
如上表1所示,在序号1情况下,汽车从远处向红绿灯路口行驶时假设车载设备当前采用50Hz对应的曝光机制进行拍照分析,长曝光下的差分信号为0,短曝光下的差分信号的频率为50Hz,则在下个曝光周期中仍然选择频率为50Hz对应的曝光机制进行曝光拍照。
在序号2场景中,汽车靠近红绿灯路口行驶时,车载设备当前采用50Hz对应的曝光机制进行拍照分析,长曝光下的差分信号的频率为36Hz,短曝光下的差分信号的频率不纯粹为50Hz,则在下个曝光周期中选择36Hz对应的曝光机制进行曝光拍照。
在序号3场景中,汽车处于红绿灯路口行驶时,车载设备采用36Hz对应的曝光机制进行拍照分析,长曝光下的差分信号的频率为50Hz,短曝光下的差分信号的频率不纯粹为50Hz,则在下个曝光周期中选择36Hz对应的曝光机制进行曝光拍照。
在序号4场景中,汽车驶离红绿灯路口时,车载设备采用36Hz对应的曝光机制进行拍照分析,长曝光下的差分信号的频率为50Hz,短曝光下的差分信号的频率为50Hz,则在下个曝光周期中选择50Hz对应的曝光机制进行曝光拍照。
通过实施本申请实施例,终端设备可获取长曝光通道输出的第一间隔的两帧第一图像,并分析这两帧第一图像得到第一差分图像;获取短曝光通道输出的第二间隔的两帧第二图像,并分析这两帧第二图像得到第二差分图像,对第一差分图像和第二差分图像进行相位识别,得到第一差分图像与第二差分图像各自所包括的第一相位点和第二相位点;最后对第一差分图像与第二差分图像各自所包括的第一相位点和第二相位点进行相位验证,以识别当前环境中是否包括目标频率的光源。这样能高效、准确地识别当前环境中是否包含目标频率的光源。
请参见图7是本申请实施例提供的一种光源识别装置的结构示意图。如图7所述的装置包括:获取单元701、识别单元702以及验证单元703。其中:
获取单元701,用于获取长曝光通道输出的两帧第一图像,并分析所述两帧第一图像得到第一差分图像,所述长曝光通道指曝光时间为光源周期时间的整数倍的通道;
所述获取单元701,还用于获取短曝光通道输出的两帧第二图像,并分析所述两帧第二图像得到第二差分图像,所述短曝光通道指曝光时间为小于预设高频光源的一个光源周期时间的通道;
所述识别单元702,用于对所述第一差分图像和第二差分图像进行相位识别,得到所述第一差分图像与所述第二差分图像各自所包括的第一相位点和第二相位点;
所述验证单元703,用于对所述第一差分图像与所述第二差分图像各自所包括的第一相位点和第二相位点进行相位验证,以识别当前环境中是否存在目标频率的光源,所述目标频率为所述第一差分图像和/或所述第二差分图像中包括的光源频率。
在一些实施例中,所述验证单元603具体用于若所述第一相位点和所述第二相位点满足预设的第一相位验证条件,则识别到当前环境中存在目标频率的光源;
所述第一相位验证条件包括以下中的至少一项:所述第一相位点及所述第二相位点的数量超过对应阈值、所述第一相位点及所述第二相位点在所述第一差分图像和所述第一差分图像的下帧差分图像中对应的信号强度变化趋势符合预期设定、所述第一相位点及所述第二相位点在所述第二差分图像及所述第二差分图像的下帧差分图像中对应的信号强度变化趋势符合预期设定、相邻两个所述第一相位点和所述第二相位点在所述第一差分图像和所述第一差分图像后面的下帧差分图像中的间距相同、相邻两个所述第一相位点和所述第二相位点在所述第二差分图像和所述第二差分图像中的间距相同。
在一些实施例中,所述信号强度变化趋势符合预期设定包括:采用如下公式验证所述第一相位点和所述第二相位点在所述第一差分图像或所述第二差分图像的下帧差分图像中信号强度的变化:
若满足上述公式的验证,则表示所述信号强度变化趋势符合预期设定。其中,ΔPhase=2VTS%T。
在一些实施例中,所述第一差分图像包括至少一个区域,所述第二差分图像包括至少一个区域,所述至少一个区域为根据摄像传感器的输出特性对对应两帧图像进行划分得到的,
所述识别单元702,具体用于对所述第一差分图像和所述第二差分图像中的每个区域进行相位识别,得到所述第一差分图像与所述第二差分图像中每个区域各自所包括的第一相位点和第二相位点;
所述验证单元703,具体用于若所述每个区域中存在至少一个区域的第一相位点和第二相位点满足预设的第二相位验证条件,则识别到当前环境中存在目标频率的光源;
所述第二相位验证条件包括以下中的至少一项:所述至少一个区域的第一相位点和第二相位点的数量超过对应阈值、所述至少一个区域的第一相位点和第二相位点分别在所述第一差分图像和所述第一差分图像的下帧差分图像中对应的信号强度变化趋势符合预期设定、所述至少一个区域的第一相位点和第二相位点分别在所述第二差分图像和所述第二差分图像的下帧差分图像中对应的信号强度变化趋势符合预期设定、所述至少一个区域中相邻两个所述第一相位点和所述第二相位点分别在所述第一差分图像和所述第一差分图像的下帧差分图像中的间距相同、所述第一区域中相邻两个所述第一相位点和所述第二相位点分别在所述第二差分图像和所述第二差分图像的下帧差分图像中的间距相同。
在一些实施例中,所述验证单元703还用于对所述至少一个区域进行置信度评价,得到所述至少一个区域的置信度;若所述至少一个区域的置信度中存在超过预设阈值的目标置信度,则识别到当前环境中存在目标频率的光源。
在一些实施例中,所述第一相位点为0相位点,所述第二相位点为π相位点;或者,所述第一相位点为π相位点,所述第二相位点为0相位点。
在一些实施例中,若所述第一图像的曝光时间为具有第一频率光源的曝光时间的整数倍,则所述第一差分图像表示为:
其中,ΔLumVTS1为第一差分图像,Epeak1为所述第一频率光源的能量峰值,ξ为反射率,w1为具有第一频率光源的角速度,expo为曝光时间,i为摄像传感器的第i个行,VTS为帧间隔。
在一些实施例中,若所述第一图像的曝光时间为具有第二频率光源的曝光时间的整数倍,则所述第一差分图像表示为:
其中,ΔLumVTS1为第一差分图像,Epeak0为所述第二频率光源的能量峰值,ξ为反射率,w0为具有第二频率光源的角速度,expo为曝光时间,i为摄像传感器的第i个行,VTS为帧间隔。
在一些实施例中,所述第二差分图像表示为:
其中,ΔLumVTS2为第二差分图像,Epeak0为第二频率光源的能量峰值,Epeak1为第一频率光源的能量峰值,ξ为反射率,w0为具有第二频率光源的角速度,w1为具有第一频率光源的角速度,expo为曝光时间,i为摄像传感器的第i个行,VTS为帧间隔。
请参见图7,是本申请实施例提供的一种终端设备的结构示意图。如图7所示的终端设备700包括:至少一个输入设备701;至少一个输出设备702;至少一个处理器703,例如CPU;和存储器704,上述输入设备701、输出设备702、处理器703和存储器704通过总线705连接。
其中,上述输入设备701具体可为移动终端的触控面板,包括触摸屏和触控屏,用于检测终端触控面板上的操作指令。
上述输出设备702具体可为移动终端的显示屏,用于输出、显示信息。
上述存储器704可以是高速RAM存储器,也可为非不稳定的存储器(non-volatilememory),例如磁盘存储器。上述存储器704用于存储一组程序代码,上述输入设备701、输出设备702和处理器703用于调用存储器704中存储的程序代码,执行如下操作:
处理器703用于获取长曝光通道输出的第一间隔的两帧第一图像,并分析所述两帧第一图像得到第一差分图像,所述长曝光通道指曝光时间为光源周期时间(bandingstep)的整数倍的通道;
获取短曝光通道输出的第二间隔的两帧第二图像,并分析所述两帧第二图像得到第二差分图像,所述短曝光通道指曝光时间为小于预设高频光源的一个光源周期时间的通道;
对所述第一差分图像和第二差分图像进行相位识别,得到所述第一差分图像与所述第二差分图像各自所包括的第一相位点和第二相位点;
对所述第一差分图像与所述第二差分图像各自所包括的第一相位点和第二相位点进行相位验证,以识别当前环境中是否存在目标频率的光源,所述目标频率为所述第一差分图像和/或所述第二差分图像中包括的光源频率。
在一些实施例中,处理器703具体用于若所述第一相位点和所述第二相位点满足预设的第一相位验证条件,则识别到当前环境中包括目标频率的光源;
所述第一相位验证条件包括以下中的至少一项:所述第一相位点及所述第二相位点的数量超过对应阈值、所述第一相位点及所述第二相位点在所述第一差分图像和所述第一差分图像的下帧差分图像中对应的信号强度变化趋势符合预期设定、所述第一相位点及所述第二相位点在所述第二差分图像及所述第二差分图像的下帧差分图像中对应的信号强度变化趋势符合预期设定、相邻两个所述第一相位点及所述第二相位点在所述第一差分图像和所述第一差分图像后面的下帧差分图像中的间距相同、相邻两个所述第一相位点及所述第二相位点在所述第二差分图像和所述第二差分图像后面的下帧差分图像中的间距相同。
在一些实施例中,所述第一差分图像包括至少一个区域,所述第二差分图像包括至少一个区域,所述至少一个区域为根据摄像传感器的输出特性对对应两帧图像进行划分得到的,处理器703具体用于对所述第一差分图像和所述第二差分图像中的每个区域进行相位识别,得到所述第一差分图像与所述第二差分图像中每个区域各自所包括的第一相位点和第二相位点;若所述每个区域中存在至少一个区域的第一相位点和第二相位点满足预设的第二相位验证条件,则识别到当前环境中包括目标频率的光源;
所述第二相位验证条件包括以下中的至少一项:所述至少一个区域的第一相位点和第二相位点的数量超过对应阈值、所述至少一个区域的第一相位点和第二相位点分别在所述第一差分图像和所述第一差分图像的下帧差分图像中对应的信号强度变化趋势符合预期设定、所述至少一个区域的第一相位点和第二相位点分别在所述第二差分图像和所述第二差分图像的下帧差分图像中对应的信号强度变化符合预期设定、所述至少一个区域中相邻两个所述第一相位点及所述第二相位点在所述第一差分图像和所述第一差分图像后面的下帧差分图像中的间距相同、所述至少一个区域中相邻两个所述第一相位点及所示第二相位点在所述第二差分图像和所述第二差分图像后面的下帧差分图像中的间距相同。
在一些实施例中,处理器703具体用于对所述至少一个区域进行置信度评价,得到所述至少一个区域的置信度;
若所述至少一个区域的置信度中存在超过预设阈值的目标置信度,则识别到当前环境中包括目标频率的光源。
在一些实施例中,所述第一相位点为0相位点,所述第二相位点为π相位点;或者,所述第一相位点为π相位点,所述第二相位点为0相位点。
在一些实施例中,若所述第一图像的曝光时间为具有第一频率光源的曝光时间的整数倍,则所述第一差分图像表示为:
其中,ΔLumVTS1为第一差分图像,Epeak1为所述第一频率光源的能量峰值,ξ为反射率,w1为具有第一频率光源的角速度,expo为曝光时间,i为摄像传感器的第i个行,VTS为帧间隔。
在一些实施例中,若所述第一图像的曝光时间为具有第二频率光源的曝光时间的整数倍,则所述第一差分图像表示为:
其中,ΔLumVTS1为第一差分图像,Epeak0为所述第二频率光源的能量峰值,ξ为反射率,w0为具有第二频率光源的角速度,expo为曝光时间,i为摄像传感器的第i个行,VTS为帧间隔。
在一些实施例中,所述第二差分图像表示为:
其中,ΔLumVTS2为第二差分图像,Epeak0为第二频率光源的能量峰值,Epeak1为第一频率光源的能量峰值,ξ为反射率,w0为具有第二频率光源的角速度,w1为具有第一频率光源的角速度,expo为曝光时间,i为摄像传感器的第i个行,VTS为帧间隔。
基于同一发明构思,本申请实施例中提供的终端设备解决问题的原理与本申请方法实施例中终端解决问题的原理相似,因此各设备的实施可以参见方法的实施,为简洁描述,在这里不再赘述。
需要说明的是,在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详细描述的部分,可以参见其他实施例的相关描述。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本发明实施例终端设备中的模块可以根据实际需要进行合并、划分和删减。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种光源识别方法,其特征在于,所述光源识别方法包括:
获取长曝光通道输出的两帧第一图像,并分析所述两帧第一图像得到第一差分图像,所述长曝光通道指曝光时间为光源周期时间的整数倍的通道;
获取短曝光通道输出的两帧第二图像,并分析所述两帧第二图像得到第二差分图像,所述短曝光通道指曝光时间为小于预设高频光源的一个光源周期时间的通道;
对所述第一差分图像和第二差分图像进行相位识别,得到所述第一差分图像与所述第二差分图像各自所包括的第一相位点和第二相位点;
对所述第一差分图像与所述第二差分图像各自所包括的第一相位点和第二相位点进行相位验证,以识别当前环境中是否存在目标频率的光源,所述目标频率为所述第一差分图像和/或所述第二差分图像中包括的光源频率;
其中,所述第一相位点和所述第二相位点为0相位点和π相位点中的任一个,且所述第一相位点与所述第二相位点不同。
2.根据权利要求1所述的光源识别方法,其特征在于,所述对所述第一差分图像与所述第二差分图像各自所包括的第一相位点和第二相位点进行相位验证,以识别当前环境中是否存在目标频率的光源包括:
若所述第一相位点和所述第二相位点满足预设的第一相位验证条件,则识别到当前环境中存在目标频率的光源;
所述第一相位验证条件包括以下中的至少一项:所述第一相位点及所述第二相位点的数量超过对应阈值;相邻两个所述第一相位点及所述第二相位点在所述第一差分图像和所述第一差分图像后面的下帧差分图像中的间距相同;相邻两个所述第一相位点及所述第二相位点在所述第二差分图像和所述第二差分图像后面的下帧差分图像中的间距相同。
3.根据权利要求1所述的光源识别方法,其特征在于,所述第一差分图像包括至少一个区域,所述第二差分图像包括至少一个区域,所述至少一个区域为根据摄像传感器的输出特性对对应两帧图像进行划分得到的,所述对所述第一差分图像和第二差分图像进行相位识别,得到所述第一差分图像与所述第二差分图像各自所包括的第一相位点和第二相位点包括:
对所述第一差分图像和所述第二差分图像中的每个区域进行相位识别,得到所述第一差分图像与所述第二差分图像中每个区域各自所包括的第一相位点和第二相位点;
所述对所述第一差分图像与所述第二差分图像各自所包括的第一相位点和第二相位点进行相位验证,以识别当前环境中是否存在目标频率的光源包括:
若所述每个区域中存在至少一个区域的第一相位点和第二相位点满足预设的第二相位验证条件,则识别到当前环境中存在目标频率的光源;
所述第二相位验证条件包括以下中的至少一项:所述至少一个区域的第一相位点和第二相位点的数量超过对应阈值、所述至少一个区域中相邻两个所述第一相位点和所述第二相位点分别在所述第一差分图像和所述第一差分图像的下帧差分图像中的间距相同、所述至少一个区域中相邻两个所述第一相位点和所述第二相位点分别在所述第二差分图像和所述第二差分图像的下帧差分图像中的间距相同。
4.根据权利要求3所述的光源识别方法,其特征在于,所述识别到当前环境中存在目标频率的光源包括:
对所述至少一个区域进行置信度评价,得到所述至少一个区域的置信度;
若所述至少一个区域的置信度中存在超过预设阈值的目标置信度,则识别到当前环境中存在目标频率的光源。
5.根据权利要求1所述的光源识别方法,其特征在于,若所述第一图像的曝光时间为具有第一频率光源的曝光时间的整数倍,则所述第一差分图像表示为:
其中,ΔLumVTS1为第一差分图像,Epeak1为所述第一频率光源的能量峰值,ξ为反射率,w1为具有第一频率光源的角速度,expo为曝光时间,i为摄像传感器的第i行,VTS为帧间隔。
6.根据权利要求5所述的光源识别方法,其特征在于,若所述第一图像的曝光时间为具有第二频率光源的曝光时间的整数倍,则所述第一差分图像表示为:
其中,ΔLumVTS1为第一差分图像,Epeak0为所述第二频率光源的能量峰值,ξ为反射率,w0为具有第二频率光源的角速度,expo为曝光时间,i为摄像传感器的第i行,VTS为帧间隔。
7.根据权利要求1所述的光源识别方法,其特征在于,所述第二差分图像表示为:
其中,ΔLumVTS2为第二差分图像,Epeak0为第二频率光源的能量峰值,Epeak1为第一频率光源的能量峰值,ξ为反射率,w0为具有第二频率光源的角速度,w1为具有第一频率光源的角速度,expo为曝光时间,i为摄像传感器的第i行,VTS为帧间隔。
8.一种光源识别装置,其特征在于,包括获取单元、识别单元及验证单元,其中:
所述获取单元,用于获取长曝光通道输出的两帧第一图像,并分析所述两帧第一图像得到第一差分图像,所述长曝光通道指曝光时间为光源周期时间的整数倍的通道;
所述获取单元,还用于获取短曝光通道输出的两帧第二图像,并分析所述两帧第二图像得到第二差分图像,所述短曝光通道指曝光时间为小于预设高频光源的一个光源周期时间的通道;
所述识别单元,用于对所述第一差分图像和第二差分图像进行相位识别,得到所述第一差分图像与所述第二差分图像各自所包括的第一相位点和第二相位点;
所述验证单元,用于对所述第一差分图像与所述第二差分图像各自所包括的第一相位点和第二相位点进行相位验证,以识别当前环境中是否存在目标频率的光源,所述目标频率为所述第一差分图像和/或所述第二差分图像中包括的光源频率;
其中,所述第一相位点和所述第二相位点为0相位点和π相位点中的任一个,且所述第一相位点与所述第二相位点不同。
9.一种终端设备,其特征在于,包括处理器以及与所述处理器连接的存储器,所述存储器包括计算机可读指令,所述处理器用于执行所述存储器中的计算机可读指令,用以实现如上权利要求1~7中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令被处理器执行时使所述处理器执行如权利要求1~7中任一项所述的方法。
CN202011052635.8A 2020-09-29 2020-09-29 光源识别方法、装置、终端设备及计算机可读存储介质 Active CN112183373B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011052635.8A CN112183373B (zh) 2020-09-29 2020-09-29 光源识别方法、装置、终端设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011052635.8A CN112183373B (zh) 2020-09-29 2020-09-29 光源识别方法、装置、终端设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112183373A CN112183373A (zh) 2021-01-05
CN112183373B true CN112183373B (zh) 2024-03-08

Family

ID=73946580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011052635.8A Active CN112183373B (zh) 2020-09-29 2020-09-29 光源识别方法、装置、终端设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112183373B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113596344B (zh) * 2021-07-26 2023-10-24 艾酷软件技术(上海)有限公司 拍摄处理方法、装置、电子设备和可读存储介质
CN115499597B (zh) * 2022-09-13 2024-06-04 豪威集成电路(成都)有限公司 成像***目标频率光源的识别方法及装置、终端设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101057489A (zh) * 2004-11-15 2007-10-17 索尼株式会社 闪烁校正方法、闪烁校正电路、以及使用它们的摄像装置
JP2012094956A (ja) * 2010-10-25 2012-05-17 Nikon Corp 撮像装置
DE102013115000A1 (de) * 2013-01-07 2014-07-10 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Blendungsminderung für dynamischen Rückspiegel
CN105637783A (zh) * 2013-12-27 2016-06-01 松下电器(美国)知识产权公司 信息处理程序、接收程序和信息处理装置
CN109274984A (zh) * 2018-10-16 2019-01-25 深圳开阳电子股份有限公司 检测视频序列中光源闪烁的方法、装置及图像处理设备
CN109361866A (zh) * 2018-11-21 2019-02-19 豪威科技(上海)有限公司 一种自动曝光控制方法及***

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4354449B2 (ja) * 2005-10-26 2009-10-28 オリンパス株式会社 表示画像撮像方法および装置
US9432590B2 (en) * 2014-01-22 2016-08-30 Nvidia Corporation DCT based flicker detection

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101057489A (zh) * 2004-11-15 2007-10-17 索尼株式会社 闪烁校正方法、闪烁校正电路、以及使用它们的摄像装置
JP2012094956A (ja) * 2010-10-25 2012-05-17 Nikon Corp 撮像装置
DE102013115000A1 (de) * 2013-01-07 2014-07-10 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Blendungsminderung für dynamischen Rückspiegel
CN105637783A (zh) * 2013-12-27 2016-06-01 松下电器(美国)知识产权公司 信息处理程序、接收程序和信息处理装置
CN109274984A (zh) * 2018-10-16 2019-01-25 深圳开阳电子股份有限公司 检测视频序列中光源闪烁的方法、装置及图像处理设备
CN109361866A (zh) * 2018-11-21 2019-02-19 豪威科技(上海)有限公司 一种自动曝光控制方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Flicker-free spatial-PSK modulation scheme for vehicular image sensor communications;Trang Nguyen等;《2016 Eighth International Conference on Ubiquitous and Future Networks (ICUFN)》;128-133 *

Also Published As

Publication number Publication date
CN112183373A (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
CN112183373B (zh) 光源识别方法、装置、终端设备及计算机可读存储介质
CN106254682B (zh) 一种拍照方法及移动终端
US8593522B2 (en) Digital camera, image processing apparatus, and image processing method
KR20210047336A (ko) 이미지 처리 방법 및 장치, 전자 기기 및 기억 매체
CN110475063B (zh) 图像采集方法和装置、及存储介质
CN101377811B (zh) 一种车牌识别的方法与***
US20110090345A1 (en) Digital camera, image processing apparatus, and image processing method
EP2198394A1 (en) Face tracking in a camera processor
TWI519156B (zh) 影像擷取方法與影像擷取系統
JP2017055231A (ja) 画像処理装置、固体撮像素子、および電子機器
CN113596344B (zh) 拍摄处理方法、装置、电子设备和可读存储介质
CN110414445B (zh) 用于人脸识别的光源调节方法、装置及电子设备
CN104935698A (zh) 一种智能终端的拍摄方法、拍摄装置及智能手机
US11546524B2 (en) Reducing a flicker effect of multiple light sources in an image
KR20220062107A (ko) 광 강도 조절 방법, 장치, 전자 기기 및 기억 매체
CN105635568A (zh) 一种移动终端中的图像处理方法和移动终端
CN114070993B (zh) 摄像方法、装置、摄像设备及可读存储介质
CN112819714A (zh) 目标对象曝光方法、装置、存储介质及设备
CN113225550A (zh) 偏移检测方法、装置、摄像头模组、终端设备及存储介质
WO2021136978A1 (en) Image processing method and apparatus, electronic device, and storage medium
CN102012602B (zh) 一种基于摄像头模组的环境光监测方法
CN115290299B (zh) 确定屏幕漏光的跌落深度的方法、装置及电子设备
CN105959590A (zh) 一种抗光干扰的拍摄方法、装置及智能终端
EP4274215A1 (en) Method and apparatus for detecting near-field object, and medium and electronic device
CN108024060B (zh) 人脸抓拍控制方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant