CN113029363A - 一种混合光源的检测方法、装置、设备及存储介质 - Google Patents
一种混合光源的检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113029363A CN113029363A CN201911350260.0A CN201911350260A CN113029363A CN 113029363 A CN113029363 A CN 113029363A CN 201911350260 A CN201911350260 A CN 201911350260A CN 113029363 A CN113029363 A CN 113029363A
- Authority
- CN
- China
- Prior art keywords
- light source
- target image
- mixed light
- frequency
- source condition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 8
- 238000000034 method Methods 0.000 claims abstract description 53
- 230000015654 memory Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 9
- 239000003086 colorant Substances 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 19
- 230000000875 corresponding effect Effects 0.000 description 13
- 238000012216 screening Methods 0.000 description 10
- 241001464837 Viridiplantae Species 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 3
- 229910052721 tungsten Inorganic materials 0.000 description 3
- 239000010937 tungsten Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/60—Radiation pyrometry, e.g. infrared or optical thermometry using determination of colour temperature
- G01J5/601—Radiation pyrometry, e.g. infrared or optical thermometry using determination of colour temperature using spectral scanning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
- G01M11/02—Testing optical properties
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/60—Radiation pyrometry, e.g. infrared or optical thermometry using determination of colour temperature
- G01J2005/608—Colour temperature of light sources
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Color Image Communication Systems (AREA)
- Inspection Of Paper Currency And Valuable Securities (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
本申请实施例公开了一种混合光源的检测方法、装置、设备及存储介质，该方法包括：基于目标图像中的白点信息判断第一混合光源条件是否满足；当第一混合光源条件满足时，再基于目标通道的频域信息中最大的至少两个振幅值及其对应的至少两个频率值，判断第二混合光源条件是否满足；当第二混合光源条件满足时，确定目标图像中包含至少两个光源；当第二混合光源条件不满足时，确定目标图像中只包含单一光源。如此，在判断混合光源时，除了第一混合光源条件，还增加了第二混合光源条件，从而避免了单独使用聚类方法判断混合光源时容易受到混淆色的干扰，提高了混合光源判断的准确率。
Description
技术领域
本申请涉及图像处理技术，尤其涉及一种混合光源的检测方法、装置、设备及存储介质。
背景技术
混合光源判定是图像处理中的一个难点，自动白平衡(Auto White Balance，AWB)算法可以实施的基本假设为单一光源假设，当场景中存在多个不同色温的光源时大多AWB算法的基本假设就不成立，此时AWB模块需要寻找其他方法更好的还原混合光源场景。
物体识别，比如人脸识别、姿态识别、车牌识别等需要去除光源颜色的影响，若是在混合光源下，去除策略往往更加复杂。当前行业中判定混合光源的方法大多倾向于聚类方法，但是聚类过程会受到大量混淆色的干扰，肤色、物体颜色等都可能被当做光源进行聚类，最终得到错误的混合光源判定结果，从而影响成像质量。
发明内容
为解决上述技术问题，本申请实施例期望提供一种混合光源的检测方法、装置、设备及存储介质。
本申请的技术方案是这样实现的：
第一方面，提供了一种混合光源的检测方法，所述方法包括：
获取图像采集单元采集的目标图像，以及色温传感器采集的目标通道的时域信息；
基于预设的图像处理算法确定所述目标图像中的白点信息；对所述时域信息做时频变换得到所述目标通道的频域信息，再从所述频域信息中确定最大的至少两个振幅值，以及所述至少两个振幅值对应的至少两个频率值；
基于所述白点信息判断所述第一混合光源条件满足时，基于所述至少两个振幅值和所述至少两个频率值，判断第二混合光源条件是否满足；
当所述第二混合光源条件满足时，确定所述目标图像中包含至少两个光源；
当所述第二混合光源条件不满足时，确定所述目标图像中只包含单一光源。
第二方面，提供了一种混合光源检测装置，所述装置包括：
获取单元，用于获取图像采集单元采集的目标图像，以及色温传感器采集的目标通道的时域信息；
处理单元，用于基于预设的图像处理算法确定所述目标图像中的白点信息；对所述时域信息做时频变换得到所述目标通道的频域信息，再从所述频域信息中确定最大的至少两个振幅值，以及所述至少两个振幅值对应的至少两个频率值；
判断单元，用于基于所述白点信息判断所述第一混合光源条件满足时，基于所述至少两个振幅值和所述至少两个频率值，判断第二混合光源条件是否满足；
所述判断单元，用于当所述第二混合光源条件满足时，确定所述目标图像中包含至少两个光源；当所述第二混合光源条件不满足时，确定所述目标图像中只包含单一光源。
第三方面，提供了一种电子设备，包括：处理器和配置为存储能够在处理器上运行的计算机程序的存储器，
其中，所述处理器配置为运行所述计算机程序时，执行前述第一方面中所述方法的步骤。
第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现前述第一方面中所述方法的步骤。
采用上述技术方案，基于目标图像中的白点信息判断第一混合光源条件是否满足；当第一混合光源条件满足时，再基于目标通道的频域信息中最大的至少两个振幅值及其对应的至少两个频率值，判断第二混合光源条件是否满足；当第二混合光源条件满足时，确定目标图像中包含至少两个光源；当第二混合光源条件不满足时，确定目标图像中只包含单一光源。如此，在判断混合光源时，除了第一混合光源条件，还增加了第二混合光源条件，从而避免了单独使用聚类方法判断混合光源时容易受到混淆色的干扰，提高了混合光源判断的准确率。
附图说明
图1为本申请实施例中混合光源的检测方法的第一流程示意图；
图2示出了本申请实施例中手机的正面结构示意图；
图3示出了本申请实施例中手机的背面结构示意图；
图4为包含绿色植物的照片；
图5为图4照片的聚类结果示意图；
图6为本申请实施例中原始目标图像的示意图；
图7为本申请实施例中处理后的目标图像的示意图；
图8为本申请实施例中混合光源的检测方法的第二流程示意图；
图9为本申请实施例中目标通道的时域波形和直流分量的示意图；
图10为本申请实施例中混合光源检测装置的组成结构示意图；
图11为本申请实施例中电子设备的组成结构示意图。
具体实施方式
为了能够更加详尽地了解本申请实施例的特点与技术内容，下面结合附图对本申请实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本申请实施例。
本申请实施例提供了一种曝光调节方法，图1为本申请实施例中混合光源的检测方法的第一流程示意图，如图1所示，该方法具体可以包括：
步骤101：获取图像采集单元采集的目标图像，以及色温传感器采集的目标通道的时域信息；
步骤102：基于预设的图像处理算法确定所述目标图像中的白点信息；对所述时域信息做时频变换得到所述目标通道的频域信息，再从所述频域信息中确定最大的至少两个振幅值，以及所述至少两个振幅值对应的至少两个频率值；
步骤103：基于所述白点信息判断所述第一混合光源条件满足时，基于所述至少两个振幅值和所述至少两个频率值，判断第二混合光源条件是否满足；若是，执行步骤104；若否，执行步骤105；
步骤104：当所述第二混合光源条件满足时，确定所述目标图像中包含至少两个光源；
步骤105：当所述第二混合光源条件不满足时，确定所述目标图像中只包含单一光源。
这里，步骤101至步骤105的执行主体可以为电子设备的处理器。这里，电子设备具备拍摄功能，且配置有至少一个色温传感器。比如，电子设备可以诶智能手机、个人电脑(例如平板电脑、台式电脑、笔记本、上网本、掌上电脑)、摄像机、虚拟现实装置和可穿戴装置等。
示例性的，当电子设备为手机时，图2示出了本申请实施例中手机的正面结构示意图，如图2所示，手机显示屏为具备刘海区的刘海屏，刘海区包含有听筒、前置摄像头和色温传感器，其中，听筒位于刘海区正中间，前置摄像头设置在听筒右侧，色温传感器设置在前置摄像头右侧。
图3示出了本申请实施例中手机的背面结构示意图，如图3所示，手机背面设置有三个垂直对齐的后置摄像头，色温传感器设置在最底端摄像头的下侧。
这里，“白点”意指在对图像进行自动白平衡(Automatic White Balance，AWB)处理时，确定出的基准像素点。应当理解的是，此处的白点并非一定是R(红)、G(绿)、B(蓝)实际均为255的像素点，而指代采用对应白平衡算法(例如，Retinex算法)时，该算法认为是白色的像素点。
实际环境中的光源可以包括：日光、钨丝灯、led灯、荧光灯、白炽灯等。
本申请实施例中，第一混合光源条件是基于图像的聚类方法判断是否存在混合光源，第二混合光源条件是基于色温传感器提供的单通道的flicker信息辅助二次判断。
基于图像像素使用聚类方法判断混合光源时容易受到混淆色的干扰，图4为包含绿色植物的照片，图5为图4照片的聚类结果示意图，可以看出图4中由于绿色植物的干扰，在图5的聚类结果中会得到两个重心，从而判定出当前场景中存在两个主光源，但是实际上只有一个光源存在。因此只采用聚类方法容易得到错误的混合光源判断结果。
具体的，所述基于预设的图像处理算法确定所述目标图像中的白点信息，包括：获取所述目标图像中各个像素的通道数据的统计信息；根据所述统计信息并利用预设白平衡算法确定所述目标图像上的白点；利用预设聚类算法对所述目标图像上的白点进行聚类，得到至少两个簇。
也就是说，白点信息包括白点数量和对白点的聚类结果。确定目标图像中的白点信息就是先初步确定目标图像中的初始白点；再对初始白点进行筛选得到用于混合光源位置聚类的白点；最后对筛选后的白点进行聚类得到至少两个聚类结果，再根据至少两个聚类结果确定至少两个光源的位置。
例如，获取图像信号处理通道(Image Signal Processing pipeline，ISPpipeline)中64*48的统计信息，利用统计信息的(R，G，B)构建64bin的uv空间，uv空间的横纵坐标为log(R/G)，log(B/G)；利用Retinex算法筛选出图像上不符合要求的白点；再使用Kmeans算法对符合要求的白点进行聚类(至少两个簇)，计算各簇情况及簇的中心点；将个簇的中心点作为混合光源的中心位置。
这里，白点的筛选可以选择其他的awb算法，比如灰度世界算法(Gray WorldAlgorithm)，一维色域(1D gamut)等。
本申请实施例中，在判断是否存在混合光源时，先利用第一混合光源条件进行初步判断，再利用第二混合光源条件进行二次判断，从而避免了单独使用聚类方法判断混合光源时容易受到混淆色的干扰，提高了混合光源判断的准确率。
在一些实施例中，所述第一混合光源条件包括：所述目标图像上的白点数量大于或者等于第一数量阈值，且所述至少两个簇中包含最多白点数量的簇与最少白点数量的簇的白点数量差值大于或者等于第二数量阈值。
例如，目标图像上剩余的白点数量大于或者等于目标图像在筛选之前的白点数量的10％。第一个簇中的白点数量与只有第二个簇中的白点数量之比小于或者等于8％，则确定第一混合光源条件满足。这里，第一个簇为至少两个簇中白点数量最少的簇，第二个簇为至少两个簇中白点数量最多的簇。
目标图像上剩余的白点数量小于目标图像在筛选之前的白点数量的10％。第一个簇中的白点数量与只有第二个簇中的白点数量之比小于或者等于8％，则确定第一混合光源条件满足。
实际应用中，该方法还包括：基于所述白点信息判断所述第一混合光源条件不满足时，确定所述目标图像中只包含单一光源。
也就是说，当第一混合光源条件不满足时，直接确定目标图像中只包含单一光源。
实际应用中，在判断至少两个振幅值是否满足第二混合光源条件之前，该方法还包括：对至少两个振幅值进行归一化处理，利用处理后的至少两个振幅值判断是否满足第二混合光源条件，从而提高数据处理效率。
具体的，所述第二混合光源条件包括：所述至少两个频率值中最大频率值和最小频率值之差大于第一频率阈值，且所述至少两个振幅值中每一个振幅值大于第一振幅阈值。
当判断第二混合光源条件满足时，确定所述目标图像中包含至少两个光源；当所述第二混合条件不满足时，确定所述目标图像中只包含单一光源。
进一步地，在确定所述目标图像中是否包含混合光源之后，该方法还包括：当所述目标图像中包含至少两个光源时，采用分区图像处理策略对不同光源所在的区域进行分别处理。
也就是说，当判定当前场景为混合光源场景，采用分区图像处理的策略针对不同光源进行不同程度的图像处理。图6为本申请实施例中原始目标图像的示意图，目标图像中包括室内和室外，室内为低色温光源偏黄，室外为高色温光源偏白，若混合光源判断失败，则对原始目标图像的整体进行处理，则无法区分室内室外，对室内区域的调整会影响室外区域。图7为本申请实施例中处理后的目标图像的示意图，在准确判断混合光源后，将使用分区图像处理策略对图像中室内和室外进行分别处理，可以在还原室内光源的情况下同时保持室外的白平衡状态。
采用上述技术方案，基于目标图像中的白点信息判断第一混合光源条件是否满足；当第一混合光源条件满足时，再基于目标通道的频域信息中最大的至少两个振幅值及其对应的至少两个频率值，判断第二混合光源条件是否满足；当第二混合光源条件满足时，确定目标图像中包含至少两个光源；当第二混合光源条件不满足时，确定目标图像中只包含单一光源。如此，在判断混合光源时，除了第一混合光源条件，还增加了第二混合光源条件，避免了单独使用聚类方法判断混合光源时容易受到混淆色的干扰，提高了混合光源判断的准确率。
图8为本申请实施例中混合光源的检测方法的第二流程示意图；如图8所示，该方法包括：
步骤801：获取图像采集单元采集的目标图像，以及色温传感器采集的目标通道的时域信息；
实际应用中，图像采集单元为摄像头，摄像头旁边配置有色温传感器，在摄像头采集目标图像时，色温传感器同时采集目标通道的时域信息。
步骤802：基于预设的图像处理算法确定所述目标图像中的白点信息；对所述时域信息做时频变换得到所述目标通道的频域信息，再从所述频域信息中确定最大的至少两个振幅值，以及所述至少两个振幅值对应的至少两个频率值；
具体的，所述基于预设的图像处理算法确定所述目标图像中的白点信息，包括：获取所述目标图像中各个像素的通道数据的统计信息；根据所述统计信息并利用预设白平衡算法确定所述目标图像上的白点；利用预设聚类算法对所述目标图像上的白点进行聚类，得到至少两个簇。
也就是说，在确定目标图像中的白点信息就是先初步确定目标图像中的白点；再对白点进行筛选得到用于混合光源位置聚类的白点；最后对筛选后的白点进行聚类得到至少两个聚类结果，再根据至少两个聚类结果确定至少两个光源的位置。
例如，获取ISP pipeline中64*48的统计信息，利用统计信息的(R，G，B)构建64bin的uv空间，uv空间的横纵坐标为log(R/G)，log(B/G)；利用Retinex算法筛选出图像上的多个白点；再使用Kmeans算法对符合要求的白点进行聚类(至少两个簇)，计算各簇情况及簇的中心点；将各个簇的中心点作为混合光源的中心位置。
色温传感器可以提供的数据包含R、G、B、C(可见光)、W(wide band全光谱)，相关色温(Correlated Color Temperature，CCT)以及两个通道(包括FD1和FD2)的光闪烁频率及振幅。由于FD1通道几乎可以覆盖全光谱，因此使用FD1作为目标通道的时域信息做时频变换，然后提取频谱信息中振幅值最大的两个频率作为FD1Q1和FD1Q2以及对应的振幅值FD1M1和FD1M2，对FD1M1和FD1M2以65535做归一化，以提高数据处理效率。
步骤803：基于所述白点信息判断所述第一混合光源条件是否满足，若否，执行步骤804；若是，执行步骤805；
本申请实施例中，第一混合光源条件是基于图像的聚类方法判断是否存在混合光源，第二混合光源条件是基于色温传感器提供的单通道的flicker信息辅助二次判断。在判断是否存在混合光源时，先利用第一混合光源条件进行初步判断，再利用第二混合光源条件进行二次判断，从而避免了单独使用聚类方法判断混合光源时容易受到混淆色的干扰，提高了混合光源判断的准确率。
在一些实施例中，所述第一混合光源条件包括：所述目标图像上的白点数量大于或者等于第一数量阈值，且所述至少两个簇中包含最多白点数量的簇与最少白点数量的簇的白点数量差值大于或者等于第二数量阈值。
例如，目标图像上剩余的白点数量大于或者等于目标图像在筛选之前的白点数量的10％。第一个簇中的白点数量与只有第二个簇中的白点数量之比小于或者等于8％，则确定第一混合光源条件满足。这里，第一个簇为至少两个簇中包含最少白点数量的簇，第二个簇为至少两个簇中包含最少白点数量的簇。
目标图像上剩余的白点数量小于目标图像在筛选之前的白点数量的10％。第一个簇中的白点数量与只有第二个簇中的白点数量之比小于或者等于8％，则确定第一混合光源条件满足。
步骤804：确定所述目标图像中只包含单一光源；
也就是说，当第一混合光源条件不满足时，直接确定目标图像中只包含单一光源。
步骤805：基于所述至少两个振幅值和所述至少两个频率值，判断第二混合光源条件是否满足；若是，执行步骤806；若否，执行步骤807；
具体的，所述第二混合光源条件包括：所述至少两个频率值中最大频率值和最小频率值之差大于第一频率阈值，且所述至少两个振幅值中每一个振幅值大于第一振幅阈值。
比如，|FD1Q1-FD1Q2|>20Hz且[FD1M1>0.12，FD1M2>0.12]，确认图像聚类的情况存在两个明显的重心，则可确定当前环境为日光和钨丝灯混合场景，根据图像聚类的结果确认混合光源位置。这里，FD1Q1和FD1Q2指代至少两个频率值中最大频率值和最小频率值，FD1M1指代至少两个振幅值中的最小振幅值，FD1M2指代至少两个振幅值中的最大振幅值。
当第二混合光源条件满足时，确定所述目标图像中包含至少两个光源；当所述第二混合条件不满足时，确定所述目标图像中只包含单一光源。
步骤806：当所述第二混合光源条件满足时，确定所述目标图像中包含至少两个光源；
步骤807：当所述第二混合光源条件不满足时，且单一光源条件满足时，确定所述目标图像中只包含单一光源。
也就是说，当第二混合光源条件不满足时，还需判断单一光源条件是否满足，只有在单一光源条件满足时，才确定目标图像中只包含单一光源。
在一些实施例中，所述单一光源条件为第一单一光源条件或第二单一光源条件；
所述第一单一光源条件包括：所述至少两个频率值中每一个频率值大于第二频率阈值且小于第三频率阈值；所述至少两个振幅值中最小振幅值小于第二振幅阈值，最大振幅值大于第三振幅阈值；
所述第二单一光源条件包括：所述至少两个频率值中最小频率值小于第四频率阈值，最大频率值大于第五频率阈值且小于第六频率阈值；所述至少两个振幅值中最小振幅值小于第四振幅阈值，最大振幅值大于第五振幅阈值。
这里，第二频率阈值小于第三频率阈值，第二振幅阈值小于第三振幅阈值。所述第四频率阈值小于第五频率阈值，第五频率阈值小于第六频率阈值，第四振幅阈值小于第六振幅阈值。
上述第一单一光源条件用于判断目标图像中只包含日光，荧光灯光源可忽略不计，此时可判定非混合光源，不需要考虑图像聚类的结果。
上述第二单一光源条件用于判断目标图像中只包含单纯的白炽灯、荧光灯或led灯，此时可判定非混合光源，不需要考虑图像聚类的结果。
比如，第一单一光源条件包括：0Hz<＝FD1Q1，FD1Q2<5Hz且[FD1M1<0.05，FD1M2>0.3]。
第二单一光源条件包括：[FD1Q1<5Hz，45Hz<FD1Q2<65Hz，FD1M1<0.05，FD1M2>0.2]。这里，FD1Q1和FD1Q2指代至少两个频率值中最大频率值和最小频率值，FD1M1指代至少两个振幅值中的最小振幅值，FD1M2指代至少两个振幅值中的最大振幅值。
进一步地，在确定所述目标图像中是否包含混合光源之后，该方法还包括：当所述目标图像中包含至少两个光源时，当确定所述目标图像中包含至少两个光源时，采用分区图像处理策略对不同光源所在的区域进行分别处理。
这里，当第一混合光源条件不满足时，分别利用第二混合光源条件判断混合光源，利用单一光源条件判断单一光源，提高了混合光源和单一光源判断的准确性。
基于上述实施例提供了一种更具体的实现方法，包括以下步骤：
1、读入色温传感器FD1时域信息；
2、针对FD1时域信息做时频变换；
3、获得直流分量FD1DC；
4、从FD1DC获得幅值最强的两个频率FD1Q1，FD1Q2并归一化；
当只判断是否包含两个混合光源时，从频域信息中确定最大的两个振幅值(即FD1M1和FD1M2)，以及所述至少两个振幅值对应的至少两个频率值(即FD1Q1和FD1Q2)。
图9为本申请实施例中目标通道的时域波形和直流分量的示意图，图9上图为时域波形图，图9下图为直流分量图，从直流分量图中可以确定最大两个振幅值为4和5，最大两个频率值为40和50。
5、获得振幅最大的两个频率FD1Q1、FD1Q2并归一化；
6、获取isppipe line中64*48的统计信息；
7、利用统计信息的(R，G，B)构建64bin的uv空间，uv空间的横纵坐标为log(R/G)，log(B/G)；
8、利用Retinex算法筛选出图像上不符合要求的白点；
9、判断剩余符合要求的白点数量是否大于或者等于原始白点数量的10％，如果是，执行步骤10；如果否，执行步骤11；
10、确定目标图像中只包含单一光源；
11、再使用Kmeans算法对符合要求的白点进行聚类得到两个簇，计算各簇情况及簇的中心点；
12、判断一个簇中白点数量是否只有另一个簇中白点数量的8％，如果是，执行步骤10；如果否，执行步骤13；
13、根据FD1Q1、FD1Q2、FD1M1、FD1M2判断第二混合光源条件满足时，执行步骤14；根据FD1Q1、FD1Q2、FD1M1、FD1M2判断单一光源条件满足时，执行步骤10；
这里，FD1Q1和FD1Q2指代至少两个频率值中最大频率值和最小频率值，FD1M1指代至少两个振幅值中的最小振幅值，FD1M2指代至少两个振幅值中的最大振幅值。
具体的，|FD1Q1-FD1Q2|>20Hz且[FD1M1>0.12，FD1M2>0.12]，确认图像聚类的情况存在两个明显的重心，则可确定当前环境为日光和钨丝灯混合场景，根据图像聚类的结果确认混合光源位置。
具体的，第一单一光源条件包括：0Hz<＝FD1Q1，FD1Q2<5Hz且[FD1M1<0.05，FD1M2>0.3]。
第二单一光源条件包括：[FD1Q1<5Hz，45Hz<FD1Q2<65Hz，FD1M1<0.05，FD1M2>0.2]。
14、确定目标图像中包含至少两个光源，并采用分区图像处理策略对不同光源所在的区域进行分别处理。
采用上述技术方案，基于目标图像中的白点信息判断第一混合光源条件是否满足；当第一混合光源条件满足时，再基于目标通道的频域信息中最大的至少两个振幅值及其对应的至少两个频率值，判断第二混合光源条件是否满足；当第二混合光源条件满足时，确定目标图像中包含至少两个光源；当第二混合光源条件不满足时，确定目标图像中只包含单一光源。如此，在判断混合光源时，除了第一混合光源条件，还增加了第二混合光源条件，避免了单独使用聚类方法判断混合光源时容易受到混淆色的干扰，提高了混合光源判断的准确率。
在上述实施例的技术上基于同一发明构思，本申请实施例中还提供了一种混合光源检测装置，如图10所示，该装置包括：
获取单元1001，用于获取图像采集单元1002采集的目标图像，以及色温传感器1003采集的目标通道的时域信息；
处理单元1004，用于基于预设的图像处理算法确定所述目标图像中的白点信息；对所述时域信息做时频变换得到所述目标通道的频域信息，再从所述频域信息中确定最大的至少两个振幅值，以及所述至少两个振幅值对应的至少两个频率值；
判断单元1005，用于基于所述白点信息判断所述第一混合光源条件满足时，基于所述至少两个振幅值和所述至少两个频率值，判断第二混合光源条件是否满足；
所述判断单元1005，用于当所述第二混合光源条件满足时，确定所述目标图像中包含至少两个光源；当所述第二混合光源条件不满足时，确定所述目标图像中只包含单一光源。
在一些实施例中，处理单元1004，具体用于获取所述目标图像中各个像素的通道数据的统计信息；根据所述统计信息并利用预设白平衡算法确定所述目标图像上的白点；利用预设聚类算法对所述目标图像上的白点进行聚类，得到至少两个簇。
在一些实施例中，所述第一混合光源条件包括：所述目标图像上的白点数量大于或者等于第一数量阈值，且所述至少两个簇中包含最多白点数量的簇与最少白点数量的簇的白点数量差值大于或者等于第二数量阈值。
在一些实施例中，所述第二混合光源条件包括：所述至少两个频率值中最大频率值和最小频率值之差大于第一频率阈值，且所述至少两个振幅值中每一个振幅值大于第一振幅阈值。
在一些实施例中，所述确定所述目标图像中只包含单一光源，包括：当所述第二混合光源条件不满足时，且单一光源条件满足时，确定所述目标图像中只包含单一光源。
在一些实施例中，所述单一光源条件为第一单一光源条件或第二单一光源条件；所述第一单一光源条件包括：所述至少两个频率值中每一个频率值大于第二频率阈值且小于第三频率阈值；所述至少两个振幅值中最小振幅值小于第二振幅阈值，最大振幅值大于第三振幅阈值；所述第二单一光源条件包括：所述至少两个频率值中最小频率值小于第四频率阈值，最大频率值大于第五频率阈值且小于第六频率阈值；所述至少两个振幅值中最小振幅值小于第四振幅阈值，最大振幅值大于第五振幅阈值。
在一些实施例中，处理单元1004，还用于当确定所述目标图像中包含至少两个光源时，采用分区图像处理策略对不同光源所在的区域进行分别处理。
在上述实施例的技术上基于同一发明构思，本申请实施例还提供了一种电子设备，如图11所示，该电子设备包括：处理器1101和配置为存储能够在处理器上运行的计算机程序的存储器1102；其中，
处理器1101运行存储器1102中计算机程序时实现以下步骤：
获取图像采集单元采集的目标图像，以及色温传感器采集的目标通道的时域信息；
基于预设的图像处理算法确定所述目标图像中的白点信息；对所述时域信息做时频变换得到所述目标通道的频域信息，再从所述频域信息中确定最大的至少两个振幅值，以及所述至少两个振幅值对应的至少两个频率值；
基于所述白点信息判断所述第一混合光源条件满足时，基于所述至少两个振幅值和所述至少两个频率值，判断第二混合光源条件是否满足；
当所述第二混合光源条件满足时，确定所述目标图像中包含至少两个光源；
当所述第二混合光源条件不满足时，确定所述目标图像中只包含单一光源。
在一些实施例中，处理器1101运行存储器1102中计算机程序时具体实现以下步骤：获取所述目标图像中各个像素的通道数据的统计信息；根据所述统计信息并利用预设白平衡算法确定所述目标图像上的白点；利用预设聚类算法对所述目标图像上的白点进行聚类，得到至少两个簇。
在一些实施例中，所述第一混合光源条件包括：所述目标图像上的白点数量大于或者等于第一数量阈值，且所述至少两个簇中包含最多白点数量的簇与最少白点数量的簇的白点数量差值大于或者等于第二数量阈值。
在一些实施例中，所述第二混合光源条件包括：所述至少两个频率值中最大频率值和最小频率值之差大于第一频率阈值，且所述至少两个振幅值中每一个振幅值大于第一振幅阈值。
在一些实施例中，处理器1101运行存储器1102中计算机程序时具体实现以下步骤：当所述第二混合光源条件不满足时，且单一光源条件满足时，确定所述目标图像中只包含单一光源。
在一些实施例中，所述单一光源条件为第一单一光源条件或第二单一光源条件；所述第一单一光源条件包括：所述至少两个频率值中每一个频率值大于第二频率阈值且小于第三频率阈值；所述至少两个振幅值中最小振幅值小于第二振幅阈值，最大振幅值大于第三振幅阈值；所述第二单一光源条件包括：所述至少两个频率值中最小频率值小于第四频率阈值，最大频率值大于第五频率阈值且小于第六频率阈值；所述至少两个振幅值中最小振幅值小于第四振幅阈值，最大振幅值大于第五振幅阈值。
在一些实施例中，处理器1101运行存储器1102中计算机程序时还实现以下步骤：当确定所述目标图像中包含至少两个光源时，采用分区图像处理策略对不同光源所在的区域进行分别处理。
当然，实际应用时，如图11所示，该电子设备中的各个组件通过总线***1103耦合在一起。可理解，总线***1103用于实现这些组件之间的连接通信。总线***1103除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图11中将各种总线都标为总线***1103。
实际应用中，电子设备上还可以包括图像采集单元和和色温传感器。
在实际应用中，上述处理器可以为特定用途集成电路(ASIC，ApplicationSpecific Integrated Circuit)、数字信号处理装置(DSPD，Digital Signal ProcessingDevice)、可编程逻辑装置(PLD，Programmable Logic Device)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的装置，用于实现上述处理器功能的电子器件还可以为其它，本申请实施例不作具体限定。
上述存储器可以是易失性存储器(volatile memory)，例如随机存取存储器(RAM，Random-Access Memory)；或者非易失性存储器(non-volatile memory)，例如只读存储器(ROM，Read-Only Memory)，快闪存储器(flash memory)，硬盘(HDD，Hard Disk Drive)或固态硬盘(SSD，Solid-State Drive)；或者上述种类的存储器的组合，并向处理器提供指令和数据。
本申请实施例还提供了一种计算机可读存储介质，用于存储计算机程序。
可选的，该计算机可读存储介质可应用于本申请实施例中的任意一种电子设备，并且该计算机程序使得计算机执行本申请实施例的各个方法中由处理器实现的相应流程，为了简洁，在此不再赘述。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储装置、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或装置实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或装置实施例。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种混合光源的检测方法，其特征在于，所述方法包括：
获取图像采集单元采集的目标图像，以及色温传感器采集的目标通道的时域信息；
基于预设的图像处理算法确定所述目标图像中的白点信息；对所述时域信息做时频变换得到所述目标通道的频域信息，再从所述频域信息中确定最大的至少两个振幅值，以及所述至少两个振幅值对应的至少两个频率值；
基于所述白点信息判断所述第一混合光源条件满足时，基于所述至少两个振幅值和所述至少两个频率值，判断第二混合光源条件是否满足；
当所述第二混合光源条件满足时，确定所述目标图像中包含至少两个光源；
当所述第二混合光源条件不满足时，确定所述目标图像中只包含单一光源。
2.根据权利要求1所述的方法，其特征在于，所述基于预设的图像处理算法确定所述目标图像中的白点信息，包括：
获取所述目标图像中各个像素的通道数据的统计信息；
根据所述统计信息并利用预设白平衡算法确定所述目标图像上的白点；
利用预设聚类算法对所述目标图像上的白点进行聚类，得到至少两个簇。
3.根据权利要求2所述的方法，其特征在于，所述第一混合光源条件包括：所述目标图像上的白点数量大于或者等于第一数量阈值，且所述至少两个簇中包含最多白点数量的簇与最少白点数量的簇的白点数量差值大于或者等于第二数量阈值。
4.根据权利要求1所述的方法，其特征在于，所述第二混合光源条件包括：
所述至少两个频率值中最大频率值和最小频率值之差大于第一频率阈值，且所述至少两个振幅值中每一个振幅值大于第一振幅阈值。
5.根据权利要求1所述的方法，其特征在于，所述确定所述目标图像中只包含单一光源，包括：
当所述第二混合光源条件不满足时，且单一光源条件满足时，确定所述目标图像中只包含单一光源。
6.根据权利要求5所述的方法，其特征在于，所述单一光源条件为第一单一光源条件或第二单一光源条件；
所述第一单一光源条件包括：所述至少两个频率值中每一个频率值大于第二频率阈值且小于第三频率阈值；所述至少两个振幅值中最小振幅值小于第二振幅阈值，最大振幅值大于第三振幅阈值；
所述第二单一光源条件包括：所述至少两个频率值中最小频率值小于第四频率阈值，最大频率值大于第五频率阈值且小于第六频率阈值；所述至少两个振幅值中最小振幅值小于第四振幅阈值，最大振幅值大于第五振幅阈值。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述方法还包括：
当确定所述目标图像中包含至少两个光源时，采用分区图像处理策略对不同光源所在的区域进行分别处理。
8.一种混合光源检测装置，其特征在于，所述装置包括：
获取单元，用于获取图像采集单元采集的目标图像，以及色温传感器采集的目标通道的时域信息；
处理单元，用于基于预设的图像处理算法确定所述目标图像中的白点信息；对所述时域信息做时频变换得到所述目标通道的频域信息，再从所述频域信息中确定最大的至少两个振幅值，以及所述至少两个振幅值对应的至少两个频率值；
判断单元，用于基于所述白点信息判断所述第一混合光源条件满足时，基于所述至少两个振幅值和所述至少两个频率值，判断第二混合光源条件是否满足；
所述判断单元，用于当所述第二混合光源条件满足时，确定所述目标图像中包含至少两个光源；当所述第二混合光源条件不满足时，确定所述目标图像中只包含单一光源。
9.一种电子设备，所述电子设备包括：处理器和配置为存储能够在处理器上运行的计算机程序的存储器，
其中，所述处理器配置为运行所述计算机程序时，执行权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911350260.0A CN113029363B (zh) | 2019-12-24 | 2019-12-24 | 一种混合光源的检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911350260.0A CN113029363B (zh) | 2019-12-24 | 2019-12-24 | 一种混合光源的检测方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113029363A true CN113029363A (zh) | 2021-06-25 |
| CN113029363B CN113029363B (zh) | 2022-08-16 |
Family
ID=76451926
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911350260.0A Active CN113029363B (zh) | 2019-12-24 | 2019-12-24 | 一种混合光源的检测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113029363B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101543084A (zh) * | 2006-11-30 | 2009-09-23 | Nxp股份有限公司 | 处理彩色图像数据的装置和方法 |
| CN105100576A (zh) * | 2014-04-21 | 2015-11-25 | 展讯通信（上海）有限公司 | 光源检测方法及装置 |
| CN107111046A (zh) * | 2014-12-02 | 2017-08-29 | 光学创新股份有限公司 | 高辐射发光二极管光引擎 |
| US20180070068A1 (en) * | 2016-09-06 | 2018-03-08 | Apple Inc. | Auto white balance control algorithm based upon flicker frequency detection |
| CN108156434A (zh) * | 2017-12-25 | 2018-06-12 | 广东欧珀移动通信有限公司 | 图像处理方法及装置、计算机可读存储介质和计算机设备 |
| CN109146855A (zh) * | 2018-08-01 | 2019-01-04 | Oppo广东移动通信有限公司 | 一种图像摩尔纹检测方法、终端设备及存储介质 |
| CN109327691A (zh) * | 2018-10-23 | 2019-02-12 | Oppo广东移动通信有限公司 | 图像拍摄方法、装置、存储介质及移动终端 |
| CN109348207A (zh) * | 2018-11-28 | 2019-02-15 | Oppo广东移动通信有限公司 | 色温调节方法、图像处理方法及装置、介质和电子设备 |
| CN109361910A (zh) * | 2018-10-23 | 2019-02-19 | 浙江宇视科技有限公司 | 自适应白平衡校正方法及装置 |
| WO2019170923A2 (en) * | 2018-03-09 | 2019-09-12 | Barco Nv | Color sensor for laser projector and methods of operation |
-
2019
- 2019-12-24 CN CN201911350260.0A patent/CN113029363B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101543084A (zh) * | 2006-11-30 | 2009-09-23 | Nxp股份有限公司 | 处理彩色图像数据的装置和方法 |
| CN105100576A (zh) * | 2014-04-21 | 2015-11-25 | 展讯通信（上海）有限公司 | 光源检测方法及装置 |
| CN107111046A (zh) * | 2014-12-02 | 2017-08-29 | 光学创新股份有限公司 | 高辐射发光二极管光引擎 |
| US20180070068A1 (en) * | 2016-09-06 | 2018-03-08 | Apple Inc. | Auto white balance control algorithm based upon flicker frequency detection |
| CN108156434A (zh) * | 2017-12-25 | 2018-06-12 | 广东欧珀移动通信有限公司 | 图像处理方法及装置、计算机可读存储介质和计算机设备 |
| WO2019170923A2 (en) * | 2018-03-09 | 2019-09-12 | Barco Nv | Color sensor for laser projector and methods of operation |
| CN109146855A (zh) * | 2018-08-01 | 2019-01-04 | Oppo广东移动通信有限公司 | 一种图像摩尔纹检测方法、终端设备及存储介质 |
| CN109327691A (zh) * | 2018-10-23 | 2019-02-12 | Oppo广东移动通信有限公司 | 图像拍摄方法、装置、存储介质及移动终端 |
| CN109361910A (zh) * | 2018-10-23 | 2019-02-19 | 浙江宇视科技有限公司 | 自适应白平衡校正方法及装置 |
| CN109348207A (zh) * | 2018-11-28 | 2019-02-15 | Oppo广东移动通信有限公司 | 色温调节方法、图像处理方法及装置、介质和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113029363B (zh) | 2022-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8164649B2 (en) | White balance adjusting device, imaging apparatus, and recording medium storing white balance adjusting program | |
| CN109361910B (zh) | 自适应白平衡校正方法及装置 | |
| ES2681294T3 (es) | Sistema de procesamiento de imágenes y medio de grabación legible por ordenador | |
| US10535124B2 (en) | Inverse tone mapping method and corresponding device | |
| EP3188481A1 (en) | Automatic white balance | |
| KR102356372B1 (ko) | 화이트 밸런스 처리 방법, 전자 장치 및 컴퓨터 판독 가능 저장 매체 | |
| CN102867295B (zh) | 一种彩色图像颜色校正方法 | |
| EP3657785A1 (en) | Image white balance processing method and apparatus, and terminal device | |
| CN104754239A (zh) | 拍照方法及装置 | |
| WO2018200067A1 (en) | Depth assisted auto white balance | |
| CN112669758B (zh) | 显示屏校正方法、装置、***和计算机可读存储介质 | |
| WO2007120321A2 (en) | Adaptive auto white balance | |
| CN111027489B (zh) | 图像处理方法、终端及存储介质 | |
| KR20170030933A (ko) | 영상 처리 장치 및 그것의 자동 화이트 밸런싱 방법 | |
| CN106651797B (zh) | 一种信号灯有效区域的确定方法和装置 | |
| WO2019085698A1 (zh) | 白平衡处理方法及装置、电子装置和计算机可读存储介质 | |
| US10055824B2 (en) | Image correction device, image correction method and storage medium | |
| CN109584175B (zh) | 一种图像处理方法及装置 | |
| CN105681775A (zh) | 一种白平衡方法和装置 | |
| CN109982012B (zh) | 图像处理方法及装置、存储介质、终端 | |
| JP2007097175A (ja) | ゾーン重み付け機能を備えたホワイトバランス機構 | |
| EP3363193B1 (en) | Device and method for reducing the set of exposure times for high dynamic range video imaging | |
| CN110334652A (zh) | 图像处理方法、电子设备及存储介质 | |
| KR20190080732A (ko) | 자동 화이트 밸런싱에서 조명 색도의 추정 | |
| CN113029363B (zh) | 一种混合光源的检测方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |