CN116055710B - 一种视频时域噪声的评估方法、装置及*** - Google Patents
一种视频时域噪声的评估方法、装置及*** Download PDFInfo
- Publication number
- CN116055710B CN116055710B CN202210957168.6A CN202210957168A CN116055710B CN 116055710 B CN116055710 B CN 116055710B CN 202210957168 A CN202210957168 A CN 202210957168A CN 116055710 B CN116055710 B CN 116055710B
- Authority
- CN
- China
- Prior art keywords
- video
- value
- frame
- color
- color block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供了一种视频时域噪声的评估方法、装置及***。根据该评估方法,对电子设备的视频时域噪声进行评估时,基于预设的算法,根据电子设备所拍摄的标准色卡的视频中像素点的L值、a值和b值,计算用于表征视频中每个色块组的时域噪声的第一评估值。再对各色块组的第一评估值进行权重加和计算,得到第二评估值,该第二评估值可以表征电子设备的视频时域噪声。通过该评估方法可以对不同电子设备的视频时域噪声进行评估,以为令各电子设备提供统一的视频时域噪声的评估标准。而且基于该评估方法得到的第二评估值,可以客观地表征电子设备的视频时域噪声。
Description
技术领域
本申请实施例涉及电子设备领域,尤其涉及一种视频时域噪声的评估方法、装置及***。
背景技术
使用电子设备拍摄视频时,每一帧画面的视频信号受到影响后会产生噪声,其中,如果前后帧画面的噪声不同,视频存在时域噪声。存在时域噪声的视频在播放视频时,视频画面将出现明显闪烁的噪点。
在评估电子设备的视频拍摄性能时,可以以视频时域噪声作为评估标准,即通过评估电子设备的视频时域噪声,评估电子设备的视频拍摄性能。例如:如果存在视频时域噪声、或者视频时域噪声较强,电子设备的视频拍摄性能较差。如果不存在视频时域噪声,或者存在视频时域噪声,但是视频时域噪声较弱,电子设备的视频拍摄性能较强。
目前对各电子设备的视频时域噪声并没有统一的评估标准,主要是根据电子设备所拍摄视频的播放效果,对电子设备的视频时域噪声进行评估。例如,通过肉眼观察电子设备所拍摄视频的视频画面是否存在闪烁的噪点、噪点的闪烁频率、噪点的亮度等,评估电子设备的视频时域噪声。这种对视频时域噪声的主观评估方式,并不能准确反映视频时域噪声的有无和强弱,进而导致对电子设备的视频拍摄性能的评估结果也不准确。
发明内容
本申请实施例提供了一种视频时域噪声的评估方法、装置及***,以为电子设备的视频时域噪声提供统一、客观的评估标准。
第一方面,本申请实施例提供了一种视频时域噪声的评估方法,该方法包括:
获取第一视频,该第一视频由待评估的电子设备拍摄标准色卡获得。标准色卡包括至少两个色块,其中,不同色块对应不同的灰度值。根据第一视频获取第二视频,该第二视频包括第一视频中指定帧对应的Lab图像。获取第二视频中每一帧Lab图像中每一个像素点对应的L值、a值和b值。根据每一帧Lab图像中每一个像素点对应的L值、a值和b值,计算第二视频中每个色块组的第一评估值,该第一评估值是指第二视频中各帧Lab图像中相同色块内各像素点对应的L值的方差、a值的方差和b值的方差的加权值,相同色块是指各帧Lab图像中位于相同位置的色块。该第一评估值用于表征第二视频中相应色块组的时域噪声。根据第二视频中每个色块组的第一评估值,计算第二视频的第二评估值。第二评估值是指第二视频中各色块组的第一评估值的加权值,该第二评估值用于表征所述电子设备的视频时域噪声。
根据上述方法,对电子设备的视频时域噪声进行评估时,基于预设的算法,根据电子设备所拍摄的标准色卡的视频中像素点的L值、a值和b值,计算用于表征视频时域噪声的评估值,以通过该评估值表征电子设备的视频时域噪声。该预设的算法可以用于对不同电子设备的视频时域噪声的评估,令各电子设备的视频时域噪声的评估标准具有统一性。并且,基于该预设的算法得到的评估值具有较强客观性,令各电子设备的视频时域噪声的评估结果具有较强客观性。
在一种实现方式中,第一视频包括一个第一视频片段,该第一视频片段由电子设备在至少两种光源参数下拍摄标准色卡获得。或者,第一视频包括至少两个第二视频片段,其中,每一个第二视频片段由电子设备在一种光源参数下拍摄标准色卡获得,该至少两个第二视频片段对应不同的光源参数。指定帧对应的Lab图像包括电子设备在每一种光源参数下拍摄标准色卡获得的图像。根据上述方法,如果需要测试电子设备在不同光源参数下的视频时域噪声,电子设备在一个第一视频片段中切换至少两种光源参数进行拍摄。如果需要测试电子设备在同一种光源参数下的视频时域噪声,电子设备在一个第二视频片段中仅在一种光源参数下进行拍摄。由此,可以采用不同的拍摄方式获取不同类型的视频,以针对电子设备在不同拍摄场景中的视频时域噪声进行评估。
在一种实现方式中,光源参数包括:光源的数量、光源的亮度、光源的色温。其中,如果存在多个光源,该多个光源为相同的光源,且该多个光源分散设置在标准色卡的周围,以使该多个光源的光线均匀分布在标准色卡上。根据上述方法,可以对电子设备在不同光源参数下的视频时域噪声进行评估,提高对电子设备的视频时域噪声评估的全面性。同时,通过保证多个光源的光线均匀分布在标准色卡上,以避免由于各色块上的亮度不同对评估过程产生影响,提高评估的准确性。
在一种实现方式中,根据第一视频获取第二视频,包括:从第一视频中提取指定帧对应的RGB图像。将每一指定帧对应的RGB图像转换为Lab图像。按照指定帧在第一视频的全部帧中的排序,排列各指定帧对应的Lab图像,得到第二视频。根据上述方法,将第一视频中的每一指定帧RGB图像转换为Lab图像,可以有效突出各帧图像的亮度特征。由于时域噪声与亮度相关,由此,根据Lab图像可以更加便于分析视频时域噪声,可以得到更加准确地分析结果。
在一种实现方式中,指定帧包括第一视频中的全部帧。或者,指定帧包括第一视频中的部分帧,该指定帧位于第一视频的指定时间段内,其中,该指定帧中相邻帧之间间隔的帧数为质数。根据上述方法,可以根据第一视频中的全部帧图像进行评估,以保证评估精度,也可以根据第一视频中的部分帧图像进行评估,以提高评估效率。并且,保证部分帧之间间隔的帧数为质数,以保证抽帧得到的第二视频不会受到编码过程的影响,以提高评估质量。
在一种实现方式中,在获取Lab图像中每一个像素点对应的L值、a值和b值之后,还包括:根据Lab图像中每一个像素点对应的L值,剔除无效的像素点或者无效的Lab图像。其中,无效的像素点是指Lab图像中与上一帧Lab图像和下一帧Lab图像中在相同位置上的像素点的L值的差值的绝对值均大于预设阈值的像素点。无效的Lab图像是指包括无效的像素点的Lab图像。根据上述方法,通过剔除无效的像素点或者无效的Lab图像的方式,以保证参与评估的像素点的有效性,避免无效的像素点对评估结果的影响,进而有效保证评估结果的准确性。
在一种实现方式中,根据每一帧Lab图像中每一个像素点对应的L值、a值和b值,计算第二视频中每个色块组的第一评估值之前,还包括:识别第二视频中第一帧Lab图像中的标记点,标记点预先设置于标准色卡上。根据标记点确定第一帧Lab图像中每一个色块的位置信息。根据第一帧Lab图像中每一个色块的位置信息,确定第二视频中其它Lab图像中每一个色块的位置信息,其中,其它Lab图像中每一个色块的位置信息与第一帧Lab图像中每一个色块的位置信息相同。根据第二视频中各帧Lab图像中每一个色块的位置信息,确定第二视频的每个色块组,第二视频的每个色块组包括各帧Lab图像中的相应色块。根据上述方法,基于第二视频中各帧Lab图像的连续性,仅需要识别第一帧Lab图像中每一个色块的位置信息,就可以快速获得第二视频中每一帧Lab图像中每个色块的位置信息,从而可以将各帧Lab图像中位于同一个位置的色块快速、准确地聚类,得到第二视频的每个色块组,以保证后续基于第二视频的每个色块组计算第一评估值的效率和准确性。
在一种实现方式中,根据每一帧Lab图像中每一个像素点对应的L值、a值和b值,计算第二视频中每个色块组的第一评估值,包括:计算第二视频中每个色块组内相同像素点组对应的L值的方差、a值的方差和b值的方差,相同像素点组包括各帧Lab图像中位于相同位置的像素点。计算第二视频中每个色块组内各相同像素点组的L值的方差的均值、a值的方差的均值和b值的方差的均值。根据L值、a值和b值的权重,计算第二视频中每个色块组内各相同像素点组的L值的方差的均值、a值的方差的均值和b值的方差的均值的加权值,得到第二视频中每个色块组的第一评估值。根据上述方法,通过计算第二视频中每个色块组内相同像素点组对应的L值的方差、a值的方差和b值的方差,以将第二视频中各帧Lab图像相关联,以表征第二视频中各像素点上时域噪声的变化情况。并且,可以通过每个色块组的第一评估值,表征第二视频中每个色块组上时域噪声的变化情况。
在一种实现方式中,L值的权重大于a值的权重,且L值的权重大于b值的权重。根据上述方法,可以通过权重计算,突出第二视频的L值,即更加突出第二视频的亮度特征。由此,可以有效提高评估第二视频中每个色块组的时域噪声的准确性。
在一种实现方式中,根据第二视频中每个色块组的第一评估值,计算第二视频的第二评估值,包括:根据色块组的权重,计算第二视频中每个色块组的第一评估值的加权值。色块组的权重与相应色块的灰度值相关,其中,色块的灰度值越小,相应色块组的权重越高。根据上述方法,通过权重计算获得的第二评估值可以将第二视频中每个色块组的时域噪声相关联,即第二评估值可以表征第二视频中各帧Lab图像的时域噪声的变化情况,也即可以客观、准确地表征第二视频的时域噪声。并且,由于灰度值越小,对光照的敏感度越高,即具有更加显著的亮度特征,由此可以通过提高灰度值较小的色块组的权重,以突出具有更加显著的亮度特征的色块组,从而有效提高评估第二视频的时域噪声的准确性。
第二方面,本申请实施例提供了一种视频时域噪声的评估装置,该装置包括:第一获取单元,用于获取第一视频,该第一视频由待评估的电子设备拍摄标准色卡获得。标准色卡包括至少两个色块,其中,不同色块对应不同的灰度值。第二获取单元,用于根据第一视频获取第二视频,该第二视频包括第一视频中指定帧对应的Lab图像。第三获取单元,用于获取第二视频中每一帧Lab图像中每一个像素点对应的L值、a值和b值。第一评估单元,用于根据每一帧Lab图像中每一个像素点对应的L值、a值和b值,计算第二视频中每个色块组的第一评估值,该第一评估值是指第二视频中各帧Lab图像中相同色块内各像素点对应的L值的方差、a值的方差和b值的方差的加权值,相同色块是指各帧Lab图像中位于相同位置的色块。该第一评估值用于表征第二视频中相应色块组的时域噪声。第二评估单元,用于根据第二视频中每个色块组的第一评估值,计算第二视频的第二评估值。第二评估值是指第二视频中各色块组的第一评估值的加权值,该第二评估值用于表征所述电子设备的视频时域噪声。
根据本申请实施例提供的视频时域噪声的评估装置,对电子设备的视频时域噪声进行评估时,基于预设的算法,根据电子设备所拍摄的标准色卡的视频中像素点的L值、a值和b值,计算用于表征视频的时域噪声的评估值,以通过该评估值表征电子设备的视频时域噪声。该预设的算法可以用于对不同电子设备的视频时域噪声的评估,令各电子设备的视频时域噪声的评估标准具有统一性。并且,基于该预设的算法得到的评估值具有较强客观性,令各电子设备的视频时域噪声的评估结果具有较强客观性。
在一种实现方式中,第一视频包括一个第一视频片段,该第一视频片段由电子设备在至少两种光源参数下拍摄标准色卡获得。或者,第一视频包括至少两个第二视频片段,其中,每一个第二视频片段由电子设备在一种光源参数下拍摄标准色卡获得,该至少两个视频片段对应不同的光源参数。指定帧对应的Lab图像包括电子设备在每一种光源参数下拍摄标准色卡获得的图像。这样,如果需要测试电子设备在不同光源参数下的视频时域噪声,电子设备在一个第一视频片段中切换至少两种光源参数进行拍摄。如果需要测试电子设备在同一种光源参数下的视频时域噪声,电子设备在一个第二视频片段中仅在一种光源参数下进行拍摄。由此,可以采用不同的拍摄方式获取不同类型的视频,以针对电子设备在不同拍摄场景下的视频时域噪声进行评估。
在一种实现方式中,光源参数包括:光源的数量、光源的亮度、光源的色温。其中,如果存在多个光源,该多个光源为相同的光源,且该多个光源分散设置在标准色卡的周围,以使该多个光源的光线均匀分布在标准色卡上。这样,可以对电子设备在不同光源参数下的视频时域噪声进行评估,提高对电子设备的视频时域噪声评估的全面性。同时,通过保证多个光源的光线均匀分布在标准色卡上,以避免由于各色块上的亮度不同对评估过程产生影响,提高评估的准确性。
在一种实现方式中,第二获取单元用于从第一视频中提取指定帧对应的RGB图像。第二获取单元还用于将每一指定帧对应的RGB图像转换为Lab图像。第二获取单元还用于按照指定帧在第一视频的全部帧中的排序,排列各指定帧对应的Lab图像,得到第二视频。这样,将第一视频中的每一指定帧RGB图像转换为Lab图像,可以有效突出各帧图像的亮度特征。由于时域噪声与亮度相关,由此,根据Lab图像可以更加便于分析视频的时域噪声,可以得到更加准确地分析结果。
在一种实现方式中,指定帧包括第一视频中的全部帧。或者,指定帧包括第一视频中的部分帧,该指定帧位于第一视频的指定时间段内,其中,该指定帧中相邻帧之间间隔的帧数为质数。这样,可以根据第一视频中的全部帧图像进行评估,以保证评估精度,也可以根据第一视频中的部分帧图像进行评估,以提高评估效率。并且,保证部分帧之间间隔的帧数为质数,以保证抽帧得到的第二视频不会受到编码过程的影响,以提高评估质量。
在一种实现方式中,第三获取单元在获取Lab图像中每一个像素点对应的L值、a值和b值之后,还用于根据Lab图像中每一个像素点对应的L值,剔除无效的像素点或者无效的Lab图像。其中,无效的像素点是指Lab图像中与上一帧Lab图像和下一帧Lab图像中在相同位置上的像素点的L值的差值的绝对值均大于预设阈值的像素点。无效的Lab图像是指包括无效的像素点的Lab图像。这样,通过剔除无效的像素点或者无效的Lab图像的方式,以保证参与评估的像素点的有效性,避免无效的像素点对评估结果的影响,进而有效保证评估结果的准确性。
在一种实现方式中,第一评估单元在根据每一帧Lab图像中每一个像素点对应的L值、a值和b值,计算第二视频中每个色块的第一评估值之前,还用于识别第二视频中第一帧Lab图像中的标记点,标记点预先设置于标准色卡上。根据标记点确定第一帧Lab图像中每一个色块的位置信息。第一评估单元还用于根据第一帧Lab图像中每一个色块的位置信息,确定第二视频中其它Lab图像中每一个色块的位置信息,其中,其它Lab图像中每一个色块的位置信息与第一帧Lab图像中每一个色块的位置信息相同。第一评估单元还用于根据第二视频中各帧Lab图像中每一个色块的位置信息,确定第二视频的每个色块组,第二视频的每个色块组包括各帧Lab图像中的相应色块。这样,基于第二视频中各帧Lab图像的连续性,仅需要识别第一帧Lab图像中每一个色块的位置信息,就可以快速获得第二视频中每一帧Lab图像中每个色块的位置信息,从而可以将各帧Lab图像中位于同一个位置的色块快速、准确地聚类,得到第二视频的每个色块组,以保证后续基于第二视频的每个色块组计算第一评估值的效率和准确性。
在一种实现方式中,第一评估单元根据每一帧Lab图像中每一个像素点对应的L值、a值和b值,计算第二视频中每个色块的第一评估值时,用于计算第二视频中每个色块组内相同像素点组对应的L值的方差、a值的方差和b值的方差,相同像素点组包括各帧Lab图像中位于相同位置的像素点。第一评估单元还用于计算第二视频中每个色块组内各相同像素点组的L值的方差的均值、a值的方差的均值和b值的方差的均值。第一评估单元还用于根据L值、a值和b值的权重,计算第二视频中每个色块组内各相同像素点组的L值的方差的均值、a值的方差的均值和b值的方差的均值的加权值,得到第二视频中每个色块组的第一评估值。这样,通过计算第二视频中每个色块组内相同像素点组对应的L值的方差、a值的方差和b值的方差,以将第二视频中各帧Lab图像相关联,以表征第二视频中各像素点上时域噪声的变化情况。并且,可以通过每个色块组的第一评估值,表征第二视频中每个色块组上时域噪声的变化情况。
在一种实现方式中,L值的权重大于a值的权重,且L值的权重大于b值的权重。这样,可以通过权重计算,突出第二视频的L值,即更加突出第二视频的亮度特征。由此,可以有效提高评估第二视频中每个色块组的时域噪声的准确性。
在一种实现方式中,第二评估单元根据第二视频中每个色块的第一评估值,计算第二视频的第二评估值时,用于根据色块组的权重,计算第二视频中每个色块组的第一评估值的加权值。色块组的权重与相应色块的灰度值相关,其中,色块的灰度值越小,相应色块组的权重越高。这样,通过权重计算获得的第二评估值可以将第二视频中每个色块组的时域噪声相关联,即第二评估值可以表征第二视频中各帧Lab图像的时域噪声的变化情况,也即可以客观、准确地表征第二视频的时域噪声。并且,由于灰度值越小,对光照的敏感度越高,即具有更加显著的亮度特征,由此可以通过提高灰度值较小的色块组的权重,以突出具有更加显著的亮度特征的色块组,从而有效提高评估第二视频的时域噪声的准确性。
第三方面,本申请实施例提供了一种视频时域噪声的评估***,该***包括:电子设备的架设装置、标准色卡、光源和终端设备。该终端设备包括存储器和处理器。其中,架设装置用于安装待评估的电子设备。标准色卡包括至少两个色块,其中,不同色块对应不同的灰度值。光源用于为标准色卡提供均匀的光照。存储器存储有程序指令,当程序指令被处理器执行时,使得终端设备执行上述各方面及其各个实现方式中的方法。
第四方面,本申请实施例提供了一种终端设备,包括:处理器和存储器;存储器存储有程序指令,当程序指令被处理器执行时,使得用户设备执行上述各方面及其各个实现方式中的方法。
第五方面,本申请实施例还提供了一种芯片***,该芯片***包括处理器和存储器,存储器存储有程序指令,当程序指令被处理器执行时,使得芯片***执行上述各方面及其各个实现方式中的方法。例如,生成或处理上述方法中所涉及的信息。
第六方面,本申请实施例还提供一种计算机可读存储介质,计算机可读存储介质中存储有程序指令,当程序指令在计算机上运行时,使得计算机执行上述各方面及其各个实现方式中的方法。
附图说明
图1是本申请实施例提供的视频时域噪声的评估***的结构示意图;
图2是本申请实施例提供的电子设备拍摄标准色卡得到的视频中的一帧图像的示意图;
图3是本申请实施例提供的视频时域噪声的评估***的另一种结构示意图;
图4是本申请实施例提供的终端设备的结构示意图;
图5是本申请实施例提供的视频时域噪声的评估方法500的流程图;
图6是本申请实施例提供的视频时域噪声的评估方法500中获取第二视频的方法600的流程图;
图7是本申请实施例提供的视频时域噪声的评估方法500中确定第二视频中每个色块组的方法700的流程图;
图8是本申请实施例提供的视频时域噪声的评估方法500中计算第二视频中每个色块组的第一评估值的方法800的流程图;
图9是本申请实施例提供的视频时域噪声的评估方法500的一个示例图;
图10是本申请实施例提供的在色块上构建二维坐标系的示意图;
图11是本申请实施例提供的一种视频时域噪声的评估装置的结构示意图;
图12是本申请实施例提供的另一种视频时域噪声的评估装置的结构示意图。
具体实施方式
本申请说明书和权利要求书及附图说明中的术语“第一”、“第二”和“第三”等是用于区别不同对象,而不是用于限定特定顺序。
在本申请实施例中,“示例性的”或者“例如”等词用于表示作示例、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本申请的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释,而非旨在限定本申请,下面将结合附图对本申请的实施例进行详细描述。
在评估电子设备的视频拍摄性能时,可以以电子设备的视频时域噪声作为评估标准,即通过评估电子设备所拍摄视频的视频时域噪声,评估电子设备的视频拍摄性能。例如:如果存在视频时域噪声、或者视频时域噪声较强,电子设备的视频拍摄性能较差。如果不存在视频时域噪声,或者存在视频时域噪声,但是视频时域噪声较弱,电子设备的视频拍摄性能较强。
目前对各电子设备的视频时域噪声并没有统一的评估标准,主要是根据电子设备所拍摄视频的播放效果,对电子设备的视频时域噪声进行评估。例如,通过肉眼观察电子设备所拍摄视频的视频画面是否存在闪烁的噪点、噪点的闪烁频率、噪点的亮度等,评估电子设备的视频时域噪声。这种对视频时域噪声的主观评估方式,并不能准确反映视频时域噪声的有无和强弱,进而导致对电子设备的视频拍摄性能的评估结果也不准确。
为了解决上述问题,本申请提供一种视频时域噪声的评估***,用于评估各电子设备的视频时域噪声。图1是本申请实施例提供的视频时域噪声的评估***100的示意图。如图1所示,视频时域噪声的评估***100包括电子设备11的架设装置12、标准色卡13、光源14和终端设备15。
其中,电子设备11具备视频拍摄功能,电子设备11可以为手机、摄像机、数码相机等。
架设装置12可以为支架、平台等装置。架设装置12用于安装待评估的电子设备11,架设装置12可以手动或者自动调节高度,以调节电子设备11距离水平面的高度。架设装置12还可以手动或者自动调节其与标准色卡13之间的距离,以调节电子设备11与标准色卡13之间的距离。架设装置12还可以手动或者自动调节其与标准色卡13之间的角度,以调节电子设备11与标准色卡13之间的角度。通过调节架设装置12的高度、与标准色卡13之间的距离、以及与标准色卡13之间的距离,以令电子设备11对焦于标准色卡13上,且保证标准色卡13的全部内容均展示于电子设备11的取景框内。利用架设装置12,可以保证不同型号、不同类型的电子设备11均可以对焦于标准色卡13上,且保证标准色卡13的全部内容均展示于电子设备11的取景框内,从而实现对不同的电子设备11的视频时域噪声的评估。
标准色卡13包括至少两个色块,其中,不同色块对应不同的灰度值,以令电子设备11可以同时拍摄对应不同灰度值的物体,进而可以测试电子设备11拍摄不同灰度值的物体的视频拍摄能力。在一些实施例中,标准色卡13包括标记点,该标记点用于识别标准色卡13在电子设备11的取景框内的位置信息,如位置坐标、角度等。该标记点还用于识别标准色卡13的全部内容均展示于电子设备11的取景框内,由此,标记点至少位于标准色卡13的全部内容的外轮廓上。以标准色卡13包括第一色块131、第二色块132和第三色块133(灰度值越高颜色越深),标准色卡13包括左上角标记点134、左下角标记点135、右上角标记点136和右下角标记点137,该四个标记点分别位于标准色卡13的四个顶角,且该四个标记点均位于三个色块的外部为例进行说明。图2为电子设备11拍摄标准色卡13得到的视频中的一帧图像的示意图,通过识别四个标记点是否均位于电子设备11的取景框201内,判断标准色卡13的三个色块是否全部位于取景框201内。其中,如图2所示,如果四个标记点均位于电子设备11的取景框201内,标准色卡13的三个色块全部位于取景框201内。通过识别四个标记点在电子设备11的取景框201内的位置信息,判断标准色卡13的三个色块在取景框201内的位置信息。例如:左上角标记点134位于取景框201的左上角,左下角标记点135位于取景框201的左下角,右上角标记点136位于取景框201的右上角,右下角标记点137位于取景框201的右下角。根据该四个标记点与三个色块的位置关系,可以确定三个色块在取景框201中的位置信息,也即三个色块在拍摄得到的图像中的位置信息。如从左至右依次为第一色块131、第二色块132和第三色块133。
光源14用于为标准色卡13提供光照。通过调整光源14的光源参数,可以调整标准色卡13的光效,光源参数可以包括:光源14的数量、光源14的亮度、光源14的色温等。例如:同样的光源14的亮度,光源14的数量越多,标准色卡13上的亮度就越高。同样的光源14的数量,光源14的亮度越高,标准色卡13上的亮度就越高。光源14可以为一个或者多个,由光源14为标准色卡13提供均匀的光照,以避免由于标准色卡13(各色块)上的亮度不同对后续评估过程产生影响,提高评估的准确性。如图1所示,视频时域噪声的评估***100仅包括一个光源14,由该一个光源14为标准色卡13提供均匀的光照。如果光源14为多个,该多个光源14为相同的光源14,即该多个光源14的亮度、色温等参数均相同。并且,该多个光源14均匀分散于标准色卡13周围,以令该多个光源14的光线可以均匀分布在标准色卡13上,即由该多个光源14为标准色卡13提供均匀的光照。以两个光源14为例进行说明,如图3所示,视频时域噪声的评估***100包括两个光源14,该两个光源14均匀分布于标准色卡13的周围,为标准色卡13提供均匀的光照。
在一些实施例中,如图1和图3所示,评估***还可以包括背景板16。在电子设备11拍摄标准色卡13的过程中,背景板16作为标准色卡13的底色,拍摄所得图像中除标准色卡13的图像以外,均为背景板16的图像,通过背景板16可以为第一视频中每一帧图像提供统一的背景图像,以避免背景图像对后续评估产生影响。
终端设备15用于根据电子设备11拍摄到的视频评估电子设备11的视频拍摄能力。在本申请实施例中,终端设备15可以是计算机、摄像机等。图4为本申请实施例的终端设备15的硬件结构示意图。如图4所示,终端设备15可以包括处理器110、外部存储器接口120、内部存储器121、通用串行总线(universal serial bus,USB)接口130、充电管理模块140、电源管理模块141、电池142、天线1、天线2、移动通信模块150、无线通信模块160、音频模块170、扬声器170A、受话器170B、麦克风170C、耳机接口170D、传感器模块180、按键190、马达191、指示器192、摄像头193、显示屏194、以及SIM卡接口195等。传感器模块180可以包括压力传感器180A、陀螺仪传感器180B、气压传感器180C、磁传感器180D、加速度传感器180E、距离传感器180F、接近光传感器180G、指纹传感器180H、温度传感器180J、触摸传感器180K、环境光传感器180L、骨传导传感器180M等。
可以理解的是,图4所示意的结构并不构成对终端设备15的具体限定。在本申请的另一实施例中,终端设备15可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件、软件、或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元。例如,处理器110可以包括应用处理器(Application Processor,AP)、调制解调器(Modem)、图形处理器(Graphics ProcessingUnit,GPU)、图像信号处理器(Image Signal Processor,ISP)、控制器、视频编解码器、数字信号处理器(Digital Signal Processor,DSP)、基带处理器、和/或神经网络处理器(Neural-network Processing Unit,NPU)等。不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
充电管理模块140用于从充电器接收充电输入。充电器可以是无线充电器,也可以是有线充电器。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110、内部存储器121、显示屏194、摄像头193和无线通信模块160等供电。
终端设备15的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。终端设备15中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。
移动通信模块150可以提供应用在终端设备15上的包括2G/3G/4G/5G等无线通信的解决方案。
无线通信模块160可以提供应用在终端设备15上的包括WLAN(如Wi-Fi网络)、BT、全球导航卫星***(Global Navigation Satellite System,GNSS)、调频(FrequencyModulation,FM)、近距离无线通信技术(Near Field Communication,NFC)、红外技术等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频、放大,经天线2转为电磁波辐射出去。
在一些实施例中,在无线通信模块160提供蓝牙通信的示例中,无线通信模块160具体可以是蓝牙芯片。该蓝牙芯片可以包括一个或多个存储器、以及一个或多个处理器等。该蓝牙芯片中的处理器可以对经由天线2所接收的电磁波进行调频、滤波、运算、判断等操作,并将处理后的信号经由天线2转为电磁波辐射出去,即无需处理器110进行处理。
终端设备15通过GPU、显示屏194以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。
显示屏194用于显示图像或者视频等。终端设备15的显示屏194上可以显示一系列图形用户界面(Graphical User Interface,GUI)。
终端设备15可以通过ISP、摄像头193、视频编解码器、GPU、显示屏194以及应用处理器等实现拍摄功能。
摄像头193用于捕获静态图像或视频。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,以实现扩展终端设备15的存储能力。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行终端设备15的各种功能应用以及数据处理。
终端设备15可以通过音频模块170、扬声器170A、受话器170B、麦克风170C、耳机接口170D以及应用处理器等实现音频功能,例如音乐播放、录音等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过***SIM卡接口195,或从SIM卡接口195拔出,以实现和终端设备15的接触和分离。终端设备15可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡、Micro SIM卡、SIM卡等。同一个SIM卡接口195可以同时***多张卡。SIM卡接口195也可以兼容外部存储卡。终端设备15通过SIM卡和网络交互,实现通话以及数据通信等功能。
在上述部件之上,运行有操作***,例如iOS操作***、安卓操作***、视窗(windows)操作***等。在该操作***上可以安装并且运行应用程序。在另一些实施例中,终端设备15内运行的操作***可以有多个。
终端设备15分别与电子设备11、标准色卡13的支架、光源14电连接/通信连接,可以由终端设备15控制电子设备11、标准色卡13的支架和光源14。例如:终端设备15控制电子设备11拍摄标准色卡13的视频,并获取该视频。终端设备15控制用于安装标准色卡13的支架,以调整标准色卡13的位置信息。终端设备15控制光源14的光源参数,以满足评估需求。
为了更加统一、客观地评估电子设备11的视频时域噪声,本申请实施例提供了一种视频时域噪声的评估方法,终端设备15可以按照该评估方法评估电子设备11的视频时域噪声。图5是本申请实施例提供的方法500的流程图。如图5所示,方法500包括以下步骤S501-步骤S505:
步骤S501,获取第一视频。
第一视频是指由待评估的电子设备11拍摄标准色卡13获得的原始视频。第一视频内的各帧图像均为三原色RGB图像。电子设备11启动摄像功能之后,在每一种光源参数下为标准色卡13拍摄指定时长的视频,得到第一视频。
根据对电子设备不同的视频时域噪声的评估需求,用于评估的第一视频的类型也不同,相应的,电子设备11采集第一视频的方式也不同。
在一种实现方式中,电子设备11启动摄像功能之后,为标准色卡13拍摄一段视频,即拍摄一个第一视频片段,然后关闭摄像功能,得到第一视频。电子设备11在拍摄该第一视频片段的过程中,光源14切换至少两种光源参数。其中,电子设备11在每一种光源参数下为标准色卡13拍摄指定时长的视频。该第一视频同时包含电子设备11在不同光源参数下连续拍摄标准色卡13所获得的图像,可以反映电子设备11的视频时域噪声受光源参数影响的变化特征。由此,该第一视频可以用于评估电子设备11在不同光源参数下的视频时域噪声。其中,综合电子设备11对标准色卡13中不同灰度值的色块的拍摄视频,可以避免电子设备11仅针对单一灰度值进行拍摄所产生的偶然性,从而可以提高电子设备11所拍摄的视频的可参考性。
在另一种实现方式中,电子设备11启动摄像功能之后,在第一种光源参数下为标准色卡13拍摄第一段视频,即拍摄第一个第二视频片段,然后关闭摄像功能。将第一种光源参数切换至第二种光源参数,开启电子设备11的摄像功能,在第二种光源参数下为标准色卡13拍摄第二段视频,即拍摄第二个第二视频片段,然后关闭摄像功能。重复上述拍摄过程,得到N(N为大于0的正整数,N与预设的光源参数的数量相等)个第二视频片段,该N个第二视频片段为第一视频。该第一视频由N个相互独立的第二视频片段组成,且每一个第二视频片段仅对应一种光源参数,主要反映电子设备11对于不同灰度值的视频时域噪声。由此,该第一视频中的每一个第二视频片段可以用于评估电子设备11对于不同灰度值的视频时域噪声。其中,综合电子设备11在多种光源参数下拍摄的各段视频,可以避免电子设备11仅在单一光源参数下拍摄所产生的偶然性,从而可以提高电子设备11所拍摄的视频的可参考性。
步骤S502,根据第一视频获取第二视频。第二视频包括第一视频中指定帧对应的Lab图像。
RGB图像主要是通过红色R通道、绿色G通道和蓝色B通道表征图像中各像素点的色彩值,也即RGB图像主要突出像素点的色彩特征。如果视频存在时域噪声,视频中会出现明显闪烁的噪点(出现时域噪声的像素点)。由时域噪声的表现形式可知,时域噪声与像素点的亮度强相关。为了更加准确地表征视频的时域噪声,可以突出像素点的亮度特征,由此,在一些实施例中,可以将RGB图像转换为Lab图像,并根据Lab图像来评估时域噪声。Lab图像是指在Lab颜色模型下的图像,Lab颜色模型由三个要素组成,即亮度L通道、以及a和b两个颜色通道,其中,a通道包括的颜色是从深绿色(低亮度值)到灰色(中亮度值)再到亮粉红色(高亮度值);b通道包括的颜色是从亮蓝色(低亮度值)到灰色(中亮度值)再到黄色(高亮度值)。可见,Lab图像在L通道、a通道和b通道上的色彩值(分别简称为L值、a值和b值),均可以表征亮度特征。由此,根据Lab图像可以更加准确地评估时域噪声。
将第一视频中的指定帧RGB图像转换为Lab图像,以根据这些指定帧Lab图像评估时域噪声。
图6是本申请实施例提供的获取第二视频的方法600的流程图。如图6所示,方法600包括以下步骤S601-步骤S603:
步骤S601,从第一视频中提取指定帧对应的RGB图像。
在一种实现方式中,可以将第一视频中的全部帧均作为指定帧,即将第一视频中的全部帧RGB图像均转换为Lab图像,得到第二视频。由此,将完整的视频作为时域噪声的评估基础,可以通过提高参与评估的数据的数量和完整性,以提高评估的准确性。
在另一种实现方式中,可以将第一视频中的部分帧作为指定帧,即将第一视频中的部分帧RGB图像转换为Lab图像,由这些Lab图像按照对应帧的顺序组成第二视频。指定帧可以是第一视频的全部帧中位于指定位序的帧,例如:第一视频包括100帧图像,指定帧包括第1、10、20、30、40、50、60、70、80、90、100帧。指定帧还可以是位于第一视频的指定时间段内的帧,且指定帧中相邻帧之间间隔指定帧数。例如:第一视频共计10秒,指定帧位于第一视频的第3-6秒,假设第一视频的第3-6秒包括全部帧中的第30-60帧,如果指定帧中相邻帧之间间隔3帧,指定帧包括第30、33、36、39、42、45、48、51、54、57、60帧。在一些实施例中,指定帧中相邻帧之间间隔的帧数为质数,以适应编码约束。
步骤S602,将每一指定帧对应的RGB图像转换为Lab图像。
可以借助于XYZ颜色模型,将RGB图像转换为Lab图像。例如:可以将指定帧对应的RGB图像进行三通道拆解,得到对应于R通道的图像、对应于G通道的图像和对应于B通道的图像,并由R通道的图像、G通道的图像和B通道的图像对应的色彩值组成RGB图像的特征向量。RGB颜色模型与XYZ颜色模型之间的关系满足,RGB图像的特征向量与预设系数矩阵的乘积等于XYZ图像的特征向量,其中,预设系数中对应于每个通道的系数的加和约等于1。由此,可以得到XYZ图像的特征向量。根据预设的XYZ颜色模型到Lab颜色模型的转换公式,可以根据XYZ图像的特征向量,计算得到在L通道、a通道和b通道上的数值,完成从RGB图像到Lab图像的转换。
可以按照上述过程将每一指定帧对应的RGB图像转换为Lab图像。
步骤S603,按照指定帧在第一视频的全部帧中的排序,排列各指定帧对应的Lab图像,得到第二视频。
由于时域噪声涉及的是前后帧之间噪声的变化,因此需要严格保证第二视频中各帧Lab图像的时序性,即严格保证第二视频中各帧Lab图像的前后帧顺序,由此保证时域噪声的评估有效性。
可以按照指定帧在第一视频的全部帧中的排序,排列各指定帧对应的Lab图像,以保证各帧Lab图像之间的时序性。例如:指定帧包括第一视频中的第1、10、20、30、40、50、60、70、80、90、100帧,按照1、10、20、30、40、50、60、70、80、90、100的顺序排列第1、10、20、30、40、50、60、70、80、90、100帧对应的Lab图像,得到第二视频。
步骤S503,获取第二视频中每一帧Lab图像中每一个像素点对应的L值、a值和b值。
可以将每一帧Lab图像按照L通道、a通道和b通道进行拆解,得到对应于L通道、a通道和b通道的图像。其中,对应于L通道的图像反映Lab图像的L值,对应于a通道的图像反映Lab图像的a值,对应于b通道的图像反映Lab图像的b值。将对应于L通道的图像按照像素点进行拆解,可以得到每一个像素点的L值。将对应于a通道的图像按照像素点进行拆解,可以得到每一个像素点的a值。将对应于b通道的图像按照像素点进行拆解,可以得到每一个像素点的b值。
在一些实施例中,在获取到Lab图像中每一个像素点对应的L值之后,可以根据每一个像素点对应的L值,剔除无效的像素点或者无效的Lab图像,以对Lab图像进行优化处理,保证优化处理后的Lab图像的有效性,进而保证根据优化处理后的Lab图像评估时域噪声的有效性。
无效的像素点是指Lab图像中与上一帧Lab图像和下一帧Lab图像中在相同位置上的像素点的L值的差值的绝对值均大于预设阈值的像素点。以第二视频中的第i帧Lab图像,第二视频中的每一帧Lab图像均包括10×10个像素点为例进行说明,第i帧Lab图像的上一帧Lab图像为第二视频中的第i-1帧Lab图像,第i帧Lab图像的下一帧Lab图像为第二视频中的第i+1帧Lab图像。可以以二维坐标表示各像素点在Lab图像中的位置,其中,各像素点均位于第一象限,且位于Lab图像中左下角的像素点的坐标为(1,1)。由此,可以确定第i-1帧Lab图像中,和第i+1帧Lab图像中与第i帧Lab图像中各像素点位于相同位置上的像素点。例如:第i-1帧Lab图像中位于(1,1)上的像素点,和第i+1帧Lab图像中位于(1,1)上的像素点与第i帧Lab图像中位于(1,1)上的像素点为相同位置上的像素点。分别计算第i帧图像中每一个像素点与第i-1帧图像中相同位置上的像素点的L值的差值,以及第i帧图像中每一个像素点与第i+1帧图像中相同位置上的像素点的L值的差值,并计算所得差值的绝对值。该绝对值代表第i帧图像与前后帧图像在每一个像素点上L值的变化情况,其中,如果所得差值的绝对值大于预设阈值,L值的变化较大,即相应像素点的L值变化不正常,该像素点不适合作为评估时域噪声的像素点,也就是无效的像素点。
根据上述方式,可以识别到第二视频中每一帧Lab图像中的无效的像素点。
在一种实现方式中,可以将每一帧Lab图像中的无效的像素点剔除,仅保留剩余像素点(有效的像素点)进行后续的评估过程。这样,可以精确剔除无效的像素点,并保证有效的像素点的数量,以保证后续评估时域噪声的准确性。
在另一种实现方式中,将包含无效的像素点的Lab图像称为无效的Lab图像,将无效的Lab图像剔除,仅保留剩余Lab图像(全部为有效的像素点的Lab图像)进行后续的评估过程。这样,可以有效避免无效的Lab图像中无效的像素点对周围的像素点的影响,以进一步保证参与时域噪声的评估过程的像素点的有效性。
在另一种实现方式中,如果一帧Lab图像中无效的像素点的数量小于或者等于数量阈值,保留该帧Lab图像,仅剔除该帧Lab图像中的无效的像素点。如果一帧Lab图像中无效的像素点的数量大于该数量阈值,提出该无效的Lab图像。这样,可以通过无效的像素点的数量来判断是否需要提出相应帧Lab图像,既可以避免同一帧Lab图像中出现过多的无效的像素点,导致即使剔除无效的像素点,也难以保证剩余像素点的有效性,以及过少的有效的像素点很难准确表征该帧Lab图像的问题,又可以通过保留有效的像素点较多的Lab图像,以保证参与时域噪声的评估的Lab图像的数量,以及最终参与时域噪声的评估的第二视频中各帧Lab图像的连续性。
步骤S504,根据每一帧Lab图像中每一个像素点对应的L值、a值和b值,计算第二视频中每个色块组的第一评估值。
第一评估值是指第二视频中各帧Lab图像中相同色块内各像素点对应的L值的方差、a值的方差和b值的方差的加权值。其中,相同色块是指各帧Lab图像中位于相同位置的色块。
图7是本申请实施例提供的确定第二视频中每个色块组的方法700的流程图。如图7所示,方法700包括以下步骤S701-步骤S704:
步骤S701,识别第二视频中第一帧Lab图像中的标记点。
第一帧Lab图像中的标记点是指对上文中标准色卡13中的标记点拍摄的图像。可以通过图像识别等技术,识别第一帧Lab图像中的标记点。以标准色卡13包括m个色块,标准色卡的四个顶角分别存在一个标记点,其中,第1个色块的左上角为左上角标记点,第1个色块的左下角为左下角标记点,第m个色块的右上角为右上角标记点,第m个色块的右下角为右下角标记点,以电子设备11拍摄该标准色卡13得到的第i帧RGB图像对应的Lab图像为第二视频中的第一帧Lab图像为例。可以通过图像识别技术识别该帧Lab图像中的四个标记点。例如:左上角标记点位于该帧Lab图像中的左上角,左下角标记点位于该帧Lab图像中的左下角,右上角标记点位于该帧Lab图像中的右上角,右下角标记点位于该帧Lab图像中的右下角。
步骤S702,根据标记点确定第一帧Lab图像中每一个色块的位置信息。
可以结合识别到的标记点,以及标准色卡13中标记点与每个色块的位置关系,确定第一帧Lab图像中每一个色块的位置信息时。接上例,可以准确确定该帧Lab图像中的m个色块从左至右依次为第1个色块、第2个色块…、第m个色块。
步骤S703,根据第一帧Lab图像中每一个色块的位置信息,确定第二视频中其它Lab图像中每一个色块的位置信息。
在拍摄标准色卡13的过程中,标准色卡13的样式不会发生变化,即标准色卡13中各色块的位置不会发生变化,由此,视频的每一帧图像中标准色卡13中各色块的位置信息不会发生变化。接上例,如果第二视频包括p帧Lab图像,基于第一帧Lab图像中m个色块的位置信息,可以确定其余各帧Lab图像中m个色块的位置信息也为从左至右依次为第1个色块、第2个色块…、第m个色块。由此,无需识别每一帧Lab图像中色块的位置信息,仅需要确定第一帧Lab图像中每一个色块的位置信息,就可以快速、准确地确定其它帧Lab图像中每一个色块的位置信息。
步骤S704,根据第二视频中各帧Lab图像中每一个色块的位置信息,确定第二视频的每个色块组。
第二视频的每个色块组包括各帧Lab图像中的相应色块,也就是说,第二视频的每个色块组是各帧Lab图像中位于相同位置的色块的集合。仍接上例:如果各帧Lab图像中m个色块的位置信息为从左至右依次为第1个色块、第2个色块…、第m个色块,第二视频的第1个色块组包括p帧Lab图像中的第1个色块,第二视频的第2个色块组包括p帧Lab图像中的第2个色块…,第二视频的第m个色块组包括p帧Lab图像中的第m个色块。
在一些实施例中,可以通过坐标表示每帧Lab图像中每一个色块的位置信息。在一种实现方式中,可以以一个标记点为原点建立二维坐标系。基于每个色块的四个顶点与该标记点的位置关系,确定每个色块的四个顶点的位置坐标,以通过每个色块的四个顶点的位置坐标表征相应色块的位置坐标。在另一种实现方式中,可以以一个色块的一个顶点为原点建立二维坐标系,基于该色块其余三个顶点,以及其余色块的四个顶点与该色块的该顶点的位置关系,确定每个色块的四个顶点的位置坐标,以通过每个色块的四个顶点的位置坐标表征相应色块的位置坐标。例如:以各色块中位于最左侧的色块的左下角为原点建立坐标系,其余各色块均位于该坐标系的第一象限中。基于每个色块的四个顶点的位置坐标可以更加准确地表示的色块的位置信息。
图8是本申请实施例提供的计算第二视频中每个色块组的第一评估值的方法800的流程图。如图8所示,方法800包括以下步骤S801-步骤S803:
步骤S801,计算第二视频中每个色块组内相同像素点组对应的L值的方差、a值的方差和b值的方差。
第二视频的相同像素点组包括各帧Lab图像中位于相同位置的像素点,也就是说,第二视频的相同像素点组是各帧Lab图像中在相同位置的像素点的集合。将第二视频中的相同像素点组按照色块进行划分,以位于同一个色块内的各相同像素点组作为计算第一评估值的单位。
在确定第二视频中每个色块组的位置信息之后,可以进一步确定每个色块中各像素点的位置信息。如果通过位置坐标表示第二视频中每个色块组的位置信息,也可以根据像素点在相应色块中的位置关系,确定每个像素点的位置坐标。由此,基于各帧Lab图像中像素点的位置坐标,可以确定每个色块内各相同像素点组,该过程可以参考步骤S503中在确定无效的像素点时确定相邻帧中在相同位置上的像素点的过程,此处不再赘述。
相同像素点组的L值的方差是指,各帧Lab图像中位于相同位置上的各像素点的L值的方差,满足如下公式(1):
其中,代表第二视频中第k个相同像素点组的L值的方差,1≤k≤K,K为相应色块组中相同像素点组的总数量,ML代表第二视频的各帧(p帧)Lab图像中第k个相同像素点组的L值的均值,L1、L2...、Lp分别代表第二视频中各帧Lab图像中第k个相同像素点组的L值,p为第二视频的总帧数。/>
相同像素点组的a值的方差是指,各帧Lab图像中位于相同位置上的各像素点的a值的方差,满足如下公式(2):
其中,代表第二视频中第k个相同像素点组的a值的方差,1≤k≤K,K为相应色块组中相同像素点组的总数量,Ma代表第二视频的各帧(p帧)Lab图像中第k个相同像素点组的a值的均值,a1、a2...、ap分别代表第二视频中各帧Lab图像中第k个相同像素点组的a值,p为第二视频的总帧数。
相同像素点组的b值的方差是指,各帧Lab图像中位于相同位置上的各像素点的b值的方差,满足如下公式(3):
其中,代表第二视频中第k个相同像素点组的b值的方差,1≤k≤K,K为相应色块组中相同像素点组的总数量,Mb代表第二视频的各帧(p帧)Lab图像中第k个相同像素点组的b值的均值,b1、b2...、bp分别代表第二视频中各帧Lab图像中第k个相同像素点组的b值,p为第二视频的总帧数。
步骤S802,计算第二视频中每个色块组内各相同像素点组的L值的方差的均值、a值的方差的均值和b值的方差的均值。
在计算得到每个色块组内各相同像素点组的L值的方差、a值的方差和b值的方差之后,计算每个色块组内各相同像素点组的L值的方差的均值,满足如下公式(4):
其中,代表每个色块组内K组相同像素点组的L值的方差的均值。
计算每个色块组内各相同像素点组的a值的方差的均值,满足如下公式(5):
其中,代表每个色块组内K组相同像素点组的a值的方差的均值。
计算每个色块组内各相同像素点组的b值的方差的均值,满足如下公式(6):
其中,代表每个色块组内K组相同像素点组的b值的方差的均值。
步骤S803,根据L值、a值和b值的权重,计算第二视频中每个色块组内各相同像素点组的L值的方差的均值、a值的方差的均值和b值的方差的均值的加权值,得到第二视频中每个色块组的第一评估值。
每个色块组的第一评估值满足如下公式(7):
其中,Qi1代表第i个色块组的第一评估值,1≤i≤m,m代表第二视频中色块组的总数量,qL代表L值的权重,qa代表a值的权重,qb代表b值的权重,其中,qL+qa+qb=1。
第一评估值用于表征第二视频中相应色块组的时域噪声。通过计算第二视频中每个色块组内相同像素点组对应的L值的方差、a值的方差和b值的方差,以将第二视频中各帧Lab图像相关联,以反映第二视频中各像素点上时域噪声的变化情况。并且,可以通过每个色块组的第一评估值,反映第二视频中相应色块组上时域噪声的变化情况。其中,第一评估值越小,相应色块组上的时域噪声越小,第一评估值越大,相应色块组上的时域噪声越大。
在一些实施例中,L值的权重大于a值的权重,且L值的权重大于b值的权重。这样,可以通过权重计算,突出第二视频的L值,即更加突出第二视频的亮度特征。由此,可以有效提高评估第二视频中每个色块组的时域噪声的准确性。
步骤S505,根据第二视频中每个色块组的第一评估值,计算第二视频的第二评估值。
第二评估值是指第二视频中各色块组的第一评估值的加权值。第二评估值满足如下公式(8):
其中,Q2代表第二评估值,qi代表第i个色块组的权重,1≤i≤m,m代表第二视频中色块组的总数量。
第二评估值用于表征电子设备的视频时域噪声。通过权重计算获得的第二评估值可以将第二视频中每个色块组的时域噪声相关联,即第二评估值可以表征第二视频中各帧Lab图像的时域噪声的变化情况,也即可以客观、准确地表征第二视频的时域噪声。由此,可以根据该第二评估值评估电子设备在时域噪声维度上的视频时域噪声。
在一些实施例中,根据色块的灰度值设定相应色块组的权重,例如:色块的灰度值越小,相应色块组的权重越高。由于灰度值越小,对光照的敏感度越高,即具有更加显著的亮度特征,由此可以通过提高灰度值较小的色块组的权重,以突出具有更加显著的亮度特征的色块组,从而有效提高评估第二视频的时域噪声的准确性。
下面结合一个示例对本申请实施例提供的视频时域噪声的评估方法进行进一步说明。
图9是本申请实施例提供的方法500的一个示例图。
下面结合图3所示的评估***,以电子设备11为手机,以如图2中所示的标准色卡13为例,对终端设备15执行方法500的各个步骤示例性说明。如图9所示,该示例包括步骤S901-步骤S905,分别对应图5所示的方法500中的步骤S501-步骤S505。
在步骤S901中,终端设备15获取手机拍摄标准色卡13得到的第一视频。
将手机安装于架设装置12上,并通过调整该架设装置12,以令标准色卡13上的全部内容(标记点和色块)均位于手机的取景框内,可以参考图2。开启光源14,为标注色卡13提供均匀的光照。开启终端设备15,以通过终端设备15控制光源14的光源参数,以及对手机的视频拍摄功能进行评估。
以预设两种光源参数,手机拍摄的第一视频包括多段视频,每段视频对应一种光源参数为例。开启手机的拍摄功能,并在第一种光源参数下拍摄标准色卡13的视频,如在第一种光源参数下拍摄标准色卡13,得到第一段10秒的视频,然后将第一种光源参数切换为第二种光源参数,并在第二种光源参数下拍摄标准色卡13,得到第二段10秒的视频。关闭手机的拍摄功能,由第一段10秒的视频和第二段10秒的视频组成第一视频。如果手机的拍摄功能的帧率为30帧/秒,则第一视频包括600帧RGB图像。
手机将拍摄到的第一视频传输至终端设备15,由终端设备15根据该第一视频对手机的视频拍摄功能进行评估。
在步骤S902中,终端设备15根据第一视频获取第二视频。
终端设备15从手机获取到第一视频之后,从该第一视频中提取指定帧RGB图像生成第二视频。以指定帧位于第一视频中的第5-15秒,且指定帧中相邻帧之间间隔5帧为例。指定帧包括第一视频中的第151、156、161…、300帧,共30帧。将上述30帧RGB图像分别转换为Lab图像,由该30帧Lab图像按照顺序排列得到第二视频。
在步骤S903中,终端设备15获取第二视频中每一帧Lab图像中每一个像素点对应的L值、a值和b值。
以每一个色块包括按照10×10排列的100个像素点为例,终端设备15获取每一帧Lab图像中300个像素点对应的L值、a值和b值。
根据每一帧Lab图像中各像素点与前后帧Lab图像中相同位置上的像素点的L值的差值的绝对值,识别各帧Lab图像中无效的像素点。例如:第二视频中的第二帧Lab图像中位于左下角的像素点的L值为20,而第二视频中的第一帧Lab图像中位于相同位置的像素点的L值为85,第二视频中的第三帧Lab图像中位于相同位置的像素点的L值为84。可见,第二帧Lab图像中位于左下角的像素点与第一帧Lab图像中位于左下角的像素点的L值的差值的绝对值为65,第二帧Lab图像中位于左下角的像素点与第三帧Lab图像中位于左下角的像素点的L值的差值的绝对值为64。如果预设阈值为45,第二帧Lab图像中位于左下角的像素点即为无效的像素点。将该无效的像素点从第二帧Lab图像中剔除,并保留剩余的像素点,作为后续评估的像素点数据,即将除第二帧Lab图像中左下角的像素点以外的全部像素点作为评估手机的视频时域噪声的像素点数据。
在步骤S904中,终端设备15根据每一帧Lab图像中每一个像素点对应的L值、a值和b值,计算第二视频中每个色块组的第一评估值。
终端设备15识别第二视频的第一帧Lab图像中的标记点,并根据识别到的标记点确定第一帧Lab图像中每个色块的位置信息。如图2所示,终端设备15识别到左上角标记点134位于第一帧Lab图像中的左上角,左下角标记点135位于第一帧Lab图像中的左下角,右上角标记点136位于第一帧Lab图像中的右上角,右下角标记点137位于第一帧Lab图像中的右下角。根据标准色卡13中四个标记点与三个色块之间的位置关系,可以确定第一帧Lab图像中从左至右依次为第一色块131、第二色块132和第三色块133。如果以位于第一色块131的左下角的像素点为原点,以平行于第一帧Lab图像中各色块的下边的线为x轴,以平行于第一帧Lab图像中第一色块131的左边的线为y轴,建立二维坐标系,以令第一色块131、第二色块132和第三色块133均位于该二维坐标系的第一象限内,可以参考如图10所示的二维坐标系。根据该二维坐标系,可以使用每个色块的四个顶点的位置坐标表示每个色块的位置信息。例如:第一色块131的位置信息为(0,0)、(0,9),(10,9),(10,0)。第二色块132的位置信息为(11,0),(11,9),(20,9),(20,0)。第三色块133的位置信息为(21,0),(21,9),(30,9),(30,0)。手机根据第一帧Lab图像中每个色块的位置信息,可以直接确定其余各帧Lab图像中每个色块的位置信息,其余各帧Lab图像中每个色块的位置信息与第一帧Lab图像中每个色块的位置信息一致。手机可以确定第二视频的三个色块组,其中,每个色块组包括各帧Lab图像中位置信息相同的色块。
终端设备15确定第二视频的每个色块中的相同像素点组。以图10所示的二维坐标系为例,每一帧Lab图像中位于(0,0)上的像素点,是第二视频的第一色块组中的一个相同像素点组。由此,终端设备15可以确定第二视频的每一个色块组内的100组相同像素点组。
终端设备15计算第二视频中每个色块组内每个相同像素点组对应的L值的方差、a值的方差和b值的方差。手机可以根据步骤S801中的公式(1)-(3)进行计算。其中,1≤k≤100,p=30,ML代表第二视频的30帧Lab图像中第k个相同像素点组的L值的均值,Ma代表第二视频的30帧Lab图像中第k个相同像素点组的a值的均值,Mb代表第二视频的30帧Lab图像中第k个相同像素点组的b值的均值。L1、L2…、L30分别代表第二视频中各帧Lab图像中第k个相同像素点组的L值,a1、a2…、a30分别代表第二视频中各帧Lab图像中第k个相同像素点组的a值,b1、b2…、b30分别代表第二视频中各帧Lab图像中第k个相同像素点组的b值。其中,上述参与计算的像素点均为剔除无效的像素点之后的像素点。
终端设备15计算第二视频中每个色块组内各相同像素点组的L值的方差的均值、a值的方差的均值和b值的方差的均值。终端设备15可以根据步骤S802中的公式(4)-(6)进行计算。其中,K=100。
终端设备15计算第二视频中每个色块组内各相同像素点组的L值的方差的均值、a值的方差的均值和b值的方差的均值的加权值,得到第二视频中每个色块组的第一评估值。终端设备15可以根据步骤S803中的公式(7)进行计算。以第二视频的第一色块组为例进行说明,如果根据上述计算得到第二视频的第一色块组内各相同像素点组的L值的方差的均值为1,第二视频的第一色块组内各相同像素点组的a值的方差的均值为0.5,第二视频的第一色块组内各相同像素点组的b值的方差的均值为02,L值的权重为0.5,a值的权重为0.3,b值的权重为0.2,第二视频的第一色块组的第一评估值为0.69。根据上述方法,可以计算第二视频的第二色块组和第三色块组的第一评估值。例如:计算得到第二视频的第二色块组的第一评估值为0.45,第二视频的第三色块组的第一评估值为0.40。
在步骤S905中,终端设备15根据第二视频中每个色块组的第一评估值,计算第二视频的第二评估值。
终端设备15可以根据步骤S505中的公式(8)进行计算。如果第一色块组的权重为0.2,第二色块组的权重为0.3,第三色块组的权重为0.5,第二视频的第二评估值为0.473。
可以根据第二视频的第二评估值评估手机的视频时域噪声。例如:当第二评估值小于0.5时,认为手机的视频拍摄能力优良。当第二评估值大于或者等于0.5,且第二评估值小于3时,认为手机的视频拍摄能力普通。当第二评估值大于或者等于3时,认为手机的视频拍摄能力较差。由此,因为第二评估值为0.473,小于0.5,根据上述标准可以认为该手机的视频拍摄能力优良。
图11是本申请实施例提供的一种视频时域噪声的评估装置的结构示意图。
在一些实施例中,终端设备15可以通过图11所示的硬件装置实现相应的功能。如图11所示,该视频时域噪声的评估装置可以包括:接收器1101、存储器1102和处理器1103。
在一种实现方式中,处理器1103可以包括一个或多个处理单元,例如:处理器1103可以包括应用处理器,调制解调处理器,图形处理器,图像信号处理器,控制器,视频编解码器,数字信号处理器,基带处理器,和/或神经网络处理器等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。存储器1102与处理器1103耦合,用于存储各种软件程序和/或多组指令。在一些实施例中,存储器1102可包括易失性存储器和/或非易失性存储器。接收器1101可以包括射频电路,移动通信模块,无线通信模块等,用于实现终端设备15接收第一视频。
在一个实施例中,当存储器1102中的软件程序和/或多组指令被处理器1103运行时,使得终端设备15用于执行如下方法步骤:获取第一视频,该第一视频由待评估的电子设备拍摄标准色卡获得。标准色卡包括至少两个色块,其中,不同色块对应不同的灰度值。根据第一视频获取第二视频,该第二视频包括第一视频中指定帧对应的Lab图像。获取第二视频中每一帧Lab图像中每一个像素点对应的L值、a值和b值。根据每一帧Lab图像中每一个像素点对应的L值、a值和b值,计算第二视频中每个色块组的第一评估值,该第一评估值是指第二视频中各帧Lab图像中相同色块内各像素点对应的L值的方差、a值的方差和b值的方差的加权值,相同色块是指各帧Lab图像中位于相同位置的色块。该第一评估值用于表征第二视频中相应色块组的时域噪声。根据第二视频中每个色块组的第一评估值,计算第二视频的第二评估值。第二评估值是指第二视频中各色块组的第一评估值的加权值,该第二评估值用于表征所述电子设备的视频时域噪声。
这样,对电子设备的视频时域噪声进行评估时,基于预设的算法,根据电子设备所拍摄的标准色卡的视频中像素点的L值、a值和b值,计算用于表征视频时域噪声的评估值,以通过该评估值表征电子设备的视频时域噪声。该预设的算法可以用于对不同电子设备的视频时域噪声的评估,令各电子设备的视频时域噪声的评估标准具有统一性。并且,基于该预设的算法得到的评估值具有较强客观性,令各电子设备的视频时域噪声的评估结果具有较强客观性。
可选的,第一视频包括一个第一视频片段,该一个第一视频片段由电子设备在至少两种光源参数下拍摄标准色卡获得。或者,第一视频包括至少两个第二视频片段,其中,每一个第二视频片段由电子设备在一种光源参数下拍摄标准色卡获得,该至少两个视频片段对应不同的光源参数。指定帧对应的Lab图像包括电子设备在每一种光源参数下拍摄标准色卡获得的图像。这样,如果需要测试电子设备在不同光源参数下的视频时域噪声,电子设备在一个第一视频片段中切换至少两种光源参数进行拍摄。如果需要测试电子设备在同一种光源参数下的视频时域噪声,电子设备在一个第二视频片段中仅在一种光源参数下进行拍摄。由此,可以采用不同的拍摄方式获取不同类型的视频,以针对电子设备不同的视频时域噪声进行评估。
可选的,光源参数包括:光源的数量、光源的亮度、光源的色温。其中,如果存在多个光源,该多个光源为相同的光源,且该多个光源分散设置在标准色卡的周围,以使该多个光源的光线均匀分布在标准色卡上。这样,可以对电子设备在不同光源参数下的视频时域噪声进行评估,提高对电子设备的视频时域噪声评估的全面性。同时,通过保证多个光源的光线均匀分布在标准色卡上,以避免由于各色块上的亮度不同对评估过程产生影响,提高评估的准确性。
可选的,当存储器1102中的软件程序和/或多组指令被处理器1103运行时,使得终端设备15执行根据第一视频获取第二视频的过程中,用于执行如下方法步骤:从第一视频中提取指定帧对应的RGB图像。将每一指定帧对应的RGB图像转换为Lab图像。按照指定帧在第一视频的全部帧中的排序,排列各指定帧对应的Lab图像,得到第二视频。这样,将第一视频中的每一指定帧RGB图像转换为Lab图像,可以有效突出各帧图像的亮度特征。由于时域噪声与亮度相关,由此,根据Lab图像可以更加便于分析视频的时域噪声,可以得到更加准确地分析结果。
可选的,指定帧包括第一视频中的全部帧。或者,指定帧包括第一视频中的部分帧,该指定帧位于第一视频的指定时间段内,其中,该指定帧中相邻帧之间间隔的帧数为质数。这样,可以根据第一视频中的全部帧图像进行评估,以保证评估精度,也可以根据第一视频中的部分帧图像进行评估,以提高评估效率。并且,保证部分帧之间间隔的帧数为质数,以保证抽帧得到的第二视频不会受到编码过程的影响,以提高评估质量。
可选的,当存储器1102中的软件程序和/或多组指令被处理器1103运行时,使得终端设备15在执行获取Lab图像中每一个像素点对应的L值、a值和b值之后,还用于执行如下方法步骤:根据Lab图像中每一个像素点对应的L值,剔除无效的像素点或者无效的Lab图像。其中,无效的像素点是指Lab图像中与上一帧Lab图像和下一帧Lab图像中在相同位置上的像素点的L值的差值的绝对值均大于预设阈值的像素点。无效的Lab图像是指包括无效的像素点的Lab图像。这样,通过剔除无效的像素点或者无效的Lab图像的方式,以保证参与评估的像素点的有效性,避免无效的像素点对评估结果的影响,进而有效保证评估结果的准确性。
可选的,当存储器1102中的软件程序和/或多组指令被处理器1103运行时,使得终端设备15在执行根据每一帧Lab图像中每一个像素点对应的L值、a值和b值,计算第二视频中每个色块组的第一评估值之前,还用于执行如下方法步骤:识别第二视频中第一帧Lab图像中的标记点,标记点预先设置于标准色卡上。根据标记点确定第一帧Lab图像中每一个色块的位置信息。根据第一帧Lab图像中每一个色块的位置信息,确定第二视频中其它Lab图像中每一个色块的位置信息,其中,其它Lab图像中每一个色块的位置信息与第一帧Lab图像中每一个色块的位置信息相同。根据第二视频中各帧Lab图像中每一个色块的位置信息,确定第二视频的每个色块组,第二视频的每个色块组包括各帧Lab图像中的相应色块。这样,基于第二视频中各帧Lab图像的连续性,仅需要识别第一帧Lab图像中每一个色块的位置信息,就可以快速获得第二视频中每一帧Lab图像中每个色块的位置信息,从而可以将各帧Lab图像中位于同一个位置的色块快速、准确地聚类,得到第二视频的每个色块组,以保证后续基于第二视频的每个色块组计算第一评估值的效率和准确性。
可选的,当存储器1102中的软件程序和/或多组指令被处理器1103运行时,使得终端设备15执行根据每一帧Lab图像中每一个像素点对应的L值、a值和b值,计算第二视频中每个色块组的第一评估值的过程中,用于执行如下方法步骤:计算第二视频中每个色块组内相同像素点组对应的L值的方差、a值的方差和b值的方差,相同像素点组包括各帧Lab图像中位于相同位置的像素点。计算第二视频中每个色块组内各相同像素点组的L值的方差的均值、a值的方差的均值和b值的方差的均值。根据L值、a值和b值的权重,计算第二视频中每个色块组内各相同像素点组的L值的方差的均值、a值的方差的均值和b值的方差的均值的加权值,得到第二视频中每个色块组的第一评估值。这样,通过计算第二视频中每个色块组内相同像素点组对应的L值的方差、a值的方差和b值的方差,以将第二视频中各帧Lab图像相关联,以表征第二视频中各像素点上时域噪声的变化情况。并且,可以通过每个色块组的第一评估值,表征第二视频中每个色块组上时域噪声的变化情况。
可选的,L值的权重大于a值的权重,且L值的权重大于b值的权重。这样,可以通过权重计算,突出第二视频的L值,即更加突出第二视频的亮度特征。由此,可以有效提高评估第二视频中每个色块组的时域噪声的准确性。
可选的,当存储器1102中的软件程序和/或多组指令被处理器1103运行时,使得终端设备15执行根据第二视频中每个色块组的第一评估值,计算第二视频的第二评估值的过程中,用于执行如下方法步骤:根据色块组的权重,计算第二视频中每个色块组的第一评估值的加权值。色块组的权重与相应色块的灰度值相关,其中,色块的灰度值越小,相应色块组的权重越高。这样,通过权重计算获得的第二评估值可以将第二视频中每个色块组的时域噪声相关联,即第二评估值可以表征第二视频中各帧Lab图像的时域噪声的变化情况,也即可以客观、准确地表征第二视频的时域噪声。并且,由于灰度值越小,对光照的敏感度越高,即具有更加显著的亮度特征,由此可以通过提高灰度值较小的色块组的权重,以突出具有更加显著的亮度特征的色块组,从而有效提高评估第二视频的时域噪声的准确性。
另外,在一些实施例中,终端设备15可以通过软件模块来实现相应的功能。如图12所示,用于实现上述终端设备15行为的功能的视频时域噪声的评估装置包括:第一获取单元1201、第二获取单元1202、第三获取单元1203、第一评估单元1204和第二评估单元1205。
第一获取单元1201,用于获取第一视频,该第一视频由待评估的电子设备拍摄标准色卡获得。标准色卡包括至少两个色块,其中,不同色块对应不同的灰度值。第二获取单元1202,用于根据第一视频获取第二视频,该第二视频包括第一视频中指定帧对应的Lab图像。第三获取单元1203,用于获取第二视频中每一帧Lab图像中每一个像素点对应的L值、a值和b值。第一评估单元1204,用于根据每一帧Lab图像中每一个像素点对应的L值、a值和b值,计算第二视频中每个色块组的第一评估值,该第一评估值是指第二视频中各帧Lab图像中相同色块内各像素点对应的L值的方差、a值的方差和b值的方差的加权值,相同色块是指各帧Lab图像中位于相同位置的色块。该第一评估值用于表征第二视频中相应色块组的时域噪声。第二评估单元1205,用于根据第二视频中每个色块组的第一评估值,计算第二视频的第二评估值。第二评估值是指第二视频中各色块组的第一评估值的加权值,该第二评估值用于表征所述电子设备的视频时域噪声。
这样,对电子设备的视频时域噪声进行评估时,基于预设的算法,根据电子设备所拍摄的标准色卡的视频中像素点的L值、a值和b值,计算用于表征视频时域噪声的评估值,以通过该评估值表征电子设备的视频时域噪声。该预设的算法可以用于对不同电子设备的视频时域噪声的评估,令各电子设备的视频时域噪声的评估标准具有统一性。并且,基于该预设的算法得到的评估值具有较强客观性,令各电子设备的视频时域噪声的评估结果具有较强客观性。
在一种实现方式中,第一视频包括一个第一视频片段,该一个第一视频片段由电子设备在至少两种光源参数下拍摄标准色卡获得。或者,第一视频包括至少两个第二视频片段,其中,每一个第二视频片段由电子设备在一种光源参数下拍摄标准色卡获得,该至少两个第二视频片段对应不同的光源参数。指定帧对应的Lab图像包括电子设备在每一种光源参数下拍摄标准色卡获得的图像。这样,如果需要测试电子设备在不同光源参数下的视频时域噪声,电子设备在一个第一视频片段中切换至少两种光源参数进行拍摄。如果需要测试电子设备在同一种光源参数下的视频时域噪声,电子设备在一个第二视频片段中仅在一种光源参数下进行拍摄。由此,可以采用不同的拍摄方式获取不同类型的视频,以针对电子设备在不同拍摄场景下的视频时域噪声进行评估。
在一种实现方式中,光源参数包括:光源的数量、光源的亮度、光源的色温。其中,如果存在多个光源,该多个光源为相同的光源,且该多个光源分散设置在标准色卡的周围,以使该多个光源的光线均匀分布在标准色卡上。这样,可以对电子设备在不同光源参数下的视频时域噪声进行评估,提高对电子设备的视频时域噪声评估的全面性。同时,通过保证多个光源的光线均匀分布在标准色卡上,以避免由于各色块上的亮度不同对评估过程产生影响,提高评估的准确性。
在一种实现方式中,第二获取单元1202用于从第一视频中提取指定帧对应的RGB图像。第二获取单元1202还用于将每一指定帧对应的RGB图像转换为Lab图像。第二获取单元1202还用于按照指定帧在第一视频的全部帧中的排序,排列各指定帧对应的Lab图像,得到第二视频。这样,将第一视频中的每一指定帧RGB图像转换为Lab图像,可以有效突出各帧图像的亮度特征。由于时域噪声与亮度相关,由此,根据Lab图像可以更加便于分析视频的时域噪声,可以得到更加准确地分析结果。
在一种实现方式中,指定帧包括第一视频中的全部帧。或者,指定帧包括第一视频中的部分帧,该指定帧位于第一视频的指定时间段内,其中,该指定帧中相邻帧之间间隔的帧数为质数。这样,可以根据第一视频中的全部帧图像进行评估,以保证评估精度,也可以根据第一视频中的部分帧图像进行评估,以提高评估效率。并且,保证部分帧之间间隔的帧数为质数,以保证抽帧得到的第二视频不会受到编码过程的影响,以提高评估质量。
在一种实现方式中,第三获取单元1203在获取Lab图像中每一个像素点对应的L值、a值和b值之后,还用于根据Lab图像中每一个像素点对应的L值,剔除无效的像素点或者无效的Lab图像。其中,无效的像素点是指Lab图像中与上一帧Lab图像和下一帧Lab图像中在相同位置上的像素点的L值的差值的绝对值均大于预设阈值的像素点。无效的Lab图像是指包括无效的像素点的Lab图像。这样,通过剔除无效的像素点或者无效的Lab图像的方式,以保证参与评估的像素点的有效性,避免无效的像素点对评估结果的影响,进而有效保证评估结果的准确性。
在一种实现方式中,第一评估单元1204在根据每一帧Lab图像中每一个像素点对应的L值、a值和b值,计算第二视频中每个色块的第一评估值之前,还用于识别第二视频中第一帧Lab图像中的标记点,标记点预先设置于标准色卡上。根据标记点确定第一帧Lab图像中每一个色块的位置信息。第一评估单元1204还用于根据第一帧Lab图像中每一个色块的位置信息,确定第二视频中其它Lab图像中每一个色块的位置信息,其中,其它Lab图像中每一个色块的位置信息与第一帧Lab图像中每一个色块的位置信息相同。第一评估单元1204还用于根据第二视频中各帧Lab图像中每一个色块的位置信息,确定第二视频的每个色块组,第二视频的每个色块组包括各帧Lab图像中的相应色块。这样,基于第二视频中各帧Lab图像的连续性,仅需要识别第一帧Lab图像中每一个色块的位置信息,就可以快速获得第二视频中每一帧Lab图像中每个色块的位置信息,从而可以将各帧Lab图像中位于同一个位置的色块快速、准确地聚类,得到第二视频的每个色块组,以保证后续基于第二视频的每个色块组计算第一评估值的效率和准确性。
在一种实现方式中,第一评估单元1204根据每一帧Lab图像中每一个像素点对应的L值、a值和b值,计算第二视频中每个色块的第一评估值时,用于计算第二视频中每个色块组内相同像素点组对应的L值的方差、a值的方差和b值的方差,相同像素点组包括各帧Lab图像中位于相同位置的像素点。第一评估单元1204还用于计算第二视频中每个色块组内各相同像素点组的L值的方差的均值、a值的方差的均值和b值的方差的均值。第一评估单元1204还用于根据L值、a值和b值的权重,计算第二视频中每个色块组内各相同像素点组的L值的方差的均值、a值的方差的均值和b值的方差的均值的加权值,得到第二视频中每个色块组的第一评估值。这样,通过计算第二视频中每个色块组内相同像素点组对应的L值的方差、a值的方差和b值的方差,以将第二视频中各帧Lab图像相关联,以表征第二视频中各像素点上时域噪声的变化情况。并且,可以通过每个色块组的第一评估值,表征第二视频中每个色块组上时域噪声的变化情况。
在一种实现方式中,L值的权重大于a值的权重,且L值的权重大于b值的权重。这样,可以通过权重计算,突出第二视频的L值,即更加突出第二视频的亮度特征。由此,可以有效提高评估第二视频中每个色块组的时域噪声的准确性。
在一种实现方式中,第二评估单元1205根据第二视频中每个色块的第一评估值,计算第二视频的第二评估值时,用于根据色块组的权重,计算第二视频中每个色块组的第一评估值的加权值。色块组的权重与相应色块的灰度值相关,其中,色块的灰度值越小,相应色块组的权重越高。这样,通过权重计算获得的第二评估值可以将第二视频中每个色块组的时域噪声相关联,即第二评估值可以表征第二视频中各帧Lab图像的时域噪声的变化情况,也即可以客观、准确地表征第二视频的时域噪声。并且,由于灰度值越小,对光照的敏感度越高,即具有更加显著的亮度特征,由此可以通过提高灰度值较小的色块组的权重,以突出具有更加显著的亮度特征的色块组,从而有效提高评估第二视频的时域噪声的准确性。
本申请实施例还提供一种计算机存储介质,计算机可读存储介质中存储有程序指令,当程序指令在计算机上运行时,使得计算机执行上述各方面及其各个实现方式中的方法。
本申请实施例还提供了一种计算机程序产品,当其在计算机上运行时,使得计算机执行上述各方面及其各个实现方式中的方法。
本申请还提供了一种芯片***。该芯片***包括处理器,用于支持上述装置或设备实现上述方面中所涉及的功能,例如,生成或处理上述方法中所涉及的信息。在一种可能的设计中,芯片***还包括存储器,用于保存上述装置或设备必要的程序指令和数据。该芯片***,可以由芯片构成,也可以包含芯片和其他分立器件。
以上的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本发明的保护范围之内。
Claims (15)
1.一种视频时域噪声的评估方法,其特征在于,所述方法包括:
获取第一视频,所述第一视频由待评估的电子设备拍摄标准色卡获得,所述标准色卡包括至少两个色块,其中,不同色块对应不同的灰度值;
根据所述第一视频获取第二视频,所述第二视频包括所述第一视频中指定帧对应的Lab图像;
获取所述第二视频中每一帧Lab图像中每一个像素点对应的L值、a值和b值;
根据所述每一帧Lab图像中每一个像素点对应的L值、a值和b值,计算所述第二视频中每个色块组的第一评估值,所述第一评估值是指所述第二视频中各帧Lab图像中相同色块内各相同像素点组对应的L值的方差的均值、a值的方差的均值和b值的方差的均值的加权值,所述相同色块是指所述各帧Lab图像中位于相同位置的色块,所述第一评估值用于表征所述第二视频中相应色块组的时域噪声,其中,所述相同像素点组包括所述各帧Lab图像中位于相同位置的像素点;
根据所述第二视频中每个色块组的第一评估值,计算所述第二视频的第二评估值,所述第二评估值是指所述第二视频中各色块组的第一评估值的加权值,所述第二评估值用于表征所述电子设备的视频时域噪声。
2.根据权利要求1所述的方法,其特征在于,所述第一视频包括一个第一视频片段,所述第一视频片段由所述电子设备在至少两种光源参数下拍摄所述标准色卡获得;或者,所述第一视频包括至少两个第二视频片段,其中,每一个所述第二视频片段由所述电子设备在一种光源参数下拍摄所述标准色卡获得,所述至少两个第二视频片段对应不同的光源参数;
所述指定帧对应的Lab图像包括所述电子设备在每一种光源参数下拍摄所述标准色卡获得的图像。
3.根据权利要求2所述的方法,其特征在于,所述光源参数包括:光源的数量、光源的亮度、光源的色温,其中,如果存在多个光源,所述多个光源为相同的光源,且所述多个光源分散设置在所述标准色卡的周围,以使所述多个光源的光线均匀分布在所述标准色卡上。
4.根据权利要求1所述的方法,其特征在于,所述根据所述第一视频获取第二视频,包括:
从所述第一视频中提取所述指定帧对应的RGB图像;
将每一所述指定帧对应的RGB图像转换为Lab图像;
按照所述指定帧在所述第一视频的全部帧中的排序,排列各所述指定帧对应的Lab图像,得到所述第二视频。
5.根据权利要求1-4中任一所述的方法,其特征在于,所述指定帧包括所述第一视频中的全部帧,或者,所述指定帧包括所述第一视频中的部分帧,所述指定帧位于所述第一视频的指定时间段内,其中,所述指定帧中相邻帧之间间隔的帧数为质数。
6.根据权利要求1所述的方法,其特征在于,在获取所述Lab图像中每一个像素点对应的L值、a值和b值之后,还包括:
根据所述Lab图像中每一个像素点对应的L值,剔除无效的像素点或者无效的Lab图像,其中,所述无效的像素点是指所述Lab图像中与上一帧Lab图像和下一帧Lab图像中在相同位置上的像素点的L值的差值的绝对值均大于预设阈值的像素点,所述无效的Lab图像是指包括所述无效的像素点的Lab图像。
7.根据权利要求1所述的方法,其特征在于,所述根据所述每一帧Lab图像中每一个像素点对应的L值、a值和b值,计算所述第二视频中每个色块组的第一评估值之前,还包括:
识别所述第二视频中第一帧Lab图像中的标记点,所述标记点预先设置于所述标准色卡上;
根据所述标记点确定所述第一帧Lab图像中每一个色块的位置信息;
根据所述第一帧Lab图像中每一个色块的位置信息,确定所述第二视频中其它Lab图像中每一个色块的位置信息,其中,所述其它Lab图像中每一个色块的位置信息与所述第一帧Lab图像中每一个色块的位置信息相同;
根据所述第二视频中各帧Lab图像中每一个色块的位置信息,确定所述第二视频的每个色块组,所述第二视频的每个色块组包括所述各帧Lab图像中的相应色块。
8.根据权利要求7所述的方法,其特征在于,所述根据所述每一帧Lab图像中每一个像素点对应的L值、a值和b值,计算所述第二视频中每个色块组的第一评估值,包括:
计算所述第二视频中每个色块组内所述相同像素点组对应的L值的方差、a值的方差和b值的方差;
计算所述第二视频中每个色块组内各所述相同像素点组的L值的方差的均值、a值的方差的均值和b值的方差的均值;
根据L值、a值和b值的权重,计算所述第二视频中每个色块组内各所述相同像素点组的L值的方差的均值、a值的方差的均值和b值的方差的均值的加权值,得到所述第二视频中每个色块组的第一评估值。
9.根据权利要求8所述的方法,其特征在于,所述L值的权重大于所述a值的权重,且所述L值的权重大于所述b值的权重。
10.根据权利要求1所述的方法,其特征在于,所述根据所述第二视频中每个色块组的第一评估值,计算所述第二视频的第二评估值,包括:
根据色块组的权重,计算所述第二视频中每个色块组的第一评估值的加权值,所述色块组的权重与相应色块的灰度值相关,其中,色块的灰度值越小,相应色块组的权重越高。
11.一种视频时域噪声的评估装置,其特征在于,所述装置包括:
第一获取单元,用于获取第一视频,所述第一视频由待评估的电子设备拍摄标准色卡获得,所述标准色卡包括至少两个色块,其中,不同色块对应不同的灰度值;
第二获取单元,用于根据所述第一视频获取第二视频,所述第二视频包括所述第一视频中指定帧对应的Lab图像;
第三获取单元,用于获取所述第二视频中每一帧Lab图像中每一个像素点对应的L值、a值和b值;
第一评估单元,用于根据所述每一帧Lab图像中每一个像素点对应的L值、a值和b值,计算所述第二视频中每个色块组的第一评估值,所述第一评估值是指所述第二视频中各帧Lab图像中相同色块内各相同像素点组对应的L值的方差的均值、a值的方差的均值和b值的方差的均值的加权值,所述相同色块是指所述各帧Lab图像中位于相同位置的色块,所述第一评估值用于表征所述第二视频中相应色块组的时域噪声,其中,所述相同像素点组包括所述各帧Lab图像中位于相同位置的像素点;
第二评估单元,用于根据所述第二视频中每个色块组的第一评估值,计算所述第二视频的第二评估值,所述第二评估值是指所述第二视频中各色块组的第一评估值的加权值,所述第二评估值用于表征所述电子设备的视频时域噪声。
12.一种视频时域噪声的评估***,其特征在于,所述***包括:电子设备的架设装置、标准色卡、光源和终端设备,所述终端设备包括存储器和处理器;
所述架设装置用于安装待评估的电子设备;
所述标准色卡包括至少两个色块,其中,不同色块对应不同的灰度值;
所述光源用于为所述标准色卡提供均匀的光照;
所述存储器存储有程序指令,当所述程序指令被所述处理器执行时,使得所述终端设备执行权利要求1-10任一项所述的方法。
13.一种终端设备,其特征在于,包括:处理器和存储器;所述存储器存储有程序指令,当所述程序指令被所述处理器执行时,使得所述终端设备执行权利要求1-10任一项所述的方法。
14.一种芯片***,其特征在于,包括:存储器和处理器;所述存储器存储有程序指令,当所述程序指令被所述处理器执行时,使得所述芯片***执行权利要求1-10任一项所述的方法。
15.一种计算机存储介质,其特征在于,所述计算机可读存储介质中存储有程序指令,当所述程序指令在计算机上运行时,使得计算机执行权利要求1-10任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210957168.6A CN116055710B (zh) | 2022-08-10 | 2022-08-10 | 一种视频时域噪声的评估方法、装置及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210957168.6A CN116055710B (zh) | 2022-08-10 | 2022-08-10 | 一种视频时域噪声的评估方法、装置及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116055710A CN116055710A (zh) | 2023-05-02 |
CN116055710B true CN116055710B (zh) | 2023-10-20 |
Family
ID=86118810
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210957168.6A Active CN116055710B (zh) | 2022-08-10 | 2022-08-10 | 一种视频时域噪声的评估方法、装置及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116055710B (zh) |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009171162A (ja) * | 2008-01-15 | 2009-07-30 | Olympus Corp | 映像信号処理装置、映像信号処理プログラム、映像信号処理方法、電子装置 |
CN101977311A (zh) * | 2010-11-03 | 2011-02-16 | 上海交通大学 | 基于多特征分析的cg动画视频检测方法 |
CN103856727A (zh) * | 2014-03-24 | 2014-06-11 | 北京工业大学 | 一种多路实时视频拼接处理*** |
CN106530248A (zh) * | 2016-10-28 | 2017-03-22 | 中国南方电网有限责任公司 | 一种变电站场景视频噪声的智能检测方法 |
CN108805851A (zh) * | 2017-04-26 | 2018-11-13 | 杭州海康威视数字技术股份有限公司 | 一种图像时域噪声的评估方法及装置 |
CN112082738A (zh) * | 2020-08-24 | 2020-12-15 | 南京理工大学 | 彩色夜视相机性能评价测试***及测试方法 |
CN112286255A (zh) * | 2020-09-29 | 2021-01-29 | 北京空间飞行器总体设计部 | 高稳定度测控温***在轨噪声评价方法 |
CN113612996A (zh) * | 2021-07-30 | 2021-11-05 | 百果园技术(新加坡)有限公司 | 一种基于时域滤波的视频降噪的方法及装置 |
CN113674159A (zh) * | 2020-05-15 | 2021-11-19 | 北京三星通信技术研究有限公司 | 图像处理方法、装置、电子设备及可读存储介质 |
CN113706414A (zh) * | 2021-08-26 | 2021-11-26 | 荣耀终端有限公司 | 视频优化模型的训练方法和电子设备 |
CN113709453A (zh) * | 2021-09-13 | 2021-11-26 | 北京车和家信息技术有限公司 | 视频质量评估方法、装置、设备及介质 |
CN113705665A (zh) * | 2021-08-26 | 2021-11-26 | 荣耀终端有限公司 | 图像变换网络模型的训练方法和电子设备 |
CN113781334A (zh) * | 2021-08-27 | 2021-12-10 | 苏州浪潮智能科技有限公司 | 基于颜色的图像间差异对比方法、装置、终端及存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050107982A1 (en) * | 2003-11-17 | 2005-05-19 | Zhaohui Sun | Method and system for noise estimation from video sequence |
GB2438905B (en) * | 2006-06-07 | 2011-08-24 | Tandberg Television Asa | Temporal noise analysis of a video signal |
US8693542B2 (en) * | 2008-11-12 | 2014-04-08 | Cyberlink Corp. | Method and device for estimating video noise |
KR101727285B1 (ko) * | 2010-12-28 | 2017-04-14 | 삼성전자주식회사 | 노이즈 변화와 움직임 감지를 고려한 영상 노이즈 필터링 방법 및 장치 |
JP6018492B2 (ja) * | 2011-12-15 | 2016-11-02 | キヤノン株式会社 | 画質評価装置及びその制御方法、プログラム |
CN110858286B (zh) * | 2018-08-23 | 2023-08-11 | 杭州海康威视数字技术股份有限公司 | 一种用于目标识别的图像处理方法及装置 |
-
2022
- 2022-08-10 CN CN202210957168.6A patent/CN116055710B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009171162A (ja) * | 2008-01-15 | 2009-07-30 | Olympus Corp | 映像信号処理装置、映像信号処理プログラム、映像信号処理方法、電子装置 |
CN101977311A (zh) * | 2010-11-03 | 2011-02-16 | 上海交通大学 | 基于多特征分析的cg动画视频检测方法 |
CN103856727A (zh) * | 2014-03-24 | 2014-06-11 | 北京工业大学 | 一种多路实时视频拼接处理*** |
CN106530248A (zh) * | 2016-10-28 | 2017-03-22 | 中国南方电网有限责任公司 | 一种变电站场景视频噪声的智能检测方法 |
CN108805851A (zh) * | 2017-04-26 | 2018-11-13 | 杭州海康威视数字技术股份有限公司 | 一种图像时域噪声的评估方法及装置 |
CN113674159A (zh) * | 2020-05-15 | 2021-11-19 | 北京三星通信技术研究有限公司 | 图像处理方法、装置、电子设备及可读存储介质 |
CN112082738A (zh) * | 2020-08-24 | 2020-12-15 | 南京理工大学 | 彩色夜视相机性能评价测试***及测试方法 |
CN112286255A (zh) * | 2020-09-29 | 2021-01-29 | 北京空间飞行器总体设计部 | 高稳定度测控温***在轨噪声评价方法 |
CN113612996A (zh) * | 2021-07-30 | 2021-11-05 | 百果园技术(新加坡)有限公司 | 一种基于时域滤波的视频降噪的方法及装置 |
CN113706414A (zh) * | 2021-08-26 | 2021-11-26 | 荣耀终端有限公司 | 视频优化模型的训练方法和电子设备 |
CN113705665A (zh) * | 2021-08-26 | 2021-11-26 | 荣耀终端有限公司 | 图像变换网络模型的训练方法和电子设备 |
CN113781334A (zh) * | 2021-08-27 | 2021-12-10 | 苏州浪潮智能科技有限公司 | 基于颜色的图像间差异对比方法、装置、终端及存储介质 |
CN113709453A (zh) * | 2021-09-13 | 2021-11-26 | 北京车和家信息技术有限公司 | 视频质量评估方法、装置、设备及介质 |
Non-Patent Citations (1)
Title |
---|
基于双流网络的视频图像去噪算法;黄异嵘;李汶隆;刘川杰;;中国新技术新产品(第16期) * |
Also Published As
Publication number | Publication date |
---|---|
CN116055710A (zh) | 2023-05-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111179282B (zh) | 图像处理方法、图像处理装置、存储介质与电子设备 | |
CN111050269B (zh) | 音频处理方法和电子设备 | |
CN108307125B (zh) | 一种图像采集方法、装置和存储介质 | |
CN109345485B (zh) | 一种图像增强方法、装置、电子设备及存储介质 | |
WO2021036991A1 (zh) | 高动态范围视频生成方法及装置 | |
KR100657522B1 (ko) | 휴대용 단말기를 이용한 아웃 포커싱 촬영 장치 및 방법 | |
CN107566749B (zh) | 拍摄方法及移动终端 | |
CN114422340B (zh) | 日志上报方法、电子设备及存储介质 | |
CN111243105B (zh) | 增强现实处理方法及装置、存储介质和电子设备 | |
CN116055712B (zh) | 成片率确定方法、装置、芯片、电子设备及介质 | |
CN108718388B (zh) | 一种拍照方法及移动终端 | |
CN113709464A (zh) | 视频编码方法及相关设备 | |
CN113096022B (zh) | 图像虚化处理方法、装置、存储介质与电子设备 | |
CN113052056A (zh) | 一种视频处理的方法以及装置 | |
CN114610193A (zh) | 内容共享方法、电子设备及存储介质 | |
CN114724055A (zh) | 视频切换方法、装置、存储介质及设备 | |
CN106982327A (zh) | 图像处理方法和装置 | |
CN112188094B (zh) | 图像处理方法及装置、计算机可读介质及终端设备 | |
CN116055710B (zh) | 一种视频时域噪声的评估方法、装置及*** | |
CN116055894B (zh) | 基于神经网络的图像去频闪方法和装置 | |
CN116091392B (zh) | 图像处理方法、***及存储介质 | |
CN111918047A (zh) | 拍照控制方法及装置、存储介质和电子设备 | |
CN115546858B (zh) | 人脸图像处理方法和电子设备 | |
CN115546514B (zh) | 图片噪声计算方法、装置及图片测试*** | |
CN115631250B (zh) | 图像处理方法与电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |