CN110111347B - 图像标志提取方法、装置及存储介质 - Google Patents

图像标志提取方法、装置及存储介质 Download PDF

Info

Publication number
CN110111347B
CN110111347B CN201910316438.3A CN201910316438A CN110111347B CN 110111347 B CN110111347 B CN 110111347B CN 201910316438 A CN201910316438 A CN 201910316438A CN 110111347 B CN110111347 B CN 110111347B
Authority
CN
China
Prior art keywords
image
value
gray
frame
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910316438.3A
Other languages
English (en)
Other versions
CN110111347A (zh
Inventor
饶洋
彭乐立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCL China Star Optoelectronics Technology Co Ltd
Original Assignee
TCL China Star Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TCL China Star Optoelectronics Technology Co Ltd filed Critical TCL China Star Optoelectronics Technology Co Ltd
Priority to CN201910316438.3A priority Critical patent/CN110111347B/zh
Publication of CN110111347A publication Critical patent/CN110111347A/zh
Application granted granted Critical
Publication of CN110111347B publication Critical patent/CN110111347B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种图像标志提取方法、装置及存储介质，方法包括：在视频播放过程中，获取预设帧连续的视频图像；确定每帧所述视频图像对应的灰度图像，得到预设帧灰度图像；利用预设算法从灰度图像中确定边缘特征点信息；根据预设帧灰度图像的边缘特征点信息从视频中提取出图像标志，从而提高视频中半透明图像标志提取的准确性，方法简单，提取效果好。

Description

图像标志提取方法、装置及存储介质
技术领域
本申请涉及显示技术领域，涉及图像处理领域，尤其图像标志提取方法、装置及存储介质。
背景技术
在图像识别和图像分析中，边缘信息能够很好的描述物体的轮廓形状。通过边缘检测不仅可以提取物体本身的形状特征，还能够大大降低后续图像分析需要处理的数据量，因此图像边缘检测在图像处理中是一项非常重要的技术，且其已经广泛应用于目标识别、目标跟踪、指纹识别等领域。
但是，现有技术的图像标志提取方法对半透明的图像特征区域边缘，因其带有部分随背景内容改变的信息，故基于色彩信息的传统提取方法将不太准确，提取效果弱，这给它的使用带来了局限性。
综上所述，现有技术的图像标志存在对图像区域半透明标志提取效果弱的问题。
发明内容
本申请提供了一种图像标志提取方法、装置及存储介质，能提高视频中半透明图像标志提取的准确性，方法简单，提取效果好。
本申请提供一种图像标志提取方法，应用于电子设备，包括：
在视频播放过程中，获取预设帧连续的视频图像；
确定每帧所述视频图像对应的灰度图像，得到预设帧灰度图像；
利用预设算法从所述灰度图像中确定边缘特征点信息；
根据所述预设帧灰度图像的边缘特征点信息从所述视频中提取出图像标志。
本申请提供一种图像标志提取装置，应用于电子设备，包括：
获取模块，用于在视频播放过程中，获取预设帧连续的视频图像；
确定模块，用于确定每帧所述视频图像对应的灰度图像，得到预设帧灰度图像；
计算模块，用于利用预设算法从所述灰度图像中确定边缘特征点信息；
提取模块，用于根据所述预设帧灰度图像的边缘特征点信息从所述视频中提取出图像标志。
本申请实施例还提供一种计算机可读存储介质，所述存储介质有多条指令，所述指令适于由处理器以执行上述任一项图像标志提取方法。
本申请提供的图像标志提取方法、装置及存储介质，应用于电子设备，在视频播放过程中，获取预设帧连续的视频图像；确定每帧所述视频图像对应的灰度图像，得到预设帧灰度图像；利用预设算法从所述灰度图像中确定边缘特征点信息；根据所述预设帧灰度图像的边缘特征点信息从所述视频中提取出图像标志，从而提高视频中半透明图像标志提取的准确性，方法简单，提取效果好。
附图说明
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请实施例提供的图像标志提取方法的流程示意图。
图2为本申请实施例提供的步骤S101的流程示意图。
图3为本申请实施例提供的步骤S103的流程示意图。
图4为本申请实施例提供的图像标志提取方法的场景示意图
图5为申请实施例所提供的图像标志提取装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
一种图像标志提取方法，应用于电子设备，包括:在视频播放过程中，获取预设帧连续的视频图像；确定每帧所述视频图像对应的灰度图像，得到预设帧灰度图像；利用预设算法从所述灰度图像中确定边缘特征点信息；根据所述预设帧灰度图像的边缘特征点信息从所述视频中提取出图像标志。
如图1所示，图1为本申请实施例提供的图像标志提取方法的流程示意图，该图像标志提取方法应用于电子设备，具体流程可以如下：
S101.在视频播放过程中，获取预设帧连续的视频图像。
本实施例中，获取预设帧连续的视频图像为该视频里任意选取的。帧是视频影像中最小单位的单幅影像画面，相当于电影中的每一格镜头。每一帧都是静止的图像，快速连续地显示帧便形成了运动的视频图像的假象，预设帧连续的视频图像请参见图4。
例如，请参见图2，上述步骤S101具体可以包括如下步骤：
S1011.获取每帧所述视频图像中像素点的RGB值。
本实施例中，获取每帧所述视频图像为彩色图像，视频图像的像素点是由R/G/B三个分量组成，其中，R为所述彩色图像的红色分量,G为所述彩色图像的绿色分量，B为所述彩色图像的蓝色分量；则每个点是由三个字节分别表示R/G/B；R/G/B通常划分成0到255共256个级别，其中0最暗(全黑)，255最亮(全白)。
S1012.将RGB值从RGB通道模型转换成HSV通道模型，得到对应的HSV值。
本实施例中，RGB通道模型为分成了三个颜色通道红(R)、绿(G)与蓝(B)的RGB的色彩模式，使用RGB通道模型为图像中每一个像素的RGB分量分配一个0～255范围内的强度值；HSV通道模型为根据颜色直观特性，分成的三个颜色直观特性的通道色相(H)、饱和度(S)与明度(V)的HSV的模式，此HSV通道模型比较符合人眼的习惯。
其中，HSV通道模型包括HSV值(Hue色相、Saturation饱和度、Value(Brightness)明度，也叫HSB)。
进一步的，上述步骤S1012可以利用以下公式(1-1)来实现：
Figure BDA0002033266070000041
Figure BDA0002033266070000042
V＝max
其中，H为像素点的色相，范围为0-1；S为该像素点的饱和度，范围为0-1；V为该像素点的明度，范围为0-1；max为该像素点R、G和B值中的最大值，其范围为0-255；min为该像素点R、G和B值中的最小值，其范围为0-255。
S1013.根据所述像素点的HSV值确定对应帧视频图像的灰度图像。
在本实施例中，根据所述像素点的HSV值确定的灰度图像是指只含亮度信息、不含色彩信息的图像，即通常意义讲的黑白图像：该灰度图像的亮度由暗到明，变化是连续的。
需要指出的是，在本实施例中H是该像素点的饱和度，与色彩有关，S是饱和度，与预设帧对应图像的深浅有关，当S＝0时，所述像素点只有灰度，V是明度，表示色彩的明亮程度，但与光强无直接联系。本申请实施例就是在此理论基础上，剔除了该预设帧视频图像中该像素点的H值，进而达到确定对应帧视频图像的灰度图像的目的。
S102.确定每帧所述视频图像对应的灰度图像，得到预设帧灰度图像。
本实施例中，得到预设帧灰度图像需根据该像素点对应的HSV值，计算出像素点对应的灰度影像值，进而得到预设帧灰度图形，该步骤S102具体可以包括如下两步骤：
S1021.根据所述像素点的饱和度值计算对应的目标值。
本实施例中，该像素点的目标值的公式(1-2)为
T＝1-S (1-2)
其中，T为所述像素点的饱和度值S对应的目标值。
S1022.将所述目标值与对应像素点的所述明度值相乘，得到所述像素点的灰度影像值。
本实施例中，该像素点的灰度影像值公式(1-3)为；
SV＝T×V (1-3)
其中，V为该像素点的明度，SV为该像素点的灰度影像值，该T、V、S与SV的范围均为0-1。进一步的，该像素点的S值与V值在上述公式(1-1)中计算出。该计算方法剔除了该预设帧视频图像中该像素点的H值，进而可确定对应帧视频图像的灰度图像。
S1023.根据所述灰度影像值确定对应帧视频图像的灰度图像，得到预设帧灰度图像。
在本实施例中，需要指出的是，所述像素点的灰度影像值SV为一个该像素点的SV值，对于本步骤S1022中的确定对应帧视频图像的灰度图像，是整个预设帧视频图像，该对应帧视频图像，同理，该预设帧灰度图像包括图像上所有像素点的灰度影像值。因此，本实施例需要遍历每个像素点的位置，进而确定预设帧视频图像的灰度图像。
例如，假设该预设帧视频图像为X行Y列像素点构成的图像，其中，X和Y取自然数，该图像可近似认为呈一个X行Y列的矩阵，单个像素点的坐标值可表示为(i，j)，(i，j)标识第i行第j列的像素点的坐标值，且0<i≤X，0<j≤Y。该遍历的步骤包括：从第1行到第X行进行扫描，在对该扫描行进行第1列至第Y列的遍历，假设遍历过程到第i行(0<i≤X)，只需在第i行进行列遍历，例如(i，1)、(i，2)、(i，3)……(i，Y)，当遍历至像素点(i，Y)时，转行遍历i+1行，对第i+1行进行列遍历，例如(i+1，1)、(i+1，2)、(i+1，3)……(i+1，Y)，如此循环操作，直至遍历至第X行的最后一个像素点，即坐标值为(X，Y)的像素点，即可完成整个预设帧视频图像的遍历操作，从而确定预设帧视频图像的灰度图像。
同理，该遍历的步骤还可以包括：从第1列到第Y列进行扫描，在对该扫描列进行第1行至第Y列的遍历，假设遍历过程到第j列(0<j≤Y)，只需在第j列进行行遍历，例如(1，j)、(2，j)、(3，j)……(X，j)，当遍历至像素点(X，j)时，转列遍历j+1列，对第j+1列进行行遍历，例如(1，j+1)、(2，j+1)、(3，j+1)……(X，j+1)，如此循环操作，直至遍历至第Y列的最后一个像素点，即坐标值为(X，Y)的像素点，即可完成整个预设帧视频图像的遍历操作，从而确定预设帧视频图像的灰度图像。
S103.利用预设算法从所述灰度图像中确定边缘特征点信息。
在本实施例中，预设算法包括图像处理的经典边缘提取方法，具体包括一阶微分算子和二阶微分算子，一阶微分算子包括罗伯茨算子(Roberts)与索贝尔算子(Sobel)等，其中，索贝尔算子是以垂直和水平两方向模板对图像作卷积进行边缘检测，由于其方法简单、计算量小、处理速度快，通常用于实时图像处理***中，即本实施例采用的就是利用索贝尔算子从所述灰度图像中确定边缘特征点信息。
例如，请参见图3，上述步骤S103具体可以包括如下步骤：
S1031.利用高通滤波器处理所述预设帧视频图像的灰度图像，得到已处理图像。
在本实施例中，首先对所述预设帧视频图像的灰度图像计算傅里叶变换，该傅里叶变换公式(1-4)为：
Figure BDA0002033266070000071
k＝1，2，...，X b＝1,2，...，Y
其中，X，Y分别为预设帧视频图像横向和纵向上的总像素数，SV(k，b)为预设帧视频图像在遍历到坐标值为(k，b)处的灰度影像值，其中，k为1到X的正整数，b为1到Y的正整数；SV(i，j)为坐标值为第i行第j列的像素点的傅里叶变换的灰度影像值，本申请实施例以该坐标点为(i，j)的像素点，进行下述步骤。
然后对傅里叶变换的灰度影像值进行高通滤波，滤波公式(1-5)为：
Figure BDA0002033266070000081
滤波器的传递函数公式(1-6)满足：
Figure BDA0002033266070000082
其中，d0为预设截止频率到原点的距离，d(i，j)为点(i，j)到原点的距离，H(i，j)为滤波器遍历到像素点(i，j)的滤波器的传递函数，且在本申请实施例中，每个像素点对应的滤波器的传递函数相同。
对傅里叶变换的灰度影像值经过滤波器滤波的传递函数，得到滤波傅里叶的灰度影像值，该灰度影像值公式(1-7)为：
G(i，j)＝SV(i，j)×H(i，j) (1-7)
其中，SV(i，j)为坐标值为像素点(i，j)的傅里叶变换的灰度影像值，由上述公式(1-4)计算出；H(i，j)为滤波器遍历到像素点(i，j)的滤波器的传递函数，其公式为(1-6)；G(i，j)为像素点(i，j)的滤波傅里叶的灰度影像值。
最后将滤波傅里叶的灰度影像值G(i，j)进行傅里叶逆变换，得到高通滤波得到的图像，该傅里叶逆变换(1-8)为：
Figure BDA0002033266070000083
k＝1,2，...，X
b＝1，2，...，Y
该g(i，j)坐标值为(i，j)的像素点的滤波后图像灰度值，在滤波过程中，滤波傅里叶的灰度影像值G(i，j)需要经过遍历过程，i值由1取值到X，j由1取值到Y，该坐标点(i，j)即可遍历至该滤波图像的最后一个像素点，即坐标值为(X，Y)的像素点，得到滤波后图像灰度值g(i，j)，进而得到高通滤波得到的图像，即已处理图像。
S1032.对所述已处理图像用索贝尔算子进行锐化，计算出所述预设帧视频图像的灰度图像中所有像素点的转换灰度值。
在本实施例中，转换灰度值用于下述判断所述像素点是否为边缘点的步骤，该索贝尔算子公式(1-9)为：
Figure BDA0002033266070000091
利用索贝尔算子对已处理图像进行锐化，对于点(i，j)的梯度值由如下公式(1-10)计算出：
Figure BDA0002033266070000092
其中，g(i，j)坐标值为(i，j)的像素点的滤波后图像灰度值，Si和Sj分别为图像在水平、垂直方向的梯度值，像素点(i，j)的转换灰度值S(i，j)由如下公式(1-11)计算出：
Figure BDA0002033266070000093
需要说明的是，步骤S1031-S1032的最终得到是坐标点(i，j)为像素点的转换灰度值，本步骤S1031-S1032完成该步骤，需要遍历该预设帧图像中的每个像素点灰度影像值，得到每个像素点的转换灰度值，此遍历的方法在本实施例中的步骤S1022有说明，在此不再赘述。
S1033.判断所述像素点的转换灰度值是否不小于第一预设阈值，若是，则执行下述步骤S1034，若否，则执行上述步骤S1032。
在本实施例中，第一预设阈值为人为设定的最佳转换灰度值，该值主要是根据图像边缘处理中，根据像素点的边缘的明度值来确定。当所述像素点的转换灰度值是否不小于所述第一预设阈值，即所述像素点可设置为边缘点，以此可确定整个预设帧图像的边缘特征点信息。
S1034.则将所述像素点的图像信息，确定为边缘特征点信息。
在本实施例中，所述像素点的转换灰度值是经过步骤S1032锐化后得到的值，该值由于经过锐化，具有鲜明的对比度，因此，可根据该像素点转换后的灰度值判断该像素点是否为本预设帧图像的边缘特征点信息。
S104.根据所述预设帧灰度图像的边缘特征点信息从所述视频中提取出图像标志。
在本实施例中，该预设帧灰度图像的边缘特征点信息已由上述步骤S103计算出，本步骤中提取出图像标志的步骤具体可以包括如下两步骤：
S1041.将所述预设帧灰度图像中同一像素点的边缘特征点信息进行累乘。
在本实施例中，将所述预设帧灰度图像中同一像素点的边缘特征点信息进行累乘，当预设帧灰度图像为第N帧，其中第N帧为该视频播放过程中的任意一帧视频图像，在此第N帧之前包括M帧灰度影像，M≤N-1，其中该M帧灰度影像包括：第1帧灰度影像、2帧灰度影像……第M帧灰度影像；譬如，当M＝N-1时，该M帧灰度影像包括：第1帧灰度影像、2帧灰度影像……第N-1帧灰度影像。在本实施例中，即将第N帧与前M帧影像的像素点的灰度影像值SV值对应位置相乘，得到累乘值Q，其公式(1-12)为：
Figure BDA0002033266070000111
其中，SVSn表示累乘至第n帧灰度影像时，对应同一像素点灰度影像值SV值，其中，n的取值范围为N-M至N的正整数。譬如，当M＝N-1时，即前该累乘值可表示为如下公式(1-13)：
Q＝SVS(N-M)×SVS(N-M+1)×SVS(N-M+2)……SVSN (1-13)
具体的，假设N取20，即表示预设帧灰度影像，为该视频播放中的第20帧灰度影像；M取16，该M帧灰度影像包括：第1帧、第2帧、第3帧……第15帧，则该累乘值为将15帧至第20帧之间的图像的灰度影像值SV进行累乘，即该累乘值第17帧、第18帧、第19帧到第20帧的同一像素点的灰度影像值SV累乘，该累乘值为该4帧影像的同一像素点的SV的积。
需要说明的是，本实施例中累乘值为预设帧灰度图像中的同一像素点的累乘值，本步骤S1041完成该步骤，需要遍历该预设帧图像中的每个像素点的灰度影像值SV，得到每个像素点的灰度影像值的累乘值，此遍历的方法在本实施例中的步骤S1022有说明，在此不再赘述。
S1042.将累乘值大于第二预设阈值的所述像素点形成的图形作为图像标志进行提取。
在本实施例中，前步骤以叙述，饱和度S值与明度V的范围均为0-1，灰度影像值SV由于进行了累乘的步骤，边缘信息点信息相同时，该像素点的灰度影像值在进行累乘步骤时，其累乘积的变化范围不大；当边缘点信息不同时，该像素点的灰度影像值SV会趋近于一个近似于0的值；因此，本申请实施例中的第二预设阈值可为一个趋近于0的值，例如0.05。进一步的，用户可根据提取图像标志的精度来对预设阈值进行设定，譬如，原预设阈值为0.05，当用户在图像标志提取过程中，主观或者客观认为此标志提取方法的提取效果弱，可人为的将该预设阈值调整至小于原预设阈值的值，例如0.005，进而加强了该图像标志提取方法的精度。
由上述可知，本实施例提供的图像标志提取方法，应用于电子设备，在视频播放过程中，获取预设帧连续的视频图像；确定每帧所述视频图像对应的灰度图像，得到预设帧灰度图像；利用预设算法从所述灰度图像中确定边缘特征点信息；根据所述预设帧灰度图像的边缘特征点信息从所述视频中提取出图像标志，提高视频中半透明图像标志提取的准确性，方法简单，提取效果好。
根据上述实施例所描述的方法，本实施例将从图像标志提取装置的角度进一步进行描述，该图像标志提取装置具体可作为独立的实体来实现。
本实施例提供一种图像标志提取装置及***。
请参阅图4，该***可以包括本发明实施例所提供的任一种图像标志提取装置，该图像标志提取装置具体可以集成在服务器或终端等电子设备中。
其中，电子设备在视频播放过程中，获取预设帧连续的视频图像；确定每帧所述视频图像对应的灰度图像，得到预设帧灰度图像；利用预设算法从所述灰度图像中确定边缘特征点信息；根据所述预设帧灰度图像的边缘特征点信息从所述视频中提取出图像标志。
其中，该预设帧连续的视频图像为视频里任意选取的图像。该边缘特征点信息可以包括纹理、形状和空间关系等。具体可以通过深度模型对于该预设帧连续的视频图像，确定每帧视频图像对应的灰度图像并得到预设帧灰度图像，确定预设帧灰度图像的边缘特征点信息，再从边缘特征点信息中提取出图像标志。例如，当用户获取该预设帧连续的视频图像，该预设帧视频图像均包括图像标志，经过该图像标志装置确定、分析与提取，可以将预设帧视频图像中的标志提取出来。
请参阅图5，图5具体描述了本申请实施例提供的图像标志提取装置，应用于电子设备，该电子设备可以包括手机、平板电脑、个人PC等具有图像显示功能的设备。该图像标志提取装置可以包括：获取模块10、确定模块20、计算模块30和提取模块40，其中：
(1)获取模块10
获取模块10，用于在视频播放过程中，获取预设帧连续的视频图像。
本实施例中，获取预设帧连续的视频图像为该视频里任意选取的。帧是视频影像中最小单位的单幅影像画面，相当于电影中的每一格镜头。每一帧都是静止的图像，快速连续地显示帧便形成了运动的视频图像的假象，预设帧连续的视频图像请参见图4。
例如，当获取预设帧连续的视频图像时，该获取模块10具体用于：
(11).获取每帧所述视频图像中像素点的RGB值。
本实施例中，获取每帧所述视频图像为彩色图像，视频图像的像素点是由R/G/B三个分量组成，其中，R为所述彩色图像的红色分量，G为所述彩色图像的绿色分量，B为所述彩色图像的蓝色分量；则每个点是由三个字节分别表示R/G/B；R/G/B通常划分成0到255共256个级别，其中0最暗(全黑)，255最亮(全白)。
(12).将RGB值从RGB通道模型转换成HSV通道模型，得到对应的HSV值。
本实施例中，RGB通道模型为分成了三个颜色通道红(R)、绿(G)与蓝(B)的RGB的色彩模式，使用RGB通道模型为图像中每一个像素的RGB分量分配一个0～255范围内的强度值；HSV通道模型为根据颜色直观特性，分成的三个颜色直观特性的通道色相(H)、饱和度(S)与明度(V)的HSV的模式，此HSV通道模型比较符合人眼的习惯。
其中，HSV通道模型包括HSV值(Hue色相、Saturation饱和度、Value(Brightness)明度，也叫HSB)。
进一步的，将RGB通道模型转换成对应的HSV通道模型，具体利用以下公式(2-1)来实现：
Figure BDA0002033266070000141
Figure BDA0002033266070000142
V＝max
其中，H为像素点的色相，范围为0-1；S为该像素点的饱和度，范围为0-1；V为该像素点的明度，范围为0-1；max为该像素点R、G和B值中的最大值，其范围为0-255；min为该像素点R、G和B值中的最小值，其范围为0-255。
(13).根据所述像素点的HSV值确定对应帧视频图像的灰度图像。
在本实施例中，根据所述像素点的HSV值确定的灰度图像是指只含亮度信息、不含色彩信息的图像，即通常意义讲的黑白图像：该灰度图像的亮度由暗到明，变化是连续的。
需要指出的是，在本实施例中H是该像素点的饱和度，与色彩有关，S是饱和度，与预设帧对应图像的深浅有关，当S＝0时，所述像素点只有灰度，V是明度，表示色彩的明亮程度，但与光强无直接联系。本申请实施例就是在此理论基础上，剔除了该预设帧视频图像中该像素点的H值，进而达到确定对应帧视频图像的灰度图像的目的。
(2)确定模块20
确定模块20，用于确定每帧所述视频图像对应的灰度图像，得到预设帧灰度图像。
本实施例中，得到预设帧灰度图像需根据该像素点对应的HSV值，计算出像素点对应的灰度影像值，进而得到预设帧灰度图形，该确定模块20具体用于：
(21).根据所述像素点的饱和度值计算对应的目标值。
本实施例中，该像素点的目标值的公式(2-2)为：
T＝1-S (2-2)
其中，T为所述像素点的饱和度值S对应的目标值。
(22).将所述目标值与对应像素点的所述明度值相乘，得到所述像素点的灰度影像值。
本实施例中，该像素点的灰度影像值公式(2-3)为：
SV＝T×V (2-3)
其中，V为该像素点的明度，SV为该像素点的灰度影像值，该T、V、S与SV的范围均为0-1。进一步的，该像素点的S值与V值在上述公式(2-1)中计算出。该计算方法剔除了该预设帧视频图像中该像素点的H值，进而可确定对应帧视频图像的灰度图像。
(23)根据所述灰度影像值确定对应帧视频图像的灰度图像，得到预设帧灰度图像。
在本实施例中，需要指出的是，所述像素点的灰度影像值SV为一个该像素点的SV值，对于本确定模块20中的确定对应帧视频图像的灰度图像，是整个预设帧视频图像，该对应帧视频图像，同理，该预设帧灰度图像包括图像上所有像素点的灰度影像值。因此，本实施例需要遍历每个像素点的位置，进而确定预设帧视频图像的灰度图像。
例如，假设该预设帧视频图像为X行Y列像素点构成的图像，其中，X和Y取自然数，该图像可近似认为呈一个X行Y列的矩阵，单个像素点的坐标值可表示为(i，j)，(i，j)标识第i行第j列的像素点的坐标值，且0<i≤X，0<j≤Y。该遍历的步骤包括：从第1行到第X行进行扫描，在对该扫描行进行第1列至第Y列的遍历，假设遍历过程到第i行(0<i≤X)，只需在第i行进行列遍历，例如(i，1)、(i，2)、(i，3)……(i，Y)，当遍历至像素点(i，Y)时，转行遍历i+1行，对第i+1行进行列遍历，例如(i+1，1)、(i+1，2)、(i+1，3)……(i+1，Y)，如此循环操作，直至遍历至第X行的最后一个像素点，即坐标值为(X，Y)的像素点，即可完成整个预设帧视频图像的遍历操作，从而确定预设帧视频图像的灰度图像。
同理，该遍历的步骤还可以包括：从第1列到第Y列进行扫描，在对该扫描列进行第1行至第Y列的遍历，假设遍历过程到第j列(0<j≤Y)，只需在第j列进行行遍历，例如(1，j)、(2，j)、(3，j)……(X，j)，当遍历至像素点(X，j)时，转列遍历j+1列，对第j+1列进行行遍历，例如(1，j+1)、(2，j+1)、(3，j+1)……(X，j+1)，如此循环操作，直至遍历至第Y列的最后一个像素点，即坐标值为(X，Y)的像素点，即可完成整个预设帧视频图像的遍历操作，从而确定预设帧视频图像的灰度图像。
(3)计算模块30
计算模块30，用于利用预设算法从所述灰度图像中确定边缘特征点信息。
在本实施例中，预设算法包括图像处理的经典边缘提取方法，具体包括一阶微分算子和二阶微分算子，一阶微分算子包括罗伯茨算子(Roberts)与索贝尔算子(Sobel)等，其中，索贝尔算子是以垂直和水平两方向模板对图像作卷积进行边缘检测，由于其方法简单、计算量小、处理速度快，通常用于实时图像处理***中，即本实施例采用的就是利用索贝尔算子从所述灰度图像中确定边缘特征点信息。
例如，上述计算模块30具体可以用于：
(31).利用高通滤波器处理所述预设帧视频图像的灰度图像，得到已处理图像。
在本实施例中，首先对所述预设帧视频图像的灰度图像计算傅里叶变换，该傅里叶变换公式(2-4)为：
Figure BDA0002033266070000171
k＝1，2，...，X b＝1,2，...，Y
其中，X，Y分别为预设帧视频图像横向和纵向上的总像素数，SV(k，b)为预设帧视频图像在遍历到坐标值为(k，b)处的灰度影像值，其中，k为1到X的正整数，b为1到Y的正整数；SV(i，j)为坐标值为第i行第j列的像素点的傅里叶变换的灰度影像值，本申请实施例以该坐标点为(i，j)的像素点。
然后对傅里叶变换的灰度影像值进行高通滤波，滤波公式(1-5)为：
Figure BDA0002033266070000181
滤波器的传递函数公式(2-6)满足：
Figure BDA0002033266070000182
其中，d0为预设截止频率到原点的距离，d(i，j)为点(i，j)到原点的距离，H(i，j)为滤波器遍历到像素点(i，j)的滤波器的传递函数，且在本申请实施例中，每个像素点对应的滤波器的传递函数相同。
对傅里叶变换的灰度影像值经过滤波器滤波的传递函数，得到滤波傅里叶的灰度影像值，该灰度影像值公式(2-7)为：
G(i，j)＝SV(i，j)×H(i，j) (2-7)
其中，SV(i，j)为坐标值为像素点(i，j)的傅里叶变换的灰度影像值，由上述公式(2-4)计算出；H(i，j)为滤波器遍历到像素点(i，j)的滤波器的传递函数，其公式为(2-6)；G(i，j)为像素点(i，j)的滤波傅里叶的灰度影像值。
最后将滤波傅里叶的灰度影像值G(i，j)进行傅里叶逆变换，得到高通滤波得到的图像，傅里叶逆变换(2-8)为：
Figure BDA0002033266070000183
k＝1,2，...，X b＝1，2，...，Y
g(i，j)坐标值为(i，j)的像素点的滤波后图像灰度值，在滤波过程中，滤波傅里叶的灰度影像值G(i，j)需要经过遍历过程，i值由1取值到X，j由1取值到Y，该坐标点(i，j)即可遍历至该滤波图像的最后一个像素点，即坐标值为(X，Y)的像素点，得到滤波后图像灰度值g(i，j)，进而得到高通滤波得到的图像，即已处理图像。
(32).对所述已处理图像用索贝尔算子进行锐化，计算出所述预设帧视频图像的灰度图像中所有像素点的转换灰度值。
在本实施例中，转换灰度值用于下述判断所述像素点是否为边缘点的步骤，该索贝尔算子(2-9)为：
Figure BDA0002033266070000191
利用索贝尔算子对已处理图像进行锐化，对于点(i，j)的梯度值由如下公式(2-10)计算出：
Figure BDA0002033266070000192
其中，g(i，j)坐标值为(i，j)的像素点的滤波后图像灰度值，Si和Sj分别为图像在水平、垂直方向的梯度值，像素点(i，j)的转换灰度值S(i，j)由如下公式(2-11)计算出：
Figure BDA0002033266070000193
需要说明的是，本计算模块30最终得到是坐标点(i，j)为像素点的转换灰度值，计算模块30需要遍历该预设帧图像中的每个像素点灰度影像值，得到每个像素点的转换灰度值，此遍历的方法在本实施例中的获取模块10中有说明，在此不再赘述。
(33).判断所述像素点的转换灰度值是否不小于第一预设阈值。
在本实施例中，第一预设阈值为人为设定的最佳转换灰度值，该值主要是根据图像边缘处理中，根据像素点的边缘的明度值来确定。当所述像素点的转换灰度值是否不小于所述第一预设阈值，即所述像素点可设置为边缘点，以此可确定整个预设帧图像的边缘特征点信息。
(34).所述像素点的转换灰度值不小于所述第一预设阈值时，则将所述像素点的图像信息，确定为边缘特征点信息。
在本实施例中，所述像素点的转换灰度值是经过该计算模块30锐化后得到的值，该值由于经过锐化，具有鲜明的对比度，因此，可根据该像素点转换后的灰度值判断该像素点是否为本预设帧图像的边缘特征点信息。
(4)提取模块40
提取模块40，用于根据所述预设帧灰度图像的边缘特征点信息从所述视频中提取出图像标志。
在本实施例中，该预设帧灰度图像的边缘特征点信息已由上述获取模块10计算出，提取模块40具体用于：
(41).将所述预设帧灰度图像中同一像素点的边缘特征点信息进行累乘。
在本实施例中，将所述预设帧灰度图像中同一像素点的边缘特征点信息进行累乘，当预设帧灰度图像为第N帧，其中第N帧为该视频播放过程中的任意一帧视频图像，在此第N帧之前包括M帧灰度影像，M≤N-1，其中该M帧灰度影像包括：第1帧灰度影像、2帧灰度影像……第M帧灰度影像；譬如，当M＝N-1时，该M帧灰度影像包括：第1帧灰度影像、2帧灰度影像……第N-1帧灰度影像。在本实施例中，即将第N帧与前M帧影像的像素点的灰度影像值SV值对应位置相乘，得到累乘值Q，其公式(2-12)为：
Figure BDA0002033266070000201
其中，SVSn表示累乘至第n帧灰度影像时，对应同一像素点灰度影像值SV值，其中，n的取值范围为N-M至N的正整数。譬如，当M＝N-1时，即前该累乘值可表示为如下公式(1-13)：
Q＝SVS(N-M)×SVS(N-M+1)×SVS(N-M+2)……SVSN (2-13)
具体的，假设N取20，即表示预设帧灰度影像，为该视频播放中的第20帧灰度影像；M取16，该M帧灰度影像包括：第1帧、第2帧、第3帧……第15帧，则该累乘值为将15帧至第20帧之间的图像的灰度影像值SV进行累乘，即该累乘值第17帧、第18帧、第19帧到第20帧的同一像素点的灰度影像值SV累乘，该累乘值为该4帧影像的同一像素点的SV的积。
需要说明的是，本实施例中累乘值为预设帧灰度图像中的同一像素点的累乘值，本提取模块40需要遍历该预设帧图像中的每个像素点的灰度影像值SV，得到每个像素点的灰度影像值的累乘值，此遍历的方法在本实施例中的获取模块10中有说明，在此不再赘述。
(42).将累乘值大于第二预设阈值的所述像素点形成的图形作为图像标志进行提取。
在本实施例中，前步骤以叙述，饱和度S值与明度V的范围均为0-1，灰度影像值SV由于进行了累乘的步骤，边缘信息点信息相同时，该像素点的灰度影像值在进行累乘步骤时，其累乘积的变化范围不大；当边缘点信息不同时，该像素点的灰度影像值SV会趋近于一个近似于0的值；因此，本申请实施例中的第二预设阈值可为一个趋近于0的值，例如0.05。进一步的，用户可根据提取图像标志的精度来对预设阈值进行设定，譬如，原预设阈值为0.05，当用户在图像标志提取过程中，主观或者客观认为此标志提取方法的提取效果弱，可人为的将该预设阈值调整至小于原预设阈值的值，例如0.005，进而加强了该图像标志提取方法的精度。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。为此，本申请实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种图像标志提取方法中的步骤。
其中，该存储介质可以包括：只读存储器(Read Only Memory，简称ROM)、随机存取记忆体(Random Access Memory，简称RAM)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本申请实施例所提供的任一种图像标志提取方法中的步骤，因此，可以实现本申请实施例所提供的任一种图像标志提取方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
综上所述，虽然本申请已以优选实施例揭露如上，但上述优选实施例并非用以限制本申请，本领域的普通技术人员，在不脱离本申请的精神和范围内，均可作各种更动与润饰，因此本申请的保护范围以权利要求界定的范围为准。

Claims (9)

1.一种图像标志提取方法，其特征在于，所述方法包括：
在视频播放过程中，获取预设帧连续的视频图像；
确定每帧所述视频图像对应的灰度图像，得到预设帧灰度图像；
利用预设算法从所述灰度图像中确定边缘特征点信息；
根据所述预设帧灰度图像的边缘特征点信息从所述视频中提取出图像标志；
其中，所述根据所述预设帧灰度图像的边缘特征点信息从所述视频中提取出图像标志，具体包括：
将所述预设帧灰度图像中同一像素点的边缘特征点信息进行累乘；
将累乘值大于第二预设阈值的所述像素点形成的图形作为图像标志进行提取。
2.根据权利要求1所述的图像标志提取方法，其特征在于，所述获取预设帧连续的视频图像，具体包括：
获取每帧所述视频图像中像素点的RGB值；
将RGB值从RGB通道模型转换成HSV通道模型，得到对应的HSV值；
根据所述像素点的HSV值确定对应帧视频图像的灰度图像。
3.根据权利要求2所述的图像标志提取方法，其特征在于，所述HSV值包括色相值、饱和度值和明度值，所述根据所述像素点的HSV值确定对应帧视频图像的灰度图像，具体包括：
根据所述像素点的饱和度值计算对应的目标值；
将所述目标值与对应像素点的所述明度值相乘，得到所述像素点的灰度影像值；
根据所述灰度影像值确定对应帧视频图像的灰度图像，得到预设帧灰度图像。
4.根据权利要求1所述的图像标志提取方法，其特征在于，所述利用预设算法从所述灰度图像中确定边缘特征点信息，具体包括：
利用高通滤波器处理所述预设帧视频图像的灰度图像，得到已处理图像；
对所述已处理图像用索贝尔算子进行锐化，计算出所述预设帧视频图像的灰度图像中所有像素点的转换灰度值；
判断所述像素点的转换灰度值是否不小于第一预设阈值，若是，则将所述像素点的图像信息，确定为边缘特征点信息。
5.一种图像标志提取装置，其特征在于，所述装置包括：
获取模块，用于在视频播放过程中，获取预设帧连续的视频图像；
确定模块，用于确定每帧所述视频图像对应的灰度图像，得到预设帧灰度图像；
计算模块，用于利用预设算法从所述灰度图像中确定边缘特征点信息；
提取模块，用于根据所述预设帧灰度图像的边缘特征点信息从所述视频中提取出图像标志；
其中，所述根据所述预设帧灰度图像的边缘特征点信息从所述视频中提取出图像标志，具体包括：
将所述预设帧灰度图像中同一像素点的边缘特征点信息进行累乘；
将累乘值大于第二预设阈值的所述像素点形成的图形作为图像标志进行提取。
6.根据权利要求5所述的图像标志提取装置，其特征在于，所述获取模块具体用于：
获取每帧所述视频图像中像素点的RGB值；
将RGB值从RGB通道模型转换成HSV通道模型，得到对应的HSV值；
根据所述像素点的HSV值确定对应帧视频图像的灰度图像。
7.根据权利要求6所述的图像标志提取装置，其特征在于，所述HSV值包括色相值、饱和度值和明度值，所述确定模块具体用于：
根据像素点的饱和度值计算对应的目标值；
将所述目标值与对应像素点的所述明度值相乘，得到所述像素点的灰度影像值；
根据所述灰度影像值确定对应帧视频图像的灰度图像，得到预设帧灰度图像。
8.根据权利要求5所述的图像标志提取装置，其特征在于，所述提取模块具体用于：
将所述预设帧灰度图像中同一像素点的边缘特征点信息进行累乘；
将累乘值大于预设阈值的所述像素点形成的图形作为图像标志进行提取。
9.一种计算机可读存储介质，其特征在于，所述存储介质中存储有多条指令，所述指令适于由处理器加载以执行权利要求1至4任一项所述的图像标志提取方法。
CN201910316438.3A 2019-04-19 2019-04-19 图像标志提取方法、装置及存储介质 Active CN110111347B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910316438.3A CN110111347B (zh) 2019-04-19 2019-04-19 图像标志提取方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910316438.3A CN110111347B (zh) 2019-04-19 2019-04-19 图像标志提取方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN110111347A CN110111347A (zh) 2019-08-09
CN110111347B true CN110111347B (zh) 2021-04-27

Family

ID=67485901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910316438.3A Active CN110111347B (zh) 2019-04-19 2019-04-19 图像标志提取方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN110111347B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114341946A (zh) * 2019-11-05 2022-04-12 深圳市欢太科技有限公司 识别方法、装置、电子设备及存储介质
CN111160215B (zh) * 2019-12-25 2024-01-12 Tcl华星光电技术有限公司 图像标识的亮度调节装置及方法
CN113688849B (zh) * 2021-08-30 2023-10-24 中国空空导弹研究院 一种用于卷积神经网络的灰度图像序列特征提取方法
CN113923513B (zh) * 2021-09-08 2024-05-28 浙江大华技术股份有限公司 一种视频处理方法及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101408942A (zh) * 2008-04-17 2009-04-15 浙江师范大学 一种复杂背景下的车牌定位方法
KR20120058851A (ko) * 2010-11-30 2012-06-08 엘지디스플레이 주식회사 영상처리부와 이를 이용한 표시장치, 및 영상처리방법
CN108961299A (zh) * 2017-05-18 2018-12-07 北京金山云网络技术有限公司 一种前景图像获得方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100975221B1 (ko) * 2008-11-05 2010-08-10 매그나칩 반도체 유한회사 샤프니스 보정장치 및 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101408942A (zh) * 2008-04-17 2009-04-15 浙江师范大学 一种复杂背景下的车牌定位方法
KR20120058851A (ko) * 2010-11-30 2012-06-08 엘지디스플레이 주식회사 영상처리부와 이를 이용한 표시장치, 및 영상처리방법
CN108961299A (zh) * 2017-05-18 2018-12-07 北京金山云网络技术有限公司 一种前景图像获得方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《Multi-feature histogram intersection for Efficient Content Based Image Retrieval》;Manoj D. Chaudhary等;《2014 International Conference on Circuit, Power and Computing Technologies》;20141231;第1366-1371页 *
《融合边缘检测与HSV颜色特征的车牌定位技术》;王枚等;《计算机应用研究》;20070831;第24卷(第8期);第209-211页 *

Also Published As

Publication number Publication date
CN110111347A (zh) 2019-08-09

Similar Documents

Publication Publication Date Title
CN110111347B (zh) 图像标志提取方法、装置及存储介质
EP3916627A1 (en) Living body detection method based on facial recognition, and electronic device and storage medium
CN108805023B (zh) 一种图像检测方法、装置、计算机设备及存储介质
CN109978854B (zh) 一种基于边缘与结构特征的屏幕内容图像质量评估方法
Zhang et al. A no-reference evaluation metric for low-light image enhancement
US20140079319A1 (en) Methods for enhancing images and apparatuses using the same
US10062195B2 (en) Method and device for processing a picture
WO2023160312A1 (zh) 基于自监督学习的行人重识别方法、装置、设备及存储介质
CN103841410B (zh) 基于图像特征信息的半参考视频QoE客观评估方法
JP2021531571A (ja) 証明書画像抽出方法及び端末機器
CN109190617B (zh) 一种图像的矩形检测方法、装置及存储介质
CN107767358B (zh) 一种图像中物体模糊度确定方法和装置
CN113592776A (zh) 图像处理方法及装置、电子设备、存储介质
CN111612741A (zh) 一种基于失真识别的精确无参考图像质量评价方法
CN106529549B (zh) 基于自适应特征和离散余弦变换的视觉显著性检测方法
CN103366390A (zh) 终端及图像处理方法和装置
CN111444555A (zh) 一种测温信息显示方法、装置及终端设备
CN111784658B (zh) 一种用于人脸图像的质量分析方法和***
CN105979283A (zh) 视频转码方法和装置
CN110766153A (zh) 神经网络模型训练方法、装置及终端设备
CN111027564A (zh) 基于深度学习一体化的低照度成像车牌识别方法及装置
CN111126250A (zh) 一种基于ptgan的行人重识别方法及装置
CN111047618A (zh) 基于多尺度的无参考屏幕内容图像质量评估方法
CN112839167B (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN106611417B (zh) 将视觉元素分类为前景或背景的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 9-2 Tangming Avenue, Guangming New District, Shenzhen City, Guangdong Province

Applicant after: TCL China Star Optoelectronics Technology Co.,Ltd.

Address before: 9-2 Tangming Avenue, Guangming New District, Shenzhen City, Guangdong Province

Applicant before: Shenzhen China Star Optoelectronics Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant