CN103530598B - 一种台标识别方法及*** - Google Patents
一种台标识别方法及*** Download PDFInfo
- Publication number
- CN103530598B CN103530598B CN201310075179.2A CN201310075179A CN103530598B CN 103530598 B CN103530598 B CN 103530598B CN 201310075179 A CN201310075179 A CN 201310075179A CN 103530598 B CN103530598 B CN 103530598B
- Authority
- CN
- China
- Prior art keywords
- angle point
- sample
- similarity
- positive sample
- station symbol
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开一种台标识别方法及***,其中,所述方法包括步骤:通过特征角点概率分布矩阵,计算每一个正样本、负样本的相似度,获取包含所有正样本、负样本相似度的相似度集,通过所述相似度集计算出所需检测台标的相似度阈值;通过所述特征角点概率分布矩阵计算出待检测图像包含所需检测台标的待检测相似度,根据待检测相似度与相似度阈值的大小关系,判断所述待检测图像中是否含有所需检测台标。本发明提高了台标识别的准确性,缩短了识别的时间,提高了识别效率,从而为多媒体技术的视频自动搜索、收录、分析和检索提供有效的技术支持。
Description
技术领域
本发明涉及台标识别领域,尤其涉及一种台标识别方法及***。
背景技术
电视台的台标是区分电视台的重要标志,台标包含了电视台的台名、节目取向等重要消息,利用计算机图像处理识别技术自动识别台标成为近年来的研究热点,其在电视机的日常应用中能有效的进行节目监控、视频内容分析和检索、用户观看习惯分析等。
目前存在的台标识别方法主要有:1、利用多帧差法获取台标,通过模板匹配进行识别;2、基于颜色直方图或者形状进行识别等。但这些方法大多都存在对相似颜色和透明台标不易识别的情况,同时由于背景和噪声的干扰,识别率较低。
因此,现有技术还有待于改进和发展。
发明内容
鉴于上述现有技术的不足,本发明的目的在于提供一种台标识别方法及***,旨在解决现有台标识别技术存在对相似颜色和透明台标不易识别、识别率较低的问题。
本发明的技术方案如下:
一种台标识别方法,其中,包括步骤:
A、从多幅原始图像中提取所需检测台标的正样本和负样本,所述正样本为含有所需检测台标的区域图像,所述负样本为不含所需检测台标的区域图像;
B、对提取出的正样本进行特征角点检测,获取正样本的特征角点集合,并通过所述特征角点集合对正样本中每一像素点出现特征角点的频率进行计算,获取所需检测台标的特征角点概率分布矩阵;
C、通过所述特征角点概率分布矩阵,计算每一个正样本、负样本的相似度,得到包含所有正样本、负样本相似度的相似度集,通过所述相似度集计算出所需检测台标的相似度阈值;
D、通过所述特征角点概率分布矩阵计算出待检测图像包含所需检测台标的待检测相似度,判断待检测相似度是否大于相似度阈值,当是时判定待检测图像中含有所需检测台标,当否时判定待检测图像中不含有所需检测台标。
所述的台标识别方法,其中,所述步骤A中,对于相同台标,每一正样本在对应的原始图像中的相对位置相同,正样本与负样本的数量比为1:1.5~1:3.5。
所述的台标识别方法,其中,所述步骤B中,获取正样本的特征角点集合的过程包括:
B1、计算正样本的方向导数,分别保存为数组Ix和数组Iy,Ix为x方向的方向导数,Iy为y方向的方向导数;
B2、利用高斯模板为正样本中每一个像素点计算局部自相关矩阵M,其中, 为高斯模板;
B3、通过M计算每一个像素点的角点量矩阵I,其中,I=det(M)-k·tr2(M),其中det为矩阵的行列式,tr为矩阵的迹,k为[0.04,0.06]范围内的常数;
B4、判断角点量矩阵I中的任意一点,是否同时满足该点的元素值大于一阈值,并且是该点领域内的局部极大值,当同时满足时,判定该点为正样本的特征角点。
所述的台标识别方法,其中,所述步骤B中,获取所需检测台标的特征角点概率分布矩阵的过程具体包括:
B5、计算所有正样本中每一个像素点(x,y)位置出现特征角点的次数n(x,y),当n(x,y)与正样本总量的比例小于预定值,则判定对应的像素点(x,y)不是特征角点,并将该次数(x,y)的值归零,否则判定为特征角点,并保留该次数n(x,y)的值;
B6、对每一像素点(x,y)位置上出现特征角点的频率P(x,y)进行归一化操作获得所需检测台标的特征角点概率分布矩阵Mp(x,y),每一像素点(x,y)位置上出现特征角点的频率P(x,y)为当前像素点(x,y)出现特征角点的次数n(x,y)与正样本总量的比值。
所述的台标识别方法,其中,所述步骤C具体包括:
C1、预先设置一最小识别正确率、最大识别错误率以及最大漏识别率;
C2、对每一正样本及负样本进行特征角点检测,当检测到正样本或负样本中在任一像素点(x,y)存在特征角点时,则所述正样本或负样本在任一像素点(x,y)的特征角点信息表达式Si(x,y)=1,否则Si(x,y)=0,以获取所有正样本、负样本特征角点集S={S0,S1,S2,......,Si......SN},其中Si为w×h的行列式,N=NumSamples+NumNegative-1,w、h为正样本及负样本的宽和高,NumSamples为样本总量,NumNegative为负样本总量;
C3、通过特征角点概率分布矩阵获取每一正样本及负样本的相似度εi,从而获取所有正样本及负样本特征集ε={ε0,ε1,ε2,......,εi......εN},εi表示所有正样本及负样本中第i个样本的相似度;
C4、根据所述最小识别正确率、最大识别错误率及最大漏识别率对所需检测的台标进行训练,得到所需检测的台标的相似度阈值。
所述的台标识别方法,其中,所述步骤C4具体包括:
C41、预设一初始相似度阈值,对所有正样本及负样本进行重新分类,若εi大于初始相似度阀值,则判定εi对应的样本为正样本,否则判定为负样本;
C42、统计在对所有正样本、负样本重新分类情况下正确识别个数Nr、错误识别个数Nw以及漏识别个数Nm,根据所述正确识别个数Nr、错误识别个数Nw以及漏识别个数Nm计算出初始相似度阈值条件下的识别正确率、识别错误率、漏识别率;
C43、判断在初始相似度阈值条件下,是否满足条件:识别正确率大于最小识别正确率,识别错误率小于最大识别错误率,以及漏识别率小于最大漏识别率,当满足时,转入步骤C45,否则转入步骤C44;
C44、以预定的步长对初始相似度阈值进行更新,并返回步骤C41重新分类;
C45、输出当前所训练台标的相似度阈值。
所述的台标识别方法,其中,所述步骤D具体包括:
D1、遍历所有训练过的台标的特征角点概率分布矩阵Mp和相似度阈值T,并按照当前台标的正样本位置信息及正样本大小信息从待检测图像中提取出台标区域;
D2、对台标区域进行特征角点检测,获取台标区域的特征角点信息以及获取台标区域的特征角点信息表达式S1;
D3、计算台标区域包含当前台标的相似度ε,MPi(x,y)为当前台标的特征角点概率分布矩阵在像素点(x,y)处的值,S1(x,y)为台标区域的特征角点信息表达式S1在像素点(x,y)处的值;
D4、根据所述相似度ε与当前台标的相似度阈值Tk进行比较,当ε≥Tk时,判定该待检测图像中包含当前台标,否则判定为不含当前台标。
一种台标识别***,其中,包括:
样本提取模块,用于从多幅原始图像中提取所需检测台标的正样本和负样本,所述正样本为含有所需检测台标的区域图像,所述负样本为不含所需检测台标的区域图像;
特征角点概率分布矩阵获取模块,用于对提取出的正样本进行特征角点检测,获取正样本的特征角点集合,并通过所述特征角点集合对正样本中每一像素点出现特征角点的频率进行计算,获取所需检测台标的特征角点概率分布矩阵;
相似度阈值获取模块,用于通过所述特征角点概率分布矩阵,计算每一个正样本、负样本的相似度,得到包含所有正样本、负样本相似度的相似度集,通过所述相似度集计算出所需检测台标的相似度阈值;
台标检测模块,用于通过所述特征角点概率分布矩阵计算出待检测图像包含所需检测台标的待检测相似度,判断待检测相似度是否大于相似度阈值,当是时判定待检测图像中含有所需检测台标,当否时判定待检测图像中不含有所需检测台标。
所述的台标识别***,其中,所述特征角点概率分布矩阵获取模块包括:
方向导数计算单元,用于计算正样本的方向导数,分别保存为数组Ix和数组Iy,Ix为x方向的方向导数,Iy为y方向的方向导数;
局部自相关矩阵计算单元,用于利用高斯模板为正样本中每一个像素点计算局部自相关矩阵M,其中, 为高斯模板;
角点量矩阵计算单元,用于通过M计算每一个像素点的角点量矩阵I,其中,I=det(M)-k·tr2(M),其中det为矩阵的行列式,tr为矩阵的迹,k为[0.04,0.06]范围内的常数;
特征角点信息获取单元,用于判断角点量矩阵I中的任意一点,是否同时满足该点的元素值大于一阈值,并且是该点领域内的局部极大值,当同时满足时,判定该点为正样本的特征角点。
所述的台标识别***,其中,所述特征角点概率分布矩阵获取模块还包括:
叠加统计单元,用于计算所有正样本中每一个像素点(x,y)位置出现特征角点的次数n(x,y),当n(x,y)与正样本总量的比例小于预定值,则判定对应的像素点(x,y)不是特征角点,并将该次数(x,y)的值归零,否则判定为特征角点,并保留该次数n(x,y)的值;
特征角点概率分布矩阵获取单元,用于对每一像素点(x,y)位置上出现特征角点的频率P(x,y)进行归一化操作获得所需检测台标的特征角点概率分布矩阵Mp(x,y),每一像素点(x,y)位置上出现特征角点的频率为当前像素点(x,y)出现特征角点的次数n(x,y)与正样本总量的比值。
所述的台标识别***,其中,所述相似度阈值获取模块包括:
预先设置单元,用于预先设置一最小识别正确率、最大识别错误率以及最大漏识别率;
特征角点集合获取单元,用于对每一正样本及负样本进行特征角点检测,当检测到正样本或负样本中在任一像素点(x,y)存在特征角点时,则所述正样本或负样本在任一像素点(x,y)的特征角点信息表达式Si(x,y)=1,否则Si(x,y)=0,以获取所有正样本、负样本特征角点集S={S0,S1,S2,......,Si......SN},其中Si为w×h的行列式,N=NumSamples+NumNegative-1,w、h为正样本及负样本的宽和高,NumSamples为样本总量,NumNegative为负样本总量;
相似度获取单元,用于通过特征角点概率分布矩阵获取每一正样本及负样本的相似度εi,从而获取所有正样本及负样本特征集ε={ε0,ε1,ε2,......,εi......εN},εi表示所有正样本及负样本中第i个样本的相似度;
相似度阈值获取单元,用于根据所述最小识别正确率、最大识别错误率及最大漏识别率对所需检测的台标进行训练,得到所需检测的台标的相似度阈值。
有益效果:本发明通过获取大量的正样本、负样本,并对样本进行特征角点检测,获取特征角点概率分布矩阵以及相似度阈值,通过上述训练过程,本发明能够在复杂的背景中准确、快捷的识别出待检测图像中所包含的台标,提高了台标识别的准确性,缩短了识别的时间,提高了识别效率,从而为多媒体技术的视频自动搜索、收录、分析和检索提供有效的技术支持。
附图说明
图1为本发明一种台标识别方法较佳实施例的流程图。
图2为本发明台标识别方法中获取正样本的特征角点集合的过程具体流程图。
图3为本发明台标识别方法中获取所需检测台标的特征角点概率分布矩阵的过程具体流程图。
图4至图7为中央三套台标的正样本图像。
图8为中央三套台标的台标特征角点概率分布图。
图9至图12为甘肃卫视台标的正样本图像。
图13为甘肃卫视台标的台标特征角点概率分布图。
图14为本发明台标识别方法中相似度阈值获取过程的流程图。
图15为本发明台标识别方法中得到最佳相似度阈值过程的具体流程图。
图16为本发明台标识别方法中对待检测图像进行台标识别的流程图。
图17为本发明台标识别***较佳实施例的结构框图。
图18为图17所示***中特征角点概率分布矩阵获取模块的具体结构框图。
图19为图17所示***中相似度阈值获取模块的具体结构框图。
图20为图19中相似度阈值获取单元的具体结构框图。
图21为图17所示***中台标检测模块的具体结构框图。
具体实施方式
本发明提供一种台标识别方法及***,为使本发明的目的、技术方案及效果更加清楚、明确,以下对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
请参阅图1,图1为本发明一种台标识别方法较佳实施例的流程图,如图所示,其包括:
S101、从多幅原始图像中提取所需检测台标的正样本和负样本,所述正样本为含有所需检测台标的区域图像,所述负样本为不含所需检测台标的区域图像;
S102、对提取出的正样本进行特征角点检测,获取正样本的特征角点集合,并通过所述特征角点集合对正样本中每一像素点出现特征角点的频率进行计算,获取所需检测台标的特征角点概率分布矩阵;
S103、通过所述特征角点概率分布矩阵,计算每一个正样本、负样本的相似度,得到包含所有正样本、负样本相似度的相似度集,通过所述相似度集计算出所需检测台标的相似度阈值;
S104、通过所述特征角点概率分布矩阵计算出待检测图像包含所需检测台标的待检测相似度,判断待检测相似度是否大于相似度阈值,当是时判定待检测图像中含有所需检测台标,当否时判定待检测图像中不含有所需检测台标。
具体来说,在步骤S101中,若需对台标进行识别,首先需要从大量的原始图像中提取到不同台标的样本,以对样本进行训练。样本又分为正样本和负样本,正样本是指含有所需检测台标的区域图像,负样本是指不含所需检测台标的区域图像,一般来说,电视台的台标都位于原始图像的左上角或右上角区域,对于相同台标来说,每个台标在原始图像的相对位置固定,所以在对正样本进行采集时,除了保证台标的最小外接矩形为正样本大小外,还应使得同类正样本在原始图像中的相对位置保持一致,对于负样本,可以从原始图像中的非台标区域中获取,负样本的尺寸需与对应正样本的尺寸相同。
在本实施例中,正样本与负样本的数量决定了样本训练结果的好坏,正样本与负样本的数量比最好保持在1:1.5~1:3.5之间,本发明优选正样本与负样本的数量比为1:2,在此比例下,训练结果更为可靠。更优选的,正样本的数量保持在2000(或2000左右)为宜,以提高训练结果的可靠性,且不至于产生过多的计算量。
在步骤S102中,在正样本中不仅包含了台标,也包含了可能出现的比较复杂的背景,所以需要对正样本进行准确的特征角点检测获取正样本中的特征角点集合,然后根据出现特征角点的频率获取特征角点概率分布矩阵,具体来说,如图2所示,获取正样本中的特征角点集合的过程具体包括步骤:
S201、计算正样本的方向导数,分别保存为数组Ix和数组Iy,Ix为x方向的方向导数,Iy为y方向的方向导数;本发明中采用Harris算法(一种角点检测算法)来检测正样本的特征角点,首先需要使用Prewitt算子(一阶微分算子的边缘检测)或者Sobel算子(索贝尔算子,图像处理中的算子之一)来计算正样本x方向和y方向的方向导数(即梯度),并以数组Ix、Iy的形式表示。
S202、利用高斯模板为正样本中每一个像素点计算局部自相关矩阵M,其中, 为高斯模板;
S203、通过局部自相关矩阵M计算每一个像素点的角点量矩阵I,其中,I=det(M)-k·tr2(M),其中det为矩阵的行列式,tr为矩阵的迹,k为[0.04,0.06]范围内的常数,该常数是默认的,角点量矩阵I中每一像素点的元素值对应于正样本相应点的兴趣值;
S204、判断角点量矩阵I中的任意一点,是否同时满足该点的元素值大于一阈值thresh(根据不同的算法,有所不同),并且是该点领域内的局部极大值,当同时满足时,判定该点为特征角点,这样即可找出正样本中的每个特征角点。
上述步骤获取的特征角点并不一定都是台标的特征角点,有些可能是由于复杂背景产生的伪台标特征角点,为了消除伪台标特征角点,获取所需检测台标的特征角点概率分布矩阵,还需进行进一步的处理,如图3所示,获取特征角点概率分布矩阵的过程具体包括步骤:
S301、计算所有正样本中每一个像素点(x,y)位置出现特征角点的次数n(x,y),当n(x,y)与正样本总量的比例小于预定值Th,例如小于0.5,即可认为当前像素点(x,y)出现的特征角点是由背景产生的,而不是台标的特征角点,所以判定对应的像素点(x,y)不是特征角点,并将该次数n(x,y)的值归零,否则判定为特征角点,并保留该次数n(x,y)的值;
用公式表示如下:
S302、对每一像素点(x,y)位置上出现特征角点的频率P(x,y)进行归一化操作获得所需检测台标的特征角点概率分布矩阵Mp(x,y),每一像素点(x,y)位置上出现特征角点的频率P(x,y)为当前像素点(x,y)出现特征角点的次数n(x,y)与正样本总量的比值。
如图4至图8所示,图4至图7示出了中央三套台标的几种正样本的图像,图8则示出了对图4至图7的正样本进行训练后得到的特征角点概率分布矩阵所形成的示意图,其中,在图8中,颜色越深则代表该特征角点越能较好的描述中央三套台标的特征。同样,图9至图12示出了几种甘肃卫视台标正样本的图像,图13则示出了对图9至图12的正样本进行训练后得到的特征角点概率分布矩阵所形成的示意图。
获取了所需检测台标的特征角点概率分布矩阵后,需要结合得到的特征角点概率分布矩阵来对正样本及负样本的相似度进行计算,以获取台标的相似度阈值,如图14所示,该过程具体包括:
S401、预先设置一最小识别正确率(minRR)、最大识别错误率(maxFR)以及最大漏识别率(maxMR);
其中,正确率=(正样本识别成正样本个数+负样本识别成负样本个数)/正样本及负样本总量和;
错误率=(负样本识别成正样本个数)/负样本总量;
漏识别率=(正样本识别成负样本个数)/正样本总量;
而最小识别正确率(minRR)、最大识别错误率(maxFR)及最大漏识别率(maxMR)分别是训练过程中能够接受的最小的正确率、最大的错误率以及最大的漏识别率,例如设置如下:minRR=99%,maxFR=5%,maxMR=5%,以获得最佳的相似度阈值。
S402、对每一正样本及负样本进行特征角点检测,当检测到正样本或负样本中在任一像素点(x,y)存在特征角点时,则所述正样本或负样本(单个样本,第i个样本)特征角点信息表达式Si(x,y)=1,否则Si(x,y)=0,以获取所有正样本、负样本特征角点集S={S0,S1,S2,......,Si......SN},其中Si为w×h的行列式,N=NumSamples+NumNegative-1,w(宽)、h(高)为正样本及负样本的大小,NumSamples为样本总量,NumNegative为负样本总量;
S403、通过特征角点概率分布矩阵获取每一正样本及负样本的相似度εi,从而获取所有正样本及负样本特征集ε={ε0,ε1,ε2,......,εi......εN},εi表示所有正样本及负样本中第i个样本的相似度;
S404、根据所述最小识别正确率、最大识别错误率及最大漏识别率对所需检测的台标进行训练,得到所需检测的台标的相似度阈值。
如图15所示,步骤S404可具体细化为以下步骤:
S501、预设一初始相似度阈值,对所有正样本及负样本进行重新分类,若第i个样本的相似度εi大于初始相似度阀值,则判定εi对应的样本为正样本,否则判定为负样本;
S502、统计在对所有正样本、负样本重新分类情况下正确识别个数Nr、错误识别个数Nw以及漏识别个数Nm,根据所述正确识别个数Nr、错误识别个数Nw以及漏识别个数Nm计算出初始相似度阈值条件下的识别正确率pr、识别错误率pw、漏识别率pm;其中,
S503、判断在初始相似度阈值条件下,是否满足识别的条件;该条件为:识别正确率大于最小识别正确率(pr>minRR),识别错误率小于最大识别错误率(pw<maxFR),以及漏识别率小于最大漏识别率(pm<maxMR),当满足时,转入步骤S505,否则转入步骤S504;
S504、以预定的步长对初始相似度阈值进行更新,例如以步长step=0.05来对初始相似度阈值进行更新:T=T+step,并返回步骤S501重新分类;
S505、判定当前的初始相似度阈值为准确的相似度阈值,输出当前所训练台标的相似度阈值。
按照上述过程对所需检测台标(例如中央三套、甘肃卫视、山东卫视等)分别进行训练,即可得到每一种所需检测台标的相似度阈值。
通过得到的所有经过训练后的台标的特征角点概率分布矩阵和相似度阈值后,即可对待检测图像中是否含有所训练过的台标进行检测,如图16所示,其检测过程包括:
S601、遍历所有训练过的台标的特征角点概率分布矩阵Mp和相似度阈值T,并按照当前台标的正样本位置信息(当前台标的正样本在原始图像的相对位置)及正样本大小信息(当前台标的正样本的大小信息)从待检测图像中提取出台标区域;例如,遍历至第k个训练过的台标时,获取到的特征角点概率分布矩阵和相似度阈值分别为Mpk、Tk。
S602、对台标区域进行特征角点检测,获取台标区域的特征角点信息以及获取台标区域的特征角点信息表达式S1,该特征角点信息表达式S1是按照步骤S402同样的方法获得,即,当在台标区域中的任一像素点(x,y)存在特征角点时,则所述特征角点信息表达式S1在所述像素点(x,y)的值S1(x,y)为1,否则S1(x,y)为0;
S603、计算台标区域包含所需检测台标的相似度ε,其中,MPi(x,y)为当前台标的特征角点概率分布矩阵在像素点(x,y)处的值,S1(x,y)为特征角点信息表达式S1在像素点(x,y)处的值;
S604、根据所述相似度ε与所需检测台标的相似度阈值Tk进行比较,当ε≥Tk时,判定该待检测图像中包含第k个台标,否则判定为不含第k个台标,并且获取下一个训练的台标的正样本位置信息以及正样本大小信息,获取下一个训练的台标的特征角点概率分布矩阵Mp和相似度阈值T,并重复进行判断,以识别出待检测图像中所包含的台标。
基于上述方法,本发明还提供一种台标识别***,如图17所示,其包括:
样本提取模块100,用于从多幅原始图像中提取所需检测台标的正样本和负样本,所述正样本为含有所需检测台标的区域图像,所述负样本为不含所需检测台标的区域图像;
特征角点概率分布矩阵获取模块200,用于对提取出的正样本进行特征角点检测,获取正样本的特征角点集合,并通过所述特征角点集合对正样本中每一像素点出现特征角点的频率进行计算,获取所需检测台标的特征角点概率分布矩阵;
相似度阈值获取模块300,用于通过所述特征角点概率分布矩阵,计算每一个正样本、负样本的相似度,得到包含所有正样本、负样本相似度的相似度集,通过所述相似度集计算出所需检测台标的相似度阈值;
台标检测模块400,用于通过所述特征角点概率分布矩阵计算出待检测图像包含所需检测台标的待检测相似度,判断待检测相似度是否大于相似度阈值,当是时判定待检测图像中含有所需检测台标,当否时判定待检测图像中不含有所需检测台标。
进一步,如图18所示,所述特征角点概率分布矩阵获取模块200包括:
方向导数计算单元210,用于计算正样本的方向导数,分别保存为数组Ix和数组Iy,Ix为x方向的方向导数,Iy为y方向的方向导数;
局部自相关矩阵计算单元220,用于利用高斯模板为正样本中每一个像素点计算局部自相关矩阵M,其中, 为高斯模板;
角点量矩阵计算单元230,用于通过M计算每一个像素点的角点量矩阵I,其中,I=det(M)-k·tr2(M),其中det为矩阵的行列式,tr为矩阵的迹,k为[0.04,0.06]范围内的常数;
特征角点信息获取单元240,用于判断角点量矩阵I中的任意一点,是否同时满足该点的元素值大于一阈值,并且是该点领域内的局部极大值,当同时满足时,判定该点为正样本的特征角点。
叠加统计单元250,用于计算所有正样本中每一个像素点(x,y)位置出现特征角点的次数n(x,y),当n(x,y)与正样本总量的比例小于预定值,则判定对应的像素点(x,y)不是特征角点,并将该次数(x,y)的值归零,否则判定为特征角点,并保留该次数n(x,y)的值;
特征角点概率分布矩阵获取单元260,用于对每一像素点(x,y)位置上出现特征角点的频率进行归一化操作获得所需检测台标的特征角点概率分布矩阵Mp(x,y),每一像素点(x,y)位置上出现特征角点的频率为当前像素点(x,y)出现特征角点的次数n(x,y)与正样本总量的比值。
进一步,如图19所示,所述相似度阈值获取模块300包括:
预先设置单元310,用于预先设置一最小识别正确率、最大识别错误率以及最大漏识别率;
特征角点集合获取单元320,用于对每一正样本及负样本进行特征角点检测,当检测到正样本或负样本中在任一像素点(x,y)存在特征角点时,则所述正样本或负样本在任一像素点(x,y)的特征角点信息表达式Si(x,y)=1,否则Si(x,y)=0,以获取所有正样本、负样本特征角点集S={S0,S1,S2,......,Si......SN},其中Si为w×h的行列式,N=NumSamples+NumNegative-1,w、h为正样本及负样本的宽和高,NumSamples为样本总量,NumNegative为负样本总量;
相似度获取单元330,用于通过特征角点概率分布矩阵获取每一正样本及负样本的相似度εi,从而获取所有正样本及负样本特征集ε={ε0,ε1,ε2,......,εi......εN},εi表示所有正样本及负样本中第i个样本的相似度;
相似度阈值获取单元340,用于根据所述最小识别正确率、最大识别错误率及最大漏识别率对所需检测的台标进行训练,得到所需检测的台标的相似度阈值。
进一步,如图20所示,所述相似度阈值获取单元340包括:
初始相似度阈值预设子单元341,用于预设一初始相似度阈值,对所有正样本及负样本进行重新分类,若εi大于初始相似度阀值,则判定εi对应的样本为正样本,否则判定为负样本;
统计子单元342,用于统计在对所有正样本、负样本重新分类情况下正确识别个数Nr、错误识别个数Nw以及漏识别个数Nm,根据所述正确识别个数Nr、错误识别个数Nw以及漏识别个数Nm计算出初始相似度阈值条件下的识别正确率、识别错误率、漏识别率;
判断子单元343,用于判断在初始相似度阈值条件下,是否满足条件:识别正确率大于最小识别正确率,识别错误率小于最大识别错误率,以及漏识别率小于最大漏识别率,当满足时,转入更新子单元,否则转入输出子单元;
更新子单元344,用于以预定的步长对初始相似度阈值进行更新,并重新分类;
输出子单元345,用于输出当前所训练台标的相似度阈值。
进一步,如图21所示,所述台标检测模块400具体包括:
遍历单元410,用于遍历所有训练过的台标的特征角点概率分布矩阵Mp和相似度阈值T,并按照当前台标的正样本位置信息及正样本大小信息从待检测图像中提取出台标区域;
台标区域检测单元420,用于对台标区域进行特征角点检测,获取台标区域的特征角点信息以及获取台标区域的特征角点信息表达式S1;
台标区域相似度计算单元430,用于计算台标区域包含当前台标的相似度ε,MPi(x,y)为当前台标的特征角点概率分布矩阵在像素点(x,y)处的值,S1(x,y)为特征角点信息表达式S1在像素点(x,y)处的值;
识别单元440,用于根据所述相似度ε与当前台标的相似度阈值Tk进行比较,当ε≥Tk时,判定该待检测图像中包含当前台标,否则判定为不含当前台标。
综上所述,本发明通过获取大量的正样本、负样本,并对样本进行特征角点检测,获取特征角点概率分布矩阵以及相似度阈值,通过上述训练过程,本发明能够在复杂的背景中准确、快捷的识别出待检测图像中所包含的台标,提高了台标识别的准确性,缩短了识别的时间,提高了识别效率,从而为多媒体技术的视频自动搜索、收录、分析和检索提供有效的技术支持。
应当理解的是,本发明的应用不限于上述的举例,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (11)
1.一种台标识别方法,其特征在于,包括步骤:
A、从多幅原始图像中提取所需检测台标的正样本和负样本,所述正样本为含有所需检测台标的区域图像,所述负样本为不含所需检测台标的区域图像;
B、对提取出的正样本进行特征角点检测,获取正样本的特征角点集合,并通过所述特征角点集合对正样本中每一像素点出现特征角点的频率进行计算,获取所需检测台标的特征角点概率分布矩阵;
C、通过所述特征角点概率分布矩阵,计算每一个正样本、负样本的相似度,得到包含所有正样本、负样本相似度的相似度集,通过所述相似度集计算出所需检测台标的相似度阈值;
D、通过所述特征角点概率分布矩阵计算出待检测图像包含所需检测台标的待检测相似度,判断待检测相似度是否大于相似度阈值,当是时判定待检测图像中含有所需检测台标,当否时判定待检测图像中不含有所需检测台标。
2.根据权利要求1所述的台标识别方法,其特征在于,所述步骤A中,对于相同台标,每一正样本在对应的原始图像中的相对位置相同,正样本与负样本的数量比为1:1.5~1:3.5。
3.根据权利要求1所述的台标识别方法,其特征在于,所述步骤B中,获取正样本的特征角点集合的过程包括:
B1、计算正样本的方向导数,分别保存为数组Ix和数组Iy,Ix为x方向的方向导数,Iy为y方向的方向导数;
B2、利用高斯模板为正样本中每一个像素点计算局部自相关矩阵M,其中, 为高斯模板;
B3、通过M计算每一个像素点的角点量矩阵I,其中,I=det(M)-k·tr2(M),其中det为矩阵的行列式,tr为矩阵的迹,k为[0.04,0.06]范围内的常数;
B4、判断角点量矩阵I中的任意一点,是否同时满足该点的元素值大于一阈值,并且是该点领域内的局部极大值,当同时满足时,判定该点为正样本的特征角点。
4.根据权利要求1所述的台标识别方法,其特征在于,所述步骤B中,获取所需检测台标的特征角点概率分布矩阵的过程具体包括:
B5、计算所有正样本中每一个像素点(x,y)位置出现特征角点的次数n(x,y),当n(x,y)与正样本总量的比例小于预定值,则判定对应的像素点(x,y)不是特征角点,并将该次数(x,y)的值归零,否则判定为特征角点,并保留该次数n(x,y)的值;
B6、对每一像素点(x,y)位置上出现特征角点的频率P(x,y)进行归一化操作获得所需检测台标的特征角点概率分布矩阵Mp(x,y),w、h为正样本及负样本的宽和高,每一像素点(x,y)位置上出现特征角点的频率P(x,y)为当前像素点(x,y)出现特征角点的次数n(x,y)与正样本总量的比值。
5.根据权利要求1所述的台标识别方法,其特征在于,所述步骤C具体包括:
C1、预先设置一最小识别正确率、最大识别错误率以及最大漏识别率;
C2、对每一正样本及负样本进行特征角点检测,当检测到正样本或负样本中在任一像素点(x,y)存在特征角点时,则所述正样本或负样本在任一像素点(x,y)的特征角点信息表达式Si(x,y)=1,否则Si(x,y)=0,以获取所有正样本、负样本特征角点集S={S0,S1,S2,......,Si......SN},其中Si为w×h的行列式,N=NumSamples+NumNegative-1,w、h为正样本及负样本的宽和高,NumSamples为样本总量,NumNegative为负样本总量;
C3、通过特征角点概率分布矩阵获取每一正样本及负样本的相似度εi,从而获取所有正样本及负样本特征集ε={ε0,ε1,ε2,......,εi......εN},εi表示所有正样本及负样本中第i个样本的相似度;
C4、根据所述最小识别正确率、最大识别错误率及最大漏识别率对所需检测的台标进行训练,得到所需检测的台标的相似度阈值。
6.根据权利要求5所述的台标识别方法,其特征在于,所述步骤C4具体包括:
C41、预设一初始相似度阈值,对所有正样本及负样本进行重新分类,若εi大于初始相似度阀值,则判定εi对应的样本为正样本,否则判定为负样本;
C42、统计在对所有正样本、负样本重新分类情况下正确识别个数Nr、错误识别个数Nw以及漏识别个数Nm,根据所述正确识别个数Nr、错误识别个数Nw以及漏识别个数Nm计算出初始相似度阈值条件下的识别正确率、识别错误率、漏识别率;
C43、判断在初始相似度阈值条件下,是否满足条件:识别正确率大于最小识别正确率,识别错误率小于最大识别错误率,以及漏识别率小于最大漏识别率,当满足时,转入步骤C45,否则转入步骤C44;
C44、以预定的步长对初始相似度阈值进行更新,并返回步骤C41重新分类;
C45、输出当前所训练台标的相似度阈值。
7.根据权利要求1所述的台标识别方法,其特征在于,所述步骤D具体包括:
D1、遍历所有训练过的台标的特征角点概率分布矩阵Mp和相似度阈值T,并按照当前台标的正样本位置信息及正样本大小信息从待检测图像中提取出台标区域;
D2、对台标区域进行特征角点检测,获取台标区域的特征角点信息以及获取台标区域的特征角点信息表达式S1;
D3、计算台标区域包含当前台标的相似度ε,MPi(x,y)为当前台标的特征角点概率分布矩阵在像素点(x,y)处的值,S1(x,y)为台标区域的特征角点信息表达式S1在像素点(x,y)处的值;
D4、根据所述相似度ε与当前台标的相似度阈值Tk进行比较,当ε≥Tk时,判定该待检测图像中包含当前台标,否则判定为不含当前台标。
8.一种台标识别***,其特征在于,包括:
样本提取模块,用于从多幅原始图像中提取所需检测台标的正样本和负样本,所述正样本为含有所需检测台标的区域图像,所述负样本为不含所需检测台标的区域图像;
特征角点概率分布矩阵获取模块,用于对提取出的正样本进行特征角点检测,获取正样本的特征角点集合,并通过所述特征角点集合对正样本中每一像素点出现特征角点的频率进行计算,获取所需检测台标的特征角点概率分布矩阵;
相似度阈值获取模块,用于通过所述特征角点概率分布矩阵,计算每一个正样本、负样本的相似度,得到包含所有正样本、负样本相似度的相似度集,通过所述相似度集计算出所需检测台标的相似度阈值;
台标检测模块,用于通过所述特征角点概率分布矩阵计算出待检测图像包含所需检测台标的待检测相似度,判断待检测相似度是否大于相似度阈值,当是时判定待检测图像中含有所需检测台标,当否时判定待检测图像中不含有所需检测台标。
9.根据权利要求8所述的台标识别***,其特征在于,所述特征角点概率分布矩阵获取模块包括:
方向导数计算单元,用于计算正样本的方向导数,分别保存为数组Ix和数组Iy,Ix为x方向的方向导数,Iy为y方向的方向导数;
局部自相关矩阵计算单元,用于利用高斯模板为正样本中每一个像素点计算局部自相关矩阵M,其中, 为高斯模板;
角点量矩阵计算单元,用于通过M计算每一个像素点的角点量矩阵I,其中,I=det(M)-k·tr2(M),其中det为矩阵的行列式,tr为矩阵的迹,k为[0.04,0.06]范围内的常数;
特征角点信息获取单元,用于判断角点量矩阵I中的任意一点,是否同时满足该点的元素值大于一阈值,并且是该点领域内的局部极大值,当同时满足时,判定该点为正样本的特征角点。
10.根据权利要求9所述的台标识别***,其特征在于,所述特征角点概率分布矩阵获取模块还包括:
叠加统计单元,用于计算所有正样本中每一个像素点(x,y)位置出现特征角点的次数n(x,y),当n(x,y)与正样本总量的比例小于预定值,则判定对应的像素点(x,y)不是特征角点,并将该次数(x,y)的值归零,否则判定为特征角点,并保留该次数n(x,y)的值;
特征角点概率分布矩阵获取单元,用于对每一像素点(x,y)位置上出现特征角点的频率P(x,y)进行归一化操作获得所需检测台标的特征角点概率分布矩阵Mp(x,y),w、h为正样本及负样本的宽和高,每一像素点(x,y)位置上出现特征角点的频率为当前像素点(x,y)出现特征角点的次数n(x,y)与正样本总量的比值。
11.根据权利要求8所述的台标识别***,其特征在于,所述相似度阈值获取模块包括:
预先设置单元,用于预先设置一最小识别正确率、最大识别错误率以及最大漏识别率;
特征角点集合获取单元,用于对每一正样本及负样本进行特征角点检测,当检测到正样本或负样本中在任一像素点(x,y)存在特征角点时,则所述正样本或负样本在任一像素点(x,y)的特征角点信息表达式Si(x,y)=1,否则Si(x,y)=0,以获取所有正样本、负样本特征角点集S={S0,S1,S2,......,Si......SN},其中Si为w×h的行列式,N=NumSamples+NumNegative-1,w、h为正样本及负样本的宽和高,NumSamples为样本总量,NumNegative为负样本总量;
相似度获取单元,用于通过特征角点概率分布矩阵获取每一正样本及负样本的相似度εi,从而获取所有正样本及负样本特征集ε={ε0,ε1,ε2,......,εi......εN},εi表示所有正样本及负样本中第i个样本的相似度;
相似度阈值获取单元,用于根据所述最小识别正确率、最大识别错误率及最大漏识别率对所需检测的台标进行训练,得到所需检测的台标的相似度阈值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310075179.2A CN103530598B (zh) | 2013-03-08 | 2013-03-08 | 一种台标识别方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310075179.2A CN103530598B (zh) | 2013-03-08 | 2013-03-08 | 一种台标识别方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103530598A CN103530598A (zh) | 2014-01-22 |
CN103530598B true CN103530598B (zh) | 2017-02-08 |
Family
ID=49932597
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310075179.2A Expired - Fee Related CN103530598B (zh) | 2013-03-08 | 2013-03-08 | 一种台标识别方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103530598B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104090725B (zh) * | 2014-07-28 | 2017-05-10 | Tcl通讯(宁波)有限公司 | 一种移动终端触摸屏解锁方法及*** |
CN111275700A (zh) * | 2020-02-19 | 2020-06-12 | 凌云光技术集团有限责任公司 | 基于深度学习的端子缺陷检测方法及*** |
CN111582109B (zh) * | 2020-04-28 | 2023-09-05 | 京东科技信息技术有限公司 | 识别方法、识别装置、计算机可读存储介质及电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4034343A (en) * | 1976-10-01 | 1977-07-05 | Xerox Corporation | Optical character recognition system |
CN102436575A (zh) * | 2011-09-22 | 2012-05-02 | Tcl集团股份有限公司 | 一种台标的自动检测和分类方法 |
CN102446272A (zh) * | 2011-09-05 | 2012-05-09 | Tcl集团股份有限公司 | 一种台标分割及识别的方法、装置及电视机 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8442310B2 (en) * | 2010-04-30 | 2013-05-14 | Microsoft Corporation | Affine distortion compensation |
-
2013
- 2013-03-08 CN CN201310075179.2A patent/CN103530598B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4034343A (en) * | 1976-10-01 | 1977-07-05 | Xerox Corporation | Optical character recognition system |
CN102446272A (zh) * | 2011-09-05 | 2012-05-09 | Tcl集团股份有限公司 | 一种台标分割及识别的方法、装置及电视机 |
CN102436575A (zh) * | 2011-09-22 | 2012-05-02 | Tcl集团股份有限公司 | 一种台标的自动检测和分类方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103530598A (zh) | 2014-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103500322B (zh) | 基于低空航拍图像的车道线自动识别方法 | |
CN108898047B (zh) | 基于分块遮挡感知的行人检测方法及*** | |
CN103455797B (zh) | 航拍视频中运动小目标的检测与跟踪方法 | |
CN109190567A (zh) | 基于深度卷积神经网络的异常宫颈细胞自动检测方法 | |
CN114445706A (zh) | 一种基于特征融合的输电线路目标检测与识别方法 | |
CN107316007A (zh) | 一种基于深度学习的监控图像多类物体检测与识别方法 | |
CN103925927B (zh) | 一种基于车载视频的交通标识定位方法 | |
CN106355188A (zh) | 图像检测方法及装置 | |
CN104392432A (zh) | 基于方向梯度直方图的显示面板缺陷检测方法 | |
CN110866079A (zh) | 一种智慧景区实景语义地图的生成与辅助定位方法 | |
CN104899892B (zh) | 一种快速的星图图像星点提取方法 | |
CN103778411B (zh) | 一种基于栅格图像划分的圆检测方法及装置 | |
CN109035292A (zh) | 基于深度学习的运动目标检测方法及装置 | |
CN105426862B (zh) | 基于rfid、定位技术与视频技术的分析方法及其*** | |
CN112529090B (zh) | 一种基于改进YOLOv3的小目标检测方法 | |
CN109253722A (zh) | 融合语义分割的单目测距***、方法、设备及存储介质 | |
CN105913013A (zh) | 双目视觉人脸识别算法 | |
CN103530598B (zh) | 一种台标识别方法及*** | |
CN111310756A (zh) | 一种基于深度学习的损伤玉米颗粒检测和分类方法 | |
WO2020093624A1 (zh) | 一种基于多尺度检测算法的天线下倾角测量方法 | |
CN113469178B (zh) | 一种基于深度学习的电力表计识别方法 | |
CN104091175A (zh) | 一种基于Kinect深度信息获取技术的害虫图像自动识别方法 | |
CN108763575B (zh) | 基于像控点数据库的像控点自动选取方法 | |
CN116844147A (zh) | 一种基于深度学习的指针式仪表识别和异常警报方法 | |
CN106815830A (zh) | 图像的缺陷检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170208 |