CN102098449B - 一种利用标志检测进行电视节目内部自动分割的方法 - Google Patents

一种利用标志检测进行电视节目内部自动分割的方法 Download PDF

Info

Publication number
CN102098449B
CN102098449B CN201010574074.8A CN201010574074A CN102098449B CN 102098449 B CN102098449 B CN 102098449B CN 201010574074 A CN201010574074 A CN 201010574074A CN 102098449 B CN102098449 B CN 102098449B
Authority
CN
China
Prior art keywords
subgraph
camera lens
mark
programme
program
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201010574074.8A
Other languages
English (en)
Other versions
CN102098449A (zh
Inventor
董远
肖国锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201010574074.8A priority Critical patent/CN102098449B/zh
Publication of CN102098449A publication Critical patent/CN102098449A/zh
Application granted granted Critical
Publication of CN102098449B publication Critical patent/CN102098449B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及视频处理和模式识别技术领域，提出了一种利用标志检测进行电视节目内部自动分割的方法。目前，电视节目的内部分割具有迫切需求；节目标志的时间不连续性使得节目具有良好的结构性。本发明所述方法主要包括以下步骤：(1)对节目视频分割镜头，每个镜头提取关键帧及节目标志所在区域的子图；(2)提取子图的特征向量，使用针对节目标志的SVM分类器进行分类；(3)统计标志分类结果，标定每个镜头的标志属性；(4)在相邻镜头的标志属性切变点分割视频。本发明在标志检测过程中，只对关键帧做处理，从而提高了方法的效率；另外，本发明主要应用对象是节目标志具有不连续性的电视节目，对节目内容类型无要求，增强了方法应用的普适性。

Description

一种利用标志检测进行电视节目内部自动分割的方法
技术领域
本发明属于视频处理和模式识别技术领域，具体涉及一种利用标志检测进行电视节目内部自动分割的方法。
背景技术
目前，广播电视每天都在产生海量的视频，并且给出了电子节目菜单。随着网络电视和数字电视的广泛普及，为了提供更佳的观赏感受，许多电视节目尝试通过内部段落分割，给出节目内部收视指导。同时，节目的内部分割也是进一步内容分析与检索的前提。面对海量的视频，人工标注分割已经不能满足时效要求，机器完成的自动分割成为迫切需求。视频结构化分析是指对视频流进行镜头分割、关键帧提取和场景分割等处理，从而得到视频的结构化信息。场景分割主要集中在场景聚类，重复视频检测，镜头相似度比对等方法上，往往比较复杂。当前，越来越多的电视节目在使用台标或节目自有标志时十分注意知识产权：在节目内部的非自有产权的视频段落，如广告，引用的电影片段等，将不会加载这些标志；而使用标志的视频段落，通常是片头片尾，访谈部分，或其他由本节目自己录制的片段。标志在时间序列上的不连续性使得电视节目具有很强的结构性，为电视节目的内部分割提供了依据。
发明内容
针对某一特定电视节目，其台标或节目标志，下面统称为标志，具有时间上的不连续性，本发明提供一种对此种电视节目内部分割方法，达到准确快速的分割效果。
本发明所述的电视节目内部自动分割方法的主要步骤如下：
步骤一，利用一种现有镜头分割技术对电视节目视频进行镜头分割，获得时间连续的镜头序列信息；
步骤二，对每个镜头按时间平均方式取5帧关键帧，并提取所有关键帧中特定标志所在位置的矩形区域的子图；
步骤三，提取训练集所有子图的图像特征向量，含有标志的子图片为正样本，不含标志的子图片为负样本，训练得到SVM分类器；
步骤四，对待分割的本节目视频，经过步骤(1)和(2)得到所有子图，提取与步骤(3)相同的图像特征向量，用步骤(3)得到的SVM分类器进行分类，得到每一子图的分类结果；
步骤五，标记镜头标志属性，如果镜头中至少有3帧子图被判定为存在标志，则标记这一镜头为标志镜头，否则标记为非标志镜头；
步骤六，节目视频内部分割，视频中具有不同标志属性的相邻镜头边界作为分割点，将视频分割成段落。
附图说明
图1是本发明所述的电视节目结构示例图。
图2是本发明所述方法的基本流程图。
具体实施方式
如图2流程图所示，本发明所述方法包含两个阶段：离线训练分类器与在线处理待分割视频。两个阶段共同的步骤是镜头分割，提取5帧关键帧及其特定区域子图。以下为方法具体实施方式。
(1)镜头分割步骤是利用现有的一种镜头分割算法，如基于直方图、基于运动以及针对压缩视频的算法，将特定电视节目视频切分成时间连续的镜头序列。
(2)将每一个镜头按时间平均分成6段，取相邻段的5帧图像作为关键帧；针对此电视节目，对已知的特定标志确定其所在的矩形区域，此矩形恰好将标志完全包围，矩形坐标为(x，y，w，h)，其中x，y分别为矩形左上角点的横纵坐标，w，h分别为矩形的宽和高；对所有关键帧提取此矩形，称为子图。
(3)提取所有子图的三种图像特征向量：HSV空间颜色直方图，边缘梯度直方图，基于词袋模型的SIFT特征点直方图；然后将三种特征连接，形成最后的图像特征向量。具体特征提取方法如下：
1.颜色直方图提取
对子图提取HSV颜色统计直方图，其中H空间分为8个区间，S空间分为3个区间，V空间分为3个空间，将直方图归一化，形成72维的特征向量；
2.边缘梯度直方图提取
对子图提取边缘梯度直方图，每5度为一个区间，累加各个区间范围内的梯度，将直方图归一化，形成72维的特征向量；
3.基于词袋模型的SIFT特征点直方图提取
提取所有子图SIFT特征向量；使用K均值聚类算法对训练集数据的SIFT特征向量聚类，得到64个聚类中心，作为词袋模型的码本；将每个子图的所有SIFT特征向量投影到码本，形成64维的直方图并做归一化，得到特征向量；
4.将以上三种特征向量串连，形成最后的208维的特征向量。
(4)离线训练标志的SVM分类器，将训练集的正负样本的图像特征向量输入SVM工具训练，此处训练中正负集样本数目均大于1000，SVM选择基于卡方距离的核函数；此步骤训练得到针对此电视节目特定标志的分类器。
(5)对待分割视频的子图提取与步骤(3)相同的图像特征向量，共208维；其中，形成SIFT的直方图特征向量的需要的码本是步骤(3)中使用的码本，由训练集经K均值方法聚类得到。
(6)使用步骤(4)得到的SVM分类器对步骤(5)得到的特征向量进行分类，分类结果标定各个子图是否存在标志。
(7)由步骤(6)结果检查每个镜头中含有标志的关键帧数目，如果大于等于3，则标记此镜头为标志镜头，否则标记此镜头为非标志镜头。
(8)逐镜头检查待分割视频的镜头标记，如果相邻两个镜头标记不同，则将这两个镜头的边界作为一个分割点，直到顺序检查完所有相邻镜头，最后此节目视频内部分割完成。

Claims (1)

1.一种利用标志检测进行电视节目内部自动分割的方法，其特点在于，该方法包括：
步骤一，利用一种现有镜头分割技术对电视节目视频进行镜头分割，获得时间连续的镜头序列信息；
步骤二，对每个镜头按时间平均方式取5帧关键帧，并提取所有关键帧中特定标志所在位置的矩形区域的子图；
步骤三，提取训练集所有子图的图像特征向量，含有标志的子图为正样本，不含标志的子图为负样本，训练得到SVM分类器；
步骤四，对待分割的本节目视频，经过步骤一和步骤二得到所有子图，提取与步骤三相同的图像特征向量，用步骤三得到的SVM分类器进行分类，得到每一子图的分类结果；
步骤五，标记镜头标志属性，如果镜头中至少有3帧子图被判定为存在标志，则标记这一镜头为标志镜头，否则标记为非标志镜头；
步骤六，节目视频内部分割，视频中具有不同标志属性的相邻镜头边界作为分割点，将视频分割成段落；
其中，所述步骤二具体包括：
步骤1，将每一个镜头按时间平均分成6段，取相邻段的5帧图像作为关键帧；
步骤2，针对此电视节目，对已知的特定标志确定其所在的矩形区域，此矩形恰好将标志完全包围，矩形坐标为(x，y，w，h)，其中x，y分别为矩形左上角点的横纵坐标，w，h分别为矩形的宽和高；
步骤3，对所有关键帧提取此矩形，称为子图；
其中，所述步骤三具体包括：
步骤1，对子图提取HSV颜色统计直方图，其中H空间分为8个区间，S空间分为3个区间，V空间分为3个空间，将直方图归一化，形成72维的特征向量；
步骤2，对子图提取边缘梯度直方图，每5度为一个区间，累加各个区间范围内的梯度，将直方图归一化，形成72维的特征向量；
步骤3，提取所有子图SIFT特征向量，使用K均值聚类算法对训练集数据的SIFT特征向量聚类，得到64个聚类中心，作为码本，将每个子图的所有SIFT特征向量投影到码本，形成64维的直方图并做归一化，得到特征向量；
步骤4，将以上三种特征向量串连，形成最后的208维的特征向量；
步骤5，使用训练集样本的特征向量训练SVM分类器，此处训练中正负集样本数目均大于1000，SVM选择基于卡方距离的核函数，此步骤训练得到针对此电视节目特定标志的分类器。
CN201010574074.8A 2010-12-06 2010-12-06 一种利用标志检测进行电视节目内部自动分割的方法 Expired - Fee Related CN102098449B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201010574074.8A CN102098449B (zh) 2010-12-06 2010-12-06 一种利用标志检测进行电视节目内部自动分割的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201010574074.8A CN102098449B (zh) 2010-12-06 2010-12-06 一种利用标志检测进行电视节目内部自动分割的方法

Publications (2)

Publication Number Publication Date
CN102098449A CN102098449A (zh) 2011-06-15
CN102098449B true CN102098449B (zh) 2016-08-03

Family

ID=44131296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010574074.8A Expired - Fee Related CN102098449B (zh) 2010-12-06 2010-12-06 一种利用标志检测进行电视节目内部自动分割的方法

Country Status (1)

Country Link
CN (1) CN102098449B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102436575A (zh) * 2011-09-22 2012-05-02 Tcl集团股份有限公司 一种台标的自动检测和分类方法
CN102799637A (zh) * 2012-06-27 2012-11-28 北京邮电大学 一种电视节目内部自动生成主要人物摘要的方法
CN103034860A (zh) * 2012-12-14 2013-04-10 南京思创信息技术有限公司 基于sift特征的违章建筑检测方法
CN104185088B (zh) * 2014-03-03 2017-05-31 无锡天脉聚源传媒科技有限公司 一种视频处理方法及装置
CN105868768A (zh) * 2015-01-20 2016-08-17 阿里巴巴集团控股有限公司 一种识别图片是否带有特定标记的方法及***
CN108270946A (zh) * 2016-12-30 2018-07-10 央视国际网络无锡有限公司 一种基于特征向量库的计算机辅助视频剪辑装置
WO2018137126A1 (zh) * 2017-01-24 2018-08-02 深圳大学 一种静态视频摘要的生成方法及装置
CN109525901B (zh) 2018-11-27 2020-08-25 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备及计算机可读介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5146336A (en) * 1989-09-25 1992-09-08 Le Groupe Videotron Ltee Sync control for video overlay
CN101867729A (zh) * 2010-06-08 2010-10-20 上海交通大学 基于人物特征的新闻视频正式独白镜头的检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5146336A (en) * 1989-09-25 1992-09-08 Le Groupe Videotron Ltee Sync control for video overlay
CN101867729A (zh) * 2010-06-08 2010-10-20 上海交通大学 基于人物特征的新闻视频正式独白镜头的检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于支持向量机和不变矩的交通标志检测;高联雄等;《计算机工程与应用》;20081101(第31期);第233-238页 *

Also Published As

Publication number Publication date
CN102098449A (zh) 2011-06-15

Similar Documents

Publication Publication Date Title
CN102098449B (zh) 一种利用标志检测进行电视节目内部自动分割的方法
CN107346420B (zh) 一种基于深度学习的自然场景下文字检测定位方法
WO2017190656A1 (zh) 行人再识别方法和装置
CN112153483B (zh) 信息植入区域的检测方法、装置及电子设备
CN104978567B (zh) 基于场景分类的车辆检测方法
CN105631039A (zh) 一种图片浏览方法
Moradi et al. Farsi/Arabic text extraction from video images by corner detection
Zhang et al. A multi-feature fusion based traffic light recognition algorithm for intelligent vehicles
Xu et al. Graphics and scene text classification in video
Zhang et al. Coarse-to-fine object detection in unmanned aerial vehicle imagery using lightweight convolutional neural network and deep motion saliency
Bai et al. Scene text localization using gradient local correlation
Razalli et al. Emergency vehicle recognition and classification method using HSV color segmentation
Ye et al. Jersey number detection in sports video for athlete identification
CN114332956A (zh) 一种基于卷积神经网络的牛脸检测和牛脸关键点定位方法
Song et al. A novel image text extraction method based on k-means clustering
Messelodi et al. Scene text recognition and tracking to identify athletes in sport videos
CN104463232A (zh) 一种基于hog特征和颜色直方图特征的密度人群计数的方法
Zhu et al. Detecting natural scenes text via auto image partition, two-stage grouping and two-layer classification
CN104463134A (zh) 一种车牌检测方法和***
CN107357834A (zh) 一种基于视觉显著性融合的图像检索方法
Li et al. The research on traffic sign recognition based on deep learning
Chen et al. Effective candidate component extraction for text localization in born-digital images by combining text contours and stroke interior regions
Shi et al. Graph-based background suppression for scene text detection
Chang Intelligent text detection and extraction from natural scene images
CN106066887B (zh) 一种广告序列图像快速检索和分析方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160803

Termination date: 20211206

CF01 Termination of patent right due to non-payment of annual fee