CN101553814A - 用于产生视频数据流摘要的方法和设备 - Google Patents

用于产生视频数据流摘要的方法和设备 Download PDF

Info

Publication number
CN101553814A
CN101553814A CNA2007800423343A CN200780042334A CN101553814A CN 101553814 A CN101553814 A CN 101553814A CN A2007800423343 A CNA2007800423343 A CN A2007800423343A CN 200780042334 A CN200780042334 A CN 200780042334A CN 101553814 A CN101553814 A CN 101553814A
Authority
CN
China
Prior art keywords
video data
data stream
text message
expression
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800423343A
Other languages
English (en)
Other versions
CN101553814B (zh
Inventor
M·F·麦克金尼
E·L·埃勒斯
M·巴比里
P·方塞卡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN101553814A publication Critical patent/CN101553814A/zh
Application granted granted Critical
Publication of CN101553814B publication Critical patent/CN101553814B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Circuits (AREA)

Abstract

在视频数据流中检测(105)文本信息的表示(例如记分板)，将其合并到(107)视频数据流摘要中。所述摘要包括可能尚未显示在为摘要选择的帧中的文本信息。

Description

用于产生视频数据流摘要的方法和设备
技术领域
本发明涉及产生视频数据流摘要以包括文本信息的表示。
背景技术
体育广播构成很大部分的电视广播。虽然当前的消费者产品(例如HDD记录器和媒体中心PC)使用户有可能记录许多体育内容，但用户不能容易地浏览该记录，并且不能把冗长的体育事件缩短成精华部分，例如包括体育广播的主要事件(例如进球得分)的摘要。
为此，已经开发了许多自动体育摘要***，例如Ekin，A.M Tekalp和R.Mehrotra提出的“Automatic Soccer Video analysis andsummarization”，IEEE Tran.Image Processing，June 2003。基于视频中重要事件(例如任意球，进球等等)的检测，这些***从视频材料中选择片段来创建比赛或体育事件的重要瞬间的概要。
在体育广播中，文本信息通常在广播期间显示，以转播信息(例如比分)，或者可选地，可以捕获物理记分板。该信息在整个广播过程中总是不连续地显示。这经常发生在重放和慢动作场景中。自动产生的摘要总是包括许多重放和慢动作场景，结果是文本信息(比分)不能在摘要回放期间显示。
然而，经常希望该信息是可用的。用户发现要理解摘要回放时脱离它们的上下文显示的广播片段是困难的。使这样的文本信息可见将会提高自动产生的体育摘要的感知质量。
发明内容
本发明旨在提供其中包括文本信息的表示的视频数据流的自动摘要。
根据本发明一方面，这通过一种产生视频数据流摘要的方法来实现，所述视频数据流包括多个帧，该方法包括以下步骤：检测显示在视频数据流中的文本信息的表示；产生视频数据流摘要，所述摘要包括视频数据流的该多个帧的选择，并且合并先前或连续帧中检测到的文本信息。
根据本发明另一方面，这还通过一种产生视频数据流摘要的设备来实现，所述视频数据流包括多个帧，所述设备包括：检测器，用于检测显示在视频数据流中的文本信息的表示；用于产生视频数据流摘要的装置，所述摘要包括多个合并先前或连续帧中检测到的文本信息的所述视频数据流的该多个帧的选择。
可以通过以下方法产生摘要：将检测到的文本信息合并到至少一个其它帧中，并且选择多个帧来产生包括合并所述检测到的文本信息的该至少一个其它帧的摘要。可选地，通过选择多个帧并且合并所述检测到的文本信息来产生摘要。通过这种方式，摘要将自动包括显示在不一定包括在该摘要中的帧中的信息，以便确保用户具有所有可用信息(例如最新的比分、或比赛的各种统计信息等)。
在优选实施例中，可以识别目标对象，并且在数据(例如他们的名字等)出现在摘要中时，可以显示所述数据。
附图说明
为了更完整地理解本发明，现在结合附图参考以下描述，其中：
图1是根据第一实施例的设备的简化示意图；
图2是根据第二实施例的设备的简化示意图。
具体实施方式
现在将参照图1描述本发明的第一实施例。设备100包括输入端子101。输入端子101连接到检测器103，检测器103用于例如使用任何已知的方法(例如D.Zhang，P.K.Rajendran和S.F.Chang，“Generaland domain specific techniques for detecting and recognizingsuperimposed text in video”，IEEE 2002 International Conference onImage Processing，Rochester，NY)自动检测文本信息(例如屏上图形信息数据或者物理记分板)的表示。
检测器103连接到本地存储装置(剪贴板)105和粘贴装置107。粘贴装置107连接到摘要产生器109。摘要产生器109连接到存储装置111和输出端子113。
现在将更详细地描述该设备的操作。在输入端子101输入视频数据流(例如体育广播)。该视频数据流包括多个帧。检测器103检测显示在输入视频数据流的帧中的文本信息的表示，该文本信息被提取并且存储在本地存储装置105中。与其中显示该文本信息的帧相关的数据也被记录在本地存储装置105中。
然后输入视频数据流输入到粘贴装置107，在粘贴装置107中，没有文本信息的帧(或者至少一个帧)被识别，并且存储在本地存储装置(105)中的先前或连续帧中的文本信息的表示被粘贴到没有文本信息的帧中。
待粘贴的文本信息的表示可以被选择为已经显示在与没有文本信息的帧最近的帧中的信息。通过这种方式，最相关的文本信息显示在摘要的那个帧中。可以基于显示在先前的一个(或多个)帧中来选择文本信息的表示，并且文本可以粘贴到没有文本信息的所有后续帧中，直到检测到新的文本信息。
然后摘要产生器109通过选择包含事件的帧(例如检测重放和慢动作场景的出现)来对编辑过的视频数据流产生摘要。现在，由于附加的帧(优先地，所有的帧)包括文本信息的表示，因此摘要现在将包括文本信息。摘要可以存储在存储装置111中，并且当需要时在输出端子113上输出用于回放。
现在将参照图2来描述本发明的第二实施例。设备200包括第一输入端子201和第二输入端子202。第一输入端子201连接到摘要产生器109，类似于图1。第二输入端子202连接到检测器103。检测器103如第一实施例中那样连接到本地存储装置105。检测器103和摘要产生器109连接到粘贴装置107。粘贴装置107连接到存储装置111和输出端子213。
图2的设备200的元件与图1的设备100的对应元件类似，并且在这里将不再说明它们操作的详细描述。摘要产生器109通过从在第一输入端子201上输入的视频数据流中选择多个帧来产生摘要。做过摘要的视频数据流然后输入到粘贴装置107，参照第一实施例所描述的由检测器103检测并且提取的文本信息被合并到所述做过摘要的视频数据流。编辑过的摘要然后在输出端子203上输出或者存储到存储装置111中，以根据需要稍后进行回放。
文本信息的表示可以包括体育事件的比分的屏上图形表示，或者可以包括其它数据(例如关于具体运动员、比赛、上下文等的各种统计数字和信息)，或者可选地可以是由视频捕获的物理记分板。
检测到的文本信息也可以包括与其上下文相关(例如当显示运动员时显示关于该运动员的统计数字)并且当同样的上下文(例如同一运动员)出现在摘要中时显示在摘要中的信息。在这方面，可以通过提取面部特征并且使用已知的识别技术来识别运动员，然后在该运动员在摘要中随后出现时，可以显示与该运动员关联的文本信息。
该设备可以用在数字视频记录器、电视机、自动摘要***、视频点播***等中。
虽然已经在附图中示出并且在前面的描述中描述了本发明的优选实施例，但应理解，本发明并不限于所公开的实施例，而是能够在不脱离所附权利要求书中陈述的本发明的范围的情况下进行许多修改。本发明在于每一个新颖的特有特征和特有特征的每一个组合。权利要求中的标号不限制它们的保护范围。动词“包括”及其变形的使用不排除除了权利要求中声明的那些元件之外的元件的存在。在元件前使用冠词“一”不排除存在多个这样的元件。
如对本领域技术人员显而易见的是，“装置”意味着包括任何硬件(例如分离的或集成的电路或电子元件)或软件(例如程序或程序部分)，它们在操作中执行，或被设计为执行指定的功能，不论是独立的或者与其他功能结合，不论是隔离的或者与其他元件协同操作。本发明可以通过包括若干独特元件的硬件和适当编程的计算机来实现。在列举了若干装置的设备权利要求中，这些装置中的若干装置可以通过同一个硬件物品来实施。“计算机程序产品”应该理解为表示存储在计算机可读介质上的(例如软盘)，通过网络(例如因特网)可下载的，或以任何其它方式市售的任何软件产品。

Claims (8)

1.一种产生视频数据流的摘要的方法，所述视频数据流包括多个帧，该方法包括以下步骤：
检测显示在视频数据流中的文本信息的表示；
产生所述视频数据流的摘要，所述摘要包括所述视频数据流的所述多个帧的选择，并且包含先前面或连续帧中检测到的文本信息。
2.根据权利要求1中的方法，其中，产生所述视频数据流的摘要的步骤包括以下步骤：
将所述检测到的文本信息的表示合并到所述视频数据流的至少一个其它帧中；
选择多个帧来产生所述摘要，所述多个帧包括合并所述检测到的文本信息的表示的所述至少一个其它帧。
3.根据权利要求1中的方法，其中，产生所述视频数据流的摘要的步骤包括以下步骤：
选择多个帧来产生所述摘要；
将检测的文本信息的表示合并到至少一个所述选择的帧中。
4.根据权利要求1中的方法，其中，所述检测到的文本信息的表示被合并到所有后续帧中，直到检测到新的文本信息的表示。
5.根据权利要求1中的方法，其中，该方法进一步包括以下步骤：
识别所述视频数据流中的对象；以及
产生所述视频数据流的摘要，所述视频数据流的摘要在后续出现所述识别的对象时显示检测到的与所述识别的对象关联的文本信息的表示。
6.根据权利要求1中的方法，其中，所述文本信息的表示包括比分的指示。
7.一种计算机程序产品，其包括多个程序代码部分，用于执行根据前述任何一个权利要求的方法。
8.一种用于产生视频数据流的摘要的设备，所述视频数据流包括多个帧，该设备包括：
检测器，用于检测显示在视频数据流中的文本信息的表示；
用于产生所述视频数据流的摘要的装置，所述摘要包括合并先前或连续帧中检测到的文本信息的所述视频数据流的所述多个帧的选择。
CN2007800423343A 2006-11-14 2007-11-09 用于产生视频数据流摘要的方法和设备 Expired - Fee Related CN101553814B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP06123981 2006-11-14
EP06123981.0 2006-11-14
PCT/IB2007/054558 WO2008059416A1 (en) 2006-11-14 2007-11-09 Method and apparatus for generating a summary of a video data stream

Publications (2)

Publication Number Publication Date
CN101553814A true CN101553814A (zh) 2009-10-07
CN101553814B CN101553814B (zh) 2012-04-25

Family

ID=39125224

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800423343A Expired - Fee Related CN101553814B (zh) 2006-11-14 2007-11-09 用于产生视频数据流摘要的方法和设备

Country Status (6)

Country Link
US (1) US20100002137A1 (zh)
EP (1) EP2089820B1 (zh)
JP (1) JP2010509830A (zh)
KR (1) KR20090079262A (zh)
CN (1) CN101553814B (zh)
WO (1) WO2008059416A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104796756A (zh) * 2014-01-20 2015-07-22 三星泰科威株式会社 图像记录***

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10091552B2 (en) * 2012-09-19 2018-10-02 Rovi Guides, Inc. Methods and systems for selecting optimized viewing portions
KR20140040474A (ko) * 2012-09-26 2014-04-03 한국전자통신연구원 비디오 요약 장치, 방법 및 시스템
CN105100893A (zh) * 2014-04-21 2015-11-25 联想(北京)有限公司 一种视频分享的方法和装置
US10681408B2 (en) * 2015-05-11 2020-06-09 David Leiberman Systems and methods for creating composite videos
CN108353213A (zh) * 2015-10-30 2018-07-31 惠普发展公司，有限责任合伙企业 视频内容概括和类选择
US20180295427A1 (en) * 2017-04-07 2018-10-11 David Leiberman Systems and methods for creating composite videos
US11010627B2 (en) 2019-01-25 2021-05-18 Gracenote, Inc. Methods and systems for scoreboard text region detection
US11087161B2 (en) 2019-01-25 2021-08-10 Gracenote, Inc. Methods and systems for determining accuracy of sport-related information extracted from digital video frames
US11805283B2 (en) 2019-01-25 2023-10-31 Gracenote, Inc. Methods and systems for extracting sport-related information from digital video frames
US11036995B2 (en) 2019-01-25 2021-06-15 Gracenote, Inc. Methods and systems for scoreboard region detection
US10997424B2 (en) 2019-01-25 2021-05-04 Gracenote, Inc. Methods and systems for sport data extraction
JP7464437B2 (ja) 2020-04-23 2024-04-09 株式会社Ｎｔｔドコモ 情報処理装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10232884A (ja) * 1996-11-29 1998-09-02 Media Rinku Syst:Kk 映像ソフトウェア処理方法及び映像ソフトウェア処理装置
JP2002033993A (ja) * 2000-07-17 2002-01-31 Sanyo Electric Co Ltd 映像記録再生装置
KR100374040B1 (ko) * 2001-03-09 2003-03-03 엘지전자 주식회사 비디오 텍스트 합성 키 프레임 추출방법
KR100411340B1 (ko) * 2001-03-09 2003-12-18 엘지전자 주식회사 뉴스 비디오 콘텐트의 뉴스 기사 기반 요약 및 브라우징시스템
US7474698B2 (en) * 2001-10-19 2009-01-06 Sharp Laboratories Of America, Inc. Identification of replay segments
US8214741B2 (en) * 2002-03-19 2012-07-03 Sharp Laboratories Of America, Inc. Synchronization of video and data
KR100486709B1 (ko) * 2002-04-17 2005-05-03 삼성전자주식회사 객체기반 대화형 동영상 서비스 시스템 및 그 방법
WO2004105035A1 (en) * 2003-05-26 2004-12-02 Koninklijke Philips Electronics N.V. System and method for generating audio-visual summaries for audio-visual program content
CN1894964A (zh) * 2003-12-18 2007-01-10 皇家飞利浦电子股份有限公司 创建视听数据流的多媒体概要的方法和电路
KR100612862B1 (ko) * 2004-10-05 2006-08-14 삼성전자주식회사 스포츠 동영상의 요약 방법 및 장치
CN101366027B (zh) * 2005-11-15 2013-03-20 耶路撒冷希伯来大学伊森姆研究发展公司 用于产生视频概要的方法和***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104796756A (zh) * 2014-01-20 2015-07-22 三星泰科威株式会社 图像记录***
CN104796756B (zh) * 2014-01-20 2019-08-20 韩华泰科株式会社 图像记录***

Also Published As

Publication number Publication date
US20100002137A1 (en) 2010-01-07
WO2008059416A1 (en) 2008-05-22
KR20090079262A (ko) 2009-07-21
EP2089820A1 (en) 2009-08-19
EP2089820B1 (en) 2013-08-21
JP2010509830A (ja) 2010-03-25
CN101553814B (zh) 2012-04-25

Similar Documents

Publication Publication Date Title
CN101553814B (zh) 用于产生视频数据流摘要的方法和设备
JP7511482B2 (ja) 埋め込まれた情報カード位置特定およびコンテンツ抽出のためのビデオ処理
KR101994592B1 (ko) 비디오 콘텐츠의 메타데이터 자동 생성 방법 및 시스템
WO2021082668A1 (zh) 一种弹幕编辑方法、智能终端及存储介质
CN109657100B (zh) 视频集锦生成方法及装置、电子设备及存储介质
CN103052953B (zh) 信息处理设备、信息处理方法
US9510044B1 (en) TV content segmentation, categorization and identification and time-aligned applications
US9654845B2 (en) Electronic apparatus of generating summary content and method thereof
CN101398843B (zh) 用于浏览视频概要描述数据的设备及方法
JP5135024B2 (ja) コンテンツのシーン出現を通知する装置、方法およびプログラム
US9594957B2 (en) Apparatus and method for identifying a still image contained in moving image contents
Li et al. Bridging the semantic gap in sports video retrieval and summarization
EP2104937B1 (fr) Procede de creation d'un nouveau sommaire d'un document audiovisuel comportant deja un sommaire et des reportages et recepteur mettant en oeuvre le procede
CN107239503A (zh) 视频展示方法及装置
Snoek et al. Time interval maximum entropy based event indexing in soccer video
CN113992972A (zh) 一种字幕显示方法、装置、电子设备和可读存储介质
Anjum et al. Video summarization: Sports highlights generation
JP5410128B2 (ja) コンテンツ表示制御装置、コンテンツ表示制御方法、プログラム、記録媒体
Yu et al. Interactive broadcast services for live soccer video based on instant semantics acquisition
Li et al. Bridging the semantic gap in sports
JP2006330795A (ja) 映像トピック区間情報作成装置、映像トピック区間情報作成方法、映像トピック区間情報作成プログラム、及び記録媒体
Halin et al. Automatic overlaid text detection, extraction and recognition for high level event/concept identification in soccer videos
JP4276638B2 (ja) 映像編集装置、映像編集方法、映像編集プログラム、及びプログラムの記録媒体
CN117319765A (zh) 视频处理方法、装置、计算设备及计算机存储介质
JP6858003B2 (ja) 分類検索システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120425

Termination date: 20121109