CN112753225B - 用于嵌入信息卡定位和内容提取的视频处理 - Google Patents

Abstract

可从嵌入于视频流中的一个或多个卡图像中提取所述视频流的一个或多个精彩片段的元数据。所述精彩片段可为特别令人感兴趣的所述视频流的区段，例如体育赛事的广播。根据一种方法，存储所述视频流的视频帧。可通过分析一个或多个预定视频帧区域来检测嵌入于经解码视频帧中的一个或多个信息卡。接着可对识别出的视频帧区域执行图像分割、边缘检测和/或闭合轮廓识别。进一步处理可包含获得封闭所有其余区段的最小矩形周界区，接着可对所述最小矩形周界区进行进一步处理以确定信息卡的精确边界。可分析所述卡图像以获得元数据，所述元数据可与所述视频帧中的至少一个相关联地存储。

Description

用于嵌入信息卡定位和内容提取的视频处理

相关申请的交叉引用

本申请要求于2018年5月18日提交的第62/673,412号美国临时申请“用于辨识和解释嵌入信息卡内容的机器学习(Machine Learning for Recognizing andInterpreting Embedded Information Card Content)”(代理人案号：THU010-PROV)的权益，所述美国临时申请以全文引用的方式并入本文中。

本申请要求于2018年5月18日提交的第62/673,411号美国临时申请“用于实现体育精彩片段生成的视频处理(Video Processing for Enabling Sports HighlightsGeneration)”(代理人案号：THU009-PROV)的权益，所述美国临时申请以全文引用的方式并入本文中。

本申请要求于2018年5月18日提交的第62/673,413号美国临时申请“用于嵌入信息卡定位和内容提取的视频处理(Video Processing for Embedded Information CardLocalization and Content Extraction)”(代理人案号：THU012-PROV)的权益，所述美国临时申请以全文引用的方式并入本文中。

本申请要求于2018年6月5日提交的第62/680,955号美国临时申请“用于在体育赛事电视节目中检测人群噪声的出现的音频处理(Audio Processing for DetectingOccurrences of Crowd Noise in Sporting Event Television Programming)”(代理人案号：THU007-PROV)的权益，所述美国临时申请以全文引用的方式并入本文中。

本申请要求于2018年7月30日提交的第62/712,041号美国临时申请“用于从电视信号提取可变长度不相交区段的音频处理(Audio Processing for Extraction ofVariable Length Disjoint Segments from Television Signal)”(代理人案号：THU006-PROV)的权益，所述美国临时申请以全文引用的方式并入本文中。

本申请要求于2018年10月16日提交的第62/746,454号美国临时申请“用于检测以短时能量爆发为特征的响亮声音的出现的音频处理(“Audio Processing for DetectingOccurrences of Loud Sound Characterized by Short-Time Energy Bursts)”(代理人案号：THU016-PROV)的权益，所述美国临时申请以全文引用的方式并入本文中。

本申请要求于2019年5月14日提交的第16/411,710号美国实用申请“用于辨识和解释嵌入信息卡内容的机器学习(Machine Learning for Recognizing andInterpreting Embedded Information Card Content)”(代理人案号：THU010)的优先权，所述美国实用申请以全文引用的方式并入本文中。

本申请要求于2019年5月14日提交的第16/411,704号美国实用申请“用于实现体育精彩片段生成的视频处理(Video Processing for Enabling Sports HighlightsGeneration)”(代理人案号：THU009)的优先权，所述美国实用申请以全文引用的方式并入本文中。

本申请要求于2019年5月14日提交的第16/411,713号美国实用申请“用于嵌入信息卡定位和内容提取的视频处理(Video Processing for Embedded Information CardLocalization and Content Extraction)”(代理人案号：THU012)的优先权，所述美国实用申请以全文引用的方式并入本文中。

本申请涉及于2012年8月31日提交并于2015年6月16日作为第9,060,210号美国专利发布的第13/601,915号美国实用申请“生成现场表演的兴奋水平(GeneratingExcitement Levels for Live Performances)”，所述美国实用申请以全文引用的方式并入本文中。

本申请涉及于2012年8月31日提交并于2014年9月23日作为第8,842,007号美国专利发布的第13/601,927号美国实用申请“生成现场表演的通知(Generating Alerts forLive Performances)”，所述美国实用申请以全文引用的方式并入本文中。

本申请涉及于2012年8月31日提交并于2013年11月26日作为第8,595,763号美国专利发布的第13/601,933号美国实用申请“生成用于现场表演的前导广告(GeneratingTeasers for Live Performances)”，所述美国实用申请以全文引用的方式并入本文中。

本申请涉及于2014年10月9日提交的第14/510,481号美国实用申请“生成描绘事件的定制精彩片段序列(Generating a Customized Highlight Sequence Depicting anEvent)”(代理人案号：THU001)，所述美国实用申请以全文引用的方式并入本文中。

本申请涉及于2015年5月12日提交的第14/710,438号美国实用申请“生成描绘多个事件的定制精彩片段序列(Generating a Customized Highlight Sequence DepictingMultiple Events)”(代理人案号：THU002)，所述美国实用申请以全文引用的方式并入本文中。

本申请涉及于2015年10月7日提交的第14/877,691号美国实用申请“具有叙述成分的精彩片段展示的定制生成(Customized Generation of Highlight Show withNarrative Component)”(代理人案号：THU004)，所述美国实用申请以全文引用的方式并入本文中。

本申请涉及于2016年9月14日提交的第15/264,928号美国实用申请“用于与定制精彩片段展示交互的用户界面(User Interface for Interaction with CustomizedHighlight Shows)”(代理人案号：THU005)，所述美国实用申请以全文引用的方式并入本文中。

技术领域

本文件涉及用于在递送多媒体内容的电视装置或视频服务器上识别多媒体内容和相关联信息，并使嵌入的软件应用程序利用多媒体内容来提供与所述多媒体内容同步的内容和服务的技术。各种实施例涉及用于提供自动视频和音频分析的方法和***，其用以识别和提取体育电视视频内容中的信息，并创建与视频精彩片段相关联的元数据，以供在比赛中和比赛后回顾体育电视视频内容。

背景技术

长期以来，已经设想了例如交互式广告的增强型电视应用程序以及具有比赛前、比赛中和比赛后交互式应用程序的增强型节目指南。正在调用原先为广播电视而设计的现有电缆***以支持许多新的应用程序和服务，包含交互式电视服务和增强型(交互式)节目指南。

用于实现增强型电视应用程序的一些框架已经标准化。实例包含OpenCable^TM增强型电视应用程序消息传递规范以及Tru2way规范，它们指的是通过有线电视网络递送的交互式数字有线电视服务，其中包含例如交互式节目指南、交互式广告、比赛等特征。此外，有线电视运营商“OCAP”程序还提供交互式服务，例如电子商务购物、在线银行、电子节目指南和数字视频录制。这些努力使第一代视频同步应用程序得以实现，并与编程者/广播公司递送的视频内容同步，并为电视节目提供了额外的数据和交互性。

视频/音频内容分析技术和功能强大的移动装置的最新发展为开发与直播电视节目事件同步运行的复杂应用程序开辟了一系列新的可能性。这些新技术和计算机视觉和视频处理技术的进步以及现代处理器提高的计算能力允许实时生成带有元数据的复杂节目内容精彩片段。

发明内容

提出了用于在体育电视广播节目中在视频帧或多个视频帧中自动找出例如信息记分板的信息卡(“卡图像”)的位置的方法和***。还描述了用于识别所定位卡图像的各个字段内的文本串并且从所定位卡图像的各个字段读取和解释文本信息的方法和***。

在至少一个实施例中，相对于体育电视节目内容的呈现同步地执行卡图像检测、定位和读取。在至少一个实施例中，提供了一种自动过程，用于接收数字视频流、分析所述数字视频流的一个或多个帧以及自动检测和定位卡图像四边形。在另一实施例中，提供了一种自动过程，用于分析一个或多个所定位卡图像、辨识和提取文本串(例如，在文本框中)并且从所提取的文本框中读取信息。

在又一实施例中，解释与卡图像内的特定字段相关联的检测到的文本串，因此提供与体育赛事的电视广播的内容有关的即时比赛中信息。所提取的帧内信息可用于生成与自动创建的自限定视频内容有关的元数据，作为与视听和文本数据相关联的广播电视节目内容的一组精彩片段。

在至少一个实施例中，一种用于从视频流提取元数据的方法可包含将视频流的至少一部分存储在数据存储区中。在处理器处，可通过执行以下中的至少一个来自动识别和提取嵌入于视频帧中的至少一个中的一个或多个卡图像：识别视频帧内限定含有卡图像的视频帧区域的预定位置，及依次处理视频帧的多个区域，以识别含有卡图像的视频帧区域。在处理器处，可分析卡图像以获得元数据，所述元数据可与视频帧中的至少一个相关联地存储在所述数据存储区处。

在至少一个实施例中，视频流可为体育赛事的广播。视频帧可构成被视为一个或多个用户特别感兴趣的精彩片段。元数据可描述体育赛事在精彩片段期间的状态。

在至少一个实施例中，所述方法可进一步包含在输出装置处，在观看精彩片段期间呈现元数据。对于精彩片段，可在观看所述精彩片段期间自动识别并提取卡图像并分析所述卡图像以获得元数据。

在至少一个实施例中，所述方法可进一步包含从视频帧区域定位并提取卡图像。从视频帧区域定位并提取卡图像可包含裁剪视频帧以隔离视频帧区域。替代地或另外，从视频帧区域定位并提取卡图像可包含：分割视频帧区域或视频帧区域的经处理版本，以生成分割图像；以及修改与分割图像的边界相邻的区段的像素值。替代地或另外，从视频帧区域定位并提取卡图像可包含从视频帧区域或视频帧区域的经处理版本去除背景。替代地或另外，从视频帧区域定位并提取卡图像可包含基于视频帧区域生成边缘图像、在边缘图像中找出轮廓、将轮廓近似为多边形，以及提取由包围所有轮廓的最小矩形周界封闭的区域以生成周界矩形图像。

在至少一个实施例中，所述方法可进一步包含：迭代地，针对周界矩形图像的每个边缘对颜色被修改的像素进行计数，并且向内移动颜色被修改的像素的数目超过阈值的任何边界边缘。

在至少一个实施例中，所述方法可进一步包含通过对视频帧区域中的像素的第一数目、周界矩形图像中的像素的第二数目以及经调整周界矩形图像中的像素的第三数目进行计数，来验证在所述区域内检测到的四边形。可比较第一数目、第二数目和第三数目以确定在所述区域内采用的四边形是否可行。

在至少一个实施例中，从视频帧区域定位并提取卡图像可包含调整卡图像的左边界(或另一边界)。

本文中描述进一步细节和变化。

附图说明

附图连同描述一起说明若干实施例。本领域的技术人员将认识到在附图中说明的特定实施例仅是示范性的，且并不希望限制范围。

图1A是描绘根据客户端/服务器实施例的硬件架构的框图，其中事件内容是经由网络连接的内容提供商提供。

图1B是描绘根据另一客户端/服务器实施例的硬件架构的框图，其中事件内容存储在基于客户端的存储装置处。

图1C是描绘根据独立实施例的硬件架构的框图。

图1D是描绘根据一个实施例的***架构的概观的框图。

图2是描绘根据一个实施例的可并入到卡图像、用户数据和精彩片段数据中的数据结构的实例的示意性框图。

图3A是来自视频流的视频帧的实例的屏幕截图，其示出了可在体育赛事电视节目内容中找出的帧内嵌入信息卡图像(“卡图像”)。

图3B是一系列屏幕截图，其描绘了具有嵌入卡图像的视频帧的额外实例。

图4是描绘根据一个实施例的由应用程序进行的方法的流程图，所述应用程序接收视频流并执行视频帧的实时处理以用于定位并提取卡图像和相关联的元数据(例如图3的卡图像和其相关的比赛状态信息)。

图5是更详细地描绘来自图4的用于处理视频帧的预定区域以检测可行卡图像的步骤的流程图。

图6是描绘根据一个实施例的用于在经解码视频帧的指定区域中进行有效卡图像四边形检测的顶层处理的方法的流程图。

图7是描绘根据一个实施例的用于更精确地确定卡图像四边形的方法的流程图。

图8是描绘根据一个实施例的用于调整包围所有检测到的轮廓的封闭区域的四边形边界的方法的流程图。

图9是描绘根据一个实施例的用于验证卡图像四边形的方法的流程图。

图10是描绘根据一个实施例的用于视情况稳定非常细长的卡图像形状的左边界的方法的流程图。

图11是描绘根据一个实施例的用于执行从卡影像207的文本提取的方法的流程图。

图12是描绘根据一个实施例的用于执行文本串处理和解释的方法的流程图。

具体实施方式

定义

呈现以下定义仅用于解释性的目的，且并不希望限制范围。

·事件：出于本文论述的目的，术语“事件”指代游戏、会话、比赛、系列节目、表演、节目、音乐会等等或其部分(例如一个动作、时期、四分之一、二分之一、一局、场景、章节等)。事件可为体育赛事、娱乐事件、事件中的参与者的较大群体内的单个个人或个人子组的特定表现，等。非体育赛事的实例包含电视节目、重大新闻、社会政治事件、自然灾害、电影、演出、广播节目、播客、有声读物、在线内容、音乐表演等等。事件可具有任何长度。出于说明性目的，本文常常在体育赛事的方面描述技术；然而，所属领域的技术人员将认识到，也可在其它情境中使用所述技术，包含用于任何视听的、视觉的、基于图形的、交互式、非交互式或基于文本的内容的精彩片段展示。因此，描述内容中的术语“体育赛事”和任何其它体育专用术语的使用既定说明一个可能的实施例，但并不希望将所描述技术的范围限制于所述一个实施例。而是，这些术语应当视为在技术适当时延伸到任何合适的非体育情境。为易于描述，术语“事件”也用以指代事件的报道或表示，例如事件的视听记录，或包含事件的报道、描述或描绘的任何其它内容项目。

·精彩片段：被视为一个或多个用户特别感兴趣的事件的摘录或部分，或与事件相关联的内容。精彩片段可具有任何长度。通常，本文中所描述的技术提供了用于为任何合适的事件识别和呈现一组定制的精彩片段(可基于用户的特定特征和/或偏好来选择)的机制。“精彩片段”还可用于指代精彩片段的报道或表示，例如精彩片段的视听记录，或包含精彩片段的报道、描述或描绘的任何其它内容项。精彩片段无需限于事件本身的描绘，但可包含与事件相关联的其它内容。举例来说，对于体育赛事，精彩片段可包含比赛中的音频/视频，以及例如比赛前、比赛中以及比赛后采访、分析、解说等其它内容。这些内容可从线性电视记录(例如，作为描绘事件自身的视频流的部分)或从任何数目的其它源检索。可提供不同类型的精彩片段，包含例如发生的事(场景)、串连、控制权和序列，其全部定义于下文中。精彩片段无需为固定持续时间，但可并入开始偏移和/或结束偏移，如下所述。

·内容描绘符：指示精彩片段的开始或结束的一个或多个视频帧。

·发生的事：事件期间发生的某事。实例包含：进球、场景、进攻机会、命中、救球、射门、篮框、抢断、捕捉或尝试捕捉、侥幸逃脱、对抗、比赛的开始或结束、四分之一、二分之一、时期、或一局、投球、罚分、受伤、娱乐事件中的戏剧性事情、歌曲、独奏等等。发生的事也可能为异常的，例如电力中断、不守规矩的粉丝的意外事件，等等。可将此类发生的事的检测用作确定是否将视频流的特定部分指定为精彩片段的基础。为了便于命名，在本文中也将发生的事称作“场景”，但这种用法不应当解释为限制范围。发生的事可具有任何长度，且发生的事的表示也可具有变化长度。举例来说，如上文所提及，发生的事的延伸表示可包含描绘恰在发生的事之前和恰在发生的事之后的时间周期的连续镜头，而短暂表示可仅包含发生的事自身。也可提供任何中间表示。在至少一个实施例中，用于发生的事的表示的持续时间的选择可取决于用户偏好、可用时间、所确定的发生的事的兴奋水平、发生的事的重要性和/或任何其它因素。

·偏移量：精彩片段长度的调整量。在至少一个实施例中，可提供开始偏移和/或结束偏移，用于分别调整精彩片段的开始时间和/或结束时间。举例来说，如果精彩片段描绘进球，则可将所述精彩片段延伸(经由结束偏移)几秒以便包含在进球之后的庆祝和/或球迷反应。偏移量可被配置成例如基于可用于精彩片段的时间量、精彩片段的重要性和/或兴奋水平和/或任何其它合适的因素而自动或手动地变化。

·串连：在某种程度上彼此联系或相关的一系列发生的事。发生的事可发生于一个控制权(下文定义)内，或可横跨多个控制权。发生的事可发生于一个序列(下文定义)内，或可横跨多个序列。发生的事可由于彼此的某种主题性或叙述性连接或者因为一者导致另一者、或者出于任何其它原因而联系或相关。串连的一个实例是导致进球或进篮的一组传球。请勿将其与“文本串”混淆，“文本串”具有计算机编程领域通常赋予的含义。

·控制权：事件的任何时间分隔部分。控制权的开始时间/结束时间的分界可取决于事件类型。对于其中一个队伍可处于进攻而另一队伍处于防守(例如篮球或足球)的某些体育赛事，控制权可定义为其中一个队伍有球的时间周期。在例如曲棍球或足球等体育运动中，其中球块或球控制权更为流动，则控制权可视为延伸到其中一个队伍具有所述球块或球的实质控制的时间周期，而忽略另一队伍的瞬时接触(例如被阻挡的射门或救球)。对于棒球，控制权定义为半局。对于橄榄球，控制权可包含其中同一队伍有球的若干序列。对于其它类型的体育赛事以及非体育赛事，术语“控制权”可能稍微用词不当，但本文所使用仍用于说明性目的。非体育情境中的实例可包含章节、场景、动作、电视片段等。例如，在音乐演唱会的情境中，控制权可能等同于演奏单首歌曲。控制权可包含任何数目的发生的事。

·序列：事件的包含动作的一个连续时间时期的时间分隔部分。举例来说，在体育赛事中，序列可当动作开始(例如开球、跳球等)时开始，且可当哨子吹响以表示动作中止时结束。在例如棒球或橄榄球等体育中，序列可等效于呈发生的事的形式的场景。序列可包含任何数目的控制权，或可为控制权的一部分。

·精彩片段展示：被配置成呈现给用户的一组精彩片段。精彩片段展示可线性地呈现(例如视频流)，或以允许用户选择观看哪一精彩片段以及观看次序(例如通过在链接或缩略图上点击)的方式呈现。精彩片段展示的呈现可为非交互式或交互式的，例如允许用户暂停、快退、跳过、快进、传达偏好或厌恶等等。精彩片段展示可例如为浓缩的比赛。精彩片段展示可包含来自单个事件或多个事件的任何数目的邻接或非邻接精彩片段，且可甚至包含来自不同类型的事件的精彩片段(例如，不同体育运动，和/或来自体育和非体育赛事的精彩片段的组合)。

·用户/观看者：术语“用户”或“观看者”可互换地指代观看、收听或另外经历事件、事件的一或多个精彩片段或精彩片段展示的个人、群组或其它实体。术语“用户”或“观看者”还可指代可在某个未来时间观看、收听或另外经历事件、事件的一个或多个精彩片段或精彩片段展示的个人、群组或其它实体。术语“观看者”可用于描述目的，但事件无需具有视觉成分，使得“观看者”可实际上为内容的收听者或任何其它消费者。

·叙述：一个连贯的故事，以特定次序链接一组精彩片段区段。

·兴奋水平：预测事件或精彩片段对特定用户或一般用户的兴奋或感兴趣程度的度量。也可相对于特定发生的事或运动选手确定兴奋水平。上文所引用的相关申请中论述了用于测量或评估兴奋水平的各种技术。如所论述，兴奋水平可取决于事件内发生的事，以及例如总体情境或事件的重要性等其它因素(季后赛、角旗暗示、争夺等等)。在至少一个实施例中，兴奋水平可与事件内的每一发生的事、串连、控制权或序列相关联。举例来说，可基于发生于控制权内的发生的事而确定所述控制权的兴奋水平。对于不同的用户(例如，一个队伍的球迷对中立的球迷)，所测得的兴奋水平可能会有所不同，且其可取决于每一用户的个人特性。

·元数据：与其它数据有关并与其它数据关联存储的数据。主要数据可为例如体育节目或精彩片段的媒体。

·卡图像：视频帧中的图像，其可提供关于视频中描述的任何内容(例如事件、事件的描述或其一部分)的数据。示范性卡图像含有比赛得分、比赛时钟和/或体育赛事的其它统计数据。卡图像可能会临时出现或在视频流的整个持续时间中出现；临时出现的卡影像可能特别与视频流中出现它们的部分有关。“卡图像”也可为出现在视频帧中的实际卡图像的经修改或经处理版本。

·字符图像：图像的一部分，被认为与单个字符有关。字符图像可包含字符周围的区域。例如，字符图像可包含围绕字符的大致矩形的边界框。

·字符：可为单词、数字或单词或数字的表示的一部分的符号。字符可包含字母、数字和特殊字符，并且可呈任何语言。

·字符文本串：一组字符，这些字符以表明它们与一条信息有关的方式组合在一起，例如，在体育赛事中比赛的球队的名称。英语语言字符串通常会水平排列，并从左到右阅读。然而，字符串在英语和其它语言中的排列方式可能有所不同。

·视频帧区域：视频帧的一部分，它被认为含有卡图像，这是基于对预期在图像帧中出现的卡图像的预定位置的了解，或者是基于对视频的多个区域的依序分析以识别可能含有卡图像的区域。

总览

根据各种实施例，提供了用于自动创建与体育赛事的电视节目的精彩片段相关联的基于时间的元数据的方法和***。可相对于体育赛事的电视广播或者在体育赛事的电视广播之后经由视频服务器从备份装置流式传输体育赛事视频内容的同时，同步提取精彩片段和相关联的帧内的基于时间的信息。

在至少一个实施例中，软件应用程序与电视节目内容的回放和/或接收同步地操作，以提供与内容精彩片段相关联的信息元数据。这样的软件可在例如电视装置本身上或在相关联的STB上运行，或在具有接收和随后流式传输节目内容的能力的视频服务器上运行，或在配备有接收包含直播节目的视频馈送的能力的移动装置上运行。

在视频管理和处理***中以及在交互式(增强型)节目指南的上下文中，表示电视广播内容精彩片段的一组视频剪辑可实时地自动生成和/或连同含有更详细地描述精彩片段中呈现的事件的基于时间的元数据的数据库一起存储。伴随视频剪辑的元数据可包含任何信息，例如文本信息、图像和/或任何类型的视听数据。以此方式，交互式电视应用程序可在主电视显示器上或在例如平板电脑、笔记本电脑或智能手机的辅助显示器上向观看节目内容的用户提供及时的相关内容。

与比赛中和比赛后视频内容精彩片段相关联的一种类型元数据携载关于通过读取嵌入于节目内容的视频帧中的一个或多个的信息卡(“卡图像”)而直接从直播节目内容中提取的体育比赛参数的实时信息。在各种实施例中，本文描述的***和方法实现这种类型的自动元数据生成。

在至少一个实施例中，所述***和方法自动检测和定位嵌入于体育赛事节目的电视广播的经解码视频帧中的一个或多个或从回放装置流式传输的体育赛事视频中的卡图像。在经解码视频帧中分析大量预定的感兴趣区域，并使用计算机视觉技术实时定位和处理卡图像四边形，以将信息从识别出的卡图像转换为描述体育赛事状态的元数据集。

在另一实施例中，描述了一种自动过程，其中接收数字视频流，且其中针对卡图像四边形的存在与否分析所述数字视频流的一个或多个视频帧。接着将文本框定位在所识别的卡图像内，并且解释驻留在所述文本框内的文本以创建元数据文件，所述元数据文件使卡图像内容与所分析的数字视频流的视频精彩片段相关联。

在又一实施例中，识别多个文本串(文本框)，并且检测与所述文本框相关联的字符串中的每个字符的图像的位置和大小。接下来，对来自卡图像的各个字段的多个文本串进行处理和解释，并形成对应元数据，从而提供与体育赛事的与经处理卡图像和所分析视频帧相关联的部分有关的多个信息。

本文提出的自动元数据生成视频***可结合直播视频流或经由计算机服务器流式传输的数字视频来操作。在至少一个实施例中，可使用计算机视觉技术来实时处理视频流，以从嵌入卡图像提取元数据。

***架构

根据各种实施例，所述***可实施于任何电子装置或一组电子装置上，经装备以接收、存储和呈现信息。此电子装置可为例如台式计算机、笔记本电脑、电视机、智能手机、平板电脑、音乐播放器、音频装置、一体机、机顶盒(set-top box；STB)、游戏***、可穿戴式装置、消费者电子装置等等。

虽然本文结合特定类型计算装置中的实施方案描述所述***，但所属领域的技术人员将认识到，本文所描述的技术可在其它情境中实施，且实际上在能够接收和/或处理用户输入且将输出呈现给用户的任何合适的装置中实施。因此，以下描述既定借助于实例说明各种实施例，而不是限制范围。

现在参考图1A，示出了根据客户端/服务器实施例的框图，其描绘了用于从嵌入于事件的视频流中的卡图像自动提取元数据的***100的硬件架构。例如视频流的事件内容可经由网络连接的内容提供商124来提供。此客户端/服务器实施例的实例是基于网络的实现方式，其中一个或多个客户端装置106中的每一个运行浏览器或应用程序，所述浏览器或应用程序提供用于经由通信网络104与来自包含数据提供商服务器122和/或内容提供商服务器124的各种服务器102、114、116的内容进行交互的用户界面。响应于来自客户端装置106的请求，内容和/或数据的传输可使用任何已知的协议和语言进行，例如超文本标记语言(Hypertext Markup Language；HTML)、Java、Objective C、Python、JavaScript等等。

客户端装置106可为任何电子装置，例如台式计算机、笔记本电脑、电视、智能手机、平板电脑、音乐播放器、音频装置、一体机、机顶盒、游戏***、可穿戴式装置、消费者电子装置等等。在至少一个实施例中，客户端装置106具有所属领域的技术人员众所周知的若干硬件组件。输入装置151可为接收来自用户150的输入的任何组件，包含例如键盘、鼠标、触笔、触敏屏(触摸屏)、触摸垫、手势接受器、轨迹球、加速度计、五路开关、麦克风等。可经由任何合适的模式提供输入，包含例如以下各者中的一或多者：指向、轻触、打字、拖动、示意、倾斜、摇动和/或语音。显示屏幕152可为以图形方式显示信息、视频、内容等等的任何组件，包含事件、精彩片段等等的描绘。此输出还可包含例如视听内容、数据可视化、导览元素、图形元素、请求用于内容选择的信息和/或参数的询问，等。在每次仅呈现期望输出中的一些的至少一个实施例中，例如滚动机制等动态控制可经由输入装置151而可用以选择当前显示哪些信息，和/或更改信息显示的方式。

处理器157可为用于根据众所周知的技术在软件的指示下对数据执行操作的常规微处理器。存储器156可为具有在所属领域中已知的结构和架构的随机存取存储器，供处理器157在运行软件以执行本文中所描述的操作的过程中使用。客户端装置106还可包含本地存储装置(未示出)，其可为硬盘驱动器、快闪驱动器、光学或磁性存储装置、基于网络(基于云)的存储装置等等。

根据任何合适的协议和技术，任何合适的类型的通信网络104，例如因特网、电视网络、有线电视网络、蜂窝网络等等，都可用作用于在客户端装置106和多个服务器102、114、116和/或内容提供商124和/或数据提供商122之间传输数据的机制。除因特网之外，其它实例还包含蜂窝式电话网络、EDGE、3G、4G、长期演进(LTE)、会话起始协议(SIP)、短消息端对端协议(SMPP)、SS7、Wi-Fi、蓝牙、ZigBee、超文本传送协议(HTTP)、安全超文本传送协议(SHTTP)、传输控制协议/因特网协议(TCP/IP)等等，和/或其任何组合。在至少一个实施例中，客户端装置106经由通信网络104传输对数据和/或内容的请求，并从服务器102、114、116接收含有所请求的数据和/或内容的响应。

在至少一个实施例中，图1A的***结合体育赛事而操作；然而，本文中的教示还适用于非体育赛事，且应了解本文中所描述的技术不限于对体育赛事的应用。举例来说，本文中所描述的技术可用于结合电视节目、电影、新闻事件、游戏节目、政治性动作、商业节目、戏剧和/或其它间歇性内容或者多于一个此类事件而操作。

在至少一个实施例中，***100通过分析事件的视频流来识别广播事件的精彩片段。可实时进行此分析。在至少一个实施例中，***100包含经由通信网络104联接到一个或多个客户端装置106的一个或多个网络服务器102。通信网络104可为公共网络、专用网络或例如因特网的公共网络与专用网络的组合。通信网络104可为LAN、WAN、有线、无线和/或以上的组合。在至少一个实施例中，客户端装置106能够经由有线或无线连接而连接到通信网络104。在至少一个实施例中，客户端装置还可包含能够接收和记录事件的记录装置，例如DVR、PVR或其它媒体记录装置。此记录装置可为客户端装置106的部分或可在外部；在其它实施例中，此记录装置可省略。虽然图1A示出一个客户端装置106，但***100可任何数目的单个类型或多个类型的客户端装置106来实现。

网络服务器102可包含一个或多个物理计算装置和/或软件，其可接收来自客户端装置106的请求且以数据响应于那些请求，以及发送出未经请求的警示和其它消息。网络服务器102可采用针对容错性和可缩放性的各种策略，例如负载平衡、高速缓冲存储以及聚类。在至少一个实施例中，网络服务器102可包含如在所属领域中已知的高速缓冲存储技术以用于存储与事件相关的客户端请求和信息。

网络服务器102可维持或以其它方式指定一个或多个应用服务器114，以响应从客户端装置106接收到的请求。在至少一个实施例中，应用服务器114提供对业务逻辑的访问，以供客户端装置106中的客户端应用程序使用。应用服务器114可与网络服务器102共同定位、共同拥有或共同管理。应用服务器114也可远离网络服务器102。在至少一个实施例中，应用服务器114与一个或多个分析服务器116和一个或多个数据服务器118交互以执行所公开技术的一个或多个操作。

一个或多个存储装置153可通过存储与***100的操作有关的数据来充当“数据存储区”。此数据可包含例如但不限于与嵌入于呈现例如体育赛事的事件的视频流中的卡图像有关的卡数据154、与一个或多个用户150有关的用户数据155和/或与事件的一个或多个精彩片段有关的精彩片段数据164。

卡数据154可包含与嵌入于视频流中的卡图像有关的任何信息，例如卡图像本身、其子集(例如字符图像)、从卡图像提取的文本(例如字符和字符串)以及可有助于文本和/或含义提取的任何前述内容的属性。用户数据155可包含描述一个或多个用户150的任何信息，包含例如人口统计资料、购买行为、视频流观看行为、兴趣、偏好等等。精彩片段数据164可包含精彩片段、精彩片段识别符、时间指示符、类别、兴奋水平以及与精彩片段有关的其它数据。随后将详细描述卡数据154、用户数据155和精彩片段数据164。

值得注意的是，***100的许多组件可为或可包含计算装置。如上文所示出和描述，此类计算装置可各自具有类似于客户端装置106的架构。因此，通信网络104、网络服务器102、应用服务器114、分析服务器116、数据提供商122、内容提供商124、数据服务器118和存储装置153中的任何一个可包含一个或多个计算装置，所述计算装置中的每一个可任选地具有输入装置151、显示屏幕152、存储器156和/或处理器157，如上文结合客户端装置106所描述。

在***100的示范性操作中，客户端装置106的一个或多个用户150以视频流的形式观看来自内容提供商124的内容。视频流可示出例如体育赛事的事件。视频流可为可容易地用已知的计算机视觉技术处理的数字视频流。

在显示视频流时，***100的一个或多个组件(例如客户端装置106、网络服务器102、应用服务器114和/或分析服务器116)可分析视频流、识别视频流中的精彩片段和/或从视频流提取元数据，例如从嵌入卡图像和/或视频流的其它方面提取元数据。可响应于接收到识别视频流的精彩片段和/或元数据的请求而执行此分析。或者，在另一实施例中，可在用户150尚未做出特定请求的情况下识别精彩片段。在又一实施例中，可在不显示视频流的情况下进行视频流的分析。

在至少一个实施例中，用户150可经由客户端装置106处的输入装置151来指定用于分析视频流的特定参数(例如，包含什么事件/比赛/队伍、用户150可用于观看精彩片段的时间、需要什么元数据和/或任何其它参数)。用户偏好还可从存储装置中提取，例如从存储在一个或多个存储装置153中的用户数据155中提取，以便定制视频流的分析，而不必要求用户150指定偏好。在至少一个实施例中，可基于观察到的用户150的行为和动作来确定用户偏好，例如，通过观察网站访问模式、电视观看模式、音乐收听模式、在线购买、先前的精彩片段识别参数、精彩片段和/或由用户150实际观看的元数据，等等。

另外或替代地，可从由用户150明确提供的先前存储的偏好中检索用户偏好。此类用户偏好可指示用户150感兴趣的是哪些球队、体育运动、运动员和/或事件的类型，及/或它们可指示用户150感兴趣的是哪种类型的元数据或与精彩片段有关的其它信息。因此，此类偏好可用来引导视频流的分析，以识别精彩片段和/或提取精彩片段的元数据。

可包含如上文所描述的一个或多个计算装置的分析服务器116可分析与来自数据提供商122的一个或多个事件有关的体育比赛现场解说统计数据的实时和/或所录制的馈送。数据提供商122的实例可包含但不限于例如STATS^TM、Perform(购自英国伦敦的OptaSports)以及瑞士圣加仑州的SportRadar等实时体育信息的提供商。在至少一个实施例中，分析服务器116为事件生成不同组的兴奋水平；此类兴奋水平可接着根据本文中所描述的技术与由***100识别的精彩片段一起存储。

应用服务器114可分析视频流以识别精彩片段和/或提取元数据。另外或替代地，此类分析可由客户端装置106进行。所识别的精彩片段和/或提取的元数据可特定于用户150；在此情况下，在客户端装置106中识别与特定用户150有关的精彩片段可能是有利的。如上文所描述，客户端装置106可接收、保留和/或检索适用的用户偏好以用于精彩片段识别和/或元数据提取。另外或替代地，精彩片段生成和/或元数据提取可在全局范围内进行(即，使用适用于一般用户群体的客观标准，而不考虑特定用户150的偏好)。在此情况下，在应用服务器114中识别精彩片段和/或提取元数据可能是有利的。

有助于精彩片段识别和/或元数据提取的内容可来自任何合适的源，包含来自内容提供商124，所述内容提供商可包含例如YouTube、MLB.com等网站；体育运动数据提供商；电视台；基于客户端或服务器的DVR；等等。或者，内容可来自例如DVR的本地源或与客户端装置106相关联(或内置于客户端装置中)的其它记录装置。在至少一个实施例中，应用服务器114生成定制的具有精彩片段和元数据的精彩片段展示，用户150可作为下载、流式传输内容或点播内容或以某一其它方式来使用所述精彩片段展示。

如上文所提及，在与特定用户150相关联的特定客户端装置106处执行特定于用户的精彩片段识别和/或元数据提取可能是有利的。此实施例可避免对不必要地经由通信网络104传输视频内容或其它高带宽内容的需求，特别是如果此类内容在客户端装置106处已经可用的情况下。

例如，现在参考图1B，示出了根据一个实施例的***160的实例，其中卡数据154和精彩片段数据164中的至少一些存储在基于客户端的存储装置158处，所述存储装置可为可用于客户端装置106的任何形式的本地存储装置。实例为可记录事件的DVR，例如用于完整体育赛事的视频内容。可替代地，基于客户端的存储装置158可为用于数字形式的数据的任何磁性、光学或电子存储装置；实例包含快闪存储器、磁性硬盘驱动器、CD-ROM、DVD-ROM或与客户端装置106整合的其它装置或以通信方式与客户端装置106联接的其它装置。基于由(一个或多个)应用服务器114提供的信息，客户端装置106可从存储在基于客户端的存储装置158处的卡数据154中提取元数据，并且将所述元数据存储为精彩片段数据164，而不必从内容提供商124或其它远程源检索其它内容。此布置可节省带宽，且可有效地利用可能已经可用于客户端装置106的现有硬件。

返回到图1A，在至少一个实施例中，应用服务器114可根据个别用户偏好和/或其它参数来识别不同的精彩片段和/或提取不同用户150的不同元数据。可经由例如客户端装置106处的显示屏幕152的任何合适的输出装置将所识别的精彩片段和/或提取的元数据呈现给用户150。视需要，可识别多个精彩片段，并将其与相关联的元数据一起编译为精彩片段展示。可经由菜单来访问此类精彩片段展示，及/或将其拼接成“精彩片段集锦”或一组精彩片段，所述“精彩片段集锦”或所述组精彩片段根据预定顺序为用户150播放。在至少一个实施例中，用户150可经由输入装置151控制相关联的元数据的精彩片段回放和/或递送，例如以：

·选择要显示的特定精彩片段和/或元数据；

·暂停、快退、快进；

·向前跳到下一精彩片段；

·返回到精彩片段展示内的前一精彩片段的开始；及/或

·执行其它动作。

在上文所引用的相关美国专利申请中提供了关于此类功能性的额外细节。

在至少一个实施例中，提供了一个或多个数据服务器118。数据服务器118可响应来自服务器102、114、116中的任何一个的数据请求，例如以获得或提供卡数据154、用户数据155和/或精彩片段数据164。在至少一个实施例中，此类信息可存储在可由数据服务器118访问的任何合适的存储装置153处，并且可来自任何合适的源，例如来自客户端装置106本身、内容提供商124、数据提供商122等等。

现参考图1C，示出了根据替代实施例的***180，其中在独立环境中实施***180。如同图1B所示的实施例，卡数据154、用户数据155和精彩片段数据164中的至少一些可存储在基于客户端的存储装置158(例如DVR等)上。或者，基于客户端的存储装置158可为快闪存储器或硬盘驱动器，或与客户端装置106整合的其它装置或与以通信方式与客户端装置106联接的其它装置。

用户数据155可包含用户150的偏好和兴趣。基于此用户数据155，***180可提取卡数据154内的元数据以便以本文中所描述的方式呈现给用户150。另外或替代地，可基于不基于特定于用户150的信息的客观标准来提取元数据。

现参考图1D，示出了根据替代实施例的具有架构的***190的概观。在图1D中，***190包含广播服务，例如内容提供商124；呈客户端装置106形式的内容接收器，例如具有STB的电视机；能够摄取和流式传输电视节目内容的视频服务器，例如分析服务器116；及/或能够接收和处理电视节目内容的其它客户端装置106，例如移动装置和手提式计算机，全部经由例如通信网络104等网络进行连接。例如DVR的基于客户端的存储装置158可连接到客户端装置106和/或其它组件中的任何一个，并且可存储视频流、精彩片段、精彩片段识别符和/或元数据，以有助于经由客户端装置106中的任一个识别和呈现精彩片段和/或所提取的元数据。

图1A、1B、1C和1D中描绘的特定硬件架构仅是示范性的。所属领域的技术人员将认识到，可使用其它架构实施本文所描述的技术。其中描绘的许多组件是任选的，且可省略、与其它组件合并和/或用其它组件替换。

在至少一个实施例中，***可被实施为以任何合适的计算机编程语言编写的软件，无论是在独立还是客户端/服务器架构中。或者，其可硬件实施和/或嵌入硬体中。

数据结构

图2是描绘根据一个实施例的可并入到卡数据154、用户数据155和精彩片段数据164中的数据结构的实例的示意性框图。

如图所示，卡数据154可包含多个广播网络202中的每一个的记录。例如，对于广播网络202中的每一个，卡数据154可包含预定卡位置203，广播网络通常在所述预定卡位置处显示视频帧内的卡图像。预定卡位置可例如表示为识别位置的相对拐角、识别中心、高度和宽度和/或以其它方式识别卡图像的位置和/或大小的坐标(例如笛卡尔坐标)。

此外，卡数据154可包含已经或将被分析以用于卡图像提取和解释的一个或多个视频帧区域204。每个视频帧区域204可从视频流的视频帧中提取。

对于每个视频帧区域204，卡数据154还可包含一个或多个经处理视频帧区域206，可通过以有助于识别和/或提取卡图像207的方式修改视频帧区域204来生成所述经处理视频帧区域。例如，经处理视频帧区域206可包含每个视频帧区域204的一个或多个经裁剪、重新着色、分割、增强或以其它方式修改的版本。

每个视频帧区域204还可具有卡图像207，所述卡图像已经在视频帧区域204内识别和/或从所述视频帧区域中提取。每个卡图像207可含有可被解释以提供与视频流中的特定时间有关的元数据的文本。

卡数据154还可针对每个视频帧区域204包含一个或多个解释208。每个解释208可为在已经执行一些分析以辨识和解释出现在卡图像207中的字符之后被认为在相关联的卡图像207中表示的特定文本。解释208可用于从卡图像207获得元数据。

如进一步所示，用户数据155可包含与用户150有关的记录，每个记录可包含特定用户150的人口统计数据212、偏好214、观看历史216和购买历史218。

人口统计数据212可包含任何类型的人口统计数据，包含但不限于年龄、性别、位置、国籍、宗教信仰、教育程度等。

偏好214可包含用户150考虑到他或她的偏好做出的选择。偏好214可直接涉及精彩片段和元数据的收集和/或观看，或者本质上可更普遍。在任一情况下，偏好214可用于促进识别精彩片段和元数据和/或将其呈现给用户150。

观看历史216可列出由用户150所检索和/或观看的电视节目、视频流、精彩片段、网页、搜索查询、体育赛事和/或其它内容。

购买历史218可列出由用户150所购买或请求的产品或服务。

如进一步所示，精彩片段数据164可包含j个精彩片段220的记录，所述记录中的每一个可包含针对特定精彩片段220的视频流222、识别符和/或元数据224。

视频流222可包含描绘精彩片段220的视频，所述视频可从一个或多个事件的一个或多个视频流中获得(例如，通过裁剪视频流以仅包含与精彩片段220有关的视频流222)。识别符223可包含时间代码和/或其它标记，其指示精彩片段220驻留于其所获自的事件的视频流中的位置。

在一些实施例中，精彩片段220中的每一个的记录可含有视频流222和识别符223中的仅一个。可通过为用户150播放视频流222来执行精彩片段回放，或通过使用识别符223针对从中获得精彩片段220的事件仅播放视频流的精彩片段部分来执行精彩片段回放。

元数据224可包含关于精彩片段220的信息，例如事件日期、季节和从中获得精彩片段220的事件或视频流中涉及的群组或个人，例如队伍、球员、教练、压阵队员、广播员和粉丝等等。除其它信息之外，每个精彩片段220的元数据224可包含时间225、阶段226、时钟227、得分228和/或真数目229。

时间225可为在从中获得精彩片段220的视频流222内或在与精彩片段220有关的视频流222内的时间，在所述时间，元数据可用。在一些实例中，时间225可为视频流222内与精彩片段220有关的回放时间，在所述时间，显示含有元数据224的卡图像207。

阶段226可为与精彩片段220有关的事件的阶段。更具体地说，阶段226可为体育赛事的阶段，在所述阶段，显示含有元数据224的卡图像207。举例来说，阶段226可为“第三局”、“第二局”、“下半场”等。

时钟227可为与精彩片段220有关的比赛时钟。更具体地说，时钟227可为显示含有元数据224的卡图像207时的比赛时钟的状态。例如，对于在比赛时钟上显示有十五分钟四十七秒的所显示卡图像207，时钟227可为“15:47”。

得分228可为与精彩片段220有关的比赛得分。更具体地说，得分228可为在显示含有元数据224的卡图像207时的得分。举例来说，得分228可为“45-38”、“7-0”、“30-love”等。

帧号229可为从中获得精彩片段220的视频流或与精彩片段220有关的视频流222内的视频帧的编号，所述视频帧与精彩片段220最直接相关。更具体地说，帧号229可显示含有元数据224的卡图像207时的此类视频帧的编号。

图2中阐述的数据结构仅是示范性的。所述领域的技术人员将认识到，在精彩片段识别和/或元数据提取的执行中，可省略或用其它数据替换图2的一些数据。另外或替代地，图2中未示出的数据可用于执行精彩片段识别和/或元数据提取。

卡图像

现在参考图3A，示出了来自视频流的视频帧300的实例的屏幕截图，所述视频流具有卡图像207形式的嵌入信息，如在体育赛事电视节目中可能频繁出现的那样。图3A描绘了在视频帧300的右下侧的卡图像207以及沿着视频帧300的底部延伸的第二卡图像320。卡图像207、320可含有嵌入信息，例如比赛阶段、当前时钟和当前得分。

在至少一个实施例中，对卡图像207、320中的信息进行定位和处理，以自动识别和解释卡图像207、320中的嵌入文本。接着可将所解释的文本组装成描述体育比赛在体育赛事时间线内的特定时间点的状态的文本元数据。

值得注意的是，卡图像207可与当前正在展示的体育赛事有关，而第二卡图像320可含有用于不同体育赛事的信息。在一些实施例中，仅处理含有被视为与当前正在播放的体育赛事有关的信息的卡图像以进行元数据生成。因此，在不限制范围的情况下，以下示范性描述假定仅卡图像207将被处理。然而，在替代实施例中，可能需要在给定视频帧300中处理多个卡图像，甚至包含与其它体育赛事有关的卡图像。

如图3A所示，卡图像207可提供若干不同类型的元数据224，包含团队名称330、得分340、先前的团队表现350、当前比赛阶段360、比赛时钟370、播放状态380和/或其它信息390。这些中的每一个可从卡图像207内提取并且被解释以提供对应于含有视频帧300的精彩片段220(并且更具体地说，对应于其中显示卡图像207的视频帧300)的元数据224。

图3B是一系列屏幕截图，其描绘了分别具有嵌入卡图像393、395、397、399的视频帧392、394、396、398的额外实例，以说明体育电视节目中的嵌入卡图像位置的额外实例。不同的电视网络可能具有嵌入于体育赛事电视节目内容的视频帧中的此类卡图像的不同类型、形状和帧位置。

卡图像定位并提取

图4是描绘根据一个实施例的由应用程序(例如，在客户端装置106和/或分析服务器116中的一个上运行)进行的方法400的流程图，所述应用程序接收视频流222并执行视频帧300的实时处理以用于定位并提取卡图像207和相关联的元数据(例如图3的卡图像207和其相关的比赛状态信息)。图1A的***100将被称为执行方法400以及随后的那些方法的***；然而，可代替图1A的***100而使用替代***，包含但不限于图1B的***160、图1C的***180和图1D的***190。

图4的方法400可包含接收视频流222。在步骤410中，例如可通过将视频帧300的大小调整为标准大小来读取和解码视频流222的一个或多个视频帧300。在查询420、步骤430、步骤440和/或查询450中，可处理视频帧300以进行帧内卡图像定位。在步骤460中，可通过读取和解释卡图像207来处理检测到的卡图像207以提取信息。可基于从卡图像207提取的信息来生成元数据224。

在至少一个实施例中，通过分析单个预定帧区来执行对存在于经解码视频帧300中的一个或多个卡图像207的检测。或者，如果预先不知道经解码视频帧300中的卡图像207的大概位置，则可通过分析多个预定帧区来执行此类检测。因此，查询420可确定卡图像207在视频帧300内的位置是否已知。例如，一些广播网络可能始终在视频帧300内的相同位置示出卡图像207。如果广播网络是已知的，则卡图像207的位置也可为已知的。在替代例中，卡图像207在视频帧300内的位置可能是未知的，并且可能需要由***100来确定。

根据查询420，如果卡图像207在视频帧300内的位置是已知的，则方法400可前进到步骤430，其中可处理已知部分或视频帧区域以隔离通常与卡图像207相关联的四边形形状。如果卡图像207在视频帧300内的位置是未知的，则方法400可前进到步骤440，其中将视频帧300划分为多个区域，所述多个区域可为视频帧300的预定区域。依次分析视频帧300的区域，以确定哪个区域含有与卡图像207、395、397和/或399类似的卡图像。

例如，对于各种广播网络中的每一个，含有卡图像207的视频帧300的特定区域可为已知的。如果广播网络是未知的，则***100可依次进行经过已知由广播网络用于显示卡图像207的视频帧300的每个区域，直到卡图像207位于所述区域中的一个中。

根据查询450，如果已定位出卡图像207，则方法400可前进到步骤460，其中处理卡图像207，并且从卡图像207提取信息以提供元数据224。如果根据查询450尚未定位出卡图像207，则方法400可返回到步骤410，其中可加载、解码新的视频帧，且接着针对卡图像207的存在与否进行分析。

如前所述，在一些实施例中，方法400可在用户150正在观看节目的同时(例如，当正在呈现对应于精彩片段220的视频流222时)实时地进行。因此，当正在解码视频帧300以供用户150回放时，可在每个视频帧300的背景中进行方法400。在***100定位、提取和解释卡图像207时，可能存在一些延迟。因此，在本申请中，即使元数据224的呈现落后于从中获得元数据的视频帧300的回放(例如，落后几个视频帧300，相当于对于用户150而言无法感知或不会使其分神的延迟)，从卡图像207提取的元数据的呈现也被认为是“实时”的。

图5是更详细地描绘来自图4的用于处理视频帧300的预定区域以检测可行卡图像207的步骤440的流程图。预定区域中的每一个可呈现卡图像207可能驻留的大致位置。

在至少一个实施例中，如先前所指示，基于参与体育赛事电视节目的广播的各种电视网络所使用的卡图像207的大概位置的知识来生成经解码视频帧300中的预定区域。可能已知此类电视网络使用视频帧300的一个或多个区域来经由卡图像207递送帧内视觉和文本数据。

在步骤510中，可开始区域的依序处理。在步骤520中，可处理区域中的一个以确认所述区域中是否存在有效的卡图像207。查询530可确定是否已在所述区域中找出卡图像207。如果是，则可进一步处理所述区域以提取卡图像207。可进一步处理所定位卡图像207以用于自动识别和解释嵌入文本。接着可将此类所解释的文本进一步组装成描述体育赛事(例如比赛)在体育赛事时间线内的特定时间点的状态的文本元数据。在至少一个实施例中，用于文本显现的可用选择是基于已经在视频帧300中检测到的卡图像207的类型，所述类型可由***100在卡图像207的定位和/或提取期间确定。另外或替代地，用于文本显现的可用选择可基于在已经检测到的特定类型的卡图像207内存在的所选字段的预先指派的含义。

如果在所述区域中尚未找出卡图像207，则查询550可确认所述区域是否是视频帧300中的最后一个区域。如果否，则***100可在步骤560中前进至下一区域，且接着针对所述下一区域重复步骤520的处理。如果所述区域是视频帧300中的最后一个区域，则视频帧300可能不含有效卡图像207，并且***100可前进到下一视频帧300。

卡图像四边形的自动检测和定位

图6是描绘根据一个实施例的用于在经解码视频帧300的指定区域中进行有效卡图像四边形检测的顶层处理的方法600的流程图。方法600可根据图4的步骤430对预定位置处的视频帧区域执行，或对根据图4和5的步骤440对经由对视频帧300的多个区域进行依序处理而识别的视频帧区域执行。

首先，在步骤610中，可将经解码视频帧300裁剪到含有指定视频帧区域的较小区，从而提供经裁剪图像。在步骤620中，可使用任何合适的分割算法分割经裁剪图像，例如基于图的分割(例如，“基于图的有效图像分割(Efficient Graph-Based ImageSegmentation)，P.Felzenszwalb、D.Huttenlocher,国际计算机视觉杂志(Int.Journal ofComputer Vision),2004,第59卷)，并且可将所有生成的区段进行颜色编码和枚举，以提供分割图像。分割图像的进一步处理可包含去除围绕限定卡图像207的可能四边形的背景材料。在至少一个实施例中，方法600可前进到步骤630，其中将与分割的经裁剪图像的边界相邻的区段的所有像素设置为黑阶。在步骤640中，将分割的经裁剪图像的其余内部区段的所有像素设置为白阶。在步骤650中，可向下进行具有部分去除的背景的两色经裁剪图像，以进一步处理以进行精确的卡图像四边形定界。

图7是描绘根据一个实施例的用于更精确地确定卡图像四边形的方法700的流程图。首先，在步骤710中，将具有部分去除的背景的经裁剪图像(例如，在图6的步骤640中生成)转换为灰色图像。接着可使其模糊，并且在步骤720中经受边缘检测处理以生成具有检测到的边缘的边缘图像。接下来，在步骤730中，可处理边缘图像以进行轮廓检测，并且可进一步处理所得的轮廓图像以近似得出具有闭合多边形的轮廓。随后，在步骤740中，可处理轮廓/多边形图像以确定封闭所有存在的轮廓的最小矩形周界。上述步骤可能会生成可能含有卡图像207的矩形封闭区域。然而，由于在经裁剪图像分割过程中生成的伪像，此封闭区域可能大于卡图像四边形。因此，在至少一个实施例中，执行进一步的调整以将此中间矩形形状挤压成含有卡图像207的最小矩形区。

图8是描绘根据一个实施例的用于调整包围所有检测到的轮廓(例如，由图7的步骤740产生生成)的封闭区域的四边形边界的示范性方法800的流程图。封闭区域可封闭内部区，使得被挤压的新封闭区域的绝大部分周界像素具有相同的像素强度(在此特定实例中例如为白色)。方法800可去除向外延伸的任何不合需要的区内伪像，从而提供可含有有效卡图像207的新的较紧密的封闭区域。

图8的方法可从步骤810开始，其中接收轮廓周界。轮廓周界可为矩形图像。在步骤820中，***100可围绕包围所有检测到的轮廓(或四边形图像)的矩形封闭区域图像的边界“走动”，并且在步骤830中，针对每个边界边缘(上、下、左和右)对值为黑阶的像素进行计数。接下来，在步骤840中，如果任何边界边缘含有比预定计数更多的黑值像素，则所述边缘向内移动一个像素，从而提供调整后的四边形区850。所述过程继续进行，直到查询860确定被挤紧的四边形的所有边缘的黑值像素计数都低于预定阈值。所得的挤压矩形表示潜在的卡图像封闭区域，可在结合图9的流程图所述的处理步骤中对其进行验证。

图9是描绘根据一个实施例的用于验证卡图像四边形的示范性方法900的流程图。方法900可涉及分析三个不同图像的区(像素计数)：经裁剪图像区(例如，在图6的步骤610中生成)、包围所有检测到的轮廓的矩形封闭区域图像的区(例如，在图7的步骤740中生成)，和具有调整的(挤压的)四边形边界的图像的区(例如，在图8的步骤840的一次或多次迭代中生成)。可分别在步骤910、步骤920和步骤930中生成三个参数(A、B、C)，如下所示：

·A＝经裁剪图像区中的总像素计数；

·B＝轮廓周界二元图像中的总像素计数；

·C＝调整后的轮廓周界二元图像中的黑值像素计数。

接下来，在步骤940中，可对这三个参数执行加权比较，使得如果要检测可行卡图像四边形，则挤压后的四边形非黑值像素区相对于另两个参数占特定比例。在步骤950中，基于上述加权比较，如果已经检测到有效的卡图像207，则将标志设置为真。根据查询960，如果所述标志被设置为真，则***100可前进到步骤970，其中卡图像207(和/或卡图像207的经处理版本)被传递到卡图像内部内容处理。在步骤950中，如果尚未检测到有效的卡图像207，则将所述标志设置为假，并且根据查询960，***100可在步骤980中前进到下一个指定的帧区域以搜索其中的可行卡图像207或前进到下一视频帧300。

图10是描绘根据一个实施例的用于视情况稳定非常细长的卡图像形状的左(或任何其它)边界的示范性方法1000的流程图。所述过程可从步骤1010开始，其中***100将水平卡图像207延伸到裁剪后的帧边缘。在步骤1020中，***100可检测此延伸的图像中的平直垂直线。所述过程可进一步涉及，在步骤1030中，选择预定长度的检测到的垂直线并计算所选的稀疏垂直线标记。最终，在步骤1040中，选择卡图像207的原始位置左侧的标记(如果在紧邻处发现任何标记)，并且在步骤1050中，将四边形左边缘移动到进一步位于检测到的卡图像四边形的原始边缘位置左侧的标记的位置。在步骤1060中，相应地调整卡图像四边形，并且返回卡的更新的感兴趣区域(ROI)。

用于信息提取的卡图像内部处理

在至少一个实施例中，执行一种自动过程，其包含：接收数字视频流(其可包含广播体育赛事的一个或多个精彩片段)、分析数字视频流的一个或多个视频帧中是否存在卡图像207、提取卡图像207、在卡图像207中定位文本框，以及解释驻留在文本框中的文本以创建元数据224，以使来自卡图像207的内容与所分析的数字视频流的视频精彩片段相关联。

图11是描绘根据一个实施例的用于执行从卡影像207的文本提取的方法1100的流程图。在步骤1110中，可将所提取的卡图像207的大小调整为标准大小。接下来，在步骤1120中，可使用一连串的滤波器来预处理经调整大小的卡图像207，包含例如：对比度增加、用于降噪的双边和中值滤波，以及伽马校正，接着为照明补偿。在至少一个实施例中，在步骤1130中，创建具有两级分类器的“极值区域滤波器”(例如，L.Neumann、J.Matas,“实时场景文本定位和辨识(Real-Time Scene Text Localization and Recognition)”,第5届IEEE计算机视觉和图案辨识会议(5th IEEE Conference on Computer Vision and PatternRecognition),普罗维登斯(Providence,RI),2012年6月)，并且在步骤1140中，将级联分类器应用于卡图像207的每个图像通道。接下来，在步骤1150中，检测字符群组，并且提取单词框群组。

在至少一个实施例中，在卡图像207内识别出多个文本串(文本框)，并且检测与所述文本框相关联的字符串中的每个字符的位置和大小。接下来，处理和解释来自卡图像207的各个字段的文本串，并生成对应元数据224，因此提供与当前体育赛事电视节目有关的实时信息以及与已处理的嵌入卡图像207相关联的当前时间线。

图12是描绘根据一个实施例的用于执行文本字符串处理和解释的方法1200的流程图。在步骤1210中，可处理检测到的和所提取的卡图像207，并且可从卡图像207中的字符限界框群组中选择要解释的文本。接下来，在步骤1220中，可提取文本，并且可例如经由光学字符辨识(例如，“Tesseract OCR引擎概述(An Overview of the Tesseract OCREngine)”，R.Smith，Proceedings ICDAR'07，2007年9月第2卷)来读取并解释所提取的文本。在步骤1230中，可生成并结构化元数据224。接着将来自卡图像207的帧内信息与视频精彩片段文本和视觉元数据进行组合。

已经相对于可能的实施例以特定细节描述了本发明***和方法。所属领域的技术人员将了解，可在其它实施例中实践所述***和方法。首先，组件的特定命名、术语的大写、属性、数据结构或任何其它编程或结构方面不是强制的或重要的，且所述机制和/或特征可具有不同的名称、格式或协议。此外，所述***可经由硬件与软件的组合或完全以硬件元件或完全以软件元件来实施。此外，本文所描述的各种***组件之间的功能性的特定划分仅是示范性的，且不是强制的；由单个***组件执行的功能可实际上由多个组件执行，且由多个组件执行的功能可实际上由单个组件执行。

在本说明书中提到“一个实施例”或“一实施例”意味着与实施例结合描述的特定特征、结构或特性包含在至少一个实施例中。短语“在一个实施例中”或“在至少一个实施例中”在说明书中各种地方的出现不一定全部参考同一实施例。

各种实施例可包含用于单独或以任何组合执行上述技术的任何数目的***和/或方法。另一实施例包含计算机程序产品，其包括非暂时性计算机可读存储介质和经编码于介质上的计算机程序代码，用于致使计算装置或其它电子装置中的处理器执行上述技术。

上文的一些部分是在对计算装置的存储器内的数据位的操作的算法和符号表示方面来呈现。这些算法描述和表示是数据处理领域的技术人员用以将其工作的主旨最有效地传达给所属领域的其它技术人员的方法。算法此处且大体上构想为产生所需结果的步骤(指令)的自一致序列。步骤是要求对物理量进行物理操控的步骤。通常但不一定，这些量采取能够被存储、传送、组合、比较和另外操纵的电、磁或光学信号的形式。主要出于常用的原因，将这些信号称为位、值、元件、符号、字符、术语、编号等等有时是便利的。此外，在不失一般性的情况下将需要对物理量的物理操纵的步骤的某些布置称为模块或代码装置有时也是便利的。

然而，应牢记，所有这些和类似术语应与适当物理量相关联，且仅仅是应用于这些量的方便标签。除非从以下论述显而易见确切地陈述是其它情况，否则应了解贯穿所述描述，利用例如“处理”或“计算”或“运算”或“显示”或“确定”或类似术语的论述都指代计算机***或相似电子计算模块和/或装置的动作和过程，所述动作和过程操纵且变换计算机***存储器或寄存器或其它此类信息存储装置、发射或显示装置内的表示为物理(电子)量的数据。

某些方面包含本文中所描述的呈算法形式的处理步骤和指令。应注意，所述处理步骤和指令可以软件、固件和/或硬件实施，且当以软件实施时可经下载以驻留于不同平台上和从不同平台操作以供多种操作***使用。

本文档还涉及用于执行本文的操作的设备。此设备可以出于所需目的而专门构造，或其可以包括通过存储在计算装置中的计算机程序选择性激活或重新配置的通用计算装置。此计算机程序可存储在计算机可读存储媒体中，例如但不限于包含软盘的任何类型的磁盘、光盘、CD-ROM、DVD-ROM、磁光盘、只读存储器(read-only memorie；ROM)、随机存取存储器(random access memories；RAM)、EPROM、EEPROM、快闪存储器、固态驱动器、磁卡或光卡、专用集成电路(application specific integrated circuit；ASIC)，或适合于存储电子指令且各自联接到计算机***总线的任何类型的媒体。所述程序及其相关联的数据也可以在例如服务器上远程地托管和运行。此外，本文提到的计算装置可包含单个处理器或可为采用多处理器设计以用于增加计算能力的架构。

本文呈现的算法和显示本身不与任何特定计算装置、虚拟化***或其它设备相关。各种通用***也可以与根据本文中的教示的程序一起使用，或其可以证明为便于构造用以执行所需方法步骤的更专用设备。用于多种这些***的所需结构将从本文所提供的描述中变得显而易见。另外，不参考任何特定编程语言描述所述***和方法。将了解，可使用多种编程语言来实施本文所描述的教示，且提供上文对特定语言的任何参考以用于实现和最佳模式的公开。

因此，各种实施例包含用于控制计算机***、计算装置或其它电子装置的软件、硬件和/或其它元件，或者其任何组合或多个组合。根据此项技术中众所周知的技术，此类电子装置可包含例如处理器、输入装置(例如键盘、鼠标、触摸垫、轨迹垫、操纵杆、轨迹球、麦克风和/或其任何组合)、输出装置(例如屏幕、扬声器等等)、存储器、长期存储装置(例如磁性存储装置、光学存储装置等等)，和/或网络连接性。此类电子装置可为便携式或非便携式的。可以用于实施所描述***和方法的电子装置的实例包含：台式计算机、笔记本电脑、电视、智能电话、平板电脑、音乐播放器、音频装置、一体机、机顶盒、游戏***、可穿戴式装置、消费者电子装置、服务器计算机等等。电子装置可使用任何操作***，例如且不限于：Linux；购自华盛顿雷德蒙德市的微软公司的Microsoft Windows；购自加利福尼亚库比蒂诺市的苹果公司的Mac OS X；购自加利福尼亚库比蒂诺市的苹果公司的iOS；购自加利福尼亚山景城的谷歌公司的Android；和/或适合于在所述装置上使用的任何其它操作***。

虽然本文已经描述有限数目的实施例，但得益于以上描述的所属领域的技术人员将了解，可以设计其它实施例。另外应注意，已主要为便于阅读和指导性目的而选择在说明书中使用的语言，且可能并不是为了划定或包含标的物而选择。因此，本公开希望说明范围但不限制范围。

Claims (25)

1.一种用于从视频流中提取元数据的方法，所述方法包括：

在数据存储区处，存储所述视频流的视频帧；

在处理器处，通过以下，自动识别并提取嵌入于所述视频帧中的至少一个视频帧中的卡图像：

基于与视频流相关联的网络来确定所述卡图像的预定位置是否已知；

基于确定所述卡图像的所述预定位置是已知的，处理所述视频帧内的所述预定位置，所述预定位置限定含有所述卡图像的视频帧区域；

基于确定所述卡图像的所述预定位置不是已知的，依次处理所述视频帧的多个区域，以识别含有所述卡图像的所述视频帧区域；

从视频帧区域生成边缘图像；

在边缘图像中找出轮廓；和

基于由包围边缘图像中的轮廓的最小矩形周界所包围的区域，从视频帧区域中提取卡图像；

在所述处理器处，分析所述卡图像以获得元数据；和

在所述数据存储区处，将所述元数据与所述视频帧中的至少一个相关联地存储。

2.根据权利要求1所述的方法，其中：

所述视频流包括体育赛事的广播；

所述视频帧构成被视为一个或多个用户特别感兴趣的精彩片段；且

所述元数据描述所述体育赛事在所述精彩片段期间的状态。

3.根据权利要求2所述的方法，其进一步包括，在输出装置处，在观看所述精彩片段期间呈现所述元数据。

4.根据权利要求3所述的方法，其中对于精彩片段，在观看所述精彩片段期间自动识别并提取卡图像并分析所述卡图像以获得所述元数据。

5.根据权利要求1所述的方法，其中从所述视频帧区域自动识别并提取所述卡图像包括裁剪所述视频帧以隔离所述视频帧区域。

6. 根据权利要求1所述的方法，其中从所述视频帧区域自动识别并提取所述卡图像包括：

分割所述视频帧区域或所述视频帧区域的经处理版本，以生成分割图像；和

修改与所述分割图像的边界相邻的区段的像素值。

7.根据权利要求1所述的方法，其中从所述视频帧区域自动识别并提取所述卡图像包括从所述视频帧区域或所述视频帧区域的经处理版本去除背景。

8.根据权利要求1所述的方法，其中从所述视频帧区域自动识别并提取所述卡图像包括：

基于背景被去除的所述视频帧区域生成所述边缘图像；

将所述轮廓近似为多边形；和

提取由包围所有所述多边形的所述最小矩形周界封闭的区域，以生成周界矩形图像。

9.根据权利要求1所述的方法，其中从所述视频帧区域自动识别并提取所述卡图像包括调整所述卡图像的左边界。

10.一种用于从视频流中提取元数据的非暂时性计算机可读介质，所述非暂时性计算机可读介质包括存储在其上的指令，所述指令在由处理器执行时执行以下操作：

使得数据存储区存储所述视频流的视频帧；

通过以下，自动识别并提取嵌入于所述视频帧中的至少一个视频帧中的卡图像：

基于与视频流相关联的网络来确定所述卡图像的预定位置是否已知；

基于确定所述卡图像的所述预定位置是已知的，处理所述视频帧内的所述预定位置，所述预定位置限定含有所述卡图像的视频帧区域；

基于确定所述卡图像的所述预定位置不是已知的，依次处理所述视频帧的多个区域，以识别含有所述卡图像的所述视频帧区域；

从视频帧区域生成边缘图像；

在边缘图像中找出轮廓；和

基于由包围边缘图像中的轮廓的最小矩形周界所包围的区域，从视频帧区域中提取卡图像；

分析所述卡图像以获得元数据；和

使得所述数据存储区将所述元数据与所述视频帧中的至少一个相关联地存储。

11.根据权利要求10所述的非暂时性计算机可读介质，其中：

所述视频流包括体育赛事的广播；

所述视频帧构成被视为一个或多个用户特别感兴趣的精彩片段；且

所述元数据描述所述体育赛事在所述精彩片段期间的状态。

12.根据权利要求11所述的非暂时性计算机可读介质，其进一步包括存储在其上的指令，所述指令在由处理器执行时使得输出装置在观看所述精彩片段期间呈现所述元数据。

13.根据权利要求12所述的非暂时性计算机可读介质，其中对于精彩片段，在观看所述精彩片段期间自动识别并提取卡图像并分析所述卡图像以获得所述元数据。

14.根据权利要求10所述的非暂时性计算机可读介质，其中从所述视频帧区域自动识别并提取所述卡图像包括裁剪所述视频帧以隔离所述视频帧区域。

15. 根据权利要求10所述的非暂时性计算机可读介质，其中从所述视频帧区域自动识别并提取所述卡图像包括：

分割所述视频帧区域或所述视频帧区域的经处理版本，以生成分割图像；和

修改与所述分割图像的边界相邻的区段的像素值。

16.根据权利要求10所述的非暂时性计算机可读介质，其中从所述视频帧区域自动识别并提取所述卡图像包括从所述视频帧区域或所述视频帧区域的经处理版本去除背景。

17.根据权利要求10所述的非暂时性计算机可读介质，其中从所述视频帧区域定位并提取所述卡图像包括：

基于背景被去除的所述视频帧区域生成所述边缘图像；

将所述轮廓近似为多边形；和

提取由包围所有所述多边形的所述最小矩形周界封闭的区域，以生成周界矩形图像。

18. 一种用于从视频流中提取元数据的***，所述***包括：

数据存储区，其被配置成存储所述视频流的视频帧；和

处理器，其被配置成：

通过以下，自动识别并提取嵌入于所述视频帧中的至少一个视频帧中的卡图像：

基于与视频流相关联的网络来确定所述卡图像的预定位置是否已知；

基于确定所述卡图像的所述预定位置是已知的，处理所述视频帧内的所述预定位置，所述预定位置限定含有所述卡图像的视频帧区域；和

基于确定所述卡图像的所述预定位置不是已知的，依次处理所述视频帧的多个区域，以识别含有所述卡图像的所述视频帧区域；和

从视频帧区域生成边缘图像；

在边缘图像中找出轮廓；和

基于由包围边缘图像中的轮廓的最小矩形周界所包围的区域，从视频帧区域中提取卡片图像；

分析所述卡图像以获得元数据；

其中所述数据存储区进一步被配置成将所述元数据与所述视频帧中的至少一个相关联地存储。

19.根据权利要求18所述的***，其中：

所述视频流包括体育赛事的广播；

所述视频帧构成被视为一个或多个用户特别感兴趣的精彩片段；且

所述元数据描述所述体育赛事在所述精彩片段期间的状态。

20.根据权利要求19所述的***，其进一步包括输出装置，所述输出装置被配置成在观看所述精彩片段期间呈现所述元数据。

21.根据权利要求20所述的***，其中所述处理器进一步被配置成对于精彩片段，在观看所述精彩片段期间自动识别并提取所述卡图像并分析所述卡图像以获得元数据。

22.根据权利要求18所述的***，其中所述处理器进一步被配置成通过裁剪所述视频帧以隔离所述视频帧区域来从所述视频帧区域自动识别并提取所述卡图像。

23. 根据权利要求18所述的***，其中所述处理器进一步被配置成通过以下操作来从所述视频帧区域自动识别并提取所述卡图像：

分割所述视频帧区域或所述视频帧区域的经处理版本，以生成分割图像；和

修改与所述分割图像的边界相邻的区段的像素值。

24.根据权利要求18所述的***，其中所述处理器进一步被配置成通过从所述视频帧区域或所述视频帧区域的经处理版本去除背景来从所述视频帧区域定位并提取所述卡图像。

25.根据权利要求18所述的***，其中所述处理器进一步被配置成通过以下操作来从所述视频帧区域定位并提取所述卡图像：

基于背景被去除的所述视频帧区域生成所述边缘图像；

将所述轮廓近似为多边形；和

提取由包围所有所述多边形的所述最小矩形周界封闭的区域，以生成周界矩形图像。