CN106464831B - 用于同步传输辅助数据帧的发射机、接收机、***和方法 - Google Patents

Abstract

HDMI发射机把附加视频行***到要经由HDMI接口传输的视频帧中，以及把与视频帧相关的辅助数据***到附加视频行中。辅助数据与视频帧相关，以及因为辅助数据被存储在视频帧本身中，所以它以与视频帧同步的方式被输送。因为附加视频行超出由标准视频帧格式定义的视频行数目，所以其被也可用于按照本发明的接收机的现有的接收机忽略，并且可以通过使用现有的HDMI标准传输。

Description

用于同步传输辅助数据帧的发射机、接收机、***和方法

技术领域

本发明涉及用来传输数据流的发射机，用于接收数据流的接收机，和包括这样的发射机和接收机的***，以及用于生成包括数据流的信号的方法，其中所述数据流包括视频像素流和辅助数据信道，所述视频像素流包括遵从视频帧格式的视频帧，所述视频帧包括有效视频行，视频行包括视频像素，其中发射机被安排成经由辅助数据信道传输与视频像素流相关联的辅助数据。

背景技术

这样的发射机是从高清晰度多媒体接口（HDMI）标准获知的，高清晰度多媒体接口标准提供用于在辅助数据信道上除了视频像素流以外载送辅助数据的几个方法，或者被复用在TMDS流中（诸如用于音频，和信令（InfoFrame））或者分开的线（诸如使用CEC）。HDMI实施EIA/CEA-861标准，它定义视频格式和波形、压缩、非压缩和LPCM音频、辅助数据的输送、以及VESA EDID的实施方案。^[2][3]由HDMI载送的CEA-861信号是与由数字可视接口（DVI）所使用的CEA-861信号电兼容的。

HDMI标准具有缺点：辅助信道全部都是与视频不同步的，并且在实际的实施方案中，HDMI接收电路通过使用与视频的总线不同的连接总线而被连接到其目标子***。因此，其不能被使用来以与视频同步的方式传递辅助数据。

然而，存在某些应用要求辅助数据对于视频流而言是帧精确的，以及其不能由在HDMI 2.0和更早版本中描述的现有异步机制载送，特别是通过使用HDMI发射机和接收机部件的当前结构体系。这样的应用的例子是用于所谓的3D视频的帧精确视差和遮蔽信息；或附加的高动态范围或色域信息。这些应用要求显著小于被包含在视频帧内的视频的数据量，但其必须在用于该帧的视频数据相同的时间被提供和处理。

来自版本1.3以上的HDMI允许高达每像素每彩色16比特（bcp）的色度。标准视频内容通常使8bcp，以及所谓的“深度彩色”应用使用10、12或16bcp。因此有可能使用针对扩展的色度的某些比特来载送某些额外比特，而不是视频数据（见<EP 2235956>）。这能够以比起由上述的应用所要求的高得多的数据速率载送像素精确的信息，所以，这将是在设备中和在HDMI电缆上的资源的浪费。而且，当前实际的实施方案不能操控将需要的必须的高色度。

EP1231795A2公开了使用与标准的VESA和CEA-EIA消隐时间段相比的简短的消隐时间段，以便在数字视频链路的一个或多个信道上发送数据，其包括低带宽、非定时的信息。通过缩短消隐时间段，对于在每个扫描线上发送数据可提供的时间量被增加，使得***能够在每个信道上发送更多的数据。在垂直同步期间发送的扫描线的未激活的视频部分也可以被使用来发送附加数字数据。缩短消隐时间段和/或使用水平扫描线的非有效的视频段增强了链路的总的数据容量，以及可被用来发送其他数字信号，诸如多信道音频、视频、控制、定时、闭路字幕或其他数字数据。

US 2010/157169A1使得有可能通过使用电视接收机的远程控制发送器而控制被连接到电视接收机的CEC非兼容设备。[解决装置]物理地址是代替于该物理地址本身的、照片播放器控制的设备（记录设备）的事实由用户在照片播放器中设置。按照这个设置，照片播放器决定逻辑地址作为CEC控制的记录设备。当用户通过使用远程控制发送器操作光盘记录器作为CEC非兼容的设备时，电视接收机生成被寻址到光盘记录器的CEC控制命令。照片播放器检测CEC控制命令，把CEC控制命令转换成红外远程控制命令，以及把红外远程控制命令从红外发射单元发送到光盘记录器。

在JP2011146929A中，每个***的一个视频帧被***到复用的视频帧作为具有更大屏幕尺寸的视频帧，并且作为复用的视频帧的数据传输。每个***的音频数据通过在对应于复用的视频帧的一个帧周期的时间内输入的每个样本而被划分，以及被***到复用视频帧。在每个复用电路中，在每个***的数据中关于在复用的视频帧中安排位置的信息和关于每个***的数据格式的信息被***到复用视频帧。所述方法被应用到用于处理多个***的音频数据的视频声学设备。

本发明的目的是通过使用现在使用的HDMI发射机和接收机部件的当前结构体系而与视频数据同步地传输辅助信息。

发明内容

为了实现本目的，发射机包括***器，用于在视频帧中***超出对于遵从视频帧格式的视频帧所要求的有效视频行以外的附加视频行，以及把与视频帧相关的辅助数据***到辅助数据所相关到的视频帧的附加视频行，或***到在辅助数据所相关的视频帧之前的视频帧的附加视频行。

通过添加视频行超过在视频帧格式中定义的视频行的数目，创建了用于要被存储的辅助数据的空间。因为辅助数据被存储在视频帧本身中，所以它以与它相关的视频帧同步的方式被输送，因此，实现辅助数据的同步传输。因为附加视频行是处在由视频帧格式对于正常视频帧定义的视频行的数目之外的，所以其可能并且将会被现有的接收机安全地忽略。因此，辅助数据可被传输到现有的接收机而不会引起与所述现有的接收机的后向兼容性问题。通过把辅助数据包括在视频帧本身中或在辅助数据所相关的视频帧之前的视频帧中，可以确保辅助数据在辅助数据所相关的视频帧正在被处理时是可提供的。

HDMI被用作为使用帧的、具有各种视频格式的、用于视频的输送通道。具有例如HD视频帧格式的这样的帧具有1920像素x 1080 有效行，其以诸如30或60 Hz的帧速率重复。这些帧的完整描述在详细时序描述符（DTD）中提供或通过使用预定义的短视频描述符（SVD）提供，这二者都在CEA-861中定义。HDMI 1.4也定义了某些附加的预定义格式。通过使用附加视频行（AVL）扩展视频帧，除了有效视频行（例如，在例子中的1080）以外，HDMI接口可以载送由上述的应用所要求的辅助数据。这个方法的优点在于，在这些附加视频行中载送的数据通过相同的内部部件和总线作为视频流的一部分被载送到视频处理电路或从视频处理电路被载送出，并且所以辅助数据可以与在相关联的视频帧中的数据相同的时间被处理，以及提供或使用视频数据（例如，在存储器缓存器中）的设备也可以提供和使用在相同存储器缓存器中的辅助数据。

在发射机的一个实施例中，发射机包括***器，被安排成用于***定义超出对于遵从视频帧格式的视频帧所要求的有效视频行以外的至少一个附加视频行的视频帧格式描述符。通过使用描述符定义更多视频行，发射机可以向接收机指示视频帧包含额外的视频行，并且因此在那些附加视频行中包含辅助信息。不能处理描述符的接收机将使用常规数目的视频行来从其中检索视频信息，并且将忽略附加视频行和描述符。

用于特定视频格式（或，例如预定的SVD）的DTD规定更大数目的行，而替代于规定每个视频帧的实际数目的有效行，诸如在HD的例子中的1080。DTD（或SVD）例如可以定义行数为例如1082，即，超过1080的视频行的标准数目2个视频行。现有的接收机将忽略超出标准数目视频行的视频行，因为它们是硬连线的，以用于提取例如在HD中的标准的1080 个有效视频行。通过使用本发明，可以实现随视频格式和帧速率而变化的、用于辅助数据的原始数据速率。例如，1920x1080p60格式（以8 bcp）可以实现5.5296Mb/s的原始数据速率,假设在所述帧中有两个附加视频行（AVL），所以，取决于由描述符定义了多少附加视频行，对于辅助数据可提供的带宽可被调节到所需。在替换实施例中，DTD(或SVD)将不被改变—但在发射机与接收机之间的其他信令（例如，E-EDID、InfoFrame、CEC、和/或其他方法中的一个或多个）将被使用来指示：辅助帧同步数据被传输，以及该数据位于哪里。

在发射机的实施例中，辅助数据仅仅与视频帧的一个子段相关。

按照本发明的接收机包括提取器，其用于从视频帧中的视频行提取辅助数据，以及与视频帧有关的辅助数据是从辅助数据所相关的视频帧的附加视频行中提取的，或是从在辅助数据相关的视频帧之前的视频帧的附加视频行中提取的。

通过添加视频行超出在视频帧格式中定义的视频行的数目，创建了用于要被存储的辅助数据的空间。因为辅助数据被存储在视频帧本身中，所以它以与它相关的视频帧同步的方式被输送。因为附加的视频行是处在由视频帧格式对于正常视频帧定义的数目的视频行之外的，所以其可以和将会被现有的接收机安全地忽略。通过把辅助数据包括在视频帧本身中或在辅助数据所相关的视频帧之前的视频帧中，可以确保辅助数据在辅助数据所相关的视频帧正在被处理时是可提供的。接收机可以建立其中存在辅助数据的附加视频行，并且从视频帧中标识和提取附加视频行，从附加视频行中提取辅助信息，以及使用辅助信息处理视频帧或随后的视频帧。

在实施例中，接收机包括描述符提取器，其被安排成提取定义超出对于遵从视频帧格式的视频帧所要求的有效视频行的至少一个附加视频行的视频帧格式描述符。

这允许接收机容易地标识附加视频行。

按照本发明的传输***包括按照本发明的发射机和按照本发明的接收机。在***中具有按照本发明的发射机和接收机的两者允许辅助数据在***中被使用，而现有的接收机也可以是***的一部分，因为使用附加视频行来传输辅助数据确保了辅助数据被现有的接收机安全地忽略。

虽然本说明涉及到HDMI标准和HDMI信道，但本领域技术人员将显而易见的是，本发明也可以被用于与HDMI有相同问题的其他传输信道。

附图说明

图1示出了按照本发明的发射机。

图2示出了按照本发明的接收机。

图3示出了带有持有辅助数据的附加视频行的视频帧。

具体实施方式

图1示出了按照本发明的发射机。

发射机1包括接收要从发射机的输入2传输的视频帧的视频处理器5。视频帧被传递到***器6，其被安排成把（一个或者多个）附加视频行AVL***到视频帧。***器6从辅助数据输入3接收要被***到（一个或者多个）附加视频行AVL中的辅助数据。通过把辅助数据***到（一个或者多个）附加视频行，确保了通过经由视频输出8将包括有效视频行和附加视频行两者的扩展视频帧发送到HDMI信道7中的视频信道10，辅助数据连同该辅助数据所相关的视频帧一起行进通过***。这确保了通过使用现有的使用HDMI接口的当前结构体系，辅助数据与视频数据同步地传输。不需要与视频数据同步地传输的辅助数据在异步辅助数据输入4上接收，并且经由异步辅助数据输出9经由HDMI信道的异步信道11传输。两个辅助数据输入端3、4的组合也是可能的，从而导致单个输入。在这种情形下，发射机内部将辅助数据拆分为（未示出）：要作为附加视频行AVL中的视频帧的一部分传输的辅助数据和要经由HDMI信道7的异步信道11传输的异步辅助数据。

图2示出了按照本发明的接收机。接收机12包括缓存器15，其接收来自发射机的输入16的视频帧，该发射机进而又接收来自HDMI 信道7的视频信道10的视频帧。视频帧从输入16传递到提取器20，该提取器被安排成从所接收的视频帧中提取（一个或者多个）附加视频行AVL。提取器20从（一个或者多个）附加视频行AVL中提取辅助数据，并且把辅助数据提供到第一辅助数据输出18。如果从附加视频行提取的辅助数据也是对于处理相关联的视频帧所要求的，则提取器20也把所提取的辅助数据传递到接收机12中的视频处理器14。辅助数据因此与相关联的视频帧同时存在于视频缓存器中，并且因此可以由***以定时的方式被使用，而不必通过HDMI信道7的异步信道11接收辅助数据，从而不用冒辅助数据到达太迟影响使用的风险。这确保通过使用现有的使用HDMI接口的当前结构体系，辅助数据与视频数据同步地传输。在所示的实施例中，提取器20和视频处理器14在缓存器15上分开地起作用，而同时保持视频数据与辅助数据之间的关系。替换地，提取器可以从缓存器15检索整个视频帧，即，有效的视频行和附加视频行，提取附加视频行，从附加视频行中提取辅助数据，以及把有效的视频行和提取的辅助数据提供到视频处理器14。

在这两种情形下，视频处理器14都使用有效的视频行和辅助数据来创建存在于接收机输出13上的接收机输出数据。

不立即需要的辅助数据经由HDMI信道7的异步信道11传输。该辅助数据如果对视频处理器14来说是不感兴趣的，则直接发送到分开的辅助数据输出19，或其也可以被提供到视频处理器。

通过使用例如经由HDMI信道7的异步信道11的异步InfoFrame信令***，在接收HDMI装置中的视频处理电路也可以获知所述视频帧包含AVL。视频处理电路然后可以对于每个视频帧提取被包含在（一个或者多个）附加视频行AVL中的数据，并且对于该视频帧结合视频数据处理该数据。

图3示出了具有持有辅助数据的附加视频行的视频帧。

传输/接收HD视频数据的现有的HDMI发射机和/或接收机实施方案使用具有1080个有效视频行的视频帧，每个有效视频行持有1920个视频像素。在图3中，视频帧30被示为持有1080个有效视频行31、32、33，其中示出了第一行31和最后两行，第1079视频行32和第1080视频行33。在这个例子中，示出了2个附加视频行34、35。用于这个视频帧的描述符因此指示1082行。其他数目的附加视频行当然也是可能的，这取决于同步传输的辅助数据的带宽需要。图1的发射机1 使用视频数据填充1080行31、32、33，和并且使用辅助数据37填充两个附加视频行34、35。标头36也在第一附加视频行34中被提供。HDMI发射机将生成1082行，并且经由HDMI信道7把它们作为单个视频帧进行发送。相似地，在接收端，图2的接收机12将接收1082个视频行，并且把它们传递到视频缓存器中。接收视频处理器将从缓存器读出1080行视频数据，以及提取器将从视频缓存器的2个附加视频行提取辅助数据。

AVL数据在HDI信道的三个TMDS信道中的一个或多个信道中载送。如果使用多个信道，则AVL标头可以是在一个或多个所使用的TMDS信道上。TMDS信道中的那些信道被使用，可以是信令数据的一部分—或由发射机选择和由接收机以某种方式自动推断。

标头包含诸如有效负荷类型识别符、在该帧中使用多少行、对于该帧的数据长度、以及关于数据容器的其他信息之类的信息。标头也可以包含关于在这些附加视频行中包含的数据是否与视频流中的视频帧同步，或数据是否为异步的标识。实际的有效负荷数据将由帧同步数据信道的用户定义，因此在附加视频行中被创建，以及可包含另外的有效负荷识别符、校检和、以及其他类似的数据。

在使用多组AVL数据的情形下，AVL标头将指示在附加视频行内各种有效负荷的位置。替换实施例是：AVL标头指示一个有效负荷的特性、和它的长度、连同在何处/如何找到下一个AVL标头的参考，所述下一个AVL标头包含另一个有效负荷的特性和长度、以及关于在何处/如何找到又一个AVL标头的参考（如果有的话）。

虽然本专利示出了这些AVL被添加在有效视频帧的末尾处，但是在另一个实施例中，也可能把它们放置在帧的开始处，或者放置在这两个位置中，或在垂直和/或水平空白区域的一个或多个其他区域中。

除了AVL以外，还可以存在视频流使用AVL的指示。如前所述，这个指示可以在随视频流发送的一个InfoFrame中被载送。然而，为了避免不实施如由本发明创建的帧同步数据信道的设备的问题，接收机也需要指示它能够操控帧同步数据信道。这可以通过在接收机的E-EDID（增强型扩展显示标识数据）中包括这样的信息而被完成，如由CEA-861和VESA定义的。帧同步数据信道也可以用于准同步应用，其中这样的数据在它被需要时的提前时间发送，即，辅助数据被包括在辅助数据所相关的视频帧之前的视频帧中。这在其中视频处理花费很大时间（例如，几个帧）的情况下是有利的。它确保辅助数据对于视频处理器在所相关的视频帧的处理开始之前是可提供的。替换地，数据如上所述地被发送，并且连同它应当在某个未来时间被应用的指示一起被发送。例如，这个指示可以示出，所述数据应当在当前帧以后的若干视频帧中使用，或它应当应用到当前的或下一个视频帧。

不是所有的应用要求对于每个视频帧要被发送的数据。例如，数据可被应用到一组视频帧，其例如可以对应于电影中的单个情境。在这种情形下，数据可以在当前视频帧中或提前地，连同关于该数据应当从所指示的时间（即，当前帧或未来的帧）开始直至某个另外的指示为止不断地被应用的另一个指示一起被发送。这样，数据将应用到视频处理，直至下一个辅助数据被发送和起作用为止。可以给出关于辅助数据从它首次起作用后被应用达到规定数目的视频帧的指示。

也有可能的是，数据要连同每组数据的标识一起提前被发送，这样，许多个这样的数据组可以被发送和被标识。数据应当何时起作用的指示也包括哪组预加载和标识的数据必须从那个时间起开始被应用。

另外，可以定义屏幕的区域（例如，使用像素部分和行号），其中，不同的数据组应当在规定的时间应用。例如，一个数据组可以应用到整个屏幕视频，但特定的区域（其例如可包含菜单或其他屏幕上的显示）可以使用不同的数据组。在HDMI中，视频数据具有某些数据保护机制（8到10和10到8的变换），其可能不是对于在AVL中载送的数据的足够保护。为了在传输期间提供免受例如比特错误的更好保护，可以采取附加措施，例如，把校验和加入所传输的数据和/或提供附加的检错和纠错设施。一个具体的例子将是使用对于特定视频像素被载送的8数据比特到24比特（3字节）的映射。在接收机中，24比特被映射为8数据比特。这样的转换也将注意避免具有特定意义的像素值（或，被禁止，诸如当使用“有限范围”时的0和255）。其他实施例可以使用更详尽的检错/纠错方法。

本发明可被应用到所有的HDMI版本，特别是当前可提供用于开发新产品的两个版本（HDMI 1.4b和HDMI 2.0），但是人们也可以想象：通过使用软件更新，本发明也被应用到现有的HDMI产品（即使当使用更老的HDMI版本时）。

Claims (10)

1.一种被安排成传输数据流的发射机（1），

所述数据流包括视频像素流和辅助数据信道，

所述视频像素流包括遵从视频帧格式的视频帧（30），

所述视频帧（30）包括多个有效视频行，

所述有效视频行包括视频像素，

其中发射机（1）被安排成经由辅助数据信道传输与视频像素流相关的辅助数据（37），

其特征在于，

发射机（1）包括***器（6），其用于在视频帧（30）中***超出对于遵从视频帧格式的视频帧（30）所要求的有效视频行以外的附加视频行，与视频帧（30）相关的辅助数据（37）被***到所述辅助数据（37）所相关的视频帧（30）的附加视频行或被***到所述辅助数据（37）所相关的视频帧（30）之前的视频帧的附加视频行。

2.如在权利要求1中要求保护的发射机，

其中所述发射机（1）包括***器（6），其被安排来***定义超出对于遵从视频帧格式的视频帧所要求的有效视频行以外的至少一个附加视频行的视频帧格式描述符。

3.如在权利要求1或2中要求保护的发射机（1），其中所述辅助数据（37）仅仅与视频帧（30）的子段相关。

4.一种被安排成接收数据流的接收机（12），

所述数据流包括视频像素流和辅助数据信道，

所述视频像素流包括遵从视频帧格式的视频帧（30），

所述视频帧（30）包括多个有效视频行，

所述有效视频行包括视频像素，

其中接收机（12）被安排成经由辅助数据信道接收与视频像素流相关的辅助数据（37），

其特征在于，

所述接收机（12）包括提取器（20），其用于从在超出对于遵从视频帧格式的视频帧所要求的有效视频行以外的视频帧（30）中的附加视频行提取辅助数据，与视频帧（30）相关的辅助数据（37）从所述辅助数据所相关的视频帧（30）的附加视频行中或从在所述辅助数据（37）所相关的视频帧（30）之前的视频帧的附加视频行中被提取。

5.如在权利要求4中要求的接收机，

其中所述接收机（12）包括描述符提取器，其被安排来提取定义超出对于遵从视频帧格式的视频帧（30）所要求的有效视频行以外的至少一个附加视频行的视频帧格式描述符。

6.如在权利要求4或5中要求的接收机，其中所述辅助数据（37）仅仅与视频帧（30）的子段相关。

7.一种用于传输在辅助数据信道中的辅助数据（37）和包括视频帧（30）的视频像素流的传输***，所述视频帧（30）包括多个有效视频行，所述有效视频行包括视频像素，所述***包括权利要求1、2或3中的发射机（1）和权利要求4、5或6中的接收机（12）。

8.一种用于生成包括数据流的信号的方法，

所述数据流包括视频像素流和辅助数据信道，

所述视频像素流包括遵从视频帧格式的视频帧（30），

所述视频帧（30）包括多个有效视频行，

所述有效视频行包括视频像素，

其中在辅助数据信道中的辅助数据（37）与视频像素流相关，

其特征在于，所述方法包括以下步骤：

在所述视频帧（30）中***超出对于遵从视频帧格式的视频帧（30）所要求的有效视频行以外的附加视频行，所述附加视频行包括与视频帧（30）或随后的视频帧相关的辅助数据（37）。

9.如在权利要求8中要求保护的用于生成包括数据流的信号的方法，

其中视频帧格式描述符定义超出对于遵从视频帧格式的视频帧（30）所要求的有效视频行以外的至少一个附加视频行。

10.如在权利要求8或9中要求保护的用于生成包括数据流的信号的方法，其中所述辅助数据（37）仅仅与视频帧（30）的子段相关。

Images