CN109803134A - 一种基于hdmi***的视频图像传输方法及数据帧结构 - Google Patents

Abstract

本发明实施例公开了一种基于HDMI***的视频图像传输方法及数据帧结构，采用HDMI***进行图像的传输，传输时的数据帧中同时包括纹理图和辅助图像，辅助图像为与纹理图进行视点合成的一个或多个图像。这样，在现有的2D图像的HDMI***发送用于3D图像合成的图像，进一步用于编码和3D视频的合成，与现有的视频格式和数据***具有良好的兼容性以及扩展性，利于3D显示产业化的进展。

Description

一种基于HDMI***的视频图像传输方法及数据帧结构

技术领域

本发明涉及3D视频传输领域，尤其涉及一种基于HDMI***的视频图像传输方法及数据帧结构。

背景技术

随着3D(Three Dimension，三维)显示技术的发展，裸眼3D成为显示技术发展的趋势和热点。裸眼3D显示技术中利用了人眼的视差原理，用户可以不佩戴眼镜，直接观看屏幕而获得立体感知，摆脱了对眼镜的依赖，给用户带来了更好的视觉体验。

在裸眼3D显示技术体系中，先将原始的视频图像传输至编码器，编码器进行视频图像的码流的编码，在码流传输和解码之后，在3D显示设备上显示3D图像，原始的图像来源于拍摄的电视节目。

目前，通常使用HDMI(High Definition Multimedia Interface，高清晰度多媒体接口)***来传输原始的视频图像，该HDMI***无法兼容目前各种格式的3D视频图像的传输，也没有专门的用于3D视频图像的传输***，这影响了3D显示产业化的进展。

发明内容

本发明提供了一种基于HDMI***的视频图像传输方法及数据帧结构，利用现有HDMI***传输3D视频图像，兼容现有HDMI***。

本发明提供了一种基于SDI***的视频图像传输方法，包括：

采用HDMI***经由传输路径发送HDMI数据帧，所述HDMI数据帧中的图像区域为纹理图和辅助图像的拼接图像，所述辅助图像为与所述纹理图进行视点合成的一个或多个图像。

可选地，所述拼接图像的拼接方式为左右拼接或上下左右拼接。

可选地，所述HDMI***以12bit传输方式发送HDMI数据帧，所述辅助图像中包括形状图；则，在发送HDMI数据帧时，以拼接图像中的子图像的低位4个bit发送所述形状图。

可选地，以专属数据包传输拼接图像的参数信息，专属数据包中的子图像的参数的顺序按照光栅顺序排序。

可选地，各子图像参数信息包括：图像类型、所属视点、遮挡图所属层、是否存有形状数据以及形状数据所属视点。

一种HDMI数据帧结构，HDMI数据帧中的图像区域为纹理图和辅助图像的拼接图像，所述辅助图像为与所述纹理图进行视点合成的一个或多个图像。

可选地，所述拼接图像的拼接方式为左右拼接或上下左右拼接。

可选地，所述辅助图像中包括形状图，拼接图像的一个子图像中的低位的4个bit为所述形状图。

可选地，还包括专属数据包，用于传输拼接图像各子图像的参数信息，专属数据包中的子图像的参数的顺序按照光栅顺序排序。

可选地，各子图像的参数包括：图像类型、所属视点、遮挡图所属层、是否存有形状数据以及形状数据所属视点。

本发明实施例提供的基于HDMI***的视频图像传输方法及数据帧结构，采用HDMI***进行图像的传输，传输时的数据帧中同时包括纹理图和辅助图像，辅助图像为与纹理图进行视点合成的一个或多个图像。这样，在现有的2D图像的HDMI***发送用于3D图像合成的图像，进一步用于编码和3D视频的合成，与现有的视频格式和数据***具有良好的兼容性以及扩展性，利于3D显示产业化的进展。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为根据本发明实施例的视频图像传输方法中HDMI***的传输帧的基本格式结构示意图；

图2为根据本发明实施例一的视频图像传输方法中拼接图像的结构示意图；

图3为根据本发明实施例二的视频图像传输方法中拼接图像的结构示意图；

图4为根据本发明实施例三的视频图像传输方法中拼接图像的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本发明提供了一种基于HDMI***的视频图像传输方法，采用HDMI***经由传输路径发送HDMI数据帧，所述HDMI数据帧中的有效图像区域为纹理图和辅助图像的拼接图像，所述辅助图像为与所述纹理图进行视点合成的一个或多个图像。

在本发明实施例中，是基于HDMI***对原始的视频图像的传输，HDMI***可以是HDMI2.0***等。原始的视频图像来自于拍摄数据，并通过HDMI数据帧发送，原始的视频数据可以包括一路或多路视点的图像数据，例如可以仅包括左路视点、右路视点，也可以包括左路和右路两路视点，或者更多路视点，多路视点是在一个时间点拍摄到的一组视频数据，这一组视频数据的拍摄角度各不相同。在该方法中，HDMI数据帧中的图像可以包括一路视点的纹理图和辅助图像，也可以包括分别属于多路视点的纹理图和辅助图像。

在本发明实施例中，一个视点的图像数据包括纹理图和辅助图像，纹理图即2D图像数据，辅助图像为与相应视点的纹理图进行视点合成的数据信息，辅助图像可以为深度图、形状图、遮挡图等中的一种或多种，其中，深度图主要用于表明纹理图中的图像间的前后位置关系，形状图主要用于表明纹理图中的图像的轮廓信息，遮挡图主要用于表明纹理图、深度图和/或形状图中的图像间的遮挡关系，可以包括纹理遮挡图、和/或深度遮挡图。这些辅助图像仅为示例，在具体的应用中，根据需要还可以是其他的相关数据，纹理图和这些辅助图像通过HDMI***发送至编码器，经过编码和传输之后，在解码器中解码，解码后的纹理图和辅助图像进行视点合成，以获得3D效果的视频显示。

HDMI***传输的为无压缩的数字视频信号，参考图1所示，为在HDMI***中数据传输数据帧的结构示意图，在HDMI的数据传输时，有三种传输时段，分别为控制数据时段(control period)、数据包时段(data island period)以及视频数据时段(video dataperiod)，分别用于传输控制数据、数据包(data island)和视频数据(video data)，控制数据时段用于传输下一时段中的数据类型是数据包还是视频数据；数据包时段用于传输音频数据包或者信息包(infoframe)，信息包属于辅助数据类别，用于传输视频相关的参数信息；视频数据时段用于传输视频数据，也就是视频图像。控制数据时段和数据包时段都是在消隐区进行的，消隐区位于图像区域周围的空白区域，消隐区包括行消隐(horizontalblanketing)和场消隐(vertical blanketing)，在一个具体的示例中，图像区域为720像素x480行，行消隐为138像素，场消隐为45行。

数据包中的数据以数据包的形式存在，数据包的包头(packet header)由24位数据和8位校验构成，其中，24位数据的前8位是数据包类型(packet type)，与信息包(infoframe)相关的数据包类型见下表一。

表一

Packet Type值	类型
		0x81	专属数据包(Vendor-Specific InfoFrame)
0x82	AVI数据包(AVI InfoFrame)
		0x83	源端产品描述数据包(Source Product Descriptor InfoFrame)
0x84	音频数据包(Audio InfoFrame)
		0x85	MPEG源数据包(MPEG Source InfoFrame)

信息包(infoframe)中放置的是与视频相关的参数信息，信息包由3字节的包头(packet header)和可以负载最长的数据为27字节的包内涵(packet content)构成，其中，包头中每个字节的内容见下表二。

表二

对于不同类型的信息包，其包内涵中的数据格式也不同，专属数据包(Vendor-Specific InfoFrame)可以用于定义3D传输的数据格式。具体的，Vendor-SpecificInfoFrame的表头见下表三，其中，信息包类型为0x81，信息包版本为0x01，信息包长度根据负载的长度设定。

表三

专属数据包的包内涵(packet content)的数据格式见下表四，包内涵最多可以有27字节，包字节PB0为校验总和，包字节PB1-PB3为供应商特定(Vendor-specific)类型的标识符，具体为0xD85DC4；包字节PB4为HF-VSIF(HDMI Forum Vendor Specific InfoFrame)的版本，具体为1；包字节PB5的第1位(bit0)表示是否为3D传输(3D_Valid)，若是，则该位置1。包字节PB6的高四位(bit7-bit4)表示3D结构，在本发明中，3D传输的结构为左右拼接或上下左右拼接。包字节PB7为当3D_Valid为1时，高四位是与3D相关的参数3D_F_Ext_Data，具体为1000-1111，例如逐行传输(line by line)时，由奇数行表示左侧图像还是由偶数行表示左侧图像等。包字节PB8中的高三位(bit1-bit5)为子图像数据的版本，低5位(bit4-bit0)为子图像的长度。包字节PB9-PB27为子图像参数信息的数据内容。

表四

在本发明实施例中，3D传输的结构为左右拼接或上下左右拼接，3D传输的结构由包字节PB6的高四位来设置，可以定义1001表示图像拼接的结构为左右拼接，1010表示图像的拼接结构为上下左右拼接。

包字节PB9-PB27可以用于设置子图像参数信息的数据内容，子图像参数信息包括：图像类型、所属视点、遮挡图所属层、是否存有形状数据以及形状数据所属视点。

其中，图像类型记做image_type，可以采用3位表示，具体的，000表示无图像，001表示纹理图，010表示深度图、011表示形状图、100表示纹理遮挡图、101表示深度遮挡图。

所属视点表示当前子图像所属视点的id，记做View_id，可以采用3位表示。

遮挡图所在层表示当前图像为遮挡图时，遮挡图所属的层，记做Layer_id。可以采用3位表示，取值范围0-8，当前子图像为非遮挡图时置为0。

是否存有形状数据表示，当以12bit传输时，低4位是否存有形状图，记做has_shape，其中，1表示有，0表示无。

形状数据所属视点表示低4位传输形状图时，形状图属于的视点id，记做shape_view_id。

这样，对于每一幅子图像，可以采用2个字节包来表示子图像的上述参数。子图像对应的顺序可以按照光栅顺序排序，左右拼接时，为先左后右的顺序；四副图像拼接时，为左上、右上、左下、右下的顺序。子图像参数连续出现，提取参数时，按照该光栅顺序对应给各子图像。

以上对本发明实施例的基于HDMI***的视频图像传输方法进行了详细的介绍，在具体传输时，根据原始图像的数据格式以及视点数，可以选择具体的拼接方式和传输方式，原始图像中至少包括纹理图，纹理图的辅助图像可以为不同的图像，辅助图像例如可以仅包括深度图，还可以包括深度图和形状图，还可以包括深度图、形状图和遮挡图，以下将根据不同原始图像的数据格式和视点数的示例，对视频图像传输的实施例进行详细的描述。

实施例一

在这些实施例中，原始的视频图像为单一视点，包括纹理图和深度图，参考图2所示，可以采用左右拼接的模式进行图像传输，图像区域的左侧的子图像为纹理图，右侧的子图像为深度图。

那么，专属数据包的包内涵的数据内容见下表五所示，参数的内容依次对应于左、右的子图像中的对应图像的参数数据。在该表中，包字节PB5中3D_Valid为有效，包字节PB6中3D_F_Structure为1001表示图像拼接的结构为左右拼接，包字节PB9-PB12中依次为左侧子图像和右侧子图像的子图像参数信息的数据内容，其中，包字节PB9-PB10为左侧纹理图的参数数据，具体的，包字节PB9的第7-5位为图像类型image_type(001)表示纹理图、第4-2位为所属视点View_id(000)表示视点0，包字节PB10的第7-5位为遮挡图所属的层Layer_id(000)表示非遮挡图、第4位为是否存有形状数据has_shape(0)表示无形状数据。包字节PB11的第7-5位为图像类型image_type(010)表示深度图、第4-2位为所属视点View_id(000)表示视点0，包字节PB12的第7-5位为遮挡图所属的层Layer_id(000)表示非遮挡图、第4位为是否存有形状数据has_shape(0)表示无形状数据。

表五

实施例二

在这些实施例中，原始的视频图像为双视点，每一路视点包括纹理图、形状图和深度图，可以采用上下左右拼接的模式进行图像传输。参考图3所示，左上的子图像为视点0的纹理图，且低4位中包含了视点0的形状图；左下的子图像为视点0的深度图。右上的子图像为视点1的纹理图，且低4位中包含了视点1形状图；右下的子图像为视点1深度图。

那么，专属数据包的包内涵的数据内容见下表六所示，参数的内容依次对应于左上、右上、左下和右下的子图像中的对应图像的参数数据。在该表中，包字节PB5中3D_Valid为有效，包字节PB6中3D_F_Structure为1010表示图像拼接的结构为上下左右拼接，具体的，包字节PB9-P10为左上的子图像参数信息的数据内容，表示图像为纹理图、所属视点为视点0、无遮挡图、存有形状数据；包字节PB11-P12为右上的子图像参数信息的数据内容，表示图像为纹理图、所属视点为视点1、无遮挡图、存有形状数据；包字节PB13-P14为左下的子图像参数信息的数据内容，表示图像为深度图、所属视点为视点0、无遮挡图、不存有形状数据；包字节PB15-P16为右下的子图像参数信息的数据内容，表示图像为深度图、所属视点为视点1、无遮挡图、不存有形状数据。

表六

实施例三

在这些实施例中，原始的视频图像为单视点，包括纹理图、形状图、深度图和纹理遮挡图，可以采用上下左右拼接的模式进行图像传输。参考图4所示，左上的子图像为纹理图，且低4位中包含了形状图；右上的子图像为深度图；左下的字图像为第0层纹理遮挡图，右下为第1层纹理遮挡图。

那么，专属数据包的包内涵的数据内容见下表七所示，参数的内容依次对应于左上、右上、左下和右下的子图像中的对应图像的参数数据。在该表中，包字节PB5中3D_Valid为有效，包字节PB6中3D_F_Structure为1010表示图像拼接的结构为上下左右拼接，具体的，包字节PB9-P10为左上的子图像参数信息的数据内容，表示图像为纹理图、所属视点为视点0、无遮挡图、存有形状数据；包字节PB11-P12为右上的子图像参数信息的数据内容，表示图像为深度图、所属视点为视点0、无遮挡图、不存有形状数据；包字节PB13-P14为左下的子图像参数信息的数据内容，表示图像为纹理遮挡图、所属视点为视点0、是第0层的遮挡图、不存有形状数据；包字节PB15-P16为右下的子图像参数信息的数据内容，表示图像为纹理遮挡图、所属视点为视点0、是第1层的遮挡图、不存有形状数据。

表七

可以知道，在具体应用时，根据原始数据以及传输方式的不同，可以有更多拼接传输方式，以上实施例仅为示例，本发明并不限于此。

此外，本发明还提供了一种HDMI数据帧结构，参考图1所示，HDMI数据帧中的图像区域为纹理图和辅助图像的拼接图像，所述辅助图像为与所述纹理图进行视点合成的一个或多个图像。

进一步地，所述拼接图像的拼接方式为左右拼接或上下左右拼接。

进一步地，所述辅助图像中包括形状图，拼接图像的一个子图像中的低位的4个bit为所述形状图。

进一步地，还包括专属数据包，用于传输拼接图像各子图像的参数信息，专属数据包中的子图像的参数的顺序按照光栅顺序排序。

进一步地，各子图像的参数包括：图像类型、所属视点、遮挡图所属层、是否存有形状数据以及形状数据所属视点。

本发明实施例提供的基于HDMI***的视频图像传输方法及数据帧结构，采用HDMI***进行图像的传输，传输时的数据帧中同时包括纹理图和辅助图像，辅助图像为与纹理图进行视点合成的一个或多个图像。这样，在现有的2D图像的HDMI***发送用于3D图像合成的图像，进一步用于编码和3D视频的合成，与现有的视频格式和数据***具有良好的兼容性以及扩展性，利于3D显示产业化的进展。

上述说明示出并描述了本申请的若干优选实施例，但如前所述，应当理解本申请并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本申请的精神和范围，则都应在本申请所附权利要求的保护范围内。

Claims (10)

1.一种基于HDMI***的视频图像传输方法，其特征在于，包括：

采用HDMI***经由传输路径发送HDMI数据帧，所述HDMI数据帧中的图像区域为纹理图和辅助图像的拼接图像，所述辅助图像为与所述纹理图进行视点合成的一个或多个图像。

2.根据权利要求1所述的传输方法，其特征在于，所述拼接图像的拼接方式为左右拼接或上下左右拼接。

3.根据权利要求1所述的传输方法，其特征在于，所述HDMI***以12bit传输方式发送HDMI数据帧，所述辅助图像中包括形状图；则，在发送HDMI数据帧时，以拼接图像中的子图像的低位4个bit发送所述形状图。

4.根据权利要求1-3中任一项所述的传输方法，其特征在于，以专属数据包传输拼接图像的参数信息，专属数据包中的子图像的参数的顺序按照光栅顺序排序。

5.根据权利要求4所述的传输方法，其特征在于，各子图像参数信息包括：图像类型、所属视点、遮挡图所属层、是否存有形状数据以及形状数据所属视点。

6.一种HDMI数据帧结构，其特征在于，HDMI数据帧中的图像区域为纹理图和辅助图像的拼接图像，所述辅助图像为与所述纹理图进行视点合成的一个或多个图像。

7.根据权利要求6所述的结构，其特征在于，所述拼接图像的拼接方式为左右拼接或上下左右拼接。

8.根据权利要求6所述的结构，其特征在于，所述辅助图像中包括形状图，拼接图像的一个子图像中的低位的4个bit为所述形状图。

9.根据权利要求6-8中任一项所述的结构，其特征在于，还包括专属数据包，用于传输拼接图像各子图像的参数信息，专属数据包中的子图像的参数的顺序按照光栅顺序排序。

10.根据权利要求9所述的结构，其特征在于，各子图像的参数包括：图像类型、所属视点、遮挡图所属层、是否存有形状数据以及形状数据所属视点。