CN106507112B - 码流处理方法、装置及*** - Google Patents

Abstract

本发明提供了一种码流处理方法、装置及***，其中，该码流处理方法包括：获取N个图像，其中，N大于等于2；分别对N个图像执行编码操作，得到N个码流，其中，N个码流中分别设置有同步信息；其中，同步信息用于指示对N个码流中的至少两个码流进行同步操作。通过本发明，解决了相关技术中混合编码无法保证不同编码器输出码流对齐或不同解码器输出图像同步的问题，填补了相关技术的空白。

Description

码流处理方法、装置及***

技术领域

本发明涉及视频领域，具体而言，涉及一种码流处理方法、装置及***。

背景技术

新一代视频压缩标准H.265/HEVC(High Efficiency Video Coding)是由ITU-T/VCEG和ISO/IEC MPEG联合制定的，它延续了上一代视频标准H.264/AVC的风格，兼容可伸缩视频编码(Scalable Video Coding)。不过，H.265/HEVC与H.264/AVC不同的是，提出了多个编码标准联合的可伸缩编码(Different Coding Standards with Scalability)的需求。目前已发布的H.265/HEVC标准(2014-10版本)称为“H.265/HEVC Version 2”标准，在Version 2中为混合编码(Hybrid Scalability)提供一个用于指示基本层(Base Layer)的信息，至于如何将基本层(Base Layer)的图像放置进入增强层(Enhancement Layer)的参考帧管理中，采用外部方法(External Means)，而外部方法在Version 2中不做说明。

预计未来几年H.264/AVC的设备还将广泛应用，在全世界范围内，H.264/AVC还将是数字视频主要采用的视频编码协议。因此，发展新一代视频可伸缩编码标准能够兼容H.264/AVC，在标准的迁移过程中就会非常有用。

多个编码标准联合的可伸缩编码是指两个不同的视频标准码流根据一定的规则组合，也称为多协议混合编码(Hybrid Coding)。例如，空间可伸缩(SpatialScalability)，基本层(Base Layer)是H.264/AVC标准Constrained Baseline Profile，Main Profile和High Profile兼容的码流。增强层(Enhancement Layer)包含HEVC基本码流。这两层图像的尺寸可以相同，也可以不相同，即H.264/AVC采用低分辨率，H.265/HEVC采用高分辨率。空间可伸缩编码的基本层也可以使用MPEG-2的码流，与H.265/HEVC的增强层码流组合为混合编码。再如，视点可伸缩(View Scalability)，基本层是一个视点，采用H.264/AVC编码方式，增强层是另一个视点，采用H.265/HEVC格式，以基本层作为参考。当然，多个编码标准联合的混合编码的基本层不止限于H.264/AVC或MPEG-2。

相同协议码流组成的可伸缩码流，可以使用多种方式进行同步，比如在H.264/AVC中同一时刻获得的视频图像及其对应的编码比特组成一个接入单元(Access Unit，简称为AU)，因此，可以通过AU范围来同步不同层图像。在H.265/HEVC中，可以使用视频码流中的语法信息，如POC(Picture Order Count)等。对于两层或者多层不同视频编码协议的码流来说，编解码器是各自独立的编解码器，因此，相关技术的混合编码(Hybrid Coding)无法保证不同编码器输出码流对齐或不同解码器输出图像同步。

针对上述相关技术中存在的问题，目前尚未有有效的解决方案。

发明内容

本发明提供了一种码流处理方法、装置及其***，以至少解决相关技术中的混合编码无法保证不同编码器输出码流对齐或不同解码器输出图像同步的问题。

根据本发明的一个方面，提供了一种码流处理方法，包括：获取N个图像，其中，N大于等于2；分别对所述N个图像执行编码操作，得到N个码流，其中，所述N个码流中分别设置有同步信息；其中，所述同步信息用于指示对所述N个码流中的至少两个码流进行同步操作。

进一步地，所述分别对所述N个图像执行编码操作，得到N个码流包括以下之一：对所述N个图像分别执行图像层编码得到所述N个码流，其中，所述同步信息设置在执行所述图像层编码所得到的数据中；对所述N个图像分别执行图像层编码以及***层编码得到所述N个码流，其中，所述同步信息设置在执行所述图像层编码所得到的数据、和/或、在执行所述***层编码所得到的数据中；对所述N个图像分别执行图像层编码以及应用层编码得到所述N个码流，其中，所述同步信息设置在执行所述图像层编码所得到的数据、和/或、在执行所述应用层编码所得到的数据中；对所述N个图像分别执行图像层编码、***层编码、应用层编码得到所述N个码流，其中，所述同步信息设置在执行所述图像层编码所得到的数据中、和/或、在执行所述应用层编码所得到的数据中、和/或、在执行所述***层编码所得到的数据中。

进一步地，所述同步信息在所述N个码流中分别设置的位置中至少有两个同步信息的位置相同或不同。

进一步地，在所述N个码流中的分别设置的所述同步信息中至少有两个同步信息相同或不同。

进一步地，分别对所述N个图像执行编码操作，得到N个码流至少包括：对所述N个图像分别执行图像层编码，其中，至少有两个所述图像层编码采用不同的视频标准。

进一步地，所述对所述N个图像分别执行图像层编码包括：判断对所述N个图像中的第一图像执行第一图像层编码所得到的所述第一图像的重建图像的图像属性是否为符合第二视频标准的图像属性，其中，所述第一图像层编码采用第一视频标准，所述第二视频标准为对所述N个图像中的第二图像执行第二图像层编码的视频标准；若所述第一图像的重建图像的图像属性不为符合所述第二视频标准的图像属性，则将所述第一图像的重建图像的图像属性调整为符合所述第二视频标准的图像属性，并将调整了图像属性的所述第一图像的重建图像添加到符合第二视频标准的参考帧管理信息中，其中，所述符合第二视频标准的参考帧管理信息用于采用所述第二视频标准对所述第二图像执行所述第二图像层编码。

进一步地，所述图像属性包括以下至少之一：图像尺寸、图像亮度采样频率、图像色度采样频率、图像像素位、图像像素颜色空间。

进一步地，所述第一视频标准与所述第二视频标准不同。

进一步地，在分别对所述N个图像执行编码操作，得到N个码流之后，所述方法还包括：将所述N个码流中的至少两个码流发送给处理设备，其中，所述同步信息用于指示所述处理设备对接收到的所述N个码流中的至少两个码流进行同步操作；或，将所述N个码流中的至少两个码流发送给与所述处理设备连接的存储设备进行存储。

进一步地，所述同步信息用于指示对所述N个码流中的至少两个码流进行同步操作包括以下之一：所述同步信息用于指示对所述N个码流中的至少两个码流进行解码得到的数据进行同步输出；所述同步信息用于指示对所述N个码流中的至少两个码流进行同步解码；所述同步信息用于指示对所述N个码流中的至少两个码流进行解码得到的数据进行同步解码，并进行同步输出；所述同步信息用于指示对所述N个码流中的至少两个码流进行同步定位。

根据本发明的另一个方面，提供了一种码流处理方法，包括：分别对接收到的N个码流进行解码操作得到N个图像，在执行所述解码操作的过程中获取到分别设置在所述N个码流中的同步信息，其中，N大于等于2；根据所述同步信息同步操作所述N个图像中的至少两个图像。

进一步地，所述分别对接收到的N个码流进行解码操作得到N个图像包括以下之一：对所述N个图像分别执行图像层解码得到所述N个码流，其中，所述同步信息设置在执行所述图像层解码所得到的数据中；对所述N个图像分别执行图像层解码以及***层解码得到所述N个码流，其中，所述同步信息设置在执行所述图像层解码所得到的数据、和/或、在执行所述***层解码所得到的数据中；对所述N个图像分别执行图像层解码以及应用层解码得到所述N个码流，其中，所述同步信息设置在执行所述图像层解码所得到的数据、和/或、在执行所述应用层解码所得到的数据中；分别对接收到的所述N个码流分别执行应用层解码、***层解码、图像层解码得到所述N个图像，其中，在执行所述***层解码所得到的数据中、和/或、在执行所述应用层解码所得到的数据中、和/或、在执行所述图像层解码所得到的数据中获取到所述同步信息。

进一步地，所述分别对接收到的N个码流进行解码操作得到N个图像至少包括：分别对所述N个码流执行图像层解码，其中，至少有两个所述图像层解码采用不同的视频标准。

进一步地，分别对接收到的N个码流进行解码操作得到N个图像还包括：判断对所述N个码流中的第一码流执行第一图像层解码操作所得到的第三图像的重建图像的图像属性是否为符合第二视频标准的图像属性，其中，所述第一图像层解码采用第一视频标准，所述第二视频标准为对所述N个码流中的第二码流执行第二图像层解码的视频标准；若所述第三图像的重建图像的图像属性不为符合所述第二视频标准的图像属性，则将所述第三图像的重建图像的图像属性调整为符合所述第二视频标准的图像属性，并将调整了图像属性的所述第三图像的重建图像添加到符合所述第二视频标准的参考帧管理信息中，其中，所述符合第二视频标准的参考帧管理信息用于采用所述第二视频标准对所述第二码流执行所述第二图像层解码。

进一步地，所述图像属性包括以下至少之一：图像尺寸、图像亮度采样频率、图像色度采样频率、图像像素位、图像像素颜色空间。

进一步地，所述第一视频标准与所述第二视频标准不同。

进一步地，所述根据所述同步信息同步操作所述N个图像中的至少两个图像包括以下之一：根据所述同步信息进行解码得到的所述N个图像中的至少两个图像进行同步输出；根据所述同步信息进行解码得到的所述N个图像中的至少两个进行同步解码；根据所述同步信息进行解码得到的所述N个图像中的至少两个图像进行同步解码，并进行同步输出；根据所述同步信息进行解码得到的所述N个图像中的至少两个图像进行同步定位。

根据本发明的再一个方面，提供了一种码流处理装置，包括：获取模块，用于获取N个图像，其中，N大于等于2；编码模块，用于分别对所述N个图像执行编码操作，得到N个码流，其中，所述N个码流中分别设置有同步信息；其中，所述同步信息用于指示对所述N个码流中的至少两个码流进行同步操作。

进一步地，所述编码模块包括：第一编码单元，用于对所述N个图像分别执行图像层编码得到所述N个码流，其中，所述同步信息设置在执行所述图像层编码所得到的数据中；第二编码单元，用于对所述N个图像分别执行图像层编码以及***层编码得到所述N个码流，其中，所述同步信息设置在执行所述图像层编码所得到的数据、和/或、在执行所述***层编码所得到的数据中；第三编码单元，用于对所述N个图像分别执行图像层编码以及应用层编码得到所述N个码流，其中，所述同步信息设置在执行所述图像层编码所得到的数据、和/或、在执行所述应用层编码所得到的数据中；第四编码单元，用于对所述N个图像分别执行图像层编码、***层编码、应用层编码得到所述N个码流，其中，所述同步信息设置在执行所述图像层编码所得到的数据中、和/或、在执行所述应用层编码所得到的数据中、和/或、在执行所述***层编码所得到的数据中。

进一步地，所述同步信息在所述N个码流中分别设置的位置中至少有两个同步信息的位置相同或不同。进一步地，在所述N个码流中的分别设置的所述同步信息中至少有两个同步信息相同或不同。

进一步地，所述编码模块，还用于对所述N个图像分别执行图像层编码，其中，至少有两个所述图像层编码采用不同的视频标准。

进一步地，所述编码模块包括：第一判断单元，用于判断对所述N个图像中的第一图像执行第一图像层编码所得到的所述第一图像的重建图像的图像属性是否为符合第二视频标准的图像属性，其中，所述第一图像层编码采用第一视频标准，所述第二视频标准为对所述N个图像中的第二图像执行第二图像层编码的视频标准；第一处理单元，用于若所述第一图像的重建图像的图像属性不为符合所述第二视频标准的图像属性，则将所述第一图像的重建图像的图像属性调整为符合所述第二视频标准的图像属性，并将调整了图像属性的所述第一图像的重建图像添加到符合第二视频标准的参考帧管理信息中，其中，所述符合第二视频标准的参考帧管理信息用于采用所述第二视频标准对所述第二图像执行所述第二图像层编码。

进一步地，所述图像属性包括以下至少之一：图像尺寸、图像亮度采样频率、图像色度采样频率、图像像素位、图像像素颜色空间。

进一步地，所述第一视频标准与所述第二视频标准不同。

进一步地，在分别对所述N个图像执行编码操作，得到N个码流之后，所述装置还包括：第一发送模块，用于将所述N个码流中的至少两个码流发送给处理设备，其中，所述同步信息用于指示所述处理设备对接收到的所述N个码流中的至少两个码流进行同步操作；或，第二发送模，用于将所述N个码流中的至少两个码流发送给与所述处理设备连接的存储设备进行存储。

进一步地，所述同步信息用于指示对所述N个码流中的至少两个码流进行同步操作包括以下之一：所述同步信息用于指示对所述N个码流中的至少两个码流进行解码得到的数据进行同步输出；所述同步信息用于指示对所述N个码流中的至少两个码流进行同步解码；所述同步信息用于指示对所述N个码流中的至少两个码流进行解码得到的数据进行同步解码，并进行同步输出；所述同步信息用于指示对所述N个码流中的至少两个码流进行同步定位。

根据本发明的再一个方面，提供了一种码流处理装置，包括：解码模块，用于分别对接收到的N个码流进行解码操作得到N个图像，在执行所述解码操作的过程中获取到分别设置在所述N个码流中的同步信息，其中，N大于等于2；同步模块，用于根据所述同步信息同步操作所述N个图像中的至少两个图像。

进一步地，所述解码模块包括：第一解码单元，用于对所述N个图像分别执行图像层解码得到所述N个码流，其中，所述同步信息设置在执行所述图像层解码所得到的数据中；第二解码单元，用于对所述N个图像分别执行图像层解码以及***层解码得到所述N个码流，其中，所述同步信息设置在执行所述图像层解码所得到的数据、和/或、在执行所述***层解码所得到的数据中；第三解码单元，用于对所述N个图像分别执行图像层解码以及应用层解码得到所述N个码流，其中，所述同步信息设置在执行所述图像层解码所得到的数据、和/或、在执行所述应用层解码所得到的数据中；第四解码单元，用于分别对接收到的所述N个码流分别执行应用层解码、***层解码、图像层解码得到所述N个图像，其中，在执行所述***层解码所得到的数据中、和/或、在执行所述应用层解码所得到的数据中、和/或、在执行所述图像层解码所得到的数据中获取到所述同步信息。

进一步地，所述解码模块，还用于分别对所述N个码流执行图像层解码，其中，至少有两个所述图像层解码采用不同的视频标准。

进一步地，所述解码模块包括：第二判断单元，用于判断对所述N个码流中的第一码流执行第一图像层解码操作所得到的第三图像的重建图像的图像属性是否为符合第二视频标准的图像属性，其中，所述第一图像层解码采用第一视频标准，所述第二视频标准为对所述N个码流中的第二码流执行第二图像层解码的视频标准；第二处理单元，用于若所述第三图像的重建图像的图像属性不为符合所述第二视频标准的图像属性，则将所述第三图像的重建图像的图像属性调整为符合所述第二视频标准的图像属性，并将调整了图像属性的所述第三图像的重建图像添加到符合所述第二视频标准的参考帧管理信息中，其中，所述符合第二视频标准的参考帧管理信息用于采用所述第二视频标准对所述第二码流执行所述第二图像层解码。

进一步地，所述图像属性包括以下至少之一：图像尺寸、图像亮度采样频率、图像色度采样频率、图像像素位、图像像素颜色空间。

进一步地，所述第一视频标准与所述第二视频标准不同。

进一步地，所述根据所述同步信息同步操作所述N个图像中的至少两个图像包括以下之一：根据所述同步信息进行解码得到的所述N个图像中的至少两个图像进行同步输出；根据所述同步信息进行解码得到的所述N个图像中的至少两个进行同步解码；根据所述同步信息进行解码得到的所述N个图像中的至少两个图像进行同步解码，并进行同步输出；根据所述同步信息进行解码得到的所述N个图像中的至少两个图像进行同步定位。

根据本发明的又一个方面，提供了一种码流处理***，所述***包括：上述再一个方面中的任一项所述码流处理装置和上述又一个方面中的任一项所述码流处理装置。

通过本发明，采用获取N个图像，其中，N大于等于2；分别对N个图像执行编码操作，得到N个码流，其中，N个码流中分别设置有同步信息；其中，同步信息用于指示对N个码流中的至少两个码流进行同步操作的方式，解决了相关技术中的混合编码无法保证不同编码器输出码流对齐或不同解码器输出图像同步的问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的码流处理方法的流程图一；

图2是根据本发明实施例的码流处理方法的流程图二；

图3是根据本发明实施例的码流处理装置结构框图一；

图4是根据本发明实施例的码流处理装置结构框图二；

图5是根据本发明可选实施例的处理传输***结构框图；

图6是根据本发明可选实施例的混合视频编码侧对齐处理方法的流程图；

图7是根据本发明可选实施例的混合视频解码侧同步处理方法的流程图；

图8是根据本发明可选实施例的混合视频编码侧对齐处理装置结构框图；

图9是根据本发明可选实施例的混合视频解码侧同步处理装置结构框图；

图10是根据本发明可选实施例的使用码流的通信***的结构示意图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

在本实施例中提供了一种码流处理方法，图1是根据本发明实施例的码流处理方法的流程图一，如图1所示，该流程包括如下步骤：

步骤S102：获取N个图像，其中，N大于等于2；

步骤S104：分别对N个图像执行编码操作，得到N个码流，其中，N个码流中分别设置有同步信息；其中，同步信息用于指示对N个码流中的至少两个码流进行同步操作。

在本实施例的上述的步骤S102和步骤S104，采用获取N个图像，其中，N大于等于2，进而分别对N个图像执行编码操作，得到N个码流，其中，N个码流中分别设置有同步信息；其中，同步信息用于指示对N个码流中的至少两个码流进行同步操作的方式，解决了相关技术中的混合编码无法保证不同编码器输出码流对齐或不同解码器输出图像同步的问题，填补相关技术中的空白。

对于本实施例步骤S104中涉及到的分别对N个图像执行编码操作，得到N个码流的方式，在本实施例的可选实施方式中，可以通过如下之一的方式来实现：

方式一：对N个图像分别执行图像层编码得到N个码流，其中，同步信息设置在执行图像层编码所得到的数据中；

方式二：对N个图像分别执行图像层编码以及***层编码得到N个码流，其中，同步信息设置在执行图像层编码所得到的数据、和/或、在执行***层编码所得到的数据中；

方式三：对N个图像分别执行图像层编码以及应用层编码得到N个码流，其中，同步信息设置在执行图像层编码所得到的数据、和/或、在执行应用层编码所得到的数据中；

方式四：对N个图像分别执行图像层编码、***层编码、应用层编码得到N个码流，其中，同步信息设置在执行图像层编码所得到的数据中、和/或、在执行应用层编码所得到的数据中、和/或、在执行***层编码所得到的数据中。

需要说明的是，在本实施例中涉及到的同步信息在该N个码流中分别设置的位置中至少有两个同步信息的位置相同或不同。此外，在该N个码流中的分别设置的同步信息的比特的取值中至少有两个同步信息的比特的取值相同或不同。

在本实施例的另一个可选实施方式中，本实施例中的分别对N个图像执行编码操作，得到N个码流方式至少包括：对N个图像分别执行图像层编码，其中，至少有两个图像层编码采用不同的视频标准。可见，在本实施例中的编码操作至少存在两种不同的视频标准。

另外，对于本实施例中涉及到的对N个图像分别执行图像层编码的方式，在本实施例的可选实施方式中，可以通过如下方式来实现：判断对N个图像中的第一图像执行第一图像层编码所得到的第一图像的重建图像的图像属性是否为符合第二视频标准的图像属性，其中，第一图像层编码采用第一视频标准，第二视频标准为对N个图像中的第二图像执行第二图像层编码的视频标准；若第一图像的重建图像的图像属性不为符合第二视频标准的图像属性，则将第一图像的重建图像的图像属性调整为符合第二视频标准的图像属性，并将调整了图像属性的第一图像的重建图像添加到符合第二视频标准的参考帧管理信息中，其中，符合第二视频标准的参考帧管理信息用于采用第二视频标准对第二图像执行第二图像层编码。

对于上述涉及到的图像属性包括以下至少之一：图像尺寸、图像亮度采样频率、图像色度采样频率、图像像素位、图像像素颜色空间。当然上述涉及到的图像属性仅仅是举例说明，并不构成对本发明的限定，本发明中还可以包括其他的图像属性。此外，上述涉及到的第一视频标准与第二视频标准不同。

在本实施例的另一个可选实施方式中，在分别对N个图像执行编码操作，得到N个码流之后，本实施例的方法还可以包括：将N个码流中的至少两个码流发送给处理设备，其中，同步信息用于指示处理设备对接收到的N个码流中的至少两个码流进行同步操作；或，将N个码流中的至少两个码流发送给与处理设备连接的存储设备进行存储。

对于上述涉及到的同步信息用于指示对N个码流中的至少两个码流进行同步操作可以包括以下之一：同步信息用于指示对N个码流中的至少两个码流进行解码得到的数据进行同步输出；同步信息用于指示对N个码流中的至少两个码流进行同步解码；同步信息用于指示对N个码流中的至少两个码流进行解码得到的数据进行同步解码，并进行同步输出；同步信息用于指示对N个码流中的至少两个码流进行同步定位。

图2是根据本发明实施例的码流处理方法的流程图二，如图2所示，该方法的步骤包括：

步骤S202：分别对接收到的N个码流进行解码操作得到N个图像，在执行解码操作的过程中获取到分别设置在N个码流中的同步信息，其中，N大于等于2；

步骤S204：根据同步信息同步操作N个图像中的至少两个图像。

由上述图1可知，在编码侧分别对N个图像执行编码操作，得到N个码流，其中，N个码流中分别设置有同步信息，进而通过上述步骤S202和步骤S204，在解码侧可以分别对接收到的N个码流进行解码操作得到N个图像，在执行解码操作的过程中获取到分别设置在N个码流中的同步信息，并根据同步信息同步操作N个图像中的至少两个图像，从而解决了相关技术中的混合编码无法保证不同编码器输出码流对齐或不同解码器输出图像同步的问题。

对于本实施例中步骤S202中涉及到的分别对接收到的N个码流进行解码操作得到N个图像的方式，在本实施例的可选实施方式中，可以通过如下之一的方式来实现：

方式一：对N个图像分别执行图像层解码得到N个码流，其中，同步信息设置在执行图像层解码所得到的数据中；

方式二：对N个图像分别执行图像层解码以及***层解码得到N个码流，其中，同步信息设置在执行图像层解码所得到的数据、和/或、在执行***层解码所得到的数据中；

方式三：对N个图像分别执行图像层解码以及应用层解码得到N个码流，其中，同步信息设置在执行图像层解码所得到的数据、和/或、在执行应用层解码所得到的数据中；

方式四：分别对接收到的N个码流分别执行应用层解码、***层解码、图像层解码得到N个图像，其中，在执行***层解码所得到的数据中、和/或、在执行应用层解码所得到的数据中、和/或、在执行图像层解码所得到的数据中获取到同步信息。

而对于本实施例中涉及到的分别对接收到的N个码流进行解码操作得到N个图像的方式至少包括：分别对N个码流执行图像层解码，其中，至少有两个图像层解码采用不同的视频标准。

此外，对于本实施例中涉及到的分别对接收到的N个码流进行解码操作得到N个图像的方式还包括：判断对N个码流中的第一码流执行第一图像层解码操作所得到的第三图像的重建图像的图像属性是否为符合第二视频标准的图像属性，其中，第一图像层解码采用第一视频标准，第二视频标准为对N个码流中的第二码流执行第二图像层解码的视频标准；若第三图像的重建图像的图像属性不为符合第二视频标准的图像属性，则将第三图像的重建图像的图像属性调整为符合第二视频标准的图像属性，并将调整了图像属性的第三图像的重建图像添加到符合第二视频标准的参考帧管理信息中，其中，符合第二视频标准的参考帧管理信息用于采用第二视频标准对第二码流执行第二图像层解码。

需要说明的是上述图像属性包括以下至少之一：图像尺寸、图像亮度采样频率、图像色度采样频率、图像像素位、图像像素颜色空间。以及第一视频标准与第二视频标准不同。对于上述涉及到的根据同步信息同步操作N个图像中的至少两个图像包括以下之一：根据同步信息进行解码得到的N个图像中的至少两个图像进行同步输出；根据同步信息进行解码得到的N个图像中的至少两个进行同步解码；根据同步信息进行解码得到的N个图像中的至少两个图像进行同步解码，并进行同步输出；根据同步信息进行解码得到的N个图像中的至少两个图像进行同步定位。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。

在本实施例中还提供了一种码流处理装置以及一种码流处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图3是根据本发明实施例的码流处理装置的结构框图一，如图3所示，该装置包括：获取模块32，用于获取N个图像，其中，N大于等于2；编码模块34，与获取模块32耦合连接，用于分别对N个图像执行编码操作，得到N个码流，其中，N个码流中分别设置有同步信息；其中，同步信息用于指示对N个码流中的至少两个码流进行同步操作。

可选地，该编码模块32，第一编码单元，用于对N个图像分别执行图像层编码得到N个码流，其中，同步信息设置在执行图像层编码所得到的数据中；第二编码单元，用于对N个图像分别执行图像层编码以及***层编码得到N个码流，其中，同步信息设置在执行图像层编码所得到的数据、和/或、在执行***层编码所得到的数据中；第三编码单元，用于对N个图像分别执行图像层编码以及应用层编码得到N个码流，其中，同步信息设置在执行图像层编码所得到的数据、和/或、在执行应用层编码所得到的数据中；第四编码单元，用于对N个图像分别执行图像层编码、***层编码、应用层编码得到N个码流，其中，同步信息设置在执行图像层编码所得到的数据中、和/或、在执行应用层编码所得到的数据中、和/或、在执行***层编码所得到的数据中。

需要说明的是，同步信息在N个码流中分别设置的位置中至少有两个同步信息的位置相同或不同。同步信息由比特表示，其中，在N个码流中的分别设置的同步信息的比特数中至少有两个同步信息的比特数相同或不同。在N个码流中的分别设置的同步信息的比特的取值中至少有两个同步信息的比特的取值相同或不同。

可选地，该编码模块32，还用于对N个图像分别执行图像层编码，其中，至少有两个图像层编码采用不同的视频标准。

可选地，该编码模块32包括：第一判断单元，用于判断对N个图像中的第一图像执行第一图像层编码所得到的第一图像的重建图像的图像属性是否为符合第二视频标准的图像属性，其中，第一图像层编码采用第一视频标准，第二视频标准为对N个图像中的第二图像执行第二图像层编码的视频标准；第一处理单元，用于若第一图像的重建图像的图像属性不为符合第二视频标准的图像属性，则将第一图像的重建图像的图像属性调整为符合第二视频标准的图像属性，并将调整了图像属性的第一图像的重建图像添加到符合第二视频标准的参考帧管理信息中，其中，符合第二视频标准的参考帧管理信息用于采用第二视频标准对第二图像执行第二图像层编码。

需要说明的是，图像属性包括以下至少之一：图像尺寸、图像亮度采样频率、图像色度采样频率、图像像素位、图像像素颜色空间。该第一视频标准与第二视频标准不同。在分别对N个图像执行编码操作，得到N个码流之后，装置还包括：第一发送模块，用于将N个码流中的至少两个码流发送给处理设备，其中，同步信息用于指示处理设备对接收到的N个码流中的至少两个码流进行同步操作；或，第二发送模，用于将N个码流中的至少两个码流发送给与处理设备连接的存储设备进行存储。

可选地，同步信息用于指示对N个码流中的至少两个码流进行同步操作包括以下之一：同步信息用于指示对N个码流中的至少两个码流进行解码得到的数据进行同步输出；同步信息用于指示对N个码流中的至少两个码流进行同步解码；同步信息用于指示对N个码流中的至少两个码流进行解码得到的数据进行同步解码，并进行同步输出；同步信息用于指示对N个码流中的至少两个码流进行同步定位。

图4是根据本发明实施例的码流处理装置的结构框图二，如图4所示，该装置包括：解码模块42，用于分别对接收到的N个码流进行解码操作得到N个图像，在执行解码操作的过程中获取到分别设置在N个码流中的同步信息，其中，N大于等于2；同步模块44，与解码模块42耦合连接，用于根据同步信息同步操作N个图像中的至少两个图像。

可选地，该解码模块42包括：第一解码单元，用于对N个图像分别执行图像层解码得到N个码流，其中，同步信息设置在执行图像层解码所得到的数据中；第二解码单元，用于对N个图像分别执行图像层解码以及***层解码得到N个码流，其中，同步信息设置在执行图像层解码所得到的数据、和/或、在执行***层解码所得到的数据中；第三解码单元，用于对N个图像分别执行图像层解码以及应用层解码得到N个码流，其中，同步信息设置在执行图像层解码所得到的数据、和/或、在执行应用层解码所得到的数据中；第四解码单元，用于分别对接收到的N个码流分别执行应用层解码、***层解码、图像层解码得到N个图像，其中，在执行***层解码所得到的数据中、和/或、在执行应用层解码所得到的数据中、和/或、在执行图像层解码所得到的数据中获取到同步信息。

可选地，该解码模块42包括：第二判断单元，用于判断对N个码流中的第一码流执行第一图像层解码操作所得到的第三图像的重建图像的图像属性是否为符合第二视频标准的图像属性，其中，第一图像层解码采用第一视频标准，第二视频标准为对N个码流中的第二码流执行第二图像层解码的视频标准；第二处理单元，用于若第三图像的重建图像的图像属性不为符合第二视频标准的图像属性，则将第三图像的重建图像的图像属性调整为符合第二视频标准的图像属性，并将调整了图像属性的第三图像的重建图像添加到符合第二视频标准的参考帧管理信息中，其中，符合第二视频标准的参考帧管理信息用于采用第二视频标准对第二码流执行第二图像层解码。

需要说明的是，图像属性包括以下至少之一：图像尺寸、图像亮度采样频率、图像色度采样频率、图像像素位、图像像素颜色空间。该第一视频标准与第二视频标准不同。根据同步信息同步操作N个图像中的至少两个图像包括以下之一：根据同步信息进行解码得到的N个图像中的至少两个图像进行同步输出；根据同步信息进行解码得到的N个图像中的至少两个进行同步解码；根据同步信息进行解码得到的N个图像中的至少两个图像进行同步解码，并进行同步输出；根据同步信息进行解码得到的N个图像中的至少两个图像进行同步定位。

图5是根据本发明实施例的码流处理***的结构框图，如图5所示，该***包括：图3中的码流处理装置和图4的码流处理装置。

下面结合本发明可选实施例的具体实施例对本可选实施例进行详细说明；

实施例1：

本发明实施例1提供了一种混合视频编码侧对齐处理方法。图6是根据本发明可选实施例的混合视频编码侧对齐处理方法的流程图，如图6所示，该方法的步骤包括：

步骤S301，根据应用需要在对齐操作的时刻，第一编码器编码一帧图像A，并在码流中增加对齐信息；

步骤S302，如果第一编码器的重建图像参与第二编码器当前帧的编码过程，则将第一编码器生成的重建图像A1加入到第二编码器的参考帧管理中；

步骤S303，第二编码器编码当前帧图像B，并在码流中增加对齐信息，此时图像B编码的时候可以参考A1，也可以不参考A1；

步骤S304，在***层或者应用层对图像A和图像B的编码码流进行对齐处理。

其中，需要说明的是，本实施例中涉及到的对齐信息可以是时间信息，也可以是其它能够指示两幅图像具有相同属性的信息，所在位置包括但不限于以下方式：

(1)增强信息所对应的字段，用于该字段有效范围内的码流中的图像，与对应拥有相应标识及内容信息的码流图像对齐或同步；例如对于H.265/HEVC视频码流，增强信息所对应的字段具体为补充增强信息(Supplemental Enhancement Information，简称为SEI)字段，用于指示该SEI信息有效范围内的码流中的图像，与对应拥有相应标识及内容信息的码流图像对齐或同步；对应的H.264/AVC视频码流增强信息所对应的字段具体为SEI字段；应当理解的是，对于其他格式的码流，则取具有类似功能字段作为增强信息所对应的字段即可，例如，在MPEG-2和MPEG-4中使用用户自定义所对应字段(User Data)来完成同样的功能；

(2)视频可用信息所对应的字段，指示该字段有效范围内的码流中的图像，与对应拥有相应标识及内容信息的码流图像对齐或同步；例如对于H.265/HEVC视频码流，视频可用信息所对应的字段具体为视频可用性信息(Video Usability Information，简称为VUI)字段，对于H.264/AVC视频码流，视频可用信息所对应的字段具体为VUI字段；对应的，对于其他格式的码流，则取具有类似功能字段作为视频可用信息所对应的字段即可，例如，在MPEG-2和MPEG-4中使用用户自定义所对应字段(User Data)来完成同样的功能；

(3)视频共有信息所对应的字段，指示参数集信息有效范围内的码流中的图像，与对应拥有相应标识及内容信息的码流图像对齐或同步；例如对于H.265/HEVC视频码流，该视频共有信息所对应的字段包括视频参数集(Video Parameter Set，简称为VPS)、序列参数集(Sequence Parameter Set，简称为SPS)及图像参数集(Picture Parameter Set，简称为PPS)，对应的，对于H.264/AVC视频码流，该参数集包括序列参数集SPS和图像参数集PPS，对于MPEG-4视频码流，该视频信息共有字段是VOS(Visual Object Sequences)头、VO(Visual Object)头、VOL(Video Object Layer)头、GOV(Group of Video Object Plane)头和VOP(Video Object Plane)头，对MPEG-2视频码流，该视频信息共有字段的VideoSequence头、Group of pictures header和Picture header；对应的，对于其他格式的码流，则取类似功能字段作为视频共有信息所对应字段即可；

(4)片头信息所对应的字段，指示该片信息有效范围内的码流中的图像，与对应拥有相同标识及内容信息的码流图像对齐或同步；例如对于H.265/HEVC视频码流为SliceHeader字段，对于H.264/AVC视频码流为Slice Header字段，对于MPGE-4视频码流为VideoPacket Header字段；对应的，对于其他格式的码流，则取具有类似功能的字段作为片头信息字段即可；需要说明的是，在本实施例中，对于同一幅视频图像，可以仅在第一个片头中设置，也可以在此基础上在其他至少一个片头中同时进行设置，在多个片头中设置的对齐辅助信息一致；

(5)码流视频层除上述字段外的其他至少包含一个图像(帧图像或场图像)的字段，指示码流的对应数据结构所作用的图像层是否执行对齐或同步操作，例如，用户自定义数据字段(User Data)或者扩展字段(Extension Data)；

(6)发送终端在多路码流的***层设置对齐辅助信息时，具体包括在***层的以下字段设置：***层中用于描述视频媒体属性所对应的字段，用于指示包含在***码流中的图像，与对应拥有相应标识及内容信息的码流图像对齐或同步；

(7)发送终端在多路码流的应用层设置对齐辅助信息时，包括在以下字段中的至少一个字段进行设置：媒体文件中用于描述视频媒体属性所对应的字段，用于指示包含在媒体文件中的码流中的图像，与对应拥有相应标识及内容信息的码流图像对齐或同步；

(8)应用层中用于描述视频媒体属性所对应的字段，用于指示包含在应用中的码流图像，与对应拥有相应标识及内容信息的码流图像对齐或同步。

上述标识及内容信息也可以同时位于上述多个位置中，指示不同编码格式视频图像的对齐或同步。

需要说明的是，本实施例中可以是不止两个编码器，多个编码器根据应用需求进行组合进行对齐操作，即同一时刻，可以全部参与对齐操作，也可以某几个参与对齐操作。

实施例2：

本发明实施例7提供了一种混合视频解码侧同步处理方法。图7是根据本发明可选实施例的混合视频解码侧同步处理方法的流程图，如图7所示，该方法包括：

步骤S401，获取码流数据，在应用层或***层中查找同步信息，如果有同步信息，则进行后续同步处理，如果没有，则继续在图像层查找同步信息；

步骤S402，在图像层码流里查找同步信息，如果查找到，则继续后续步骤，如果没有，说明此段码流数据没有同步点，返回步骤S401，获取新的码流数据；

步骤S403，将具有相同同步信息的，符合第一解码器标准的码流送入第一解码器解码，获得解码图像C；

步骤S404，如果解码图像C参与第二解码器的解码过程，则将解码图像C处理为与第二解码器码流图像属性一致后，加入到第二解码器的参考帧管理中；

步骤S405，将具有相同同步信息的，符合第二解码器标准的码流送入第二解码器解码，获得解码图像D；

步骤S406，图像C和图像D可以单独分别输出，也可以同步输出。

需要说明的是，该实施例2中涉及到的同步信息与实施例1中的对齐信息定义相同，名称只是用于区别编解码侧的用途。

可选的，本实施例中也可以是不止两个解码器，多个解码器获取的码流进行同步操作，即同一时刻，可以全部参与同步操作，也可以某几个参与同步操作。

实施例3：

本实施例对应实施1所述的混合视频编码侧对齐处理方法，本实施例8提供了一种混合视频编码侧对齐处理装置，图8是根据本发明可选实施例的混合视频编码侧对齐处理装置结构框图，如图8所示，该装置包括：

第一编码器301，用于编码符合第一视频标准的视频数据；

第二编码器302，用于编码符合第二视频标准的视频数据；

***层处理单元303，用于对第一编码器和第二编码器输出数据进行处理；

应用层处理单元304，用于对***层处理单元输出数据进行处理；

控制单元305，用于控制对齐操作。

对于上述单元，根据应用需求，在需要对齐的时刻T，通知第一编码器和第二编码器编码时添加对齐信息；如果第一编码器重建图像参与第二编码器的编码过程，则将第一编码器输出的重建图像放入第二编码器的参考帧管理中；可选地，在本实施例中可以在***层中，对于T时刻的码流添加对齐信息；或在应用层中，对于T时刻的码流添加对齐信息。其中，对齐信息与实施例1中的定义一样。

需要说明的是，本可选实施例中可以是不止两个编码器，多个编码器根据应用需求进行组合进行对齐操作，即同一时刻，可以全部参与对齐操作，也可以某几个参与对齐操作。

图8中所表示的各个模块的连接关系仅为示例，本领域技术人员完全可以采用其它的连接关系，只要在这样的连接关系下各个模块也能够实现本发明的功能即可。

上述第一编码器301、第二编码器302、***层处理单元303、应用层处理单元304和控制单元305各个模块的功能可以通过使用专用硬件、或者能够与适当的软件相结合来执行处理的硬件来实现。这样的硬件或专用硬件可以包括专用集成电路(ASIC)、各种其它电路、各种处理器等。当由处理器实现时，该功能可以由单个专用处理器、单个共享处理器、或者多个独立的处理器(其中某些可能被共享)来提供。另外，处理器不应该被理解为专指能够执行软件的硬件，而是可以隐含地包括、而不限于数字信号处理器(DSP)硬件、用来存储软件的只读存储器(ROM)、随机存取存储器(RAM)、以及非易失存储设备。

本实施例的装置可以是视频应用中相关码流发送或内容生成设备，例如，手机、计算机、服务器、机顶盒、便携式移动终端、数字摄像机，电视广播***设备等。该装置可以位于源设备中，该处理装置可以处理以下至少一种多层视频信号：可伸缩视频，多视点视频，多视点深度，多视点视频+多视点深度。其中，立体视频是多视点视频的一种视点数等于2的特殊形式。

实施例4：

本实施例对应实施2所述的混合视频解码侧同步处理方法，提供了一种合视频解码侧同步处理装置，图9是根据本发明可选实施例的混合视频解码侧同步处理装置结构框图，如图9所示，该装置包括：

第一解码器401，用于解码符合第一视频标准的视频数据；

第二解码器402，用于解码符合第二视频标准的视频数据；

***层处理单元403，用于处理应用层输出数据，处理后输出数据给第一解码器和第二解码器；

应用层处理单元404，用于处理传输到解码侧的数据；

控制单元405，用于控制同步操作。

对于上述单元，从视频码流中获取，获取T时刻同步信息，可选地可以从***层或应用层码流获取；如果第一解码器输出图像参与第二解码器的解码过程，则将第一解码器输出的图像放入第二解码器的参考帧管理中；控制第一解码器和第二解码器的分别单独输出图像，或者同步输出图像。其中，同步信息与实施例2中的定义一样。

可选的，本实施例中涉及到的可以是不止两个解码器，多个解码器获取的码流进行同步操作，即同一时刻，可以全部参与同步操作，也可以某几个参与同步操作。

上述第一解码器401、第二解码器402、***层处理单元403、应用层处理单元404和控制单元405可以通过使用专用硬件、或者能够与适当的软件相结合来执行处理的硬件来实现。这样的硬件或专用硬件可以包括专用集成电路(ASIC)、各种其它电路、各种处理器等。当由处理器实现时，该功能可以由单个专用处理器、单个共享处理器、或者多个独立的处理器(其中某些可能被共享)来提供。另外，处理器不应该被理解为专指能够执行软件的硬件，而是可以隐含地包括、而不限于数字信号处理器(DSP)硬件、用来存储软件的只读存储器(ROM)、随机存取存储器(RAM)、以及非易失存储设备。

本实施例的装置可以是视频应用中相关码流接收播放设备或处理设备，例如，手机、计算机、服务器、机顶盒、便携式移动终端、数字摄像机，电视广播***设备等。该装置可以位于宿设备中，该处理装置可以处理以下至少一种多层视频信号：可伸缩视频，多视点视频，多视点深度，多视点视频+多视点深度。其中，立体视频是多视点视频的一种视点数等于2的特殊形式。

实施例5：

根据本发明实施例，还提供了一种混合视频对齐或同步的通信***，图10是根据本发明可选实施例的使用码流的通信***的结构示意图，如图10所示，根据本发明实施例的混合视频对齐或同步处理***包括源设备501和宿设备502。其中源设备501包括上述实施例3中所述的码流生成装置300，宿设备502包括上述实施例4中所述的码流处理装置400。在本实施例中，源设备501可以按照实施例1中所述的方法生成码流并输出，宿设备502接收该码流，并按照实施例2中所述的方法对该码流进行处理，具体参见上述发明实施例，本实施例中不再赘述。

为了进一步说明本发明实施例所提供的技术方案，下面通过具体应用场景中的示例对本发明可选实施例中的上述所提供的技术方案进行详细描述。

以下对上述各种方法的描述仅为各对应实施例方法的具体示例。当使用多种方法时，可将下述各方法的示例进行简单组合和串联，即可得到对应的示例。

应用场景1

本应用场景中，根据应用需求，在T时刻，对H.264/AVC编码器和H.265/HEVC编码器进行对齐操作，其中，基本层H.264/AVC图像作为增强层H.265/HEVC图像的参考。采用SEI的负载类型(Payload Type)为时间信息作为混合视频编码侧的对齐信息。混合视频编码侧的处理的方法包括以下步骤：

步骤1：在T时刻，H.264/AVC编码器编码图像A，在图像A的码流中增加一个pic_timing类型SEI单元(Picture timing SEI message)，即SEI的payloadType等于1，此单元里包含T1时刻对应的***时间信息。

步骤2：如果H.264/AVC重建图像参与当前帧H.265/HEVC图像的编码，则将H.264/AVC编码器图像A的重建图像A1放入到H.265/HEVC编码器的参考帧管理中去，即重建图像放入H.265/HEVC编码器的基本层缓冲区内，并且标记为“used for long-term reference”，对H.265/HEVC编码器参考帧管理需要的变量进行赋值，比如设置变量TemporalId和PicOrderCntVal等于增强层的值。

其中，如果基本层H.264/AVC编码图像与增强层H.265/HEVC编码图像属性不一致，则需要对重建图像A1进行处理，处理后生成图像A2，即图像A2与增强层的图像属性一致。再将图像A2的图像数据放入H.265/HEVC编码器的基本层缓冲区内，并且标记为“used forlong-term reference”，对H.265/HEVC编码器参考帧管理需要的变量进行赋值，比如设置变量TemporalId和PicOrderCntVal等于增强层的值。

例如：

(1)基本层H.264/AVC编码图像尺寸与增强层H.265/HEVC编码图像尺寸不同，则首先对重建图像A1进行缩放操作，生成与增强层的图像尺寸一致的图像A2。

(2)基本层H.264/AVC编码图像亮度和色度采样频率与增强层H.265/HEVC编码图像亮度和色度采样频率不同，则首先对重建图像A1进行采样统一处理，生成与增强层的图像尺寸一致的图像A2。

(3)基本层H.264/AVC编码图像像素位深与增强层H.265/HEVC编码图像的像素位深不同，则对重建图像A1进行位深处理，生成与增强层的位深一致的图像A2。

(4)基本层H.264/AVC编码图像像素颜色空间不同与增强层H.265/HEVC编码图像的颜色不同，则对重建图像A1进行颜色空间转换，生成与增强层颜色空间一致的图像A2。

步骤3：在T时刻，H.265/HEVC编码器编码图像B，在图像B的码流中增加一个time_code类型SEI单元(Time code SEI message)，即SEI的payloadType等于136，此单元里包含T时刻对应的***时间信息。

可选的，时间信息可以采用其它形式，如顺序信息等，也可以放置在码流的不同位置，如VUI负载类型、参数集里的扩展数据区等。

应用场景2

本应用场景中，根据获得码流的信息，对H.264/AVC解码器和H.265/HEVC解码器进行同步操作，其中基本层H.264/AVC图像作为增强层H.265/HEVC图像的参考。采用SEI的负载类型(Payload Type)为时间信息作为混合视频解码侧的同步信息。混合视频解码侧的处理方法包括以下步骤：

步骤1，获取一帧H.264/AVC图像的视频码流数据，查找SEI信息，如果有时间信息T1，则反馈给应用的控制单元；

步骤2，获取一帧H.265/HEVC图像的视频码流，查找SEI信息，如果有时间信息T2，则反馈给应用的控制单元；

步骤3，应用控制单元确定当前帧的H.264/AVC视频码流和当前帧的H.265/HEVC视频码流是否需要同步，如果需要(T1＝T2)，则进行后续步骤，否则，返回步骤1，获取新的码流数据；

可选地，重新获取H.265/HEVC的视频码流，直到找到包含有T1时间信息的码流数据，或者在预设数据长度或时间范围内查找；

可选地，重新获取H.264/AVC的视频码流，直到找到包含有T2时间信息的码流数据，或者在预设数据长度或时间范围内查找；

步骤4，将需要同步的当前帧的H.264/AVC视频码流送入H.264/AVC解码器，进行解码，

其中，能够获得重建图像C的情况有：1)图像类型为IDR(Instantaneous DecodingRefresh)；2)图像类型为非IDR，且参考图像可用；

不能够获取重建图像C的情况有：1)图像类型为非IDR，且参考图像不可用；2)将解码是否获得图像重建数据反馈给控制单元。

步骤5，如果重建图像C存在，并且参与H.265/HEVC的解码过程，则控制单元将解码重建图像C的图像数据放入H.265/HEVC解码器的基本层缓冲区内，并且标记为“used forlong-term reference”，对H.265/HEVC解码器参考帧管理需要的变量进行赋值，比如设置变量TemporalId和PicOrderCntVal等于增强层的值。

其中，如果基本层H.264/AVC解码重建图像与增强层H.265/HEVC解码重建图像属性不一致，则需要对重建图像C进行处理，处理后生成图像C1，即图像C1与增强层的解码重建图像属性一致。再将图像C1的图像数据放入H.265/HEVC解码器的基本层缓冲区内，并且标记为“used for long-term reference”，对H.265/HEVC解码器参考帧管理需要的变量进行赋值，比如设置变量TemporalId和PicOrderCntVal等于增强层的值。

例如：

(1)基本层H.264/AVC解码图像尺寸与增强层H.265/HEVC解码图像尺寸不同，则首先对重建图像C进行缩放操作，生成与增强层的图像尺寸一致的图像C1。

(2)基本层H.264/AVC解码图像亮度和色度采样频率与增强层H.265/HEVC解码图像亮度和色度采样频率不同，则首先对重建图像C进行采样统一处理，生成与增强层的图像尺寸一致的图像C1。

(3)基本层H.264/AVC编码图像像素位深与增强层H.265/HEVC编码图像的像素位深不同，则对重建图像C进行位深处理，生成与增强层的位深一致的图像C1。

(4)基本层H.264/AVC编码图像像素颜色空间不同与增强层H.265/HEVC编码图像的颜色不同，则对重建图像C进行颜色空间转换，生成与增强层颜色空间一致的图像C1。

步骤6，将具有相同同步信息的，H.265/HEVC图像的视频码流送入H.265/HEVC解码器，进行解码，

其中，能够获得重建图像D的情况有：1)图像类型为IRAP(Intra Random AccessPoint)；2)图像类型为非IRAP，且参考图像可用；

不能够获取重建图像D的情况有：1)图像类型为非IRAP，且参考图像不可用；将解码是否获得图像重建数据反馈给控制单元。

步骤7，根据应用需要，控制图像C和图像D可以单独分别输出，也可以同步输出。

可选的，时间信息可以采用其它形式，如顺序信息等，也可以放置在码流的不同位置，如VUI负载类型、参数集里的扩展数据区等。

应用场景3

本应用场景与应用场景1不同之处在于，对齐或同步信息位于***层，如MPEG-2TS(Transport Stream)层。混合视频编码侧的处理方法包括以下步骤：

步骤1：在T时刻，H.264/AVC编码器编码图像A，输出码流到***层，***层打包处理是在PES包头中写入T时刻信息。

步骤2：如果H.264/AVC重建图像参与当前帧H.265/HEVC图像的编码，则将H.264/AVC编码器图像A的重建图像A1放入到H.265/HEVC编码器的参考帧管理中去，即重建图像放入H.265/HEVC编码器的基本层缓冲区内，并且标记为“used for long-term reference”，对H.265/HEVC编码器参考帧管理需要的变量进行赋值，比如设置变量TemporalId和PicOrderCntVal等于增强层的值。

其中，如果基本层H.264/AVC编码图像与增强层H.265/HEVC编码图像属性不一致，则需要对重建图像A1进行处理，处理后生成图像A2，即图像A2与增强层的图像属性一致(如示例1中所示)。再将图像A2的图像数据放入H.265/HEVC编码器的基本层缓冲区内，并且标记为“used for long-term reference”，对H.265/HEVC编码器参考帧管理需要的变量进行赋值，比如设置变量TemporalId和PicOrderCntVal等于增强层的值。

步骤3：在T时刻，H.265/HEVC编码器编码图像B，输出码流到***层，***层打包处理是在PES包头中写入T时刻信息。

可选地，时间信息可以采用其它形式，如顺序信息等，也可以放置在码流的不同位置，如扩展数据区等。

应用场景4

本应用场景与应用场景2不同之处在于，同步信息位于***层，如MPEG-2 TS(Transport Stream)层。混合视频解码侧的处理方法包括以下步骤：

步骤1，从***层码流数据中，获取一帧H.264/AVC图像的视频码流数据，并且查找对应PES包头中的数据，如果有时间信息T1，则反馈给应用的控制单元；

步骤2，从***层码流数据中，获取一帧H.265/HEVC图像的视频码流，并且查找对应PES包头中的数据，如果有时间信息T2，则反馈给应用的控制单元；

步骤3，应用控制单元确定当前帧的H.264/AVC视频码流和当前帧的H.265/HEVC视频码流是否需要同步，如果需要(T1＝T2)，则进行后续步骤，否则，返回步骤1，获取新的码流数据；

可选地，重新获取H.265/HEVC的视频码流，直到找到包含有T1时间信息的码流数据，或者在预设数据长度或时间范围内查找；

可选地，重新获取H.264/AVC的视频码流，直到找到包含有T2时间信息的码流数据，或者在预设数据长度或时间范围内查找；

步骤4，将需要同步的当前帧的H.264/AVC视频码流送入H.264/AVC解码器，进行解码，

其中，能够获得重建图像C的情况有：1)图像类型为IDR(Instantaneous DecodingRefresh)；2)图像类型为非IDR，且参考图像可用；

不能够获取重建图像C的情况有：1)图像类型为非IDR，且参考图像不可用；将解码是否获得图像重建数据反馈给控制单元。

步骤5，如果重建图像C存在，并且参与H.265/HEVC的解码过程，则控制单元将解码重建图像C的图像数据放入H.265/HEVC解码器的基本层缓冲区内，并且标记为“used forlong-term reference”，对H.265/HEVC解码器参考帧管理需要的变量进行赋值，比如设置变量TemporalId和PicOrderCntVal等于增强层的值。

其中，如果基本层H.264/AVC解码重建图像与增强层H.265/HEVC解码重建图像属性不一致，则需要对重建图像C进行处理，处理后生成图像C1，即图像C1与增强层的解码重建图像属性一致(如示例2中所示)。再将图像C1的图像数据放入H.265/HEVC解码器的基本层缓冲区内，并且标记为“used for long-term reference”，对H.265/HEVC解码器参考帧管理需要的变量进行赋值，比如设置变量TemporalId和PicOrderCntVal等于增强层的值。

步骤6，将具有相同同步信息的，H.265/HEVC图像的视频码流送入H.265/HEVC解码器，进行解码，

其中，能够获得重建图像D的情况有：1)图像类型为IRAP(Intra Random AccessPoint)；2)图像类型为非IRAP，且参考图像可用；

不能够获取重建图像D的情况有：1)图像类型为非IRAP，且参考图像不可用；将解码是否获得图像重建数据反馈给控制单元。

步骤7，根据应用需要，控制图像C和图像D可以单独分别输出，也可以同步输出。

可选地，时间信息可以采用其它形式，如顺序信息等，也可以放置在码流的不同位置，如扩展数据区等。

应用场景5

本应用场景与应用场景1不同之处在于，对齐或同步信息位于应用层。混合视频编码侧的处理方法包括以下步骤：

步骤1：在T时刻，H.264/AVC编码器编码图像A，输出码流到应用层，应用层打包处理时在对应媒体描述字段写入T时刻信息。

步骤2：如果H.264/AVC重建图像参与当前帧H.265/HEVC图像的编码，则将H.264/AVC编码器图像A的重建图像A1放入到H.265/HEVC编码器的参考帧管理中去，即重建图像放入H.265/HEVC编码器的基本层缓冲区内，并且标记为“used for long-term reference”，对H.265/HEVC编码器参考帧管理需要的变量进行赋值，比如设置变量TemporalId和PicOrderCntVal等于增强层的值。

其中，如果基本层H.264/AVC编码图像与增强层H.265/HEVC编码图像属性不一致，则需要对重建图像A1进行处理，处理后生成图像A2，即图像A2与增强层的图像属性一致(如示例1中所示)。再将图像A2的图像数据放入H.265/HEVC编码器的基本层缓冲区内，并且标记为“used for long-term reference”，对H.265/HEVC编码器参考帧管理需要的变量进行赋值，比如设置变量TemporalId和PicOrderCntVal等于增强层的值。

步骤3：在T时刻，H.265/HEVC编码器编码图像B，输出码流到应用层，***层打包处理是在PES包头中写入T时刻信息。

可选的，时间信息可以采用其它形式，如顺序信息等，也可以放置在码流的不同位置，如扩展数据区等。

应用场景6

本应用场景与应用场景2不同之处在于，同步信息位于应用层。混合视频解码侧的处理方法包括以下步骤：

步骤1，从应用层码流数据中，获取一帧H.264/AVC图像的视频码流数据，并且查找对应媒体描述字段中的数据，如果有时间信息T1，则反馈给应用的控制单元；

步骤2，从应用层码流数据中，获取一帧H.265/HEVC图像的视频码流，并且查找对应媒体描述字段中的数据，如果有时间信息T2，则反馈给应用的控制单元；

步骤3，应用控制单元确定当前帧的H.264/AVC视频码流和当前帧的H.265/HEVC视频码流是否需要同步，如果需要(T1＝T2)，则进行后续步骤，否则，返回步骤1，获取新的码流数据；

可选地，重新获取H.265/HEVC的视频码流，直到找到包含有T1时间信息的码流数据，或者在预设数据长度或时间范围内查找；

可选地，重新获取H.264/AVC的视频码流，直到找到包含有T2时间信息的码流数据，或者在预设数据长度或时间范围内查找；

步骤4，将需要同步的当前帧的H.264/AVC视频码流送入H.264/AVC解码器，进行解码，

其中，能够获得重建图像C的情况有：1)图像类型为IDR(Instantaneous DecodingRefresh)；2)图像类型为非IDR，且参考图像可用；

不能够获取重建图像C的情况有：1)图像类型为非IDR，且参考图像不可用；将解码是否获得图像重建数据反馈给控制单元。

步骤5，如果重建图像C存在，并且参与H.265/HEVC的解码过程，则控制单元将解码重建图像C的图像数据放入H.265/HEVC解码器的基本层缓冲区内，并且标记为“used forlong-term reference”，对H.265/HEVC解码器参考帧管理需要的变量进行赋值，比如设置变量TemporalId和PicOrderCntVal等于增强层的值。

其中，如果基本层H.264/AVC解码重建图像与增强层H.265/HEVC解码重建图像属性不一致，则需要对重建图像C进行处理，处理后生成图像C1，即图像C1与增强层的解码重建图像属性一致(如示例2中所示)。再将图像C1的图像数据放入H.265/HEVC解码器的基本层缓冲区内，并且标记为“used for long-term reference”，对H.265/HEVC解码器参考帧管理需要的变量进行赋值，比如设置变量TemporalId和PicOrderCntVal等于增强层的值。

步骤6，将具有相同同步信息的，H.265/HEVC图像的视频码流送入H.265/HEVC解码器，进行解码，

其中，能够获得重建图像D的情况有：1)图像类型为IRAP(Intra Random AccessPoint)；2)图像类型为非IRAP，且参考图像可用；

不能够获取重建图像D的情况有：1)图像类型为非IRAP，且参考图像不可用；将解码是否获得图像重建数据反馈给控制单元。

步骤7，根据应用需要，控制图像C和图像D可以单独分别输出，也可以同步输出。

可选地，时间信息可以采用其它形式，如顺序信息等，也可以放置在文件的不同位置，如扩展数据区等。

应用场景7

本应用场景与应用场景1不同之处在于，对齐信息位于文件中媒体属性描述字段。混合视频编码侧的处理主要包括以下步骤：

步骤1：在T时刻，H.264/AVC编码器编码图像A，将输出码流写入到文件，并在文件格式中对应媒体描述字段写入T时刻信息。

步骤2：如果H.264/AVC重建图像参与当前帧H.265/HEVC图像的编码，则将H.264/AVC编码器图像A的重建图像A1放入到H.265/HEVC编码器的参考帧管理中去，即重建图像放入H.265/HEVC编码器的基本层缓冲区内，并且标记为“used for long-term reference”，对H.265/HEVC编码器参考帧管理需要的变量进行赋值，比如设置变量TemporalId和PicOrderCntVal等于增强层的值。

其中，如果基本层H.264/AVC编码图像与增强层H.265/HEVC编码图像属性不一致，则需要对重建图像A1进行处理，处理后生成图像A2，即图像A2与增强层的图像属性一致(如示例1中所示)。再将图像A2的图像数据放入H.265/HEVC编码器的基本层缓冲区内，并且标记为“used for long-term reference”，对H.265/HEVC编码器参考帧管理需要的变量进行赋值，比如设置变量TemporalId和PicOrderCntVal等于增强层的值。

步骤3：在T时刻，H.265/HEVC编码器编码图像B，将输出码流写入到文件，并在文件格式中对应媒体描述字段写入T时刻信息。

可选地，时间信息可以采用其它形式，如顺序信息等，也可以放置在文件的不同位置，如扩展数据区等。

应用场景8

本应用场景与应用场景2不同之处在于，同步信息位于文件中媒体属性描述字段。混合视频解码侧的处理方法包括以下步骤：

步骤1，从文件中，获取一帧H.264/AVC图像的视频码流数据，并且查找对应媒体描述字段中的数据，如果有时间信息T1，则反馈给应用的控制单元；

步骤2，从文件中，获取一帧H.265/HEVC图像的视频码流数据，并且查找对应媒体描述字段中的数据，如果有时间信息T2，则反馈给应用的控制单元；

步骤3，应用控制单元确定当前帧的H.264/AVC视频码流和当前帧的H.265/HEVC视频码流是否需要同步，如果需要(T1＝T2)，则进行后续步骤，否则，返回步骤1，获取新的码流数据；

可选地，重新获取H.265/HEVC的视频码流，直到找到包含有T1时间信息的码流数据，或者在预设数据长度或时间范围内查找；

可选地，重新获取H.264/AVC的视频码流，直到找到包含有T2时间信息的码流数据，或者在预设数据长度或时间范围内查找；

步骤4，将需要同步的当前帧的H.264/AVC视频码流送入H.264/AVC解码器，进行解码，

其中，能够获得重建图像C的情况有：1)图像类型为IDR(Instantaneous DecodingRefresh)；2)图像类型为非IDR，且参考图像可用；

不能够获取重建图像C的情况有：1)图像类型为非IDR，且参考图像不可用；将解码是否获得图像重建数据反馈给控制单元。

步骤5，如果重建图像C存在，并且参与H.265/HEVC的解码过程，则控制单元将解码重建图像C的图像数据放入H.265/HEVC解码器的基本层缓冲区内，并且标记为“used forlong-term reference”，对H.265/HEVC解码器参考帧管理需要的变量进行赋值，比如设置变量TemporalId和PicOrderCntVal等于增强层的值。

其中，如果基本层H.264/AVC解码重建图像与增强层H.265/HEVC解码重建图像属性不一致，则需要对重建图像C进行处理，处理后生成图像C1，即图像C1与增强层的解码重建图像属性一致(如示例2中所示)。再将图像C1的图像数据放入H.265/HEVC解码器的基本层缓冲区内，并且标记为“used for long-term reference”，对H.265/HEVC解码器参考帧管理需要的变量进行赋值，比如设置变量TemporalId和PicOrderCntVal等于增强层的值。

步骤6，将具有相同同步信息的，H.265/HEVC图像的视频码流送入H.265/HEVC解码器，进行解码，

其中，能够获得重建图像D的情况有：1)图像类型为IRAP(Intra Random AccessPoint)；2)图像类型为非IRAP，且参考图像可用；

不能够获取重建图像D的情况有：1)图像类型为非IRAP，且参考图像不可用；将解码是否获得图像重建数据反馈给控制单元。

步骤7，根据应用需要，控制图像C和图像D可以单独分别输出，也可以同步输出。

可选的，时间信息可以采用其它形式，如顺序信息等，也可以放置在文件的不同位置，如扩展数据区等。

应用场景9

本应用场景是混合编解码的一种特殊情况。

编码端与应用场景1不同之处在于两个编码器均为H.265/HEVC编码器，其它步骤与应用场景1相同。

解码端与应用场景2不同之处在于两个解码器均为H.265/HEVC解码器，其它步骤与应用场景2相同。

应用场景10

本应用场景与应用场景1不同之处在于，混合视频编码侧为三个编码器，分别为H.264/AVC编码器、H.265/HEVC编码器和MPEG-2编码器，对齐方法包括以下步骤：

步骤1：在T1时刻，H.264/AVC编码器编码图像A，H.265/HEVC编码器编码图像B，其中图像A的重建图像A1可作为图像B的参考帧，分别在图像A和图像B的码流中增加T1时刻对应的***时间信息(步骤可参考应用场景1)。此时，MPEG-2编码器可以没有输入输出，也可以有输入但是不参与对齐操作。

步骤2：在T2时刻，H.264/AVC编码器编码图像C，H.265/HEVC编码器编码图像D，MPEG-2编码器编码图像E，其中图像C的重建图像C1，和图像E的重建图像E1，可作为图像D的参考帧，分别在图像C、图像D和图像E的码流中增加T2时刻对应的***时间信息(步骤可参考应用场景1)。

步骤3：在T3时刻，H.265/HEVC编码器编码图像F，MPEG-2编码器编码图像G，其中图像G的重建图像G1可作为图像F的参考帧，分别在图像F和图像G的码流中增加T3时刻对应的***时间信息(步骤可参考应用场景1)。此时，H.264/AVC编码器可以没有输入输出，也可以有输入输出但是不参与对齐操作。

可选地，时间信息可以采用其它形式，如顺序信息等，也可以放置在码流的不同位置，如VUI负载类型、参数集里的扩展数据区等。

可选地，这三种编码器可以是相同视频编码器，也可以是不同的视频编码器。

可选地，同一时刻，需要对齐的编码器的个数根据应用需要设定。而不参与对齐操作的编码器可以有输入输出，也可以没有输入输出。

应用场景11

本应用场景与应用场景2不同之处在于，混合视频解码侧为三个解码器，分别为H.264/AVC解码器、H.265/HEVC解码器和MPEG-2解码器，同步的方法包括以下步骤：

步骤1，获取一帧H.264/AVC图像的视频码流数据，并且查找时间信息，如果有时间信息T1，则反馈给应用的控制单元；

步骤2，获取一帧H.265/HEVC图像的视频码流数据，并且查找时间信息，如果有时间信息T2，则反馈给应用的控制单元；

步骤3，获取一帧MPEG-2图像的视频码流数据，并且查找时间信息，如果有时间信息T3，则反馈给应用的控制单元；

其中步骤1至步骤3，至少获取两路视频码流数据，才可以继续进行后续的同步操作。

步骤4，应用控制单元确定当前帧的H.264/AVC视频码流、当前帧的H.265/HEVC视频码流和当前帧的MPEG-2视频码流是否需要同步，如果需要(例如T1＝T2，或T2＝T3，或T1＝T3，或T1＝T2＝T3)，则进行后续步骤，否则，返回步骤1，获取新的码流数据；

可选地，重新获取H.265/HEVC的视频码流，直到找到包含有T1和/或T3时间信息的码流数据，或者在预设数据长度或时间范围内查找；

可选地，重新获取H.264/AVC的视频码流，直到找到包含有T2和/或T3时间信息的码流数据，或者在预设数据长度或时间范围内查找；

可选地，重新获取MPEG-2的视频码流，直到找到包含有T1和/或T2时间信息的码流数据，或者在预设数据长度或时间范围内查找；

步骤5，如果T1＝T2，将需要同步的当前帧的H.264/AVC视频码流送入H.264/AVC解码器，当前帧的H.265/HEVC视频码流送入H.265/HEVC解码器，进行解码，其它步骤可参考应用场景2。

同理如果T2＝T3，将需要同步的当前帧的H.265/HEVC视频码流送入H.265/HEVC解码器，当前帧的MPEG-2视频码流送入MPEG-2解码器，进行解码，其它步骤可参考应用场景2。

可选地，时间信息可以采用其它形式，如顺序信息等，也可以放置在文件的不同位置，如扩展数据区等。

可选地，这三种解码器可以是相同视频解码器，也可以是不同的视频解码器。

步骤6，根据应用需要，控制三个解码器的重建输出，可以单独分别输出，也可以进行同步输出，还可以组合同步输出。

应用场景12

本应用场景中，源设备根据应用需求，确定不同编码格式的视频码流添加对齐或同步信息的位置，写入相同信息格式，其中不同编码格式携带上述标识信息的位置可以不同，但只在一个位置出现。其它步骤与应用场景1相同。

宿设备按照应用层、***层和视频编码层的顺序进行搜索查找，直到获取所需的同步信息。其它步骤与应用场景2相同。

应用场景13

本应用场景中，源设备根据应用需求，确定不同编码格式的视频码流添加对齐或同步信息的位置，写入相同信息格式，其中不同编码格式携带上述标识信息的位置可以不同，并且可以在多个位置中出现。其它步骤与应用场景1相同。

宿设备按照应用层、***层和视频编码层的顺序进行搜索查找，直到获取所需的同步信息，如果在不同层获取到多个同步信息，可以根据预设规则，比如根据信息的有效性来进行最后信息认定。其它步骤与应用场景2相同。

应用场景14

本应用场景中，源设备根据应用需求，确定不同编码格式的视频码流添加对齐或同步信息的形式，其中不同编码格式码流中携带上述标识信息的形式不同，但只在一个位置出现。通过与宿设备协商统一规则，如将时间信息统一转换为***时间，或者统一序号。其它步骤与应用场景1相同。

宿设备按照应用层、***层和视频编码层的顺序进行搜索查找，直到获取所需的对齐或同步信息。其它步骤与应用场景2相同。

应用场景15

本应用场景中，源设备根据应用需求，确定不同编码格式的视频码流添加对齐或同步信息的形式，其中采用混合使用的方法携带上述标识信息，即多个位置和/或多种形式。其它步骤与应用场景1相同。

宿设备可使用不同层获取得到的对齐或同步信息，作为其码流检错和播放操作控制条件。若不同层获取的对齐或同步信息有差异，宿设备执行差错控制机制，通过反馈信息向源设备报告错误。其它步骤与应用场景2相同。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述模块分别位于多个处理器中。

可选地，本实施例中的具体应用场景可以参考上述实施例及可选实施方式中所描述的应用场景，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (27)

1.一种码流处理方法，其特征在于，包括：

获取N个图像，其中，N大于等于2；

分别对所述N个图像执行编码操作，得到N个码流，其中，所述N个码流中分别设置有同步信息；

其中，分别对所述N个图像执行编码操作，得到N个码流至少包括：对所述N个图像分别执行图像层编码，其中，至少有两个所述图像层编码采用不同的视频标准；

所述对所述N个图像分别执行图像层编码包括：

判断对所述N个图像中的第一图像执行第一图像层编码所得到的所述第一图像的重建图像的图像属性是否为符合第二视频标准的图像属性，其中，所述第一图像层编码采用第一视频标准，所述第二视频标准为对所述N个图像中的第二图像执行第二图像层编码的视频标准；

若所述第一图像的重建图像的图像属性不为符合所述第二视频标准的图像属性，则将所述第一图像的重建图像的图像属性调整为符合所述第二视频标准的图像属性，并将调整了图像属性的所述第一图像的重建图像添加到符合第二视频标准的参考帧管理信息中，其中，所述符合第二视频标准的参考帧管理信息用于采用所述第二视频标准对所述第二图像执行所述第二图像层编码。

2.根据权利要求1所述的方法，其特征在于，所述分别对所述N个图像执行编码操作，得到N个码流包括以下之一：

对所述N个图像分别执行图像层编码得到所述N个码流，其中，所述同步信息设置在执行所述图像层编码所得到的数据中；

对所述N个图像分别执行图像层编码以及***层编码得到所述N个码流，其中，所述同步信息设置在执行所述图像层编码所得到的数据和/或在执行所述***层编码所得到的数据中；

对所述N个图像分别执行图像层编码以及应用层编码得到所述N个码流，其中，所述同步信息设置在执行所述图像层编码所得到的数据和/或在执行所述应用层编码所得到的数据中；

对所述N个图像分别执行图像层编码、***层编码、应用层编码得到所述N个码流，其中，所述同步信息设置在执行所述图像层编码所得到的数据中和/或在执行所述应用层编码所得到的数据中和/或在执行所述***层编码所得到的数据中。

3.根据权利要求1所述的方法，其特征在于，所述同步信息在所述N个码流中分别设置的位置中至少有两个同步信息的位置相同或不同。

4.根据权利要求1所述的方法，其特征在于，在所述N个码流中的分别设置的所述同步信息中至少有两个同步信息相同或不同。

5.根据权利要求1所述的方法，其特征在于，所述图像属性包括以下至少之一：图像尺寸、图像亮度采样频率、图像色度采样频率、图像像素位、图像像素颜色空间。

6.根据权利要求1所述的方法，其特征在于，所述第一视频标准与所述第二视频标准不同。

7.根据权利要求1所述的方法，其特征在于，在分别对所述N个图像执行编码操作，得到N个码流之后，所述方法还包括：

将所述N个码流中的至少两个码流发送给处理设备，其中，所述同步信息用于指示所述处理设备对接收到的所述N个码流中的至少两个码流进行同步操作；

或，

将所述N个码流中的至少两个码流发送给与所述处理设备连接的存储设备进行存储。

8.根据权利要求1或7所述的方法，其特征在于，所述同步信息用于指示对所述N个码流中的至少两个码流进行同步操作包括以下之一：

所述同步信息用于指示对所述N个码流中的至少两个码流进行解码得到的数据进行同步输出；

所述同步信息用于指示对所述N个码流中的至少两个码流进行同步解码；

所述同步信息用于指示对所述N个码流中的至少两个码流进行解码得到的数据进行同步解码，并进行同步输出；

所述同步信息用于指示对所述N个码流中的至少两个码流进行同步定位。

9.一种码流处理方法，其特征在于，包括：

分别对接收到的N个码流进行解码操作得到N个图像，在执行所述解码操作的过程中获取到分别设置在所述N个码流中的同步信息，其中，N大于等于2；

根据所述同步信息同步操作所述N个图像中的至少两个图像；其中，所述分别对接收到的N个码流进行解码操作得到N个图像至少包括：分别对所述N个码流执行图像层解码，其中，至少有两个所述图像层解码采用不同的视频标准；

分别对接收到的N个码流进行解码操作得到N个图像还包括：

判断对所述N个码流中的第一码流执行第一图像层解码操作所得到的第三图像的重建图像的图像属性是否为符合第二视频标准的图像属性，其中，所述第一图像层解码采用第一视频标准，所述第二视频标准为对所述N个码流中的第二码流执行第二图像层解码的视频标准；

若所述第三图像的重建图像的图像属性不为符合所述第二视频标准的图像属性，则将所述第三图像的重建图像的图像属性调整为符合所述第二视频标准的图像属性，并将调整了图像属性的所述第三图像的重建图像添加到符合所述第二视频标准的参考帧管理信息中，其中，所述符合第二视频标准的参考帧管理信息用于采用所述第二视频标准对所述第二码流执行所述第二图像层解码。

10.根据权利要求9所述的方法，其特征在于，所述分别对接收到的N个码流进行解码操作得到N个图像包括以下之一：

对所述N个图像分别执行图像层解码得到所述N个码流，其中，所述同步信息设置在执行所述图像层解码所得到的数据中；

对所述N个图像分别执行图像层解码以及***层解码得到所述N个码流，其中，所述同步信息设置在执行所述图像层解码所得到的数据和/或在执行所述***层解码所得到的数据中；

对所述N个图像分别执行图像层解码以及应用层解码得到所述N个码流，其中，所述同步信息设置在执行所述图像层解码所得到的数据和/或在执行所述应用层解码所得到的数据中；

分别对接收到的所述N个码流分别执行应用层解码、***层解码、图像层解码得到所述N个图像，其中，在执行所述***层解码所得到的数据中和/或在执行所述应用层解码所得到的数据中和/或在执行所述图像层解码所得到的数据中获取到所述同步信息。

11.根据权利要求9所述的方法，其特征在于，所述图像属性包括以下至少之一：图像尺寸、图像亮度采样频率、图像色度采样频率、图像像素位、图像像素颜色空间。

12.根据权利要求9所述的方法，其特征在于，所述第一视频标准与所述第二视频标准不同。

13.根据权利要求9所述的方法，其特征在于，所述根据所述同步信息同步操作所述N个图像中的至少两个图像包括以下之一：

根据所述同步信息进行解码得到的所述N个图像中的至少两个图像进行同步输出；

根据所述同步信息进行解码得到的所述N个图像中的至少两个进行同步解码；

根据所述同步信息进行解码得到的所述N个图像中的至少两个图像进行同步解码，并进行同步输出；

根据所述同步信息进行解码得到的所述N个图像中的至少两个图像进行同步定位。

14.一种码流处理装置，其特征在于，包括：

获取模块，用于获取N个图像，其中，N大于等于2；

编码模块，用于分别对所述N个图像执行编码操作，得到N个码流，其中，所述N个码流中分别设置有同步信息；

其中，所述同步信息用于指示对所述N个码流中的至少两个码流进行同步操作；

所述编码模块，还用于对所述N个图像分别执行图像层编码，其中，至少有两个所述图像层编码采用不同的视频标准；

所述编码模块包括：

第一判断单元，用于判断对所述N个图像中的第一图像执行第一图像层编码所得到的所述第一图像的重建图像的图像属性是否为符合第二视频标准的图像属性，其中，所述第一图像层编码采用第一视频标准，所述第二视频标准为对所述N个图像中的第二图像执行第二图像层编码的视频标准；

第一处理单元，用于若所述第一图像的重建图像的图像属性不为符合所述第二视频标准的图像属性，则将所述第一图像的重建图像的图像属性调整为符合所述第二视频标准的图像属性，并将调整了图像属性的所述第一图像的重建图像添加到符合第二视频标准的参考帧管理信息中，其中，所述符合第二视频标准的参考帧管理信息用于采用所述第二视频标准对所述第二图像执行所述第二图像层编码。

15.根据权利要求14所述的装置，其特征在于，所述编码模块还包括：

第一编码单元，用于对所述N个图像分别执行图像层编码得到所述N个码流，其中，所述同步信息设置在执行所述图像层编码所得到的数据中；

第二编码单元，用于对所述N个图像分别执行图像层编码以及***层编码得到所述N个码流，其中，所述同步信息设置在执行所述图像层编码所得到的数据和/或在执行所述***层编码所得到的数据中；

第三编码单元，用于对所述N个图像分别执行图像层编码以及应用层编码得到所述N个码流，其中，所述同步信息设置在执行所述图像层编码所得到的数据和/或在执行所述应用层编码所得到的数据中；

第四编码单元，用于对所述N个图像分别执行图像层编码、***层编码、应用层编码得到所述N个码流，其中，所述同步信息设置在执行所述图像层编码所得到的数据中和/或在执行所述应用层编码所得到的数据中和/或在执行所述***层编码所得到的数据中。

16.根据权利要求14所述的装置，其特征在于，所述同步信息在所述N个码流中分别设置的位置中至少有两个同步信息的位置相同或不同。

17.根据权利要求14所述的装置，其特征在于，在所述N个码流中的分别设置的所述同步信息中至少有两个同步信息相同或不同。

18.根据权利要求14所述的装置，其特征在于，所述图像属性包括以下至少之一：图像尺寸、图像亮度采样频率、图像色度采样频率、图像像素位、图像像素颜色空间。

19.根据权利要求14所述的装置，其特征在于，所述第一视频标准与所述第二视频标准不同。

20.根据权利要求14所述的装置，其特征在于，在分别对所述N个图像执行编码操作，得到N个码流之后，所述装置还包括：

第一发送模块，用于将所述N个码流中的至少两个码流发送给处理设备，其中，所述同步信息用于指示所述处理设备对接收到的所述N个码流中的至少两个码流进行同步操作；或，

第二发送模，用于将所述N个码流中的至少两个码流发送给与所述处理设备连接的存储设备进行存储。

21.根据权利要求14或20所述的装置，其特征在于，所述同步信息用于指示对所述N个码流中的至少两个码流进行同步操作包括以下之一：

所述同步信息用于指示对所述N个码流中的至少两个码流进行解码得到的数据进行同步输出；

所述同步信息用于指示对所述N个码流中的至少两个码流进行同步解码；

所述同步信息用于指示对所述N个码流中的至少两个码流进行解码得到的数据进行同步解码，并进行同步输出；

所述同步信息用于指示对所述N个码流中的至少两个码流进行同步定位。

22.一种码流处理装置，其特征在于，包括：

解码模块，用于分别对接收到的N个码流进行解码操作得到N个图像，在执行所述解码操作的过程中获取到分别设置在所述N个码流中的同步信息，其中，N大于等于2；

同步模块，用于根据所述同步信息同步操作所述N个图像中的至少两个图像；

其中，所述解码模块，还用于分别对所述N个码流执行图像层解码，其中，至少有两个所述图像层解码采用不同的视频标准；

所述解码模块包括：

第二判断单元，用于判断对所述N个码流中的第一码流执行第一图像层解码操作所得到的第三图像的重建图像的图像属性是否为符合第二视频标准的图像属性，其中，所述第一图像层解码采用第一视频标准，所述第二视频标准为对所述N个码流中的第二码流执行第二图像层解码的视频标准；

第二处理单元，用于若所述第三图像的重建图像的图像属性不为符合所述第二视频标准的图像属性，则将所述第三图像的重建图像的图像属性调整为符合所述第二视频标准的图像属性，并将调整了图像属性的所述第三图像的重建图像添加到符合所述第二视频标准的参考帧管理信息中，其中，所述符合第二视频标准的参考帧管理信息用于采用所述第二视频标准对所述第二码流执行所述第二图像层解码。

23.根据权利要求22所述的装置，其特征在于，所述解码模块还包括：

第一解码单元，用于对所述N个图像分别执行图像层解码得到所述N个码流，其中，所述同步信息设置在执行所述图像层解码所得到的数据中；

第二解码单元，用于对所述N个图像分别执行图像层解码以及***层解码得到所述N个码流，其中，所述同步信息设置在执行所述图像层解码所得到的数据和/或在执行所述***层解码所得到的数据中；

第三解码单元，用于对所述N个图像分别执行图像层解码以及应用层解码得到所述N个码流，其中，所述同步信息设置在执行所述图像层解码所得到的数据和/或在执行所述应用层解码所得到的数据中；

第四解码单元，用于分别对接收到的所述N个码流分别执行应用层解码、***层解码、图像层解码得到所述N个图像，其中，在执行所述***层解码所得到的数据中和/或在执行所述应用层解码所得到的数据中和/或在执行所述图像层解码所得到的数据中获取到所述同步信息。

24.根据权利要求22所述的装置，其特征在于，所述图像属性包括以下至少之一：图像尺寸、图像亮度采样频率、图像色度采样频率、图像像素位、图像像素颜色空间。

25.根据权利要求22所述的装置，其特征在于，所述第一视频标准与所述第二视频标准不同。

26.根据权利要求22所述的装置，其特征在于，所述根据所述同步信息同步操作所述N个图像中的至少两个图像包括以下之一：

根据所述同步信息进行解码得到的所述N个图像中的至少两个图像进行同步输出；

根据所述同步信息进行解码得到的所述N个图像中的至少两个进行同步解码；

根据所述同步信息进行解码得到的所述N个图像中的至少两个图像进行同步解码，并进行同步输出；

根据所述同步信息进行解码得到的所述N个图像中的至少两个图像进行同步定位。

27.一种码流处理***，其特征在于，包括：权利要求14至21任一项所述的码流处理装置和权利要求22至26任一项所述的码流处理装置。

Images