CN115695883A - 一种视频数据处理方法、装置、设备以及存储介质 - Google Patents
一种视频数据处理方法、装置、设备以及存储介质 Download PDFInfo
- Publication number
- CN115695883A CN115695883A CN202211182780.7A CN202211182780A CN115695883A CN 115695883 A CN115695883 A CN 115695883A CN 202211182780 A CN202211182780 A CN 202211182780A CN 115695883 A CN115695883 A CN 115695883A
- Authority
- CN
- China
- Prior art keywords
- video stream
- frame
- target video
- path
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 56
- 230000001360 synchronised effect Effects 0.000 claims abstract description 37
- 238000000034 method Methods 0.000 claims description 36
- 238000004891 communication Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 14
- 230000000007 visual effect Effects 0.000 claims description 11
- 230000002123 temporal effect Effects 0.000 claims description 8
- 238000012512 characterization method Methods 0.000 claims description 4
- 230000003139 buffering effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000000153 supplemental effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明实施例提供了一种视频数据处理方法、装置、设备以及存储介质，涉及多媒体技术领域。具体实现方案为：获取针对目标场景采集的多路目标视频流；针对每路目标视频流，从该路目标视频流的指定帧中，获取该路目标视频流对应的同步时间信息；利用每路目标视频流对应的同步时间信息，对所述多路目标视频流进行对齐处理；其中，所述对齐处理用于将不同目标视频流中、对应有相同同步时间信息的视频帧进行对齐；对所述对齐处理后的多路目标视频流进行合流处理，得到合流数据；其中，所述合流处理表征将各路目标视频流中相对齐的视频帧合成为多画面对应的视频帧。可见，通过本方案，可以使得多画面实现精确同步。
Description
技术领域
本发明涉及多媒体技术领域，特别是涉及一种视频数据处理方法、装置、设备以及存储介质。
背景技术
随着5G技术的发展，线上云演艺、线上直播观赏成为常态。为了突破传统的单一直播视角限制，多画面直播应运而生。
相关技术中，多画面直播往往只是将多个视角对应的视频画面简单合成在一个界面中进行多画面显示。
发明人在研究中发现，在利用相关技术时，各个视角对应的视频画面在显示时对应的时间不同步，即对应于同一视频采集时间的多个视频画面可能由于视频流的传输速度等差异，导致在客户端中的显示时间不同。从而，相关技术所提供的方案导致在客户端中同一时间显示的各个视频画面之间的关联性较差，严重影响用户的观看体验。
因此，亟需一种视频数据处理方法，以使得多画面实现精确同步。
发明内容
本发明实施例的目的在于提供一种视频数据处理方法、装置、设备以及存储介质，以实现多画面的精确同步。具体技术方案如下：
第一方面，本发明实施例提供了一种视频数据处理方法，应用于服务端，所述方法包括：
获取针对目标场景采集的多路目标视频流；其中，每路目标视频流对应一视角的视频画面；
针对每路目标视频流，从该路目标视频流的指定帧中，获取该路目标视频流对应的同步时间信息；其中，所述指定帧为表征时间补充信息的帧；每路目标视频流对应的同步时间信息为对应于同一时间标准的时间信息；
利用每路目标视频流对应的同步时间信息，对所述多路目标视频流进行对齐处理；其中，所述对齐处理用于将不同目标视频流中、对应有相同同步时间信息的视频帧进行对齐；
对所述对齐处理后的多路目标视频流进行合流处理，得到合流数据；其中，所述合流处理表征将各路目标视频流中相对齐的视频帧合成为多画面对应的视频帧。
可选地，所述利用每路目标视频流对应的同步时间信息，对所述多路目标视频流进行对齐处理，包括：
从所述多路目标视频流中，确定一基准视频流；
针对除所述基准视频流以外的每路目标视频流，基于该路目标视频流对应的同步时间信息和所述基准视频流对应的同步时间信息，确定该路目标视频流相对于所述基准视频流的时间偏移量；其中，所述时间偏移量用于表征针对同一帧序的视频帧的采集时间差；
利用所确定出的时间偏移量，对所述多路目标视频流进行对齐处理
可选地，所述从所述多路目标视频流中，确定一基准视频流，包括：
将所述多路目标视频流中，首帧视频帧所对应的同步时间信息最早的目标视频流，确定为基准视频流。
可选地，所述基于该路目标视频流对应的同步时间信息和所述基准视频流对应的同步时间信息，确定该路目标视频流相对于所述基准视频流的时间偏移量，包括：
计算该路目标视频流中首帧视频帧所对应的同步时间信息与所述基准视频流中首帧视频帧所对应的同步时间信息的差值，得到该路目标视频流相对于所述基准视频流的时间偏移量。
可选地，所述利用所确定出的时间偏移量，对所述多路目标视频流进行对齐处理，包括：
针对除所述基准视频流以外的每路目标视频流，将该路目标视频流中的首帧视频帧与所述基准视频流中的基准帧进行对齐，使得该路目标视频流中的各视频帧与所述基准视频流中的各视频帧对齐；
其中，所述基准帧为所述基准视频流中首帧视频帧所对应的同步时间信息，进行指定时间偏移后所对应的视频帧；所述指定时间偏移表征该路目标视频流相对于所述基准视频流对应的时间偏移量的时间偏移。
可选地，所述方法还包括：
按照预先设置的多个码率，对所述合流数据进行编码，得到多个编码数据；
将所述多个编码数据中的各个视频帧进行逐帧对齐，并对相对齐的视频帧标记相同的时间戳信息；其中，所述逐帧对齐表征对所述多个编码数据中的各个视频帧中、排序位置相同的视频帧进行对齐；
根据所述多个编码数据中的各个视频帧对应的时间戳信息，对所述多个编码数据进行切片处理后输出到指定接收端。
可选地，所述对所述多个编码数据进行切片处理后输出到指定接收端，包括：
针对每一编码数据，对该编码数据进行切片处理后，在得到至少两个切片后，从所对应的时间戳信息最小的一个切片开始，向指定接收端进行切片的输出。
第二方面，本发明实施例提供了一种视频数据处理装置，应用于服务端，所述装置包括：
第一获取模块，用于获取针对目标场景采集的多路目标视频流；其中，每路目标视频流对应一视角的视频画面；
第二获取模块，用于针对每路目标视频流，从该路目标视频流的指定帧中，获取该路目标视频流对应的同步时间信息；其中，所述指定帧为表征时间补充信息的帧；每路目标视频流对应的同步时间信息为对应于同一时间标准的时间信息；
对齐模块，用于利用每路目标视频流对应的同步时间信息，对所述多路目标视频流进行对齐处理；其中，所述对齐处理用于将不同目标视频流中、对应有相同同步时间信息的视频帧进行对齐；
合流模块，用于对所述对齐处理后的多路目标视频流进行合流处理，得到合流数据；其中，所述合流处理表征将各路目标视频流中相对齐的视频帧合成为多画面对应的视频帧。
可选地，所述对齐模块，包括：
第一确定子模块，用于从所述多路目标视频流中，确定一基准视频流；
第二确定子模块，针对除所述基准视频流以外的每路目标视频流，基于该路目标视频流对应的同步时间信息和所述基准视频流对应的同步时间信息，确定该路目标视频流相对于所述基准视频流的时间偏移量；其中，所述时间偏移量用于表征针对同一帧序的视频帧的采集时间差；
对齐子模块，用于利用所确定出的时间偏移量，对所述多路目标视频流进行对齐处理。
可选地，所述第一确定子模块，具体用于：
将所述多路目标视频流中，首帧视频帧所对应的同步时间信息最早的目标视频流，确定为基准视频流。
可选地，所述第二确定子模块，具体用于：
计算该路目标视频流中首帧视频帧所对应的同步时间信息与所述基准视频流中首帧视频帧所对应的同步时间信息的差值，得到该路目标视频流相对于所述基准视频流的时间偏移量。
可选地，所述对齐子模块，具体用于：
针对除所述基准视频流以外的每路目标视频流，将该路目标视频流中的首帧视频帧与所述基准视频流中的基准帧进行对齐，使得该路目标视频流中的各视频帧与所述基准视频流中的各视频帧对齐；
其中，所述基准帧为所述基准视频流中首帧视频帧所对应的同步时间信息，进行指定时间偏移后所对应的视频帧；所述指定时间偏移表征该路目标视频流相对于所述基准视频流对应的时间偏移量的时间偏移。
可选地，所述装置还包括：
编码模块，用于按照预先设置的多个码率，对所述合流数据进行编码，得到多个编码数据；
标记模块，用于将所述多个编码数据中的各个视频帧进行逐帧对齐，并对相对齐的视频帧标记相同的时间戳信息；其中，所述逐帧对齐表征对所述多个编码数据中的各个视频帧中、排序位置相同的视频帧进行对齐；
切片模块，用于根据所述多个编码数据中的各个视频帧对应的时间戳信息，对所述多个编码数据进行切片处理后输出到指定接收端。
可选地，所述切片模块，具体用于：
针对每一编码数据，对该编码数据进行切片处理后，在得到至少两个切片后，从所对应的时间戳信息最小的一个切片开始，向指定接收端进行切片的输出。
第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述的视频数据处理方法的步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述的视频数据处理方法的步骤。
本发明实施例有益效果：
本发明实施例提供的方案，获取多路目标视频流，针对每路目标视频流，从所获取的该路目标视频流的指定帧中，获取该路目标视频流对应的同步时间信息，由于每路目标视频流对应的同步时间信息为对应于同一时间标准的信息，因此，利用各路目标视频流对应的同步时间信息对多路目标视频流进行对齐处理，可以使得不同目标视频流中、对应于相同时间的视频帧进行对齐。从而，该对齐处理后的多路目标视频流进行合流处理后，所得到的合流数据中的每一视频帧由各个目标视频流中、对应有相同时间的视频帧构成。进而，后续将该合流数据输出到多画面展示界面中进行播放时，可以实现播放的多画面之间的精确同步。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例所提供的一种视频数据处理方法的流程图；
图2为本发明实施例所提供的视频数据处理方法的另一流程图；
图3为本发明实施例所提供的视频数据处理方法的一个具体示例的***框图；
图4为本发明实施例所提供的视频数据处理装置的结构示意图；
图5为本发明实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
下面，首先对本发明实施例所涉及的专业术语进行介绍。
timingSEI(timing Supplemental Enhancement Information，时间补充增强信息)：***到视频流中以传达额外时间信息的文本数据；
IDR(Instantaneous Decoder Refresh，解码刷新)帧：解码到当前帧，解码器就可以把缓存全清了，后续帧不会再去参照该帧之前的帧进行解码，从IDR帧开始，重新算一个新的序列开始编码；
切片：将视频分成若干个片段，每个片段即为一个切片。
传统的多画面直播往往只是将多个视角对应的多路视频流进行简单合成，输出到客户端进行播放。当用户切换视角时或者多个视角内容重叠时，由于视频采集设备拍摄视频的时间不对应，导致多个画面之间的关联性较差，严重影响用户体验。
基于上述内容，为了使得多画面实现精确同步，本发明实施例提供了一种视频数据处理方法、装置、设备以及存储介质。
下面，首先对本发明实施例所提供的一种视频数据处理方法进行介绍。
本发明实施例所提供的一种视频数据处理方法应用于服务端，该服务端可以与客户端以及视频采集设备相通信。在实际应用中，该服务端可以从多个视角对应的视频采集设备中获取多路视频流，并将多路视频流进行处理后所得到的合流数据输出到客户端中进行播放。示例性的，该视频采集设备可以是摄像机、录像机，等等。
具体而言，该视频数据处理方法的执行主体可以为视频数据处理装置。示例性的，当该视频数据处理方法应用于服务端时，该视频数据处理装置可以为运行于服务端中的计算机程序，该计算机程序可以用于实现多画面的精确同步。
其中，本公开实施例所提供的一种视频数据处理方法，可以包括如下步骤：
获取针对目标场景采集的多路目标视频流；其中，每路目标视频流对应一视角的视频画面；
针对每路目标视频流，从该路目标视频流的指定帧中，获取该路目标视频流对应的同步时间信息；其中，所述指定帧为表征时间补充信息的帧；每路目标视频流对应的同步时间信息为对应于同一时间标准的时间信息；
利用每路目标视频流对应的同步时间信息，对所述多路目标视频流进行对齐处理；其中，所述对齐处理用于将不同目标视频流中、对应有相同同步时间信息的视频帧进行对齐；
对所述对齐处理后的多路目标视频流进行合流处理，得到合流数据；其中，所述合流处理表征将各路目标视频流中相对齐的视频帧合成为多画面对应的视频帧。
本发明实施例提供的方案，获取多路目标视频流，针对每路目标视频流，从所获取的该路目标视频流的指定帧中，获取该路目标视频流对应的同步时间信息，由于每路目标视频流对应的同步时间信息为对应于同一时间标准的信息，因此，利用各路目标视频流对应的同步时间信息对多路目标视频流进行对齐处理，可以使得不同目标视频流中、对应于相同时间的视频帧进行对齐。从而，该对齐处理后的多路目标视频流进行合流处理后，所得到的合流数据中的每一视频帧由各个目标视频流中、对应有相同时间的视频帧构成。进而，后续将该合流数据输出到多画面展示界面中进行播放时，可以实现播放的多画面之间的精确同步。
下面结合附图，对本发明实施例所提供的视频数据处理方法进行介绍。
如图1所示，本公开实施例所提供的视频数据处理方法，可以包括步骤S101-S104：
S101，获取针对目标场景采集的多路目标视频流；其中，每路目标视频流对应一视角的视频画面；
本实施例中，首先获取针对目标场景采集的多路目标视频流，该所获取的多路目标视频流可以由相关工作人员预先确定。示例性的，该目标场景可以是待进行多画面直播的场景，例如大型晚会、演唱会等场景。示例性的，工作人员可以预先在直播后台的操作界面中填入需要共屏多画面显示的各个视频流的标识信息，服务端在接收到上述标识信息后，从视频采集设备中拉取对应于该各个视频流的标识信息的各个目标视频流，完成多路目标视频流的获取。
可以理解的是，每路目标视频流对应一视角的视频画面，即每路目标视频流由对应一拍摄视角的视频采集设备所拍摄，且输出到客户端的播放界面所设置的多个画面位置中的一画面位置进行播放显示。另外，需要说明的是，在获取多路目标视频流时，由于该多路目标视频流用于显示到同一播放界面中，此时，为了保证该播放界面中多个画面在显示时具有相同的流畅度，可以以相同帧率获取该多路目标视频流。并且，所获取的各路目标视频流中的起始帧为IDR帧，以使得各路目标视频流可以顺利解码开播。
S102，针对每路目标视频流，从该路目标视频流的指定帧中，获取该路目标视频流对应的同步时间信息；其中，该指定帧为表征时间补充信息的帧；每路目标视频流对应的同步时间信息为对应于同一时间标准的时间信息；
可以理解的是，由于指定帧为表征该目标视频流的时间补充信息的帧，因此，可以从该指定帧中获取该目标视频流对应的同步时间信息。并且，由于该同步时间信息为对应于同一时间标准的时间信息，因此后续对该多路目标视频流进行对齐处理时，可以利用该同步时间信息将对应于同一时间的各个目标视频流中的各个视频帧进行对齐。
示例性的，该同步时间信息可以是该指定帧中所包含的ntp(Network TimeProtocol，网络时间协议)数据、ptp(Precise Time Protocol，精确时间协议)数据，等等。示例性的，若该指定帧中包含ntp数据，则对该指定帧进行解析，得到该指定帧中所包含的ntp数据，即实现从该指定帧中获取该目标视频流对应的同步时间信息。示例性的，该指定帧可以是timingSEI帧，该timingSEI帧中包含有目标视频流对应的ntp数据，该timingSEI帧可以由视频采集设备在生成视频流时压入，该视频流中的每一视频帧均可对应一timingSEI帧，每一视频帧后的timingSEI帧表征该帧对应的采集时间。
S103，利用每路目标视频流对应的同步时间信息，对该多路目标视频流进行对齐处理；其中，该对齐处理用于将不同目标视频流中、对应有相同同步时间信息的视频帧进行对齐；
可以理解的是，在进行多画面直播时，由于该多画面为对应于目标场景的多个视角的画面，各个视角对应的视频内容应具有关联性，因此，在获取到多路目标视频流之后，可以对各路目标视频流进行对齐处理，以使得后续将该对齐处理后的多路目标视频流进行合流处理后，合流数据中的每一帧由各个目标视频流中、对应有相同时间的视频帧构成，从而使得合流数据在客户端中进行播放时，播放界面中的多画面可以实现精确同步。
可选地，在一种实现方式中，利用每路目标视频流对应的同步时间信息，对该多路目标视频流进行对齐处理，可以包括步骤A1-A3：
A1，从该多路目标视频流中，确定一基准视频流；
可以理解的是，从该多路目标视频流中，确定一基准视频流，后续可以通过将除该基准视频流以外的各个目标视频流与基准视频流进行对齐，实现该多路目标视频流的对齐。其中，该基准视频流可以是该多路目标视频流中的任一视频流。
示例性的，在一种具体的实现方式中，从该多路目标视频流中，确定一基准视频流，可以包括：
将该多路目标视频流中，首帧视频帧所对应的同步时间信息最早的目标视频流，确定为基准视频流。
示例性的，若多路目标视频流为A路视频流和B路视频流，且A路视频流中，首帧视频帧所对应的同步时间信息为18:00，B路视频流中，首帧视频帧所对应的同步时间信息为18:01，则将A路视频流确定为基准视频流。可以理解的是，以首帧视频帧所对应的同步时间信息最早的目标视频流，作为基准视频流，可以便于后续确定各路目标视频流相对于该基准视频流的时间偏移量。
A2，针对除该基准视频流以外的每路目标视频流，基于该路目标视频流对应的同步时间信息和该基准视频流对应的同步时间信息，确定该路目标视频流相对于该基准视频流的时间偏移量；其中，该时间偏移量用于表征针对同一帧序的视频帧的采集时间差；
本实现方式中，可以将该路目标视频流对应的同步时间信息与该基准视频流对应的同步时间信息的差值，确定为该路目标视频流相对于该基准视频流的时间偏移量。其中，该目标视频流对应的同步时间信息与该基准视频流对应的同步时间信息，可以是任一对应于同一帧序的视频帧所对应的同步时间信息。示例性的，可以将A路视频流中的第1帧视频帧所对应的同步时间信息，与基准视频流中第1帧视频帧所对应的同步时间信息的差值，确定为A路目标视频流相对于该基准视频流的时间偏移量。
示例性的，在一种具体的实现方式中，基于该路目标视频流对应的同步时间信息和该基准视频流对应的同步时间信息，确定该路目标视频流相对于该基准视频流的时间偏移量，可以包括：
计算该路目标视频流中首帧视频帧所对应的同步时间信息与该基准视频流中首帧视频帧所对应的同步时间信息的差值，得到该路目标视频流相对于该基准视频流的时间偏移量。
可以理解的是，由于所获取的多路目标视频流具有相同的帧率，因此，该路目标视频流中首帧视频帧所对应的同步时间信息与该基准视频流中首帧视频帧所对应的同步时间信息的差值，也是该路目标视频流与该基准视频流中任一具有同一帧序的视频帧所对应的同步时间信息的差值。因此，后续利用计算该差值所得到的时间偏移量对多路目标视频流进行对齐处理，可以使得该路目标视频流中的各视频帧与该基准视频流中的各视频帧对齐。
A3，利用所确定出的时间偏移量，对该多路目标视频流进行对齐处理。
可以理解的是，由于同步时间信息为目标视频流中所携带的、对应于视频流的采集时间的信息，因此，基于除该基准视频流以外的每路目标视频流的同步时间信息，和该基准视频流对应的同步时间信息之间的差值，所确定出的各路目标视频流相对于该基准视频流的时间偏移量，可以表征所获取的各路视频流之间的采集时间的差异。为了使得后续视频播放时多画面之间具有关联性，可以利用所确定出的时间偏移量，对该多路目标视频流进行对齐处理，即将各路视频流中对应有相同同步时间信息的视频帧对齐，以使得多画面间的差异可以缩小到1帧以内。
可以理解的是，利用所确定出的时间偏移量，对该多路目标视频流进行对齐处理的方式可以有多种，示例性的，在一种具体的实现方式中，利用所确定出的时间偏移量，对该多路目标视频流进行对齐处理，可以包括：
针对除该基准视频流以外的每路目标视频流，将该路目标视频流中的首帧视频帧与该基准视频流中的基准帧进行对齐，使得该路目标视频流中的各视频帧与该基准视频流中的各视频帧对齐；
其中，该基准帧为该基准视频流中首帧视频帧所对应的同步时间信息，进行指定时间偏移后所对应的视频帧；该指定时间偏移表征该路目标视频流相对于该基准视频流对应的时间偏移量的时间偏移。
可以理解的是，由于各路视频流的首帧可能为对应于不同时间的视频帧，因此，为了使得后续对多路视频流进行合流处理时，所得到的合流数据中的每一帧由各个目标视频流中、对应有相同时间的视频帧构成，还可以利用所确定出的时间偏移量，对该多路目标视频流进行对齐处理。
本实现方式中，通过将除该基准视频流以外的每路目标视频流中的首帧视频帧，与基准视频流中的基准帧进行对齐，使得该路目标视频流中的各视频帧与该基准视频流中的各视频帧对齐。示例性的，若A路视频流对应的视频帧序列为A1帧到A10帧，且A1帧对应的同步时间信息为18:00:10；B路视频流对应的视频帧序列为B1帧到B10帧，且B1帧对应的同步时间信息为18:00:20；基准视频流对应的视频帧序列为C1帧到C10帧，且C1帧对应的同步时间信息为18:00:00，C2帧对应的同步时间信息为18:00:10，C3帧对应的同步时间信息为18:00:20。则A路视频流相对于该基准视频流的时间偏移量为10秒，B路视频流相对于该基准视频流的时间偏移量为20秒。则针对A路视频流，将基准视频流的首帧视频帧对应的同步时间信息偏移10秒后所对应的视频帧作为基准帧，即将C2帧确定为基准帧，将该A路视频流的首帧视频帧与该基准帧进行对齐，以实现对应有相同同步时间信息的视频帧的对齐；针对B路视频流，将基准视频流的首帧视频帧对应的同步时间信息偏移20秒后所对应的视频帧作为基准帧，即将C3帧确定为基准帧，将该B路视频流的首帧视频帧与该基准帧进行对齐，以实现对应有相同同步时间信息的视频帧的对齐。
可以理解的是，针对除该基准视频流以外的每路目标视频流，在将该路目标视频流中的首帧视频帧与该基准视频流中的基准帧进行对齐后，由于各路视频流的帧率相同，因此该路目标视频流中的其他各视频帧与该基准视频流中的各视频帧也实现了对齐。
S104，对该对齐处理后的多路目标视频流进行合流处理，得到合流数据；其中，该合流处理表征将各路目标视频流中相对齐的视频帧合成为多画面对应的视频帧。
本实施例中，对该对齐处理后的多路目标视频流进行合流处理，即将该对齐处理后的多路目标视频流中视频帧按照多画面的布局进行叠加。示例性的，工作人员可以预先在直播后台的操作界面中设置多画面的布局信息，服务端在接收到上述布局信息后，可以按照该布局信息所表征的多画面布局样式将多路目标视频流进行合流。
可以理解的是，由于对齐处理后的多路目标视频流中、对应于相同时间的视频帧进行对齐，因此，该对齐处理后的多路目标视频流进行合流处理后，得到的合流数据中的每一帧由各个目标视频流中、对应有相同时间的视频帧构成。从而，后续将该合流数据输出到多画面展示界面中进行播放时，可以实现多画面的精确同步。
本发明实施例提供的方案，获取多路目标视频流，针对每路目标视频流，从所获取的该路目标视频流的指定帧中，获取该路目标视频流对应的同步时间信息，由于每路目标视频流对应的同步时间信息为对应于同一时间标准的信息，因此，利用各路目标视频流对应的同步时间信息对多路目标视频流进行对齐处理，可以使得不同目标视频流中、对应于相同时间的视频帧进行对齐。从而，该对齐处理后的多路目标视频流进行合流处理后，所得到的合流数据中的每一视频帧由各个目标视频流中、对应有相同时间的视频帧构成。进而，后续将该合流数据输出到多画面展示界面中进行播放时，可以实现播放的多画面之间的精确同步。
可选地，在本发明的另一实施例中，在图1所示实施例的基础上，如图2所示，所述方法还可以包括：
S201，按照预先设置的多个码率，对该合流数据进行编码，得到多个编码数据；
可以理解的是，由于在分辨率一定的情况下，码率和清晰度成正比，因此，对该合流数据进行多个码率的编码，得到对应于多个码率的编码数据，后续可以通过将不同码率的编码数据输出到客户端进行播放，以使得目标视频流以不同的清晰度进行播放。
示例性的，工作人员可以根据多画面直播所需的多种清晰度，预先在直播后台的操作界面中设置多个码率，并提交到服务端以使得服务端在接收到该多个码率后，可以按照该多个码率，将合流数据输入到对应于该多个码率的编码器中进行编码，得到多个编码数据。另外，需要说明的是，对该合流数据进行编码的编码格式可以是H.264或者H.265等多种编码格式，本发明实施例对该编码数据的编码格式并不限定。
S202，将该多个编码数据中的各个视频帧进行逐帧对齐，并对相对齐的视频帧标记相同的时间戳信息；其中，该逐帧对齐表征对该多个编码数据中的各个视频帧中、排序位置相同的视频帧进行对齐；
可以理解的是，由于不同码率的编码数据输出时，对应的输出速度不一致，因此，若直接将多个码率对应的编码数据输出到客户端，会使得客户端在切换清晰度时，切换前和切换后所对应的画面不一致，即码率切换前后的画面的衔接性较差，从而使得用户体验较差。为了解决上述问题，在对合流数据进行编码得到多个编码数据之后，还可以将该多个编码数据中的各个视频帧进行逐帧对齐，即将具有相同帧序的视频帧对齐，并标记上相同的时间戳信息。从而，使得后续将该多个编码数据进行切片输出时，可以按照相同的时间戳信息对多个编码数据进行切片，使得不同的编码数据所对应的具有相同起始时间戳信息的各个切片对应有相同的切片时长。
S203，根据该多个编码数据中的各个视频帧对应的时间戳信息，对该多个编码数据进行切片处理后输出到指定接收端。
本实施例中，可以按照相同的时间戳信息对各个编码数据进行切片处理，即按照相同的时间戳信息将编码数据划分成若干个切片，以使得对应有相同起始时间戳信息的各个切片的切片时长一致。示例性的，若编码数据A中的视频帧为A1帧到A10帧，编码数据B中的视频帧为B1帧到B10帧，则将A1帧和B1帧标记相同的时间戳信息，A2帧和B2帧标记相同的时间戳信息，以此类推。可以理解的是，由于编码数据A和编码数据B由相同的合流数据进行不同码率的编码得到，因此，在将排序位置相同的视频帧标记上相同的时间戳信息后，按照多个编码数据中的各个视频帧对应的时间戳信息，对该多个编码数据进行切片处理后，可以使得对应有相同起始时间戳信息的各个切片中的起始帧和结束帧为相同的视频帧，从而使得对应有相同起始时间戳信息的各个切片切片时长一致。
示例性的，该多个编码数据进行切片处理后输出到的指定接收端可以是客户端、CDN(Content Delivery Network，内容分发网络)端，等等，若指定接收端为CDN端，则客户端从该CDN端拉取各个切片进行播放。可以理解的是，在按照相同的时间戳信息对多个编码数据进行切片处理后，该多个编码数据对应的各个切片中，对应有相同起始时间戳信息的各个切片为对应有相同视频内容的切片，因此，当用户在客户端切换清晰度时，可以根据切换前的播放位置所对应的切片，查找与该切片具有相同起始时间戳信息的切片，并将该切片作为切换后的切片进行播放，从而可以在切换码率时做到无缝衔接。
可选地，在一种实现方式中，对该多个编码数据进行切片处理后输出到指定接收端，可以包括：
针对每一编码数据，对该编码数据进行切片处理后，在得到至少两个切片后，从所对应的时间戳信息最小的一个切片开始，向指定接收端进行切片的输出。
可以理解的是，在对编码数据进行切片处理后，若直接将切片输出到客户端进行播放，当客户端的用户切换清晰度时，由于不同码率的切片的输出速度不一致，切换后的码率对应的切片可能还没生成，此时，会导致断流、卡顿等问题。因此，本实现方式中通过在得到至少两个切片后，从所对应的时间戳信息最小的一个切片开始，向指定接收端进行切片的输出，由于服务端中缓存了至少一个切片，可以使得当客户端切换码率时，可以获取到该切换后的码率所对应的切片，使得客户端可以流畅的播放切换清晰度后的视频画面。
可见，通过本方案，可以在使得多画面实现精确同步的基础上，实现在多码率之间切换时，切换前和切换后的画面的无缝衔接。
为了更加清楚的理解本发明实施例的内容，下面结合一个具体的示例对本发明实施例的内容进行介绍。
本示例基于直播编码***和视频分发调度***进行开发设计，其中，直播编码***在经过缓存模块对齐起始帧后开始缓存，即以IDR帧作为起始帧开始缓存；缓存后的多路视频流(对应于上文中的多路目标视频流)需要经过输入同步模块进行对齐和修正；然后将对应于同一时间的多路视频帧一起输入到合流模块，合流之后的每一帧分别拷贝送入多码率对应的编码器进行编码，得到多个码率对应的编码数据；再依次获取编码输出后的视频帧，对相对齐的视频帧标记相同的pts(时间戳)，最后确保不同码率的编码数据以相同的帧流逝速度和pts同步输出。视频分发调度***依赖pts进行切片分发，确保不通码率的切片时长、帧数量、切片对应的起始pts完全一致。为了使得多个码率对应的、具有相同起始pts的切片同时存在，可以提前预置至少1个切片，即在得到至少两个切片后，从所对应的时间戳信息最小的一个切片开始，向客户端进行切片的输出，这样客户端可以无缝在不同码率间进行切换观看。
图3展示了实现上述视频数据处理方法的一个具体示例的***框图，如图3所示，包括缓存模块、输入同步模块、合流模块、编码模块以及输出同步模块，下面对该各个模块的功能进行介绍。
(1)缓存模块
该模块主要对输入的多路视频流进行格式解析以及数据缓存。如图3所示，输入0、输入1至输入n为输入的多路视频流，缓存模块从视频采集设备中获取该多路视频流进行缓存。其中，缓存时间可根据视频流类型的不同灵活配置，常用10s，缓存时需要从IDR帧开始缓存，保障起始IDR帧和timingSEI帧的严格相邻关系，避免帧匹配精度误差。其中，timingSEI帧(对应于上文中的指定帧)中包含ntp数据(对应于上文中的同步时间信息)，该timingSEI帧为视频采集设备在采集视频流时实时压制的包含ntp数据的帧。
(2)输入同步模块
该模块是实现多画面同步的核心模块，作用是将多路输入流中具有同一时间的各个视频帧进行对齐，从而在合流前完成多路视频流中各个视频帧的同步。其中，同步策如下：
通过获取视频流中的timingSEI帧，将多路视频流中首帧视频帧对应的ntp数据最小的视频流作为基准流，其他视频流根据各自的首帧视频帧对应的ntp数据计算和基准流的时间偏移量，并等到其正确的实时点开始输出缓存数据，即对应于同一ntp数据的各个视频帧都缓存完成后开始输出，使得对应于同一ntp数据的各个视频帧合成为多画面对应的视频帧，以做到精确帧同步。此时多画面间差异通过同步处理后可缩短到1帧(40ms)以内。
(3)合流模块
该模块主要用于将多路视频流按照预先设置的多画面布局进行叠加合流，得到合流数据，并最终在一个界面中进行多画面显示。
(4)编码模块
该模块用于将合流后的合流数据进行编码压缩，本示例中，该直播编码***支持包括H.264、H.265等多种编码格式输出。
(5)输出同步模块
由于多画面同步依赖于直播转码服务，其中，直播转码服务即从输入读取、解复用、转码、应用指定音视频滤镜特效、输出为指定格式输出流的整套服务，本示例中，输出同步模块也集成到该直播转码服务的流程中。
默认情况下多码率编码后会实时推流到指定的CDN端或专用媒体服务器，即编码后的编码数据立即通过网络接口发送。这种模式由于多码率的编码数据的输出进度不一致，使用户在切换码率时会看到之前或者之后的画面，从而带来不良体验。
输出同步模块用于将多码率的视频帧进行逐帧对齐，并将相对齐的视频帧标记上相同的pts，之后切片处理时按照pts逐个切片，以切片对应的起始pts命名切片，使得具有相同命名的切片为不同码率中具有相同视频内容的切片。并预置至少一个切片后输出，这样无论用户切换到哪个码率，此时拉取的视频流中都能精确查找到与该切换的视频流对应的不同码率的切片，从而使得切换码率前后播放的视频画面可以无缝衔接。如图3所示，输入0、输入1至输入n为输出的多个切片。
本示例的具体实现流程如下：
(1)用户在直播后台界面中填入需要共屏多画面显示的多路视频流，并选择合适的输出布局和多码率输出，点击启动按钮，此时直播后台自动拉取视频流，并分析视频流的格式信息从中获取ntp数据，利用ntp数据对多路视频流中具有同一时间的各个视频帧进行对齐处理。
(2)将完成对齐处理后的多路视频流，同时送入解码器解码，并将解码后的多路裸帧依次送入合流模块完成多画面的叠加合流，得到合流数据。
(3)对合流数据进行多码率的编码，将多码率的编码数据依次送入输出同步模块，将编码数据中的各视频帧逐帧对齐，并将相对齐的视频帧标记上相同的pts，送入切片服务器。切片服务器依据pts和切片时长对编码数据进行切片处理，之后通过CDN网络分发到其他边缘节点，此时，用户在客户端便可以看到完全同步的帧内画面，同时多码率间的切换也可以做到无缝衔接。
可见，通过本方案，视频采集设备将视频流对应的实时ntp数据封装在视频流的指定帧中，不需要额外的带外数据传输逻辑，即不需要额外传输视频流对应的时间信息，从而可以降低***复杂性；可以采用插件式部署策略，将上述功能模块以插件形式部署到现有***中，对现有***侵入小、耦合性低、升级部署方便、稳定性更强；采用实时视频帧同步输出技术，确保多码率切换点位和画面的精确同步；采用视频帧对应的pts命名切片和切片输出对齐机制，确保切片内容连续。
相应于上述方法实施例，本发明实施例还提供了一种视频数据处理装置，应用于服务端，如图4所示，所述装置包括：
第一获取模块410，用于获取针对目标场景采集的多路目标视频流；其中，每路目标视频流对应一视角的视频画面；
第二获取模块420，用于针对每路目标视频流，从该路目标视频流的指定帧中，获取该路目标视频流对应的同步时间信息；其中，所述指定帧为表征时间补充信息的帧；每路目标视频流对应的同步时间信息为对应于同一时间标准的时间信息；
对齐模块430，用于利用每路目标视频流对应的同步时间信息，对所述多路目标视频流进行对齐处理；其中，所述对齐处理用于将不同目标视频流中、对应有相同同步时间信息的视频帧进行对齐；
合流模块440，用于对所述对齐处理后的多路目标视频流进行合流处理，得到合流数据；其中，所述合流处理表征将各路目标视频流中相对齐的视频帧合成为多画面对应的视频帧。
可选地，所述对齐模块，包括：
第一确定子模块，用于从所述多路目标视频流中，确定一基准视频流；
第二确定子模块，针对除所述基准视频流以外的每路目标视频流，基于该路目标视频流对应的同步时间信息和所述基准视频流对应的同步时间信息，确定该路目标视频流相对于所述基准视频流的时间偏移量；其中，所述时间偏移量用于表征针对同一帧序的视频帧的采集时间差；
对齐子模块，用于利用所确定出的时间偏移量，对所述多路目标视频流进行对齐处理。
可选地，所述第一确定子模块，具体用于：
将所述多路目标视频流中，首帧视频帧所对应的同步时间信息最早的目标视频流，确定为基准视频流。
可选地，所述第二确定子模块，具体用于：
计算该路目标视频流中首帧视频帧所对应的同步时间信息与所述基准视频流中首帧视频帧所对应的同步时间信息的差值，得到该路目标视频流相对于所述基准视频流的时间偏移量。
可选地，所述对齐子模块，具体用于：
针对除所述基准视频流以外的每路目标视频流，将该路目标视频流中的首帧视频帧与所述基准视频流中的基准帧进行对齐，使得该路目标视频流中的各视频帧与所述基准视频流中的各视频帧对齐；
其中，所述基准帧为所述基准视频流中首帧视频帧所对应的同步时间信息，进行指定时间偏移后所对应的视频帧；所述指定时间偏移表征该路目标视频流相对于所述基准视频流对应的时间偏移量的时间偏移。
可选地，所述装置还包括：
编码模块，用于按照预先设置的多个码率，对所述合流数据进行编码，得到多个编码数据；
标记模块，用于将所述多个编码数据中的各个视频帧进行逐帧对齐，并对相对齐的视频帧标记相同的时间戳信息；其中，所述逐帧对齐表征对所述多个编码数据中的各个视频帧中、排序位置相同的视频帧进行对齐；
切片模块，用于根据所述多个编码数据中的各个视频帧对应的时间戳信息，对所述多个编码数据进行切片处理后输出到指定接收端。
可选地，所述切片模块，具体用于：
针对每一编码数据，对该编码数据进行切片处理后，在得到至少两个切片后，从所对应的时间戳信息最小的一个切片开始，向指定接收端进行切片的输出。
本发明实施例还提供了一种电子设备，如图5所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信，
存储器503，用于存放计算机程序；
处理器501，用于执行存储器503上所存放的程序时，实现上述实施例中任一所述的视频数据处理方法的步骤。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例中任一所述的视频数据处理方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的视频数据处理方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (10)
1.一种视频数据处理方法，其特征在于，应用于服务端，所述方法包括：
获取针对目标场景采集的多路目标视频流；其中，每路目标视频流对应一视角的视频画面；
针对每路目标视频流，从该路目标视频流的指定帧中，获取该路目标视频流对应的同步时间信息；其中，所述指定帧为表征时间补充信息的帧；每路目标视频流对应的同步时间信息为对应于同一时间标准的时间信息；
利用每路目标视频流对应的同步时间信息，对所述多路目标视频流进行对齐处理；其中，所述对齐处理用于将不同目标视频流中、对应有相同同步时间信息的视频帧进行对齐；
对所述对齐处理后的多路目标视频流进行合流处理，得到合流数据；其中，所述合流处理表征将各路目标视频流中相对齐的视频帧合成为多画面对应的视频帧。
2.根据权利要求1所述的方法，其特征在于，所述利用每路目标视频流对应的同步时间信息，对所述多路目标视频流进行对齐处理，包括：
从所述多路目标视频流中，确定一基准视频流；
针对除所述基准视频流以外的每路目标视频流，基于该路目标视频流对应的同步时间信息和所述基准视频流对应的同步时间信息，确定该路目标视频流相对于所述基准视频流的时间偏移量；其中，所述时间偏移量用于表征针对同一帧序的视频帧的采集时间差；
利用所确定出的时间偏移量，对所述多路目标视频流进行对齐处理。
3.根据权利要求2所述的方法，其特征在于，所述从所述多路目标视频流中，确定一基准视频流，包括：
将所述多路目标视频流中，首帧视频帧所对应的同步时间信息最早的目标视频流，确定为基准视频流。
4.根据权利要求2所述的方法，其特征在于，所述基于该路目标视频流对应的同步时间信息和所述基准视频流对应的同步时间信息，确定该路目标视频流相对于所述基准视频流的时间偏移量，包括：
计算该路目标视频流中首帧视频帧所对应的同步时间信息与所述基准视频流中首帧视频帧所对应的同步时间信息的差值，得到该路目标视频流相对于所述基准视频流的时间偏移量。
5.根据权利要求3所述的方法，其特征在于，所述利用所确定出的时间偏移量，对所述多路目标视频流进行对齐处理，包括：
针对除所述基准视频流以外的每路目标视频流，将该路目标视频流中的首帧视频帧与所述基准视频流中的基准帧进行对齐，使得该路目标视频流中的各视频帧与所述基准视频流中的各视频帧对齐；
其中，所述基准帧为所述基准视频流中首帧视频帧所对应的同步时间信息，进行指定时间偏移后所对应的视频帧；所述指定时间偏移表征该路目标视频流相对于所述基准视频流对应的时间偏移量的时间偏移。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：
按照预先设置的多个码率，对所述合流数据进行编码，得到多个编码数据；
将所述多个编码数据中的各个视频帧进行逐帧对齐，并对相对齐的视频帧标记相同的时间戳信息；其中，所述逐帧对齐表征对所述多个编码数据中的各个视频帧中、排序位置相同的视频帧进行对齐；
根据所述多个编码数据中的各个视频帧对应的时间戳信息，对所述多个编码数据进行切片处理后输出到指定接收端。
7.根据权利要求6所述的方法，其特征在于，所述对所述多个编码数据进行切片处理后输出到指定接收端，包括：
针对每一编码数据，对该编码数据进行切片处理后，在得到至少两个切片后，从所对应的时间戳信息最小的一个切片开始，向指定接收端进行切片的输出。
8.一种视频数据处理装置，其特征在于，应用于服务端，所述装置包括：
第一获取模块，用于获取针对目标场景采集的多路目标视频流；其中，每路目标视频流对应一视角的视频画面；
第二获取模块，用于针对每路目标视频流，从该路目标视频流的指定帧中，获取该路目标视频流对应的同步时间信息；其中，所述指定帧为表征时间补充信息的帧；每路目标视频流对应的同步时间信息为对应于同一时间标准的时间信息；
对齐模块，用于利用每路目标视频流对应的同步时间信息，对所述多路目标视频流进行对齐处理；其中，所述对齐处理用于将不同目标视频流中、对应有相同同步时间信息的视频帧进行对齐；
合流模块，用于对所述对齐处理后的多路目标视频流进行合流处理，得到合流数据；其中，所述合流处理表征将各路目标视频流中相对齐的视频帧合成为多画面对应的视频帧。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211182780.7A CN115695883A (zh) | 2022-09-27 | 2022-09-27 | 一种视频数据处理方法、装置、设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211182780.7A CN115695883A (zh) | 2022-09-27 | 2022-09-27 | 一种视频数据处理方法、装置、设备以及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115695883A true CN115695883A (zh) | 2023-02-03 |
Family
ID=85062417
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211182780.7A Pending CN115695883A (zh) | 2022-09-27 | 2022-09-27 | 一种视频数据处理方法、装置、设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115695883A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117156300A (zh) * | 2023-10-30 | 2023-12-01 | 北原科技(深圳)有限公司 | 基于图像传感器的视频流合成方法和装置、设备、介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105430537A (zh) * | 2015-11-27 | 2016-03-23 | 刘军 | 对多路数据进行合成的方法、服务器及音乐教学*** |
| CN106303673A (zh) * | 2015-06-04 | 2017-01-04 | 中兴通讯股份有限公司 | 码流对齐、同步处理方法及发送、接收终端和通信*** |
| CN107682715A (zh) * | 2016-08-01 | 2018-02-09 | 腾讯科技（深圳）有限公司 | 视频同步方法及装置 |
| CN112004102A (zh) * | 2020-08-03 | 2020-11-27 | 杭州当虹科技股份有限公司 | 一种基于ip直播流的多机位画面同步方法 |
| CN112492357A (zh) * | 2020-11-13 | 2021-03-12 | 北京安博盛赢教育科技有限责任公司 | 一种处理多视频流的方法、装置、介质和电子设备 |
| CN112929580A (zh) * | 2021-01-14 | 2021-06-08 | 北京奇艺世纪科技有限公司 | 多视角视频播放方法、装置、***、服务器和客户端设备 |
| CN113873345A (zh) * | 2021-09-27 | 2021-12-31 | 中国电子科技集团公司第二十八研究所 | 一种分布式的超高清视频同步处理方法 |
-
2022
- 2022-09-27 CN CN202211182780.7A patent/CN115695883A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106303673A (zh) * | 2015-06-04 | 2017-01-04 | 中兴通讯股份有限公司 | 码流对齐、同步处理方法及发送、接收终端和通信*** |
| CN105430537A (zh) * | 2015-11-27 | 2016-03-23 | 刘军 | 对多路数据进行合成的方法、服务器及音乐教学*** |
| CN107682715A (zh) * | 2016-08-01 | 2018-02-09 | 腾讯科技（深圳）有限公司 | 视频同步方法及装置 |
| CN112004102A (zh) * | 2020-08-03 | 2020-11-27 | 杭州当虹科技股份有限公司 | 一种基于ip直播流的多机位画面同步方法 |
| CN112492357A (zh) * | 2020-11-13 | 2021-03-12 | 北京安博盛赢教育科技有限责任公司 | 一种处理多视频流的方法、装置、介质和电子设备 |
| CN112929580A (zh) * | 2021-01-14 | 2021-06-08 | 北京奇艺世纪科技有限公司 | 多视角视频播放方法、装置、***、服务器和客户端设备 |
| CN113873345A (zh) * | 2021-09-27 | 2021-12-31 | 中国电子科技集团公司第二十八研究所 | 一种分布式的超高清视频同步处理方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117156300A (zh) * | 2023-10-30 | 2023-12-01 | 北原科技(深圳)有限公司 | 基于图像传感器的视频流合成方法和装置、设备、介质 |
| CN117156300B (zh) * | 2023-10-30 | 2024-02-02 | 北原科技(深圳)有限公司 | 基于图像传感器的视频流合成方法和装置、设备、介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10123070B2 (en) | Method and system for central utilization of remotely generated large media data streams despite network bandwidth limitations | |
| KR101828639B1 (ko) | 멀티미디어 흐름을 동기화시키기 위한 방법 및 대응하는 장치 | |
| CN110933449B (zh) | 一种外部数据与视频画面的同步方法、***及装置 | |
| EP3334175A1 (en) | Streaming media and caption instant synchronization displaying and matching processing method, device and system | |
| KR100972792B1 (ko) | 스테레오스코픽 영상을 동기화하는 장치 및 방법과 이를 이용한 스테레오스코픽 영상 제공 장치 및 방법 | |
| KR20170074866A (ko) | 수신 장치, 송신 장치, 및 데이터 처리 방법 | |
| US10979477B1 (en) | Time synchronization between live video streaming and live metadata | |
| CN111182322B (zh) | 一种导播控制方法、装置、电子设备和存储介质 | |
| CN111031385B (zh) | 视频播放的方法及装置 | |
| KR101841313B1 (ko) | 멀티미디어 흐름 처리 방법 및 대응하는 장치 | |
| CN112738451B (zh) | 一种视频会议录播方法、装置、设备及可读存储介质 | |
| CN112087642B (zh) | 云导播播放方法、云导播服务器及远程管理终端 | |
| US20240107087A1 (en) | Server, terminal and non-transitory computer-readable medium | |
| CN109756744B (zh) | 数据处理方法、电子设备及计算机存储介质 | |
| CN112640479A (zh) | 用于切换媒体服务频道的方法和装置 | |
| KR101769353B1 (ko) | 증강 방송 스트림 송출 장치 및 방법, 및 증강 방송 서비스 제공 장치 및 방법 | |
| CN115695883A (zh) | 一种视频数据处理方法、装置、设备以及存储介质 | |
| CN115623264A (zh) | 直播流的字幕处理方法、装置及直播流的播放方法、装置 | |
| CN115134622A (zh) | 视频数据对齐方法、装置、设备及存储介质 | |
| CN115119009A (zh) | 视频对齐方法、视频编码方法、装置及存储介质 | |
| US10999621B2 (en) | Technique for synchronizing rendering of video frames with rendering of auxiliary media | |
| US11503385B2 (en) | Live broadcast IP latency compensation | |
| CN115426501A (zh) | 一种音视频码流时间校准方法及电子设备 | |
| CN115767130A (zh) | 一种视频数据处理方法、装置、设备以及存储介质 | |
| CN114401376A (zh) | 一种多画面视频播放方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |