CN117440128A - 视频处理方法、播放方法及相关***、存储介质 - Google Patents

视频处理方法、播放方法及相关***、存储介质 Download PDF

Info

Publication number
CN117440128A
CN117440128A CN202210829554.7A CN202210829554A CN117440128A CN 117440128 A CN117440128 A CN 117440128A CN 202210829554 A CN202210829554 A CN 202210829554A CN 117440128 A CN117440128 A CN 117440128A
Authority
CN
China
Prior art keywords
video
stream
target object
guide
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210829554.7A
Other languages
English (en)
Inventor
张莉娜
胡斐斐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202210829554.7A priority Critical patent/CN117440128A/zh
Publication of CN117440128A publication Critical patent/CN117440128A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268Signal distribution or switching

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请实施例提供一种视频处理方法、播放方法及相关***、存储介质。该视频处理方法可包括:获取多个摄像头针对同一目标区域采集的多路视频流;对所述多路视频流进行处理,得到所述目标区域中目标对象所对应的导播流,其中,所述导播流中任意时刻的视频帧均是从所述多路视频流中选取的,且所述导播流中任意时刻的视频帧均包含所述目标对象。通过直接生成目标对象所对应的导播流,这样可以方便用户直接播放目标对象的导播流进行观看,可以满足用户的观看需求,使得用户在观看过程中无需滑动屏幕或者操控遥控器,有效避免了用户频繁的进行视频视角切换,提高了用户体验。

Description

视频处理方法、播放方法及相关***、存储介质
技术领域
本申请涉及视频处理技术领域,尤其涉及一种视频处理方法、播放方法及相关***、存储介质。
背景技术
随着现代竞技体育的发展,人们对体育赛事的关注度越来越高,大量的体育赛事采取直播的方式向观众播出。体育赛事通常会在赛场周围布设多个视频采集镜头,由导播来对多路实时采集的视频信号进行现场制作,剪辑出多路视频。
用户在观看一路视频时,由于用户想要观看的对象可能存在其他路视频中,例如用户想要一直观看球或者某个球员,则需要不断滑动屏幕或者操控遥控器来从多路视频中选择一路视频进行视角切换。
由于用户在观看时需要对播放视频进行频繁的视角切换,这样对于用户来说体验不好。
发明内容
本申请公开了一种视频处理方法、播放方法及相关***、存储介质,可以方便用户在观看视频时无需视角切换,直接播放相应对象的导播流进行观看,提高用户体验。
第一方面,本申请实施例提供一种视频处理方法,包括:
获取多个摄像头针对同一目标区域采集的多路视频流;
对所述多路视频流进行处理,得到所述目标区域中目标对象所对应的导播流,其中,所述导播流中任意时刻的视频帧均是从所述多路视频流中选取的,且所述导播流中任意时刻的视频帧均包含所述目标对象。
本申请实施例中,通过获取多个摄像头针对同一目标区域采集的多路视频流;对所述多路视频流进行处理,得到所述目标区域中目标对象所对应的导播流。由于该导播流中任意时刻的视频帧均是从多路视频流中选取的,且该导播流中任意时刻的视频帧均包含目标对象。通过直接生成目标对象所对应的导播流,这样可以方便用户直接播放目标对象的导播流进行观看,可以满足用户的观看需求,使得用户在观看过程中无需滑动屏幕或者操控遥控器,有效避免了用户频繁的进行视频视角切换,提高了用户体验。
在一种可能的实现方式中,所述导播流的时长与所述多路视频流的时长相同,所述导播流在t时刻的视频帧为多帧图像中所述目标对象的像素占比最大的图像,所述多帧图像为所述多路视频流t时刻对应的视频帧。
通过将多路视频流中每个时刻像素占比最大的图像作为导播流的多帧图像,这样可以使得导播流中对象的视野是最佳的,可以提高用户体验。
在另一种可能的实现方式中,所述导播流的时长与所述多路视频流的时长相同,所述导播流在t时刻的视频帧为多帧图像中所述目标对象的像素占比大于预设阈值的图像,所述多帧图像为所述多路视频流t时刻对应的视频帧;其中,当该导播流对应至少两帧图像的所述像素占比大于预设阈值时,该导播流在t时刻的视频帧为所述至少两帧图像中所述目标对象处于中心位置的图像。
通过将多路视频流中每个时刻像素占比超出阈值的图像作为导播流的多帧图像,这样可以使得导播流中对象的视野是最佳的,可以提高用户体验。其中,在存在多个像素占比超出阈值的图像时,选取对象处于中心位置的图像,这样进一步提高了导播流中对象的视野的最佳度,提高用户观看体验。
在又一种可能的实现方式中,所述导播流的时长与所述多路视频流的时长相同,所述导播流在t时刻的视频帧为多帧图像中所述目标对象的位置与多帧图像的拍摄焦点之间的欧式距离最小的图像,所述多帧图像为所述多路视频流t时刻对应的视频帧。
通过将多路视频流中每个时刻对象的位置与多帧图像的拍摄焦点之间的欧式距离最小的图像作为导播流的多帧图像,这样可以使得导播流中对象的视野是最佳的,可以提高用户体验。
在一种可能的实现方式中,所述多个摄像头包括部署在所述目标区域的左半场和右半场的第一摄像头以及部署在所述目标区域的全景摄像头。
采用上述手段,可以获取到多角度的图像,可以保障视频中对象的视野较佳,进而提高用户观看体验。
在一种可能的实现方式中,所述方法还包括:
对所述多路视频流进行处理,以得到所述目标区域的多路自由视角流;
将所述多路自由视角流和所述目标对象所对应的导播流进行封装,以得到封装后的所述多路自由视角流和所述导播流。
本申请实施例中,通过获取多个摄像头针对同一目标区域采集的多路视频流;对所述多路视频流进行处理,得到所述目标区域中目标对象所对应的导播流以及多路自由视角流。这样基于得到的导播流以及多路自由视角流,可以方便用户进行多个选择,选取其感兴趣的自由视角流,或者观看相应的导播流,这样可以方便用户直接播放目标对象的导播流进行观看,可以满足用户的观看需求,使得用户在观看过程中无需滑动屏幕或者操控遥控器,有效避免了用户频繁的进行视频视角切换,十分方便,可以提高用户体验。
在一种可能的实现方式中,所述方法还包括:
发送所述封装后的所述多路自由视角流和所述导播流。
第二方面,本申请实施例提供一种视频播放方法,包括:
在接收到用户发送的导播请求时,播放目标对象所对应的导播流,其中,所述目标对象所对应的导播流是通过对多路视频流进行处理得到的,所述多路视频流是多个摄像头针对同一目标区域采集到的,其中,所述导播流中任意时刻的视频帧均是从所述多路视频流中选取的,且所述导播流中任意时刻的视频帧均包含所述目标对象。
本申请实施例中,在接收到用户发送的导播请求时,播放导播流。由于该导播流中任意时刻的视频帧均是从多路视频流中选取的,且该导播流中任意时刻的视频帧均包含目标对象。通过直接生成目标对象所对应的导播流,这样可以方便用户直接播放目标对象的导播流进行观看,可以满足用户的观看需求,使得用户在观看过程中无需滑动屏幕或者操控遥控器,有效避免了用户频繁的进行视频视角切换,提高了用户体验。
在一种可能的实现方式中,所述方法还包括:
显示第一按键,所述第一按键用于指示播放导播流。
通过在显示界面显示按键,以便用户直观查看并做出选择,十分方便。
在另一种可能的实现方式中,当检测到用户执行了预设手势指令或者预设语音指令,触发所述播放目标对象所对应的导播流的操作。
基于手势控制或者语音控制来达到切换播放模式,用户体验好。
在一种可能的实现方式中,所述导播流的时长与所述多路视频流的时长相同,所述导播流在t时刻的视频帧为多帧图像中所述目标对象的像素占比最大的图像,所述多帧图像为所述多路视频流t时刻对应的视频帧。
在另一种可能的实现方式中,所述导播流的时长与所述多路视频流的时长相同,所述导播流在t时刻的视频帧为多帧图像中所述目标对象的像素占比大于预设阈值的图像,所述多帧图像为所述多路视频流t时刻对应的视频帧;其中,当该导播流对应至少两帧图像的所述像素占比大于预设阈值时,该导播流在t时刻的视频帧为所述至少两帧图像中所述目标对象处于中心位置的图像。
在又一种可能的实现方式中,所述导播流的时长与所述多路视频流的时长相同,所述导播流在t时刻的视频帧为多帧图像中所述目标对象的位置与多帧图像的拍摄焦点之间的欧式距离最小的图像,所述多帧图像为所述多路视频流t时刻对应的视频帧。
在一种可能的实现方式中,所述多个摄像头包括部署在所述目标区域的左半场和右半场的第一摄像头以及部署在所述目标区域的全景摄像头。
第三方面,本申请实施例提供一种视频处理装置,包括:
获取模块,用于获取多个摄像头针对同一目标区域采集的多路视频流;
处理模块,用于对所述多路视频流进行处理,以得到所述目标区域中目标对象所对应的导播流,其中,所述导播流中任意时刻的视频帧均是从所述多路视频流中选取的,且所述导播流中任意时刻的视频帧均包含所述目标对象。
在一种可能的实现方式中,所述导播流的时长与所述多路视频流的时长相同,所述导播流在t时刻的视频帧为多帧图像中所述目标对象的像素占比最大的图像,所述多帧图像为所述多路视频流t时刻对应的视频帧。
通过将多路视频流中每个时刻像素占比最大的图像作为导播流的多帧图像,这样可以使得导播流中对象的视野是最佳的,可以提高用户体验。
在另一种可能的实现方式中,所述导播流的时长与所述多路视频流的时长相同,所述导播流在t时刻的视频帧为多帧图像中所述目标对象的像素占比大于预设阈值的图像,所述多帧图像为所述多路视频流t时刻对应的视频帧;其中,当该导播流对应至少两帧图像的所述像素占比大于预设阈值时,该导播流在t时刻的视频帧为所述至少两帧图像中所述目标对象处于中心位置的图像。
通过将多路视频流中每个时刻像素占比超出阈值的图像作为导播流的多帧图像,这样可以使得导播流中对象的视野是最佳的,可以提高用户体验。其中,在存在多个像素占比超出阈值的图像时,选取对象处于中心位置的图像,这样进一步提高了导播流中对象的视野的最佳度,提高用户观看体验。
在又一种可能的实现方式中,所述导播流的时长与所述多路视频流的时长相同,所述导播流在t时刻的视频帧为多帧图像中所述目标对象的位置与多帧图像的拍摄焦点之间的欧式距离最小的图像,所述多帧图像为所述多路视频流t时刻对应的视频帧。
通过将多路视频流中每个时刻对象的位置与多帧图像的拍摄焦点之间的欧式距离最小的图像作为导播流的多帧图像,这样可以使得导播流中对象的视野是最佳的,可以提高用户体验。
在一种可能的实现方式中,所述多个摄像头包括部署在所述目标区域的左半场和右半场的第一摄像头以及部署在所述目标区域的全景摄像头。
采用上述手段,可以获取到多角度的图像,可以保障视频中对象的视野较佳,进而提高用户观看体验。
在一种可能的实现方式中,所述处理模块还用于:
对所述多路视频流进行处理,得到所述目标区域的多路自由视角流;
所述装置还包括封装模块,用于:
将所述多路自由视角流和所述目标对象所对应的导播流进行封装,以得到封装后的所述多路自由视角流和所述导播流。
在一种可能的实现方式中,所述装置还包括发送模块,用于:
发送所述封装后的所述多路自由视角流和所述导播流。
第四方面,本申请实施例提供一种视频播放装置,包括:
播放模块,用于在接收到用户发送的导播请求时,播放目标对象所对应的导播流,其中,所述目标对象所对应的导播流是通过对多路视频流进行处理得到的,所述多路视频流是多个摄像头针对同一目标区域采集到的,其中,所述导播流中任意时刻的视频帧均是从所述多路视频流中选取的,且所述导播流中任意时刻的视频帧均包含所述目标对象。
在一种可能的实现方式中,所述装置还包括显示模块,用于:
显示第一按键,所述第一按键用于指示播放导播流。
在一种可能的实现方式中,所述装置还包括检测模块,用于:当检测到用户执行了预设手势指令或者预设语音指令,触发所述播放目标对象所对应的导播流的操作。
在一种可能的实现方式中,所述导播流的时长与所述多路视频流的时长相同,所述导播流在t时刻的视频帧为多帧图像中所述目标对象的像素占比最大的图像,所述多帧图像为所述多路视频流t时刻对应的视频帧。
在另一种可能的实现方式中,所述导播流的时长与所述多路视频流的时长相同,所述导播流在t时刻的视频帧为多帧图像中所述目标对象的像素占比大于预设阈值的图像,所述多帧图像为所述多路视频流t时刻对应的视频帧;其中,当该导播流对应至少两帧图像的所述像素占比大于预设阈值时,该导播流在t时刻的视频帧为所述至少两帧图像中所述目标对象处于中心位置的图像。
在又一种可能的实现方式中,所述导播流的时长与所述多路视频流的时长相同,所述导播流在t时刻的视频帧为多帧图像中所述目标对象的位置与多帧图像的拍摄焦点之间的欧式距离最小的图像,所述多帧图像为所述多路视频流t时刻对应的视频帧。
在一种可能的实现方式中,所述多个摄像头包括部署在所述目标区域的左半场和右半场的第一摄像头以及部署在所述目标区域的全景摄像头。
第五方面,本申请实施例提供一种视频处理装置,其特征在于,包括处理器和通信接口,所述通信接口用于接收和/或发送数据,和/或,所述通信接口用于为所述处理器提供输出和/或输出,所述处理器用于调用计算机指令,以实现如第一方面任一种可能的实施方式提供的方法。
第六方面,本申请实施例提供一种视频播放装置,其特征在于,包括处理器和通信接口,所述通信接口用于接收和/或发送数据,和/或,所述通信接口用于为所述处理器提供输出和/或输出,所述处理器用于调用计算机指令,以实现如第二方面任一种可能的实施方式提供的方法。
第七方面,本申请实施例提供一种视频处理***,所述***包括服务器和终端,其中:所述服务器用于实现如第一方面任一种可能的实施方式提供的视频处理方法;所述终端用于实现如第二方面任一种可能的实施方式提供的视频播放方法。
第八方面,本申请提供了一种计算机存储介质,包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如第一方面任一种可能的实施方式和/或第二方面任一种可能的实施方式提供的方法。
第九方面,本申请实施例提供一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行如第一方面任一种可能的实施方式和/或第二方面任一种可能的实施方式提供的方法。
可以理解地,上述提供的第三方面所述的装置、第四方面所述的装置、第五方面所述的装置、第六方面所述的装置、第七方面所述的***、第八方面所述的计算机存储介质或者第九方面所述的计算机程序产品均用于执行第一方面中任一所提供的方法以及第二方面中任一所提供的方法。因此,其所能达到的有益效果可参考对应方法中的有益效果,此处不再赘述。
附图说明
下面对本申请实施例用到的附图进行介绍。
图1是本申请实施例提供的一种视频处理***架构示意图;
图2是本申请实施例提供的一种视频处理方法的流程示意图;
图3是本申请实施例提供的另一种视频处理方法的流程示意图;
图4是本申请实施例提供的一种视频处理方法的示意图;
图5是本申请实施例提供的一种足球场相机部署示意图;
图6是本申请实施例提供的一种自由视角流和导播流的生成方法示意图;
图7a是本申请实施例提供的一种封装格式示意图;
图7b是本申请实施例提供的另一种封装格式示意图;
图7c是本申请实施例提供的又一种封装格式示意图;
图8是本申请实施例提供的一种视频播放方法的流程示意图;
图9是本申请实施例提供的一种视频播放界面的示意图;
图10a是本申请实施例提供的一种视频处理装置的结构示意图;
图10b是本申请实施例提供的一种视频播放装置的结构示意图;
图11是本申请实施例提供的一种视频处理装置的结构示意图;
图12是本申请实施例提供的一种视频播放装置的结构示意图。
具体实施方式
下面结合本申请实施例中的附图对本申请实施例进行描述。本申请实施例的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释,而非旨在限定本申请。
为了便于理解,以下示例地给出了部分与本申请实施例相关概念的说明以供参考。如下所述:
1.自由视角(free view):是内容制作方通过在拍摄场地环绕部署多台相机阵列,并让这些相机同时进行拍摄,从而制作出任意角度的视频;用户在播放自由视角节目时,可以以旋转切换的方式找到自己希望的视角和最佳追随观看位置。
2.多自由视角:多自由视角指大型拍摄场地通过左半场右半场外加全景相机(全景相机可选)进行240~360°视角拍摄,用户可以通过终端设备(如手机应用(application,APP)等)进行左半场右半场以及全景相机的视角切换,切换后在左半场或者右半场可以通过滑动从不同视角来观看同一个节目。
3.导播流:基于自由视角或者多自由视角的基础上,根据现场关注点(比如足球比赛中的足球)的最佳轨迹生成的视频流。
4.媒体中继服务器(MediaRelay):负责媒体流的接入,提供收流、推流/拉流能力,具有构建自由视角直播安全可靠低时延的传输能力。
5.媒体计算服务(MediaComputing):负责媒体流转码、封装及内容制作。
6.媒体分发服务(MediaDelivery):负责为用户提供网络传输协议(DynamicAdaptive Streaming over HTTP,DASH)/(HTTP Live Streaming,HLS)高出流、低时延服务。
7.媒体调度服务(MediaRouting):负责终端用户播放请求的调度服务,将用户播放请求调度到MediaDelivery上。
上述对概念的示例性说明可以应用在下文的实施例中。
由于目前用户在观看一路视频时,用户想要观看的对象可能存在其他路视频中,则需要不断滑动屏幕或者操控遥控器来从多路视频中选择一路视频进行视角切换。由于用户在观看时需要对播放视频进行频繁的视角切换,这样对于用户来说体验不好。有鉴于此,本申请提供一种视频处理方法及相关***、存储介质,能够提高用户的观感体验。
以下将结合附图,来详细介绍本申请实施例的***架构。请参见图1,图1是本申请实施例适用的一种视频处理***的示意图,该***包括视频拍摄单元101、视频处理单元102、视频分发单元103和终端104。
视频拍摄单元101,用于按照场地部署72路或130路等环绕摄像头或相机等,向视频处理单元102输入相机流。
视频处理单元102,用于接收相机流,对相机流进行转码、转封装,以及内容制作。例如,MediaRelay接收相机SSP流转换成标准协议,比如不限于dash或者实时传送协议(Real-time Transport Protocol,RTP)。MediaComputing生成同步的自由视角流和导播流,以及生成协议对应的描述文件等。该视频处理单元102例如可以是服务器等。
视频分发单元103,用于分发视频处理单元102处理的自由视角流、导播流等视频内容,为用户提供高出流、低时延服务。该视频分发单元103例如可以是内容分发网络(Content Delivery Network,CDN)等。
终端104,用于通过自由视角播放接口体验自由视角直播临场观赛,并自主进行360°旋转滑动观看,或者通过导播播放接口体验导播模式,无需用户滑动操作即可。例如终端播放器app通过集成apk从视频分发单元获取自由视角流,还可以对外提供导播模式切换接口进行播放,面向第三方apk集成。
本申请实施例的终端,可以是手机、电脑、平板、电视等电子设备,本方案对此不作具体限定。
在一种可能的实现方式中,视频处理单元102和视频分发单元103可以均集成在服务器中。
本申请实施例中,通过获取多个摄像头针对同一目标区域采集的多路视频流;对所述多路视频流进行处理,得到所述目标区域中目标对象所对应的导播流。由于该导播流中任意时刻的视频帧均是从多路视频流中选取的,且该导播流中任意时刻的视频帧均包含目标对象。通过直接生成目标对象所对应的导播流,这样可以方便用户直接播放目标对象的导播流进行观看,可以满足用户的观看需求,使得用户在观看过程中无需滑动屏幕或者操控遥控器,有效避免了用户频繁的进行视频视角切换,提高了用户体验。
上面说明了本申请实施例的架构,下面对本申请实施例的方法进行详细介绍。
参照图2所示,是本申请实施例提供的一种视频处理方法的流程示意图。可选的,该方法可以应用于前述的视频处理***,例如图1所示的视频处理***。如图2所示的视频处理方法可以包括步骤201-202。应理解,本申请为了方便描述,故通过201-202这一顺序进行描述,并不旨在限定一定通过上述顺序进行执行。本申请实施例对于上述一个或多个步骤的执行的先后顺序、执行的时间、执行的次数等不做限定。下文以视频处理方法的步骤201-202的执行主体为服务器为例进行描述,对于其他执行主体本申请同样也适用。步骤201-202具体如下:
201、获取多个摄像头针对同一目标区域采集的多路视频流。
该同一目标区域例如可以是足球场、篮球场、道路、办公室等任意场合。
该多路视频流,例如可以是足球场中对于各个球员在不同位置、不同视角的视频流,或者足球在不同位置、不同视角的视频流等中的一项或多项。
可选的,该多路视频流是同步的。也就是说,该多路视频流的时长是相同的,且起始时刻和结束时刻也是相同的。
在一种可能的实现方式中,通过将72个摄像头部署在同一足球场的各个位置,可采集到72路视频流。
具体地,通过在目标区域的左半场和右半场部署多个摄像头,并在所述目标区域部署全景摄像头。该全景摄像头可以部署在左半场和右半场的中心线的上方等。这样可以获取到多角度的图像,可以保障视频中对象的视野较佳,进而提高用户观看体验。
该左半场和右半场,可以理解为,例如以球场中心线划分得到的球场的两部分,即为左半场和右半场。
202、对所述多路视频流进行处理,得到所述目标区域中目标对象所对应的导播流,其中,所述导播流中任意时刻的视频帧均是从所述多路视频流中选取的,且所述导播流中任意时刻的视频帧均包含所述目标对象。
该对象可以是目标区域中受关注度较大的目标。例如可以是足球场中的足球,或者是足球场中的球员A等。本方案对于对象不作具体限定。
导播流,可以理解为,基于目标区域中受关注度较大的目标在时间维度的一系列图像所得到的视频流。例如,根据足球比赛现场关注点如足球的最佳轨迹生成的视频流。
可选的,该目标对象可以有一个或多个。相应地,该导播流可以有一路或者多路。其中,该导播流和目标对象一一对应。
可选的,该导播流的时长与所述多路视频流的时长相同,且起始时刻和结束时刻也是相同的。
下面对本方案对多路视频流进行处理的可能的实现方式进行介绍。
方式一:导播流在t时刻的视频帧为多帧图像中目标对象的像素占比最大的图像,所述多帧图像为所述多路视频流t时刻对应的视频帧。
也就是说,通过获取多路视频流每个时刻对应的视频帧中对应目标对象的像素占比最大的图像。基于获取到的各个时刻的目标对象的像素占比最大的图像,即得到目标对象的导播流。
例如,当目标对象为足球时,通过获取多路视频流中第一时刻的多帧图像,计算该第一时刻的多帧图像中足球的像素占比,然后将得到的多个像素占比值按照大小顺序进行排序,进而将像素占比最大的图像作为足球的导播流中的第一帧图像。然后,获取多路视频流中第二时刻的多帧图像,计算该第二时刻的多帧图像中足球的像素占比,然后将得到的多个像素占比值按照大小顺序进行排序,进而将像素占比最大的图像作为足球的导播流中的第二帧图像。以此类推,重复上述步骤,进而可得到足球的导播流中的多帧图像,即得到了足球的导播流。
上述仅以对象为足球为例进行介绍,对于对象为球员A等其他人员或物体等,可参阅上述记载,在此不再赘述。
通过将多路视频流中每个时刻目标对象的像素占比最大的图像作为导播流的多帧图像,这样可以使得导播流中对象的视野是最佳的,可以提高用户体验。
基于此,可得到目标区域中目标对象所对应的导播流。
上述以一个对应的导播流为例进行说明,其还可以是多个对象分别对应的多个导播流,本方案对此不再赘述。
方式二:导播流在t时刻的视频帧为多帧图像中目标对象的像素占比大于预设阈值的图像,所述多帧图像为所述多路视频流t时刻对应的视频帧;其中,当该导播流对应至少两帧图像的所述像素占比大于预设阈值时,该导播流在t时刻的视频帧为所述至少两帧图像中对象处于中心位置的图像。
也就是说,通过获取多路视频流每个时刻对应的视频帧中对应目标对象的像素占比超出预设阈值的图像。基于获取到的各个时刻的像素占比超出预设阈值的图像,即得到目标对象的导播流。
其中,当对应同一时刻的像素占比超出预设阈值的图像有至少两个时,进一步获取目标对象在该至少两个图像中每个图像的位置,将对象所处位置离图像中心位置较近的图像作为目标对象的导播流在该时刻的图像。
例如,当对象为足球时,通过获取多路视频流中第一时刻的多帧图像,计算该第一时刻的多帧图像中足球的像素占比,然后从得到的多个像素占比中选取像素占比超出预设阈值的图像,进而将像素占比超出预设阈值的图像作为足球的导播流中的第一帧图像。其中,当该像素占比超出预设阈值的图像有至少两个时,则获取足球在该至少两个图像中每个图像的位置,将足球所处位置离图像中心位置较近的图像作为足球的导播流中的第一帧图像。然后,获取多路视频流中第二时刻的多帧图像,计算该第二时刻的多帧图像中足球的像素占比,然后从得到的多个像素占比中选取像素占比超出预设阈值的图像,进而将像素占比超出预设阈值的图像作为足球的导播流中的第二帧图像。其中,当该像素占比超出预设阈值的图像有至少两个时,则获取足球在该至少两个图像中每个图像的位置,将足球所处位置离图像中心位置较近的图像作为足球的导播流中的第二帧图像。以此类推,重复上述步骤,进而可得到足球的导播流中的多帧图像,即得到了足球的导播流。
上述仅以对象为足球为例进行介绍,对于对象为球员A等其他人员或物体等,可参阅上述记载,在此不再赘述。
通过将多路视频流中每个时刻目标对象像素占比超出阈值的图像作为导播流的多帧图像,这样可以使得导播流中对象的视野是最佳的,可以提高用户体验。其中,在存在多个像素占比超出阈值的图像时,选取对象处于中心位置的图像,这样进一步提高了导播流中对象的视野的最佳度,提高用户观看体验。
基于此,可得到目标区域中目标对象所对应的导播流。
方式三:导播流在t时刻的视频帧为多帧图像中目标对象的位置与多帧图像的拍摄焦点之间的欧式距离最小的图像,所述多帧图像为所述多路视频流t时刻对应的视频帧。
也就是说,通过获取多路视频流每个时刻对应的视频帧中对应目标对象的位置与多帧图像的拍摄焦点之间的欧式距离最小的图像。基于获取到的各个时刻的欧式距离最小的图像,即得到目标对象的导播流。
例如,当对象为足球时,通过获取多路视频流中第一时刻的多帧图像,计算该第一时刻的多帧图像中足球的位置与多帧图像的拍摄焦点之间的欧式距离,然后将得到的多个欧式距离按照大小顺序进行排序,进而将欧式距离最小的图像作为足球的导播流中的第一帧图像。然后,获取多路视频流中第二时刻的多帧图像,计算该第二时刻的多帧图像中足球的位置与多帧图像的拍摄焦点之间的欧式距离,然后将得到的多个欧式距离按照大小顺序进行排序,进而将欧式距离最小的图像作为足球的导播流中的第二帧图像。以此类推,重复上述步骤,进而可得到足球的导播流中的多帧图像,即得到了足球的导播流。
上述仅以对象为足球为例进行介绍,对于对象为球员A等其他人员或物体等,可参阅上述记载,在此不再赘述。
通过将多路视频流中每个时刻对象的位置与多帧图像的拍摄焦点之间的欧式距离最小的图像作为导播流的多帧图像,这样可以使得导播流中对象的视野是最佳的,可以提高用户体验。
基于此,可得到目标区域中目标对象所对应的导播流。
方式四:导播流在t时刻的视频帧为多帧图像中目标对象的位置与多帧图像的拍摄焦点之间的欧式距离小于预设阈值的图像,所述多帧图像为所述多路视频流t时刻对应的视频帧。其中,当该导播流对应至少两帧图像的所述欧式距离小于预设阈值时,该导播流在t时刻的视频帧为所述至少两帧图像中对象处于中心位置的图像。
也就是说,通过获取多路视频流每个时刻对应的视频帧中对应目标对象的位置与多帧图像的拍摄焦点之间的欧式距离小于预设阈值的图像。基于获取到的各个时刻的欧式距离小于预设阈值的图像,即得到目标对象的导播流。当该导播流对应至少两帧图像的所述欧式距离小于预设阈值时,该导播流在t时刻的视频帧为所述至少两帧图像中对象处于中心位置的图像。
例如,当对象为足球时,通过获取多路视频流中第一时刻的多帧图像,计算该第一时刻的多帧图像中足球的位置与多帧图像的拍摄焦点之间的欧式距离,然后将得到的多个欧式距离按照大小顺序进行排序,进而将欧式距离最小的图像作为足球的导播流中的第一帧图像。其中,当该欧式距离小于预设阈值的图像有至少两个时,则获取足球在该至少两个图像中每个图像的位置,将足球所处位置离图像中心位置较近的图像作为足球的导播流中的第一帧图像。然后,获取多路视频流中第二时刻的多帧图像,计算该第二时刻的多帧图像中足球的位置与多帧图像的拍摄焦点之间的欧式距离,然后将得到的多个欧式距离按照大小顺序进行排序,进而将欧式距离最小的图像作为足球的导播流中的第二帧图像。其中,当该欧式距离小于预设阈值的图像有至少两个时,则获取足球在该至少两个图像中每个图像的位置,将足球所处位置离图像中心位置较近的图像作为足球的导播流中的第二帧图像。以此类推,重复上述步骤,进而可得到足球的导播流中的多帧图像,即得到了足球的导播流。
上述仅以对象为足球为例进行介绍,对于对象为球员A等其他人员或物体等,可参阅上述记载,在此不再赘述。
通过将多路视频流中每个时刻目标对象的位置与多帧图像的拍摄焦点之间的欧式距离小于阈值的图像作为导播流的多帧图像,这样可以使得导播流中对象的视野是最佳的,可以提高用户体验。其中,在存在多个欧式距离小于阈值的图像时,选取目标对象处于中心位置的图像,这样进一步提高了导播流中对象的视野的最佳度,提高用户观看体验。
方式五:导播流在t时刻的视频帧为根据多帧图像中目标对象的位置与多帧图像的拍摄焦点之间的欧式距离与权重值确定的图像,所述多帧图像为所述多路视频流t时刻对应的视频帧,所述权重值与该多路视频流对应的摄像头(或者相机)有关联。
在一种可能的实现方式中,设定R=WX+PY。
即每个视频流在t时刻的视频帧对应的结果=欧式距离+修正值。其中,X为对象的中心点到拍摄焦点的欧氏距离。W为不同相机的权重,根据目标区域部署情况例如可将四个边角区域的权重设置较低等。Y为修正值,通过设置修正值,防止机位频繁切换。该修正值例如可以是当前帧对应的前几帧的欧式距离值。P为权重系数。
通过比较每个视频流在t时刻的视频帧对应的结果,最终选取R值最小的机位作为最优机位,也即选取最优机位在t时刻的视频帧作为当前导播流在t时刻的视频帧。
上述对得到目标区域中目标对象所对应的导播流的几种可能的实现方式进行介绍,其还可以是采用其他方式来得到,本方案对此不作具体限定。
本申请实施例中,通过获取多个摄像头针对同一目标区域采集的多路视频流;对所述多路视频流进行处理,得到所述目标区域中目标对象所对应的导播流。由于该导播流中任意时刻的视频帧均是从多路视频流中选取的,且该导播流中任意时刻的视频帧均包含目标对象。通过直接生成目标对象所对应的导播流,这样可以方便用户直接播放目标对象的导播流进行观看,可以满足用户的观看需求,使得用户在观看过程中无需滑动屏幕或者操控遥控器,有效避免了用户频繁的进行视频视角切换,提高了用户体验。
参照图3所示,是本申请实施例提供的另一种视频处理方法的流程示意图。可选的,该方法可以应用于前述的视频处理***,例如图1所示的视频处理***。如图3所示的视频处理方法可以包括步骤301-304。应理解,本申请为了方便描述,故通过301-304这一顺序进行描述,并不旨在限定一定通过上述顺序进行执行。本申请实施例对于上述一个或多个步骤的执行的先后顺序、执行的时间、执行的次数等不做限定。下文以视频处理方法的步骤301-304的执行主体为服务器为例进行描述,对于其他执行主体本申请同样也适用。步骤301-304具体如下:
301、获取多个摄像头针对同一目标区域采集的多路视频流。
可选的,在足球比赛场左半场和右半场部署两组相机组,并在中线上方部署全景相机,以便采集多路视频流。
302、对所述多路视频流进行处理,得到所述目标区域中目标对象所对应的导播流和所述目标区域的多路自由视角流,所述多路自由视角流和所述多路视频流对应。
其中,所述导播流中任意时刻的视频帧均是从所述多路视频流中选取的,且所述导播流中任意时刻的视频帧均包含所述目标对象。
在一种可能的实现方式中,通过将采集的视频流进行处理生成dash协议的自由视角以及导播流,以便终端用户进行自由视角和导播方式的切换。其中,切换到自由视角流播放则可以进行足球左右半场的切换,按照半场体验自由视角360°环绕观赛。切换到导播方式可以通过请求导播流体验自动导播播放。
针对得到目标区域中目标对象所对应的导播流的方式,可参阅前述实施例中的记载,在此不再赘述。
其中,对多路视频流进行处理,得到目标区域的自由视角流。该处理例如可以对视频进行编解码处理以及相应焦点处理等。
303、将所述多路自由视角流和所述目标对象所对应的导播流进行封装,得到封装后的所述多路自由视角流和所述导播流。
在得到导播流和自由视角流后,将其封装在一起,以便发送给视频分发单元。
304、发送所述封装后的所述多路自由视角流和所述导播流。
在一种可能的实现方式中,服务器可以直接将上述封装后的多路自由视角流和导播流发送给终端。
在另一种可能的实现方式中,服务器可以将上述封装后的多路自由视角流和导播流发送给视频分发单元,以便视频分发单元进行视频分发传输。
参照图4所示,为本申请实施例提供的一种视频处理方法的示意图。该视频处理对应的目标区域是足球场。该足球场部署有多个极相机Zcamera,如图5所示。其按照左右半场排列,左右半场相机各自对焦足球场禁区。在足球场的中线上方部署有全景相机,其视野能够俯瞰全场。该足球场的各个相机使用同步线串联。其中调音台输出的音频可通过音频线接入相机。该足球场的所有相机可作为一个物理相机组,保证取流同步。左、右半场和全景相机分别自成一组,可组成三个逻辑相机组。左、右半场逻辑相机组可对应两个标定任务。音频线可就近接入相机,以避免音频线过长。
401、视频处理单元获取多个摄像头针对同一目标区域采集的多路视频流。然后对实时信号的视频帧进行图像AI识别,识别检测物(对象)足球。其中通过在不同相机中的检测物的几何位置的相关性,对检测物进行识别。然后计算足球中心到相机焦点中心的欧式距离,根据导播流前几帧所选取的最佳机位视角,对于前几帧最佳视角选取的机位以及相邻机位修正值适当调整大一点,基于前述实施例中介绍的R=WX+PY,最终对比多路相机进行打分。
402、通过选择打分比较高的相机获取对应相机视角的分片进行导播流的对应时间的流生成。同时,可以对视频进行编解码处理以及相应焦点处理等生成自由视角流。
其中,如图6所示,为本申请实施例提供的一种自由视角流和导播流的生成方法示意图。其包括以下步骤:601、首先进行相机标定。其中,在图像测量过程中,为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系,必须建立相机成像的几何模型,这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到,这个求解参数的过程就称之为相机标定(或摄像机标定)。可以理解的,相机标定是用于获取相机的参数,基于得到的相机的参数可以对之后相机拍摄的图像进行矫正,以得到畸变相对很小的图像。可选的,操作员可按照前述左右半场相机和全景相机进行部署。且相机环形串接同步线。调音台音频输出线可接入任意一台相机。操作员在管控界面portal创建物理相机组。然后,从物理相机组挑选其中的相机位创建三个逻辑相机组,其中全景相机单独组成一个逻辑相机组。判断音频线接入机位是否是全景相机机位。如果不是,则将音频线接入机位追加入全景相机组,这样可以使得该音频机位同时存在于两个逻辑相机组中。然后,对每个逻辑相机组执行标定任务。其中,前景相机组不需要标定。操作员在自由视角窗口界面sms server启动标定任务。操作员基于调度管理器conductor下发标定任务。Mediarelay执行标定任务。602、然后进行视频录制。物理相机组关联逻辑相机组标定任务,并开始录制视频。判断时间是否需要前后偏移。若需要,则相机取音频流指定偏移时间。操作员在portal携带偏移时间启动相机取流。操作员基于conductor下发取流任务。Mediarelay根据音频偏移时间在相机取流时对音频pts值做偏移修改。603、基于视频处理得到自由视角流和导播流。操作员在portal可创建多套自由视角直播任务等,并添加逻辑相机。其中,每个逻辑相机组创建一个自由视频输出频道。通过启动多套自由视角任务,然后下发多套自由视角任务以及下发导播流生成任务。对于多套自由视角任务,通过对每组逻辑相机进行拆分,单独下发每个自由视角任务。进而可得到自由视角流。对于导播流生成任务,编解码模块worker通过进行AI识别得到对象足球,然后计算最佳机位帧,进而得到导播流。
基于以上处理即可得到自由视角流和导播流。
403、最后将自由视角流和导播流一起封装供视频分发单元进行分发。
可选的,该封装格式可以如图7a所示。自由视角流的封装格式可以是dash。编码格式可以是H.265。分辨率可以是1920*1080。帧率可以是25fps。位深可以是8bit。音频可以是AAC。码率可以是默认4Mbps等。低清***帧可以是默认5Mbps等。高清***帧可以是默认15Mbps等。
导播流的封装格式可以是dash。编码格式可以是H.265。分辨率可以是1920*1080。帧率可以是25fps。位深可以是8bit。音频可以是AAC。码率可以是默认4Mbps。
在另一种可能的实现方式中,该封装格式可以如图7b所示。自由视角流格式可以是HLS。其封装格式可以是rtp。编码格式可以是H.265。分辨率可以是1920*1080。帧率可以是25fps。位深可以是8bit。音频可以是AAC。码率:正常流时默认4Mbps,还可以是其他配置。低清***帧:默认5Mbps,也可以是其他配置。高清***帧:默认15Mbps,也可以是其他配置。
导播流的封装格式可以是RTP。编码格式可以是H.265。分辨率:1920*1080。帧率:25fps。位深:8bit。音频:AAC。码率:默认4Mbp。
在又一种可能的实现方式中,该封装格式可以如图7c所示。该示例中的封装格式可以是RTP。
上述仅为一种示例,其还可以是其他格式,本方案对此不作严格限制。
404、视频分发单元接收终端发送的播放导播流的请求,向所述终端发送所述导播流。
405、终端播放所述导播流。
上述导播流可以以so文件的方式提供。例如,集成到第三方客户端中,切换模式的入口通过UI入口实现。具体地,在终端界面显示自由视角流播放选项和导播流播放选项,用户可通过遥控选择,或者直接触控、手势控制、声音控制等实现播放方式切换。
本申请实施例中,通过获取多个摄像头针对同一目标区域采集的多路视频流;对所述多路视频流进行处理,得到所述目标区域中目标对象所对应的导播流以及多路自由视角流。这样基于得到的导播流以及多路自由视角流,可以方便用户进行多个选择,选取其感兴趣的自由视角流,或者观看相应的导播流,这样可以方便用户直接播放目标对象的导播流进行观看,可以满足用户的观看需求,使得用户在观看过程中无需滑动屏幕或者操控遥控器,有效避免了用户频繁的进行视频视角切换,十分方便,可以提高用户体验。
参照图8所示,为本申请实施例提供的一种视频播放方法的流程示意图。可选的,该方法可以应用于前述的视频处理***,例如图1所示的视频处理***。如图8所示的视频播放方法可以包括步骤801-807。应理解,本申请为了方便描述,故通过801-807这一顺序进行描述,并不旨在限定一定通过上述顺序进行执行。本申请实施例对于上述一个或多个步骤的执行的先后顺序、执行的时间、执行的次数等不做限定。下文以视频播放方法的步骤801-804的执行主体为服务器为例,步骤805-807的执行主体为终端进行描述,对于其他执行主体本申请同样也适用。步骤801-807具体如下:
801、服务器获取多个摄像头针对同一目标区域采集的多路视频流。
针对步骤801的介绍可参阅前述图2、图3所示实施例的记载,在此不再赘述。
802、对所述多路视频流进行处理,以得到所述目标区域中目标对象所对应的导播流和所述目标区域的多路自由视角流。
针对步骤802的介绍可参阅前述图3所示实施例的记载,在此不再赘述。
803、将所述多路自由视角流和所述目标对象所对应的导播流进行封装,得到封装后的所述多路自由视角流和所述导播流。
针对步骤803的介绍可参阅前述图3所示实施例的记载,在此不再赘述。
804、发送所述封装后的所述多路自由视角流和所述导播流。
针对步骤804的介绍可参阅前述图3所示实施例的记载,在此不再赘述。
其中,当目标对象的个数是多个时,相应的,导播流是多路。导播流和目标对象是一一对应的。
可选的,服务器可以将多路导播流均发送给终端。其中,服务器对每路导播流分别加上标签或身份标识(identification,ID)等,以便终端在进行播放时便于用户选择相应目标对象的导播流。
805、终端接收所述封装后的所述多路自由视角流和所述导播流。
806、接收用户发送的导播请求。
该导播请求,可以是用户执行了预设手势指令或者预设语音指令。该预设手势指令例如可以是比个ok的手势,或者在终端屏幕前画了个圆圈等,其还可以是其他手势等。该预设语音指令例如可以是“播放导播流”,或者“第一模式”等,本方案对此不作具体限制。
可选的,还可以是终端设备在界面显示例如两个按键,其中一个按键用于指示播放导播流,另一个按键用于指示播放自由视角流。如图9所示终端界面。其中,按键901用于指示播放自由视角流,按键902用于指示播放导播流。其还可以是其他形式,本方案对此不作严格限制。
其中,当有多路导播流时,可以有对应不同目标对应的更多按键,本方案对此不作严格限制。
需要说明的是,步骤805和步骤806的执行顺序可以调整,本方案对此不作严格限制。
807、播放所述目标对象所对应的导播流。
当接收到用户选择播放导播流,终端则播放对应的导播流。
其中,当有多个导播流时,终端基于接收到的多个带有标签或ID信息的导播流,进而可通过在界面进行显示以便用户选择相应对象的导播流。
上述步骤以播放导播流为例进行说明。可替代的,当用户发送自由视角流请求时,终端可基于该请求播放自由视角流。其中,对于多路自由视角流,终端可通过在界面进行显示以便用户选择相应的自由视角流进行播放。
本申请实施例中,通过获取多个摄像头针对同一目标区域采集的多路视频流;对所述多路视频流进行处理,得到所述目标区域中目标对象所对应的导播流以及多路自由视角流。终端基于接收到的用户的请求以及基于接收到的导播流以及多路自由视角流,进行相应视频流的播放。由于该导播流中任意时刻的视频帧均是从多路视频流中选取的,且该导播流中任意时刻的视频帧均包含目标对象。这样可以方便用户直接播放目标对象的导播流进行观看,可以满足用户的观看需求,使得用户在观看过程中无需滑动屏幕或者操控遥控器,有效避免了用户频繁的进行视频视角切换,十分方便,可以提高用户体验。
需要说明的是,在本申请的各个实施例中,如果没有特殊说明以及逻辑冲突,各个实施例之间的术语和/或描述具有一致性、且可以相互引用,不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。
上述详细阐述了本申请实施例的方法,下面提供了本申请实施例的装置。可以理解的,本申请各个装置实施例中,对多个单元或者模块的划分仅是一种根据功能进行的逻辑划分,不作为对装置具体的结构的限定。在具体实现中,其中部分功能模块可能被细分为更多细小的功能模块,部分功能模块也可能组合成一个功能模块,但无论这些功能模块是进行了细分还是组合,装置所执行的大致流程是相同的。例如,一些装置中包含接收单元和发送单元。一些设计中,发送单元和接收单元也可以集成为通信单元,该通信单元可以实现接收单元和发送单元所实现的功能。通常,每个单元都对应有各自的程序代码(或者说程序指令),这些单元各自对应的程序代码在处理器上运行时,使得该单元受处理单元的控制而执行相应的流程从而实现相应功能。
本申请实施例还提供用于实现以上任一种方法的装置,例如,提供一种视频处理装置包括用以实现以上任一种方法中服务器所执行的各步骤的模块(或手段)。再如,还提供另一种视频播放装置,包括用以实现以上任一种方法中终端所执行的各步骤的模块(或手段)。
例如,参照图10a所示,是本申请实施例提供的一种视频处理装置的结构示意图。该视频处理装置用于实现前述的视频处理方法,例如图2、图3所示的视频处理方法。
如图10a所示,该装置可包括获取模块1001和处理模块1002,具体如下:
获取模块1001,用于获取多个摄像头针对同一目标区域采集的多路视频流;
处理模块1002,用于对所述多路视频流进行处理,以得到所述目标区域中目标对象所对应的导播流,其中,所述导播流中任意时刻的视频帧均是从所述多路视频流中选取的,且所述导播流中任意时刻的视频帧均包含所述目标对象。
在一种可能的实现方式中,所述导播流的时长与所述多路视频流的时长相同,所述导播流在t时刻的视频帧为多帧图像中所述目标对象的像素占比最大的图像,所述多帧图像为所述多路视频流t时刻对应的视频帧。
通过将多路视频流中每个时刻像素占比最大的图像作为导播流的多帧图像,这样可以使得导播流中对象的视野是最佳的,可以提高用户体验。
在另一种可能的实现方式中,所述导播流的时长与所述多路视频流的时长相同,所述导播流在t时刻的视频帧为多帧图像中所述目标对象的像素占比大于预设阈值的图像,所述多帧图像为所述多路视频流t时刻对应的视频帧;其中,当该导播流对应至少两帧图像的所述像素占比大于预设阈值时,该导播流在t时刻的视频帧为所述至少两帧图像中所述目标对象处于中心位置的图像。
通过将多路视频流中每个时刻像素占比超出阈值的图像作为导播流的多帧图像,这样可以使得导播流中对象的视野是最佳的,可以提高用户体验。其中,在存在多个像素占比超出阈值的图像时,选取对象处于中心位置的图像,这样进一步提高了导播流中对象的视野的最佳度,提高用户观看体验。
在又一种可能的实现方式中,所述导播流的时长与所述多路视频流的时长相同,所述导播流在t时刻的视频帧为多帧图像中所述目标对象的位置与多帧图像的拍摄焦点之间的欧式距离最小的图像,所述多帧图像为所述多路视频流t时刻对应的视频帧。
通过将多路视频流中每个时刻对象的位置与多帧图像的拍摄焦点之间的欧式距离最小的图像作为导播流的多帧图像,这样可以使得导播流中对象的视野是最佳的,可以提高用户体验。
在一种可能的实现方式中,所述多个摄像头包括部署在所述目标区域的左半场和右半场的第一摄像头以及部署在所述目标区域的全景摄像头。
采用上述手段,可以获取到多角度的图像,可以保障视频中对象的视野较佳,进而提高用户观看体验。
在一种可能的实现方式中,所述处理模块1002还用于:
对所述多路视频流进行处理,得到所述目标区域的多路自由视角流;
所述装置还包括封装模块,用于:
将所述多路自由视角流和所述目标对象所对应的导播流进行封装,以得到封装后的所述多路自由视角流和所述导播流。
在一种可能的实现方式中,所述装置还包括发送模块,用于:
发送所述封装后的所述多路自由视角流和所述导播流。
针对该各个模块所执行步骤的介绍可参阅前述实施例,在此不再赘述。
参照图10b所示,是本申请实施例提供的一种视频播放装置的结构示意图。如图10b所示,该装置可包括播放模块1003,具体如下:
播放模块1003,用于在接收到用户发送的导播请求时,播放目标对象所对应的导播流,其中,所述目标对象所对应的导播流是通过对多路视频流进行处理得到的,所述多路视频流是多个摄像头针对同一目标区域采集到的,其中,所述导播流中任意时刻的视频帧均是从所述多路视频流中选取的,且所述导播流中任意时刻的视频帧均包含所述目标对象。
在一种可能的实现方式中,所述装置还包括显示模块,用于:
显示第一按键,所述第一按键用于指示播放导播流。
在一种可能的实现方式中,所述装置还包括检测模块,用于:当检测到用户执行了预设手势指令或者预设语音指令,触发所述播放目标对象所对应的导播流的操作。
在一种可能的实现方式中,所述导播流的时长与所述多路视频流的时长相同,所述导播流在t时刻的视频帧为多帧图像中所述目标对象的像素占比最大的图像,所述多帧图像为所述多路视频流t时刻对应的视频帧。
在另一种可能的实现方式中,所述导播流的时长与所述多路视频流的时长相同,所述导播流在t时刻的视频帧为多帧图像中所述目标对象的像素占比大于预设阈值的图像,所述多帧图像为所述多路视频流t时刻对应的视频帧;其中,当该导播流对应至少两帧图像的所述像素占比大于预设阈值时,该导播流在t时刻的视频帧为所述至少两帧图像中所述目标对象处于中心位置的图像。
在又一种可能的实现方式中,所述导播流的时长与所述多路视频流的时长相同,所述导播流在t时刻的视频帧为多帧图像中所述目标对象的位置与多帧图像的拍摄焦点之间的欧式距离最小的图像,所述多帧图像为所述多路视频流t时刻对应的视频帧。
在一种可能的实现方式中,所述多个摄像头包括部署在所述目标区域的左半场和右半场的第一摄像头以及部署在所述目标区域的全景摄像头。
针对该各个模块所执行步骤的介绍可参阅前述实施例,在此不再赘述。
应理解以上各个装置中各模块的划分仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。此外,视频处理装置或视频播放装置中的模块可以以处理器调用软件的形式实现;例如视频处理装置或视频播放装置包括处理器,处理器与存储器连接,存储器中存储有指令,处理器调用存储器中存储的指令,以实现以上任一种方法或实现该装置各模块的功能,其中处理器例如为通用处理器,比如中央处理单元(central processing unit,CPU)或微处理器,存储器为装置内的存储器或装置外的存储器。或者,装置中的模块可以以硬件电路的形式实现,可以通过对硬件电路的设计实现部分或全部单元的功能,该硬件电路可以理解为一个或多个处理器;例如,在一种实现中,该硬件电路为专用集成电路(application-specific integrated circuit,ASIC),通过对电路内元件逻辑关系的设计,实现以上部分或全部单元的功能;再如,在另一种实现中,该硬件电路为可以通过可编程逻辑器件(programmable logic device,PLD)实现,以现场可编程门阵列(field programmable gate array,FPGA)为例,其可以包括大量逻辑门电路,通过配置文件来配置逻辑门电路之间的连接关系,从而实现以上部分或全部单元的功能。以上装置的所有模块可以全部通过处理器调用软件的形式实现,或全部通过硬件电路的形式实现,或部分通过处理器调用软件的形式实现,剩余部分通过硬件电路的形式实现。
参照图11所示,是本申请实施例提供的又一种视频处理装置的硬件结构示意图。如图11所示的视频处理装置1100(该装置1100具体可以是一种计算机设备)包括存储器1101、处理器1102、通信接口1103以及总线1104。其中,存储器1101、处理器1102、通信接口1103通过总线1104实现彼此之间的通信连接。
存储器1101可以是只读存储器(read only memory,ROM),静态存储设备,动态存储设备或者随机存取存储器(random access memory,RAM)。
存储器1101可以存储程序,当存储器1101中存储的程序被处理器1102执行时,处理器1102和通信接口1103用于执行本申请实施例的视频处理方法的各个步骤。
处理器1102是一种具有信号的处理能力的电路,在一种实现中,处理器1102可以是具有指令读取与运行能力的电路,例如中央处理单元CPU、微处理器、图形处理器(graphics processing unit,GPU)(可以理解为一种微处理器)、或数字信号处理器(digital singnal processor,DSP)等;在另一种实现中,处理器1102可以通过硬件电路的逻辑关系实现一定功能,该硬件电路的逻辑关系是固定的或可以重构的,例如处理器1102为ASIC或可编程逻辑器件PLD实现的硬件电路,比如FPGA。在可重构的硬件电路中,处理器加载配置文档,实现硬件电路配置的过程,可以理解为处理器加载指令,以实现以上部分或全部模块的功能的过程。此外,还可以是针对人工智能设计的硬件电路,其可以理解为一种ASIC,例如神经网络处理单元(neural network processing unit,NPU)、张量处理单元(tensor processing unit,TPU)、深度学习处理单元(deep learning processing unit,DPU)等。处理器1102用于执行相关程序,以实现本申请实施例的视频处理装置中的单元所需执行的功能,或者执行本申请方法实施例的视频处理方法。
可见,以上装置中的各模块可以是被配置成实施以上方法的一个或多个处理器(或处理电路),例如:CPU、GPU、NPU、TPU、DPU、微处理器、DSP、ASIC、FPGA,或这些处理器形式中至少两种的组合。
此外,以上装置中的各模块可以全部或部分可以集成在一起,或者可以独立实现。在一种实现中,这些模块集成在一起,以片上***(system-on-a-chip,SOC)的形式实现。该SOC中可以包括至少一个处理器,用于实现以上任一种方法或实现该装置各模块的功能,该至少一个处理器的种类可以不同,例如包括CPU和FPGA,CPU和人工智能处理器,CPU和GPU等。
通信接口1103使用例如但不限于收发器一类的收发装置,来实现装置1100与其他设备或通信网络之间的通信。例如,可以通过通信接口1103获取数据。
总线1104可包括在装置1100各个部件(例如,存储器1101、处理器1102、通信接口1103)之间传送信息的通路。
应注意,尽管图11所示的装置1100仅仅示出了存储器、处理器、通信接口,但是在具体实现过程中,本领域的技术人员应当理解,装置1100还包括实现正常运行所必须的其他器件。同时,根据具体需要,本领域的技术人员应当理解,装置1100还可包括实现其他附加功能的硬件器件。此外,本领域的技术人员应当理解,装置1100也可仅仅包括实现本申请实施例所必须的器件,而不必包括图11中所示的全部器件。
参照图12所示,是本申请实施例提供的又一种视频播放装置的硬件结构示意图。如图12所示的视频播放装置1200(该装置1200具体可以是一种计算机设备)包括存储器1201、处理器1202、通信接口1203以及总线1204。其中,存储器1201、处理器1202、通信接口1203通过总线1204实现彼此之间的通信连接。
存储器1201可以是只读存储器(read only memory,ROM),静态存储设备,动态存储设备或者随机存取存储器(random access memory,RAM)。
存储器1201可以存储程序,当存储器1201中存储的程序被处理器1202执行时,处理器1202和通信接口1203用于执行本申请实施例的视频播放方法的各个步骤。
处理器1202是一种具有信号的处理能力的电路,在一种实现中,处理器1202可以是具有指令读取与运行能力的电路,例如中央处理单元CPU、微处理器、图形处理器(graphics processing unit,GPU)(可以理解为一种微处理器)、或数字信号处理器(digital singnal processor,DSP)等;在另一种实现中,处理器1202可以通过硬件电路的逻辑关系实现一定功能,该硬件电路的逻辑关系是固定的或可以重构的,例如处理器1202为ASIC或可编程逻辑器件PLD实现的硬件电路,比如FPGA。在可重构的硬件电路中,处理器加载配置文档,实现硬件电路配置的过程,可以理解为处理器加载指令,以实现以上部分或全部模块的功能的过程。此外,还可以是针对人工智能设计的硬件电路,其可以理解为一种ASIC,例如神经网络处理单元(neural network processing unit,NPU)、张量处理单元(tensor processing unit,TPU)、深度学习处理单元(deep learning processing unit,DPU)等。处理器1202用于执行相关程序,以实现本申请实施例的视频播放装置中的单元所需执行的功能,或者执行本申请方法实施例的视频播放方法。
可见,以上装置中的各模块可以是被配置成实施以上方法的一个或多个处理器(或处理电路),例如:CPU、GPU、NPU、TPU、DPU、微处理器、DSP、ASIC、FPGA,或这些处理器形式中至少两种的组合。
此外,以上装置中的各模块可以全部或部分可以集成在一起,或者可以独立实现。在一种实现中,这些模块集成在一起,以片上***(system-on-a-chip,SOC)的形式实现。该SOC中可以包括至少一个处理器,用于实现以上任一种方法或实现该装置各模块的功能,该至少一个处理器的种类可以不同,例如包括CPU和FPGA,CPU和人工智能处理器,CPU和GPU等。
通信接口1203使用例如但不限于收发器一类的收发装置,来实现装置1200与其他设备或通信网络之间的通信。例如,可以通过通信接口1203获取数据。
总线1204可包括在装置1200各个部件(例如,存储器1201、处理器1202、通信接口1203)之间传送信息的通路。
应注意,尽管图12所示的装置1200仅仅示出了存储器、处理器、通信接口,但是在具体实现过程中,本领域的技术人员应当理解,装置1200还包括实现正常运行所必须的其他器件。同时,根据具体需要,本领域的技术人员应当理解,装置1200还可包括实现其他附加功能的硬件器件。此外,本领域的技术人员应当理解,装置1200也可仅仅包括实现本申请实施例所必须的器件,而不必包括图12中所示的全部器件。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机或处理器上运行时,使得计算机或处理器执行上述任一个方法中的一个或多个步骤。
本申请实施例还提供了一种包含指令的计算机程序产品。当该计算机程序产品在计算机或处理器上运行时,使得计算机或处理器执行上述任一个方法中的一个或多个步骤。
应理解,在本申请的描述中,除非另有说明,“/”表示前后关联的对象是一种“或”的关系,例如,A/B可以表示A或B;其中A,B可以是单数或者复数。并且,在本申请的描述中,除非另有说明,“多个”是指两个或多于两个。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。另外,为了便于清楚描述本申请实施例的技术方案,在本申请的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。同时,在本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念,便于理解。
在本申请所提供的几个实施例中,应该理解到,所揭露的***、装置和方法,可以通过其它的方式实现。例如,该单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如,多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。所显示或讨论的相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时,全部或部分地产生按照本申请实施例的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中,或者通过该计算机可读存储介质进行传输。该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是只读存储器(read-onlymemory,ROM),或随机存取存储器(random access memory,RAM),或磁性介质,例如,软盘、硬盘、磁带、磁碟、或光介质,例如,数字通用光盘(digital versatile disc,DVD)、或者半导体介质,例如,固态硬盘(solid state disk,SSD)等。
以上所述,仅为本申请实施例的具体实施方式,但本申请实施例的保护范围并不局限于此,任何在本申请实施例揭露的技术范围内的变化或替换,都应涵盖在本申请实施例的保护范围之内。因此,本申请实施例的保护范围应以所述权利要求的保护范围为准。

Claims (20)

1.一种视频处理方法,其特征在于,包括:
获取多个摄像头针对同一目标区域采集的多路视频流;
对所述多路视频流进行处理,以得到所述目标区域中目标对象所对应的导播流,其中,所述导播流中任意时刻的视频帧均是从所述多路视频流中选取的,且所述导播流中任意时刻的视频帧均包含所述目标对象。
2.根据权利要求1所述的方法,其特征在于,所述导播流的时长与所述多路视频流的时长相同,所述导播流在t时刻的视频帧为多帧图像中所述目标对象的像素占比最大的图像,所述多帧图像为所述多路视频流t时刻对应的视频帧。
3.根据权利要求1所述的方法,其特征在于,所述导播流的时长与所述多路视频流的时长相同,所述导播流在t时刻的视频帧为多帧图像中所述目标对象的像素占比大于预设阈值的图像,所述多帧图像为所述多路视频流t时刻对应的视频帧;其中,当该导播流对应至少两帧图像的所述像素占比大于预设阈值时,该导播流在t时刻的视频帧为所述至少两帧图像中所述目标对象处于中心位置的图像。
4.根据权利要求1所述的方法,其特征在于,所述导播流的时长与所述多路视频流的时长相同,所述导播流在t时刻的视频帧为多帧图像中所述目标对象的位置与多帧图像的拍摄焦点之间的欧式距离最小的图像,所述多帧图像为所述多路视频流t时刻对应的视频帧。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述多个摄像头包括部署在所述目标区域的左半场和右半场的第一摄像头以及部署在所述目标区域的全景摄像头。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述方法还包括:
对所述多路视频流进行处理,以得到所述目标区域的多路自由视角流;
将所述多路自由视角流和所述目标对象所对应的导播流进行封装,以得到封装后的所述多路自由视角流和所述导播流。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
发送所述封装后的所述多路自由视角流和所述导播流。
8.一种视频播放方法,其特征在于,包括:
在接收到用户发送的导播请求时,播放目标对象所对应的导播流,其中,所述目标对象所对应的导播流是通过对多路视频流进行处理得到的,所述多路视频流是多个摄像头针对同一目标区域采集到的,其中,所述导播流中任意时刻的视频帧均是从所述多路视频流中选取的,且所述导播流中任意时刻的视频帧均包含所述目标对象。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
显示第一按键,所述第一按键用于指示播放导播流。
10.根据权利要求8所述的方法,其特征在于,当检测到用户执行了预设手势指令或者预设语音指令,触发所述播放目标对象所对应的导播流的操作。
11.根据权利要求8至10任一项所述的方法,其特征在于,所述导播流的时长与所述多路视频流的时长相同,所述导播流在t时刻的视频帧为多帧图像中所述目标对象的像素占比最大的图像,所述多帧图像为所述多路视频流t时刻对应的视频帧。
12.根据权利要求8至10任一项所述的方法,其特征在于,所述导播流的时长与所述多路视频流的时长相同,所述导播流在t时刻的视频帧为多帧图像中所述目标对象的像素占比大于预设阈值的图像,所述多帧图像为所述多路视频流t时刻对应的视频帧;其中,当该导播流对应至少两帧图像的所述像素占比大于预设阈值时,该导播流在t时刻的视频帧为所述至少两帧图像中所述目标对象处于中心位置的图像。
13.根据权利要求8至10任一项所述的方法,其特征在于,所述导播流的时长与所述多路视频流的时长相同,所述导播流在t时刻的视频帧为多帧图像中所述目标对象的位置与多帧图像的拍摄焦点之间的欧式距离最小的图像,所述多帧图像为所述多路视频流t时刻对应的视频帧。
14.根据权利要求8至13任一项所述的方法,其特征在于,所述多个摄像头包括部署在所述目标区域的左半场和右半场的第一摄像头以及部署在所述目标区域的全景摄像头。
15.一种视频处理装置,其特征在于,所述视频处理装置包括用于执行权利要求1至7任一项所述方法的单元。
16.一种视频播放装置,其特征在于,所述视频播放装置包括用于执行权利要求8至14任一项所述方法的单元。
17.一种视频处理装置,其特征在于,包括处理器和通信接口,所述通信接口用于接收和/或发送数据,和/或,所述通信接口用于为所述处理器提供输出和/或输出,所述处理器用于调用计算机指令,以实现权利要求1-7任一项所述的方法。
18.一种视频播放装置,其特征在于,包括处理器和通信接口,所述通信接口用于接收和/或发送数据,和/或,所述通信接口用于为所述处理器提供输出和/或输出,所述处理器用于调用计算机指令,以实现权利要求8-14任一项所述的方法。
19.一种视频处理***,其特征在于,所述***包括服务器和终端,其中:
所述服务器用于实现如权利要求1-7中任一项所述的视频处理方法;所述终端用于实现如权利要求8-14中任一项所述的视频播放方法。
20.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序用于实现权利要求1-7任一项所述的方法,和/或,实现权利要求8-14任一项所述的方法。
CN202210829554.7A 2022-07-15 2022-07-15 视频处理方法、播放方法及相关***、存储介质 Pending CN117440128A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210829554.7A CN117440128A (zh) 2022-07-15 2022-07-15 视频处理方法、播放方法及相关***、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210829554.7A CN117440128A (zh) 2022-07-15 2022-07-15 视频处理方法、播放方法及相关***、存储介质

Publications (1)

Publication Number Publication Date
CN117440128A true CN117440128A (zh) 2024-01-23

Family

ID=89546721

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210829554.7A Pending CN117440128A (zh) 2022-07-15 2022-07-15 视频处理方法、播放方法及相关***、存储介质

Country Status (1)

Country Link
CN (1) CN117440128A (zh)

Similar Documents

Publication Publication Date Title
US20200236278A1 (en) Panoramic virtual reality framework providing a dynamic user experience
JP7123523B2 (ja) 自動的にテレビ番組を制作する方法及びシステム
US8970666B2 (en) Low scale production system and method
US11748870B2 (en) Video quality measurement for virtual cameras in volumetric immersive media
US10574933B2 (en) System and method for converting live action alpha-numeric text to re-rendered and embedded pixel information for video overlay
US10939140B2 (en) Selective capture and presentation of native image portions
KR20170107424A (ko) 상호작용식 쌍안경 비디오 디스플레이
CN105635675B (zh) 一种全景播放方法和装置
CN110663257B (zh) 使用场景的2d捕获图像提供虚拟现实内容的方法和***
US20200388068A1 (en) System and apparatus for user controlled virtual camera for volumetric video
CN110035316B (zh) 处理媒体数据的方法和装置
EP3384495A1 (en) Processing of multiple media streams
US20190394375A1 (en) Video Production Apparatus and Method for Video Production
US10674057B2 (en) Audio event detection for automatic plenoptic video refocusing
CN111542862A (zh) 用于处理和分发直播虚拟现实内容的方法和设备
US11622099B2 (en) Information-processing apparatus, method of processing information, and program
US20150378566A1 (en) Method, system and device for navigating in ultra high resolution video content by a client device
JP7423974B2 (ja) 情報処理システム、情報処理方法及びプログラム
CN117440128A (zh) 视频处理方法、播放方法及相关***、存储介质
KR20190071303A (ko) 복수의 촬영 영상 전송을 위한 시스템 및 그 제어방법
WO2024001223A1 (zh) 一种显示方法、设备及***
CN112752032B (zh) 一种全景视频生成方法、视频采集方法与相关装置
KR100811022B1 (ko) 방송카메라와 연동된 주문형 방송서비스방법
JP4506190B2 (ja) 映像表示装置、映像表示方法、映像表示方法のプログラム及び映像表示方法のプログラムを記録した記録媒体
Hayes Immerse yourself in the Olympics this summer [Olympic Games-broadcasting]

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication