CN107197318A - 一种基于多摄像头光场拍摄的实时自由视点直播方法 - Google Patents

一种基于多摄像头光场拍摄的实时自由视点直播方法 Download PDF

Info

Publication number
CN107197318A
CN107197318A CN201710464275.4A CN201710464275A CN107197318A CN 107197318 A CN107197318 A CN 107197318A CN 201710464275 A CN201710464275 A CN 201710464275A CN 107197318 A CN107197318 A CN 107197318A
Authority
CN
China
Prior art keywords
user
viewpoint
data
camera
light field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710464275.4A
Other languages
English (en)
Inventor
黄翔
许威威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Limboworks Technology Co Ltd
Original Assignee
Shenzhen Limboworks Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Limboworks Technology Co Ltd filed Critical Shenzhen Limboworks Technology Co Ltd
Priority to CN201710464275.4A priority Critical patent/CN107197318A/zh
Publication of CN107197318A publication Critical patent/CN107197318A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)

Abstract

本发明是一种基于多摄像头光场拍摄的实时自由视点直播方法，本发明可实现由用户控制的任意角度、任意视点的固定舞台区域表演的直播和录播，相对于全景视频，本发明的优点是可以使用户***，更换视角和视点；相对于三维重构的直播的好处是无需建模，快速、高效、并没有细节信息损失，更接近照片级质量；相对于光场传输方案，因为本发明是用户的视点动态地选择生成用户视点图像的分组的数据进行传输，可支持对大规模并发用户视点分组极大减少数据传输量，克服自由视点移动虚拟现实应用在互联网大规模应用的数据传输瓶颈；除此之外，本发明的输出图像是通过深度信息和邻近相机合成而来，可极大减少相机的数量。

Description

一种基于多摄像头光场拍摄的实时自由视点直播方法
技术领域
发明涉及虚拟现实交互应用领域，特别是针对虚拟现实中三维场景大规模实时直播装置与算法。
背景技术
传统录制：现有的视频节目主要通过平面显示器来播放，通过佩戴3D眼镜播放3D视频可实现3D视觉效果，但其视角和播放内容是由节目制作方设定的，用户只能被动接受。
360度全景录制：随着虚拟现实技术的普及，虚拟现实视频节目也在逐渐普及，用户通过佩戴VR头戴显示器，通过将虚拟摄像头与VR头戴显示器的角度同步一致的方法，可以实现类似于环幕效果的沉浸式视频体验，但这种方法只能在1个视点上给用户提供旋转观看的自由度，用户并不能在虚拟场景中来回移动。
无论是普通的视频节目还是VR视频节目，均无法提供给用户全方位的沉浸式的临场体验，普通视频节目只能让用户通过屏幕窗口观看，而VR视频节目也只能够让用户在固定的视点或由拍摄者选定的线路来观看，这对体育赛事、综艺节目、演唱会、发布会等有特定表演区域的节目由极大的内容损失，通过现有的这些方式观看节目无法全面地获得现场的信息。
发明内容
本发明的目的在于提供一种基于多摄像头光场拍摄的实时自由视点直播方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于多摄像头光场拍摄的实时自由视点直播方法，包含以下步骤：
A、摄像机采集视频信号，并传输到处理设备；
B、处理设备生成深度数据，计算每个像素与相机的距离；
C、按照相机组成的多边形或三角形对相机进行分组，并将这些分组的视频数据流进行合并压缩；
D、根据用户的观测位置，程序自动选择对应的压缩视频和深度数据，并组装成数据流通过网络传输给用户；
E、用户客户端对数据进行解压缩；
F、根据几个角度的图像数据和深度数据合成用户所在视点和视角的图像并渲染显示出来。
作为本发明的进一步技术方案：所述步骤2还有第二种工作模式，即由客户端处理。
与现有技术相比，本发明的有益效果是：本发明可实现由用户控制的任意角度、任意视点的固定舞台区域表演的直播和录播，相对于全景视频，本发明的优点是可以使用户***，更换视角和视点；相对于三维重构的直播的好处是无需建模，快速、高效、并没有细节信息损失，更接近照片级质量；相对于光场传输方案，因为本发明是用户的视点动态地选择生成用户视点图像的分组的数据进行传输，可支持对大规模并发用户视点分组极大减少数据传输量，克服自由视点移动虚拟现实应用在互联网大规模应用的数据传输瓶颈；除此之外，本发明的输出图像是通过深度信息和邻近相机合成而来，可极大减少相机的数量。
附图说明
图1为本发明的总体示意图；
图2为本发明的数据分组示意图；
图3为本发明的硬件结构示意图；
图4为本发明的流程图。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参阅图1-4；本发明实施例中，一种基于多摄像头光场拍摄的实时自由视点直播方法，如图一所示， 本发明使用多台摄像机环绕舞台或表演区域，从多个角度同时拍摄视频数据，对于在任意角度观看的用户，都可以找到一个由几台相机组成的三角形或多边形区域覆盖用户的视角。
如图二所示，1，3，4号相机即可覆盖由1，3，4三个点围成的三角区域的用户，1，2，4号相机即可覆盖由1，2，4三个点围成的三角区域的用户，以此类推。
如图三所示，每台相机的视频数据将集中至视频分配服务器，这些数据通过互联网传输给用户。
如图四所示，本发明的流程可概括为7步：
第一步：摄像机采集视频信号，并传输到处理设备；
第二步：处理设备生成深度数据，计算每个像素与相机的距离；此步骤也可以如图四模式二所示，由客户端处理；
第三步：按照相机组成的多边形或三角形对相机进行分组，并将这些分组的视频数据流进行合并压缩，图二描述了一种按三角形覆盖区域的分组方式，例如1，3，4号相机进行合并压缩成数据流A，1，2，4号相机进行合并压缩成数据流B；
第四步与第五步：根据用户的观测位置，程序自动选择对应的压缩视频和深度数据，并组装成数据流通过网络传输给用户，在图二中，对于在1，3，4视角区域的用户，将接收到A数据流，在1，2，4视角区域的用户，将接收到B数据流；当用户从A区域移动到B区域，数据流也需要同时进行切换；
在网络传输阶段，针对互联网大规模并发用户，本发明将用户按照其视点进行分组，同一组用户使用同一组压缩数据，以减少数据互联网传输所需带宽和计算量。
第六步：用户客户端对数据进行解压缩；
第七步：根据几个角度的图像数据和深度数据合成用户所在视点和视角的图像并渲染显示出来。
以上对本发明的较佳实施方式进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变型或替换，这些等同的变型或替换均包含在本申请权利要求所限定的范围内。

Claims (2)

1.一种基于多摄像头光场拍摄的实时自由视点直播方法，其特征在于，包含以下步骤：
A、摄像机采集视频信号，并传输到处理设备；
B、处理设备生成深度数据，计算每个像素与相机的距离；
C、按照相机组成的多边形或三角形对相机进行分组，并将这些分组的视频数据流进行合并压缩；
D、根据用户的观测位置，程序自动选择对应的压缩视频和深度数据，并组装成数据流通过网络传输给用户；
E、用户客户端对数据进行解压缩；
F、根据几个角度的图像数据和深度数据合成用户所在视点和视角的图像并渲染显示出来。
2.根据权利要求5所述的一种基于多摄像头光场拍摄的实时自由视点直播方法，其特征在于，所述步骤2还有第二种工作模式，即由客户端处理。
CN201710464275.4A 2017-06-19 2017-06-19 一种基于多摄像头光场拍摄的实时自由视点直播方法 Pending CN107197318A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710464275.4A CN107197318A (zh) 2017-06-19 2017-06-19 一种基于多摄像头光场拍摄的实时自由视点直播方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710464275.4A CN107197318A (zh) 2017-06-19 2017-06-19 一种基于多摄像头光场拍摄的实时自由视点直播方法

Publications (1)

Publication Number Publication Date
CN107197318A true CN107197318A (zh) 2017-09-22

Family

ID=59878606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710464275.4A Pending CN107197318A (zh) 2017-06-19 2017-06-19 一种基于多摄像头光场拍摄的实时自由视点直播方法

Country Status (1)

Country Link
CN (1) CN107197318A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107918948A (zh) * 2017-11-02 2018-04-17 深圳市自由视像科技有限公司 4d视频渲染方法
CN108418832A (zh) * 2018-03-26 2018-08-17 深圳市酷开网络科技有限公司 一种虚拟现实导购方法、***及存储介质
CN110198457A (zh) * 2018-02-26 2019-09-03 腾讯科技（深圳）有限公司 视频播放方法及其设备、***、存储介质、终端、服务器
CN110430416A (zh) * 2019-07-17 2019-11-08 清华大学 自由视点图像生成方法和装置
CN110944222A (zh) * 2018-09-21 2020-03-31 上海交通大学 沉浸媒体内容随用户移动变化的方法及***
CN111931071A (zh) * 2020-10-09 2020-11-13 北京瞰瞰科技有限公司 一种视频数据推送方法及装置
CN114638771A (zh) * 2022-03-11 2022-06-17 北京拙河科技有限公司 基于混合模型的视频融合方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102215380A (zh) * 2010-04-09 2011-10-12 霍尼韦尔国际公司 分组和浏览大型监测***中的摄像机的***及方法
US20110293236A1 (en) * 2010-05-28 2011-12-01 Hon Hai Precision Industry Co., Ltd. Digital video recorder and managing method
CN105791881A (zh) * 2016-03-15 2016-07-20 深圳市望尘科技有限公司 一种基于光场摄像机的三维场景录播的实现方法
CN105939481A (zh) * 2016-05-12 2016-09-14 深圳市望尘科技有限公司 一种交互式三维虚拟现实视频节目录播和直播方法
CN106060513A (zh) * 2016-06-29 2016-10-26 深圳市优象计算技术有限公司 一种用于柱面立体全景视频网络播放的码流缓存机制

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102215380A (zh) * 2010-04-09 2011-10-12 霍尼韦尔国际公司 分组和浏览大型监测***中的摄像机的***及方法
US20110293236A1 (en) * 2010-05-28 2011-12-01 Hon Hai Precision Industry Co., Ltd. Digital video recorder and managing method
CN105791881A (zh) * 2016-03-15 2016-07-20 深圳市望尘科技有限公司 一种基于光场摄像机的三维场景录播的实现方法
CN105939481A (zh) * 2016-05-12 2016-09-14 深圳市望尘科技有限公司 一种交互式三维虚拟现实视频节目录播和直播方法
CN106060513A (zh) * 2016-06-29 2016-10-26 深圳市优象计算技术有限公司 一种用于柱面立体全景视频网络播放的码流缓存机制

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107918948A (zh) * 2017-11-02 2018-04-17 深圳市自由视像科技有限公司 4d视频渲染方法
CN110198457A (zh) * 2018-02-26 2019-09-03 腾讯科技（深圳）有限公司 视频播放方法及其设备、***、存储介质、终端、服务器
CN108418832A (zh) * 2018-03-26 2018-08-17 深圳市酷开网络科技有限公司 一种虚拟现实导购方法、***及存储介质
CN110944222A (zh) * 2018-09-21 2020-03-31 上海交通大学 沉浸媒体内容随用户移动变化的方法及***
CN110944222B (zh) * 2018-09-21 2021-02-12 上海交通大学 沉浸媒体内容随用户移动变化的方法及***
CN110430416A (zh) * 2019-07-17 2019-11-08 清华大学 自由视点图像生成方法和装置
CN110430416B (zh) * 2019-07-17 2020-12-08 清华大学 自由视点图像生成方法和装置
CN111931071A (zh) * 2020-10-09 2020-11-13 北京瞰瞰科技有限公司 一种视频数据推送方法及装置
CN114638771A (zh) * 2022-03-11 2022-06-17 北京拙河科技有限公司 基于混合模型的视频融合方法及***
CN114638771B (zh) * 2022-03-11 2022-11-29 北京拙河科技有限公司 基于混合模型的视频融合方法及***

Similar Documents

Publication Publication Date Title
CN107197318A (zh) 一种基于多摄像头光场拍摄的实时自由视点直播方法
WO2021179783A1 (zh) 基于自由视点的视频直播处理方法、设备、***、芯片及介质
US10438633B2 (en) Method and system for low cost television production
CN106165415B (zh) 立体观看
US8228327B2 (en) Non-linear depth rendering of stereoscopic animated images
US20150358539A1 (en) Mobile Virtual Reality Camera, Method, And System
CN105939481A (zh) 一种交互式三维虚拟现实视频节目录播和直播方法
CN106878764A (zh) 一种虚拟现实的直播方法、***及其用途
US20060244831A1 (en) System and method for supplying and receiving a custom image
CN102340690A (zh) 一种互动电视节目***及实现方法
CN104335243A (zh) 处理全景画面
CN106060513B (zh) 一种用于柱面立体全景视频网络播放的码流缓存方法
CN108900857A (zh) 一种多视角视频流处理方法和装置
CN105847778B (zh) 360°多视点3d全息视频采集方法、设备及实现方法
CN106657719A (zh) 一种智能虚拟演播室***
CN108134928A (zh) Vr显示方法和装置
CN108153412A (zh) 局域网vr直播方法及***
Domański et al. Demonstration of a simple free viewpoint television system
CN100486140C (zh) 基于因特网的立体视频监视方法及***
EP2852149A1 (en) Method and apparatus for generation, processing and delivery of 3D video
US11930290B2 (en) Panoramic picture in picture video
US11792380B2 (en) Video transmission method, video processing device, and video generating system for virtual reality
RU206248U1 (ru) Многоэкранный панорамный телевизор
Naemura et al. Multiresolution stereoscopic immersive communication using a set of four cameras
Liu et al. Status and development direction of Virtual Reality Video technology.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170922