CN110113628A - 一种视频拼接服务器和移动状态下的全景直播*** - Google Patents

一种视频拼接服务器和移动状态下的全景直播*** Download PDF

Info

Publication number
CN110113628A
CN110113628A CN201910398402.4A CN201910398402A CN110113628A CN 110113628 A CN110113628 A CN 110113628A CN 201910398402 A CN201910398402 A CN 201910398402A CN 110113628 A CN110113628 A CN 110113628A
Authority
CN
China
Prior art keywords
video
module
splicing
moving condition
live broadcast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910398402.4A
Other languages
English (en)
Inventor
马万涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningxia Media Technology Co Ltd
Original Assignee
Ningxia Media Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningxia Media Technology Co Ltd filed Critical Ningxia Media Technology Co Ltd
Priority to CN201910398402.4A priority Critical patent/CN110113628A/zh
Publication of CN110113628A publication Critical patent/CN110113628A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种视频拼接服务器和移动状态下的全景直播***，***包括视频处理控制、图像采集模块、网络接入模块和流媒体服务器模块，图像采集模块有硬件图像采集设备和软件第一传输模块构成，图像采集设备用于采集图像数据，本发明的有益效果：本发明的***通过全景摄像机将视频帧处理话，再通过视频拼接***进行视频拼接，将待拼接数据传输至服务器完成，大大降低了全景直播中的掉帧率，同时通过三轴陀螺仪可以简单的获取使用者的当前姿态信息，使得视频处理控制器对使用者移动状态下的姿态更加了解，从而调节视频的拼接，反馈给用户更加细致。

Description

一种视频拼接服务器和移动状态下的全景直播***
技术领域：
本发明属于全景直播技术领域，特别涉及一种视频拼接服务器和移动状态下的全景直播***。
背景技术：
在当今时代，视频直播越来越受大众的欢迎，纵观视频直播的发展史，是由视频点播的基础上演变而来，由互联网以及流媒体技术进行直播，从而能够实时、全面地传播视频内容。在早期的视频播放时，视频内容的可视区域因拍摄等原因，如摄像机镜头的取景角度、范围，导致其固定不可调，用户只能观看到当前的区域，视频画面只能跟随镜头移动而变化，用户观看无立体感，更不能有身临其境的感受，随着全景视频技术的发展，出现了360度全景视频，全景视频是一种新型的技术，全景视频拍摄就是将一定范围内的某个时间段，记录周围所发生的一切，并且展现出来，能够让用户全方位的360度自由观看，可以上下左右前后、甚至远近距离观看。通常是通过多个摄像机同时对同一个空间下的物体进行多个角度拍摄来实现，在播放端允许用户在无需暂停视频播放的情况下，自由切换观看角度；全景视频具有立体感和真实感，能够很好地提供视觉体验；可以实现身临其境的体验和更令人刮目相看的惊奇效果，目前对摄像机采集的图像数据基本为固定式采集无法做到实时移动直播，在移动全景直播的时候视频帧的处理非常重要，若处理不到位，用户视频端观看则容易掉帧、卡顿。
发明内容：
本发明的目的就在于为了解决上述问题而提供一种视频拼接服务器和移动状态下的全景直播***，解决了目前现有的问题。
为了解决上述问题，本发明提供了一种技术方案：
一种视频拼接服务器和移动状态下的全景直播***，所述***包括视频处理控制、图像采集模块、网络接入模块和流媒体服务器模块。
作为优选，所述图像采集模块有硬件图像采集设备和软件第一传输模块构成，所述图像采集设备用于采集图像数据，所述第一传输模块用于将采集的图像数据传输给流媒体服务器模块，且所述图像采集设备中包含有三轴陀螺仪、麦克风以及构成全景效果的局部相机和全局相机。
作为优选，所述网络接入模块与图像采集模块与流媒体服务器模块双向连接，且网络接入模块通过通信模块连接有用户终端。
作为优选，所述流媒体服务器模块包括处理模块、储存模块和第二传输模块。
作为优选，所述处理模块包括实时拼接单元、视频编码单元和拍照处理单元，所述实时拼接单元用于实时拼接采集的视频数据，所述视频编码单元，用于将拼接后的全景图像数据进行压缩编码成视频流，并将视频流按照视频传输协议进行超清分辨率格式封装并且分发，所述拍摄处理单元，用于处理用户终端模块的拍摄请求。
作为优选，三个所述储存模块包括计算机程序，所述计算机程序被处理器加载执行时，实现对焦处理以及图像处理中的流量存储，且所述存储单元1用于存储全景图像数据，所述存储单元2用于存储索引文件和视频流，所述存储单元3用于存储用户终端模块请求拍照的图像。
作为优选，所述全局相机通过N路摄像头进行360°全景的视频帧采集，对每路摄像头采集的所有视频帧进行路数标记，并对各个视频帧按照采集顺序进行帧序列标记；以及通过所述网络接入模块，将标记路数和帧序列的各视频帧分别发送给所述视频拼接模块。
作为优选，所述通讯模块的网络连接为无线局域网和/或有线广域网；其中，当所述网络连接为无线局域网时，所述通讯模块与安装有相机APP的用户终端通过无线局域网进行通讯连接，以使得终端用户通过相机APP对全景摄像机进行调节设置，当所述网络连接为有线广域网时，所述通讯模块通过网线连接路由器并接入广域网，并与广域网中的直播平台服务器建立通讯连接，以使得终端用户通过浏览器插件或直播APP在客户端采用3D/VR方式进行全景直播观看。
本发明的有益效果：本发明的***通过全景摄像机将视频帧处理话，再通过视频拼接***进行视频拼接，将待拼接数据传输至服务器完成，大大降低了全景直播中的掉帧率，同时通过三轴陀螺仪可以简单的获取使用者的当前姿态信息，使得视频处理控制器对使用者移动状态下的姿态更加了解，从而调节视频的拼接，反馈给用户更加细致。
附图说明：
为了易于说明，本发明由下述的具体实施及附图作以详细描述。
图1是本发明的***结构示意图；
图2是本发明视频拼接处理的流程示意图。
具体实施方式：
如图1-2所示，本具体实施方式采用以下技术方案：一种视频拼接服务器和移动状态下的全景直播***，所述***包括视频处理控制、图像采集模块、网络接入模块和流媒体服务器模块。
其中，所述图像采集模块有硬件图像采集设备和软件第一传输模块构成，所述图像采集设备用于采集图像数据，所述第一传输模块用于将采集的图像数据传输给流媒体服务器模块，且所述图像采集设备中包含有三轴陀螺仪、麦克风以及构成全景效果的局部相机和全局相机。
其中，所述网络接入模块与图像采集模块与流媒体服务器模块双向连接，且网络接入模块通过通信模块连接有用户终端。
其中，所述流媒体服务器模块包括处理模块、储存模块和第二传输模块。
其中，所述处理模块包括实时拼接单元、视频编码单元和拍照处理单元，所述实时拼接单元用于实时拼接采集的视频数据，所述视频编码单元，用于将拼接后的全景图像数据进行压缩编码成视频流，并将视频流按照视频传输协议进行超清分辨率格式封装并且分发，所述拍摄处理单元，用于处理用户终端模块的拍摄请求。
其中，三个所述储存模块包括计算机程序，所述计算机程序被处理器加载执行时，实现对焦处理以及图像处理中的流量存储，且所述存储单元1用于存储全景图像数据，所述存储单元2用于存储索引文件和视频流，所述存储单元3用于存储用户终端模块请求拍照的图像。
其中，所述全局相机通过N路摄像头进行360°全景的视频帧采集，对每路摄像头采集的所有视频帧进行路数标记，并对各个视频帧按照采集顺序进行帧序列标记；以及通过所述网络接入模块，将标记路数和帧序列的各视频帧分别发送给所述视频拼接模块。
其中，所述通讯模块的网络连接为无线局域网和/或有线广域网；其中，当所述网络连接为无线局域网时，所述通讯模块与安装有相机APP的用户终端通过无线局域网进行通讯连接，以使得终端用户通过相机APP对全景摄像机进行调节设置，当所述网络连接为有线广域网时，所述通讯模块通过网线连接路由器并接入广域网，并与广域网中的直播平台服务器建立通讯连接，以使得终端用户通过浏览器插件或直播APP在客户端采用3D/VR方式进行全景直播观看。
本发明的有益效果：本发明的***通过全景摄像机将视频帧处理话，再通过视频拼接***进行视频拼接，将待拼接数据传输至服务器完成，大大降低了全景直播中的掉帧率，同时通过三轴陀螺仪可以简单的获取使用者的当前姿态信息，使得视频处理控制器对使用者移动状态下的姿态更加了解，从而调节视频的拼接，反馈给用户更加细致。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点，本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内，本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.一种视频拼接服务器和移动状态下的全景直播***，其特征在于:所述***包括视频处理控制、图像采集模块、网络接入模块和流媒体服务器模块。
2.根据权利要求1所述的一种视频拼接服务器和移动状态下的全景直播***，其特征在于：所述图像采集模块有硬件图像采集设备和软件第一传输模块构成，所述图像采集设备用于采集图像数据，所述第一传输模块用于将采集的图像数据传输给流媒体服务器模块，且所述图像采集设备中包含有三轴陀螺仪、麦克风以及构成全景效果的局部相机和全局相机。
3.根据权利要求1所述的一种视频拼接服务器和移动状态下的全景直播***，其特征在于：所述网络接入模块与图像采集模块与流媒体服务器模块双向连接，且网络接入模块通过通信模块连接有用户终端。
4.根据权利要求1所述的一种视频拼接服务器和移动状态下的全景直播***，其特征在于：所述流媒体服务器模块包括处理模块、储存模块和第二传输模块。
5.根据权利要求4所述的一种视频拼接服务器和移动状态下的全景直播***，其特征在于：所述处理模块包括实时拼接单元、视频编码单元和拍照处理单元，所述实时拼接单元用于实时拼接采集的视频数据，所述视频编码单元，用于将拼接后的全景图像数据进行压缩编码成视频流，并将视频流按照视频传输协议进行超清分辨率格式封装并且分发，所述拍摄处理单元，用于处理用户终端模块的拍摄请求。
6.根据权利要求4所述的一种视频拼接服务器和移动状态下的全景直播***，其特征在于：三个所述储存模块包括计算机程序，所述计算机程序被处理器加载执行时，实现对焦处理以及图像处理中的流量存储，且所述存储单元1用于存储全景图像数据，所述存储单元2用于存储索引文件和视频流，所述存储单元3用于存储用户终端模块请求拍照的图像。
7.根据权利要求2所述的一种视频拼接服务器和移动状态下的全景直播***，其特征在于：所述全局相机通过N路摄像头进行360°全景的视频帧采集，对每路摄像头采集的所有视频帧进行路数标记，并对各个视频帧按照采集顺序进行帧序列标记；以及通过所述网络接入模块，将标记路数和帧序列的各视频帧分别发送给所述视频拼接模块。
8.根据权利要求3所述的一种视频拼接服务器和移动状态下的全景直播***，其特征在于：所述通讯模块的网络连接为无线局域网和/或有线广域网；其中，当所述网络连接为无线局域网时，所述通讯模块与安装有相机APP的用户终端通过无线局域网进行通讯连接，以使得终端用户通过相机APP对全景摄像机进行调节设置，当所述网络连接为有线广域网时，所述通讯模块通过网线连接路由器并接入广域网，并与广域网中的直播平台服务器建立通讯连接，以使得终端用户通过浏览器插件或直播APP在客户端采用3D/VR方式进行全景直播观看。
CN201910398402.4A 2019-05-14 2019-05-14 一种视频拼接服务器和移动状态下的全景直播*** Pending CN110113628A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910398402.4A CN110113628A (zh) 2019-05-14 2019-05-14 一种视频拼接服务器和移动状态下的全景直播***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910398402.4A CN110113628A (zh) 2019-05-14 2019-05-14 一种视频拼接服务器和移动状态下的全景直播***

Publications (1)

Publication Number Publication Date
CN110113628A true CN110113628A (zh) 2019-08-09

Family

ID=67489839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910398402.4A Pending CN110113628A (zh) 2019-05-14 2019-05-14 一种视频拼接服务器和移动状态下的全景直播***

Country Status (1)

Country Link
CN (1) CN110113628A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111416989A (zh) * 2020-04-28 2020-07-14 北京金山云网络技术有限公司 视频直播方法、***及电子设备
CN112383592A (zh) * 2020-10-28 2021-02-19 安擎(天津)计算机有限公司 一种适用于流媒体数据传输的分发服务器

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015058656A1 (zh) * 2013-10-21 2015-04-30 腾讯科技（深圳）有限公司 直播控制方法，及主播设备
CN106604042A (zh) * 2016-12-22 2017-04-26 Tcl集团股份有限公司 一种基于云端服务器的全景直播***及全景直播方法
CN107071358A (zh) * 2017-04-19 2017-08-18 中国电子科技集团公司电子科学研究院 视频拼接服务器和移动状态下的全景直播***
CN107592548A (zh) * 2017-09-29 2018-01-16 哈尔滨市舍科技有限公司 一种实时全景直播拍照的图像采集装置及图像传输方法
CN108055472A (zh) * 2017-12-21 2018-05-18 长沙全度影像科技有限公司 一种实时全景直播***及方法
CN108769755A (zh) * 2018-04-27 2018-11-06 湖北工业大学 高分辨率全景视频直播拍照***与方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015058656A1 (zh) * 2013-10-21 2015-04-30 腾讯科技（深圳）有限公司 直播控制方法，及主播设备
CN106604042A (zh) * 2016-12-22 2017-04-26 Tcl集团股份有限公司 一种基于云端服务器的全景直播***及全景直播方法
CN107071358A (zh) * 2017-04-19 2017-08-18 中国电子科技集团公司电子科学研究院 视频拼接服务器和移动状态下的全景直播***
CN107592548A (zh) * 2017-09-29 2018-01-16 哈尔滨市舍科技有限公司 一种实时全景直播拍照的图像采集装置及图像传输方法
CN108055472A (zh) * 2017-12-21 2018-05-18 长沙全度影像科技有限公司 一种实时全景直播***及方法
CN108769755A (zh) * 2018-04-27 2018-11-06 湖北工业大学 高分辨率全景视频直播拍照***与方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111416989A (zh) * 2020-04-28 2020-07-14 北京金山云网络技术有限公司 视频直播方法、***及电子设备
CN112383592A (zh) * 2020-10-28 2021-02-19 安擎(天津)计算机有限公司 一种适用于流媒体数据传输的分发服务器

Similar Documents

Publication Publication Date Title
CN112053446B (zh) 一种基于三维gis的实时监控视频与三维场景融合方法
US9843840B1 (en) Apparatus and method for panoramic video hosting
US10693938B2 (en) Method and system for interactive transmission of panoramic video
JP4351996B2 (ja) モノスコープ・イメージから立体的なイメージを生成するための方法
CN107205122A (zh) 多分辨率全景视频直播拍照***与方法
US10277890B2 (en) System and method for capturing and viewing panoramic images having motion parallax depth perception without image stitching
CN102510474A (zh) 一种360度全景监控***
CN106993177A (zh) 一种双目720度全景采集***
US11282169B2 (en) Method and apparatus for processing and distributing live virtual reality content
CN105959575A (zh) 一种可变焦全景摄像机
CN106210525A (zh) 用于实现视频直播的相机及方法
JP2019103067A (ja) 情報処理装置、記憶装置、画像処理装置、画像処理システム、制御方法、及びプログラム
WO2018036112A1 (zh) 一种编解码全景视频的方法和***
CN110113628A (zh) 一种视频拼接服务器和移动状态下的全景直播***
CN111869223A (zh) 沉浸式媒体的视场角度量
CN115639976B (zh) 一种虚拟现实内容多模式多角度同步展示方法及***
CN104506840A (zh) 一种实时立体视频拼接装置及特写方法
CN108769755A (zh) 高分辨率全景视频直播拍照***与方法
Gaddam et al. Be your own cameraman: Real-time support for zooming and panning into stored and live panoramic video
CN205792939U (zh) 用于全景摄像机的双鱼眼摄像装置
CN111083368A (zh) 一种基于云端的模拟物理云台全景视频展示***
EP3695593A1 (en) Creating multi-camera panoramic projections
US20230162435A1 (en) Information processing apparatus, information processing method, and storage medium
JP7054351B2 (ja) 自由視点映像のリプレイ映像を再生するシステム
CN115174941A (zh) 基于多路视频流的实时运动表现分析及实时数据共享方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190809