CN110113628A - 一种视频拼接服务器和移动状态下的全景直播*** - Google Patents
一种视频拼接服务器和移动状态下的全景直播*** Download PDFInfo
- Publication number
- CN110113628A CN110113628A CN201910398402.4A CN201910398402A CN110113628A CN 110113628 A CN110113628 A CN 110113628A CN 201910398402 A CN201910398402 A CN 201910398402A CN 110113628 A CN110113628 A CN 110113628A
- Authority
- CN
- China
- Prior art keywords
- video
- module
- splicing
- moving condition
- live broadcast
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 claims abstract description 13
- 238000004891 communication Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 4
- 238000005538 encapsulation Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 4
- 238000000034 method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 238000010899 nucleation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种视频拼接服务器和移动状态下的全景直播***,***包括视频处理控制、图像采集模块、网络接入模块和流媒体服务器模块,图像采集模块有硬件图像采集设备和软件第一传输模块构成,图像采集设备用于采集图像数据,本发明的有益效果:本发明的***通过全景摄像机将视频帧处理话,再通过视频拼接***进行视频拼接,将待拼接数据传输至服务器完成,大大降低了全景直播中的掉帧率,同时通过三轴陀螺仪可以简单的获取使用者的当前姿态信息,使得视频处理控制器对使用者移动状态下的姿态更加了解,从而调节视频的拼接,反馈给用户更加细致。
Description
技术领域:
本发明属于全景直播技术领域,特别涉及一种视频拼接服务器和移动状态下的全景直播***。
背景技术:
在当今时代,视频直播越来越受大众的欢迎,纵观视频直播的发展史,是由视频点播的基础上演变而来,由互联网以及流媒体技术进行直播,从而能够实时、全面地传播视频内容。在早期的视频播放时,视频内容的可视区域因拍摄等原因,如摄像机镜头的取景角度、范围,导致其固定不可调,用户只能观看到当前的区域,视频画面只能跟随镜头移动而变化,用户观看无立体感,更不能有身临其境的感受,随着全景视频技术的发展,出现了360度全景视频,全景视频是一种新型的技术,全景视频拍摄就是将一定范围内的某个时间段,记录周围所发生的一切,并且展现出来,能够让用户全方位的360度自由观看,可以上下左右前后、甚至远近距离观看。通常是通过多个摄像机同时对同一个空间下的物体进行多个角度拍摄来实现,在播放端允许用户在无需暂停视频播放的情况下,自由切换观看角度;全景视频具有立体感和真实感,能够很好地提供视觉体验;可以实现身临其境的体验和更令人刮目相看的惊奇效果,目前对摄像机采集的图像数据基本为固定式采集无法做到实时移动直播,在移动全景直播的时候视频帧的处理非常重要,若处理不到位,用户视频端观看则容易掉帧、卡顿。
发明内容:
本发明的目的就在于为了解决上述问题而提供一种视频拼接服务器和移动状态下的全景直播***,解决了目前现有的问题。
为了解决上述问题,本发明提供了一种技术方案:
一种视频拼接服务器和移动状态下的全景直播***,所述***包括视频处理控制、图像采集模块、网络接入模块和流媒体服务器模块。
作为优选,所述图像采集模块有硬件图像采集设备和软件第一传输模块构成,所述图像采集设备用于采集图像数据,所述第一传输模块用于将采集的图像数据传输给流媒体服务器模块,且所述图像采集设备中包含有三轴陀螺仪、麦克风以及构成全景效果的局部相机和全局相机。
作为优选,所述网络接入模块与图像采集模块与流媒体服务器模块双向连接,且网络接入模块通过通信模块连接有用户终端。
作为优选,所述流媒体服务器模块包括处理模块、储存模块和第二传输模块。
作为优选,所述处理模块包括实时拼接单元、视频编码单元和拍照处理单元,所述实时拼接单元用于实时拼接采集的视频数据,所述视频编码单元,用于将拼接后的全景图像数据进行压缩编码成视频流,并将视频流按照视频传输协议进行超清分辨率格式封装并且分发,所述拍摄处理单元,用于处理用户终端模块的拍摄请求。
作为优选,三个所述储存模块包括计算机程序,所述计算机程序被处理器加载执行时,实现对焦处理以及图像处理中的流量存储,且所述存储单元1用于存储全景图像数据,所述存储单元2用于存储索引文件和视频流,所述存储单元3用于存储用户终端模块请求拍照的图像。
作为优选,所述全局相机通过N路摄像头进行360°全景的视频帧采集,对每路摄像头采集的所有视频帧进行路数标记,并对各个视频帧按照采集顺序进行帧序列标记;以及通过所述网络接入模块,将标记路数和帧序列的各视频帧分别发送给所述视频拼接模块。
作为优选,所述通讯模块的网络连接为无线局域网和/或有线广域网;其中,当所述网络连接为无线局域网时,所述通讯模块与安装有相机APP的用户终端通过无线局域网进行通讯连接,以使得终端用户通过相机APP对全景摄像机进行调节设置,当所述网络连接为有线广域网时,所述通讯模块通过网线连接路由器并接入广域网,并与广域网中的直播平台服务器建立通讯连接,以使得终端用户通过浏览器插件或直播APP在客户端采用3D/VR方式进行全景直播观看。
本发明的有益效果:本发明的***通过全景摄像机将视频帧处理话,再通过视频拼接***进行视频拼接,将待拼接数据传输至服务器完成,大大降低了全景直播中的掉帧率,同时通过三轴陀螺仪可以简单的获取使用者的当前姿态信息,使得视频处理控制器对使用者移动状态下的姿态更加了解,从而调节视频的拼接,反馈给用户更加细致。
附图说明:
为了易于说明,本发明由下述的具体实施及附图作以详细描述。
图1是本发明的***结构示意图;
图2是本发明视频拼接处理的流程示意图。
具体实施方式:
如图1-2所示,本具体实施方式采用以下技术方案:一种视频拼接服务器和移动状态下的全景直播***,所述***包括视频处理控制、图像采集模块、网络接入模块和流媒体服务器模块。
其中,所述图像采集模块有硬件图像采集设备和软件第一传输模块构成,所述图像采集设备用于采集图像数据,所述第一传输模块用于将采集的图像数据传输给流媒体服务器模块,且所述图像采集设备中包含有三轴陀螺仪、麦克风以及构成全景效果的局部相机和全局相机。
其中,所述网络接入模块与图像采集模块与流媒体服务器模块双向连接,且网络接入模块通过通信模块连接有用户终端。
其中,所述流媒体服务器模块包括处理模块、储存模块和第二传输模块。
其中,所述处理模块包括实时拼接单元、视频编码单元和拍照处理单元,所述实时拼接单元用于实时拼接采集的视频数据,所述视频编码单元,用于将拼接后的全景图像数据进行压缩编码成视频流,并将视频流按照视频传输协议进行超清分辨率格式封装并且分发,所述拍摄处理单元,用于处理用户终端模块的拍摄请求。
其中,三个所述储存模块包括计算机程序,所述计算机程序被处理器加载执行时,实现对焦处理以及图像处理中的流量存储,且所述存储单元1用于存储全景图像数据,所述存储单元2用于存储索引文件和视频流,所述存储单元3用于存储用户终端模块请求拍照的图像。
其中,所述全局相机通过N路摄像头进行360°全景的视频帧采集,对每路摄像头采集的所有视频帧进行路数标记,并对各个视频帧按照采集顺序进行帧序列标记;以及通过所述网络接入模块,将标记路数和帧序列的各视频帧分别发送给所述视频拼接模块。
其中,所述通讯模块的网络连接为无线局域网和/或有线广域网;其中,当所述网络连接为无线局域网时,所述通讯模块与安装有相机APP的用户终端通过无线局域网进行通讯连接,以使得终端用户通过相机APP对全景摄像机进行调节设置,当所述网络连接为有线广域网时,所述通讯模块通过网线连接路由器并接入广域网,并与广域网中的直播平台服务器建立通讯连接,以使得终端用户通过浏览器插件或直播APP在客户端采用3D/VR方式进行全景直播观看。
本发明的有益效果:本发明的***通过全景摄像机将视频帧处理话,再通过视频拼接***进行视频拼接,将待拼接数据传输至服务器完成,大大降低了全景直播中的掉帧率,同时通过三轴陀螺仪可以简单的获取使用者的当前姿态信息,使得视频处理控制器对使用者移动状态下的姿态更加了解,从而调节视频的拼接,反馈给用户更加细致。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点,本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内,本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (8)
1.一种视频拼接服务器和移动状态下的全景直播***,其特征在于:所述***包括视频处理控制、图像采集模块、网络接入模块和流媒体服务器模块。
2.根据权利要求1所述的一种视频拼接服务器和移动状态下的全景直播***,其特征在于:所述图像采集模块有硬件图像采集设备和软件第一传输模块构成,所述图像采集设备用于采集图像数据,所述第一传输模块用于将采集的图像数据传输给流媒体服务器模块,且所述图像采集设备中包含有三轴陀螺仪、麦克风以及构成全景效果的局部相机和全局相机。
3.根据权利要求1所述的一种视频拼接服务器和移动状态下的全景直播***,其特征在于:所述网络接入模块与图像采集模块与流媒体服务器模块双向连接,且网络接入模块通过通信模块连接有用户终端。
4.根据权利要求1所述的一种视频拼接服务器和移动状态下的全景直播***,其特征在于:所述流媒体服务器模块包括处理模块、储存模块和第二传输模块。
5.根据权利要求4所述的一种视频拼接服务器和移动状态下的全景直播***,其特征在于:所述处理模块包括实时拼接单元、视频编码单元和拍照处理单元,所述实时拼接单元用于实时拼接采集的视频数据,所述视频编码单元,用于将拼接后的全景图像数据进行压缩编码成视频流,并将视频流按照视频传输协议进行超清分辨率格式封装并且分发,所述拍摄处理单元,用于处理用户终端模块的拍摄请求。
6.根据权利要求4所述的一种视频拼接服务器和移动状态下的全景直播***,其特征在于:三个所述储存模块包括计算机程序,所述计算机程序被处理器加载执行时,实现对焦处理以及图像处理中的流量存储,且所述存储单元1用于存储全景图像数据,所述存储单元2用于存储索引文件和视频流,所述存储单元3用于存储用户终端模块请求拍照的图像。
7.根据权利要求2所述的一种视频拼接服务器和移动状态下的全景直播***,其特征在于:所述全局相机通过N路摄像头进行360°全景的视频帧采集,对每路摄像头采集的所有视频帧进行路数标记,并对各个视频帧按照采集顺序进行帧序列标记;以及通过所述网络接入模块,将标记路数和帧序列的各视频帧分别发送给所述视频拼接模块。
8.根据权利要求3所述的一种视频拼接服务器和移动状态下的全景直播***,其特征在于:所述通讯模块的网络连接为无线局域网和/或有线广域网;其中,当所述网络连接为无线局域网时,所述通讯模块与安装有相机APP的用户终端通过无线局域网进行通讯连接,以使得终端用户通过相机APP对全景摄像机进行调节设置,当所述网络连接为有线广域网时,所述通讯模块通过网线连接路由器并接入广域网,并与广域网中的直播平台服务器建立通讯连接,以使得终端用户通过浏览器插件或直播APP在客户端采用3D/VR方式进行全景直播观看。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910398402.4A CN110113628A (zh) | 2019-05-14 | 2019-05-14 | 一种视频拼接服务器和移动状态下的全景直播*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910398402.4A CN110113628A (zh) | 2019-05-14 | 2019-05-14 | 一种视频拼接服务器和移动状态下的全景直播*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110113628A true CN110113628A (zh) | 2019-08-09 |
Family
ID=67489839
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910398402.4A Pending CN110113628A (zh) | 2019-05-14 | 2019-05-14 | 一种视频拼接服务器和移动状态下的全景直播*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110113628A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111416989A (zh) * | 2020-04-28 | 2020-07-14 | 北京金山云网络技术有限公司 | 视频直播方法、***及电子设备 |
CN112383592A (zh) * | 2020-10-28 | 2021-02-19 | 安擎(天津)计算机有限公司 | 一种适用于流媒体数据传输的分发服务器 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015058656A1 (zh) * | 2013-10-21 | 2015-04-30 | 腾讯科技(深圳)有限公司 | 直播控制方法,及主播设备 |
CN106604042A (zh) * | 2016-12-22 | 2017-04-26 | Tcl集团股份有限公司 | 一种基于云端服务器的全景直播***及全景直播方法 |
CN107071358A (zh) * | 2017-04-19 | 2017-08-18 | 中国电子科技集团公司电子科学研究院 | 视频拼接服务器和移动状态下的全景直播*** |
CN107592548A (zh) * | 2017-09-29 | 2018-01-16 | 哈尔滨市舍科技有限公司 | 一种实时全景直播拍照的图像采集装置及图像传输方法 |
CN108055472A (zh) * | 2017-12-21 | 2018-05-18 | 长沙全度影像科技有限公司 | 一种实时全景直播***及方法 |
CN108769755A (zh) * | 2018-04-27 | 2018-11-06 | 湖北工业大学 | 高分辨率全景视频直播拍照***与方法 |
-
2019
- 2019-05-14 CN CN201910398402.4A patent/CN110113628A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015058656A1 (zh) * | 2013-10-21 | 2015-04-30 | 腾讯科技(深圳)有限公司 | 直播控制方法,及主播设备 |
CN106604042A (zh) * | 2016-12-22 | 2017-04-26 | Tcl集团股份有限公司 | 一种基于云端服务器的全景直播***及全景直播方法 |
CN107071358A (zh) * | 2017-04-19 | 2017-08-18 | 中国电子科技集团公司电子科学研究院 | 视频拼接服务器和移动状态下的全景直播*** |
CN107592548A (zh) * | 2017-09-29 | 2018-01-16 | 哈尔滨市舍科技有限公司 | 一种实时全景直播拍照的图像采集装置及图像传输方法 |
CN108055472A (zh) * | 2017-12-21 | 2018-05-18 | 长沙全度影像科技有限公司 | 一种实时全景直播***及方法 |
CN108769755A (zh) * | 2018-04-27 | 2018-11-06 | 湖北工业大学 | 高分辨率全景视频直播拍照***与方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111416989A (zh) * | 2020-04-28 | 2020-07-14 | 北京金山云网络技术有限公司 | 视频直播方法、***及电子设备 |
CN112383592A (zh) * | 2020-10-28 | 2021-02-19 | 安擎(天津)计算机有限公司 | 一种适用于流媒体数据传输的分发服务器 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112053446B (zh) | 一种基于三维gis的实时监控视频与三维场景融合方法 | |
US9843840B1 (en) | Apparatus and method for panoramic video hosting | |
US10693938B2 (en) | Method and system for interactive transmission of panoramic video | |
JP4351996B2 (ja) | モノスコープ・イメージから立体的なイメージを生成するための方法 | |
CN107205122A (zh) | 多分辨率全景视频直播拍照***与方法 | |
US10277890B2 (en) | System and method for capturing and viewing panoramic images having motion parallax depth perception without image stitching | |
CN102510474A (zh) | 一种360度全景监控*** | |
CN106993177A (zh) | 一种双目720度全景采集*** | |
US11282169B2 (en) | Method and apparatus for processing and distributing live virtual reality content | |
CN105959575A (zh) | 一种可变焦全景摄像机 | |
CN106210525A (zh) | 用于实现视频直播的相机及方法 | |
JP2019103067A (ja) | 情報処理装置、記憶装置、画像処理装置、画像処理システム、制御方法、及びプログラム | |
WO2018036112A1 (zh) | 一种编解码全景视频的方法和*** | |
CN110113628A (zh) | 一种视频拼接服务器和移动状态下的全景直播*** | |
CN111869223A (zh) | 沉浸式媒体的视场角度量 | |
CN115639976B (zh) | 一种虚拟现实内容多模式多角度同步展示方法及*** | |
CN104506840A (zh) | 一种实时立体视频拼接装置及特写方法 | |
CN108769755A (zh) | 高分辨率全景视频直播拍照***与方法 | |
Gaddam et al. | Be your own cameraman: Real-time support for zooming and panning into stored and live panoramic video | |
CN205792939U (zh) | 用于全景摄像机的双鱼眼摄像装置 | |
CN111083368A (zh) | 一种基于云端的模拟物理云台全景视频展示*** | |
EP3695593A1 (en) | Creating multi-camera panoramic projections | |
US20230162435A1 (en) | Information processing apparatus, information processing method, and storage medium | |
JP7054351B2 (ja) | 自由視点映像のリプレイ映像を再生するシステム | |
CN115174941A (zh) | 基于多路视频流的实时运动表现分析及实时数据共享方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190809 |