CN107205122A - 多分辨率全景视频直播拍照***与方法 - Google Patents

多分辨率全景视频直播拍照***与方法 Download PDF

Info

Publication number
CN107205122A
CN107205122A CN201710656265.0A CN201710656265A CN107205122A CN 107205122 A CN107205122 A CN 107205122A CN 201710656265 A CN201710656265 A CN 201710656265A CN 107205122 A CN107205122 A CN 107205122A
Authority
CN
China
Prior art keywords
module
video
user
sub
streaming media
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710656265.0A
Other languages
English (en)
Inventor
李建英
朱磊
韩琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Yishe Technology Co Ltd
Original Assignee
Harbin Yishe Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Yishe Technology Co Ltd filed Critical Harbin Yishe Technology Co Ltd
Priority to CN201710656265.0A priority Critical patent/CN107205122A/zh
Publication of CN107205122A publication Critical patent/CN107205122A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明多分辨率全景视频直播拍照***与方法涉及信息处理技术，该装置包括图像采集模块、流媒体服务器模块和用户终端模块，该方法包括通过图像采集模块采集图像数据，并且传输给流媒体服务器模块；流媒体服务器模块采集的图像数据实时拼接，并存储，然后进行压缩编码成视频流，并将视频流按照视频传输协议进行格式封装，存储后传输给用户终端模块；在用户终端模块中观看视频，发起拍照指令，经过流媒体服务器模块处理，用户在显示子模块中预览查看，如果用户满意，付费点击下载，保存至用户设备的本地相册；如果用户不满意，则不需要付费，返回直播中。提高了用户的真实感，实现了构建虚拟现实所需要的图像信息并将其传递到客户端并显示的功能。

Description

多分辨率全景视频直播拍照***与方法
技术领域
本发明多分辨率全景视频直播拍照***与方法属于信息处理领域。
背景技术
在当今时代，视频直播越来越受大众的欢迎，纵观视频直播的发展史，是由视频点播的基础上演变而来，由互联网以及流媒体技术进行直播,从而能够实时、全面地传播视频内容。视频直播通过真实、生动的传播，营造出强烈的现场感，吸引眼球，达成印象深刻、记忆持久的传播效果，能够真实、直观、全面的宣传、展示自己一个完整的流媒体平台，在早期的视频播放时，视频内容的可视区域因拍摄等原因，如：摄像机镜头的取景角度、范围，导致其固定不可调，用户只能观看到当前的区域，视频画面只能跟随镜头移动而变化，用户观看无立体感，更不能有身临其境的感受。
随着全景视频技术的发展，出现了360度全景视频，能够让用户全方位的360度自由观看，可以上下左右前后、甚至远近距离观看。通常是通过多个摄像机同时对同一个空间下的物体进行多个角度拍摄来实现，在播放端允许用户在无需暂停视频播放的情况下，自由切换观看角度；全景视频具有立体感和真实感，能够很好地提供视觉体验；能够实现身临其境的体验和更令人刮目相看的惊奇效果。
随着人们需求的不断提高，图像记录成为人们一种新的留念记录，所以人们希望在观看视频直播时不但可以看到真实、全面、直观的视频，还可以实时地获取高质量图像以留存或与朋友分享。那么如何快速有效地构建虚拟现实所需要的图像信息并将其传递到客户端并显示，提高用户体验的真实感和舒适感，将成为一个亟待解决的问题。
发明内容
本发明提供了一种多分辨率全景视频直播拍照***与方法，有效地构建虚拟现实所需要的图像信息并将其传递到客户端并显示。
本发明的目的是这样实现的：
一种多分辨率全景视频直播拍照***，包括图像采集模块、流媒体服务器模块和用户终端模块，所述图像采集模块包括图像采集设备和第一无线传输子模块；所述流媒体服务器模块包括处理子模块、存储子模块和第二无线传输子模块；所述的处理子模块包括实时拼接单元、视频编码单元和核心处理单元；所述存储子模块包括存储子单元a、存储子单元b和存储子单元c；用户终端模块包括至少一个用户设备，每个用户设备包括显示子模块、用户交互子模块和第三无线传输子模块。
所述的多分辨率全景视频直播拍照***，所述的：
图像采集设备：用于采集图像数据；
第一无线传输子模块：用于将采集的图像数据传输给流媒体服务器模块；
实时拼接单元：用于实时拼接采集的图像数据；
视频编码单元：用于将拼接后的全景图像数据进行压缩编码成视频流，并将视频流按照视频传输协议进行格式封装并且分发；
核心处理单元：用于处理用户终端模块请求拍照的指令；
存储子单元：用于存储全景图像数据；
存储子单元：用于存储索引文件和视频流；
存储子单元：用于存储用户终端模块请求拍照的图像；
第二无线传输子模块：用于流媒体服务器模块和图像采集模块、用户终端模块之间的通信；
显示子模块：用于显示全景图像或视频流；
用户交互子模块：用于发送观看视频、拍照、预览、付费和下载请求；
第三无线传输子模块：用于用户终端模块和流媒体服务器模块之间的通信。
所述的多分辨率全景视频直播拍照***，所述的流媒体服务器模块还包括用户管理模块，用于接收来自每个用户设备的身份认证请求，并基于该身份认证请求对对应的用户设备进行身份认证，在认证成功后向该对应的用户设备发送认证成功信息以与该用户设备建立数据连接。
所述的多分辨率全景视频直播拍照***，所述的用户设备还包括用户接入模块，用于向流媒体服务器模块发送身份认证请求，并在接收到来自流媒体服务器模块的认证成功信息后与流媒体服务器模块建立数据连接。
一种在所述多分辨率全景视频直播拍照***上实现的多分辨率全景视频直播拍照方法，包括以下步骤：
步骤a、通过图像采集设备采集图像数据，第一无线传输子模块将采集的图像数据传输给流媒体服务器模块；
步骤b、第二无线传输子模块接收到采集的图像数据，实时拼接单元将采集的图像数据实时拼接，并将拼接后的全景图像数据存储至存储子单元a；
步骤c、核心处理单元会根据时间戳信息生成全景视频数据索引文件，并建立索引文件和原始全景图像数据的映射关系，并根据映射关系保存索引文件至存储子单元b，视频编码单元将拼接后的全景图像数据进行压缩编码成视频流，并将视频流按照视频传输协议进行格式封装，存储至存储子单元b，同时通过第二无线传输子模块传输给用户终端模块；
步骤d、第三无线传输子模块接收到视频流，在用户交互子模块中发起观看指令，在显示子模块中播放，在用户交互子模块中发起请求拍照指令，请求拍照指令中包含实时拍照的视频帧数据和用户设备的姿态信息，视频帧数据包括图像序列的标识和时间戳的位置，第三无线传输子模块把请求拍照指令传输给第二无线传输子模块；
步骤e、第二无线传输子模块接收到请求拍照指令，核心处理单元首先会根据拍照指令中发送的视频帧数据及已有的映射关系索引查找存储子单元a中的原始全景图像，然后根据用户设备的姿态信息在原始全景图像中用一种方法截取对应姿态信息的高分辨率图片，将截图保存至存储子单元c；
步骤f、用户在显示子模块中预览查看，如果用户满意，通过付费点击下载，保存至用户设备的本地相册；如果用户不满意，则不需要付费，返回直播中。
所述的一种多分辨率全景视频直播拍照方法，步骤e所述截取对应姿态信息的高分辨率图片，包括以下步骤：
步骤e1、将原始全景图像既是平面矩形图片重新映射到一个球面上，以平面矩形图片的侧边作为球面半圆弧生成对应的全景映射球面，并将平面矩形图片贴图到全景映射球面上；
步骤e2、根据用户设备的姿态信息确定用户视野的角度范围；根据用户视野的角度范围在全景映射球面上查找待裁剪球面图形；
步骤e3、将已裁剪球面图形映射成目标矩形图片；目标矩形图片的尺寸为预设值，所述预设值根据经验值设定，或者根据用户设备发送的拍照指令中包含的屏幕尺寸参数来设定。
有益效果：
本发明多分辨率全景视频直播拍照***，通过图像采集模块获得图像数据，传输给流媒体服务器模块，流媒体服务器模块将图像数据进行拼接，然后进行压缩编码，压缩成不同分辨率的视频流，并将压缩的视频流按照视频传输协议进行格式封装并且分发和存储，当用户终端模块的用户设备发送给流媒体服务器模块拍照请求时，流媒体服务器模块进行处理，再把请求拍照的图像传输给用户设备，在用户设备显示。用户可以使用该***实时观看不同分辨率的全景视频，以满足不同用户同时观看全景视频的流畅性；用户在使用该***观看低分辨率全景视频时，通过发送包含视频帧数据和姿态信息的拍照指令来实现实时获取高分辨率图像，提高了用户VR体验的真实感，实现了构建虚拟现实所需要的图像信息并将其传递到客户端并显示的功能。
附图说明
图1是多分辨率全景视频直播拍照***结构图。
图中：1图像采集模块、11图像采集设备、12第一无线传输子模块、2流媒体服务器模块、21处理子模块、211实时拼接单元、212视频编码单元、213核心处理单元、22存储子模块、221存储子单元a、222存储子单元b、223存储子单元c、23第二无线传输子模块、3用户终端模块、31用户设备、311显示子模块、312用户交互子模块、313第三无线传输子模块。
具体实施方式
下面结合附图对本发明具体实施方式作进一步详细描述。
具体实施例一
一种多分辨率全景视频直播拍照***，如图1所示，包括图像采集模块1、流媒体服务器模块2和用户终端模块3，所述图像采集模块1包括图像采集设备11和第一无线传输子模块12；所述流媒体服务器模块2包括处理子模块21、存储子模块22和第二无线传输子模块23；所述的处理子模块21包括实时拼接单元211、视频编码单元212和核心处理单元213；所述存储子模块22包括存储子单元a221、存储子单元b222和存储子单元c223；用户终端模块3包括至少一个用户设备，每个用户设备包括显示子模块311、用户交互子模块312和第三无线传输子模块313。
所述的多分辨率全景视频直播拍照***，所述的：
图像采集设备11：用于采集图像数据；
第一无线传输子模块12：用于将采集的图像数据传输给流媒体服务器模块2；
实时拼接单元211：用于实时拼接采集的图像数据；
视频编码单元212：用于将拼接后的全景图像数据进行压缩编码成视频流，并将视频流按照视频传输协议进行格式封装并且分发；
核心处理单元213：用于处理用户终端模块3请求拍照的指令；
存储子单元a221：用于存储全景图像数据；
存储子单元b222：用于存储索引文件和视频流；
存储子单元c223：用于存储用户终端模块3请求拍照的图像；
第二无线传输子模块23：用于流媒体服务器模块2和图像采集模块1、用户终端模块3之间的通信；
显示子模块311：用于显示全景图像或视频流；
用户交互子模块312：用于发送观看视频、拍照、预览、付费和下载请求；
第三无线传输子模块313：用于用户终端模块3和流媒体服务器模块2之间的通信。
所述的多分辨率全景视频直播拍照***，所述的流媒体服务器模块2还包括用户管理模块，用于接收来自每个用户设备的身份认证请求，并基于该身份认证请求对对应的用户设备进行身份认证，在认证成功后向该对应的用户设备发送认证成功信息以与该用户设备建立数据连接。
所述的多分辨率全景视频直播拍照***，，所述的用户设备还包括用户接入模块，用于向流媒体服务器模块2发送身份认证请求，并在接收到来自流媒体服务器模块2的认证成功信息后与流媒体服务器模块2建立数据连接。
工作过程：图像采集模块1包含图像采集设备11和第一无线传输子模块12，用于采集其视野内全景图像数据，并将采集到的全景图像数据通过第一无线传输子模块12传输给流媒体服务器模块2。
流媒体服务器模块2包含处理子模块21、存储子模块22和第二无线传输子模块23；其中处理子模块21包含实时拼接单元211、视频编码单元212和核心处理单元213；存储子模块22包含存储子单元a221、存储子单元b222和存储子单元c223。第二无线传输子模块23用于流媒体服务器模块2、图像采集模块1和用户终端模块3的通信。
其中，实时拼接单元211用于实时拼接采集到的全景图像数据，并将拼接后的全景图像数据存储在存储子单元a221中；视频编码单元212用于将拼接后的全景图像数据进行压缩编码，压缩成流畅、标清、高清、超清不同分辨率的视频流，并将压缩的视频流按照视频传输协议进行格式封装并且分发；核心处理单元213用于处理用户终端模块3请求拍照的指令；存储子单元b222用于存储索引文件和全景视频数据；存储子单元c223用于存储用户终端模块3请求拍照的图像。
用户终端模块3包括一个或多个用户设备，每个用户设备包含显示子模块311、用户交互子模块312和第三无线传输子模块313。显示子模块311用于显示全景视频/图像；用户交互子模块312用于发送观看视频、拍照、预览、付费、下载等请求；第三无线传输子模块313用于用户终端模块3和流媒体服务器模块2的通信。其中，用户设备可以是智能手机、平板电脑或头戴式VR***等终端设备。
流媒体服务器模块2还包括用户管理模块，而一个或多个用户设备中的每个用户设备还包括用户接入模块。其中，用户管理模块用于接收来自每个用户设备的身份认证请求，并基于该身份认证请求对对应的用户设备进行身份认证，在认证成功后向该对应的用户设备发送认证成功信息以与该用户设备建立数据连接；每个用户设备的用户接入模块用于向流媒体服务器模块2发送身份认证请求，并在接收到来自流媒体服务器模块2的认证成功信息后与流媒体服务器模块2建立数据连接。
流媒体服务器模块2接收到的全景图像数据首先进入实时拼接单元211进行全景拼接，并将拼接后的全景图像数据存储在存储子单元a221中，同时通过视频编码单元212将拼接后的全景图像数据进行压缩编码，压缩成流畅、标清、高清、超清不同分辨率的视频流，并将压缩的视频流按照视频传输协议进行格式封装并且分发；用户可以通过不同设备上对应的播放器实时解码流媒体服务器模块分发过来的视频数据，选择用户交互子模块312中的观看直播键进行实时的全景视频观看，用户可以选择流畅、标清、高清、超清不同分辨率的观看模式。
用户在观看全景视频直播时可以选择用户交互子模块312中的拍照键进行实时拍照，以获取高分辨率图像，在显示子模块311中显示。
具体实施例二
一种在所述多分辨率全景视频直播拍照***上实现的多分辨率全景视频直播拍照方法，其特征在于，包括以下步骤：
步骤a、通过图像采集设备11采集图像数据，第一无线传输子模块12将采集的图像数据传输给流媒体服务器模块2；
步骤b、第二无线传输子模块23接收到采集的图像数据，实时拼接单元211将采集的图像数据实时拼接，并将拼接后的全景图像数据存储至存储子单元a221；
步骤c、核心处理单元213会根据时间戳信息生成全景视频数据索引文件，并建立索引文件和原始全景图像数据的映射关系，并根据映射关系保存索引文件至存储子单元b222，视频编码单元212将拼接后的全景图像数据进行压缩编码成视频流，并将视频流按照视频传输协议进行格式封装，存储至存储子单元b222，同时通过第二无线传输子模块23传输给用户终端模块3；
步骤d、第三无线传输子模块313接收到视频流，在用户交互子模块312中发起观看指令，在显示子模块311中播放，在用户交互子模块312中发起请求拍照指令，请求拍照指令中包含实时拍照的视频帧数据和用户设备的姿态信息，视频帧数据包括图像序列的标识和时间戳的位置，第三无线传输子模块313把请求拍照指令传输给第二无线传输子模块23；
步骤e、第二无线传输子模块23接收到请求拍照指令，核心处理单元213首先会根据拍照指令中发送的视频帧数据及已有的映射关系索引查找存储子单元a221中的原始全景图像，然后根据用户设备的姿态信息在原始全景图像中用一种方法截取对应姿态信息的高分辨率图片，将截图保存至存储子单元c223；
步骤f、用户在显示子模块311中预览查看，如果用户满意，通过付费点击下载，保存至用户设备的本地相册；如果用户不满意，则不需要付费，返回直播中。
所述的一种多分辨率全景视频直播拍照方法，步骤e所述截取对应姿态信息的高分辨率图片，包括以下步骤：
步骤e1、将原始全景图像既是平面矩形图片重新映射到一个球面上，以平面矩形图片的侧边作为球面半圆弧生成对应的全景映射球面，并将平面矩形图片贴图到全景映射球面上；
步骤e2、根据用户设备的姿态信息确定用户视野的角度范围；根据用户视野的角度范围在全景映射球面上查找待裁剪球面图形；
步骤e3、将已裁剪球面图形映射成目标矩形图片；目标矩形图片的尺寸为预设值，所述预设值根据经验值设定，或者根据用户设备发送的拍照指令中包含的屏幕尺寸参数来设定。
图像采集模块1包含图像采集设备11和第一无线传输子模块12，通过图像采集设备11采集其视野内全景图像数据，第一无线传输子模块12将采集的全景图像数据传输给流媒体服务器模块2；
流媒体服务器模块2包含处理子模块21、存储子模块22和第二无线传输子模块23；其中处理子模块21包含实时拼接单元211、视频编码单元212和核心处理单元213；存储子模块22包含存储子单元a221、存储子单元b222和存储子单元c223。第二无线传输子模块23接收到采集的图像数据，实时拼接单元211将采集的图像数据实时拼接，并将拼接后的全景图像数据存储至存储子单元a221；核心处理单元213会根据时间戳信息生成全景视频数据索引文件，并建立索引文件和原始全景图像数据的映射关系，并根据映射关系保存索引文件至存储子单元b222，视频编码单元212将拼接后的全景图像数据进行压缩编码成视频流，并将视频流按照视频传输协议进行格式封装，存储至存储子单元b222，同时通过第二无线传输子模块23传输给用户终端模块3；
流媒体服务器模块2还包括用户管理模块，而一个或多个用户设备中的每个用户设备还包括用户接入模块。其中，用户管理模块用于接收来自每个用户设备的身份认证请求，并基于该身份认证请求对对应的用户设备进行身份认证，在认证成功后向该对应的用户设备发送认证成功信息以与该用户设备建立数据连接；每个用户设备的用户接入模块用于向流媒体服务器模块2发送身份认证请求，并在接收到来自流媒体服务器模块2的认证成功信息后与流媒体服务器模块2建立数据连接。
用户终端模块3包括一个或多个用户设备，每个用户设备包含显示子模块311、用户交互子模块312和第三无线传输子模块313。显示子模块311用于显示全景视频/图像；用户交互子模块312用于发送观看视频、拍照、预览、付费、下载等请求；第三无线传输子模块313用于用户终端模块3和流媒体服务器模块2的通信。其中，用户设备可以是智能手机、平板电脑或头戴式VR***等终端设备。
第三无线传输子模块313接收到视频流，在用户交互子模块312中发起观看指令，在显示子模块311中播放，用户可以通过不同设备上对应的播放器实时解码流媒体服务器模块分发过来的视频数据，选择用户交互子模块312中的观看直播键进行实时的全景视频观看，用户可以选择流畅、标清、高清、超清不同分辨率的观看模式。用户在观看全景视频直播时可以选择用户交互子模块312中的拍照键进行实时拍照，以获取高分辨率图像。用户终端模块3发送的拍照指令中包含实时拍照的视频帧数据和用户设备的姿态信息；视频帧数据包括图像序列的标识和时间戳的位置；姿态信息可以由用户通过触屏操作的方式来设置，在这种情况下可以通过触屏模块同时实现用户交互子模块312和显示子模块311的功能；也可以在用户交互子模块312中集成陀螺仪等姿态传感子模块，以此来获取用户设备的当前姿态信息。第三无线传输子模块313把请求拍照指令传输给第二无线传输子模块23。
第二无线传输子模块23接收到请求拍照指令，核心处理单元213首先会根据拍照指令中发送的视频帧数据及已有的映射关系索引查找存储子单元a221中的原始全景图像，然后根据用户设备的姿态信息在原始全景图像中用一种方法截取对应姿态信息的高分辨率图片，将截图保存至存储子单元c223；用户在显示子模块311中预览查看，如果用户满意，通过付费点击下载，保存至用户设备的本地相册；如果用户不满意，则不需要付费，返回直播中。
核心处理单元213中所述截取对应姿态信息的高分辨率图片的方法如下：
将该原始全景图像(平面矩形图片)重新映射到一个球面上，即以平面矩形图片的侧边作为球面半圆弧生成对应的全景映射球面，并将平面矩形图片贴图到全景映射球面上；根据用户设备的姿态信息确定用户视野的角度范围；根据用户视野的角度范围在全景映射球面上查找待裁剪球面图形；将该已裁剪球面图形映射成目标矩形图片；该目标矩形图片的尺寸为预设值，该预设值可以根据经验值设定，或者可以根据用户设备发送的拍照指令中包含的屏幕尺寸参数来设定。最后将该高分辨率目标矩形图片保存到存储子单元c223中该用户对应的账号下，以用于用户最终的预览和下载。

Claims (6)

1.一种多分辨率全景视频直播拍照***，其特征在于，包括图像采集模块(1)、流媒体服务器模块(2)和用户终端模块(3)，所述图像采集模块(1)包括图像采集设备(11)和第一无线传输子模块(12)；所述流媒体服务器模块(2)包括处理子模块(21)、存储子模块(22)和第二无线传输子模块(23)；所述的处理子模块(21)包括实时拼接单元(211)、视频编码单元(212)和核心处理单元(213)；所述存储子模块(22)包括存储子单元a(221)、存储子单元b(222)和存储子单元c(223)；用户终端模块(3)包括至少一个用户设备，每个用户设备包括显示子模块(311)、用户交互子模块(312)和第三无线传输子模块(313)。
2.根据权利要求1所述的多分辨率全景视频直播拍照***，其特征在于，所述的：
图像采集设备(11)：用于采集图像数据；
第一无线传输子模块(12)：用于将采集的图像数据传输给流媒体服务器模块(2)；
实时拼接单元(211)：用于实时拼接采集的图像数据；
视频编码单元(212)：用于将拼接后的全景图像数据进行压缩编码成视频流，并将视频流按照视频传输协议进行格式封装并且分发；
核心处理单元(213)：用于处理用户终端模块(3)请求拍照的指令；
存储子单元a(221)：用于存储全景图像数据；
存储子单元b(222)：用于存储索引文件和视频流；
存储子单元c(223)：用于存储用户终端模块(3)请求拍照的图像；
第二无线传输子模块(23)：用于流媒体服务器模块(2)和图像采集模块(1)、用户终端模块(3)之间的通信；
显示子模块(311)：用于显示全景图像或视频流；
用户交互子模块(312)：用于发送观看视频、拍照、预览、付费和下载请求；
第三无线传输子模块(313)：用于用户终端模块(3)和流媒体服务器模块(2)之间的通信。
3.根据权利要求1所述的多分辨率全景视频直播拍照***，其特征在于，所述的流媒体服务器模块(2)还包括用户管理模块，用于接收来自每个用户设备的身份认证请求，并基于该身份认证请求对对应的用户设备进行身份认证，在认证成功后向该对应的用户设备发送认证成功信息以与该用户设备建立数据连接。
4.根据权利要求1所述的多分辨率全景视频直播拍照***，其特征在于，所述的用户设备还包括用户接入模块，用于向流媒体服务器模块(2)发送身份认证请求，并在接收到来自流媒体服务器模块(2)的认证成功信息后与流媒体服务器模块(2)建立数据连接。
5.一种在权利要求1、2、3或4所述多分辨率全景视频直播拍照***上实现的多分辨率全景视频直播拍照方法，其特征在于，包括以下步骤：
步骤a、通过图像采集设备(11)采集图像数据，第一无线传输子模块(12)将采集的图像数据传输给流媒体服务器模块(2)；
步骤b、第二无线传输子模块(23)接收到采集的图像数据，实时拼接单元(211)将采集的图像数据实时拼接，并将拼接后的全景图像数据存储至存储子单元a(221)；
步骤c、核心处理单元(213)会根据时间戳信息生成全景视频数据索引文件，并建立索引文件和原始全景图像数据的映射关系，并根据映射关系保存索引文件至存储子单元b(222)，视频编码单元(212)将拼接后的全景图像数据进行压缩编码成视频流，并将视频流按照视频传输协议进行格式封装，存储至存储子单元b(222)，同时通过第二无线传输子模块(23)传输给用户终端模块(3)；
步骤d、第三无线传输子模块(313)接收到视频流，在用户交互子模块(312)中发起观看指令，在显示子模块(311)中播放，在用户交互子模块(312)中发起请求拍照指令，请求拍照指令中包含实时拍照的视频帧数据和用户设备的姿态信息，视频帧数据包括图像序列的标识和时间戳的位置，第三无线传输子模块(313)把请求拍照指令传输给第二无线传输子模块(23)；
步骤e、第二无线传输子模块(23)接收到请求拍照指令，核心处理单元(213)首先会根据拍照指令中发送的视频帧数据及已有的映射关系索引查找存储子单元a(221)中的原始全景图像，然后根据用户设备的姿态信息在原始全景图像中用一种方法截取对应姿态信息的高分辨率图片，将截图保存至存储子单元c(223)；
步骤f、用户在显示子模块(311)中预览查看，如果用户满意，通过付费点击下载，保存至用户设备的本地相册；如果用户不满意，则不需要付费，返回直播中。
6.根据权利要求5所述的一种多分辨率全景视频直播拍照方法，其特征在于，步骤e所述截取对应姿态信息的高分辨率图片，包括以下步骤：
步骤e1、将原始全景图像既是平面矩形图片重新映射到一个球面上，以平面矩形图片的侧边作为球面半圆弧生成对应的全景映射球面，并将平面矩形图片贴图到全景映射球面上；
步骤e2、根据用户设备的姿态信息确定用户视野的角度范围；根据用户视野的角度范围在全景映射球面上查找待裁剪球面图形；
步骤e3、将已裁剪球面图形映射成目标矩形图片；目标矩形图片的尺寸为预设值，所述预设值根据经验值设定，或者根据用户设备发送的拍照指令中包含的屏幕尺寸参数来设定。
CN201710656265.0A 2017-08-03 2017-08-03 多分辨率全景视频直播拍照***与方法 Pending CN107205122A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710656265.0A CN107205122A (zh) 2017-08-03 2017-08-03 多分辨率全景视频直播拍照***与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710656265.0A CN107205122A (zh) 2017-08-03 2017-08-03 多分辨率全景视频直播拍照***与方法

Publications (1)

Publication Number Publication Date
CN107205122A true CN107205122A (zh) 2017-09-26

Family

ID=59911679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710656265.0A Pending CN107205122A (zh) 2017-08-03 2017-08-03 多分辨率全景视频直播拍照***与方法

Country Status (1)

Country Link
CN (1) CN107205122A (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107592548A (zh) * 2017-09-29 2018-01-16 哈尔滨市舍科技有限公司 一种实时全景直播拍照的图像采集装置及图像传输方法
CN107592549A (zh) * 2017-10-27 2018-01-16 哈尔滨市舍科技有限公司 基于双向通信的全景视频播放拍照***
CN107659824A (zh) * 2017-10-20 2018-02-02 哈尔滨市舍科技有限公司 基于用户视角的虚拟播放器
CN107707830A (zh) * 2017-10-27 2018-02-16 哈尔滨市舍科技有限公司 基于单向通信的全景视频播放拍照***
CN108495144A (zh) * 2018-03-30 2018-09-04 哈尔滨市舍科技有限公司 一种获取图片的方法
CN108769739A (zh) * 2018-06-27 2018-11-06 哈尔滨市舍科技有限公司 从全景视频中获取图片和短视频的方法
CN108924590A (zh) * 2018-06-27 2018-11-30 哈尔滨市舍科技有限公司 视频播放及拍照***
CN110213541A (zh) * 2019-06-05 2019-09-06 福建网能科技开发有限责任公司 基于流媒体的电表、互感器影像采集方法和***
CN110267026A (zh) * 2019-07-05 2019-09-20 浙江开奇科技有限公司 基于5g网络的数据处理方法、移动终端及***
CN110278410A (zh) * 2019-05-20 2019-09-24 上海澳马信息技术服务有限公司 一种多目全景视频拼接方法及***
CN110602523A (zh) * 2019-10-12 2019-12-20 重庆灏漫科技有限公司 一种vr全景直播多媒体处理合成***和方法
WO2020001610A1 (zh) * 2018-06-29 2020-01-02 华为技术有限公司 一种视频拼接方法及装置
CN111083368A (zh) * 2019-12-26 2020-04-28 南京感动科技有限公司 一种基于云端的模拟物理云台全景视频展示***
CN112351307A (zh) * 2020-10-26 2021-02-09 咪咕视讯科技有限公司 一种截图方法、服务器、终端设备及计算机可读存储介质
CN112565606A (zh) * 2020-12-02 2021-03-26 鹏城实验室 全景视频智能传输方法、设备及计算机存储介质
CN113014888A (zh) * 2021-03-17 2021-06-22 广州穿越千机创新科技有限公司 一种基于vr技术的无人机表演观景方法、装置及***
CN113810755A (zh) * 2021-09-15 2021-12-17 北京百度网讯科技有限公司 全景视频预览的方法、装置、电子设备及存储介质
CN115118883A (zh) * 2022-06-28 2022-09-27 润博全景文旅科技有限公司 一种图像预览方法、装置及设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060215930A1 (en) * 2005-03-25 2006-09-28 Fujitsu Limited Panorama image generation program, panorama image generation apparatus, and panorama image generation method
CN201440655U (zh) * 2009-07-14 2010-04-21 索尼株式会社 一种使用超宽带无线传输技术的多媒体信息下载机
CN103763479A (zh) * 2013-12-31 2014-04-30 深圳英飞拓科技股份有限公司 实时高速高清全景视频的拼接装置及其方法
CN103973944A (zh) * 2013-02-06 2014-08-06 深圳市振华微电子有限公司 半球型全景成像装置及方法
CN106231317A (zh) * 2016-09-29 2016-12-14 三星电子（中国）研发中心 视频处理、解码方法和装置、vr终端、视频播放***
CN106331764A (zh) * 2016-09-14 2017-01-11 乐视控股（北京）有限公司 一种全景视频分享方法及其分享装置
CN106341667A (zh) * 2016-11-10 2017-01-18 广西师范大学 基于无人机的三维全景视频远程监控***及图像采集控制方法
CN106550182A (zh) * 2017-01-10 2017-03-29 哈尔滨市舍科技有限公司 共享式无人机观景***
CN106791623A (zh) * 2016-12-09 2017-05-31 深圳市云宙多媒体技术有限公司 一种全景视频拼接方法及装置
CN106803874A (zh) * 2017-03-13 2017-06-06 杭州昇星网络科技有限公司 一种全景摄像头
CN106888351A (zh) * 2015-12-16 2017-06-23 上海酷景信息技术有限公司 一种全景视频录制***
CN106992959A (zh) * 2016-11-01 2017-07-28 深圳市圆周率软件科技有限责任公司 一种3d全景音视频直播***及音视频采集方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060215930A1 (en) * 2005-03-25 2006-09-28 Fujitsu Limited Panorama image generation program, panorama image generation apparatus, and panorama image generation method
CN201440655U (zh) * 2009-07-14 2010-04-21 索尼株式会社 一种使用超宽带无线传输技术的多媒体信息下载机
CN103973944A (zh) * 2013-02-06 2014-08-06 深圳市振华微电子有限公司 半球型全景成像装置及方法
CN103763479A (zh) * 2013-12-31 2014-04-30 深圳英飞拓科技股份有限公司 实时高速高清全景视频的拼接装置及其方法
CN106888351A (zh) * 2015-12-16 2017-06-23 上海酷景信息技术有限公司 一种全景视频录制***
CN106331764A (zh) * 2016-09-14 2017-01-11 乐视控股（北京）有限公司 一种全景视频分享方法及其分享装置
CN106231317A (zh) * 2016-09-29 2016-12-14 三星电子（中国）研发中心 视频处理、解码方法和装置、vr终端、视频播放***
CN106992959A (zh) * 2016-11-01 2017-07-28 深圳市圆周率软件科技有限责任公司 一种3d全景音视频直播***及音视频采集方法
CN106341667A (zh) * 2016-11-10 2017-01-18 广西师范大学 基于无人机的三维全景视频远程监控***及图像采集控制方法
CN106791623A (zh) * 2016-12-09 2017-05-31 深圳市云宙多媒体技术有限公司 一种全景视频拼接方法及装置
CN106550182A (zh) * 2017-01-10 2017-03-29 哈尔滨市舍科技有限公司 共享式无人机观景***
CN106803874A (zh) * 2017-03-13 2017-06-06 杭州昇星网络科技有限公司 一种全景摄像头

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107592548B (zh) * 2017-09-29 2020-05-12 哈尔滨市一舍科技有限公司 一种实时全景直播拍照的图像采集装置及图像传输方法
CN107592548A (zh) * 2017-09-29 2018-01-16 哈尔滨市舍科技有限公司 一种实时全景直播拍照的图像采集装置及图像传输方法
CN107659824A (zh) * 2017-10-20 2018-02-02 哈尔滨市舍科技有限公司 基于用户视角的虚拟播放器
CN107592549A (zh) * 2017-10-27 2018-01-16 哈尔滨市舍科技有限公司 基于双向通信的全景视频播放拍照***
CN107707830A (zh) * 2017-10-27 2018-02-16 哈尔滨市舍科技有限公司 基于单向通信的全景视频播放拍照***
CN107707830B (zh) * 2017-10-27 2020-06-16 青岛一舍科技有限公司 基于单向通信的全景视频播放拍照***
CN107592549B (zh) * 2017-10-27 2020-06-09 哈尔滨市一舍科技有限公司 基于双向通信的全景视频播放拍照***
CN108495144A (zh) * 2018-03-30 2018-09-04 哈尔滨市舍科技有限公司 一种获取图片的方法
CN108769739A (zh) * 2018-06-27 2018-11-06 哈尔滨市舍科技有限公司 从全景视频中获取图片和短视频的方法
CN108924590B (zh) * 2018-06-27 2021-09-03 青岛一舍科技有限公司 视频播放及拍照***
CN108924590A (zh) * 2018-06-27 2018-11-30 哈尔滨市舍科技有限公司 视频播放及拍照***
WO2020001610A1 (zh) * 2018-06-29 2020-01-02 华为技术有限公司 一种视频拼接方法及装置
CN110278410A (zh) * 2019-05-20 2019-09-24 上海澳马信息技术服务有限公司 一种多目全景视频拼接方法及***
CN110213541A (zh) * 2019-06-05 2019-09-06 福建网能科技开发有限责任公司 基于流媒体的电表、互感器影像采集方法和***
CN110267026A (zh) * 2019-07-05 2019-09-20 浙江开奇科技有限公司 基于5g网络的数据处理方法、移动终端及***
CN110602523A (zh) * 2019-10-12 2019-12-20 重庆灏漫科技有限公司 一种vr全景直播多媒体处理合成***和方法
CN111083368A (zh) * 2019-12-26 2020-04-28 南京感动科技有限公司 一种基于云端的模拟物理云台全景视频展示***
CN112351307A (zh) * 2020-10-26 2021-02-09 咪咕视讯科技有限公司 一种截图方法、服务器、终端设备及计算机可读存储介质
CN112565606A (zh) * 2020-12-02 2021-03-26 鹏城实验室 全景视频智能传输方法、设备及计算机存储介质
CN113014888A (zh) * 2021-03-17 2021-06-22 广州穿越千机创新科技有限公司 一种基于vr技术的无人机表演观景方法、装置及***
CN113810755A (zh) * 2021-09-15 2021-12-17 北京百度网讯科技有限公司 全景视频预览的方法、装置、电子设备及存储介质
CN115118883A (zh) * 2022-06-28 2022-09-27 润博全景文旅科技有限公司 一种图像预览方法、装置及设备
CN115118883B (zh) * 2022-06-28 2024-02-02 润博全景文旅科技有限公司 一种图像预览方法、装置及设备

Similar Documents

Publication Publication Date Title
CN107205122A (zh) 多分辨率全景视频直播拍照***与方法
Fan et al. A survey on 360 video streaming: Acquisition, transmission, and display
CN107040794A (zh) 视频播放方法、服务器、虚拟现实设备以及全景虚拟现实播放***
US20120120201A1 (en) Method of integrating ad hoc camera networks in interactive mesh systems
US20060244831A1 (en) System and method for supplying and receiving a custom image
CN106792228A (zh) 一种直播互动方法和***
US20190335166A1 (en) Deriving 3d volumetric level of interest data for 3d scenes from viewer consumption data
CN105657438A (zh) 一种全景直播视频资源的处理方法及装置
CN107370993B (zh) 一种基于二维码水印的虚拟拍照***和方法
CN108769755A (zh) 高分辨率全景视频直播拍照***与方法
WO2018196658A1 (zh) 虚拟现实媒体文件生成方法和装置、存储介质及电子装置
CN110663067B (zh) 用于生成现实世界场景的定制视图的虚拟化投影以包括在虚拟现实媒体内容中的方法和***
CN104335243A (zh) 处理全景画面
CN107341754A (zh) 无人机观景景区用管理***
US20240080429A1 (en) Video data processing method and apparatus, computer device, computer readable storage medium, and computer program product
CN105635675A (zh) 一种全景播放方法和装置
CN107592549A (zh) 基于双向通信的全景视频播放拍照***
CN114004927A (zh) 3d视频模型重建方法、装置、电子设备及存储介质
KR20210084248A (ko) Vr 컨텐츠 중계 플랫폼 제공 방법 및 그 장치
CN109104632A (zh) 一种电视终端ar场景的实现方法及***
Lee et al. Realistic visual environment for immersive projection display system
CN112492289A (zh) 沉浸媒体数据的处理方法及装置、存储介质和电子装置
CN108093300A (zh) 动画捕捉管理***
CN106713890A (zh) 一种图像处理方法及其装置
KR102105510B1 (ko) 타임 슬라이스 영상을 제공하는 서버, 방법 및 사용자 단말

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 150016 Heilongjiang Province, Harbin Economic Development Zone haping Road District Dalian road and Xingkai road junction

Applicant after: HARBIN YISHE TECHNOLOGY CO., LTD.

Address before: 150016 Heilongjiang City, Harbin province Daoli District, quiet street, unit 54, unit 2, layer 4, No. 3

Applicant before: HARBIN YISHE TECHNOLOGY CO., LTD.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170926