CN109040601A - 一种多尺度非结构化的十亿像素vr全景摄影*** - Google Patents
一种多尺度非结构化的十亿像素vr全景摄影*** Download PDFInfo
- Publication number
- CN109040601A CN109040601A CN201811032604.9A CN201811032604A CN109040601A CN 109040601 A CN109040601 A CN 109040601A CN 201811032604 A CN201811032604 A CN 201811032604A CN 109040601 A CN109040601 A CN 109040601A
- Authority
- CN
- China
- Prior art keywords
- visual field
- image
- module
- annular
- preview
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 claims abstract description 227
- 230000006835 compression Effects 0.000 claims abstract description 47
- 238000007906 compression Methods 0.000 claims abstract description 47
- 230000006837 decompression Effects 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 28
- 239000011159 matrix material Substances 0.000 claims abstract description 17
- 230000004927 fusion Effects 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims description 21
- 238000009877 rendering Methods 0.000 claims description 17
- 238000006073 displacement reaction Methods 0.000 claims description 7
- 230000002452 interceptive effect Effects 0.000 claims description 7
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000000034 method Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
- G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
Abstract
本发明实施例公开了一种多尺度非结构化的十亿像素VR全景摄影***,包括:宽视场环形相机阵列、窄视场环形相机阵列、图像处理设备、多相机图像拼接设备、VR显示设备;宽视场环形相机阵列采集多个宽视场图像,窄视场环形相机阵列采集多个窄视场图像;图像处理设备基于VR显示设备反馈的预览视角反馈信息对多个宽视场图像和多个窄视场图像进行压缩预处理,对压缩预处理后的图像并行采集后进行解码解压处理;多相机图像拼接设备采用ZNCC算法按照标定参数矩阵将解码减压后的多个宽视场图像和多个窄视场图像进行多尺度融合,生成十亿像素级环形图像。可以实现十亿像素VR全景视频的采集与显示。
Description
技术领域
本发明实施例涉及图像技术领域,尤其涉及一种多尺度非结构化的十亿像素VR全景摄影***。
背景技术
随着现有的VR技术的发展和相关相机产业的发展,在计算机和计算机摄像学领域,视频采集与图像捕获无论在规模上还是在性能上都取得了巨大的进步和发展。如今,VR视频仍旧受限于两大方面,在空间尺度上,其可扩展性仍旧大大受限于现有相机的视频成像质量,在时间尺度上,其成像延迟与相应的成像帧率依旧受限于现有的成像***的帧率与***的实时性。因此,在高清监控领域或是在VR等环形全景成像摄影等***中,如何有效的提高实时视频的相应分辨率,提高相应的显示刷新帧率,则成为了当下势必需要解决的主要问题。
在现有的实时视频采集***中,由于受数据流量、计算复杂度等相关的限制,常常无法实现十亿像素级的并行实时输出与处理,另一方面,超大的视场与重视细节的应用之间也常常有非常大的矛盾,因此当下的实时的视频采集常常难以兼顾宽视场的总体视频流信息与窄视场的视频细节信息。另外,对于此类超宽视场在现场显示方面,传统的显示屏显示方式也有着非常大的局限,其不仅对于用户的体验非常不友好,也常常无法以合理的方式显示360度的全局视频信息。
发明内容
本发明实施例提供一种基于混合相机阵列的多尺度非结构化的十亿像素VR全景摄影***,以实现十亿像素VR全景视频的采集与显示。
第一方面,本发明实施例提供了一种基于混合相机阵列的多尺度非结构化的十亿像素VR全景摄影***,包括:宽视场环形相机阵列、窄视场环形相机阵列、图像处理设备、多相机图像拼接设备、VR显示设备;宽视场环形相机阵列的输出端与窄视场环形相机阵列的输出端均与图像处理设备的输入端相连,图像处理设备的输出端与多相机图像拼接设备的输入端相连,多相机图像拼接设备的输出端与VR显示设备的输入端相连;VR显示设备的反馈端与图像处理设备的输入端相连;
宽视场环形相机阵列采集多个宽视场图像,窄视场环形相机阵列采集多个窄视场图像;
图像处理设备基于VR显示设备反馈的预览视角反馈信息对多个宽视场图像和多个窄视场图像进行压缩预处理,对压缩预处理后的图像并行采集后进行解码解压处理;
多相机图像拼接设备采用ZNCC算法按照标定参数矩阵将解码减压后的多个宽视场图像和多个窄视场图像进行多尺度融合,生成十亿像素级环形图像;
VR显示设备采用置换贴图的方式对十亿像素级环形图像进行渲染并显示,并根据用户当前的预览视角生成预览视角反馈信息。
进一步地,多个宽视场相机和多个窄视场相机分别设置于多层环形阵列盘上形成宽视场环形相机阵列、窄视场环形相机阵列;
多个宽视场相机以均匀排布的方式设置于多层环形阵列盘上;多个窄视场相机以均匀排布或者不均匀排布的方式设置于多层环形阵列盘上。
进一步地,图像处理设备包括基于预览视角的压缩预处理模块、高速并行采集模块和图像解码解压模块;宽视场环形相机阵列的输出端与窄视场环形相机阵列的输出端均与基于预览视角的压缩预处理模块输入端相连,基于预览视角的压缩预处理模块的输出端与高速并行采集模块的输入端相连,高速并行采集模块的输出端与图像解码解压模块的输入端相连;
基于预览视角的压缩预处理模块接收VR显示设备发送的预览视角反馈信息,并根据预览视角反馈信息确定多个宽视场图像和多个窄视场图像的压缩率,并根据压缩率对多个宽视场图像和多个窄视场图像进行压缩;
高速并行采集模块对压缩后的图像进行多路并行采集;
图像解码解压模块对压缩后的多个宽视场图像和多个窄视场图像进行自适应的解码解压。
进一步地,预览视角的压缩预处理模块根据预览视角反馈信息获取当前视野内的宽视场图像和/或窄视场图像,对当前视野内的宽视场图像和/或窄视场图像进行低压缩率的压缩,对当前视野外的宽视场图像和窄视场图像进行高压缩率的压缩。
进一步地,多相机图像拼接设备包括相机建模模块和图像拼接模块;相机建模模块的输入端分别与宽视场环形相机阵列的输出端与窄视场环形相机阵列的输出端相连,图像拼接模块的输入端与图像解码解压模块的输出端相连;
相机建模模块预先获取宽视场环形相机阵列中每个宽视场相机采集的一帧图像作为提前标定帧,根据提前标定帧采用设定标定算法对宽视场图像进行标定及建模,获得每个宽视场相机的标定参数矩阵;
图像拼接模块采用ZNCC算法按照每个宽视场相机的标定参数矩阵将解码减压后的多个宽视场图像和多个窄视场图像进行多尺度融合,生成十亿像素级环形图像。
进一步地,相机建模模块将每个宽视场相机的标定参数矩阵进行记录,用于后续的图像多尺度融合。
进一步地,VR显示设备包括VR渲染模块、VR显示器、交互模块和VR预览视角反馈模块;VR渲染模块的输入端与图像拼接模块的输出端相连,VR渲染模块的输出端与VR显示器的输入端相连,VR预览视角反馈模块的输出端与基于预览视角的压缩预处理模块输入端相连;
所述VR渲染模块基于NVIDIA显卡的CUDA计算库与OpenGL图像渲染库,采用置换贴图的方式对所述十亿像素级环形图像进行渲染;
所述VR显示器将渲染后的十亿像素级环形图像进行显示;
所述交互模块接收用户对VR显示设备的操作,以对十亿像素级环形图像进行操作;
所述VR预览视角反馈模块获取用户的视线防线,根据用户的视线获得预览视角信息。
本发明实施例提供的基于混合相机阵列的多尺度非结构化的十亿像素VR全景摄影***,包括:宽视场环形相机阵列、窄视场环形相机阵列、图像处理设备、多相机图像拼接设备、VR显示设备;宽视场环形相机阵列的输出端与窄视场环形相机阵列的输出端均与图像处理设备的输入端相连,图像处理设备的输出端与多相机图像拼接设备的输入端相连,多相机图像拼接设备输出端与VR显示设备的输入端相连;VR显示设备的反馈端与图像处理设备的输入端相连;宽视场环形相机阵列采集多个宽视场图像,窄视场环形相机阵列采集多个窄视场图像;图像处理设备基于VR显示设备反馈的预览视角反馈信息对多个宽视场图像和多个窄视场图像进行压缩预处理,对压缩预处理后的图像并行采集后进行解码解压处理;多相机图像拼接设备采用ZNCC算法按照标定参数矩阵将解码减压后的多个宽视场图像和多个窄视场图像进行多尺度融合,生成十亿像素级环形图像;VR显示设备采用置换贴图的方式对十亿像素级环形图像进行渲染并显示,并根据用户当前的预览视角生成预览视角反馈信息。可以实现十亿像素VR全景视频的采集与显示。
附图说明
图1是本发明实施例一中的一种基于混合相机阵列的多尺度非结构化的十亿像素VR全景摄影***的结构示意图;
图2是本发明实施例一中的一种多层环形阵列相机的结构示意图;
图3是本发明实施例一中的另一种基于混合相机阵列的多尺度非结构化的十亿像素VR全景摄影***的结构示意图;
图4a是本发明实施例一中的用户的VR视角左眼映射图;
图4b是本发明实施例一中的用户的VR视角右眼映射图;
图4c是本发明实施例一中的图4a中A处的局部高分辨的视频截图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种基于混合相机阵列的多尺度非结构化的十亿像素VR全景摄影***的结构示意图,本实施例可适用于VR全景摄影的情况,如图1所示,该***包括:宽视场环形相机阵列110、窄视场环形相机阵列120、图像处理设备130、多相机图像拼接设备140、VR显示设备150。宽视场环形相机阵列110的输出端与窄视场环形相机阵列120的输出端均与图像处理设备130的输入端相连,图像处理设备130的输出端与多相机图像拼接设备140的输入端相连,多相机图像拼接设备140的输出端与VR显示设备150的输入端相连,VR显示设备150的反馈端与图像处理设备130的输入端相连。
宽视场环形相机阵列110采集多个宽视场图像,窄视场环形相机阵列120采集多个窄视场图像。图像处理设备120基于VR显示设备150反馈的预览视角反馈信息对多个宽视场图像和多个窄视场图像进行压缩预处理,对压缩预处理后的图像并行采集后进行解码解压处理。多相机图像拼接设备140采用ZNCC算法按照标定参数矩阵将解码减压后的多个宽视场图像和多个窄视场图像进行多尺度融合,生成十亿像素级环形图像。VR显示设备150采用置换贴图的方式对十亿像素级环形图像进行渲染并显示,并根据用户当前的预览视角生成预览视角反馈信息。
其中,宽视场环形相机阵列110可以是由多个宽视场相机组成的360度环形相机阵列,宽视场相机可以是宽视场低分辨短焦相机。窄视场环形相机阵列120可以是由多个窄视场相机组成的360度环形相机阵列,窄视场相机可以是窄视场高分辨长焦。本实施例中,多个宽视场相机和多个窄视场相机分别设置于多层环形阵列盘上形成宽视场环形相机阵列110、窄视场环形相机阵列120,多个宽视场相机以均匀排布的方式设置于多层环形阵列盘上,多个窄视场相机以均匀排布或者不均匀排布的方式设置于多层环形阵列盘上。示例性的,图2为本发明实施例一提供的一种多层环形阵列相机的结构示意图,如图2所示,有3层环形阵列盘,3层环形阵列盘安装于中心支撑圆柱上,在最下一层环形阵列盘上安装多个宽视场相机,最上一层和中间一层环形阵列盘上分别安装多个窄视场相机。本应用场景下,环形阵列盘应该尽可能的小,以减少相机之间的视角差异。
图3为本发明实施例一提供的另一种基于混合相机阵列的多尺度非结构化的十亿像素VR全景摄影***的结构示意图,作为对上述实施例的进一步解释,如图2所示,图像处理设备130包括基于预览视角的压缩预处理模块131、高速并行采集模块132和图像解码解压模块133。多相机图像拼接设备140包括相机建模模块141和图像拼接模块142。VR显示设备150包括VR渲染模块151、VR显示器152、交互模块153和VR预览视角反馈模块154。
其中,宽视场环形相机阵列110的输出端与窄视场环形相机阵列120的输出端均与基于预览视角的压缩预处理模块131的输入端相连,基于预览视角的压缩预处理模块130的输出端与高速并行采集模块132的输入端相连,高速并行采集模块132的输出端与图像解码解压模块133相连;
基于预览视角的压缩预处理模块131接收VR显示设备150发送的预览视角反馈信息,并根据预览视角反馈信息确定多个宽视场图像和多个窄视场图像的压缩率,并根据压缩率对多个宽视场图像和多个窄视场图像进行压缩。高速并行采集模块132对压缩后图像进行多路并行采集。图像解码解压模块133对压缩后的多个宽视场图像和多个窄视场图像进行自适应的解码解压。
基于预览视角的压缩预处理模块131根据预览视角反馈信息获取当前视野内的宽视场图像和/或窄视场图像,对当前视野内的宽视场图像和/或窄视场图像进行低压缩率的压缩,对当前视野外的宽视场图像和窄视场图像进行高压缩率的压缩。具体的,预览视角反馈信息可以包括用户的预览方位,基于预览视角的压缩预处理模块131根据预览视角反馈信息推算出采集的宽视场图像和窄视场图像的不同的压缩率,根据各个宽视场图像和窄视场图像的压缩率进行相应的压缩。示例性的,当VR显示设备150中的预览视角较宽时,视野中的图像以较低的分辨率显示显示,基于预览视角的压缩预处理模块131对压缩区域内的图像进行高压缩率的压缩,在保证视野内图像清晰度的条件下尽可能的节约网络带宽,从而提高传输帧率,减少传输延迟;而当VR显示设备中的预览视角较窄时,仅仅集中在某几个数量较少的图像上时,基于预览视角的压缩预处理模块131对视野内的图像进行低压缩率的压缩,而对于视野外的图像则进行进行高压缩率的压缩,以节约网络带宽。
高速并行采集模块132依赖于前兆或者万兆网络组进行图像数据的汇总与分发。本实施例中,采取“多路采集,一路显示”的星型网络结构,由多个节点采集处理压缩后的图像然后集中到中央节点进行下一步处理和相应显示等流程。
图像解码解压模块133可以是动态自适应的图像解码解压模块,对由基于预览视角的压缩预处理模块131以不同的压缩率压缩后的图像进行解码解压。
可选的,相机建模模块141的输入端分别与宽视场环形相机阵列110的输出端与窄视场环形相机阵列120的输出端相连,图像拼接模块142的输入端与图像解码解压模块133的输出端相连。
相机建模模块141预先获取宽视场环形相机阵列中每个宽视场相机采集的一帧图像作为提前标定帧,根据提前标定帧采用设定标定算法对宽视场图像进行标定及建模,获得每个宽视场相机的标定参数矩阵。图像拼接模块142采用ZNCC算法按照每个宽视场相机的标定参数矩阵将解码减压后的多个宽视场图像和多个窄视场图像进行多尺度融合,生成十亿像素级环形图像。相机建模模块141将每个宽视场相机的标定参数矩阵进行记录,用于后续的图像多尺度融合。
本实施例中,为了最终合成多尺度的十亿像素级的视频流,需要将多个窄视场图像,重新投影至由多个宽视场图像拼接的环形低分辨图像上。采用设定标定,预先从每个相机中采集一帧图像作为提前标定帧,对宽视场图像进行相应的标定及建模,形成相应的标定参数矩阵。然后再通过ZNCC算法按照每个宽视场相机的标定参数矩阵将解码减压后的多个宽视场图像和多个窄视场图像进行多尺度融合,生成十亿像素级环形图像。并记录下计算得到的标定参数矩阵,可用于后续的实时拼接与显示的相应环节。
VR渲染模块151基于NVIDIA显卡的CUDA计算库与OpenGL图像渲染库,采用置换贴图的方式对十亿像素级环形图像进行渲染。VR显示器152将渲染后的十亿像素级环形图像进行显示。交互模块153接收用户对VR显示设备的操作,以对十亿像素级环形图像进行操作。VR预览视角反馈模块154获取用户的视线防线,根据用户的视线获得预览视角信息。
本实施例中,交互模块153可以设置于控制器中,为了方便用户与VR显示设备进行交互等环节,用户可通过控制器对全景图进行视角的拉近拉远,轴移动等相应操作。根据用户在VR显示设备中的移动与查看,可以获取到用户观察到的方向,从而计算出用户对于当前渲染球的兴趣区域,该区域包含了用户的缩放程度、涉及到的相机图像等相关的参数。
图4a为本发明实施例一提供的用户的VR视角左眼映射图,图4a为本发明实施例一提供的用户的VR视角右眼映射图,图4c是图4a中A处的局部高分辨的视频截图。用户可通过VR显示设备放大该区域并查看该区域的高清实时预览图。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (7)
1.一种基于混合相机阵列的多尺度非结构化的十亿像素VR全景摄影***,其特征在于,包括:宽视场环形相机阵列、窄视场环形相机阵列、图像处理设备、多相机图像拼接设备、VR显示设备;所述宽视场环形相机阵列的输出端与所述窄视场环形相机阵列的输出端均与所述图像处理设备的输入端相连,所述图像处理设备的输出端与所述多相机图像拼接设备的输入端相连,所述多相机图像拼接设备的输出端与所述VR显示设备的输入端相连;所述VR显示设备的反馈端与所述图像处理设备的输入端相连;
所述宽视场环形相机阵列采集多个宽视场图像,所述窄视场环形相机阵列采集多个窄视场图像;
所述图像处理设备基于所述VR显示设备反馈的预览视角反馈信息对所述多个宽视场图像和所述多个窄视场图像进行压缩预处理,对压缩预处理后的图像并行采集后进行解码解压处理;
所述多相机图像拼接设备采用ZNCC算法按照标定参数矩阵将解码减压后的多个宽视场图像和多个窄视场图像进行多尺度融合,生成十亿像素级环形图像;
所述VR显示设备采用置换贴图的方式对所述十亿像素级环形图像进行渲染并显示,并根据用户当前的预览视角生成预览视角反馈信息。
2.根据权利要求1所述的***,其特征在于,多个宽视场相机和多个窄视场相机分别设置于多层环形阵列盘上形成宽视场环形相机阵列、窄视场环形相机阵列;
所述多个宽视场相机以均匀排布的方式设置于多层环形阵列盘上;所述多个窄视场相机以均匀排布或者不均匀排布的方式设置于多层环形阵列盘上。
3.根据权利要求1所述的***,其特征在于,所述图像处理设备包括基于预览视角的压缩预处理模块、高速并行采集模块和图像解码解压模块;所述宽视场环形相机阵列的输出端与所述窄视场环形相机阵列的输出端均与所述基于预览视角的压缩预处理模块的输入端相连,所述基于预览视角的压缩预处理模块的输出端与所述高速并行采集模块的输入端相连,所述高速并行采集模块的输出端与所述图像解码解压模块的输入端相连;
所述基于预览视角的压缩预处理模块接收所述VR显示设备发送的预览视角反馈信息,并根据所述预览视角反馈信息确定所述多个宽视场图像和所述多个窄视场图像的压缩率,并根据所述压缩率对所述多个宽视场图像和所述多个窄视场图像进行压缩;
所述高速并行采集模块对压缩后的图像进行多路并行采集;
所述图像解码解压模块对压缩后的多个宽视场图像和所述多个窄视场图像进行自适应的解码解压。
4.根据权利要求3所述的***,其特征在于,所述基于预览视角的压缩预处理模块根据预览视角反馈信息获取当前视野内的宽视场图像和/或窄视场图像,对当前视野内的宽视场图像和/或窄视场图像进行低压缩率的压缩,对当前视野外的宽视场图像和窄视场图像进行高压缩率的压缩。
5.根据权利要求3所述的***,其特征在于,所述多相机图像拼接设备包括相机建模模块和图像拼接模块;
所述相机建模模块的输入端分别与所述宽视场环形相机阵列的输出端与所述窄视场环形相机阵列的输出端相连,所述图像拼接模块的输入端与所述图像解码解压模块的输出端相连;
所述相机建模模块预先获取宽视场环形相机阵列中每个宽视场相机采集的一帧图像作为提前标定帧,根据所述提前标定帧采用设定标定算法对宽视场图像进行标定及建模,获得每个宽视场相机的标定参数矩阵;
所述图像拼接模块采用ZNCC算法按照每个宽视场相机的标定参数矩阵将解码减压后的多个宽视场图像和多个窄视场图像进行多尺度融合,生成十亿像素级环形图像。
6.根据权利要求5所述的***,其特征在于,所述相机建模模块将每个宽视场相机的标定参数矩阵进行记录,用于后续的图像多尺度融合。
7.根据权利要求5所述的***,其特征在于,所述VR显示设备包括VR渲染模块、VR显示器、交互模块和VR预览视角反馈模块;所述VR渲染模块的输入端与所述图像拼接模块的输出端相连,所述VR渲染模块的输出端与所述VR显示器的输入端相连,所述VR预览视角反馈模块的输出端与所述基于预览视角的压缩预处理模块输入端相连;
所述VR渲染模块基于NVIDIA显卡的CUDA计算库与OpenGL图像渲染库,采用置换贴图的方式对所述十亿像素级环形图像进行渲染;
所述VR显示器将渲染后的十亿像素级环形图像进行显示;
所述交互模块接收用户对VR显示设备的操作,以对十亿像素级环形图像进行操作;
所述VR预览视角反馈模块获取用户的视线防线,根据用户的视线获得预览视角信息。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811032604.9A CN109040601B (zh) | 2018-09-05 | 2018-09-05 | 一种多尺度非结构化的十亿像素vr全景摄影*** |
PCT/CN2019/104389 WO2020048485A1 (zh) | 2018-09-05 | 2019-09-04 | Vr全景摄影*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811032604.9A CN109040601B (zh) | 2018-09-05 | 2018-09-05 | 一种多尺度非结构化的十亿像素vr全景摄影*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109040601A true CN109040601A (zh) | 2018-12-18 |
CN109040601B CN109040601B (zh) | 2020-06-26 |
Family
ID=64623599
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811032604.9A Active CN109040601B (zh) | 2018-09-05 | 2018-09-05 | 一种多尺度非结构化的十亿像素vr全景摄影*** |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN109040601B (zh) |
WO (1) | WO2020048485A1 (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110634190A (zh) * | 2019-09-24 | 2019-12-31 | 赵岩 | 一种远程摄像vr体验*** |
WO2020048485A1 (zh) * | 2018-09-05 | 2020-03-12 | 清华-伯克利深圳学院筹备办公室 | Vr全景摄影*** |
CN111343367A (zh) * | 2020-02-17 | 2020-06-26 | 清华大学深圳国际研究生院 | 一种十亿像素虚拟现实视频采集装置、***与方法 |
CN112468832A (zh) * | 2020-10-22 | 2021-03-09 | 北京拙河科技有限公司 | 一种十亿级像素全景视频直播方法、装置、介质及设备 |
CN114866747A (zh) * | 2022-07-07 | 2022-08-05 | 国网瑞嘉(天津)智能机器人有限公司 | 高空作业装置及作业图像的处理方法 |
CN116471490A (zh) * | 2023-06-19 | 2023-07-21 | 清华大学 | 变光照十亿像素光场智能成像***、方法与装置 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112311985B (zh) * | 2020-10-12 | 2021-12-14 | 珠海格力电器股份有限公司 | 一种多摄拍照处理方法、装置及存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102821238A (zh) * | 2012-03-19 | 2012-12-12 | 北京泰邦天地科技有限公司 | 宽视场超高分辨率成像*** |
CN103281484A (zh) * | 2013-06-17 | 2013-09-04 | 清华大学 | 十亿像素视频采集装置 |
CN106462944A (zh) * | 2016-05-30 | 2017-02-22 | 香港应用科技研究院有限公司 | 将多个高分辨率图像映射到一个低分辨率360度图像上生成无重影的高分辨全景图 |
CN107197166A (zh) * | 2017-08-01 | 2017-09-22 | 哈尔滨市舍科技有限公司 | 一种双分辨率一体式全景摄像装置及方法 |
CN107396077A (zh) * | 2017-08-23 | 2017-11-24 | 深圳看到科技有限公司 | 虚拟现实全景视频流投影方法和设备 |
CN107529064A (zh) * | 2017-09-04 | 2017-12-29 | 北京理工大学 | 一种基于vr终端反馈的自适应编码方法 |
US20180012335A1 (en) * | 2016-07-06 | 2018-01-11 | Gopro, Inc. | Systems and methods for multi-resolution image stitching |
WO2018028048A1 (zh) * | 2016-08-12 | 2018-02-15 | 南方科技大学 | 虚拟现实内容生成方法和装置 |
CN108322727A (zh) * | 2018-02-28 | 2018-07-24 | 北京搜狐新媒体信息技术有限公司 | 一种全景视频传输方法及装置 |
CN108399600A (zh) * | 2018-02-23 | 2018-08-14 | 清华-伯克利深圳学院筹备办公室 | 一种全景成像***及方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7719568B2 (en) * | 2006-12-16 | 2010-05-18 | National Chiao Tung University | Image processing system for integrating multi-resolution images |
CN101651841B (zh) * | 2008-08-13 | 2011-12-07 | 华为技术有限公司 | 一种立体视频通讯的实现方法、***和设备 |
GB2497119B (en) * | 2011-12-01 | 2013-12-25 | Sony Corp | Image processing system and method |
GB2525170A (en) * | 2014-04-07 | 2015-10-21 | Nokia Technologies Oy | Stereo viewing |
WO2017181429A1 (en) * | 2016-04-22 | 2017-10-26 | SZ DJI Technology Co., Ltd. | Systems and methods for processing image data based on region-of-interest (roi) of a user |
CN107659774B (zh) * | 2017-09-30 | 2020-10-13 | 北京拙河科技有限公司 | 一种基于多尺度相机阵列的视频成像***及视频处理方法 |
CN109040601B (zh) * | 2018-09-05 | 2020-06-26 | 清华-伯克利深圳学院筹备办公室 | 一种多尺度非结构化的十亿像素vr全景摄影*** |
-
2018
- 2018-09-05 CN CN201811032604.9A patent/CN109040601B/zh active Active
-
2019
- 2019-09-04 WO PCT/CN2019/104389 patent/WO2020048485A1/zh active Application Filing
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102821238A (zh) * | 2012-03-19 | 2012-12-12 | 北京泰邦天地科技有限公司 | 宽视场超高分辨率成像*** |
CN103281484A (zh) * | 2013-06-17 | 2013-09-04 | 清华大学 | 十亿像素视频采集装置 |
CN106462944A (zh) * | 2016-05-30 | 2017-02-22 | 香港应用科技研究院有限公司 | 将多个高分辨率图像映射到一个低分辨率360度图像上生成无重影的高分辨全景图 |
US20180012335A1 (en) * | 2016-07-06 | 2018-01-11 | Gopro, Inc. | Systems and methods for multi-resolution image stitching |
WO2018028048A1 (zh) * | 2016-08-12 | 2018-02-15 | 南方科技大学 | 虚拟现实内容生成方法和装置 |
CN107197166A (zh) * | 2017-08-01 | 2017-09-22 | 哈尔滨市舍科技有限公司 | 一种双分辨率一体式全景摄像装置及方法 |
CN107396077A (zh) * | 2017-08-23 | 2017-11-24 | 深圳看到科技有限公司 | 虚拟现实全景视频流投影方法和设备 |
CN107529064A (zh) * | 2017-09-04 | 2017-12-29 | 北京理工大学 | 一种基于vr终端反馈的自适应编码方法 |
CN108399600A (zh) * | 2018-02-23 | 2018-08-14 | 清华-伯克利深圳学院筹备办公室 | 一种全景成像***及方法 |
CN108322727A (zh) * | 2018-02-28 | 2018-07-24 | 北京搜狐新媒体信息技术有限公司 | 一种全景视频传输方法及装置 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020048485A1 (zh) * | 2018-09-05 | 2020-03-12 | 清华-伯克利深圳学院筹备办公室 | Vr全景摄影*** |
CN110634190A (zh) * | 2019-09-24 | 2019-12-31 | 赵岩 | 一种远程摄像vr体验*** |
CN111343367A (zh) * | 2020-02-17 | 2020-06-26 | 清华大学深圳国际研究生院 | 一种十亿像素虚拟现实视频采集装置、***与方法 |
CN111343367B (zh) * | 2020-02-17 | 2021-06-08 | 清华大学深圳国际研究生院 | 一种十亿像素虚拟现实视频采集装置、***与方法 |
CN112468832A (zh) * | 2020-10-22 | 2021-03-09 | 北京拙河科技有限公司 | 一种十亿级像素全景视频直播方法、装置、介质及设备 |
CN114866747A (zh) * | 2022-07-07 | 2022-08-05 | 国网瑞嘉(天津)智能机器人有限公司 | 高空作业装置及作业图像的处理方法 |
CN114866747B (zh) * | 2022-07-07 | 2022-09-30 | 国网瑞嘉(天津)智能机器人有限公司 | 高空作业装置及作业图像的处理方法 |
CN116471490A (zh) * | 2023-06-19 | 2023-07-21 | 清华大学 | 变光照十亿像素光场智能成像***、方法与装置 |
CN116471490B (zh) * | 2023-06-19 | 2023-08-29 | 清华大学 | 变光照十亿像素光场智能成像***、方法与装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109040601B (zh) | 2020-06-26 |
WO2020048485A1 (zh) | 2020-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109040601A (zh) | 一种多尺度非结构化的十亿像素vr全景摄影*** | |
CN109863754B (zh) | 用于直播流化的虚拟现实360度视频相机*** | |
CN107249096B (zh) | 全景摄像机及其拍摄方法 | |
Yang et al. | A real-time distributed light field camera. | |
CN103905741B (zh) | 超高清全景视频实时生成与多通道同步播放*** | |
CN104301677B (zh) | 面向大场景的全景视频监控的方法及装置 | |
US9060165B2 (en) | 3D video communication method, sending device and system, image reconstruction method and system | |
CN101345843B (zh) | 可视移动终端全景视频的实现方法及*** | |
CN103828359B (zh) | 用于产生场景的视图的方法、编码***以及解码*** | |
CN101872491B (zh) | 基于光度立体的自由视角重光照方法和*** | |
Brady et al. | Parallel cameras | |
KR102343700B1 (ko) | 독립적으로 인코딩된 배경 업데이트들에 기초한 비디오 송신 | |
CN108399600A (zh) | 一种全景成像***及方法 | |
CN104363385B (zh) | 一种图像融合的基于行的硬件实现方法 | |
CN107211081B (zh) | 基于独立编码的背景更新的视频传输 | |
CN106709894B (zh) | 一种图像实时拼接方法及*** | |
CN107466473A (zh) | 多阵列相机成像***及其方法 | |
CN105872496A (zh) | 一种超高清视频融合方法 | |
KR20200064998A (ko) | 재생 장치 및 방법, 그리고 생성 장치 및 방법 | |
WO2019156819A1 (en) | Method and apparatus for processing and distributing live virtual reality content | |
CN111860363A (zh) | 一种视频图像的处理方法及装置、电子设备、存储介质 | |
Simone et al. | Omnidirectional video communications: new challenges for the quality assessment community | |
Van Duong et al. | Downsampling based light field video coding with restoration network using joint spatio-angular and epipolar information | |
Cserkaszky et al. | Towards display-independent light-field formats | |
US10616493B2 (en) | Multi camera system for zoom |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20221129 Address after: 518000 2nd floor, building a, Tsinghua campus, Shenzhen University Town, Xili street, Nanshan District, Shenzhen City, Guangdong Province Patentee after: Tsinghua Shenzhen International Graduate School Address before: 518055 Nanshan Zhiyuan 1001, Xue Yuan Avenue, Nanshan District, Shenzhen, Guangdong. Patentee before: TSINGHUA-BERKELEY SHENZHEN INSTITUTE |