CN111915739A - 一种实时三维全景信息互动影息*** - Google Patents

一种实时三维全景信息互动影息*** Download PDF

Info

Publication number
CN111915739A
CN111915739A CN202010814420.9A CN202010814420A CN111915739A CN 111915739 A CN111915739 A CN 111915739A CN 202010814420 A CN202010814420 A CN 202010814420A CN 111915739 A CN111915739 A CN 111915739A
Authority
CN
China
Prior art keywords
camera
real
time
dimensional
dimensional reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010814420.9A
Other languages
English (en)
Inventor
黄仲华
周成富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Schen Industrial Investment Co ltd
Original Assignee
Guangdong Schen Industrial Investment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Schen Industrial Investment Co ltd filed Critical Guangdong Schen Industrial Investment Co ltd
Priority to CN202010814420.9A priority Critical patent/CN111915739A/zh
Publication of CN111915739A publication Critical patent/CN111915739A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明适用于计算机视觉技术领域，提供了一种实时三维全景信息互动影息***：在该互动影息***中设置有VR端、云端的设置。本发明通过获取用户的生理特征信号或者语音信号等，实现多人VR交互，提升用户体验；其通过对VR显示端的监测与调整，可有效确定所对应的虚拟场景以及其视角权重，从而可快速、有效获取对应的三维图像；达到快速、准确相应互动影息的效果。

Description

一种实时三维全景信息互动影息***
技术领域
本发明属于计算机视觉技术领域，尤其涉及一种实时三维全景信息互动影息***。
背景技术
三维重建技术是计算机视觉的一个分支，是计算机视觉和计算机图形图像处理相结合的一个研究方向。它广泛的用于工业自动化、逆向工程、文物保护、计算机辅助医疗、虚拟现实、增强现实和机器人应用等场景
虚拟现实(VR)是一种新兴的“专业级应用”，其有潜力彻底改变现有处理各种任务的方式。拍摄一个360度全景视频并用于创建一个计算机建模的3D空间。然后，用户戴上特制的护目镜如头戴式显示器(HMD)，其能主动选择并改变用户视角以获取身临其境的体验。
现有技术通常利用基于普通镜头的多目相机采集图像，然后通过SFM(StructureFrom Motion，运动恢复结构)算法进行三维重建。然而普通镜头的视场角比较窄，采集的图像不能覆盖完整的角度，相邻两个镜头的重合度比较低，因此三维重建的鲁棒性较差。且针对现有技术中，对于实时目标物体的三维重建，并未有合适与三维重建模型相融合，导致虚拟场景中的真实性差、降低使用者的体验感。尤其是，在三维重建模型过程中，用户进行交互的同时，导致虚拟场景不流程，严重影响用户使用与交流。
且进一步，现有技术中，对于以VR显示端视角进行的图像确定步骤复杂、计算量大，导致***响应慢，用户体验流畅性低，且，所显示的三维图像不能自适应VR显示端，尤其是当针对实时目标物体进行三维重建，此问题更加突出。
故，有必要提供一种技术方案，以解决上述技术问题。
发明内容
有鉴于此，本发明实施例提供了一种实时三维全景信息互动影息***。
本发明实施例的第一方面提供了一种实时三维全景信息互动影息***，所述互动影息***包括：VR端、云端：
其中，所述VR端包括：
定位模块，用于获取VR显示端与地面的距离；根据所述距离，调整虚拟摄像机互动视角；
第一信息采集模块，用于实时获取用户的生理特征信号、语音信号；
第二信息采集模块，用于获取在移动过程中每个摄像头拍摄的待处理视频，其中，所述多目相机包括至少一个摄像头的VR相机或者至少一个全景相机；
处理器模块，用于根据所述生理特征信号、所述语音信号，触发相应的控制信号；
信息传输模块，用于将所述控制信号发送至所述VR显示端；
所述VR显示端，用于显示所述控制信号；
所述云端，包括：
第一处理器，用于用于根据所述待处理视频提取关键帧，并对每一所述关键帧进行畸变矫正；
第二处理器，所述第二处理器用于提取所述待处理视频中所述目标物体编码数据、定位数据；
三维重建模块，用于根据所有所述待处理视频对应的所述关键帧做第一三维重建模型，生成点云和摄像头的相机姿态；同时根据所述目标物体的所述编码数据、所述定位数据进行实时目标物体第二三维重建模型，并将所述第一三维重建模型与所述第二三维重建模型进行融合，形成实时三维模型；
优选的，在本发明中，所述云端还包括：点云处理模块，用于获取相邻摄像头生成的公共点云，并根据相邻摄像头生成的公共点云确定所有点云的尺度。
优选的，在本发明中，所述VR显示端，还可用于显示所述实时三维模型。
优选的，在本发明中，所述第一信息采集模块包括心率传感器，呼吸传感器和温度传感器；
所述心率传感器，用于实时获取用户的心率感应信号；
所述呼吸传感器，用于实时获取用户的呼吸频率信号；
所述温度传感器，用于实时获取用户的体温感应信号；
所述心率传感器、呼吸传感器和温度传感器均与处理器模块连接。
优选的，在本发明中，所述第一处理器还用于预先对每个所述摄像头做摄像头内参数及摄像头外参数的标定，获取每个所述摄像头的相机矩阵和畸变系数。
优选的，在本发明中，所述对每一所述关键帧进行畸变矫正包括：
对每个摄像头拍摄的视频，利用各自的摄像头内参数对视频的每一帧图像做畸变矫正；
对做畸变矫正后的所有摄像头拍摄的视频同时提取关键帧，所有关键帧对应的视频时刻相同；
或者，
所述对所有摄像头拍摄的视频同时提取关键帧，并对每个关键帧做畸变矫正具体包括：
对所有摄像头拍摄的视频同时提取关键帧，所有关键帧对应的视频时刻相同；
对每个摄像头对应的关键帧，利用各自的摄像头内参数对关键帧做畸变矫正。
优选的，在本发明中，所述根据所有所述待处理视频对应的所述关键帧做第一三维重建模型，生成点云和摄像头的相机姿态包括：
根据所有所述摄像头拍摄的所述待处理视频对应的所述关键帧，用SFM算法做第一三维重建模型，生成点云和摄像头的所述相机姿态。
优选的，在本发明中，所述根据所述目标物体的所述编码数据、所述定位数据进行实时目标物体第二三维重建模型包括：
所述第二处理器根据所述编码数据、所述定位数据，解码分类编码数据，利用双目立体视觉原理进行三维重建，得到实时所述目标物体的三维数据，并重建所述目标所述第二三维重建模型。
优选的，在本发明中，所述将所述第一三维重建模型与所述第二三维重建模型进行融合包括：
将所述第二三维重建模型中的第二数据与所述第一三维重建模型中的第一数据映射到全局坐标系下，并进行所述第一数据、所述第二数据进行匹配，并更新所述第一三维重建模型。
本发明实施例与现有技术相比存在的有益效果是：一方面，通过获取用户的生理特征信号或者语音信号等，实现多人VR交互，提升用户体验；一方面，其通过对VR显示端的监测与调整，可有效确定所对应的虚拟场景以及其视角权重，从而可快速、有效获取对应的三维图像；通过设置第二视角权重，可使得三维图像自适应VR显示端；一方面，合理设置虚拟场景，大大降低虚拟场景所需配置数据与时间，同时，如此可大大提高***流畅性，增强用户体验。实现了提供更广的视场角，覆盖更完整的角度，为点云尺度的确定提供更多的公共点，增加鲁棒性。同时对所有摄像头拍摄的待处理视频提取关键帧，进行做第一三维重建模型，因此处理的数据量大大减少。同时，采用目标物体三维数据进行第二三维模型重建并融合，可以获取高密度与高精度兼备的测量数据，尤其是对于大尺寸物体的三维测量，更具有优势从而解决虚拟场景中的真实性差问题，提高了使用者的体验感。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的一种实时三维全景信息互动影息***的结构示意图；
图2是本发明实施例二提供的一种实时三维全景信息互动影息***所对应的虚拟场景的实现流程示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
如图1所示，为本发明实施例的第一方面提供了一种实时三维全景信息互动影息***，所述互动影息***包括：VR端、云端：
其中，所述VR端包括：
定位模块，用于获取VR显示端与地面的距离；根据所述距离，调整虚拟摄像机互动视角；
第一信息采集模块，用于实时获取用户的生理特征信号、语音信号；
第二信息采集模块，用于获取在移动过程中每个摄像头拍摄的待处理视频，其中，所述多目相机包括至少一个摄像头的VR相机或者至少一个全景相机；
处理器模块，用于根据所述生理特征信号、所述语音信号，触发相应的控制信号；
信息传输模块，用于将所述控制信号发送至所述VR显示端；
所述VR显示端，用于显示所述控制信号；
所述云端，包括：
第一处理器，用于用于根据所述待处理视频提取关键帧，并对每一所述关键帧进行畸变矫正；
第二处理器，所述第二处理器用于提取所述待处理视频中所述目标物体编码数据、定位数据；
三维重建模块，用于根据所有所述待处理视频对应的所述关键帧做第一三维重建模型，生成点云和摄像头的相机姿态；同时根据所述目标物体的所述编码数据、所述定位数据进行实时目标物体第二三维重建模型，并将所述第一三维重建模型与所述第二三维重建模型进行融合，形成实时三维模型；
优选的，在本发明中，所述云端还包括：点云处理模块，用于获取相邻摄像头生成的公共点云，并根据相邻摄像头生成的公共点云确定所有点云的尺度。
优选的，在本发明中，所述VR显示端，还可用于显示所述实时三维模型。
优选的，在本发明中，所述第一信息采集模块包括心率传感器，呼吸传感器和温度传感器；
所述心率传感器，用于实时获取用户的心率感应信号；
所述呼吸传感器，用于实时获取用户的呼吸频率信号；
所述温度传感器，用于实时获取用户的体温感应信号；
所述心率传感器、呼吸传感器和温度传感器均与处理器模块连接。
优选的，在本发明中，所述第一处理器还用于预先对每个所述摄像头做摄像头内参数及摄像头外参数的标定，获取每个所述摄像头的相机矩阵和畸变系数。
优选的，在本发明中，所述对每一所述关键帧进行畸变矫正包括：
对每个摄像头拍摄的视频，利用各自的摄像头内参数对视频的每一帧图像做畸变矫正；
对做畸变矫正后的所有摄像头拍摄的视频同时提取关键帧，所有关键帧对应的视频时刻相同；
或者，
所述对所有摄像头拍摄的视频同时提取关键帧，并对每个关键帧做畸变矫正具体包括：
对所有摄像头拍摄的视频同时提取关键帧，所有关键帧对应的视频时刻相同；
对每个摄像头对应的关键帧，利用各自的摄像头内参数对关键帧做畸变矫正。
优选的，在本发明中，所述根据所有所述待处理视频对应的所述关键帧做第一三维重建模型，生成点云和摄像头的相机姿态包括：
根据所有所述摄像头拍摄的所述待处理视频对应的所述关键帧，用SFM算法做第一三维重建模型，生成点云和摄像头的所述相机姿态。
优选的，在本发明中，所述根据所述目标物体的所述编码数据、所述定位数据进行实时目标物体第二三维重建模型包括：
所述第二处理器根据所述编码数据、所述定位数据，解码分类编码数据，利用双目立体视觉原理进行三维重建，得到实时所述目标物体的三维数据，并重建所述目标所述第二三维重建模型。
优选的，在本发明中，所述将所述第一三维重建模型与所述第二三维重建模型进行融合包括：
将所述第二三维重建模型中的第二数据与所述第一三维重建模型中的第一数据映射到全局坐标系下，并进行所述第一数据、所述第二数据进行匹配，并更新所述第一三维重建模型。
在本发明中，一方面，通过获取用户的生理特征信号或者语音信号等，实现多人VR交互，提升用户体验；一方面，其通过对VR显示端的监测与调整，可有效确定所对应的虚拟场景以及其视角权重，从而可快速、有效获取对应的三维图像；通过设置第二视角权重，可使得三维图像自适应VR显示端；一方面，合理设置虚拟场景，大大降低虚拟场景所需配置数据与时间，同时，如此可大大提高***流畅性，增强用户体验。实现了提供更广的视场角，覆盖更完整的角度，为点云尺度的确定提供更多的公共点，增加鲁棒性。同时对所有摄像头拍摄的待处理视频提取关键帧，进行做第一三维重建模型，因此处理的数据量大大减少。同时，采用目标物体三维数据进行第二三维模型重建并融合，可以获取高密度与高精度兼备的测量数据，尤其是对于大尺寸物体的三维测量，更具有优势从而解决虚拟场景中的真实性差问题，提高了使用者的体验感。
如图2所示，为本发明所提供的一种实时三维全景信息互动影息***所对应的虚拟场景生成方法，具体的，在本发明中，所述虚拟场景获取包括：
S1：获取多目相机在移动过程中每个摄像头拍摄的视频；
S2：根据所述待处理视频提取关键帧，并对每一所述关键帧进行畸变矫正。
S3：提取所述待处理视频中所述目标物体编码数据、定位数据；
S4：根据所有所述待处理视频对应的所述关键帧做第一三维重建模型，生成点云和摄像头的相机姿态；
S5：根据所述目标物体的所述编码数据、所述定位数据进行实时目标物体第二三维重建模型；
S6：将所述第一三维重建模型与第二三维重建模型进行融合，形成所述虚拟场景。
优选的，在本发明中，获取相邻摄像头生成的公共点云，并根据相邻摄像头生成的公共点云确定所有点云的尺度。
所述第一处理器还用于预先对每个所述摄像头做摄像头内参数及摄像头外参数的标定，获取每个所述摄像头的相机矩阵和畸变系数。
具体的，所述对每一所述关键帧进行畸变矫正包括：
对每个摄像头拍摄的视频，利用各自的摄像头内参数对视频的每一帧图像做畸变矫正；
对做畸变矫正后的所有摄像头拍摄的视频同时提取关键帧，所有关键帧对应的视频时刻相同；
或者，
所述对所有摄像头拍摄的视频同时提取关键帧，并对每个关键帧做畸变矫正具体包括：
对所有摄像头拍摄的视频同时提取关键帧，所有关键帧对应的视频时刻相同；
对每个摄像头对应的关键帧，利用各自的摄像头内参数对关键帧做畸变矫正。
具体的，所述根据所述待处理视频提取关键帧包括：
将每个摄像头拍摄的视频的第1帧图像作为关键帧；
用当前帧与最近的关键帧做匹配，若匹配满足以下任一条件，则认为当前帧也是关键帧：
用单应性矩阵拟合匹配点的平均误差大于预设数量的像素；
用匹配点计算两帧图像的平移距离，平移量超过图像对角线的预设百分比；和
用匹配点计算两帧图像的缩放系数，缩放系数大于第一预设值或小于第二预设值。
优选的，在本发明中，所述根据所述待处理视频提取关键帧包括：
将每个摄像头拍摄的视频的第1帧图像作为关键帧；
用当前帧与最近的关键帧做匹配，若匹配满足以下任一条件，则认为当前帧也是关键帧：
用单应性矩阵拟合匹配点的平均误差大于预设数量的像素；
用匹配点计算两帧图像的平移距离，平移量超过图像对角线的预设百分比；和
用匹配点计算两帧图像的缩放系数，缩放系数大于第一预设值或小于第二预设值。
优选的，在本发明中，所述根据所有所述待处理视频对应的所述关键帧做第一三维重建模型，生成点云和摄像头的相机姿态包括：
根据所有所述摄像头拍摄的所述待处理视频对应的所述关键帧，用SFM算法做第一三维重建模型，生成点云和摄像头的所述相机姿态。
其中，将所有摄像头拍摄的视频对应的关键帧组成一个关键帧的集合；
提取所有关键帧的角点，用ORB(Oriented FAST and Rotated BRIEF，快速特征点提取和描述的算法)描述子描述角点；
匹配任意两个关键帧，用单应性矩阵或基础矩阵约束匹配点，剔除误匹配点(例如用RANSAC方法剔除误匹配点)；选择单应性矩阵或基础矩阵的依据是满足哪个矩阵的匹配点数更多就选择哪个矩阵；
优先选择匹配点解算出来的基础矩阵恢复摄像头的相机姿态(R，t)，利用基础矩阵和摄像头的相机矩阵计算本质矩阵，从本质矩阵中分解出四对相机姿态(R，t)，其中，R表示旋转矩阵，t表示平移向量，用四对相机姿态(R，t)将匹配点的三维坐标解算出四组点云；
将在两个摄像头的前方的一组点云对应的相机姿态(R，t)作为正确的相机姿态(R，t)；
将正确的相机姿态(R，t)和点云投影到零系，零系是指第一个关键帧对应的摄像头坐标系；
利用光束平差法做优化，将零系中的所有三维点，根据每个关键帧的相机姿态(R，t)投影到每个关键帧上，计算每个三维点的投影误差，并调整每个关键帧的相机姿态(R，t)(例如用LM算法)，多次迭代(例如迭代100次就足够达到收敛的次数，通常情况下十几次或几十次就收敛了)，将投影误差降到最小。
优选的，在本发明中，所述根据所述目标物体的所述编码数据、所述定位数据进行实时目标物体第二三维重建模型包括：
所述第二处理器根据所述编码数据、所述定位数据，解码分类编码数据，利用双目立体视角原理进行三维重建，得到实时所述目标物体的三维数据，并重建所述目标所述第二三维重建模型。
优选的，在本发明中，所述将所述第一三维重建模型与所述第二三维重建模型进行融合包括：
将所述第二三维重建模型中的第二数据与所述第一三维重建模型中的第一数据映射到全局坐标系下，并进行所述第一数据、所述第二数据进行匹配，并更新所述第一三维重建模型。
其中，将所述目标物体的表面进行三维测量时，得到目标物体的局部表面的第一散斑图像和第二散斑图像，
具体是采用左相机和右相机以不同的视角，分别对所述局部区域的表面同时进行拍摄，得到左散斑图像(第一散斑图像)和右散斑图像(第二散斑图像)。
根据所述整像素级对应点，以及所述第一散斑图像中的各像素点坐标，对所述第二散斑图像进行亚像素对应点搜索，得到所述第二散斑图像中的亚像素对应点。
利用双目立体视觉原理，结合所述第二散斑图像的亚像素的对应关系进行三维重建，得到所述目标物体表面的第二三维重建模型数据。
将所述第二三维重建模型变换到全局坐标系下，根据所述重叠区将所述第二三维重建模型数据与所述第一三维重建模型数据进行配准，更新所述第一三维重建模型数据。
如此，本发明所提供的技术方案，一方面，其通过对VR显示端的监测与调整，可有效确定所对应的虚拟场景以及其视角权重，从而可快速、有效获取对应的三维图像；通过设置第二视角权重，可使得三维图像自适应VR显示端。另一方面，合理设置虚拟场景，大大降低虚拟场景所需配置数据与时间，同时，如此可大大提高***流畅性，增强用户体验。实现了提供更广的视场角，覆盖更完整的角度，为点云尺度的确定提供更多的公共点，增加鲁棒性。同时对所有摄像头拍摄的待处理频提取关键帧，进行做第一三维重建模型，因此处理的数据量大大减少。同时，采用目标物体三维数据进行第二三维模型重建并融合，可以获取高密度与高精度兼备的测量数据，尤其是对于大尺寸物体的三维测量，更具有优势从而解决虚拟场景中的真实性差问题，提高了使用者的体验感。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (7)

1.一种实时三维全景信息互动影息***，所述互动影息***包括：VR端、云端，其特征在于：
其中，所述VR端包括：
定位模块，用于获取VR显示端与地面的距离；根据所述距离，调整虚拟摄像机互动视角；
第一信息采集模块，用于实时获取用户的生理特征信号、语音信号；
第二信息采集模块，用于获取在移动过程中每个摄像头拍摄的待处理视频，其中，所述多目相机包括至少一个摄像头的VR相机或者至少一个全景相机；
处理器模块，用于根据所述生理特征信号、所述语音信号，触发相应的控制信号；
信息传输模块，用于将所述控制信号发送至所述VR显示端；
所述VR显示端，用于显示所述控制信号；
所述云端，包括：
第一处理器，用于用于根据所述待处理视频提取关键帧，并对每一所述关键帧进行畸变矫正；
第二处理器，所述第二处理器用于提取所述待处理视频中所述目标物体编码数据、定位数据；
三维重建模块，用于根据所有所述待处理视频对应的所述关键帧做第一三维重建模型，生成点云和摄像头的相机姿态；同时根据所述目标物体的所述编码数据、所述定位数据进行实时目标物体第二三维重建模型，并将所述第一三维重建模型与所述第二三维重建模型进行融合，形成实时三维模型。
2.根据权利要求1所述一种实时三维全景信息互动影息***，其特征在于：
所述云端还包括：点云处理模块，用于获取相邻摄像头生成的公共点云，并根据相邻摄像头生成的公共点云确定所有点云的尺度。
3.根据权利要求1所述一种实时三维全景信息互动影息***，其特征在于：
所述VR显示端，还可用于显示所述实时三维模型。
4.根据权利要求1所述一种实时三维全景信息互动影息***，其特征在于：
所述第一信息采集模块包括心率传感器，呼吸传感器和温度传感器；
所述心率传感器，用于实时获取用户的心率感应信号；
所述呼吸传感器，用于实时获取用户的呼吸频率信号；
所述温度传感器，用于实时获取用户的体温感应信号；
所述心率传感器、呼吸传感器和温度传感器均与处理器模块连接。
5.根据权利要求1或2所述一种实时三维全景信息互动影息***，其特征在于：
所述第一处理器还用于预先对每个所述摄像头做摄像头内参数及摄像头外参数的标定，获取每个所述摄像头的相机矩阵和畸变系数。
6.根据权利要求1或2所述一种实时三维全景信息互动影息***，其特征在于：
所述对每一所述关键帧进行畸变矫正包括：
对每个摄像头拍摄的视频，利用各自的摄像头内参数对视频的每一帧图像做畸变矫正；
对做畸变矫正后的所有摄像头拍摄的视频同时提取关键帧，所有关键帧对应的视频时刻相同；
或者，
所述对所有摄像头拍摄的视频同时提取关键帧，并对每个关键帧做畸变矫正具体包括：
对所有摄像头拍摄的视频同时提取关键帧，所有关键帧对应的视频时刻相同；
对每个摄像头对应的关键帧，利用各自的摄像头内参数对关键帧做畸变矫正。
7.根据权利要求1或2所述一种实时三维全景信息互动影息***，其特征在于：
所述根据所有所述待处理视频对应的所述关键帧做第一三维重建模型，生成点云和摄像头的相机姿态包括：
根据所有所述摄像头拍摄的所述待处理视频对应的所述关键帧，用SFM算法做第一三维重建模型，生成点云和摄像头的所述相机姿态。
CN202010814420.9A 2020-08-13 2020-08-13 一种实时三维全景信息互动影息*** Pending CN111915739A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010814420.9A CN111915739A (zh) 2020-08-13 2020-08-13 一种实时三维全景信息互动影息***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010814420.9A CN111915739A (zh) 2020-08-13 2020-08-13 一种实时三维全景信息互动影息***

Publications (1)

Publication Number Publication Date
CN111915739A true CN111915739A (zh) 2020-11-10

Family

ID=73284017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010814420.9A Pending CN111915739A (zh) 2020-08-13 2020-08-13 一种实时三维全景信息互动影息***

Country Status (1)

Country Link
CN (1) CN111915739A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115331493A (zh) * 2022-08-08 2022-11-11 深圳市中科网威科技有限公司 一种基于3d全息技术的立体综合教学***及方法
CN115439634A (zh) * 2022-09-30 2022-12-06 如你所视(北京)科技有限公司 点云数据的交互呈现方法和存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107134008A (zh) * 2017-05-10 2017-09-05 广东技术师范学院 一种基于三维重建下的动态物体识别的方法及***
CN107194964A (zh) * 2017-05-24 2017-09-22 电子科技大学 一种基于实时人体三维重建的vr社交***及其方法
EP3349176A1 (en) * 2017-01-17 2018-07-18 Facebook, Inc. Three-dimensional scene reconstruction from set of two-dimensional images for consumption in virtual reality
CN108564617A (zh) * 2018-03-22 2018-09-21 深圳岚锋创视网络科技有限公司 多目相机的三维重建方法、装置、vr相机和全景相机
CN109754463A (zh) * 2019-01-11 2019-05-14 中煤航测遥感集团有限公司 三维建模融合方法及装置
CN109765999A (zh) * 2018-12-10 2019-05-17 广州玖的数码科技有限公司 一种多人vr游戏成员之间的生理信息互动装置及方法
CN109840947A (zh) * 2017-11-28 2019-06-04 广州腾讯科技有限公司 增强现实场景的实现方法、装置、设备及存储介质
CN110009561A (zh) * 2019-04-10 2019-07-12 南京财经大学 一种监控视频目标映射到三维地理场景模型的方法及***
CN110874818A (zh) * 2018-08-31 2020-03-10 阿里巴巴集团控股有限公司 图像处理和虚拟空间构建方法、装置、***和存储介质
CN111298435A (zh) * 2020-02-12 2020-06-19 网易（杭州）网络有限公司 Vr游戏的视野控制方法、vr显示终端、设备及介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3349176A1 (en) * 2017-01-17 2018-07-18 Facebook, Inc. Three-dimensional scene reconstruction from set of two-dimensional images for consumption in virtual reality
CN107134008A (zh) * 2017-05-10 2017-09-05 广东技术师范学院 一种基于三维重建下的动态物体识别的方法及***
CN107194964A (zh) * 2017-05-24 2017-09-22 电子科技大学 一种基于实时人体三维重建的vr社交***及其方法
CN109840947A (zh) * 2017-11-28 2019-06-04 广州腾讯科技有限公司 增强现实场景的实现方法、装置、设备及存储介质
CN108564617A (zh) * 2018-03-22 2018-09-21 深圳岚锋创视网络科技有限公司 多目相机的三维重建方法、装置、vr相机和全景相机
CN110874818A (zh) * 2018-08-31 2020-03-10 阿里巴巴集团控股有限公司 图像处理和虚拟空间构建方法、装置、***和存储介质
CN109765999A (zh) * 2018-12-10 2019-05-17 广州玖的数码科技有限公司 一种多人vr游戏成员之间的生理信息互动装置及方法
CN109754463A (zh) * 2019-01-11 2019-05-14 中煤航测遥感集团有限公司 三维建模融合方法及装置
CN110009561A (zh) * 2019-04-10 2019-07-12 南京财经大学 一种监控视频目标映射到三维地理场景模型的方法及***
CN111298435A (zh) * 2020-02-12 2020-06-19 网易（杭州）网络有限公司 Vr游戏的视野控制方法、vr显示终端、设备及介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115331493A (zh) * 2022-08-08 2022-11-11 深圳市中科网威科技有限公司 一种基于3d全息技术的立体综合教学***及方法
CN115439634A (zh) * 2022-09-30 2022-12-06 如你所视(北京)科技有限公司 点云数据的交互呈现方法和存储介质
CN115439634B (zh) * 2022-09-30 2024-02-23 如你所视(北京)科技有限公司 点云数据的交互呈现方法和存储介质

Similar Documents

Publication Publication Date Title
CN108564617B (zh) 多目相机的三维重建方法、装置、vr相机和全景相机
CN101563709B (zh) 校准照相机***
US9094672B2 (en) Stereo picture generating device, and stereo picture generating method
CN109660783B (zh) 虚拟现实视差校正
CN110874864A (zh) 获取对象三维模型的方法、装置、电子设备及***
CN108898630A (zh) 一种三维重建方法、装置、设备和存储介质
US20200334842A1 (en) Methods, devices and computer program products for global bundle adjustment of 3d images
CN107358633A (zh) 一种基于三点标定物的多相机内外参标定方法
CN106920276B (zh) 一种三维重建方法和***
CN107798702B (zh) 一种用于增强现实的实时图像叠加方法以及装置
CN111127524A (zh) 一种轨迹跟踪与三维重建方法、***及装置
CN107862718B (zh) 4d全息视频捕捉方法
CN110648274B (zh) 鱼眼图像的生成方法及装置
CN106683163B (zh) 一种视频监控的成像方法及***
CN114119739A (zh) 一种基于双目视觉的手部关键点空间坐标获取方法
CN111915739A (zh) 一种实时三维全景信息互动影息***
CN114627491A (zh) 一种基于极线汇聚的单人三维姿态估计方法
CN110969706B (zh) 增强现实设备及其图像处理方法、***以及存储介质
CN111047636B (zh) 基于主动红外双目视觉的避障***和避障方法
KR102113285B1 (ko) 평행축 방식의 양안 카메라 시스템에서 근거리 물체의 입체영상을 위한 영상처리 방법 및 장치
CN114882106A (zh) 位姿确定方法和装置、设备、介质
CN110766752B (zh) 一种带反光标志点的虚拟现实交互眼镜及空间定位方法
CN111915740A (zh) 一种快速的三维图像获取方法
CN111915741A (zh) 一种基于三维重建的vr生成器
da Silveira et al. Omnidirectional visual computing: Foundations, challenges, and applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201110

RJ01 Rejection of invention patent application after publication