CN114494582A - 一种基于视觉感知的三维模型动态更新方法 - Google Patents

一种基于视觉感知的三维模型动态更新方法 Download PDF

Info

Publication number
CN114494582A
CN114494582A CN202111664034.7A CN202111664034A CN114494582A CN 114494582 A CN114494582 A CN 114494582A CN 202111664034 A CN202111664034 A CN 202111664034A CN 114494582 A CN114494582 A CN 114494582A
Authority
CN
China
Prior art keywords
image
model
dimensional model
images
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111664034.7A
Other languages
English (en)
Inventor
马威
李清泉
周宝定
王冰
朱华晨
叶岑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Chongqing Jiaotong University
Original Assignee
Shenzhen University
Chongqing Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University, Chongqing Jiaotong University filed Critical Shenzhen University
Priority to CN202111664034.7A priority Critical patent/CN114494582A/zh
Publication of CN114494582A publication Critical patent/CN114494582A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于视觉感知的三维模型动态更新方法，包括：通过RGB‑I相机拍摄得到场景的彩色图像和红外图像；基于彩色图像，提取两张及以上彩色图像，将其中一张图像作为基准图像，将其他图像在模型上的投影点反投影到基准图像上，得到多张像素差图像；基于像素差图像，判断模型变化区域并对局部模型进行重建，同时将模型变化区域和重建过程显示在AR眼镜中；当通过红外图像检测到重建过程中有激光点，通过红外图像对激光点进行三角化辅助模型重建；将重建的模型与历史模型融合，得到局部更新后的模型。通过设有双目RGB‑I相机的AR眼镜和激光笔，交互的更新局部模型，实现低成本、高效的局部三维模型重建，提升模型的使用周期和质量。

Description

一种基于视觉感知的三维模型动态更新方法
技术领域
本发明涉及三维建模技术领域，尤其涉及的是一种基于视觉感知的三维模型动态更新方法。
背景技术
随着通讯技术、计算机科学以及数据采集传感设备的不断发展，以位置服务为核心的应用市场规模迅猛增长。三维模型作为位置服务的基础数据，是发展实景三维、数字孪生，推动智慧城市建设的关键所在。相比传统的二维地图，三维模型不仅能够提供更全面的几何信息和高层次的视觉体验，同时具有丰富的场景语义以增强用户对位置场景的认知。
然而，在实际的三维模型应用过程中，随着时间的推移环境会发生变化，三维模型需要不断的更新以保持与场景的统一性。现有技术中为了实现局部更新往往通过重建三维场景的方式，造成对现有数据以及人工资源的浪费。所以，如何动态更新和处理三维模型，提升现有三维模型的使用周期和质量，是当前的迫切需求。
由上可见，现有技术仍无法实现针对局部三维模型的高效、低成本的更新建模，以提升现有三维模型的使用周期和质量。
因此，现有技术还有待改进和发展。
发明内容
本发明的主要目的在于提供一种基于视觉感知的三维模型动态更新方法，旨在解决现有技术中为了实现模型的局部更新，需通过重建三维场景的方式，造成现有数据以及人工资源的浪费的问题。
为了实现上述目的，本发明第一方面提供一种基于视觉感知的三维模型动态更新方法，上述方法包括：
通过设置在AR眼镜两侧的RGB-I相机拍摄场景帧图像，并将所述场景帧图像分为彩色图像组以及红外图像组；
基于所述彩色图像组，提取两张及以上数量的彩色图像，将其中一张图像作为基准图像，通过将其他图像投影在三维模型上的投影点反投影到所述基准图像上，得到各图像与基准图像的像素差图像；
基于所述像素差图像，当判断三维模型发生变化时获取三维模型的变化区域，对所述变化区域的局部模型进行重建，并将三维模型和所述局部模型的重建过程在AR眼镜中进行显示；
当通过所述红外图像组检测到局部模型重建过程中存在激光点时，通过RGB-I相机定位激光点，并进行三角化辅助局部模型的重建；
当检测到局部模型重建完成，将重建后的局部模型与三维模型进行融合，得到局部更新后的模型。
可选的，上述通过设置在AR眼镜两侧的RGB-I相机拍摄场景帧图像，并将所述场景帧图像分为彩色图像组以及红外图像组的步骤之前包括：
预先对相机内参以及相机外参进行标定；
所述相机内参包括RGB-I相机镜头的焦点、主点、径向以及切向畸变；
所述相机外参包括通过旋转矩阵以及平移矩阵表示的两个RGB-I相机之间的几何关系。
可选的，上述通过设置在AR眼镜两侧的RGB-I相机拍摄场景帧图像，并将所述场景帧图像分为彩色图像组以及红外图像组的步骤包括：
根据AR眼镜围绕场景的移动和姿态变化，通过所述设置在AR眼镜两侧的RGB-I相机拍摄捕捉关于场景的场景帧图像；
控制将获取的所述场景帧图像分为彩色图像组以及红外图像组。
可选的，上述通过设置在AR眼镜两侧的RGB-I相机拍摄场景帧图像，并将所述场景帧图像分为彩色图像组以及红外图像组的步骤之后包括：
基于所述彩色图像组，通过结合视觉定位以及GPS定位数据的方式，跟踪获取RGB-I相机的相机位置姿态，其中，所述相机位置姿态为相机在三维模型坐标中的位置以及朝向数据。
可选的，上述基于所述彩色图像组，提取两张及以上数量的彩色图像，将其中一张图像作为基准图像，通过将其他图像投影在三维模型上的投影点反投影到所述基准图像上，得到各图像与基准图像的像素差图像的步骤包括：
基于所述彩色图像组，提取两张及以上数量的彩色图像，并将其中一张图像作为基准图像；
通过预先标定的相机内参以及所述相机位置姿态，建立提取的各图像与三维模型的映射关系；
分别计算除基准图像外的其他图像从相机投影中心像素到三维世界的方向射线，并得到所述方向射线与三维模型的焦点，即图像点在三维模型上的投影点；
分别将各图像在三维模型上的投影点反投影到所述基准图像上，得到各图像与基准图像的反投影图像；
分别将各反投影图像与基准图像进行对比计算，得到各反投影图像与基准图像的像素差图像。
可选的，上述基于所述像素差图像，当判断三维模型发生变化时获取三维模型的变化区域，对所述变化区域的局部模型进行重建，并将三维模型和所述局部模型的重建过程在AR眼镜中进行显示的步骤包括：
当检测到各像素差图像中存在不等于零和/或不趋近于零的像素值时，判断三维模型发生变化；
通过将各像素差图像中的区域进行关联，确认各像素差图像中变化的区域；
基于各像素差图像中变化的区域，分别计算出各像素差图像中每一变化区域的平均位置，并在所述像素差图像中以协方差的形式分布；
通过各像素差图像中每个变化区域的平均位置，计算得到三维模型中的变化区域；
基于三维模型中的变化区域，对所述变化区域的局部模型进行重建；
同时将所述三维模型和局部模型的重建过程在AR眼镜中进行显示。
可选的，上述当通过所述红外图像组检测到局部模型重建过程中存在激光点时，通过RGB-I相机定位激光点，并进行三角化辅助局部模型的重建的步骤包括：
通过所述红外图像组检测到所述局部模型重建过程中存在激光点；
通过两个RGB-I相机跟踪所述激光点，并对分别拍摄到的红外图像中的二维激光点进行三角测量，得到激光点的相机坐标；
将所述激光点的相机坐标投射到三维模型的坐标中，辅助局部模型的重建。
本发明第二方面提供一种基于视觉感知的三维模型动态更新装置，其中，所述装置包括：
数据采集模块，由两个RGB-I相机组成，用于实时拍摄采集图像数据并传输到数据处理单元；
数据处理单元，用于在后台将获取的图像数据进行计算和处理，并将三维模型变化区域检测和局部模型的更新过程实时传输到显示模块；
显示模块，用于实时显示三维模型数据和局部模型更新进程，以及显示激光点的绘制区域；
通讯模块，用于将数据采集模块、数据处理单元以及显示模块间的数据进行传递；
交互模块，由发射光线的光谱在680-730nm的激光器构成，用于辅助局部模型的重建。
本发明第三方面提供一种智能终端，上述智能终端包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的一种基于视觉感知的三维模型动态更新程序，上述基于视觉感知的三维模型动态更新程序被所述处理器执行时实现任意一项所述基于视觉感知的三维模型动态更新方法的步骤。
本发明第四方面提供一种非临时性计算机可读存储介质，其上存储有计算机程序，上述计算机程序被处理器执行实现任意一项所述基于视觉感知的三维模型动态更新方法的步骤。
由上可见，在本发明方案中，通过设置在AR眼镜两侧的RGB-I相机拍摄场景帧图像，并将所述场景帧图像分为彩色图像组以及红外图像组；基于所述彩色图像组，提取两张及以上数量的彩色图像，将其中一张图像作为基准图像，通过将其他图像投影在三维模型上的投影点反投影到所述基准图像上，得到各图像与基准图像的像素差图像；基于所述像素差图像，当判断三维模型发生变化时获取三维模型的变化区域，对所述变化区域的局部模型进行重建，并将三维模型和所述局部模型的重建过程在AR眼镜中进行显示；当通过所述红外图像组检测到局部模型重建过程中存在激光点时，通过RGB-I相机定位激光点，并进行三角化辅助局部模型的重建；当检测到局部模型重建完成，将重建后的局部模型与三维模型进行融合，得到局部更新后的模型。与现有技术相比，本发明方法通过搭载双目RGB-I摄像头的AR眼镜，在行走过程中将视线对准三维场景，***会自动检测出三维模型是否发生变化，并在AR眼镜中呈现发生变化的区域。在发生变化区域的部分模型重建时，还可通过检测拍摄画面中是否存在激光点，根据激光点进一步提高重建模型的精度。解决局部三维模型更新难、效率低和成本高的问题，实现低成本、高效的局部三维模型重建，从而提升现有三维模型的使用周期和质量。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例提供的一种基于视觉感知的三维模型动态更新方法的流程示意图；
图2是本发明实施例提供的一种基于视觉感知的三维模型动态更新装置的示意图；
图3是本发明实施例图1中步骤S100的具体流程示意图；
图4是本发明实施例图1中步骤S200的具体流程示意图；
图5是本发明实施例图1中步骤S300的具体流程示意图；
图6是本发明实施例图1中步骤S400的具体流程示意图；
图7是本发明实施例提供的一种智能终端的内部结构原理框图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况下，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
下面结合本发明实施例的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
随着通讯技术、计算机科学以及数据采集传感设备的不断发展，以位置服务为核心的应用市场规模迅猛增长。三维模型作为位置服务的基础数据，是发展实景三维、数字孪生，推动智慧城市建设的关键所在。相比传统的二维地图，三维模型不仅能够提供更全面的几何信息和高层次的视觉体验，同时具有丰富的场景语义以增强用户对位置场景的认知。
然而，随着时间的推移，环境会发生变化，曾近建模的三维模型需要不断的更新以保持与场景的统一性。传统方法为了实现局部更新往往通过重建三维场景的方式，造成对现有数据以及人工资源的浪费。
例如在现有技术中，三维重建的主要方法包括(1)基于摄影测量的三维建模；(2)基于激光点云的三维重建；(3)基于CAD图形的人工绘制。上述技术和方法针对三维场景重建提供了诸多可选方案。然而，面对建模后场景发生变化，缺乏三维模型更新的手段和设备。可见，现阶段局部三维模型更新是通过对场景的三维重建而实现的，这种模型更新方法成本高，且对现有数据以及人工资源造成浪费，导致模型的利用率和使用周期偏低。
为了解决现有技术中存在的问题，本发明提供一种基于视觉感知的三维模型动态更新方法，在本发明实施例中，通过设置在AR眼镜两侧的RGB-I相机拍摄场景帧图像，并将所述场景帧图像分为彩色图像组以及红外图像组；基于所述彩色图像组，提取两张及以上数量的彩色图像，将其中一张图像作为基准图像，通过将其他图像投影在三维模型上的投影点反投影到所述基准图像上，得到各图像与基准图像的像素差图像；基于所述像素差图像，当判断三维模型发生变化时获取三维模型的变化区域，对所述变化区域的局部模型进行重建，并将三维模型和所述局部模型的重建过程在AR眼镜中进行显示；当通过所述红外图像组检测到局部模型重建过程中存在激光点时，通过RGB-I相机定位激光点，并进行三角化辅助局部模型的重建；当检测到局部模型重建完成，将重建后的局部模型与三维模型进行融合，得到局部更新后的模型。因此，相较于现有技术中通过对场景整体进行三维重建而实现局部三维模型更新的方案，本发明通过搭载双目RGB-I摄像头的AR眼镜，自动获取摄像头对准的三维场景中的图像，***根据上述图像自动计算出三维模型是否发生变化，并在AR眼镜中实时呈现发生变化的区域。在发生变化区域的部分模型重建时，还可通过检测拍摄画面中是否存在激光点，根据激光点进一步提高重建模型的精度。解决局部三维模型更新难、效率低和成本高的问题，实现低成本、高效的局部三维模型重建，从而提升现有三维模型的使用周期和质量。
示例性方法
如图1所示，本发明实施例提供一种基于视觉感知的三维模型动态更新方法，上述方法包括如下步骤：
步骤S100、通过设置在AR眼镜两侧的RGB-I相机拍摄场景帧图像，并将所述场景帧图像分为彩色图像组以及红外图像组。
在本实施例中，基于视觉感知的三维模型动态更新***首先通过预先设置在AR眼镜两侧的RGB-I相机拍摄场景的帧图像，并将所有拍摄得到的帧图像分为彩色图像组以及红外图像组，所述RGB-I相机全称为RGB-Infrared相机，其可拍摄正常色彩的图像以及红外图像。通过本步骤，实现获取场景的彩色图像用于后续检测模型是否发生变化，还同时获取红外图像用于检测场景中是否出现激光点。
步骤S200、基于所述彩色图像组，提取两张及以上数量的彩色图像，将其中一张图像作为基准图像，通过将其他图像投影在三维模型上的投影点反投影到所述基准图像上，得到各图像与基准图像的像素差图像。
在本实施例中，所述***基于上述获取的彩色图像组，提取彩色图像组中两张及以上数量的彩色图像，将其中一张图像作为基准图像，用于配合其他彩色图像计算和判断模型是否发生变化。进一步的，将提取的彩色图像投影在历史的三维模型上，并将投影得到的投影点反投影到上述基准图像上，得到各张彩色图像与基准图像的像素差图像。需注意的是，根据提取的彩色图像的数量，将影响***对彩色图像数据的处理时间，同时，所述提取的彩色图像的数量越多，将有利于模型变化区域判断精度。可见，本步骤实现通过多角度获取用于判断模型是否发生变化的像素差图像。
步骤S300、基于所述像素差图像，当判断三维模型发生变化时获取三维模型的变化区域，对所述变化区域的局部模型进行重建，并将三维模型和所述局部模型的重建过程在AR眼镜中进行显示。
在本实施例中，所述***对像素差图像中的像素点进行判断，当存在像素点值不等于零或不趋近于零的点时，判断三维模型发生变化。并根据所述像素差图像中显示的发生变化的区域，计算得到三维模型的变化区域。进一步的，当上述提取彩色图像的步骤中提取了两张以上的彩色图像时，可根据多角度的多张彩色图像得到精度更高的三维模型的变化区域参数。所述***根据所述三维模型的变化区域，通过提示用户环绕该三维模型进行观察的方式获取立体图像对，实现对局部模型的重建。同时，在本步骤实施过程中，所述***将历史的三维模型和对局部模型重建过程实时显示在AR眼镜中。通过本步骤，可实现自动计算得出三维模型发生变化的区域并进行重建，同时将计算分析以及重建过程实时的发送到AR眼镜中，交互的进行局部模型的重建，便于模型重建，也有利于用户实时的观察建模效果。
步骤S400、当通过所述红外图像组检测到局部模型重建过程中存在激光点时，通过RGB-I相机定位激光点，并进行三角化辅助局部模型的重建。
在本实施例中，当用户通过该方法在对白墙等场景进行模型变化区域的检测和模型重建时，可能会产生不正确的视差值，导致重建的局部模型精度较低或出现错误的建模。则当所述***通过RGB-I相机拍摄到的红外图像检测到在局部模型重建过程中存在用户通过激光笔照射的激光点时，通过双目的RGB-I相机对含有激光点的红外图像进行三角测量，得到所述激光点在模型坐标中的参数，并将该参数更新到所述局部模型的对应位置，通过激光点辅助建模的方式提高模型精度。进一步的，该激光点还可以是由搭载双目相机的无人机发出的，有利于对难以到达的场景进行更精细的局部模型重建。可见在本步骤中，通过激光点交互的更新局部模型，可实现便利的局部模型重建，以及实现更好的模型精度、质量。
步骤S500、当检测到局部模型重建完成，将重建后的局部模型与三维模型进行融合，得到局部更新后的模型。
在本实施例中，检测到发生变化的局部模型区域均已重建完成，则将重建后的局部模型与历史三维模型进行融合，得到局部更新后的模型。实现高效、低成本，且更加灵活的局部模型重建。
由上可见，本发明实施例提供的基于视觉感知的三维模型动态更新方法通过设置在AR眼镜两侧的RGB-I相机拍摄场景帧图像，并将所述场景帧图像分为彩色图像组以及红外图像组；基于所述彩色图像组，提取两张及以上数量的彩色图像，将其中一张图像作为基准图像，通过将其他图像投影在三维模型上的投影点反投影到所述基准图像上，得到各图像与基准图像的像素差图像；基于所述像素差图像，当判断三维模型发生变化时获取三维模型的变化区域，对所述变化区域的局部模型进行重建，并将三维模型和所述局部模型的重建过程在AR眼镜中进行显示；当通过所述红外图像组检测到局部模型重建过程中存在激光点时，通过RGB-I相机定位激光点，并进行三角化辅助局部模型的重建；当检测到局部模型重建完成，将重建后的局部模型与三维模型进行融合，得到局部更新后的模型。相较于现有技术中通过对场景三维重建而实现局部三维模型更新的方案，本发明通过搭载双目RGB-I摄像头的AR眼镜，自动获取摄像头对准的三维场景中的图像，***根据上述图像自动计算出三维模型是否发生变化，并在AR眼镜中实时呈现发生变化的区域。在发生变化区域的部分模型重建时，还可通过检测拍摄画面中是否存在激光点，根据激光点进一步提高重建模型的精度。解决局部三维模型更新难、效率低和成本高的问题，实现低成本、高效的局部三维模型重建，从而提升现有三维模型的使用周期和质量。
在进一步的实施例中，首先提供一种基于视觉感知的三维模型动态更新装置，上述装置包括：
数据采集模块，由两个RGB-I相机组成，用于实时拍摄采集图像数据并传输到数据处理单元；
数据处理单元，用于在后台将获取的图像数据进行计算和处理，并将三维模型变化区域检测和局部模型的更新过程实时传输到显示模块；
显示模块，用于实时显示三维模型数据和局部模型更新进程，以及显示激光点的绘制区域；
通讯模块，用于将数据采集模块、数据处理单元以及显示模块间的数据进行传递；
交互模块，由发射光线的光谱在680-730nm的激光器构成，用于辅助局部模型的重建。
举例说明，请参照图2。本实施例中的装置分为AR眼镜10以及激光笔20两部分。其中，所述AR眼镜10的两侧以22厘米的基线分别设置一个RGB-I相机101，即所述数据采集模块；所述AR眼镜10的镜片102用于实时显示三维模型数据和局部模型更新进程，以及显示激光点的绘制区域，即所述显示模块；所述AR眼镜10的眼镜框中含有一处理器103，具体包含所述数据处理单元1031以及通讯模块1032。所述激光笔20即为所述交互模块，内含有可发射680-730nm光线的激光器，用户辅助局部模型的重建。
进一步的，该装置中还可包括按键传感器，用于控制启动与关闭基于视觉感知的三维模型动态更新功能；存储模块，用于辅助存储所述RGB-I相机拍摄到的图像以及运算数据；以及用于为该装置供电的电源模块。
在进一步的实施例中，所述场景以用户房间的电脑桌为例进行说明，设置原有的电脑桌模型中仅有一张空的桌子，而用户进行模型重建的场景中的电脑桌上含有电脑屏幕等物品。当所述电脑桌的场景为其他场景时，可参照本实施例中的具体方案。
在一种应用场景中，基于视觉感知的三维模型动态更新***通过设置在AR眼镜两侧的RGB-I相机拍摄场景帧图像，并将所述场景帧图像分为彩色图像组以及红外图像组。
具体的，如图3所示，上述步骤S100包括：
步骤S101、根据AR眼镜围绕场景的移动和姿态变化，通过所述设置在AR眼镜两侧的RGB-I相机拍摄捕捉关于场景的场景帧图像；
步骤S102、控制将获取的所述场景帧图像分为彩色图像组以及红外图像组。
其中，在所述通过设置在AR眼镜两侧的RGB-I相机拍摄场景帧图像，并将所述场景帧图像分为彩色图像组以及红外图像组的步骤之前包括：
预先对相机内参以及相机外参进行标定；
所述相机内参包括RGB-I相机镜头的焦点、主点、径向以及切向畸变；
所述相机外参包括通过旋转矩阵以及平移矩阵表示的两个RGB-I相机之间的几何关系。
其中，在所述通过设置在AR眼镜两侧的RGB-I相机拍摄场景帧图像，并将所述场景帧图像分为彩色图像组以及红外图像组的步骤之后包括：
基于所述彩色图像组，通过结合视觉定位以及GPS定位数据的方式，跟踪获取RGB-I相机的相机位置姿态，其中，所述相机位置姿态为相机在三维模型坐标中的位置以及朝向数据。
举例说明，在用户使用所述相机对电脑桌图像进行拍摄前，需预先对AR眼镜上搭载的双目RGB-I相机的内参和外参进行标定，用于后续确定相机在模型坐标中位置和姿态。其中，所述相机内参包括各RGB-I相机镜头的焦点、主点、径向以及切向畸变，所述相机外参包括，使用旋转矩阵和平移矩阵表示的两个RGB-I相机之间的几何关系。
标定完成相机的内参以及外参后，例如用户从电脑桌的左边绕逆时针走到电脑桌的右边，且在行走过程中控制AR眼镜的视角均指向电脑桌方向，则所述***控制所述RGB-I相机拍摄捕捉一组从多个视角观察电脑桌的场景帧图像，同时将所述场景帧图像分为彩色图像组以及红外图像组。
进一步的，利用彩色图像估计相机位置姿态，所述相机位置姿态为相机拍摄某张图像时的位置以及朝向的数据。首先，对输入图像对进行预处理，利用高斯滤波器对图像进行空间平滑，并构建三层图像金字塔。然后，利用FAST检测器提取一组稀疏局部特征点，例如电脑桌边缘，通过特征匹配估计处理三维运动的图像平面的初始旋转。
进一步的，为提高运算效率，将视觉特征匹配阶段限制在一个局部搜索窗口内，例如该窗口内仅包含有电脑显示屏边框的其中一个角，进而用RANSAC算法估计相机位置姿态的变换。其中，当摄像机视角没有显著变化，例如位置静止不动且视角变动小于1°时，为避免相机位置姿态发生抖动或漂移，控制不对每张图像进行计算，而仅取视角变化较大的关键帧图像输入到RANSAC算法中估计相机位置姿态的变换。进而得到所述RGB-I相机在拍摄该组图像时的相对姿态，或称为视觉定位结果。
进一步的，获得视觉定位结果后，通过融合GPS定位数据以保证定位精度，同时将视觉定位结果与模型坐标进行关联。采用视觉/GPS紧耦合的组合导航方式获得融合定位结果，再通过反向平滑算法减少定位误差。
具体为将GPS测距数据作为Kalman滤波器的量测数据，视觉定位数据作为Kalman滤波器的状态预测数据，通过GPS数据控制对象的绝对精度，视觉定位数据控制对象的相对精度，导入滤波器中实现GPS/视觉传感器的组合导航。
进一步的，在获得一组GPS数据并通过Kalman滤波器完成融合定位后，使用RTS反向平滑算法提升定位精度和鲁棒性。
Figure BDA0003447935210000141
其中，k＝N-1,N-2,…,0，N为观测信息的总数，Ak为平滑增益矩阵，
Figure BDA0003447935210000142
为滤波后的定位结果。
可见，本步骤通过融合GPS定位数据将上述相对姿态转换为模型坐标中确定的相机位置姿态，实现由拍摄的彩色图像和GPS定位数据确定与彩色图像一一对应的相机位置姿态。
在一种应用场景中，所述***基于所述彩色图像组，提取两张及以上数量的彩色图像，将其中一张图像作为基准图像，通过将其他图像投影在三维模型上的投影点反投影到所述基准图像上，得到各图像与基准图像的像素差图像。
具体的，如图4所示，上述步骤S200包括：
步骤S201、基于所述彩色图像组，提取两张及以上数量的彩色图像，并将其中一张图像作为基准图像；
步骤S202、通过预先标定的相机内参以及所述相机位置姿态，建立提取的各图像与三维模型的映射关系；
步骤S203、分别计算除基准图像外的其他图像从相机投影中心像素到三维世界的方向射线，并得到所述方向射线与三维模型的焦点，即图像点在三维模型上的投影点；
步骤S204、分别将各图像在三维模型上的投影点反投影到所述基准图像上，得到各图像与基准图像的反投影图像；
步骤S205、分别将各反投影图像与基准图像进行对比计算，得到各反投影图像与基准图像的像素差图像。
举例说明，在本实施例中从所述彩色图像组中获取六张电脑桌上放有电脑显示屏的彩色图像，对电脑桌的三维模型进行变化检测。
首先，根据预先标定的相机内参，以及通过彩色图像和GPS定位数据计算的相机位置姿态，建立彩色图像到三维模型的映射关系：
x＝PX (2)
其中，x为二维图像点，X为三维模型坐标，P为图像到模型的投影矩阵。
P＝K[R|-Rt] (3)
其中，K为相机内参，R，t分别为世界坐标到相机坐标的平移矩阵和旋转矩阵，即所述相机外参。
进一步的，从六张彩色图像中选取五张图像，将剩下的一张图像作为基准图像。计算图像从相机投影中心像素到三维世界的方向射线r：
r＝RTK-1x (4)
根据上述公式，能够求解出方向射线r与三维模型的焦点X*，即图像点在三维模型上的投影位置。则在该步骤中，当含有电脑显示屏的二维图像投影到模型上时，由于模型中仅有桌子而没有电脑显示屏，将会呈现“将显示屏图片贴在模型桌子上”的情况。
进一步的，将选取的五张图像在三维模型上的投影点反投影到所述基准图像上：
xn→6＝P6X (5)
其中，n＝1...5，P6为图像I6到三维模型的投影矩阵，反投影图像记为In→6。
进一步的，对比并保存每张反投影图像In→6与I6之间的像素差Dt(i，j)，计算I6图像每个像素与In→6图像投影点附近像素的最小值欧几里得范数：
Figure BDA0003447935210000153
其中S(t)为相邻的n张关键帧图像，Ds→t(i，j)定义为：
Figure BDA0003447935210000151
其中i，j，k，l为像素坐标，Ni，j为像素邻域大小，通过获取图像时的位姿不确定度传播到图像点进行计算：
Figure BDA0003447935210000152
进而得到各反投影图像与基准图像的像素差图像。
在一种应用场景中，所述***基于所述像素差图像，当判断三维模型发生变化时获取三维模型的变化区域，对所述变化区域的局部模型进行重建，并将三维模型和所述局部模型的重建过程在AR眼镜中进行显示。
具体的，如图5所示，上述步骤S300包括：
步骤S301、当检测到各像素差图像中存在不等于零和/或不趋近于零的像素值时，判断三维模型发生变化；
步骤S302、通过将各像素差图像中的区域进行关联，确认各像素差图像中变化的区域；
步骤S303、基于各像素差图像中变化的区域，分别计算出各像素差图像中每一变化区域的平均位置，并在所述像素差图像中以协方差的形式分布；
步骤S304、通过各像素差图像中每个变化区域的平均位置，计算得到三维模型中的变化区域；
步骤S305、基于三维模型中的变化区域，对所述变化区域的局部模型进行重建；
步骤S306、同时将所述三维模型和局部模型的重建过程在AR眼镜中进行显示。
举例说明，所述***基于上述计算得到的像素差图像，当计算得到的每个像素差Dt(i,j)等于零或者趋近于零，则表示三维模型没有发生变化。反之，则检测出三维模型发生变化。
进一步的，通过将各像素差图像中的区域进行关联，确认各像素差图像中变化的区域，例如从第一角度拍摄的第一图像中看到电脑显示屏左视图的轮廓为变化区域，从第二角度拍摄的第二图像中看到电脑显示屏右视图的轮廓为变化区域，则通过将所述第一图像与所述第二图像进行关联，将上述两图像中关于电脑显示屏的变化区域认为是同一物品。
具体包括：首先利用腐蚀与膨胀算法对像素差图像进行滤除噪声，然后应用边界跟踪算法提取单个像素差图像中物体轮廓边界，例如电脑显示屏轮廓边界。进一步的，为除去灰尘等原因引起的噪声，删除所有轮廓中像素范围小于阈值的区域，该阈值可为人工输入和调整的值。进而计算和比较图像中各区域的色调饱和度直方图，使用极线进行几何一致性检查将不同像素差图像中的区域进行关联，例如将所述第一图像与所述第二图像中的两个轮廓关联为同一物品，即电脑显示屏。
进一步的，对于一张图像，首先计算出其中一个确定为变化的区域的平均位置
Figure BDA0003447935210000171
并在图像中以协方差∑t的形式分布。然后，根据图像中的每个变化区域的平均位置
Figure BDA0003447935210000172
进行三角定位一个三维点，得到模型坐标中的
Figure BDA0003447935210000173
Figure BDA0003447935210000174
其中，A为3n×4的矩阵：
Figure BDA0003447935210000175
其中，Pt为图像It到模型的投影矩阵，
Figure BDA0003447935210000176
为
Figure BDA0003447935210000177
的斜对称矩阵。
Figure BDA0003447935210000178
Figure BDA0003447935210000179
进一步的，对于一张图像中的每一个变化区域，计算对应于
Figure BDA00034479352100001710
和∑t的k个sigma点
Figure BDA00034479352100001711
并将sigma点投射到模型空间中，以通过一张图像估计三维模型的所有变化区域。例如通过图像不仅检测到电脑桌上有电脑显示屏，还有一瓶水、还有烟灰缸，则通过本步骤可得到多个变化区域。
进一步的，通过将上述步骤进行重复，依次对每张图像中每个对应的变化区域的均值
Figure BDA00034479352100001712
和协方差矩阵∑t的sigma点投射到模型空间中，以估计得到精度更高的三维模型的变化区域。
则在上述步骤中，所述***将估计得到外形为电脑显示屏的变化区域。
进一步的，基于上述三维模型的变化区域，使用户环绕需重建的局部模型，获得一组立体图像对，通过下述公式计算深度：
zi＝bf/di (13)
其中，zi为对应的第i个像素视差值di的深度，b为立体相机基线，f为相机焦距。基于上述计算得到的深度，利用体素哈希表面重建法对电脑显示屏进行三维重建。
同时，所述***实时将上述检测到的电脑显示屏外形的模型变化区域以及电脑显示屏模型的重建过程实时显示在AR眼镜中供用户查看，有利于用户实时查看重建效果和模型质量，便于用户使用，提高局部模型重建效率。
在一种应用场景中，当所述***通过所述红外图像组检测到局部模型重建过程中存在激光点时，通过RGB-I相机定位激光点，并进行三角化辅助局部模型的重建。
具体的，如图6所示，上述步骤S400包括：
步骤S401、通过所述红外图像组检测到所述局部模型重建过程中存在激光点；
步骤S402、通过两个RGB-I相机跟踪所述激光点，并对分别拍摄到的红外图像中的二维激光点进行三角测量，得到激光点的相机坐标；
步骤S403、将所述激光点的相机坐标投射到三维模型的坐标中，辅助局部模型的重建。
举例说明，当用户通过AR眼镜发现在三维模型变化区域检测或局部模型重建过程中出现错误，例如检测到白墙时因无法确定视差值导致墙体出现镂空等情况，则此时用户通过激光笔照射墙面，同时使AR眼镜视角跟踪所述激光笔。则此时所述RGB-I相机通过所述红外图像检测到红外激光点，所述***控制通过双目RGB-I相机拍摄到的两张含有激光点的红外图像，通过对图像中的激光点进行三角测量，将该激光点投射到模型坐标中，实现对重建的局部模型进行精度更高的建模。
进一步的，为保证能有效利用激光点进行高精度的建模，增添下述步骤。首先，通过将激光笔指向图像中心的预定矩形初始化***，所述***指的是双目RGB-I相机。利用所述相机估计激光笔指向位置，基于Kalman滤波预测t+1帧中局部窗口的相机姿态。并将局部窗口移动到预测的位置，进行含有激光点的红外图像的阈值处理。所述阈值处理具体包括：若一个窗口像素的平均强度远超于阈值范围，或超阈值像素不连接，或超阈值的像素数量远高于预期激光点大小，***自动切换到“重新检测检测”，即当通过连续的红外图像检测到在跟踪激光点的过程中激光点发生异常，则认为该异常激光点的红外图像为不准确的数据，若继续进行检测会导致建模误差增大，需重新对该位置进行检测。通过此步骤保证激光点一直处于相机跟踪范围且每组用于重建模型的红外图像均有效。
进一步的，用测量到的相机姿态校正卡尔曼滤波器的预测值。如果激光***处于“重新检测模式”，则在接近最后已知位置的小区域重新初始化，即在判断激光点开始异常的位置重新开始跟踪，避免当出现激光点跟踪异常时需不断从头开始跟踪，提高模型重建效率。
由上可见，通过使用户使用AR眼镜实时检测三维模型变化区域检测和局部模型更新，并使用激光笔对局部模型进行高精度建模的方法，该种交互的对局部模型进行更新的方法既可便于用户使用，又能得到较好的模型质量。
在一种应用场景中，当所述***检测到局部模型重建完成，将重建后的局部模型与三维模型进行融合，得到局部更新后的模型。
举例说明，当通过用户环绕电脑桌或通过激光笔使发生变化的局部模型，即电脑重新建模完成后，将含有电脑显示屏的局部模型与原有的电脑桌模型进行融合，得到更新后的电脑桌的三维模型。
示例性设备
基于上述实施例，本发明提供了一种智能终端，其原理框图可以如图7所示。上述智能终端包括通过***总线连接的处理器、存储器、网络接口以及显示屏。其中，该智能终端的处理器用于提供计算和控制能力。该智能终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该智能终端的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时实现上述任意一种基于视觉感知的三维模型动态更新方法的步骤。该智能终端的显示屏可以是液晶显示屏或者电子墨水显示屏。
本领域技术人员可以理解，图7中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的智能终端的限定，具体的智能终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种智能终端，包括有存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的程序，上述程序被上述处理器执行时进行以下操作指令：
通过设置在AR眼镜两侧的RGB-I相机拍摄场景帧图像，并将所述场景帧图像分为彩色图像组以及红外图像组；
基于所述彩色图像组，提取两张及以上数量的彩色图像，将其中一张图像作为基准图像，通过将其他图像投影在三维模型上的投影点反投影到所述基准图像上，得到各图像与基准图像的像素差图像；
基于所述像素差图像，当判断三维模型发生变化时获取三维模型的变化区域，对所述变化区域的局部模型进行重建，并将三维模型和所述局部模型的重建过程在AR眼镜中进行显示；
当通过所述红外图像组检测到局部模型重建过程中存在激光点时，通过RGB-I相机定位激光点，并进行三角化辅助局部模型的重建；
当检测到局部模型重建完成，将重建后的局部模型与三维模型进行融合，得到局部更新后的模型。
应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。对于各个公式中表现形式相同的量，如无特殊说明则表示相同的量，各个公式之间可以相互参照。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟是以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以由另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。
上述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述计算机程序可存储于以计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不是相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于视觉感知的三维模型动态更新方法，其特征在于，所述方法包括：
通过设置在AR眼镜两侧的RGB-I相机拍摄场景帧图像，并将所述场景帧图像分为彩色图像组以及红外图像组；
基于所述彩色图像组，提取两张及以上数量的彩色图像，将其中一张图像作为基准图像，通过将其他图像投影在三维模型上的投影点反投影到所述基准图像上，得到各图像与基准图像的像素差图像；
基于所述像素差图像，当判断三维模型发生变化时获取三维模型的变化区域，对所述变化区域的局部模型进行重建，并将三维模型和所述局部模型的重建过程在AR眼镜中进行显示；
当通过所述红外图像组检测到局部模型重建过程中存在激光点时，通过RGB-I相机定位激光点，并进行三角化辅助局部模型的重建；
当检测到局部模型重建完成，将重建后的局部模型与三维模型进行融合，得到局部更新后的模型。
2.根据权利要求1所述的一种基于视觉感知的三维模型动态更新方法，其特征在于，所述通过设置在AR眼镜两侧的RGB-I相机拍摄场景帧图像，并将所述场景帧图像分为彩色图像组以及红外图像组的步骤之前包括：
预先对相机内参以及相机外参进行标定；
所述相机内参包括RGB-I相机镜头的焦点、主点、径向以及切向畸变；
所述相机外参包括通过旋转矩阵以及平移矩阵表示的两个RGB-I相机之间的几何关系。
3.根据权利要求1所述的一种基于视觉感知的三维模型动态更新方法，其特征在于，所述通过设置在AR眼镜两侧的RGB-I相机拍摄场景帧图像，并将所述场景帧图像分为彩色图像组以及红外图像组的步骤包括：
根据AR眼镜围绕场景的移动和姿态变化，通过所述设置在AR眼镜两侧的RGB-I相机拍摄捕捉关于场景的场景帧图像；
控制将获取的所述场景帧图像分为彩色图像组以及红外图像组。
4.根据权利要求1所述的一种基于视觉感知的三维模型动态更新方法，其特征在于，所述通过设置在AR眼镜两侧的RGB-I相机拍摄场景帧图像，并将所述场景帧图像分为彩色图像组以及红外图像组的步骤之后包括：
基于所述彩色图像组，通过结合视觉定位以及GPS定位数据的方式，跟踪获取RGB-I相机的相机位置姿态，其中，所述相机位置姿态为相机在三维模型坐标中的位置以及朝向数据。
5.根据权利要求4所述的一种基于视觉感知的三维模型动态更新方法，其特征在于，所述基于所述彩色图像组，提取两张及以上数量的彩色图像，将其中一张图像作为基准图像，通过将其他图像投影在三维模型上的投影点反投影到所述基准图像上，得到各图像与基准图像的像素差图像的步骤包括：
基于所述彩色图像组，提取两张及以上数量的彩色图像，并将其中一张图像作为基准图像；
通过预先标定的相机内参以及所述相机位置姿态，建立提取的各图像与三维模型的映射关系；
分别计算除基准图像外的其他图像从相机投影中心像素到三维世界的方向射线，并得到所述方向射线与三维模型的焦点，即图像点在三维模型上的投影点；
分别将各图像在三维模型上的投影点反投影到所述基准图像上，得到各图像与基准图像的反投影图像；
分别将各反投影图像与基准图像进行对比计算，得到各反投影图像与基准图像的像素差图像。
6.根据权利要求1所述的一种基于视觉感知的三维模型动态更新方法，其特征在于，所述基于所述像素差图像，当判断三维模型发生变化时获取三维模型的变化区域，对所述变化区域的局部模型进行重建，并将三维模型和所述局部模型的重建过程在AR眼镜中进行显示的步骤包括：
当检测到各像素差图像中存在不等于零和/或不趋近于零的像素值时，判断三维模型发生变化；
通过将各像素差图像中的区域进行关联，确认各像素差图像中变化的区域；
基于各像素差图像中变化的区域，分别计算出各像素差图像中每一变化区域的平均位置，并在所述像素差图像中以协方差的形式分布；
通过各像素差图像中每个变化区域的平均位置，计算得到三维模型中的变化区域；
基于三维模型中的变化区域，对所述变化区域的局部模型进行重建；
同时将所述三维模型和局部模型的重建过程在AR眼镜中进行显示。
7.根据权利要求1所述的一种基于视觉感知的三维模型动态更新方法，其特征在于，所述当通过所述红外图像组检测到局部模型重建过程中存在激光点时，通过RGB-I相机定位激光点，并进行三角化辅助局部模型的重建的步骤包括：
通过所述红外图像组检测到所述局部模型重建过程中存在激光点；
通过两个RGB-I相机跟踪所述激光点，并对分别拍摄到的红外图像中的二维激光点进行三角测量，得到激光点的相机坐标；
将所述激光点的相机坐标投射到三维模型的坐标中，辅助局部模型的重建。
8.一种基于视觉感知的三维模型动态更新装置，其特征在于，所述装置包括：
数据采集模块，由两个RGB-I相机组成，用于实时拍摄采集图像数据并传输到数据处理单元；
数据处理单元，用于在后台将获取的图像数据进行计算和处理，并将三维模型变化区域检测和局部模型的更新过程实时传输到显示模块；
显示模块，用于实时显示三维模型数据和局部模型更新进程，以及显示激光点的绘制区域；
通讯模块，用于将数据采集模块、数据处理单元以及显示模块间的数据进行传递；
交互模块，由发射光线的光谱在680-730nm的激光器构成，用于辅助局部模型的重建。
9.一种智能终端，其特征在于，所述智能终端包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基于视觉感知的三维模型动态更新程序，所述基于视觉感知的三维模型动态更新程序被所述处理器执行时实现如权利要求1-7任意一项所述基于视觉感知的三维模型动态更新方法的步骤。
10.一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行实现如权利要求1-7任意一项所述基于视觉感知的三维模型动态更新方法的步骤。
CN202111664034.7A 2021-12-30 2021-12-30 一种基于视觉感知的三维模型动态更新方法 Pending CN114494582A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111664034.7A CN114494582A (zh) 2021-12-30 2021-12-30 一种基于视觉感知的三维模型动态更新方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111664034.7A CN114494582A (zh) 2021-12-30 2021-12-30 一种基于视觉感知的三维模型动态更新方法

Publications (1)

Publication Number Publication Date
CN114494582A true CN114494582A (zh) 2022-05-13

Family

ID=81507334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111664034.7A Pending CN114494582A (zh) 2021-12-30 2021-12-30 一种基于视觉感知的三维模型动态更新方法

Country Status (1)

Country Link
CN (1) CN114494582A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116797744A (zh) * 2023-08-29 2023-09-22 武汉大势智慧科技有限公司 多时相实景三维模型的构建方法、***及终端设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116797744A (zh) * 2023-08-29 2023-09-22 武汉大势智慧科技有限公司 多时相实景三维模型的构建方法、***及终端设备
CN116797744B (zh) * 2023-08-29 2023-11-07 武汉大势智慧科技有限公司 多时相实景三维模型的构建方法、***及终端设备

Similar Documents

Publication Publication Date Title
CN109003325B (zh) 一种三维重建的方法、介质、装置和计算设备
CN107223269B (zh) 三维场景定位方法和装置
CN109118569B (zh) 基于三维模型的渲染方法和装置
CN110383343B (zh) 不一致检测***、混合现实***、程序和不一致检测方法
US11210804B2 (en) Methods, devices and computer program products for global bundle adjustment of 3D images
CN109660783B (zh) 虚拟现实视差校正
CN106940704B (zh) 一种基于栅格地图的定位方法及装置
EP1303839B1 (en) System and method for median fusion of depth maps
CA3134440A1 (en) System and method for virtual modeling of indoor scenes from imagery
Sedlazeck et al. 3d reconstruction based on underwater video from rov kiel 6000 considering underwater imaging conditions
CN110568447A (zh) 视觉定位的方法、装置及计算机可读介质
US10950032B2 (en) Object capture coverage evaluation
US11783443B2 (en) Extraction of standardized images from a single view or multi-view capture
CN108805917A (zh) 空间定位的方法、介质、装置和计算设备
SG189284A1 (en) Rapid 3d modeling
US8917317B1 (en) System and method for camera calibration
TW201308252A (zh) 深度測量之品質提升
CN110798677B (zh) 三维场景建模方法及装置、电子装置、可读存储介质及计算机设备
CN112184603B (zh) 一种点云融合方法、装置、电子设备和计算机存储介质
CN106705849A (zh) 线结构光传感器标定方法
CN113610889A (zh) 一种人体三维模型获取方法、装置、智能终端及存储介质
CN115035235A (zh) 三维重建方法及装置
JP2001067463A (ja) 異なる視点からの複数のフェイシャル画像に基づき新たな視点からのフェイシャル画像を生成するフェイシャル画像生成装置及び方法並びにその応用装置及び記録媒体
CN111915723A (zh) 一种用于室内的三维全景构建方法和***
WO2018056802A1 (en) A method for estimating three-dimensional depth value from two-dimensional images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination