CN108053435A - 基于手持移动设备的动态实时三维重建方法和*** - Google Patents

基于手持移动设备的动态实时三维重建方法和*** Download PDF

Info

Publication number
CN108053435A
CN108053435A CN201711228561.7A CN201711228561A CN108053435A CN 108053435 A CN108053435 A CN 108053435A CN 201711228561 A CN201711228561 A CN 201711228561A CN 108053435 A CN108053435 A CN 108053435A
Authority
CN
China
Prior art keywords
mobile device
handheld mobile
dimensional reconstruction
dynamic
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711228561.7A
Other languages
English (en)
Inventor
刘烨斌
王立祯
黄源浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Orbbec Co Ltd
Original Assignee
Shenzhen Orbbec Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Orbbec Co Ltd filed Critical Shenzhen Orbbec Co Ltd
Priority to CN201711228561.7A priority Critical patent/CN108053435A/zh
Publication of CN108053435A publication Critical patent/CN108053435A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种基于手持移动设备的动态实时三维重建方法和***，其方法包括如下步骤：同步采集场景的彩色图像和深度图像；对彩色图像和深度图像数据进行无损压缩；将压缩后数据同步传输给处理单元；解压得到彩色图像序列和深度图像序列；根据标定好的彩色相机和深度相机之间的转换矩阵；进行动态三维重建；将动态三维重建的模型进行纹理贴图，纹理贴图后的模型传输给手持移动设备并在手持移动设备上显示。本发明对场景中的静态物体和运动物体的动态三维重建过程更加方便，使场景和场景中运动物体可以得到三维重建的结果；通过动态实时三维重建算法，可以得到准确的三维重建模型，包括更好的模型几何细节、反射率和动作信息。

Description

基于手持移动设备的动态实时三维重建方法和***
技术领域
本发明涉及计算机视觉中的三维重建领域，尤其涉及一种基于手持移动设备的动态实时三维重建方法和***。
背景技术
随着计算机视觉领域中的三维重建技术的不断发展，动态场景的三维重建技术成为了计算机领域中的一个研究热点，新的动态场景的三维重建方法不断地涌现，重建出的模型的精度和几何细节等效果也在不断提升。
在算法方面，现在流行的进行动态场景的三维重建方法包括利用多场景的输入、控制周围环境、利用初始化模型或动作先验等去恢复一个场景的几何、表面和运动信息。许多同步重建动态场景的算法在计算机视觉和图形学领域都有重要作用。例如，重建几何和表面信息的模型可以用于虚拟现实技术的自由视点的视频中。尽管动态场景的三维重建技术已经有了很大的发展，但由于过于庞大的解空间，导致动态场景的三维重建对精细的摄像环境、摄像设备和处理设备都有一定的要求。
在单视角的彩色和深度摄像机重建动态场景的技术中，已经出现了效果较好的动态实时重建算法，然而现行算法采用的多是不可交互的三脚架固定深度摄像机，如Kinect深度摄像机等。通过图形用户界面在相机端观察结果的基于手持移动设备的动态实时三维重建还没有切实可行的方法。
发明内容
本发明为了解决现有技术中没有通过图形用户界面在相机端观察结果的基于手持移动设备的动态实时三维重建方法的问题，提供一种基于手持移动设备的动态实时三维重建方法和***。
为了解决上述问题，本发明采用的技术方案如下所述：
提供一种基于手持移动设备的动态实时三维重建的方法，包括如下步骤：S1：利用手持移动设备的彩色相机和可以固定在手持移动设备上的深度相机同步采集场景的彩色图像和深度图像，手持移动设备是手机、平板或摄像机；S2：将获得的彩色图像和深度图像数据作为普通二进制数据进行无损压缩，无损压缩采用的方法是LZ4压缩算法；S3：采用Socket通信将压缩后的彩色图像二进制数据和深度图像二进制数据通过两条通道同步传输给处理单元，处理单元是台式机或云端；S4：对彩色图像二进制数据和深度图像二进制数据解压得到彩色图像序列和深度图像序列；S5：根据标定好的彩色相机和深度相机之间的转换矩阵，将解压得到的深度图像序列转换成彩色相机的三维坐标系下的深度图像序列；S6：根据转换后的深度图像序列和解压得到的彩色图像序列进行基于单视角彩色深度相机的几何、反射率和动作的动态三维重建；包括如下步骤：S61：关节运动和光照优化：从当前拍摄帧和上一帧所得到的静态模型中估计非刚性表面运动和低频环境光照；S62：静态模型更新：根据当前拍摄帧的彩色图像和深度图像解出新的运动，再根据低频环境光照解出反射率，从而进行静态模型的更新。S7：将动态三维重建的模型进行纹理贴图，传输采用Socket通信将纹理贴图后的模型传输给手持移动设备并在手持移动设备上显示，模型通过应用软件在手持移动设备上显示，通过应用软件对模型进行调整。
提供一种基于手持移动设备的动态实时三维重建的***，包括：带有彩色相机的手持移动设备，用于获取场景的彩色图像，并显示、调整三维重建模型；固定在深度相机，用于同步获取场景的深度图像；与手持移动设备和深度相机可以进行数据传输的处理单元，用于处理彩色图像和深度图像。在变通实施例中，还包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-8任一所述方法的步骤。
本发明的有益效果为：提供一种基于手持移动设备的动态实时三维重建的方法和***，通过手持移动设备和深度相机结合同步获取彩色图像和深度图像，可以使场景中的静态物体和运动物体的动态三维重建过程变得更加方便，使场景和场景中运动物体得到动态三维重建的结果；通过动态实时三维重建算法，可以得到准确的三维重建模型，包括更好的模型几何细节、反射率和动作信息。
附图说明
图1是本发明实施例中基于手持移动设备的动态实时三维重建的方法示意图。
图2是本发明实施例中动态实时三维重建的方法示意图。
具体实施方式
下面结合附图通过具体实施例对本发明进行详细的介绍，以使更好的理解本发明，但下述实施例并不限制本发明范围。另外，需要说明的是，下述实施例中所提供的图示仅以示意方式说明本发明的基本构思，附图中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的形状、数量及比例可为一种随意的改变，且其组件布局形态也可能更为复杂。
实施例1
三维重建
三维重建是指对三维物体建立适合计算机表示和处理的数学模型,是在计算机环境下对其进行处理、操作和分析其性质的基础,也是在计算机中建立表达客观世界的虚拟现实的关键技术。在计算机视觉中,三维重建是指根据单视图或者多视图的图像重建三维信息的过程.由于单视频的信息不完全,因此三维重建需要利用经验知识.而多视图的三维重建(类似人的双目定位)相对比较容易,其方法是先对摄像机进行标定,即计算出摄像机的图象坐标系与世界坐标系的关系.然后利用多个二维图象中的信息重建出三维信息。
三维重建的一般步骤
(1)图像获取：在进行图像处理之前，先要用摄像机获取三维物体的二维图像。光照条件、相机的几何特性等对后续的图像处理造成很大的影响。
(2)摄像机标定：通过摄像机标定来建立有效的成像模型，求解出摄像机的内外参数，这样就可以结合图像的匹配结果得到空间中的三维点坐标，从而达到进行三维重建的目的。
(3)特征提取：特征主要包括特征点、特征线和区域。大多数情况下都是以特征点为匹配基元，特征点以何种形式提取与用何种匹配策略紧密联系。因此在进行特征点的提取时需要先确定用哪种匹配方法。
特征点提取算法可以总结为：基于方向导数的方法，基于图像亮度对比关系的方法，基于数学形态学的方法三种。
(4)立体匹配：立体匹配是指根据所提取的特征来建立图像对之间的一种对应关系，也就是将同一物理空间点在两幅不同图像中的成像点进行一一对应起来。在进行匹配时要注意场景中一些因素的干扰，比如光照条件、噪声干扰、景物几何形状畸变、表面物理特性以及摄像机机特性等诸多变化因素。
(5)三维重建：有了比较精确的匹配结果，结合摄像机标定的内外参数，就可以恢复出三维场景信息。由于三维重建精度受匹配精度，摄像机的内外参数误差等因素的影响，因此首先需要做好前面几个步骤的工作，使得各个环节的精度高，误差小，这样才能设计出一个比较精确的立体视觉***。
三维重建的方法
传统的立体成像***使用两个放在一起的摄影机，平行注视待重建的物体。类似人类借由双眼感知的图像相叠推算深度(当然实际上人脑对深度信息的感知历程复杂许多)，若已知两个摄影机的彼此间距与焦距长度，而截取的左右两张图片又能成功叠合，则深度信息可迅速推得。该方法必须依赖有效的图片像素匹配分析，一般使用区块比对或对极几何算法达成。
使用两个摄影机的立体视觉法又称做双眼视觉法，另有三眼视觉与其他使用更多摄影机的延伸方法。
使用图像像素的亮度值代入预先设计的色度模型中求解，方程式的解即深度信息。由于方程组中的未知数多过限制条件，因此须借由更多假设条件缩小解集之范围。例如加入表面可微分性质(differentiability)、曲率限制(curvatureconstraint)、光滑程度(smoothness)以及更多限制来求得精确的解。此法之后派生出立体光学法。
为了弥补光度成形法中单张照片提供之信息不足，立体光学法采用一个相机拍摄多张照片，这些照片的拍摄角度是相同的，其中的差别是光线的照明条件。最简单的立体光学法使用三盏光源，从三个不同的方向照射待测物，每次仅打开一盏光源。拍摄完成后再综合三张照片并使用光学中的完美漫射(perfectdiffusion)模型解出物体表面的梯度矢量(gradients)，经过矢量场的积分后即可得到三维模型。此法并不适用于光滑而不近似于朗伯表面(Lambertiansurface)的物体。
此类方法是使用一系列物体的轮廓线条构成三维形体。当物体的部分表面无法在轮廓联机展现时，重建后将丢失三维信息。常见的方式是将待测物放置于电动转盘上，每次旋转一小角度后拍摄其图像，再经由图像处理技巧去除背景并取出轮廓线条，搜集各角度之轮廓线后即可“刻划”成三维模型。
另外有些方法在重建过程中需要用户提供信息，借助人类视觉***之独特性能，辅助完成重建程序。
这些方式都是基于照片摄影原理，针对同个物体拍摄图像以推算三维信息。另一种类似的方式是全景重建，是在定点上拍摄四周图像使之得以重建场景环境。
普通的视频相机可以提供丰富的颜色和纹理信息，这对于三维重建非常有用，但是其捕获到的数据极易受到光照变化的影响，同时在某些复杂场景中，背景和前景的纹理可能高度类似。与传统的二维灰度或彩色图像相比，深度图像可以提供拍摄对象到相机的距离信息。利用每个像素位置的深度值以及相机内部参数信息，可以方便地对拍摄对象进行形状与尺寸度量，同时，因为深度数据收表面纹理的影响较少，所以目标分割、背景剪切等问题变得更加容易。
目前深度相机主要有三种形式：基于双目视觉的深度相机、基于结构光的深度相机以及基于TOF(时间飞行法)的深度相机。以下进行简要说明，无论哪种形式都可以被用在实施例中。
基于双目视觉的深度相机是利用双目视觉技术，利用处在不同视角的两个相机对同一空间进行拍照，两个相机拍摄出的图像中相同物体所在像素的差异与该物体所在的深度直接相关，因而通过图像处理技术通过计算像素偏差来获取深度信息。
基于结构光的深度相机通过向目标空间投射编码结构光图案，再通过相机采集目标空间含有结构光图案的图像，然后将该图像进行处理比如与参考结构光图像进行匹配计算等可以直接得到深度信息。
基于TOF的深度相机通过向目标空间发射激光脉冲，激光脉冲经目标反射后被接收单元接收后并记录下激光脉冲的来回时间，通过该时间计算出目标的深度信息。这三种方法中第一种一般采集彩色相机，因而受光照影响大，同时获取深度信息的计算量较大。后两种一般利用红外光，不受光照影响，同时计算量相对较小。目前双摄相机、利用VCSEL芯片做为光源的结构光、TOF相机都可以被嵌入到手机、电脑等设备中。
微软公司发布了Kinect成像设备，该设备由深度传感器(基于结构光原理)和RGB视频相机两部分组成。该设备的采集速度可以达到30帧/秒，分辨率为640*480，深度数据的有效范围约为0.5-10米，其中0.8-3.5米之间的深度数据准确率较高。其他的RGBD相机，比如的Kinect Xbox 360、Kinect One、Xtion和Orbbec也随之出现。
为了解决现有技术中没有通过图形用户界面在相机端观察结果的基于手持深度摄像机的动态实时三维重建方法的问题，提供一种基于手持深度摄像机的动态实时三维重建方法和***。
如图1所示，提供一种基于手持移动设备的动态实时三维重建的方法，包括如下步骤：
(1)利用手持移动设备的彩色相机和可以固定在手持移动设备上的深度相机同步采集场景的彩色图像和深度图像，手持移动设备是手机、平板或摄像机，也可以包括现有技术中其他的手持设备，只要能够安装上深度相机即可；
(2)将获得的彩色图像和深度图像数据作为普通二进制数据进行无损压缩，无损压缩采用的方法是LZ4压缩算法，也可以采用ZLIB、SNAPPY等压缩算法；
(3)采用Socket通信将压缩后的彩色图像二进制数据和深度图像二进制数据通过两条通道同步传输给处理单元，处理单元是台式机或云端，因为台式机或云端的处理器处理能力较强，可以处理较大的数据量，如果把同样处理能力的处理器安装在移动设备则会使移动设备重量、体积增大，不方便使用；传输给处理单元时可以采用高传输速率路由器也可以使用wifi等方式，只要满足快速传输数据即可；
(4)处理单元对彩色图像二进制数据和深度图像二进制数据解压得到彩色图像序列和深度图像序列；
(5)根据标定好的彩色相机和深度相机之间的转换矩阵，将解压得到的深度图像序列转换成彩色相机的三维坐标系下的深度图像序列；彩色相机和深度相机的标定采用现有技术中的标定方法，比如采用张正友标定法。
(6)根据转换后的深度图像序列和解压得到的彩色图像序列进行基于单视角彩色深度相机的几何、反射率和动作的动态三维重建；
如图2所示，动态三维重建包括如下步骤：
关节运动和光照优化：从当前拍摄帧和上一帧所得到的静态模型中估计非刚性表面运动和低频环境光照；
静态模型更新：根据当前拍摄帧的彩色图像和深度图像解出新的运动，再根据低频环境光照解出反射率，从而进行静态模型的更新。
(7)将动态三维重建的模型进行纹理贴图，传输采用Socket通信将纹理贴图后的模型传输给手持移动设备并在手持移动设备上显示，模型通过应用软件在手持移动设备上显示，通过应用软件对模型进行调整。
在本实施例的变通实施例中，手持相机进行动态实时三维重建时的方法具体包括以下步骤：
(1)利用iPad Pro的彩色相机和可以固定在iPad Pro上且可以给iPad Pro传输数据的深度相机结构传感器以30帧/秒的帧率，同步采集场景的彩色图像和深度图像；
(2)利用LZ4压缩算法，将获得的彩色图像和深度图像数据作为普通二进制数据进行无损压缩；
(3)利用Socket通信将压缩后的二进制数据，通过具有高传输速率的路由器从iPad Pro传输给台式机，建立两个线程分别传递压缩后的彩色图像和深度图像以保证台式机得到深度图像和彩色图像传输的同步性；
(4)将iPad Pro传回的数据在台式机上进行解压，得到30帧/秒的彩色图像序列和深度图像序列；
(5)将解压后得到的深度图像序列，根据标定好的彩色相机与深度相机间的转换矩阵，转换为彩色相机三维坐标系下的深度图像序列；
(6)将转换后的深度图像序列和彩色图像序列作为基于单个RGBD相机的动态实时三维重建算法的输入，进行动态实时的三维重建；
(7)将重建后的模型和进行纹理贴图后的模型图片利用Socket通信传回iPad Pro显示在iPad Pro的应用界面上。
(8)重复进行步骤(1)至步骤(7)达到动态实时三维重建效果。
用户使用时的具体实施方式包括以下步骤：
(1)将路由器连接在台式机上，并保证作为服务器端的台式机具有与程序相对应的IP地址。将iPad Pro作为客户端连接至台式机与路由器的小型局域网中。
(2)通过数据线将iPad Pro与Mac便携式计算机相连，将设置好的IOS程序下载并安装在iPad Pro上。下载完成后，将Structure Sensor固定在iPad Pro上，并用数据线将二者相连。
(3)先开启台式机端处理程序，程序会等待来自iPad Pro的数据。然后开启iPadPro端的应用程序，将相机对准目标场景，距离一至三米为宜。
(4)手持相机尽量保持静止，等待约5秒后第一帧模型处理完毕后，处理结果会出现在iPad Pro应用程序界面上。然后可以开始围绕目标场景转动从而重建目标动态场景。重建的结果会实时地被展示在iPad Pro应用程序界面上。
iPad Pro端程序和台式机端程序会通过设备重复进行如下步骤：利用iPad Pro的彩色相机和深度相机结构传感器同步采集场景的彩色图像和深度图像；将获得的彩色图像和深度图像进行无损压缩；将压缩后的数据传输给台式机；将传回的数据在台式机上进行解压，得到彩色图像序列和深度图像序列；将解压后得到的深度图像序列转换为彩色相机三维坐标系下的深度图像序列；对转换后的深度图像序列和彩色图像序列进行动态实时的三维重建；将重建后的模型和进行纹理贴图后的模型图片传回并显示在iPad Pro的应用界面上。重复步骤图1中的步骤。至此便实现了基于手持深度摄像机的动态实时三维重建。
本发明还提供一种基于手持移动设备的动态实时三维重建的***，包括：带有彩色相机的手持移动设备，用于获取场景的彩色图像，并显示、调整三维重建模型；固定在深度相机，用于同步获取场景的深度图像；与手持移动设备和深度相机可以进行数据传输的处理单元，用于处理彩色图像和深度图像。
在本实施例的变通实施例中，还包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明所述方法的步骤。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于手持移动设备的动态实时三维重建的方法，其特征在于，包括如下步骤：
S1：利用手持移动设备的彩色相机和可以固定在手持移动设备上的深度相机同步采集场景的彩色图像和深度图像；
S2：将获得的彩色图像和深度图像作为普通二进制数据进行无损压缩；
S3：将压缩后的彩色图像二进制数据和深度图像二进制数据通过两条通道同步传输给处理单元；
S4：对彩色图像二进制数据和深度图像二进制数据解压得到彩色图像序列和深度图像序列；
S5：根据标定好的彩色相机和深度相机之间的转换矩阵，将解压得到的深度图像序列转换成彩色相机的三维坐标系下的深度图像序列；
S6：根据转换后的深度图像序列和解压得到的彩色图像序列进行动态三维重建；
S7：将动态三维重建的模型进行纹理贴图，纹理贴图后的模型传输给手持移动设备并在手持移动设备上显示。
2.如权利要求1所述的一种基于手持移动设备的动态实时三维重建的方法，其特征在于，步骤S1中所述手持移动设备是手机、平板或摄像机。
3.如权利要求1所述的一种基于手持移动设备的动态实时三维重建的方法，其特征在于，步骤S2中所述无损压缩采用的方法是LZ4压缩算法。
4.如权利要求1所述的一种基于手持移动设备的动态实时三维重建的方法，其特征在于，步骤S3和步骤S7中的传输采用Socket通信。
5.如权利要求1所述的一种基于手持移动设备的动态实时三维重建的方法，其特征在于，步骤S3中所述处理单元是台式机或云端。
6.如权利要求1所述的一种基于手持移动设备的动态实时三维重建的方法，其特征在于，步骤S6中动态三维重建的方法是基于单视角彩色深度相机的几何、反射率和动作的动态实时三维重建。
7.如权利要求6所述的一种基于手持移动设备的动态实时三维重建的方法，其特征在于，动态实时三维重建包括如下步骤：
S61：关节运动和光照优化：从当前拍摄帧和上一帧所得到的静态模型中估计非刚性表面运动和低频环境光照；
S62：静态模型更新：根据当前拍摄帧的彩色图像和深度图像解出新的运动，再根据低频环境光照解出反射率，从而进行静态模型的更新。
8.如权利要求1所述的一种基于手持移动设备的动态实时三维重建的方法，其特征在于，步骤S7中纹理贴图后的模型通过应用软件在手持移动设备上显示，所述应用软件对纹理贴图后的模型进行调整。
9.一种基于手持移动设备的动态实时三维重建的***，其特征在于，包括：
带有彩色相机的手持移动设备，用于获取场景的彩色图像，并显示、调整三维重建模型；
固定在深度相机，用于同步获取场景的深度图像；
与手持移动设备和深度相机进行数据传输的处理单元，用于处理彩色图像和深度图像。
10.如权利要求9所述的手持移动设备的动态实时三维重建的***，其特征在于，还包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-8任一所述方法的步骤。
CN201711228561.7A 2017-11-29 2017-11-29 基于手持移动设备的动态实时三维重建方法和*** Pending CN108053435A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711228561.7A CN108053435A (zh) 2017-11-29 2017-11-29 基于手持移动设备的动态实时三维重建方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711228561.7A CN108053435A (zh) 2017-11-29 2017-11-29 基于手持移动设备的动态实时三维重建方法和***

Publications (1)

Publication Number Publication Date
CN108053435A true CN108053435A (zh) 2018-05-18

Family

ID=62121342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711228561.7A Pending CN108053435A (zh) 2017-11-29 2017-11-29 基于手持移动设备的动态实时三维重建方法和***

Country Status (1)

Country Link
CN (1) CN108053435A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108960225A (zh) * 2018-07-06 2018-12-07 四川奇迹云科技有限公司 一种基于物体识别和三维重建的拆解安装辅助***
CN109872716A (zh) * 2018-12-25 2019-06-11 南京硅基智能科技有限公司 一种基于二维码的植物认知语音交互***
CN109951695A (zh) * 2018-11-12 2019-06-28 北京航空航天大学 基于手机的自由移动光场调制三维成像方法和成像***
CN109978931A (zh) * 2019-04-04 2019-07-05 北京悉见科技有限公司 三维场景重建方法及设备、存储介质
CN110349251A (zh) * 2019-06-28 2019-10-18 深圳数位传媒科技有限公司 一种基于双目相机的三维重建方法及装置
CN110634177A (zh) * 2018-06-21 2019-12-31 华为技术有限公司 一种物体建模运动方法、装置与设备
WO2020038277A1 (zh) * 2018-08-21 2020-02-27 先临三维科技股份有限公司 三维扫描的图像获取、处理方法、装置以及三维扫描设备
WO2020062919A1 (zh) * 2018-09-30 2020-04-02 Oppo广东移动通信有限公司 一种数据处理方法、mec服务器、终端设备
WO2020192706A1 (zh) * 2019-03-25 2020-10-01 华为技术有限公司 物体三维模型重建方法及装置
WO2021087810A1 (zh) * 2019-11-06 2021-05-14 Oppo广东移动通信有限公司 信息处理方法和***、编码装置、解码装置及存储介质
WO2021087800A1 (zh) * 2019-11-06 2021-05-14 Oppo广东移动通信有限公司 信息处理方法、编码装置、解码装置、***及存储介质
CN113870338A (zh) * 2020-06-30 2021-12-31 北京瓦特曼科技有限公司 一种基于三维重建的锌槽扒渣方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622762A (zh) * 2011-01-31 2012-08-01 微软公司 使用深度图的实时相机跟踪
CN103106252A (zh) * 2013-01-16 2013-05-15 浙江大学 利用手持设备的平面区域定位方法
CN105225256A (zh) * 2015-06-10 2016-01-06 西安交通大学 一种高灰阶深度图像的显示方法
CN206400641U (zh) * 2017-01-13 2017-08-11 中国人民公安大学 便携式犯罪现场重建扫描仪及犯罪现场三维重建***
CN107103626A (zh) * 2017-02-17 2017-08-29 杭州电子科技大学 一种基于智能手机的场景重建方法
CN107256540A (zh) * 2017-06-12 2017-10-17 四川大学 图像修复方法、装置及三维重建***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622762A (zh) * 2011-01-31 2012-08-01 微软公司 使用深度图的实时相机跟踪
CN103106252A (zh) * 2013-01-16 2013-05-15 浙江大学 利用手持设备的平面区域定位方法
CN105225256A (zh) * 2015-06-10 2016-01-06 西安交通大学 一种高灰阶深度图像的显示方法
CN206400641U (zh) * 2017-01-13 2017-08-11 中国人民公安大学 便携式犯罪现场重建扫描仪及犯罪现场三维重建***
CN107103626A (zh) * 2017-02-17 2017-08-29 杭州电子科技大学 一种基于智能手机的场景重建方法
CN107256540A (zh) * 2017-06-12 2017-10-17 四川大学 图像修复方法、装置及三维重建***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CARCERONI，R.L.，KUTULAKOS: "Multi-view scene capture by surfel sampling： From video streams to non-rigid 3D motion，shape and reflectance", 《EIGTH INTERNATIONAL CONFERENCE ON COMPUTER VISION(ICCV 2001)》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110634177A (zh) * 2018-06-21 2019-12-31 华为技术有限公司 一种物体建模运动方法、装置与设备
US11436802B2 (en) 2018-06-21 2022-09-06 Huawei Technologies Co., Ltd. Object modeling and movement method and apparatus, and device
CN111640175A (zh) * 2018-06-21 2020-09-08 华为技术有限公司 一种物体建模运动方法、装置与设备
CN111640176A (zh) * 2018-06-21 2020-09-08 华为技术有限公司 一种物体建模运动方法、装置与设备
CN108960225A (zh) * 2018-07-06 2018-12-07 四川奇迹云科技有限公司 一种基于物体识别和三维重建的拆解安装辅助***
WO2020038277A1 (zh) * 2018-08-21 2020-02-27 先临三维科技股份有限公司 三维扫描的图像获取、处理方法、装置以及三维扫描设备
US11887321B2 (en) 2018-08-21 2024-01-30 Shining3D Tech Co., Ltd. Three-dimensional scanning image acquisition and processing methods and apparatuses, and three-dimensional scanning device
WO2020062919A1 (zh) * 2018-09-30 2020-04-02 Oppo广东移动通信有限公司 一种数据处理方法、mec服务器、终端设备
CN109951695A (zh) * 2018-11-12 2019-06-28 北京航空航天大学 基于手机的自由移动光场调制三维成像方法和成像***
CN109872716A (zh) * 2018-12-25 2019-06-11 南京硅基智能科技有限公司 一种基于二维码的植物认知语音交互***
WO2020192706A1 (zh) * 2019-03-25 2020-10-01 华为技术有限公司 物体三维模型重建方法及装置
CN109978931B (zh) * 2019-04-04 2021-12-31 中科海微(北京)科技有限公司 三维场景重建方法及设备、存储介质
CN109978931A (zh) * 2019-04-04 2019-07-05 北京悉见科技有限公司 三维场景重建方法及设备、存储介质
CN110349251B (zh) * 2019-06-28 2020-06-16 深圳数位传媒科技有限公司 一种基于双目相机的三维重建方法及装置
CN110349251A (zh) * 2019-06-28 2019-10-18 深圳数位传媒科技有限公司 一种基于双目相机的三维重建方法及装置
WO2021087800A1 (zh) * 2019-11-06 2021-05-14 Oppo广东移动通信有限公司 信息处理方法、编码装置、解码装置、***及存储介质
CN114402590A (zh) * 2019-11-06 2022-04-26 Oppo广东移动通信有限公司 信息处理方法和***、编码装置、解码装置及存储介质
WO2021087810A1 (zh) * 2019-11-06 2021-05-14 Oppo广东移动通信有限公司 信息处理方法和***、编码装置、解码装置及存储介质
CN113870338A (zh) * 2020-06-30 2021-12-31 北京瓦特曼科技有限公司 一种基于三维重建的锌槽扒渣方法

Similar Documents

Publication Publication Date Title
CN108053435A (zh) 基于手持移动设备的动态实时三维重建方法和***
CN109285215B (zh) 一种人体三维模型重建方法、装置和存储介质
US10733804B2 (en) Method and system for representing a virtual object in a view of a real environment
WO2021077720A1 (zh) 获取对象三维模型的方法、装置、电子设备及***
CN108876926B (zh) 一种全景场景中的导航方法及***、ar/vr客户端设备
CN110335343B (zh) 基于rgbd单视角图像人体三维重建方法及装置
US9235928B2 (en) 3D body modeling, from a single or multiple 3D cameras, in the presence of motion
CN109461180A (zh) 一种基于深度学习的三维场景重建方法
CN108475327A (zh) 三维采集与渲染
US20130258045A1 (en) Method and system of spacial visualisation of objects and a platform control system included in the system, in particular for a virtual fitting room
WO2024007478A1 (zh) 基于单手机的人体三维建模数据采集与重建方法及***
CN112037320A (zh) 一种图像处理方法、装置、设备以及计算机可读存储介质
CN113313818A (zh) 一种三维重建方法、装置及***
Mousavi et al. The performance evaluation of multi-image 3D reconstruction software with different sensors
CN106023307B (zh) 基于现场环境的快速重建三维模型方法及***
CN104599317A (zh) 一种实现3d扫描建模功能的移动终端及方法
CN110827392A (zh) 具好的场景易用性的单目图像三维重建方法、***及装置
TWI750710B (zh) 圖像處理方法及裝置、圖像處理設備及儲存媒體
CN106683163B (zh) 一种视频监控的成像方法及***
CN108205822B (zh) 贴图方法及装置
WO2014177604A1 (en) Method and system for generating a 3d model
Sevastopolsky et al. Relightable 3d head portraits from a smartphone video
JP5059503B2 (ja) 画像合成装置、画像合成方法及び画像合成プログラム
CN113989434A (zh) 一种人体三维重建方法及设备
Kurillo et al. A framework for collaborative real-time 3D teleimmersion in a geographically distributed environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 11-13 / F, joint headquarters building, high tech Zone, 63 Xuefu Road, Yuehai street, Nanshan District, Shenzhen, Guangdong 518000

Applicant after: Obi Zhongguang Technology Group Co., Ltd

Address before: A808, Zhongdi building, industry university research base, China University of Geosciences, No.8, Yuexing Third Road, Nanshan District, Shenzhen, Guangdong 518000

Applicant before: SHENZHEN ORBBEC Co.,Ltd.

CB02 Change of applicant information