CN111986086B - 三维图像优化生成方法及*** - Google Patents

三维图像优化生成方法及*** Download PDF

Info

Publication number
CN111986086B
CN111986086B CN202010877012.8A CN202010877012A CN111986086B CN 111986086 B CN111986086 B CN 111986086B CN 202010877012 A CN202010877012 A CN 202010877012A CN 111986086 B CN111986086 B CN 111986086B
Authority
CN
China
Prior art keywords
point
points
scale
homonymous
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010877012.8A
Other languages
English (en)
Other versions
CN111986086A (zh
Inventor
刘程林
田明哲
胡洋
顾晓东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seashell Housing Beijing Technology Co Ltd
Original Assignee
Seashell Housing Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seashell Housing Beijing Technology Co Ltd filed Critical Seashell Housing Beijing Technology Co Ltd
Priority to CN202010877012.8A priority Critical patent/CN111986086B/zh
Publication of CN111986086A publication Critical patent/CN111986086A/zh
Application granted granted Critical
Publication of CN111986086B publication Critical patent/CN111986086B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例公开了一种三维图像优化生成方法及***，其中，获取房间内各个位置的全景图像；根据所述各个位置的全景图像中的点位，获取描述相同空间的同名点，生成同名点组合；分别对所述同名点组合中的同名点进行位姿和尺度参数迭代优化，得到优化后的位姿关系和尺度参数；根据所述优化后的位姿关系和尺度参数，拼接形成所述房间的三维图像。本发明方案通过基于深度图像匹配的三维模型尺度优化算法，对相邻点位的点云进行尺度优化。能够根据房间所有的全景图像进行拼接，得到房间整体的三维图像。

Description

三维图像优化生成方法及***
技术领域
本发明涉及计算机三维空间建模技术领域，尤其是一种三维图像优化生成方法及***。
背景技术
在室内三维模型的数据采集阶段，一般需要利用特殊设备，收集不同的拍摄点数据(包括深度数据和RGB图像数据)。在完成对数据收集以后，通过标定好的相机参数、RGB图片以及深度图片得到RGBD图。其中，RGB是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是目前运用最广的颜色***之一。深度图(Depth Map)是包含与视点的场景对象的表面的距离有关的信息的图像或图像通道。其中，Depth Map类似于灰度图像，只是它的每个像素值是传感器距离物体的实际距离。通常RGB图像和Depth图像是配准的，因而像素点之间具有一对一的对应关系。
现有技术中，能够结合相机位姿将RGBD图转化为单个相机点位的点云。这需要找出不同拍摄点的在全局坐标系下的坐标，才能把这些点云数据拼接成一个完整房屋的点云模型。
现有技术中，直接通过一张RGB彩色全景图，利用深度学习手段找到图像中结构线位置(墙-墙，墙-地面，墙-天花板交界线)，然后通过算法重建出该点位极简的三维模型。即能够获取当前点位的极简模型的深度信息(深度图像)。这样我们也能够将彩色RGB图像和模型推断出的深度图像一一对应生产RGBD信息，并恢复出带有颜色信息的极简模型点云数据。
与传统的通过结构光摄像机采集点位深度信息，恢复该点位点云方法不同，通过RGB彩色图像推断彩色图像中结构线位置，受到光照，图像分辨率，物体遮挡等情况的干扰，推断出的结构线精准度难以避免的会存在一些误差。其中最为主要并且难以避免的是物体在图像中成像存在远小近大的问题，并且这种远小近大带来的差异在不同方向上也并不一致。可以说是各向不一致性尺度误差。
具体来说，如果房间较大，并且狭长，房间一端处拍摄的图像，远处的房间结构线(记为A)在图像中所占比例很小，识别精度必然下降；而在房间中间拍摄的图像，刚才标记的房间结构线A在图像中所占比例则相对较大，识别精度相对较好。这两张图像恢复出来的点云模型在房间长轴(狭长房间的长边方向)方向尺度必然存在不一致性；而其短轴方向(狭长房间短边方向)则尺度一致性较好。因此，在进行点云拼接的时候就会出现由于两个点云尺度不一致导致的不对齐问题。
发明内容
本发明实施例所要解决的一个技术问题是：提供一种三维图像优化生成方法及***，解决现有技术中通过全景图结构线识别获得的单点深度图像，进行点云重建时候存在尺度不一致的问题。
根据本发明的一个方面，提供了一种三维图像优化生成方法，包括：
获取房间内各个位置的全景图像；
根据所述各个位置的全景图像中的点位，获取描述相同空间的同名点，生成同名点组合；
分别对所述同名点组合中的同名点进行位姿和尺度参数迭代优化，得到优化后的位姿关系和尺度参数；
根据所述优化后的位姿关系和尺度参数，拼接形成所述房间的三维图像。
可选地，所述根据所述各个位置的全景图像中的点位，获取描述相同空间的同名点，生成同名点组合，具体包括：
分别获取所述各个位置的全景图像中的所有点位；
对两个点位对应的深度图像进行逐点匹配，确定是否描述相同空间；
当确定两个点位描述相同空间时，根据两个点位生成同名点组合。
可选地，所述对两个点位对应的深度图像进行逐点匹配，确定是否描述相同空间，包括：
将所述两个点位的深度图像投射到三维空间中，生成点云A与点云B；
将点云A旋转平移到点云B所在的坐标系，生成点云t-A；
针对点云t-A的每个点Pi，将其投影到点云B对应的全景图像上，得到投影点(Tix,Tiy)；
根据投影点(Tix,Tiy)得到对应的点云B的点Pj；
当确定点Pj和Pi的法向量的夹角小于预设角度△α；且Pi和Pj的欧氏距离小于预设欧氏距离△D时，将点云B的点Pj，旋转回到点云A所在的坐标系，并投影到点云A对应的全景图像上；
当确定点Pj的投影像素点(Sjx,Sjy)与点Pi本身所在的像素点(Sjx,Sjy)的像素距离小于预设像素距离△L时，点Pi与点Pj形成一组同名点，将其存入同名点集合。
可选地，所述方法还包括：
当所述同名点的数量大于预设阈值时，将同名点集合中的点位加入同名点组合；所述预设阈值根据所述同名点的数量与对应点云中点的数量的比值设定。
可选地，所述分别对所述同名点组合中的同名点进行位姿和尺度参数迭代优化，得到优化后的位姿关系和尺度参数，具体包括：
根据同名点组合中的同名点的位姿和尺度参数，分别调整旋转矩阵、尺度矩阵、变换矩阵、平移矩阵的取值，迭代优化所述同名点的位姿和尺度参数，得到优化后的位姿关系和尺度参数。
可选地，根据同名点组合中的同名点的位姿和尺度参数，分别调整旋转矩阵、尺度矩阵、变换矩阵、平移矩阵的取值，迭代优化所述同名点的位姿和尺度参数，包括：
根据如下公式，调整各个矩阵的取值，迭代优化同名点的位姿关系和尺度参数：
Figure BDA0002652895640000041
Figure BDA0002652895640000042
其中，Pf和Ps分别为同名点组合中的两个同名点；R为3*3的旋转矩阵，Rf、Rs分别为Pf和Ps在旋转矩阵R中的取值；S为3*3的尺度矩阵，Sf、Ss分别为Pf和Ps在尺度矩阵S中的取值；Q为4*4的变换矩阵，Qf、Qs分别为Pf和Ps在变换矩阵Q中的取值；T为3*1的平移矩阵，Tf、Ts分别为Pf和Ps在平移矩阵T中的取值；Nf、Ns分别为Pf和Ps的法向量；NMf、NMs分别为Pf和Ps所属点云的主方向；λ1、λ2为惩罚项系数，D⊥为Pf在Ps法向量方向的距离，n为所有同名点的数量；
Figure BDA0002652895640000043
表示对Pf、Ps进行旋转平移至世界坐标系。
可选地，所述方法还包括：
当达到最大迭代次数或两次迭代优化结果的差距小于预设阈值时，将所述同名点组合中的同名点的位姿关系和尺度参数作为优化后的位姿关系和尺度参数。
根据本发明实施例的另一个方面，提供了一种三维图像优化生成***，包括：
全景图像获取单元，用于获取房间内各个位置的全景图像；
同名点组合生成单元，用于根据所述各个位置的全景图像中的点位，获取描述相同空间的同名点，生成同名点组合；
迭代优化单元，用于分别对所述同名点组合中的同名点进行位姿和尺度参数迭代优化，得到优化后的位姿关系和尺度参数；
拼接单元，用于根据所述优化后的位姿关系和尺度参数，拼接形成所述房间的三维图像。
可选地，所述同名点组合生成单元具体用于：
分别获取所述各个位置的全景图像中的所有点位；对两个点位对应的深度图像进行逐点匹配，确定是否描述相同空间；当确定两个点位描述相同空间时，根据两个点位生成同名点组合。
可选地，所述同名点组合生成单元具体用于：
将所述两个点位的深度图像投射到三维空间中，生成点云A与点云B；
将点云A旋转平移到点云B所在的坐标系，生成点云t-A；
针对点云t-A的每个点Pi，将其投影到点云B对应的全景图像上，得到投影点(Tix,Tiy)；
根据投影点(Tix,Tiy)得到对应的点云B的点Pj；
当确定点Pj和Pi的法向量的夹角小于预设角度△α；且Pi和Pj的欧氏距离小于预设欧氏距离△D时，将点云B的点Pj，旋转回到点云A所在的坐标系，并投影到点云A对应的全景图像上；
当确定点Pj的投影像素点(Sjx,Sjy)与点Pi本身所在的像素点(Six,Siy)的像素距离小于预设像素距离△L时，点Pi与点Pj形成一组同名点，将其存入同名点集合。
可选地，所述迭代优化单元，具体用于：
根据同名点组合中的同名点的位姿和尺度参数，分别调整旋转矩阵、尺度矩阵、变换矩阵、平移矩阵的取值，迭代优化所述同名点的位姿和尺度参数，得到优化后的位姿关系和尺度参数。
可选地，所述迭代优化单元，还用于：
根据如下公式，调整各个矩阵的取值，迭代优化同名点的位姿关系和尺度参数：
Figure BDA0002652895640000061
Figure BDA0002652895640000062
其中，Pf和Ps分别为同名点组合中的两个同名点；R为3*3的旋转矩阵，Rf、Rs分别为Pf和Ps在旋转矩阵R中的取值；S为3*3的尺度矩阵，Sf、Ss分别为Pf和Ps在尺度矩阵S中的取值；Q为4*4的变换矩阵，Qf、Qs分别为Pf和Ps在变换矩阵Q中的取值；T为3*1的平移矩阵，Tf、Ts分别为Pf和Ps在平移矩阵T中的取值；Nf、Ns分别为Pf和Ps的法向量；NMf、NMs分别为Pf和Ps所属点云的主方向；λ1、λ2为惩罚项系数，D⊥为Pf在Ps法向量方向的距离，n为所有同名点的数量；
Figure BDA0002652895640000063
表示对Pf、Ps进行旋转平移至世界坐标系。
可选地，所述迭代优化单元，还用于：
当达到最大迭代次数或两次迭代优化结果的差距小于预设阈值时，将所述同名点组合中的同名点的位姿关系和尺度参数作为优化后的位姿关系和尺度参数。
根据本发明的另一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述所述的方法。
根据本发明的另一个方面，提供了一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述所述的方法。
基于本发明上述实施例提供的方案，主要包括如下有益效果：
获取房间内各个位置的全景图像；根据所述各个位置的全景图像中的点位，获取描述相同空间的同名点，生成同名点组合；分别对所述同名点组合中的同名点进行位姿和尺度参数迭代优化，得到优化后的位姿关系和尺度参数；根据所述优化后的位姿关系和尺度参数，拼接形成所述房间的三维图像。本发明方案通过基于深度图像匹配的三维模型尺度优化算法，对相邻点位的点云进行尺度优化。由于点云自身在x、y、z三个方向就存在尺度不一致问题，本方案提出的这种尺度优化是针对x、y、z三个方向独立进行尺度优化。进一步的，能够根据房间所有的全景图像进行拼接，得到房间整体的三维图像。本发明方案将房间全景图像自动拼接为三维图像，通过简单的商用全景相机采集房间点位的全景图像，就能够推断出该房间的一个矢量化的极简三维模型，能够满足快速简洁的全屋重建的需求。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本发明的实施例，并且连同描述一起用于解释本发明的原理。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：
图1为本发明一个实施例提供的三维图像优化生成方法源流流程图。
图2为本发明另一个实施例提供的三维图像优化生成方法源流流程图。
图3为本发明一个实施例提供的三维图像优化生成***结构示意图。
图4为本发明一个实施例中提供的电子设备的结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
本发明实施例能够通过深度学习的方式，直接通过一张RGB彩色全景图就能重建出该点位所在房间的结构模型。输入一RGB全景图像，输出RGB全景图中的墙-天花板、墙-地板的交线以及墙-墙的交线位置。
现有的通过识别单个拍摄点位全景图的结构线，然后重建单个点位的点云模型并获取深度图像，然后将不同点位的点云拼接成整个房屋模型的技术方案存在不同点位点云尺度不一致的问题，必须对每个点位得到的模型进行尺度优化，拼接后才能得到能够满足工程应用条件的模型。
同时，这种描述模型的尺度不一致现象并不是简单的通过单个参数就能够描述的点云尺度不一致，其尺度在x,y,z三个方向是独立的，即需要优化3个参数。
最后，优化过程还要考虑不同方向尺度优化后带来的位姿变化，因此我们需要在优化过程中通过匹配关系不断重新估计位姿。
如图1所示，为本实施例提供的三维图像优化生成方法源流流程图，其中，
步骤11，获取房间内各个位置的全景图像。
房间内的全景图像，通常采用全景相机在房间内进行多维度的拍照采集。采集的全景图像通常为RGB格式。由于全景相机只能拍摄平面图像，因而，采集得到的全景图像是一张或者多张二维的平面图像。
在本发明的一个实施例中，一个房间需要采集多张全景图像，然后根据多张全景图像进行拼接，完成房间整体的模型建立。而对于一栋房屋，通常会包括多个房间，不同房间的全景图像也需要进行拼接后统一进行模型建立。
步骤12，根据所述各个位置的全景图像中的点位，获取描述相同空间的同名点，生成同名点组合。
三维图像神经网络是根据在先的已知房间的全景图像和对应的三维图像之间的对应关系训练的。或者，三维图像神经网络根据预先获取的全景图像和对应的房间内结构点和结构线的对应关系训练。
在本发明的一个实施例中，通过训练好的神经网络对各个房间的全景照片进行推断，得到房间结构相关的点线。利用先验知识(相机距离地面高度)，可以通过投影关系得到结构点、线在空间上的三个维度绝对坐标，也就可以得到所有墙面、地面、天花板的点云。
在本发明的一个实施例中，判断两个点位是否描述相同空间，即通过寻找到的同名点数量判断两个点云是否可匹配。具体通过对两个点位的深度图像进行逐点匹配判断是否为同名点。同名点两两组成同名点组合。
在本发明的一个实施例中，房间中各个位置可以拍照得到多个全景图像。这些全景图像在拼接的时候，需要将相邻的两张全景图像中重合的部分进行优化。由于每张全景图像的方向、角度、大小等不同，直接的拼接会存在错位。因而，需要首先找到两张全景图像中重合的点，也即是同名点，将这些同名点组成两两一组的同名点组合。
步骤13，分别对所述同名点组合中的同名点进行位姿和尺度参数迭代优化，得到优化后的位姿关系和尺度参数。
在本发明的一个实施例中，使用ceres对位姿和尺度参数进行迭代优化，位姿参数Rx,Ry，Rz，Tx，Ty，Tz，尺度参数Sx，Sy，Sz。一个优化迭代包括分别对位姿和尺度进行一次优化如果尺度和位姿参数变化值小于阈值或者迭代次数满足设定值则停止优化。
步骤14，根据所述优化后的位姿关系和尺度参数，拼接形成所述房间的三维图像。
根据多个全景图像的位姿关系和尺度参数，对全景图像进行拼接，得到整个房间的全景图像。结合全景图像中结构点和结构线的相对位置，对全景图像进行处理，可以得到房间的三维图像。
在本发明的一个实施例中，所述根据所述各个位置的全景图像中的点位，获取描述相同空间的同名点，生成同名点组合，具体包括：
分别获取所述各个位置的全景图像中的所有点位；
对两个点位对应的深度图像进行逐点匹配，确定是否描述相同空间；
当确定两个点位描述相同空间时，根据两个点位生成同名点组合。
各个位置的全景图像首先需要判断是否相邻或者是否存在重合点位。
在本发明的一个实施例中，所述对两个点位对应的深度图像进行逐点匹配，确定是否描述相同空间，包括：
将所述两个点位的深度图像投射到三维空间中，生成点云A与点云B；
将点云A旋转平移到点云B所在的坐标系，生成点云t-A；
针对点云t-A的每个点Pi，将其投影到点云B对应的全景图像上，得到投影点(Tix,Tiy)；
根据投影点(Tix,Tiy)得到对应的点云B的点Pj,也即获取与点云t-A的每个点Pi对应的点云B中的每个点Pj；获取的方式可以是判断两个点位是否相邻或者是否为重合点位。
当确定点Pj和Pi的法向量的夹角小于预设角度△α；且Pi和Pj的欧氏距离小于预设欧氏距离△D时，将点云B的点Pj，旋转回到点云A所在的坐标系，并投影到点云A对应的全景图像上；其中，预设角度△α根据经验设定，例如，可以设定为45度。欧氏距离△D根据Pi和Pj的欧氏距离与其到坐标原点的距离的比值设定，例如，可以设定为0.1。
当确定点Pj的投影像素点(Sjx,Sjy)与点Pi本身所在的像素点(Sjx,Sjy)的像素距离小于预设像素距离△L时，点Pi与点Pj形成一组同名点，将其存入同名点集合。其中，预设像素距离△L根据同名点数量与点云中所有点的总量的比值设定，例如，可以在0.06～0.1像素的范围内设定。
在本发明的一个实施例中，当所述同名点的数量大于预设阈值时，将同名点集合中的点位加入同名点组合；所述预设阈值根据所述同名点的数量与对应点云中点的数量的比值设定。
在本发明的一个实施例中，依次对两两点位的点云重复同名点提取过程，直到找到所有两两点位的同名点。因为是全局优化的缘故，所以需要找到所有拍摄点位两两之间的同名点组合，并将其统计在一起做后续的优化。
在本发明的一个实施例中，所述分别对所述同名点组合中的同名点进行位姿和尺度参数迭代优化，得到优化后的位姿关系和尺度参数，具体包括：
根据同名点组合中的同名点的位姿和尺度参数，分别调整旋转矩阵、尺度矩阵、变换矩阵、平移矩阵的取值，迭代优化所述同名点的位姿和尺度参数，得到优化后的位姿关系和尺度参数。
具体来说，可以根据如下公式(1)和公式(2)，调整各个矩阵的取值，迭代优化同名点的位姿关系和尺度参数：
Figure BDA0002652895640000111
Figure BDA0002652895640000112
其中，Pf和Ps分别为同名点组合中的两个同名点；R为3*3的旋转矩阵，Rf、Rs分别为Pf和Ps在旋转矩阵R中的取值；S为3*3的尺度矩阵，Sf、Ss分别为Pf和Ps在尺度矩阵S中的取值；Q为4*4的变换矩阵，Qf、Qs分别为Pf和Ps在变换矩阵Q中的取值；T为3*1的平移矩阵，Tf、Ts分别为Pf和Ps在平移矩阵T中的取值；Nf、Ns分别为Pf和Ps的法向量；NMf、NMs分别为Pf和Ps所属点云的主方向；λ1、λ2为惩罚项系数，D⊥为Pf在Ps法向量方向的距离，n为所有同名点的数量，i的取值为0～n；
Figure BDA0002652895640000113
表示对Pf、Ps进行旋转平移至世界坐标系。
在本发明的一个实施例中，当达到最大迭代次数或两次迭代优化结果的差距小于预设阈值时，将所述同名点组合中的同名点的位姿关系和尺度参数作为优化后的位姿关系和尺度参数。
根据上述的目标损失函数，编写ceres优化项，并且设定了停止优化的终止条件：达到最大迭代次数，或者两次优化的Loss项差距小于阈值。
在本发明一个实施例中，如图2所示，本发明实施例提供一种改进的三维图像优化生成方法，整体的流程如下：
步骤21，从点位i开始，依次获取点位i与点位j对应点云的同名点。其中，i＝0,1,2…n；j＝0,1,2…n；n为点云中点的总数。
步骤22，当同名点数量大于等于预设的阈值时，将点位i与点位j的点云对加入待优化集合。否则，认为点位i与点位j约束关系不足。
步骤23，遍历i＝＝n的整个集合，获取所有点对。
步骤24，对所有点对构件误差函数，使用Ceres函数进行迭代优化。
步骤25，当迭代次数达到最大迭代次数或两次优化的前后变化值小于预设阈值时，停止优化，获得优化后的尺度参数和位姿关系。
通过本方案中描述的优化算法，对得到的点云数据进行尺度优化。利用优化后的位姿关系和尺度参数，将所有点位的点云拼接得到整个房屋模型。
本发明的一个实施例提供了一种三维图像优化生成***，如图3所示，该***包括：
全景图像获取单元31，用于获取房间内各个位置的全景图像；
同名点组合生成单元32，用于根据所述各个位置的全景图像中的点位，获取描述相同空间的同名点，生成同名点组合；
迭代优化单元33，用于分别对所述同名点组合中的同名点进行位姿和尺度参数迭代优化，得到优化后的位姿关系和尺度参数；
拼接单元34，用于根据所述优化后的位姿关系和尺度参数，拼接形成所述房间的三维图像。
在本发明的一个实施例中，所述同名点组合生成单元32具体用于：
分别获取所述各个位置的全景图像中的所有点位；对两个点位对应的深度图像进行逐点匹配，确定是否描述相同空间；当确定两个点位描述相同空间时，根据两个点位生成同名点组合。
在本发明的一个实施例中，所述同名点组合生成单元32具体用于：
将所述两个点位的深度图像投射到三维空间中，生成点云A与点云B；
将点云A旋转平移到点云B所在的坐标系，生成点云t-A；
针对点云t-A的每个点Pi，将其投影到点云B对应的全景图像上，得到投影点(Tix,Tiy)；
根据投影点(Tix,Tiy)得到对应的点云B的点Pj；
当确定点Pj和Pi的法向量的夹角小于预设角度△α；且Pi和Pj的欧氏距离小于预设欧氏距离△D时，将点云B的点Pj，旋转回到点云A所在的坐标系，并投影到点云A对应的全景图像上；
当确定点Pj的投影像素点(Sjx,Sjy)与点Pi本身所在的像素点(Six,Siy)的像素距离小于预设像素距离△L时，点Pi与点Pj形成一组同名点，将其存入同名点集合。
在本发明的一个实施例中，所述迭代优化单元33，具体用于：
根据同名点组合中的同名点的位姿和尺度参数，分别调整旋转矩阵、尺度矩阵、变换矩阵、平移矩阵的取值，迭代优化所述同名点的位姿和尺度参数，得到优化后的位姿关系和尺度参数。
在本发明的一个实施例中，所述迭代优化单元33，还用于：
根据如下公式，调整各个矩阵的取值，迭代优化同名点的位姿关系和尺度参数：
Figure BDA0002652895640000131
Figure BDA0002652895640000132
其中，Pf和Ps分别为同名点组合中的两个同名点；R为3*3的旋转矩阵，Rf、Rs分别为Pf和Ps在旋转矩阵R中的取值；S为3*3的尺度矩阵，Sf、Ss分别为Pf和Ps在尺度矩阵S中的取值；Q为4*4的变换矩阵，Qf、Qs分别为Pf和Ps在变换矩阵Q中的取值；T为3*1的平移矩阵，Tf、Ts分别为Pf和Ps在平移矩阵T中的取值；Nf、Ns分别为Pf和Ps的法向量；NMf、NMs分别为Pf和Ps所属点云的主方向；λ1、λ2为惩罚项系数，D⊥为Pf在Ps法向量方向的距离，n为所有同名点的数量；
Figure BDA0002652895640000141
表示对Pf、Ps进行旋转平移至世界坐标系。
在本发明的一个实施例中，所述迭代优化单元33，还用于：
当达到最大迭代次数或两次迭代优化结果的差距小于预设阈值时，将所述同名点组合中的同名点的位姿关系和尺度参数作为优化后的位姿关系和尺度参数。
在本发明的一个实施例中，还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述的方法。
在本发明的一个实施例中，还提供了一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述的方法。
下面，参考图4来描述根据本发明实施例的一个电子设备。
图4为本发明电子设备一个应用实施例的结构示意图。如图4所示，电子设备包括一个或多个处理器和存储器。
处理器可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。
存储器可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器可以运行所述程序指令，以实现上文所述的本发明的各个实施例的基于行为分析的匹配方法以及/或者其他期望的功能。
在一个示例中，电子装置还可以包括：输入装置和输出装置，这些组件通过总线***和/或其他形式的连接机构(未示出)互连。
此外，该输入装置还可以包括例如键盘、鼠标等等。
该输出装置可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出装置等等。
当然，为了简化，图4中仅示出了该电子设备中与本发明有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备还可以包括任何其他适当的组件。
除了上述方法和设备以外，本发明的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述部分中描述的根据本发明各种实施例的基于行为分析的匹配方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
基于本发明上述实施例提供的方案，主要包括如下有益效果：
获取房间内各个位置的全景图像；根据所述各个位置的全景图像中的点位，获取描述相同空间的同名点，生成同名点组合；分别对所述同名点组合中的同名点进行位姿和尺度参数迭代优化，得到优化后的位姿关系和尺度参数；根据所述优化后的位姿关系和尺度参数，拼接形成所述房间的三维图像。本发明方案通过基于深度图像匹配的三维模型尺度优化算法，对相邻点位的点云进行尺度优化。由于点云自身在x、y、z三个方向就存在尺度不一致问题，本方案提出的这种尺度优化是针对x、y、z三个方向独立进行尺度优化。进一步的，能够根据房间所有的全景图像进行拼接，得到房间整体的三维图像。本发明方案将房间全景图像自动拼接为三维图像，通过简单的商用全景相机采集房间点位的全景图像，就能够推断出该房间的一个矢量化的极简三维模型，能够满足快速简洁的全屋重建的需求。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于***实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
可能以许多方式来实现本发明的方法和***。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和***。用于所述方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (11)

1.一种三维图像优化生成方法，其特征在于，所述方法包括：
获取房间内各个位置的全景图像；
根据所述各个位置的全景图像中的点位，获取描述相同空间的同名点，生成同名点组合；其中，所述同名点为两张全景图中重合的点，所述同名点组合由所述同名点两两组合而成；所述根据所述各个位置的全景图像中的点位，获取描述相同空间的同名点，生成同名点组合，包括：分别获取所述各个位置的全景图像中的所有点位；对两个点位对应的深度图像进行逐点匹配，确定是否描述相同空间；当确定两个点位描述相同空间时，根据两个点位生成同名点组合；
分别对所述同名点组合中的同名点进行位姿和尺度参数迭代优化，得到优化后的位姿关系和尺度参数；其中，所述分别对所述同名点组合中的同名点进行位姿和尺度参数迭代优化，得到优化后的位姿关系和尺度参数，包括：根据同名点组合中的同名点的位姿和尺度参数，分别调整旋转矩阵、尺度矩阵、变换矩阵、平移矩阵的取值，迭代优化所述同名点的位姿和尺度参数，得到优化后的位姿关系和尺度参数；
根据所述优化后的位姿关系和尺度参数，拼接形成所述房间的三维图像。
2.如权利要求1所述的方法，其特征在于，所述对两个点位对应的深度图像进行逐点匹配，确定是否描述相同空间，包括：
将所述两个点位的深度图像投射到三维空间中，生成点云A与点云B；
将点云A旋转平移到点云B所在的坐标系，生成点云t-A；
针对点云t-A的每个点Pi，将其投影到点云B对应的全景图像上，得到投影点(Tix,Tiy)；
根据投影点(Tix,Tiy)得到对应的点云B的点Pj；
当确定点Pj和Pi的法向量的夹角小于预设角度△α；且Pi和Pj的欧氏距离小于预设欧氏距离△D时，将点云B的点Pj，旋转回到点云A所在的坐标系，并投影到点云A对应的全景图像上；
当确定点Pj的投影像素点(Sjx,Sjy)与点Pi本身所在的像素点(Sjx,Sjy)的像素距离小于预设像素距离△L时，点Pi与点Pj形成一组同名点，将其存入同名点集合。
3.如权利要求1或2所述的方法，其特征在于，所述方法还包括：
当所述同名点的数量大于预设阈值时，将同名点集合中的点位加入同名点组合；所述预设阈值根据所述同名点的数量与对应点云中点的数量的比值设定。
4.如权利要求1所述的方法，其特征在于，根据同名点组合中的同名点的位姿和尺度参数，分别调整旋转矩阵、尺度矩阵、变换矩阵、平移矩阵的取值，迭代优化所述同名点的位姿和尺度参数，包括：
根据如下公式，调整各个矩阵的取值，迭代优化同名点的位姿关系和尺度参数：
Figure FDA0003260084420000021
Figure FDA0003260084420000022
其中，Pf和Ps分别为同名点组合中的两个同名点；R为3*3的旋转矩阵，Rf、Rs分别为Pf和Ps在旋转矩阵R中的取值；S为3*3的尺度矩阵，Sf、Ss分别为Pf和Ps在尺度矩阵S中的取值；Q为4*4的变换矩阵，Qf、Qs分别为Pf和Ps在变换矩阵Q中的取值；T为3*1的平移矩阵，Tf、Ts分别为Pf和Ps在平移矩阵T中的取值；Nf、Ns分别为Pf和Ps的法向量；NMf、NMs分别为Pf和Ps所属点云的主方向；λ1、λ2为惩罚项系数，D⊥为Pf在Ps法向量方向的距离，n为所有同名点的数量；
Figure FDA0003260084420000023
表示对Pf、Ps进行旋转平移至世界坐标系。
5.如权利要求4所述的方法，其特征在于，所述方法还包括：
当达到最大迭代次数或两次迭代优化结果的差距小于预设阈值时，将所述同名点组合中的同名点的位姿关系和尺度参数作为优化后的位姿关系和尺度参数。
6.一种三维图像优化生成***，其特征在于，包括：
全景图像获取单元，用于获取房间内各个位置的全景图像；
同名点组合生成单元，用于根据所述各个位置的全景图像中的点位，获取描述相同空间的同名点，生成同名点组合；其中，所述同名点为两张全景图中重合的点，所述同名点组合由所述同名点两两组合而成；所述同名点组合生成单元具体用于：分别获取所述各个位置的全景图像中的所有点位；对两个点位对应的深度图像进行逐点匹配，确定是否描述相同空间；当确定两个点位描述相同空间时，根据两个点位生成同名点组合；
迭代优化单元，用于分别对所述同名点组合中的同名点进行位姿和尺度参数迭代优化，得到优化后的位姿关系和尺度参数；其中，所述迭代优化单元，具体用于：根据同名点组合中的同名点的位姿和尺度参数，分别调整旋转矩阵、尺度矩阵、变换矩阵、平移矩阵的取值，迭代优化所述同名点的位姿和尺度参数，得到优化后的位姿关系和尺度参数；
拼接单元，用于根据所述优化后的位姿关系和尺度参数，拼接形成所述房间的三维图像。
7.如权利要求6所述的***，其特征在于，所述同名点组合生成单元具体用于：
将所述两个点位的深度图像投射到三维空间中，生成点云A与点云B；
将点云A旋转平移到点云B所在的坐标系，生成点云t-A；
针对点云t-A的每个点Pi，将其投影到点云B对应的全景图像上，得到投影点(Tix,Tiy)；
根据投影点(Tix,Tiy)得到对应的点云B的点Pj；
当确定点Pj和Pi的法向量的夹角小于预设角度△α；且Pi和Pj的欧氏距离小于预设欧氏距离△D时，将点云B的点Pj，旋转回到点云A所在的坐标系，并投影到点云A对应的全景图像上；
当确定点Pj的投影像素点(Sjx,Sjy)与点Pi本身所在的像素点(Six,Siy)的像素距离小于预设像素距离△L时，点Pi与点Pj形成一组同名点，将其存入同名点集合。
8.如权利要求6所述的***，其特征在于，所述迭代优化单元，还用于：
根据如下公式，调整各个矩阵的取值，迭代优化同名点的位姿关系和尺度参数：
Figure FDA0003260084420000041
Figure FDA0003260084420000042
其中，Pf和Ps分别为同名点组合中的两个同名点；R为3*3的旋转矩阵，Rf、Rs分别为Pf和Ps在旋转矩阵R中的取值；S为3*3的尺度矩阵，Sf、Ss分别为Pf和Ps在尺度矩阵S中的取值；Q为4*4的变换矩阵，Qf、Qs分别为Pf和Ps在变换矩阵Q中的取值；T为3*1的平移矩阵，Tf、Ts分别为Pf和Ps在平移矩阵T中的取值；Nf、Ns分别为Pf和Ps的法向量；NMf、NMs分别为Pf和Ps所属点云的主方向；λ1、λ2为惩罚项系数，D⊥为Pf在Ps法向量方向的距离，n为所有同名点的数量；
Figure FDA0003260084420000043
表示对Pf、Ps进行旋转平移至世界坐标系。
9.如权利要求8所述的***，其特征在于，所述迭代优化单元，还用于：
当达到最大迭代次数或两次迭代优化结果的差距小于预设阈值时，将所述同名点组合中的同名点的位姿关系和尺度参数作为优化后的位姿关系和尺度参数。
10.一种计算机可读存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序用于执行上述权利要求1-5任一所述的方法。
11.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-5任一所述的方法。
CN202010877012.8A 2020-08-27 2020-08-27 三维图像优化生成方法及*** Active CN111986086B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010877012.8A CN111986086B (zh) 2020-08-27 2020-08-27 三维图像优化生成方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010877012.8A CN111986086B (zh) 2020-08-27 2020-08-27 三维图像优化生成方法及***

Publications (2)

Publication Number Publication Date
CN111986086A CN111986086A (zh) 2020-11-24
CN111986086B true CN111986086B (zh) 2021-11-09

Family

ID=73439911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010877012.8A Active CN111986086B (zh) 2020-08-27 2020-08-27 三维图像优化生成方法及***

Country Status (1)

Country Link
CN (1) CN111986086B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113223137B (zh) * 2021-05-13 2023-03-24 广州虎牙科技有限公司 透视投影人脸点云图的生成方法、装置及电子设备
CN113823001A (zh) * 2021-09-23 2021-12-21 北京有竹居网络技术有限公司 户型图生成方法、装置、设备及介质
CN113989376B (zh) * 2021-12-23 2022-04-26 贝壳技术有限公司 室内深度信息的获取方法、装置和可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9189853B1 (en) * 2011-11-30 2015-11-17 Google Inc. Automatic pose estimation from uncalibrated unordered spherical panoramas
CN105678748A (zh) * 2015-12-30 2016-06-15 清华大学 三维监控***中基于三维重构的交互式标定方法和装置
CN109523597A (zh) * 2017-09-18 2019-03-26 百度在线网络技术（北京）有限公司 相机外参的标定方法和装置
CN109544677A (zh) * 2018-10-30 2019-03-29 山东大学 基于深度图像关键帧的室内场景主结构重建方法及***

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105828034B (zh) * 2016-03-22 2018-08-31 合肥师范学院 一种管式反应炉炉膛全景图像成像方法
CN106251399B (zh) * 2016-08-30 2019-04-16 广州市绯影信息科技有限公司 一种基于lsd-slam的实景三维重建方法及实施装置
WO2018072817A1 (en) * 2016-10-18 2018-04-26 Photonic Sensors & Algorithms, S.L. A device and method for obtaining distance information from views
US20180295335A1 (en) * 2017-04-10 2018-10-11 Red Hen Systems Llc Stereographic Imaging System Employing A Wide Field, Low Resolution Camera And A Narrow Field, High Resolution Camera
CN108171790B (zh) * 2017-12-25 2019-02-15 北京航空航天大学 一种基于字典学习的目标重建方法
CN108389157A (zh) * 2018-01-11 2018-08-10 江苏四点灵机器人有限公司 一种三维全景图像快速拼接方法
CN109685838B (zh) * 2018-12-10 2023-06-09 上海航天控制技术研究所 基于超像素分割的图像弹性配准方法
CN110675314B (zh) * 2019-04-12 2020-08-21 北京城市网邻信息技术有限公司 图像处理和三维对象建模方法与设备、图像处理装置及介质
CN110070571B (zh) * 2019-04-28 2020-10-16 安徽农业大学 一种基于深度相机的毛竹形态参数检测方法
CN111080804B (zh) * 2019-10-23 2020-11-06 贝壳找房(北京)科技有限公司 三维图像生成方法及装置
CN110842918B (zh) * 2019-10-24 2020-12-08 华中科技大学 一种基于点云伺服的机器人移动加工自主寻位方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9189853B1 (en) * 2011-11-30 2015-11-17 Google Inc. Automatic pose estimation from uncalibrated unordered spherical panoramas
CN105678748A (zh) * 2015-12-30 2016-06-15 清华大学 三维监控***中基于三维重构的交互式标定方法和装置
CN109523597A (zh) * 2017-09-18 2019-03-26 百度在线网络技术（北京）有限公司 相机外参的标定方法和装置
CN109544677A (zh) * 2018-10-30 2019-03-29 山东大学 基于深度图像关键帧的室内场景主结构重建方法及***

Also Published As

Publication number Publication date
CN111986086A (zh) 2020-11-24

Similar Documents

Publication Publication Date Title
CN111986086B (zh) 三维图像优化生成方法及***
CN111080804B (zh) 三维图像生成方法及装置
JP6560480B2 (ja) 画像処理システム、画像処理方法、及びプログラム
JP6011102B2 (ja) 物体姿勢推定方法
JP5538617B2 (ja) 複数カメラのキャリブレーション用の方法および構成
Schöning et al. Evaluation of multi-view 3D reconstruction software
US8433157B2 (en) System and method for three-dimensional object reconstruction from two-dimensional images
KR100793838B1 (ko) 카메라 모션 추출장치, 이를 이용한 해상장면의 증강현실 제공 시스템 및 방법
JP5093053B2 (ja) 電子カメラ
US20160189419A1 (en) Systems and methods for generating data indicative of a three-dimensional representation of a scene
US20120177283A1 (en) Forming 3d models using two images
CN109521879B (zh) 交互式投影控制方法、装置、存储介质及电子设备
CN111161336B (zh) 三维重建方法、三维重建装置和计算机可读存储介质
EP3547260B1 (en) System and method for automatic calibration of image devices
CN113689578B (zh) 一种人体数据集生成方法及装置
US11074752B2 (en) Methods, devices and computer program products for gradient based depth reconstructions with robust statistics
CN109613974B (zh) 一种大场景下的ar家居体验方法
GB2567245A (en) Methods and apparatuses for depth rectification processing
CN112116714A (zh) 基于二维图像生成房间结构模型的方法及装置
CN112073640B (zh) 全景信息采集位姿获取方法及装置、***
JP2005332177A (ja) ３次元情報処理装置、３次元情報処理方法、及び３次元情報処理プログラム
JP2006113832A (ja) ステレオ画像処理装置およびプログラム
KR102538685B1 (ko) 다시점 정보를 이용하여 3d 정보를 복원하는 방법 및 이를 위한 장치
RU2384882C1 (ru) Способ автоматической компоновки ландшафтных панорамных изображений
Bushnevskiy et al. Multimode camera calibration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210413

Address after: 100085 Floor 101 102-1, No. 35 Building, No. 2 Hospital, Xierqi West Road, Haidian District, Beijing

Applicant after: Seashell Housing (Beijing) Technology Co.,Ltd.

Address before: Unit 05, room 112, 1st floor, office building, Nangang Industrial Zone, economic and Technological Development Zone, Binhai New Area, Tianjin 300457

Applicant before: BEIKE TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant