CN105844696A - 基于射线模型三维重构的图像定位方法以及装置 - Google Patents

基于射线模型三维重构的图像定位方法以及装置 Download PDF

Info

Publication number
CN105844696A
CN105844696A CN201511026787.XA CN201511026787A CN105844696A CN 105844696 A CN105844696 A CN 105844696A CN 201511026787 A CN201511026787 A CN 201511026787A CN 105844696 A CN105844696 A CN 105844696A
Authority
CN
China
Prior art keywords
image
pose
camera
dimensional
reconstruct
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201511026787.XA
Other languages
English (en)
Other versions
CN105844696B (zh
Inventor
周杰
邓磊
段岳圻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201511026787.XA priority Critical patent/CN105844696B/zh
Publication of CN105844696A publication Critical patent/CN105844696A/zh
Priority to PCT/CN2016/113804 priority patent/WO2017114507A1/zh
Priority to US16/066,168 priority patent/US10580204B2/en
Application granted granted Critical
Publication of CN105844696B publication Critical patent/CN105844696B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005—Tree description, e.g. octree, quadtree
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于射线模型三维重构的图像定位方法及装置，其中方法包括：预先采集多个场景的多个图像，并分别对这些图像进行特征提取以得到多个特征点集合；对该多个图像进行两两图像的特征匹配，并根据这些特征匹配生成对应的本征矩阵，并对其进行噪声处理；基于射线模型根据噪声处理后的特征匹配以及本征矩阵进行三维重构以生成三维特征点云以及重构的摄像机位姿集合；获取查询图像，并对其进行特征提取以得到对应的二维特征点集合；基于定位姿态图优化框架根据二维特征点集合、三维特征点云以及重构的摄像机位姿集合进行图像定位。该方法提高重构效果，降低重构过程的采集成本，提高计算速度，并在图像定位过程中，提高图像定位的精度。

Description

基于射线模型三维重构的图像定位方法以及装置
技术领域
本发明涉及图像处理及模式识别技术领域，尤其涉及一种基于射线模型三维重构的图像定位方法以及装置。
背景技术
图像定位技术是通过一张或一组图像，计算得到自身的位姿。该项技术可以用于机器人导航、路径规划、数字旅游、虚拟现实等，能够适用于GPS(Global Positioning System，全球定位***)无法工作的区域，如室内和地下等。相比基于蓝牙、WiFi(WirelessFidelity，无线保真)的定位技术，图像定位技术不依赖于专业设备，实施成本低。
相关技术中，基于图像定位的方法主要有两类：一类是基于图像检索的方法，此类方法寻找查询图像在数据库中的近邻图像，以其位置作为自身位置；另一类是基于三维重构结合图像-点云(2D-3D)匹配的方法，这类方法首先预先采集大量关于目标场景的平面图像，离线进行三维重构,得到场景的三维特征点云，并当在线定位阶段时，提取查询图像特征，并将其与三维特征点云进行2D-3D匹配，利用匹配结果估计目标摄像机的位姿。
但是存在的问题是：针对上述图像检索方法，由于没有更充分的利用三维信息，只能适用于查询图像与库图像姿态差异较小的情况，其定位精度不优于库图像本身的位置精度和采样间隔；相比图像检索方法，上述第二类方法虽然能够得到精度更高的定位结果，但是，其三维重构算法只能用于平面摄像机，受限于平面摄像机较小的视场，通常需要对同一位置变换多个角度进行拍摄，得到数量较大的平面图像集合进行三维重建，重构代价较高，如采集量大、计算量大等。
发明内容
本发明的目的旨在至少在一定程度上解决上述的技术问题之一。
为此，本发明的第一个目的在于提出一种基于射线模型三维重构的图像定位方法。该方法提高了重构效果，降低了重构过程的采集成本，提高了计算速度，并在图像定位过程中，提高图像定位的精度。
本发明的第二个目的在于提出一种基于射线模型三维重构的图像定位装置。
为了实现上述目的，本发明第一方面实施例的基于射线模型三维重构的图像定位方法，包括以下步骤：预先采集多个场景的多个图像，并分别对所述多个图像进行特征提取以得到对应的多个特征点集合；对所述多个图像进行两两图像的特征匹配，并根据所述两两图像的特征匹配生成对应的本征矩阵，并对所述本征矩阵进行噪声处理；基于射线模型根据噪声处理后的所述特征匹配以及本征矩阵进行三维重构以生成三维特征点云以及重构的摄像机位姿集合；获取查询图像，并对所述查询图像进行特征提取以得到对应的二维特征点集合；以及基于定位姿态图优化框架根据所述二维特征点集合、所述三维特征点云以及重构的摄像机位姿集合进行图像定位。
根据本发明实施例的基于射线模型三维重构的图像定位方法，在基于射线模型的三维重构过程中，通过使用三维射线描述二维像素坐标，射线模型能够无畸变地表达多种摄像机模型(如全景、鱼眼、平面)，即能够适用于多种类型的摄像机，并充分利用其内在的几何性质，使得重构效果更好，且降低了采集成本，提高了计算速度，并且在图像定位过程中，提出的基于姿态图优化的定位框架，融合了图像点云之间的2D-3D特征匹配和近邻摄像机的位姿信息，提高了图像定位的精度。
为了实现上述目的，本发明第二方面实施例的基于射线模型三维重构的图像定位装置，包括：第一获取模块，用于预先采集多个场景的多个图像，并分别对所述多个图像进行特征提取以得到对应的多个特征点；生成模块，用于对所述多个图像进行两两图像的特征匹配，并根据所述两两图像的特征匹配生成对应的本征矩阵，并对所述本征矩阵进行噪声处理；重构模块，用于基于射线模型根据噪声处理后的所述本征矩阵进行三维重构以生成三维特征点云以及重构的摄像机位姿集合；第二获取模块，用于获取查询图像，并对所述查询图像进行特征提取以得到对应的二维特征点集合；以及图像定位模块，用于基于定位姿态图优化框架根据所述二维特征点集合、所述三维特征点云以及重构的摄像机位姿集合进行图像定位。
根据本发明实施例的基于射线模型三维重构的图像定位装置，在基于射线模型的三维重构过程中，通过使用三维射线描述二维像素坐标，射线模型能够无畸变地表达多种摄像机模型(如全景、鱼眼、平面)，即能够适用于多种类型的摄像机，并充分利用其内在的几何性质，使得重构效果更好，且降低了采集成本，提高了计算速度，并且在图像定位过程中，提出的基于姿态图优化的定位框架，融合了图像点云之间的2D-3D特征匹配和近邻摄像机的位姿信息，提高了图像定位的精度。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中，
图1是根据本发明一个实施例的基于射线模型三维重构的图像定位方法的流程图；
图2是根据本发明实施例的生成三维特征点云以及重构的摄像机位姿集合的流程图；
图3是根据本发明实施例的图像定位的具体实现过程的流程图；
图4是根据本发明一个实施例的基于射线模型三维重构的图像定位方法的示例图；
图5是根据本发明一个实施例的基于射线模型三维重构的图像定位装置的结构框图；
图6是根据本发明一个实施例的重构模块的结构框图；
图7是根据本发明另一个实施例的重构模块的结构框图；以及
图8是根据本发明一个实施例的图像定位模块的结构框图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述根据本发明实施例的基于射线模型三维重构的图像定位方法以及装置。
图1是根据本发明一个实施例的基于射线模型三维重构的图像定位方法的流程图。如图1所示，该基于射线模型三维重构的图像定位方法可以包括：
S101，预先采集多个场景的多个图像，并分别对多个图像进行特征提取以得到对应的多个特征点集合。
其中，在本发明的实施例中，术语“多个”可进行广义理解，即对应足够多的数量。此外，在本发明的实施例中，图像的类型可包括但不限于全景类型、鱼眼类型和平面类型等。
具体地，可预先采集足够的场景图像作为本实施例所提到的图像，并分别对这些图像提取SIFT(Scale-invariant feature transform，尺度不变特征变换)特征，得到每个特征点的位置以及描述子集合，其中该描述子集合用于描述对应的特征点的周围区域信息。
S102，对多个图像进行两两图像的特征匹配，并根据两两图像的特征匹配生成对应的本征矩阵，并对本征矩阵进行噪声处理。
具体而言，在本发明的实施例中，可先根据多个特征点集合对多个图像进行两两匹配，并存储每个图像对的特征点匹配情况。之后，可基于匹配上的特征点集合估计本征矩阵。
更具体地，可根据特征点的描述子集合对所有图像进行两两匹配，并储存每个图像对的特征点匹配情况，然后，可基于匹配上的特征点估计本征矩阵，并同时对该本征矩阵进行过滤噪声。可以理解，在本发明的实施例中，若将上述两两匹配的特征点组织起来，则可形成多条轨迹，其中，每条轨迹对应于将被重构的一个3D(三维)点。
S103，基于射线模型根据噪声处理后的特征匹配以及本征矩阵进行三维重构以生成三维特征点云以及重构的摄像机位姿集合。
可以理解，相较于传统的基于像素的平面模型，本发明通过射线模型能够适应不同的摄像机类型(如全景类型、鱼眼类型、平面类型等)，并将其统一起来。
具体地，可先构建姿态图，其中，该姿态图可包含摄像机借点、三维(3D)点节点、摄像机-摄像机连接边、摄像机-3D点连接边等，这些可共同用于描述摄像机集合与3D点集合之间的可视性关系。之后，可基于射线模型的增量式重构，即：可先选择相对姿态估计质量较高的一对摄像机作为初始种子，利用基于射线模型的三角测量(triangulation)寻找新的样本3D点，之后可利用新的样本3D点基于射线模型寻找更多的摄像机，不断迭代并去噪优化，直至寻找不到更多的摄像机或者3D点。
具体而言，在本发明的一个实施例中，如图2所示，基于射线模型根据噪声处理后的特征匹配以及本征矩阵进行三维重构以生成三维特征点云以及摄像机位姿集合的具体实现过程可包括以下步骤：
S201，对噪声处理后的本征矩阵进行分解以得到对应的多个摄像机之间的相对姿态。
S202，根据多个摄像机之间的相对姿态和多个特征点构建对应的姿态图。
具体地，可通过预设的姿态图创建公式根据多个摄像机之间的相对姿态和多个特征点构建对应的姿态图。其中，在本发明的实施例中，预设的姿态图创建公式可为：
G＝(NP,NX,EP,EX) (1)
其中，NP为摄像机节点，NX为特征点(即样本3D点)节点，EP为摄像机-摄像机连接边，边上附有摄像机i和k之间的相对位置姿态属性，该属性可包括相对旋转Rik和相对平移方向Cik，即EPrelpose(i,k)＝(Rik,Cik)；EX为摄像机-特征点连接边，该边上附有该摄像机观测到的特征点坐标EXox＝xij；根据该姿态图可以定义可视性函数visX(Xj,Ps)和visP(Pi,Xs)，其中visX(Xj,Ps)＝{i:(i,j)∈EX,i∈Ps}意为给定特征点Xj和摄像机集合Ps的条件下，返回Ps中观测到Xj的摄像机集合；visP(Pi,Xs)＝{j:(i,j)∈EX,j∈Xs}意为给定特征点集合Xs和摄像机Pi的条件下，返回Xs中被Pi观测到的特征点集合。
S203，分别获取多个摄像机的模型，并分别根据多个摄像机的模型定义对应的射线模型。
具体地，可先获取摄像机的模型，如全景模型、鱼眼模型、平面模型等，之后可根据不同的摄像机的模型分别定义对应的射线模型。需要说明的是，射线模型是基于每条射线r可以用原点和单位球上的另一个点x(x,y,z),x2+y2+z2＝1所定义的，该射线与图像坐标u(u,v)通过映射函数一一对应；映射函数k可定义为x＝k(u,K),u＝k-1(x,K)，其中K为摄像机的内参；对于不同的摄像机模型，其映射函数各自不同，其中，对于全景摄像机、鱼眼摄像机、平面摄像机所对应的映射函数可分别由如下式(2)-(4)描述：
p = u - u c f , t = v - v c f , u c = ( u c , v c ) - - - ( 2 )
k(u,(f,uc))＝(cos(t)sin(p),-sin(t),cos(t)cos(p))
u 1 = u - u c f , v 1 = v - v c f , u c = ( u c , v c )
φ＝arctan 2(v1,u1)
r 1 = u 1 2 + v 1 2 ( 2 ) - - - ( 3 )
θ = 2 a r c t a n ( r 1 2 )
k(u,(f,uc))＝(cos(φ)sin(θ),-cos(θ),sin(φ)sin(θ))
p = a r c t a n ( u - u c f ) , t = a r c t a n ( v - v c f ) - - - ( 4 )
k(u,(f,uc))＝(cos(t)sin(p),-sin(t),cos(t)cos(p))
其中，式(2)-(4)中uc为摄像机主点坐标，f为焦距，特别的对于全景摄像机p为绕y轴的旋转角度，t为绕x轴的俯仰角度，u1、v1、φ、θ、r均为临时变量。
S204，基于对应的射线模型对姿态图进行增量式重构以生成三维特征点云以及重构的摄像机位姿集合。
具体地，可先选择多个摄像机之间的相对姿态估计质量较高的一对摄像机作为初始种子，之后可利用基于对应的射线模型的三角测量(triangulation)寻找新的3D点，而后利用新的3D点基于该射线模型寻找更多的摄像机，不断迭代，直至寻找不到更多的摄像机或者3D点；其中，在该过程可不断实施非线性优化，以用于减小三维重构的误差；同时使用质量评价函数剔除质量不高的摄像机和3D点。需要说明的是，在该过程中的距离度量、三角测量、摄像机姿态估计、非线性优化、质量评价函数等模块都是针对射线模型所改进的，相比传统的仅适用平面图像的重构算法，具有更广泛的普适性。
由此，在基于射线模型的三维重构算法中，通过使用三维射线描述二维像素坐标，射线模型能够无畸变地表达多种摄像机模型(如全景、鱼眼、平面等)，，即适用于多种类型的摄像机，扩大了适用范围。
进一步地，在本发明的一个实施例中，在生成三维特征点云以及重构的摄像机位姿集合之后，该图像定位方法还可包括：建立三维特征点云中每个三维特征点云的索引树，并针对重构的摄像机位姿集合中多个摄像头建立空间位置的索引树。具体地，在三维重构完成之后，可建立点云特征与摄像机位置索引树，其中可以理解，三维特征点云中的每个点都附带若干特征，这些特征来自于观测到该点的图像；在后续在线定位阶段中，需要建立查询图像的特征与该特征点云的匹配，以实现图像定位；为了加速匹配过程，本发明对特征点云建立Kd-tree索引树，以加快检索速度；此外，由于在线定位阶段需要检索查询图像的空间近邻，所以本发明又对重构出的摄像机建立空间位置的Kd-tree索引树。
需要说明的是，在本发明的实施例中，上述步骤S101-S103均可为离线分析。也就是说，通过上述步骤S101-S103可以预先建立图像库，并根据该图像库预先生成对应的三维特征点云以及重构的摄像机位姿集合，并存储，以供后续在线图像定位阶段的使用。
S104，获取查询图像，并对查询图像进行特征提取以得到对应的二维特征点集合。
具体地，可对获取到的查询图像提取特征，得到该查询图像的二维特征点集合。需要说明的是，每一个二维特征点对应一个特征描述子，而3D特征点云中每个3D点对应多个特征描述子，这些描述子可由三维重构阶段多张图像所贡献。
S105，基于定位姿态图优化框架根据二维特征点集合、三维特征点云以及重构的摄像机位姿集合进行图像定位。
具体地，可将查询图像的特征与离线部分生成的3D点云的特征进行匹配(即2D-3D匹配)，依据足够数量的有效匹配，利用摄像机姿态估计算法估计查询图像的初始位姿，之后，可根据该初始位姿查询近邻库摄像机(即近邻图像)，并融合2D-3D匹配和与近邻图像之间的相对姿态建立定位姿态图优化框架并进行优化以得到更高精度的定位结果。
具体而言，在本发明的一个实施例中，如图3所示，基于定位姿态图优化框架根据二维特征点集合、三维特征点云以及重构的摄像机位姿集合进行图像定位的具体实现过程可包括以下步骤：
S301，根据多个三维特征点云的索引树将二维特征点集合与三维特征点云进行有效匹配以得到双向2D-3D匹配集合。
具体地，可先对某一个二维特征点Fi 2D在3D点云特征集合F3D中进行k近邻查询(如k＝5)，如果k近邻中来自不同3D点的最近邻与次近邻的比值小于某一阈值thmatch，则认为二维特征点与最近邻3D点之间构建了一个2D至3D的单向有效匹配，F2D中所有此类匹配构成了一个2D至3D的单向有效匹配集合M2D→3D(F2D,F3D)；其次对M2D→3D(F2D,F3D)中的每个3D点，反向在查询图像的特征集合F2D中查询近邻和次近邻.若最近邻与次近邻的比值小于阈值thmatch，则认为得到了一个有效的3D至2D的单向匹配，这些匹配构成3D至2D的单项匹配集合M2D←3D(F2D,F3D)；这两单向匹配集合M2D→3D(F2D,F3D)和M2D←3D(F2D,F3D)的交集即为双向2D-3D匹配集合M2D-3D(F2D,F3D)。
S302，通过摄像机姿态估计算法对双向2D-3D匹配集合进行估计以生成查询图像的初始位姿。
具体地，基于双向2D-3D匹配集合M2D-3D(F2D,F3D)通过摄像机姿态估计算法剔除不满足摄像机几何约束的2D-3D匹配，得到内点集合I2D-3D，并估计出查询图像的初始位姿Pq 2D-3D＝Rq 2D-3D[I|-Cq 2D-3D]，其中，Pq 2D-3D为查询摄像机的摄像机矩阵，由旋转矩阵R和该摄像机矩阵的光心位置C构成。
S303，根据查询图像的初始位姿以及空间位置的索引树在重构的摄像机位姿集合中进行查询以得到近邻图像。
具体地，可先从查询图像的初始位姿中得到查询图像q的初始空间位置Cq 2D-3D，之后可根据该查询图像的初始空间位置以及空间位置的索引树，在3D特征点云对应的重构的摄像机位姿集合中查询以得到k近邻{Pi,i＝1,...,k}，即近邻图像。
S304，将查询图像与近邻图像进行特征匹配以得到对应的多个有效匹配集合。
具体地，可将查询图像与近邻图像进行2D-2D的特征匹配得到两个图像之间的多个有效匹配集合。
S305，根据多个有效匹配集合生成近邻图像之间的相对姿态。
具体地，基于该有效匹配集合估计本征矩阵，并同时得到内点匹配，当匹配数量少于某一阈值时，可认为该本征矩阵噪声较大，移除该近邻图像，并分解该本征矩阵以得到与近邻图像间的相对姿态Riq,Ciq，其中相对姿态中的平移Ciq只能提供方向，不能提供大小。
S306，融合双向2D-3D匹配集合和近邻图像之间的相对姿态建立定位姿态图优化框架。
具体地，可定义关于查询图像q的姿态图Gq＝(NP,NX,EP,EX)，其中,NP为摄像机节点，包含查询图像的摄像机Pq和其近邻图像的摄像机{Pi,i＝1,...,k}，NX为3D点节点，对应于2D-3D匹配得到的中的3D点；EP为查询图像的摄像机Pq与近邻图像的摄像机{Pi,i＝1,...,k}的连接边，边上附有i和q之间的相对位置姿态，包括相对旋转Riq和相对平移方向Ciq，即EPrel-pose(i,q)＝(Riq,Ciq)；EX为查询图像的摄像机Pq与3D点Xj的连接边，边上附有查询图像的摄像机Pq观测到的特征点射线坐标EXox＝xqj。
之后，对反投影误差及相对姿态误差之和进行优化，基于该查询图像构建目标函数(即上述的定位姿态图优化框架)如下：
min f ( P q ) = m i n 1 n Σ j = 1 , ... , n d x ( P q , X j ; x q j ) + λ m d r e l ( P i , P q ; R i q , C i q ) - - - ( 5 )
其中，Pq＝Rq[I|-Cq]为待优化的查询图像的摄像机矩阵，Rq,Cq为该摄像机在世界坐标系下的旋转和平移；{(xqj,Xj),j＝1,...n}为输入的双向2D-3D匹配集合；{(Pi,Riq,Ciq),i＝1,...m}为查询图像的近邻图像以及相应的相对姿态集合；λ为两类代价的平衡因子；drel()为相对姿态边上的代价函数，其定义如下：
d r e l ( P i , P q ; R i q , C i q ) = d R ( R i R i q , R q ) + | | C q - C i | | C q - C i | | - R i C i q | | - - - - ( 6 )
其中，相对姿态的代价函数包含两项，分别为旋转的代价和平移方向的代价，二者相互独立；旋转的代价定义为Ri,Rq的相对欧拉角，平移方向的代价为观测出的平移方向Ri,Ciq与待优化的平移方向之间的弦距离。
S307，根据定位姿态图优化框架对查询图像的初始位姿进行优化以实现图像定位。
具体地，采用2D-3D的定位结果(即上述的查询图像的初始位姿)Pq 2D-3D作为初值，根据定位姿态图优化框架通过Levenberg-Marquardt算法对该查询图像的初始位姿Pq 2D-3D进行优化以得到更高精度的定位结果。
由此，相比传统仅使用2D-3D匹配信息的定位方法，本发明通过使用图优化的方法融合了2D-3D的匹配信息和图像间的相对姿态信息，提高了最终定位结果的精确性。
需要说明的是，上述步骤S104-S105为在线计算，即接收查询图像，然后根据该查询图像查询预先生成的三维特征点云以及重构的摄像机位姿集合，以实现图像定位。
下面将结合图4对本发明实施例的基于射线模型三维重构的图像定位方法进行描述。
举例而言，如图4所示，可预先进行离线重构，以得到三维特征点云以及重构的摄像机位姿集合，即可先离线采集足够场景的图像，并提取图像特征并对图像进行两两匹配，之后，可构建姿态图，并基于射线模型的增量式进行三维重构，以得到三维特征点云以及重构的摄像机位姿集合，并建立三维特征点云的索引树以及摄像头的空间位置索引树。当获取到查询图像时，可进行在线定位，即可先对获取到的查询图像提取特征，并将提取到的特征与三维特征点云进行2D-3D的有效匹配以得到双向2D-3D匹配集合，之后通过摄像机姿态估计算法对该双向2D-3D匹配集合进行估计以生成查询图像的初始位姿，并检索近邻摄像机并计算相对位姿，最后，通过建立定位姿态图融合二者信息得到更高精度的定位结果，即目标摄像机位置与姿态。
根据本发明实施例的基于射线模型三维重构的图像定位方法，在基于射线模型的三维重构过程中，通过使用三维射线描述二维像素坐标，射线模型能够无畸变地表达多种摄像机模型(如全景、鱼眼、平面)，即能够适用于多种类型的摄像机，并充分利用其内在的几何性质，使得重构效果更好，且降低了采集成本，提高了计算速度，并且在图像定位过程中，提出的基于姿态图优化的定位框架，融合了图像点云之间的2D-3D特征匹配和近邻摄像机的位姿信息，提高了图像定位的精度。
为了实现上述实施例，本发明还提出了一种基于射线模型三维重构的图像定位装置。
图5是根据本发明一个实施例的基于射线模型三维重构的图像定位装置的结构框图。如图5所示，该基于射线模型三维重构的图像定位装置可以包括：第一获取模块100、生成模块200、重构模块300、第二获取模块400和图像定位模块500。
具体地，第一获取模块100可用于预先采集多个场景的多个图像，并分别对多个图像进行特征提取以得到对应的多个特征点集合。其中，在本发明的实施例中，术语“多个”可进行广义理解，即对应足够多的数量。此外，在本发明的实施例中，图像的类型可包括但不限于全景类型、鱼眼类型和平面类型等。
更具体地，第一获取模块100可预先采集足够的场景图像作为本实施例提到的图像，并分别对这些图像提取SIFT(Scale-invariant feature transform，尺度不变特征变换)特征，得到每个特征点的位置以及描述子集合，其中该描述子集合用于描述对应的特征点的周围区域信息。
生成模块200可用于对多个图像进行两两图像的特征匹配，并根据两两图像的特征匹配生成对应的本征矩阵，并对本征矩阵进行噪声处理。具体而言，在本发明的实施例中，生成模块200可先根据多个特征点集合对多个图像进行两两匹配，并存储每个图像对的特征点匹配情况，之后，可基于匹配上的特征点集合估计本征矩阵。
更具体地，生成模块200可根据特征点的描述子集合对所有图像进行两两匹配，并储存每个图像对的特征点匹配情况，然后，可基于匹配上的特征点估计本征矩阵，并同时对该本征矩阵进行过滤噪声。可以理解，在本发明的实施例中，若将上述两两匹配的特征点组织起来，则可形成多条轨迹，其中，每条轨迹对应于将被重构的一个3D(三维)点。
重构模块300可用于基于射线模型根据噪声处理后的本征矩阵进行三维重构以生成三维特征点云以及重构的摄像机位姿集合。可以理解，相较于传统的基于像素的平面模型，本发明通过射线模型能够适应不同的摄像机类型(如全景类型、鱼眼类型、平面类型等)，并将其统一起来。
更具体地，重构模块300可先构建姿态图，其中，该姿态图可包含摄像机借点、三维(3D)点节点、摄像机-摄像机连接边、摄像机-3D点连接边等，这些可共同用于描述摄像机集合与3D点集合之间的可视性关系，之后，可基于射线模型的增量式重构，即：可先选择相对姿态估计质量较高的一对摄像机作为初始种子，利用基于射线模型的三角测量(triangulation)寻找新的3D点，之后可利用新的3D点基于射线模型寻找更多的摄像机，不断迭代并去噪优化，直至寻找不到更多的摄像机或者3D点。
具体而言，在本发明的实施例中，如图6所示，该重构模块300可包括：分解单元310、构建单元320、定义单元330和重构单元340。更具体地，分解单元310可用于对噪声处理后的本征矩阵进行分解以得到对应的多个摄像机之间的相对姿态。
构建单元320可用于根据多个摄像机之间的相对姿态和多个特征点构建对应的姿态图。更具体地，可通过预设的姿态图创建公式根据多个摄像机之间的相对姿态和多个特征点构建对应的姿态图。其中，在本发明的实施例中，预设的姿态图创建公式可为上述式(1)。
定义单元330可用于分别获取多个摄像机的模型，并分别根据多个摄像机的模型定义对应的射线模型。更具体地，定义单元330可先获取摄像机的模型，如全景模型、鱼眼模型、平面模型等，之后可根据不同的摄像机的模型分别定义对应的射线模型。需要说明的是，射线模型是基于每条射线r可以用原点和单位球上的另一个点x(x,y,z),x2+y2+z2＝1所定义的，该射线与图像坐标u(u,v)通过映射函数一一对应；映射函数k可定义为x＝k(u,K),u＝k-1(x,K)，其中K为摄像机的内参；对于不同的摄像机模型，其映射函数各自不同，其中，对于全景摄像机、鱼眼摄像机、平面摄像机所对应的映射函数可分别由上述式(2)-(4)描述。
重构单元340可用于基于对应的射线模型对姿态图进行增量式重构以生成三维特征点云以及重构的摄像机位姿集合。更具体地，重构单元340可先选择多个摄像机之间的相对姿态估计质量较高的一对摄像机作为初始种子，之后可利用基于对应的射线模型的三角测量(triangulation)寻找新的3D点，而后利用新的3D点基于该射线模型寻找更多的摄像机，不断迭代，直至寻找不到更多的摄像机或者3D点；其中，在该过程可不断实施非线性优化，以用于减小三维重构的误差；同时使用质量评价函数剔除质量不高的摄像机和3D点。需要说明的是，在该过程中的距离度量、三角测量、摄像机姿态估计、非线性优化、质量评价函数等模块都是针对射线模型所改进的，相比传统的仅适用平面图像的重构算法，具有更广泛的普适性。
由此，在基于射线模型的三维重构算法中，通过使用三维射线描述二维像素坐标，射线模型能够无畸变地表达多种摄像机模型(如全景、鱼眼、平面等)，，即适用于多种类型的摄像机，扩大了适用范围。
进一步地，在本发明的一个实施例中，如图7所示，该重构模块300还可包括：建立单元350，建立单元350可用于在重构单元340生成三维特征点云以及重构的摄像机位姿集合之后，建立三维特征点云中每个三维特征点云的索引树，并针对重构的摄像机位姿集合中多个摄像头建立空间位置的索引树。具体地，建立单元350在重构单元340三维重构完成之后，可建立点云特征与摄像机位置索引树，其中可以理解，三维特征点云中的每个点都附带若干特征，这些特征来自于观测到该点的图像；在后续在线定位阶段中，需要建立查询图像的特征与该特征点云的匹配，以实现图像定位；为了加速匹配过程，本发明对特征点云建立Kd-tree索引树，以加快检索速度；此外，由于在线定位阶段需要检索查询图像的空间近邻，所以本发明又对重构出的摄像机建立空间位置的Kd-tree索引树。
第二获取模块400可用于获取查询图像，并对查询图像进行特征提取以得到对应的二维特征点集合。更具体地，第二获取模块400可对获取到的查询图像提取特征，得到该查询图像的二维特征点集合。需要说明的是，每一个二维特征点对应一个特征描述子，而3D特征点云中每个3D点对应多个特征描述子，这些描述子可由三维重构阶段多张图像所贡献。
图像定位模块500可用于基于定位姿态图优化框架根据二维特征点集合、三维特征点云以及重构的摄像机位姿集合进行图像定位。更具体地，图像定位模块500可将查询图像的特征与离线部分生成的3D点云的特征进行匹配(即2D-3D匹配)，依据足够数量的有效匹配，利用摄像机姿态估计算法估计查询图像的初始位姿，之后，可根据该初始位姿查询近邻库摄像机(即近邻图像)，并融合2D-3D匹配和与近邻图像之间的相对姿态建立定位姿态图优化框架并进行优化以得到更高精度的定位结果。
具体而言，在本发明的实施例中，如图8所示，该图像定位模块500可包括：第一匹配单元510、第一生成单元520、查询单元530、第二匹配单元540、第二生成单元550、建立单元560和图像定位单元570。
具体地，第一匹配单元510可用于根据多个三维特征点云的索引树将二维特征点集合与三维特征点云进行有效匹配以得到双向2D-3D匹配集合。
更具体地，第一匹配单元510可先对某一个二维特征点Fi 2D在3D点云特征集合F3D中进行k近邻查询(如k＝5)，如果k近邻中来自不同3D点的最近邻与次近邻的比值小于某一阈值thmatch，则认为二维特征点与最近邻3D点之间构建了一个2D至3D的单向有效匹配，F2D中所有此类匹配构成了一个2D至3D的单向有效匹配集合M2D→3D(F2D,F3D)；其次对M2D→3D(F2D,F3D)中的每个3D点，反向在查询图像的特征集合F2D中查询近邻和次近邻.若最近邻与次近邻的比值小于阈值thmatch，则认为得到了一个有效的3D至2D的单向匹配，这些匹配构成3D至2D的单项匹配集合M2D←3D(F2D,F3D)；这两单向匹配集合M2D→3D(F2D,F3D)和M2D←3D(F2D,F3D)的交集即为双向2D-3D匹配集合M2D-3D(F2D,F3D)。
第一生成单元520可用于通过摄像机姿态估计算法对双向2D-3D匹配集合进行估计以生成查询图像的初始位姿。更具体地，第一生成单元520可基于双向2D-3D匹配集合M2D-3D(F2D,F3D)通过摄像机姿态估计算法剔除不满足摄像机几何约束的2D-3D匹配，得到内点集合I2D-3D，并估计出查询图像的初始位姿Pq 2D-3D＝Rq 2D-3D[I|-Cq 2D-3D]，其中，Pq 2D-3D为查询摄像机的摄像机矩阵，由旋转矩阵R和该摄像机矩阵的光心位置C构成。
查询单元530可用于根据查询图像的初始位姿以及空间位置的索引树在重构的摄像机位姿集合中进行查询以得到近邻图像。更具体地，查询单元530可先从查询图像的初始位姿中得到查询图像q的初始空间位置Cq 2D-3D，之后可根据该查询图像的初始空间位置以及空间位置的索引树，在3D特征点云对应的重构的摄像机位姿集合中查询以得到k近邻{Pi,i＝1,...,k}，即近邻图像。
第二匹配单元540可用于将查询图像与近邻图像进行特征匹配以得到对应的多个有效匹配集合。更具体地，第二匹配单元540可将查询图像与近邻图像进行2D-2D的特征匹配得到两个图像之间的多个有效匹配集合。
第二生成单元550可用于根据多个有效匹配集合生成近邻图像之间的相对姿态。更具体地，第二生成单元550可基于该有效匹配集合估计本征矩阵，并同时得到内点匹配，当匹配数量少于某一阈值时，可认为该本征矩阵噪声较大，移除该近邻图像，并分解该本征矩阵以得到与近邻图像间的相对姿态Riq,Ciq，其中相对姿态中的平移Ciq只能提供方向，不能提供大小。
建立单元560可用于融合双向2D-3D匹配集合和近邻图像之间的相对姿态建立定位姿态图优化框架。更具体地，建立单元560可定义关于查询图像q的姿态图Gq＝(NP,NX,EP,EX)，其中,NP为摄像机节点，包含查询图像的摄像机Pq和其近邻图像的摄像机{Pi,i＝1,...,k}，NX为3D点节点，对应于2D-3D匹配得到的中的3D点；EP为查询图像的摄像机Pq与近邻图像的摄像机{Pi,i＝1,...,k}的连接边，边上附有i和q之间的相对位置姿态，包括相对旋转Riq和相对平移方向Ciq，即EPrel-pose(i,q)＝(Riq,Ciq)；EX为查询图像的摄像机Pq与3D点Xj的连接边，边上附有查询图像的摄像机Pq观测到的特征点射线坐标EXox＝xqj，之后，对反投影误差及相对姿态误差之和进行优化，基于该查询图像构建目标函数(即上述的定位姿态图优化框架)如上述式(5)。
图像定位单元570可用于根据定位姿态图优化框架对查询图像的初始位姿进行优化以实现图像定位。更具体地，图像定位单元570可采用2D-3D的定位结果(即上述的查询图像的初始位姿)Pq 2D-3D作为初值，根据定位姿态图优化框架通过Levenberg-Marquardt算法对该查询图像的初始位姿Pq 2D-3D进行优化以得到更高精度的定位结果。
由此，相比传统仅使用2D-3D匹配信息的定位方法，本发明通过使用图优化的方法融合了2D-3D的匹配信息和图像间的相对姿态信息，提高了最终定位结果的精确性。
根据本发明实施例的基于射线模型三维重构的图像定位装置，在基于射线模型的三维重构过程中，通过使用三维射线描述二维像素坐标，射线模型能够无畸变地表达多种摄像机模型(如全景、鱼眼、平面)，即能够适用于多种类型的摄像机，并充分利用其内在的几何性质，使得重构效果更好，且降低了采集成本，提高了计算速度，并且在图像定位过程中，提出的基于姿态图优化的定位框架，融合了图像点云之间的2D-3D特征匹配和近邻摄像机的位姿信息，提高了图像定位的精度。
在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于射线模型三维重构的图像定位方法，其特征在于，包括以下步骤：
预先采集多个场景的多个图像，并分别对所述多个图像进行特征提取以得到对应的多个特征点集合；
对所述多个图像进行两两图像的特征匹配，并根据所述两两图像的特征匹配生成对应的本征矩阵，并对所述本征矩阵进行噪声处理；
基于射线模型根据噪声处理后的所述特征匹配以及本征矩阵进行三维重构以生成三维特征点云以及重构的摄像机位姿集合；
获取查询图像，并对所述查询图像进行特征提取以得到对应的二维特征点集合；以及
基于定位姿态图优化框架根据所述二维特征点集合、所述三维特征点云以及重构的摄像机位姿集合进行图像定位。
2.如权利要求1所述的基于射线模型三维重构的图像定位方法，其特征在于，所述对所述多个图像进行两两图像的特征匹配，并根据所述两两图像的特征匹配生成对应的本征矩阵，具体包括：
根据所述多个特征点集合对所述多个图像进行两两匹配，并存储每个图像对的特征点匹配情况；以及
基于匹配上的特征点集合估计本征矩阵。
3.如权利要求1所述的基于射线模型三维重构的图像定位方法，其特征在于，基于射线模型根据噪声处理后的所述特征匹配以及本征矩阵进行三位重构以生成样本三维特征点云以及重构的摄像机位姿集合，具体包括：
对所述噪声处理后的本征矩阵进行分解以得到对应的多个摄像机之间的相对姿态；
根据所述多个摄像机之间的相对姿态和多个特征点构建对应的姿态图；
分别获取所述多个摄像机的模型，并分别根据所述多个摄像机的模型定义对应的射线模型；
基于所述对应的射线模型对所述姿态图进行增量式重构以生成三维特征点云以及重构的摄像机位姿集合。
4.如权利要求3所述的基于射线模型三维重构的图像定位方法，其特征在于，在生成三维特征点云以及重构的摄像机位姿集合之后，所述方法还包括：
建立所述三维特征点云中多个三维特征点云的索引树，并针对所述重构的摄像机位姿集合中多个摄像头建立空间位置的索引树。
5.如权利要求4所述的基于射线模型三维重构的图像定位方法，其特征在于，基于定位姿态图优化框架根据所述二维特征点集合、所述三维特征点云以及重构的摄像机位姿集合进行图像定位，具体包括：
根据所述多个三维特征点云的索引树将所述二维特征点集合与所述三维特征点云进行有效匹配以得到双向2D-3D匹配集合；
通过摄像机姿态估计算法对所述双向2D-3D匹配集合进行估计以生成所述查询图像的初始位姿；
根据所述查询图像的初始位姿以及所述空间位置的索引树在所述重构的摄像机位姿集合中进行查询以得到近邻图像；
将所述查询图像与所述近邻图像进行特征匹配以得到对应的多个有效匹配集合；
根据所述多个有效匹配集合生成所述近邻图像之间的相对姿态；
融合所述双向2D-3D匹配集合和所述近邻图像之间的相对姿态建立所述定位姿态图优化框架；以及
根据所述定位姿态图优化框架对所述查询图像的初始位姿进行优化以实现图像定位。
6.一种基于射线模型三维重构的图像定位装置，其特征在于，包括：
第一获取模块，用于预先采集多个场景的多个图像，并分别对所述多个图像进行特征提取以得到对应的多个特征点集合；
生成模块，用于对所述多个图像进行两两图像的特征匹配，并根据所述两两图像的特征匹配生成对应的本征矩阵，并对所述本征矩阵进行噪声处理；
重构模块，用于基于射线模型根据噪声处理后的所述本征矩阵进行三维重构以生成三维特征点云以及重构的摄像机位姿集合；
第二获取模块，用于获取查询图像，并对所述查询图像进行特征提取以得到对应的二维特征点集合；以及
图像定位模块，用于基于定位姿态图优化框架根据所述二维特征点集合、所述三维特征点云以及重构的摄像机位姿集合进行图像定位。
7.如权利要求6所述的基于射线模型三维重构的图像定位装置，其特征在于，所述生成模块具体用于：
根据所述多个特征点集合对所述多个图像进行两两匹配，并存储每个图像对的特征点匹配情况；以及
基于匹配上的特征点集合估计本征矩阵。
8.如权利要求6所述的基于射线模型三维重构的图像定位装置，其特征在于，所述重构模块包括：
分解单元，用于对所述噪声处理后的本征矩阵进行分解以得到对应的多个摄像机之间的相对姿态；
构建单元，用于根据所述多个摄像机之间的相对姿态和多个特征点构建对应的姿态图；
定义单元，用于分别获取所述多个摄像机的模型，并分别根据所述多个摄像机的模型定义对应的射线模型；
重构单元，用于基于所述对应的射线模型对所述姿态图进行增量式重构以生成三维特征点云以及重构的摄像机位姿集合。
9.如权利要求8所述的基于射线模型三维重构的图像定位装置，其特征在于，还包括：
建立单元，用于在所述重构单元生成三维特征点云以及重构的摄像机位姿集合之后，建立所述三维特征点云中多个三维特征点云的索引树，并针对所述重构的摄像机位姿集合中多个摄像头建立空间位置的索引树。
10.如权利要求9所述的基于射线模型三维重构的图像定位装置，其特征在于，所述图像定位模块包括：
第一匹配单元，用于根据所述多个三维特征点云的索引树将所述二维特征点集合与所述三维特征点云进行有效匹配以得到双向2D-3D匹配集合；
第一生成单元，用于通过摄像机姿态估计算法对所述双向2D-3D匹配集合进行估计以生成所述查询图像的初始位姿；
查询单元，用于根据所述查询图像的初始位姿以及所述空间位置的索引树在所述重构的摄像机位姿集合中进行查询以得到近邻图像；
第二匹配单元，用于将所述查询图像与所述近邻图像进行特征匹配以得到对应的多个有效匹配集合；
第二生成单元，用于根据所述多个有效匹配集合生成所述近邻图像之间的相对姿态；
建立单元，用于融合所述双向2D-3D匹配集合和所述近邻图像之间的相对姿态建立所述定位姿态图优化框架；以及
图像定位单元，用于根据所述定位姿态图优化框架对所述查询图像的初始位姿进行优化以实现图像定位。
CN201511026787.XA 2015-12-31 2015-12-31 基于射线模型三维重构的图像定位方法以及装置 Active CN105844696B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201511026787.XA CN105844696B (zh) 2015-12-31 2015-12-31 基于射线模型三维重构的图像定位方法以及装置
PCT/CN2016/113804 WO2017114507A1 (zh) 2015-12-31 2016-12-30 基于射线模型三维重构的图像定位方法以及装置
US16/066,168 US10580204B2 (en) 2015-12-31 2016-12-30 Method and device for image positioning based on 3D reconstruction of ray model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511026787.XA CN105844696B (zh) 2015-12-31 2015-12-31 基于射线模型三维重构的图像定位方法以及装置

Publications (2)

Publication Number Publication Date
CN105844696A true CN105844696A (zh) 2016-08-10
CN105844696B CN105844696B (zh) 2019-02-05

Family

ID=56580355

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511026787.XA Active CN105844696B (zh) 2015-12-31 2015-12-31 基于射线模型三维重构的图像定位方法以及装置

Country Status (3)

Country Link
US (1) US10580204B2 (zh)
CN (1) CN105844696B (zh)
WO (1) WO2017114507A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017114507A1 (zh) * 2015-12-31 2017-07-06 清华大学 基于射线模型三维重构的图像定位方法以及装置
CN107563366A (zh) * 2017-07-26 2018-01-09 安徽讯飞爱途旅游电子商务有限公司 一种定位方法及装置、电子设备
CN110443907A (zh) * 2019-06-28 2019-11-12 北京市政建设集团有限责任公司 巡检任务处理方法和巡检任务处理服务器
CN110728720A (zh) * 2019-10-21 2020-01-24 北京百度网讯科技有限公司 用于相机标定的方法、装置、设备和存储介质
CN110785792A (zh) * 2017-11-21 2020-02-11 深圳市柔宇科技有限公司 3d建模方法、电子设备、存储介质及程序产品
CN111133474A (zh) * 2017-09-29 2020-05-08 日本电气方案创新株式会社 图像处理设备、图像处理方法和计算机可读记录介质
CN111860544A (zh) * 2020-07-28 2020-10-30 杭州优链时代科技有限公司 一种投影辅助衣物特征提取方法及***
CN111860225A (zh) * 2020-06-30 2020-10-30 北京百度网讯科技有限公司 一种图像处理的方法、装置、电子设备及存储介质
WO2021227360A1 (zh) * 2020-05-14 2021-11-18 佳都新太科技股份有限公司 一种交互式视频投影方法、装置、设备及存储介质
WO2022028253A1 (zh) * 2020-08-03 2022-02-10 罗琳捷 定位模型优化方法、定位方法和定位设备以及存储介质
CN114359522A (zh) * 2021-12-23 2022-04-15 阿依瓦（北京）技术有限公司 Ar模型放置方法及装置
CN114419272A (zh) * 2022-01-20 2022-04-29 盈嘉互联（北京）科技有限公司 一种基于单张照片和bim的室内定位方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10726593B2 (en) * 2015-09-22 2020-07-28 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10546385B2 (en) * 2016-02-25 2020-01-28 Technion Research & Development Foundation Limited System and method for image capture device pose estimation
CN110858403B (zh) * 2018-08-22 2022-09-27 杭州萤石软件有限公司 一种单目视觉重建中尺度因子的确定方法和移动机器人
CN110044353B (zh) * 2019-03-14 2022-12-20 深圳先进技术研究院 一种飞行机构室内定位方法及定位***
CN110060334B (zh) * 2019-04-19 2022-02-22 吉林大学 基于尺度不变特征变换的计算集成成像图像重构方法
US11436743B2 (en) * 2019-07-06 2022-09-06 Toyota Research Institute, Inc. Systems and methods for semi-supervised depth estimation according to an arbitrary camera
WO2021097744A1 (zh) * 2019-11-21 2021-05-27 北京机电研究所有限公司 用于三维尺寸的动态测量装置及其测量方法
CN111599001B (zh) * 2020-05-14 2023-03-14 星际（重庆）智能装备技术研究院有限公司 基于图像三维重建技术的无人机导航地图构建***及方法
CN111649724B (zh) 2020-06-04 2022-09-06 百度在线网络技术（北京）有限公司 基于移动边缘计算的视觉定位方法和装置
US11615544B2 (en) * 2020-09-15 2023-03-28 Toyota Research Institute, Inc. Systems and methods for end-to-end map building from a video sequence using neural camera models
US11494927B2 (en) 2020-09-15 2022-11-08 Toyota Research Institute, Inc. Systems and methods for self-supervised depth estimation
CN112750164B (zh) * 2021-01-21 2023-04-18 脸萌有限公司 轻量化定位模型的构建方法、定位方法、电子设备
CN113034600B (zh) * 2021-04-23 2023-08-01 上海交通大学 基于模板匹配的无纹理平面结构工业零件识别和6d位姿估计方法
CN115937722A (zh) * 2021-09-30 2023-04-07 华为技术有限公司 一种设备定位方法、设备及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101038678A (zh) * 2007-04-19 2007-09-19 北京理工大学 基于单幅图像的光滑对称曲面重建方法
CN103759716A (zh) * 2014-01-14 2014-04-30 清华大学 基于机械臂末端单目视觉的动态目标位置和姿态测量方法
CN103824278A (zh) * 2013-12-10 2014-05-28 清华大学 监控摄像机的标定方法和***
US20140334675A1 (en) * 2013-05-13 2014-11-13 Electronics And Telecommunications Research Institute Apparatus and method for extracting movement path of mutual geometric relationship fixed camera group
CN104316057A (zh) * 2014-10-31 2015-01-28 天津工业大学 一种无人机视觉导航方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7187809B2 (en) * 2004-06-10 2007-03-06 Sarnoff Corporation Method and apparatus for aligning video to three-dimensional point clouds
US20090232355A1 (en) * 2008-03-12 2009-09-17 Harris Corporation Registration of 3d point cloud data using eigenanalysis
CN102075686B (zh) * 2011-02-10 2013-10-30 北京航空航天大学 一种鲁棒的实时在线摄像机跟踪方法
CN102074015A (zh) * 2011-02-24 2011-05-25 哈尔滨工业大学 一种基于二维图像序列的目标对象的三维重建方法
CN103745498B (zh) * 2014-01-16 2017-01-04 中国科学院自动化研究所 一种基于图像的快速定位方法
JP2016057108A (ja) * 2014-09-08 2016-04-21 株式会社トプコン 演算装置、演算システム、演算方法およびプログラム
CN105844696B (zh) * 2015-12-31 2019-02-05 清华大学 基于射线模型三维重构的图像定位方法以及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101038678A (zh) * 2007-04-19 2007-09-19 北京理工大学 基于单幅图像的光滑对称曲面重建方法
US20140334675A1 (en) * 2013-05-13 2014-11-13 Electronics And Telecommunications Research Institute Apparatus and method for extracting movement path of mutual geometric relationship fixed camera group
CN103824278A (zh) * 2013-12-10 2014-05-28 清华大学 监控摄像机的标定方法和***
CN103759716A (zh) * 2014-01-14 2014-04-30 清华大学 基于机械臂末端单目视觉的动态目标位置和姿态测量方法
CN104316057A (zh) * 2014-10-31 2015-01-28 天津工业大学 一种无人机视觉导航方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TORSTEN SATTLER ET AL.: "Fast image-based localization using direct 2D-3D matching", 《2011 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION(ICCV)》 *
YUNPENG LI ET AL.: "Worldwide Pose Estimation Using 3D Point Clouds", 《EUROPEAN CONFERENCE ON COMPUTER VISION》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10580204B2 (en) 2015-12-31 2020-03-03 Tsinghua University Method and device for image positioning based on 3D reconstruction of ray model
WO2017114507A1 (zh) * 2015-12-31 2017-07-06 清华大学 基于射线模型三维重构的图像定位方法以及装置
CN107563366A (zh) * 2017-07-26 2018-01-09 安徽讯飞爱途旅游电子商务有限公司 一种定位方法及装置、电子设备
CN111133474B (zh) * 2017-09-29 2023-09-19 日本电气方案创新株式会社 图像处理设备、图像处理方法和计算机可读记录介质
CN111133474A (zh) * 2017-09-29 2020-05-08 日本电气方案创新株式会社 图像处理设备、图像处理方法和计算机可读记录介质
CN110785792A (zh) * 2017-11-21 2020-02-11 深圳市柔宇科技有限公司 3d建模方法、电子设备、存储介质及程序产品
CN110443907A (zh) * 2019-06-28 2019-11-12 北京市政建设集团有限责任公司 巡检任务处理方法和巡检任务处理服务器
CN110728720A (zh) * 2019-10-21 2020-01-24 北京百度网讯科技有限公司 用于相机标定的方法、装置、设备和存储介质
CN110728720B (zh) * 2019-10-21 2023-10-13 阿波罗智能技术(北京)有限公司 用于相机标定的方法、装置、设备和存储介质
WO2021227360A1 (zh) * 2020-05-14 2021-11-18 佳都新太科技股份有限公司 一种交互式视频投影方法、装置、设备及存储介质
CN111860225A (zh) * 2020-06-30 2020-10-30 北京百度网讯科技有限公司 一种图像处理的方法、装置、电子设备及存储介质
CN111860225B (zh) * 2020-06-30 2023-12-12 阿波罗智能技术(北京)有限公司 一种图像处理的方法、装置、电子设备及存储介质
CN111860544A (zh) * 2020-07-28 2020-10-30 杭州优链时代科技有限公司 一种投影辅助衣物特征提取方法及***
CN111860544B (zh) * 2020-07-28 2024-05-17 杭州优链时代科技有限公司 一种投影辅助衣物特征提取方法及***
WO2022028253A1 (zh) * 2020-08-03 2022-02-10 罗琳捷 定位模型优化方法、定位方法和定位设备以及存储介质
CN114359522A (zh) * 2021-12-23 2022-04-15 阿依瓦（北京）技术有限公司 Ar模型放置方法及装置
CN114419272A (zh) * 2022-01-20 2022-04-29 盈嘉互联（北京）科技有限公司 一种基于单张照片和bim的室内定位方法
CN114419272B (zh) * 2022-01-20 2022-08-19 盈嘉互联（北京）科技有限公司 一种基于单张照片和bim的室内定位方法

Also Published As

Publication number Publication date
CN105844696B (zh) 2019-02-05
WO2017114507A1 (zh) 2017-07-06
US10580204B2 (en) 2020-03-03
US20190005718A1 (en) 2019-01-03

Similar Documents

Publication Publication Date Title
CN105844696A (zh) 基于射线模型三维重构的图像定位方法以及装置
Paz et al. Large-scale 6-DOF SLAM with stereo-in-hand
CN110135455A (zh) 影像匹配方法、装置及计算机可读存储介质
Li et al. Large scale image mosaic construction for agricultural applications
Barazzetti et al. True-orthophoto generation from UAV images: Implementation of a combined photogrammetric and computer vision approach
CN105225269A (zh) 基于运动机构的三维物体建模***
CN113096250A (zh) 基于无人机航拍影像序列的三维建筑模型库***构建方法
US11004262B2 (en) Semantic structure from motion for orchard reconstruction
CN111060006A (zh) 一种基于三维模型的视点规划方法
Gong et al. DSM generation from high resolution multi-view stereo satellite imagery
Zhao et al. RTSfM: Real-time structure from motion for mosaicing and DSM mapping of sequential aerial images with low overlap
Peng et al. Binocular-vision-based structure from motion for 3-D reconstruction of plants
CN116309813A (zh) 一种固态激光雷达-相机紧耦合位姿估计方法
Gao et al. Pose refinement with joint optimization of visual points and lines
Jiang et al. Learned local features for structure from motion of uav images: A comparative evaluation
Li et al. UAV-based SLAM and 3D reconstruction system
Pollok et al. A visual SLAM-based approach for calibration of distributed camera networks
Kurz et al. Bundle adjustment for stereoscopic 3d
WO2023098737A1 (zh) 三维重建方法、电子设备和计算机可读存储介质
CN113129422A (zh) 一种三维模型构建方法、装置、存储介质和计算机设备
Skuratovskyi et al. Outdoor mapping framework: from images to 3d model
Feng et al. Research on Calibration Method of Multi-camera System without Overlapping Fields of View Based on SLAM
Zhang et al. Point cloud registration with 2D and 3D fusion information on mobile robot integrated vision system
Zhang et al. UAVStereo: A Multiple Resolution Dataset for Stereo Matching in UAV Scenarios
US10553022B2 (en) Method of processing full motion video data for photogrammetric reconstruction

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant