CN112381919A - 信息处理方法、定位方法及装置、电子设备和存储介质 - Google Patents

信息处理方法、定位方法及装置、电子设备和存储介质 Download PDF

Info

Publication number
CN112381919A
CN112381919A CN201910690235.0A CN201910690235A CN112381919A CN 112381919 A CN112381919 A CN 112381919A CN 201910690235 A CN201910690235 A CN 201910690235A CN 112381919 A CN112381919 A CN 112381919A
Authority
CN
China
Prior art keywords
dimensional point
point cloud
image
dimensional
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910690235.0A
Other languages
English (en)
Other versions
CN112381919B (zh
Inventor
冯友计
叶智超
金嘉诚
章国锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shangtang Technology Development Co Ltd
Original Assignee
Zhejiang Shangtang Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Shangtang Technology Development Co Ltd filed Critical Zhejiang Shangtang Technology Development Co Ltd
Priority to CN201910690235.0A priority Critical patent/CN112381919B/zh
Priority to JP2021574903A priority patent/JP7328366B2/ja
Priority to PCT/CN2019/118453 priority patent/WO2021017314A1/zh
Priority to TW109100342A priority patent/TWI743645B/zh
Publication of CN112381919A publication Critical patent/CN112381919A/zh
Priority to US17/551,865 priority patent/US11983820B2/en
Application granted granted Critical
Publication of CN112381919B publication Critical patent/CN112381919B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/008—Cut plane or projection plane definition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种信息处理方法、定位方法及装置、电子设备和存储介质，其中，所述方法包括：获取三维点云的三维点信息；基于所述三维点信息，生成所述三维点云向水平面投影的二维点云图像；基于所述二维点云图像与参考平面图的一致程度，确定所述三维点云中包含的三维点在所述参考平面图的参考坐标系下的投影坐标，其中，所述参考平面图用于表示目标物体在所述水平面投影的带有参考坐标的投影图，所述三维点云用于表示所述目标物体的三维空间信息。本公开实施例可以提高三维点匹配到参考平面图中的效率。

Description

信息处理方法、定位方法及装置、电子设备和存储介质
技术领域
本公开涉及计算机视觉技术领域，尤其涉及一种信息处理方法、定位方法及装置、电子设备和存储介质。
背景技术
三维重建技术是近年来新兴技术之一，其应用极为广泛，在工业、医学乃至生活娱乐等各个领域都有所应用。三维重建技术可以重构场景中的三维物体，利用相机等图像采集装置采集的图像可以重建物体的三维影像，使物体以一种直观的方式呈现在图像上。
基于图像的三维重建可以生成场景的三维点云，其中三维点的坐标通常是定义在某个图像采集装置的坐标系下的，不具有真实的地理意义。为了在一些实际应用(如视觉定位)中利用这些三维点云，如何将三维点云匹配到具有地理意义的地图上，例如，匹配到由测绘得到的二维地图或建筑物的平面图上，具有重要的意义。
在相关技术中，通过采用人工方式将三维点云匹配到地图上，这种方法效率很低，不利于处理大规模的任务。
发明内容
本公开提出了一种信息处理和定位技术方案。
根据本公开的一方面，提供了一种信息处理方法，包括：
获取三维点云的三维点信息；
基于所述三维点信息，生成所述三维点云向水平面投影的二维点云图像；
基于所述二维点云图像与参考平面图的一致程度，确定所述三维点云中包含的三维点在所述参考平面图的参考坐标系下的投影坐标，其中，所述参考平面图用于表示目标物体在所述水平面投影的带有参考坐标的投影图，所述三维点云用于表示所述目标物体的三维空间信息。
在一种可能的实现方案中，所述基于所述三维点信息，生成所述三维点云向水平面投影的二维点云图像之前，还包括：
获取图像采集装置采集图像信息过程中的至少两个位姿信息，其中，所述图像信息用于构建所述三维点云；
根据所述图像采集装置的至少两个位姿信息，确定所述三维点云投影的水平面。
在一种可能的实现方案中，所述位姿信息包括朝向信息和位置信息；
所述根据所述图像采集装置的至少两个位姿信息，确定所述三维点云投影的水平面，包括：
根据所述图像采集装置的至少两个位置信息，确定所述图像采集装置在采集图像信息过程中的任意两个位置之间的位移；
根据所述图像采集装置的至少两个朝向信息以及在任意两个位置之间的位移，确定所述三维点云投影的水平面。
在一种可能的实现方案中，所述图像采集装置满足以下至少一个预设的基础条件：
所述图像采集装置在采集图像信息过程中所在的水平轴与所述三维点云投影的水平面平行；
在采集图像信息过程中所述图像采集装置到地面的高度在预设高度范围内变化。
在一种可能的实现方案中，所述基于所述三维点信息，生成所述三维点云向水平面投影的二维点云图像，包括：
根据所述三维点云的三维点信息，确定所述三维点云中包括的至少一个平面；
根据所述至少一个平面中每个平面包括的三维点的数量以及每个平面的法线方向，确定所述三维点云中的待滤除三维点；
在所述三维点云中删除所述待滤除三维点，得到所述三维点云的剩余三维点；
根据剩余三维点的三维点信息，将剩余三维点投影在所述水平面上，生成所述三维点云投影的二维点云图像。
在一种可能的实现方案中，所述根据所述至少一个平面中每个平面包括的三维点的数量以及每个平面的法线方向，确定所述三维点云中的待滤除三维点，包括：
根据所述至少一个平面中每个平面包括的三维点的数量，确定所述至少一个平面中三维点的数量最多并且大于第一阈值的第一平面；
判断所述第一平面的法线方向是否垂直于所述水平面；
在所述第一平面的法线方向垂直于所述水平面的情况下，确定所述第一平面包括的三维点为所述待滤除三维点。
在一种可能的实现方案中，所述三维点信息包括三维坐标向量；所述基于所述三维点信息，生成所述三维点云向水平面投影的二维点云图像，包括：
根据所述三维点云的三维坐标向量以及投影的水平面，确定所述三维点云在所述水平面投影的二维点云的坐标信息；
根据所述二维点云的坐标信息，确定所述二维点云包括的满足直线条件的目标直线；
根据所述目标直线与所述水平面的坐标轴的位置关系，确定所述二维点云的旋转角；
按照所述旋转角对所述二维点云进行旋转，得到所述三维点云向所述水平面投影的二维点云图像。
在一种可能的实现方案中，所述根据所述二维点云的坐标信息，确定所述二维点云包括的满足直线条件的目标直线，包括：
根据所述二维点云的坐标信息，确定所述二维点云中包括的至少一条直线；其中，所述至少一条直线中每条直线包括的二维点的数量大于第二阈值；
统计所述至少一条直线中每条直线所包含的二维点的数量，按照所述二维点的数量对所述至少一条直线排序，得到排序结果；
根据所述排序结果逐次获取所述至少一条直线中的当前直线，确定所述至少一个直线中与所述当前直线垂直的直线的数量；
在与当前直线垂直的直线的数量大于第三阈值的情况下，确定当前直线为满足直线条件的目标直线。
在一种可能的实现方案中，所述基于所述二维点云图像与参考平面图的一致程度，确定所述三维点云中包含的三维点在所述参考平面图的参考坐标系下的投影坐标，包括：
对所述二维点云图像进行至少一次相似变换；
确定每次相似变换后所述二维点云图像中二维点与参考平面图的参考点的一致程度；
根据所述至少一次相似变换后确定的一致程度，确定所述三维点云中三维点匹配到所述参考平面图中参考点的变换关系；
基于所述变换关系，将所述三维点云向所述参考平面图进行投影，得到所述三维点云在所述参考平面图的参考坐标系下的投影坐标。
在一种可能的实现方案中，所述对所述二维点云图像进行至少一次相似变换，包括：
确定所述二维点云图像进行相似变换的变换范围；
在所述变换范围内对所述二维点云图像进行至少一次相似变换。
在一种可能的实现方案中，所述相似变换包括平移变换；所述确定每次相似变换后所述二维点云图像中二维点与参考平面图的参考点的一致程度，包括：
针对每次平移变换后的二维点云图像，对所述二维点云图像进行预设次数的下采样处理，得到每次下采样处理后的第一采样图像；
按照下采样处理次数由大到小的顺序，依次针对每次下采样处理后的第一采样图像，确定该第一采样图像中二维点与第二采样图像中参考点的一致程度；其中，第二采样图像为所述参考平面图经过与该第一采样图像相同的下采样处理得到的；
根据第一次下采样处理后确定的第一采样图像与第二采样图像的一致程度，确定每次平移变换后的二维点云图像中二维点与参考平面图的参考点的一致程度。
在一种可能的实现方案中，所述确定每次相似变换后所述二维点云图像中二维点与参考平面图的参考点的一致程度，包括：
针对每次相似变换后的二维点云图像，遍历所述二维点云图像的第一像素点，其中，所述第一像素点为所述二维点云图像中构成所述二维点的像素点；
确定所述参考平面图中对应于所述第一像素点的第一图像区域；
在所述第一图像区域内存在表示所述参考点的第二像素点的情况下，确定所述第一像素点为第一目标像素点；
确定所述二维点云图像中包含的所有第一目标像素点的数量与所述二维点云图像中包含的所有第一像素点的数量的第一比例；
根据所述第一比例确定每次相似变换后所述二维点云图像与所述参考平面图的一致程度。
在一种可能的实现方案中，所述确定每次相似变换后所述二维点云图像中二维点与参考平面图的参考点的一致程度，包括：
每次对所述二维点云图像相似变换后，遍历所述参考平面图的第二像素点，其中，所述第二像素点为所述参考平面图中构成所述参考点的像素点；
确定所述二维点云图像中对应于所述第二像素点的第二图像区域；
在所述第二图像区域内存在表示所述二维点的第一像素点的情况下，确定所述第二像素点为第二目标像素点；
确定所述参考平面图中包含的所有第二目标像素点的数量与所述参考平面中包含的所有第二像素点的数量的第二比例；
根据所述第二比例确定每次相似变换后所述二维点云图像与参考平面图的一致程度。
在一种可能的实现方案中，所述确定每次相似变换后所述二维点云图像中二维点与参考平面图的参考点的一致程度，包括：
每次对所述二维点云图像相似变换后，确定所述二维点云图像中位于非封闭区域内的第一像素点，其中，所述第一像素点为所述二维点云图像中构成所述二维点的像素点；
确定位于所述非封闭区域的第一像素点的数量与所述二维点云图像中包含的所有第一像素点的数量的第三比例；
根据所述第三比例确定每次相似变换后所述二维点云图像与参考平面图的一致程度。
在一种可能的实现方案中，所述确定每次相似变换后所述二维点云图像中二维点与参考平面图的参考点的一致程度，包括：
每次对所述二维点云图像相似变换后，根据所述图像采集装置采集图像信息过程中的位姿信息，确定所述图像采集装置在所述二维点云图像中投影的第三像素点；其中，所述图像信息用于构建所述三维点云；
确定位于所述非封闭区域的第三像素点的数量与所述二维点云图像中包含的所有第三像素点的数量的第四比例；
根据所述第四比例确定每次相似变换后所述二维点云图像与参考平面图的一致程度。
在一种可能的实现方案中，所述根据所述至少一次相似变换后确定的一致程度，确定所述三维点云中三维点匹配到所述参考平面图中参考点的变换关系，包括：
根据所述至少一次相似变换后确定的一致程度，确定所述二维点云图像中二维点匹配到所述参考平面图中参考点的二维变换矩阵；
基于所述二维变换矩阵，确定所述三维点云中三维点匹配到所述参考平面图中参考点的变换关系。
根据本公开的另一方面，提供了一种定位方法，所述方法包括：
获取图像采集装置对目标物体采集的目标图像信息；
将采集的所述目标图像信息与三维点云中的三维点进行比对，其中，所述三维点云用于表示所述目标物体的三维空间信息，所述三维点云中的三维点与投影坐标对应，所述投影坐标是基于二维点云图像与参考平面图的一致性确定的，所述二维点云图像为所述三维点云向水平面投影的向水平面投影生成的，所述参考平面图用于表示所述目标物体在所述水平面投影的带有参考坐标的投影图；
根据与所述目标图像信息相匹配的三维点所对应的投影坐标，对所述图像采集装置进行定位。
根据本公开的另一方面，提供了一种信息处理装置，包括：
获取模块，用于获取三维点云的三维点信息；
生成模块，用于基于所述三维点信息，生成所述三维点云向水平面投影的二维点云图像；
确定模块，用于基于所述二维点云图像与参考平面图的一致程度，确定所述三维点云中包含的三维点在所述参考平面图的参考坐标系下的投影坐标，其中，所述参考平面图用于表示目标物体在所述水平面投影的带有参考坐标的投影图，所述三维点云用于表示所述目标物体的三维空间信息。
在一种可能的实现方案中，所述装置还包括：
位姿获取模块，用于获取图像采集装置采集图像信息过程中的至少两个位姿信息，其中，所述图像信息用于构建所述三维点云；
平面确定模块，用于根据所述图像采集装置的至少两个位姿信息，确定所述三维点云投影的水平面。
在一种可能的实现方案中，所述位姿信息包括朝向信息和位置信息；所述平面确定模块，具体用于，
根据所述图像采集装置的至少两个位置信息，确定所述图像采集装置在采集图像信息过程中的任意两个位置之间的位移；
根据所述图像采集装置的至少两个朝向信息以及在任意两个位置之间的位移，确定所述三维点云投影的水平面。
在一种可能的实现方案中，所述图像采集装置满足以下至少一个预设的基础条件：
所述图像采集装置在采集图像信息过程中所在的水平轴与所述三维点云投影的水平面平行；
在采集图像信息过程中所述图像采集装置到地面的高度在预设高度范围内变化。
在一种可能的实现方案中，所述生成模块，具体用于，
根据所述三维点云的三维点信息，确定所述三维点云中包括的至少一个平面；
根据所述至少一个平面中每个平面包括的三维点的数量以及每个平面的法线方向，确定所述三维点云中的待滤除三维点；
在所述三维点云中删除所述待滤除三维点，得到所述三维点云的剩余三维点；
根据剩余三维点的三维点信息，将剩余三维点投影在所述水平面上，生成所述三维点云投影的二维点云图像。
在一种可能的实现方案中，所述生成模块，具体用于，
根据所述至少一个平面中每个平面包括的三维点的数量，确定所述至少一个平面中三维点的数量最多并且大于第一阈值的第一平面；
判断所述第一平面的法线方向是否垂直于所述水平面；
在所述第一平面的法线方向垂直于所述水平面的情况下，确定所述第一平面包括的三维点为所述待滤除三维点。
在一种可能的实现方案中，所述三维点信息包括三维坐标向量；所述生成模块，具体用于，
根据所述三维点云的三维坐标向量以及投影的水平面，确定所述三维点云在所述水平面投影的二维点云的坐标信息；
根据所述二维点云的坐标信息，确定所述二维点云包括的满足直线条件的目标直线；
根据所述目标直线与所述水平面的坐标轴的位置关系，确定所述二维点云的旋转角；
按照所述旋转角对所述二维点云进行旋转，得到所述三维点云向所述水平面投影的二维点云图像。
在一种可能的实现方案中，所述生成模块，具体用于，
根据所述二维点云的坐标信息，确定所述二维点云中包括的至少一条直线；其中，所述至少一条直线中每条直线包括的二维点的数量大于第二阈值；
统计所述至少一条直线中每条直线所包含的二维点的数量，按照所述二维点的数量对所述至少一条直线排序，得到排序结果；
根据所述排序结果逐次获取所述至少一条直线中的当前直线，确定所述至少一个直线中与所述当前直线垂直的直线的数量；
在与当前直线垂直的直线的数量大于第三阈值的情况下，确定当前直线为满足直线条件的目标直线。
在一种可能的实现方案中，所述确定模块，具体用于，
对所述二维点云图像进行至少一次相似变换；
确定每次相似变换后所述二维点云图像中二维点与参考平面图的参考点的一致程度；
根据所述至少一次相似变换后确定的一致程度，确定所述三维点云中三维点匹配到所述参考平面图中参考点的变换关系；
基于所述变换关系，将所述三维点云向所述参考平面图进行投影，得到所述三维点云在所述参考平面图的参考坐标系下的投影坐标。
在一种可能的实现方案中，所述确定模块，具体用于，
确定所述二维点云图像进行相似变换的变换范围；
在所述变换范围内对所述二维点云图像进行至少一次相似变换。
在一种可能的实现方案中，所述相似变换包括平移变换；所述确定模块，具体用于，
针对每次平移变换后的二维点云图像，对所述二维点云图像进行预设次数的下采样处理，得到每次下采样处理后的第一采样图像；
按照下采样处理次数由大到小的顺序，依次针对每次下采样处理后的第一采样图像，确定该第一采样图像中二维点与第二采样图像中参考点的一致程度；其中，第二采样图像为所述参考平面图经过与该第一采样图像相同的下采样处理得到的；
根据第一次下采样处理后确定的第一采样图像与第二采样图像的一致程度，确定每次平移变换后的二维点云图像中二维点与参考平面图的参考点的一致程度。
在一种可能的实现方案中，所述确定模块，具体用于，
针对每次相似变换后的二维点云图像，遍历所述二维点云图像的第一像素点，其中，所述第一像素点为所述二维点云图像中构成所述二维点的像素点；
确定所述参考平面图中对应于所述第一像素点的第一图像区域；
在所述第一图像区域内存在表示所述参考点的第二像素点的情况下，确定所述第一像素点为第一目标像素点；
确定所述二维点云图像中包含的所有第一目标像素点的数量与所述二维点云图像中包含的所有第一像素点的数量的第一比例；
根据所述第一比例确定每次相似变换后所述二维点云图像与所述参考平面图的一致程度。
在一种可能的实现方案中，所述确定模块，具体用于，
每次对所述二维点云图像相似变换后，遍历所述参考平面图的第二像素点，其中，所述第二像素点为所述参考平面图中构成所述参考点的像素点；
确定所述二维点云图像中对应于所述第二像素点的第二图像区域；
在所述第二图像区域内存在表示所述二维点的第一像素点的情况下，确定所述第二像素点为第二目标像素点；
确定所述参考平面图中包含的所有第二目标像素点的数量与所述参考平面中包含的所有第二像素点的数量的第二比例；
根据所述第二比例确定每次相似变换后所述二维点云图像与参考平面图的一致程度。
在一种可能的实现方案中，所述确定模块，具体用于，
每次对所述二维点云图像相似变换后，确定所述二维点云图像中位于非封闭区域内的第一像素点，其中，所述第一像素点为所述二维点云图像中构成所述二维点的像素点；
确定位于所述非封闭区域的第一像素点的数量与所述二维点云图像中包含的所有第一像素点的数量的第三比例；
根据所述第三比例确定每次相似变换后所述二维点云图像与参考平面图的一致程度。
在一种可能的实现方案中，所述确定模块，具体用于，
每次对所述二维点云图像相似变换后，根据所述图像采集装置采集图像信息过程中的位姿信息，确定所述图像采集装置在所述二维点云图像中投影的第三像素点；其中，所述图像信息用于构建所述三维点云；
确定位于所述非封闭区域的第三像素点的数量与所述二维点云图像中包含的所有第三像素点的数量的第四比例；
根据所述第四比例确定每次相似变换后所述二维点云图像与参考平面图的一致程度。
在一种可能的实现方案中，所述确定模块，具体用于，
根据所述至少一次相似变换后确定的一致程度，确定所述二维点云图像中二维点匹配到所述参考平面图中参考点的二维变换矩阵；
基于所述二维变换矩阵，确定所述三维点云中三维点匹配到所述参考平面图中参考点的变换关系。
根据本公开的另一方面，提供了一种定位装置，其特征在于，所述装置包括：
获取模块，用于获取图像采集装置对目标物体采集的目标图像信息；
对比模块，用于将采集的所述目标图像信息与三维点云中的三维点进行比对，其中，所述三维点云用于表示所述目标物体的三维空间信息，所述三维点云中的三维点与投影坐标对应，所述投影坐标是基于二维点云图像与参考平面图的一致性确定的，所述二维点云图像为所述三维点云向水平面投影的向水平面投影生成的，所述参考平面图用于表示所述目标物体在所述水平面投影的带有参考坐标的投影图；
定位模块，用于根据与所述目标图像信息相匹配的三维点所对应的投影坐标，对所述图像采集装置进行定位。
根据本公开的另一方面，提供了一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：执行上述信息处理方法。
根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述信息处理方法。
在本公开实施例中，可以获取三维点云的三维点信息，并基于三维点信息，生成三维点云向水平面投影的二维点云图像，这样可以将三维点云转换为二维点云图像。然后，可以基于二维点云图像与参考平面的一致程度，确定所述三维点云中包含的三维点在参考平面图的参考坐标系下的投影坐标，其中，参考平面图用于表示目标物体在水平面投影的带有参考坐标的投影图，三维点云用于表示目标物体的三维空间信息。这样，可以将三维点云自动匹配到参考平面图上，使三维点云可以正确地标注在参考平面图上，提高将三维点云匹配到参考平面图上的效率和精度。此外，通过用户的三维点信息，可以确定用户在参考坐标系下的位置，实现对用户进行定位。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1示出根据本公开实施例的信息处理方法的流程图。
图2示出根据本公开实施例的三维点云投影的二维点云图像的框图。
图3示出根据本公开实施例的三维点云在参考坐标系下的投影图像的框图。
图4示出根据本公开实施例的确定三维点云投影的水平面过程的流程图。
图5示出根据本公开实施例的确定三维点云投影的水平面过程的流程图。
图6示出根据本公开实施例的生成二维点云图像过程的流程图。
图7示出根据本公开实施例的生成二维点云图像过程的流程图。
图8示出根据本公开实施例的确定三维点云在参考坐标系下投影坐标的流程图。
图9示出根据本公开实施例的对二维点云图像进行相似变换的流程图。
图10示出根据本公开实施例的确定二维点云图像与参考平面图的一致程度的流程图。
图11示出根据本公开实施例的确定二维点云图像与参考平面图的一致程度的流程图。
图12示出根据本公开实施例的确定三维点云到参考平面图的变换关系的流程图。
图13示出根据本公开实施例的定位方法的流程图。
图14示出根据本公开实施例的信息处理装置的框图。
图15示出根据本公开实施例的定位装置的框图。
图16示出根据本公开实施例的一种电子设备一示例的框图
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
本公开实施例提供的信息处理方案，可以获取由三维重建得到的三维点云的三维点信息，然后利用三维点云的三维点信息，生成三维点云向水平面投影的二维点云图像，基于生成的二维点云图像与参考平面图的一致程度，确定三维点云中包含的三维点在参考平面图的参考坐标系下的投影坐标，从而可以将图像采集装置坐标系下的三维点云转变到参考平面图的参考坐标下，使三维点云中包含的三维点自动匹配到参考平面图对应的位置，使三维点投影的二维点与参考平面图中表示相同目标物体的参考点对齐。其中，参考平面图用于表示目标物体在水平面投影的带有参考坐标的投影图，三维点云用于表示目标物体的三维空间信息。
在相关技术中，在将三维点云匹配到参考平面图中时，是通过的人工方式将三维点云的三维点匹配到参考平面图中，例如，匹配到室内地图中，通过肉眼观察一些视觉线索如形状、边界和转角等，手动调整三维点云的尺度、旋转和平移使之与参考平面图进行对齐。这种方法效率低，不利于处理大规模的任务，而且人工处理方式没有统一的标准，不同人操作的精度也可能会差别很大。本公开实施例提供的信息处理方案，可以通过三维点云对应的二维点云图像与参考平面图的一致程度，将三维点云中的三维点自动匹配到参考平面图上，不仅可以节省大量的人力，提高匹配效率，还可以提高三维点云匹配到参考平面图的准确率。下面通过实施例对本公开提供的信息处理方案进行说明。
图1示出根据本公开实施例的信息处理方法的流程图。该信息处理方法可以由终端设备、服务器或其它信息处理设备执行，其中，终端设备可以为用户设备(UserEquipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(PersonalDigital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该信息处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。下面以信息处理设备为例对本公开实施例的信息处理方法进行说明。
如图1所示，所述信息处理方法包括以下步骤：
步骤S11，获取三维点云的三维点信息。
在本公开实施例中，信息处理设备可以获取三维重建的三维点云，并获取该三维点云的三维点信息。三维点云可以是由多个三维点形成的三维点集合，该集合中的三维点可以是根据图像采集装置采集某个场景的图像信息得到的。三维点云的三维点信息可以包括三维点的位置信息，该位置信息可以是三维点在图像采集装置坐标系下的位置信息，可以表示为图像采集装置坐标系下的三维坐标，或者，表示为图像采集装置坐标系下的三维向量。三维点云可以用于表示目标物体所在的三维空间信息，例如，目标物体所在的某个场景的三维空间信息。目标物体可以是场景中存在的任意物体，例如，墙面、立柱、桌椅、标识、建筑物等固定的物体，再例如，目标物体可以是车辆、行人等移动的物体。
这里，三维点云中包含的三维点可以是由一个或多个图像装置采集的图像信息得到的，图像采集装置可以从不同角度拍摄场景中的目标物体，由图像采集装置拍摄的目标物体形成的图像信息可以形成该目标物体对应的三维点，多个三维点可以形成该场景中三维点云。在具体实现中，形成的三维点在三维空间坐标系中带有对应的坐标，这样目标物体的所有三维点按照对应的坐标在三维空间坐标系中排列，组成一个立体的三维模型，该三维模型即为三维点云。
步骤S12，基于所述三维点信息，生成所述三维点云向水平面投影的二维点云图像。
在本公开实施例中，可以基于获取的三维点云的三维点信息，将三维点云投影在水平面上。这里的水平面可以是根据图像采集装置拍摄过程中所在的拍摄平面确定的虚拟平面，将三维点云投影在水平面上可以生成三维点云投影之后的二维点云图像。
这里，在基于三维点信息，生成三维点云投影的二维点云图像之前，可以根据图像采集装置的位姿信息确定图像采集装置拍摄过程中的拍摄平面，然后根据该拍摄平面确定三维点云投影的水平面，从而可以将三维点云投影到确定的水平面上，生成三维点云的二维点云图像。这里的水平面可以是在图像采集装置的坐标系下的平面，与真实三维空间中的水平面可以相同，也可以不同，三维点云在图像采集装置的坐标系下进行投影，生成投影之后二维点云图像。
图2示出根据本公开实施例的三维点云投影的二维点云图像的框图。如图2所示，三维点云投影的水平面与真实三维空间中的Z轴并不垂直。三维点云经过向水平面的投影后，可以得到三维点云的二维点云图像。
步骤S13，基于所述二维点云图像与参考平面图的一致程度，确定所述三维点云中包含的三维点在所述参考平面图的参考坐标系下的投影坐标，其中，所述参考平面图用于表示目标物体在所述水平面投影的带有参考坐标的投影图，所述三维点云用于表示所述目标物体的三维空间信息。
在本公开实施例中，二维点云图像与参考平面图一致程度可以理解为，在相同的图像区域内，二维点云图像中的二维点与参考平面图中参考点之间的相互匹配程度。根据二维点云图像与参考平面的一致程度，可以确定二维点云图像匹配到参考平面图的相似变换，然后基于确定的相似变换可以将二维点云图与参考平面图进行对齐，得到三维点云中的三维点在参考平面图的参考坐标系下的投影坐标。或者，可以根据基于确定的相似变换，确定三维点云在参考平面图的参考坐标系下进行投影的投影变换，从而可以利用投影变换将三维点云投影在参考平面图上，得到三维点云在参考平面图的参考坐标系下的投影图像。
这里，相似变换是指从二维点云图像转换到参考平面图的变换关系。具体的，二维点云图像匹配到参考平面图的相似变换，可以但不限于包括二维点云图像的旋转、平移、放缩等图像变换。通过相似变换可以将二维点云图像匹配到参考平面图的对应位置，使二维点云图像中表示某个目标物体的二维点与参考平面图中表示该目标物体的参考点对齐。
这里，参考平面图可以是目标物体的向水平面投射的平面图，例如，建筑物的平面图、测绘的二维地图等。本公开实施例中可以利用墙面、立柱等显著的结构将三维点云自动匹配到参看平面图中，为了减少无关信息的影响，这里的参考平面图可以是经过简化的平面图，即参考平面图中可以保留表示墙面、立柱等显著结构的参考点或参考线段。在参考平面图中，保留的参考点或参考线段的像素值可以设置为1，其他的像素点可以设置为0，这样可以对参考平面图进行简化。
图3示出根据本公开实施例的三维点云在参考坐标系下的投影图像的框图。如图3所示，三维点云向水平面投影得到二维点云图像后，二维点云图像与参考平面图自动对齐。
通过本公开实施例提供的信息处理方案，可以根据二维点云图像与参考平面图的一致程度，将三维点云投影在参考平面图中，使在图像采集装置的坐标系下的三维点云自动变换到参考平面图的参考坐标系下，可以节省大量的人力，提高匹配效率。
本公开实施例中提供了生成三维点云投影的水平面的一种可能的实现方式。图4示出根据本公开实施例的确定三维点云投影的水平面过程的流程图。如图4所示，上述信息处理方法还可以包括以下步骤：
步骤S121，获取图像采集装置采集图像信息过程中的至少两个位姿信息，其中，所述图像信息用于构建所述三维点云；
步骤S122，根据所述图像采集装置的至少两个位姿信息，确定所述三维点云投影的水平面。
在该实现方式中，由于三维点云是以图像采集装置的坐标系为基准的，图像采集装置的坐标系与实际三维空间的坐标系可以不同，可以先确定三维点云进行投影的水平面。这里，图像采集装置的坐标系可以是以图像采集装置的图像传感器所在平面建立的坐标系。实际三维空间的坐标系可以是世界坐标系。从而可以获取图像采集装置拍摄过程中至少两个时刻对应的位姿信息，每个时刻的位姿信息可以是一个位姿信息。或者，可以获取两个图像采集装置在拍摄过程中的位姿信息，一个图像采集装置的位姿信息可以是一个位姿信息。位姿信息可以包括图像采集装置的位置信息和朝向信息，这里的位置信息可以是在图像采集装置的坐标系下的位置。根据图像采集装置的至少两个位姿信息，可以确定图像采集装置的拍摄平面，根据该拍摄平面可以确定三维点云投影的水平面。从而可以将三维点云的三维点信息投影在该水平面的坐标系下，生成三维点云的二维点云图像。
图5示出根据本公开实施例的确定三维点云投影的水平面过程的流程图。在一种可能的实现方式中，如图5所示，上述步骤S122可以包括以下步骤：
步骤S1221，根据所述图像采集装置的至少两个位置信息，确定所述图像采集装置在采集图像信息过程中的任意两个位置之间的位移；
步骤S1222，根据所述图像采集装置的至少两个朝向信息以及在任意两个位置之间的位移，确定所述三维点云投影的水平面。
在该实现方式中，可以认为三维点云投影的水平面与图像采集装置所在的水平轴平行，并且，该水平面与图像采集装置移动的平面平行。从而图像采集装置的至少两个朝向信息对应的朝向与水平面平行，图像采集装置的至少两个位置信息确定的位移与水平面平行，从而可以根据图像采集装置的至少两个位置信息，确定图像采集装置在采集图像信息过程中的任意两个位置之间的位移，然后根据水平面与图像采集装置的朝向、位移的平行关系，确定三维点云投影的水平面。
这里，上述图像采集装置满足以下至少一个预设的基础条件：
所述图像采集装置在采集图像信息过程中所在的水平轴与所述三维点云投影的水平面平行；所述图像采集装置在采集图像信息过程中的采集高度在预设高度范围内变化。其中，图像采集装置在采集图像信息过程中所在的水平轴与三维点云投影的水平面平行，可以表明图像采集装置在拍摄用于重建三维点云的图像信息时，图像采集装置是水平的，即基于图像采集装置的朝向确定的图像采集装置坐标系的x或y轴平行于拍摄的水平面。这里，可以将图像采集装置的成像平面的中心作为图像采集装置坐标系的原点，垂直于图像采集装置的成像平面且经过上述原点的方向可以作为图像采集装置坐标系的z轴，图像采集装置的成像平面所在平面的任意两个相垂直的方向能可以作为图像采集装置坐标系的x轴或y轴。图像采集装置在采集图像信息过程中的采集高度在预设高度范围内变化，可以表明图像采集装置拍摄的高度可以是大致固定的，从而图像采集装置的位移平行于水平面。这样，可以根据至少一个上述基础条件确定三维点云投影的水平面。即，在图像采集装置所在的水平轴与三维点云投影的水平面平行的情况下，可以通过图像采集装置在采集图像信息过程中至少两个时刻所在的水平轴形成的平面，确定三维点云投影的水平面。或者，在图像采集装置的采集高度在预设高度范围内变化的情况下，可以通过采集图像信息过程中不同方向的位移向量，确定三维点云投影的水平面，从而即使三维点云所在的图像采集装置坐标系与世界坐标系不同，也可以快速地确定三维点云投影的水平面，为三维点云生成向水平面投影的二维点云图像提供投影条件。
举例来说，可以基于上述基础条件先确定三维点云投影的水平面的x轴方向，再确定水平面的y轴与z轴方向。假设A可以是基于图像采集装置的朝向确定的矩阵，A的每行可以表示一个采集时刻图像采集装置的水平轴x轴的方向向量的转置，如果图像采集装置在该采集时刻确定位姿的旋转矩阵为R，则该采集时刻图像采集装置的x轴的方向向量可以为R的第一行行向量(1,0,0)T；假设B可以是基于两个采集时刻图像采集装置的位移得到的矩阵，为了提高稳定性，可以位移大于一定阈值的两个采集时刻图像采集装置，例如，可以将该阈值设置为两个采集时刻图像采集装置的最大位移的0.2倍，从而可以过滤过小的位移。根据上述矩阵A和B，可以建立关于水平面的法向向量的线性方程组(1)：
Figure BDA0002147661910000121
其中，n是水平面的法向向量。线性方程组(1)可以表示待求取的水平面的法线方向垂直于图像采集装置的x轴，同时，垂直于图像采集装置的位移。
上述线性方程组(1)可以通过奇异值分解(Singular Value Decomposition，SVD)求取n的最小二乘解。假设
Figure BDA0002147661910000122
M进行SVD后可以表示为M＝UDVT；其中，U是m×m阶的酉矩阵；D是半正定m×3阶的对角矩阵；而V是3×3阶的奇异向量矩阵。V中最小奇异值对应的奇异向量可以为n的最小二乘解，若奇异值按照降序排列，V对应的奇异向量分别为V1、V2和V3，则有n＝V3。
为了将三维点云投影到水平面生成二维点云图，除了确定三维点云投影的水平面的法线方向之外，还可以确定三维点云投影的水平面的x轴方向和y轴方向。举例来说，可以将上述V中的其它两个奇异向量，即V1和V2分别作为投影的水平面的x轴的方向向量和y轴的方向向量。
通过上述方式，可以确定三维点云投影的水平面所在的坐标系，从而可以进一步将三维点云向确定的水平面进行投影。
图6示出根据本公开实施例的生成二维点云图像过程的流程图。在一种可能的实现方式中，如图6所示，上述步骤S12可以包括以下步骤：
步骤S123，根据所述三维点云的三维点信息，确定所述三维点云中包括的至少一个平面；
步骤S124，根据所述至少一个平面中每个平面包括的三维点的数量以及每个平面的法线方向，确定所述三维点云中的待滤除三维点；
步骤S125，在所述三维点云中删除所述待滤除三维点，得到所述三维点云的剩余三维点；
步骤S126，根据剩余三维点的三维点信息，将剩余三维点投影在所述水平面上，生成所述三维点云投影的二维点云图像。
在该实现方式中，在室内场景下，可以利用墙面、立柱等标识性结构，将三维点云匹配到参考平面图中，由于三维点云可以包括表示室内场景中所有目标物体的三维点，如果将三维点云中所有的三维点向水平面投影，一些非标识性结构对应的三维点向水平面投影之后，会对标识性结构对应的三维点向水平面投影生成的二维点造成干扰，会增加分辨表示墙面、立柱等标识性结构的二维点难度。从而为了提高三维点云的二维点云图像匹配参考平面图的效果，在将三维点云投影到水平面时，可以对三维点云中的三维点进行滤除，例如，可以滤除三维点云中表示天花板、地面等物体的三维点，从而可以减少三维点中大量的非标识性结构对应的三维点。在滤除三维点云的三维点时，可以根据三维点信息中的位置信息，确定三维点云形成的一个或多个平面，然后可以统计每个形成的平面所包括的三维点的数量，并获取每个平面的法线方向。一般认为，天花板和地面所在的平面内包含的三维点数量比较多，且天花板和地面所在的平面的法线方向是垂直于地面的。因此，根据每个平面包括的三维点数量和法线方向，确定天花板、地面等物体的平面，然后可以将天花板、地面等物体的平面包括的三维点确定为待滤除三维点，从而可以将该平面上的三维点从三维点云中滤除，得到三维点云的剩余三维点。然后可以根据剩余三维点的位置信息，将剩余三维点投影在水平面上，生成三维点云投影的二维点云图像。
在该实现方式的一个示例中，上述步骤S124可以包括：根据所述至少一个平面中每个平面包括的三维点的数量，确定所述至少一个平面中三维点的数量最多并且大于第一阈值的第一平面；判断所述第一平面的法线方向是否垂直于所述水平面；在所述第一平面的法线方向垂直于所述水平面的情况下，确定所述第一平面包括的三维点为所述待滤除三维点。
在该示例中，可以根据获取的每个平面包括的三维点的数量，确定三维点集合中的三维点包括的一个或多个平面中，三维点的数量最多并且大于第一阈值的第一平面。然后可以判断第一平面的法线方向是否与水平面垂直，如果第一平面的法向方向与水平面垂直，则可以认为第一平面表示的是天花板或地面所在的平面，第一平面包括的三维点是三维点云中的待滤除三维点，否则可以将第一平面上的三维点由上述三维点集合转移到保留三维点集合中，得到三维点集合中剩余的三维点，然后重复确定三维点集合中的三维点包括的一个或多个平面中，三维点的数量最多并且大于第一阈值的第一平面的步骤，直到上述三维点集合中三维点的数量小于或等于预设的剩余数量阈值。这里，剩余三维点可以是由三维点集合中剩余的三维点以及保留三维点集合中的三维点组成的。第一阈值可以根据实际应用场景进行设置。
图7示出根据本公开实施例的生成二维点云图像过程的流程图。在一种可能的实现方式中，如图7所示，上述步骤S12可以包括以下步骤：
步骤S12a，根据所述三维点云的三维坐标向量以及投影的水平面，确定所述三维点云在所述水平面投影的二维点云的坐标信息；
步骤S12b，根据所述二维点云的坐标信息，确定所述二维点云包括的满足直线条件的目标直线；
步骤S12c，根据所述目标直线与所述水平面的坐标轴的位置关系，确定所述二维点云的旋转角；
步骤S12d，按照所述旋转角对所述二维点云进行旋转，得到所述三维点云向所述水平面投影的二维点云图像。
在该实现方式中，三维点信息可以包括三维坐标向量，该三维向量坐标可以是在图像采集装置坐标系下的坐标向量。在生成三维点云投影的二维点云图像时，可以根据在参考平面图中标识性结构的图像位置，将三维点云投影到水平面中。例如，可以根据参考平面图中墙面或立柱等标识性结构，通常平行于参考平面图坐标系的x轴或y轴这一性质，将三维点云投影到水平面中。进而可以将三维点云中每个三维点的三维坐标向量向水平面进行投影，得到投影之后二维点云中二维点的坐标信息，例如一个三维点i的坐标向量为Xi，则三维点i向水平面投影后得到的二维点xi的坐标为(xi,yi)，xi＝V1·Xi，yi＝V2·Xi。然后根据二维点云的坐标信息，将二维点云拟合成至少一条直线，在拟合的直线中确定满足直线条件的目标直线，并将满足直线条件的目标直线上包括的二维点作为表示标识性结构的二维点。然后可以根据目标直线与所述水平面的坐标轴的位置关系，确定目标直线与水平面的x轴或y轴的夹角，并将该夹角作为二维点云的旋转角，将二维点云按照旋转角进行旋转，使满足目标直线平行或垂直于水平面坐标轴的x轴或y轴，得到最终三维点云投影的二维点云图像。
举例来说，假设二维点云的旋转角为rini，则可以对所有的二维点云的进行旋转角为rini的旋转，使得目标直线平行于水平面的x轴或y轴。然后可以根据二维点云的坐标信息，确定二维点云的坐标的极值，得到二维点云的极值坐标可以表示为(xl,yt)。二维点云所在的矩形区域的长和宽分别以表示为w和h，该矩形区域可以包含二维点云所有的二维点。保持该矩形区域的长宽比不变，对该矩形区域放缩sini倍，可以生成一幅长为一定数值的二维点云图像。这里，二维点云图像的尺寸可以根据参考平面图的分辨率进行调整。例如，可以将二维点云图像的长度设置为参考平面图中某个区域的长度，二维点云图像中二维点所在位置的像素值可以设置为1，其它位置的像素值可以设置为0，这样，可以得到三维点云投影的二维点云图像。
在该实现方式的一个示例中，根据所述二维点云的坐标信息，确定所述二维点云包括的满足直线条件的目标直线，可以包括：根据所述二维点云的坐标信息，确定所述二维点云中包括的至少一条直线；统计所述至少一条直线中每条直线所包含的二维点的数量，按照所述二维点的数量对所述至少一条直线排序，得到排序结果；根据所述排序结果逐次获取所述至少一条直线中的当前直线，确定所述至少一个直线中与所述当前直线垂直的直线的数量；在与当前直线垂直的直线的数量大于第三阈值的情况下，确定当前直线为满足直线条件的目标直线。其中，所述至少一条直线中每条直线包括的二维点的数量大于第二阈值。
在该示例中，室内的参考平面图中，墙面、立柱等显著的结构通常平行于x轴或y轴。基于此，确定二维点云包括的满足直线条件的目标直线可以包括以下步骤：
步骤1，在针对二维点云的二维点集合，可以对二维点进行直线拟合，例如，利用RANSAC算法。获取直线上二维点的数量最多并且大于第二阈值的直线，将该直线放入直线队列，并从二维点集合中去除这条直线上的二维点。这里二维点的数量最多可以理解为二维点的数量达到峰值。
步骤2，若二维点集合中剩下的二维点的数量大于一定的剩余数量阈值，则重复上一步骤。通过这种方式可以确定二维点的数量大于第二阈值的至少一条直线。
步骤3，根据统计的每条直线所包含的二维点的数量，从直线队列中取出排在最靠前的当前直线，排在最靠前的当前直线可以理解为直线中二维点的数量最多的直线。计算当前直线与其他直线的夹角。如果与当前直线垂直的直线的数量大于第三阈值，则可以认为当前直线表示某个平行于x轴或y轴的标识性结构，确定当前直线为满足直线条件的目标直线。否则，重复步骤3直到满足直线条件的目标直线出现或者直线队列为空。如果直线队列中都没找到满足直线条件的直线，则可以将最先加入队列的直线，即直线包括的二维点数量最多的直线作为目标直线。
本公开实施例还提供了确定三维点云中包含的三维点在参考坐标系下投影坐标的一种可能的实现方式。下面结合附图对上述步骤S13进行说明。
图8示出根据本公开实施例的确定三维点云在参考坐标系下投影坐标的流程图。如图8所示，上述步骤S13可以包括以下步骤：
步骤S131，对所述二维点云图像进行至少一次相似变换；
步骤S132，确定每次相似变换后所述二维点云图像中二维点与参考平面图的参考点的一致程度；
步骤S133，根据所述至少一次相似变换后确定的一致程度，确定所述三维点云中三维点匹配到所述参考平面图中参考点的变换关系；
步骤S134，基于所述变换关系，将所述三维点云向所述参考平面图进行投影，得到所述三维点云在所述参考平面图的参考坐标系下的投影坐标。
在该实现方式中，由于二维点云图像与参考平面图可能在尺寸和位置并不匹配，从而需要将二维点云图像经过至少一次相似变换，使二维点云图像与参考平面图表示相同物体的图像对齐。这里，相似变换可以包括旋转、放缩和平移。每次经过相似变换后，可以确定相似变换后的二维点云图像中二维点与参考平面图中参考点的一致程度，一致程度最高的相似变换可以是最终确定的相似变换。由于最终确定的相似变换是二维点云图像匹配到参考平面图的二维相似变换，从而可以根据最终确定的相似变换确定三维点云中三维点匹配到参考平面图中参考点的变换关系，即可以根据二维的相似变换确定三维的变换关系，根据该三维的变换关系可以将三维点云匹配到参考平面图，得到三维点云在参考坐标系下的投影坐标。
图9示出根据本公开实施例的对二维点云图像进行相似变换的流程图。如图9所示，在一种可能的实现方式中，上述步骤S131可以包括以下步骤：
步骤S1311，确定所述二维点云图像进行相似变换的变换范围；
步骤S1312，在所述变换范围内对所述二维点云图像进行至少一次相似变换。
在该实现方式中，可以先确定二维点云图像进行相似变换的变换范围，这里的相似变换的变换范围可以包括旋转角度、放缩尺度以及平移区间，在确定的变化范围内可以对二维点云图像进行一次或多次相似变换，使二维点云图像与参考平面图相匹配。
举例来说，二维点云图像可以经过上述旋转角为rini的旋转，二维点云图像中表示墙面等标识性结构的二维点平行于x轴或y轴，参考平面图中表示墙面等标识性结构的参考点同样平行于x轴或y轴，从而二维点云图像的旋转角度可以包括4个旋转角度，即旋转角度可以是{0°,90°,180°,270°}。放缩尺度可以在区间[0.55,1.4]进行等间隔变换，间隔可以设置为0.05。
平移区间可以设置为参考平面图中心周围的一个矩形区域内，假设平移向量为(tx，ty)，
Figure BDA0002147661910000161
平移向量的变化间隔可以为1个像素。其中，wf表示参考平面图的宽；hf表示参考平面图的高；
Figure BDA0002147661910000162
表示参考平面图中心的x坐标；
Figure BDA0002147661910000163
表示平面图中心的y坐标；
Figure BDA0002147661910000164
表示二维点云图像中心的x坐标；
Figure BDA0002147661910000165
表示二维点云图像中心的y坐标。此平移区间可以表示将二维点云图像的中心移动至参考平面图中心周围的一个矩形区域内，该矩形区域与参考平面图的大小相同。
在一个可能的实现方式中，所述相似变换包括平移变换；上述步骤S132可以包括：针对每次平移变换后的二维点云图像，对所述二维点云图像进行预设次数的下采样处理，得到每次下采样处理后的第一采样图像；针对每次下采样处理后的第一采样图像，确定该第一采样图像中二维点与第二采样图像中参考点的一致程度；其中，第二采样图像为所述参考平面图经过与该第一采样图像相同的下采样处理得到的；根据第一次下采样处理后确定的第一采样图像与第二采样图像的一致程度，确定每次平移变换后的二维点云图像中二维点与参考平面图的参考点的一致程度。
在该实现方式中，为了提高确定最佳相似变换的效率，在对二维点云图像进行平移变换时，可以采用由粗到细的方式确定每次平移变换后二维点云图像与参考平面图的一致程度。即，针对每次平移变换后的二维点云图像，可以对该二维点云图像进行预设次数的下采样处理，每次下采样处理后可以得到二维点云图像对应的第一采样图像。同时，对参考平面图进行预设次数的下采样处理，每次下采样处理后可以得到参考平面图对应的第二采样图像。多个第一采样图像和二维点云图像可以形成图像金字塔，图像金字塔包括多层，最底层可以表示二维点云图像，其他层可以表示二维点云图像经过下采样处理得到的第一采样图像，例如，表示二维点云图像经过最大池化操作得到的第一采样图像。层数越高，第一采样图像对应的上采样处理次数越多。相应地，多个第二采样图像和参考平面图可以形成图像金字塔，图像金字塔的最底层可以表示参考平面图，其他层可以表示参考平面图经过下采样处理得到的第二采样图像，参考平面图对应的图像金字塔的层数与二维点云图像对应的图像金字塔的层数相同。由图像金字塔的顶端开始，依次确定每层的第一采样图像和第二采样图像的一致程度，即，按照下采样处理次数由大到小的顺序，依次确定相同下采样处理次数的第一采样图像和第二采样图像的一致程度，确定每一层的第一采样图像和第二采样图像中每个像素点位置的一致程度，可以保留最佳的20个候选位置，下一层可以在保留的候选位置周围的7x7像素点位置的邻域，确定该层第一采样图像和第二采样图像的一致程度，直到最底层，即，确定二维点云图像和参考平面图的一致程度。通过这种方式可以提高确定最佳相似变换的效率。
图10示出根据本公开实施例的确定二维点云图像与参考平面图的一致程度的流程图。如图10所示，在一种可能的实现方式中，上述步骤S132可以包括以下步骤：
步骤S1321，针对每次相似变换后的二维点云图像，遍历所述二维点云图像的第一像素点，其中，所述第一像素点为所述二维点云图像中构成所述二维点的像素点；
步骤S1322，确定所述参考平面图中对应于所述第一像素点的第一图像区域；
步骤S1323，在所述第一图像区域内存在表示所述参考点的第二像素点的情况下，确定所述第一像素点为第一目标像素点；
步骤S1324，确定所述二维点云图像中包含的所有第一目标像素点的数量与所述二维点云图像中包含的所有第一像素点的数量的第一比例；
步骤S1325，根据所述第一比例确定每次相似变换后所述二维点云图像与所述参考平面图的一致程度。
在该实现方式中，可以确定每次经过相似变换后的二维点云图像与参考平面图的一致程度。这里的一致程度可以是在相同的图像区域内，二维点云图像到参考平面图的一致程度。从而可以遍历二维点云图像中每个表示二维点的第一像素点。针对任意一个第一像素点，确定该第一像素点的图像位置，然后在参考平面图的相同图像位置处，确定第一图像区域，例如，可以将相同图像位置的邻域作为第一图像区域。然后判断第一图像区域内是否存在表示参考点的第二像素点，如果存在，可以将第一像素点确定为第一目标像素点，然后计算二维点云图像中的第一目标像素点的数量与第一像素点的数量之间的第一比例，该第一比例可以确定为二维点云图像到参考平面图的一致程度。
举例来说，可以用Cp2f表示二维点云图像到参考平面图的一致程度。在二维点云图像中表示二维点的像素点可以是第一像素点，第一像素点可以认为是有意义的像素点。例如可以将二维点云图像中的第一像素点的像素值可以为1，除第一像素点之外的其他像素点的像素值设置为0。在二维点云图像的任意一个第一像素点的图像位置处，判断在该第一像素点的图像位置的相同位置处，参考平面图在该相同位置的像素点是否为第二像素点，如果存在，该第一像素点是第一目标像素点。确定所有第一目标像素点占所有第一像素点的第一比例。为了提高容错性，可以将相同位置调整为附近位置，例如，可以将附近位置设置为7×7像素点的邻域。
在一种可能的实现方式中，上述步骤S132可以包括：每次对所述二维点云图像相似变换后，遍历所述参考平面图的第二像素点，其中，所述第二像素点为所述参考平面图中构成所述参考点的像素点；确定所述二维点云图像中对应于所述第二像素点的第二图像区域；在所述第二图像区域内存在表示所述二维点的第一像素点的情况下，确定所述第二像素点为第二目标像素点；确定所述参考平面图中包含的所有第二目标像素点的数量与所述参考平面中包含的所有第二像素点的数量的第二比例；根据所述第二比例确定每次相似变换后所述二维点云图像与参考平面图的一致程度。
在该实现方式中，二维点云图像与参考平面图一致程度可以是在相同的图像区域内，参考平面图到二维点云图像的一致程度。从而可以遍历参考平面图中每个表示参考点的第二像素点。针对任意一个第二像素点，确定该第二像素点的图像位置，然后在二维点云图像的相同图像位置处，确定第二图像区域，例如，可以将相同图像位置的邻域作为第二图像区域。然后判断第二图像区域内是否存在表示二维点的第一像素点，如果存在，可以将该第二像素点确定为第二目标像素点，然后计算参考平面图中的第二目标像素点的数量与第一像素点的数量之间的第一比例，该第二比例可以表示参考平面图到二维点云图像的一致程度。
相应地，可以用Cf2p表示参考平面图到二维点云图像的一致程度。在一些实现方式中，可以用Cp2f+Cf2p可以表示二维点云图像与参考平面图之间相互的一致程度，一致程度越大，表示二维点云图像与参考平面图的对齐程度越高。
图11示出根据本公开实施例的确定二维点云图像与参考平面图的一致程度的流程图。如图11所示，在一种可能的实现方式中，上述步骤S132还可以包括以下步骤：
步骤S132a，每次对所述二维点云图像相似变换后，确定所述二维点云图像中位于非封闭区域内的第一像素点，其中，所述第一像素点为所述二维点云图像中构成所述二维点的像素点；
步骤S132b，确定位于所述非封闭区域的第一像素点的数量与所述二维点云图像中包含的所有第一像素点的数量的第三比例；
步骤S132c，根据所述第三比例确定每次相似变换后所述二维点云图像与参考平面图的一致程度。
在该实现方式中，为了提高三维点云参考坐标系下投影的鲁棒性，可以在确定二维点云图像与参考平面图的一致程度时，考虑三维点云的投影存在限制区域的约束条件，即可以理解为，三维点云中的三维点不应出现在某些区域，例如，不出现在某些封闭的图像空间。相应地，三维点投影的二维点也不应出现在某些图像区域。从而可以统计二维点云图像中位于非封闭区域内的第一像素点，然后计算位于非封闭区域的第一像素点的数量与二维点云图像中包含的所有第一像素点的数量之间的第三比例，该第三比例可以表示二维点云图像与参考平面图的一致程度。
在一种可能的实现方式中，上述步骤S132还可以包括：每次对所述二维点云图像相似变换后，根据所述图像采集装置采集图像信息过程中的位姿信息，确定所述图像采集装置在所述二维点云图像中投影的第三像素点；其中，所述图像信息用于构建所述三维点云；确定位于所述非封闭区域的第三像素点的数量与所述二维点云图像中包含的所有第三像素点的数量的第四比例；根据所述第四比例确定每次相似变换后所述二维点云图像与参考平面图的一致程度。
在该实现方式中，在确定二维点云图像与参考平面图的一致程度时，还可以考虑图像采集装置在采集图像信息过程中存在的约束条件，即，图像采集装置在采集图像信息过程中不应出现在某些空间，例如，不应出现在某些封闭空间内。相应地，图像采集装置投影在二维点云图像的二维点不应出现在某些区域。从而可以根据图像采集装置采集图像信息过程中的位姿信息，确定图像采集装置在二维点云图像中投影的第三像素点，然后统计位于非封闭区域内的第三像素点的数量，计算位于非封闭区域内的第三像素点的数量与二维点云图像中包含的所有第三像素点的第四比例，该第三比例可以表示二维点云图像与参考平面图的一致程度。
在一些实现方式中，为了更加全面地确定二维点云图像与参考平面图的一致程度，还可以考虑上述第一比例、第二比例、第三比例、第四比例中一个或多个比例，确定二维点云图像与参考平面图的一致程度。该一致程度越大，表示二维点云图像与参考平面图的对齐程度越高。基于上述各个实现方式，在一个示例中，在确定每次相似变换后二维点云图像与参考平面图的一致程度时，可以基于上述第一比例、第二比例、第三比例和第四比例，共同确定每次相似变换后二维点云图像与参考平面图的一致程度，相应的一致程度的表达式可以由公式(1)所示：
C＝Cp2f+Cf2p+Clc+Clp公式(1)；
其中，C可以是二维点云图像与参考平面图的一致程度，一致程度越大，表示二维点云图像与参考平面图的对齐程度越高；Cp2f可以表示上述第一比例；Cf2p可以表示上述第二比例；Clc可以表示上述第三比例；Clp可以表示上述第四比例。
图12示出根据本公开实施例的确定三维点云到参考平面图的变换关系的流程图。如图12所示，在一种可能的实现方式中，上述步骤S133可以包括以下步骤：
步骤S1331，根据所述至少一次相似变换后确定的一致程度，确定所述二维点云图像中二维点匹配到所述参考平面图中参考点的二维变换矩阵；
步骤S1332，基于所述二维变换矩阵，确定所述三维点云中三维点匹配到所述参考平面图中参考点的变换关系。
在该种可能的实现方式中，可以将至少一次相似变换中一致程度最高的相似变换作为最终的相似变换，根据最终的相似变换可以确定二维点云图像匹配到参考平面图的二维变换矩阵。然后基于二维变换矩阵可以得到由三维点云中三维点匹配到参考平面图中参考点的变换关系，该变换关系可以用三维变换矩阵进行表征。
举例来说，一致程度最高的相似变换对应的旋转角可以为rbest，放缩尺度可以为sbest。其中，rbest可以已经包括初始的旋转角rini，sbest可以已经包括初始的放缩尺度sini。该旋转角和缩放尺度下的最佳平移可以为tbest。从而可以得到由二维点云图中二维点到参考平面图中参考点相似变换的二维变换矩阵，该二维变换矩阵S2D可以如公式(2)所示：
Figure BDA0002147661910000191
其中，R(rbest)可以表示旋转角为rbest的2×2的旋转矩阵。
得到二维相似矩阵之后，可以由二维相似矩阵得到三维变换矩阵，三维变换矩阵S3D可以如公式(3)所示：
Figure BDA0002147661910000192
其中，Rz(rbest)可以表示以z轴为旋转轴旋转rbest的三维旋转矩阵，V可以是上述步骤S1222中的奇异向量矩阵，V三个列向量V1、V2和V3可以分别为投影的水平面的x轴、y轴和z轴。
通过上述三维变换矩阵，可以根据三维点云的三维点信息，得到三维点云中任意一个三维点在参考平面图中的投影坐标，可以提高将三维点云匹配到参考平面图上的效率和精度。
基于本公开实施例提供的上述信息处理方法，本公开实施例还提供了一种定位方法。图13示出根据本公开实施例的定位方法的流程图。该定位方法可以由终端设备、服务器或其它信息处理设备执行，其中，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该定位方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
如图13所示，所述定位方法包括以下步骤：
步骤S21，获取图像采集装置对目标物体采集的目标图像信息；
步骤S22，将采集的所述目标图像信息与三维点云中的三维点进行比对，其中，所述三维点云用于表示所述目标物体的三维空间信息，所述三维点云中的三维点与投影坐标对应，所述投影坐标是基于二维点云图像与参考平面图的一致性确定的，所述二维点云图像为所述三维点云向水平面投影的向水平面投影生成的，所述参考平面图用于表示所述目标物体在所述水平面投影的带有参考坐标的投影图；
步骤S23，根据与所述目标图像信息相匹配的三维点所对应的投影坐标，对所述图像采集装置进行定位。
在本公开实施例中，定位装置可以获取图像采集装置采集当前场景中目标物体的目标图像信息，然后可以将采集的目标图像与当前场景的三维点云中的三维点进行对比，确定采集的目标图像信息相匹配的三维点。然后可以根据该三维点的三维点信息，确定该三维点在参考平面图中的投影坐标，例如，利用上述三维投影矩阵，确定该三维点在参考平面图中的投影坐标。然后根据该三维点的投影坐标，可以确定图像采集装置在当前场景中的位置。举例来说，用户可以使用图像采集装置采集对目标物体进行拍照，定位装置可以根据图像采集装置拍摄的目标图像信息，确定用户在当前场景的参考平面图中的位置，实现对用户进行定位。
可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。
此外，本公开还提供了信息处理装置、电子设备、计算机可读存储介质、程序，上述均可用来实现本公开提供的任一种信息处理方法，相应技术方案和描述和参见方法部分的相应记载，不再赘述。
本公开实施例提供的信息处理方案，可以根据二维点云图像与参考平面图的一致程度，将三维点云投影在参考平面图中，使在图像采集装置的坐标系下的三维点云自动变换到参考平面图的参考坐标系下，可以节省大量的人力，提高匹配效率。并且通过对三维点云进行滤除的预处理以及多种约束条件结合的方式来进行自动匹配注册，提高匹配的准确率。对于某个大型建筑室内场景，可以先采集场景的图像进行三维重建，然后使用本公开实施例提供的信息处理方案将三维重建得到的三维点云自动匹配到建筑物的平面图上。基于匹配后得到的投影图像，用户可以通过手机等设备拍摄图像估计出用户在建筑物的平面图中的位置，即在当前场景中的位置，实现视觉定位。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
图14示出根据本公开实施例的信息处理装置的框图，如图14所示，所述信息处理装置包括：
获取模块31，用于获取三维点云的三维点信息；
生成模块32，用于基于所述三维点信息，生成所述三维点云向水平面投影的二维点云图像；
确定模块33，用于基于所述二维点云图像与参考平面图的一致程度，确定所述三维点云中包含的三维点在所述参考平面图的参考坐标系下的投影坐标，其中，所述参考平面图用于表示目标物体在所述水平面投影的带有参考坐标的投影图，所述三维点云用于表示所述目标物体的三维空间信息。
在一种可能的实现方式中，所述装置还包括：
位姿获取模块，用于获取图像采集装置采集图像信息过程中的至少两个位姿信息，其中，所述图像信息用于构建所述三维点云；
平面确定模块，用于根据所述图像采集装置的至少两个位姿信息，确定所述三维点云投影的水平面。
在一种可能的实现方式中，所述位姿信息包括朝向信息和位置信息；所述平面确定模块，具体用于，
根据所述图像采集装置的至少两个位置信息，确定所述图像采集装置在采集图像信息过程中的任意两个位置之间的位移；
根据所述图像采集装置的至少两个朝向信息以及在任意两个位置之间的位移，确定所述三维点云投影的水平面。
在一种可能的实现方式中，所述图像采集装置满足以下至少一个预设的基础条件：
所述图像采集装置在采集图像信息过程中所在的水平轴与所述三维点云投影的水平面平行；
在采集图像信息过程中所述图像采集装置到地面的高度在预设高度范围内变化。
在一种可能的实现方式中，所述生成模块，具体用于，
根据所述三维点云的三维点信息，确定所述三维点云中包括的至少一个平面；
根据所述至少一个平面中每个平面包括的三维点的数量以及每个平面的法线方向，确定所述三维点云中的待滤除三维点；
在所述三维点云中删除所述待滤除三维点，得到所述三维点云的剩余三维点；
根据剩余三维点的三维点信息，将剩余三维点投影在所述水平面上，生成所述三维点云投影的二维点云图像。
在一种可能的实现方式中，所述生成模块，具体用于，
根据所述至少一个平面中每个平面包括的三维点的数量，确定所述至少一个平面中三维点的数量最多并且大于第一阈值的第一平面；
判断所述第一平面的法线方向是否垂直于所述水平面；
在所述第一平面的法线方向垂直于所述水平面的情况下，确定所述第一平面包括的三维点为所述待滤除三维点。
在一种可能的实现方式中，所述三维点信息包括三维坐标向量；所述生成模块，具体用于，
根据所述三维点云的三维坐标向量以及投影的水平面，确定所述三维点云在所述水平面投影的二维点云的坐标信息；
根据所述二维点云的坐标信息，确定所述二维点云包括的满足直线条件的目标直线；
根据所述目标直线与所述水平面的坐标轴的位置关系，确定所述二维点云的旋转角；
按照所述旋转角对所述二维点云进行旋转，得到所述三维点云向所述水平面投影的二维点云图像。
在一种可能的实现方式中，所述生成模块，具体用于，
根据所述二维点云的坐标信息，确定所述二维点云中包括的至少一条直线；其中，所述至少一条直线中每条直线包括的二维点的数量大于第二阈值；
统计所述至少一条直线中每条直线所包含的二维点的数量，按照所述二维点的数量对所述至少一条直线排序，得到排序结果；
根据所述排序结果逐次获取所述至少一条直线中的当前直线，确定所述至少一个直线中与所述当前直线垂直的直线的数量；
在与当前直线垂直的直线的数量大于第三阈值的情况下，确定当前直线为满足直线条件的目标直线。
在一种可能的实现方式中，所述确定模块，具体用于，
对所述二维点云图像进行至少一次相似变换；
确定每次相似变换后所述二维点云图像中二维点与参考平面图的参考点的一致程度；
根据所述至少一次相似变换后确定的一致程度，确定所述三维点云中三维点匹配到所述参考平面图中参考点的变换关系；
基于所述变换关系，将所述三维点云向所述参考平面图进行投影，得到所述三维点云在所述参考平面图的参考坐标系下的投影坐标。
在一种可能的实现方式中，所述确定模块，具体用于，
确定所述二维点云图像进行相似变换的变换范围；
在所述变换范围内对所述二维点云图像进行至少一次相似变换。
在一种可能的实现方式中，所述相似变换包括平移变换；所述确定模块，具体用于，
针对每次平移变换后的二维点云图像，对所述二维点云图像进行预设次数的下采样处理，得到每次下采样处理后的第一采样图像；
按照下采样处理次数由大到小的顺序，依次针对每次下采样处理后的第一采样图像，确定该第一采样图像中二维点与第二采样图像中参考点的一致程度；其中，第二采样图像为所述参考平面图经过与该第一采样图像相同的下采样处理得到的；
根据第一次下采样处理后确定的第一采样图像与第二采样图像的一致程度，确定每次平移变换后的二维点云图像中二维点与参考平面图的参考点的一致程度。
在一种可能的实现方式中，所述确定模块，具体用于，
针对每次相似变换后的二维点云图像，遍历所述二维点云图像的第一像素点，其中，所述第一像素点为所述二维点云图像中构成所述二维点的像素点；
确定所述参考平面图中对应于所述第一像素点的第一图像区域；
在所述第一图像区域内存在表示所述参考点的第二像素点的情况下，确定所述第一像素点为第一目标像素点；
确定所述二维点云图像中包含的所有第一目标像素点的数量与所述二维点云图像中包含的所有第一像素点的数量的第一比例；
根据所述第一比例确定每次相似变换后所述二维点云图像与所述参考平面图的一致程度。
在一种可能的实现方式中，所述确定模块，具体用于，
每次对所述二维点云图像相似变换后，遍历所述参考平面图的第二像素点，其中，所述第二像素点为所述参考平面图中构成所述参考点的像素点；
确定所述二维点云图像中对应于所述第二像素点的第二图像区域；
在所述第二图像区域内存在表示所述二维点的第一像素点的情况下，确定所述第二像素点为第二目标像素点；
确定所述参考平面图中包含的所有第二目标像素点的数量与所述参考平面中包含的所有第二像素点的数量的第二比例；
根据所述第二比例确定每次相似变换后所述二维点云图像与参考平面图的一致程度。
在一种可能的实现方式中，所述确定模块，具体用于，
每次对所述二维点云图像相似变换后，确定所述二维点云图像中位于非封闭区域内的第一像素点，其中，所述第一像素点为所述二维点云图像中构成所述二维点的像素点；
确定位于所述非封闭区域的第一像素点的数量与所述二维点云图像中包含的所有第一像素点的数量的第三比例；
根据所述第三比例确定每次相似变换后所述二维点云图像与参考平面图的一致程度。
在一种可能的实现方式中，所述确定模块，具体用于，
每次对所述二维点云图像相似变换后，根据所述图像采集装置采集图像信息过程中的位姿信息，确定所述图像采集装置在所述二维点云图像中投影的第三像素点；其中，所述图像信息用于构建所述三维点云；
确定位于所述非封闭区域的第三像素点的数量与所述二维点云图像中包含的所有第三像素点的数量的第四比例；
根据所述第四比例确定每次相似变换后所述二维点云图像与参考平面图的一致程度。
在一种可能的实现方式中，所述确定模块，具体用于，
根据所述至少一次相似变换后确定的一致程度，确定所述二维点云图像中二维点匹配到所述参考平面图中参考点的二维变换矩阵；
基于所述二维变换矩阵，确定所述三维点云中三维点匹配到所述参考平面图中参考点的变换关系。
图15示出根据本公开实施例的定位装置的框图，所述定位装置包括：
获取模块41，用于获取图像采集装置对目标物体采集的目标图像信息；
对比模块42，用于将采集的所述目标图像信息与三维点云中的三维点进行比对，其中，所述三维点云用于表示所述目标物体的三维空间信息，所述三维点云中的三维点与投影坐标对应，所述投影坐标是基于二维点云图像与参考平面图的一致性确定的，所述二维点云图像为所述三维点云向水平面投影的向水平面投影生成的，所述参考平面图用于表示所述目标物体在所述水平面投影的带有参考坐标的投影图；
定位模块43，用于根据与所述目标图像信息相匹配的三维点所对应的投影坐标，对所述图像采集装置进行定位。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述
本公开实施例还提出一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为上述方法。
电子设备可以被提供为终端、服务器或其它形态的设备。
图16是根据一示例性实施例示出的一种电子设备1900的框图。例如，电子设备1900可以被提供为一服务器。参照图16，电子设备1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。
电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理，一个有线或无线网络接口1950被配置为将电子设备1900连接到网络，和一个输入输出(I/O)接口1958。电子设备1900可以操作基于存储在存储器1932的操作***，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由电子设备1900的处理组件1922执行以完成上述方法。
本公开可以是***、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(***)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种信息处理方法，其特征在于，包括：
获取三维点云的三维点信息；
基于所述三维点信息，生成所述三维点云向水平面投影的二维点云图像；
基于所述二维点云图像与参考平面图的一致程度，确定所述三维点云中包含的三维点在所述参考平面图的参考坐标系下的投影坐标，其中，所述参考平面图用于表示目标物体在所述水平面投影的带有参考坐标的投影图，所述三维点云用于表示所述目标物体的三维空间信息。
2.根据权利要求1所述的方法，其特征在于，所述基于所述三维点信息，生成所述三维点云向水平面投影的二维点云图像之前，还包括：
获取图像采集装置采集图像信息过程中的至少两个位姿信息，其中，所述图像信息用于构建所述三维点云；
根据所述图像采集装置的至少两个位姿信息，确定所述三维点云投影的水平面。
3.根据权利要求2所述的方法，其特征在于，所述位姿信息包括朝向信息和位置信息；
所述根据所述图像采集装置的至少两个位姿信息，确定所述三维点云投影的水平面，包括：
根据所述图像采集装置的至少两个位置信息，确定所述图像采集装置在采集图像信息过程中的任意两个位置之间的位移；
根据所述图像采集装置的至少两个朝向信息以及在任意两个位置之间的位移，确定所述三维点云投影的水平面。
4.根据权利要求2或3所述的方法，其特征在于，所述图像采集装置满足以下至少一个预设的基础条件：
所述图像采集装置在采集图像信息过程中所在的水平轴与所述三维点云投影的水平面平行；
在采集图像信息过程中所述图像采集装置到地面的高度在预设高度范围内变化。
5.根据权利要求1至4任意一项所述的方法，其特征在于，所述基于所述三维点信息，生成所述三维点云向水平面投影的二维点云图像，包括：
根据所述三维点云的三维点信息，确定所述三维点云中包括的至少一个平面；
根据所述至少一个平面中每个平面包括的三维点的数量以及每个平面的法线方向，确定所述三维点云中的待滤除三维点；
在所述三维点云中删除所述待滤除三维点，得到所述三维点云的剩余三维点；
根据剩余三维点的三维点信息，将剩余三维点投影在所述水平面上，生成所述三维点云投影的二维点云图像。
6.一种定位方法，其特征在于，所述方法包括：
获取图像采集装置对目标物体采集的目标图像信息；
将采集的所述目标图像信息与三维点云中的三维点进行比对，其中，所述三维点云用于表示所述目标物体的三维空间信息，所述三维点云中的三维点与投影坐标对应，所述投影坐标是基于二维点云图像与参考平面图的一致性确定的，所述二维点云图像为所述三维点云向水平面投影的向水平面投影生成的，所述参考平面图用于表示所述目标物体在所述水平面投影的带有参考坐标的投影图；
根据与所述目标图像信息相匹配的三维点所对应的投影坐标，对所述图像采集装置进行定位。
7.一种信息处理装置，其特征在于，包括：
获取模块，用于获取三维点云的三维点信息；
生成模块，用于基于所述三维点信息，生成所述三维点云向水平面投影的二维点云图像；
确定模块，用于基于所述二维点云图像与参考平面图的一致程度，确定所述三维点云中包含的三维点在所述参考平面图的参考坐标系下的投影坐标，其中，所述参考平面图用于表示目标物体在所述水平面投影的带有参考坐标的投影图，所述三维点云用于表示所述目标物体的三维空间信息。
8.一种定位装置，其特征在于，所述装置包括：
获取模块，用于获取图像采集装置对目标物体采集的目标图像信息；
对比模块，用于将采集的所述目标图像信息与三维点云中的三维点进行比对，其中，所述三维点云用于表示所述目标物体的三维空间信息，所述三维点云中的三维点与投影坐标对应，所述投影坐标是基于二维点云图像与参考平面图的一致性确定的，所述二维点云图像为所述三维点云向水平面投影的向水平面投影生成的，所述参考平面图用于表示所述目标物体在所述水平面投影的带有参考坐标的投影图；
定位模块，用于根据与所述目标图像信息相匹配的三维点所对应的投影坐标，对所述图像采集装置进行定位。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1至5中任意一项所述的方法，或者，以执行权利要求6所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至5中任意一项所述的方法，或者，所述计算机程序指令被处理器执行时实现权利要求6所述的方法。
CN201910690235.0A 2019-07-29 2019-07-29 信息处理方法、定位方法及装置、电子设备和存储介质 Active CN112381919B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201910690235.0A CN112381919B (zh) 2019-07-29 2019-07-29 信息处理方法、定位方法及装置、电子设备和存储介质
JP2021574903A JP7328366B2 (ja) 2019-07-29 2019-11-14 情報処理方法、測位方法及び装置、電子機器並びに記憶媒体
PCT/CN2019/118453 WO2021017314A1 (zh) 2019-07-29 2019-11-14 信息处理方法、定位方法及装置、电子设备和存储介质
TW109100342A TWI743645B (zh) 2019-07-29 2020-01-06 一種資訊處理方法及裝置、定位方法及裝置、電子設備和電腦可讀儲存媒介
US17/551,865 US11983820B2 (en) 2019-07-29 2021-12-15 Information processing method and device, positioning method and device, electronic device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910690235.0A CN112381919B (zh) 2019-07-29 2019-07-29 信息处理方法、定位方法及装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN112381919A true CN112381919A (zh) 2021-02-19
CN112381919B CN112381919B (zh) 2022-09-27

Family

ID=74228306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910690235.0A Active CN112381919B (zh) 2019-07-29 2019-07-29 信息处理方法、定位方法及装置、电子设备和存储介质

Country Status (5)

Country Link
US (1) US11983820B2 (zh)
JP (1) JP7328366B2 (zh)
CN (1) CN112381919B (zh)
TW (1) TWI743645B (zh)
WO (1) WO2021017314A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113607166A (zh) * 2021-10-08 2021-11-05 广东省科学院智能制造研究所 基于多传感融合的自主移动机器人室内外定位方法及装置
CN113744409A (zh) * 2021-09-09 2021-12-03 上海柏楚电子科技股份有限公司 工件定位方法、装置、***、设备与介质
CN115330652A (zh) * 2022-08-15 2022-11-11 北京城市网邻信息技术有限公司 点云拼接方法、设备及存储介质
CN115423933A (zh) * 2022-08-12 2022-12-02 北京城市网邻信息技术有限公司 户型图生成方法、装置、电子设备及存储介质
US20230116869A1 (en) * 2021-10-08 2023-04-13 Institute Of Intelligent Manufacturing, Gdas Multi-sensor-fusion-based autonomous mobile robot indoor and outdoor navigation method and robot

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11574485B2 (en) * 2020-01-17 2023-02-07 Apple Inc. Automatic measurements based on object classification
JP2023525538A (ja) * 2020-05-11 2023-06-16 コグネックス・コーポレイション ３ｄ画像の体積を決定する方法及び装置
CN113077500A (zh) * 2021-03-12 2021-07-06 上海杰图天下网络科技有限公司 基于平面图的全景视点定位定姿方法、***、设备及介质
CN113223179B (zh) * 2021-05-12 2022-08-05 武汉中仪物联技术股份有限公司 管道选定线路长度的确定方法和装置
CN113657074A (zh) * 2021-08-13 2021-11-16 杭州安恒信息技术股份有限公司 三维空间内的线性文本布局方法、电子装置及存储介质
CN114004882A (zh) * 2021-09-24 2022-02-01 奥比中光科技集团股份有限公司 一种二维地图生成方法、装置、终端设备及存储介质
CN113970295B (zh) * 2021-09-28 2024-04-16 湖南三一中益机械有限公司 一种摊铺厚度测量方法、装置及摊铺机
CN114202684B (zh) * 2021-11-29 2023-06-16 哈尔滨工程大学 一种适用于水面环境的点云数据投影方法、***及装置
US12017657B2 (en) * 2022-01-07 2024-06-25 Ford Global Technologies, Llc Vehicle occupant classification using radar point cloud
CN114442101B (zh) * 2022-01-28 2023-11-14 南京慧尔视智能科技有限公司 基于成像毫米波雷达的车辆导航方法、装置、设备及介质
CN114781056B (zh) * 2022-04-13 2023-02-03 南京航空航天大学 一种基于特征匹配的飞机整机外形测量方法
CN114963025B (zh) * 2022-04-19 2024-03-26 深圳市城市公共安全技术研究院有限公司 泄漏点定位方法、装置、电子设备及可读存储介质
CN116030103B (zh) * 2023-03-07 2024-02-27 北京百度网讯科技有限公司 确定砌筑质量的方法、装置、设备和介质
CN116542659B (zh) * 2023-04-10 2024-06-04 北京城市网邻信息技术有限公司 资源分配方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108932475A (zh) * 2018-05-31 2018-12-04 中国科学院西安光学精密机械研究所 一种基于激光雷达和单目视觉的三维目标识别***及方法
CN109872350A (zh) * 2019-02-18 2019-06-11 重庆市勘测院 一种新的点云自动配准方法
US20190195616A1 (en) * 2016-08-29 2019-06-27 Beijing Qingying Machine Visual Technology Co., Ltd. Method and apparatus for processing three-dimensional vision measurement data
CN109993793A (zh) * 2019-03-29 2019-07-09 北京易达图灵科技有限公司 视觉定位方法及装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5471626B2 (ja) * 2010-03-09 2014-04-16 ソニー株式会社 情報処理装置、マップ更新方法、プログラム及び情報処理システム
US9025861B2 (en) * 2013-04-09 2015-05-05 Google Inc. System and method for floorplan reconstruction and three-dimensional modeling
CN104422406A (zh) * 2013-08-30 2015-03-18 鸿富锦精密工业（深圳）有限公司 平面度量测***及方法
US20150279075A1 (en) * 2014-03-27 2015-10-01 Knockout Concepts, Llc Recording animation of rigid objects using a single 3d scanner
CN104217458B (zh) * 2014-08-22 2017-02-15 长沙中科院文化创意与科技产业研究院 一种三维点云的快速配准方法
TWI550425B (zh) * 2014-12-24 2016-09-21 財團法人工業技術研究院 三維點雲融合二維影像的方法、裝置與儲存媒體
CN105469388B (zh) * 2015-11-16 2019-03-15 集美大学 基于降维的建筑物点云配准方法
CN108472089B (zh) * 2015-12-15 2021-08-17 圣犹达医疗用品国际控股有限公司 电磁传感器跟踪***的运动框可视化
CN108830894B (zh) * 2018-06-19 2020-01-17 亮风台（上海）信息科技有限公司 基于增强现实的远程指导方法、装置、终端和存储介质
CN109035329A (zh) * 2018-08-03 2018-12-18 厦门大学 基于深度特征的相机姿态估计优化方法
CN109900338B (zh) 2018-12-25 2020-09-01 西安中科天塔科技股份有限公司 一种路面坑槽体积测量方法及装置
US10353073B1 (en) * 2019-01-11 2019-07-16 Nurulize, Inc. Point cloud colorization system with real-time 3D visualization

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190195616A1 (en) * 2016-08-29 2019-06-27 Beijing Qingying Machine Visual Technology Co., Ltd. Method and apparatus for processing three-dimensional vision measurement data
CN108932475A (zh) * 2018-05-31 2018-12-04 中国科学院西安光学精密机械研究所 一种基于激光雷达和单目视觉的三维目标识别***及方法
CN109872350A (zh) * 2019-02-18 2019-06-11 重庆市勘测院 一种新的点云自动配准方法
CN109993793A (zh) * 2019-03-29 2019-07-09 北京易达图灵科技有限公司 视觉定位方法及装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744409A (zh) * 2021-09-09 2021-12-03 上海柏楚电子科技股份有限公司 工件定位方法、装置、***、设备与介质
CN113744409B (zh) * 2021-09-09 2023-08-15 上海柏楚电子科技股份有限公司 工件定位方法、装置、***、设备与介质
CN113607166A (zh) * 2021-10-08 2021-11-05 广东省科学院智能制造研究所 基于多传感融合的自主移动机器人室内外定位方法及装置
CN113607166B (zh) * 2021-10-08 2022-01-07 广东省科学院智能制造研究所 基于多传感融合的自主移动机器人室内外定位方法及装置
US20230116869A1 (en) * 2021-10-08 2023-04-13 Institute Of Intelligent Manufacturing, Gdas Multi-sensor-fusion-based autonomous mobile robot indoor and outdoor navigation method and robot
US20230111122A1 (en) * 2021-10-08 2023-04-13 Institute Of Intelligent Manufacturing, Gdas Multi-sensor-fusion-based autonomous mobile robot indoor and outdoor positioning method and robot
US12019453B2 (en) 2021-10-08 2024-06-25 Institute Of Intelligent Manufacturing, Gdas Multi-sensor-fusion-based autonomous mobile robot indoor and outdoor positioning method and robot
CN115423933A (zh) * 2022-08-12 2022-12-02 北京城市网邻信息技术有限公司 户型图生成方法、装置、电子设备及存储介质
CN115423933B (zh) * 2022-08-12 2023-09-29 北京城市网邻信息技术有限公司 户型图生成方法、装置、电子设备及存储介质
CN115330652A (zh) * 2022-08-15 2022-11-11 北京城市网邻信息技术有限公司 点云拼接方法、设备及存储介质

Also Published As

Publication number Publication date
TW202105328A (zh) 2021-02-01
WO2021017314A1 (zh) 2021-02-04
TWI743645B (zh) 2021-10-21
JP2022537984A (ja) 2022-08-31
US20220108528A1 (en) 2022-04-07
US11983820B2 (en) 2024-05-14
CN112381919B (zh) 2022-09-27
JP7328366B2 (ja) 2023-08-16

Similar Documents

Publication Publication Date Title
CN112381919B (zh) 信息处理方法、定位方法及装置、电子设备和存储介质
US11270460B2 (en) Method and apparatus for determining pose of image capturing device, and storage medium
WO2020206903A1 (zh) 影像匹配方法、装置及计算机可读存储介质
US11748906B2 (en) Gaze point calculation method, apparatus and device
CN109993793B (zh) 视觉定位方法及装置
EP3502621B1 (en) Visual localisation
US10846844B1 (en) Collaborative disparity decomposition
WO2017092307A1 (zh) 模型渲染方法及装置
US9286539B2 (en) Constructing contours from imagery
CN112686877B (zh) 基于双目相机的三维房屋损伤模型构建测量方法及***
TWI587241B (zh) Method, device and system for generating two - dimensional floor plan
CN115690382B (zh) 深度学习模型的训练方法、生成全景图的方法和装置
CN113256718A (zh) 定位方法和装置、设备及存储介质
CN112837419A (zh) 点云模型构建方法、装置、设备及存储介质
CN113361365A (zh) 定位方法和装置、设备及存储介质
CN116168143A (zh) 一种多视图三维重建的方法
JP7432793B1 (ja) 三次元点群に基づくマッピング方法、装置、チップ及びモジュール機器
CN113902802A (zh) 视觉定位方法及相关装置、电子设备和存储介质
CN111861873A (zh) 仿真图像的生成方法和装置
CN113436269B (zh) 图像稠密立体匹配方法、装置和计算机设备
KR102146839B1 (ko) 실시간 가상현실 구축을 위한 시스템 및 방법
CN111131689B (zh) 全景图像修复方法和***
Li et al. Depth-assisted demosaicing for light field data in layered object space
Sahin The geometry and usage of the supplementary fisheye lenses in smartphones
CN117635875B (zh) 一种三维重建方法、装置及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40039090

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant