CN116907536A - 信息处理装置及其控制方法、信息处理***和存储介质 - Google Patents

信息处理装置及其控制方法、信息处理***和存储介质 Download PDF

Info

Publication number
CN116907536A
CN116907536A CN202310425787.5A CN202310425787A CN116907536A CN 116907536 A CN116907536 A CN 116907536A CN 202310425787 A CN202310425787 A CN 202310425787A CN 116907536 A CN116907536 A CN 116907536A
Authority
CN
China
Prior art keywords
map
registration
visual index
information processing
cad data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310425787.5A
Other languages
English (en)
Inventor
大平真司
藤木真和
富冈诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN116907536A publication Critical patent/CN116907536A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/383—Indoor data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Manufacturing & Machinery (AREA)
  • Processing Or Creating Images (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明提供信息处理装置及其控制方法、信息处理***和存储介质。用于提高用于对可移动设备的位置和姿势进行测量的地图的精度的信息处理装置包括：地图获取单元，其被配置为获取用于测量可移动设备的位置和姿势的地图；检测单元，其被配置为从与所述可移动设备移动的真实空间或真实空间中的物体相对应的绘图信息中检测视觉指标；配准单元，其被配置为进行所述地图和所述绘图信息之间的坐标系的配准；关联单元，其被配置为进行在配准之后的所述绘图信息中所包括的所述视觉指标和所述地图中所包括的构成元素之间的关联；以及校正单元，其被配置为基于关联的结果来校正所述地图。

Description

信息处理装置及其控制方法、信息处理***和存储介质
技术领域
本发明涉及用于处理可移动设备的地图的信息处理装置、信息处理***、信息处理装置的控制方法和存储介质。
背景技术
在诸如工厂或配送仓库等的环境中的诸如自动移动的无人自动导引车辆(AGV)等的可移动设备已经普及。可移动设备在进行真实空间的地图生成以及在真实空间中自身位置和姿势测量的情况下自动移动(自主行进)。作为进行地图生成和自身位置和姿势测量的方法，例如，已知有同时定位与地图构建(SLAM)方法。
为了使可移动设备自主行进，有必要预先设置可移动设备行进所沿着的路线。作为设置路线的方法，存在通过使用用于表示现场的环境的CAD数据在CAD数据上设置可移动设备的行进路线的经由点的方法。将CAD数据上的经由点的坐标转换成SLAM所生成的地图上的经由点的坐标，并且传递SLAM地图上的坐标作为可移动设备的行进路线的经由点。
然而，由于SLAM所生成的地图中包含地图生成时的累积误差，因此SLAM生成的地图与CAD数据不完全一致。为了校正位置偏差，日本特许6893200公开了如下技术：通过从深度传感器所生成的实际环境数据和从绘图(drawing)生成的SLAM地图估计尺度调整(scaleadjustment)参数并使用尺度调整参数对SLAM地图的尺度进行调整，来进行与真实空间的匹配。
然而，即使进行日本特许6893200中公开的尺度调整，也难以在用于表示真实空间的CAD数据和用于测量可移动设备的位置和姿势测量的整个SLAM地图之间进行匹配，并且可能保留相对于真实空间的误差。
本发明的一个目的是提高用于可移动设备的位置和姿势测量的地图的精度。
发明内容
根据本发明的方面，一种信息处理装置，包括至少一个处理器或电路，所述至少一个处理器或电路被配置为用作：地图获取单元，其被配置为获取用于测量可移动设备的位置和姿势的地图；检测单元，其被配置为从与所述可移动设备移动的真实空间或真实空间中的物体相对应的绘图信息中检测视觉指标；配准单元，其被配置为进行所述地图和所述绘图信息之间的坐标系的配准；关联单元，其被配置为进行在配准之后的所述绘图信息中所包括的所述视觉指标和所述地图中所包括的构成元素之间的关联；以及校正单元，其被配置为基于关联的结果来校正所述地图。
通过以下参考附图对实施例的描述，本发明的其他特征将变得更加明显。
附图说明
图1是示出根据本发明的第一实施例的信息处理装置的示例性功能配置的图。
图2是示出根据第一实施例的信息处理装置的示例性硬件配置的图。
图3是示出根据第一实施例的校正地图的处理的流程图。
图4A至图4C是示出根据第一实施例的坐标系的配准的图。
图5A和图5B是示出根据第一实施例的视觉指标的检测的图。
图6A和图6B是示出根据第一实施例的视觉指标的检测的图。
图7A和图7B是示出根据第一实施例的CAD数据的视觉指标和SLAM地图的特征点之间的关联的图。
图8A至图8C是示出根据第一实施例的校正地图的处理中的GUI的示例的图。
图9是示出根据第二实施例的信息处理装置所进行的处理的流程图。
具体实施方式
在下文中，参考附图，将使用实施例来描述本发明的有利模式。在各个图中，相同的附图标记应用于相同的构件或元素，并且将省略或简化重复的描述。
(第一实施例)
图1是示出根据本发明的第一实施例的包括信息处理装置100的信息处理***10的配置的图。信息处理***10是对诸如AGV等的可移动设备的行进进行控制的可移动设备***。
可移动设备不限于车辆并且可以以是任意物体，只要诸如自动两轮车、电车、机器人(自主移动机器人)和无人机等的物体移动即可。
信息处理***10基于用于位置和姿势测量的照相机(未示出)所摄像的周围环境的拍摄图像，生成用于位置和姿势测量的地图，并基于地图来控制可移动设备的移动(自主行进)。在本实施例中，将描述信息处理***10通过视觉SLAM来控制可移动设备的移动的示例。
信息处理***10包括信息处理装置100、显示数据生成单元107和显示单元108。信息处理装置100生成用于对可移动设备的位置和姿势进行测量的地图。在本实施例中，用于通过视觉SLAM来对可移动设备的位置和姿势进行测量的地图被称为SLAM地图。
SLAM地图是用于对可移动设备的位置和姿势进行测量的三维地图，并且是基于诸如可移动设备中所包括的照相机等的传感器所测量的测量结果而生成的。SLAM地图包括多个关键帧信息。
关键帧包括在生成地图时由照相机拍摄的图像，并且照相机的位置和姿势彼此相关联。此外，SLAM地图包括从拍摄图像中检测到的特征点的三维坐标的数据。
当设置可移动设备的路线时，在诸如用于表示作为可移动设备正在移动的真实空间的现场环境的CAD数据等的绘图信息上指定坐标。CAD数据的坐标被转换成SLAM地图的坐标，并且设置行进路线的经由点。
然而，在一些情况下，由于视觉SLAM所生成的SLAM地图生成时的尺度误差或由环闭合时的失真引起的累积误差，因而视觉SLAM所生成的SLAM地图局部失真。因此，CAD数据和SLAM地图中会出现误差。即使从CAD数据上的坐标进行诸如相似转换等的简单的坐标转换，CAD数据上的坐标也不与SLAM地图上的坐标完全一致。
因此，在本实施例中，从CAD数据中检测视觉指标，并基于视觉指标的三维坐标来校正SLAM地图中所包括的特征点的三维坐标。用于视觉指标的结构是可以由照相机针对管道、导管、喷洒器、空调或照明仪器等测量的结构。
在本实施例中，将描述在现场环境中将用于设计诸如管道、导管或照明仪器等的设施的布局的三维CAD数据用作绘图信息的示例。
信息处理装置100包括地图获取单元101、视觉指标信息获取单元102、配准单元103、检测单元104、关联单元105和校正单元106。地图获取单元101获取由视觉SLAM生成的SLAM地图。
地图获取单元101将所获取的SLAM地图输出到配准单元103、检测单元104、关联单元105和校正单元106。视觉指标信息获取单元102获取作为视觉指标检测对象的CAD数据，并将CAD数据输出到配准单元103。
配准单元103计算视觉指标信息获取单元102所获取的CAD数据上的坐标系和地图获取单元101所获取的SLAM地图上的坐标系之间的相对位置关系。
配准单元103基于相对位置关系将作为CAD数据的基准的坐标系转换为SLAM地图的坐标系，并将转换后的坐标系输出至检测单元104。在本实施例中，CAD数据和SLAM地图的坐标系被统一为SLAM地图的坐标系，但是可以进行在统一到CAD数据的坐标系之后的处理。
检测单元104基于地图获取单元101所输出的SLAM地图，从配准单元103所输出的坐标系已经被转换的CAD数据中检测视觉指标，并将检测结果输出至关联单元105。
关联单元105通过将检测单元104所输出的视觉指标与地图获取单元101所获取的SLAM地图中包括的特征点相关，来生成三维坐标集合对。关联单元105将三维坐标集合对作为关联结果输出到校正单元106。
校正单元106基于由关联单元105与SLAM地图上的特征点相关的视觉指标的三维坐标，对地图获取单元101所获取的SLAM地图中包括的特征点的三维坐标进行校正。校正单元106将特征点的三维坐标被校正的SLAM地图输出到显示数据生成单元107。
显示数据生成单元107和显示单元108控制用于校正地图的一系列处理(由配准单元103进行的配准(位置对准)、由检测单元104和关联单元105进行的关联、以及由校正单元106进行的校正)的过程和结果的显示。
显示数据生成单元107生成用于将配准单元103、关联单元105和校正单元106的输出信息可视化的数据，并将所生成的数据输出至显示单元108。显示单元108接收由显示数据生成单元107生成的数据，并将所接收到的数据输出到显示装置。
图2是示出根据第一实施例的信息处理装置100的示例性硬件配置的图。信息处理装置100包括CPU 211、ROM 212、RAM 213、外部存储器214、输入单元215、显示控制单元216、通信I/F 217以及用于将它们彼此连接的***总线220。
中央处理单元(CPU)211控制连接至***总线220的各种装置。只读存储器(ROM)212存储诸如基本输入/输出***(BIOS)的程序或引导程序等的用于控制信息处理装置100的程序。
外部存储器214存储由信息处理装置100处理的应用程序或程序、各种类型的数据或文件等。外部存储器214例如是诸如硬盘(HD)或固态驱动器(SSD)等的存储器。
随机存取存储器(RAM)213用作CPU 211的主存储装置。RAM 213还用作工作区域。CPU 211将ROM 212或外部存储器214中所存储的程序加载到RAM 213上并执行，并且通常控制连接到***总线220的各个单元。
输入单元215是诸如键盘、指示装置、机器人控制器等的输入装置，并且接收来自用户的输入。显示控制单元216包括诸如液晶显示器等的显示装置，并且根据来自CPU 211的指示将信息处理装置100所处理的结果输出到显示装置。
显示装置可以是液晶显示器、投影仪、LED指示器或能够实现虚拟现实(VR)的头戴式显示器等。输入单元215和显示控制单元216可以被配置为触摸面板。
通过将触摸面板上的输入坐标与显示坐标相关联，可以配置用户可以直接操纵触摸面板上所显示的画面的GUI。通信I/F 217经由网络进行与外部装置的信息通信。
对通信I/F 217的诸如以太网、USB、串行通信或无线通信等的类型没有限制。例如，网络可以被配置为诸如LAN或WAN等的通信网络、蜂窝网络(例如，LTE或5G等)以及无线网络中的任意一个或者它们的组合。也就是说，网络可以被配置为能够发送和接收数据，并且可以采用物理层的任意通信方案。
图3是示出根据第一实施例的校正地图的处理的流程图。通过使信息处理装置100的CPU 211将ROM 212或外部存储器214中所存储的程序读取到RAM 213上并执行，来实现图3的流程图中所示的校正地图的各个处理。
在步骤S301中，信息处理装置100被初始化。当信息处理装置100被初始化时，从ROM 212或外部存储器214读取程序，使得信息处理装置100可以操作。从外部存储器214读取用于生成SLAM地图的与照相机相关联的照相机参数，并将照相机参数存储在RAM 203中。
在步骤S302中，地图获取单元101获取由视觉SLAM生成的SLAM地图。地图获取单元101将所获取的SLAM地图输出到配准单元103、检测单元104、关联单元105和校正单元106。
在步骤S303中，视觉指标信息获取单元102获取与在步骤S302中获取的SLAM地图的区域相对应的视觉指标信息。在本实施例中，获取作为检测到视觉指标的对象数据的CAD数据作为视觉指标信息。
即，视觉指标信息获取单元102获取用于表示生成SLAM地图的整个现场环境的布局的CAD数据。然后，视觉指标信息获取单元102将所获取的CAD数据输出到配准单元103。
在步骤S304中，配准单元103在地图获取单元101获取的SLAM地图的坐标系和CAD数据的坐标系之间进行配准，其中，CAD数据是视觉指标信息获取单元102获取的视觉指标信息。作为配准，配准单元103进行将CAD数据的坐标系转换成SLAM地图的坐标系的处理。
作为坐标系之间的配准方法，例如，存在通过使用真实空间中物理地设置的标记所获得相对位置关系来转换坐标的方法。这里，使用诸如不是点对称的和线对象的平面图形等的标记来定义位置和姿势。
将参照图4A至图4C描述使用标记进行坐标系的配准的方法。图4A至图4C是示出根据第一实施例的坐标系的配准的图。图4A是示出在SLAM地图的坐标空间中的标记400的布置的图。
在图4A中，(x1,y1,z1)是标记400的坐标。图4B是示出在CAD数据的坐标空间中标记400的布置的图。在图4B中，(x2,y2,z2)是标记400的坐标。
假设CAD数据上的三维坐标已知，并且标记的位置和姿势由作为4×4的矩阵的Mc表示。例如通过使用日本特许4522140中所公开的估计标记的布置信息的方法，可以获得SLAM地图上的三维坐标，并且SLAM地图上的标记的三维位置和姿势是作为4×4的矩阵的Ms。
假设标记在CAD数据的坐标系和SLAM地图的坐标系中的位置和姿势在真实空间中彼此一致。因此，当用于将CAD数据上的任意坐标转换成SLAM地图上的坐标的转换矩阵是Msc时，Msc被表示为下面的表达式(1)。
Msc＝MsMc-1…(1)
此处，Mc-1是Mc的逆矩阵。配准单元103通过使用转换矩阵Msc将CAD数据的坐标系转换成SLAM地图的坐标系来进行坐标系的配准。
图4C是示出通过转换矩阵Msc将CAD数据的坐标系转换为SLAM地图的坐标系的图。坐标转换之后的CAD数据的坐标轴是图4C的XCY′Z′。以该方式，基于两个坐标系上的标记的三维坐标来获得转换矩阵Msc，并且CAD数据的坐标系可以通过转换矩阵Msc被转换成SLAM地图的坐标系。
配准单元103将坐标转换后的CAD数据输出至检测单元104和显示数据生成单元107。用于SLAM地图和CAD数据的坐标系之间的配准的方法不限于使用标记的方法，而是可以使用其他坐标转换方法。
在步骤S305中，检测单元104从坐标轴已被配准单元103转换的CAD数据中检测视觉指标。在本实施例中，将描述特征点用作视觉指标的示例。
这里，诸如图像上的边缘的交叉或拐角点等的特征点是亮度梯度大于阈值的像素。从CAD数据中检测到的特征点与地图获取单元101所获取的SLAM地图的构成元素相同。
检测单元104在生成图像(在该图像中，从与SLAM地图中所包括的任意关键帧相同的视点，通过CG绘制CAD数据)之后，通过进行用于检测亮度梯度大于阈值的像素的图像处理来从CAD数据检测特征点。具体地，选择SLAM地图中包括的任意关键帧，并且基于对关键帧进行摄像的照相机的位置和姿势，通过CG绘制CAD数据。
此处，由于在步骤S304中CAD数据的坐标系与SLAM地图的坐标系对准，因此SLAM地图上的三维坐标在CAD数据上可以作为相同坐标而被处理。在通过CG绘制获得的二维图像中，通过图像处理来检测用作视觉指标的特征点。
图5A、图5B、图6A和图6B是示出根据第一实施例的视觉指标的检测的图。图5A是示出当从上侧观看时的CAD数据的图。在CAD数据500中，布置了用作视觉指标的照明仪器501和管道502。
图5B是示出在CAD数据上的特征点以及对关键帧进行摄像的照相机的位置和姿势的图。照相机503表示当SLAM地图被生成时对关键帧进行摄像的照相机的位置和姿势。当以照相机503的位置和姿势通过CG绘制CAD数据时，生成图6A所示的二维图像600。
图6A是示出检测到视觉指标时照相机视点图像的示例的图。检测单元104从二维图像600中检测用作视觉指标的特征点。例如，在二维图像600中，在由黑点表示的位置处检测到特征点。
图6A中所示的特征点601的位置与图5B中所示的CAD数据的点504的位置相对应。图6B是示出在CAD数据的坐标空间中所有检测到的特征点的图。
检测单元104以SLAM地图中所包括的关键帧的数量重复检测特征点。当完成所有关键帧中的特征点的检测时，检测单元104将所有检测到的特征点的三维坐标的排列作为视觉指标输出到关联单元105。
在步骤S306中，关联单元105将CAD数据上的视觉指标与SLAM地图上的构成元素相关联(相关)。在本实施例中，由于CAD数据上的视觉指标与SLAM地图中包括的构成元素的特征点相同，所以CAD数据上的视觉指标与SLAM地图的特征点相关。
作为特定的相关方法，例如，选择SLAM地图上的最近特征点，并将最近特征点与CAD数据上的视觉指标相关联。在本实施例中，由于在步骤S304中将CAD数据的坐标系转换成SLAM地图的坐标系，所以CAD数据上的三维坐标可以作为与SLAM地图上的三维坐标的坐标空间相同的坐标空间中的坐标来处理。
因此，关联单元105可以选择并关联特征点，其中，在该特征点处，CAD数据上的视觉指标与SLAM地图上的特征点的两点之间的欧几里德距离最小。关联单元105将所有视觉指标进行关联。
图7A和图7B是示出根据第一实施例的CAD数据的视觉指标和SLAM地图的特征点之间的关联的图。在图7A和图7B中，CAD数据的视觉指标和SLAM地图上的特征点被叠加并表示在坐标空间上。白点表示CAD数据的视觉指标，以及灰点表示SLAM地图的特征点。
图7A是示出进行关联之前的视觉指标和特征点的图。图7B是示出在进行关联之后的视觉指标和特征点的图。在图7B中，仅保留了视觉指标和在各个视觉指标附近的与视觉指标相关联的特征点，并且排除了与视觉指标不相关联的SLAM地图的特征点。
CAD数据的视觉指标与SLAM地图的特征点一一对应，并处于数量一致的状态。关联单元105生成视觉指标的特征点的三维坐标和相关联的SLAM地图的特征点的三维坐标的对的排列，并将这些对的排列输出到校正单元106。
在步骤S307中，校正单元106基于与SLAM地图上的特征点相关联的视觉指标的三维坐标，对地图获取单元101获取的SLAM地图中包括的特征点的三维坐标进行校正。
校正单元106首先基于关联单元105输出的特征点的三维坐标的对，用视觉指标的三维坐标替换SLAM地图的特征点的三维坐标，以便将视觉指标设置为真值。
随后，用三维坐标替换的特征点的组被固定以优化SLAM地图。作为优化方案，例如，使用捆绑调整(bundle adjustment)。这里，捆绑调整通常是将重投影误差最小化的方法。
因此，结合用于估计位置和姿势的诸如Skrypnyk(I.Skrypnyk and D.G.Lowe,“Scene modelling,recognition and tracking with invariant image features,”Proc.3rd IEEE and ACM International Symposium on Mixed and Augmented Reality,pp.110to 119,2004)等的方法来进行估计，使得重投影误差和关键帧之间的位置和姿势的差之和最小。
如上所述，根据本实施例，可以减少在通过视觉SLAM自主行进的可移动设备的***中用于对可移动设备的位置和姿势进行测量的三维地图(SLAM地图)与用于表示真实空间的地图(CAD数据)之间的误差。因此，可以减少用于对可移动设备的位置和姿势进行测量的地图(SLAM地图)中包含的误差，因此提高地图的精度。
(变形例1-1)
在第一实施例中，已经描述了视觉SLAM被用作对可移动设备的位置和姿势进行测量的方案的示例，但是本发明不限于此。可以使用任意方案，只要该方案是能够基于地图来对可移动设备的位置和姿势进行测量的方案即可。
例如，可移动设备的位置和姿势可以通过LiDAR SLAM或使用诸如深度照相机等的传感器的SLAM来测量。当如2D LiDAR SLAM那样的用于测量位置和姿势的地图是根据到物体的距离值而生成的二维地图时，根据CAD数据中所包括的顶点信息估计出的边缘可以用作视觉指标。
通过将从CAD数据获取的边缘与SLAM地图上的边缘进行匹配，固定一致的边缘，并调整SLAM地图上的其他边缘的位置或姿势，可以校正地图。
当如3D LiDAR或深度照相机中那样的用于测量位置和姿势的地图是三维点群的集合体时，与面有关的信息可以用作视觉指标。提取来自CAD数据和SLAM地图中的每一个的、以边缘划分的面，将CAD面与从三维点群中提取的面进行匹配，并且根据CAD面对匹配后的三维点群的坐标进行校正。
用于表示校正后的面的点群的坐标可以固定，并且SLAM地图中所包括的所有特征点可以通过优化处理进行校正。以该方式，在对可移动设备的位置和姿态进行测量的方案中，即使当没有拍摄图像时，也可以从距离信息等中提取特征点。视觉指标不限于照明仪器或管道，并且可以是容易检测到边缘的部分或以边缘划分的面。
(变形例1-2)
在第一实施例中，检测单元104通过在从与SLAM地图中包括的关键帧的视点相同的视点、利用CG绘制CAD数据之后进行图像处理来检测视觉指标，但是本发明不限于此。
在第一实施例中，作为亮度梯度大于阈值的像素的特征点被用作视觉指标，但本发明不限于此。检测视觉指标的方法可以是任意检测方法，只要可以从CAD数据中检测出被定义为视觉指标的对象即可。
例如，可以从CAD数据中所包括的对象的顶点信息中获得作为线的交点的点，并且可以将该点设置为视觉指标。可以从CAD数据的顶点信息获得直线，并且可以将长度等于或大于阈值的直线检测为边缘，并且该边缘被设置为视觉指标或者边缘的端点可以被设置为视觉指标。
此外，可以提取来自各个CAD数据的以边缘划分的面，并且可以将形成两个面的拐角在阈值内时的接合部位的边缘设置为视觉指标。此外，在通过正交投影转换等将CAD数据转换成二维图像之后，可以通过图像处理来检测特征点或边缘等，并且可以将特征点或边缘等设置为视觉指标。
(变形例1-3)
在第一实施例中，作为在步骤S304中配准单元103进行CAD数据和SLAM地图的坐标系之间的配准的方法，已经描述了使用CAD数据上的坐标已知的标记的方法，但是本发明不限于此。
所述配准方法可以是任意配准方法，只要可以进行CAD数据和SLAM地图的坐标系的配准即可。例如，可以使用安装有照相机的可移动设备来代替标记。当可移动设备停止在CAD数据上的已知坐标处时，可以估计照相机的位置和姿势，并且可以基于与位置和姿态有关的信息来获得CAD数据和SLAM地图的坐标系之间的相对位置关系。
当用于测量位置和姿态的地图是诸如2D LiDAR SLAM等的包括边缘信息的地图时，可以将与CAD数据的墙或柱相对应的部分和SLAM地图的墙或柱进行匹配，以获得相对位置关系。
(变形例1-4)
在第一实施例中，当步骤S306的CAD数据的视觉指标与SLAM地图中所包括的构成元素相关联时，视觉指标和SLAM地图中所包括的特征点是相同的，因此直接相关，但是本发明不限于此。
所述关联方法可以是任意方法，只要CAD数据的视觉指标可以与SLAM地图中所包括的构成元素相关联即可。例如，关联单元105可以例如通过将从CAD数据提取的边缘的端点与SLAM地图中包括的构成元素相关，来将不同类型的特征进行关联。
(变形例1-5)
在第一实施例中，当用户使用显示单元108上所显示的GUI给出指示时，信息处理装置100可以进行设置或处理，直到SLAM地图的校正为止。
图8A至图8C是示出根据第一实施例的校正地图的处理中的GUI的示例的图。当进行地图校正处理时，地图校正处理的GUI由显示数据生成单元107生成并显示在显示单元108上。
图8A是示出用于进行步骤S304的配准的GUI的图。在GUI 810中，显示了SLAM地图811和CAD数据812。在图8A所示的示例中，显示了从上侧观看(在相同方向观看)的SLAM地图811和CAD数据812。
用户通过平移、旋转和扩大或缩小被叠加并显示在CAD数据812上的SLAM地图811来调整SLAM地图811使得坐标系一致，并按下定位按钮820。当检测到信息处理装置100中的定位按钮820被按下时，配准单元103经由输入单元215获取用户的配准结果，并将该结果输出到检测单元104和显示数据生成单元107。
图8B是示出用于在步骤S306中进行CAD数据的视觉指标和SLAM地图的特征点之间的关联的GUI的图。GUI 830示出了CAD数据上的视觉指标被映射到坐标空间上。
GUI 840示出SLAM地图上的视觉指标被映射到坐标空间上。完成步骤S304中的转换，使得GUI 830的CAD数据上的坐标系与GUI 840的SLAM地图的坐标***一。
图8B示出了在Z轴的正方向上观看SLAM地图和CAD数据的XY平面的示例。用户首先在GUI 830中选择CAD数据上的视觉指标。
随后，用户在GUI 840的SLAM地图上选择与在GUI 830中选择的视觉指标相关联的视觉指标。在图8B的示例中，在GUI 830中选择视觉指标831，并且在GUI 840中选择视觉指标841作为相应的视觉指标。
当GUI 840中所显示的SLAM地图上的视觉指标与GUI 830中所显示的CAD数据上的所有视觉指标中的各个视觉指标相关联时，用户按下完成按钮850。当检测到信息处理装置100中的完成按钮850被按下时，关联单元105经由输入单元215获取用户的关联结果，并将该结果输出到校正单元106和显示数据生成单元107。
图8C是示出用于选择用于步骤S307的校正处理的视觉指标的GUI的图。在GUI 860中，叠加并显示CAD数据上的视觉指标和相关联的SLAM地图上的视觉指标。
在图8C的示例中，GUI 860被示出为在Z轴方向观看XY平面时的平面图。用户通过使用复选框870来设置GUI 860中所显示的各个视觉指标是否用于校正处理。
例如，用户在GUI 860中选择CAD数据上的视觉指标，并在正在被选择的视觉指标用于校正处理时勾选复选框870。相反，当正在被选择的视觉指标不用于校正处理时，复选框870为空。
当GUI 860中显示的CAD数据上的所有视觉指标是否用于校正处理的设置完成时，用户按下校正执行按钮880。当检测到信息处理装置100中的校正执行按钮880被按下时，校正单元106使用用户所选择的CAD数据上的视觉指标和与CAD数据相对应的SLAM地图上的视觉指标来进行步骤S307的校正处理。
此处，已描述了在GUI 860中选择CAD数据上的视觉指标的示例，但选择对象可以是SLAM地图上的视觉指标。是否使用正在被选择的视觉指标可以不在复选框870中进行设置，而是可以通过在GUI 860中仅选择用于校正处理的视觉指标并按下校正执行按钮880来进行设置。
在视觉指标中，可以选择和排除不期望用于校正SLAM地图的视觉指标。图8A至图8C所示的GUI可以由用户用于在设置直到校正SLAM地图为止的处理或确认中途结果的同时校正SLAM地图。
(第二实施例)
在第一实施例中，已经使用从与可移动设备正在移动的现场环境的真实空间相对应的CAD数据中检测到的视觉指标来校正SLAM地图。在第二实施例中，将描述使用稍后在环境中设置的机器等作为视觉指标来校正SLAM地图的示例。
在第一实施例中，从现场环境的CAD数据中检测视觉指标，而在第二实施例中，针对各个机器从CAD数据中检测视觉指标。假设增加的机器的位置和姿势作为现场环境的CAD数据上的位置和姿势是已知的。根据本实施例的信息处理装置100的配置类似于第一实施例的信息处理装置100的配置，因此将省略其描述。
图9是示出根据第二实施例的校正地图的处理的流程图。通过使信息处理装置100的CPU 211将ROM 212或外部存储器214中所存储的程序读取到RAM 213上并执行，来实现图9的流程图中的校正地图的各个处理。在下文中，将描述与第一实施例的差异。对与第一实施例的处理类似的处理给予相同的附图标记，并省略其描述。
当在步骤S304中CAD数据和SLAM地图的坐标系之间的配准完成时，进行步骤S901的处理。当存在多个真实空间中所设置的机器的CAD数据时，对一个CAD数据进行步骤S901至S903的处理，并且对剩余机器的CAD数据重复类似的处理。
在步骤S901中，检测单元104从所设置的机器的CAD数据中检测视觉指标。检测对象是不同的，但是检测视觉指标的方法与第一实施例的检测视觉指标的方法相同。由于所设置的机器的CAD数据的坐标系与现场环境的CAD数据的坐标系不同，所以检测单元104将使用现场环境的CAD数据中的所设置的机器的位置信息检测出的视觉指标的三维坐标转换成现场环境的CAD数据上的坐标系。
当步骤S901的处理完成时，随后进行步骤S306的处理。当步骤S306的处理完成时，随后进行步骤S902的处理。
在步骤S902中，校正单元106基于与SLAM地图的特征点相关联的CAD数据的视觉指标的三维坐标，对SLAM地图上的特征点的三维坐标进行校正。校正单元106通过进行与第一实施例的捆绑调整类似的捆绑调整来优化SLAM地图，从而校正三维坐标。
当基于先前设置的机器的CAD数据来进行SLAM地图的校正处理时，在设置校正后的机器的位置附近的特征点被固定为优化状态，并且对优化结束的特征点进行捆绑调整。当步骤S902的处理完成时，随后进行S903的处理。
在步骤S903中，校正单元106判断是否使用所有机器的CAD数据进行校正SLAM地图的处理。当完成对所有设置的机器的从步骤S901到步骤S902的处理时，本处理结束。
相反，当对所有设置的机器的从步骤S901至步骤S902的处理未完成时，处理返回到步骤S901，并且对尚未完成处理的机器继续从步骤S901至步骤S902的处理。在实施例中，已经描述了使用机器的CAD数据的示例，但是本发明不限于机器，并且可以使用在现场环境中设置的物体的CAD数据。
在本实施例中，通过固定在已用于校正的机器附近的特征点，可以保证所有机器周边的位置和姿势测量的精度。通过使用在环境中安装设施之后增加的多个机器的CAD数据，可以减少由可移动设备进行的位置和姿势测量所使用的三维地图中所包含的误差。
因此，在基于现场环境的CAD数据校正SLAM地图之后，通过使用从各个机器的CAD数据检测出的视觉指标来校正SLAM地图，从而可以提高SLAM地图的精度。
本发明包括第一实施例和第二实施例的组合。虽然已经参照示例性实施例描述了本发明，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求的范围符合最广泛的解释，以涵盖所有这样的修改和等同的结构和功能。
此外，作为根据本实施例的控制的一部分或全部，用于实现上述实施例的功能的计算机程序可以通过网络或各种存储介质被供给至信息处理装置。然后，信息处理装置的计算机(或CPU或MPU等)可以被配置为读取并执行程序。在这样的情况下，程序和存储程序的存储介质构成本发明。
本申请要求2022年4月20日提交的日本专利申请2022-069149的权益，其全部内容通过引用并入本文。

Claims (9)

1.一种信息处理装置，包括至少一个处理器或电路，所述至少一个处理器或电路被配置为用作：
地图获取单元，其被配置为获取用于测量可移动设备的位置和姿势的地图；
检测单元，其被配置为从与所述可移动设备移动的真实空间或真实空间中的物体相对应的绘图信息中检测视觉指标；
配准单元，其被配置为进行所述地图和所述绘图信息之间的坐标系的配准；
关联单元，其被配置为进行在配准之后的所述绘图信息中所包括的所述视觉指标和所述地图中所包括的构成元素之间的关联；以及
校正单元，其被配置为基于关联的结果来校正所述地图。
2.根据权利要求1所述的信息处理装置，其中，所述视觉指标包括特征点或边缘。
3.根据权利要求1所述的信息处理装置，其中，所述检测单元基于所述绘图信息来生成与所述地图的任意关键帧相关联的图像，并且从所述图像中检测所述视觉指标。
4.根据权利要求1所述的信息处理装置，其中，所述绘图信息包括CAD数据。
5.根据权利要求1所述的信息处理装置，其中，所述地图是通过所述可移动设备中所包括的传感器对所述可移动设备的周围环境进行测量而生成的。
6.根据权利要求1所述的信息处理装置，其中，所述地图包括用于测量所述可移动设备的位置和姿势的SLAM所使用的三维地图。
7.一种信息处理***，包括至少一个处理器或电路，所述至少一个处理器或电路被配置为用作：
地图获取单元，其被配置为获取用于测量可移动设备的位置和姿势的地图；
检测单元，其被配置为从与所述可移动设备移动的真实空间或真实空间中的物体相对应的绘图信息中检测视觉指标；
配准单元，其被配置为进行所述地图和所述绘图信息之间的坐标系的配准；
关联单元，其被配置为进行在配准之后的所述绘图信息中所包括的所述视觉指标和所述地图中所包括的构成元素之间的关联；
校正单元，其被配置为基于关联的结果来校正所述地图；以及
显示单元，其被配置为对配准、关联和所述地图的校正其中至少之一的过程或结果的显示进行控制。
8.一种信息处理装置的控制方法，所述信息处理装置用于对用于测量可移动设备的位置和姿势的地图进行校正，所述控制方法包括：
获取所述地图；
从与所述可移动设备移动的真实空间或真实空间中的物体相对应的绘图信息中检测视觉指标；
进行所述地图和所述绘图信息之间的坐标系的配准；
进行在配准之后的所述绘图信息中所包括的所述视觉指标和所述地图中所包括的构成元素之间的关联；以及
基于关联的结果来校正所述地图。
9.一种非暂时性计算机可读存储介质，其被配置为存储包括指令的计算机程序，所述指令用于执行以下处理：
获取地图；
从与可移动设备移动的真实空间或真实空间中的物体相对应的绘图信息中检测视觉指标；
进行所述地图和所述绘图信息之间的坐标系的配准；
进行在配准之后的所述绘图信息中所包括的所述视觉指标和所述地图中所包括的构成元素之间的关联；以及
基于关联的结果来校正所述地图。
CN202310425787.5A 2022-04-20 2023-04-20 信息处理装置及其控制方法、信息处理***和存储介质 Pending CN116907536A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-069149 2022-04-20
JP2022069149A JP2023159484A (ja) 2022-04-20 2022-04-20 情報処理装置、情報処理システム、情報処理装置の制御方法およびプログラム

Publications (1)

Publication Number Publication Date
CN116907536A true CN116907536A (zh) 2023-10-20

Family

ID=85781741

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310425787.5A Pending CN116907536A (zh) 2022-04-20 2023-04-20 信息处理装置及其控制方法、信息处理***和存储介质

Country Status (4)

Country Link
US (1) US20230342956A1 (zh)
EP (1) EP4266005A1 (zh)
JP (1) JP2023159484A (zh)
CN (1) CN116907536A (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4522140B2 (ja) 2004-05-14 2010-08-11 キヤノン株式会社 指標配置情報推定方法および情報処理装置
CN117824676A (zh) * 2016-12-09 2024-04-05 通腾全球信息公司 用于基于视频的定位及映射的方法及***
JP6893200B2 (ja) 2018-10-16 2021-06-23 株式会社きんでん 自走制御プログラム、および、自走式作業装置
JP7501305B2 (ja) 2020-10-23 2024-06-18 沖電気工業株式会社 現像剤収容器及び画像形成装置

Also Published As

Publication number Publication date
JP2023159484A (ja) 2023-11-01
EP4266005A1 (en) 2023-10-25
US20230342956A1 (en) 2023-10-26

Similar Documents

Publication Publication Date Title
KR102399630B1 (ko) 굴착기의 버킷의 포즈 결정 방법 및 장치
CN110568447B (zh) 视觉定位的方法、装置及计算机可读介质
JP6465789B2 (ja) デプスカメラの内部パラメータを算出するプログラム、装置及び方法
CN110111388B (zh) 三维物***姿参数估计方法及视觉设备
US8019114B2 (en) Position and orientation measurement method and apparatus
JP5248806B2 (ja) 情報処理装置、情報処理方法
CN109918977B (zh) 确定空闲车位的方法、装置及设备
CN111735439B (zh) 地图构建方法、装置和计算机可读存储介质
US10438412B2 (en) Techniques to facilitate accurate real and virtual object positioning in displayed scenes
JP2004213332A (ja) キャリブレーション装置、キャリブレーション方法、キャリブレーション用プログラム、及び、キャリブレーション治具
US11209277B2 (en) Systems and methods for electronic mapping and localization within a facility
WO2013049597A1 (en) Method and system for three dimensional mapping of an environment
US11488354B2 (en) Information processing apparatus and information processing method
JP4132068B2 (ja) 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム
CN112184812B (zh) 提升无人机相机对AprilTag识别定位精度方法及定位方法和***
CN108430032B (zh) 一种实现vr/ar设备位置共享的方法及设备
US20210374978A1 (en) Capturing environmental scans using anchor objects for registration
CN110108269A (zh) 基于多传感器数据融合的agv定位方法
KR102490521B1 (ko) 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법
WO2024087962A1 (zh) 车厢姿态识别***、方法、电子设备及存储介质
CN107507133B (zh) 一种基于圆管作业机器人的实时图像拼接方法
CN112733641A (zh) 物体尺寸测量方法、装置、设备及存储介质
Feng et al. Marker-assisted structure from motion for 3D environment modeling and object pose estimation
CN116907536A (zh) 信息处理装置及其控制方法、信息处理***和存储介质
CN116136408A (zh) 室内导航方法、服务器、装置和终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination