CN110069972A - 自动探测真实世界物体 - Google Patents

自动探测真实世界物体 Download PDF

Info

Publication number
CN110069972A
CN110069972A CN201811485560.5A CN201811485560A CN110069972A CN 110069972 A CN110069972 A CN 110069972A CN 201811485560 A CN201811485560 A CN 201811485560A CN 110069972 A CN110069972 A CN 110069972A
Authority
CN
China
Prior art keywords
real world
model
picture
detection
instrument
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811485560.5A
Other languages
English (en)
Other versions
CN110069972B (zh
Inventor
伯恩哈德·麦茨勒
M·P·普雷采克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hexagon Technology Center GmbH
Original Assignee
Hexagon Technology Center GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hexagon Technology Center GmbH filed Critical Hexagon Technology Center GmbH
Publication of CN110069972A publication Critical patent/CN110069972A/zh
Application granted granted Critical
Publication of CN110069972B publication Critical patent/CN110069972B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/047—Accessories, e.g. for positioning, for tool-setting, for measuring probes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G01C11/025—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures by scanning the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/002—Active optical surveying means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B5/00—Measuring arrangements characterised by the use of mechanical techniques
    • G01B5/004—Measuring arrangements characterised by the use of mechanical techniques for measuring coordinates of points
    • G01B5/008—Measuring arrangements characterised by the use of mechanical techniques for measuring coordinates of points using coordinate measuring machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

自动探测真实世界物体。本发明涉及一种通过探测或计量仪器自动探测真实世界物体的方法。该方法包括：通过探测或计量仪器获取图片，该图片包括待探测的真实世界物体；以及自动检测和分类图片中被检测的待探测真实世界物体；另外还通过探测或计量仪器自动探测被检测的真实世界物体，以便确定该真实世界物体的位置和/或几何特征。根据本发明，利用分类器基于通过机器学习获取的数据来完成所述自动检测和分类，所述机器学习基于由虚拟数字3D模型而得的机器学习训练数据，所述虚拟数字3D模型表示所述真实世界物体并且包括该3D模型的元信息。

Description

自动探测真实世界物体
技术领域
本发明总体上涉及根据权利要求1所述的用于自动探测真实世界物体的方法和根据权利要求11所述的机器学习探测仪器的对应方法以及对应的仪器。
背景技术
本发明涉及利用测量装置进行的探测和计量。例如，这些装置可以是如经纬仪、视距仪、全站仪等的大地测量仪，例如，如在US 2015/176991、EP 1 836 457、US 2007/104353或US 2009/024342中示例性描述的。这些装置也可以是如坐标测量机、关节式坐标测量机、激光***等的计量***(例如，如DE 43 25 337、DE 43 25 347、US 5,402,582或EP 1474 650中示例性描述的)，或者这些装置可以是如激光扫描仪、RIM照相机、结构光数字转换器、立体照相机布置结构等的3D建模装置(例如，如US 2009/147319或DE 20 2006005643中示例性描述的)。
在这样的探测或计量中，测量装置必须与目标测量物体对准。例如，在利用全站仪进行大地探测时(但尤其是不仅仅在没有探测杆、ATR反射器等的辅助下直接测量目标物体时)用户手动执行瞄准单元(例如，全站仪望远镜)与目标物体的精确对准。这可以通过调节瞄准单元直到十字准线等与由用户通过光学望远镜或者在显示器上选择和识别的目标物体对准来完成。在进行编码探测时，这还涉及将类型代码分配给目标物体，这也是例如通过从菜单列表中选择物体类型或输入类型信息来手动完成的。
在计量的示例中，在手动过程中将待测量的工件或部件相对于坐标测量机对准。用户首先必须从菜单中选择部件作为待测量物体，随即手动测量一组参考点。基于这些参考点，确定部件相对于机器的相对位置，然后可以在获悉部件位置后，启动针对该部件的对应测量程序。
这样的手动交互可能是耗时的并且会造成大部分要由受过专门训练的专家完成的大量劳力。因此，目的是据此来改善测量过程。
在理论和学术原型中，已知存在至少尝试识别图片中的物体的机器学习方法。例如，图片内容可以在矢量空间中被表示为例如Fisher矢量(FV)或局部聚合描述符的矢量(VLAD)，并且使用如支持向量机、决策树、梯度增强树、随机森林、神经网络(包括如卷积神经网络的深度学习方法)的各种分类技术以及如k-nearest-neighbors、US 2015/0178383、US 2017/0185872、US 2017/0169313的各种基于实例的技术对这些图片内容进行分类。为了检测和/或定位较大场景中的物体，可以使用区域提议方法的变体，例如，滑动窗口/形状、R-CNN变体、基于语义分割的技术等。在进行物体检测、识别和分类中，可以直接使用如热成像仪图片和尤其是深度图像图片等的附加形态(例如，滑动形状)或者用作附加图像通道。为了借助机器学习训练用于图像数据内的物体检测和/或识别的这种算法，需要对表示所关注物体的大训练图像数据集进行繁琐的获取和注释。用于真实世界图片训练数据集的已知在线资源的示例是PASCAL VOC、IMAGENET等。为了实现机器学习中的良好结果，训练数据集必须覆盖在不同照明条件等下例如从不同视角看到的物体的较大可变性。出于此目的，必须获取并人工注释(即，通过标记图像内的物体并且分配物体的对应类或类型)每个物体类的数百至数千个图像，这是繁琐且耗时的任务。例如，存在试图实现此的大型项目和在线数据库(例如image-net.org、deeplearning.net、LabelMe等)。
发明内容
因此，目的是改善探测或计量仪器，尤其是，改善其使用和其自主性或者使测量不易出错。其中，可以包括对能被测量的目标物体的半自动或自动检测和/或分类。
尤其是，目的是在这样的仪器中实现机器学习或深度学习方法。其中，一个特定目的可以是改善这样的机器学习方法的训练，例如以覆盖更大数量、更宽范围和/或更多变型的训练数据。
另一目的是改善利用要包含在训练中的元信息对训练数据的标记，尤其是实现自动标记。其中，一个特定目的可以是不仅包括受训练物体的分类、命名或分组，而且包括测量训练和/或训练结果的元数据中的相关信息，例如，正受训的物体的尺寸信息或相对比例。
另一目的是提供基于待探测物体的机器学习的数据集提供半自动或自动探测的相应探测仪器，优选地，其中，数据集包括关于如何探测受训物体的仪器的附加信息。
通过实现独立权利要求的特征来实现这些目的。在从属专利权利要求中描述了以另选或有利方式进一步开发本发明的特征。
本发明涉及一种通过大地探测或计量仪器自动探测真实世界物体的方法。该仪器可以例如是视距仪、全站仪、激光扫描仪、3D扫描仪、坐标测量机。本发明包括通过探测或计量仪器获取图片，该图片包括(或换句话讲，描绘)待探测的真实世界物体。
本发明还包括通过计算单元对图片中待测量或探测的真实世界物体进行自动检测和分类，从而得到检测到的真实世界物体。其中，所检测到的真实世界物体可以例如被分类成在一个或更多个特定物体类别内和/或符合或包括其它物体特定属性和/或物体关联元信息的特定物体。例如，可以由计算单元或处理器完成这样的自动检测和分类，该计算单元或处理器包括检测器和/或分类器，来自照相机的数字真实世界图片被提供至该检测器和/或分类器。然后，可以通过用于确定真实世界物体的位置(如物体在真实世界中的位置和/或取向信息)和/或几何特征(如真实世界物体本身或相对于其它真实世界物体的尺寸、形状、形式、高度、方向、比例、对准等信息)的计量或探测仪器来完成对检测到并分类的真实世界物体的自动测量或探测。根据本发明，利用分类器基于通过机器学习而获取的模型来完成自动检测和分类，该机器学习基于包括表示真实世界物体并包括3D模型的元信息的虚拟数字3D模型的机器学习训练数据。其中，尤其是，分类器可以包括通过例如被实施为优选包括神经网络的计算单元或计算机的机器学习训练或生成的分类模型。
尤其是，在一个实施方式中，自动测量可以是由仪器进行的自动测量，而在另一个实施方式中是半自动或用户引导的测量，在半自动或用户引导的测量中，仪器引导操作人员根据检测和/或分类执行测量任务或者基于检测和/或分类自主地完成测量任务的至少部分。其中，元信息可以包括真实世界物体的至少物体类别标识符、物体类型标识符、物体名称标识符和/或物体测量标识符。
其中，机器学习训练数据可以包括由3D模型得到的多个数字渲染图像，该3D模型尤其包括进行渲染时的光线跟踪算法。可以通过虚拟地模拟3D模型的环境条件(尤其是变化的环境条件)来建立对来自3D模型的数字渲染图像的渲染。
尤其是，这些环境条件可以包括视角、照明、阴影、前景、背景、雾、闪光、污垢或正模拟真实世界环境的视图的其它计算机可渲染环境条件中的至少一个。
在一个实施方式中，所得到的真实世界图片可以是二维图片和/或数字渲染图像可以是二维图像。在另一个实施方式中，真实世界图片可以包括3D信息和/或数字渲染图像可以包括3D信息。例如，这样的3D信息可以包括深度图像。这样的深度图像可以被探测或计量仪器(例如，通过使用RIM照相机、激光扫描仪、结构光扫描仪、立体成像单元、SLAM评估等)推导为真实世界图片。为了进行训练，可以通过与已描述的2D图像的渲染类似的已知方法，根据虚拟数字3D模型来渲染这些深度图像。尤其是，本发明可以用于2D和3D图片和图像的组合，以完成用于自动检测和/或分类的信息。针对这样的3D信息的另一个选项将是要么直接使用点云数据，要么推导其深度图像。
除了可见光范围内的真实世界图片和/或渲染图像之外，本发明还可以在不可见的辐射带内工作，尤其是在红外(IR)和/或紫外(UV)范围内工作，但也可选地在任何其它频率范围内工作。因此，虚拟数字3D模型还可以包括表示这样的非可视属性的物理模型。例如，这样的物理模型可以用于例如以有限元方法等形式渲染温度信息。
这样的附加信息可以例如以附加“通道”的形式呈现在图片和/或图像中，在检测和分类除了可见图像或图片的红/绿/蓝(RGB)通道之外的通道时也考虑如附加深度、温度、IR、UV等的该附加信息。
3D模型和所得到的学习数据可以包括元信息，该元信息包括至少一个测量特征，其中，探测或计量仪器可以自动测量由此提供的至少一个测量特征中的至少一个。该至少一个测量特征可以例如包括轴、对称性、尺寸、距离、角度、直径、深度、相对比例、几何依赖性、可伸缩性等中的至少一个。
渲染图像还可以描绘来自表示多个真实世界物体处有可能存在的通用几何特征的3D模型的通用几何特征，并且它可以包括关于可如何建立该通用几何特征的探测的元信息。例如，其中，基于对这些通用几何特征中的一个或更多个进行自动检测和分类，未受训练的真实世界物体可以是可自动测量或探测的。
因此，或者说作为等效补充，本发明还涉及机器学习探测或计量仪器以(针对探测仪器)建立由该仪器拍摄的照相机图片中的真实世界物体的自动检测的方法。其中，照相机可以例如是各自具有可见和/或不可见的光谱范围的2D照相机、3D照相机和/或它们的组合。因此，照相机图片可以是可视图片、IR或UV图片、深度图像图片等中的至少一个。尤其是，这可以包括由探测仪器基于检测来自动探测真实世界物体。其中，机器学习的方法可以通过推导训练数据来表征，训练数据可以包括来自3D模型的数字图像的数字渲染，该3D模型表示真实世界物体并且包括它所表示的真实世界物体的元信息。在实施方式中，机器学习可以是自动监督机器学习，分别是探测或计量仪器的检测器和/或分类器的相应自动训练。在机器学习中，可以包括基于特征向量的分类器和/或神经网络的训练，这基于包括示出物体的数字渲染图像的所述训练数据。
因此，本发明涉及一种大地测量仪器或计量单元，该大地测量仪器或计量单元例如如上所述被配置为尤其通过利用先前的机器学习数据集并且主要利用物体的检测和识别(尤其是测量)来实现本发明的至少测量仪器相关部分。
因此，本发明还可以涉及被构建和配置成执行本文所描述的方法的测量仪器，尤其是大地探测仪器，例如，视距仪、全站仪、激光扫描仪或3D扫描仪。其中，尤其是，探测仪器包括用于拍摄真实世界图片的照相机，并且还包括具有机器学习神经网络的分类器，该机器学习神经网络在由虚拟3D模型得到的数字渲染图像上进行训练。
因此，本发明还可以涉及被构建和配置成执行本文所描述的方法的计量仪器，尤其是门式坐标测量机或关节式坐标测量机。其中，尤其是，计量仪器包括用于拍摄真实世界图片的照相机，并且还包括具有机器学习神经网络的分类器，该机器学习神经网络在由虚拟3D模型得到的数字渲染图像上进行训练。
尤其是，这样的探测和/或计量仪器可以提供自主或半自动测量模式，其自动测量在真实世界图片中由分类器自动识别出的真实世界物体的几何特征，其中，根据由虚拟3D模型得到的经训练的元信息来完成该自动识别。
换句话讲，本发明涉及基于机器学习进行物体检测和/或分类的方法，其中，机器学习算法是在表示物体的虚拟3D模型上进行训练的，该训练可以在自动程序中完成。在现场测量期间，在由测量***处的照相机拍摄的真实世界图片中检测和/或分类这样的学习的物体之后，可以根据分类的物体类型和/或其相对于测量***的对准以及在训练阶段期间得到的其它信息，对检测到的物体应用至少部分自动或机器引导的测量程序。
根据本发明的实施方式的一个第一示例，尤其是在完全或基本上没有人类操作员互动的情况下，可以根据物体的机器学习的自动检测和/或分类，提供由测量装置进行的对真实世界中物体的全自动测量。
根据本发明的实施方式的另一个第二示例，测量装置可以向装置的操作员提供或推荐关于在何处和/或如何测量物体的指令。例如，通过推荐能被测量的物体和/或物体处的物体点，由物体的机器学习的自动检测和/或由物体分类而得到。可选地，这还可以包括随分类一起存储和/或学习的元信息，该元信息可以尤其包括针对该物体的测量信息，可以评估该信息以生成针对自动检测和识别出的物体的测量建议。然后，操作员可以对来自装置的这种自动推荐进行确认、批准、纠正、修改、补充、解除等。在特定实施方式中，操作员还可以训练装置，以对先前未知的物体进行检测和/或分类。操作员还可以将装置引导到被自动检测和/或分类忽略的物体，并且例如通过选择画面上的物体来教导测量装置对所述物体进行检测、分类或测量，从而将它归类到物体类别列表中(或者生成新类别)。然后，操作员还可以手动测量物体并且可选地由此重新训练该装置以对该物体进行检测和/或分类，并且优选地，还重新训练如何和/或在何处测量该物体。尤其是，这可以通过为装置提供的相应计算单元用户界面在装置和操作员之间交互性地完成。
在实施方式的第三示例中，可以存在以上的第一示例和第二示例的组合。这可以包括机器学习装置本身进行的全自动测量与装置的唯一操作员指导之间的功能。
由此，本发明包括通过基于用测量装置捕获的照相机图片数据自动检测和/或识别所关注的物体来进行探测或计量的自动化测量过程的基本方面。工作流的示例可以包括至少以下步骤：
○利用测量***，例如，通过全站仪、地面激光扫描仪、坐标测量机等来获取图
片数据。
○基于图片数据和经训练的物体检测器/分类器单元来检测/识别待测量的所关
注物体。
○根据物体类型和/或相对于测量***的物体对准(位置、取向)利用测量***
对所检测到的物体应用测量程序。
其中，物体检测和识别基于机器学习算法。然而，在本发明中，基于物体的3D模型来训练物体检测器/分类器单元，而非出于训练目的仅仅利用真实照相机拍摄数千张以多种变型(例如，不同视角、变化的照明条件等)表示物体的真实世界图片。其中，可以基于3D模型而不是仅仅基于物体的真实世界图片，来虚拟地训练可以例如包括卷积神经网络的物体检测器或分类器。其中，例如，可以通过渲染根据物体的3D模型产生一组人造图像(RGB图像、强度图像、深度图像等)，然后使用经渲染的图像作为训练数据。
在训练分类器时，老化效应或结构变形也可能被认为也包括可能出现在真实世界物体上的这种变型。
该方法或该方法中的至少涉及运算和/或计算的那些部分也可以被实现为一个或更多个计算机程序产品，这些计算机程序产品被存储在机器可读介质上或者被实现为电磁波(诸如，例如有线或无线数据信号)。因此，本发明还涉及包括用于执行如本文中所描述的方法的程序代码的这种计算机程序产品，或者机器可读介质。尤其是，计算机程序产品可以包括通过由待识别的真实世界物体的3D模型得到的数字渲染图像训练的机器可读分类器的代码。另选地或可实现地，计算机程序产品还可以包括通过产生由真实世界物体的3D模型得到的数字渲染图像来实施分类器的机器学习的代码，提供渲染的图像作为用于机器学习的训练数据。
可以在根据本发明的探测或计量仪器中执行该计算机程序，所述仪器因此还涉及至少一个计算芯片，该计算芯片被构建成在有或没有实际加载计算机程序的情况下运行提供根据本发明的功能的计算机程序。
附图说明
下面仅以举例的方式参照附图中示意性示出的工作示例来更详细地描述或说明根据本发明的单元、方法和***。具体地，
图1a示出了鉴于本发明的物体的3D模型的实施方式示例的例示；
图1b示出了基于以上的3D模型渲染的图像的实施方式的一些示例；
图2a示出了根据本发明的生成数字渲染图像的高级合成的示例的例示；
图2b示出了根据本发明的用于训练的如上所示的物体的多个数字渲染图像中的一个的示例；
图3a示出了根据本发明的利用大地探测仪器对真实世界场景进行探测的示例；
图3b示出了如前所示的来自探测仪器处的照相机的真实世界图片的示例；
图4a示出了例示利用本发明的CMM形式的计量仪器的示例；
图4b示出了例示根据本发明的必须测量的部件的3D模型的实施方式的示例；
图4c示出了例示将被作为用于机器学习例程的训练数据提供的待测量几何特征的示例的渲染图像的示例；
图4d示出了例示由CMM根据本发明测量的部件的示例；
图5a示出了例示根据本发明的待识别和/或测量的并且被作为机器学习训练资源提供的物体的3D模型的另一个示例；
图5b示出了例示利用探测仪器根据本发明进行真实世界物体的真实世界测量的示例，由激光扫描仪示例性实现探测仪器；
图6a示出了例示将利用角度(子)分类根据本发明识别和/或测量的物体的真实世界图片和3D模型的第一示例；
图6b示出了例示将利用角度(子)分类根据本发明识别和/或测量的物体的真实世界图片和3D模型的第二示例；
图7利用框图示出了本发明的实施方式的示例；
图8示出了例示根据本发明的真实世界物体的自动或半自动真实世界测量的示例；
图9示出了例示根据本发明的方法的实施方式的原理的框图的示例。
具体实施方式
这些图中的示图不应被视为是按比例绘制的。在适当的情况下，相同的附图标记用于相同的特征或具有类似功能的特征。参考符号的不同索引用于区分示例性示出的相同或等效特征的不同实施方式。术语“基本上”在本文中用于描述以下事实：某个值、布置或特征不一定需要100％精确，而是可略微异常同时仍在范围内。换句话讲，可能会有一些例如由于不准确、无意识、设计考虑、公差等而导致的轻微偏差，但是尤其是鉴于将用此实现的技术效果，有明显的趋于所提到的值或布置的趋势。尤其是，这并不意味着明显相反。在任何情况下，除了“几乎完全”的含义之外，术语“基本上”总是可被解释为包括或者也表示“完全地”或特定特征本身的含义。
下面将通过示例的方式说明本发明，其中，待探测物体被示例性示出为消火栓或消防栓，分别被实现为机器部件或管道，它们代表了待测量或探测的任何其它真实世界物体，例如灯柱、灯笼、电线杆、栅栏、接线盒、建筑物、标志、桥梁、地标、门、窗、井盖、树、柱子等。在气象学中，此类物体可能用于例如孔、螺栓、螺母、制成品的轮廓、汽车或其零件、机器或其零件、铣削部件、铸造或模制部件等。
图1a至图3b是示例性而非限制性的，示出了作为所关注物体的消防栓。在图1a中，在具有表示视点的照相机6和光源5的体系中示出了这种消防栓的3D模型1。基于计算单元中的虚拟体系的这种示例，可以优选地通过针对一组多个图像2(例如，图1b的图像2a...2n)中的图像2改变照相机6和/或光源5的位置和/或取向来对该组图像进行数字渲染。其中，该体系是例如存储在计算机或其它计算装置的存储器中的虚拟体系，其中，CPU(中央处理单元)和/或GPU(图形处理单元)将消防栓物体的数字3D模型1用于尤其在特定照明5下来自特定视点6的其数字渲染数字图像2。其中，视点6可以模拟真实世界照相机的视点，尤其是，模拟其镜头、光圈、焦点、变焦等。其中，对于图像2中的每一个而言，特定视点6和/或特定照明5可以有所不同。除了视点6和照明5的变化之外，还可以存在在图像渲染过程中虚拟应用的其它条件，例如不同颜色(适于特定物体)、老化、雾、闪光、反射等。
通过该渲染得到多个图像2的训练数据集(例如，因为其中一些在图1b中是通过图像2a至2n示例性示出的)，其中，如在不同的照明条件5下从不同视点6看到地表示3D模型1的消防栓。这些渲染图像2a、2b、2c...2n在第一实施方式中是平面二维数字图像2，尤其是在与真实世界照相机所拍摄的图片类似的虚拟观看视角下。除了物体的3D模型1的不同渲染图像2a、2b、2c...2n中的不同视点6和/或照明5之外，另外，3D模型1本身也可以有所不同。例如，可以为物体指配几种颜色，可以应用虚拟老化，或者倘若物体可用于不同高度，可以例如通过将3D模型1在z方向上拉伸来操纵物体形状本身。
除了纯图像数据之外，根据本发明的这些渲染2D图像2还可以包括关于它们表示的物体和/或关于图像2已被渲染的条件的附加元信息。元数据还可以包括附加物体特定元信息，尤其是与探测或测量目的相关的元信息。关于这种探测相关信息以及如何推导和定义这种信息的示例可尤其见于如EP 2 569 596的文献中。将这种附加信息与渲染图像2一起提供，例如，将这种附加信息与渲染图像2或在渲染图像2中被渲染的物体建立联系。然后，使用附加信息作为用于机器学习的附加训练数据。例如，该附加信息可以包括几何信息(如物体对称性或轴8v、8h、坐标系信息9x、9y、9z)、惯例方向(如通常基本上直立(诸如9z)或垂直的方向)、定义的相对于彼此的物体中的一些部分的相对比例、物体的可伸缩方向(如可变的垂直高度)、安装公差、直径9d、该视图中不能直接可见的横截面信息、可在图像视图中探测的优选测量点9m，尤其是，其中，可以将优选测量点9m与物体的特定几何信息建立联系，并且优选测量点9m可以包括关于可以如何通过一个或更多个特定测量推导该几何信息的信息等。
尤其是，物体的这种附加信息可以包括诸如几何信息的附加元信息，该附加元信息是关于优选地按能自动探测这样的方式进行探测的目的。例如，通过包括已知消防栓其直径是圆形(或者从其它视点看，椭圆形等)(由此可通过朝向直径中心测量并且将基本水平方向上的直径的一半与所得到的测量值相加来自动进行此假定)的事实的附加信息，可以探测消防栓的中心轴8v的位置。其中，可以在机器学习进行教导时，在利用测量仪器进行评估时和/或至少部分在二者情况下实现此自动假定。尤其是，例如，与消防栓的中心轴8v通常基本上直立或垂直的附加训练知识相结合，这样使得能够随后例如在半自动模式或全自动模式下探测真实世界消防栓41，这随后可优选地自动完成。
例如如图2a和图2b所例示的，3D模型1的视图还可以与前景2f和背景2r相组合，例如，以图像、图片或附加3D模型的形式提供。例如，在图2a中示出的消防栓模型1的情况下，前景图像2f可以表示草或灌木等，当利用照相机拍摄它们时，它们通常存在于真实世界消防栓41的前方。通过背景中的树木和建筑物示出了另一示例，树木和建筑物以背景图像2r的形式提供，但也可以另选地至少部分地以诸如天空、山脉、草地、房屋、建筑物、天际线、树木、停车场、汽车或其它见于自然环境中经训练的物体的照片背景中的常见物的这些背景物体的3D模型的形式提供。
这样的组合导致将物体的模型1嵌入到逼真场景中，然后可以将其提供作为经渲染的训练图像2，诸如图2b中示出的示例。将用于训练机器学***线等往往也是某个区域所特有的。
在图3中，示出了用于例示根据本发明的示例的第一实施方式，该示例中例示了探测仪器44的自动目标对准。可选地，这还可以涉及目标物体41的自动测量。对应的工作流可以如下：
所示出的仪器44可以例如是如大地探测装置的全站仪。在设置好仪器44之后，在第一步骤中，探测仪器44捕获其环境的真实世界图片3(例如，以下所示)，即，环境的一个或更多个数字图片或数字全景图片。
例如包括数字处理器、存储器和输入/输出接口的计算单元以识别和/或定位图像3内的先前训练的物体的方式来分析该数字图片3。根据本发明，先前训练的物体至少部分地在数字渲染图像2上被训练，数字渲染图像2是由物体的3D模型数据1(例如，这样的CAD数据、点云模型或各种数据格式的其它3D计算机绘图)而得到的。根据这样的3D模型1生成图像数据2的数字渲染引擎在计算机图形领域中是已知的，并且可用于根据本发明提供数字渲染图像，尤其是，对于本发明的该方面而言，可以利用优选包括光线跟踪的所谓的照片级真实感渲染引擎。
在训练物体时，训练数据还包括除了纯几何数据之外的物体的其它信息。尤其是，其可以包括例如被作为元数据提供的一个或更多个名称、类型、类别或其它信息，元数据可以在训练中被保留并且在训练结果中建立联系，以便基于此来识别训练物体。根据本发明，尤其是，除了类别之外，这种元数据还可以包括诸如物体的几何信息、物体处的优选测量目标区域、物体的地理参考特征、为测量目的而在几何方面参考的物体特征(诸如，轴、方向、高度、线、直线结构)的测量相关元数据。
在具有交互式测量模式的实施方式中，可以提供利用用户交互进行的自动测量，例如，其中，探测仪器44基于利用探测仪器44处的照相机拍摄的图片3自动推荐测量，基于渲染的训练图像2自动识别图片3中的先前机器学习的测量目标。然后，例如通过呈现图片或其一部分，向操作员呈现那些识别出的可能的测量目标，优选地，其中所识别出的可能的测量目标被可视地标记并且可选地还指示自动识别出的类别、测量策略或针对所识别出的测量目标的其它对应元数据。然后，可以在必要时确认和/或调节向操作员呈现的特定测量，因此，仪器44将自动执行和记录它。因此，仅仅通过让探测仪器44拍摄仪器44所看到的场景的真实世界图像，就可以执行至少部分自主的测量工作流。
在实施方式的另一个示例中，探测仪器44可以完全自动地检测和识别仪器44的视图中的场景中的消防栓，该视图是由仪器以照相机图片3的形式拍摄的。基于以待检测物体的3D模型1为基础(或者，以由此生成的人为渲染图像2为基础)生成的机器学习训练数据来完成该检测和识别。一旦在图片3中识别出与经训练的3D模型1相对应的物体，识别计算***就也获悉对应的元数据，例如，有可能可使用该特定物体或物体1的该类型或类别作为固定探测界标。另一个元信息可以例如是，可以通过朝向点11进行测量来探测该特定识别出的物体，点11处于消防栓顶部处的圆形旋钮的中心处。它还可以包括测量相关元信息，例如，由此，消防栓的中心轴8v被限定为比测量值精确(例如)5cm。尤其是，这样的元信息被包括在已用于渲染训练数据2的初始3D模型1中，并且元信息在训练期间被作为该物体的对应探测信息或该物体的类别存储。因此，探测仪器44可以自动探测该消防栓41，而不需要操作员在现场执行消防栓的识别和定位和/或需要手动将与其相关的测量目标点瞄准消防栓41。仪器44可以例如通过示出具有带标记的消防栓31(标有3i以及可选地提供的自动得出的测量结果3m)的图片3来仅仅呈现结果，如有这种需要，则可以由操作人员能批准进行。
在图3b中例示了这样的真实世界图片3的示例(由于规则以计算机绘制图片的形式提供，但是代表由照相机拍摄的真实世界图片)。在该真实世界图片3中，前景中有草3g，其中有消防栓31以及多种不同的树3t、3r。另外，真实世界图片3在这里增加了示例元信息3i和3m，这显然在真实世界中不存在。
尤其是，包括在(在所关注特定物体上(例如，在消防栓31上)训练的)探测仪器44中的物体检测器/分类器被应用于优选以数字图片数据格式提供的图片数据3。在由物体检测器/分类器在图片3内检测到所关注的一个或更多个物体31的情况下，可开始测量过程，在该过程中，探测仪器44可以瞄准所检测到的关注物体31并且可以执行一个或更多个点测量3p，例如，土地探测领域中已知的大地测量。
图4a示出了根据本发明的示例的第二实施方式，示出了在作为计量仪器的坐标测量机(CMM)46的示例性实施方式的自动部件识别中使用的发明原理。
图4b示出了部件41b的3D模型1b的实施方式的示例，还包括特定的几何特征21。基于部件41b的3D模型1b或部件41b的特定几何特征的模型21(其中3D模型1b表示必须自动检测的物体或特征)，通过数字渲染该部件1b或特征21的图像来生成用于机器学习算法的训练数据集。该训练数据集由渲染图像2组成，渲染图像2表示在各种环境条件(例如，照明等)下从不同视角看到的部件41b。
具体地，在图4c中示出了根据本发明的根据在不同照明、不同材料、不同颜色等的情况下由不同视点看的孔的3D模型得到的钻孔的特定特征的这些数字渲染图像21a、21b、21c、21d的示例，这些数字渲染图像是随后将应用于评估真实世界图片上的这些钻孔的检测器/识别器中的用于神经网络的训练数据。
在渲染时，可选地，另外，可以补充例如CMM台或CMM周围的图像或3D模型作为渲染图像2中的背景。使用这些渲染图像2训练分类器，然后将分类器分派到CMM 46的控制器上。在这种情况下，分类器可以被实现为计算单元，其被构建、配置和编程，以自动检测和识别来自照相机的真实世界的二维或三维图片中的先前训练的物品。检测和识别物品的基础可以被提供，例如作为通过用物品的图像数据进行这样的训练而生成的数据集。尤其是，这样的分类器可以用硬件和/或软件来实现，可以例如包括神经网络架构或深度学习架构。
为了测量部件41b，用户将必须测量的部件41b的实例放在CMM 46上。利用CMM 46处的照相机6b，拍摄包括部分41b的至少一张图片，然后将其输入分类器。分类器自动识别该图片中的部件41b和部件41b的类型。基于由此得到的信息，CMM46可以从数据库中下载该部件41b或类型的对应测量程序并且可以自动启动该测量程序。
除了识别部件41b的类型之外，根据本发明，部件41b也不需要放在CMM 46上的精确限定的位置和/或精确限定的取向或对准。分类器还可以自动识别CMM 46上的部件41b的对准和取向，因此为CMM 46提供部件41b的至少粗略限定的基础坐标系。例如，该基础坐标系可以是已在训练中使用的3D模型中定义并且作为元数据存储在训练集中的坐标系。因此，当分类器识别部件41b时，可以恢复该元数据，由此也已知基础坐标系。根据本发明的用于测量的这种经训练并然后识别出的几何元信息通常不取代CMM测量，尤其是因为它缺乏足够高的几何精度。但是，这种几何信息例如对于通过测量探针48接近CMM 46中的部件41b的所期望参考区域来说仍然是足够精确的。通过利用CMM探针48进行的那些测量，随后可以例如以CMM 46的测量***的全精度来限定部件41b的更精确位置。其中一方面还在于，通过根据本发明识别部件41b及其位置，可以避免测量探针48或CMM46的其它部分与部件41b不期望地碰撞。
作为例如如在计算机辅助设计(CAD)***的屏幕上看到的部件的3D模型1b，图4b例示了部件41b。所示出的示例是由CNC机器铣削的部件41b的3D模型1b，其特征在于其外部形状和孔21。根据本发明，可将该3D模型1b数字渲染成用于机器学习算法训练的多个数字图像，以便建立和配置来自CMM处的照相机6b的图片中的该3D模型1b的真实世界配对物的分类器。
通常，在本发明中，在本发明的最常见实施方式中的机器学习可由术语“监督式学习”来表示，因为3D模型包括元数据或者与元数据相关联，从而定义要学习的用于识别或分类的物体的类别和/或用于其检测的物体的位置或边界框。在许多实施方式中，本发明可以利用所谓的“浅学习”方法，因为存在与数字渲染学习源一起(尤其是以自动方式)定义为元信息的预定义特征、描述符、标记和/或特征向量。但是显然，这样做也不会阻碍(至少部分地)考虑实现“深度学习”方法。
作为可以根据本发明使用的所有那些可能算法及其变型的一些最常见的当前已知学习原理，分类可以基于监督和半监督和无监督式学习方法，尤其是线性和二次分类器，尤其是线性和二次判别分析和Fisher线性判别、逻辑回归；具有线性和非线性核(Fisher、RBF、多项式、双曲线、矩阵定义)的支持向量机，尤其是最小二乘支持向量机、以上所有的变型，尤其是多类、结构化和贝叶斯SVM；贝叶斯分类器，尤其是朴素贝叶斯分类器；概率图形模型，尤其是条件随机场；深度学习，尤其是神经网络，尤其是卷积神经网络；递归神经网络，尤其是LSTM网络、限制Bolzmann机器决策树；分类器集合，尤其是树集合、随机森林和梯度提升树、增强、装袋和投票分类器、神经网络集合；基于邻居的技术，尤其是k-NN；学习矢量量化。欧洲专利申请EP 16206779(通过引用并入本文)包括关于机器学习方法的可能实施方式的一些示例和背景。
在根据本发明的另一个特定实施方式中或者结合先前描述的方法，基于数字3D模型本身直接训练检测器和/或分类器，而没有显式渲染图像并提供这些渲染图像作为训练资源。例如，3D模型本身(例如，以CAD-DATA、点云数据、网格数据等形式)被提供作为训练输入。作为示例，图像的矢量表示可以直接从3D模型或其经处理的表示(例如体素网格等)来近似。另一个选项是使用具有定义的视角和照明描述的特征预测器的技术，其利用局部几何信息和材料信息来预测特征的子集。而且，也可以使用类似方法来增强已存在的图像内容的表示，(例如)以将过程中的噪声正确建模，模拟不同背景下的观察物体，等等。
针对这种方法，尤其是，可以使用深度学习方法，例如，包括神经网络。例如，在训练神经网络时，第一隐藏层可以从3D模型直接激活并且创建将从该物体的真实世界图片中预期的响应。在分类时，这些第一层随后将被基于真实世界图片的一个或更多个层替换。因此，可选地，本发明也可以在没有物体的虚拟图像的显式渲染的情况下实施。
例如，通过提供图片中的物体或特征的边界框等，自动物体检测器自动识别图片内的物体或特征的存在，优选地，还包括关于其在图片中的(至少粗略)位置的信息。然后，自动分类器评估由物体检测器检测到的该物体或特征，并自动将其分类成优选包括可能性信息的一个或更多个可能类别的物体或特征。其中，这些类别可以包括所述元信息或者可以由所述元信息而得到，所述元信息优选地在学习阶段期间呈现。
换句话讲，可以通过建立合成、预训练的分类器和/或检测器，可以通过根据3D模型推导多个数字渲染并且提供这些渲染作为训练资源以便进行分类器和/或检测器的监督式学习来描述本发明的实施方式。其中，渲染可以包括优选嵌入尤其是来自多个不同视图和/或不同照明条件和/或环境条件的虚拟生成的真实感环境中的待训练的至少一个所关注物体。由此，可以基于虚拟信息训练通用分类器和/或检测器。
在本发明的可选的其它阶段中，这样的通用分类器和/或检测器还可以通过真实世界图片进行后期训练。这不仅可以在初始训练阶段中进行，而且或另选地也可以在分类器和/或检测器现场使用时进行。例如，可以使用对其应用检测器和/或分类器的真实世界图片(如果其中物体被检测/分类)作为附加训练资源，以增强检测器和/或分类器，例如，以提高其真实世界的成功率。通过(在实际实施方式中经常可用的)用户或操作员的反馈，这样的信息是尤其有利，该反馈确认或校正该真实世界图片中的自动检测器和/或分类器的结果。这样的真实世界图片还包括典型的现场环境条件(例如，在静止CMM的情况下，通常没有发生太大变化)，因此，这样的真实世界图像数据对于完善针对用于实际环境或任务的特定检测器和/或分类器的主要基于数字渲染信息的通用训练会非常有价值，由此，自动检测和/或分类的可靠性能得以提高。
根据图4c中示出的另一个实施方式，并非(实际上必须由CMM 46进行测量的)整个部分1b的整个3D模型基于其一组渲染图像被机器学***行线、凹陷......
尤其是，所示示例例示了从不同视点看到的和/或在不同照明下看到的平坦表面中的孔的一系列渲染图像21a、21b、21c、21d、...、21n。一旦经过训练，基于来自这样的孔的3D模型的数字渲染图像，分类器单元可以识别出待测量部件的照相机图片中的类似孔，尤其是，由此不需要知道该部件本身。
在图4d中示例性示出的自动CMM测量生成的未知部件80的俯视图(该未知部件80被提供给根据本发明配备的CMM)包括许多几何特征。根据本发明的上述方面，可以在CMM46处拍摄的部件80的图片中识别出这些特征。例如，存在孔82和82b，它们在图片中被识别为先前已基于由3D-CAD数据得到的渲染图像21a、21b、21c、...学***行度87等。如果整个部件本身被分类器识别为是先前得到的部件，则其元数据可以例如还包括关于该特定部件处的待测量特定点的信息，例如，这里示出了尺寸临界点84和/或由这些点限定的该部件的几何参照基础。
换句话讲，根据本发明，可以通过如边缘、角部或孔的几何特征的3D模型1的渲染图像2来教导机器学***面、圆角、球面特征等。
因此，例如，不仅可以自动检测和测量根据本发明的根据已用于渲染训练图像2的整个部件3D模型1b预先已知的整个部件41b。根据以上描述的本发明的方面，还可以自动测量未知或至少部分未知的部件80，这可以通过基于部件的常见可测量特征的数字渲染图像21a、21b、...训练的机器学习算法根据本发明来完成，这些图像是由包括所述特征的3D模型1而得到的。优选地，其中，不仅训练要识别的特征，而且训练数据还包括用于对其进行分类的特征的元信息。该元信息还可以包括例如，关于如何测量该特征和/或该特征具有哪些几何参数以及能如何测量这些参数的测量相关元信息。在训练期间，尤其是，可以根据渲染图像2中所存在特征的姿势来完成此过程。关于待使用测量程序、应该使用的测量探针、如何在没有碰撞的情况下接近特征等的信息可以由CMM 46对特征的分类得出和/或可以至少部分地被包括作为经训练的元信息。
图5a和图5b示出了根据本发明的实施方式的第三示例，在第三示例中，设置了用于检测和/或分类管道部件的分类器。图5a例示了可以根据本发明用于机器学***面平行投影视图)，但是因此，可以存在例如如7d所指示的或根据所出售类别选项的更多管道相关部件。其中，这些3D模型7a、7b、7c例如在尺寸、颜色、长度、直径方面也可以有所不同，因为它们的真实世界对应物往往会在现场有所不同。这些变化可以至少部分地也被包括作为用于学习的元信息2m，它们可以被分层地分组，按名称、类型、种类、部件号、制造商或许多其它元信息2m进行分类。尤其是，包括在渲染图像2中的管道部件的测量相关元信息2m可以由CAD***自动提供作为元数据等(例如，可变参数、这些参数之间的依赖性、对称性、轴、所关注的尺寸属性等)。如以上提到的，还可以利用用于渲染图像2的前景和/或背景来补偿管道部件的3D模型7a、7b、7c。另外，可以将3D模型7a、7b、7c(尤其是，按常见的安装真实世界管材的方式)与用于渲染图像2的诸如管夹、管托架、螺杆、螺栓等的其它元件组合。
如图5b所例示的，这样的训练结果被示例性发送至激光扫描仪装置44b。例如，这样的激光扫描仪44b可以被实现为具有激光目标轴，可以通过该激光目标轴建立距离测量，并且可以例如通过旋转镜或棱镜来偏转该目标轴。激光扫描仪通过集成的CCD或CMOS照相机和/或可以例如由初始低分辨率3D扫描生成的3D深度图片来获取真实世界图片，即，2D数字图片。在该图片中，根据如上所述训练的数据来检测和/或分类管材47的管道部件7a1、7a2、7b1、7b2、7b3、7b4、7c1。因此，例如，可以基于管道部件7a1、7a2、7b1、7b2、7b3、7b4、7c1的高分辨率扫描，针对每个管道部件7a1、7a2、7b1、7b2、7b3、7b4、7c1执行特定测量程序。
根据本发明的待测量或检查的所示管材示例47包括真实世界管道部件7a1、7a2、7b1、7b2、7b3、7b4、7c1，即以上图5a中示出的其对应3D模型7a、7b、7c、...的对应物。具体地，该示例中的分类器将基于由对应的3D-CAD模型渲染得到的训练图像及其也可以至少部分由3D-CAD模型得到的元信息，识别不同长度的四个直管7b1、7b2、7b3、7b4、弯管7a1、7a2和一个管阀7c1。
分类器可以被完全包括在仪器中，但也可以另外地在仪器外部进行训练，然后训练结果或整个分类器可被发送到探测***上，例如，发送到地面激光扫描仪本身或与其有联系的评估设备上。虽然已捕获数据的后期处理将是主要选择，但是本发明的一些优点主要适用于在测量(例如，对仪器正面对的物体或特征的至少部分或完全自动的测量)期间在现场使用本发明时。优选地，这可以通过来自仪器44b的操作员45的零、低或仅监督交互来完成。
如所提到的，真实世界图像数据3可以是RGB图片、强度图片、深度图片或这些图片中的一个或多个的组合。例如，利用集成在测量***44b中的照相机拍摄真实世界图片数据3，或者在深度图像的情况下，可以利用激光扫描、立体照相机、结构光测量、RIM照相机等生成真实世界图片数据3。
在特定实施方式中，还可以存在与3D模型相关联的物理属性，例如，热辐射。基于该信息，也可以渲染人造红外图像，并且这些图像可用于训练可应用于利用集成在测量***中的红外照相机拍摄的真实世界红外图片的物体检测器/分类器。由此，可以例如训练检测器/分类器，以基于模拟这些异常和包括元信息的虚拟渲染图像来检测和分类可能的异常，该元信息对该异常进行分类和/或例如包含关于可能的原因或效果的信息。例如，可以通过根据本发明的这种方法来自动检测管接头的泄漏或管壁磨损。
在本发明的实施方式中，可以基于由虚拟生成的训练资源2a、2b、2c、2d得到的训练数据来训练分类器，这些资源包括元信息2m或2o，元信息2m或2o包括关于由其得到训练数据2a、2b、2c、2d的虚拟数字3D模型内的物体1的3D模型1的位置和/或取向的信息。在图6a中例示的示例中，这样的元信息2m(其也可以是分类器的子类信息)用于表示物体1的取向2o，物体1的取向2o在这里由滚转角-俯仰角-偏航角值三元值(单位：度)的三个旋转轴的角度值表示。关于例如训练数据2a、2b、2c、2d内根据虚拟数字3D模型的人为设置而已知的物体1的取向的该信息可以例如被描述为物体1本身的更高级类别内的不同子类2o。在该示例中，存在类0-0-0，即，滚转角＝0°，俯仰角＝0°，偏航角＝0°；类90-0-0，即，滚转角＝90°，俯仰角＝0°，偏航角＝0°；等等(在与其相关的虚拟生成的训练数据图像2a、2b、2c、2d的示例下面标注)。这里，角间隔是90°，然而，它也可以是10°或1°或其它间隔。然后，可以在分类器的监督式学习方法中提供例如可以在生成虚拟数字3D模型和/或推导其自动生成的训练数据期间自动得出的信息。作为其中可能的实施方式之一，可以在其中应用集成学习方法。
在对视觉域中的训练数据进行示例操作时，待训练物体1的3D模型被设置成第一取向2a，并且在该取向下，生成在不同照明和/或环境条件下的多个数字渲染图像2a，这里示出了其一个示例。然后，将其应用于其它取向，如所示出的第二2b、第三2c和第四2d取向，如上所述，在图像下方用数字表示取向2o。由此，这些渲染图像2被分组为一种子类2o，该子类不仅根据物体(例如“支架”1)的类型指定常见物体的上级类别，而且另外，还指定关于这些渲染图像2a、2b、2c、2d内的物体的特定取向2o的信息(例如，“0-0-0正视图中的支架”2a、“90-0-0仰视图中的支架”2b、“0-90-0侧视图中的支架”2c等)。在真实世界图片3中检测物体1时，除了物体1本身(作为“支架”)的自动分类之外，还可以存在真实世界中的物体1(作为“90-0-0仰视图中的支架”)的取向的分类(或子分类)。然后，可以在通过机器学习自动检测单元评估真实世界图片3时获取该取向信息，然后可以提供该信息作为附加物体检测结果(例如，作为附加测量结果)。在该图中，这由用百分比值49表示(对于人类阅读者而言是自说明性的)的分类结果49来表示。关于取向的该分类结果可以另外或另选地包括在将由仪器执行的后续真实世界物体测量的自动定义中，由此，随后例如可以针对物体1的特定取向来优化仪器。
例如，其中，物体1可以在取向2o的离散集中被学习，例如，在一个或更多个旋转轴上以如0°、45°、30°、15°、10°、5°等的离散角度步进，其中，角度取向是在其得出的训练数据2a、2b、2c、2d的对应集中的用于物体1的学习分类器或子分类器。在评估包括物体的图片3时，分类器然后将得到包括该取向信息2o的分类或子分类信息。在该示例中，分类器输出子类别“90-0-0”，对于以上图片3中检测到的物体而言，该子类别的概率为大约100％。可以提供该取向信息20作为物体的测量结果的一部分和/或可以更精确地定义物体的后续测量，该后续测量例如还可以用于完善该取向信息以提升测量仪器的精确度(通常，这将得到比子分类结果2o更准确的取向信息)。
在例如图6b中例示的实施方式的特定情况下，真实世界图片3中的物体1是如针对虚拟生成的训练数据2a、2b、2c、2d下方指示的取向2l的离散集的训练数据2a、2b、2c、2d的例示示例指示的学习离散取向步进中的两个取向之间的中间取向。在以上讨论的本发明的方面的改进的实施方式中，在许多情况下，可以建立取向的插值。例如，如所示出的，0-0-0的第一个学习取向2a将符合A％(在该示例中，50％)的概率或置信度，并且0-0-90的第二学习取向2d将符合B％(在该示例中，50％)的概率或置信度。因此，可以尤其根据A％和B％的比例，在这两个学习取向2a和2b之间进行实际取向插值。这种插值可以以简单的线性方式或根据另一种插值方法来完成，其中，插值的特定实施方式也可以是机器学习插值方法。为了进一步完善取向结果，可以另外验证其中第一学习取向2a和第二学习取向2d至少在几何上在某种程度上相邻和/或在其它方面不矛盾或合理。
在所示出的示例中，对于经训练的0-0-0取向类别2a，分类器的结果49是50％，对于0-0-90取向类别2d，分类器的结果49也是50％。然后，例如，可以对这50％-50％进行插值和估计，使其至少大致是0-0-45的中间取向，这事实上非常好地拟合了图顶部的经评估的真实世界图片3中的视图。
在图片包括取向为滚转角＝0°，俯仰角＝0°，偏航角＝0°(在示例性的经学习的离散类别取向90°之间)的物体的另一个未示出的示例中，可能的分类器输出将有大约70％的概率是类别0-0-0，而有30％的概率是90-0-0，所有其它类别的概率是大约0％。然后，可以使用这些概率将物体的取向角插值到可以使用其信息启动物体的测量过程的图像中，该测量过程考虑该至少粗略假定的取向。
虽然以上通过物体取向的示例的方式示出了元信息生成、子分类和/或插值的方面，但是可以认为显而易见的是，将同样的原理还以相同或相似方式应用于除了取向之外的其它物体属性(如物体变型、物体结构、物***置等)。
图7在左侧示出了物体的3D模型1，基于该3D模型1，优选地，在基本上自动的过程中，可以生成大量虚拟生成的数据2作为用于分类器30的训练的输入。例如，这样的人为生成的训练数据可以被实现为表示物体和物体环境的不同状态的一系列数字渲染RGB图像和/或数字渲染深度图像，以便机械学***地面上、垂直墙壁处等)、3D模型中的期望测量点、测量该物体的相关几何特征的测量方法和例程等。根据本发明，这些元数据包括至少与测量仪器对物体或物体的几何特征进行的自动测量相关的信息。
从分类器30的应用侧，从右侧向其提供从物体的真实世界实施方式41捕获的信息3。例如，这些可以在诸如坐标测量机、全站仪、地面激光扫描仪等测量仪器处获得。例如，用于分类的这些输入3可以包括包含物体的真实世界虚拟图像和/或点云或深度图像。然后，分类器分析该真实世界数据3并检测和推导在用于分类的这些输入中描绘的真实世界物体41的信息，优选地，与利用仪器提供物体41的自动自主测量、利用用户交互通过仪器对物体41进行的半自动测量或便于用户用仪器测量物体41的用户指南有关的信息。
图8的左手侧示出了包括所关注真实世界物体的例如由测量仪器44、44b、46或在测量仪器44、44b、46处拍摄的真实世界图片3。例如，通过应用滑动窗口方法或R-CNN，或者通过另一种方法，对图片3应用自动检测，借此，获得指示物体1在图片3中的位置的边界框64或其它检测指示。在该特定示例中，该边界框64的几何中心65可用于指示朝向物体1的方向。在其它示例中，还可使用除了几何中心65之外的其它方面，以得出朝向物体的一个或更多个方向例如作为与检测到的物体相关的元信息，优选地，元信息采取优选测量方向或被测量仪器44、44b、46用于测量该特定检测物体1的测量指令或程序的形式。右手侧例示了如上所述的设置的鸟瞰图。其中，由所示出的其图像平面66表示的照相机拍摄物体41的图像3。其中，图像中物体的中心68可以例如对应于图片3中左侧指示的中心65，该中心可以表示待测量物体1的点。示出了该中心处于从体系的投影67的中心到物体41的方向的线上。至于2D图像传感器，不仅在垂直平面上而且在水平平面上都适用，由此，可以得到两个方向，例如，可以使用这两个方向来自动驱使全站仪瞄准物体65的中心并且利用全站仪以自动方式(或者至少在进行过程的验证和/或校正时涉及操作员的半自动程序中)自动测量经自动检测和自动分类的物体41。
边界框的大小可以被认为对应于图片3中的物体1的比例。通过考虑固有的照相机参数，尤其是，根据具有已知大小的物体1的比例考虑焦距，可以得到或至少估计物体相对于正拍摄图像3的照相机的距离。关于方向、大小和/或距离的这些信息可以被提供作为粗略测量值，优选地，以便通过诸如测角仪、倾斜传感器、电光或其它距离仪表、3D照相机等仪器测量单元更精确地测量这些值中的一个或更多个。
其中，根据本发明的方法可以如图9的基本框图的示例中所示地实施，其例示了本发明的示例性实施方式的一些基础步骤。
在框50中，使用例如从数据库生成或加载的3D模型形式的真实世界物体的虚拟模型。
如果还没有给出，则在框51中，执行对虚拟模型中的探测相关特征的定义。例如，物体的名称、类型、类别的元信息，但是这样的信息还可以包括探测或测量相关几何信息。在许多情形下，这样的信息已存在于3D模型中(或与其一起存储)，由此是能访问的。
在框52中，尤其是，在不同的视图、照明、环境、条件等下生成虚拟3D模型的多个数字渲染图像。这还可以涉及3D模型、补充背景和前景等的变型。
在框53中，完成机器学习单元对渲染图像的训练，其中，还包括元信息尤其是探测相关特征的信息。这种机器学习可以例如包括神经网络的训练。因此，分类器可以基于该训练数据运行。可以存储训练数据(或者其结果，即分类器的配置)。以上步骤可以在办公室环境中完成，而无需例如另外在通用计算机上或进而特定专用的机器学习计算机上存在探测仪器。
接下来的框可以在现场尤其由探测仪器处的分类器或与其相关联的探测计算机执行，根据本发明，分类器或与其相关联的探测计算机是根据以上机器学习配置的。
在框54中，由所述分类器完成在测量仪器处拍摄的真实世界照相机图片中的真实世界物体的识别。由此，例如，建立图像内与经训练的物体相对应的真实世界物体的检测和识别，并且恢复对应的元信息。
在框55中，尤其是，根据元信息定义的探测相关特征，完成之前识别出的真实世界物体的探测。尤其是，这可以通过用户交互来完全自动或半自动地完成。
用于CMM的根据本发明的工作流的实施方式的示例可以包括至少以下内容。CMM控制器(例如，控制CMM的计算机或微处理器)加载待处理物体的3D模型(例如，CAD文件)。基于该3D模型，CMM控制器生成数字渲染训练数据并训练检测器和/或分类器。然后，CMM处的照相机拍摄CMM的其中放入了待测量的对应真实世界物体的测量区的一张(或可选地，但不是强制性地，更多张)图像。检测器和/或分类器自动检测并识别物体，因此CMM可以自动测量物体。例如，它可以自动测量和比较CAD文件中指示的那些尺寸。可选地，所得到的检测器和/或分类器也可以被存储在例如已知物体的数据库中，以供进一步使用。
尤其是，由此不必拍摄不同姿势的和/或不同照明下的大量(如数十或数百或甚至更多的)真实世界照相机图片。可选地，本发明还可以涉及作为例如用于针对实际环境完善分类器的附加训练数据的真实世界图片，但是自动基于渲染图像进行基本训练。
工作流场景的类似实施方式可以应用于探测或计量仪器。可选地，在其它实施方式中，另外，可以在探测或计量仪器控制器的外部生成渲染图像，然后进行加载，或者可以由探测或计量仪器加载基于虚拟图像在外部预先训练的检测器和/或分类器(或者其配置)。本发明的实施方式的另一选项是现场测量仪器与服务器-计算机的在线链接，服务器-计算机包括已知物体(3D模型)的数据库并且可以具有比现场仪器更大的计算力和/或存储量。例如，现场仪器所拍摄的真实世界图片可以被发送到在其处执行根据本发明的自动检测和分类的服务器-计算机，并且将结果(例如，检测和识别出的物体信息、测量指令和/或程序等)在线提供给现场仪器，以便进行自动或半自动测量。可选地，另外，针对特定仪器和/或仪器实际环境在线提供预训练的自动分类器和/或检测器(或者它们的特定配置)也可以是本发明的实施方式。
在实施方式中，自动检测被配置成检测真实世界图片3中的已知物体。换句话讲，自动检测通常可以被描述为应用于图片3的自动计算，该计算得出在图片中是否存在已知物体。为了建立这些，在训练数据上机器学习检测。如果存在已知物体，则还得出在图片3中的哪些坐标或位置处找到已知物体以及可选地还有已知物体是按什么比例描绘的。换句话讲，可以得出图片内的已知物体的位置信息，其中，还可以考虑物体的不同取向、部分遮挡等。例如，检测可以得到包括例如以图片坐标给定的物体的边界框或所关注区域。然后，可以将该所关注区域或边界框(或者其图像内容)传递至自动分类器。
在实施方式中，自动分类器被配置成识别图片数据内的已知物体，尤其是用于通过将图片3中的已知物体分配给至少一类已知物体进行的识别。其中，自动分类器可以将物体(例如，在图片3的由上面的所关注区域或边界框限定的部分内给出物体)识别为学习物体中的一个并且例如在通过根据利用训练数据先前学习的分类提供了物体的类别或分类信息的情况下得到物体的分类。
存在多种借助机器学习***实现这样的检测和/或分类的计算算法。这些方法中的一些还在单个程序中提供组合的检测和分类。例如，这样的机器学习***可以包括在各种布置中被配置成被机器学习以便基于训练数据进行检测和/或分类任务的任务规则集、神经网络、一个或更多个层、具有一种或更多种属性的人工神经元、排列的层次结构或分组等。优选地，检测和/或分类可以包括对关于图片3中的已知物体的存在和/或位置的可能性或置信度信息值的评估。
本领域技术人员知道这样的事实：这里关于不同实施方式示出和解释的细节也可以与来自本发明意义上的其它实施方式和其它置换的细节组合。

Claims (15)

1.一种通过探测或计量仪器(44、44b、46)，尤其是视距仪、全站仪、激光扫描仪、3D扫描仪、坐标测量机自动探测或测量真实世界物体(41、41b、47)的方法，该方法包括：
○由所述探测或计量仪器(44、44b、46)获取图片(3)，所述图片(3)包括待探测或测量的所述真实世界物体(41、41b、47)，
○自动检测和分类所述图片(3)内的所述真实世界物体(41、41b、47)，以及
○通过所述探测或计量仪器(44、44b、46)自动化地尤其是自动地测量被检测到并分类的真实世界物体(41、41b、47)，以便确定所述真实世界物体(41、41b、47)的位置和/或几何特征，
其特征在于，
利用分类器基于通过机器学习获取的分类模型来进行所述自动检测和分类，
所述机器学习基于包括虚拟数字3D模型(1、1b、7a、7b、7c)的机器学习训练数据，所述虚拟数字3D模型(1、1b、7a、7b、7c)表示所述真实世界物体(41、41b、47)并且包括该3D模型(1、1b、7a、7b、7c)的元信息(2m)。
2.根据权利要求1所述的方法，其特征在于，
所述元信息(2m)至少包括所述真实世界物体(41、41b、47)的类别、类型和名称标识符。
3.根据权利要求1或2所述的方法，其特征在于，
所述机器学习训练数据包括由所述3D模型(1、1b、7a、7c)而得的多个数字渲染图像(2、2a、2b、2c、2d)，尤其是其中，所述真实世界图片(3)是二维图片并且所述数字渲染图像(2、2a、2b、2c、2d)是二维图像。
4.根据权利要求3所述的方法，其特征在于，
通过虚拟地模拟所述3D模型(1、1b、7a、7c)的环境条件，尤其是改变环境条件，来根据所述3D模型(1、1b、7a、7c)渲染所述数字渲染图像(2、2a、2b、2c、2d)。
5.根据权利要求4所述的方法，其特征在于，
所述环境条件包括以下中的至少一个：
○视角，
○照明，
○阴影，
○前景，
○背景，
○雾，和/或
○比例。
6.根据权利要求1至5中任一项所述的方法，其特征在于，
所述元数据包括所述虚拟训练数据中的所述物体的取向信息，尤其是其中，提供所述取向信息作为所述检测器/或分类器的子类别。
7.根据权利要求1至5中任一项所述的方法，其特征在于，
所述真实世界图片(3)包括3D信息，并且所述数字渲染图像包括3D信息，尤其是其中，所述3D信息包括点云数据。
8.根据权利要求1至8中任一项所述的方法，其特征在于，
所述3D模型(1、1b、7a、7b、7c)和所得到的学习数据包括具有至少一个探测特征(9m、82、85、88、89)的所述元信息(2m)，
其中，所述探测或计量仪器(44、44b、46)自动测量所述至少一个探测特征(9m、82、85、88、89)中的至少一个。
9.根据权利要求1至7中任一项所述的方法，其特征在于，
所述至少一个探测特征(9m、82、85、88、89)包括轴、对称性、尺寸、距离、角度、直径、深度、相对比例、几何相关性、可缩放性中的至少一个。
10.根据权利要求3至9中任一项所述的方法，其特征在于，
所述渲染图像(2)描绘了所述3D模型(1、1b、7a、7b、7c)的通用几何特征，所述通用几何特征表示多个真实世界物体(41、41b、47)的通用几何特征并且包括关于探测该通用几何特征的元信息，尤其是其中，能够基于对所述通用几何特征中的一个或更多个的自动检测和分类来自动测量未经训练的真实世界物体。
11.一种对探测或计量仪器(44、44b、46)进行机器学习以便所述探测仪器(44、44b、46)建立对由所述仪器(44、44b、46)拍摄的照相机图片(3)中的真实世界物体(41、41b、47)的自动检测的方法，尤其是所述探测仪器(44、44b、46)基于所述检测对所述真实世界物体(41、41b、47)进行自动探测，其特征在于，
根据表示所述真实世界物体(41、41b、47)并且包括所表示的所述真实世界物体(41、41b、47)的元信息的3D模型导出训练数据，并且
通过对所述训练数据进行机器学习来训练物体检测器/分类器，尤其是其中，导出所述训练数据的处理包括根据所述3D模型对数字图像(2)进行数字渲染。
12.一种探测仪器(44、44b)，具体地是视距仪、全站仪、激光扫描仪或3D扫描仪，所述探测仪器(44、44b)被构建成执行根据权利要求1至10中任一项所述的方法，并且包括用于拍摄真实世界图片(3)的照相机(6)并包括具有机器学习神经网络的分类器，其中，基于由虚拟3D模型(1、1b、7a、7b、7c)而得的数字渲染图像(2)训练所述机器学习神经网络。
13.一种计量仪器(46)，尤其是门式坐标测量机或关节式坐标测量机，所述计量仪器(46)被构建成执行根据权利要求1至10中任一项所述的方法，并且包括用于拍摄真实世界图片(3)的照相机(6)并包括具有机器学习神经网络的分类器，其中，基于由虚拟3D模型(1、1b、7a、7b、7c)而得的数字渲染图像(2)训练所述机器学习神经网络。
14.根据权利要求12或13所述的仪器，其特征在于，
根据来自所述虚拟3D模型(1、1b、7a、7b、7c)的经训练的元信息提供自主测量模式，所述自主测量模式是自动测量由所述分类器在所述真实世界图片(3)中自动识别出的真实世界物体(41、41b、47)的几何特征。
15.一种计算机程序产品，所述计算机程序产品包括存储在机器可读介质上的程序代码，或被实现为电磁波的计算机数据信号，用于执行根据权利要求1至11中任一项所述的方法，
尤其是，实现基于由待识别的真实世界物体的3D模型而得的数字渲染图像训练的机器可学习分类器，和/或
尤其是，通过生成并提供由真实世界物体的3D模型而得的数字渲染图像作为机器学习的训练数据来实现分类器的机器学习，
尤其是，所述方法是在根据权利要求12至14中任一项所述的仪器中执行的。
CN201811485560.5A 2017-12-11 2018-12-06 自动探测真实世界物体 Active CN110069972B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17206313.3 2017-12-11
EP17206313.3A EP3495771A1 (en) 2017-12-11 2017-12-11 Automated surveying of real world objects

Publications (2)

Publication Number Publication Date
CN110069972A true CN110069972A (zh) 2019-07-30
CN110069972B CN110069972B (zh) 2023-10-20

Family

ID=60654813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811485560.5A Active CN110069972B (zh) 2017-12-11 2018-12-06 自动探测真实世界物体

Country Status (3)

Country Link
US (1) US11313677B2 (zh)
EP (1) EP3495771A1 (zh)
CN (1) CN110069972B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200227A (zh) * 2020-09-28 2021-01-08 深圳市华付信息技术有限公司 一种基于飞机3d模型的飞机检测方法
CN113283366A (zh) * 2021-06-07 2021-08-20 亿景智联(北京)科技有限公司 一种基于学习矢量量化算法的建筑物侧面信息提取方法
CN113449676A (zh) * 2021-07-13 2021-09-28 凌坤(南通)智能科技有限公司 一种基于双路互促进解纠缠学习的行人重识别方法
WO2022261962A1 (zh) * 2021-06-18 2022-12-22 西门子股份公司 基于增强现实的加工精度评估方法及装置

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE539807C2 (en) * 2016-04-06 2017-12-05 Advanced Technical Solutions In Scandinavia Ab A METHOD FOR GENERATING A 3D COMBINED MODEL REPRESENTING A SCENE
US20190385364A1 (en) * 2017-12-12 2019-12-19 John Joseph Method and system for associating relevant information with a point of interest on a virtual representation of a physical object created using digital input data
US11734477B2 (en) * 2018-03-08 2023-08-22 Concurrent Technologies Corporation Location-based VR topological extrusion apparatus
US10657691B2 (en) 2018-03-27 2020-05-19 Faro Technologies, Inc. System and method of automatic room segmentation for two-dimensional floorplan annotation
US11194019B2 (en) 2018-04-30 2021-12-07 Faro Technologies, Inc. System and method of one touch registration of three-dimensional scans with an augmented reality enabled mobile computing device
US10477180B1 (en) 2018-05-22 2019-11-12 Faro Technologies, Inc. Photogrammetry system and method of operation
EP3899508A4 (en) * 2018-12-21 2022-09-21 Canscan Softwares and Technologies Inc. AUTOMATED INSPECTION SYSTEM AND RELATED PROCEDURE FOR ASSESSING THE CONDITION OF A SHIPPING CONTAINER
KR102204740B1 (ko) * 2019-02-28 2021-01-19 네이버 주식회사 대화 시스템에서의 의도 불분명 질의를 처리하는 방법 및 시스템
US10818070B2 (en) * 2019-03-27 2020-10-27 Electronic Arts Inc. Artificial intelligence based virtual object aging
US11068543B2 (en) * 2019-06-11 2021-07-20 Dell Products L.P. Component and object management of information handling systems
US11726209B2 (en) 2019-06-25 2023-08-15 Faro Technologies, Inc. Artifact filtering using artificial intelligence
US11270046B2 (en) 2019-06-25 2022-03-08 Faro Technologies, Inc. Conversion of point cloud data points into computer-aided design (CAD) objects
CN110517221B (zh) * 2019-07-05 2022-05-03 银河水滴科技（北京）有限公司 基于现实坐标的缝隙定位方法、装置和存储介质
US11887253B2 (en) 2019-07-24 2024-01-30 Electronic Arts Inc. Terrain generation and population system
EP3789955A1 (en) 2019-09-04 2021-03-10 Faro Technologies, Inc. System and method for training a neural network to fill gaps between scan points in images and to de-noise point cloud images
EP3819591A1 (en) * 2019-11-08 2021-05-12 Trimble Jena GmbH Optical surveying instrument
US11574485B2 (en) 2020-01-17 2023-02-07 Apple Inc. Automatic measurements based on object classification
CN113137916B (zh) * 2020-01-17 2023-07-11 苹果公司 基于对象分类的自动测量
US11443424B2 (en) * 2020-04-01 2022-09-13 Kpn Innovations, Llc. Artificial intelligence methods and systems for analyzing imagery
EP3916636A1 (de) * 2020-05-27 2021-12-01 Siemens Aktiengesellschaft Verfahren und systeme zum bereitstellen von synthetischen gelabelten trainingsdatensätzen und ihre anwendungen
US11501478B2 (en) 2020-08-17 2022-11-15 Faro Technologies, Inc. System and method of automatic room segmentation for two-dimensional laser floorplans
US11335058B2 (en) 2020-10-13 2022-05-17 Electronic Arts Inc. Spatial partitioning for graphics rendering
EP4019894B1 (en) * 2020-12-22 2024-02-07 Carl Zeiss Industrielle Messtechnik GmbH Method of measuring a workpiece by using a coordinate measuring machine, and arrangement comprising a coordinate measuring machine
DE102021207086A1 (de) * 2021-07-06 2023-01-12 Kuka Deutschland Gmbh Verfahren und System zum Durchführen einer Industrie-, insbesondere Roboterapplikation
CN114786382B (zh) * 2022-04-15 2023-07-04 杨万才 一种用于户外高温天气的测绘辅助支撑装置

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110002531A1 (en) * 2009-07-01 2011-01-06 Honda Motor Co., Ltd. Object Recognition with 3D Models
WO2011033569A1 (ja) * 2009-09-17 2011-03-24 富士通株式会社 画像処理装置及び画像処理方法
US20130083011A1 (en) * 2011-09-30 2013-04-04 Kevin A. Geisner Representing a location at a previous time period using an augmented reality display
CN103547939A (zh) * 2011-05-13 2014-01-29 赫克斯冈技术中心 用于具有扫描功能的装置的校准方法
US20140079314A1 (en) * 2012-09-18 2014-03-20 Yury Yakubovich Method and Apparatus for Improved Training of Object Detecting System
US20140105506A1 (en) * 2012-10-12 2014-04-17 Mvtec Software Gmbh Recognition and pose determination of 3d objects in multimodal scenes
US20150065803A1 (en) * 2013-09-05 2015-03-05 Erik Scott DOUGLAS Apparatuses and methods for mobile imaging and analysis
US20150061975A1 (en) * 2013-09-03 2015-03-05 Seiko Epson Corporation Virtual image display apparatus
US20150220807A1 (en) * 2013-12-23 2015-08-06 Atheer, Inc. Method and apparatus for subject identification
US20160146604A1 (en) * 2013-07-04 2016-05-26 Hexagon Technology Center Gmbh Positioning method for a surveying instrument and said surveying instrument
US20160148077A1 (en) * 2013-06-28 2016-05-26 President And Fellows Of Harvard College Systems and methods for machine learning enhanced by human measurements
CN105934775A (zh) * 2013-11-26 2016-09-07 约阿夫·谢斐 用于构建锚定在真实世界物体上的虚拟图像的方法和***
CN105931216A (zh) * 2016-04-05 2016-09-07 李红伟 一种基于图像处理技术的机场道面破损检测方法
CN106716302A (zh) * 2014-09-11 2017-05-24 诺基亚技术有限公司 用于显示图像的方法、设备和计算机程序
CN106845515A (zh) * 2016-12-06 2017-06-13 上海交通大学 基于虚拟样本深度学习的机器人目标识别和位姿重构方法
US20170169620A1 (en) * 2015-12-15 2017-06-15 Intel Corporation Generation of synthetic 3-dimensional object images for recognition systems
US20170220887A1 (en) * 2016-01-29 2017-08-03 Pointivo, Inc. Systems and methods for extracting information about objects from scene information
US20170236013A1 (en) * 2016-02-15 2017-08-17 Nvidia Corporation System and method for procedurally synthesizing datasets of objects of interest for training machine-learning models
US20170270674A1 (en) * 2016-03-17 2017-09-21 Avigilon Corporation System and method for training object classifier by machine learning
CN107250891A (zh) * 2015-02-13 2017-10-13 Otoy公司 头戴式显示器与真实世界对象之间的相互通信

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT1257067B (it) 1992-07-31 1996-01-05 Dea Spa Macchina di misura.
IT1257066B (it) 1992-07-31 1996-01-05 Dea Spa Unita' di supporto e guida per un organo mobile di una macchina, particolarmente una macchina di misura.
US5402582A (en) 1993-02-23 1995-04-04 Faro Technologies Inc. Three dimensional coordinate measuring apparatus
WO2003069267A1 (en) 2002-02-14 2003-08-21 Faro Technologies, Inc. Portable coordinate measurement machine with articulated arm
DE10359415A1 (de) 2003-12-16 2005-07-14 Trimble Jena Gmbh Verfahren zur Kalibrierung eines Vermessungsgeräts
DE20320216U1 (de) 2003-12-29 2004-03-18 Iqsun Gmbh Laserscanner
JP4987730B2 (ja) 2005-01-12 2012-07-25 トリムブレ、アクチボラグ 角度変位の補償測定
EP1681533A1 (de) * 2005-01-14 2006-07-19 Leica Geosystems AG Verfahren und geodätisches Gerät zur Vermessung wenigstens eines Zieles
US11716444B2 (en) * 2006-02-15 2023-08-01 Kurtis John Ritchey Human-like emulation enterprise system and method
DE202006005643U1 (de) 2006-03-31 2006-07-06 Faro Technologies Inc., Lake Mary Vorrichtung zum dreidimensionalen Erfassen eines Raumbereichs
EP2194399A1 (de) * 2008-12-03 2010-06-09 Leica Geosystems AG Positionsbestimmungsverfahren und geodätisches Vermessungssystem
CA2793979C (en) 2010-05-10 2014-11-04 Leica Geosystems Ag Surveying method
US8730238B2 (en) * 2010-10-27 2014-05-20 Lockheed Martin Corporation Visual three dimensional simulation system and method
EP2602587A1 (en) * 2011-12-06 2013-06-12 Hexagon Technology Center GmbH Method and device for determining 3D coordinates of an object
JP6118518B2 (ja) 2012-07-26 2017-04-19 株式会社ニコン・トリンブル 測量装置及びプログラム
US10769191B2 (en) 2013-12-20 2020-09-08 Google Llc Classifying data objects
US9476730B2 (en) * 2014-03-18 2016-10-25 Sri International Real-time system for multi-modal 3D geospatial mapping, object recognition, scene annotation and analytics
US9697833B2 (en) * 2015-08-25 2017-07-04 Nuance Communications, Inc. Audio-visual speech recognition with scattering operators
US10176382B1 (en) * 2015-10-01 2019-01-08 Hrl Laboratories, Llc Method and apparatus for sparse associative recognition and recall for visual media reasoning
KR102592076B1 (ko) 2015-12-14 2023-10-19 삼성전자주식회사 딥러닝 기반 영상 처리 장치 및 방법, 학습 장치
US10083378B2 (en) 2015-12-28 2018-09-25 Qualcomm Incorporated Automatic detection of objects in video images
US20170261604A1 (en) * 2016-03-11 2017-09-14 Raytheon Bbn Technologies Corp. Intercept drone tasked to location of lidar tracked drone
US20170374342A1 (en) * 2016-06-24 2017-12-28 Isee, Inc. Laser-enhanced visual simultaneous localization and mapping (slam) for mobile devices
US10037471B2 (en) * 2016-07-05 2018-07-31 Nauto Global Limited System and method for image analysis
US11514642B2 (en) * 2016-10-08 2022-11-29 Purdue Research Foundation Method and apparatus for generating two-dimensional image data describing a three-dimensional image
US11138790B2 (en) * 2016-10-14 2021-10-05 Axial Medical Printing Limited Method for generating a 3D physical model of a patient specific anatomic feature from 2D medical images
EP3340106B1 (en) 2016-12-23 2023-02-08 Hexagon Technology Center GmbH Method and system for assigning particular classes of interest within measurement data
US10677897B2 (en) * 2017-04-14 2020-06-09 Luminar Technologies, Inc. Combining lidar and camera data
US20180314253A1 (en) * 2017-05-01 2018-11-01 Mentor Graphics Development (Deutschland) Gmbh Embedded automotive perception with machine learning classification of sensor data
US11693423B2 (en) * 2018-12-19 2023-07-04 Waymo Llc Model for excluding vehicle from sensor field of view
WO2020250175A1 (en) * 2019-06-11 2020-12-17 Immervision Inc. Method for optimal body or face protection with adaptive dewarping based on context segmentation layers
US11386541B2 (en) * 2019-08-22 2022-07-12 Saudi Arabian Oil Company System and method for cyber-physical inspection and monitoring of nonmetallic structures
US11373331B2 (en) * 2019-12-18 2022-06-28 Agt International Gmbh System, method and computer program product for determining sizes and/or 3D locations of objects imaged by a single camera

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110002531A1 (en) * 2009-07-01 2011-01-06 Honda Motor Co., Ltd. Object Recognition with 3D Models
WO2011033569A1 (ja) * 2009-09-17 2011-03-24 富士通株式会社 画像処理装置及び画像処理方法
CN103547939A (zh) * 2011-05-13 2014-01-29 赫克斯冈技术中心 用于具有扫描功能的装置的校准方法
US20130083011A1 (en) * 2011-09-30 2013-04-04 Kevin A. Geisner Representing a location at a previous time period using an augmented reality display
US20140079314A1 (en) * 2012-09-18 2014-03-20 Yury Yakubovich Method and Apparatus for Improved Training of Object Detecting System
US20140105506A1 (en) * 2012-10-12 2014-04-17 Mvtec Software Gmbh Recognition and pose determination of 3d objects in multimodal scenes
US20160148077A1 (en) * 2013-06-28 2016-05-26 President And Fellows Of Harvard College Systems and methods for machine learning enhanced by human measurements
US20160146604A1 (en) * 2013-07-04 2016-05-26 Hexagon Technology Center Gmbh Positioning method for a surveying instrument and said surveying instrument
US20150061975A1 (en) * 2013-09-03 2015-03-05 Seiko Epson Corporation Virtual image display apparatus
US20150065803A1 (en) * 2013-09-05 2015-03-05 Erik Scott DOUGLAS Apparatuses and methods for mobile imaging and analysis
CN105934775A (zh) * 2013-11-26 2016-09-07 约阿夫·谢斐 用于构建锚定在真实世界物体上的虚拟图像的方法和***
US20150220807A1 (en) * 2013-12-23 2015-08-06 Atheer, Inc. Method and apparatus for subject identification
CN106716302A (zh) * 2014-09-11 2017-05-24 诺基亚技术有限公司 用于显示图像的方法、设备和计算机程序
CN107250891A (zh) * 2015-02-13 2017-10-13 Otoy公司 头戴式显示器与真实世界对象之间的相互通信
US20170169620A1 (en) * 2015-12-15 2017-06-15 Intel Corporation Generation of synthetic 3-dimensional object images for recognition systems
US20170220887A1 (en) * 2016-01-29 2017-08-03 Pointivo, Inc. Systems and methods for extracting information about objects from scene information
US20170236013A1 (en) * 2016-02-15 2017-08-17 Nvidia Corporation System and method for procedurally synthesizing datasets of objects of interest for training machine-learning models
US20170270674A1 (en) * 2016-03-17 2017-09-21 Avigilon Corporation System and method for training object classifier by machine learning
CN105931216A (zh) * 2016-04-05 2016-09-07 李红伟 一种基于图像处理技术的机场道面破损检测方法
CN106845515A (zh) * 2016-12-06 2017-06-13 上海交通大学 基于虚拟样本深度学习的机器人目标识别和位姿重构方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
TODD C 等: "Haptic-audio simulator for visually impaired indoor exploration", JOURNAL OF ASSISTIVE TECHNOLOGIES, vol. 9, no. 2, pages 71 - 85 *
张天琪: "基于虚拟现实技术的机械类网络教学平台研究", 中国硕士学位论文全文数据库 工程科技Ⅱ辑, no. 2016, pages 029 - 3 *
赵国梁: "综采工作面安全生产虚拟现实***关键技术研究", 中国博士学位论文全文数据库 信息科技辑, no. 2013, pages 138 - 66 *
陈宝权;秦学英;: "混合现实中的虚实融合与人机智能交融", 中国科学:信息科学, no. 12, pages 49 - 59 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200227A (zh) * 2020-09-28 2021-01-08 深圳市华付信息技术有限公司 一种基于飞机3d模型的飞机检测方法
CN113283366A (zh) * 2021-06-07 2021-08-20 亿景智联(北京)科技有限公司 一种基于学习矢量量化算法的建筑物侧面信息提取方法
WO2022261962A1 (zh) * 2021-06-18 2022-12-22 西门子股份公司 基于增强现实的加工精度评估方法及装置
CN113449676A (zh) * 2021-07-13 2021-09-28 凌坤(南通)智能科技有限公司 一种基于双路互促进解纠缠学习的行人重识别方法
CN113449676B (zh) * 2021-07-13 2024-05-10 凌坤(南通)智能科技有限公司 一种基于双路互促进解纠缠学习的行人重识别方法

Also Published As

Publication number Publication date
EP3495771A1 (en) 2019-06-12
US11313677B2 (en) 2022-04-26
CN110069972B (zh) 2023-10-20
US20190178643A1 (en) 2019-06-13

Similar Documents

Publication Publication Date Title
CN110069972A (zh) 自动探测真实世界物体
Wrenninge et al. Synscapes: A photorealistic synthetic dataset for street scene parsing
Movshovitz-Attias et al. How useful is photo-realistic rendering for visual learning?
CN109102547A (zh) 基于物体识别深度学习模型的机器人抓取位姿估计方法
Liu et al. Neural network generalization: The impact of camera parameters
CN113435282B (zh) 基于深度学习的无人机影像麦穗识别方法
CN112132213A (zh) 样本图像的处理方法及装置、电子设备、存储介质
US10115165B2 (en) Management of tax information based on topographical information
GB2550037A (en) Method and system for virtual sensor data generation with depth ground truth annotation
CN111856963A (zh) 一种基于车载环视***的泊车仿真方法及装置
Chen et al. Photogrammetric point cloud segmentation and object information extraction for creating virtual environments and simulations
CN112085840A (zh) 语义分割方法、装置、设备及计算机可读存储介质
Brekke et al. Multimodal 3d object detection from simulated pretraining
CN106503170B (zh) 一种基于遮挡维度的图像库构建方法
CN104463240B (zh) 一种仪表定位方法及装置
CN111160261A (zh) 用于自动售货柜的样本图像标注方法、装置及存储介质
CN109684910A (zh) 一种网络检测输电线路地表环境变化的方法及***
Li et al. 3D map system for tree monitoring in hong kong using *** street view imagery and deep learning
CN110070127B (zh) 面向家居产品精细识别的优化方法
Ward et al. A model-based approach to recovering the structure of a plant from images
Liu et al. Estimation of sunlight direction using 3D object models
US20230085938A1 (en) Visual analytics systems to diagnose and improve deep learning models for movable objects in autonomous driving
Khan et al. A review of benchmark datasets and training loss functions in neural depth estimation
KR102597692B1 (ko) 영상을 이용한 물건 부피의 측정 장치, 방법, 및 컴퓨터 프로그램
CN117670979B (zh) 一种基于固定点位单目相机的大宗货物体积测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant