CN116642414A - 工件测量方法、工件测量***以及程序 - Google Patents

工件测量方法、工件测量***以及程序 Download PDF

Info

Publication number
CN116642414A
CN116642414A CN202310097661.XA CN202310097661A CN116642414A CN 116642414 A CN116642414 A CN 116642414A CN 202310097661 A CN202310097661 A CN 202310097661A CN 116642414 A CN116642414 A CN 116642414A
Authority
CN
China
Prior art keywords
workpiece
point group
measuring
group data
members
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310097661.XA
Other languages
English (en)
Inventor
吉本达也
冈本阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobe Steel Ltd
Original Assignee
Kobe Steel Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobe Steel Ltd filed Critical Kobe Steel Ltd
Publication of CN116642414A publication Critical patent/CN116642414A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/4093—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by part programming, e.g. entry of geometrical information as taken from a technical drawing, combining this with machining and material information to obtain control information, named part programme, for the NC machine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/401—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control arrangements for measuring, e.g. calibration and initialisation, measuring workpiece for machining purposes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

提供一种工件测量方法、工件测量***以及程序，能够无需事先准备三维CAD数据等而测定工件的形状、位置。进行由多个构件构成的工件的形状和位置的测量的工件测量方法具有：取得步骤，在该取得步骤中，取得所述工件的三维的点群数据；概形推断步骤，在该概形推断步骤中，使用与测量对象的工件的形状对应地规定的条件和所述点群数据，推断表示与所述多个构件对应的概形的一个或多个边界框；以及优化步骤，在该优化步骤中，通过利用评价函数进行的参数的调整，来优化在所述概形推断步骤中推断出的所述一个或多个边界框，确定所述多个构件的形状。

Description

工件测量方法、工件测量***以及程序
技术领域
本发明涉及工件测量方法、工件测量***以及程序。
背景技术
以往，使用焊接机器人，在预先决定的位置准备被焊接构件(以下也称为工件)，进行工件的焊接。在这样的情况下，以工件的自动焊接等为目的，要求容易掌握工件的设置状态并实现省力化。在掌握工件的位置时，例如，使用利用三维传感器取得的三维数据。
作为使用三维数据的例子，在专利文献1中公开了如下内容：根据三维CAD数据来确定两个构件，提取其共享边缘并确定焊接线。另外，在专利文献2中，公开了根据事先测量到的基准对象物的基准三维模型数据和作业时的实际的对象物的三维数据而求出差分值的结构。
在先技术文献
专利文献
专利文献1：日本特开2018-156566号公报
专利文献2：日本特许第6917096号公报
发明内容
发明要解决的问题
例如，在专利文献1中，以利用三维CAD数据为前提，在不存在这样的数据的情况下，不能确定焊接线。另外，在专利文献2中，将校正构件的偏移量作为主要目的，需要事先取得三维模型数据。因此，存在不能应对对象物的大小、形状的变化这样的问题。
本发明的目的在于，无需事先准备三维CAD数据等而测定工件的形状、位置。
用于解决问题的手段
为了解决上述问题，本发明具有以下的结构。即，进行由多个构件构成的工件的形状和位置的测量的工件测量方法具有：取得步骤，在该取得步骤中，取得所述工件的三维的点群数据；概形推断步骤，在该概形推断步骤中，使用与测量对象的工件的形状对应地规定的条件和所述点群数据，推断表示与所述多个构件对应的概形的一个或多个边界框；以及优化步骤，在该优化步骤中，通过利用评价函数进行的参数的调整，来优化在所述概形推断步骤中推断出的所述一个或多个边界框，确定所述多个构件的形状。
另外，本发明的另一方式具有以下的结构。即，进行由多个构件构成的工件的形状和位置的测量的工件测量***具有：取得单元，其取得所述工件的三维的点群数据；概形推断单元，其使用与测量对象的工件的形状对应地规定的条件和所述点群数据，推断表示与所述多个构件对应的概形的一个或多个边界框；以及优化单元，通过利用评价函数进行的参数的调整，来优化由所述概形推断单元推断出的所述一个或多个边界框，确定所述多个构件的形状。
另外，本发明的另一方式具有以下的结构。即，程序使计算机执行以下步骤：取得步骤，在该取得步骤中，取得由多个构件构成的工件的三维的点群数据；概形推断步骤，在该概形推断步骤中，使用与测量对象的工件的形状对应地规定的条件和所述点群数据，推断表示与所述多个构件对应的概形的一个或多个边界框；以及优化步骤，在该优化步骤中，通过利用评价函数进行的参数的调整，来优化在所述概形推断步骤中推断出的所述一个或多个边界框，确定所述多个构件的形状。
发明效果
根据本发明，无需事先准备三维CAD数据等就能够测定工件的形状、位置。
附图说明
图1是示出本发明的一实施方式的工件测量***的整体概要的框图。
图2是示出本发明的一实施方式的信息处理装置的功能结构的例子的框图。
图3是示出本发明的一实施方式的点群数据的例子的例图。
图4是示出本发明的一实施方式的工件的例子的概要图。
图5是本发明的一实施方式的整体处理的流程图。
图6是本发明的一实施方式的概形推断处理的流程图。
图7是用于说明本发明的一实施方式的概形推断处理的说明图。
图8是用于说明本发明的一实施方式的概形推断处理的坐标图。
图9是本发明的一实施方式的优化处理的流程图。
图10是用于说明本发明的一实施方式的测量结果的说明图。
图11是用于说明本发明的一实施方式的测量结果的说明图。
图12是用于说明本发明的一实施方式的测量结果的说明图。
图13是用于说明本发明的一实施方式的补充信息的计算的说明图。
附图标记说明
1…工件测量***；
100…信息处理装置；
101…控制部；
102…存储部；
103…通信部；
104…UI部；
151…点群数据取得部；
152…预处理部；
153…概形推断处理部；
154…包围盒优化部；
155…补充信息导出部；
156…校正处理部；
157…感测信息取得部；
158…数据管理部；
200…三维相机；
300…工件；
400…焊接***。
具体实施方式
以下，参照附图等对用于实施本发明的方式进行说明。需要说明的是，以下所说明的实施方式是用于说明本发明的一实施方式，并非意在限定地解释本发明，另外，各实施方式中说明的全部结构不一定是为了解决本发明的问题所必须的结构。另外，在各图中，针对相同的构成要素，通过标注相同的参照编号而示出对应关系。
<第一实施方式>
以下，参照附图对本发明的一实施方式进行说明。需要说明的是，在以下的说明所使用的各图中，由x轴、y轴、z轴表示的三维坐标轴分别对应。在以下的说明中，将包括x轴方向和y轴方向的平面设为水平面，将与其正交的z轴方向设为高度方向。
[测量***的结构]
图1示出本实施方式的工件测量***1的整体概要。工件测量***1是能够安装本实施方式的工件测量方法的***，构成为包括信息处理装置100和三维传感器200。另外，在工件测量***1的周围配置有作为测量对象的工件300。在本实施方式中，工件300可以由一个或多个构件构成。工件测量***1例如可以作为与焊接***成为一体的结构或者与该焊接***连接的结构而使用，该焊接***构成为包括能够触摸感测的焊接机器人。触摸感测功能是用于掌握工件300的位置、形状的功能。在本实施方式中，将工件测量***1与具有触摸感测功能的焊接***400连接而能够协作的结构作为例子进行说明。
信息处理装置100例如由PC(Personal Computer，个人计算机)等构成。需要说明的是，在本实施方式的工件测量***1是与焊接***400成为一体的结构的情况下，信息处理装置100也可以与用于控制未图示的焊接机器人的控制装置为一体。信息处理装置100构成为包括控制部101、存储部102、通信部103、以及UI(User Interface，用户接口)部104。
控制部101例如可以使用CPU(Central Processing Unit，中央处理单元)、GPU(Graphical Processing Unit，图形处理单元)、MPU(Micro Processing Unit，微处理单元)、DSP(Digital Signal Processor，处理信号处理器)或者FPGA(Field ProgrammableGate Array，现场可编程门阵列)中的至少一种而构成。另外，存储部102例如由HDD(HardDisk Drive，硬盘驱动器)、ROM(Read Only Memory，只读存储器)或者RAM(Random AccessMemory，随机存取存储器)等易失性、非易失性的存储装置构成。通过控制部101读出并执行存储部102所存储的各种程序来实现后述的各种功能。
通信部103是用于与外部装置、各种传感器进行通信的部位。通信部103的通信可以是有线，也可以是无线，另外也不限定其通信标准。UI部104受理来自用户的操作或显示测量结果。UI部104例如可以包括鼠标、键盘等，也可以由显示部与操作部成为一体的触摸面板显示器等构成。信息处理装置100内的各部位通过未图示的内部总线等以能够通信的方式连接。
三维传感器200是用于取得作为三维数据的点群数据的传感器。作为三维传感器200，例如能够利用ToF(Time of Flight，飞行时间)相机、立体相机或LiDAR(LightDetection And Ranging，光检测和测距)等。上述各传感器分别具有不同的特性，因此，可以根据测量环境、作为测量对象的工件300而分开使用。
ToF相机通过向测量对象照射激光并利用摄像元件来测量其反射后的激光，从而按照每个像素来计算距离。ToF相机的可测量距离成为几十cm～几m的程度。立体相机使用由多台(例如两台)相机拍摄到的多个图像并根据它们的视差来计算距离。立体相机的可测量距离成为几十cm～几m的程度。LiDAR通过向周围照射激光并测量反射后的激光来计算距离。LiDAR的可测量距离成为几十cm～几十m的程度。
在本实施方式中，对将ToF相机用作三维传感器200的例子进行说明。在本实施方式中，三维传感器200设置于工件300的上方，能够拍摄位于下方侧的工件300。需要说明的是，三维传感器200可以被固定，也可以构成为能够根据拍摄而调整上下左右的位置、拍摄角度、拍摄条件。
[功能结构]
图2是示出执行本实施方式的工件测量方法的处理的信息处理装置100的功能结构的例子的图。图2所示的各部位可以通过信息处理装置100的控制部101读出并执行存储部102所存储的程序来实现。信息处理装置100构成为包括点群数据取得部151、预处理部152、概形推断处理部153、包围盒(bounding box)优化部154、补充信息导出部155、校正处理部156、感测信息取得部157、以及数据管理部158。
点群数据取得部151取得点群数据，该点群数据是由三维传感器200拍摄到的工件300的三维数据。预处理部152对取得的点群数据进行预处理。这里的预处理可以根据所利用的点群数据而不同，例如举出滤波处理、离群值去除处理、聚类处理、坐标转换处理等。
概形推断处理部153进行使用包围盒来推断由点群数据表示的工件300的概形的处理。这里的概形相当于基于点群数据进行了近似而得到的工件300的形状。包围盒优化部154基于表示由概形推断处理部153推断出的工件300的概形的包围盒进行优化，使得更高精度地确定工件300的形状。之后叙述本实施方式的包围盒的具体例，但示出用于表示构成工件300的一个或多个构件的形状的一个或多个矩形、圆形等的边界框。包围盒可以由二维即平面形状表示，也可以由三维即立体形状表示。因此，包围盒不限定于由直线构成的矩形形状，也可以在其一部分中包含曲线。另外，包围盒与构成工件300的构件不一定成为一对一的关系，根据工件300的形状、点群数据的拍摄方向等，也可以为一对多的关系。补充信息导出部155导出用于确定工件300在三维坐标中的位置坐标的补充信息。之后叙述补充信息的例子。
校正处理部156针对由包围盒优化部154得到的包围盒，基于通过由焊接***400提供的触摸感测功能而取得的信息，进行用于进一步提高测量精度的校正处理。感测信息取得部157经由由焊接***400提供的触摸感测功能而取得用于在校正处理部156中利用的测量信息。感测信息取得部157可以为使焊接***400进行基于触摸感测功能的测量的结构。数据管理部158保持并管理经由三维传感器200、触摸感测功能而取得的各种数据、在测量动作中生成的数据。通过本实施方式的工件测量方法掌握了工件的形状和位置之后，进行触摸感测，由此能够更高精度地掌握工件的位置，因此，能够掌握精度高的焊接线的位置，进行机器人焊接。
[点群数据]
图3示出由三维传感器200拍摄工件300而得到的点群数据的例子。这里，表示为从斜方向观察从上方拍摄了工件300的例子时的图。本例的工件300是包括在从上方观察时位于中心的一个隔板和沿着其四个方向延伸的四个梁凸缘的十字形状的工件。作为工件300，举出钢骨接头工件的例子。
工件300的形状、结构、尺寸等没有特别限定。例如，作为包括隔板和梁凸缘的结构的例子，具有包括一个隔板和三个梁凸缘的T字、包括一个隔板和两个梁凸缘的L字、I字。另外，举出隔板与梁凸缘的连接位置处的阶差的有无、隔板与梁凸缘的连接位置处的偏移等作为结构上的要素。
图4是用于说明在本实施方式的工件测量方法中成为工件300的测量对象的要素的图。这里，示出包括一个隔板301和两个梁凸缘302、303的L字的工件的例子。中心点301a表示隔板301的中心。中心线301b是通过隔板301的中心点301a且沿着x轴方向的中心线。中心线301c是通过隔板301的中心点301a且沿着y轴方向的中心线。中心线302a是梁凸缘302的沿着x轴方向的中心线，相当于梁凸缘302的短边的中心位置。中心线303a是梁凸缘303的沿着y轴方向的中心线，相当于梁凸缘303的短边的中心线。设中心线302a与中心线301b平行，将其差分表示为偏移OFF1。设中心线303a与中心线301c平行，将其差分表示为偏移OFF2。在以下的说明中，也将梁凸缘的短边称为宽度，也将长边称为长度。
在以下的说明中，以上述那样的点群数据、工件的形状为例进行说明。但是，不限定于这样的形状的工件，能够将其他形状的工件作为对象而应用本发明。
[处理流程]
以下，对本实施方式的工件测量处理的流程进行说明。图5是示出本实施方式的工件测量处理的处理整体的流程的流程图。各工序通过图2所示的情报处理装置100的各部位进行协作而实现。这里，为了简化说明，将处理主体统一记载为信息处理装置100。在开始本处理流程之前，将工件300配置于能够由三维传感器200拍摄的位置。
在步骤S501中，信息处理装置100取得使用三维传感器200而拍摄到的三维数据即点群数据。在工件300比规定的尺寸小的情况下，可以通过一次拍摄动作取得点群数据。另外，在工件300比规定的尺寸大的情况下，也可以通过多次拍摄动作取得多个点群数据，并对它们进行综合。另外，在工件300为钢骨接头等具有规定的形状的情况下，优选从工件300的正上方进行拍摄，以尽量避免产生死角。在本工序中，可以为在拍摄时由信息处理装置100调整拍摄位置、拍摄角度这样的结构，也可以为由工件测量***1的利用者进行指定这样的结构。
在步骤S502中，信息处理装置100对在步骤S501中取得的点群数据进行预处理。作为预处理，例如举出滤波处理、离群值去除处理、聚类处理、坐标转换处理等。需要说明的是，本工序中的预处理根据在步骤S501中取得的点群数据的结构执行需要的处理即可，也可以省略预处理。
滤波处理例如可以是如下的处理：使用公知的Voxel Grid滤波器等，以固定的间隔对点群数据所包含的点群进行再采样，由此，使每规定体积的点群密度成为固定。离群值去除处理可以是将可能使测量精度下降的离群值去除的处理。离群值例如可以根据相邻点群的平均和方差等统计信息来确定，也可以根据存在于规定半径内的相邻点群的数量来确定。聚类处理例如可以是如下的处理：基于距离等将点群数据所包含的点群分割为多个组，将从属的点群的数量为规定的阈值以下的组删除，由此，去除表示工件300的形状的点群以外的点群。坐标转换处理基于三维传感器200的拍摄位置、拍摄角度，从三维传感器200的坐标系转换成规定的坐标系。规定的坐标系例如可以是在触摸感测功能中利用的坐标系，也可以是图1所示的将设置有工件300的面作为xy平面并规定了原点、坐标轴的坐标系。坐标系的转换所需的参数可以预先通过事先的校准处理等而导出。
在步骤S503中，信息处理装置100使用在步骤S502中处理后的点群数据来进行概形推断处理。之后使用图6～图8对本工序详细进行叙述。作为本工序的结果，得到表示工件300的概形的一个或多个包围盒。
在步骤S504中，信息处理装置100通过优化处理，对在步骤S503中得到的包围盒进行校正。之后使用图9对本工序详细进行叙述。
在步骤S505中，信息处理装置100导出用于确定工件300在三维坐标中的位置坐标的补充信息。补充信息例如包括构成工件300的各部位的高度信息。例如，如图3所示，构成工件300的隔板、梁凸缘的上表面不一定必须是水平的，高度可以根据其位置而不同。因此，为了更加准确地测定工件300的形状，可以包括高度信息作为补充情报。除此之外，也可以包括各部位的面与水平面所成的角度等作为补充信息。
图13是用于说明作为补充信息的z轴方向上的参数即高度的计算的说明图。在本例中，与图3同样地，示出工件300是由一个隔板和四个梁凸缘构成的十字形状的工件的例子。关于隔板，认为周边部的点群数据的测量精度低，使用除了位于从边界起的规定的范围内的周边部的点群数据之外的区域1301内的高度信息，计算隔板的高度。关于梁凸缘，也被认为周边部的点群数据的测量精度低而进行处理。此外，使用与隔板接近的位置的高度信息。因此，在计算各个梁凸缘的高度的情况下，使用区域1302的点群数据的高度信息。
在步骤S506中，信息处理装置100基于通过触摸感测功能而取得的信息进行校正处理。关于本工序中的动作，也可以在基于通过目前为止的处理而得到的测量结果由信息处理装置100判定是否进行基于触摸感测功能的触摸感测动作以及校正处理之后执行。或者也可以是由工件测量***1的利用者指定是否进行本工序这样的结构。因此，也可以省略本工序。然后，结束本处理流程。
(概形推断处理)
图6是本实施方式的概形推断处理的流程图，对应于图5的步骤S503的工序。首先，使用图7和图8对概形推断处理的整体概要进行说明。
图7示出由三维传感器200从正上方拍摄到工件300的情况下的点群数据。即，是以将图3所示的点群数据投影到二维平面上的方式进行了转换的状态。在本例中，工件300具有十字形状。在概形推断处理中，从根据作为测量对象的工件300的形状而规定的多个方向依次进行概形推断。例如，在工件300为十字形状的情况下，进行沿着x轴方向从右到左、从左到右、沿着y轴方向从上到下、从下到上这四个方向的动作。在图7的情况下，示出沿着x轴从左到右的例子。另外，设定ROI(Region OfInterest，感兴趣区域)701，一边使ROI701偏移一边进行概形推断。在图7中，示出沿着x轴方向从左朝右以概形来推断构成工件300的四个梁凸缘中的图中左侧的梁凸缘的宽度的例子。
图8是用于说明图7所示的概形推断处理的图，是示出图7的概形推断的结果例的坐标图。在图8中，横轴示出第一轴方向(图7的例子中，x轴方向)上的检测结果，纵轴示出第二轴方向(图7的例中，y轴方向)上的检测结果。在图7的测量的例子中，横轴对应于梁凸缘的长度，纵轴对应于梁凸缘的宽度。另外，在横轴中，将在使ROI701移动的过程中开始检测点群的位置表示为“0”。各轴的数值是一例，可以根据测量对象的工件300的尺寸等而变动。通过如图7所示那样确定相当于梁凸缘的点群数据，能够推断构成工件300的梁凸缘的宽度，即，工件300的概形。在本例的情况下，梁凸缘的宽度能够推断为“200”。此外，在持续进行推断处理时，在长度为“500”的位置，宽度的值急剧地上升。由此，梁凸缘的长度能够推断为“500”。
如上所述，在图7的例子中，通过从四个方向对点群数据进行扫描而进行概形推断。此时，也可以如图8那样在测量值急剧地变化的时机切换概形推断的方向。或者也可以构成为针对所有的点群数据，从所有的方向进行概形推断处理。在以下的说明中，针对在测量值变化为阈值以上的情况下切换概形推断的方向的方式进行说明。
作为通过概形推断而得到的包围盒的信息，例如举出如下那样的项目。需要说明的是，根据测量对象的工件300的形状等，也可以是由用户指定以下所示的一部分信息的结构。
形状：长方形、圆、立方体等
尺寸：在形状为长方形的情况下，长边的长度、短边的长度、中心坐标、角度等
个数：每个形状的包围盒的个数
制约：包围盒之间的连接关系、位置关系等
返回图6，进行与图7的处理对应的流程图的说明。作为本处理流程的前提，在进行用于取得上述那样的包围盒的信息的工件300的概形推断时，规定与工件300的形状相应的条件。例如，在工件300为图3所示的十字形状且为钢骨接头工件的情况下，对于概形推断时的条件，举出如下那样的条件。
形状：长方形
尺寸：根据构件而不同
个数：隔板1个+梁凸缘2～4个
制约：梁凸缘的短边与隔板的一边相接，不同的梁凸缘彼此不相接
在上述那样的推断条件下，进行工件300的概形推断。需要说明的是，概形推断时的推断条件根据工件300的形状被预先规定。另外，不限定于上述的推断条件，能够规定任意的推断条件。用于进行上述那样的概形推断的条件也可以根据成为测量对象的工件300的种类被预先规定。
另外，为了推断构成工件300的各构件的接头的概形，需要从工件300的上方、即沿着图1等的z轴方向的方向进行观察。因此，在利用图3所示的点群数据的情况下，使点群数据旋转，转换为从图7所示的上方俯视的状态。该转换可以通过图5的步骤S502中的预处理来进行。
针对点群数据，按照图1等所示的xy平面上的绕z轴的各个规定的角度而重复进行步骤S601～步骤S611的循环处理。这里的规定的角度以及开始角度被预先规定，例如，也可以将规定的角度设为5度，将开始角度设为以xy平面上的沿着x轴的方向为基准的角度(0度)。
在步骤S602中，概形推断处理部153在点群数据的xy平面上设定ROI701。这里设定的ROI701相当于概形推断的开始位置，可以根据扫描方向即点群数据的扫描方向的数量而设定多个。另外，ROI701的尺寸没有特别限定，例如，可以使用固定的尺寸，也可以根据点群数据的图像尺寸来规定。
接下来，针对点群数据，按照xy平面上的每个规定的方向而重复进行步骤S603～步骤S609的循环处理。这里，在x轴的正方向、y轴的正方向、x轴的负方向、y轴的负方向这四个扫描方向上进行针对点群数据的扫描。关于扫描方向，可以根据上述的推断条件来规定该方向、数量。
在步骤S604中，概形推断处理部153计算所设定的ROI701中的点群的宽度。
在步骤S605中，概形推断处理部153判定在步骤S604中计算出的点群的宽度与在上次的ROI701的位置处计算出的宽度的差分即变化量是否为阈值以上。这里的阈值被预先规定。需要说明的是，也可以取代变化量，使用变化率进行判定。在变化量为阈值以上的情况下(步骤S605中“是”)，概形推断处理部153的处理进入步骤S607。另一方面，在变化量小于阈值的情况下(步骤S605中“否”)，概形推断处理部153的处理进入步骤S606。
在步骤S606中，概形推断处理部153使ROI701沿扫描方向进行平行移动。这里的ROI701的移动量根据ROI701的尺寸等被预先规定。然后，概形推断处理部153的处理返回步骤S604，重复进行处理。
在步骤S607中，概形推断处理部153将变化量成为阈值以上的位置的紧前面的值设定为梁凸缘的宽度，将从检测到点群的位置到变化量成为阈值以上的位置为止的长度设定为梁凸缘的长度。
在步骤S608中，在步骤S607中设定的梁凸缘的长度为阈值以下的情况下，概形推断处理部153设定为不存在该方向上的梁凸缘。即，进行梁凸缘的个数的设定。
在步骤S609中，概形推断处理部153判定从全部的扫描方向的扫描是否完成。在从全部的扫描方向的扫描未完成的情况下，切换为未处理的扫描方向，重复进行步骤S604以后的处理。另一方面，在从全部的扫描方向的扫描完成的情况下，概形推断处理部153的处理进入步骤S610。
在步骤S610中，概形推断处理部153计算各梁凸缘的中心线与xy平面上的x轴或y轴所成的角。
在步骤S611中，概形推断处理部153判定全部的旋转角度的计算处理是否完成。在全部的旋转角度的计算处理未完成的情况下，旋转为下一个角度，重复进行步骤S602以后的处理。另一方面，在全部的旋转角度的计算处理完成的情况下，概形推断处理部153的处理进入步骤S612。
在步骤S612中，概形推断处理部153将构成工件300的各梁凸缘的中心线与x轴或y轴所成的角的平均成为最小的角度的旋转位置设为工件的设置角度。即，在xy平面上，将绕z轴的点群数据的旋转角决定为x轴及y轴与各梁凸缘成为平行的位置关系。
在步骤S613中，概形推断处理部153根据点群整体的宽度及长度、以及计算出的各梁凸缘的长度，计算构成工件300的隔板的尺寸。隔板的尺寸的计算能够基于上述的推断条件来计算。由此，能够生成表示工件300整体的概形的一个或多个包围盒。例如，在为具有图7的形状的工件300的情况下，能够生成与一个隔板及四个梁凸缘分别对应的总计五个包围盒。换言之，由包围盒的参数确定构成工件300的各构件的概形。然后，结束本处理流程。
(包围盒优化处理)
图9是本实施方式的包围盒优化处理的流程图，对应于图5的步骤S504的工序。
在步骤S901中，包围盒优化部154将通过图5的步骤S503中的概形推断处理而得到的各包围盒的参数设定为初始值。即，将通过概形推断处理而得到的参数作为基准，通过优化处理，来提高其测量精度。
在步骤S902中，包围盒优化部154使用评价函数来计算评价值。在本实施方式中，作为评价函数，使用表示根据点群的点数和点群密度得到的加权线性和的以下的式(1)。
F(x)＝WNN(x)+WDD(x)…(1)
WN、WD：权重系数
x：优化参数
N(x)：存在于包围盒内的点数
D(x)：包围盒内的点群密度
优化参数x，例如可以使用包围盒的位置、角度、宽度、长度等。更具体而言，在图4所示的结构的工件300的例子的情况下，可以将工件300的绕z轴的角度、隔板的中心坐标、梁凸缘的宽度、长度、偏移等用作优化参数。
在步骤S903中，包围盒优化部154基于在步骤S901中设定的初始值和在步骤S902中计算出的评价值，计算评价值的变化量。在本实施方式中，一边从初始值开始使各优化参数以规定间隔变化，一边计算评价值的变化量。
在步骤S904中，包围盒优化部154基于在步骤S903中计算出的梯度向量来更新参数。这里，例如可以使用公知的最速下降法等方法来更新参数。
在步骤S905中，作为更新了参数的结果，包围盒优化部154判定其变化量是否在规定的范围内收敛、或者更新次数是否达到规定的阈值。在规定的范围内收敛或者更新次数达到规定的阈值的情况下(步骤S905中“是”)，结束本处理流程。在除此以外的情况下(步骤S905中“否”)，包围盒优化部154的处理返回步骤S902，重复进行处理。
[处理结果说明]
图10～图12是示出通过本实施方式的工件测量方法而得到的测量结果的图。这里，作为与本实施方式的工件测量方法比较的现有方法，以基于公知的OBB(OrientedBounding Box，方向包围盒)的方法为例进行说明。
图10示出作为使用了某个工件的点群数据1000的测量结果的包围盒的例子。在点群数据1000的周边包含固定的噪声。包围盒1001示出通过现有方法得到的测量结果，包围盒1002示出通过本实施方式的工件测量方法得到的测量结果。在现有方法中，作为受到噪声的影响的结果，示出比表示实际的工件的点群大的范围。另一方面，在本实施方式的工件测量方法中，得到更接近实际的工件的形状的包围盒1002。
图11示出作为使用了某个工件的点群数据1100的测定结果的包围盒的例子。在点群数据1100中，没有通过三维相机正确地进行工件的拍摄，在一部分产生了缺损1101。包围盒1102表示通过现有方法得到的测量结果，包围盒1103表示通过本实施方式的工件测量方法得到的测量结果。在现有方法中，作为受到缺损1101的影响的结果，不能正确地确定主轴，对于表示实际的工件的点群，角度、尺寸产生了误差。另一方面，在本实施方式的工件测量方法中，抑制了缺损1101的影响，得到更加接近实际的工件的角度、尺寸的包围盒1103。
图12示出作为使用了某个工件的点群数据1200的测定结果的包围盒的例子。在点群数据1200中，在工件的两个部位设置有附属品，包括与该附属品对应的点群1201。包围盒1202表示通过现有方法得到的测量结果，包围盒1203表示通过本实施方式的工件测量方法得到的测量结果。在现有方法中，作为受到点群1201的影响的结果，示出比表示实际的工件的点群大的范围。另一方面，在本实施方式的工件测量方法中，去除比规定的尺寸小的点群1201而抑制了其影响，得到更加接近实际的工件的形状的包围盒1203。
以上，根据本实施方式，无需事先准备三维CAD数据等就能够测定工件的形状、位置。另外，与现有的方法相比，能够更高精度地掌握工件的形状。
<其他实施方式>
能够将上述的实施方式所示的工件测量方法应用于包括焊接机器人的焊接***。由此，例如能够基于包围盒的信息，根据对象工件自动地提取焊接线。
另外，在上述的实施方式中，示出了基于从工件的上方观察的视点而测定出形状的例子，但也可以为从多个方向测量形状的结构。由此，能够抑制死角等的影响，更高精度地进行测量。
本实施方式也能够通过如下的处理来实现：使用网络或存储介质等向***或装置供给用于实现上述的一个以上的实施方式的功能的程序、应用，该***或装置的计算机中的一个以上的处理器读出并执行程序。
另外，本实施方式也可以由实现一个以上的功能的电路实现。需要说明的是，作为实现一个以上的功能的电路，例如举出ASIC(Application Specific IntegratedCircuit，专用集成电路)、FPGA(Field Programmable Gate Array，现场可编程门阵列)。
如以上那样，在本说明书中公开了以下的事项。
(1)一种工件测量方法，是进行由多个构件构成的工件的形状和位置的测量的工件测量方法，其中，
所述工件测量方法具有：
取得步骤，在该取得步骤中，取得所述工件的三维的点群数据；
概形推断步骤，在该概形推断步骤中，使用与测量对象的工件的形状对应地规定的条件和所述点群数据，推断表示与所述多个构件对应的概形的一个或多个边界框；以及
优化步骤，在该优化步骤中，通过利用评价函数进行的参数的调整，来优化在所述概形推断步骤中推断出的所述一个或多个边界框，确定所述多个构件的形状。
根据该结构，无需事先准备三维CAD数据等就能够测定工件的形状、位置。
(2)根据(1)所记载的工件测量方法，其中，所述条件包括与所述工件对应的边界框的形状、尺寸、个数以及制约中的任意一种。
根据该结构，能够基于作为与工件对应的条件的形状、尺寸、个数以及制约中的任意一种来推断该工件的包围盒。
(3)根据(1)或(2)所记载的工件测量方法，其中，所述评价函数是根据所述边界框中包含的点群的点数与点群密度得到的加权线性和。
根据该结构，能够基于根据包围盒内的点群的点数和点群密度得到的加权线性和，来优化包围盒。
(4)根据(1)至(3)中任一项所记载的工件测量方法，其中，在所述优化步骤中，对所述边界框的尺寸、位置、角度中的至少任意一种参数进行优化。
根据该结构，能够进行包围盒的尺寸、位置、角度中的至少任意一种的优化。
(5)根据(1)至(4)中任一项所记载的工件测量方法，其中，在所述概形推断步骤中，通过从多个方向对所述点群数据进行扫描来推断所述边界框。
根据该结构，能够更高精度地推断工件的概形。
(6)根据(1)至(5)中任一项所记载的工件测量方法，其中，在所述概形推断步骤中，将所述点群数据投影到二维平面来推断概形。
根据该结构，能够高精度地推断从将点群数据投影到二维平面的所希望的方向观察的形状。
(7)根据(6)所记载的工件测量方法，其中，还具有导出步骤，在该导出步骤中，导出与所述多个构件对应的正交于所述二维平面的轴向的位置。
根据该结构，能够进一步导出构成工件的各构件中的相对于二维平面的高度方向的信息。
(8)根据(1)至(7)中任一项所记载的工件测量方法，其中，所述边界框构成为包括直线或曲线。
根据该结构，能够使用任意形状的包围盒来确定工件的形状。
(9)根据(1)至(8)中任一项所记载的工件测量方法，其中，所述边界框以二维或三维的形式表示。
根据该结构，能够使用二维或三维的包围盒来确定工件的形状。
(10)根据(1)至(9)中任一项所记载的工件测量方法，其中，还具有校正步骤，在该校正步骤中，使用针对所述工件的触摸感测的测定结果，来校正在所述优化步骤中优化后的所述一个或多个边界框。
根据该结构，能够使用触摸感测的结果，进一步提高测定精度。
(11)一种工件测量***，其进行由多个构件构成的工件的形状和位置的测量，其中，
所述工件测量***具有：
取得单元，其取得所述工件的三维的点群数据；
概形推断单元，其使用与测量对象的工件的形状对应地规定的条件和所述点群数据，推断表示与所述多个构件对应的概形的一个或多个边界框；以及
优化单元，通过利用评价函数进行的参数的调整，来优化由所述概形推断单元推断出的所述一个或多个边界框，确定所述多个构件的形状。
根据该结构，无需事先准备三维CAD数据等就能够测定工件的形状、位置。
(12)一种程序，其中，
所述程序用于使计算机执行以下步骤：
取得步骤，在该取得步骤中，取得由多个构件构成的工件的三维的点群数据；
概形推断步骤，在该概形推断步骤中，使用与测量对象的工件的形状对应地规定的条件和所述点群数据，推断表示与所述多个构件对应的概形的一个或多个边界框；以及
优化步骤，在该优化步骤中，通过利用评价函数进行的参数的调整，来优化在所述概形推断步骤中推断出的所述一个或多个边界框，确定所述多个构件的形状。
根据该结构，无需事先准备三维CAD数据等就能够测定工件的形状、位置。

Claims (12)

1.一种工件测量方法，是进行由多个构件构成的工件的形状和位置的测量的工件测量方法，其中，
所述工件测量方法具有：
取得步骤，在该取得步骤中，取得所述工件的三维的点群数据；
概形推断步骤，在该概形推断步骤中，使用与测量对象的工件的形状对应地规定的条件和所述点群数据，推断表示与所述多个构件对应的概形的一个或多个边界框；以及
优化步骤，在该优化步骤中，通过利用评价函数进行的参数的调整，来优化在所述概形推断步骤中推断出的所述一个或多个边界框，确定所述多个构件的形状。
2.根据权利要求1所述的工件测量方法，其中，
所述条件包括与所述工件对应的边界框的形状、尺寸、个数以及制约中的任意一种。
3.根据权利要求1或2所述的工件测量方法，其中，
所述评价函数是根据所述边界框中包含的点群的点数与点群密度得到的加权线性和。
4.根据权利要求1或2所述的工件测量方法，其中，
在所述优化步骤中，对所述边界框的尺寸、位置、角度中的至少任意一种参数进行优化。
5.根据权利要求1或2所述的工件测量方法，其中，
在所述概形推断步骤中，通过从多个方向对所述点群数据进行扫描来推断所述边界框。
6.根据权利要求1或2所述的工件测量方法，其中，
在所述概形推断步骤中，将所述点群数据投影到二维平面来推断概形。
7.根据权利要求6所述的工件测量方法，其中，
所述工件测量方法还具有导出步骤，在该导出步骤中，导出与所述多个构件对应的正交于所述二维平面的轴向的位置。
8.根据权利要求1或2所述的工件测量方法，其中，
所述边界框构成为包括直线或曲线。
9.根据权利要求1或2所述的工件测量方法，其中，
所述边界框以二维或三维的形式表示。
10.根据权利要求1或2所述的工件测量方法，其中，
所述工件测量方法还具有校正步骤，在该校正步骤中，使用针对所述工件的触摸感测的测定结果，来校正在所述优化步骤中优化后的所述一个或多个边界框。
11.一种工件测量***，其进行由多个构件构成的工件的形状和位置的测量，其中，
所述工件测量***具有：
取得单元，其取得所述工件的三维的点群数据；
概形推断单元，其使用与测量对象的工件的形状对应地规定的条件和所述点群数据，推断表示与所述多个构件对应的概形的一个或多个边界框；以及
优化单元，通过利用评价函数进行的参数的调整，来优化由所述概形推断单元推断出的所述一个或多个边界框，确定所述多个构件的形状。
12.一种程序，其中，
所述程序用于使计算机执行以下步骤：
取得步骤，在该取得步骤中，取得由多个构件构成的工件的三维的点群数据；
概形推断步骤，在该概形推断步骤中，使用与测量对象的工件的形状对应地规定的条件和所述点群数据，推断表示与所述多个构件对应的概形的一个或多个边界框；以及
优化步骤，在该优化步骤中，通过利用评价函数进行的参数的调整，来优化在所述概形推断步骤中推断出的所述一个或多个边界框，确定所述多个构件的形状。
CN202310097661.XA 2022-02-24 2023-02-08 工件测量方法、工件测量***以及程序 Pending CN116642414A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-026733 2022-02-24
JP2022026733A JP2023122951A (ja) 2022-02-24 2022-02-24 ワーク計測方法、ワーク計測システム、およびプログラム

Publications (1)

Publication Number Publication Date
CN116642414A true CN116642414A (zh) 2023-08-25

Family

ID=87574621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310097661.XA Pending CN116642414A (zh) 2022-02-24 2023-02-08 工件测量方法、工件测量***以及程序

Country Status (4)

Country Link
US (1) US20230267593A1 (zh)
JP (1) JP2023122951A (zh)
KR (1) KR20230127157A (zh)
CN (1) CN116642414A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117218123B (zh) * 2023-11-09 2024-02-02 上海擎刚智能科技有限公司 一种基于点云的冷轧带钢飞丝设备故障检测方法及***
CN117473345B (zh) * 2023-12-27 2024-03-22 山东顺发重工有限公司 基于数据分析的法兰锻造缺陷检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6817122B2 (ja) 2017-03-21 2021-01-20 株式会社神戸製鋼所 溶接パス特定方法、プログラム、教示プログラム及び溶接ロボットシステム

Also Published As

Publication number Publication date
KR20230127157A (ko) 2023-08-31
JP2023122951A (ja) 2023-09-05
US20230267593A1 (en) 2023-08-24

Similar Documents

Publication Publication Date Title
CN116642414A (zh) 工件测量方法、工件测量***以及程序
US20200096317A1 (en) Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium
JP6323993B2 (ja) 情報処理装置、情報処理方法、及びコンピュータプログラム
JP6363863B2 (ja) 情報処理装置および情報処理方法
US9163940B2 (en) Position/orientation measurement apparatus, measurement processing method thereof, and non-transitory computer-readable storage medium
US6470271B2 (en) Obstacle detecting apparatus and method, and storage medium which stores program for implementing the method
JP5132832B1 (ja) 計測装置および情報処理装置
US9488469B1 (en) System and method for high-accuracy measurement of object surface displacement using a laser displacement sensor
JP5602392B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6092530B2 (ja) 画像処理装置、画像処理方法
JP6636252B2 (ja) 投影システム、プロジェクター装置、撮像装置、および、プログラム
JP2014028415A (ja) バラ積みされた物品をロボットで取出す装置
CN112634376B (zh) 标定方法及装置、标定设备和存储介质
JPWO2016171263A1 (ja) 形状測定装置及び形状測定方法
US20190308324A1 (en) Information processing apparatus, information processing method, and program
CN116342718B (zh) 一种线激光3d相机的标定方法、装置、存储介质及设备
US8941732B2 (en) Three-dimensional measuring method
CN106441234B (zh) 一种3d机器视觉空间检测标定方法
JP7353757B2 (ja) アーチファクトを測定するための方法
TWI574754B (zh) 軋輥機台監控方法
JP2015007639A (ja) 情報処理装置、情報処理方法およびプログラム
CN116560062B (zh) 显微镜对焦防碰撞控制方法
US11566888B1 (en) Systems and methods for automatic measurement and scanning of complex surfaces
CN116160458A (zh) 一种移动机器人多传感器融合快速定位方法、设备及***
CN115100287A (zh) 外参标定方法及机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination