CN110325318B - 重叠位置校正装置及重叠位置校正方法 - Google Patents

重叠位置校正装置及重叠位置校正方法 Download PDF

Info

Publication number
CN110325318B
CN110325318B CN201780087179.0A CN201780087179A CN110325318B CN 110325318 B CN110325318 B CN 110325318B CN 201780087179 A CN201780087179 A CN 201780087179A CN 110325318 B CN110325318 B CN 110325318B
Authority
CN
China
Prior art keywords
image
region
coordinate system
processing
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780087179.0A
Other languages
English (en)
Other versions
CN110325318A (zh
Inventor
都丸义广
大佐贺猛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN110325318A publication Critical patent/CN110325318A/zh
Application granted granted Critical
Publication of CN110325318B publication Critical patent/CN110325318B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/02—Positioning or observing the workpiece, e.g. with respect to the point of impact; Aligning, aiming or focusing the laser beam
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/60—Preliminary treatment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/70—Auxiliary operations or equipment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Plasma & Fusion (AREA)
  • Mechanical Engineering (AREA)
  • Laser Beam Processing (AREA)
  • Numerical Control (AREA)
  • Image Processing (AREA)

Abstract

重叠位置校正装置(1)具有图像取得部(12)、差分图像生成部(16)、加工预定图像生成部(17)、分割区域生成部(19)、类似形状检索部(20)、代表点提取部(21)、投影矩阵计算部(22)和重叠显示部(14)。图像取得部(12)取得包含工件(w1)的图像的第1图像帧(f1)和包含加工后的工件(w2)的图像的第2图像帧(f2)。差分图像生成部(16)生成包含已加工区域(33b)的图像即差分图像(f3、f4)。加工预定图像生成部(17)基于加工预定轨迹(31)生成加工预定图像(f5)。分割区域生成部(19)生成包含加工预定区域(33a)的至少1个分割区域(34)。类似形状检索部(20)取得与分割区域(34)类似的区域作为特定区域(35)。代表点提取部(21)提取加工预定区域(33a)的机械坐标系中的重心坐标和已加工区域(33b)的图像坐标系中的重心坐标。投影矩阵计算部(22)计算用于进行机械坐标系和所述图像坐标系之间的投影变换的投影矩阵。重叠显示部(14)使用投影矩阵将机械坐标系中的加工预定轨迹(31)变换为图像坐标系中的新的加工预定轨迹(31b)。

Description

重叠位置校正装置及重叠位置校正方法
技术领域
本发明涉及用于加工***的重叠位置校正装置。
背景技术
通常，在使用了激光加工机的激光加工***中，使用加工位置的位置偏移校正。例如，提出了如下方法，即，对校正用的板状的工件进行加工，将预先指定的加工位置和加工后的位置进行比较，由此，对激光加工机的加工开始位置进行校正(例如，专利文献1)。并且，近年来，提出了如下方法，即，使用AR(Augmented Reality)，相对于在监视器等显示器显示的加工对象的工件重叠加工位置(加工预定轨迹)等的图像或者信息。在使用了AR的激光加工***中，需要在配置了工件的平面即机械坐标系和照相机图像内的图像坐标系之间使位置关系相互对应。
专利文献1：日本特开2010－99674号公报
发明内容
但是，有时在加工中激光加工机整体振动，工件的位置或者照相机的位置以及姿态会变化。在该情况下，例如，使用如下方法，即，使用棋盘格模式或标记对工件以及照相机的位置进行纠正，但在现有技术中，存在在这样的显示对位等的维护上缺乏简便性的问题。
本发明是为了解决上述那样的问题而提出的，目的在于通过简易的方法对重叠于工件的加工预定轨迹进行校正。
本发明的重叠位置校正装置的特征在于，具备：图像取得部，其取得包含加工对象即工件的图像的第1图像帧和包含加工后的所述工件的图像的第2图像帧；差分图像生成部，其从所述图像取得部取得所述第1图像帧以及所述第2图像帧，生成包含所述第1图像帧和所述第2图像帧的差分即已加工区域的图像即差分图像；加工预定图像生成部，其基于与所述工件重叠的预定的加工预定轨迹，生成加工预定图像；分割区域生成部，其生成包含基于所述预定的加工预定轨迹确定的所述工件的加工预定区域的至少1个分割区域；类似形状检索部，其从所述差分图像中检索与所述分割区域类似的区域，取得与所述分割区域类似的区域作为特定区域；代表点提取部，其提取所述分割区域中包含的所述加工预定区域的机械坐标系中的重心坐标和所述特定区域中包含的所述已加工区域的图像坐标系中的重心坐标；投影矩阵计算部，其使用所述机械坐标系中的重心坐标和所述图像坐标系中的重心坐标，计算用于所述机械坐标系和所述图像坐标系之间的投影变换的投影矩阵；以及重叠显示部，其使用所述投影矩阵，将所述机械坐标系中的所述预定的加工预定轨迹变换为所述图像坐标系中的新的加工预定轨迹。
发明的效果
根据本发明，能够通过简易的方法对重叠于工件的加工预定轨迹进行校正。
附图说明
图1是概略性表示包含本发明的实施方式涉及的重叠位置校正装置的激光加工***的结构的框图。
图2是表示通过图像取得部取得的图像帧的一个例子的图。
图3是表示图像帧内的与工件重叠的加工预定轨迹的图。
图4是表示进行加工之前的照相机图像即图像帧的图。
图5是表示进行了加工之后的照相机图像即图像帧的图。
图6是表示通过差分图像生成部生成的差分图像的图。
图7是表示作为对比例的图像帧的图。
图8是表示激光加工***中的重叠位置校正方法的一个例子的流程图。
图9是表示通过差分图像生成部标准化后的差分图像的图。
图10是表示进行了投影变换之后的图像坐标系中的加工预定图像的图。
图11是表示在图像帧内生成的分割区域的图。
图12是表示类似形状检索处理的流程的一个例子的流程图。
图13是表示差分图像内的特定区域的图。
图14是表示代表点提取处理的一个例子的流程图。
图15是示意性表示代表点的集合的图。
图16是表示图像帧内的与工件重叠的、校正后的加工预定轨迹的图。
图17是表示重叠位置校正装置的具体的硬件结构的一个例子的框图。
具体实施方式
实施方式
图1是概略性表示包含本发明的实施方式涉及的重叠位置校正装置1的激光加工***100的结构的框图。
激光加工***100具有重叠位置校正装置1、激光加工机2和存储装置3。在本实施方式中，存储装置3是在重叠位置校正装置1以及激光加工机2的外部具备的存储介质，但存储装置3也可以设置于重叠位置校正装置1内，也可以设置于激光加工机2内。
重叠位置校正装置1具有照相机11、图像取得部12、投影变换部13、重叠显示部14、显示器15、差分图像生成部16、加工预定图像生成部17、偏移判定部18、分割区域生成部19、类似形状检索部20、代表点提取部21和投影矩阵计算部22。
照相机11对加工材料(即，加工对象)即工件w1以及工件w1的周边区域进行拍摄。
图像取得部12将通过照相机11拍摄的影像作为一张张静止图像(例如，后述的图像帧f1)而取得。
图2是表示通过图像取得部12取得的图像帧f1(第1图像帧)的一个例子的图。图2所示的图像帧f1是包含加工对象即工件w1的图像在内的图像。图像帧f1是通过照相机11取得的照相机图像。
图3是表示图像帧f1内的与工件w1重叠的加工预定轨迹31的图。加工预定轨迹31是表示机械坐标系中的加工预定即加工位置的数据。在图像帧f1内，加工预定轨迹31通过图形表示。也将图像帧f1内示出的加工预定轨迹31称为加工预定图像。
投影变换部13使用投影矩阵32将加工预定轨迹31变换为与图像坐标系对应的数据。图像坐标系是图像帧f1内的正交坐标系(即，xy平面)。
重叠显示部14在通过图像取得部12得到的图像帧f1内，将加工预定轨迹31描绘为图形。
在显示器15显示图像帧f1。在本实施方式中，显示器15是显示器。例如，在显示器15中，被变换为与图像坐标系对应的数据的加工预定轨迹31重叠于图像帧f1内的工件w1。
图4是表示进行加工之前的照相机图像即图像帧f1的图。被加工预定轨迹31包围的区域是加工预定区域33a。
图5是表示进行了加工之后的照相机图像即图像帧f2(第2图像帧)的图。图5所示的图像帧f2是包含通过激光加工机2加工后的工件w2(即，加工后的工件w2)以及被加工轨迹33包围的已加工区域33b的图像在内的图像。
图6是表示通过差分图像生成部16生成的差分图像f3的图。
差分图像生成部16基于进行加工之前的照相机图像即图像帧f1(图2)和进行了加工之后的照相机图像即图像帧f2的差分，生成差分图像f3。
加工预定图像生成部17基于重叠于工件w1的预定的加工预定轨迹31，生成加工预定图像。加工预定图像是包含加工预定轨迹31的图像。
图7是表示作为对比例的图像帧的图。
如图7所示，在加工中工件w2的位置发生了偏移的情况下，有时加工预定轨迹31和加工轨迹33会发生偏移。偏移判定部18将加工预定图像和差分图像(后述的差分图像f4)进行比较，判定加工预定轨迹31和加工轨迹33是否发生偏移。
分割区域生成部19生成至少1个分割区域34。分割区域34是包含基于加工预定轨迹31确定的加工预定区域33a(具体而言，被加工预定轨迹31包围的工件w1的区域)的区域。
类似形状检索部20从差分图像(后述的差分图像f4)中检索与通过分割区域生成部19生成的分割区域34类似的区域。
代表点提取部21提取通过分割区域生成部19生成的分割区域34中包含的加工预定区域33a(在本实施方式中，加工形状)的机械坐标系中的重心坐标即代表点、和特定区域35中包含的已加工区域33b的图像坐标系中的重心坐标即代表点。
投影矩阵计算部22计算用于进行激光加工***100中的重叠位置校正的投影矩阵(后述的投影矩阵H)。
激光加工机2具有发射激光的加工头2a和控制加工头2a的加工控制部2b。加工头2a是激光的发射口。加工控制部2b能够按照加工预定轨迹31使加工头2a移动。
在存储装置3中储存有加工预定轨迹31和投影矩阵32。
加工预定轨迹31是预定的数据，表示机械坐标系中的加工预定即加工位置。
投影矩阵32是用于在机械坐标系和图像坐标系之间进行投影变换的数据(矩阵)，表示使用棋盘格等指标预先求出的激光加工机2中的机械坐标系、和照相机11(即，照相机图像)中的图像坐标系之间的相关关系。
下面，说明激光加工***100中的重叠位置校正方法。
图8是表示激光加工***100中的重叠位置校正方法的一个例子的流程图。
在步骤S1中，在进行加工之前，照相机11对工件w1进行拍摄，图像取得部12取得图像帧f1。
在步骤S2中，激光加工机2基于加工预定轨迹31对工件w1进行加工。具体而言，加工控制部2b基于加工预定轨迹31控制加工头2a，对工件w1进行加工。例如，在工件w1加工为椭圆形、星形、十字形以及六边形4个加工形状(也称为加工几何)的情况下，如图5所示，得到工件w2。
在步骤S3中，照相机11对工件w2进行拍摄，图像取得部12从照相机图像取得图像帧f2。
在步骤S4中，差分图像生成部16从图像取得部12取得图像帧f1以及图像帧f2，生成包含图像帧f1和图像帧f2的差分即已加工区域33b的差分图像f3。在差分图像f3中仅示出加工轨迹33以及已加工区域33b(在图6所示的例子中，4个加工形状)。
图9是表示通过差分图像生成部16标准化后的差分图像f4的图。
在图6所示的差分图像f3中，已加工区域33b以外的区域的像素值是0，已加工区域33b的像素值是除了0以外的不确定值，因此，以已加工区域33b的像素值成为1的方式进行标准化。其结果，如图9所示，得到已加工区域33b以外的区域的像素值是0并且已加工区域33b的像素值是1的二值图像。
在步骤S5中，投影变换部13对加工预定轨迹31进行投影变换。即，投影变换部13使用公式1将基于机械坐标系的加工预定轨迹31变换为基于图像坐标系的数据。
Figure GDA0002175696450000061
在公式1中，xc以及yc表示照相机图像内的图像坐标系中的xy平面上的位置。在公式1中，xm以及ym表示用于控制加工头2a的坐标系即机械坐标系中的二维位置。在公式中，H是投影矩阵32，λ是任意实数。在本实施方式中，投影矩阵32是3×3的矩阵，被预先计算出。
图10是表示进行了投影变换之后的图像坐标系中的加工预定图像的图。
在步骤S6中，加工预定图像生成部17生成加工预定图像。具体而言，加工预定图像是基于在步骤S5中投影变换后的加工预定轨迹31a，以加工预定区域33a内的像素值成为1的方式生成，以加工预定区域33a以外的区域的像素值成为0的方式生成。其结果，在图10所示的图像帧f5内，得到进行了投影变换之后的加工预定图像。
在步骤S7中，偏移判定部18将图像帧f5内的加工预定图像和差分图像f4进行比较，判定加工预定图像(具体而言，图像帧f5内的加工预定轨迹31a)是否与差分图像f4(具体而言，差分图像f4内的加工轨迹33)发生偏移。在本实施方式中，偏移判定部18针对每个相同的坐标、比较图像帧f5内的加工预定图像中的各像素的像素值和差分图像f4中的各像素的像素值，对具有不同像素值的像素的总数(像素总数)进行计数，由此，判定加工预定图像(f5)是否与差分图像(f4)发生偏移。
偏移判定部18在像素总数比预定的偏移判定阈值小时判定为“无偏移”，在像素总数大于或等于偏移判定阈值时判定为“有偏移”。偏移判定阈值例如可以设定为图像帧f5内的全部像素数的1％。
偏移判定部18在判定为加工预定轨迹31a没有与加工轨迹33发生偏移时(在步骤S7中为NO)，处理跳转至步骤S13。
偏移判定部18在判定为加工预定轨迹31a与加工轨迹33发生偏移时(在步骤S7中为YES)，处理跳转至步骤S8。
图11是表示在图像帧f6内生成的分割区域34的图。
在步骤S8中，分割区域生成部19生成包含至少1个加工预定区域33a(在本实施方式中，至少1个加工形状)的至少1个分割区域34。例如，分割区域生成部19求出图像帧f5内的各加工形状的外切矩形。由此，如图11所示，能够在图像帧f6内生成包含1个加工形状的分割区域34。即，在本实施方式中，生成4个分割区域34。
在步骤S8中，也可以形成相互外切的多个分割区域34。在该情况下，在多个分割区域34内包含大于或等于2个加工形状。
在步骤S9中，进行类似形状检索处理。具体而言，类似形状检索部20从差分图像f4中检索与加工预定图像的分割区域34类似的区域，取得与加工预定图像的分割区域34类似的区域作为特定区域35。
图12是表示类似形状检索处理的流程的一个例子的流程图。
在步骤S91中，类似形状检索部20计算加工预定图像的分割区域34内的图像的Hu矩不变量。例如，Hu矩不变量是使用非专利文献即下述文献记载的方法进行计算。
Ming－Kuei HU.“Visual Pattern Recognition by Moment Invariants”IRETRASACTIONS ON INFORMATION THEORY，vol.IT－8，pp179－187，1962.
Hu矩不变量能够针对图像内的任意区域进行计算，具有在表示某个形状的图像、和对其形状进行比例变更、旋转、或者平行移动后的图像之间不变的特征。
在步骤S92中，类似形状检索部20确定、取得差分图像f4内的区域，该差分图像f4内的区域是具有与分割区域34相同尺寸的区域并且具有与在步骤S91得到的Hu矩不变量最接近的Hu矩不变量。具体而言，使具有与分割区域34相同尺寸的区域在差分图像f4内每次移动1个像素，在每次使区域移动时求出Hu矩不变量，确定加工预定图像的分割区域34的Hu矩不变量和在差分图像f4内求出的Hu矩不变量之差的范数最小的区域。
在步骤S93中，取得、保存在步骤S92中得到的差分图像f4内的区域，作为特定区域35。
图13是表示差分图像f4内的特定区域35的图。
对于加工预定图像的分割区域34分别进行步骤S91至S93的处理。由此，在本实施方式中，如图13所示，得到4个特定区域35。
在步骤S10中，进行代表点提取处理。具体而言，代表点提取部21提取分割区域34中包含的加工预定区域33a(在本实施方式中，加工形状)的机械坐标系中的重心坐标即代表点和特定区域35中包含的已加工区域33b的图像坐标系中的重心坐标即代表点。
图14是表示代表点提取处理的一个例子的流程图。
在步骤S101中，代表点提取部21计算在与差分图像f4内的1个特定区域35对应的分割区域34中包含的加工预定区域33a的重心坐标。具体而言，代表点提取部21计算在与差分图像f4内的1个特定区域35对应的分割区域34(即，与特定区域35类似的分割区域34)中包含的加工预定区域33a内的全部机械坐标(即，机械坐标系中的坐标)的平均，由此，能够提取重心坐标。
在步骤S102中，代表点提取部21计算在差分图像f4的特定区域35(即，在步骤S101中使用的特定区域35)中包含的已加工区域33b的重心坐标。具体而言，代表点提取部21计算在特定区域35内像素值为1的已加工区域33b内的全部图像坐标(即，图像坐标系中的坐标)的平均，由此，能够提取重心坐标。
在步骤S103中，将在步骤S101以及S102中得到的重心坐标、即2个重心坐标保存为代表点。
图15是示意性表示代表点的集合的图。
对于各特定区域35以及与各特定区域35对应的分割区域34进行步骤S101至S103的处理。由此，得到与特定区域35的数量相同数量的代表点的集合g1、g2、g3以及g4。在本实施方式中，如图15所示，得到4组代表点的集合g1、g2、g3以及g4。
在步骤S11中，投影矩阵计算部22使用机械坐标系中的重心坐标和图像坐标系中的重心坐标，计算用于进行机械坐标系和图像坐标系之间的投影变换的投影矩阵H(换言之，用于进行重叠位置校正的投影矩阵H)。具体而言，通过将在步骤S10得到的代表点的集合g1、g2、g3以及g4代入上述公式1，能够得到投影矩阵H。投影矩阵32的自由度是8，因此，为了得到投影矩阵H，需要至少4组代表点的集合。
在步骤S12中，将在步骤S11中得到的投影矩阵H保存于存储装置3。即，将投影矩阵32更新为新的投影矩阵(即，在步骤S11中得到的投影矩阵H)。由此，能够得到用于进行重叠位置校正的校正后的投影矩阵。
图16是表示图像帧f7内的与工件w1重叠的、校正后的加工预定轨迹31b的图。
在步骤S13中，重叠显示部14使用在步骤S12中得到的投影矩阵，将机械坐标系中的加工预定轨迹31变换为图像坐标系中的加工预定轨迹31b，以使新的加工预定轨迹31b在图像帧f7内重叠于工件w1的方式显示于显示器15。由此，对进行重叠位置校正之前使用的加工预定轨迹31进行校正，在应重叠于工件w1的位置重叠新的加工预定轨迹31b。并且，重叠显示部14能够使图像帧f7显示于显示器15。
激光加工机2(具体而言，加工控制部2b)能够按照新的加工预定轨迹31b进行加工，并且，用户能够确认在显示器15显示的新的加工预定轨迹31b。因此，用户能够一边观察在显示器15显示的新的加工预定轨迹31b一边对激光加工机2的动作进行监视和控制。
如以上说明所述，根据本实施方式，使用加工预定轨迹31和加工轨迹33，对应重叠于工件w1的加工预定轨迹的位置进行校正，因此，不需要在每次进行加工时进行使用了棋盘格模式等的校正，能够通过简易的方法进行重叠位置校正。
并且，根据本实施方式，不是圆形等局部特征量，而使用加工轨迹33以及已加工区域33b等的形状特征量进行重叠位置校正，因此，即使是不易检测的加工轨迹33以及已加工区域33b，也能够高精度地进行加工预定轨迹(具体而言，在步骤S7中使用的加工预定轨迹31a)和加工轨迹33的偏移的判定(步骤S7)，能够提高重叠位置校正的精度。
图17是表示重叠位置校正装置1的具体的硬件结构的一个例子的框图。
在上述实施方式中说明的图像取得部12、投影变换部13、重叠显示部14、差分图像生成部16、加工预定图像生成部17、偏移判定部18、分割区域生成部19、类似形状检索部20、代表点提取部21以及投影矩阵计算部22的功能能够通过CPU(Central Processing Unit)等处理器1a实现。在上述实施方式中说明的分割区域34、特定区域35以及重心坐标等各种数据能够储存于存储器1b。图1所示的存储装置3也可以是重叠位置校正装置1内的存储器1b。在该情况下，加工预定轨迹31、投影矩阵32等数据储存于存储器1b。网络接口1c与激光加工机2以及存储装置3能够通信地连接。照相机1f与图1所示的照相机11对应，显示器1e与图1所示的显示器15对应。照相机1f经由显示器接口1d与显示器1e连接，照相机图像显示于显示器1e。
标号的说明
1重叠位置校正装置，1a处理器，1b存储器，1c网络接口，1d显示器接口，1e显示器，1f照相机，2激光加工机，2a加工头，2b加工控制部，3存储装置，11照相机，12图像取得部，13投影变换部，14重叠显示部，15显示器，16差分图像生成部，17加工预定图像生成部，18偏移判定部，19分割区域生成部，20类似形状检索部，21代表点提取部，22投影矩阵计算部，31、31a、31b加工预定轨迹，32投影矩阵，33加工轨迹，33a加工预定区域，33b已加工区域，f1图像帧(第1图像帧)，f2图像帧(第2图像帧)，f3、f4差分图像，w1、w2工件。

Claims (10)

1.一种重叠位置校正装置，其特征在于，具备：
图像取得部，其取得包含加工对象即工件的图像在内的第1图像帧和包含加工后的所述工件的图像在内的第2图像帧；
差分图像生成部，其从所述图像取得部取得所述第1图像帧以及所述第2图像帧，生成包含所述第1图像帧和所述第2图像帧的差分即已加工区域在内的图像即差分图像；
加工预定图像生成部，其基于与所述工件重叠的预定的加工预定轨迹，生成加工预定图像；
分割区域生成部，其生成包含基于所述预定的加工预定轨迹而确定的所述工件的加工预定区域在内的至少1个分割区域；
类似形状检索部，其从所述差分图像中检索与所述分割区域类似的区域，取得与所述分割区域类似的区域作为特定区域；
代表点提取部，其提取所述分割区域中包含的所述加工预定区域的机械坐标系中的重心坐标、和所述特定区域中包含的所述已加工区域的图像坐标系中的重心坐标；
投影矩阵计算部，其使用所述机械坐标系中的重心坐标和所述图像坐标系中的重心坐标，计算用于进行所述机械坐标系和所述图像坐标系之间的投影变换的投影矩阵；以及
重叠显示部，其使用所述投影矩阵，将所述机械坐标系中的所述预定的加工预定轨迹变换为所述图像坐标系中的新的加工预定轨迹。
2.根据权利要求1所述的重叠位置校正装置，其特征在于，
还具备偏移判定部，该偏移判定部将所述加工预定图像和所述差分图像进行比较，判定所述加工预定图像是否与所述差分图像发生偏移。
3.根据权利要求2所述的重叠位置校正装置，其中，
所述偏移判定部针对每个相同的坐标，比较所述加工预定图像中的各像素的像素值和所述差分图像中的各像素的像素值，判定所述加工预定图像是否与所述差分图像发生偏移。
4.根据权利要求3所述的重叠位置校正装置，其特征在于，
在所述偏移判定部判定为所述加工预定图像与所述差分图像发生偏移时，所述分割区域生成部生成所述至少1个分割区域。
5.根据权利要求4所述的重叠位置校正装置，其特征在于，
所述至少1个分割区域包含4个分割区域。
6.根据权利要求1至5中任一项所述的重叠位置校正装置，其特征在于，
所述类似形状检索部计算所述分割区域内的图像的Hu矩不变量，取得所述差分图像内的区域作为所述特定区域，该差分图像内的区域是与所述分割区域具有相同尺寸的区域并且具有与所述Hu矩不变量最接近的Hu矩不变量。
7.根据权利要求1至5中任一项所述的重叠位置校正装置，其特征在于，
所述代表点提取部计算所述加工预定区域内的所述机械坐标系中的全部坐标即机械坐标的平均，由此，提取所述机械坐标系中的重心坐标，计算所述已加工区域内的所述图像坐标系中的全部坐标即图像坐标的平均，由此，提取所述图像坐标系中的重心坐标。
8.根据权利要求1至5中任一项所述的重叠位置校正装置，其特征在于，
还具备显示器，
所述重叠显示部以使所述新的加工预定轨迹在所述第1图像帧内重叠于所述工件的方式显示于所述显示器。
9.根据权利要求1至5中任一项所述的重叠位置校正装置，其特征在于，
还具备照相机，该照相机对所述工件进行拍摄。
10.一种重叠位置校正方法，其特征在于，具备以下步骤：
取得包含加工对象即工件的图像在内的第1图像帧和包含加工后的所述工件的图像在内的第2图像帧；
取得所述第1图像帧以及所述第2图像帧，生成包含所述第1图像帧和所述第2图像帧的差分即已加工区域在内的图像即差分图像；
基于与所述工件重叠的预定的加工预定轨迹，生成加工预定图像；
生成包含基于所述预定的加工预定轨迹而确定的所述工件的加工预定区域在内的至少1个分割区域；
从所述差分图像中检索与所述分割区域类似的区域，取得与所述分割区域类似的区域作为特定区域；
提取所述分割区域中包含的所述加工预定区域的机械坐标系中的重心坐标；
提取所述特定区域中包含的所述已加工区域的图像坐标系中的重心坐标；
使用所述机械坐标系中的重心坐标和所述图像坐标系中的重心坐标，计算用于进行所述机械坐标系和所述图像坐标系之间的投影变换的投影矩阵；以及
使用所述投影矩阵，将所述机械坐标系中的所述预定的加工预定轨迹变换为所述图像坐标系中的新的加工预定轨迹。
CN201780087179.0A 2017-03-02 2017-03-02 重叠位置校正装置及重叠位置校正方法 Active CN110325318B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/008240 WO2018158903A1 (ja) 2017-03-02 2017-03-02 重畳位置補正装置及び重畳位置補正方法

Publications (2)

Publication Number Publication Date
CN110325318A CN110325318A (zh) 2019-10-11
CN110325318B true CN110325318B (zh) 2021-03-02

Family

ID=63369833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780087179.0A Active CN110325318B (zh) 2017-03-02 2017-03-02 重叠位置校正装置及重叠位置校正方法

Country Status (5)

Country Link
US (1) US11049268B2 (zh)
JP (1) JP6559377B2 (zh)
CN (1) CN110325318B (zh)
DE (1) DE112017006976B4 (zh)
WO (1) WO2018158903A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018096661A1 (ja) * 2016-11-25 2018-05-31 日本電気株式会社 画像生成装置、顔照合装置、画像生成方法、およびプログラムを記憶した記憶媒体
CN110834155A (zh) * 2019-12-23 2020-02-25 雷科股份有限公司 Aoi应用在激光蚀薄铜线圈的方法及其设备
CN111922437B (zh) * 2020-08-11 2022-02-15 上海柏楚电子科技股份有限公司 板材排样的检测方法、装置、***、电子设备及存储介质
CN113971661A (zh) * 2021-10-26 2022-01-25 深圳市创客工场科技有限公司 加工控制方法、装置及设备
CN114211168A (zh) * 2022-02-21 2022-03-22 江苏天健智能装备制造有限公司 一种基于图像相减的平面焊缝轨迹纠偏的方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5172326A (en) 1990-03-19 1992-12-15 Forcam, Incorporated Patterned web cutting method and system for operation manipulation of displayed nested templates relative to a displayed image of a patterned web
GB9216643D0 (en) 1992-08-05 1992-09-16 Univ Loughborough Automatic operations on materials
JP2002160080A (ja) * 2000-11-28 2002-06-04 Hitachi Via Mechanics Ltd レーザ加工方法および加工装置
JP2002239877A (ja) * 2001-02-14 2002-08-28 Matsushita Electric Ind Co Ltd 穴加工位置補正方法、穴加工位置補正装置、およびレーザ加工装置
JP4571763B2 (ja) * 2001-07-18 2010-10-27 株式会社新川 画像処理装置、およびボンディング装置
JP4088232B2 (ja) * 2003-10-07 2008-05-21 株式会社新川 ボンディング方法、ボンディング装置及びボンディングプログラム
JP4749092B2 (ja) * 2005-02-28 2011-08-17 パナソニック電工Ｓｕｎｘ株式会社 レーザ加工方法、並びにレーザ加工装置
DE102007016056B4 (de) 2007-04-03 2011-08-25 Sauer GmbH LASERTEC, 87437 Verfahren und Vorrichtung zur Werkstückeinmessung und Werkstückbearbeitung
JP4636064B2 (ja) * 2007-09-18 2011-02-23 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP5263877B2 (ja) 2008-10-22 2013-08-14 アイセル株式会社 混合装置及び混合システム
JP5288987B2 (ja) * 2008-10-21 2013-09-11 三菱電機株式会社 レーザ加工装置
JP5620890B2 (ja) * 2011-08-15 2014-11-05 小池酸素工業株式会社 切断方法及び切断装置
JP5626911B2 (ja) * 2011-11-30 2014-11-19 トリニティ工業株式会社 車両内装部品用のレーザー加飾装置及び方法
JP5338890B2 (ja) 2011-12-15 2013-11-13 Ｊｆｅスチール株式会社 レーザ溶接の溶接位置検出装置および溶接位置検出方法
JP5947869B2 (ja) 2014-05-09 2016-07-06 株式会社アマダホールディングス 複合加工システム、複合加工機、及び加工原点補正方法

Also Published As

Publication number Publication date
DE112017006976T5 (de) 2019-10-10
US11049268B2 (en) 2021-06-29
JP6559377B2 (ja) 2019-08-14
JPWO2018158903A1 (ja) 2019-07-11
CN110325318A (zh) 2019-10-11
DE112017006976B4 (de) 2023-06-01
WO2018158903A1 (ja) 2018-09-07
US20190385318A1 (en) 2019-12-19

Similar Documents

Publication Publication Date Title
CN110325318B (zh) 重叠位置校正装置及重叠位置校正方法
US11227144B2 (en) Image processing device and method for detecting image of object to be detected from input data
US7336814B2 (en) Method and apparatus for machine-vision
US10430650B2 (en) Image processing system
JP2006010376A (ja) ステレオ画像の関連付け方法及び３次元データ作成装置
JP2012254518A (ja) ロボット制御システム、ロボットシステム及びプログラム
JP6912215B2 (ja) 対象物の姿勢等を検出する検出方法、検出プログラム
CN107680125B (zh) 在视觉***中自动选择三维对准算法的***和方法
KR101510206B1 (ko) 항공 하이퍼스펙트럴 영상을 이용한 수치지도 수정 도화용 도시변화지역의 탐지 방법
EP3300025B1 (en) Image processing device and image processing method
JP2020047049A (ja) 画像処理装置及び画像処理方法
JP7311285B2 (ja) 航空機の自動塗装品質検査
US11710253B2 (en) Position and attitude estimation device, position and attitude estimation method, and storage medium
JP2018176185A (ja) 変形加工支援システムおよび変形加工支援方法
CN111199533B (zh) 图像处理装置
JP2020126383A (ja) 動体検出装置、動体検出方法、動体検出プログラム
US11989928B2 (en) Image processing system
US9305235B1 (en) System and method for identifying and locating instances of a shape under large variations in linear degrees of freedom and/or stroke widths
JP2006113832A (ja) ステレオ画像処理装置およびプログラム
JP6188601B2 (ja) 変化検出装置、方法及びプログラム
US20220230459A1 (en) Object recognition device and object recognition method
JP6760656B2 (ja) 物体識別方法
KR20170001448A (ko) 스테레오 카메라를 이용한 카메라 위치 측정 장치 및 방법
WO2018096669A1 (ja) レーザ加工装置、レーザ加工方法、及びレーザ加工プログラム
JP2013254300A (ja) 画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant