CN105190705A - 工件加工作业支持***及工件加工方法 - Google Patents

工件加工作业支持***及工件加工方法 Download PDF

Info

Publication number
CN105190705A
CN105190705A CN201480023202.6A CN201480023202A CN105190705A CN 105190705 A CN105190705 A CN 105190705A CN 201480023202 A CN201480023202 A CN 201480023202A CN 105190705 A CN105190705 A CN 105190705A
Authority
CN
China
Prior art keywords
workpiece
processing
operator
imaginary drawing
work pieces
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480023202.6A
Other languages
English (en)
Other versions
CN105190705B (zh
Inventor
志子田繁一
中村直弘
中野信一
赤松政彦
米本臣吾
渡海大辅
河本孝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kawasaki Motors Ltd
Original Assignee
Kawasaki Jukogyo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kawasaki Jukogyo KK filed Critical Kawasaki Jukogyo KK
Publication of CN105190705A publication Critical patent/CN105190705A/zh
Application granted granted Critical
Publication of CN105190705B publication Critical patent/CN105190705B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)

Abstract

本***包括：摄像机构，在作业者的视点位置对作业者的视线方向的作业空间与工件一起拍摄；位置姿势信息取得机构，取得表示作业者的视点及作业空间中的工件的相对性的位置姿势关系的位置姿势信息；假想图像产生机构，基于位置姿势信息而产生表示作业者的视点位置与作业者的视线方向的工件的完成形状的三维的假想图像；图像合成机构，使假想图像重叠在作业空间的现实图像而产生合成图像；及显示机构，显示合成图像。根据本***，能够利用复合现实感技术而使工件的加工作业的效率大幅地提高。

Description

工件加工作业支持***及工件加工方法
技术领域
本发明涉及一种用来使用复合现实感技术支持工件的加工作业的工件加工作业支持***及使用该***的工件加工方法。
背景技术
以往，在为了制造LNG(liquefiednaturalgas，液化天然气)罐等大型构造物而将平板状的工件通过压制成形加工而成形为所期望的曲面形状时，例如，将利用压制机成形的工件从压制机取出，且将预先准备的树型量规抵接于工件而进行工件的形状检查。
而且，在利用树型量规的形状检查的结果判断为需要工件的进一步的成形加工的情况下，将工件返回至压制机进而实施压制加工。
如此在以往的压制成形加工中，为了成形后的工件的形状检查而必须预先准备树型量规。尤其，在如LNG罐般必须将工件成形为复杂的形状的情况下，无法利用1种树型量规进行形状检查，而必须预先准备多种树型量规。
另外，在利用树型量规进行工件的形状检查时，在将工件从压制机暂时取出并抵接树型量规的情况下，存在作业时间变长而作业效率降低的问题。
而且，由于必须相对于工件的曲面抵接树型量规的曲面而进行形状检查，所以也存在难以判定合格与否的问题。
进而，在工件较大的情况下，本来将树型量规抵接于工件本身未必容易。
另外，当在抵接树型量规时拾取到工件的局部性的变形的情况下，有时尽管实际上进入容许范围但也会误判断为不合格。
然而，近年来，将假想空间的图像重叠在任意视点上的现实空间的图像，并将由此获得的合成图像提示给观察者的复合现实感(MR：MixedReality)技术，作为使现实世界与假想世界无缝地实时地融合的图像技术受到关注(专利文献1-4)。
[现有技术文献]
[专利文献]
专利文献1：日本专利特开2003-303356号公报
专利文献2：日本专利特开2005-107968号公报
专利文献3：日本专利特开2005-293141号公报
专利文献4：日本专利特开2008-293209号公报
发明内容
[发明要解决的问题]
因此，本发明的目的在于提供一种能够利用复合现实感技术解决工件的加工作业中的所述问题，实现作业效率的大幅的提高的工件加工作业支持***及使用该***的工件加工方法。
[解决问题的技术手段]
为了解决所述问题，本发明的特征在于，其是一种工件加工作业支持***，用来支持工件的加工作业，且包括：摄像机构，用来在作业者的视点位置对作业者的视线方向上的作业空间与所述工件一起拍摄；位置姿势信息取得机构，用来取得表示所述作业者的视点与所述作业空间中的所述工件的相对性的位置姿势关系的位置姿势信息；假想图像产生机构，用来基于所述位置姿势信息而产生表示所述视点位置及作业者的视线方向上的所述工件的完成形状的三维的假想图像；图像合成机构，用来使所述假想图像重叠在通过所述摄像机构拍摄的所述作业空间的现实图像而产生合成图像；及显示机构，用来显示所述合成图像。
另外，优选为，所述位置姿势信息取得机构具有复合现实感用标记，该复合现实感用标记暂定地设置在相对于所述工件上的基准点的特定的相对位置。
另外，优选为，所述位置姿势信息取得机构具有复合现实感用标记，该复合现实感用标记设置在相对于所述工件上的基准点的相对位置不随着所述加工作业而实质上变化的部位。
另外，优选为，所述复合现实感用标记设置在保持加工中的所述工件的保持构件。
另外，优选为，所述位置姿势信息取得机构具有位置方向测量装置，该位置方向测量装置用来测量所述作业者的视点位置及作业者的视线方向、以及所述工件的位置。
另外，优选为，表示所述完成形状的所述假想图像是包含所述加工作业中的容许加工误差而产生。
另外，优选为，本发明的工件加工作业支持***还包括误差判定机构，该误差判定机构用来在所述显示部中显示所述工件的所述现实图像与表示所述完成形状的所述假想图像的不一致部位。
另外，优选为，本发明的工件加工作业支持***还包括假想图像位置调整机构，该假想图像位置调整机构用来以所述工件的所述现实图像与表示所述完成形状的所述假想图像的不一致率成为最小的方式，使所述假想图像相对于所述现实图像移动。
另外，优选为，所述加工作业包含相对于所述工件的压制成形加工。
为了解决所述问题，本发明是一种工件加工方法，使用用来支持工件的加工作业的工件加工作业支持***，且包括：加工步骤，利用加工装置来加工所述工件；摄像步骤，在所述加工步骤的中途，在作业者的视点位置对作业者的视线方向上的作业空间与所述工件一起拍摄；位置姿势信息取得步骤，取得表示所述作业者的视点与所述作业空间中的所述工件的相对性的位置姿势关系的位置姿势信息；假想图像产生步骤，基于所述位置姿势信息而产生表示所述视点位置及作业者的视线方向上的所述工件的完成形状的三维的假想图像；图像合成步骤，使所述假想图像重叠在通过所述摄像机构拍摄的所述作业空间的现实图像而产生合成图像；及显示步骤，显示所述合成图像。
另外，优选为，所述位置姿势信息取得步骤包含标记设置步骤，该标记设置步骤将复合现实感用标记暂定地设置在相对于所述工件上的基准点的特定的相对位置。
另外，优选为，于在所述加工步骤中推进所述工件的加工并直至某程度为止能够加工所述工件的阶段，在所述标记设置步骤中，将所述复合现实感用标记暂定地设置在加工中途的所述工件的特定的位置，基于所述显示步骤中显示出的所述合成图像，若存在所述工件的所述现实图像相对于表示所述工件的完成形状的所述三维的假想图像而突出的部位，则将该部位判断为要修正部位。
另外，优选为，将多个所述复合现实感用标记贴附在所述工件的表面。
另外，优选为，所述加工装置为压制机，所述加工步骤包含对于所述工件的压制成形加工。
[发明效果]
根据本发明的工件加工作业支持***及使用该***的工件加工作业，由于通过利用复合现实感技术而不需要利用以往的树型量规的形状检查，所以能够大幅提高工件加工的作业效率。
附图说明
图1是表示本发明的一实施方式的工件加工作业支持***的概略构成的框图。
图2是表示图1所示的工件加工作业支持***的概略构成的示意图。
图3是将图1所示的工件加工作业支持***的标记构件放大而表示的立体图。
图4是表示作为图1所示的工件加工作业支持***的支持对象的一例的压制加工的情况的示意图。
图5是表示使用图1所示的工件加工作业支持***由作业者确认工件的成形情况的情况的示意图。
图6是用来说明图1所示的工件加工作业支持***的使用态样的图，(a)表示工件的现实图像从完成形状的假想图像突出的状态，(b)表示工件的现实图像包含在完成形状的假想图像中的状态。
图7是用来说明图1所示的工件加工作业支持***的一变形例的示意图。
图8是用来说明图1所示的工件加工作业支持***的另一变形例的框图。
图9是表示图1所示的工件加工作业支持***的又一变形例的概略构成的框图。
图10是表示图1所示的工件加工作业支持***的又一变形例的概略构成的示意图。
图11是表示图1所示的工件加工作业支持***的又一变形例的概略构成的示意图。
具体实施方式
以下，对本发明的一实施方式的工件加工作业支持***进行说明。此外，成为本***的支持的对象的工件加工作业典型而言为压制成形加工，但除了压制成形加工以外，还能够支持随着加工而工件的形状变化的各种加工作业。
本实施方式的工件加工作业支持***使用复合现实感技术，所以首先对复合现实感技术进行概述。
如上所述，所谓复合现实感技术是指使假想空间的图像重叠在任意视点上的现实空间的图像，并将由此获得的合成图像提示给观察者而使现实世界与假想世界无缝地实时地融合的影像技术。
也就是说，该复合现实感技术将通过将现实空间图像与根据观察者的视点位置、视线方向而产生的假想空间图像合成所得的合成图像提供给观察者。而且，能够使观察者以实际尺寸感知假想物体的比例，感知假想物体真正存在于现实世界。
根据该复合现实感技术，并非利用鼠标或键盘来操作计算机图形(CG)，而观察者能够实际移动并从任意的位置或角度观察。也就是说，能够利用图像位置对准技术将CG放置在指定的场所，使用例如透明型的头戴式显示器(HMD：HeadMountDisplay)，从各种角度观察该CG。
为了表达复合现实感空间(MR空间)，必须取得在现实空间中定义的基准坐标系，即成为决定想要重叠在现实空间的假想物体的位置姿势的基准的现实空间中的坐标系与摄像部的坐标系(照相机坐标系)之间的相对性的位置姿势关系。
作为用于此的适当的图像位置对准技术，例如，可列举利用磁传感器、光学式传感器、或超音波传感器的技术，或利用标记、陀螺仪的技术等。
此处，所谓标记(也称为“地标”)是指用于图像的位置对准而使用的指标，且是能够通过利用安装在HMD的照相机(摄像装置)拍摄配置在现实空间内的标记，而利用图像处理来推断照相机的位置姿势。
也就是说，在现实空间中的已知的三维坐标配置具有特定的视觉特征的标记，检测现实图像中所包含的标记，并根据已经检测出的标记的构成要素(标记的中心或顶点等)的二维图像位置与已知的三维坐标而计算出照相机(摄像装置)的位置姿势。
本实施方式的工件加工作业支持***利用所述复合现实感技术，以下参照图1及图2对本***的构成进行说明。
如图1及图2所示，本实施方式的工件加工作业支持***1包括***主体2、在与该***主体2之间进行数据通讯的头戴式显示器(HMD)3、及标记构件8。
工件加工作业支持***1的***主体2由包括CPU(CentralProcessingUnit，中央处理器)、RAM(RandomAccessMemory，随机存取存储器)、ROM(ReadOnlyMemory，只读存储器)、外部存储装置、存储媒体驱动装置、显示装置、输入元件等的计算机而构成。
如图2所示，HMD3安装在作业者4的头部，包括摄像部5及显示部6。摄像部5及显示部6分别设置有2个，摄像部5R及显示部6R为右眼用，摄像部5L及显示部6L为左眼用。根据该构成，能够对将HMD3安装在头部的作业者4的右眼与左眼提示视差图像，并能够三维显示MR图像(合成图像)。
HMD3的摄像部5对设置在工件7上的MR用标记构件8与设置在压制机(加工装置)的工件7一起拍摄(摄像步骤)。标记构件8设置在相对于工件7上的基准点的特定的相对位置，在压制作业的中途，暂定地设置在工件7上(标记设置步骤)。
如图3所示，本实施方式的标记构件8包括：三角形的框部9；各支撑部10，设置在三角形的框构件9的各顶点的下表面；及各复合现实感用标记11，设置在三角形的框构件9的各顶点的上表面。
如图1所示，通过HMD3的摄像部5取得的现实空间的现实图像被输入至***主体2的现实图像取得部12。该现实图像取得部12将所输入的现实图像的数据输出至***主体2的存储部13。
存储部13保持用于MR图像(合成图像)的提示处理所需要的信息，根据处理而进行信息的读出或更新。
另外，***主体2具备标记检测部14，该标记检测部14用来从存储部10保持的现实图像中，检测设置在标记构件8的标记11。
而且，配置在作为现实物体的工件7上的标记构件8的标记11的检测结果从标记检测部14经由存储部13被发送至摄像部位置姿势推断部15。该摄像部位置姿势推断部15基于标记11的检测结果，而推断将工件7本身的物体坐标系作为基准坐标系的HMD3的摄像部5的位置姿势(位置姿势信息取得步骤)。
此处，标记构件8、标记检测部14、及摄像部位置姿势推断部15构成工件加工作业支持***1中的位置姿势信息取得机构。
通过摄像部位置姿势推断部15推断的HMD3的摄像部5的位置姿势被发送至假想图像产生部16。假想图像产生部16基于从摄像部位置姿势推断部15发送的摄像部5的位置姿势，即作业者4的视点位置及作业者的视线方向，而产生从摄像部5的位置姿势观察的假想物体的三维的假想图像(假想图像产生步骤)。
此处，在工件加工作业支持***1中，在该假想图像产生部16中，产生与通过特定的压制加工处理而加工工件7之后的完成形状(目标形状)相关的假想图像。将该完成形状的三维假想图像使厚度具有容许加工误差的量而显示。
与在假想图像产生部16中产生的工件7的完成形状相关的假想图像被发送至***主体2的图像合成部17。图像合成部17使从假想图像产生部16发送的假想图像重叠在存储部13所保持的工件的现实图像，而产生MR图像(合成图像)(图像合成步骤)。
利用图像合成部17产生的MR图像(合成图像)被输出至HMD3的显示部6(显示步骤)。由此，在HMD3的显示部6显示与HMD3的摄像部5的位置姿势对应的现实空间的图像与假想空间的图像重叠的MR图像，从而能够使将该HMD3安装在头部的作业者4体验复合现实空间。
如图4所示，本实施方式的工件加工作业支持***1适合于通过压制加工(加工步骤)将平板状的工件7加工为特定的曲面形状时的支持。
也就是说，以往在利用树型量规进行压制成形情况的确认之后通过使用该工件加工作业支持***1，而如图5所示，作业者4能够以重叠在工件7的现实图像7R的完成形状(目标形状)的假想图像7V为检查基准。
作业者4一面进行工件7的压制加工，一面适当地确认在HMD3的显示部6显示出的加工中途的工件7的现实图像7R是否收敛在同样在HMD3的显示部6显示出的完成形状的三维假想图像7V中。
也就是说，在推进工件7的压制加工并直至某程度为止能够成形工件7的阶段暂时停止压制机，在加工中途的工件7的特定的位置配置标记构件8，而确认在HMD3的显示部6显示出的三维MR图像7R、7V。然后，若存在工件7的现实图像7R相对于完成形状的假想图像7V而突出的部位，则将该部位判断为要修正部位。
此处，标记构件8与以往的树型量规相比极其小型，所以无须为了将标记构件8设置在工件7上，而特意利用起重机等使工件7从压制机移动。
最终，若工件7的现实图像7R的整体收敛在完成形状的假想图像7V中，则作业者4判断所期望的成形结束。
此处，尽管工件7已经成形为所期望的完成形状，但由于完成形状的假想图像7V整体上相对于工件7的现实图像7R而偏移，因此也有时会如图6(a)所示，工件7的现实图像7R的一部分从完成形状的假想图像7V突出。
考虑此种情况，作业者4尝试使标记构件8的设置位置在工件7上稍微移动来观察在HMD3的显示部6显示出的完成形状的假想图像7V能否包含工件7的现实图像7R的整体。
而且，在完成形状的假想图像7V能够包含工件7的现实图像7R的整体的情况下，判断为工件7成形为所期望的完成形状。
如以上所述，根据本实施方式的工件加工作业支持***1，并非如以往般使用树型量规，而且无须使加工中途的工件7从压制机移动，能够利用现场的模拟性的目视检查来确认工件7的成形情况。因此，能够大幅提高工件7的压制加工的作业效率。
另外，由于能够经由HMD3从各种角度确认加工中途的工件7的形状，所以也不会如以往的树型量规般拾取到局部性的变形而产生检查错误。
其次，参照图7，对所述实施方式的一变形例进行说明。
在所述实施方式中，如图2所示，将作为位置姿势信息取得机构的标记构件8暂定地设置在工件7上的特定位置。
相对于此，在本变形例中，将作为位置姿势信息取得机构的复合现实感用标记设置在相对于工件7上的基准点的相对位置不随着加工作业而实质上变化的部位。
具体而言，如图7所示，在工件7的额外裕量部分安装利用起重机等悬吊的保持构件18，复合现实感用标记11设置在该保持构件18。
在本变形例中，也能够通过利用HMD3的摄像部5对复合现实感用标记11与工件7一起拍摄，而取得表示作业者4的视点与作业空间中的工件7的相对性的位置姿势关系的位置姿势信息。
其次，参照图8对所述实施方式的另一变形例进行说明。
如图8所示，本变形例的工件加工作业支持***还具备误差判定部20，该误差判定部20用来利用图案匹配而检测工件7的现实图像7R与完成形状的假想图像7V的不一致部位，并将表示该不一致的程度的信息一起显示在HMD3的显示部6中。
具体而言，在HMD3的显示部6中，将工件7的现实图像7R与完成形状的假想图像7V的不一致部位区别正的公差与负的公差而以不同颜色显示。由此，作业者4能够容易地辨识工件形状从目标形状的偏移。
其次，参照图9对所述实施方式的另一变形例进行说明。
本变形例的工件加工作业支持***还具备假想图像位置调整部21，该假想图像位置调整部21用来以工件7的现实图像7R与完成形状的假想图像7V的不一致率成为最小的方式，使假想图像7V相对于现实图像7R移动。
具体而言，假想图像位置调整部21以工件7的现实图像7R与完成形状的假想图像7V利用图案匹配而一致率成为最大的方式，调节假想图像7V相对于现实图像7R的位置。
此外，在进行图案匹配时，也可于在压制加工上重视的场所与轻视的场所赋予权重。例如，重视如工件中央部般对其他部位的变形的影响较大的场所，且轻视如工件周缘部般对其他部位的变形的影响较小的部位。
作业者4能够通过确认利用假想图像位置调整部21调整之后的假想图像7V与工件7的现实图像7R的重叠图像，而准确地辨识工件形状与完成形状的偏移。
其次，参照图11对所述实施方式的另一变形例进行说明。
如图11所示，在本变形例中，在工件7的整个表面贴附标记11。各标记11的中心的法向向量23为已知。因此，通过使在整个表面贴附有标记11的工件7显示在HMD3，而作业者4能够确认从工件7的现实图像7R的表面延伸的多个法向向量。
而且，当使工件7的完成形状的假想图像(CAD(computeraideddesign，计算机辅助设计)数据)7L重合在被显示在HMD3的工件的现实图像7R时，从工件7的现实图像7R的表面延伸的法向向量23根据工件7的压制的程度而向该工件7的假想图像7L中的埋没状态变化。
也就是说，在压制的程度过大的情况下(过度按压的状态)，法向向量23(的一部分)埋没在工件7的假想图像7L中。相反，在压制的程度过少的情况下(按压不足的状态)，法向向量23从工件7的假想图像7L的表面离开。
相对于此，在压制的程度刚刚好的情况下，法向向量23不埋没在工件7的假想图像7L中，另外不从假想图像7L的表面离开，法向向量23的基端部正好位于工件7的假想图像7L的表面。
因此，作业者4通过确认法向向量23向工件7的假想图像7L中的埋没情况，或者法向向量23从假想图像7L离开的程度，而能够直观地把握工件7中的应压制的部位及应压制的位移量。
此外，在所述实施方式及实施方式的变形例中，由标记构件8、标记检测部14、及摄像部位置姿势推断部15而构成工件加工作业支持***1中的位置姿势信息取得机构，但也可代替此，或与此组合，如图10所示，设置用来测量作业者4的视点位置及作业者的视线方向、以及工件7的位置的位置方向测量装置22。作为此种位置方向测量装置22，例如，能够使用超音波传感器或磁式、光学式位置测量传感器。
另外，也可代替如上所述的另行准备的复合现实感用标记11，而将工件7本身的一部分(例如，作为几何学上特征点的角部)用作位置对准用的基准点(一种标记)。
[符号的说明]
1工件加工作业支持***
2***主体
3头戴式显示器(HMD)
4作业者
5、5R、5LHMD的摄像部
6、6R、6LHMD的显示部
7工件
7R工件的现实图像
7L工件的完成形状的假想图像
8标记构件
9标记构件的框构件
10标记构件的支撑部
11标记
12现实图像取得部
13存储部
14标记检测部
15摄像部位置姿势推断部
16假想图像产生部
17图像合成部
18保持构件
20误差判定部
21假想图像位置调整部
22位置方向测量装置
23标记的法向向量

Claims (14)

1.一种工件加工作业支持***，用来支持工件的加工作业，且包括：
摄像机构，用来在作业者的视点位置对作业者的视线方向上的作业空间与所述工件一起拍摄；
位置姿势信息取得机构，用来取得表示所述作业者的视点与所述作业空间中的所述工件的相对性的位置姿势关系的位置姿势信息；
假想图像产生机构，用来基于所述位置姿势信息而产生表示所述视点位置及作业者的视线方向上的所述工件的完成形状的三维的假想图像；
图像合成机构，用来使所述假想图像重叠在通过所述摄像机构拍摄的所述作业空间的现实图像而产生合成图像；及
显示机构，用来显示所述合成图像。
2.根据权利要求1所述的工件加工作业支持***，其中所述位置姿势信息取得机构具有复合现实感用标记，该复合现实感用标记暂定地设置在相对于所述工件上的基准点的特定的相对位置。
3.根据权利要求1或2所述的工件加工作业支持***，其中所述位置姿势信息取得机构具有复合现实感用标记，该复合现实感用标记设置在相对于所述工件上的基准点的相对位置不随着所述加工作业而实质上变化的部位。
4.根据权利要求3所述的工件加工作业支持***，其中所述复合现实感用标记设置在保持加工中的所述工件的保持构件。
5.根据权利要求1至4中任一项所述的工件加工作业支持***，其中所述位置姿势信息取得机构具有位置方向测量装置，该位置方向测量装置用来测量所述作业者的视点位置及作业者的视线方向、以及所述工件的位置。
6.根据权利要求1至5中任一项所述的工件加工作业支持***，其中表示所述完成形状的所述假想图像是包含所述加工作业中的容许加工误差而产生。
7.根据权利要求1至6中任一项所述的工件加工作业支持***，其还包括误差判定机构，该误差判定机构用来在所述显示部中显示所述工件的所述现实图像与表示所述完成形状的所述假想图像的不一致部位。
8.根据权利要求1至7中任一项所述的工件加工作业支持***，其还包括假想图像位置调整机构，该假想图像位置调整机构用来以所述工件的所述现实图像与表示所述完成形状的所述假想图像的不一致率成为最小的方式，使所述假想图像相对于所述现实图像移动。
9.根据权利要求1至8中任一项所述的工件加工作业支持***，其中所述加工作业包含对于所述工件的压制成形加工。
10.一种工件加工方法，使用用来支持工件的加工作业的工件加工作业支持***，且包括：
加工步骤，利用加工装置来加工所述工件；
摄像步骤，在所述加工步骤的中途，在作业者的视点位置对作业者的视线方向上的作业空间与所述工件一起拍摄；
位置姿势信息取得步骤，取得表示所述作业者的视点与所述作业空间中的所述工件的相对性的位置姿势关系的位置姿势信息；
假想图像产生步骤，基于所述位置姿势信息而产生表示所述视点位置及作业者的视线方向上的所述工件的完成形状的三维的假想图像；
图像合成步骤，使所述假想图像重叠在通过所述摄像机构拍摄的所述作业空间的现实图像而产生合成图像；及
显示步骤，显示所述合成图像。
11.根据权利要求10所述的工件加工方法，其中所述位置姿势信息取得步骤包含标记设置步骤，该标记设置步骤将复合现实感用标记暂定地设置在相对于所述工件上的基准点的特定的相对位置。
12.根据权利要求11所述的工件加工方法，其中于在所述加工步骤中推进所述工件的加工并直至某程度为止能够加工所述工件的阶段，在所述标记设置步骤中，将所述复合现实感用标记暂定地设置在加工中途的所述工件的特定的位置，基于所述显示步骤中显示出的所述合成图像，若存在所述工件的所述现实图像相对于表示所述工件的完成形状的所述三维的假想图像而突出的部位，则将该部位判断为要修正部位。
13.根据权利要求11或12所述的工件加工方法，其中将多个所述复合现实感用标记贴附在所述工件的表面。
14.根据权利要求10至13中任一项所述的工件加工方法，其中所述加工装置为压制机，所述加工步骤包含相对于所述工件的压制成形加工。
CN201480023202.6A 2013-04-24 2014-04-23 工件加工作业支持***及工件加工方法 Active CN105190705B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-091347 2013-04-24
JP2013091347 2013-04-24
PCT/JP2014/061404 WO2014175324A1 (ja) 2013-04-24 2014-04-23 ワーク加工作業支援システムおよびワーク加工方法

Publications (2)

Publication Number Publication Date
CN105190705A true CN105190705A (zh) 2015-12-23
CN105190705B CN105190705B (zh) 2019-05-10

Family

ID=51791894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480023202.6A Active CN105190705B (zh) 2013-04-24 2014-04-23 工件加工作业支持***及工件加工方法

Country Status (5)

Country Link
US (1) US10140767B2 (zh)
JP (1) JP6349307B2 (zh)
KR (1) KR101800949B1 (zh)
CN (1) CN105190705B (zh)
WO (1) WO2014175324A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105538035A (zh) * 2015-12-24 2016-05-04 广东省自动化研究所 一种金属零件精密加工设备及方法
CN108225566A (zh) * 2016-12-21 2018-06-29 发那科株式会社 图像显示装置
CN110956175A (zh) * 2018-09-27 2020-04-03 日本电产株式会社 加工机械用数据处理装置以及加工机械用数据管理***
CN115066313A (zh) * 2020-02-14 2022-09-16 山崎马扎克公司 用于加工装置的工件的安装方法、工件安装支援***及工件安装支援程序

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6138566B2 (ja) * 2013-04-24 2017-05-31 川崎重工業株式会社 部品取付作業支援システムおよび部品取付方法
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
ITUB20154128A1 (it) * 2015-10-02 2017-04-02 Univ Bologna Alma Mater Studiorum Dispositivo e metodo di monitoraggio per macchine prototipatrici e simili
DE102015119806A1 (de) * 2015-11-16 2017-05-18 Grob-Werke Gmbh & Co. Kg Verfahren zur Darstellung der Bearbeitung in einer Werkzeugmaschine
JP6532393B2 (ja) * 2015-12-02 2019-06-19 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置及び表示制御方法
JP6348149B2 (ja) 2016-07-08 2018-06-27 ファナック株式会社 ロボットを用いてレーザ加工を行うレーザ加工ロボットシステム
JP6866616B2 (ja) * 2016-11-17 2021-04-28 富士通株式会社 重畳画像生成プログラム、重畳画像生成方法、および情報処理装置
JP2018142109A (ja) * 2017-02-27 2018-09-13 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
JP7193913B2 (ja) * 2017-10-31 2022-12-21 株式会社日立製作所 検査作業管理システム及び検査作業管理方法
US11118733B2 (en) * 2017-12-13 2021-09-14 China National Offshore Oil Corp. Three-dimensional layoutlayout method for splicing vault plates of large LNG storage tank
US11332008B2 (en) * 2018-06-12 2022-05-17 Kubota Corporation Working machine
JP2020008903A (ja) * 2018-07-02 2020-01-16 株式会社ミツトヨ 測定データ観察装置、測定支援装置、及びプログラム
JP7307592B2 (ja) * 2019-05-24 2023-07-12 キヤノン株式会社 計測装置、撮像装置、制御方法及びプログラム
EP3754119B1 (en) * 2019-06-17 2023-08-09 Kubota Corporation Work vehicle with improved control valves controllers
BR112022014203A2 (pt) * 2020-01-23 2022-10-04 Clo Virtual Fashion Inc Método implementado por computador para determinar linhas de costura para peças de padrão de costura combinadas para formar uma peça de vestuário, meio de armazenamento e dispositivo de computação
CN112879401A (zh) * 2020-12-30 2021-06-01 富泰华精密电子(成都)有限公司 工件加工方法
JP7349651B1 (ja) 2022-10-25 2023-09-25 国立大学法人静岡大学 作業データ収集方法、作業教示方法、作業実行方法、システム、及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002006919A (ja) * 2000-06-20 2002-01-11 Nissan Motor Co Ltd 作業指示装置における位置検出方法および位置検出装置
US20020084974A1 (en) * 1997-09-01 2002-07-04 Toshikazu Ohshima Apparatus for presenting mixed reality shared among operators
US20040021664A1 (en) * 2002-07-31 2004-02-05 Canon Kabushiki Kaisha Information processing device and method
JP2009069954A (ja) * 2007-09-11 2009-04-02 National Institute Of Advanced Industrial & Technology 作業支援装置
CN101920233A (zh) * 2010-07-09 2010-12-22 广东工业大学 一种基于虚拟现实技术的喷涂工业机器人综合控制***及控制方法
US20130095924A1 (en) * 2011-09-30 2013-04-18 Kevin A. Geisner Enhancing a sport using an augmented reality display

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3450704B2 (ja) * 1997-09-01 2003-09-29 キヤノン株式会社 位置姿勢検出装置及び情報処理方法
JP3653196B2 (ja) * 1998-06-30 2005-05-25 飛島建設株式会社 仮想現実感を利用した施工支援情報システム。
US7286696B2 (en) * 2000-10-18 2007-10-23 Erickson Ronald R Method and apparatus for utilizing representational images in commercial and other activities
US20020133264A1 (en) * 2001-01-26 2002-09-19 New Jersey Institute Of Technology Virtual reality system for creation of design models and generation of numerically controlled machining trajectories
US6879874B2 (en) * 2001-09-03 2005-04-12 Siemens Aktiengesellschaft Evaluating excessive tolerances in NC parts programs
JP2003150219A (ja) * 2001-11-12 2003-05-23 Fanuc Ltd 作業機械のシミュレーション装置
JP2003303356A (ja) 2002-04-09 2003-10-24 Canon Inc 展示装置
JP4366165B2 (ja) 2003-09-30 2009-11-18 キヤノン株式会社 画像表示装置及び方法並びに記憶媒体
JP4356983B2 (ja) * 2004-02-10 2009-11-04 キヤノン株式会社 画像処理方法、画像処理装置
JP4537104B2 (ja) 2004-03-31 2010-09-01 キヤノン株式会社 マーカ検出方法、マーカ検出装置、位置姿勢推定方法、及び複合現実空間提示方法
DE102005009437A1 (de) * 2005-03-02 2006-09-07 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Einblenden von AR-Objekten
JP4909176B2 (ja) 2007-05-23 2012-04-04 キヤノン株式会社 複合現実感提示装置及びその制御方法、コンピュータプログラム
JP5384178B2 (ja) 2008-04-21 2014-01-08 株式会社森精機製作所 加工シミュレーション方法及び加工シミュレーション装置
US9221117B2 (en) * 2009-07-08 2015-12-29 Lincoln Global, Inc. System for characterizing manual welding operations
JP5594088B2 (ja) * 2010-11-22 2014-09-24 トヨタ自動車株式会社 製造ラインの検討システム
PL2590040T3 (pl) * 2011-11-04 2014-08-29 Nivora Ip B V Sposób i urządzenie do wspomagania w ręcznym manipulowaniu obrabianym przedmiotem podczas obróbki maszynowej
US9679414B2 (en) * 2013-03-01 2017-06-13 Apple Inc. Federated mobile device positioning
US9713852B2 (en) * 2013-03-15 2017-07-25 Illinois Tool Works Inc. Welding training systems and devices

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020084974A1 (en) * 1997-09-01 2002-07-04 Toshikazu Ohshima Apparatus for presenting mixed reality shared among operators
JP2002006919A (ja) * 2000-06-20 2002-01-11 Nissan Motor Co Ltd 作業指示装置における位置検出方法および位置検出装置
US20040021664A1 (en) * 2002-07-31 2004-02-05 Canon Kabushiki Kaisha Information processing device and method
JP2009069954A (ja) * 2007-09-11 2009-04-02 National Institute Of Advanced Industrial & Technology 作業支援装置
CN101920233A (zh) * 2010-07-09 2010-12-22 广东工业大学 一种基于虚拟现实技术的喷涂工业机器人综合控制***及控制方法
US20130095924A1 (en) * 2011-09-30 2013-04-18 Kevin A. Geisner Enhancing a sport using an augmented reality display

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SEYFOLAH SAEDODIN 等: "Thermal Analysis of Workpiece under Electrical Discharge Machining (EDM), Using Hyperbolic Heat Conduction Model", 《ADVANCED DESIGN AND MANUFACTURING TECHNOLOGY》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105538035A (zh) * 2015-12-24 2016-05-04 广东省自动化研究所 一种金属零件精密加工设备及方法
CN108225566A (zh) * 2016-12-21 2018-06-29 发那科株式会社 图像显示装置
CN110956175A (zh) * 2018-09-27 2020-04-03 日本电产株式会社 加工机械用数据处理装置以及加工机械用数据管理***
CN115066313A (zh) * 2020-02-14 2022-09-16 山崎马扎克公司 用于加工装置的工件的安装方法、工件安装支援***及工件安装支援程序

Also Published As

Publication number Publication date
CN105190705B (zh) 2019-05-10
KR20150139608A (ko) 2015-12-11
WO2014175324A1 (ja) 2014-10-30
US10140767B2 (en) 2018-11-27
JP6349307B2 (ja) 2018-06-27
US20160078681A1 (en) 2016-03-17
JPWO2014175324A1 (ja) 2017-02-23
KR101800949B1 (ko) 2017-11-23

Similar Documents

Publication Publication Date Title
CN105190705A (zh) 工件加工作业支持***及工件加工方法
CN105144249A (zh) 零件安装作业支持***及零件安装方法
CN105229705A (zh) 零件组装作业支持***及零件组装方法
EP1886281B1 (en) Image processing method and image processing apparatus
CN104908038B (zh) 对工件的取出工序进行仿真的机器人仿真装置
CN103630071B (zh) 检测工件的方法和***
JP2021524014A (ja) コンピュータによる検査システム及び方法
JP2010534013A (ja) リアルオブジェクトに対するカメラの位置および方向を把握する方法およびシステム
JP2010210458A (ja) ３次元視覚センサによる認識結果の表示方法および３次元視覚センサ
JP4834424B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP5586445B2 (ja) ロボット制御設定支援装置
JP2018022242A (ja) 複合システム及びターゲットマーカ
CN111854661A (zh) 可视化设备和存储介质
JP2017044496A (ja) 溶接検査方法
KR101792701B1 (ko) 도면 검사 장치 및 방법
JP2008040913A (ja) 情報処理方法、情報処理装置
CN106303501A (zh) 基于图像稀疏特征匹配的立体图像重构方法及装置
CN114465910B (zh) 一种基于增强现实技术的机械加工设备校准方法
JP2019065467A (ja) 杭位置検査装置及び杭位置検査方法
CN111372698A (zh) 作业辅助***及作业辅助方法
JP2021051031A (ja) 測定支援システム
JP2023100502A (ja) 検査システム、及び検査方法
JP2020184318A (ja) 可視化装置及びプログラム
JP2023173063A (ja) 溶接箇所の検査システム
JP2021103485A (ja) モデルフィッティング装置、モデルフィッティング方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant