CN115244576A - 图像处理装置、作业指示生成***、作业指示生成方法 - Google Patents

图像处理装置、作业指示生成***、作业指示生成方法 Download PDF

Info

Publication number
CN115244576A
CN115244576A CN202180019177.4A CN202180019177A CN115244576A CN 115244576 A CN115244576 A CN 115244576A CN 202180019177 A CN202180019177 A CN 202180019177A CN 115244576 A CN115244576 A CN 115244576A
Authority
CN
China
Prior art keywords
work
image
work object
instruction
detection unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180019177.4A
Other languages
English (en)
Inventor
鸿巢有史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN115244576A publication Critical patent/CN115244576A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Manufacturing & Machinery (AREA)
  • Operations Research (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Image Analysis (AREA)

Abstract

无需作业对象物的严格定位而能够从拍摄作业对象物得到的图像生成作业指示。图像处理装置(10)具备：作业对象物检测部(12)，其通过第一机器学习对以包含作业对象物的方式以第一视角拍摄到的第一图像进行解析，检测第一图像内的所述作业对象物的位置；作业状况检测部(13)，其通过第二机器学习对基于检测出的作业对象物的位置以包含作业对象物的方式以比第一视角窄的第二视角拍摄到的第二图像进行解析，检测作业对象物的作业状态；以及作业指示生成部(14)，其基于检测到的作业状态，生成用于表示针对作业对象物的作业指示内容的作业指示信息。

Description

图像处理装置、作业指示生成***、作业指示生成方法
技术领域
本发明涉及图像处理装置、作业指示生成***以及作业指示生成方法。
背景技术
以往，利用固定照相机对拍摄对象物进行观察来确认拍摄对象物的状态。例如，专利文献1记载了“一种空气处理装置，其特征是具备：壳体；构成部件，其以能够装卸的方式设置在所述壳体的主体；以及摄像装置，其取得所述壳体内部的预定的拍摄对象的图像数据，所述摄像装置以成为能够拍摄所述拍摄对象的位置的方式由所述构成部件支承。”(权利要求1)
现有技术文献
专利文献
专利文献1：日本特开2019-39656号公报
发明内容
发明所要解决的课题
然而，为了在人工作业的工序中解析照相机的图像来确认作业状况，或者根据作业状况生成作业指示，需要进行作业对象物的严格定位。然而，作业对象物的严格定位成为作业者的作业的阻碍，或者需要用于作业对象物定位的专用的固定器具等，成为导入使用照相机进行作业状况解析的***的障碍。另外，即使进行作业对象物的严格定位，也存在因作业对象物的个体差异(例如，印刷基板上的部件的安装位置的个体差异)而难以进行图像解析的情况。另外，根据作业对象物，也存在其外观无法固定的作业对象物(例如，作为作业对象物的工业用机器人的各轴的位置姿势)。
用于解决课题的手段
本公开的一个方式是一种图像处理装置，其具备：作业对象物检测部，其通过第一机器学习对以包含作业对象物的方式以第一视角拍摄到的第一图像进行解析，检测所述第一图像内的所述作业对象物的位置；作业状况检测部，其通过第二机器学习对基于检测出的所述作业对象物的位置，以包含所述作业对象物的方式以比所述第一视角窄的第二视角拍摄到的第二图像进行解析，检测所述作业对象物的作业状态；以及作业指示生成部，其基于检测到的所述作业状态，生成表示针对所述作业对象物的作业指示内容的作业指示信息。
本公开的另一方式是一种作业指示生成***，其具备：所述图像处理装置；具有摇摄、倾斜以及变焦功能的摄像装置；以及输出设备，所述作业对象物检测部通过使所述摄像装置以所述第一视角拍摄所述作业对象物来取得所述第一图像，所述作业状况检测部基于所述作业对象物检测部检测出的所述作业对象物的位置，控制所述摄像装置的摇摄、倾斜以及变焦功能，由此使所述摄像装置以所述第二视角拍摄所述作业对象物，从而取得所述第二图像，所述作业指示生成部将所述作业指示信息输出到所述输出设备。
本公开的又一方式是一种作业指示生成方法，以作业对象物进入的第一视角拍摄该作业对象物来取得第一图像，通过第一机器学习对所述第一图像进行解析，在所述第一图像内检测所述作业对象物的位置，基于检测出的所述作业对象物的位置，以包含所述作业对象物的方式以比所述第一视角窄的第二视角拍摄所述作业对象物来取得第二图像，通过第二机器学习对所述第二图像进行解析，检测所述作业对象物的作业状态，基于检测出的所述作业状态生成表示针对所述作业对象物的作业指示内容的作业指示信息并输出到输出设备。
发明效果
根据上述结构，即使在无法严格地对作业对象物进行定位，或者作业对象物存在个体差异，或者作业对象物的外观未固定的状况下，也能够可靠地进行作业状态的确认以及基于作业状态来生成作业指示。
通过附图所示的本发明的典型实施方式的详细说明，本发明的这些目的、特征和优点以及其他目的、特征和优点会变得更加明确。
附图说明
图1是包含本实施方式的图像处理装置的作业指示生成***的***结构图。
图2是图像处理装置的功能框图。
图3A表示从通过广角拍摄工件而得到的图像中检测出工件的例子。
图3B表示从通过长焦拍摄图3A的工件而得到的图像中检测出工件的作业状态的例子。
图4A表示从通过广角拍摄工件而得到的图像中检测出工件的例子。
图4B表示从通过长焦拍摄图4A的工件而得到的图像生成针对工件的作业指示并进行显示的例子。
图5A表示从通过广角拍摄工件而得到的图像中检测出工件的例子。
图5B表示从通过长焦拍摄图5A的工件而得到的图像生成针对工件的作业指示并进行显示的例子。
图6表示卷积神经网络的结构例。
图7是表示作业指示生成处理的流程图。
图8表示构成为对位于多个作业场所的工件发出作业指示的作业指示生成***的结构。
具体实施方式
接着，参照附图对本公开的实施方式进行说明。在参照的附图中，对相同的构成部分或功能部分标注相同的参照符号。为了容易理解，这些附图适当变更了比例尺。另外，附图所示的方式是用于实施本发明的一个例子，本发明并不限于图示的方式。
图1是包含本实施方式的图像处理装置10的作业指示生成***1的***结构图。如图1所示，作业指示生成***1具备图像处理装置10、输出设备20以及具有摇摄、倾斜以及变焦功能的摄像装置30。作业指示生成***1构成为不需要作业对象物(以下记为工件)W的严格定位，对由摄像装置30取得的作业对象物W的图像进行解析来确认针对工件W的作业状态，并经由输出设备20对作业者发出作业指示。
图像处理装置10可以具有作为具有CPU、ROM、RAM、存储装置、操作部、输入输出接口、网络接口等的一般的计算机的结构。作为用于输出对作业者的作业指示的设备，输出设备20能够使用显示装置、声音输出装置、打印装置等各种设备。在本实施方式中，使用显示监视器作为输出设备20。输出设备20配置在作业台26上，显示应该对作业对象物W进行的作业指示。摄像装置30只要在设置有作业台26的作业空间内配置在能够拍摄工件W的位置即可。
图2示出图像处理装置10的功能框图。如图2所示，图像处理装置10具备图像取得部11、作业对象物检测部12、作业状况检测部13以及作业指示生成部14。图像取得部11取得摄像装置30拍摄到的图像。作业对象物检测部12通过第一机器学习对以包含工件W的方式以第一视角(广角)拍摄到的第一图像进行解析，检测第一图像内的工件W的位置。
作业状况检测部13通过第二机器学习对基于作业对象物检测部12检测出的工件W的位置，以包含工件W的方式(例如工件W来到图像的中心附近的方式)以比第一视角窄的(长焦侧的)第二视角拍摄到的第二图像进行解析，检测工件W的作业状态。作业指示生成部14基于检测出的作业状态，生成表示针对工件W的作业指示内容的作业指示信息，并使输出设备20输出该作业指示信息。
这样，本实施方式的图像处理装置10首先对广角拍摄作业空间而得到的图像进行解析来确定图像内的工件的位置，接着，基于所确定的工件W的位置，例如以工件映现在图像中央的方式以长焦进行拍摄。然后，图像处理装置10对以长焦较大地拍摄到的工件的图像进行解析来确认针对工件的作业状况，并生成作业指示信息。根据这样的结构，无需为了通过照相机确认作业状况而严格地对工件进行定位。
以下，作为作业内容以对工件进行螺钉紧固作业的情况为例，对图像处理装置10的动作的详细内容进行说明。图3A是摄像装置30以广角拍摄包含工件W1的作业空间而得到的图像101。为了拍摄工件W1的广角图像，作业对象物检测部12可以使用作业空间内的工件W1的配置信息和摄像装置30在作业空间内的配置信息来控制摄像装置30的摇摄、倾斜以及变焦功能。作业对象物检测部12经由图像取得部11取得图像101。
作业对象物检测部12具有进行机器学习的功能，通过机器学习(第一机器学习)对图像101进行解析来检测工件W1的位置。在图3A中，作为基于机器学习的物体检测结果，显示了表示工件W1的区域的框线(边界框)201、表示物体检测结果的标签301。表示检测结果的标签301包含作为类别分类结果的部件(“部件”)及其概率“1.00”。作业对象物检测部12可以在输出设备20显示如此在图像101内重叠了物体检测结果的图像。
接着，作业状况检测部13基于作业对象物检测部12检测出的工件W1的位置，控制摄像装置30的摇摄、倾斜及变焦功能，由此例如以在图像中心拍到工件W1的方式使摄像装置30长焦拍摄工件W1。图3B是通过摄像装置30以在图像中心拍到工件W1的方式长焦拍摄到的工件W1的图像102。然后，作业状况检测部13通过机器学习(第二机器学习)对图像102进行解析来检测工件W1上的螺钉以及螺钉紧固用孔的位置。
在图像102内，作为基于机器学习的物体检测结果，示出了表示螺钉的区域的边界框211及其类别分类结果的标签311、表示孔的区域的边界框212及其类别分类结果的标签312(仅对一部分附加附图标记)。作业状况检测部13可以在输出设备20显示如此在图像102内重叠了物体检测结果的图像。
在本实施方式中，在图像中的物体的检测中使用深度学习，具体而言，使用一种采用了卷积神经网络(CNN；ConvolutterNeuralNetwork)的物体检测算法。通常，这样的物体检测算法包含以下任务：
(1)包含物体的区域(称为边界框)的提取
(2)区域的CNN特征的运算
(3)区域的类别分类以及正确的位置回归。
图6示出了在这样的物体检测算法中使用的CNN的基本结构。如图6所示，CNN由对输入图像251应用滤波器(内核)来进行卷积运算的卷积层261、262和进行下采样的池化层271、272的组合构成。在图6所示的例子中，图示了通过将卷积层和池化层各层叠2个，阶段性地生成特征图281、282、283、284的状况。这样，对由CNN得到的特征图应用全连接层291来作为输出层，从而进行类别分类或边界框的位置回归。
卷积层261、262中的卷积运算与按照滤波器(内核)的每个信道数进行以下数学式表示的正向传播的处理对应。
[数式1]
Figure BDA0003832589300000051
在此，z是卷积层单元的输出，wi是滤波器的权重参数，xi是输入(局部区域)，h是激活函数，b是偏置。作为激活函数h，例如能够使用逻辑S型函数、ReLU(Rectiffied LinearUnit修正线性单元)等。
作为池化层271、272中的运算，例如能够使用进行输入数据中的最大值的输出的最大值池化、或者进行输入数据的平均值的输出的平均值池化。
在使用这些CNN的物体检测的机器学习的学习阶段，给出输入图像和针对该输入图像的正确解的边界框以及物体类别。然后，通过误差反向传播法来学习使从输入图像得到的输出与正确解之间的由损失函数定义的损失最小化的参数。
作为使用了上述那样的CNN的物体检测算法，在本领域中已知有RCNN(Regionwith CNNfeatures有CNN特征的区域)、YOLO(You Only Look Once你只看一次)、SSD(Single Shot Multibox Detector单激发多盒探测器)等。其中，RCNN属于首先使用选择性搜索法来提取区域候选，并对提取出的区域应用CNN的方法，YOLO、SSD属于通过CNN一次执行物体相似性和边界框位置的推定的方法。
此外，在本实施方式中，不限于上述例子，能够使用基于机器学习的各种物体检测方法。
在作业状况检测部13中的学习阶段，赋予图3A中例示的工件W1的图像和作为正确解的工件W1的区域(边界框)以及物体的类别来执行学习。在作业状况检测部13中的学习阶段，赋予图3B所例示的工件W1的图像、作为正确解的螺钉的区域(边界框)以及物体类别、作为正确解的孔的区域(边界框)以及物体类别来进行学习。
接着，对作业指示生成部14进行的作业指示生成的详细内容进行说明。对生成作业指示的第一例进行说明。如图4A所示，设为作业对象物检测部12对摄像装置30以广角拍摄到的包含工件W1的图像401进行解析，由此检测出工件W1的位置。在图4A中，作为作业对象物检测部12针对工件W1的检测结果还示出了边界框441。接下来，作业状况检测部13对以包含工件W1的方式长焦拍摄到的图像402(图4B)进行解析来进行工件W1上的螺钉以及孔的检测。在该情况下，由于是在工件W1上还未紧固螺钉的状态，因此作业状况检测部13在工件W1上检测出9个孔h(仅对一部分标注附图标记h)及其位置。
接着，作业指示生成部14将作业状况检测部13的检测结果(螺钉的紧固状态)与预先保持的作业内容信息进行对比。在如图4B那样看到工件W1的情况下，作业内容信息是“从左下孔开始按顺序顺时针地在全部的孔紧固螺钉”。作业指示生成部14通过将从作业状况检测部13取得的信息(在9个孔还未紧固螺钉的状态)与上述作业内容信息进行对比，从而生成在左下孔紧固螺钉的指示。图4B表示这样的指示的一例。如图4B所示，作业指示生成部14相对于包围其他孔h的四边形的框线462的显示颜色，改变包围下一个应紧固螺钉的左下孔h的四边形的框线461的显示颜色，由此能够视觉掌握对框线461包围的左下孔h发出了紧固指示。作业指示生成部14使输出设备20显示已重叠了如此表示作业指示的框线461以及462的图像402。
在为了生成作业指示而需要知道以工件W1为基准的各孔h的位置时，作业指示生成部14能够通过以下的方法来确定以工件W1为基准的各孔h的位置。
(1)基于作业状况检测部13检测出的图像402内的孔h的排列(此时为倒U字状的排列)来推定工件W1的几何中心，由此确定以工件W1为基准的各孔h的位置。
(2)基于作业对象物检测部12检测出的图像401内的工件W1的位置、作业状况检测部13检测出的图像402内的孔h的位置、以及表示为了取得图像402如何控制了摇摄、倾斜以及变焦功能的信息，来确定以工件W1为基准的各孔h的位置。
对生成作业指示的第二例进行说明。如图5A所示，设为作业对象物检测部12对摄像装置30以广角拍摄到的包含工件W1的图像501进行解析，由此检测出工件W1的位置。在图5A中，还示出了作为作业对象物检测部12针对工件W1的检测结果的边界框541。接下来，作业状况检测部13对以包含工件W1的方式长焦拍摄到的图像502(图5B)进行解析来进行工件W1上的螺钉以及孔的检测。在该情况下，由于是在工件W1的9个孔中的左下的2个孔紧固了螺钉的状态，因此，作业状况检测部13在工件W1的9个孔的位置中的左下2处的位置检测出螺钉b，在除此以外的7处的位置检测出孔h。
接着，作业指示生成部14将作业状况检测部13的检测结果与预先保持的作业内容信息进行对比。设为作业内容信息与上述图4B的情况相同。作业指示生成部14通过将从作业状况检测部13取得的信息(9个孔中的左下2处紧固了螺钉)与上述作业内容信息进行对比，从而生成在从左下起第三个孔紧固螺钉的指示。图5B表示了这样的指示的一例。如图5B所示，作业指示生成部14通过相对于包围其他孔h的四边形的框线562的显示颜色，改变将下一个应紧固螺钉的从左下起第三个孔h包围的四边形的框线561的显示颜色，能够在视觉上掌握对框线561包围的孔h发出了紧固指示。并且，作业指示生成部14也可以针对包围已紧固了螺钉b的位置的框线560使用与框线561以及562不同的显示颜色来表示已紧固。作业指示生成部14使输出设备20显示已重叠了如此表示作业指示的框线560～562的图像402。
图7将图像处理装置10的作业指示生成处理(作业指示生成方法)表示为流程图。首先，图像处理装置10(作业对象物检测部12)取得摄像装置30以广角(第一视角)拍摄到的第一图像(步骤S1)。接着，作业对象物检测部12通过机器学习(第一机器学习)对第一图像进行解析，检测作业对象物的位置(步骤S2)。接着，作业状况检测部13基于作业对象物检测部12检测出的作业对象物的位置，取得例如以在中心拍到作业对象物的方式长焦(以第二视角)拍摄作业对象物而得到的第二图像(步骤S3)。
接着，作业状况检测部13通过机器学习(第二机器学习)对第二图像进行解析，确认作业对象物的作业状态(步骤S4)。接着，作业指示生成部14根据作业状况检测部13检测出的作业状态，生成针对作业对象物的作业指示，并输出到输出设备20(步骤S5)。
在实际的作业现场，设想由多个作业者并行地进行作业工序的状况。如图8所示，假定三个作业者81、82、83分别进行作业的状况。在该情况下，构成为在图1所示的结构的作业指示生成***1中，在图像处理装置10上连接多个输出设备20。将多个输出设备20分别配置在作业者81-83的位置。图像处理装置10例如以定期巡回的形式，或者根据作业者侧的事件(例如表示作业完成的信号)，确认各个作业者81-83的作业状况来发出作业指示。
具体而言，在该情况下，使作业对象物检测部12存储了工件W21-W23在作业空间内的配置位置信息(或者作业者81、82、83各自的作业场所的配置位置信息)和摄像装置30在作业空间内的配置位置信息。假设循环确认作业者81-83的作业状况的动作。首先，作业对象物检测部12基于工件W21的配置位置信息和摄像装置30的配置位置信息，使摄像装置30摇摄以及倾斜以广角拍摄作业者81的作业对象即工件W21，检测工件W21在图像内的位置。然后，作业状况检测部13确认作业者81对工件W21的作业状况。然后，作业指示生成部14通过将工件W21的作业状况与预先存储的工件W21的作业内容信息进行对比，生成针对作业者81的作业指示，并向作业者81的位置的输出设备20输出。关于作业者82、83，也以同样的动作按顺序进行作业指示的生成以及输出。
在此，对于定期地以循环的方式确认作业者81-83的作业状况的动作例进行了说明，但是例如通过构成为在各作业者使用自动紧固机的情况下，从自动紧固机向图像处理装置10发送表示螺钉紧固动作完成的信号，由此可根据来自作业者81-83侧的表示螺钉紧固完成的信号的到来确认作业状况并发出下一个作业指示。根据以上结构，即使是现有结构，对于作业者三人需要3台固定照相机那样的状况，也能够通过一台摄像装置30发出针对三个作业者的作业指示。
如以上说明的那样，根据本实施方式，即使在无法严格地对作业对象物进行定位、或者作业对象物存在个体差异、或者作业对象物的外观不固定的状况下，也能够可靠地进行作业状态的确认以及基于该作业状态生成作业指示。
以上，使用典型的实施方式对本发明进行了说明，但只要是本领域人员，则能够理解在不脱离本发明的范围的情况下，能够进行上述各实施方式的变更以及各种其他的变更、省略、追加。
在上述实施方式中，作为作业确认的内容记载了确认工件的螺钉的紧固状态的例子，但作为作业确认的内容，可以包括确认印刷基板的部件的安装状态、确认工业用机器人的组装状况、确认去毛刺作业中的去毛刺状态、确认研磨作业中的作业状态等通过图像解析能够确认作业状态的各种作业。
图2所示的图像处理装置10的功能块既可以通过由图像处理装置10的CPU执行存储在存储装置的各种软件来实现，或者也可以通过以ASIC(Application SpecificIntegrated Circuit：专用集成电路)等硬件为主体的结构来实现。
用于执行上述实施方式中的作业指示生成处理等各种处理的程序能够记录在计算机可读取的各种记录介质(例如ROM、EEPROM、闪存等半导体存储器、磁记录介质、CD-ROM、DVD-ROM等光盘)中。
附图标记的说明
1 作业指示生成***
10 图像处理装置
11 图像取得部
12 作业对象物检测部
13 作业状况检测部
14 作业指示生成部
20 输出设备
26 作业台
30 摄像装置。

Claims (7)

1.一种图像处理装置，其特征在于，具备：
作业对象物检测部，其通过第一机器学习对以包含作业对象物的方式以第一视角拍摄到的第一图像进行解析，检测所述第一图像内的所述作业对象物的位置；
作业状况检测部，其通过第二机器学习对基于检测出的所述作业对象物的位置，以包含所述作业对象物的方式以比所述第一视角窄的第二视角拍摄到的第二图像进行解析，检测所述作业对象物的作业状态；以及
作业指示生成部，其基于检测到的所述作业状态，生成用于表示针对所述作业对象物的作业指示内容的作业指示信息。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述作业状况检测部通过所述第二机器学习来检测所述第二图像内的所述作业对象物上的螺钉以及螺钉紧固用孔的位置，由此检测针对所述作业对象物的所述螺钉的紧固状态来作为所述作业状态。
3.根据权利要求2所述的图像处理装置，其特征在于，
所述作业指示生成部生成用于指示对所述孔进行螺钉紧固的信息来作为所述作业指示信息。
4.一种作业指示生成***，其特征在于，具备：
权利要求1至3中的任意一项所述的图像处理装置；
具有摇摄、倾斜以及变焦功能的摄像装置；以及
输出设备，
所述作业对象物检测部通过使所述摄像装置以所述第一视角拍摄所述作业对象物来取得所述第一图像，
所述作业状况检测部基于所述作业对象物检测部检测出的所述作业对象物的位置，控制所述摄像装置的摇摄、倾斜以及变焦功能，由此使所述摄像装置以所述第二视角拍摄所述作业对象物，从而取得所述第二图像，
所述作业指示生成部将所述作业指示信息输出到所述输出设备。
5.根据权利要求4所述的作业指示生成***，其特征在于，
所述作业指示生成***具备分别配置在作业空间内的多个作业场所的多个所述输出设备，
多个所述作业对象物分别配置在多个所述作业场所，
所述作业对象物检测部基于多个所述作业对象物各自在所述作业空间内的配置位置信息以及所述摄像装置在所述作业空间内的配置位置信息，控制所述摄像装置的摇摄、倾斜以及变焦功能，由此使所述摄像装置针对多个所述作业对象物中的各个作业对象物拍摄所述第一图像，来针对多个所述作业对象物中的各个作业对象物检测在所述第一图像内的位置，
所述作业状况检测部基于针对多个所述作业对象物中的各个作业对象物检测出的在所述第一图像内的位置，控制所述摄像装置的摇摄、倾斜以及变焦功能，由此使所述摄像装置针对多个所述作业对象物中的各个作业对象物拍摄所述第二图像，来针对多个所述作业对象物中的各个作业对象物检测所述作业状态，
所述作业指示生成部基于检测出的各个所述作业对象物的作业状态，生成针对各个所述作业对象物的所述作业指示信息，并输出到各个所述输出设备。
6.根据权利要求5所述的作业指示生成***，其特征在于，
所述作业对象物检测部以定期循环的形式使所述摄像装置针对多个所述作业对象物中的各个作业对象物拍摄所述第一图像，来针对多个所述作业对象物中的各个作业对象物检测在所述第一图像内的位置。
7.一种作业指示生成方法，其特征在于，
以作业对象物进入的第一视角拍摄该作业对象物来取得第一图像，
通过第一机器学习对所述第一图像进行解析，在所述第一图像内检测所述作业对象物的位置，
基于检测出的所述作业对象物的位置，以包含所述作业对象物的方式以比所述第一视角窄的第二视角拍摄所述作业对象物来取得第二图像，
通过第二机器学习对所述第二图像进行解析，检测所述作业对象物的作业状态，
基于检测出的所述作业状态生成用于表示针对所述作业对象物的作业指示内容的作业指示信息并输出到输出设备。
CN202180019177.4A 2020-03-05 2021-03-01 图像处理装置、作业指示生成***、作业指示生成方法 Pending CN115244576A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020038065 2020-03-05
JP2020-038065 2020-03-05
PCT/JP2021/007765 WO2021177245A1 (ja) 2020-03-05 2021-03-01 画像処理装置、作業指示作成システム、作業指示作成方法

Publications (1)

Publication Number Publication Date
CN115244576A true CN115244576A (zh) 2022-10-25

Family

ID=77614311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180019177.4A Pending CN115244576A (zh) 2020-03-05 2021-03-01 图像处理装置、作业指示生成***、作业指示生成方法

Country Status (5)

Country Link
US (1) US20230360193A1 (zh)
JP (1) JP7436627B2 (zh)
CN (1) CN115244576A (zh)
DE (1) DE112021001443T5 (zh)
WO (1) WO2021177245A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11854182B2 (en) * 2021-08-25 2023-12-26 UnitX, Inc. Dimensional measurement method based on deep learning

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2941615B2 (ja) * 1993-10-07 1999-08-25 新日本製鐵株式会社 ボルト自動着脱装置
JP2009037392A (ja) * 2007-08-01 2009-02-19 Olympus Corp 作業支援システム
JP5507595B2 (ja) * 2012-02-17 2014-05-28 ファナック株式会社 ロボットを用いた物品組付け装置
WO2013150596A1 (ja) * 2012-04-02 2013-10-10 株式会社安川電機 ロボットシステム及び作業設備
JP5835300B2 (ja) * 2013-10-21 2015-12-24 トヨタ自動車株式会社 軸力測定方法
US11543967B2 (en) 2017-02-23 2023-01-03 Samsung Electronics Co., Ltd. Method for controlling BW SLA in NVME-of ethernet SSD storage systems
JP6987538B2 (ja) 2017-06-07 2022-01-05 キヤノン株式会社 画像処理装置、作業支援システム、制御方法およびプログラム
CN111033135A (zh) 2017-08-28 2020-04-17 大金工业株式会社 空气处理装置
JP6571741B2 (ja) 2017-11-29 2019-09-04 ファナック株式会社 作業者管理装置
JP2019161606A (ja) 2018-03-16 2019-09-19 オリンパス株式会社 移動撮像システム、学習方法、移動撮像装置、情報取得制御装置、情報取得制御方法及び情報取得制御プログラム
JP6544700B2 (ja) 2018-07-03 2019-07-17 パナソニックＩｐマネジメント株式会社 制御装置及びそれを用いた作業管理システム

Also Published As

Publication number Publication date
JP7436627B2 (ja) 2024-02-21
DE112021001443T5 (de) 2023-01-12
US20230360193A1 (en) 2023-11-09
WO2021177245A1 (ja) 2021-09-10
JPWO2021177245A1 (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
JP4193895B2 (ja) 欠陥検査装置
CN111352227A (zh) 显微镜***中样本平面的距离确定
US20110133054A1 (en) Weighting surface fit points based on focus peak uncertainty
US11373263B2 (en) Image processing device capable of assisting with setting of work restoration, method of controlling the same, and recording medium
US11625842B2 (en) Image processing apparatus and image processing method
JP6053119B2 (ja) マシンビジョン検査システムおよびその位置測定結果の決定方法
CN115244576A (zh) 图像处理装置、作业指示生成***、作业指示生成方法
JP2020087312A (ja) 行動認識装置、行動認識方法及びプログラム
CN111860099A (zh) 物品识别***以及物品识别方法
CN109425327B (zh) 检查***和检查用图像的修正方法
CN114264659A (zh) 图像处理装置及方法、检查装置及计算机可读取的存储介质
CN113524170A (zh) 监视对象的图像处理装置及其控制方法以及存储介质
CN110596115B (zh) 图像检查***以及其控制方法
JP6595065B1 (ja) 加工装置、加工装置の制御方法および加工装置の制御プログラム
JPH08313217A (ja) 非接触画像計測システム
US11691237B2 (en) Machine control device
JP2015176273A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
CN208623750U (zh) 智能工业相机
Korta et al. OpenCV based vision system for industrial robot-based assembly station: calibration and testing
WO2024024090A1 (ja) 部品計数装置およびロボットシステム
US11698434B2 (en) Machine control device
JPH055609A (ja) 画像立体認識方法
US20240127467A1 (en) Three-dimensional shape measuring system
US11887327B2 (en) Microscopic examination device and navigation method
JP7130170B1 (ja) 異常検知プログラム、異常検知装置及び異常検知方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination