CN108462871A - 视觉传感器的异常原因估计*** - Google Patents

视觉传感器的异常原因估计*** Download PDF

Info

Publication number
CN108462871A
CN108462871A CN201810024351.4A CN201810024351A CN108462871A CN 108462871 A CN108462871 A CN 108462871A CN 201810024351 A CN201810024351 A CN 201810024351A CN 108462871 A CN108462871 A CN 108462871A
Authority
CN
China
Prior art keywords
visual sensor
information
abnormal
abnormal cause
video camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810024351.4A
Other languages
English (en)
Other versions
CN108462871B (zh
Inventor
泷泽象太
藁科文和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN108462871A publication Critical patent/CN108462871A/zh
Application granted granted Critical
Publication of CN108462871B publication Critical patent/CN108462871B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
    • B23P19/00—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes
    • B23P19/001—Article feeders for assembling machines
    • B23P19/007—Picking-up and placing mechanisms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/10—Programme-controlled manipulators characterised by positioning means for manipulator elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39008—Fixed camera detects reference pattern held by end effector
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39045—Camera on end effector detects reference pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Manipulator (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • General Factory Administration (AREA)

Abstract

本发明涉及视觉传感器的异常原因估计***，在为控制机器人而设置有摄像机的生产***中估计摄像机的异常的原因。生产***具备机器人、检测机器人或其周围的与视觉有关的信息的摄像机以及基于由摄像机获得的图像信号来控制机器人的控制装置。摄像机的异常原因估计***估计摄像机的异常的原因，具备：环境信息获取单元，其获取与摄像机的环境有关的信息；以及异常原因估计部(37)，其通过使用由环境信息获取单元获取到的环境信息，来针对预先决定的多个异常原因项目，按项目估计各异常原因项目是摄像机的异常的原因的概率，并使所估计出的概率按异常原因项目显示于显示装置。

Description

视觉传感器的异常原因估计***
技术领域
本发明涉及一种视觉传感器的异常原因估计***。更详细地说，涉及一种对生产***中设置的视觉传感器的异常的原因进行估计的视觉传感器的异常原因估计***。
背景技术
在对对象物进行搬送或加工的机器人、判定对象物的好坏的检查装置等各种生产装置中，为了获得对象物的与视觉有关的信息而设置视觉传感器。例如将对象物从规定的位置搬送到规定的位置的搬送机器人通过对由视觉传感器获得的视觉信息施加模板匹配等图像处理，来掌握对象物的位置、姿势等，以适当的位置把持对象物并将对象物搬送到规定的位置。在像这样安装有视觉传感器的生产***中，存在以下担忧：在视觉传感器发生某种异常从而通过视觉传感器无法获得期望的图像的情况下，利用由该视觉传感器获得的视觉信息来控制的生产装置无法适当地发挥其功能。
例如在专利文献1中示出了对视觉传感器发生了异常的情况进行检测的装置。更具体地说，在专利文献1中示出了以下装置：在向视觉传感器输出外部同步信号、与该外部同步信号同步地对从视觉传感器输出的图像数据进行处理的***中，判定视觉传感器是否与外部同步信号同步地进行着动作，由此检测视觉传感器的异常。根据专利文献1的装置，能够确定所检测出的视觉传感器的异常的原因是由于用于向视觉传感器传递外部同步信号的信号线的断线、或者是由于视觉传感器自身发生故障而无法与外部同步信号进行同步。
另外，例如在专利文献2中示出了基于由视觉传感器获得的图像来检测异常图像的装置。更具体地说，在专利文献2中示出了以下装置：以使用视觉传感器正常时拍摄到的图像来计算出的图像统计值为基准，将使用当前的视觉传感器所拍摄到的图像来计算出的图像统计值与基准进行比较，由此检测视觉传感器的异常图像。
专利文献1：日本特开2013-46350号公报
专利文献2：日本特开2006-352644号公报
发明内容
发明要解决的问题
另外，在生产***中实际发生视觉传感器的异常的情况下，作业者需要具体地确定传感器的异常的原因，以使生产装置恢复为适当的状态。然而，视觉传感器的异常的原因有多种可能。更具体地说，例如能够列举以下情况等作为原因：(A)视觉传感器本身发生故障而无法适当地发挥其功能所引起的情况；(B)将视觉传感器与其它装置连接的线缆的不良状况所引起的情况；(C)视觉传感器的周围的环境变化所引起的情况。在视觉传感器的异常的原因是(A)、(B)的情况下，作业者例如能够通过利用如上述专利文献1那样的装置来确定异常的原因。
然而，在视觉传感器的异常的原因是(C)的情况、即视觉传感器的周围的环境变化所引起的情况下，由于如下那样的原因而难以具体地确定异常的原因。例如，这种情况所引起的视觉传感器的异常有时即使视觉传感器未发生故障也会产生，因此即使仅监视视觉传感器的状态也无法确定原因。另外，这种情况所引起的视觉传感器的异常有时仅在特定的条件下发生，因此难以再现使异常产生的环境。另外，也有时在使视觉传感器产生异常的具体的现象发生之后稍微经过时间之后视觉传感器才产生异常，在该情况下，也难以确定具体的现象与视觉传感器的异常之间的因果关系。因此，以往有时在视觉传感器产生了异常的情况下，作业者不得不对想到的原因全部进行确认，从而使生产装置恢复要花费时间。
本发明的目的在于，提供一种在为对生产装置进行控制而设置有视觉传感器的生产***中对视觉传感器的异常的原因进行估计的视觉传感器的异常原因估计***。
用于解决问题的方案
(1)生产***(例如，后述的生产***S)具备：生产装置(例如，后述的机器人5)；视觉传感器(例如，后述的摄像机6)，其检测该生产装置或该生产装置的周围的与视觉有关的信息；以及控制装置(例如，后述的控制装置7)，其基于由所述视觉传感器获得的视觉信息(例如，后述的图像信号)来控制所述生产装置。本发明的视觉传感器的异常原因估计***(例如，后述的异常原因估计***1、1A)估计所述视觉传感器的异常的原因，具备：环境信息获取单元(例如，后述的环境信息获取单元2)，其获取与所述视觉传感器的环境有关的信息；以及异常原因估计单元(例如，后述的运算装置32、32A，异常原因估计部37、37A)，其通过使用由所述环境信息获取单元获取到的环境信息，来估计所述视觉传感器的异常与预先决定的多个异常原因项目的各异常原因项目之间的相关性的强弱，并使所估计出的相关性的强弱按所述异常原因项目显示于显示单元(例如，后述的显示装置33)。
此外，在本发明中，“视觉传感器的异常”定义为通过视觉传感器无法获得期望的视觉信息。另外，在本发明中，关于“期望的视觉信息”，在基于该信息对生产装置进行控制的情况下，定义为生产装置能够实现适当的功能(例如，以适当的位置、姿势来把持对象物并将对象物搬送到适当的位置的搬送动作、准确地判断对象物的好坏的判断功能等)的信息。因而，在本发明中，不仅由于视觉传感器本身发生了故障或将视觉传感器与其它装置连接的线缆发生不良状况而无法获得期望的视觉信息的情况相当于视觉传感器的异常，由于视觉传感器的镜头射入强光或视觉传感器发生振动而无法获得期望的视觉信息的情况也相当于视觉传感器的异常。
(2)也可以是，根据(1)所记载的视觉传感器的异常原因估计***，所述异常原因估计单元通过使用从所述摄像机的异常产生时刻起到规定时间前的期间的环境信息，来估计所述相关性的强弱。
(3)也可以是，根据(2)所记载的视觉传感器的异常原因估计***，该异常原因估计***具备异常产生时刻确定单元(例如，后述的图像处理单元71)，该异常产生时刻确定单元基于所述视觉信息来确定所述异常产生时刻。
(4)也可以是，根据(2)所记载的视觉传感器的异常原因估计***，该异常原因估计***具备：图像处理单元(例如，后述的图像处理单元71)，其对所述视觉信息施加规定的图像处理；以及异常产生时刻确定单元(例如，后述的机器人动作判定部36、36A，摄像机异常检测部38A)，其通过使用经过所述图像处理获得的图像处理信息以及与在所述生产装置中基于所述视觉信息进行的动作的结果有关的动作结果信息，来确定所述异常产生时刻。
(5)也可以是，根据(1)至(4)中的任一项所记载的视觉传感器的异常原因估计***，所述环境信息获取单元将所述视觉传感器的环境分成多个环境项目，获取属于各所述环境项目的环境信息，各所述异常原因项目分别与所述多个环境项目中的某一个相同。
(6)也可以是，根据(5)所记载的视觉传感器的异常原因估计***，所述环境项目包括设置于所述视觉传感器的周围的特定装置的振动、所述特定装置的温度以及所述视觉传感器的周围的明亮度。
(7)也可以是，根据(1)至(6)中的任一项所记载的视觉传感器的异常原因估计***，所述异常原因估计单元通过将所述环境信息及与所述环境信息的时间变化有关信息用作输入，来估计所述视觉传感器的异常与所述多个异常原因项目的各异常原因项目的相关性的强弱。
发明的效果
在生产***中，视觉传感器检测生产装置或生产装置的周围的与视觉有关的信息，控制装置基于由视觉传感器获得的视觉信息来控制生产装置。另外，环境信息获取单元获取如上述那样纳入于生产装置的控制的与视觉传感器的环境有关的信息，异常原因估计单元通过使用由环境信息获取单元获取到的环境信息来估计视觉传感器的异常与预先决定的多个异常原因项目的各个异常原因项目之间的相关性的强弱，并使该相关性的强弱按异常原因项目显示于显示单元。由此，例如在使生产***运转的期间发生了视觉传感器的异常的情况下，作业者能够通过使用本发明的异常原因估计***来从显示单元中显示的多个异常原因项目中按相关性的强弱从强到弱的顺序确认异常的原因。因此，与如以往那样对想到的原因全部进行确认的情况相比，作业者能够迅速地确定视觉传感器的异常的原因。
附图说明
图1是表示本发明的第一实施方式所涉及的安装有视觉传感器的异常原因估计***的生产***的结构的图。
图2是表示与摄像机的异常的原因有关的运算的具体过程的图。
图3是表示显示装置中显示的异常原因估计部的估计结果的一例的图。
图4是表示在本发明的第二实施方式所涉及的异常原因估计***中与摄像机的异常的原因有关的运算的具体过程的图。
附图标记说明
S：生产***；1、1A：异常原因估计***；2：环境信息获取单元；3：信息处理装置；31：存储装置；32、32A：运算装置；33：显示装置(显示单元)；36、36A：机器人动作判定部(异常产生时刻确定单元)；37、37A：异常原因估计部(异常原因估计单元)；38A：摄像机异常检测部(异常产生时刻确定单元)；5：机器人(生产装置)；6：摄像机(视觉传感器)；7：控制装置；71：图像处理单元(图像处理单元、异常产生时刻确定单元)；72：机器人控制单元。
具体实施方式
<第一实施方式>
下面，参照附图来说明本发明的第一实施方式。
图1是表示安装有本实施方式所涉及的视觉传感器的异常原因估计***1的生产***S的结构的图。
生产***S具备：作为生产装置的机器人5；作为视觉传感器的摄像机6，其检测该机器人5或该机器人5的周围的与视觉有关的信息；控制装置7，其基于摄像机6的输出来控制机器人5；以及异常原因估计***1，其估计摄像机6的异常的原因。
机器人5例如是以下的搬送机器人：根据从控制装置7发送的控制信号，执行以规定的位置把持作为生产品的一个部件的工件W并将所把持的工件W搬送到规定的位置的一系列搬送动作。
摄像机6设置于机器人5或在机器人5的周围设置的框架。摄像机6根据来自控制装置7的请求来对机器人5或者工件W进行拍摄，并将该图像信号以规定的周期向控制装置7和异常原因估计***1发送。
控制装置7具备图像处理单元71和机器人控制单元72。图像处理单元71对从摄像机6发送的图像信号施加多个图像处理。图像处理单元71将经过该多个图像处理所获得的图像处理信息以规定的周期向机器人控制单元72和异常原因估计***1发送。在此，在从图像处理单元71发送的图像处理信息中例如包含与以下内容等有关的信息：包含工件W的图像；该图像中呈现的工件W的轮廓的对比度；该图像的明亮度；从该图像检测出的表示工件W的准确度的评分；从图像检测出的工件W的检测位置及其误差；有无误检测工件W(即，在图像中将与实际不同的位置检测为工件W的位置的情况)；摄像机6的暗电平(black level)；以及从摄像机6发送的图像信号的数据错误率。
机器人控制单元72基于经过图像处理单元71中的多个图像处理而获得的上述的图像处理信息，来生成用于在机器人5中执行上述的搬送动作的控制信号，并向机器人5发送该控制信号。另外，机器人控制单元72基于从设置于机器人5的未图示的力传感器等发送的信号，获取与如上述那样基于摄像机6的图像信号执行的搬送动作的结果有关的信息，并将该信息作为动作结果信息以规定的周期向异常原因估计***1发送。在此，从机器人控制单元72发送的动作结果信息中例如包含与以下内容等有关的信息：机器人5在一系列搬送动作中是否能够把持住工件W；以及在机器人5把持住工件W时的从规定的基准位置偏离的把持偏离量。
异常原因估计***1具备：环境信息获取单元2，其获取与摄像机6的环境有关的信息；以及信息处理装置3，其使用从环境信息获取单元2、摄像机6、图像处理单元71以及机器人控制单元72发送的信息，来进行与摄像机6的异常及其原因有关的运算。
环境信息获取单元2按规定的周期获取与能够对摄像机6的功能造成影响的环境有关的多种环境信息，并将获取到的环境信息发送给信息处理装置3。在此，由环境信息获取单元2获取的环境信息例如像以下所例示的那样被分类为13个环境项目。属于各项目的环境信息如下所述。
与摄像机6的振动有关的信息被分类为项目1。环境信息获取单元2例如通过使用设置于摄像机6的振动传感器的输出来获取属于项目1的环境信息。与摄像机6的温度有关的信息被分类为项目2。环境信息获取单元2例如通过使用设置于摄像机6的温度传感器的输出来获取属于项目2的环境信息。与设置于摄像机6的周围的周围设备的温度有关的信息被分类为项目3。环境信息获取单元2例如通过使用对周围设备设置的温度传感器的输出来获取属于项目3的环境信息。与摄像机6的周围的明亮度有关的信息被分类为项目4。环境信息获取单元2例如通过使用设置于摄像机6或其附近的照度传感器的输出来获取属于项目4的环境信息。与日期和时刻有关的信息被分类为项目5。环境信息获取单元2例如通过使用时钟来获取属于项目5的环境信息。
与天气有关的信息被分类为项目6。环境信息获取单元2例如通过使用从天气信息分发服务器分发的信息来获取属于项目6的环境信息。与设置有摄像机6的房间的顶棚照明的开启、关闭状态有关的信息被分类为项目7。环境信息获取单元2例如通过使用顶棚照明的控制器的输出来获取属于项目7的环境信息。与设置有摄像机6的房间的空调机的设定温度有关的信息被分类为项目8。环境信息获取单元2例如通过使用空调机的控制器的输出来获取属于项目8的环境信息。与被机器人5作为作业对象的工件W的种类有关的信息被分类为项目9。环境信息获取单元2例如通过使用从控制装置7发送的信号来获取属于项目9的环境信息。与设置于摄像机6的周围的周围设备的动作状态(更具体地说，周围设备是正在运转、还是处于停止状态、还是处于待机状态等)有关的信息被分类为项目10。环境信息获取单元2通过使用从周围设备发送的信号来获取属于项目10的环境信息。
与为使生产***S中设置的多个装置之间的动作同步而发送接收的信号有关的信息被分类为项目11。环境信息获取单元2例如通过使用从各装置发送的信号来获取属于项目11的环境信息。与摄像机6的电源电压有关的信息被分类为项目12。环境信息获取单元2例如通过使用电压传感器的输出来获取属于项目12的环境信息。与从各装置发出的警告有关的信息被分类为项目13。环境信息获取单元2例如通过使用从各装置发送的警告信号来获取属于项目13的环境信息。
此外，在由环境信息获取单元2获取的环境信息之中，例如也包含项目6的与天气有关的信息、项目7的与顶棚照明的开启、关闭状态有关的信息等未被数值化的信息。优选的是，环境信息获取单元2按照预先决定的规则对这种未被数值化的信息进行数值化并发送给信息处理装置3。具体地说，例如关于与天气有关的信息，对“晴”分配“0”，对“阴”分配“1”。另外，例如关于与顶棚照明的开启、关闭状态有关的信息，对“开启”分配“1”，对“关闭”分配“0”。
另外，与从摄像机6发送的图像信号、从控制装置7发送的图像处理信息及动作结果信息等的变化相比，如以上那样的使用环境信息获取单元2获取的环境信息的变化缓慢。因此，优选的是，环境信息获取单元2以比控制装置7中生成图像处理信息、动作结果信息的周期长的周期来获取环境信息并发送给信息处理装置3。
信息处理装置3由具备以下装置的计算机构成：存储装置31，其用于存储各种数据、程序等；运算装置32，其通过使用存储装置31中存储的数据来执行与摄像机6的异常及其原因有关的运算；以及显示装置33，其以作业者能够视觉识别的方式显示运算装置32的运算结果。
在存储装置31中存储从摄像机6发送的图像信号、从图像处理单元71发送的图像处理信息、从机器人控制单元72发送的动作结果信息以及从环境信息获取单元2发送的环境信息等的各自的时间序列数据。另外，在存储装置31中还存储与图像处理信息、动作结果信息以及环境信息的时间变化有关的信息。在此，时间变化是指作为对象的信息的各时刻的值与各时刻的规定时间前的时刻的值之间的差值。
图2是表示运算装置32的功能结构的功能框图。运算装置32具备机器人动作判定部36和异常原因估计部37，通过使用它们来估计摄像机6的异常的原因。下面依次说明构成为能够通过运算装置32中的运算来实现的的各模块36～37的功能。
机器人动作判定部36通过使用存储装置31中存储的数据中的动作结果信息，来判定机器人5是否实现了适当的功能、更具体地说基于从摄像机6发送的图像信号来使机器人5执行的搬送动作是否已适当地进行。如上所述，动作结果信息包含与基于摄像机6的图像信号使机器人5执行的一系列搬送动作是否成功有关的信息、更具体地说与机器人5是否能够把持住工件W有关的信息、与把持偏离量有关的信息。因此，机器人动作判定部36在机器人5把持住工件W且把持偏离量为规定的基准值以下的情况下判定为机器人的搬送动作已适当地进行。另外，机器人动作判定部36在机器人5没能把持住工件W的情况下、或者把持偏离量大于上述基准值的情况下判定为机器人的搬送动作未适当地进行。
另外，机器人动作判定部36在判定为机器人的搬送动作未适当地进行的情况下，从存储装置31中存储的过去的图像处理信息中确定在执行不适当的搬送动作时被用作向机器人控制单元72的输入的图像处理信息，将获取到用于在图像处理单元71中生成该图像处理信息的图像信号的时刻作为摄像机6的异常产生时刻发送给异常原因估计部37。
此外，在图2中示出在机器人动作判定部36中根据机器人的搬送动作的结果来确定摄像机6的异常产生时刻的情况，但是确定摄像机6的异常产生时刻的方法不限于此。也可以由作业者手动设定摄像机6的异常产生时刻并将摄像机6的异常产生时刻输入到异常原因估计部37。另外，在摄像机6发生某种异常从而从摄像机6发送的图像信号异常的情况下，也能够通过在图像处理单元71中对来自摄像机6的图像信号施加图像处理来确定摄像机6发生了异常的情况以及该异常产生时刻。因而，也可以基于从摄像机6发送的图像信号来在图像处理单元71中确定摄像机6的异常产生时刻。
异常原因估计部37通过将如以上那样由机器人动作判定部36、图像处理单元71等确定出的摄像机6的异常产生时刻、存储装置31中存储的数据中的环境信息及与其时间变化有关的信息、图像处理信息及与其时间变化有关的信息、动作结果信息及与其时间变化有关的信息以及图像信号用作输入数据组，来估计摄像机6的异常的原因并使其估计结果显示于显示装置4。
在异常原因估计部37中，有可能成为使摄像机6产生异常的原因的情况被预先定义为分成多个(例如，17个)异常原因项目。另外，该17个异常原因项目被分成属于环境因素群的项目1～13和属于内部因素群的项目14～17，其中，关于环境因素群，摄像机6的异常的原因源自其环境，关于内部因素群，是除环境因素群以外的原因，即摄像机6的异常的原因源自摄像机6、与摄像机6连接的装置(线缆、图像处理单元等)的故障。另外，属于环境因素群的项目1～13能够使用与为对环境信息进行分类而定义的13个环境项目相同的项目。即，异常原因项目1～13分别与上述的环境项目1～13相同。另外，摄像机6的故障(更具体地说，例如由于镜头的浑浊、脏污等导致的故障)被分类为属于内部因素群的项目14，图像处理单元71的故障被分类为属于内部因素群的项目15，将摄像机6与图像处理单元71连接的线缆的故障(更具体地说，由于线缆的断线、加于线缆的噪声等导致的故障)被分类为属于内部因素群的项目16，机器人5的故障(更具体地说，由于机器人5的定位精度的下降、机器人5与摄像机6的同步的紊乱等导致的故障)被分类为属于内部因素群的项目17。
异常原因估计部37通过使用异常产生时刻之前的输入数据组来计算以百分率表现被估计为在异常产生时刻产生的摄像机6的异常与预先决定的各异常原因项目之间的相关性的强弱、更具体地说是以百分率表现各异常原因项目是摄像机6的异常的原因的可能性。
在上述输入数据组中包含同摄像机6的功能存在相关性的与摄像机6的环境有关的信息，因此在输入数据组与摄像机6的异常之间存在相关关系。例如，在因某种原因而摄像机6过度地振动、由此摄像机6产生了异常的情况下，在该摄像机6的异常的产生同环境信息中的属于项目1的与摄像机6的振动有关的信息的变化之间存在强的相关性。另外，例如，在摄像机6的周围设备的温度上升、由此摄像机6产生了异常的情况下，在该摄像机6的异常的产生同环境信息中的属于项目3的周围设备的温度的变化之间存在强的相关性。另外，例如，在强烈的夕照射入到摄像机6的受光面、由此摄像机6产生了异常的情况下，在该摄像机6的异常的产生同环境信息中的属于项目5的与日期和时刻有关的信息之间存在强的相关性。异常原因估计部37利用已知的机器学习算法来学习这种环境信息、环境变化信息以及图像处理信息与摄像机6的异常之间的相关关系，由此计算各异常原因项目是摄像机6的异常的原因的概率。
作为异常原因估计部37中使用的机器学习算法的具体例，例如能够列举出将分别具有规定的输入输出特性的多个神经元结合来构成的具有输入层、中间层以及输出层的分层型的多输入多输出方式的神经网络。更具体地说，在异常原因估计部37中，当向构成输入层的各神经元输入由摄像机6的异常产生时刻以及从该异常产生时刻到规定时间前为止的期间的多个环境信息及与其时间变化有关的信息、图像处理信息及与其时间变化有关的信息、动作结果信息及与其时间变化有关的信息、图像信号形成的输入数据组时，输出各异常原因项目是摄像机6的异常的原因的概率。
图3是表示显示装置4的监视器中显示的异常原因估计部37的估计结果的一例的图。
如图3所示，异常原因估计部37通过利用如上所述的机器学习算法来针对每个异常原因项目计算是摄像机6的异常的原因的可能性，并且从可能性高的项目起依次使异常原因项目的编号及其可能性显示于显示装置4。作业者能够从该显示装置4中显示的异常原因项目中的可能性高的项目起依次(在图3的例子中按项目1、3、4的顺序)来确认异常的原因，因此与以往那样对想到的原因全部进行确认的情况相比，能够迅速地确定摄像机6的异常的原因。
<第二实施方式>
接着，参照附图来说明本发明的第二实施方式。在本实施方式所涉及的异常原因估计***1A中，确定摄像机6的异常产生时刻的方法与第一实施方式所涉及的异常原因估计***1不同。
图4是表示本实施方式所涉及的异常原因估计***1A的运算装置32A的功能结构的功能框图。运算装置32A还具备机器人动作判定部36A、异常原因估计部37A以及摄像机异常判定部38A，通过利用它们来估计摄像机6的异常的原因。下面依次说明构成为能够通过运算装置32A中的运算来实现的各模块36A～38A的功能。
机器人动作判定部36A通过使用存储装置31中存储的数据中的动作结果信息来判定机器人5是否实现了适当的功能、更具体地说基于从摄像机6发送的图像信号来使机器人5执行的搬送动作是否已适当地进行。另外，机器人动作判定部36A在判定为机器人的搬送动作未适当地进行的情况下，将与执行该不适当的动作的时刻有关的信息发送给摄像机异常检测部38A。此外，在机器人动作判定部36A中判定机器人的搬送动作是否已适当地进行的具体过程与第一实施方式的机器人动作判定部36相同，因此省略详细的说明。
摄像机异常检测部38A通过使用机器人动作判定部36A的判定结果以及存储装置31中存储的数据中的图像处理信息来检测摄像机6的异常。更具体地说，摄像机异常检测部38A在机器人动作判定部36A中判定为机器人的搬送动作未适当地进行的情况下，使用执行不适当的搬送动作的时刻之前的图像处理信息来判定引发该不适当的搬送动作的原因是否是摄像机6的异常所引起的，并且将摄像机6的异常产生时刻发送给异常原因估计部37A。
如上所述，在图像处理信息中包含在机器人控制单元72中直接用于机器人5的控制的信息，因此在图像处理信息与机器人5的搬送动作的异常之间存在相关关系。更具体地说，例如，在图像处理信息中包含的工件W的轮廓的对比度过度地下降的情况下、在图像变得过度明亮的情况下，有时在机器人控制单元72中无法实现适当的搬送动作。摄像机异常检测部38A利用已知的机器学习算法来学习这种图像处理信息与机器人5的搬送动作的异常之间的相关关系，由此将图像处理信息作为输入来检测摄像机6的异常。
作为在摄像机异常检测部38A中使用的机器学习算法的具体例，例如能够列举出将分别具有规定的输入输出特性的多个神经元结合来构成的具备输入层、中间层以及输出层的分层型的多输入一输出方式的神经网络。更具体地说，在摄像机异常检测部38A中，当向构成输入层的各神经元输入由机器人动作判定部36的输出(执行不适当的搬送动作的时刻)、以及从执行该不适当的搬送动作的时刻起到规定时间前的期间的多个图像处理信息形成的输入数据组时，从输出层的神经元输出摄像机6的异常产生时刻。
异常原因估计部37A在摄像机异常检测部38A中检测出摄像机6的异常的情况下，通过将由摄像机异常检测部38A确定出的异常产生时刻、存储装置31中存储的数据中的环境信息及与其时间变化有关的信息、图像处理信息及与其时间变化有关的信息、动作结果信息及与其时间变化有关的信息、图像信号用作输入数据组，来估计摄像机6的异常的原因并使其估计结果显示于显示装置4。此外，在异常原因估计部37A中使用输入数据组来估计摄像机6的异常的原因的具体过程与第一实施方式的异常原因估计部37相同，因此以下省略详细的说明。
以上说明了本发明的一个实施方式，但本发明不限于此。

Claims (7)

1.一种视觉传感器的异常原因估计***，在生产***中估计所述视觉传感器的异常的原因，所述生产***具备：生产装置；视觉传感器，其检测该生产装置或该生产装置的周围的与视觉有关的信息；以及控制装置，其基于由所述视觉传感器获得的视觉信息来控制所述生产装置，所述视觉传感器的异常原因估计***的特征在于，具备：
环境信息获取单元，其获取与所述视觉传感器的环境有关的信息；以及
异常原因估计单元，其通过使用由所述环境信息获取单元获取到的环境信息，来估计所述视觉传感器的异常与预先决定的多个异常原因项目的各异常原因项目之间的相关性的强弱，并使所估计出的相关性的强弱按所述异常原因项目显示于显示单元。
2.根据权利请求1所述的视觉传感器的异常原因估计***，其特征在于，
所述异常原因估计单元通过使用从所述视觉传感器的异常产生时刻起到规定时间前的期间的环境信息，来估计所述相关性的强弱。
3.根据权利请求2所述的视觉传感器的异常原因估计***，其特征在于，
具备异常产生时刻确定单元，该异常产生时刻确定单元基于所述视觉信息来确定所述异常产生时刻。
4.根据权利请求2所述的视觉传感器的异常原因估计***，其特征在于，具备：
图像处理单元，其对所述视觉信息施加规定的图像处理；以及
异常产生时刻确定单元，其通过使用经过所述图像处理获得的图像处理信息以及与在所述生产装置中基于所述视觉信息进行的动作的结果有关的动作结果信息，来确定所述异常产生时刻。
5.根据权利请求1至4中的任一项所述的视觉传感器的异常原因估计***，其特征在于，
所述环境信息获取单元将所述视觉传感器的环境分成多个环境项目，获取属于各所述环境项目的环境信息，
各所述异常原因项目分别与所述多个环境项目中的某一个相同。
6.根据权利请求5所述的视觉传感器的异常原因估计***，其特征在于，
所述环境项目包括设置于所述视觉传感器的周围的特定装置的振动、所述特定装置的温度以及所述视觉传感器的周围的明亮度。
7.根据权利请求1至6中的任一项所述的视觉传感器的异常原因估计***，其特征在于，
所述异常原因估计单元通过将所述环境信息及与所述环境信息的时间变化有关的信息用作输入，来估计所述视觉传感器的异常与所述多个异常原因项目的各异常原因项目之间的相关性的强弱。
CN201810024351.4A 2017-01-12 2018-01-10 视觉传感器的异常原因估计*** Active CN108462871B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017003343A JP6392908B2 (ja) 2017-01-12 2017-01-12 視覚センサの異常原因推定システム
JP2017-003343 2017-01-12

Publications (2)

Publication Number Publication Date
CN108462871A true CN108462871A (zh) 2018-08-28
CN108462871B CN108462871B (zh) 2019-04-09

Family

ID=62636610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810024351.4A Active CN108462871B (zh) 2017-01-12 2018-01-10 视觉传感器的异常原因估计***

Country Status (4)

Country Link
US (1) US10497146B2 (zh)
JP (1) JP6392908B2 (zh)
CN (1) CN108462871B (zh)
DE (1) DE102018200280B4 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017037896A1 (ja) * 2015-09-02 2017-03-09 富士通株式会社 異常検知装置、異常検知方法、及び異常検知プログラム
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
US20190138623A1 (en) * 2017-11-03 2019-05-09 Drishti Technologies, Inc. Automated birth certificate systems and methods
KR102126003B1 (ko) * 2018-08-27 2020-06-23 아이솔루션(주) Iot 기술을 기반으로 한 비전검사장비와 생산장비 제어시스템
KR102658966B1 (ko) * 2019-08-21 2024-04-19 엘지전자 주식회사 공기 조화기의 센서 데이터를 보정하는 인공 지능 공기 조화기 및 그 방법
JP7414850B2 (ja) * 2020-01-14 2024-01-16 ファナック株式会社 ロボットシステム
JP7445460B2 (ja) * 2020-03-05 2024-03-07 株式会社Fuji 作業システム
CN112947389B (zh) * 2021-03-31 2022-04-22 合肥工业大学 一种pfc控制***的多故障同步估计方法
CN113192277B (zh) * 2021-04-29 2022-09-30 重庆天智慧启科技有限公司 小区安防的自动报警***及方法
WO2024100712A1 (ja) * 2022-11-07 2024-05-16 ファナック株式会社 撮像ユニットの温度を管理する装置、制御装置、方法、及びコンピュータプログラム
CN117197133B (zh) * 2023-11-06 2024-01-30 湖南睿图智能科技有限公司 一种复杂工业环境下视觉机器人的控制***及方法
CN117754194A (zh) * 2024-02-21 2024-03-26 宁德时代新能源科技股份有限公司 电池壳盖焊接***及其点检方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012111202A1 (ja) * 2011-02-14 2012-08-23 富士機械製造株式会社 部品実装機
JP2013115726A (ja) * 2011-11-30 2013-06-10 Sanyo Electric Co Ltd 電子機器
CN103308661A (zh) * 2013-05-27 2013-09-18 中国矿业大学 用于表达空间拓扑信息的井下瓦斯传感器层次编码方法
JP2016141522A (ja) * 2015-02-02 2016-08-08 三菱電機ビルテクノサービス株式会社 エレベータ乗りかごの異常確認システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003131307A (ja) * 2001-10-25 2003-05-09 Ims:Kk 写真シール払出装置
JP2004363781A (ja) * 2003-06-03 2004-12-24 Mega Chips Corp デジタル映像記録システム
JP3834307B2 (ja) * 2003-09-29 2006-10-18 ファナック株式会社 ロボットシステム
JP2006013120A (ja) * 2004-06-25 2006-01-12 Matsushita Electric Ind Co Ltd 不具合原因究明システム
JP4718253B2 (ja) 2005-06-17 2011-07-06 株式会社日立ビルシステム 監視カメラの画像異常検出装置
US20130027561A1 (en) * 2011-07-29 2013-01-31 Panasonic Corporation System and method for improving site operations by detecting abnormalities
JP5296847B2 (ja) 2011-08-26 2013-09-25 ファナック株式会社 カメラの異常検出機能を備えたロボットシステム
JP6243346B2 (ja) * 2012-11-13 2017-12-06 富士機械製造株式会社 基板生産状況監視装置
EP2804382B1 (en) 2013-05-15 2015-04-29 Axis AB Reliability determination of camera fault detection tests
WO2015182751A1 (ja) * 2014-05-30 2015-12-03 株式会社日立国際電気 監視システムおよびカメラ装置
JP2018051721A (ja) * 2016-09-30 2018-04-05 キヤノン株式会社 異常検出装置、異常検出方法及びプログラム
JP6971020B2 (ja) * 2016-11-14 2021-11-24 株式会社日立製作所 異常検出装置および異常検出方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012111202A1 (ja) * 2011-02-14 2012-08-23 富士機械製造株式会社 部品実装機
JP2013115726A (ja) * 2011-11-30 2013-06-10 Sanyo Electric Co Ltd 電子機器
CN103308661A (zh) * 2013-05-27 2013-09-18 中国矿业大学 用于表达空间拓扑信息的井下瓦斯传感器层次编码方法
JP2016141522A (ja) * 2015-02-02 2016-08-08 三菱電機ビルテクノサービス株式会社 エレベータ乗りかごの異常確認システム

Also Published As

Publication number Publication date
DE102018200280A1 (de) 2018-07-12
US10497146B2 (en) 2019-12-03
CN108462871B (zh) 2019-04-09
JP2018113610A (ja) 2018-07-19
DE102018200280B4 (de) 2019-10-17
US20180197311A1 (en) 2018-07-12
JP6392908B2 (ja) 2018-09-19

Similar Documents

Publication Publication Date Title
CN108462871B (zh) 视觉传感器的异常原因估计***
US11568198B2 (en) Deep auto-encoder for equipment health monitoring and fault detection in semiconductor and display process equipment tools
US20190156474A1 (en) Appearance inspection device
WO2017145628A1 (ja) 作業分析支援装置、作業分析支援方法、コンピュータプログラム、及び情報記憶媒体
CN106254461B (zh) 一种智能车辆感知能力测试平台的数据同步方法
US10671887B2 (en) Best image crop selection
CN117934964A (zh) 用于图像分类的自适应学习
US11982995B2 (en) Defect detection during an automated production process
US11436717B2 (en) Image processing device and image processing method
JP7446060B2 (ja) 情報処理装置、プログラム及び情報処理方法
KR20190014628A (ko) 빅데이터에 기반한 온도 관리 추정 방법 및 시스템
WO2022133828A1 (zh) 产品质量跟踪方法、装置、计算设备以及存储介质
US11557032B2 (en) Device and method for the calibrated checking of a printing on an article
CN113591885A (zh) 目标检测模型训练方法、设备及计算机存储介质
WO2020252926A1 (zh) 自动驾驶行为预测方法、装置、计算机设备及存储介质
JP2020162765A (ja) 認識システム及び認識方法
US11493901B2 (en) Detection of defect in edge device manufacturing by artificial intelligence
KR20190133548A (ko) 인공 신경망 장치 및 그 동작 방법
CN115699124A (zh) 基于硬件的传感器分析
Freedman The opportunities and challenges of the industrial internet of things
CN115393652B (zh) 基于对抗网络的人工智能模型更新方法、识别方法和设备
US11863337B2 (en) Equipment management device, equipment management method, and program
US11336460B2 (en) Method for verifying the display of a content item by a digital display device, and digital display system
TWI647956B (zh) 物件追蹤系統及其方法
US10460206B2 (en) Differentiating physical and non-physical events

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant