CN113524170B - 监视对象的图像处理装置及其控制方法以及存储介质 - Google Patents

Abstract

本发明提供监视对象的图像处理装置及其控制方法以及存储介质。图像处理装置能够有效地分析***的异常的原因。图像处理装置包括监视单元和分析单元。监视单元对监视对象进行监视，以通过对所述监视对象的在不同时间点拍摄的各个图像中的第一区域应用图像处理，来检测所述监视对象中的异常的发生。分析单元通过对检测到异常的时间点之前的时间点的图像中的不同于所述第一区域的第二区域应用图像处理，来分析所述监视单元所检测到的异常的原因。

Description

监视对象的图像处理装置及其控制方法以及存储介质

技术领域

本发明涉及监视对象的图像处理装置及其控制方法以及存储其控制程序的存储介质。

背景技术

存在如下技术：出于产品生产、质量检查、运输等目的，控制机器人(诸如抓握设备、机械臂和致动器)来对工件应用各种操作。此外，存在如下技术：通过对通过使用诸如照相机的摄像装置拍摄工件而获得的存储图像数据应用图像处理，来监视装置和工作条件，测量工件的位置，并且核查工件。由于使用上述技术使得能够在无需通过视觉观察来进行定期监视的情况下切换用于机器人设备的控制指令并进行校正操作，因此可以构建进行更多种期望工作的***。

此外，通过切换图像处理的处理内容，可以将不同的处理应用于一个图像数据。切换图像处理的处理内容的技术例如由日本特开2017-004258号公报(JP 2017-004258A)提出。该公报的技术确定图像中的指定部分并执行取决于确定结果的图像处理。

例如，在生产现场中有效地检测诸如工件的倒塌或掉落等的异常的图像处理的对象区域是在许多情况下服务工件的服务台的周边区域。因此，当在生产现场监视到异常时，优选将工件的服务台的周边区域作为监视区域进行监视。另一方面，为了高精度地分析诸如工件的倒塌或掉落等的异常发生的原因，优选地，在检测到异常之前获得的图像内，将图像处理应用于作为容易引起故障的分析区域的多个不同的区域。

因此，由于用于监视异常的图像和用于分析异常的原因的图像在对象区域和时间上都不同，因此难以通过将图像处理应用于其中一个图像来适当地监视和分析异常。在这种情况下，由于分析***故障的原因所需的时间段可能会变长，因此***的操作效率可能会降低，并且***可能会根据状态而停止操作。另一方面，如果将图像处理定期地应用于作为图像处理的对象的分析所发生异常的原因所需的所有区域，则图像处理的负荷将变高。结果，出现延迟计算处理等的问题。上述公报的技术未解决该问题。

发明内容

本发明提供了能够有效地分析***的异常的原因的图像处理装置及其控制方法、以及存储用于执行控制方法的程序的存储介质。

相应地，本发明的第一方面提供了一种图像处理装置，其包括：监视单元，其被构造为对监视对象进行监视，以通过对所述监视对象的在不同时间点拍摄的各个图像中的第一区域应用图像处理，来检测所述监视对象中的异常的发生；以及分析单元，其被构造为通过对检测到异常的时间点之前的时间点的图像中的不同于所述第一区域的第二区域应用图像处理，来分析所述监视单元所检测到的异常的原因。

本发明提供了一种图像处理装置，其包括：显示设备；以及显示控制单元，其被构造为控制所述显示设备来显示第一画面和第二画面，其中在所述第一画面上，创建相互不同的多个流程图，以及在所述第二画面上，设置与监视异常的图像处理有关的第一流程图以及与分析异常的原因的图像处理有关的第二流程图。

本发明提供了一种图像处理装置的控制方法，所述控制方法包括：对监视对象进行监视，以通过对所述监视对象的在不同时间点拍摄的各个图像中的第一区域应用图像处理，来检测所述监视对象中的异常的发生；以及通过对检测到异常的时间点之前的时间点的图像中的不同于所述第一区域的第二区域应用图像处理，来分析通过所述监视所检测到的异常的原因。

本发明提供了一种非暂时性计算机可读存储介质，其存储使计算机执行图像处理装置的控制方法的控制程序，所述控制方法包括：对监视对象进行监视，以通过对所述监视对象的在不同时间点拍摄的各个图像中的第一区域应用图像处理，来检测所述监视对象中的异常的发生；以及通过对检测到异常的时间点之前的时间点的图像中的不同于所述第一区域的第二区域应用图像处理，来分析通过所述监视所检测到的异常的原因。

根据本发明，能够有效地分析***的异常的原因。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是示出与本发明实施例有关的包括图像处理装置的***的整体构造的示例的图。

图2是示出图1的整个***的处理流程的流程图。

图3是示意性示出图1所示的图像处理装置的框图。

图4是示出在图像处理装置的显示设备上显示的流程图生成画面的示例的图。

图5是示出在图1的***中正常堆叠工件的监视状态的示例的图。

图6是示出在图1的***中工件倒塌的监视状态的示例的图。

图7是示出在图像处理装置的显示设备上显示的操作设置画面的示例的图。

图8A、图8B和图8C是示出所创建的流程图的示例的图。

图9是示出在图像处理装置的显示设备上显示的详细设置画面的示例的图。

图10是示出由连接至图像处理装置的照相机所拍摄的多个帧和异常检测的表示的图。

图11A和图11B是示出指示由图像处理装置执行的分析处理的结果的画面示例的图。

图12是示出由图像处理装置执行的监视处理和分析处理的流程的流程图。

具体实施方式

以下将通过参照附图详细描述根据本发明的实施例。以下实施例中描述的构造仅仅是示例，并且实施例中描述的构造不限制本发明的范围。

在下文中，将参照附图描述实施例。图1是示出与本发明实施例有关的包括图像处理装置的***的整体构造的示例的图。例如，将图1的***安装到生产现场。图1的***包括图像处理装置101、照相机102、103和104、机器人105以及***控制器110。***控制器110能够将指令发送到图像处理装置101和机器人105。图像处理装置101和机器人105根据从***控制器110接收到的指令来操作和停止。由此，控制整个***。

图像处理装置101设置并执行与实施例有关的图像处理。图像处理装置101可以进行与实施例的图像处理不同的图像处理。照相机102、103和104是分别拍摄不同区域以获得图像的摄像装置。图像处理装置101可以内置在照相机102、103和104的一个中，或者可以内置在***控制器110中。图像处理装置101、照相机102、103和104、机器人105和***控制器110可以构成为一体。以下描述假设各个设备被构成为独立的主体。此外，图像处理装置101可以具有***控制器110的功能。在这种情况下，不需要***控制器110，并且图像处理装置101执行***控制器110的功能。

机器人105包含控制机器人105的操作的机器人控制器。图1的机器人105具有采用两轴关节结构的臂和配设在该臂的前端的末端执行器。在图1的示例中，末端执行器是作为抓握机构的机械手。臂可以采用单轴关节结构，或者可以采用具有三个或更多个轴的多关节结构。末端执行器可以是吸附物体的抽吸机构。末端执行器可以通过组合抓握机构和抽吸机构来构造。此外，机器人105可以是矩形机器人等。机器人105的各个机构基于来自诸如***控制器110等的装置的指令来操作。

尽管将机器人105被描述为基于来自***控制器110的指令进行操作，但是机器人105可以基于来自外部协作***的指令进行操作，或者可以以预定周期重复预定操作。此外，可以基于图像处理装置101的图像处理的处理结果来控制机器人105的操作。

照相机102、103和104中的各个根据任意过程和摄像参数来拍摄图像，并将所拍摄的图像(图像数据)发送到图像处理装置101。图像处理装置101将图像处理应用于接收到的图像并输出该图像处理的结果。照相机102、103和104中的各个可以改变各种摄像参数，诸如摇摄/倾斜、变焦倍率、焦点、光圈和信号放大率等。照相机102、103和104可以基于来自图像处理装置101的指令来改变上述各种摄像参数。

***控制器110将指令(控制指令)发送给机器人105。当接收到指令时，机器人105改变姿态以抓握堆叠在工作台106上的工件107。在机器人105转变到预定姿态之后，照相机102、103和104拍摄图像。图像处理装置101获得照相机102、103和104拍摄的图像。

照相机102主要拍摄堆叠在工作台106上的工件107。图像处理装置101对照相机102拍摄的图像应用图像处理，并测量堆叠在工作台106上的工件107的位置和姿态。图像处理装置101在测量了工件107的位置和姿态之后将测量结果回复给***控制器110。***控制器110根据所回复的测量结果来进行校正机器人105的抓握位置的处理。***控制器110将处理结果发送到机器人105。机器人105基于接收到的处理结果来校正抓握位置，并且将工件107整齐地堆叠到服务台108中。例如，服务台108可以静止不动或者可以由带式输送机等运送。

照相机103主要拍摄机器人105。图像处理装置101能够通过对照相机103所拍摄的图像应用图像处理来核查机器人105的行为、位置等。照相机104主要拍摄堆叠在服务台108上的工件109。机器人105进行所谓的取放，即取出堆叠在工作台106上的工件107并将其堆叠在服务台108上。当机器人105进行取放时，图像处理装置101可以对照相机104所拍摄的图像应用图像处理，以确定工件107的类型或通过检查是否出现缺陷来核查工件107的质量。此外，图像处理装置101可以通过控制机器人105来改变堆叠在服务台108上的工件109的位置。应当注意，堆叠在工作台106上的工件应该是工件107，并且堆叠在服务台108上的工件应该是工件109。预定数量的工件109整齐地堆叠在服务台108上。此外，图像处理装置101可以通过使用照相机103的拍摄图像进行图像处理来核查机器人105的行为、位置等。工件107和109是监视对象的示例。监视对象可以不是工件。

在工业用途中，在许多情况下重复进行诸如图1所示的机器人105的取放等的操作。然后，当图像处理装置101和照相机102、103和104用作机器人105和输送机的视觉时，整个***的操作被预先设置在***控制器110中。此外，预先设置照相机102、103和104的拍摄的定时、参数、构图等，使得图像处理装置101将适当地进行图像处理。例如，如图1所示，一些照相机被安装在机器人105的工作区域附近，并且这些照相机分别拍摄预定的工作空间。照相机102、103和104总是或有时将拍摄的图像发送到图像处理装置101。图像处理装置101存储照相机102、103和104所拍摄的图像。从而，图像处理装置101存储在不同的拍摄时间从照相机102、103和104获得的多个图像。此外，如果需要，图像处理装置101能够参照或删除各个存储的图像。

将工作台106和服务台108的坐标作为示教点通知给机器人105。图像处理装置101通过使用机器人105的末端执行器通过示教点的定时或时间来进行图像获得和图像处理。例如，机器人105和***控制器110存储示教点。此外，图像处理装置101可以存储与示教点相对应的摄像参数(曝光、拍摄角度、变焦倍率等)，或者可以存储摄像参数的确定方法(固定值的使用、自动曝光、自动调焦等)。照相机102、103和104可以使用与示教点相对应的摄像参数来拍摄图像。

图像处理装置101存储图像处理的参数和内容。例如，图像处理装置101存储当机器人105抓握工件107时进行的图像处理的参数和内容。此外，图像处理装置101存储当机器人105抓握工件107时以及当机器人105抬起工件107时进行的图像处理的参数和内容。此外，图像处理装置101存储机器人105将工件107从工作台106运送到服务台108的上部空间期间进行的图像处理的参数和内容。此外，图像处理装置101存储当检查服务台108的空状态和操作中的异常(诸如工件的掉落等)的发生状态时进行的图像处理的参数和内容。

图2是示出图1的整个***的处理流程的流程图。与实施例有关的***根据用户使用图像处理装置101创建的流程图进行操作。另一方面，与实施例有关的***可以根据用户使用除图像处理装置101以外的预定装置创建的流程图进行操作。此外，当用户在GUI(图形用户界面)上选择打包功能时可以实现与实施例有关的***的操作，该打包功能包含根据其功能或目的以固定形式预先准备的组合流程图。此外，可以通过调整参数来实现与实施例有关的***的操作。

图2的流程图示出了在机器人从工作台106取出工件107之后、直到机器人将工件107以对齐状态堆叠在服务台108上为止而执行的一系列流程。当开始***的操作时，照相机102、103和104开始摄像操作。照相机102、103和104总是或有时将拍摄到的图像发送到图像处理装置101。图像处理装置101存储接收到的图像。在S202中，***控制器110向机器人105发出指令，以将机械手移动到工作台106的上部空间，并且机器人105基于接收到的指令进行操作。此时，机器人105将前端机械手移动到例如可以抓握工件107的位置。

接下来，***控制器110指示图像处理装置101进行图像处理。在S203中，图像处理装置101根据指令对从照相机102、103和104获得的图像应用图像处理。图像处理装置101基于从照相机102获得的图像来确定工件107是否堆叠在工作台106上，并测量工件107的位置和相位。此外，图像处理装置101基于从照相机104获得的图像来确定工件109是否堆叠在服务台108上，并且测量工件109的位置和相位。图像处理装置101将测量结果发送到***控制器110。由此，***控制器110能够检测工作台106或服务台108附近的异常的发生状态。

在S204中，***控制器110基于在S203中测量的图像处理的结果来进行机器人105的校正控制。此时，***控制器110将机械手移动到工件107的上部空间并控制机械手的旋转，以限制机器人105的操作。此外，***控制器110可以确定工件107或工作台106的状态，并可以根据确定结果来指示机器人105改变操作速度或停止***。

在S205中，机器人105基于来自***控制器110的指令，将机械手移动到可以抓握工件107的位置。具体地说，将机械手移动到工件107的上部位置(右上位置)。在S206中，机器人105基于从***控制器110接收到的用于抓握(拾取)工件107的指令来控制作为末端执行器的机械手的打开和关闭。

接下来，在S207中，机器人105基于来自***控制器110的指令移动机械手，使得工件107将位于服务台108上方。通过S208，图像处理装置101基于来自***控制器110的指令对从照相机104获得的图像应用图像处理，并测量服务台108的位置和姿态。然后，图像处理装置101计算与堆叠有工件107的服务台108的位置有关的信息，并将计算结果发送到***控制器110。在S209中，机器人105基于来自***控制器110的指令移动机械手，使得可以将工件109堆叠在服务台108上的服务位置的高度。此时，***控制器110可以基于取放的重复次数和从外部获得的堆叠工件的数量来确定服务位置。

在S210中，机器人105基于来自***控制器110的指令来设置(放置)工件109。由此，将工件109堆叠在服务台108上。在S211中，机器人105基于来自***控制器110的指令将机械手移动到服务台108的上部空间。在S212中，***控制器110确定机器人105的操作次数是否达到预定计数。当在S212中确定为“否”时，***控制器110将流程返回至S202。另一方面，当在S212中确定为“是”时，***控制器110结束图2的处理。可以任意设置预定次数。

如上所述，照相机102、103和104以及图像处理装置101被用作机器人105的视觉，并且还被用于监视***的工作条件。例如，照相机102、103和104以及图像处理装置101能够监视是否发生堆叠在工作台106上的工件107的倒塌或堆叠在服务台108上的工件109的倒塌。此外，照相机102、103和104以及图像处理装置101能够定期地监视在机器人105的工作区域(例如，工作台106和服务台108)附近是否发生将阻碍机器人105的操作的异常。

接下来，将描述图像处理装置101。图3是示出图像处理装置101的构造示例的框图。图像处理装置101连接到照相机102、103和104、显示设备301和输入设备302。显示设备301是显示图像的阴极射线管或液晶面板。输入设备302包括键盘、鼠标和配设在显示设备301上的触摸面板。输入设备302还可以包括输入操作控制器和手势输入装置。显示设备301可以显示可以通过触摸面板操作的GUI画面。即，输入设备302的一部分和显示设备301构成一体的触摸面板显示单元。此外，显示设备301和输入设备302可以内置在图像处理装置101中。

在图3的示例中，图像处理装置101具有分别与照相机102、103和104、显示设备301和输入设备302相对应的接口303。在图3中，接口被表示为“I/F”。各个接口303可以符合适合于与各个设备通信的标准。例如，接口303由网络接口、串行通信接口等构成。

图像处理装置101具有控制器304和存储器单元305。接口303、控制器304和存储器单元305通过内部总线相互连接。控制器304控制整个图像处理装置101。此外，控制器304还用作进行图像处理的计算的计算单元。例如，控制器304具有CPU和图像处理处理器。存储器单元305可以采用例如ROM、RAM、诸如EEPROM等的非易失性存储器设备或外部存储设备(HDD或由半导体设备构成的存储单元)。存储器单元305可以由各存储单元的文件区域或虚拟存储区域构成。通过由控制器304的CPU运行存储在存储器单元305中的程序来实现该实施例的处理。

数据存储区域306由存储器单元305中的RAM区域、外部存储设备的文件区域或虚拟存储区域等构成。数据存储区域306可以临时存储处理数据并且临时存储图像处理的设置参数。此外，存储器单元305存储用于进行实施例的图像处理的图像处理程序307。图像处理程序307是根据利用输入设备302进行的各种操作来改变图像处理的设置并执行该图像处理的软件。与图像处理的设置改变有关的信息可以被存储在存储器单元305或数据存储区域306中，并且也可以被删除。

图像处理程序307由实现各种功能的软件模块构成。图像处理功能308是实现图像处理的图像处理程序307的主体。图像处理功能308可以使用图像处理库309。图像处理库309被实现为例如静态或动态链接的库。图像处理设置功能310根据从输入设备302设置的各种操作，确定将由图像处理程序307实现的处理的行为。

此外，图像处理程序307包括各种I/O(输入和输出)例程的功能。外部设备控制功能311控制外部设备。存储数据生成功能312生成存储数据。指令接收功能313接收使用输入设备302进行的操作的内容并识别该操作内容。存储器控制功能314将数据临时存储到存储器单元305的RAM区域或控制器304的高速缓存区域。显示画面生成功能315生成在显示设备301上显示的显示画面。

图像处理程序307的各个功能以应用(实用)程序的形式或者以被构成为静态或动态链接的库的子例程的形式被存储在存储器单元305中。从而，实现了图像处理程序307的各个功能。运行图像处理程序307的控制器304与监视单元、分析单元和显示控制单元相对应。

图像处理装置101通过由控制器304运行图像处理程序307来控制照相机102、103和104并进行图像处理等。此外，图像处理装置101接收使用输入设备302进行的用户操作，并从诸如***控制器110等的外部控制设备接收指令。控制器304根据用户操作或来自外部控制设备的指令调用图像处理程序307的功能和库，并进行计算处理。然后，图像处理装置101将图像处理的结果发送到***控制器110。此外，图像处理装置101能够将图像处理的结果作为日志累积在外部存储器或存储器单元305中。此外，图像处理装置101的图像处理设置功能310可以通过将图像处理的结果叠加在画面布局上来生成画面，并且可以在显示设备301上显示所生成的画面。

接下来，将描述用于构建图像处理程序307的流程图创建画面。图4是示出流程图创建画面的示例的图。流程图创建画面对应于第一画面。通过由控制器304运行流程图创建画面上创建的流程图所构建的图像处理程序307，来实现图2中的S203和S208中的处理。在显示设备301上显示流程图创建画面。在流程图创建画面上，用户通过使用输入设备302自由地设置图像处理程序307进行的处理的内容。此外，图像处理程序307可以由除图像处理装置101以外的装置构建。在这种情况下，图像处理装置101从其他装置获得图像处理程序307，并将其存储到存储器单元305。此外，当用户在GUI上选择打包功能时，可以实现图像处理程序307，该打包功能包含根据其功能或目的以固定形式预先准备的组合流程图。此外，可以通过调整参数来实现图像处理程序307。

如图4所示，流程图创建画面主要分为部件列表区域401和流程图区域402。在部件列表区域401中，显示了指示各个处理的内容的多个处理部件的列表。处理部件与处理单位相对应。处理部件不限于图4的示例。用户操作输入设备302的鼠标，以从部件列表区域401中选择处理部件，并且利用流程图区域402中的线来连接所选择的处理部件。例如，用户使用鼠标操作鼠标指针401P，以拖动部件列表区域401中的处理部件并将其放置在流程图区域402中。然后，用户进行操作以利用线来连接流程图区域402中的处理部件。控制器304能够基于用户操作来创建流程图。

将描述图4的流程图区域402中的流程图。流程图区域402中的流程图由用户在GUI上创建。S404的“接收”是图像处理装置101从***控制器110接收图像处理的指令的处理。可以预先在流程图区域402中将S404的处理部件设置为初始值。该指令可以指定图像处理的流程图、用于执行图像处理的参数以及要使用的图像数据的时间。S405的“图像获得”是用于从照相机102、103和104获得并存储图像的处理。通过S405的处理而获得的图像数据可以是存储在存储器单元305和外部存储设备中的图像数据中的最新图像数据，或者可以是在从***控制器110所指定的时间(测量时间)的图像数据。

S406的“存在核查”是用于核查所获得的图像数据中是否存在工件的处理。图像处理库309提供了工件存在核查的方法。例如，可以基于使用亮度信息和颜色信息提取的工件的面积来进行工件存在核查。此外，可以通过使用诸如阴影分布或亮度梯度等的形状特征信息的模式匹配来进行工件存在核查。此外，可以通过提取亮度梯度等于或大于预定值的像素作为边缘信息并且通过使用所提取的边缘的位置、重心或倾斜等来进行工件存在核查。

S407的“确定处理”是用于确定S406的“存在核查”的处理结果是否落在所创建的流程图的阈值范围内的处理。例如，应通过S406的“存在核查”的处理来提取工件的面积。在这种情况下，S407的处理确定所提取的工件的面积(平方测度)在预定区域中的程度。在该实施例中，基于S407的“确定处理”的处理结果来检测异常的发生。S408的“结果记录”是用于记录S405和S406的处理的执行结果以及S407的处理结果的处理。

例如，当执行S408的处理时，可以存储S404的处理的开始时间或预定执行选项的内容。此外，当执行S408的处理时，存储通过S405的处理而获得的图像数据，并且可以存储有关图像数据的拍摄时间、图像大小和摄像参数。此外，当执行S408的处理时，可以存储与通过S406的处理提取的工件有关的面积、阴影信息、梯度信息和颜色信息。此外，当执行S408的处理时，可以存储S407的处理的确定结果。以上各种数据被存储在数据存储区域306、RAM区域、控制器304的高速缓存区域等中。

S409的“回复”是用于输出通过执行S408的处理而存储的各种数据并结束流程图的处理的处理。S409的处理部件可以被预先在流程图区域402中设置为初始值。当执行S409的处理时，可以执行将处理结果输出到***控制器110的处理、将处理结果存储到数据存储区域306的处理以及在显示设备301上显示处理结果的处理。可以参考并且可以删除存储在数据存储区域306、存储器单元305的RAM区域以及控制器304的高速缓存区域中的各种数据。

因此，用户能够通过从部件列表区域401中选择期望的处理部件并将其添加到流程图区域402来创建期望的流程图。在图4的示例中，生成由流程图区域402中的处理部件S404至S409组成的流程图403。即，图像处理装置101基于用户操作所创建的流程图来生成图像处理程序307。这提高了图像处理程序307的设计的自由度。

在描述中，应通过用户操作从图4的流程图403的处理部件中选择处理部件。例如，可以通过双击输入设备302的鼠标来选择处理部件。当接收到选择处理部件的操作时，控制器304将显示在显示设备301上的画面改变为用于设置所选择的处理部件的详细处理的详细设置画面。稍后将描述详细设置画面的细节。

图4中的流程图403是基于用户操作而创建的流程图的示例。可以创建使用“条件分支”的处理部件的流程图。在这种情况下，所创建的流程图从具有不同内容的处理之中选择将根据条件执行的处理。图4中的流程图创建画面包括列表框421、OK按钮422和关闭按钮423。

提供列表框421用以添加新流程图或选择已经创建的流程图。当添加新流程图时，用户能够在列表框421中输入新流程图的名称。在图4的示例中，用户能够通过对列表框421的用户操作，以下拉菜单的形式添加或选择流程图。在该实施例中，在流程图创建画面上创建多个流程图。指定流程图的名称与相应创建的流程图相关联。例如，名称“Flow1(流程1)”对应于图4中的流程图403。

OK按钮422用于固定当前显示在流程图区域402上的流程图。当接收到OK按钮422的按下操作时，控制器304生成与当前显示在流程图区域402上的流程图相对应的程序。如上所述，在流程图创建画面上，根据用户操作来创建相互不同的多个流程图。控制器304生成与所创建的多个流程图相对应的多个程序。关闭按钮410用于关闭流程图创建画面。

如上所述，照相机102、103和104以及图像处理装置101可以用于监视***的工作条件。例如，照相机102、103和104以及图像处理装置101能够监视是否发生堆叠在工作台106上的工件107或堆叠在服务台108上的工件109的倒塌。此外，照相机102、103和104以及图像处理装置101监视机器人105的操作是否偏离预定操作。

在下文中，将描述通过图像处理程序307对***的定期监视和所发生异常的原因的分析处理。图5是示出工件109正常堆叠在服务台108上的监视状态的示例的图。照相机104拍摄堆叠在服务台108上的工件109。监视区域502由照相机104拍摄的图像数据501中的虚线指示。监视区域502是第一区域的示例。在描述中，图像处理装置101应当总是从照相机102、103和104获得图像数据。图像处理装置101的控制器304通过使用阴影信息、轮廓提取、模式匹配等确定工件109是否进入监视区域502来确定工件109是否被稳定地堆叠。

与S406的处理一样，控制器304通过对所获得的图像数据应用图像处理来计算工件的位置，并且确定计算出的工件的位置是否进入监视区域502。当确定为计算出的工件的位置进入监视区域502时，控制器304检测到发生异常。

此外，控制器304可以根据照相机102、103和104的拍摄时间来改变监视区域502的大小。例如，假设***全天工作的情况。假设在白天，许多操作员在***周围从事操作。因此，操作员可能进入监视区域502。在这种情况下，错误地检测到异常。因此，控制器304可以在白天(例如，操作员从事操作的时段)将监视区域502设置为比预定区域窄。另一方面，由于操作员在夜间几乎不进入监视区域502，因此很少有错误检测到异常的机会。因此，控制器304可以在夜间(例如，除了操作员从事操作的时段之外的时段)将监视区域502设置为比预定区域大。控制器304可以根据拍摄时间来改变诸如异常检测阈值和轮廓检测灵敏度等的图像处理参数。例如，由于假设白天的环境变化大，因此控制器304可以通过提高检测阈值以降低异常检测的灵敏度来减少多余的检测。此外，由于假设夜间的环境变化小，因此控制器304可以通过降低异常检测阈值来提高异常检测的灵敏度。

图6是示出堆叠在服务台108上的工件倒塌的监视状态的示例的图。在图6的示例中，从底部起的第二级的工件109由于倒塌而掉落并进入监视区域502。此时，如图6所示，控制器304能够通过对照相机104拍摄到的图像数据应用图像处理来检测出工件109进入监视区域502。即，控制器304能够检测***异常(工件堆叠异常)。当检测到***异常时，控制器304进行用于分析该异常的原因的图像处理(分析处理)。

接下来，将描述监视异常并分析异常的原因的分析处理。图7是示出用于设置发生异常时的操作的操作设置画面的示例的图。图7的画面与第二画面相对应。在图7的画面(GUI)中，列表框701是用于选择照相机102、103和104中的哪一个用于显示实时图像的选择项。在图7的示例中，具有下拉菜单形式的列表框701用于选择图像数据被显示为实时图像的照相机。例如，用户能够通过操作输入设备302的鼠标，利用鼠标指针700P在列表框701中选择一个照相机，并且可以从列表框701中选择任何照相机。使用设置按钮702，以在图像显示区域703上显示在列表框701中所选择的照相机的图像。在图7的示例中，照相机104的实时图像被显示在图像显示区域703上。

列表框704是用于设置由***定期执行的监视图像处理的流程图(第一流程图)的设置项。如上所述，在图4的流程图创建画面上创建多个流程图，并且与各个流程图相关联地存储其名称。列表框704是用于选择用于监视***中的异常的发生的流程图的选择项。例如，用户能够使用鼠标从列表框704的下拉菜单中选择所创建的期望流程图。图7示出了选择“Flow1”作为用于监视异常的发生的流程图的示例。提供复选框706以确立是否进行***的监视。

标签707是用于设置检测异常时的分析处理的操作的设置项。标签707可以被添加和删除。例如，当进行用于添加或删除标签707的操作时，控制器304进行控制以添加或删除标签707。当存在两个或更多个标签707时，可以将检测异常时的不同操作设置给相应标签。图7的示例中存在两个标签707。

标签707中的“异常状态操作1”的标签包括第一列表框710、第二列表框711和复选框712。“异常状态操作2”的标签可以以相同的方式或不同的方式构造。标签的数量和列表框的数量是任意的。

提供第一列表框710和第二列表框711中的各个，以选择当检测到异常时执行的分析处理的流程图(第二流程图)。例如，用户能够使用鼠标从下拉菜单格式的第一列表框710和第二列表框711中的各个中所创建的流程图当中选择期望的流程图。在图7的示例中，选择所创建的流程图“Flow2(流程2)”和“Flow5(流程5)”。因此，与监视图像处理有关的第一流程图和与用于分析异常原因的图像处理有关的第二流程图可以在单个画面(图7中的GUI)上相互关联地设置。应当注意，如下所述，流程图Flow2包括核查工件的类型的处理，并且流程图Flow5包括核查工件的倾斜的处理。

当进行分析处理时，控制器304基于“Flow2”和“Flow5”的流程图运行图像处理程序307。控制器304可以并行或顺次进行“Flow2”和“Flow5”。提供复选框712以确立在检测到异常时是否停止***。当选中复选框712时，处理伴随***停止。当未选中复选框712时，处理不伴随***停止。

控制器304可以改变“Flow2”和“Flow5”的执行优先级，并且可以根据异常的程度来切换标签。例如，在标签707中的“异常状态操作1”的标签中应选中复选框712，而在“异常状态操作2”的标签中不应选中复选框712。在这种情况下，当“Flow1”的处理所检测到的异常的程度小于预定程度时，控制器304优先执行不伴随***停止的“异常状态操作2”的处理。在这种情况下，***能够维持工作状态。

此外，控制器304应根据流程图“Flow1”来提取图像数据中的工件的面积。此时，当进入监控区域502的工件的面积小于预定面积，并且当面积的变化量在小于预定值的范围内变化时，估计为工件的堆叠状态是稳定的。在这种情况下，由于工件倾斜的可能性低，因此控制器304优先执行作为分析处理的用于核查工件的类型的流程图“Flow2”的处理。另一方面，当进入监视区域502的工件的面积不小于预定面积，并且当面积的变化量在大于预定值的范围内变化时，控制器304确定为工件倒塌。在这种情况下，控制器304优先执行作为分析处理的用于核查工件的倾斜的流程图“Flow5”的处理。即，控制器304根据流程图“Flow1”的处理的执行结果来设置优先执行流程图“Flow2”的处理和流程图“Flow5”的处理中的哪一个。

图7的GUI中的测试运行按钮713用于运行***监视操作和异常发生时的操作作为测试。在线按钮714用于切换到如下状态：等待开始***监视操作和异常发生时的操作，直到在线接收到来自外部设备的指令为止。日志显示区域715用于显示与诸如在***监视操作期间***中发生的异常等的现象有关的信息作为日志。

图8A、图8B和图8C是示出所创建的流程图的示例的图。在图7中选择的三个流程图“Flow1”、“Flow2”和“Flow5”分别在图8A、图8B和图8C中示出。图8A的流程图“Flow1”描述了用于监视***和检测异常的处理。S801至S806的处理分别与图4所示的S404至S409的处理相同。

图8B的流程图“Flow2”描述了核查工件的类型的分析处理。S811的处理“接收”与图4中的S404的处理相同。流程图“Flow2”描述了异常发生时接收到的处理。因此，当执行流程图“Flow2”的S811的处理时，控制器304可以将诸如数字信息、位置信息和确定时间等的信息输出作为基于前一阶段的流程图“Flow1”的图像处理结果。此外，例如，控制器304可以将多条信息输出到***控制器110。

S812的处理与图4中的部件列表区域401中包括的“确定改变检测”相对应。这时，控制器304将预定确定值变化超过一定量的时间识别为***中发生异常的时间。另选地，控制器304可以将预定确定值开始变化的时间识别为***中发生异常的时间。确定值存储在数据存储区域306等中。当执行S812的处理时，控制器304可以通过参照所存储的确定值的数据来确定该确定值变化是否超过一定量。S812中的确定阈值可以被任意设置或者可以从外部设备获得。此外，S812中的确定阈值可以基于所存储的确定值的数据的统计分析而动态地变化。

当执行S813的“图像获得”的处理时，控制器304获得作为应用图像处理的对象的图像。此时，控制器304获得通过S812的处理而检测到的时间(***中发生异常的时间)的图像数据。从而，控制器304能够通过执行流程图“Flow1”的处理而获得检测到异常的时间之前的时间的图像数据，作为异常发生时的图像数据。

S814的处理与图4中的部件列表区域401中所包括的“数据代码读取”相对应。当执行S814的处理时，控制器304通过对所获得的图像数据应用图像处理来读取工件的数据代码。数据代码例如可以是一维代码、二维代码或字符和图的组合图案。图像处理库309可以提供数据代码读取方法。例如，控制器304可以在使用亮度信息、颜色信息等提取数据代码之后进行数据代码读取处理。数据代码可以粘贴在工件上或者可以刻印在工件上。

当执行S815的“确定处理”时，控制器304确定通过S814的处理读取的数据代码是否与存储在数据存储区域306或存储器单元305的RAM区域中的词典数据或工件类型相对应。当读取到的数据代码不与预先存储的词典数据或工件类型相对应时，控制器304通过S815的确定处理识别为发生了异常。当在S814的处理中数据代码的读取失败时，控制器304同样地通过S815的确定处理识别为发生了异常。S816的处理与图4中的S412的处理相同。并且，S817的处理与图4中的S407的处理相同。

图8C的流程图“Flow5”描述了核查工件的倾斜的分析处理。在图8C的S821至S827的处理中，S824的处理与图8B的流程图“Flow2”的S814的处理不同。S824以外的处理与图8B的流程图“Flow2”相同。另一方面，S822的“确定改变检测”的处理可以与图8B的流程图“Flow2”的S812的处理相同，或者可以与之不同。例如，S822的“确定改变检测”的处理可以将在一定区间中的存储的确定值的数据近似为直线或曲线，并且可以将直线或曲线的倾斜超过预定值的时间检测为异常发生的时间。S822的“确定改变检测”的处理可以通过对数据进行统计处理来计算所存储的确定值的数据的波动作为标准偏差等，并且可以将确定值与基准值的偏差(作为波动的值)超过一定量的时间检测为异常发生的时间。

S824的处理与图4中的部件列表区域401中所包括的“倾斜核查”相对应。可以由图像处理库309提供倾斜核查方法。当执行S824的处理时，控制器304可以提取图像的亮度梯度并且可以使用所提取的亮度梯度的近似直线来计算倾斜。此外，当执行S824的处理时，控制器304可以基于预定的特性特征信息进行模式匹配，并且可以使用作为模式匹配的结果的匹配信息来计算倾斜。

接下来，将描述详细设置画面。图9是示出与存在核查处理相关的详细设置画面的示例的图。详细设置画面对应于第三画面。详细设置画面用于设置部件列表区域401中列出的各个处理部件。此外，可以根据可设置项动态地生成详细设置画面。图9的详细设置画面是用于使用阴影信息通过图像处理方法来计算工件的位置和姿态并核查工件的存在的GUI。在图9的详细设置画面上，可以设置经受相应处理部件的处理的处理区域。在图9的示例中，核查到工件的存在的区域是处理区域。

例如，与S814的“数据代码读取”的处理相关地设置处理区域。在这种情况下，在服务台108上将要堆叠工件的区域周围设置处理区域。此外，与S824的“倾斜核查”的处理相关地设置处理区域。由于倾斜检查的对象是堆叠在服务台108上的从底部起的第二级或更上方的工件，因此在堆叠在服务台108上的从底部起的第二级的工件周围设置处理区域。处理区域的设置不限于上述示例。经受S814的“数据代码读取”处理的处理区域和经受S824的“倾斜核查”处理的处理区域都与监视区域502不同。

图9的详细设置画面上的选择项901是用于选择图像的列表项。当用户通过使用鼠标按下选择项901时，控制器304显示存储在存储器单元305中的图像的文件名和“照相机图像”的字符串作为列表形式的下拉菜单。尽管图像的文件名是指定图像的信息，但是指定图像的信息不限于文件名。

当用户给出从所显示的列表中选择期望图像的文件名的操作时，控制器304将与所选择的文件名相对应的图像登记为用于设置的设置图像。在图9的示例中，选择与文件名“主图像”相对应的图像作为设置图像。设置项902用于指定要进行拍摄的照相机。图9的示例示出了照相机104进行拍摄。

设置图像在图像显示区域907中显示。在图9的详细设置画面中，设置项903用于设置区域的形状。在设置项903中，可以从矩形、圆形、椭圆形、环形等中选择区域的形状。在图9的示例中，通过以列表形式显示下拉菜单来建议选择。根据用户对下拉菜单的操作来设置区域的形状。区域的形状可以通过组合上述形状中的一些来形成，或者可以通过添加或排除预定区域来形成。此外，用户可以通过使用鼠标绘制区域来自由地设置该区域的形状。

图9示出了矩形区域907A、907B和907C的设置示例。矩形区域907A、907B和907C与上述监视区域502相同。如图9所示，矩形区域907A和矩形区域907C具有相同的高度。矩形区域907B连接矩形区域907A和矩形区域907C。设置项904用于在设置图像(图像数据)的xy坐标系中设置一个矩形区域。将矩形区域的左上角的x坐标和y坐标的数值以及矩形区域的右下角的x坐标和y坐标的数值输入设置项904。当用户进行操作以将各个坐标的数值输入设置项904时，基于所输入的数值来设置一个矩形区域。在应用的图像坐标系中，原点是图像数据的左上角，水平方向由x轴表示，并且垂直方向由y轴表示。

代替直接输入数值，可以通过对向上计数按钮和向下计数按钮的按压操作来调整设置项904中的坐标的数值。当已经设置了一个矩形区域时，控制器304显示叠加在当前显示在图像显示区域907上的设置图像的图像数据上的设置矩形区域。由此，用户能够设置矩形区域907A、907B和907C，同时视觉上识别图像显示区域907中的设置图像。

接下来，将描述关于工件存在核查的设置。设置项905用于设置核查方法。图9的示例示出了根据“面积”进行工件存在核查。控制器304能够通过对在图像显示区域907中当前显示的图像数据应用图像处理来检测工件的面积。设置项906用于设置检测阈值，该检测阈值用于确定工件是否处于由矩形区域907A、907B和907C包围的凹形区间中。在图9的示例中，检测阈值是进入矩形区域的工件的面积的绝对值。检测阈值可以是工件的面积与该区间的比率。例如，可以基于落入特定阴影范围或颜色浓度范围内的像素的面积来检测通过图像处理求出的工件的面积。此外，设置项911用于设置用以检测预定确定值(进入矩形区域的工件的面积)的变化量的变化阈值。设置项911的细节将在后面提及。

测试运行按钮908用于进行测试拍摄。当用户按下测试运行按钮908时，控制器304控制在设置项902中登记的照相机104进行拍摄。可以预先登记并可以切换由设置项902指定的使用照相机。当图像处理装置101获得由照相机104拍摄的图像时，控制器304在由矩形区域907A、907B和907C包围的区间内检测工件。从而，控制器304能够基于进入矩形区域的工件的面积是否大于检测阈值来核查工件的存在。

OK按钮909用于保存上述各种设置。当用户按下OK按钮909时，控制器304将设置到设置项的信息与图像处理程序307相关联地存储到存储器单元305中。当执行图像处理程序307时或者当再次设置设置项时，控制器304读取存储在存储器单元305中的设置到设置项的信息。取消按钮910用于取消设置到设置项的信息。当用户按下取消按钮910时，控制器304取消设置到设置项的信息。

如上所述，控制器304基于在流程图创建画面上创建的内容来生成多个流程图。此外，控制器304基于操作设置画面上设置的内容，生成监视***中异常的发生的流程图，并且生成当检测到异常的发生时执行的多个流程图。然后，控制器304生成由上述各种流程图构成的图像处理程序307。然后，控制器304通过运行图像处理程序307来进行用于检测异常的监视处理和用于分析异常的原因的分析处理。

接下来，将描述监视***中异常的发生。图10是示出多个帧和用于检测异常的图像的图。图10中的帧1至6以时间序列示出了照相机104所拍摄的帧(图像数据)。图10示出了根据上述流程图“Flow1”进行异常检测的示例。帧的数量不限于六个。各个帧被存储在存储器单元305等中。上述监视区域502由各帧中的虚线指示。监视区域502与图9中的矩形区域907A、907B和907C相对应。

帧1示出了通过机器人105的末端执行器将工件堆叠在服务台108上的状态。当正在执行图8A中所示的流程图“Flow1”的处理的控制器304执行S803的处理时，控制器304提取进入监视区域502的工件的面积，并确定所提取的面积是否大于检测阈值。在图9的示例中，检测阈值被设置为“100”。在帧1中，进入监视区域502的工件的面积为“0”。因此，由于进入监视区域502的工件的面积等于或小于检测阈值，因此控制器304确定为***正常。

在帧2至5中，机器人105的末端执行器缩回。控制器304通过执行流程图“Flow1”的处理来确定***中是否发生异常。在描述中，堆叠在服务台108上的从底部起的第二级的工件的堆叠位置不合适，并且倾斜逐渐变大。由此，在帧2之后，进入监视区域502的工件(从底部起的第二级的工件)的面积逐渐变大。在帧2至5中，进入监视区域502的工件的面积分别是“7”、“20”、“25”和“60”。因此，由于进入监视区域502的工件的面积小于检测阈值，因此控制器304确定为***正常。在帧6中，进入监视区域502的工件的面积为“110”。因此，由于进入监视区域502的工件的面积等于或大于检测阈值，因此控制器304确定为***中发生了异常。

在描述中，控制器304在帧6中通过执行流程图“Flow1”的处理来检测异常。然而，异常发生的时间可能在帧6的时间之前。因此，为了分析异常的原因，优选对通过执行流程图“Flow1”的处理而检测到异常的时间之前的时间的图像执行分析处理。

在图8B的“Flow2”中的S812中以及图8C的“Flow5”中的S822中进行确定改变检测。在图9的设置项911中，确定值的变化阈值被设置为“10”。在这种情况下，控制器304将进入监视区域502中的工件的面积在相邻帧之间的变化量变为等于或大于变化阈值“10”的时间点检测为变化点(开始发生异常的时间)。在图10的示例中，进入监视区域502的工件的面积的变化量在帧3的时间点变为“13”，并且大于变化阈值。在这种情况下，控制器304在帧3的时间点检测到***中开始发生异常。

控制器304可以间隔剔除执行流程图“Flow1”的处理的帧。例如，控制器304间隔剔除奇数帧并且可以仅对偶数帧的帧执行流程图“Flow1”的处理。由此，减轻了处理负荷。

此外，当执行在S812和S822中的确定改变检测的处理时，控制器304可以间隔剔除帧。例如，当间隔剔除奇数帧时，控制器304可以在相邻偶数帧之间的变化量变为等于或大于变化阈值的时间点检测到***中开始发生异常。在这种情况下，控制器304在帧4的时间点检测到***中开始发生异常。此外，当控制器304间隔剔除帧并且检测到***中开始发生异常时，可以对被间隔剔除并且未被处理的奇数帧执行S812和S822的处理。在这种情况下，控制器304在帧3的时间点检测到***中开始发生异常。即，在控制器304检测到***中开始发生异常之后，对未处理的帧执行S812和S822的处理。因此，减轻了处理负荷，并且可以进行精确的异常检测。

如上所述，当检测到异常时，控制器304执行流程图“Flow2”和“Flow5”的分析处理以分析检测到的异常的原因。图11A和图11B是示出指示分析处理的执行结果的画面示例的图。在该描述中，控制器304将在帧3的时间点检测到***中开始发生异常。当控制器304执行流程图“Flow2”的处理时，在显示设备301上显示图11A的结果显示画面1101。当控制器304执行流程图“Flow5”的处理时，在显示设备301上显示图11B的结果显示画面1111。

当检测到开始发生异常时，控制器304可以显示结果显示画面1101和1111。此外，当用户按下操作画面上的特定按钮或部件列表区域401中列出的处理部件时，控制器304可以显示结果显示画面1101和1111。首先将描述结果显示画面1101。结果显示画面1101包括选择项1102。选择项1102用于切换流程图。在图11A和图11B的示例中，可以以下拉菜单形式切换流程图。即，结果显示画面1101和结果显示画面1111是可切换的。

由于在图11A中选择了“Flow2”，因此在结果显示画面1101上显示流程图“Flow2”的处理的执行结果。在图像显示区域1103中显示帧。在图11A的示例中，显示帧3。在图像显示区域1103中通过点划线指示的处理区域1104被设置为进行工件的堆叠操作的区域。该区域是与监视区域502不同的区域。流程图“Flow2”包括S814的“数据代码读取”的处理。控制器304通过执行“数据代码读取”的处理，在结果显示画面1101上显示数据代码读取结果1105和1106。此时，控制器304在预先登记的登记物品列表中查询检测到的数据代码，对登记的物品进行计数，并且在图像显示区域1103中显示计数结果1107。例如，当未登记的物品被混合为工件时，工件的大小和重量可能与其他工件的大小和重量不同，这可能变成倒塌的原因。控制器304通过执行流程图“Flow2”的处理来进行分析处理，并且如图11A所示通过显示已登记物品的数量，向用户通知导致异常的未登记物品的混入。

由于在图11B中选择了“Flow5”，因此在结果显示画面1111上显示流程图“Flow5”的处理的执行结果。省略关于与图11A相同的部分的描述。在图像显示区域1113中，通过点划线指示处理区域1114。处理区域1114被设置在堆叠在服务台108上的工件当中的、从底部起第二级及更上方的工件的位置。处理区域1114是与监视区域502不同的区域。流程图“Flow5”包括S824的“倾斜核查”的处理。控制器304通过执行“倾斜核查”的处理，在结果显示画面1111上数字地显示工件的倾斜的检测结果。此时，当检测到的倾斜在预先登记的允许倾斜的范围外时，控制器304可以确定为发生倾斜。例如，当机器人105对工件的抓握或机器人105的控制动作不稳定或不准确时，堆叠在服务台108上的工件可能变得不稳定，这可能导致倒塌、碰撞、掉落等。控制器304通过执行流程图“Flow5”的处理来进行分析处理，并如图11B所示显示导致异常的工件的倾斜。

此外，控制器304不仅可以对检测到异常的帧3执行上述分析处理，而且还可以对帧3之前和之后的帧执行上述分析处理。由此，可以分析异常发生趋势。

接下来，将描述监视处理和分析处理的整个流程。图12是示出监视处理和分析处理的流程的流程图。控制器304基于由上述流程图创建画面、操作设置画面和详细设置画面所设置的内容来生成各个流程图。控制器304生成由流程图构成的图像处理程序307，并将其存储到存储器单元305。

然后，在S1201中，控制器304从存储器单元305中读取图像处理程序307并运行该程序。在S1202中，控制器304从存储器单元305中获得图像。在S1203中，控制器304通过执行上述流程图“Flow1”的处理来确定***中是否发生了异常。在S1204中，控制器304确定是否检测到异常。当在S1204中确定为“是”时，控制器304使处理进入S1205。在S1205中，控制器304分析异常的原因。此时，例如，控制器304通过执行上述流程图“Flow2”和“Flow5”的处理来分析异常的原因。当在S1204中确定为“否”时，控制器304使处理进入S1206。在S1206中，控制器304显示如图11A或图11B所示的结果显示画面。在S1207中，控制器304确定是否结束图12的处理。例如，当满足预定的结束条件时，控制器304可以确定为结束该处理。当在S1207中确定为“否”时，控制器304将流程返回至S1202。当在S1207中确定为“是”时，控制器304结束图12的处理。

如上所述，在本实施例中，图像处理装置通过在***的操作期间在特定图像区域中应用图像处理来定期监视***的状态。然后，当检测到异常时，图像处理装置对发生异常时的图像数据中的其他图像区域应用图像处理。由此，可以高精度地分析异常发生的原因。

此外，将用于监视异常的流程图与用于分析异常的原因的流程图相关联。从而，可以总是进行异常的监视，并且可以仅当检测到异常时才进行多个复杂的分析处理。因此，减轻了***的定期处理负荷。

此外，由于可以迅速地参照发生异常的定时之前和之后的图像，因此可以迅速地实施后面的对策。此外，可以根据检测内容和检测时间来设置优先执行哪个分析处理。从而，即使通过具有小的数据存储容量的图像处理装置，也可以根据更重要的检测内容来分析异常的原因。因此，在本实施例中，可以有效地分析***的异常的原因。因此，用户能够恢复***并有效地进行维护。

其他实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给***或装置，该***或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

尽管已经参照示例性实施例描述了本发明，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求的范围应被赋予最宽泛的解释，以涵盖所有这样的修改以及等同的结构和功能。

本申请要求2020年4月21日提交的日本专利申请2020-075402号的优先权，该申请的全部内容通过引用并入本文。

Claims (13)

1.一种图像处理装置，其包括：

监视单元，其被构造为对监视对象进行监视，以通过对所述监视对象的在不同时间点拍摄的各个图像中的第一区域应用图像处理，来检测所述监视对象中的异常的发生；

分析单元，其被构造为通过对检测到异常的时间点之前的时间点的图像中的不同于所述第一区域的第二区域应用图像处理，来分析所述监视单元所检测到的异常的原因；以及

设置单元，其被构造为基于所述监视单元对所述监视对象进行监视的结果，来设置多个预定分析处理中的要被所述分析单元执行以用于分析所述异常的所述原因的分析处理的优先级。

2.根据权利要求1所述的图像处理装置，其中，所述第一区域的大小取决于拍摄所述监视对象的时间。

3.根据权利要求1所述的图像处理装置，其中，对所述第一区域的图像处理的至少一个参数取决于拍摄所述监视对象的时间。

4.根据权利要求1所述的图像处理装置，其中，通过用户操作来创建与监视所述监视对象以检测异常的发生的图像处理有关的第一流程图以及与用于分析所述异常的所述原因并和所述多个预定分析处理相对应的图像处理有关的多个第二流程图。

5.根据权利要求4所述的图像处理装置，其中，优先执行与所述多个第二流程图中的未伴随***停止的一个流程图相对应的图像处理。

6.根据权利要求4所述的图像处理装置，其中，根据所述设置单元所设置的优先级，来选择所述多个第二流程图中的优先执行的一个流程图的图像处理。

7.根据权利要求4所述的图像处理装置，其中，所述第一流程图和所述多个第二流程图能够在一个画面上彼此相关联地设置。

8.根据权利要求4所述的图像处理装置，其中，能够切换分别示出所述多个第二流程图的图像处理的执行结果的画面。

9.根据权利要求1所述的图像处理装置，其中，所述监视单元获得当用于检测异常的发生的预定确定值变化超过一定量时的图像，作为检测到异常的时间之前的时间的图像。

10.根据权利要求9所述的图像处理装置，其中，所述监视单元间隔剔除并获得所述图像。

11.根据权利要求1所述的图像处理装置，其中，所述监视对象是机器人所操作的工件。

12.一种图像处理装置的控制方法，所述控制方法包括：

对监视对象进行监视，以通过对所述监视对象的在不同时间点拍摄的各个图像中的第一区域应用图像处理，来检测所述监视对象中的异常的发生；

通过对检测到异常的时间点之前的时间点的图像中的不同于所述第一区域的第二区域应用图像处理，来分析通过所述监视所检测到的异常的原因；以及

基于对所述监视对象进行监视的结果，来设置多个预定分析处理中的要被执行以用于分析所述异常的所述原因的分析处理的优先级。

13.一种非暂时性计算机可读存储介质，其存储使计算机执行图像处理装置的控制方法的控制程序，所述控制方法包括：

对监视对象进行监视，以通过对所述监视对象的在不同时间点拍摄的各个图像中的第一区域应用图像处理，来检测所述监视对象中的异常的发生；

通过对检测到异常的时间点之前的时间点的图像中的不同于所述第一区域的第二区域应用图像处理，来分析通过所述监视所检测到的异常的原因；以及

基于对所述监视对象进行监视的结果，来设置多个预定分析处理中的要被执行以用于分析所述异常的所述原因的分析处理的优先级。