CN111095139B - 一种用于检测机器的异常状态的方法和*** - Google Patents

Abstract

一种用于自动检测机器（2）的异常操作状态的物体识别装置（1），所述机器（2）包括在由至少一个摄像机（5）监视的操作空间中操作的机器工具（3），所述至少一个摄像机（5）适于生成供应给处理器的当前操作场景的摄像机图像，所述处理器适于使用经训练的人工智能模块（AIM）来分析当前操作场景以检测当前操作场景内存在的物体、以及适于将检测到的物体与所述机器（2）的正常操作状态中的操作场景中所期望的物体进行比较，以检测所述机器（2）的异常操作状态。

Description

一种用于检测机器的异常状态的方法和***

技术领域

本发明涉及一种用于检测机器的异常状态的方法和***，其包括用于处理工件的机器工具，并且特别涉及一种用于检测机器工具的工作空间中的不正确或外来工件或外来物体的基于人工智能的物体识别***。

背景技术

诸如工厂的生产机器或制造机器之类的机器可以包括适于处理工件的一个或若干机器工具。机器工具通常在由机器的命令模块或本地控制器执行的数控程序的控制下操作。数控程序精确地指定机器工具正在执行的命令。在常规机器中，一旦数控程序已经被启动或发起，机器控制器则盲目地执行数控程序。然而，例如，在维护过程之后，诸如螺丝刀之类的外来物体保留在机器的操作室中并且当启动机器的数控程序时保持未被观察到是可能的。在这种情况下，异物或外来物体可能干扰生产过程，并且甚至损坏机器和/或由机器的机器工具处理的工件。另外，可能的是，不正确的原始工件将要被机器处理，这导致意外的生产结果。常规的生产机器可以使用用于检测预定义的区域中的障碍物或外来物体的特定传感器。这些传感器可以包括用于检测外来物体或用于检测工件相对于机器工具的未对准的附加摄像机。然而，如果过程改变，则这些常规的方法不能鲁棒地工作。对于其中必须验证特定物体的存在和对准的小批量大小生产场景，制造过程中的过程改变经常发生。

发明内容

因此，本发明的目的是提供一种方法和***，该方法和***提高了具有规律过程改变的小批量生产场景的鲁棒性和可靠性。

根据本发明的第一方面，该目的通过包括权利要求1的特征的一种用于检测机器的异常状态的方法来实现。

根据第一方面，本发明提供了一种用于检测包括机器工具的机器的异常状态的方法，其中所述方法包括以下步骤：

通过操作场景分析器使用经训练的人工智能模块检测在当前操作场景内存在的物体来接收机器工具的当前操作场景的摄像机图像，并且将在当前操作场景内检测到的物体与在机器的正常操作状态中的操作场景中所期望的物体连续地或在控制程序中的特定时间点处进行比较，以检测机器的异常操作状态。

在根据本发明的第一方面的方法的可能实施例中，机器依赖于检测到机器操作状态而被自动地控制。

在根据本发明的第一方面的方法的另外的可能实施例中，摄像机图像由至少一个摄像机通过监视工具操作空间内的机器工具操作而生成，在所述工具操作空间中，机器的机器工具在控制器的控制下根据检测到的机器操作状态进行操作。

在根据本发明的第一方面的方法的可能实施例中，若干摄像机从不同的视点监视机器工具操作空间，并且使用经训练的人工智能模块向操作场景分析器供应表示当前操作场景的所生成的摄像机图像，以用于操作状态检测。

在根据本发明的第一方面的方法的另外的可能实施例中，人工智能模块用以不同机器操作状态标记的操作场景图像的数据集来训练。

在根据本发明的第一方面的方法的另外的可能实施例中，机器操作状态包括正常操作状态以及至少一个异常机器操作状态，所述异常机器操作状态包括以下：操作空间内存在至少一个外来或未识别的物体、要由机器工具处理的外来或未识别工件和/或操作空间内机器工具和工件之间的错误相对位置。

在根据本发明的第一方面的方法的另外的可能实施例中，从图像数据库读取用于训练人工智能模块的操作场景图像，并且将其供应到训练由操作场景分析器使用的人工智能模块的模型构建器实体。

在根据本发明的第一方面的方法的另外的可能实施例中，经训练的人工智能模块包括经训练的深度神经网络，其包括深度卷积神经网络或循环神经网络（recurrentneural network）。

在根据本发明的第一方面的方法的另外的可能实施例中，人工智能模块包括决策树和/或随机森林。

在根据本发明的第一方面的方法的又另外的可能实施例中，人工智能模块包括支持向量机。

在根据本发明的第一方面的方法的另外的可能实施例中，使用存储在存储器中的CAD模型和/或CAM程序来导出在机器的正常操作状态期间的操作场景中所期望的物体。

在根据本发明的第一方面的方法的又另外的可能实施例中，在机器的操作之前，图像生成器检索用于每个潜在工件和/或用于每个潜在外来物体的3D模型，并且将所检索的3D渲染成从图像数据库读取的操作场景图像，所述图像数据库存储示出了空机器操作空间的图像，以为由模型构建器实体用来训练人工智能模块的不同操作场景提供操作场景图像。

在根据本发明的第一方面的方法的另外的可能实施例中，机器被控制为如果机器的异常操作状态***作状态分析器检测到，则自动执行缓解动作和/或对策和/或被自动停止。

根据另外的方面，本发明另外提供了包括权利要求13的特征的一种物体识别装置。

根据第二方面，本发明提供了一种用于自动检测机器的异常操作状态的物体识别装置，其包括在由至少一个摄像机监视的操作空间中操作的机器工具，所述摄像机适于生成供应给处理器的当前操作场景的摄像机图像，所述处理器适于使用经训练的人工智能模块来分析当前操作场景以检测当前操作场景内存在的物体、以及适于将检测到的物体与在所述机器的正常操作状态中的操作场景中所期望的物体进行比较，以检测所述机器的异常操作状态。

在根据本发明的第二方面的装置的可能实施例中，处理器被配置为响应于机器的检测到的操作状态来控制机器，特别是其机器工具。

在根据本发明的第二方面的装置的可能实施例中，机器的机器工具在机器的封闭的操作室中在处理器的控制下操作，所述机器的封闭的操作室定义了由至少一个摄像机监视的操作空间，以处理操作室内的工件。

附图说明

在下文中，参考附图更详细地描述了本发明的不同方面的可能实施例。

图1示出了用于图示根据本发明的方面的物体识别装置的可能示例性实施例的框图；

图2示出了根据本发明的方面的物体识别装置的另外的可能示例性实施例的框图；

图3至6示意性地示出了根据本发明的由物体识别装置检测到的可能操作状态；

图7示出了根据本发明的方面的用于检测机器的异常操作状态的方法的可能示例性实施例的流程图；

图8示出了用于图示根据本发明的方面的用于检测机器的异常操作状态的方法的另外的可能示例性实施例的另外的流程图。

具体实施方式

如图1中可以看到的，根据本发明的方面的物体识别***或装置可以被用于自动检测机器（特别是生产或制造机器）的至少一种异常操作状态，其包括在操作空间中操作的至少一个机器工具，所述操作空间可以由生成当前操作场景的摄像机图像的至少一个摄像机监视。在图1所图示的实施例中，物体识别装置1被用于自动检测机器2的操作状态，所述机器2具有在预定义的操作空间4中操作的至少一个机器工具3，所述预定义的操作空间4由至少一个摄像机5监视。摄像机5生成预定义操作空间4内的当前操作场景的摄像机图像。如图1的示意图中所示出的，操作空间4可以由封闭的机器工具操作室来定义，其中机器工具3***作以处理工件6。在所图示的示意图中，工件6可以在工件6的处理期间由传送带7运输。在图1所图示的实施例中，处理机器2包括具有至少一个微处理器的本地机器控制器8，其适于控制机器工具3的操作和/或运输设施7的移动，所述运输设施7运输由机器工具3处理的工件6。机器工具3可以是例如铣削机器工具等。机器工具可以包括适于处理工件6的任何种类的机器工具。其可以是例如切割机器工具、弯曲机器工具或用于处理或变换工件6的其它机器工具。

异物识别或检测***还可以用于增材制造机器中。

操作空间4由至少一个摄像机5监视或观察。在可能的实施例中，由至少一个摄像机5通过监视工具操作室内的机器工具操作空间4来生成摄像机图像，其中机器工具3根据机器2的当前检测到的操作状态在机器控制器8的控制下操作。在优选的实施例中，若干摄像机5从不同的视点监视机器工具操作空间4，并且可以向装置1供应表示当前操作场景的所生成的摄像机图像。在图1所图示的实施例中，物体识别装置1包括处理器，该处理器具有操作场景分析器OSA，其适于使用经训练的人工智能模块AIM来分析当前操作场景，以检测当前操作场景内存在的物体。物体识别装置1的处理器另外适于将检测到的物体与在机器2的正常操作状态期间在操作场景中所期望的物体进行比较，以自动检测机器2的偏离的异常操作状态。

在图1所图示的示例性实施例中，物体识别装置1可以经由接口向制造机器2的机器控制单元8供应检测到的操作状态。所供应的操作状态可以包括机器2的检测到的异常操作状态。控制器8可以依赖于机器2的接收到的检测到的操作状态而控制机器2。如果检测到的操作状态是正常操作状态，则数控程序可以另外由机器控制器8执行以由机器工具3处理工件6。相反地，如果由物体识别装置1提供的机器的检测到的操作状态偏离正常操作状态，则机器2在机器控制器8的控制下被控制，以执行对策或缓解策略来减少观察到的异常操作状态对由机器工具3执行的生产或制造过程的影响。

在可能的实施例中，人工智能模块AIM可以用以机器2的不同操作状态标记的操作场景图像的数据集来训练。在可能的实施例中，操作场景分析器OSA适于检测不同的操作状态，其包括机器的至少一种正常操作状态，并且包括机器的至少一种异常操作状态。异常操作状态可以例如包括以下：操作空间4内存在诸如螺丝刀之类的至少一个外来或未识别的物体、要由机器工具3处理的外来或未识别的工件和/或操作空间4内机器工具3和工件6之间的错误相对位置或操作空间4的预定义的坐标系内的工件6的错误绝对位置。在可能的实施例中，从图像数据库读取用于训练物体识别装置1的人工智能模块AIM的操作场景图像，并且将其供应给可以训练由物体识别装置1的操作场景分析器OSA使用的人工智能模块AIM的模型构建器实体。图1中所图示的经训练的人工智能模块AIM可以包括经训练的深度神经网络，其包括经训练的深度卷积神经网络CNN和/或经训练的循环神经网络RNN。在替代的实施例中，由识别装置1的操作场景分析器OSA使用的人工智能模块AIM还可以包括决策树和/或随机森林。在又另外的可能实施例中，由识别装置1的操作场景分析器OSA使用的人工智能模块AIM还可以包括支持向量机。在根据本发明的方面的物体识别装置1的另外的可能实施例中，使用存储在本地存储器中的CAD模块和/或CAM程序导出在机器2的正常操作状态期间的操作场景中所期望的物体。可以由物体识别装置1检测到的物体包括物理物体，特别是可能消极地影响生产过程的外来物体或异物。在如图1所图示的物体识别装置1的可能实施例中，在机器2的操作之前，图像生成器可以检索用于每个潜在工件6和/或用于每个潜在外来物体的三维模型，并且将检索到的三维模型渲染成从图像数据库读取的操作场景图像，所述图像数据库存储了示出空机器操作空间4的摄像机图像，以为由模型构建器实体用来训练人工智能模块AIM的不同的潜在操作场景提供操作场景图像。

图2示出了根据本发明的方面的物体识别装置1的可能另外的示例性实施例。在图2所图示的实施例中，用于具有用于处理工件6的机器工具3的处理机器2内的操作状态的操作状态识别的物体识别装置1，除了包括操作状态分析器OSA和人工智能模块AIM之外，还包括接口，特别是针对用户的HMI接口。

还如图2的实施例中所图示的，人工智能模块AIM是在机器2的操作之前由训练***9来训练的。在可能的实施例中，装置1的人工智能模块AIM是用以机器2的不同操作状态标记的操作场景图像的数据集来训练的。在可能的实施例中，可以从图像数据库10读取用于训练人工智能模块AIM的操作场景图像，并且将其供应到模型构建器实体11，所述模型构建器实体11训练由操作场景分析器OSA使用的人工智能模块AIM。在可能的实施方式中，在机器2的操作之前，图像生成器12可以检索用于每个潜在工件6和用于每个潜在外来物体的3D模型，并且可以将检索到的三维模型渲染成从图像数据库10读取的操作场景图像。这些操作场景图像可以包括示出空机器操作空间4的图像。通过将潜在工件6和/或潜在外来物体的检索到的3D模型渲染成空操作场景图像，生成用于不同操作场景的操作场景图像是可能的，所述不同操作场景可以被模型构建器实体11用来训练人工智能模块AIM。经训练的人工智能模块AIM可以在启动机器2的操作之前实施为由训练***9的模型构建器实体11训练的深度神经网络。在优选的实施例中，由操作状态分析器OSA使用的经训练的深度神经网络包括深度卷积神经网络CNN或循环神经网络RNN。

图3、4、5、6示意性地图示了制造机器2的不同的可能操作状态，所述制造机器2包括操作室或操作空间4内的机器工具3，其中机器工具3在机器控制器的控制下操作，以处理可以在操作空间4内移动的至少一个工件6，例如，通过如附图中所图示的传送带7移动。至少一个摄像机5可以拍摄图片或生成图示如图3至6中所示出的操作场景的摄像机图像。在图3中所示出的操作场景中，机器2处于正常操作状态，即，正确的工件6相对于机器工具3位于正确的位置以用于处理。

图4、5、6图示了机器2的不同的可能异常操作状态。在图4中所示出的操作场景中，正确的工件6被定位在正确的位置处，然而，外来未识别的物体14位于工件6的附近。未识别的物体14可以例如包括在操作室4内被维护技术员遗忘的螺丝刀。

图5图示了表示机器2的异常操作状态的另外的操作场景。在图5所图示的操作场景中，错误的工件15被放置在传送带7上。在图5所图示的示例中，错误的工件15可以包括与要由机器工具3处理的正确的工件6不同的形状和/或不同的材料。

图6示出了表示异常操作状态的另外的操作场景。在所图示的操作状态中，正确的工件6相对于机器工具3定位在错误的相对位置，偏离图3中所图示的正确位置。

因此，可能存在不同类型的异常操作情况或操作状态。还可能存在如图4、5、6中所图示的不同操作场景或异常操作状态的组合。例如，错误的工件15可能被放置位于如图6中所图示的错误位置，并且此外，异物14还可能放置在传送带上，该传送带形成了用于工件6的运输部件7。由图4、5、6的异常操作场景表示的异常操作状态是其中机器工具3的处理不应该被启动的状态。在图4的第一异常操作场景中，由识别装置1检测比如装配工具或装配辅助或任何其它种类的异物的外来物体或异物14。在图5中所图示的第二异常操作场景中，不正确的原始工件6被放置在操作空间4中。最终，在第三异常操作场景中，工件6被安装或定位在错误的位置处。如图5、6中所图示的操作场景或操作情况对于批量1生产的工作购物者（job shopper）特别相关。在生产之前，与程序匹配的原始工件6应该装载到生产机器中。另外，在所提出的***中，如图6中所图示的，检测工件6何时没有与机器工具3适当对准是可能的。

在如图4中所图示的第一异常情况操作场景中，在机器工具3的工作空间4中放置的外来物体14甚至可能毁坏机器工具3和/或例如诸如主轴之类的其移动组件。另外，如图5中所图示的，如果不正确的原始工件15已经被装载在机器工具3的操作室4中，则其可能干扰机器工具3的操作路径，例如，因为不正确的原始工件15比正确的工件6大。例如，如果切割机器工具正在执行快速定位，并且撞击原始工件15的部分，则这可能导致机器2的严重损坏。另外，如果要被处理的工件的材料比所期望的硬，则当执行工件处理程序时，机器工具3可能被损坏。最终，即使机器工具3没有被损坏，从不正确的工件15或从未对准的正确工件6制成的最终产品可能不具有所需要的属性，例如，所期望的硬度、耐用性、重量、形状或其它属性。识别装置1使用经训练的人工智能模块AIM提供机器2的基于情况或条件的机器控制。

在可能的实施例中，从3D模型生成图像，以在由装置1的物体检测中使用。在替代的实施例中，从图像重建3D模型，并且将其与三维场景描述相匹配。在可能的实施例中，物体识别装置1的摄像机5可以监视其中机器工具3***作的机器2的操作室4。在执行NC控制程序之前使用生成操作室4的图像的其它成像设备也是可能的。装置1的操作场景分析器OSA适于自动将图像集（即表示机器2的当前操作状态）与诸如图4、5、6中所图示的三种异常操作状态之类的表示异常操作状态的预定义组的图像集的数据库进行比较。***自动地决定哪种操作状态应用得最好，并且可以自动地触发缓解动作或对策或使工件6的处理停止。摄像机5拍摄机器工具操作室4的图像，其可能有不同的模态，例如，真彩色、红外、深度等。此外，若干摄像机5或其它成像设备可以从不同的视点监视操作室4，例如，在操作室4的每侧上一个摄像机。

在可能的实施例中，图像生成器12可以构建用于训练人工智能模块AIM的图像数据库，所述人工智能模块AIM由操作场景分析器OSA来使用。这可以基于示出空操作室4图像的数据库和储存库，例如，包含工件以及诸如螺丝刀或钳子之类的可能潜在外来物体4的3DCAD模型的存储器。对于每个可能的情况（即室4中不同位置处的不同工件和/或外来物体），通过在操作室图像中虚拟地布置3D模型来创建图像，例如通过光线追踪技术。

用可以以不同的正常或异常操作状态中的一个标记的图像的数据集来训练人工智能模块AIM，直到其能够将这些操作状态分配给新的以及看不见的图像集。例如，深度卷积网络（例如，Google Inception v3）可以被训练以检测外来物体14是否驻留在操作室4中。另外，不同的深度神经网络（例如，CRF RNN）可以被训练以检测图像中所安装的工件6，并且从其构建虚拟的3D表示。人工智能模块AIM可以将原始图像作为输入（例如，以jpg或png格式），并且可以不需要诸如特征的计算之类的任何预处理。输出可以是指示外来物体检测的概率的0和1之间的标量值，或者是可以描述三维空间中的分割物体（工件检测）的具有0和1之间的概率的三维矩阵。

装置1的操作场景分析器OSA使用由模型构建器实体11定义的人工智能模块AIM，所述人工智能模块AIM可以被集成到机器工具核心固件中，或者被构建到附加处理单元中，例如，可以经由接口连接附接到机器2的SINUMERIC Edge。基于从状态监视设备所接收的新的摄像机图像，***可以决定外来物体14是否驻留在操作室或工件空间4中。另外，该***可以将所安装的工件6的所提取的三维模型与所意图的工件的三维模型进行比较，并且评估这些模型是否相同。

在可能的实施例中，***1可以使机器2的操作停止。装置1的HMI接口可以提供超控功能。另外，接口HMI可以向人工操作员提供反馈，解释例如机器2为什么尚未被启动。另外，接口1可以例如是图形用户接口，其中检测到的物体可以在摄像机图像中被突出显示，并且显示给人工操作员。

在训练阶段，训练***9被用于训练装置1的人工智能模块AIM。图像生成器12可以例如从Teamcenter或MindSphere Cloud检索三维模块，并且可以将其在不同位置处渲染到场景图像中。在可能的实施例中，对于工件6，图像可以被分类成两个主要的类别，即在正确位置处的工件和在不正确位置处的工件。此外，可以以不同的大小来渲染物体，使得相同形状的较大和较小物体也可以被检测到。可以针对每个可用的3D模型重复该过程。在所生成的图像上，人工智能模块AIM可以由训练***1的模型构建器11构建和训练。人工智能模块AIM可以形成多类/多实例分类器。这可以用于检测当前操作场景中存在哪个物体。如果需要检测有限数量的3D模型，则该过程是可能的。

在启动机器2之前，可以拍摄操作场景的图像。该摄像机图像然后被发送到装置1的操作场景分析器OSA。操作场景分析器OSA正在使用由模型构建器在先前阶段构建的经训练的人工智能模块或AI模块，以检测操作场景中存在哪些物体。将操作场景中存在的物体与可以使用CAD模型或CAM程序指定的相应物体进行比较。此外，可以验证物体的位置。在所期望的物体与检测到的物体不匹配的情况下，装置1可以指导机器2的命令模块8停止执行机器处理程序。

在第二变型或方法中，从图像重建三维模型，并且将其与3D操作场景描述相匹配。在该变型中，针对每个工件6执行两个训练阶段。这对于批量1生产是推荐的。特定地构建操作场景分析器OSA的模型以仅检测用于当前生产步骤的所期望的原始工件。在启动工件处理步骤之前，检索3D模型并构建训练图像集。基于这些图像，构建然后用于检查当前摄像机图像的分类器或人工智能模块AIM。

图7示出了根据本发明的方面的方法的可能示例性实施例的流程图。在所图示的实施例中，用于检测包括机器工具3的机器2的异常状态的方法包括两个主要步骤。在第一步骤S1中，机器工具3的当前操作场景的摄像机图像由操作场景分析器OSA使用经训练的人工智能模块AIM接收，以检测当前操作场景内存在的物体。

在第二步骤S2中，将在当前操作场景内检测到的物体与在机器2的正常操作状态下的操作场景中所期望的物体进行比较，以检测机器2的异常操作状态，诸如图4、5、6中所图示的操作状态。在当前操作场景内检测到的物体可以与所期望的物体或物体群进行连续比较。

还可以在机器2的控制程序中的特定时间点对物体进行比较，例如，在启动机器2的工作过程之前。

在步骤S1中接收到的摄像机图像可以由一个或若干摄像机5生成，所述一个或若干摄像机5监视由操作工具室4定义的工具操作空间4内的机器工具操作。在步骤S1中，可以由若干摄像机5生成摄像机图像，所述若干摄像机从不同视点监视机器工具操作空间并且使用经训练的人工智能模块AIM向操作场景分析器OSA供应表示当前操作场景的所生成的摄像机图像，以用于操作状态监测。

图8示出了根据本发明的方法的可能示例性实施例的另外的流程图。

步骤S1、S2与图7中所图示的处理步骤S1、S2相同。在启动处理之前，可以在如图8中所图示的步骤S0中的训练阶段中训练人工智能模块AIM。在已经完成人工智能模块AIM的训练之后，可以通过处理在步骤S1中接收到的摄像机图像来发起检测过程。机器工具3的当前操作场景的摄像机图像由操作场景分析器OSA使用经训练的人工智能模块AIM来处理，以检测当前操作场景内存在的物体。在步骤S2中，可以将检测到的物理物体与在机器的正常操作状态中的操作场景中所期望的物体进行连续比较，以检测机器2的异常操作状态。在另外的步骤S3中，机器2可以依赖于机器2的检测到的操作状态而被自动控制。如果检测到的操作状态是机器2的正常操作状态，则在所执行的数控程序的过程下，执行并继续由机器工具3对工件6的处理。相反地，如果检测到的操作状态形成异常操作状态，则由机器2执行相关联的对策或缓解策略，以减少对生产过程的消极影响。在可能的实施例中，机器2的本地控制器8可以依赖于检测到的正常当前操作状态而控制一个或若干致动器。例如，其可以控制机器工具3的移动和/或工件6的移动，以避免例如机器工具3和工件6之间的碰撞。另外，如果必要的话，机器2的控制器8也可以使机器2停止。在可能的实施例中，由操作场景分析器OSA提出的对策可以经由图形人机接口显示给操作者或用户，使得操作者具有超控由装置1提出的对策的可能性。然而，如果检测到的异常操作状态是关键的，并且不存在用于通知操作者的足够的时间，则可以由装置1实时地立即发起该对策。

用根据本发明的方法和装置，检测机器工具的工作区域或工作空间中的外来工件、不正确的工件或工件的不正确对准是可能的。因此，避免由于机器工具3与移位或错误的物体之间的碰撞而造成的损坏是可能的。这继而可能导致维护成本的减少以及使用多个所需要的替换的备用部件。此外，如果安装了错误的原始工件或如果工件被安装在错误位置处，则这可能导致没有根据预定义的规范生产的产品，使得生产时间损失或所生产的工件必须在后来阶段被召回。在图2所图示的实施例中，可以使用包括一个或若干摄像机5的摄像机***来观察机器工具3的工作区域。在可能的实施例中，***1可以访问虚拟3D模型或工件，例如，经由到比如NX的设计和/或工程工具的连接。基于人工智能的操作场景分析器OSA被用于检测机器2的操作状态。根据本发明的方法和***可以被用于提高制造设施的安全性以及操作效率。根据本发明的方法可以在可能的实施例中实施为用于生产设施的在线服务。在该实施方式中，装置1可以被用于经由网络使用由摄像机5在相应机器2的远程站点处拍摄的摄像机图像来控制远程生产机器2。在该实施例中，如图1、2中所示出的，图像摄像机5以及远程机器的本地控制器8可以通过数据网络连接到装置1。在替代的实施例中，装置1还可以集成到生产机器2中。在可能的实施例中，可以通过远程训练***9经由单独的数据网络在可能的实施例中训练图2中所示出的识别和控制装置1的人工智能模块AIM，所述单独的数据网络将模型构建器实体11与装置1的人工智能模块AIM连接。

Claims (13)

1.一种用于检测包括机器工具(3)的机器(2)的异常状态的方法，

所述方法包括以下步骤：

(a)通过操作场景分析器(OSA)接收(S1)机器工具(3)的当前操作场景的摄像机图像，所述操作场景分析器使用经训练的人工智能模块(AIM)来检测在当前操作场景内存在的物体；以及

(b)将在当前操作场景内检测到的物体与在机器(2)的正常操作状态中的操作场景中所期望的物体连续地或在控制程序中的特定时间点处进行比较(S2)，以检测机器(2)的异常操作状态；

其中摄像机图像由至少一个摄像机(5)通过监视工具操作空间(4)内的机器工具操作而生成，其中机器(2)的机器工具(3)在控制器(8)的控制下进行操作；

所述操作场景分析器使用经训练的人工智能模块(AIM)，所述经训练的人工智能模块用以机器(2)的不同操作状态标记的操作场景图像的数据集来训练；

其中机器(2)的不同操作状态包括正常操作状态、包括要由机器工具(3)处理的外来或未识别工件(15)的异常操作状态和包括操作空间(4)内机器工具(3)和工件(6)之间的错误相对位置的异常操作状态。

2.根据权利要求1所述的方法，其中所述机器(2)依赖于机器(2)的检测到的操作状态而由机器控制器(8)自动地控制。

3.根据权利要求1所述的方法，其中若干摄像机(5)从不同的视点监视机器工具操作空间(4)，并且使用经训练的人工智能模块(AIM)向操作场景分析器(OSA)供应表示当前操作场景的所生成的摄像机图像，以用于操作状态检测。

4.根据前述权利要求1至3中任一项所述的方法，其中所述机器(2)的不同操作状态包括机器(2)的异常操作状态，所述异常操作状态包括操作空间(4)内存在至少一个外来或未识别的物体(14)。

5.根据前述权利要求1至3中任一项所述的方法，其中从图像数据库(10)读取用于训练人工智能模块(AIM)的操作场景图像，并且将其供应到训练由操作场景分析器(OSA)使用的人工智能模块(AIM)的模型构建器实体(11)。

6.根据前述权利要求1至3中任一项所述的方法，其中所述经训练的人工智能模块(AIM)包括经训练的神经网络，其包括深度卷积神经网络CNN或变型或循环神经网络RNN。

7.根据前述权利要求1至3中任一项所述的方法，其中所述人工智能模块(AIM)包括决策树和/或随机森林和/或支持向量机。

8.根据前述权利要求1至3中任一项所述的方法，其中使用存储在存储器中的CAD模型和/或CAM程序来导出在机器(2)的正常操作状态期间的在操作场景中所期望的物体。

9.根据前述权利要求1至3中任一项所述的方法，其中在机器(2)的操作之前，图像生成器(12)检索用于每个潜在工件和/或用于每个潜在外来物体的三维模型，并且将所检索的三维模型渲染成从图像数据库(10)读取的操作场景图像，所述图像数据库存储示出了空机器操作空间的图像，以为由模型构建器实体(11)用来训练人工智能模块(AIM)的不同操作场景提供操作场景图像。

10.根据前述权利要求1至3中任一项所述的方法，其中则所述机器(2)被控制为如果检测到机器(2)的异常操作状态则自动执行缓解动作和/或对策。

11.一种用于自动检测机器(2)的异常操作状态的物体识别装置(1)，所述机器(2)包括在由至少一个摄像机(5)监视的操作空间中操作的机器工具(3)，所述至少一个摄像机(5)适于生成供应给处理器的当前操作场景的摄像机图像，所述处理器适于使用经训练的人工智能模块(AIM)来分析当前操作场景以检测当前操作场景内存在的物体、以及适于将检测到的物体与所述机器(2)的正常操作状态中的操作场景中所期望的物体进行比较，以检测所述机器(2)的异常操作状态；

其中所述机器工具(3)在封闭的操作室中在机器控制器(8)的控制下操作以在操作室内处理工件(6)，所述封闭的操作室定义了由至少一个摄像机(5)监视的操作空间(4)；

所述处理器适于使用经训练的人工智能模块(AIM)分析当前操作场景，所述经训练的人工智能模块用以机器(2)的不同操作状态标记的操作场景图像的数据集来训练；

其中机器(2)的不同操作状态包括正常操作状态、包括要由机器工具(3)处理的外来或未识别工件(15)的异常操作状态和包括操作空间(4)内机器工具(3)和工件(6)之间的错误相对位置的异常操作状态。

12.根据权利要求11所述的物体识别装置(1)，其中机器控制器(8)被配置为响应于所述机器(2)的检测到的操作状态来控制机器(2)。

13.根据权利要求12所述的物体识别装置(1)，其中机器控制器(8)被配置为响应于所述机器(2)的检测到的操作状态来控制机器(2)的机器工具(3)。