CN104102186A - 具有冗余***输入支持的基于识别的工业自动化控制 - Google Patents
具有冗余***输入支持的基于识别的工业自动化控制 Download PDFInfo
- Publication number
- CN104102186A CN104102186A CN201410069095.2A CN201410069095A CN104102186A CN 104102186 A CN104102186 A CN 104102186A CN 201410069095 A CN201410069095 A CN 201410069095A CN 104102186 A CN104102186 A CN 104102186A
- Authority
- CN
- China
- Prior art keywords
- motion
- industrial automation
- recognition system
- people
- motion recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 408
- 238000000034 method Methods 0.000 claims abstract description 56
- 230000009471 action Effects 0.000 claims abstract description 30
- 238000001514 detection method Methods 0.000 claims description 55
- 230000036544 posture Effects 0.000 claims description 21
- 230000003287 optical effect Effects 0.000 claims description 4
- 239000000463 material Substances 0.000 description 27
- 230000001133 acceleration Effects 0.000 description 15
- 230000008859 change Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 14
- 230000006378 damage Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 230000007613 environmental effect Effects 0.000 description 7
- 230000006399 behavior Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 231100001261 hazardous Toxicity 0.000 description 6
- 230000005055 memory storage Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000001276 controlling effect Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 3
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 238000004378 air conditioning Methods 0.000 description 2
- 238000013475 authorization Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000036962 time dependent Effects 0.000 description 2
- 238000009423 ventilation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000005305 interferometry Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007430 reference method Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- GOLXNESZZPUPJE-UHFFFAOYSA-N spiromesifen Chemical compound CC1=CC(C)=CC(C)=C1C(C(O1)=O)=C(OC(=O)CC(C)(C)C)C11CCCC1 GOLXNESZZPUPJE-UHFFFAOYSA-N 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B15/00—Systems controlled by a computer
- G05B15/02—Systems controlled by a computer electric
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
- G05B19/409—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using manual data input [MDI] or by using control panel, e.g. controlling functions with the panel; characterised by control panel details or by setting parameters
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Manufacturing & Machinery (AREA)
- User Interface Of Digital Computer (AREA)
- Manipulator (AREA)
- Safety Devices In Control Systems (AREA)
Abstract
本公开内容总体上涉及用于进行工业自动化***中的工业自动化控制的方法。该方法可以包括经由传感器***检测人的位置和/或运动。接着,该方法可以确定与检测的位置和/或运动对应的可能的自动化命令,从至少一个附加控制部件接收自动化***信号,并且基于确定的可能的自动化命令和接收的自动化***信号来实施控制和/或通知动作。
Description
背景技术
本公开内容总体上涉及用于控制工业自动化***内的设备的***和方法。更具体而言,本公开内容的实施方式与通过使用置于工业自动化***内的距离照相机***来控制工业自动化***中的设备的***和方法相关。
通过使用自动化控制和监视***来管理和操作工业自动化***。存在针对自动化控制和监视***、特别是针对工业自动化设定的广范围应用。这样的应用可以包括给广范围的致动器例如阀门、电动机等供电以及经由传感器收集数据。一般的自动化控制和监视***可以包括一个或更多个部件,例如:编程终端、自动化控制器、输入/输出(I/O)模块、通信网络和/或人机界面(HMI)终端。
通常,采取某些安全预防措施以确保工业自动化***中的设备被安全地操作。然而,传统的工业自动化***在使用上述通常的自动化控制和监视***来控制其设备方面受限制。虽然这些自动化控制和监视***可以被用于管理工业自动化***内的设备的操作,然而安全地操作工业自动化***内的设备的改进型***和方法是合乎人们期望的。
发明内容
在一个实施方式中,一种用于进行工业自动化***中的工业自动化控制的方法可以包括经由传感器***检测人的位置和/或运动。接着,该方法可以确定与检测的位置和/或运动对应的可能的自动化命令,从至少一个附加控制部件接收自动化***信号,并且基于确定的可能的自动化命令和接收的自动化***信号来实施控制和/或通知动作。
在另一实施方式中,一种用于进行工业自动化控制的***可以包括可以检测人的位置和/或运动的传感器***、可以基于检测的位置和/或运动来确定可能的自动化命令的处理***以及可以接收或者生成自动化***信号的至少一个附加控制部件。处理***可以基于确定的可能的自动化命令和接收的或生成的自动化***信号来实施控制和/或通知动作。
在又一实施方式中,一种用于进行工业自动化控制的方法可以包括:经由传感器***检测人的位置和/或运动;以及确定与检测的位置和/或运动对应的可能的自动化命令。接着,该方法可以包括:确定与检测的位置、检测的运动和/或确定的自动化命令相关联的置信值;从至少一个附加控制部件接收自动化***信号;以及基于确定的可能的自动化命令、置信值以及接收的自动化***信号来实施控制和/或通知动作。
附图说明
当参照附图阅读了下述详细说明时,会更好地理解本发明的这些和其他特征、方面以及优点,其中贯穿附图用相似的附图标记表示相似的部件,其中:
图1是根据实施方式的在工业自动化***内工作的距离照相机(rangecamera)***的框图;
图2是根据实施方式的在图1的工业自动化***内工作的采用飞行时间照相机***的距离照相机***的框图;
图3是根据实施方式的图1的距离照相机***内的运动识别***的框图;
图4是根据实施方式的通过使用图1的距离照相机***来控制工业自动化***内的一个或更多个设备的方法的流程图;
图5至图6是根据实施方式的由图3的运动识别***接收的数据可视化的示例;
图7是根据实施方式的图3的运动识别***内的运动识别引擎和位置确定引擎的框图;
图8是根据实施方式的在图1的工业自动化***内工作的机器的框图;
图9是根据实施方式的通过使用图1的距离照相机***和二次输入来控制工业自动化***内的一个或更多个设备的方法的流程图;
图10是根据实施方式的通过使用由图1的距离照相机***检测的位置和/或运动的导数值来控制工业自动化***内的一个或更多个设备的方法的流程图;
图11是根据实施方式的基于由图1的距离照相机***检测的工业自动化***中是否存在人或者物体来控制工业自动化***内的一个或更多个设备的方法的流程图;
图12是根据实施方式的与图3的运动识别***相结合工作的环境控制***的框图;以及
图13是根据实施方式的基于由图1的距离照相机***检测的工业自动化***中存在的人之间的区分特征来控制工业自动化***内的一个或更多个设备的方法的流程图。
具体实施方式
本公开内容通常涉及置于工业自动化***中的距离照相机***,该距离照相机***可以检测包围工业自动化***的空间内的人和/或物体的位置和/或运动。在检测位置和/或运动之后,距离照相机***可以基于检测的位置和/或运动来进行工业自动化***中的各种操作。也就是说,距离照相机***可以检测工业自动化***空间内的人和/或物体(例如,机器人、自主引导车辆或者机器)的位置和/或运动,并且使用检测的位置和/或运动来控制工业自动化***中的各种工业自动化设备。除了检测工业自动化***内的位置和/或运动之外,距离照相机***还可以计算针对每个检测的位置和/或运动的置信值。置信值可以与远程照相机***可以在检测的位置和/或运动方面确定的程度或者百分比相关。这样,在某些实施方式中,距离照相机***可以基于与各个检测的位置和/或运动对应的置信值向工业自动化***中的各种设备发送控制信号。下面将参照图1至图13对关于距离照相机***的更多细节进行描述。
作为介绍,图1是与距离照相机***12一起工作的工业自动化***10的框图。距离照相机***12可以包括一个或更多个距离照相机14以及运动识别***16。距离照相机14可以包括可以检测在其视窗中的任何元素的位置和/或运动的任何类型的照相机或者传感器***。在某些实施方式中,距离照相机14可以采用使其能够检测位置和运动的各种类型的技术。举例来说,距离照相机14可以包括数字照相机、摄像机、红外线传感器、光学传感器(例如,视频/相机)、射频能量检测器、声音传感器、声纳传感器、振动传感器、磁性传感器等来检测在其视窗中的任何元素的位置和/或运动。用于距离照相机14的传感器能够检测声纳波形、热信号、激光、地板压力特征,空气压力特性等。
距离照相机14还可以包括传感器,该传感器可以采用距离成像技术或手段来产生二维图像或三维图像,该二维图像或三维图像可以用于指示由传感器获得的图像中的各个点与传感器的位置之间的距离。这样,采用距离成像技术的传感器可以根据许多技术例如立体三角测量,片光三角测量,结构光、飞行时间、干涉测量,编码孔径等来进行操作。
可以将由距离照相机14接收的被检测位置和/或运动输入到运动识别***16中,该运动识别***16可以对检测的位置和/或运动进行解释并且确定可以与检测的位置和/或运动对应的各种自动化命令。在确定与检测的位置和/或运动对应的自动化命令之后,运动识别***16可以向***控制器18发送自动化命令,该***控制器18可以在耦接到***控制器18的工业自动化设备20上实施自动化命令。例如,运动识别***16可以从距离照相机14接收检测的运动并且可以将检测的运动解释成使工业自动化***10中一个设备20停止的命令。这样,运动识别***16可以向***控制器18发送使各个工业自动化设备20停止的信号。
工业自动化设备20可以包括可以在工业自动化***10内工作的任何类型的机器或者设备。工业自动化设备20的示例可以包括但不限于致动器、电动机、电压力机等。通常,工业自动化设备20可以由***控制器18操作或者控制。这样,***控制器18可以具有处理器部件、存储器部件、通信部件等,使得其可以通过向工业自动化设备20发送控制信号来操作工业自动化设备20。在某些实施方式中,除了从运动识别***16接收自动化命令之外,***控制器18还可以从工业自动化***10中的各种传感器22接收各种类型的信息。传感器22可以是可用于向***控制器18提供信息的任何类型的传感器例如按钮传感器、气体传感器、温度传感器等。这样,***控制器18可以基于由传感器22接收的信息、由运动识别***16解释的自动化命令或者二者来操作工业自动化设备20。
基于上述内容,在某些实施方式中,通常可以将距离照相机***12、工业自动化设备20以及传感器22置于可以被表征为工业自动化环境24的一部分的空间中。工业自动化环境24可以包括工业自动化***10内的物理空间,在该物理空间中,人类操作员26、机器28或者材料30可以进行各种动作来操作工业自动化***10。这样,当人26、机器28或者材料30在工业自动化环境24内移动时,距离照相机***12可以监视人26、机器28或者材料30的位置和/或运动。
人26可以包括可以在工业自动化环境24中存在的任何人。通常,在工业自动化环境24中存在的人26可以包括受过训练的并且被授权访问工业自动化环境24的人。人26可以针对工业自动化***10中的任何设备进行比如维护等的各种操作。然而,应注意,人26还可以包括存在于工业自动化环境24中的没有被授权的人或者不希望的人(例如,入侵者)。这样,在一个实施方式中,距离照相机***12可以被用于检测工业自动化环境24中的人26是否被授权处于工业自动化环境24中并且基于被检测的一个或更多个人26是否被授权或者被期望处于工业自动化环境24中来向***控制器18发送通知或自动化命令。
机器28可以包括存在于工业自动化环境24中的任何自动化或非自动化机器。这样,机器28可以包括对被制造、处理等的物品进行各种操作的机器人或者机械设备。例如,机器28可以包括可以移动工业自动化***内的物件的机械爪。在某些实施方式中,机器28可以包括在距离照相机14的视窗内工作的工业自动化设备20。
材料30可以包括例如由机器28移动的工件的物品或者在工业自动化***10中制造或者处理的物品。例如,在图1中材料30被描绘为传送带上的箱子。在这个例子中,距离照相机***12可以在材料30沿着传送带移动时跟踪材料30的位置。接着,运动识别***16可以将与材料30的位置相关的信息发送给***控制器18,该***控制器18可以使用该信息来控制各种工业自动化设备20。例如,如果***控制器18确定传送带上的材料30的位置变化得太慢,那么***控制器18可以将该信息解释为指示材料30沿着传送带移动得太慢。这样,***控制器18可以向工业自动化设备20例如控制传送带的运动的耦接至电动机的电动机驱动发送提高电动机的速度的信号,由此提高材料30可以沿着传送带移动的速度。
在某些实施方式中,可以将距离照相机14耦接至工业自动化***10中的各个部件例如工业自动化设备20等,以使距离照相机14可以监视工业自动化***10内的各种元素的运动和/或位置。例如,可以将距离照相机14耦接至可固定在工业自动化***10内的各种位置处的DIN导轨、工业自动化设备20等。
在任何情况下,通过使用距离照相机***12来监视工业自动化***10内的各种元素,***控制器18可以更好地管理工业自动化***10的安全操作。例如,从距离照相机***12获得的信息可以被用于确定人26相对于潜在危险例如移动的工业自动化设备20、高温工业自动化设备20、高压设备等的位置。在某些实施方式中,距离照相机***12可以处理与人26可以移动的身体肢端以及其可以移动的速度相关的数据,以预测该移动是否可能导致人26与危险地带、机器28等发生物理接触。
例如,距离照相机***12可以处理从距离照相机14接收的指示人26的各个关节的位置和运动的数据,以确定人26与危险地带发生物理接触或者进入危险地带的概率。这样,当概率超过阈值时,距离照相机***12可以预测人26会与危险地带发生接触。通过能够预测这些类型的情况,距离照相机***12可以采取先发制人的措施以避免不期望的情况,例如触发动作以防止危险情况或者使不期望的情况的负面效果最小化。例如,距离照相机***12可以向***控制器18发送自动化命令来停止或者改变工业自动化设备20或者机器28的操作,以使工业自动化设备20或者机器28避开人26。而且,当人26不再位于危险地带之内的时候,还可以将距离照相机***12用于重新启动或者重新接合停止的工业自动化设备20或者机器28。
距离照相机***12还可以向***控制器18、其他工业自动化***32等发送指示人26位于危险地带中或者各个工业自动化设备20由于危险地带中存在人26而被停止的通知。以这种方式,如果确定其操作会受到由运动识别***16接收的数据的影响,那么其他工业自动化***32可以修改其操作。
以类似的方式,可以将距离照相机***12用于不是监视人26的各种位置和/或运动而是监视机器28的各种位置和/或运动,或者与监视人26的位置和/或运动相结合地监视机器28的各种位置和/或运动。这样,距离照相机***12可以确定机器28是否在工业自动化环境24内安全地工作。
举例来说,图2描绘了将飞行时间照相机***34用作距离照相机14来进行本文中描述的各种技术的工业自动化环境24的示例。如图2所示,飞行时间照相机***34可以在工业自动化环境24或者受控的环境例如在电力控制室中被采用。飞行时间照相机***34可以包括照明单元36和图像传感器37,其可用于确定在工业自动化环境24中或者受控的环境中存在的人26、机器28等的位置和/或运动。在一个实施方式中,飞行时间照相机***34可以旋转,以使得其可具有围绕工业自动化环境24的360度视线。
为了确定工业自动化环境24中的人26或者机器28的位置,飞行时间照相机***34可以使用照明单元36向外发出进入工业自动化环境24的光信号38。光信号38可以包括在近红外线范围内的强度调制的光、激光等。在任何情况下,当光信号38遇到元素(即图2中的人26)时,反射的光信号39可以被反射回飞行时间照相机***34并且进入图像传感器37。在一个实施方式中,反射的光信号39可以经由可以置于飞行时间照相机***34上的透镜被投射到图像传感器37中。在发送光信号38并且接收反射的光信号39之后,飞行时间照相机***34可以向运动识别***16发送与光信号38被发送以及反射的光信号39被接收的时间相关的数据,以确定该元素与飞行时间照相机***34之间的距离。也就是说,运动识别***16可以将与光信号38以及反射的光信号39相关的数据例如光信号38被发送以及反射的光信号39被接收的时间相关联,以确定该元素与飞行时间照相机***34之间的距离。通过随时间跟踪该距离,运动识别***16可以确定随时间而变化的元素的位置、元素的运动等。
在某些实施方式中,运动识别***16可以包括三维运动路径,该三维运动路径可以限定机器28可以在工业自动化环境24内工作的路径。可以相对于其在工业自动化***10内的功能、基于机器28的期望运动来确定三维运动路径。这样,运动识别***16可以检测机器28是否如期望的那样相对于三维运动路径工作和/或机器28是否正在经历任何危险运动(例如,移动得快、靠近人26)。如果运动识别***16检测到机器28在不期望地或者具有某些危险运动地工作,那么运动识别***16可以向***控制器18发送信号,该信号可以用于控制机器28以在安全状态下操作机器28、断电等。
而且,在某些实施方式中,运动识别***16可以对机器28或者人26的运动和/或运动的速度进行解释以预测机器28是否可能进入危险区域或者危险情况例如接触人26。这样,运动识别***16可以向***控制器16或者直接向机器28发送信号以改变机器28的操作,以使得机器28可以避免进入危险区域或者遭遇危险情况。也就是说,运动识别***16可以基于机器的运动和/或位置、人26的运动和/或位置等控制机器28或者任何工业自动化设备20的操作,由此更安全地操作工业自动化***10。
基于上述内容,图3示出了运动识别***16的详细框图40。运动识别***16可以包括通信部件42、处理器44、存储器46、存储装置48、输入/输出(I/O)端口50等。通信部件42可以是可便于***控制器18、工业自动化设备20、距离照相机14、机器28、其他工业自动化***32等之间的通信的无线或者有线的通信部件。处理器44可以是能够执行计算机可执行的代码的任何类型的计算机处理器或者微处理器。存储器46和存储装置48可以是可用作存储处理器可执行的代码、数据等的介质的任何合适的制造品。这些制造品可以代表可以存储处理器可执行代码的计算机可读的介质(即任何合适形式的存储器或者存储装置),处理器44使用该可执行的代码来执行当前公开的技术。通常,运动识别***16可以接收与人26、机器28和/或材料30有关的运动和/或位置数据,并且解释数据以确定针对工业自动化设备20的自动化命令。存储器46和存储装置48还可以用于存储数据、数据的各自的解释以及与数据对应的自动化命令。虽然关于运动识别***16描绘了框图40,但是应注意***控制器18也可以包括相同的部件来执行本文中描述的各种技术。下面参照图4至图13对描述方法的更多细节进行讨论,运动识别***16可以用这些细节来解释运动和/或位置数据。
基于检测的位置/运动和置信值的自动化命令
现在参照图4,一种基于距离照相机14的可见区内的元素的被检测位置和/或运动来实施工业自动化***10内的自动化命令的方法60。在一个实施方式中,本文中描述的关于方法60的技术可以由运动识别***16来进行。这样,在框62中,运动识别***16可以接收元素例如人26、机器28或者材料30的被检测位置和/或运动。也就是说,距离照相机14可以接收与在其视窗内当前存在的元素的位置和/或运动相关的数据。
在某些实施方式中,与检测的位置和/或运动相关的数据可以包括元素的一个或更多个光学图像,元素的一个或更多个红外线图像等。当距离照相机14获取元素的图像时,运动识别***16可以将图像转换成表示元素的二维图形。例如,图5示出了人26的二维表示80的示例,图6示出了机器28的二维表示100的示例。
简单参照图5,人26的二维表示80可以包括人26的身体上的各种边缘或者关节处的数据点82。基于距离照相机14与人26之间的距离、二维表示80的大小、距离照相机14的视窗内的二维表示80与其他固定物体之间的相对距离等,运动识别***16可以生成针对每个数据点82的元数据84。
元数据84可以包括关于各自的数据点82的某些详情。举例来说,元数据84可以包括x坐标值86、y坐标值88、z坐标值90、置信值92等。置信值92可以与运动识别***16可以确定x坐标值86、y坐标值88以及z坐标值90的程度或者量相对应。在某些实施方式中,运动识别***16可以生成针对每个坐标值的置信值92。置信值92可以基于数据点82的可见度、与数据点82相关的历史数据等来确定。
以同样的方式,机器28的二维表示100可以包括机器28的主体上的各种边缘或者关节处的数据点102。基于距离照相机14与机器28之间的距离、二维表示100的大小、距离照相机14的视窗内的二维表示100与其他固定物体之间的相对距离等,运动识别***16可以生成针对每个数据点102的元数据104。
与以上参照图5描述的元数据84类似,元数据104可以包括关于每个各个数据点102的某些详情,例如x坐标值106、y坐标值108、z坐标值110、置信值112等。与置信值92类似,置信值102可以与运动识别***16可以确定x坐标值106、y坐标值108以及z坐标值110的程度或者量相对应。在某些实施方式中,运动识别***16可以生成针对每个坐标值的置信值112,并且可以基于数据点82的可见度、与数据点82相关的历史数据、机器28的期望的位置等来确定置信值112。
基于上述内容,运动识别***16可以基于数据点82或者数据点102的位置怎样随时间而变化来检测元素的运动或者移动方式。在一个实施方式中,运动识别***16可以获取与每个数据点82或者数据点102相关的元数据84或者元数据104,并且将元数据84或者元数据104存储在存储器46或者存储装置48中。接着,运动识别***16的处理器44可以分析元数据84或者元数据104的集合以确定元素怎样移动。这样,运动识别***16可以识别元素的运动或者姿势。
返回去参照图4,在框64中,运动识别***16可以确定针对框62中接收的被检测运动的可能的自动化命令。在一个实施方式中,为了确定可能的自动化命令,运动识别***16可以将检测的位置和/或运动与和检测的位置和/或运动相关的自动化命令的库进行比较。图7示出了可以存储在运动识别***16的存储装置48中的自动化运动命令的库122的示例。
库122可以包括元素的期望运动以及对应的自动化命令的列表。期望运动的列表可以被编程到运动识别***16中使用学习模式等的库中。这样,操作者或者技师可以向运动识别***16提供输入,该输入指示针对特定的工业自动化设备20的自动化命令。接着,操作者可以将自己定位于距离照相机14的视窗内并且进行他意图与输入的自动化命令相关联的各种运动或者姿势。这样,运动识别***16可以记录对应于人26的数据点82怎样移动或者数据点82的运动模式。接着,运动识别***16可以将数据点83(自动化命令128)的运动模式存储在库122中并且将该模式与各个输入的自动化命令相关联。
例如,操作者可以向运动识别***16提供输入以进入学习模式并且指定特定的运动或者姿势应该与针对特定自动化设备20的紧急停止自动化命令相关联。在接收这些输入之后,运动识别***16可以检测与操作者的数据点82对应的运动,该运动可以包括例如在操作者处于距离照相机14的视窗中时保持一个臂向外伸直、手掌向外并且身体向上。当运动识别***16检测到该运动时,运动识别***16可以将数据点82(自动化命令128)的运动与紧急停止自动化命令相关联地存储在库122中。在某些实施方式中,运动识别***16可以通过接收一些来自操作者的不包括任何检测的运动或者姿势的输入来进入和退出学习模式。在这种情况下,学习模式的配置可以受到保护,并且可以不被任何非有意的运动或者姿势所危及。
在某些实施方式中,处理器44可以包括运动识别引擎124,该运动识别引擎124可以基于检测的元素的位置和/或运动从库122中识别自动化命令128。例如,如果运动识别引擎124检测到人26左右挥动他的双臂,那么运动识别引擎124可以将检测的运动与库122中存储的运动或者运动模式进行比较,并且确定针对特定的工业自动化设备20的与停止自动化命令对应的运动。
库122可以包括大量的运动以及针对每个运动的对应的自动化命令128。自动化命令可以包括控制自动化设备20、机器28或者工业自动化***10中的任何其他设备的任何命令。这样,自动化命令可以包括但不限于启动设备、停止设备、提高设备的速度或者输出,降低设备的速度或者输出等。而且,库122可以包括与各种运动例如禁用运动识别***16、限制操作者与运动识别***16接合的控制或者能力等相关联的其他命令。在某些实施方式中,库122可以包括相对于工业自动化环境24中的固定物体的运动。例如,人26在一些控制输入设备的方向上移动的运动比如紧急停止输入可以与针对该控制输入设备的自动化命令(例如,紧急停止)相关联。
运动识别引擎124可以被用于确定针对框62中接收的检测的运动的可能的自动化命令,而位置确定引擎126可以被用于确定针对框62中接收的检测的位置的可能的自动化命令。这样,位置确定引擎126可以确定数据点82和数据点102的位置并且可以咨询库122以识别与框62中接收的检测的位置对应的自动化命令128。以这种方式,库122可以包括其中可以基于数据点82和数据点102的位置来实施特定的自动化命令的规则或者情形。
基于这一点,图8示出了可以被指定为危险区域或者人26不应该进入其中或者只能使机器28在其中工作的区域的工业自动化环境24内的空间132。这样,库122可以包括自动化命令128,从而在检测到人26处于危险区域中时停止可能潜在地对人26造成伤害的特定的工业自动化设备20。
例如,在一个实施方式中,空间132可以用边界134来标记,边界134可以使用光幕、电标记、有色标记等来实现。这样,库122可以包括当空间132内存在一个或更多个人26时使工业自动化设备20或者机器28停止的自动化命令。在另一示例中,库122可以包括当人26或者人26的肢端位于工业自动化设备20或者机器28的工作空间内时使工业自动化设备20或者机器28的操作停止的自动化命令。例如,如果工业自动化设备20对应于压制材料的工业压力机,那么库122可以包括当在期望放置材料的地点的工业压力机的区域内检测到人26或者人26的肢端时使工业压力机的操作停止的工业自动化命令。
返回去参照图4,在框66中,运动识别***16可以确定针对框62中接收的检测的位置和/或运动的置信值92或者置信值112。如上所述,运动识别***16可以基于数据点82或者数据点102的可见度、与数据点82或者数据点102相关的历史数据、人26、机器28或者材料30的期望的位置等来确定置信值92或者置信值112。在一个实施方式中,运动识别***16还可以基于置信值92或者置信值112、框62中确定的检测的位置和/或运动与和框64中接收的可能的自动化命令相关联的位置和/或运动之间的差等来确定针对框64中确定的可能的自动化命令的置信值。在另一实施方式中,置信值可以与框62中接收的检测的位置和/或运动与针对元素的期望的运动模式之间的差相关。
在某些实施方式中,运动识别***16可以基于对应的元素是否在特定的范围内来确定针对检测的位置和/或运动的置信值。例如,如果与检测的位置和/或运动对应的元素在距离照相机14较近的范围内,那么检测的位置和/或运动与可能距离照相机14较远的元素相比,可以与更高的置信值相关联。置信值还可以存储在可以基于检测的元素和照相机14之间的距离来组织的阵列中。这样,运动识别***16可以基于排列在阵列中的置信值来确定针对检测的位置和/或运动的置信值。
在框68中,运动识别***16可以确定框66中确定的置信值是否大于某阈值。如果框66中确定的置信值大于阈值,那么运动识别***16可以进行至框70并且实施框64中确定的自动化命令。除了实施自动化命令之外或者替代实施自动化命令,运动识别***16可以向工业自动化***10的管理员或者操作者发送指示实施了自动化命令等的通知。
在一个实施方式中,在实施确定的自动化命令时,运动识别***16可以将确定的自动化命令与特定的工业自动化设备20相关联。也就是说,在基于检测的元素的位置和/或运动来确定自动化命令时,运动识别***16可以基于在工业自动化***10中的设备附近的数据点82和数据点102的位置来确定由哪一个自动化设备20或者机器28来实施确定的自动化命令。例如,如果运动识别***16将由距离照相机14检测的运动解释为与停止工业自动化设备20对应,那么在框70中,运动识别***16可以在位于元素的最近邻区域内的工业自动化设备20上实施自动化命令。
返回去参照框68,如果框66中确定的置信值不大于阈值,那么运动识别***16可以进行至框72并且实施默认的自动化命令。默认的自动化命令可以是针对各个自动化设备20或者机器28的安全状态命令。在一个实施方式中,默认自动化命令可以包括继续各个工业自动化设备20的操作。在另一实施方式中,在框72中,运动识别***16可以发送请求手动确认框64中确定的自动化命令的通知或者指示针对各个自动化命令置信等级为低的通知。
基于检测的位置/运动和二次输入的自动化命令
通过基于置信值确定是否实施识别的自动化命令,可以保护或者防止运动识别***16将人26、机器28或者材料30的随机运动和/或位置解释成可能的自动化命令。然而,在某些实施方式中,为了更好地确保运动识别***16识别适当的自动化命令,或者为了更好地确保工业自动化设备20被安全地操作,运动识别***16可以使用二次输入来补充、补足或者甚至替代由运动识别***16识别的基于运动的和/或基于位置的输入。例如,图9描绘了使用距离照相机***12和一些二次输入来控制工业自动化***10内的一个或更多个工业自动化设备20的方法140。
二次输入可以包括由***控制器18或者运动识别***16接收的或者生成的可以被用来补足或者确认自动化命令的任何输入或者信号。这样,运动识别***16可以基于***控制器18或者运动识别***16是否已经接收了期望的二次输入来验证解释的自动化命令的有效性。
基于这一点并且参照图9,在框142中,如同在上文中关于图4的框62所描述的那样,运动识别***16可以接收元素的被检测位置和/或运动。在一个实施方式中,由运动识别***16接收的元素的被检测位置和/或运动可以包括与针对框142中接收的检测的位置和/或运动的置信值92或112相关的元数据或者信息。
在接收元素的被检测位置和/或运动之后,在框144中,如同在上文中关于图4的框64所描述的那样,运动识别***16可以确定针对框142中接收的检测的位置和/或运动的可能的自动化命令。虽然在图9中未示出,但是应注意在某些实施方式中,运动识别***16可以基于置信值92或112、框142中接收的检测的位置和/或运动与和框144中确定的可能的自动化命令对应的期望的位置和/或运动之间的差等来确定在框144中确定的针对自动化命令的置信值。
在框146中,运动识别***16可以确定是否已经接收到期望的二次输入或者自动化***信号。如上所述,二次输入可以包括由运动识别***16接收的输入或者信号,以验证框144中确定的自动化命令与待实施的自动化命令相对应。这样,二次输入可以包括使用手动输入或者其他控制输入例如位于工业自动化***10内的按钮、经由输入/输出端口50向运动识别***16提供的输入、由运动识别***16经由置于工业自动化设备20上或者工业自动化***10内的传感器接收的输入等。
例如,二次输入可以包括由人26操作的手动开关或者按钮。二次输入还可以包括在安全垫/压力垫上检测的重量、指示光幕是否已经被破坏的来自光幕的信号、来自区域扫描仪的指令或者来自使能垂挂物、安全门、保护连锁装置、紧急停止开关等的输入。
二次输入的另一示例可以包括语音命令或者确认。这样,在框144中,机器识别***16可以期望接收来自人26的语音命令,该语音命令可以与针对各个确定的自动化命令的期望语音命令相对应。例如,可以与停止自动化命令对应的与检测的运动相关联的期望二次输入可以包括由表述“停止”的人26发出的语音。
在一个实施方式中,二次输入可以是关于一些自动化设备20的元素的被检测位置,而框144中确定的自动化命令可以基于检测的元素的运动。例如,如果运动识别***16确定人26的运动对应于使压力机接合的自动化命令,那么在框146中,运动识别***16可以确定检测的人26的位置是否为远离压力机的安全距离或者在材料可以被压制的区域之外。这样,人26的位置可以被用作框146中的期望的二次输入。而且,以这种方式,运动识别***16可以将由距离照相机14检测的运动与由距离照相机14检测的位置进行协调,以控制工业自动化***10内各种设备的操作。这样,运动识别***16可以确保工业自动化设备20被安全地操作并且根据它们各自的规格来操作。
返回去参照框146,如果运动识别***16接收期望的二次输入,那么运动识别***16可以进行至框148并且实施框144中确定的自动化命令。在一个实施方式中,除了实施自动化命令之外或者替代实施自动化命令,运动识别***16可以向工业自动化***10的管理员或者操作者发送指示已经实施了自动化命令、已经请求了实施自动化命令等的通知消息(例如,电子邮件、文本消息)。
然而,如果在框146中,运动识别***16没有接收期望的二次输入,那么运动识别***16可以进行至框150并且实施默认动作。在一个实施方式中,默认动作可以针对每个自动化设备20来定义或者确定。默认动作可以被定义或确定为与针对各个工业自动化设备20的安全状态(例如,断电)相对应。换言之,如果运动识别***16没有接收期望的二次输入,那么运动识别***16可以确定针对各个工业自动化设备20的安全状态并且实施与安全状态相对应的自动化命令。例如,如果期望的二次输入对应于指示人26站在压力垫上并且因此位于远离各个工业自动化设备20的安全距离的信号,那么运动识别***16可以通过假定人26没有站在压力垫上来确定针对各个自动化设备20的安全状态自动化命令。这样,运动识别***16可以确定针对各个自动化设备20的安全状态可以包括使各个自动化设备20断电,由此确保人没有被各个工业自动化设备20伤害或者物体没有被各个工业自动化设备20损坏。在这种情况下,接着,运动识别***16可以向各个自动化设备20发送在安全状态模式下操作的命令。在某些实施方式中,默认动作或者安全状态模式可以包括完全不进行动作。这样,默认动作可以包括继续各个自动化设备20的操作。
除了实施默认动作之外或者替代实施默认动作,运动识别***16可以向工业自动化***10的管理员或者操作者发送指示已经实施默认动作、没有接收到二次输入等的通知。在一个实施方式中,通知可以包括关于运动识别***16可能正在寻找什么作为二次输入的建议或者指令。
在某些实施方式中,当确定已经接收期望的二次输入之后,运动识别***16可以进行至图4的框66。这样,运动识别***16可以确定针对框142中接收的检测的位置和/或运动的置信值92或者置信值112。如同在上文中关于框66所描述的那样,可替换地或者附加地,运动识别***16可以确定针对框144中确定的可能的自动化命令的置信值。接着,运动识别***16可以遵循方法60的处理,以更好地确保框144中确定的自动化命令可以正确地匹配框142中接收的元素的被检测位置和/或运动。
基于检测的位置/运动导数数据的自动化命令
除了基于元素的被检测位置和/或运动来确定自动化命令之外,运动识别***16还可以在确定自动化命令时分析检测的位置和/或运动的导数值。也就是说,运动识别***16可以确定针对元素的被检测位置的一个或更多个导数值并且基于导数值来确定自动化命令。与元素的检测位置对应的数据的导数值可以指示元素移动的速度。在某些实施方式中,运动识别***16可以在确定针对检测的位置的自动化命令时使用速度信息。例如,速度数据可以被用于量化应实施确定的自动化命令的速度。
以同样的方式,与元素的检测的运动对应的数据的导数值可以指示加速度或者加速度的变化,其对应于元素可以怎样移动。可以由运动识别***16解释加速度或者加速度数据的变化,以指示关于元素的检测的运动对紧急情况或者不期望的事件的感测。例如,如果人26提高速度向紧急停止开关移动,那么运动识别***16可以将与人26的运动相对应的高的加速度或者加速度数据的大的变化解释为指示工业自动化***10中可能存在严重的问题。而且,加速度或者加速度数据的变化还可以用于预测各个时间点上的人26(或者其他被跟踪的物体)的位置。下面参照图10提供了关于在确定针对工业自动化***10的自动化命令时使用基于导数的数据的更多细节。
现在参照图10,运动识别***16可以采用方法160来实施基于与由距离照相机14检测的位置和/或运动相关的导数数据的自动化命令和/或通知。在框162中,如同在上文中关于图4的框62所描述的那样,运动识别***16可以接收元素的检测的位置和/或运动。
在接收元素的检测的位置和/或运动之后,在框164中,运动识别***16可以确定针对框162中接收的检测的位置和/或运动的导数值。在一个实施方式中,针对检测的位置数据,运动识别***16可以生成表示数据点82或者数据点102的位置随时间变化的位置函数。接着,运动识别***16可以确定针对生成的位置函数的导数值以确定检测的数据点82或者数据点102的位置的变化率,该变化率可以对应于数据点82或者数据点102移动的速度。
在另一实施方式中,针对检测的运动数据,运动识别***16可以生成表示数据点82或者数据点102的运动随时间而变化的运动函数。接着,运动识别***16可以确定针对生成的运动函数的导数值以确定数据点82或者数据点102的被检测运动的变化率,该变化率可以对应于针对数据点82或者数据点102的检测的运动的加速度。
在框166中,运动识别***16可以基于框162中接收的检测的位置和/或运动和/或框164中确定的检测的位置和/或运动的导数值来确定可能的自动化命令。也就是说,如同在上文中关于图4的框64所描述的那样,运动识别引擎124可以从库122确定与检测的位置和/或运动对应的自动化命令,并且可以基于框164中确定的检测的位置和/或运动的导数值来细化或者修订确定的自动化命令。
例如,除了与元素的位置和/或运动相关的数据之外,库122还可以包括对应于与元素的位置和/或运动相关的数据的期望的速度和加速度。换言之,除了将元素的某个位置和/或运动与特定的自动化命令相关联之外,库122还可以将特定的自动化命令的元素的某个位置和/或运动与对应于元素怎样移动的期望的速度和/或加速度值相关联。以这种方式,运动识别***16可以检测对自动化命令中的紧急情况的感测或者可以对调用自动化命令的元素的任何不寻常的行为进行标记。
基于这一点,在框166中,运动识别***16首先可以基于检测的元素的位置和/或运动从库122检索自动化命令。然而,接着,运动识别16可以基于检测的位置和/或运动的导数值修订或者改变检索的自动化命令。举例来说,在确定元素的位置和/或运动对应于提高电动机的速度的自动化命令之后,运动识别***16然后可以咨询库122以确定检测的元素的位置和/或运动的导数值是否在针对元素的检测的位置和/或运动的导数值的期望范围内。
如果检测的元素的位置和/或运动的导数值不在导数值的期望的范围内,那么运动识别***16可以改变或者修改从库122检索的自动化命令。例如,返回去参照以上示例,如果自动化命令对应于提高电动机的速度,那么运动识别***16可以改变自动化命令以禁用电动机。在该示例中,运动识别***16可以禁用工业自动化设备20(即电动机)以确保工业自动化设备20被安全地操作并且确保检测到适当的元素的位置和/或运动。也就是说,通过识别导数值是否相对地匹配期望的导数值,运动识别***16可以提供附加保障,以防止未被授权的人员对工业自动化***10中的设备进行操作。
在某些实施方式中,库122通常可以包括与存储在其中的每个自动化命令对应的运动的期望速度和加速度值相关的数据。除了针对自动化命令的期望的速度和加速度值之外,库122还可以存储与元素例如人26、机器28或者材料30的通常行为对应的期望速度和加速度值。这样,期望的速度和加速度值可以包括与人26、机器28或者材料30的正常行为运动对应的速度和加速度值的范围。在某些实施方式中,运动识别***16可以基于由距离照相机14获得的历史数据确定针对任何元素的期望的速度和加速度值。也就是说,运动识别***16可以检测各种元素随时间变化的位置和/或运动,并且识别可以与正常行为对应的元素的位置和/或运动。接着,运动识别***16可以确定针对与正常行为对应的元素的位置和/或运动的导数值,并且识别与正常行为对应的导数值(例如,速度和加速度数据)的范围。
基于这一点,在框166中,运动识别***16可以基于检测的位置和/或运动是否具有与期望的导数值对应的导数值来确定自动化命令。也就是说,运动识别***16可以解释检测的元素的运动对应于正常运动还是非正常运动,并且基于元素的运动是正常还是非正常来确定自动化命令。例如,如果人26突然跌到地板上或者变得不能活动,那么人26跌到地上或者保持不能活动的运动可以具有针对人的期望的导数值的范围之外的导数值。这样,运动识别***16可以基于与人26的运动有关的速度或者加速度数据来识别或者检测这些类型的不希望的情况。在另一示例中,运动识别***16可以确定机器28或者材料30可能以会落入导数值的期望范围之外的速度或者加速度移动。在这种情况下,运动识别***16可以确定机器28或者材料30可能非正常地移动,由此可能导致机器28、材料30损坏等。
如果运动识别***16确定导数值在期望的导数值范围之外,那么接着,运动识别***16可以确定可以设计为保护人26的安全、工业自动化***10正常运转等的针对各种工业自动化设备20的一个或更多个自动化命令。例如,运动识别***16可以预测可能在人26近邻或者可能有进一步伤害人26的风险的工业自动化设备20的移动和操作,并且确定可以使任何进一步伤害人26的风险最小化的自动化命令。例如,确定的一个或更多个自动化命令可以包括停止各种工业自动化设备20、机器28的操作等。
在某些实施方式中,在框166中,运动识别***16可以通过预测人26、机器28、材料30或者自动化设备20是否可能物理上相互接触或者进入相互的工作空间内来基于导数值确定可能的自动化命令。也就是说,通过使用框162中接收的检测的运动的导数值,运动识别***16可以预测两个元素移动的模式是否可能导致其中任何一个元素受到伤害或被损坏。而且,通过使用检测的元素的位置和/或运动以及检测的位置和/或运动的导数值,运动识别***16可以预测元素何时可能碰撞、导致伤害、导致损坏等。这样,运动识别***16可以确定可以防止工业自动化***10内的任何元素的伤害或者损坏的一个或更多个自动化命令。例如,如果运动识别***16基于检测的元素的位置和/或运动以及检测的位置和/或运动的导数值预测到两个元素可能相互碰撞,那么运动识别***16可以确定可以使工业自动化设备20和/或机器28以相反方向而不是按当前的方向移动从而避免碰撞的、针对各种工业自动化设备20和/或机器28的自动化命令。
在某些实施方式中,运动识别***16可以基于检测的位置和/或运动的导数值来量化确定的自动化命令。换言之,运动识别124可以给与确定的自动化命令相关的方面赋予某些数值。例如,如果运动识别引擎124从库122检索与停止工业自动化设备20的操作对应的自动化命令,那么运动识别***16可以使用检测的位置和/或运动的导数值来量化与停止工业自动化设备20的自动化命令相关的紧急性或者重要性。也就是说,如果导数值指示速度和/或加速度大于期望的速度和/或加速度的范围,那么运动识别***16可以确定对应的自动化命令具有较高程度的紧急性或者重要性。这样,在框166中,运动识别***16可以基于提高了的重要性来确定附加的自动化命令。返回去参照以上示例,在从库122检索与停止工业自动化设备20的操作对应的自动化命令之后,如果检索的自动化命令被解释为具有高重要性,那么运动识别***16可以生成停止其他相关的工业自动化设备20以保护整个工业自动化***10的附加自动化命令。
在基于检测的位置和/或运动和/或基于导数值确定可能的自动化命令之后,运动识别***16可以实施框166中确定的一个或更多个自动化命令。在某些情况下,运动识别***16可以向工业自动化***10的管理员或者操作者发送指示确定的一个或更多个自动化命令的通知。如果运动识别***16检测到如上所述的非正常或者不希望的事件,那么运动识别***16可以向工业自动化***10的管理员或者操作者发送提供与非正常或者不希望的事件相关的详情的通知。
返回去参照框166,在某些实施方式中,在确定可能的一个或更多个自动化命令之后,运动识别***16可以进行至图4的框66。这样,运动识别***16可以确定针对框162中接收的检测的位置和/或运动的置信值92或112。可替换地或者附加地,如同关于框66所描述的那样,运动识别***16可以确定针对框166中确定的可能的自动化命令的置信值。以这种方式,运动识别***16可以更好地确保框166中确定的自动化命令可以正确地匹配框162中接收的元素的检测的位置和/或运动。
在另一实施方式中,在框166确定可能的一个或更多个自动化命令之后,运动识别***16可以进行至图9的框146。这样,如同在上文中关于图9的框146所描述的那样,运动识别***16可以确定是否已经接收了期望的二次输入。接着,运动识别***16可以基于是否已经由***控制器18或者运动识别***16接收了期望的二次输入来验证确定的自动化命令的有效性。
再次参照框166,运动识别***16可以基于可以存储在存储器中的历史数据来确定可能的自动化命令。也就是说,运动识别***16可以通过使用历史数据学习将特定的运动模式与各个自动化命令相关联。例如,如果运动识别***16根据历史数据确定特定的运动模式通常与特定的自动化命令相关联,那么运动识别***16可以学习或者将特定的运动模式与特定的自动化命令相关联。
基于检测的位置/运动以及当前元素的类型的自动化命令
除了如同图4、图9以及图10中所描述的那样对工业自动化***中的元素的位置和/或运动进行解释之外,运动识别***16还可以区分工业自动化环境24中的人和物体,并且基于该元素是不是人来实施各种控制和/或通知动作(图11)。例如,运动识别***16可以基于人或物体是否在工业自动化环境24中移动来控制工业自动化环境24内的光和空调可以怎样工作。
基于这一点,图11描绘了基于工业自动化环境中是否存在人或物体(即非人)来实施与工业自动化***10相关的各种控制和/或通知动作的方法170。现在参照图11,在框172中,如上所述,运动识别***16可以从距离照相机14接收在工业自动化环境24中存在的元素的检测的位置和/或运动。
在框174中,运动识别***16可以基于框172中接收的检测的位置和/或运动来确定元素是否对应于人(例如人26)或者物体(例如机器26或材料30)。在某些实施方式中,运动识别***16可以将数据点82或数据点102的位置与人的模板或者已知的数据点布置进行比较。如果数据点82或数据点102的位置与人的模板或者已知的数据点布置相对应,那么运动识别***16可以确定元素是人。否则,运动识别***16可以将元素归类为物体或者非人。
在另一实施方式中,运动识别***16可以将框172中接收的元素的运动与人的模板或者已知的运动模式进行比较。如果接收的运动对应于人的模板或者已知的运动模式,那么运动识别***16可以确定元素是人。否则,运动识别***16可以将元素归类为物体或者非人。
一旦运动识别***16确定元素是人或者物体,运动识别***16可以基于元素是否被确定为人或者物体来实施控制动作和/或通知动作。控制动作可以包括操作工业自动化***10中的任何设备或者控制工业自动化环境24中的各种环境参数。例如,如同参照方法170在上文中所描述的那样,图12示出了可以使用运动识别***16来控制工业自动化环境24中的各种环境参数的示例环境控制***180。
现在参照图12,环境控制***180可以包括各种环境控制特征,例如供热、通风与空调(HVAC)单元182、光控制单元184等。HVAC单元182可以通过提供通风、空气过滤等来控制空气流动、维持空气质量或者调节工业自动化环境24中的温度。光控制单元184可以控制用于工业自动化环境照明的光186的操作。在某些实施方式中,HVAC单元182和光控制单元184可以耦接到***控制器18,如图12所示。这样,***控制器18可以向HVAC单元182和光控制单元184提供信号以控制工业自动化环境24内的环境。然而,应注意在某些实施方式中,与经由***控制器18耦接相对地,运动识别***16可以直接耦接到环境控制设备。
基于环境控制***180,并且返回去参照框176,运动识别***16可以基于检测的元素是人还是物体来控制HVAC单元182、光控制单元184等的操作。例如,当没有人存在于工业自动化环境24中时,工业自动化环境24内的状态不应该迎合人的需要。这样,在一个实施方式中,如果运动识别***16确定工业自动化环境24中存在的的元素不是人,那么运动识别***16可以向***控制器18发送一个或更多个修改HVAC单元182、光控制单元184等的操作的信号。举例来说,当运动识别***16确定工业自动化环境24中不存在人时,运动识别***16可以向***控制器18发送停止操作HVAC单元182或者关闭光186的信号。以这种方式,工业自动化设备20、机器28以及材料30可以继续遍及工业自动化环境24移动同时在不适合人的(例如不舒适的)状态或者弱光状态中工作。也就是说,由于工业自动化设备20、机器28以及材料30不会被在适合人的或者不适合人的环境中工作所影响,因此运动识别***16可以通过最小化地使用HVAC单元182或者光控制单元184来更有效地操作环境控制设备。而且,当接收的元素的被检测位置和/或运动确定是人时,运动识别***16可以在框176调节环境控制设备的操作以使工业自动化环境24对于人来说更适合或者舒适。
除了控制工业自动化***中的环境控制设备,运动识别***16还可以基于元素是否是人来控制工业自动化设备20或者机器28。例如,在某些实施方式中,可以将运动识别***16布置成使得距离照相机14可以监视工业自动化环境24内可以被指定为危险区域或者人不应该进入的区域的区域。这样,在框174中,运动识别***16确定区域中的元素对应于人,那么运动识别***16可以向***控制器18发送一个或更多个信号以改变或者停止工业自动化设备20、机器28等的操作,以保护现在区域中存在的人。以这种方式,运动识别***16允许各种大小与方向的多种物体进入危险区域,而当存在人时则维持工业自动化环境24中的安全环境。
通知动作可以包括向工业自动化***10的管理员或者操作者发送指示已经实施自动化命令、已经实施框176的控制动作的通知消息(例如,电子邮件、文本消息)。在一个实施方式中,通知消息还可以包括当没有被授权存在其中时在工业自动化环境24中存在人等的指示。
除了基于检测的位置和/或运动是人还是非人做出来实施控制动作和/或通知动作之外,运动识别***16还可以基于工业自动化环境24中存在的人之间的被检测的区别来实施控制动作和/或通知动作。例如,图13描绘了基于工业自动化环境中的人之间被检测的区别来实施自动化命令和/或通知动作的方法190的示例。
现在参照图13,在框192中,运动识别***16可以使用距离照相机14来扫描工业自动化环境24。在框194中,运动识别***16可以识别工业自动化环境24中工作或者存在的人。接着,运动识别***16可以确定当前的人中哪个人被授权使用运动识别***16来实施自动化命令。
在一个实施方式中,人26可以进行特定的运动或者姿势来将自己指定为工业自动化环境24中被授权的人。这样,人26可以使用基于姿势的登入运动或者授权处理来将自己指定为被授权的人。
在另一实施方式中,运动识别***16可以搜索穿戴特定的衣物例如背心、纽扣、皮带、手套等的个人。特定的衣物可以将个人指定为被授权来实施自动化命令的人。在某些示例中,携带或者穿戴不希望的物体例如枪或者膝上型电脑的人可以被指定为未被授权的人员。在这种示例中,运动识别***16可以发送指示工业自动化环境24中存在未被授权的人员的通知或者警告。
在又一实施方式中,运动识别***16可以搜索置于人26上的标志或者符号例如徽章以将人26指定为被授权的人。在某些示例中,运动识别***16可以与传感器22相结合工作以检测置于人26上的射频识别(RFID)标签等来将人26指定为被授权的人。
运动识别***16还可以将授权的个人的轮廓存储在运动识别***16的存储器中。例如,轮廓可以包括关于与授权的人相关联的面部特征、身体参数等的数据。这样,在框194中,运动识别***16可以基于人的面部特征、身体参数等是否与轮廓中存储的面部特征、身体参数等相匹配来识别授权的人员。
运动识别***16还可以识别授权的人在从已知的授权人员接收姿势或运动,该姿势或运动指示另一人也是被授权的。也就是说,已知的被授权的人可以向另一人传递他的授权状态或者使用特定的运动、姿势等来将工业自动化环境24中的另一人指定为被授权。
运动识别***16还可以通过检测人身上特定的颜色或者衣物的属性来识别被授权的人。在一个实施方式中,置于人上的不同颜色或者衣物的属性可以指示授权的不同级别。也就是说,授权的不同级别可以与工业自动化环境24中的不同的人相关联。每个不同级别的授权可以使各个人实施不同组的自动化命令。虽然已经将不同级别的授权描述为基于检测特定颜色或衣物属性而与人相关联,然而应注意,如上所述,运动识别***16可以基于由人进行的特定的运动或者姿势、由人穿戴的特定的衣物、在人身上检测到的某些标志、符号或者标签、存储的人的轮廓来将不同的人指定为具有不同级别的授权。
在框194中运动识别***16识别被授权的人员之后,在框196中,运动识别***16可以从距离照相机14接收与识别的被授权人员对应的检测的位置和/或运动。在某些实施方式中,运动识别***16可以进行至图4的框66。这样,接着,运动识别***16可以进行至框64并且按照方法60的处理通过使用置信值来实施自动化命令。
在框196中接收检测的被授权的人的位置和/或运动之后,运动识别***16可以进行至图9的框144并且遵循方法140的处理。这样,如同在上文中关于图9的框146所描述的那样,运动识别***16可以确定是否已经接收了期望的二次输入。这样,运动识别***16可以基于是否已经由***控制器18或者运动识别***16接收了期望的二次输入来验证被授权的人的确定的自动化命令的有效性。
在一个实施方式中,在框196中接收检测的被授权人的位置和/或运动之后,运动识别***16可以进行至图10的框164,并且遵循方法160的处理。这样,如同在上文中关于图10的框166所描述的那样,运动识别***16可以基于针对检测的位置和/或运动的导数值来确定与检测的位置和/或运动对应的自动化命令。这样,运动识别***16可以使用导数值来进一步解释检测的人26的位置和/或运动。
通过以上公开可知本申请的方案包括但不限于:
1.一种用于进行工业自动化控制的方法,包括:
经由传感器***检测人的位置和/或运动;
确定与所述检测的位置和/或运动对应的可能的自动化命令;
从至少一个附加控制部件接收自动化***信号;以及
基于所述确定的可能的自动化命令和接收的所述自动化***信号来实施控制和/或通知动作。
2.根据1所述的方法,其中,所述检测的位置和/或运动包括与所述确定的命令相关联的至少一个姿势。
3.根据2所述的方法,其中,所述至少一个姿势是多个可能的姿势中的一个姿势,每个姿势与自动化命令相关联。
4.根据1所述的方法,其中,实施所述控制和/或通知动作包括:
在没有接收到所述自动化***信号时确定与工业自动化设备对应的安全状态自动化命令;以及
将所述安全状态自动化命令发送给所述工业自动化设备。
5.根据4所述的方法,其中,所述安全状态自动化命令包括使所述工业自动化设备断电。
6.根据1所述的方法,其中,接收所述自动化***信号包括接收来自人的输入。
7.根据1所述的方法,其中,接收所述自动化***信号包括接收来自自动化控制器的输入。
8.根据7所述的方法,其中,来自所述自动化控制器的所述输入包括人的位置是在预定空间中的指示。
9.根据1所述的方法,其中,所述至少一个附加控制部件包括被配置成检测预定空间中的物体或者人的存在的传感器。
10.一种用于进行工业自动化控制的***,包括:
传感器***,被配置成检测人的位置和/或运动;
处理***,被配置成基于所述检测的位置和/或运动来确定可能的自动化命令;
至少一个附加控制部件,被配置成接收或者生成自动化***信号;以及
其中,所述处理***被配置成基于确定的所述可能的自动化命令和接收的或者生成的所述自动化***信号来实施控制和/或通知动作。
11.根据10所述的***,其中,所述传感器***包括红外线传感器、光学传感器、射频能量检测器、声音传感器、振动传感器、磁性传感器或者其任意组合。
12.根据10所述的***,其中,所述处理***被配置成当接收的或者生成的所述自动化***信号与和确定的所述可能的自动化命令相关联的期望的自动化***信号相匹配时实施所述控制。
13.根据10所述的***,其中,所述处理***包括存储器,所述存储器具有与人的多个被检测的位置和/或运动相关联的多个可能的自动化命令。
14.根据10所述的***,其中,所述自动化***信号包括从按钮接收的信号、从置于工业自动化设备上的传感器接收的信号或者其任意组合。
15.根据14所述的***,其中,所述传感器包括压力垫、光幕、区域扫描仪、使能垂挂物、安全门、保护连锁装置或者紧急停止开关。
16.根据10所述的***,其中,所述自动化***信号包括来自人的语音命令。
17.根据10所述的***,其中,所述处理***被配置成基于确定的所述位置来确定所述可能的自动化命令,并且其中所述自动化***信号基于确定的所述位置。
18.根据17所述的***,其中,所述自动化***信号基于确定的所述位置与工业自动化设备之间的距离。
19.根据10所述的***,其中,所述通知动作包括在已经接收或者生成所述自动化***信号时发送指示已经实施了所述控制的通知消息。
20.一种用于进行工业自动化控制的方法,包括:
经由传感器***检测人的位置和/或运动;
确定与检测的所述位置和/或运动对应的可能的自动化命令;
确定与检测的所述位置、检测的所述运动和/或确定的所述自动化命令相关联的置信值;
从至少一个附加控制部件接收自动化***信号;以及
基于确定的所述可能的自动化命令、所述置信值以及接收的所述自动化***信号来实施控制和/或通知动作。
21.根据20所述的方法,其中,确定所述置信值包括:
确定检测的所述位置和/或运动与对应于确定的所述自动化命令的期望的位置和/或运动之间的差;以及
基于所述差来计算所述置信值。
22.根据20所述的方法,包括当所述置信值大于阈值时实施所述控制和/或通知动作。
23.根据20所述的方法,其中,实施所述控制和/或通知动作包括在没有接收到所述自动化***信号时发送指示没有接收到所述自动化***信号的通知消息。
24.根据20所述的方法,其中,实施所述控制和/或通知动作包括在没有接收到所述自动化***信号时实施默认动作。
25.根据24所述的方法,其中,实施所述默认动作包括:
确定与确定的所述自动化命令对应的针对工业自动化设备的安全状态操作;以及
向所述工业自动化设备发送根据所述安全状态操作来工作的命令。
虽然在本文中示出并描述了本发明的仅某些特征,但是本领域普通技术人员可以想到很多修改和变化。因此,应理解所附权利要求意在覆盖所有落入本发明真正的精神之内的这类修改和变化。
Claims (10)
1.一种用于进行工业自动化控制的方法,包括:
经由传感器***检测人的位置和/或运动;
确定与所述检测的位置和/或运动对应的可能的自动化命令;
从至少一个附加控制部件接收自动化***信号;以及
基于所述确定的可能的自动化命令和接收的所述自动化***信号来实施控制和/或通知动作。
2.根据权利要求1所述的方法,其中,所述检测的位置和/或运动包括与所述确定的命令相关联的至少一个姿势。
3.根据权利要求2所述的方法,其中,所述至少一个姿势是多个可能的姿势中的一个姿势,每个姿势与自动化命令相关联。
4.一种用于进行工业自动化控制的***,包括:
传感器***,被配置成检测人的位置和/或运动;
处理***,被配置成基于所述检测的位置和/或运动来确定可能的自动化命令;
至少一个附加控制部件,被配置成接收或者生成自动化***信号;以及
其中,所述处理***被配置成基于确定的所述可能的自动化命令和接收的或者生成的所述自动化***信号来实施控制和/或通知动作。
5.根据权利要求4所述的***,其中,所述传感器***包括红外线传感器、光学传感器、射频能量检测器、声音传感器、振动传感器、磁性传感器或者其任意组合。
6.根据权利要求4所述的***,其中,所述处理***被配置成当接收的或者生成的所述自动化***信号与和确定的所述可能的自动化命令相关联的期望的自动化***信号相匹配时实施所述控制。
7.一种用于进行工业自动化控制的方法,包括:
经由传感器***检测人的位置和/或运动;
确定与检测的所述位置和/或运动对应的可能的自动化命令;
确定与检测的所述位置、检测的所述运动和/或确定的所述自动化命令相关联的置信值;
从至少一个附加控制部件接收自动化***信号;以及
基于确定的所述可能的自动化命令、所述置信值以及接收的所述自动化***信号来实施控制和/或通知动作。
8.根据权利要求7所述的方法,其中,确定所述置信值包括:
确定检测的所述位置和/或运动与对应于确定的所述自动化命令的期望的位置和/或运动之间的差;以及
基于所述差来计算所述置信值。
9.根据权利要求7所述的方法,包括当所述置信值大于阈值时实施所述控制和/或通知动作。
10.根据权利要求7所述的方法,其中,实施所述控制和/或通知动作包括在没有接收到所述自动化***信号时发送指示没有接收到所述自动化***信号的通知消息。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/779,535 | 2013-02-27 | ||
US13/779,535 US9798302B2 (en) | 2013-02-27 | 2013-02-27 | Recognition-based industrial automation control with redundant system input support |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104102186A true CN104102186A (zh) | 2014-10-15 |
CN104102186B CN104102186B (zh) | 2017-04-12 |
Family
ID=50159143
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410069095.2A Active CN104102186B (zh) | 2013-02-27 | 2014-02-27 | 具有冗余***输入支持的基于识别的工业自动化控制 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9798302B2 (zh) |
EP (1) | EP2772812B1 (zh) |
CN (1) | CN104102186B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9009084B2 (en) * | 2002-10-21 | 2015-04-14 | Rockwell Automation Technologies, Inc. | System and methodology providing automation security analysis and network intrusion protection in an industrial environment |
US10955810B2 (en) * | 2015-11-13 | 2021-03-23 | International Business Machines Corporation | Monitoring communications flow in an industrial system to detect and mitigate hazardous conditions |
US20180118522A1 (en) * | 2016-10-28 | 2018-05-03 | Otis Elevator Company | Sensor on escalator landing plate |
DE102017111886B3 (de) * | 2017-05-31 | 2018-05-03 | Sick Ag | Bestimmen der Bewegung einer abzusichernden Maschine |
US10338557B2 (en) * | 2017-06-19 | 2019-07-02 | Rockwell Automation Technologies, Inc. | Systems and methods for safety input devices |
DE102017126956B3 (de) * | 2017-11-16 | 2018-12-13 | Insta Gmbh | Verfahren zum personenpositionsabhängigen Ansteuern wenigstens eines in ein Gebäudeautomatisierungssystem eingebundenen Aktors |
CN110185894B (zh) * | 2019-06-05 | 2020-09-11 | 南京云岸信息科技有限公司 | 一种多视角的动作识别*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102073303A (zh) * | 2010-12-24 | 2011-05-25 | 江苏大学 | 服务于两台数控机床上下料移动机器人的控制方法 |
CN102356366A (zh) * | 2009-05-15 | 2012-02-15 | 费希尔-罗斯蒙德***公司 | 无线现场设备改进的检测和定位 |
CN102662370A (zh) * | 2012-05-04 | 2012-09-12 | 安徽博源自动化仪表有限公司 | 一种远程监控***及方法 |
US20120290121A1 (en) * | 2011-05-06 | 2012-11-15 | Deckel Maho Pfronten Gmbh | Device for operating an automated machine for handling, assembling or machining workpieces |
CN102884485A (zh) * | 2010-02-22 | 2013-01-16 | 柯尼格及包尔公开股份有限公司 | 用于探测在电子控制的生产机器中出现的事件的方法 |
Family Cites Families (175)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1991011766A2 (en) | 1990-01-30 | 1991-08-08 | Johnson Service Company | Networked facilities management system |
US7887089B2 (en) | 1992-05-05 | 2011-02-15 | Automotive Technologies International, Inc. | Vehicular occupant protection system control arrangement and method using multiple sensor systems |
US7655895B2 (en) | 1992-05-05 | 2010-02-02 | Automotive Technologies International, Inc. | Vehicle-mounted monitoring arrangement and method using light-regulation |
US7983817B2 (en) | 1995-06-07 | 2011-07-19 | Automotive Technologies Internatinoal, Inc. | Method and arrangement for obtaining information about vehicle occupants |
US8152198B2 (en) | 1992-05-05 | 2012-04-10 | Automotive Technologies International, Inc. | Vehicular occupant sensing techniques |
US7831358B2 (en) | 1992-05-05 | 2010-11-09 | Automotive Technologies International, Inc. | Arrangement and method for obtaining information using phase difference of modulated illumination |
US7570785B2 (en) | 1995-06-07 | 2009-08-04 | Automotive Technologies International, Inc. | Face monitoring system and method for vehicular occupants |
US7738678B2 (en) | 1995-06-07 | 2010-06-15 | Automotive Technologies International, Inc. | Light modulation techniques for imaging objects in or around a vehicle |
US7734061B2 (en) | 1995-06-07 | 2010-06-08 | Automotive Technologies International, Inc. | Optical occupant sensing techniques |
US6275146B1 (en) | 1996-04-23 | 2001-08-14 | Philip W. Kithil | Vehicle occupant sensing |
US5812978A (en) * | 1996-12-09 | 1998-09-22 | Tracer Round Associaties, Ltd. | Wheelchair voice control apparatus |
EP0948759B1 (en) * | 1996-12-31 | 2002-08-07 | Rosemount Inc. | Device in a process system for validating a control signal from a field device |
US6072494A (en) * | 1997-10-15 | 2000-06-06 | Electric Planet, Inc. | Method and apparatus for real-time gesture recognition |
US6421453B1 (en) | 1998-05-15 | 2002-07-16 | International Business Machines Corporation | Apparatus and methods for user recognition employing behavioral passwords |
US7036094B1 (en) | 1998-08-10 | 2006-04-25 | Cybernet Systems Corporation | Behavior recognition system |
US6226388B1 (en) | 1999-01-05 | 2001-05-01 | Sharp Labs Of America, Inc. | Method and apparatus for object tracking for automatic controls in video devices |
DE19908230A1 (de) * | 1999-02-25 | 2000-08-31 | Heidelberger Druckmasch Ag | Vorrichtung zur Überwachung von sicherheitsrelevanten Vorgängen an Maschinen |
US7406214B2 (en) | 1999-05-19 | 2008-07-29 | Digimarc Corporation | Methods and devices employing optical sensors and/or steganography |
US6681110B1 (en) | 1999-07-02 | 2004-01-20 | Musco Corporation | Means and apparatus for control of remote electrical devices |
US6844871B1 (en) | 1999-11-05 | 2005-01-18 | Microsoft Corporation | Method and apparatus for computer input using six degrees of freedom |
US20010044789A1 (en) | 2000-02-17 | 2001-11-22 | The Board Of Trustees Of The Leland Stanford Junior University | Neurointerface for human control of complex machinery |
US7042442B1 (en) | 2000-06-27 | 2006-05-09 | International Business Machines Corporation | Virtual invisible keyboard |
US7227526B2 (en) | 2000-07-24 | 2007-06-05 | Gesturetek, Inc. | Video-based image control system |
US6912429B1 (en) | 2000-10-19 | 2005-06-28 | Destiny Networks, Inc. | Home automation system and method |
JP3594016B2 (ja) * | 2001-01-30 | 2004-11-24 | 日本電気株式会社 | ロボットのプログラム実行方法、ロボットシステムおよびプログラム処理装置 |
US6804396B2 (en) | 2001-03-28 | 2004-10-12 | Honda Giken Kogyo Kabushiki Kaisha | Gesture recognition system |
US7259747B2 (en) | 2001-06-05 | 2007-08-21 | Reactrix Systems, Inc. | Interactive video display system |
US6870477B2 (en) | 2001-07-31 | 2005-03-22 | International Business Machines Corporation | Method and apparatus for wireless mobile seating platform |
SE0103531D0 (sv) * | 2001-10-23 | 2001-10-23 | Abb Ab | Industrial Robot System |
US7274803B1 (en) | 2002-04-02 | 2007-09-25 | Videomining Corporation | Method and system for detecting conscious hand movement patterns and computer-generated visual feedback for facilitating human-computer interaction |
US7174033B2 (en) | 2002-05-22 | 2007-02-06 | A4Vision | Methods and systems for detecting and recognizing an object based on 3D image data |
US7257236B2 (en) | 2002-05-22 | 2007-08-14 | A4Vision | Methods and systems for detecting and recognizing objects in a controlled wide area |
US7710391B2 (en) | 2002-05-28 | 2010-05-04 | Matthew Bell | Processing an image utilizing a spatially varying pattern |
US7898385B2 (en) | 2002-06-26 | 2011-03-01 | Robert William Kocher | Personnel and vehicle identification system using three factors of authentication |
US7646372B2 (en) | 2003-09-15 | 2010-01-12 | Sony Computer Entertainment Inc. | Methods and systems for enabling direction detection when interfacing with a computer program |
US7850526B2 (en) | 2002-07-27 | 2010-12-14 | Sony Computer Entertainment America Inc. | System for tracking user manipulations within an environment |
AU2003275134A1 (en) | 2002-09-19 | 2004-04-08 | The Penn State Research Foundation | Prosody based audio/visual co-analysis for co-verbal gesture recognition |
US20040113933A1 (en) | 2002-10-08 | 2004-06-17 | Northrop Grumman Corporation | Split and merge behavior analysis and understanding using Hidden Markov Models |
US7183946B2 (en) | 2002-10-11 | 2007-02-27 | Gary Jon Boudrieau | Safety aircraft flight system |
US20080065291A1 (en) | 2002-11-04 | 2008-03-13 | Automotive Technologies International, Inc. | Gesture-Based Control of Vehicular Components |
DK1573498T3 (da) | 2002-11-20 | 2012-03-19 | Koninkl Philips Electronics Nv | Brugergrænsefladesystem baseret på en pegeindretning |
US6876306B2 (en) * | 2002-12-19 | 2005-04-05 | Acrometal Companies, Inc. | Individual mat indicator |
US7224830B2 (en) | 2003-02-04 | 2007-05-29 | Intel Corporation | Gesture detection from digital video images |
WO2004077837A1 (ja) | 2003-02-27 | 2004-09-10 | Seiko Epson Corporation | 特定の色空間を利用した画像再生 |
US7183912B2 (en) | 2003-03-14 | 2007-02-27 | Suren Systems, Ltd. | PIR motion sensor utilizing sum and difference sensor signals |
US8745541B2 (en) | 2003-03-25 | 2014-06-03 | Microsoft Corporation | Architecture for controlling a computer using hand gestures |
US7665041B2 (en) | 2003-03-25 | 2010-02-16 | Microsoft Corporation | Architecture for controlling a computer using hand gestures |
JP4355341B2 (ja) | 2003-05-29 | 2009-10-28 | 本田技研工業株式会社 | 深度データを用いたビジュアルトラッキング |
WO2004111687A2 (en) | 2003-06-12 | 2004-12-23 | Honda Motor Co., Ltd. | Target orientation estimation using depth sensing |
KR100542207B1 (ko) * | 2003-07-10 | 2006-01-10 | 고등기술연구원연구조합 | 로봇의 작업자 감지 안전 시스템 |
US7075431B2 (en) | 2003-08-18 | 2006-07-11 | Honeywell International Inc. | Logical pet immune intrusion detection apparatus and method |
JP4476744B2 (ja) | 2003-09-02 | 2010-06-09 | 富士フイルム株式会社 | 撮像システム、及びプログラム |
US7874917B2 (en) | 2003-09-15 | 2011-01-25 | Sony Computer Entertainment Inc. | Methods and systems for enabling depth and direction detection when interfacing with a computer program |
US7831087B2 (en) | 2003-10-31 | 2010-11-09 | Hewlett-Packard Development Company, L.P. | Method for visual-based recognition of an object |
US7848850B2 (en) | 2003-11-13 | 2010-12-07 | Japan Science And Technology Agency | Method for driving robot |
US7663689B2 (en) | 2004-01-16 | 2010-02-16 | Sony Computer Entertainment Inc. | Method and apparatus for optimizing capture device settings through depth information |
US7308112B2 (en) | 2004-05-14 | 2007-12-11 | Honda Motor Co., Ltd. | Sign based human-machine interaction |
JP4172793B2 (ja) | 2004-06-08 | 2008-10-29 | 株式会社東芝 | ジェスチャ検出方法、ジェスチャ検出プログラムおよびジェスチャ検出装置 |
US7933667B2 (en) * | 2004-06-24 | 2011-04-26 | Abb Ab | Industrial robot system with a portable operator control device |
US7502498B2 (en) | 2004-09-10 | 2009-03-10 | Available For Licensing | Patient monitoring apparatus |
US8395664B2 (en) | 2006-09-13 | 2013-03-12 | Smartvue Corp. | Wireless surveillance system and method for 3-D visualization and user-controlled analytics of captured data |
JP5631535B2 (ja) | 2005-02-08 | 2014-11-26 | オブロング・インダストリーズ・インコーポレーテッド | ジェスチャベースの制御システムのためのシステムおよび方法 |
DE102005014415B3 (de) | 2005-03-24 | 2007-03-22 | Isra Vision Systems Ag | Vorrichtung und Verfahren zur Untersuchung einer gewölbten Oberfläche |
US7823581B2 (en) * | 2005-04-15 | 2010-11-02 | Maxitrol Company | Remote control for gas valve |
CN101180444B (zh) | 2005-04-19 | 2013-01-16 | 塞德斯股份公司 | 用于控制驱动运动件的设备 |
US7613324B2 (en) | 2005-06-24 | 2009-11-03 | ObjectVideo, Inc | Detection of change in posture in video |
US8694322B2 (en) * | 2005-08-05 | 2014-04-08 | Microsoft Corporation | Selective confirmation for execution of a voice activated user interface |
DE102005040763B4 (de) | 2005-08-26 | 2022-02-10 | Cedes Ag | Türsensoranordnung |
US8050461B2 (en) | 2005-10-11 | 2011-11-01 | Primesense Ltd. | Depth-varying light fields for three dimensional sensing |
DE102006050303A1 (de) | 2005-12-05 | 2007-06-14 | Cedes Ag | Sensoranordnung sowie Sensorvorrichtung für eine Sensoranordnung |
US7522066B2 (en) * | 2006-02-23 | 2009-04-21 | Rockwell Automation Technologies, Inc. | Systems and methods that evaluate distance to potential hazards utilizing overlapping sensing zones |
WO2007096893A2 (en) | 2006-02-27 | 2007-08-30 | Prime Sense Ltd. | Range mapping using speckle decorrelation |
US7539532B2 (en) | 2006-05-12 | 2009-05-26 | Bao Tran | Cuffless blood pressure monitoring appliance |
US7973656B2 (en) | 2006-05-31 | 2011-07-05 | Nec Corporation | Suspicious activity detection apparatus and method, and program and recording medium |
US8041659B2 (en) | 2006-07-14 | 2011-10-18 | Ailive, Inc. | Systems and methods for motion recognition using multiple sensing streams |
US20110044501A1 (en) | 2006-07-14 | 2011-02-24 | Ailive, Inc. | Systems and methods for personalized motion control |
DE102006048163B4 (de) | 2006-07-31 | 2013-06-06 | Pilz Gmbh & Co. Kg | Kamerabasierte Überwachung bewegter Maschinen und/oder beweglicher Maschinenelemente zur Kollisionsverhinderung |
DE102006048166A1 (de) | 2006-08-02 | 2008-02-07 | Daimler Ag | Verfahren zur Beobachtung einer Person in einem industriellen Umfeld |
US20080048840A1 (en) * | 2006-08-22 | 2008-02-28 | Reagan Donnie L | Delayed start-up verbal warning unit |
US7725547B2 (en) | 2006-09-06 | 2010-05-25 | International Business Machines Corporation | Informing a user of gestures made by others out of the user's line of sight |
US7916935B2 (en) | 2006-09-19 | 2011-03-29 | Wisconsin Alumni Research Foundation | Systems and methods for automatically determining 3-dimensional object information and for controlling a process based on automatically-determined 3-dimensional object information |
US7606411B2 (en) * | 2006-10-05 | 2009-10-20 | The United States Of America As Represented By The Secretary Of The Navy | Robotic gesture recognition system |
US7792328B2 (en) | 2007-01-12 | 2010-09-07 | International Business Machines Corporation | Warning a vehicle operator of unsafe operation behavior based on a 3D captured image stream |
US8295542B2 (en) | 2007-01-12 | 2012-10-23 | International Business Machines Corporation | Adjusting a consumer experience based on a 3D captured image stream of a consumer response |
US7971156B2 (en) | 2007-01-12 | 2011-06-28 | International Business Machines Corporation | Controlling resource access based on user gesturing in a 3D captured image stream of the user |
US8269834B2 (en) | 2007-01-12 | 2012-09-18 | International Business Machines Corporation | Warning a user about adverse behaviors of others within an environment based on a 3D captured image stream |
US7840031B2 (en) | 2007-01-12 | 2010-11-23 | International Business Machines Corporation | Tracking a range of body movement based on 3D captured image streams of a user |
US7801332B2 (en) * | 2007-01-12 | 2010-09-21 | International Business Machines Corporation | Controlling a system based on user behavioral signals detected from a 3D captured image stream |
US7877706B2 (en) | 2007-01-12 | 2011-01-25 | International Business Machines Corporation | Controlling a document based on user behavioral signals detected from a 3D captured image stream |
WO2008087652A2 (en) | 2007-01-21 | 2008-07-24 | Prime Sense Ltd. | Depth mapping using multi-beam illumination |
US7817276B2 (en) | 2007-02-05 | 2010-10-19 | Palo Alto Research Center Incorporated | Distinguishing objects |
DE102007013299A1 (de) | 2007-03-06 | 2008-09-11 | Cedes Ag | Sensorvorrichtung sowie Anlage mit einem Förderer und einer Sensorvorrichtung |
WO2008120217A2 (en) | 2007-04-02 | 2008-10-09 | Prime Sense Ltd. | Depth mapping using projected patterns |
US8150142B2 (en) | 2007-04-02 | 2012-04-03 | Prime Sense Ltd. | Depth mapping using projected patterns |
US8505086B2 (en) | 2007-04-20 | 2013-08-06 | Innovation First, Inc. | Managing communications between robots and controllers |
US8494252B2 (en) | 2007-06-19 | 2013-07-23 | Primesense Ltd. | Depth mapping using optical elements having non-uniform focal characteristics |
US7956303B2 (en) * | 2007-09-12 | 2011-06-07 | Atek Products Group | Mat system and method therefor |
US8232888B2 (en) | 2007-10-25 | 2012-07-31 | Strata Proximity Systems, Llc | Interactive magnetic marker field for safety systems and complex proximity warning system |
US8005263B2 (en) | 2007-10-26 | 2011-08-23 | Honda Motor Co., Ltd. | Hand sign recognition using label assignment |
JP5167791B2 (ja) * | 2007-12-05 | 2013-03-21 | 日本電気株式会社 | 監視装置、監視方法、及び、監視プログラム |
US7864072B2 (en) | 2007-12-11 | 2011-01-04 | International Business Machines Corporation | System and method for automatically adjusting traffic light |
US9165199B2 (en) | 2007-12-21 | 2015-10-20 | Honda Motor Co., Ltd. | Controlled human pose estimation from depth image streams |
WO2009086088A1 (en) | 2007-12-21 | 2009-07-09 | Honda Motor Co., Ltd. | Controlled human pose estimation from depth image streams |
US8166421B2 (en) | 2008-01-14 | 2012-04-24 | Primesense Ltd. | Three-dimensional user interface |
JP2009237878A (ja) | 2008-03-27 | 2009-10-15 | Dainippon Printing Co Ltd | 複合映像生成システム、重畳態様決定方法、映像処理装置及び映像処理プログラム |
WO2009123068A1 (ja) | 2008-04-01 | 2009-10-08 | 国立大学法人豊橋技術科学大学 | 判別フィルタリング装置、対象物の判別方法、および判別フィルタリング装置のフィルタの設計方法 |
CN102099614A (zh) * | 2008-06-26 | 2011-06-15 | Abb股份公司 | 防备机器人危险事件的人安全保护*** |
WO2009155946A1 (en) | 2008-06-26 | 2009-12-30 | Abb Ag | Adaptive robot system |
WO2010011923A1 (en) | 2008-07-24 | 2010-01-28 | Gesturetek, Inc. | Enhanced detection of circular engagement gesture |
DE102009051148A1 (de) * | 2008-10-29 | 2010-05-12 | Sms Siemag Ag | Roboterinteraktionssystem |
US8325978B2 (en) | 2008-10-30 | 2012-12-04 | Nokia Corporation | Method, apparatus and computer program product for providing adaptive gesture analysis |
JP4648486B2 (ja) | 2009-01-26 | 2011-03-09 | ファナック株式会社 | 人間とロボットとの協調動作領域を有する生産システム |
US7996793B2 (en) | 2009-01-30 | 2011-08-09 | Microsoft Corporation | Gesture recognizer system architecture |
US8487938B2 (en) | 2009-01-30 | 2013-07-16 | Microsoft Corporation | Standard Gestures |
JP5473044B2 (ja) * | 2009-01-31 | 2014-04-16 | 株式会社キーエンス | 安全光電スイッチ |
KR101255948B1 (ko) | 2009-02-12 | 2013-04-23 | 고쿠리츠 다이가쿠 호진 교토 다이가쿠 | 산업용 로봇 시스템 |
US8786682B2 (en) | 2009-03-05 | 2014-07-22 | Primesense Ltd. | Reference image techniques for three-dimensional sensing |
US8717417B2 (en) | 2009-04-16 | 2014-05-06 | Primesense Ltd. | Three-dimensional mapping and imaging |
US8418085B2 (en) | 2009-05-29 | 2013-04-09 | Microsoft Corporation | Gesture coach |
US8856691B2 (en) | 2009-05-29 | 2014-10-07 | Microsoft Corporation | Gesture tool |
US8755569B2 (en) | 2009-05-29 | 2014-06-17 | University Of Central Florida Research Foundation, Inc. | Methods for recognizing pose and action of articulated objects with collection of planes in motion |
US8744121B2 (en) | 2009-05-29 | 2014-06-03 | Microsoft Corporation | Device for identifying and tracking multiple humans over time |
US8145594B2 (en) | 2009-05-29 | 2012-03-27 | Microsoft Corporation | Localized gesture aggregation |
WO2010150260A1 (en) | 2009-06-24 | 2010-12-29 | The Medical Research, Infrastructure, And Health Services Fund Of The Tel Aviv Medical Center | Automated near-fall detector |
KR20110003146A (ko) * | 2009-07-03 | 2011-01-11 | 한국전자통신연구원 | 제스쳐 인식 장치, 이를 구비한 로봇 시스템 및 이를 이용한 제스쳐 인식 방법 |
DE102009031732B3 (de) | 2009-07-04 | 2010-11-25 | Sick Ag | Entfernungsmessender optoelektronischer Sensor |
EP2275990B1 (de) | 2009-07-06 | 2012-09-26 | Sick Ag | 3D-Sensor |
US8344877B2 (en) * | 2009-07-07 | 2013-01-01 | Bombardier Transportation Gmbh | Track worker safety system |
US8736631B2 (en) | 2009-07-17 | 2014-05-27 | Mitsubishi Electric Corporation | Facility operation display device, air-conditioning system, and non-transitory computer-readable medium |
WO2011013079A1 (en) | 2009-07-30 | 2011-02-03 | Primesense Ltd. | Depth mapping based on pattern matching and stereoscopic information |
US8565479B2 (en) | 2009-08-13 | 2013-10-22 | Primesense Ltd. | Extraction of skeletons from 3D maps |
US8253792B2 (en) * | 2009-08-28 | 2012-08-28 | GM Global Technology Operations LLC | Vision system for monitoring humans in dynamic environments |
US7961910B2 (en) | 2009-10-07 | 2011-06-14 | Microsoft Corporation | Systems and methods for tracking a model |
US9313173B2 (en) * | 2009-12-07 | 2016-04-12 | Bloomberg L.P. | Unified content scanning and reporting engine |
US20110164032A1 (en) | 2010-01-07 | 2011-07-07 | Prime Sense Ltd. | Three-Dimensional User Interface |
US9268404B2 (en) * | 2010-01-08 | 2016-02-23 | Microsoft Technology Licensing, Llc | Application gesture interpretation |
WO2011089885A1 (ja) * | 2010-01-25 | 2011-07-28 | パナソニック株式会社 | 危険提示装置、危険提示システム、危険提示方法およびプログラム |
EP2363768B1 (de) * | 2010-01-27 | 2012-10-10 | Umberto Calliari | Sicherheitsbremseinrichtung für bewegte Maschinenelemente |
US8922342B1 (en) | 2010-02-15 | 2014-12-30 | Noblis, Inc. | Systems, apparatus, and methods for continuous authentication |
US8633890B2 (en) | 2010-02-16 | 2014-01-21 | Microsoft Corporation | Gesture detection based on joint skipping |
US8787663B2 (en) | 2010-03-01 | 2014-07-22 | Primesense Ltd. | Tracking body parts by combined color image and depth processing |
US9406212B2 (en) * | 2010-04-01 | 2016-08-02 | Sealed Air Corporation (Us) | Automated monitoring and control of contamination activity in a production area |
US9143843B2 (en) | 2010-12-09 | 2015-09-22 | Sealed Air Corporation | Automated monitoring and control of safety in a production area |
EP2386876B1 (de) | 2010-05-04 | 2013-07-10 | Sick AG | Entfernungsmessender optoelektronischer Sicherheitssensor und Verfahren zur Überwachung eines Überwachungsbereichs |
US8648709B2 (en) * | 2010-05-12 | 2014-02-11 | Proxisafe Ltd. | Event warning system and method thereof |
US8594425B2 (en) | 2010-05-31 | 2013-11-26 | Primesense Ltd. | Analysis of three-dimensional scenes |
US20110292036A1 (en) | 2010-05-31 | 2011-12-01 | Primesense Ltd. | Depth sensor with application interface |
US20110298579A1 (en) * | 2010-06-08 | 2011-12-08 | Cedes Safety & Automation Ag | Dynamically adaptable safety zones |
US20110310010A1 (en) | 2010-06-17 | 2011-12-22 | Primesense Ltd. | Gesture based user interface |
US8508372B2 (en) | 2010-06-21 | 2013-08-13 | General Electric Company | Method and system for fall detection |
US9036158B2 (en) | 2010-08-11 | 2015-05-19 | Apple Inc. | Pattern projector |
US9075434B2 (en) | 2010-08-20 | 2015-07-07 | Microsoft Technology Licensing, Llc | Translating user motion into multiple object responses |
US20130163879A1 (en) | 2010-08-30 | 2013-06-27 | Bk-Imaging Ltd. | Method and system for extracting three-dimensional information |
US8582867B2 (en) | 2010-09-16 | 2013-11-12 | Primesense Ltd | Learning-based pose estimation from depth maps |
DE112011103155T5 (de) | 2010-09-21 | 2013-07-18 | Toyota Jidosha Kabushiki Kaisha | Beweglicher Körper |
US20120072032A1 (en) | 2010-09-22 | 2012-03-22 | Powell Kevin J | Methods and systems for environmental system control |
DE102010037744B3 (de) | 2010-09-23 | 2011-12-08 | Sick Ag | Optoelektronischer Sensor |
US20120095575A1 (en) * | 2010-10-14 | 2012-04-19 | Cedes Safety & Automation Ag | Time of flight (tof) human machine interface (hmi) |
US9025019B2 (en) | 2010-10-18 | 2015-05-05 | Rockwell Automation Technologies, Inc. | Time of flight (TOF) sensors as replacement for standard photoelectric sensors |
CN105169555A (zh) | 2010-11-11 | 2015-12-23 | 艾奥华大学研究基金会 | 用于直接脊髓刺激的远程控制的和/或横向支持的设备 |
DK2453254T3 (da) | 2010-11-15 | 2013-04-08 | Cedes Ag | Indretning til overvågning af en dør med en 3D-sensor |
US20120169583A1 (en) | 2011-01-05 | 2012-07-05 | Primesense Ltd. | Scene profiles for non-tactile user interfaces |
CA2868276A1 (en) * | 2011-03-23 | 2013-09-27 | Mgestyk Technologies Inc. | Apparatus and system for interfacing with computers and other electronic devices through gestures by using depth sensing and methods of use |
EP2505959A1 (en) * | 2011-03-28 | 2012-10-03 | Renishaw plc | Coordinate positioning machine controller |
CA3177719A1 (en) | 2011-04-04 | 2012-10-04 | Alarm.Com Incorporated | Fall detection and reporting technology |
US8681223B2 (en) | 2011-06-24 | 2014-03-25 | Honeywell International Inc. | Video motion detection, analysis and threat detection device and method |
WO2013066601A1 (en) | 2011-10-17 | 2013-05-10 | Kimmel Zebadiah M | Method and apparatus for monitoring individuals while protecting their privacy |
US8687848B2 (en) * | 2012-01-04 | 2014-04-01 | Cisco Technology, Inc. | Techniques for context-enhanced confidence adjustment for gesture |
US9247211B2 (en) | 2012-01-17 | 2016-01-26 | Avigilon Fortress Corporation | System and method for video content analysis using depth sensing |
KR20130085315A (ko) * | 2012-01-19 | 2013-07-29 | 한국전자통신연구원 | 사람 식별을 기반으로 한 위험 인지 방법 |
JP5686108B2 (ja) * | 2012-02-24 | 2015-03-18 | 株式会社ダイフク | 誤作業防止装置および誤作業防止装置が設けられた仕分け設備 |
DE102012102236A1 (de) | 2012-03-16 | 2013-09-19 | Pilz Gmbh & Co. Kg | Verfahren und Vorrichtung zum Absichern eines gefährlichen Arbeitsbereichs einer automatisiert arbeitenden Maschine |
US8981954B2 (en) | 2012-05-08 | 2015-03-17 | General Electric Company | Methods, systems, and apparatus for protection system activation and dynamic labeling |
US9128528B2 (en) * | 2012-06-22 | 2015-09-08 | Cisco Technology, Inc. | Image-based real-time gesture recognition |
EP2890529A2 (en) | 2012-08-31 | 2015-07-08 | Rethink Robotics Inc. | Systems and methods for safe robot operation |
-
2013
- 2013-02-27 US US13/779,535 patent/US9798302B2/en active Active
-
2014
- 2014-02-27 EP EP14156893.1A patent/EP2772812B1/en active Active
- 2014-02-27 CN CN201410069095.2A patent/CN104102186B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102356366A (zh) * | 2009-05-15 | 2012-02-15 | 费希尔-罗斯蒙德***公司 | 无线现场设备改进的检测和定位 |
CN102884485A (zh) * | 2010-02-22 | 2013-01-16 | 柯尼格及包尔公开股份有限公司 | 用于探测在电子控制的生产机器中出现的事件的方法 |
CN102073303A (zh) * | 2010-12-24 | 2011-05-25 | 江苏大学 | 服务于两台数控机床上下料移动机器人的控制方法 |
US20120290121A1 (en) * | 2011-05-06 | 2012-11-15 | Deckel Maho Pfronten Gmbh | Device for operating an automated machine for handling, assembling or machining workpieces |
CN102662370A (zh) * | 2012-05-04 | 2012-09-12 | 安徽博源自动化仪表有限公司 | 一种远程监控***及方法 |
Also Published As
Publication number | Publication date |
---|---|
EP2772812A3 (en) | 2018-03-14 |
CN104102186B (zh) | 2017-04-12 |
EP2772812B1 (en) | 2022-03-30 |
EP2772812A2 (en) | 2014-09-03 |
US20140244003A1 (en) | 2014-08-28 |
US9798302B2 (en) | 2017-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104007715A (zh) | 具有位置和导数决定参考的基于识别的工业自动化控制 | |
CN104102185A (zh) | 具有人和物体区分的基于识别的工业自动化控制 | |
CN104076761A (zh) | 具有基于置信度的决定支持的基于识别的工业自动化控制 | |
CN104102186A (zh) | 具有冗余***输入支持的基于识别的工业自动化控制 | |
US10636308B2 (en) | Systems and methods for collision avoidance | |
CN111201115B (zh) | 机器人控制方法 | |
JP7076184B2 (ja) | 人間運動センサを使用して油圧ロボットの近くにいるときの動きを検出すること | |
US9819509B2 (en) | Systems and methods for location-based control of equipment and facility resources | |
CN104169630B (zh) | 用于使危险区域安全的方法和设备 | |
CN111226178B (zh) | 监视设备、工业***、用于监视的方法及计算机程序 | |
US20160180713A1 (en) | Collision-avoidance system and method | |
US10679504B2 (en) | Applications of a plurality of safety laser scanners combined with a camera or mobile computer | |
US10872514B1 (en) | Safety system for tracking movable objects during vehicle production | |
US20230403579A1 (en) | Method and system for commissioning environmental sensors | |
KR20210128424A (ko) | 상황 인식 모니터링 | |
KR20110138711A (ko) | 보안 로봇 및 그 제어 방법 | |
KR102616789B1 (ko) | 지능형 위험인지 기능을 갖춘 산업용 스마트 안전 조명 시스템 | |
WO2022103322A1 (en) | A device, system, method and software product for providing a maintenance alarm for a region | |
CN114613096A (zh) | 一种火灾异常检测方法、***、存储介质及智能终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP01 | Change in the name or title of a patent holder | ||
CP01 | Change in the name or title of a patent holder |
Address after: ohio Patentee after: Rockwell automation technologies Address before: ohio Patentee before: Rockwell Automation Tech Inc. |