CN109141373A - 用于防护机器的传感器 - Google Patents

用于防护机器的传感器 Download PDF

Info

Publication number
CN109141373A
CN109141373A CN201810691295.XA CN201810691295A CN109141373A CN 109141373 A CN109141373 A CN 109141373A CN 201810691295 A CN201810691295 A CN 201810691295A CN 109141373 A CN109141373 A CN 109141373A
Authority
CN
China
Prior art keywords
sensor
machine
risk
location
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810691295.XA
Other languages
English (en)
Inventor
马蒂亚斯·纽鲍尔
阿明·霍尔农
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sick AG
Original Assignee
Sick AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sick AG filed Critical Sick AG
Publication of CN109141373A publication Critical patent/CN109141373A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/30—Interpretation of pictures by triangulation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G01C11/025—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures by scanning the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37571—Camera detecting reflected light from laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40202—Human robot coexistence
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40203—Detect position of operator, create non material barrier to protect operator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及用于防护机器的传感器。提供了用于防护具有至少一台机器(26)的监测区域(12)的安全光电传感器(10)，该至少一台机器形成危险地点(26a‑26b)，其中传感器(10)具有：用于从来自监:测区域(12)的接收光生成接收信号的光接收器(16a‑b)、用于从接收信号检测监测区域(12)中的对象位置(28)的控制和评估单元(24)以及用于从对象位置(28)获得的信息的安全输出接口(30)。在此，控制和评估单元(24)被构造用于确定危险地点(26a‑26b)和对象位置(28)之间的最短距离并将其提供至安全输出接口(30)。

Description

用于防护机器的传感器
本发明涉及根据权利要求1或14的前序部分所述的用于防护具有至少一台机器的监测区域的安全光电传感器，特别是3D相机，以及相应的方法。
安全技术的主要目的是保护人员远离危险源，例如，工业环境中的机器。借助于传感器对机器进行监测，因此，如果出现人员有靠近机器的危险的情况，则采取适当的保护措施。
此外，3D传感器用于监测。其中首先包括采用各种技术(例如，立体视法、三角测量法、光飞行时间法)的3D相机，其中对无源二维图案或投影的照明图案的干扰进行评估。与传统的二维相机相比，这种3D传感器捕获在其像素中包含距离值的图像。这些深度分辨的或三维的图像数据也被称为深度图(Tiefenkarte)。此外，已知的是在两个或全部三个方向上扫描的激光扫描仪，它们同样也跨相应的扫描角度和测量的距离检测三维图像数据。与二维图像检测相比，用于生成三维图像数据的较高的设备和评估花费在许多应用中通过附加信息证明是合理的。
在安全技术中所使用的传感器必须特别可靠地工作，因此必须满足高的安全要求，例如用于机器安全的EN13849标准和用于非接触作用的保护装置(BWS)的设备标准IEC61496或EN61496。为了满足这些安全标准，必须采取一系列措施，例如通过冗余、多样的电子设备进行安全电子评估、功能监测或者专门监测光学部件的污染。在安全应用中，通常要求安全地识别具有特定的最小大小或特定的最小尺寸的对象。该属性被称为检测能力。
常见的防护方案设定了对保护区域进行配置，操作人员在机器运行期间不得进入这些保护区域。如果传感器识别到不允许的保护区域干扰，例如操作人员的腿部，则该传感器会触发机器的安全相关的停止。
在机器人的安全技术监测中，越来越希望与人员建立更紧密的合作(MRK，人机合作)。例如，这方面的相关标准是用于工业机器人的ISO 10218或用于协作机器人的ISO15066。在MRK中，保护区域和安全距离应该尽可能小，甚至可以根据情况适应性地进行配置，当然是在确保安全的条件下进行。标准ISO 13854、ISO 13855、ISO 13857涉及安全距离的确定。
在速度和彼此距离方面对对象和机器的评估在所提到的机器人标准中被称为“速度和分离监测”。但安全监测传感器(诸如，激光扫描仪或3D相机)不支持此功能。它们仍旧使用通常的保护区域来工作，并且它们仅提供关于保护区域是否受到侵犯的二元的切断信号。虽然安全性以这种方式得到了保证，但并不特别灵活，而且通常还会有不必要的安全附加费(Sicherheitszuschlag)，并从而导致可用性受限，因为保护区域是针对最坏情况而非真正实际的情况配置的。
EP 2 023 160 B1涉及三维空间的保护区域的配置。虽然这使得可以对保护区域进行直观且特别合适的界定，但安全方法自身仍然保持不变。
为了增加灵活性，例如在DE 101 52 543 A1或DE 10 2004 043 514 A1中提出了动态的保护区域，其几何形状根据机器移动或对象移动而变化。同样，在EP 2 395 274 B1中确定对象的方向和速度以使保护区域与其相适应。DE 10 2012 007 242 A1监测机器人的周围环境并根据检测到的对象的特性改变这里称为危险区域的保护区域。尽管所有这些具有动态保护区域的方法都具有更大的灵活性，但在每种情况下都以安全的方式来确定当前合适的保护区域配置是一项复杂的任务。此外，当然在基本的保护区域原则上并没有任何改变，这仅有限地适合于紧密的人机合作。
例如，EP 2 819 109 A1公开了在检测区域中识别最小尺寸以上的对象的3D传感器。为了正确地考虑立体相机的投射几何，将深度图的区域与适当选择的模板进行比较。但是，对象识别在这里与检测区域直接相关。检测区域以外的对象被忽略。因此，这不适用于不基于保护区域的安全方案。
除了纯粹的对象识别之外，还必须评估对象是否危险地位于受监测的机器附近。这由于额外的深度尺寸和遮蔽效应而成为挑战性的问题。
由Flacco、Fabrizio等人于2012年在IEEE的2012IEEE国际会议的机器人与自动化(ICRA)上发表的文章“A depth space approach to human-robot collisionavoidance.”基于深度图来计算到机器人的距离。在这种情况下，也称为由对象而引起的遮盖，但不考虑由机器人自身而引起的掩蔽。此外，距离计算仍然不准确，因为为了简单起见使用没有扩展的点波束来处理。当检测到的对象比机器人更靠近相机时，则在相同的深度平面内计算距离，因此只进行二维计算。通过这种方式，会高估距离，特别是在开角较大的情况下以及在图像边缘的区域中，因此不能保证安全的反应。
由Holger、Berthold和Udo Frese于2011年在IEEE的2011IEEE/RSJ国际会议的智能机器人与***(IROS)上发表的“Real-time swept volume anddistance computation for self collision detection.”针对球面扫琼几何体(“sphere-swept volumes”)计算了运动中的机器人不同部分的凸包。通过体积的彼此间的距离识别出机器人是否可能会与自身或其它机器部件发生碰撞，以便继而触发停止。该文章不涉及对机器人周围环境中的对象或人员进行碰撞识别或距离计算，并且除此此外，在相机几何或用其所检测的深度图中仍然考虑投射遮盖。相关的WO 2010/085 944A1公开了相应的内容。
由Lenz、Claus等人于2012年在德国慕尼黑的慕尼黑工业大学Tech.Rep.TUM-I1214中发表的“Fusing multiple kinects to survey shared human-robot-workspaces.”描述了用于多个深度相机的传感器数据融合的***。从它们的深度图中提取前景区域，融合点云，并最后从中计算出空间中的体素，该体素被聚集成对象。但是，仅对可见的对象表面进行处理。不可见的区域被认为是自由的，且不会进一步考虑。
同样，在由Miseikis、Justinas等人于2016年在arXiv预印本arXiv：1610.03646中发表的“Multi 3D Camera Mapping for Predictive and Reflexive Robot ManipulatorTrajectory Estimation.”中体素空间中碰撞图由多个传感器的数据构成，以便机器人在需要时回避。仍然不考虑投射遮盖。
在由Zube、Angelika于2015年IEEE第20届新兴技术和工厂自动化(ETFA)会议上发表的“Combined workspace monitoring and collision avoidance for mobilemanipulators”文章中融合了多个深度传感器的信息。一方面机器人的几何结构以及另一方面被障碍物占据和遮盖的区域通过球体模型化，球体之间必须保持安全距离。
从EP 2 947 604 A1中已知工业安全***，其中光飞行时间相机捕获3D图像数据。其中所检测到的对象被投影到XY平面上，并在那里确定对象的距离。在另一实施方式中，对象和机器人分别被简单的3D体(诸如椭圆体)包围，然后计算包络之间的距离。
在DE 10 2016 004 902A1中确定了机器人周围环境中的运动参数，以降低碰撞风险。为此，预测对象到机器人的工作空间中的预期移动。这使得特别在多个对象的情况下在一定量的评估工作之后才能够识别出最大的危险并从而识别出与安全相关的瞬时危险。通过使用简单的Kinect相机也不会达到符合标准的安全。
DE 20 2013 104 860 U1公开了具有工业机器人的工作装置，其中附加的传感器确定机器人与障碍物之间的距离并由此确定碰撞风险。没有阐述，例如由于障碍物的尺寸或其他属性，特别是在附加的传感器检测多个对象的情况下，何时将该障碍物视为安全相关的。
EP 2 386 876 B1涉及安全激光扫描仪，其保护区域边界由多边形构造而成。激光扫描仪为在保护区域以外检测的对象计算其与多边形各边的距离，以便在必要时输出保护区域干扰迫近的警告。因此，这不是保护区域的替代品，而是先前由上游警告区域实现的补充。该激光扫描仪的实际安全功能继续仅基于保护区域监测。
在US 8 249 747 B2中创建了具有风险因素的机器人和人的图。以此可以评估当机器人的某个区域与人的某个区域发生碰撞时事故的后果可能会有多严重。然后通过这种风险概况(Risikoprofil)，机器人控制装置应该基于当前的传感器数据避免特别危险的事故。然而，通常情况下，保护要求完全防止碰撞而不仅仅是使重伤不太可能发生。
根据US 9 043 025 B2，当对象处于周围的检测区域中时，机器人减小其工作速度。由此，检测区域最终是具有对保护区域侵犯做出温和反应的一种保护区域，该保护区域侵犯不会导致与安全相关的切断，而只会导致较缓慢的工作速度。
US 2015/0217455 A1公开了在存在移动对象时的机器人控制装置。借助3D相机观察机器人的周围环境，以跨越多个帧识别非预期的移动对象。若识别出危险区域中的非预期的对象，则机器人控制装置会做出反应以避免事故发生。识别移动对象并将其与预期的对象区分开来是非常复杂的，并且该文件完全不关心这种评估可如何与有关的安全标准兼容。
因此，本发明的任务在于改进对机器的监测，特别是基于3D图像数据改进对机器的监测。
该任务通过根据权利要求1或14所述的用于防护具有至少一台机器(其形成危险地点)的监测区域的安全光电传感器以及相应的方法得以解决。该传感器是安全的，即被设计用于安全技术的应用，并为此满足前面提到的或相应的标准，以防护带来危险的机器。通过光接收器检测来自监测区域的接收光并从中获得接收信号。光接收器的结构形式以及接收信号的种类取决于传感器。例如，光接收器是图像传感器，并且从像素读取的信息被统称为接收信号。接收信号在传感器中进行评估，以检测对象位置。对象位置在这里通常被理解成一个对象的多个点，而不仅仅是每个对象一个位置，即例如是测量点的云，特别是3D点云或深度图。此外，该传感器还具有同样在提到的或类似的标准方面安全的输出接口，以便提供从对象位置获得的信息。通常情况下，通过这样的输出接口仅输出是否存在保护区域侵犯的二进制信号(OSSD，输出信号切换设备)。
现在，本发明基于不再监测保护区域并且不再自身生成和输出二进制的防护信号的基本思想。相反，安全、非常紧凑且易于访问地提供为此所需的信息。为此，确定危险地点和检测到的对象位置之间的最短距离。这考虑了监测区域内的所有对象，从而确定到最接近的对象的最接近的点的距离。在这种情况下，监测区域不必与传感器的最大检测区域一致，但可以限制在已配置的工作区域。当前的最短距离，而不是至今常见的二进制防护信号，在不再被构造成OSSD的安全输出接口上提供给连接的控制装置。该控制装置，诸如机器人单元的上级控制装置或者机器人自身的控制装置，可以根据最短的距离非常容易地确定是否存在危险，并自己承担实际的防护功能。
本发明的优点在于，提供了传感器以及对象识别和受监测的机器之间的有效接口来防护该机器，这随时保证了人的安全。该接口只需要非常小的带宽，因为每个危险地点只需传输一个距离值。优选地，只要有变化，甚至就可以传输距离值。根据现有的安全工业现场总线协议，通过现在的工业机器人很容易实现这种接口，该工业机器人例如为了传输3D点云而以高的数据速率被完全超载。
在这种情况下，实现了与机器一起工作或协作设计上更加灵活，并实现了对机器周围的人进行快速、单独的反应。通常情况下，对保护区域的干预只允许紧急停止，因为保护区域被这样界定使得在这种情况下存在由于二进制切断信号而不再具有区别的事故危险。但通过监测最短距离也可以较温和地干预过程流程(Prozessablauf)，这些干预避免了耗时的紧急停止连同重新启动，并且如有可能不间断地让过程流程继续下去或者将人的接近整合到过程流程中。在这种情况下，机器的工作步骤可以及时地重新安排。出于安全原因而不能使用的损失区域，即通常是保护区域和由其包围的区域，被最小化，这导致了大量节省和更加紧密的人机合作。
优选地，传感器是3D相机。3D相机可使用任何已知的技术，诸如三角测量原理或者使用光信号的飞行时间的直接测量或相位测量的飞行时间原理，在三角测量原理中移动的相机或立体相机的两个相机图像相互相关或一个相机图像与已知的投射图案相关并估计差异激光扫描仪也生成3D点云，这些点云在传统的激光扫描仪中限于扫描平面。通过在高程中移动的扫描或多个在高程中偏移的扫描束，在激光扫描仪上的这种限制取消。
优选地，为危险地点位置和对象位置的所有对确定距离值并将最短距离确定为这些距离的最小值。可以依次和/或并行地为这些不同的对执行相应的计算。也可以预先限制对。然后，所有对的池(Pool)由受到限制的对组成。在通过传感器的位置已知检测的视角的情况下，可以对某些对象非常快速且没有具体计算地判定这些对象不能被视为与机器距离最短的对象。
优选地，控制和评估单元被构造用于包围具有至少一个危险地点的机器。根据前面的理解，机器本身就是危险地点。但是，不使用机器的物理尺寸直接作为危险地点存在各种原因。例如，可能有意义的是使机器的区域被在过程流程期间所考虑的停留区域的缓冲区围起来，或者使不会引起危险的刚性机器部件排除在危险地点之外。机器的复杂几何结构也可以通过包围简化为例如长方体或球体的简单的几何结构。然后，可能会略微高估最短距离，以简化建模和计算，但这不会影响安全性，而是只会略微降低可用性。
优选地，根据本发明的传感器可以监测多个危险地点。由此，对多台机器进行监测。此外，还可以将同一台机器的不同区域看作多个危险地点，以便通过尽可能少的小而简单的包络体检测所有相关的危险，而不是为此需要单一的、不必要大的包络体。优选地，在监测多个危险地点时，为了可以分别观看危险情况，为每个危险地点在输出接口处提供最短距离。
优选地，控制和评估单元被构造用于忽略危险地点内的对象位置。因此，危险地点本身被看成没有待检测的对象，或者更确切地说是被看成被机器阻挡。事实上，根据将机器模型化成危险地点的包络体，一定会有这些对象的空间。当然，机器本身也形成首先被传感器检测到的对象。但所有这些都被故意忽略，并且危险地点被模型化成空的、没有对象的块。这简化了对最短距离的监测和确定，因为危险地点内的机器的动态不重要。这在安全角度来看也没有问题，因为每个对象在接近危险地点时都被及时识别出来。
优选地，控制和评估单元被构造用于监测变化的危险地点，特别是针对过程流程内的不同机器状态。原则上，如前所述，可以设想大范围地界定危险地点，使得该危险地点覆盖在过程流程期间的所有机器位置。然而，变化的危险地点可能仍然会更小，因为只有机器可以实际占用的那部分机器位置被包括在内，而某个变化的危险地点处于活动状态。
优选地，控制和评估单元被构造用于将至少一条附加信息提供给输出接口，其中附加信息具有到最接近的对象或其它对象的其它部分的至少一个另外的最短距离、对象位置、移动方向、速度，对象包络或对象云。从而能够对连接的控制装置进行差异化评估。例如，可以设想最大的危险不是缓慢的最接近的对象，而是快速的、有点远的对象。至少一个附加的最短距离应该涉及另一对象或至少一个明确分开的另一对象区域，诸如另一臂，因为否则只有与最近距离的直接相邻点才有可能被考虑，该相邻点几乎没有什么新东西。优选地，对象位置在这里具有代表性，诸如对象重心或计算至其的最短距离的对象点，而不是到对象或其对象点云的所有已知的对象位置。然而，也可以设想将包络体提供给对象或提供对象的3D点云。所有的这些附加信息分别是在找到最短距离时检测到的中间结果，或者是非常容易从中导出的不会显著增加花费的变量。
优选地，传感器被设计用于安全地检测最小尺寸以上的对象的检测能力，其中为了确定最短距离仅考虑最小尺寸的对象。检测能力是在介绍的标准或类似的标准的意义上安全的传感器安全地检测整个监测区域中的最小尺寸的对象的特定能力。只有最小尺寸的对象才被考虑用于确定最短距离。传感器的相应设计涉及其结构，即，其光学器件、其光接收器和其它可能的、尚未提及的组件(诸如，照明装置)以及安全评估装置。检测能力并不排除还检测到更小的对象。但对于小于最小尺寸的对象却不能保证提供保护，例如手指在为保护手臂设计的传感器中不一定会被安全检测到。因此，小于最小尺寸的对象可能在评估中通过过滤来排除。也可以选择超过检测能力的最小尺寸，即不利用本身提供的分辨率。作为数值示例的是，10mm用于手指保护或30-80mm的范围用于四肢保护，特别是55mm用于上臂保护。
优选地，控制和评估单元被构造用于确定至少一个覆盖机器的球体形式的危险地点和/或将对象模型化成具有在对象的位置处的中心和对应于与检测能力相应的最小尺寸的半径的球体。这会导致在一定程度上低估距离，因为机器轮廓没有被精确地复制，但极大地简化了评估。通过更多数量的半径不同的球体可以覆盖具有实际上任何小型缓冲区的机器。并非绝对有必要用球体来表示整个机器，而只表示危险的机器部件。不可移动的机器部件、结构上不可接近的区域、只缓慢移动的轻型或软的机器部件不一定就必须进行防护。获得合适的球体表示不是本发明的主题。例如，该球体表示可以直接由识别或监测机器自身移动的机器控制装置或机器人控制装置读取。也可以设想在3D图像数据中识别机器并适当地用球体覆盖机器。如果机器移动是可重复的，则可以在准备步骤中得到球体表示。优选地，对象也被模型化成具有在对象的位置上的中心和对应于最小尺寸的半径的球体。如果物体在一个维度上超过最小尺寸，则相应地形成多个这样的球体。通过这种方式，对象侧的表示对应于机器的优选球体表示并且允许简化的评估。然后，确定至其距离的对象位置不再是测量的对象位置，而是球体的位置。
优选地，控制和评估单元被构造用于给危险地点和/或对象增加投射阴影以确定最短距离。在从对应于传感器位置的初始位置捕获3D图像数据时，检测到的对象遮盖了位于其后的区域。阴影区域对应于对象从初始位置开始向远处的投射，因此被称为投射阴影。不能确定是否有另一个对象隐藏在那里。因此，根据本实施方式，投射的遮盖被包括在内，并且为了预防给检测到的对象和/或机器部件或危险地点增加了投射阴影，因此，将其处理成似乎投射阴影是其中的部分。乍一看，似乎有必要向对象和机器部件增加投射阴影。这样做也是可以设想的。但是，如后面所阐述的那样，只针对机器部件或对象考虑投射阴影就足够了。
通过考虑遮盖，使安全的危险识别且特别是人员识别成为可能。如下面所阐述的那样，可以在优化的过程中有效地计算包括遮盖的距离，更确切地说是在CPU、嵌入式硬件、ASIC(专用集成电路)或FPGA(现场可编程门阵列)上或在它们组合中以低成本的实现来有效地计算。计算易于并行化，因为它们彼此独立用于机器部件/危险地点和对象或其子区域的不同对。可以指定有效的计算，该计算除了不可避免的数值误差外在几何上保持精确，并且确保了距离最多被略微低估，但从未被高估。因此，错误最多对可用性产生极小的影响，并且不会危及安全性。
优选地，控制和评估单元被构造用于将投射阴影模型化成锥体。椎体的尖端是对象或危险地点的位置，锥面由在初始位置开始的射线的投射延伸产生。如果对象或机器部件如优选那样由球体模型化，则投射阴影是截锥体，其在顶部在初始位置的方向上被椎体闭合，并且截锥体是确切的相应的投射阴影。
优选地，控制和评估单元被构造用于，当对象比危险地点更接近传感器时仅给对象增加其投射阴影，并且反过来当危险地点更接近传感器时仅给危险地点增加其投射阴影，以用于确定最短距离。因此，在对象和危险地点的对内仅为较近的一方考虑投射阴影。这不是近似，而是降低成本。如从几何考虑得出的未考虑的阴影总是处于更远的距离。
优选地，控制和评估单元被构造用于以第一球体连同作为投射阴影的锥体的形式将危险地点和对象组成的对中相应较近的一方进行模型化并将较远的一方模型化成第二球体，以确定最短距离。在这种情况下，较近和较远均涉及到传感器的初始位置。因此，问题简化成简单几何体之间的距离确定。当较远的一方也用椎体来模型化时，结果也依然是正确的，但这样一来，距离确定不会更准确且会变得不必要的复杂。
优选地，在确定距离期间首先将较远的一方看作点，然后通过减去第二球体的半径来补偿它。这进一步简化了计算，该计算在此由于球体性质而保持精确。
优选地，控制和评估单元被构造用于使用截面来确定最短距离，该截面由传感器的位置、第一球体的中心和第二球体的中心来确定。这三个点定义唯一的平面，其中仍然可以显示所有相关的信息。因此，距离确定成为只有二维的且能更好处理的问题。优选地，第一球体的中心和第二球体的中心投影到截面中，而在不限制一般性的情况下初始位置也形成坐标原点以用于计算简化。
在截面中，优选考虑从初始位置到第一球体的投射到截面中的切线。考虑到切线，所以计算基于这种切线的模型设想，但不需要实际计算或甚至描述切线。第一个球体的投射产生圆。其实，在圆上有两条通过初始位置的切线，这两者也可以考虑，但不是一定要考虑，因为如下一节所阐述的那样总是只有一条切线值得考虑用于所寻求的距离。
优选地，只考虑更靠近第二球体的中心的切线。乍一看，这看起来像老旧的但不容易实现的要求，因为较远的切线当然不提供所需的最短的距离，但哪个位于更远不是已知的。然而，事实上，在所选择的截面中，较近和较远的切线可以立马根据它们的斜率比进行区分，特别地，在后面要阐述的实施例的具体坐标中，较近的切线总是具有负斜率，较远的切线总是具有正斜率。
优选地，根据第二球体的中心到切线上的垂线区分，是到第一球体的距离最短还是到其投射阴影的距离最短。因此，进行情况区分，是将对象或机器部件模型化成的球体自身具有最短距离还是其投射阴影具有最短距离。区分标准是垂线的基点是位于切线与圆的接触点之后还是之前。如果根据情况区分球体本身是决定性的，则通过减去半径形成中心的距离。如果是投射阴影，则使用第二球体的中心与垂线在切线上的已知基点之间的距离。
优选地，提供了由至少一个根据本发明的传感器和控制装置组成的布置，其连接到输出接口和被防护的机器上，其中该控制装置被构造用于评估由传感器提供的最短距离并且在必要时启动安全相关的反应。控制装置是传感器和被监测的该机器或被监测的多台机器的上一级，或者是机器本身的控制装置。控制装置评估由传感器提供的距离，并在必要时启动安全相关的反应。防护的示例是紧急停止、制动、规避或移动到安全位置。可以设想指定固定的最小距离，该最小距离例如在对速度的最坏情况假设条件下或者从已知的或测量的超程距离来确定。此外，也可以设想取决于机器和对象的当前速度的动态安全距离。安全评估可以包含机器的控制装置的数据。
优选地，该布置具有在其监测区域和/或其视角中彼此互补的多个传感器。因此，对象位置从至少两个初始位置得以确定。一个可能的优点是通过相互补充来检测总体上较大的监测区域。此外，通过在重叠区域中使用不同的投射阴影首先分别确定距离，然后找到共同的最短距离，不同的视角是有帮助的。虽然本发明以安全和适当的方式考虑了遮盖，但由于遮盖而导致的监测限制自身并未消除。在从多个视角捕获时，共同评估后投射阴影消失或无论如何都会明显变小。为了特别简单地保持这种共同评估，首先在对象位置中从不同的初始位置分别确定距离，然后才接着寻求最短距离。通过这种方式，评估仍然是解耦的、可并行化的并且易于处理的。原则上，可以更早地在处理链中合并对象位置或接收信号，特别是3D点云，从而直接消除或减少投射阴影。但是这非常复杂。
根据本发明的方法可以以类似的方式进一步发展并同时显示出类似的优点。这种有利的特征在从属于独立权利要求的从属权利要求中示例性地但不详尽地进行描述。
附图说明
下面将示例性地根据实施方式并参考附图对本发明的其它特征和优点进行更详细的阐述。图中示出：
图1是3D相机和其监测区域的示意性三维视图；
图2是具有多个危险地点和对象的示例性监测情况；
图3是具有模型化成球体的机器部件和对象及其投射阴影的监测区域的示意图；
图4是用于评估对象相对于机器部件的位置的示例性流程图；
图5是在考虑到投射阴影的情况下用于确定对象与机器部件之间距离的示例性流程图；
图6是用于计算距离的截面的说明性概略图；以及
图7是用于计算截面内距离的另一说明性概略图。
图1以示意性的三维视图示出了用于捕获深度图的立体相机10的一般结构。立体相机10仅仅是其中阐述了3D图像数据的检测的根据本发明的传感器的示例。此外，也可以设想前面提到的其他的3D相机，其用于确定光飞行时间或评估无源二维图案的干扰或使图像和投影的照明图案以及激光扫描仪相关。
为了检测空间区域12，两个相机模块14a、14b以彼此已知的固定距离被安装，并分别捕获空间区域12的图像。在每个相机中设置了图像传感器16a、16b，通常是捕获矩形的像素图像的矩阵形记录芯片，例如CCD传感器或CMOS传感器。这两个图像传感器16a、16b一起形成用于检测深度图的3D图像传感器。图像传感器16a、16b分别被分配了具有成像光学器件的物镜18a、18b，该物镜实际上可以实现为任何已知的成像物镜。这些光学器件的最大视角在图1中用虚线示出，这些虚线分别形成视锥体(Sichtpyramide)20a、20b。
在两个图像传感器16a、16b之间设置了照明单元22，以便用结构化的图案照亮空间区域12。因此，示出的立体相机被构造用于有源的立体观测，其中该图案还加强了可在无结构场景中的任何地方进行评估的对比度。可替代地，为了评估空间区域12中的自然的对象结构，不设置照明或设置均匀的照明，但这经常会导致额外的图像误差。
控制和评估单元24与两个图像传感器16a、16b和照明单元22连接。控制和评估单元24可以在不同的硬件中实施，例如数字组件，诸如微处理器、ASIC(专用集成电路)、FPGA(现场可编程门阵列)、GPU(图形处理单元)或其混合形式，它们可以任意地分布在内部和外部组件上，其中外部组件也可以通过网络或云来连接在一起，只要可以掌握或容忍延迟时间。由于深度图的生成及其评估是非常计算密集的，因此优选形成至少部分并行的架构。
控制和评估单元24借助照明单元22生成结构化的照明图案，并接收图像传感器16a、16b的图像数据。该控制和评估单元借助立体观测的差异估计从这些图像数据中计算出空间区域12的3D图像数据或深度图。整个可检测的空间区域12或工作区域可以通过配置进行限制，例如以便隐藏干扰性的或不需要的区域。
立体相机10的一个重要的安全应用是监测机器26，该机器26在图1中由机器人表示。机器26也可以比所示出的复杂得多，其可以由多个部件组成，或者甚至实际上可以是多台机器(诸如，多个机器人或机器人手臂)的布置。控制和评估单元24检查表示为人的对象28相对于机器26位于何处。对象28到机器26的最短距离经由安全接口30直接输出到机器26或输出到诸如安全控制装置的中间站。优选地，如先前提到的那样，立体相机10在安全标准方面被设计成故障安全的。
连接到安全接口30的控制装置(不管是上级控制装置还是机器26的控制装置)评估最短距离。在有危险的情况下，启动安全相关的反应，以便例如让机器26停止、制动或规避。这是否有必要，除了最短距离外还可以取决于其它条件，诸如即将碰撞的机器区域26和对象28的速度或状况。
在下文中将会详细阐述如何使用传感器10实现距离监测，以例如在考虑到DIN ENISO 10218或ISO/TS 15066的情况下用于人机协作。出发点是机器26的机器部件的位置，至少只要这些位置是安全相关的，或在此基础上所定义的危险地点，该危险地点可以根据反应时间和停止时间或其它标准进行扩展，以及由立体相机10检测到的对象28。后者例如以2D检测图(Detektionskarte)的形式存在，该2D检测图的像素在其中检测到最小尺寸的对象28的位置处，记入为此所测量的距离值，否则保持为空。借助这些当然也可以不同地表示的对象检测来计算到机器26的相应的距离且特别是最短距离，该机器26形成优选为动态的危险地点。然后根据距离，在必要时通过连接到安全接口30的控制装置来进行防护，这种防护如多次提到的那样也可以存在于规避或减速中
图2示出了监测区域12中的监测情况。基于传感器10的防护任务在于，识别人(在这里简单定义成一定最小尺寸的对象28)的存在，并根据对象的位置和必要时的其它变量以及当前的机器状态以安全为导向地启动定义的反应，从而随时保障人的安全。
在该示例中，要监测两个危险地点26a-26b，即机器区域或机器，并且当前由传感器10在其周围环境中识别四个对象28。对象28中的两个是单独的人，而传感器10无需明确地获得这种信息，另一个对象28由两个彼此合并的人员组成，因为这两个人员共同运送工件并因此实际上连接或者因为分割不能将这两个人员分开。此外，还有一个对象28，该对象不可较近地识别出来并且其可以是物体或错误检测。若该对象小于最小尺寸，则可以忽略它，否则为了谨慎起见必须将它解释成人员。最左边的人员的未连接的臂根据评估形成自身的另一对象，或者特别是根据EP 3 200 122A1的教导附加到人员。传感器10提供距离数据，以便连接的控制装置通过减小速度、规避重新安排过程或必要时及时停止处于危险地点26a-26b中的机器来保护人员免受伤害。
危险地点26a-26b是带来危险的机器26的优选模型。危险地点26a-26b是机器26在各时间段中执行工作移动的空间区域。危险地点26a-26b可以以一定距离包围机器26，以便让工作移动有足够的间隙。此外，定义几何上简单的危险地点26a-26b(诸如，长方体或球体)对计算而言也是有利的，为此接受某些空白区。多个危险地点26a-26b包围多台机器26和/或机器26的多个可移动的子部分。危险地点26a-26b可以是刚性(starr)的，并可以包括所有可设想的工作移动。可替代地，为工作移动的子部分分别定义了危险地点26a-26b，这些子部分在对应于过程的序列中使用并且更小，更好对其进行调整。
控制和评估单元24连续地计算最接近的对象28接近相应的危险地点26a-26b的最短距离。图2中绘制了箭头，其在图2的实际情况下表示关于两个危险地点26a-26b的两个最短距离。最短距离将危险地点26a-26b的最近点与最接近的对象28的最近点连接。在该图示中假设，右下方的小对象28超过最小尺寸。否则，忽略该右下方的小对象，而输出到形成第二最近的对象28的两个合并的人员的距离。
最后分别关于危险地点26a-26b所确定的最短距离被周期性地或非周期性地在安全接口30处提供。典型的输出速率是每秒多次，但根据所需的和可能的传感器10的响应时间，可以设想不太频繁的更新。连接在安全接口30上的上级控制装置，特别是机器28的控制装置，在必要时根据最短距离重新计划下个工作步骤，从而使人与机器之间所需的安全距离始终得到保障。
优选地，控制和评估单元24也确定对到其的最短距离进行了测量的对象28的速度，并通过最短距离将该速度在安全接口30处输出。从而还可以更好地区分危险。尽管最接近的对象28通常是最危险的-或严格来说是最濒临危险的。此外，机器26在其移动计划中所遵守的安全距离可以针对人体移动的最高速度而设计。然而，当存在关于最接近的对象28和可能还有其它对象28的更多信息时，机器对其周围环境作出的安全相关的反应被最佳调整。也可以设想依赖于机器26的本征态(Eigenzustand)和计划的移动，特别是机器部件的位置和速度或者甚至是危险的工具区域，其中这种信息优选由机器控制装置提供。
存在一些其它测量变量或由其导出的变量，控制和评估单元24除了最短距离外还可以将这些变量在安全接口30处输出，以便这些变量可以进入到在那里连接的控制装置的安全考虑中。对到其的最短距离进行测量的最接近的对象28的速度已经讨论了。
优选地，输出到其它对象28或最接近的对象28的单独的对象部分(例如，另一臂)的附加的最短距离。这里可能的标准是，在相同的对象中还存在另外局部的距离最小值，因为到最短距离的直接相邻点是不令人感兴趣的。例如，传感器10保证监测每个活动的危险地点26a-26b的五个最近的距离。第六个对象和其它对象或对象部分将不再考虑，但其中，可以设想在监测区域12中有五个以上最小尺寸的对象这个附加信息。因此，连接的控制装置也可以针对不是最接近的对象28的其它对象28的其它未来的危险情况进行预先规划。形象的示例是以高速接近危险地点26a-26b的甚至更远的对象28。
非决定性地，其它可设想的附加信息是最接近的对象28的尺寸、重心或最接近的点形式的对象的位置、移动方向、包围对象28的包络体的对象包络或整体上作为对象云、3D点云或3D体素图的表示。
通过根据本发明的传感器10可以如下描述安全应用。这个过程只是示例性的。最初，在适当地安装好传感器10之后，例如在待防护的机器26之上的鸟瞰图中配置危险地点26a-26b。可替代地，安装传感器组合以获得额外的视野和/或其他视角。配置本身适当地通过相应的软件工具中的调节器来进行，但其中也可以设想与开始提到的EP 2 023 160 B1相似的直接在工作空间内的类似AR的配置，在那里以这种方式对保护区进行配置。可以设想为机器26的每个处理步骤配置另一组危险地点26a-26b。
然后，传感器10在操作中检测到分别位于监测区域12中的对象28。所捕获的深度图通过本身未被监测的危险地点26a-b过滤，并且如有必要通过示教的背景对象进行过滤。小的干扰对象和其中不能检测到深度值的错误地点会被忽略。控制和评估单元24以这里没有更加详细解释的方式分割深度图，以便拆分对象28。对于这种分割，文献中有无数的示例。
然后，在每个危险地点26a-26b和每个对象28之间确定距离。为此，通常必须确定每个对象位置，即每个对象点与危险地点26a-26b的每个点之间的距离。然而，可以使用更有效的方法，诸如借助包络体，使得并非必须真的观察每个点，也如启发法(Heuristiken)那样，其迅速将某些对象28作为不合适的而排除。以下给出了找到最短距离的特别有效的方法。
根据实施方式，控制和评估单元24除了最短距离外还确定其它变量，诸如具有最短距离的对象28的速度或到其它对象28的最短距离。在安全接口28处提供最短距离和可能的附加信息。
当在一个组合中使用多个传感器10时，连接到相应的安全接口30的上级控制装置读出所提供的数据并将其合并。当传感器10最初被校准到共同的世界坐标系上时，该合并非常简单，因为整体上经由全部传感器10的最短距离必须仅仅从每个危险地点26a-26b的局部通过传感器10所提供的最短距离中选择。
上级控制装置或者连接在其上或直接连接到安全接口30上的机器控制装置使用这样获得的每个危险地点26a-26b的最短距离，以便确定当前的工作步骤或以后的工作步骤是否有必要重新安排，从而使得过程最佳地运行并且使得安全得到保障。只有在必要时，安全相关的反应才会导致机器26的切断。
优选地，在控制和评估单元24中确定最短距离是在考虑到3D空间中的投影几何的情况下进行的。可替代地，也可以考虑2D投射到传感器图像平面、基准平面或中间平面上。
下面将介绍用于计算距离的有利的、特别有效的球模型，该球模型考虑了投射阴影。为此，图3示出了由立体相机10测控的空间区域12的示意性侧视图。图4以大体步骤示出了用于评估对象28相对于受监测的机器26的位置的示例性流程图。优选地，这在3D图像数据检测的每个帧中进行或在任何情况下以保障所需的安全相关的反应时间的频率来进行。
在步骤S1中，机器26通过包围的球体来表示以用于简化操作的进一步评估。这些球体覆盖机器26或至少覆盖形成待监测的危险源或从中导出的带来危险的体积(即，危险地点26a-26b)的机器部分。在这种情况下，必须针对球体的数量在监测的成本与近似的准确性之间找到权衡。在一些实施方式中，经由例如来自识别或检测其自身移动的其它传感器或机器26的控制装置的接口将球体表示提供给控制和评估单元24。优选地，由机器26占据的空间(包括其在立体相机10的图像平面上的投射)被屏蔽并且不被观看，以避免将机器26自身识别为对象。
现在，在步骤S2中，由立体相机10捕获空间区域12，以获得3D图像数据。在一些实施方式中，在3D图像数据中识别出机器26，并从中导出球体表示，前提是这些数据在其它方面是不可用的。然后，优选将步骤S1和S2的顺序反转。
在步骤S3中，在3D图像数据中检测最小尺寸的对象28。然后这些对象通过其3D位置，例如以如上所述的检测图的形式，被识别。
对象28或从立体相机10角度可见的该对象的表面在步骤S4中也被模型化成球体。例如，其上记入了距离值并因此在那里检测到最小尺寸的对象28的检测图中的每个位置都被半径对应于最小尺寸的球包围。对大于这种球体的对象28来说，在检测图中多个相邻的像素占有距离值，从而使得在那里出现有嵌套的球体，这些球体最终总体包围对象。在中间步骤中，可以排除那些被其它球体覆盖并从而不必进行评估的球体。
然后，在还将参考图5至图7进行更详细阐述的步骤S5中，立体相机10计算机器26与对象28之间的距离，特别是最短距离，以便可以将该距离用于对机器26做出安全相关的反应。因此，必须计算机器26与代表对象28的球体之间的距离。
但是，由于立体相机10角度的投射遮盖，这还不足以用于安全的评估。在机器26的阴影32中或在为此掩蔽的区域中(如对象的阴影34中那样)，另一个对象可以隐藏，该对象对立体相机10而言是不可检测到的。为了安全起见，相应的阴影32、34如对象28或机器26的部分得以处理。投射阴影，即从立体相机10角度被遮盖的区域对球体来说是截锥体，该截椎体由从立体相机10发出的射线构成。
因此，从机器26和对象28变成过渡成截锥体的球体。然后，针对最短距离，根据对象28相对于机器26的位置得出不同的参考点，例如机器26和对象28之间的距离36a、机器26和对象28的阴影34之间的距离36b以及机器26的阴影32与对象28之间的距离36c，也可以设想阴影32、34之间的未示出的距离。
在步骤S6中，一起评估针对所有对计算的距离，特别是将最短距离确定为最小值。这些对也可以预先进行限制。显然，图3中最右边的对象28不可能具有到机器26的最短距离。可以预先使用相应的启发法或方法来限制对的数量并从而限制成本。
一种可能的并且在许多情况下特别重要的输出尺寸是最短距离，因为典型的安全考虑要求总是保持机器26和对象28之间的一定的距离。但也可以有其它的或另外的输出尺寸。例如，计算并输出到机器26的n个最短距离，以便评估多个对象28或对象区域。同样，可以并行计算并输出到机器26的多个部分区域或多台机器的最短距离。由于球体表示，单台机器26与多台机器或危险地点之间不存在原则上的差异。但是，例如由于危险程度的原因，也可以设想对不同的机器部分进行不同的处理。对距离也可以输出坐标，即机器26或对象28所涉及的区域连同近似的或在3D图像数据中检测的几何结构、距离线的接触点或距离线本身。机器26和对象28所涉及的区域的速度至少可以从3D检测的多个帧中(诸如通过对象跟踪)来确定。根据随后的安全考虑，可以相关地并以任意组合方式计算并输出这些变量。
图5示出了具有有效的单独计算步骤的示例性流程图，以用于计算具有相应的截锥体的一对球体的距离。因此，这可以理解为图4中所示的流程图的步骤S5的具体实施方式。
在步骤S11中，选择关于机器26和对象28的一对球体，在考虑到投射阴影32、34的情况下计算它们的距离。完整的计算在几何上仍然是正确的，除了不可避免的数值不准确之外，没有近似。
借助3D相机的校准，将相应包围的球体换算成合适的世界坐标，在此是笛卡尔坐标。这些球体与截锥体连接，以考虑投射阴影。因此，这是单独的距离确定的输入变量：两个图示为塔糖(Zuckerhut)的几何体，其由具有连接的锥体或截锥体的球体部分组成，并且在增加立体相机10的位置以及在远处的投射阴影32、34原则上达到无穷远并且实际上达到了立体相机10的最大射程范围这个事实的情况下，在几何上通过中心和半径全面描述该几何体。
在步骤S12中，进行简化以用于进一步计算。检查对的双方中的哪一方基于相应的中心离立体相机10更远。更近的一方的中心用m表示，更远的一方的中心用p表示。注意，m、p不再允许通过这些确定来识别出那里是否存在机器26或对象28，几何上的距离问题与此无关。
现在，在步骤S13中，在较远的p时省略锥体。这是足够的，因为代表投射阴影32、34的锥体分别从立体相机10角度产生投射，并且远离立体相机10的距离一直在增大。换句话说，不可能存在到较远的阴影32、34的最短距离。此外，在进一步的计算中将p看成点也足够了。因为球体最后可以非常简单地通过从计算的距离减去该球体的半径加以考虑。然而，在更近的m时，仍然是与截锥体连接的球体。
在步骤S14中，三维问题现在被投影到二维问题上。图6图示了如何通过三个点c、m、p放置截面。在这种情况下，c是立体相机10的位置，在对一般性没有限制的情况下，其位于坐标原点上，c＝(0,0,0)T。
现在，应检测该截面。由于该截面经过原点c，所以平面方程为n1x+n2y+n3z＝0，其中平面法线n＝m×p。在截面中，坐标系由两个法向矢量e1、e2确定。在这种情况下，以下分配对于进一步计算是有利的：
ε＝m×n＝m×(m×p)＝m(m·p)-p||m||2。
因此，这两个法向矢量e1、e2横跨截面内的笛卡尔坐标系，其中e1在方向m而e2与其垂直。
然后，从这两个矢量可以形成一个2x3的投射矩阵，该投射矩阵将m、p投影到二维截面中：m′＝(m,0)T,c′＝(0,0)T，以及从投射可以形成p′，其中投射矩阵或：p′x＝e1p和p′y＝e2p。
图7图示了截面中的情况。围绕m的球体变成半径为r的围绕m'的圆，并且遮盖锥体由通过原点c到圆上的切线t1、t2来确定，该遮盖椎体代表截面中的椎体表面。
在步骤S15中，考虑这些切线。斜率形式的切线方程是
(由于轴对称：s2＝-s1)
其中，
如果仍然是相机距离与半径r的比，则γ≥1。
然后，切线的斜率为
因此，切线方程为
具体而言，需要切线上到点p的最接近的点或沿着该切线对该点进行参数化。在图7中示出了两个不同的点p'1、p'2，它们对应于p的不同的可能位置。
从切线方程的点斜率形式可以简单地导出Hesse正规式，使用该正规式可以直接计算点p'到直线的距离。然而，这里也需要直线上到p′＝(px，py)T的最接近的点(“垂直足点”)，为此矢量形式是可行的。
从切线方程得出
因此，针对切线相应的方向矢量为
矢量形式的切线方程描述了在自由参数t上的直线上的任意点，特别是两个可能的垂直足点：
矢量b1，2：＝p′→l1，2是p'到每条切线的垂直足点的连接矢量：
垂线必须垂直于方向矢量，即ai·bi＝0(其中i＝1,2)。
从中得出以下关于t的解：
现在，由于以e1、e2跨越的坐标系p'总是位于负y/正x的象限中，这也是从叉积中的矢量的顺序中得出的。然而，这意味着下降的切线t2更接近。优选地，不考虑切线t1，这使操作中的计算更简化。
此外，由于在预处理中过滤了深度值，故没有对象28位于机器26中或者该机器的阴影中，相应的检测已被掩蔽。因此，可以排除p位于锥体内。此外，所有变量都被限制在有效深度值的范围内，因此，它们位于被监测的空间区域12中。
在计算完之后，将这些值与最小允许的值进行比较。这些确定了锥面的有效范围。
切线的最小值tmin是通过将圆心***到中得到的：
在步骤S16中，现在进行情况区分。根据示出的点p'1、p'2中的哪一个对应于p的位置，存在到切线或圆的最短距离。明显地，切线对应于阴影32、34，并且圆对应于机器26或对象28本身。
对于诸如p'1的位置中的点而言，t>tmin，然后在步骤S17a中，根据切线方程计算垂直足点。从d＝||l-p′||得到距离。这通过平面矢量转换回到三维坐标，l3D＝ETl，其中ET＝(e1e2)或l3D＝lxe1+lye2，其中lx、ly是下一个切点的坐标。对于实际距离，还必须减去围绕p的球体的半径，以补偿那里的球体减小到点。
相反，如果对于诸如p'2位置中的点而言，t≤tmin，则在步骤S17b中直接引入圆而不是切线。然后，在这种情况下减去两个球体的半径之后，距离简单地对应于中心m，p的距离。
因此，在考虑到在精确的几何计算中的投射阴影的情况下，对的距离是已知的。
在许多情况下，机器26的移动不是完全自由和动态的，而是尽可能在设定时间已知。然后，控制和评估单元24不必在运行时间重新考虑距离，而是可以针对一系列已知的配置例如以2D像素地址和深度值的离散形式预先计算出到空间区域12中的许多或全部可能的位置的距离。这样就在配置阶段得出了查找表，该查找表允许对运行时间进行非常快速的评估。
在另一实施方式中，不用机器的遮盖锥体来考虑机器26，例如因为安全概念不需要这种考虑。然后将机器26视为自由悬浮的球体，并将对象28视为具有遮盖锥体的球体。那么，如果所有球体的大小仍然相同，则可以用平方的距离更有效地进行计算，并且省略复杂的求根。
另一实施方式不仅设置了立体相机10，而且还设置了多个立体相机10的组合。将提到的一点是，立体相机10仅是示例性的传感器，并且这样的组合也可以是不均匀的，即具有不同的传感器类型。每个传感器通过适用于它的投射掩蔽确定对其而言最短的距离。通过例如使用组合中的最短距离进行安全相关的评估，对这些距离综合地进行评估。

Claims (14)

1.一种安全光电传感器(10)，特别是3D相机，其用于防护具有至少一台机器(26)的监测区域(12)，所述机器形成危险地点(26a-26b)，其中，所述传感器(10)具有光接收器(16a-16b)、控制和评估单元(24)以及安全输出接口(30)，所述光接收器用于从来自所述监测区域(12)的接收光生成接收信号，所述控制和评估单元用于从所述接收信号检测所述监测区域(12)中的对象位置(28)，所述安全输出接口用于从所述对象位置(28)获得的信息，
其特征在于，
所述控制和评估单元(24)被构造用于确定危险地点(26a-26b)和对象位置(28)之间的最短距离并将其提供至所述安全输出接口(30)。
2.根据权利要求1所述的传感器(10)，其中，所述控制和评估单元(24)被构造用于包围具有至少一个危险地点(26a-26b)的所述机器(26)。
3.根据权利要求1或2所述的传感器(10)，其中，所述控制和评估单元(24)被构造用于忽略危险地点(26a-26b)内的对象位置(28)。
4.根据前述权利要求中任一项所述的传感器(10)，其中，所述控制和评估单元(24)被构造用于监测变换的危险地点(26a-b)，特别是针对过程流程内的不同机器状态来监测变换的危险地点(26a-26b)。
5.根据前述权利要求中任一项所述的传感器(10)，其中，所述控制和评估单元(24)被构造用于向所述输出接口(30)提供至少一个附加信息，其中，所述附加信息至少具有距离最接近的对象(28)或其它对象(28)的其它部分的另一最短距离、对象位置、移动方向、速度、对象包络或对象云。
6.根据前述权利要求中任一项所述的传感器(10)，其中，所述传感器(10)被设计用于安全地检测最小尺寸以上的对象(28)的检测能力，其中为了确定所述最短距离仅考虑所述最小尺寸的对象(28)。
7.根据权利要求6所述的传感器(10)，其中，所述控制和评估单元(24)被构造用于确定覆盖所述机器(26)的至少一个球体形式的危险地点(26a-26b)和/或将对象(28)模型化成具有在所述对象(28)的位置处的中心以及与对应于所述检测能力的所述最小尺寸相应的半径的球体。
8.根据前述权利要求中任一项所述的传感器(10)，其中，所述控制和评估单元(24)被构造用于给所述危险地点(26a-26b)和/或所述对象(28)附加它们的投射阴影(32，34)以用于确定所述最短距离。
9.根据权利要求8所述的传感器(10)，其中，所述控制和评估单元(24)被构造用于将投射阴影(32，34)模型化成锥体。
10.根据权利要求8或9所述的传感器，其中，所述控制和评估单元(24)被构造用于当所述对象(28)比所述危险地点(26a-26b)更接近所述传感器(10)时，仅给所述对象(28)附加其投射阴影(34)，反过来当所述危险地点(26a-b)更接近所述传感器(10)时，仅给所述危险地点(26a-26b)附加其投射阴影(32)，以用于确定所述最短距离。
11.根据权利要求8至10中任一项所述的传感器(10)，其中，所述控制和评估单元(24)被构造用于分别将危险地点(26a-26b)和对象(28)组成的对中的较近的一方以第一球体连同作为投射阴影(32，34)的锥体的形式模型化以及将较远的一方模型化成第二球体以用于确定所述最短距离。
12.根据权利要求11所述的传感器(10)，其中，所述控制和评估单元(24)被构造用于使用截面来确定所述最短距离，所述截面由所述传感器(10)的位置、所述第一球体的中心和所述第二球体的中心来确定。
13.一种由根据前述权利要求中任一项所述的至少一个传感器(10)和控制装置组成的布置，所述控制装置被连接到所述输出接口(30)和被防护的机器(26)上，其中，所述控制装置被构造用于评估由所述传感器(10)提供的最短距离并在必要时启动安全相关的反应。
14.一种用于防护具有至少一台机器(26)的监测区域(12)的方法，所述机器形成危险地点(26a-26b)，从来自所述监测区域(12)的接收光生成接收信号并对其进行评估，以便检测所述监测区域(12)中的对象位置(28)，以及其中，安全地输出(30)从所述对象位置(28)获得的信息，
其特征在于，
确定危险地点(26a-b)和对象位置(28)之间的最短距离并将其作为安全信息来提供(30)。
CN201810691295.XA 2017-06-28 2018-06-28 用于防护机器的传感器 Pending CN109141373A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP17178332.7 2017-06-28
EP17178332.7A EP3421189B1 (de) 2017-06-28 2017-06-28 Verfahren zum überwachen einer maschine
EP18170726.6 2018-05-04
EP18170726.6A EP3421191A1 (de) 2017-06-28 2018-05-04 Sensor zum absichern einer maschine

Publications (1)

Publication Number Publication Date
CN109141373A true CN109141373A (zh) 2019-01-04

Family

ID=59276522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810691295.XA Pending CN109141373A (zh) 2017-06-28 2018-06-28 用于防护机器的传感器

Country Status (3)

Country Link
US (1) US20190007659A1 (zh)
EP (2) EP3421189B1 (zh)
CN (1) CN109141373A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111678026A (zh) * 2019-03-11 2020-09-18 西克股份公司 机器的防护

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106406312B (zh) * 2016-10-14 2017-12-26 平安科技（深圳）有限公司 导览机器人及其移动区域标定方法
US20190034735A1 (en) * 2017-07-25 2019-01-31 Motionloft, Inc. Object detection sensors and systems
EP3437804A1 (en) * 2017-08-02 2019-02-06 ABB Schweiz AG Robot control method
US9990767B1 (en) 2017-10-24 2018-06-05 Lowe's Companies, Inc. Generation of 3D models using stochastic shape distribution
US10366531B2 (en) * 2017-10-24 2019-07-30 Lowe's Companies, Inc. Robot motion planning for photogrammetry
JP6680752B2 (ja) * 2017-11-28 2020-04-15 ファナック株式会社 ロボットの速度を制限する制御装置
US10650646B2 (en) * 2017-12-06 2020-05-12 Illinois Tool Works Inc. Method of increasing detection zone of a shadow-based video intrusion detection system
DE102019206012A1 (de) * 2019-04-26 2020-10-29 Kuka Deutschland Gmbh Verfahren und System zum Betreiben eines Roboters
CN112991356B (zh) * 2019-12-12 2023-08-01 中国科学院沈阳自动化研究所 机械臂在复杂环境下的快速分割方法
CN111203875B (zh) * 2020-01-07 2022-08-09 重庆邮电大学 一种机械臂碰撞安全等级检测***
EP3893145B1 (de) 2020-04-06 2022-03-16 Sick Ag Absicherung einer gefahrenstelle
CN113740355B (zh) * 2020-05-29 2023-06-20 清华大学 一种射线检测机器人的边界防护方法及***
DE102020114488B3 (de) 2020-05-29 2021-12-02 Sick Ag Optoelektronischer Sicherheitssensor und Verfahren zur Absicherung einer Maschine
CN113566723B (zh) * 2021-08-09 2023-03-21 中国商用飞机有限责任公司北京民用飞机技术研究中心 一种零件间隙与干涉检查方法及其***
US20230166406A1 (en) * 2021-11-29 2023-06-01 Fanuc Corporation Effective calculation method of the minimum distance to dynamic objects
US20230230379A1 (en) * 2022-01-19 2023-07-20 Target Brands, Inc. Safety compliance system and method
DE102023101110A1 (de) 2023-01-18 2024-07-18 Matthias Krebs Sensorsystem und Verfahren zum Betrieb eines Sensorsystems

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101063986A (zh) * 2006-04-24 2007-10-31 日产自动车株式会社 可照射区域识别方法和装置以及移动路径设定方法
CN101983033A (zh) * 2007-12-21 2011-03-02 科宁公司 锥束ct成像和图像引导程序的方法和装置
CN102778223A (zh) * 2012-06-07 2012-11-14 沈阳理工大学 基于车牌合作目标和单目摄像机的汽车防撞预警方法
CN202617082U (zh) * 2010-12-16 2012-12-19 西克股份公司 用于光电传感器的接口适配器和传感器布置
CN103415876A (zh) * 2010-11-17 2013-11-27 欧姆龙科学技术公司 一种用于监控区域的方法和设备
CN104330025A (zh) * 2014-10-22 2015-02-04 中国计量学院 工业机器人位姿检测装置
CN105094005A (zh) * 2014-05-19 2015-11-25 洛克威尔自动控制技术股份有限公司 光学区域监测与工业机器控制的集成
CN105247268A (zh) * 2013-04-26 2016-01-13 皮尔茨公司 用于保护自动操作机器的设备和方法
CN106373156A (zh) * 2015-07-20 2017-02-01 小米科技有限责任公司 通过图像确定空间参数的方法、装置及终端设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10152543A1 (de) * 2001-10-24 2003-05-08 Sick Ag Verfahren und Vorrichtung zum Steuern einer sicherheitsrelevanten Funktion einer Maschine
DE102004041821A1 (de) * 2004-08-27 2006-03-16 Abb Research Ltd. Vorrichtung und Verfahren zur Sicherung eines maschinell gesteuerten Handhabungsgerätes
DE102006057605A1 (de) * 2006-11-24 2008-06-05 Pilz Gmbh & Co. Kg Verfahren und Vorrichtung zum Überwachen eines dreidimensionalen Raumbereichs
DE102009006256B4 (de) 2009-01-27 2019-01-03 Deutsches Forschungszentrum für künstliche Intelligenz GmbH Verfahren zur Vermeidung von Kollisionen gesteuert beweglicher Teile einer Anlage
EP2386876B1 (de) * 2010-05-04 2013-07-10 Sick AG Entfernungsmessender optoelektronischer Sicherheitssensor und Verfahren zur Überwachung eines Überwachungsbereichs
EP2819109B1 (de) 2013-06-28 2015-05-27 Sick Ag Optoelektronischen 3D-Sensor und Verfahren zum Erkennen von Objekten
US9892611B1 (en) * 2015-06-01 2018-02-13 Cerner Innovation, Inc. Method for determining whether an individual enters a prescribed virtual zone using skeletal tracking and 3D blob detection

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101063986A (zh) * 2006-04-24 2007-10-31 日产自动车株式会社 可照射区域识别方法和装置以及移动路径设定方法
CN101983033A (zh) * 2007-12-21 2011-03-02 科宁公司 锥束ct成像和图像引导程序的方法和装置
CN103415876A (zh) * 2010-11-17 2013-11-27 欧姆龙科学技术公司 一种用于监控区域的方法和设备
CN202617082U (zh) * 2010-12-16 2012-12-19 西克股份公司 用于光电传感器的接口适配器和传感器布置
CN102778223A (zh) * 2012-06-07 2012-11-14 沈阳理工大学 基于车牌合作目标和单目摄像机的汽车防撞预警方法
CN105247268A (zh) * 2013-04-26 2016-01-13 皮尔茨公司 用于保护自动操作机器的设备和方法
CN105094005A (zh) * 2014-05-19 2015-11-25 洛克威尔自动控制技术股份有限公司 光学区域监测与工业机器控制的集成
CN104330025A (zh) * 2014-10-22 2015-02-04 中国计量学院 工业机器人位姿检测装置
CN106373156A (zh) * 2015-07-20 2017-02-01 小米科技有限责任公司 通过图像确定空间参数的方法、装置及终端设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FABRIZIO FLACCO ET,AL: "A Depth Space Approach for Evaluating Distance to Objects", 《JOURNAL OF INTELLIGENT & ROBOTIC SYSTEMS》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111678026A (zh) * 2019-03-11 2020-09-18 西克股份公司 机器的防护
CN111678026B (zh) * 2019-03-11 2023-05-16 西克股份公司 机器的防护

Also Published As

Publication number Publication date
EP3421189A1 (de) 2019-01-02
EP3421189B1 (de) 2019-05-22
EP3421191A1 (de) 2019-01-02
US20190007659A1 (en) 2019-01-03

Similar Documents

Publication Publication Date Title
CN109141373A (zh) 用于防护机器的传感器
US10481237B2 (en) Method and apparatus for using gestures to control a measurement device
US9113154B2 (en) Three-dimensional measurement device having three-dimensional overview camera
Schmidt et al. Depth camera based collision avoidance via active robot control
US11174989B2 (en) Sensor arrangement and method of securing a monitored zone
CN106997455B (zh) 用于安全地检测出最小尺寸的对象的光电传感器和方法
US20110001799A1 (en) 3d sensor
CN107077729B (zh) 用于识别相机图像中的投影结构图案的结构元素的方法和设备
EP1249135A1 (en) Video safety curtain
US20200254610A1 (en) Industrial robot system and method for controlling an industrial robot
Schmidt et al. Contact-less and programming-less human-robot collaboration
JP2024069286A (ja) 複合三次元ブロブツール及び複合三次元ブロブツールを動作させるための方法
US20190362487A1 (en) Securing a Monitored Zone Comprising at Least One Machine
US11512940B2 (en) 3D sensor and method of monitoring a monitored zone
US10789730B2 (en) Method and apparatus for monitoring a position
Fetzner et al. A 3D representation of obstacles in the robots reachable area considering occlusions
Chemweno et al. Innovative safety zoning for collaborative robots utilizing Kinect and LiDAR sensory approaches
JP7509535B2 (ja) 画像処理装置、ロボットシステム、及び画像処理方法
Li et al. A combined vision-inertial fusion approach for 6-DoF object pose estimation
KR20140099622A (ko) 다중 영상을 이용한 원자로 내부 로봇 위치 측정 시스템 및 위치 측정방법
Vogel et al. Optical workspace monitoring system for safeguarding tools on the mobile manipulator VALERI
US20220088784A1 (en) Method and Apparatus for Monitoring Robot System
Ramer et al. Work space surveillance of a robot assistance system using a ToF camera
Vogel et al. Experimental Evaluation of Advanced Sensor-Based Supervision and Work Cell Integration Strategies-EXECELL
Duque-Suárez et al. Deep Learning for Safe Human-Robot Collaboration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190104