CN104640677A - 训练和操作工业机器人 - Google Patents
训练和操作工业机器人 Download PDFInfo
- Publication number
- CN104640677A CN104640677A CN201380043208.5A CN201380043208A CN104640677A CN 104640677 A CN104640677 A CN 104640677A CN 201380043208 A CN201380043208 A CN 201380043208A CN 104640677 A CN104640677 A CN 104640677A
- Authority
- CN
- China
- Prior art keywords
- robot
- task
- annex
- prototype
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/081—Touching devices, e.g. pressure-sensitive
- B25J13/084—Tactile sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0084—Programme-controlled manipulators comprising a plurality of manipulators
- B25J9/0087—Dual arms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
- B25J9/1676—Avoiding collision or forbidden zones
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1682—Dual arm manipulator; Coordination of several manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
- G05B19/423—Teaching successive positions by walk-through, i.e. the tool head or end effector being grasped and guided directly, with or without servo-assistance, to follow a path
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
- G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/1914—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries, e.g. user dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
- G06V30/194—References adjustable by an adaptive method, e.g. learning
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39451—Augmented reality for robot programming
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39466—Hand, gripper, end effector of manipulator
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40116—Learn by operator observation, symbiosis, show, watch
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
- G06N5/025—Extracting rules from data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/80—Management or planning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S901/00—Robots
- Y10S901/01—Mobile robot
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S901/00—Robots
- Y10S901/02—Arm motion controller
- Y10S901/03—Teaching system
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S901/00—Robots
- Y10S901/02—Arm motion controller
- Y10S901/09—Closed loop, sensor feedback controls arm movement
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S901/00—Robots
- Y10S901/30—End effector
- Y10S901/31—Gripping jaw
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S901/00—Robots
- Y10S901/46—Sensing device
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S901/00—Robots
- Y10S901/46—Sensing device
- Y10S901/47—Optical
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Automation & Control Theory (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Manipulator (AREA)
- User Interface Of Digital Computer (AREA)
- Instructional Devices (AREA)
Abstract
机器人可基于关于对象和/或环境的传感器输入,连同表示原始任务的数据结构,以及在一些实施例中表示与原始任务相关的对象和/或位置的数据结构,来操纵对象。可在训练期间由人类训练员通过实例化相应的原型来创建数据结构。
Description
相关申请的交叉引用
本发明要求在2012年9月17日提交的申请号为13/621657、13/621706、13/621708、13/621658、13/621648、13/621687、13/621517、13/621519和13/621561的美国专利申请,以及在2012年6月21日提交的申请号为61/662646、在2012年7月27日提交的申请号为61/676586的美国临时专利申请的优先权和权益,并且该美国专利申请和美国临时专利申请通过引用被全部包含于此。
技术领域
本发明总体上涉及机器人操作和训练。更为具体地,各个实施例涉及由工业机器人获取、组织和使用与任务相关的信息,以促成自主方式的任务执行。
背景技术
工业机器人执行各种各样的任务,该任务涉及物理对象的移动和对物理对象的操纵。例如,典型的工业机器人可具有配置了夹持器(gripper)的一个或多个手臂,其允许机器人在特定的位置处拿起对象,将它们运送到目的位置,并且根据特定的坐标放下它们,从而例如将它们堆叠或者将它们放置到存在于目的位置处的纸板盒内。
通常用语言来编程用于现有的工业机器人的控制器,该语言为机器人手臂指定精确的位置和轨迹。在编程任务的执行期间,机器人手臂将与其最末端的链节(link)相关联的参考坐标移动到精确指定的新位置,并且跟随精确指定的轨迹。现有工业机器人成功的原因在于它们在受限环境中的操作,其允许对机器人进行编程的人(通常参与构造机器人的工作空间的过程)以高可信度预测哪些对象将一直存在于工作空间中以及它们将位于哪里。因此,将机器人手臂上的参考点经由特定的轨迹移动到特定的坐标,并且接着打开或关闭机器人的夹持器(或者应用或释放吸爪),导致现实世界中的动作,该动作完成机器人的期望任务。
可使用六维向量来唯一指定三维空间中的参考点,以及最末端的链节的方向。因此,如果机器人手臂本身具有六或者更少的自由度,则该向量唯一确定机器人的所有关节的设置。如果机器人手臂具有多于六的自由度,则需要进一步指定手臂的期望姿势,以消除任何歧义。
用于工业机器人的当前编程***具有输入层,该输入层在不同程度上成功地避免了将程序员暴露给六维向量。在一种方法中,通过将手臂物理地移动到期望的姿势和位置并且接着使机器人记录该位置,来设置轨迹的端点。在实践中使用用于移动手臂的各种方法。最常用的方法使用仅在示教阶段***机器人控制器的外部示教附件(teaching pendant),即手持式控制终端。该附件通常包括LCD屏、操纵杆或类似的操纵装置、一个或多个按钮,且有时包括完整的键盘,它们一起允许用户来控制和移动机器人。另一种技术涉及将测力传感器装配到机器人手臂的最末端的链节,并且使用户将该手臂转换到一种模式,在该模式下该手臂对施加到测力传感器的力作出响应。采用这种方法,用户用手将机器人引导到期望的位置,可能用示教附件进行调整,并且接着给出命令来记录该位置。例如,可经由附件上的按钮或者经由语音来给出该命令。
无论使用什么样的输入方法,传统工业机器人是针对在坐标***中相对于机器人的向量化移动编程的。尽管一些编程***允许来自外部传感器的输入来识别外部位置,但这些外部位置也被转换成机器人的坐标***,以便机器人将其参考点移动到期望位置。该转换依赖于机器人相对于外部传感器的位置和方向的知识;工业化机器人的典型的位置精度要求在亚毫米的范围内。因此,如果相对于世界中的对象移动了机器人或者外部传感器,即使仅仅是很小的距离,机器人会将其参考点移动到世界中的错误地点,并且从而在其任务上失败。
另外,尽管现有的机器人可使用外部传感器输入来检测例如将要操纵的对象或者装置,如盒子或传送带,但该输入仅用作下一任务的选通信号。必须用坐标和轨迹来仔细地编程机器人与外部对象自身的交互,并且仅当世界如程序员预期的那样有序,机器人才能成功地执行其任务,即没有碰撞或错位。例如,为使机器人将对象放置在如3X4格的纸板盒中,程序员必须指定与将要放置对象的盒中的位置相对应的十二组坐标。另外,为保证机器人本身或者抓住的对象不会与盒子的侧部碰撞,程序员必须指定装满十二个点的顺序,以及逼近的方向和轨迹(对照放置在中心的对象,对于靠盒子边界放置的对象,逼近的方向和轨迹不同)。当然,机器人将仅能包装在较窄的尺寸范围内的对象。如果与程序员假定的对象相比,对象较大或者具有不同的形状,则过程将失败,因为已经再一次高度约束了机器人的动作。
类似地,当将机器人编程为从传送带拿起对象时,程序员依赖传送带的受控制的、可预测的操作。通常,外部传感器(例如,附属于传送机的光束断开传感器)允许机器人检测传送机上的对象。每当光束断开时,沿传送机移动的期望类型的对象被认为是该断开的原因。以拿起位置的坐标和从断开时测量的时间延迟的形式,将传送机的速度隐式地编码到机器人程序内。也可以包括显式的速度向量,其允许在启动机器人夹持器时,该夹持器以与传送带上的对象相同的速度移动。只要关于传送机位置和速度的假设正确,这些规范(specification)保证机器人将从移动的传送机拿起期望的对象;否则,由于机器人不具有任务级知识,该机器人将失败。
机器人控制程序通常包括控制逻辑,该控制逻辑处理错误状况。由于通常管理机器人行为的坐标级特性,在发生错误的情况下响应选项是受限的。例如,当违反了特定编程的任务下的基本假设或者世界以其他方式偏离了预期的状态时,机器人可以简单地停止操作,并且可能发出错误警报。
相应地,需要一些机器人,其更灵活地响应于它们的环境且容忍与默认假设更大的偏差,并且优选地,该机器人可用于且被配置为基于直觉交互来执行复杂任务。
发明内容
本发明涉及能够执行包括操纵和移动物理对象的各种任务的机器人,以及编程和/或训练该机器人的方法。任务的执行通常基于机器人对其环境的感知。相应地,在各个实施例中,机器人配置有一个或多个摄像机或者使其能够检测、识别和定位要操纵的对象的其他传感器,以及辅助其任务的特定的机械部件或设备(例如传送带或存储盒)。通常,对该对象的检测和识别触发与该对象相关联的一个或多个任务的执行,并且此后的连续的视觉或其他传感器输入通知了执行的模式和方式。例如,在识别了将要移动到特定目的地的对象后,机器人可指示其摄像机中的一个来监控其路径,以便检测任何障碍物并且避免与它们的碰撞。可在机器人中存储通过训练提供或定义的或者细化的任务。
根据本发明的各个方面和实施例,通常不以(或者不完全以)一般的意义(即通过硬编码的指令)来编程机器人。相反,可经由与人类的直接交互来训练机器人。例如,人类训练员可将机器人和/或任何其附件引导到期望的位置,并且向其展示如果通过相对于对象调整附件、按下按钮来打开或关闭附件等来操纵对象。可经由屏幕和常用的输入装置(例如键盘、鼠标或触摸板)由用户交互来补充该机械输入,以指定或细化已存储的任务。例如,机器人可在屏幕上显示与其视野相对应的图像,并且允许用户通过在屏幕上指向对象(例如使用鼠标或触摸感应屏)来向其展示它们。一旦识别了将要操纵的对象,机器人可显示可能的操作的列表,每个操作与预存储的任务相对应,用户可通过点击期望的操作从列表中进行选择。此外,可例如经由键盘以文本格式输入与任务相关联的某些参数,例如与机器人运动相关联的最大速度。重要的是,在许多实施例中,以需要较少的或者不需要来自训练员的专业技术的方式,来构建机器人及其训练员之间的交互。
作为机器人训练的结果,可创建表示各个任务的数据结构并且将其存储在与机器人控制***相关联的存储器中。通常,这些表示不从(或者至少不完全从)机器人附件的空间坐标和轨迹的角度来定义任务,而是与相对于环境中的对象的通用、空间未指定的运动相对应。因此,在特定任务的执行期间,机器人用关于该机器人的环境的信息,以及机器人在那时感知到的环境中的对象和设备来补充该任务的表示。以这种方式考虑机器人的环境,消除了对于在训练阶段对环境作出精确假设的需要,并且固有地促使机器人更灵活地执行其任务、自动处理错误以及利用变化的环境。另外,将训练集中在由相应的情况集合触发的独立的任务上,允许训练员以任何顺序来教导这些任务,而不管(组成更复杂程序的)任务的通常的执行顺序。相反,机器人可基于其对其环境的感知来选择或提议任务;例如,检测特定类型的对象可使机器人回顾与该对象相关联的任务,并且基于额外感知的对象进一步缩小这些可能性,例如,检测到箱子对象以及空传送带可引发对于涉及拿起和将箱子移动到传送带上的已存储的任务进行实验性选择。
在各个实施例中,由双层数据结构来促成在机器人训练以及机器人执行其任务时的这种灵活性。第一层包括原始或复杂任务(复杂任务通常是一系列诸如“拿起”、“移动”或“放下”的原始或基本任务),以及对象、位置、设备和/或与任务相关的其他通用类别的硬编码原型。每个原型指定需要哪些信息来充分定义相应的类别或类的特定成员;通常,原型采用“字段”或“槽”的列表的形式,该“字段”或“槽”与类的各个属性相对应并且具有关联的参数值。第二层包括原型的实例,该原型的实例是在训练阶段,通常通过基于默认假设、在训练时机器人对其环境的感知以及来自训练员的直接输入的组合,填入至少一些字段而创建的。可基于机器人的感知,在执行时填充在该阶段保持空缺的槽。实例通常不用或者不完全用绝对坐标来定义任务或位置,而是根据环境中的对象以及环境的参数来定义任务或位置。一些原型的实例可引用其他原型的实例。例如,任务的实例可指定要操纵的对象的类或者用于该目的的设备的类型,其中,用类特定的或者设备特定的实例来定义对象类和/或设备本身。
采用通用原型以及这些原型的特定实例的形式的任务和其他类别的双层表示,促成了经由硬编码指令根据连续的特性来调整机器人被控制的程度,其中留下了在训练和/或执行期间要填充的一些缺少的细节。另外,其允许在不同的复杂度级别定义机器人任务,其范围从原始任务到涉及许多移动和操纵的复杂任务。对于一些应用来说,例如其中机器人是静止的、环境的预期状态在狭窄的范围内,或者需要以特定顺序执行子任务,可通过将复杂任务直接编程到机器人内并且将训练阶段缩减到最小定制来加以约束。对于其他应用来说,可能在训练和/或执行阶段期望最大的灵活性,这需要原始原型的更抽象的定义,其中一旦实例化该定义充当更复杂的任务的基础块。
相应地,在第一方面,本发明提供一种能够经由与人类训练员的交互被训练来操纵对象的机器人。在各个实施例中,所述机器人包括用于操纵对象的一个或多附件,以及用于操作所述附件的控制器。这些实施例还包括:用于存储原型库的计算机存储器,其中至少一个原型定义将由所述附件对对象执行的任务的类型;用于从所述人类训练员接收与所述任务相关的物理输入(例如,机械或视觉输入)的感知***;用于基于所述物理输入通过指定任务原型的至少一个属性来创建任务原型的实例的训练模块;以及任务执行模块,用于经由对所述控制器的命令来执行实例,从而导致所述附件执行所述任务。任务通常涉及附件的移动和/或对对象的操纵。本文中,术语“操纵”指的是涉及机器人(例如,夹持器或其他终端执行器)和对象之间的物理接触的机器人运动,并且包含对对象的任何机械操作,例如抓住、移动、举起、敲打等。操纵可涉及或者不涉及对象的结构变化。实例可用所述附件的通用的、空间未指定的运动来定义所述任务,例如,采用在不指定空间轨迹的情况下定义的运动;或者,用所述附件相对于对象和/或其环境的运动来定义所述任务。
所述感知***可包括可按压的按钮、旋钮、触摸感应板、触摸感应套箍和/或摄像机(或者其他视觉传感器)中的一个或多个,并且可被配置为接收关于对象或者其环境的物理信息。机器人控制器可被配置为响应于所述物理输入(例如,接触套箍),在不受力重力补偿模式下操作。在一些实施例中,所述机器人还包括响应于用户接口***用于向所述训练员提供任务相关的反馈的一个或多个输出装置。该反馈可例如包括机器人状态的指示、对进一步的输入的请求,或者错误警报,并且可采用在机器人摄像机视图上覆盖的图形的形式。所述原型库可包括定义对象类、设备类型或者位置的原型。在一些实施例中,所述训练模块基于关于类的成员的视觉输入,来创建对象类的实例;受操纵的对象可以是由实例引用的对象的类的成员。
在另一个方面,本发明涉及一种基于与人类训练员的交互的机器人学习的方法。在各个实施例中,所述方法涉及从训练员接收关于将由机器人执行的任务的物理输入;以及,响应于并且至少部分基于所述输入,从存储的原型的库中选择与所述任务相关联的原型。在数据库中创建和存储该原型的实例。所述实例指定机器人移动或者将对对象执行的机器人操纵,并且可从通用、空间未指定的角度来定义所述任务。所述方法还可以包括基于所述物理输入指定所述实例的一个或多个属性。
所述物理输入可以是或者包括机械输入和/或视觉输入。例如,在一些实施例中,接收物理输入涉及感测与所述训练员和/或对象的物理接触;捕获所述训练员、对象或者环境的一个或多个图像;和/或当由所述训练员移动附件时,跟踪机器人附件的位置。响应于并且至少部分基于所述输入,可选择并且实例化定义对象类的原型,以便在存储器中创建对象的表示。方法还可以包括向所述训练员提供反馈,例如,通过指示机器人的状态、从所述训练员请求额外输入和/或向所述训练员发出错误警报。可采用在机器人摄像机视图上覆盖图形的形式或者采用触觉反馈的形式来提供反馈。
在第三个方面,提供一种用于基于其物理感知在环境内操纵对象的机器人。在各个实施例中,所述机器人包括用于操纵对象的一个或多个附件,以及用于操作所述附件的控制器;用于从一个或多个传感器接收关于对象和/或环境的物理信息的感知***;包括多个实例的实例数据库,其中多个实例中的至少一些实例指定将由所述附件对对象执行的任务;以及,用于基于接收的信息选择一个或多个实例的任务执行模块。可选地,可基于所述物理信息指定所选择的实例的属性。任务执行模块经由对控制器的命令,执行所选择的实例。此外,实例可从通用、空间未指定的角度来定义所述任务,例如,用附件相对于环境或者对象的运动,和/或从不指定空间轨迹的角度来定义所述任务。
所述实例数据库还可以包括定义对象类、设备的类型或者位置中的一个或多个的一个或多个实例。任务定义实例可引用任何一个其他的实例(即对象类、设备或者位置实例)。在一个实施例中,任务定义实例引用对象类,并且所述任务执行模块被配置为在感知***检测到属于对象类的对象时,使得机器人附件执行针对所检测的对象的任务。感知***可包括例如结合了计算机视觉***的一个或多个摄像机。另外,所述感知***可包括机械输入装置,例如能够按压的按钮、旋钮、触摸感应板或者触摸感应套箍中的一个或多个。
在进一步的方面,提供一种在环境内操纵对象的机器人实现的方法。所述方法涉及接收关于对象和/或环境的传感器输入(例如,捕获其一个或多个图像,或者检测与环境中的对象的物理接触);以及基于所述传感器输入和指定将由机器人对对象执行的任务的实例的数据库,选择至少一个实例,可选地,指定所选择的实例的一个或多个属性并且执行所选择的实例,以便使得机器人附件据此来操纵对象。执行实例可涉及实例化与实例相关联的行为。所述行为可包括多个线程,所述线程具有与该线程相关联的条件集合,并且执行所述实例可涉及针对条件的满足来监控所述线程,其可以触发所述线程之间的转换。任务的执行还可以涉及运行一个或多个行为,该行为防止机器人与自己或者与环境中的对象碰撞。除了任务定义实例,所述实例数据库还可以包括各种对象类的实例,每个对象类与至少一个任务实例相关联。基于所述输入,可识别对象所属的对象类,并且可根据与所述对象类相关联的任务实例来执行执行步骤。
在又一个方面,本发明涉及一种用于基于其物理感知操纵环境内的对象的机器人。在各个实施例中,所述机器人包括:用于操纵对象的一个或多个附件,以及用于操作所述附件的控制器;用于从至少一个传感器(例如,摄像机和计算机视觉***和/或一个或多个触摸感应检测器)接收关于对象和环境的物理信息的感知***;具有多个实例的实例数据库,所述多个实例中的至少一些实例指定将由附件对对象执行的任务,其中每个任务指定对象以及将对该对象执行的动作,并且从通用、空间未指定的角度来定义每个任务;以及,响应于感知***用于经由对控制器的命令来执行所述任务的任务执行模块。
在一些实施例中,所述任务执行模块基于所述物理信息,在与机器人相关联的坐标***中实时动态地生成与任务相对应的轨迹。在其他实施例中,所述任务执行模块连续地监控对象,并且在此基础上使得机器人附件向对象移动,而不计算轨迹坐标。只要由所述任务执行模块基于监控的对象确定满足与移动相关联的前置条件,向对象的移动可继续。所述前置条件可例如是或者包括在附件和对象之间没有物理接触。
在另一个方面,一种用于在其环境内操纵对象的方法包括接收关于对象和/或环境的传感器输入(例如,通过捕获对象的图像)。在各个实施例中,基于(i)所述传感器输入和(ii)包括从通用、空间未指定的角度指定(将由机器人对对象执行的)任务的多个实例的实例数据库,来执行至少一个任务实例,以便使得机器人附件据此操纵对象。执行任务实例可涉及在与机器人相关联的坐标***中实时动态地生成轨迹。可选地,执行任务实例可涉及连续监控对象,并且在此基础上,使得机器人附件向对象移动,而不计算轨迹坐标。例如,任务的执行可包括确定是否满足与任务相关联的前置条件(例如,在附件和对象之间没有物理接触),并且如果满足,则继续向对象的移动。
在一些实施例中,执行任务实例包括实例化与所述实例相关联的行为。所述行为可包括具有相关联的条件集合的多个线程;可针对条件的满足来监控所述线程,其可以触发所述线程之间的转换。所述方法还可以涉及运行防止机器人与自己或者与环境中的对象碰撞的行为。
附图说明
根据本发明下面的具体实施方式,尤其在结合附图考虑该具体实施方式时,前述内容将更容易理解,其中:
图1是描述根据各个实施例的***的框图;
图2A和2B是根据各个实施例的机器人的透视图;
图2C是描述根据各个实施例的机器人的计算和控制功能的实现的框图;
图3示意性地描述了根据各个实施例的原型库;
图4描述了根据各个实施例的与原型相对应的数据结构;
图5描述了根据各个实施例的原型和实例之间的关系;
图6是描述根据各个实施例的训练和任务执行方法的流程图;以及
图7示意性地描述了根据各个实施例的数据结构的实例和机器人行为之间的关系。
具体实施方式
1.***概述
图1描述了根据本文的各个实施例的用于训练和操作机器人的示例控制***100的架构。该***包括用硬件和/或软件实现的数个功能组件(描述为具有尖角的框),以及多个数据结构(描述为具有圆角的框)。功能组件通常并行操作,并且互相以及与数据结构通信(尽管最终由处理器执行以软件实现的而描述为自操作模块的各个功能组件)。图1用箭头指示通信路径。虚线箭头指示沿箭头方向流动的信息;双头的虚线箭头指示双向信息流;并且实线箭头指示沿箭头方向传送控制命令。
为使机器人能够根据其环境采取行动,***100包括感知***(或子***)102,感知***102通常包括用于捕获环境的图像的一个或多个摄像机,以及用于处理和解释图像的适当编程的计算设施(例如,由通用处理器执行其指令的软件模块)。摄像机通常在可见光谱中操作,但一些实施例可能替代地或者另外使用红外摄像机或者检测电磁波谱内的其他频率范围的摄像机。在一些实施例中,可使用一个或多个立体摄像机,或者更普遍地,可使用深度感测摄像***(例如KINECT摄像机)。摄像机(或者其他光传感器)和图像处理设施一起形成了计算机视觉***。感知***102还可以包括本领域公知的额外的传感器,例如温度传感器、压力传感器、湿度传感器、触摸板、触觉传感器、位置和方向传感器(例如,GPS或旋磁传感器)、速度传感器和/或加速计、电传感器,和/或磁传感器。此外,除了集成到***100自身内的传感器,***100可包括用于接收来自外部和第三方传感器及传感器***的信号的接口104。该接口104促成了使用在部署机器人的环境中可用的能力来补充机器人的内部感测能力。
***100还包括机器人控制器106,其监控和改变机器人位置、运动学、动力学和力,并且一个或多个关节级控制器108与该机器人控制器106通信且接收来自该机器人控制器106的命令,该一个或多个关节级控制器108驱动独立的电机和致动器,以便如由机器人控制器106指示的那样移动机器人和/或其运动部分(该运动部分通常包括附件和终端执行器,并且还可以包括诸如摄像机或其他传感器)。机器人控制器106可与感知***102交换信息。例如,当控制器106导致机器人附件或者终端执行器移动时,集成在附件内的摄像机可监控该运动,以便向控制器106提供反馈。相反地,由控制器106向感知***102提供的信息可帮助视觉任务的执行;例如,如果将跟踪对象的任务分派给机器人摄像机,来自控制器106的、关于相对于预期对象位置的摄像机位置的信息可使该摄像机能够预测图像中的对象的近似大小,允许该摄像机限制搜索对象所需的其视野内区域的大小。通过连续地交换信息,控制器106和感知***102可在跟踪对象的过程中在视觉上并且在物理上互相帮助,以便例如从传送带拿起该对象。
***100的中心是任务执行模块110和训练模块112,任务执行模块110在机器人执行有用工作时管理该机器人的行为,训练模块112允许用户训练机器人并且在其正常操作期间还向人们提供关于该机器人的意图和状态的提示。通常经由感知***102的组件和/或经由传统用户接口装置(例如,键盘、鼠标或触摸屏)来进行机器人和用户之间的交互。相应地,任务执行和训练模块110、112被配置为从感知***102接收信息并且向感知***102发送控制命令。此外,模块110、112都与机器人控制器106交换信息并且向机器人控制器106提供命令,以指导控制器对子任务的执行。任务执行模块110和训练模块112通常不从对方或者从任何其他的组件接收控制命令。相反,它们是整个***100的控制源。例如,响应于从感知***102接收的信息(例如,检测到新对象),训练模块112或任务执行模块110可经由对控制器106的命令发起新动作或原始任务。相比之下,在原始任务的执行期间,可由感知***102直接指导控制器106,而不需要信息先通过模块110、112中的一个。
任务执行模块110和训练模块112由一组共享表示(representation)联系在一起,并且通过该共享表示进行交互;定义这两个模块的指令使得用户能够操作这些共享表示,其中这些共享表示是在机器人训练期间通过实例化任务、对象和/或地点(并且可能地,其他类别)的原型创建的,该实例化产生了实例数据库114。通常在原型库116中组织原型本身。在一些实施例中,将任务执行模块110和训练模块112集成在提供训练和任务执行功能的一个模块内;这样避免了两个模块都会使用的功能的重复。
***100还可以包括一个或多个用户模型118,该用户模型118包括数据,该数据与保证任务执行和训练模块110、112与人适当交互(例如,数据可包括识别特定的人是否是授权用户,并且当任何人进入机器人的操作地带时对移动施加安全约束)相关。可以由来自感知***的数据(例如用户的脸的摄像机图像)通知用户模型,并且用户模型与任务执行和训练模块110、112双向交换信息。通常在存储器中存储(例如,在大容量存储装置中永久存储,以及在机器人操作期间在存储器分区中存储)所有这些数据结构(原型库、实例数据库和用户模型),并且由***100维护所有这些数据结构。
2.机器人设计
图2示出了根据一个实施例的机器人200。机器人200具有两个手臂202,每个手臂202具有由适当的(或传统的)转动关节204提供的七自由度。每个关节204优选采用串联弹性致动器,使得机器人能够感测到作用于该机器人的外力,例如由意外的碰撞导致的力。在每个手臂的末端安装有平口夹持器(parallel-jaw gripper)206,其允许机器人抓住、提起和移动对象。机器人200还具有头部,该头部具有屏幕208和状态灯,该状态灯向用户通知机器人的状态。头部和屏幕208可关于垂直轴转动,并且关于与屏幕208平行的水平轴点头。
另外,机器人200包括五个摄像机。其两个手腕中的每个手腕都具有一个摄像机209,使得机器人200可以“看见”其正要拿起的对象,并且相应地调节其夹持器206。另外,其胸部具有并排的两个摄像机210,该摄像机210提供了工作空间的广角视野,并且允许机器人200在视觉上检测将要操纵的设备或对象。最后,机器人200具有在屏幕208上的摄像机211,该摄像机211方向朝外,以便检测环境中的人。机器人200还可以在每个手腕中包括距离传感器,并且在其头部中包括声纳传感器环,用于检测环境中的移动的对象;参见2012年4月26日提交的申请号为13/456915的共同待决的申请,且通过引用将该申请包含于此。
除了用于在视觉上和/或在听觉上检测对象的这些传感器,机器人200可包括在其手臂202和身体上的多个触摸感应传感器和机械特征,其促成与人(例如训练员)的机械交互。例如,在每个手腕上,机器人具有套箍(cuff)212,每当被触动时,该套箍212将机器人手臂转换成“不受力重力补偿”模式,该模式出于训练的目的允许用户将手臂从一个地点轻松地移动到另一个地点。在该模式下,机器人控制器106操作机器人手臂,以便在补偿重力的同时与在每个关节处具有低摩擦轴承的一组链节动作相似,这使得手臂不会垂到最低可能的配置(但相反,其表现得像在太空中一样)。要实现重力补偿,控制器106基于机器人的质量分布的详细模型考虑机器人的即时运动学配置,并且将扭矩应用于每个关节以便抵消重力。只要由训练员控制手腕套箍212,手臂甚至响应于小的力自由地移动,该手臂仅受到其惯性的阻碍。手腕套箍212上是两个按钮214,可在训练过程中使用该按钮214,例如,通过在不同的点(例如,多边形的顶点)点击其中一个按钮来标出区域,以确定对于对象的正确的视觉选择,或者手动地使夹持器打开或关闭。
另外,机器人200在其手臂、胸部和背部上包括四个相同的旋钮和按钮组214(每个组统称为“导航器”)。导航器214允许用户(例如,通过选择菜单项、在训练和执行模式之间转换)对于在屏幕208上显示的信息进行响应,并且经由数字旋转旋钮输入数字(例如,指示将多少行和列的对象要包装到盒中)或文本(例如,密码或者对象和任务名称)。此外,机器人200在其肩膀上包括两个触摸板216,该触摸板216允许在机器人200后面出现的人轻敲该机器人200,从而指示在训练该机器人时她想要站立的机器人200的一侧。这些视觉、声纳和基于触摸的传感器是代表性的而非限制性的,并且都是机器人感知***102的部分。
当然,上文描述的机器人200仅是根据本发明的多个可能的机器人实施例中的一个。可采用将对本领域技术人员显而易见的方式来修改各个组件和特征。例如,机器人通常可具有任何数量的手臂(或者更普遍地说,附件),并且每个手臂可具有任何数量的自由度。手臂的链节不需要由具有一个自由度的转动关节(例如,铰链关节)来连接,但是可以例如包括提供两个转动自由度的球窝关节,或者促成平移运动的轨道***。另外,机器人可包括吸爪或者握住对象的其他装置,来代替具有紧密围绕对象的手指的夹持器。可选地或者另外地,机器可具有其他类型的终端执行器,例如工具(如钻、锯等)或者测量装置(如磅秤、计量表等)。机器人还可以包括腿、轮子或者将其身体作为整体来移动的类似装置。此外,可在机器人的身体和附件的各个位置安装额外的和/或不同类型的传感器。同样地,可以在不同的位置放置屏幕208和状态灯,或者由用于向用户传送信息的不同组件来代替或补充屏幕208和状态灯。例如,机器人可包括用于音频通信的扬声器和/或麦克风。
可将控制***100及其各个组件集成到机器人内,或者(至少部分)保持在与机器人通信的独立控制设施中。例如,在一些实施例中,在软件中实现任务执行和训练模块110、112,其中在通用计算机的存储器中存储(例如,在使用期间,在***存储器中,通常是在随机访问存储器(RAM)中存储;和/或在硬盘、CD-ROM或其他非易失性存储介质上长期存储)并且由计算机的处理器执行该软件。同样地,可在非易失性存储器中长期存储用户原型库116、实例数据库114和用户模型118,并且在使用时将其加载到***存储器中。可采用任何合适的编程语言来编写模块,该编程语言包括但不限于:诸如C、C++、C#、Ada、Basic、Cobra、Fortran、Java、Lisp、Perl、Python、Ruby或对象Pascal的高级语言,或者低级汇编语言。可例如经由蓝牙、WAN、802.11协议、以太网或者任何其他的有线或无线连接来建立机器人和计算机之间的通信。可选地,如果机器人的大小允许,可将计算机或者计算机终端构建到机器人内。
另外,控制***可采用各种各样的其他处理装置中的任何一个,来代替使用通用计算机,该其他处理装置包括但不限于:专用计算机、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)或者可编程门阵列(PGA)。同样地,可在机器人的身体、头部或者附件之中或之上安装该装置,或者在独立控制设施中包含该装置,其中该独立控制设施经由电缆或无线信号与机器人进行通信。在各个实施例中,使用多个不同的处理装置的组合。另外,在一些实施例中,在物理集成到机器人内的组件以及与机器人通信的外部组件之间分布全部控制功能。例如,机器人控制器106和关节级控制器108,以及用于捕获摄像机图像或其他信号(以及可能的,执行基本的图像/信号处理步骤)的硬件可以位于机器人中,而可以在位于远程的设施中提供高级数据结构和处理功能。
图2C以框图的形式描述了示例控制***。该***包括数个ARM处理器(由英国剑桥的ARM控股公司开发的精简指令集计算机(RISC)处理器),该ARM处理器充当关节级控制器108。在通用计算机250上实现包括任务执行和训练模块110、112以及图像处理设施和相关视觉算法的所有其他计算功能,该通用计算机250集成在机器人中,其包括中央处理单元(CPU)252(例如,英特尔四核处理器)、***存储器254和非易失性大容量存储装置(如一个或多个硬盘和/或光存储单元)。计算机250还包括双向***总线256,CPU 252、存储器254和存储装置256通过该双向***总线256彼此通信,并且与内部或外部输入/输出装置以及与ARM处理器108通信,该内部或外部输入/输出装置诸如是屏幕208、感知***102的硬件组件(例如,摄像机209、210、211,导航器214,手腕套箍212)、外部传感器104,和/或传统输入装置(例如,键盘或鼠标)。
***存储器254包含在概念上描述为一组模块的指令,其控制CPU252的操作以及CPU 252与其他硬件组件的交互。操作***260(例如Gentoo Linux)指导低层、基本***功能的执行,例如存储器分配、文件管理和大容量存储装置256的操作。在较高层,一个或多个服务应用262集成了机器人控制器106、任务执行模块110、训练模块112和图像处理模块。可在大容量存储装置256上,和/或在操作期间在***存储器254中,存储原型库116、实例数据库114和用户模型118。在一个实施例中,机器人控制器106在CPU 252上以100Hz循环的速率运行,而视觉算法以及训练和执行模块以接近10Hz的速率运行。在一个实施例中,如果用ARM处理器来实现关节级控制器,该关节控制器以约1000Hz的速率运行。实现控制***100的各种可选方式对于本领域技术人员来说是显而易见的,并且如所描述的示例***,无需过度的实验就可以实现该各种方式。
3.任务表示和操作原理
根据各个实施例的机器人控制***在存储器中用原始机器人操作(即,机器人的移动或者对对象的操纵),以及与这些操作相关联的地点类型和对象类、固定装置或者设备,来表示任务。更具体地说,在原型库116中存储这些原始操作和相关类别的硬编码原型,并且该硬编码原型充当用于创建由任务执行模块110使用的原型实例的模板。
图3描述了包含三个原型类的示例原型库116(“或模板库”)的结构:原始操作或任务的原型300、地点的原型302以及在视觉上可识别的对象的原型304。原始任务300可包括例如用于抓住、拿起或放下对象的操作;用于通过洞***对象的操作,或者用于移动机器人附件(持有或者未持有对象)的操作,这里仅举几例。地点的原型302可例如包括:特定类型对象的源或目的位置,可堆叠对象的地点、与纸板盒或其他载体中与各部分的布局相对应的矩形阵列,或者传送带。在视觉上可识别的对象的原型304可包括将要操纵的对象的类,和/或将在环境中找到的专用固定装置或设备(例如,传送带、纸板盒、磅秤、测试机器等)的类。一些对象(例如纸板盒或传送带)的类可具有与其关联的专用视觉例程,而其他类可属于通用对象原型。针对在视觉上训练机器人以识别的每个对象,机器人为其实例化对象原型。
尽管对于本文考虑的多个机器人应用来说,原始任务、地点和对象是有用的原型类,但它们决不是用来对将原型组织到各个类别进行限制。可在各个环境中使用的其他原型类别包括:例如,复杂任务原型(其可能涉及和指定原始任务的顺序,或者直接指定组成复杂任务的动作)、(例如容器、运输车等的)设备原型、(例如钻、锯、锉等的)工具原型,或者(例如与某些任务的开始或结尾相关联的触发器、构成更复杂的任务的原始任务的特定顺序等的)时间和序列原型。通常,由相似类型的信息来表征每个类或者类别内的原型。如图3所示,一些实体可具有属于多于一个类别的关联原型。例如,传送带可具有与其相关联的对象原型和地点原型,该对象原型需要指定特定的视觉技术来识别传送带,并且该地点原型需要指定其功能(例如对象的源或目的位置)和/或其在空间坐标中的位置。在编程阶段(即,在创建原型库时),由于属于多种原型类别中的一种,概念化原型可能是有用的,并且可以(但是不是必须)体现在原型库116的结构中。尽管某些库具有针对原型的各个类别的子库,但是其他库可以在一个通用的存储位置处不加区分地存储原型。
图4描述了原型400的通用结构。原型400提供由多个槽(slot)401组成的模板数据结构,每个槽401包括槽标签402和槽填充位404(或者用于接收槽填充位的空字段)。原型400还将每个槽401与方法406或一组方法相关联,该方法406或一组方法用于填充槽401。从可用程序池408中选择槽填充方法406。
训练机器人的过程涉及从库116中选择原型、将它们实例化(即,基于模板构造数据结构,称作“实例”),并且在实例槽中填充值。填充槽的方式可随原型的类别而变化。如图4所示,原型400可包括用于一些槽401的默认的槽填充位404。在实例化原型时复制任何这样的默认填充位。使用与特定槽相关联的填充方法406,通过用户输入和/或适当的推理来填充另外的槽。在一些实施例中,当用户填充槽时,基于已填充的槽来伺机填充更多槽的槽填充程序变为可用;用这种方法,随着从用户学习关于特定任务的更多知识,槽填充程序406提供主动默认和跨对象或跨类别的槽数据。通常,当自动填充的值对任务不适用时,用户具有手动改变该自动填充的值的能力。通常,在改变槽值时,重新调用与原型相关联的程序以便将信息传播给其他槽中的任何相关填充位。因此,通常由逐步求精的过程来实例化原型。
图5描述了原型500和对应实例502之间的关系。指导堆中对象的布局的原型500包含执行任务所需的所有槽(例如,布局的位置、布局中对象的最大数量、布局的类型以及要布置的对象的类型),并且包括一些槽的默认填充位(例如,对于布局是堆的指示,以及25,其作为要堆叠的对象的最大数量)。另外,原型500将各个填充程序与槽相关联。在原型500的实例502中,基于已知信息或观测信息采用或者修改默认填充位,并且在训练机器人或者机器人开始任务时填充另外的槽。槽填充位的值共同确定了实例的属性。槽填充位可以是实际数据(例如,堆的位置的坐标)或者对其他原型的实例的引用。例如,要堆叠的对象可以是在“盒子”实例中进一步指定的盒子。再如,复杂任务的原型可能需要各个子任务的说明,并且用对原始任务实例的引用来填充该子任务的槽。例如,在关系或者面向对象数据库中容易地指定和维护原型之间的面向对象的关系。
在训练期间,每次对原型进行实例化时,创建唯一的实例。通常,给定的任务可涉及相同原型的多个实例。例如,需要根据对象的重量在多个位置堆叠对象,并且这些位置中的每一个与堆原型500的一个独立的实例502相对应。一旦从原型创建实例,即使实例中的一些槽仍然未被填充,任务执行模块110通常就能根据该实例进行操作。如果在执行涉及实例的任务期间,随后需要一个未填充槽的数据,则任务执行模块110可例如中断执行,并且请求来自用户的输入以便填充该槽。根据任务,可能根本不需要填充某些槽(或者重写默认值)。
图6根据各个实施例概括了对原型和实例的使用。通常,在训练阶段,当机器人经由其感知***102和/或经由直接用户输入接收信息时触发实例创建(步骤600)。机器人使用该信息从原型库116中选择适当的原型(步骤602),并且在对原型进行实例化(步骤604)之后或者之中,在实例中填充一个或多个槽(步骤606)。例如,机器人训练员可将机器人的摄像机转向到对象,使得该机器人首先基于该对象的视觉外观来创建通用“对象”原型的实例,并且接着显示与该对象原型相关联的原始任务列表。基于由训练员对其中一个原始任务的选择,接着实例化该任务的原型。用户可关于对象来指导机器人对原始任务的执行,从而提供值来填充任务实例的槽。在实例数据库114中存储因此创建的实例。训练员可以在任何时候终止训练,这允许任务执行***根据已指定的实例进行操作。随后,用户可响应于来自机器人自己的对更多信息的请求,重新开始训练。
一旦创建好填充了足够多个槽的足够的实例,机器人可在任务执行模式下操作,并且解释这些实例。在该模式下,机器人通常等待接收来自用户或者来自其感知***102的输入,该输入触发特定的任务(步骤610)。基于该输入,机器人选择一个或多个实例(步骤612)(例如,其检测到的对象的实例、与该对象相关联的原始任务的实例,以及其中将要执行该任务的位置的实例),并且在适当的情况下,在实例的开放字段中进行填充(步骤614)。接着根据实例来执行任务(616)。特别地,如在下文中详细解释的,原始任务(例如“拿起”或“放下”)以具有由各自的原始任务实例指定的参数、前置条件和后置条件的规则的方式进行操作。(非原始)任务在内部被表示为在执行模式下伺机运行的规则的集合。训练员通常不接触规则的表示或者细节,并且甚至不需要知道它们的存在。
相应地,根据各个实施例,并非用六维坐标来向机器人教导一系列动作,而是向机器人教导一系列规则。为了能够在执行阶段将这些规则转换成实际动作,机器人一直维护其身体、头部、手臂和任何其他致动元件的位置和方向的三维自模型;通常,该三维自模型被实现为与位于特性(例如方向性)的任务合适级别的元素和位置相关的数据库。可以用相对于机器人的坐标、用在视觉上可识别的外部对象和装置,或者参考附属于环境中的事物的基准标记,来指定机器人在其任务执行期间需要达到的地点。
4.感知、用户交互和训练
本发明的各个实施例依赖于机器人在其环境中进行视觉检测和/或识别对象和人的能力。该视觉检测本身可以是需要训练机器人来执行的任务。训练通常涉及机器人对环境的连续感知,以及来自人类训练员的输入和反馈。例如,要教导机器人在视觉上识别特定的对象,训练员可以首先确定一个机器人摄像机的方向,使得该对象在该摄像机视野中出现,该摄像机视野可在机器人头部中的屏幕208上显示。训练员可例如使用鼠标或触摸屏指出在摄像机视野中的对象。可选地,机器人的计算机视觉***可基于一个或多个规则来尝试识别感兴趣的对象;例如,该***可默认选择摄像机视野中心的对象或者图像前景中的对象。例如,可基于用立体摄像机或独立的深度传感器获得的,或者来源于两个不同但重叠的摄像机视野的深度信息来区分前景和背景。可使用训练员输入来确认或者拒绝机器人的自动对象选择。一旦向机器人指示感兴趣的对象,计算机视觉***可生成图像中的对象的轮廓,从而识别出被认为是属于该对象的所有像素。可例如基于亮度、颜色或深度信息来识别该像素组;适当的算法是本领域技术人员公知的,并且其中包括边缘检测算法。用户可以再次提供反馈,以指示机器人的计算机视觉***是否已经正确地画出该对象的轮廓,并且在必要时导致修正(例如,通过重新确定摄像机的方向)。
接下来,训练模块112创建所识别的对象的实例。对于一些对象,该实例是从通用“对象”原型创建的对象的视觉外观的实时动态(on-the-fly)表示,其需要指定促成随后识别相同(或者相同类型的)对象的视觉模型(包括数据结构和关联算法)。例如,可将对象的图像作为模板存储在实例中,该模板用于与随后捕获的图像进行基于相关性的匹配。可选地,可将特定的形状拟合到对象的轮廓,并且将其参数值以及与模板参数的允许偏差的阈值连同实例一起存储,用于随后的比较。这些和其他视觉模型和技术的细节是计算机视觉领域的技术人员公知的,并且无需过度实验就可以在本发明的实施例中实现的。通常,不同的视觉模型可能或多或少适用于不同类型的对象。相应地,训练员可以为正训练机器人来识别的对象选择合适的模型,或者可选地,机器人可尝试不同的模型,并且选择例如基于用户反馈确定的、产生最佳识别性能的一个模型。无论使用哪个视觉模型,所训练的机器人的计算机视觉***不在独立对象和具有相同外观的对象类的成员之间进行区分。
对于一些类型的对象,机器人可具有在其原型库116中存储的专用原型,并且使用关联的专用视觉感知算法。例如,可基于带上对象或者带本身的重复和连续动作来识别传送带,并且可照此基于其平整表面、矩形形状和纸板着色来识别纸板盒。类似的视觉检测算法可用于对象的各种其他特定类。在任何给定时间运行哪些算法来检测该算法相应范围内的对象,可取决于机器人的当前任务或者取决于其环境的特征。例如,机器人可能不需要在其环境中视觉地搜索纸板盒,除非其任务涉及将对象放置到盒内或者堆叠盒子。
除了检测和识别对象,机器人的感知***还用来检测和/或识别人,其中人包括提供训练和/或在任务执行期间所需的信息的用户。在各个实施例中,机器人例如使用人脸检测和/或通过声纳的运动检测在其环境中连续地扫描人。另外,其控制逻辑假设在激活其按钮、触摸板、旋钮或者手腕套箍中的任何一个时,人是该激活的原因;可从机器人的自模型中所激活的控制的位置来估计人的位置。在训练期间,机器人可使用该信息将其屏幕208朝向人,并且随着该人在机器人工作空间中的移动跟在他周围。在执行模式下,例如使用关于人的位置的信息来避免碰撞,即保证安全操作。另外,除了仅检测人的存在,计算机视觉***可例如基于人脸模板匹配来识别特定的用户。该能力可用于安全性,即保证仅授权用户访问机器人的控制***和/或对用户修改访问权限。另外,该能力可用于基于与特定用户的之前的交互来调整用户-机器人交互。例如,如果在多个会话上的机器人训练涉及多个用户,则该机器人可在与一个特定用户交互的会话中,基于在之前的训练会话中用户中断的地方来建议下一个训练目标。
通常,用户-机器人交互涉及双向信息流。在各个实施例中,用户可例如机械地(例如,通过物理地移动机器人的手臂、轻敲机器人的肩膀或抓住机器人的手腕)或者在视觉上(例如,通过站在一个摄像机的视野中并且挥手、指向对象等)采用模仿人类交互的方式向机器人提供输入。另外地或者可选地,用户可通过操纵机器人的身体和附件上的专用机器人控制(例如,通过按压按钮、旋转旋钮等)和/或经由传统的用户输入装置(例如鼠标和键盘)输入信息和指令,来控制机器人。另外,在一些实施例中,机器人包括麦克风和语音识别软件,其允许机器人处理语音命令。无论以何种方式提供给机器人,用户输入由训练模块识别并且用于指导感知***102,直到识别和分析(即,与现有原型比较,并且基于匹配或者通用原型进行实例化)出期望对象为止。如下文所述,用户输入还被用来指定对象属性。
相反地,机器人可向用户通知其内部状态,和/或经由其屏幕208和/或状态灯来请求输入。屏幕208可显示具有文本、窗口、图标等的传统图形用户界面,并且可选地或者同时地,显示用机器人生成的图形(例如,对象轮廓)选择性覆盖的一个或多个摄像机视图,其以直观的方式传递信息。在一些实施例中,机器人还被配置为机械地传递信息。例如,当用户移动机器人的手臂时,机器人可提供触觉反馈,例如警告用户与机器人的另一部分或者外部对象即将发生碰撞。此外,为提高用户体验,在一些实施例中,机器人通过从事类似人类的行为来通知其状态。例如,在任务执行期间,当机器人遇到需要进一步输入的意外情况时,该机器人可转动其头部,并且在其屏幕208上显示看上去困惑的脸。
在针对特定任务训练机器人的环境中,用户输入通常用于创建(任务、对象、地点等的)实例,并且填充实例中的槽。训练模块112可基于经由感知***102对用户动作的观察来填充一些槽,并且基于明确的用户输入来填充一些槽。例如,要教导机器人拿起对象,训练员可从在屏幕208上显示的下拉菜单或列表中选择原始操作“拿起”的原型,并且接着使机器人手臂处于该对象上。接着,机器人的视觉***检测该对象并且画出其轮廓。如果用户例如通过按压手腕套箍上的指定按钮来确认正确选择了对象,则训练模块112用该对象外观的适当的表示来建立通用对象原型的新实例。另外,训练模块112使用新对象实例来填充“拿起”实例的槽,其指示将要拿起的对象。训练模块112还建立拿起位置的实例,其默认为向机器人显示的对象的位置。刚创建的对象实例填充位置实例的槽,其指示在该位置可找到哪些对象,并且位置实例填充“拿起”实例中的槽,其指定在哪拿起对象。训练员然后向机器人展示如何相对于对象的视觉外观来夹持该对象。该过程可涉及由训练员对机器人夹持器和/或手指的操纵和手动调节;例如,训练员可确定机器人手指相对于对象的方向,并且按压按钮来打开或关闭该手指。可选地,机器人可以例如考虑由用户经由传统用户接口提供的反馈,来自己进行调节。例如,机器人可在对象的摄像机视图上显示“虚拟夹持器”,并且允许用户在屏幕上拖动该虚拟夹持器;接着,机器人基于虚拟夹持器相对于对象的摄像机视图的位置来调节其物理夹持器。
在一些实施例中,可在训练过程中的某些步骤可用的不同交互之间给训练员一个选择。例如,要指示将执行的任务或子任务的位置(例如,拿起或目的位置,或者用于测量对象属性的测试夹具),用户可指向屏幕上的位置,或者可选地,将机器人手臂移动到该位置。要移动手臂,用户可抓住一个机器人手腕上的套箍,从而将机器人手臂转换成不受力重力补偿模式,在该模式下机器人控制器尝试使机器人手臂看上去具有零重力质量,并且响应于人通过套箍来拖动它而容易地移动。在一些实施例中,如果手臂具有多于六的自由度,用户还可以通过推动该手臂的任何一个链节来重新配置该手臂。再如,要教导机器人如何(例如在纸板盒中的阵列中)布置对象,用户可通过运动物理地指导该机器人,或者例如通过将对象的图形表示拖到屏幕上的虚拟纸板盒内,在视觉上传递期望的布置。根据这些示例可理解,对于不同的任务来说,不同类型的交互可能更好(例如,更方便、更精确等)。无论机器人-用户交互的细节如何,训练员在对象级、辅助设备级以及世界中的位置级与机器人一起工作,而不是指定机器人附件的坐标和轨迹;换句话说,该训练涉及应用和创建作用于不同环境和对象的任务级规则,而不是在特定任务实例之外不具有适用性的特定空间参数。另外,训练员不需要按正常执行的先后顺序来教导子任务,相反,他向机器人展示在特定情况下采取哪些动作,这导致创建了原型关联规则。
在机器人执行任务的期间,例如当机器人停止过程以等待进一步的指令时,或者当用户想要修改特定情况下的执行方式时,也可能发生与训练期间采用的那些用户交互类似的用户交互。由训练模块112将由用户提供的反馈转换为对任务关联规则的调节或修改。另外,在执行阶段,机器人的感知***102通常以其在训练期间的相同方式进行操作,如检测对象、人、机械力等。尽管本文已经以视觉和机械感测(包括触摸和机械力)为重点描述了感知***102,对于某些应用来说,该感知***102还可以提供对于其他类型的物理输入(例如温度、电和磁场等)的感知能力,并且可在创建实例以及执行任务时采用这种输入。
5.机器人行为和任务执行
在有用工作的执行期间以及在训练期间,通常由任务执行模块110来控制机器人动作。通常,任务执行模块110并行地运行多个行为。在该上下文中,术语“行为”在提及“基于行为的机器人***”时使用,并且通常表示与特定的机器人功能(例如,监控传感器的输入或者处理图像)相关的处理器可执行指令的集合,当被激活时,该机器人功能可以连续地操作,或者仅在某些情况下操作;通常,行为比任务更简单,并且事实上,由多个行为的交互来执行任务,其中一些行为连续地运行,并且当作为早前行为的结果的一些行为操作的前置条件变为有效时,触发一些行为。多个行为可通过向彼此发送消息(例如,数据或指令)来交互。通常,将每个行为作为面向对象配置中的自主过程来执行,并且每个行为具有分配给该行为的本地存储器。
通常,行为适于接收特定输入,并且提供特定输出作为计算和内部状态变化的结果。例如,可通过传感器(例如,感知***102的传感器或外部传感器104)、由行为访问的数据结构或者从其他行为传递的参数来提供输入。例如,输出包括选择传感器的激活或停用的信号,或者对机器人控制器106执行特定的原始操作的请求。例如,行为可处理原始任务实例连同由该实例引用的对象的感测位置,以便实时动态地计算机器人可通过的轨迹,从而完成任务。机器人可确定运动的期望方向并且接着沿该方向移动附件,直到满足终止条件,以此来代替计算具有开始和结束坐标的完整轨迹。例如,为执行夹住对象的任务,机器人可沿垂直方向移动其手部和夹持器直到该夹持器接触到该对象,或者在其中机器人的手掌不应接触到该对象的顶部的情况下,沿垂直方向移动其手部和夹持器,直到该手部到达(要抓住的对象所坐落的)表面上的某个固定高度,使得当降低手部时手指将在该对象的任何一侧下降。在一些实施例中,任务执行***基于当前位置、目标位置以及从视觉***传入的信息,动态地计算和重新计算轨迹。
在某些实施例中,出于执行的目的,将每个行为组织成一个或多个“线程”,该一个或多个“线程”在任务执行模块110内的线程模块中并行地运行。本文中,“线程”是计算机代码的片段,其定义一个有限状态机(即,有限数量的状态,连同触发状态之间的转换的条件)。通常,线程等待与一组条件(通常很复杂)相匹配的输入条件,并且接着发起在控制机器人或者发送消息过程中的动作。有时,数以千计的线程同时运行,以便执行特定的任务,其中已训练机器人来执行该特定的任务。
在各个实施例中,每个机器人行为属于行为的两个通用类别中的一种:内置行为和行为实例,其中内置行为总是独立于任务在后台运行,并且行为实例耦合到实例化的原始任务和地点。例如,内置行为可以为人和机器人提供安全性、在适当的时候调用训练模块112,并且在检测到异常状况时或者出于例行维护的目的启动诊断。它们是与所有特定的任务并行操作的通用行为。由于它们的存在,用户不需要在机器人训练中包括错误处理程序。与之相比,工业机器人的传统控制***通常需要在与特定任务相关联的程序代码内处理潜在的错误。
在某些实施例中,任务执行模块110连续地运行自碰撞预防行为,其防止机器人的手臂(或者更普遍地,附件)彼此碰撞或者与该机器人的其他部分碰撞。该行为将机器人的自模型用作输入。当用户向周围移动手臂时(其中在不受力重力补偿模式下握持其套箍),自碰撞预防行为从零开始增加在手臂上的机器人生成的力,以抵销可能导致与机器人的另一部分碰撞的、由用户施加的任何力。随着用户引导的手臂或者其部分越来越接近机器人的另一部分或者手臂的另一部分,该抵抗性的机器人生成的力也逐渐增加。抵抗力扮演两个角色。首先,该抵抗力使得用户不可能或者几乎不可能导致碰撞,因为要导致碰撞,用户需要施加大于机器人能够生成的那些力的力。其次,该抵抗力给予用户触觉反馈,其隐式地表示她做得不对。每当任务执行模块110试着执行特定任务(例如,移动或操纵对象)时,自碰撞预防行为也是有效的,从而给出命令以便移动手臂的其他行为不再需要担心可能导致与例如第二手臂的碰撞。自碰撞预防行为保证手臂不会碰撞,其中,必要时在允许第一手臂的运动进行之前等待第二手臂让开,并且进一步地向请求行为传递需要等待的时段的信号,因此,如果需要,第一手臂可在此期间执行另一任务。
在某些实施例中,当任务执行***110在运行时,一直有效的第二行为是碰撞检测行为,该碰撞检测行为检测手臂何时与外部对象(或人)意外碰撞。例如,可能发生与穿过机器人工作空间的人的意外碰撞,或者与已被移动到该工作空间内的对象的意外碰撞。为了促成碰撞检测,在一些实施例中,机器人手臂的关节包括能够测量相应关节上的力的串联弹性致动器。另外,任务执行模块110可维护每个手臂的前进动力学和动态模型,该模型使得模块110能够基于关于机器人运动的命令,预测应当在每个关节上测量的力的概况(profile)。当所测量的力明显偏离这些预测时,碰撞检测行为推断出与意外障碍物的碰撞。其立即停止所有运动、等待一个较短的时间段,并且接着恢复导致碰撞的运动,比先前更慢,以确定障碍物是否已被移除。如果意外碰撞不再发生,其允许任务执行模块110继续执行其任务。另一方面,如果在指定的最大等待时段之后对象没有消失,则碰撞检测行为关闭任务执行模块110,并且等待重新启动的用户指令。
进一步的内置行为结合了在感知***102中运行的视觉算法。它们将(机器人被训练来识别的)对象的视觉描述传送给计算机视觉***,并且在终端执行器不移动时激活与机器人手腕上的摄像机相关联的检测算法,以便查看是否有任何对象在终端执行器的下方。它们还可以激活胸部摄像机上的视觉算法,以监控环境中可使用手腕摄像机调查的任何变化。在当前的任务涉及特定的对象(例如纸板盒或传送机)时,其他行为结合对视觉算法的请求来寻找该对象。由于计算机视觉在计算上的开销较大,视觉行为通常采用优先方案,以基于情况和当前需求将计算时间分配给各个算法,其为机器人控制***的所有其他模块留下了足够的计算能力。在识别了对象时,它们相对于机器人的在世界上的位置通常被广播给需要知道它们的任务执行模块中的所有其他行为(同样,其通常以面向对象的方式自主地执行)。这种在行为之间经由消息自动传播信息,是使得根据各个实施例的机器人能够将任务执行的细节调整为适于机器人本身和/或与该任务相关的对象的变化的位置的关键因素。在一些实施例中,在机器人的坐标***中连续地跟踪相关对象,这允许实例化的原始任务使用当前对象位置来实时动态地生成机器人附件的轨迹。
通常,机器人控制***可包括许多其他的内置行为,这些内置行为一直有效。例如,可使用专用行为来保证当用户模型报告附近存在人时,机器人正以安全的方式运行,以便例如通过控制内置灯来维护机器人的良好工作条件,和/或校准和/或维护机器人的校准。不同的实施例可根据其各自的应用需求,使用不同的内置行为。
第二类别的行为包括与实例化的原始任务、地点和/或其他类型的实例相对应的实例化行为。类似地,可包括在训练阶段管理机器人动作的内置行为。一些行为既用于训练,并且也在任务执行期间被使用;例如,用于移动终端执行器以便聚焦于在(安装在该移动终端执行器中的)摄像机的视图中的对象的行为,可用于在训练期间创建对象的实例,并且随后在任务执行期间识别和/或夹住该对象。可将该两用行为编程到训练模块112和任务执行模块110内,或者在一个合并模块中提供该两用行为。行为本身是行为原型或模板的实例。可在原型库116中存储模板,并在实例数据库114中存储它们的实例;然而,由于训练模块112通常不与行为交互,所以将行为模板和实例化的行为作为任务执行模块110的部分存储可能更好。
图7以用于移动对象的原始任务实例700为例,描述了行为和与其相关联的实例之间的关系。与实例700(作为具有关联的槽/属性的记录,存储在图1所示的实例数据库114中)相关联的行为702包括管理任务执行和错误处理的多个线程703;例如,(尽管实际上由***处理器执行,但在概念上由任务执行模块110执行的)一个线程可监控机器人夹持器的状态,从而保证该夹持器实际上持有对象,并且另一个线程可根据来自第一线程的信号来启动运动。每个线程703能够访问实例700中所有的槽,该访问将行为702与实例700联系起来。线程703还能够访问共享存储器704。可在共享存储器704中放置例如从其他行为或者从传感器传入的消息706,并且可将在共享存储器704中存储的数据复制到传出的消息708中。
针对地点实例化的行为通常跟踪在相应的位置出现的对象。例如,与输出堆相关联的行为可以通过监控来自合适的“放下”行为实例的消息来维护堆叠的对象的数量的计数,该“放下”行为实例将堆作为放下对象的地点来引用。假设在训练期间,告知***堆永远不应该超过十个对象的高度。那么,在堆叠了九个或者更少的物品时,实例化的堆行为通知实例化的放下行为可对其采取动作(即可在顶部堆叠另一个对象)。一旦放下行为用信号表示其已经成功地完成了操作,则堆行为更新其计数。当堆上有十个物品时,其告诉放下行为它满了,从而阻塞放下行为的进一步操作。然而,堆行为从视觉***接收新输入,并且如果其接收到对象数量已改变的消息,其重置其计数。这样,机器人可以自动地将任务执行与人结合起来。其堆叠对象,直到达到指定的最大数量,并且接着停止堆叠,直到由机器人之外的某个实体(例如人)移除该对象,这时机器人恢复堆叠。类似的行为可用于例如监控在盒子中包装的对象的数量、在盒子中放置对象直到盒子被装满,以及当人类干预(例如,通过她自己将对象放置到盒子内或者从盒子中移除对象)时调整动作。
在其中可在多个位置创建堆(或包装盒子)的场景下,实例化的放下行为可访问那些位置的列表,这允许机器人在一个堆满了的时候,在其他位置中的一个位置继续堆叠对象。取决于哪个堆被移除,机器人可以仅基于在行为之间发送的消息,调整其动作并且改变其放置对象的地点。另外,假设如果在传送带上有多个不同种类的对象可用,则机器人可自动地修改其行为,以便见机在可用并且具有未满堆(或盒子)的任何对象上操作。因此,在任务执行期间,情况可决定精确的操作顺序。训练机器人的人既不需要指定操作顺序,也不需要使得确定执行期间的顺序的规则明确化(尽管训练员自由地修改机器人执行的行为)。相反,实例化的原始任务和地点,以及与它们相关联的行为,通过向彼此发送消息,得到对当前情况的智能响应。
为了进一步描述任务执行模块110内的各个行为如何协作,考虑在拿起和放下对象的原始任务的实例化行为之间的下列相互影响。假设机器人已被训练为识别特定类型的对象,(为便于参考)假设该对象是小部件。还假设训练员首先向机器人展示特定的地点并且教导其在该地点放下对象,并且接着他向机器人展示传送带并且教导该机器人拿起其在那里检测到的任何小部件。在各个实施例中,该场景导致实例化的拿起和放下行为,每个行为具有拥有多个填充槽的关联的实例化数据结构,并且接收来自其他行为及传感器***的消息。换句话说,训练交互通过修改关联的槽值,导致特定机器人行为的规则级变化。
可将行为的线程编写为任务执行模块的部分,以使该行为充当具有相应的前置条件和后置条件的规则。例如,拿起行为的前置条件包括:机器人的手部或者夹持器是空的、在训练时其在传送机的大致位置的上方(该位置存储在实例化数据结构的槽中),以及传送机上的小部件可用(在数据结构的槽中指定了该小部件本身)。当满足所有三个前置条件时,拿起行为发起在(作为感知***102的部分的)视觉***和机器人控制器106之间的耦合对象跟踪操作。一旦这两个***组件报告正在跟踪对象(例如,在由机器人手部中的摄像机提供的视图中),拿起行为使得机器人控制器向下移动机器人手部,并且在对象周围闭合其手指。如果行为在任何时候接收到跟踪丢失的消息,该行为的清除线程将手部送回到传送机上的适当高度,并且等待另一个对象到来。
一旦机器人控制器报告在手指之间抓住某物(例如,基于对手指之间的距离的测量,或者基于对超过设置阈值的力的测量),拿起行为发送手部持有小部件的消息(由于“小部件”是拿起实例中指定的对象的类型)。由放下行为接收该消息满足该行为的两个前置条件:其现在知道机器人手部持有对象,并且该对象是小部件。因此,并不是基于对当前对象的直接感知,而是从(仔细编写的)拿起行为的状态来推断出满足放下行为的前置条件,其假设如果在拿起行为的前置条件下已成功操作,则机器人的手部中存在小部件,并且该行为发送带有这个意思的消息。为保证继续满足放下行为的前置条件,机器人控制器向放下行为连续发送手指间隔的状态;因此,在到达放下的位置之前,如果机器人意外地丢下了对象,或者如果一个人出现并将对象从机器人的手部取出,则不再满足其中的一个前置条件,并且放下行为因此不试着在目的位置处堆叠不存在的小部件。另一方面,如果在到达目的地(其存储在关联数据结构实例中)时仍满足前置条件,则放下行为激活并且使得机器人在指定的位置放下小部件。以这种方式,即使在训练期间按不同的顺序向任务执行模块110教导了这些操作,但任务执行模块110可通过首先拿起小部件并且接着放下它们来移动该小部件。更复杂的任务(例如,涉及对对象进行称重和分类的任务)可包括更多的步骤,类似地,可按任何顺序来教导该步骤,而不会影响以后正确执行该任务。
描述各个实施例中的任务执行的灵活性的另一个示例涉及一个机器人,该机器人已被训练为用其左手臂从传送带拿起小部件并且将它们放置在其右手臂够得着的地方,并且接着用右手臂拿起小部件并且将它们放置到盒子中。在执行该任务的期间,如果人将对象放置在右手臂拿起小部件的位置,只要机器人能在视觉上将该对象识别为小部件,则其也包装该对象。用这种方法,机器人能够见机对其环境进行响应。
相应地,本发明的各个实施例在训练和操作机器人执行诸如移动和操纵对象的任务时,提供高度的灵活性。一旦已教导机器人关于任务的所有独立组件或者与该任务相关的物品(例如,与所需的机器人运动相对应的原始任务、将要操纵的对象等),该机器人可以自主地操作。当机器人看到其已被训练来操纵的对象时,触发其动作。由于机器人使用计算机视觉将机器人手臂和手部移动到对象的精确位置,因此其通常能够在其中机器人和对象的位置变化的世界中操作。另外,由于机器人仅对其识别的对象采取动作,因此能够通过将其已被训练来交互的对象和与其任务不相关的对象相区分,来在杂乱的环境中操作,在该环境中对象不断地来来往往。机器人还可以调整其操作以适于环境中对象的参数。例如,当机器人的任务涉及从传送带拿起对象,该机器人在视觉上跟踪移动带上的对象,并且独立于传送带的速度、其方向以及甚至其操作的方向,准确地抓住它们。
此外,由于机器人已被训练为对特定的情况进行响应,因此不需要盲目地遵从特定的操作序列。机器人经由外部传感器104连续地感测其周围的世界,并且基于与实例化的行为相关联的前置条件和后置条件的评价来相应地修改其动作。例如,如果人干预并从机器人的夹持器移除对象,则该机器人感测到该变化并且不再像对象在那里一样继续移动。相反,机器人例如通过移动到其期望发现要抓住的新对象的位置,返回以空夹持器为条件的任务的部分。当然,如果期望以这种方式约束机器人对任务的执行,则依据本发明的***和方法不一定排除指定操作的特定顺序。在一些实施例中,用户在训练期间有机会通过在教导独立的原始任务时遵守原始任务的序列,或者如果在训练期间按任意的顺序教导原始任务,则通过经由用户接口直接输入顺序(例如通过调整在屏幕上显示的原始任务的编号列表),来指定该原始任务的序列。可选地,可将组成复杂任务的步骤的顺序硬编码到该复杂任务的原型内。
机器人控制***还具有内置的错误检测,以及用于从多个可能检测到的错误中恢复的程序化方法,这消除了对训练员向机器人展示如何处理错误状况的需要。除了训练员在训练时包括(在某些情况下她可能想要执行的)特定的错误处理程序,机器人使用其默认值,并且能够安全地继续操作以及从错误中恢复。
本文采用的术语和语句被用作说明书的术语和语句而不是用于限制,并且在使用该术语和语句时,没有排除所展示和描述的特征或其部分的任何等价物的意图。此外,在描述了本发明的某些实施例后,可使用结合本文公开的概念的其他实施例而不会背离本发明的精神和范围,对于本领域普通技术人员来说是显而易见的。特别地,本发明的实施例不需要包括本文描述的所有特征或者具有所有优点。相反,它们可以具有特征和优点的任何子集或者组合。因此,无论从哪一点来看,所描述的实施例仅被认为是示意性的而非限制性的。
Claims (65)
1.一种能够经由与人类训练员的交互被训练来操纵对象的机器人,所述机器人包括:
至少一个附件,用于操纵对象;
控制器,用于操作所述至少一个附件;
计算机存储器,用于存储原型库,至少一个原型定义将由所述附件执行的任务的类型,所述任务包括所述附件的移动或者对对象的操纵中的至少一个;
感知***,用于从所述人类训练员接收与所述任务相关的物理输入;
训练模块,用于基于所述物理输入通过指定所述至少一个原型的至少一个属性来创建所述至少一个原型的实例;以及
任务执行模块,用于经由对所述控制器的命令来执行所述原型的实例,从而导致所述附件执行所述任务。
2.根据权利要求1所述的机器人,其中,所述实例用所述附件的通用的、空间未指定的运动来定义所述任务。
3.根据权利要求2所述的机器人,其中,所述实例用所述附件相对于对象或者其环境中的至少一个的运动来定义所述任务。
4.根据权利要求2所述的机器人,其中,在不指定空间轨迹的情况下定义所述运动。
5.根据权利要求1所述的机器人,其中,所述物理输入包括机械输入或者视觉输入中的至少一个。
6.根据权利要求1所述的机器人,还包括响应于所述训练模块的至少一个输出装置,用于向所述训练员提供任务相关的反馈。
7.根据权利要求6所述的机器人,其中,所述反馈包括机器人状态的指示、对进一步的输入的请求,或者错误警报中的至少一个。
8.根据权利要求6所述的机器人,其中,所述反馈包括在机器人摄像机视图上覆盖的图形。
9.根据权利要求1所述的机器人,其中,所述感知***包括能够按压的按钮、旋钮、触摸感应板、触摸感应套箍或者摄像机中的至少一个。
10.根据权利要求1所述的机器人,其中,所述原型库还包括定义对象类、设备类型或者位置中的至少一个的原型。
11.根据权利要求10所述的机器人,其中,所述训练模块基于关于类的成员的视觉输入,来创建对象类的实例。
12.根据权利要求10所述的机器人,其中,受操纵的对象是由实例引用的对象的类的成员。
13.根据权利要求1所述的机器人,其中,所述感知***还被配置为接收关于对象或者其环境的物理信息。
14.根据权利要求1所述的机器人,其中,所述控制器被配置为响应于所述物理输入,在不受力重力补偿模式下操作。
15.一种基于与人类训练员的交互的机器人学习的方法,所述方法包括:
从训练员接收关于将由机器人执行的任务的物理输入;
响应于并且至少部分基于所述输入,从存储的原型的库中选择与所述任务相关联的原型,以及在数据库中创建和存储该原型的实例,所述实例指定机器人移动或者将对对象执行的机器人操纵中的至少一个。
16.根据权利要求15所述的方法,还包括基于所述物理输入指定所述实例的至少一个属性。
17.根据权利要求15所述的方法,其中,所述实例从通用、空间未指定的角度来定义所述任务。
18.根据权利要求15所述的方法,其中,所述物理输入包括机械输入或者视觉输入中的至少一个。
19.根据权利要求15所述的方法,其中,接收物理输入包括感测与所述训练员或者对象中的至少一个的物理接触。
20.根据权利要求15所述的方法,其中,接收物理输入包括当由所述训练员移动机器人附件时,跟踪该附件的位置。
21.根据权利要求15所述的方法,其中,接收物理输入包括捕获所述训练员、对象或者环境中的至少一个的图像。
22.根据权利要求15所述的方法,还包括向所述训练员提供反馈。
23.根据权利要求22所述的方法,其中,所述反馈包括指示机器人的状态、从所述训练员请求额外输入或者向所述训练员发出错误警报中的至少一个。
24.根据权利要求22所述的方法,其中,提供反馈包括在机器人摄像机视图上覆盖图形。
25.根据权利要求22所述的方法,其中,所述反馈包括触觉反馈。
26.根据权利要求22所述的方法,还包括响应于并且至少部分基于所述输入,选择定义对象类的原型,以及实例化该原型以便在存储器中创建对象的表示。
27.一种用于基于其物理感知在环境内操纵对象的机器人,包括:
至少一个附件,用于操纵对象;
控制器,用于操作所述至少一个附件;
感知***,用于从至少一个传感器接收关于对象或者环境中的至少一个的物理信息;
包括多个实例的实例数据库,其中多个实例中的至少一些实例指定将由所述附件对对象执行的任务;以及
任务执行模块,用于基于接收的信息选择至少一个实例,并且经由对所述控制器的命令执行至少一个所选择的实例。
28.根据权利要求27所述的机器人,其中,至少一个实例从通用、空间未指定的角度来定义所述任务。
29.根据权利要求28所述的机器人,其中,至少一个实例用附件相对于环境或者对象中的至少一个的运动,来指定所述任务。
30.根据权利要求28所述的机器人,其中,从不指定空间轨迹的通用角度来定义所述运动。
31.根据权利要求27所述的机器人,其中,所述实例数据库还包括定义对象类的实例、定义设备的类型的实例或者定义位置的实例中的至少一个。
32.根据权利要求31所述的机器人,其中,至少一个任务定义实例引用定义对象类、设备的类型或者位置的至少一个实例。
33.根据权利要求27所述的机器人,其中,所述至少一个实例引用对象类,并且其中所述任务执行模块被配置为在由感知***检测到属于所述对象类的对象时,使得机器人附件执行针对所检测的对象的任务。
34.根据权利要求27所述的机器人,其中,所述感知***包括至少一个摄像机。
35.根据权利要求34所述的机器人,其中,所述感知***包括计算机视觉***。
36.根据权利要求27所述的机器人,其中,所述感知***包括能够按压的按钮、旋钮、触摸感应板或者触摸感应套箍中的至少一个。
37.根据权利要求27所述的机器人,其中,所述任务执行模块被配置为基于所述物理信息指定所述至少一个所选择的实例的属性。
38.一种在环境内操纵对象的机器人实现的方法,所述方法包括:
接收关于对象或者环境中的至少一个的传感器输入;以及
基于(i)所述传感器输入和(ii)包括指定将由机器人对对象执行的任务的多个实例的实例数据库,选择至少一个实例,并且执行至少一个所选择的实例,以便使得机器人附件据此操纵对象。
39.根据权利要求38所述的方法,其中,所述实例数据库还包括多个对象类的实例,每个对象类与至少一个任务实例相关联。
40.根据权利要求39所述的方法,还包括基于所述输入,识别对象所属的对象类,根据与所述对象类相关联的任务实例来执行执行步骤。
41.根据权利要求38所述的方法,其中,接收传感器输入包括捕获对象或者环境中的至少一个的图像。
42.根据权利要求38所述的方法,其中,接收传感器输入包括检测与环境中的对象的物理接触。
43.根据权利要求38所述的方法,还包括基于所述传感器输入指定所述至少一个所选择的实例的属性。
44.根据权利要求38所述的方法,其中,执行所述至少一个所选择的实例包括实例化与实例相关联的行为。
45.根据权利要求44所述的方法,其中,所述行为包括多个线程,所述线程具有与该线程相关联的条件集合,执行所述至少一个所选择的实例包括针对条件的满足来监控所述线程。
46.根据权利要求45所述的方法,其中,条件的满足触发所述线程之间的转换。
47.根据权利要求38所述的方法,其中,任务的执行包括运行至少一个行为,所述至少一个行为防止机器人与自己或者与环境中的对象碰撞。
48.一种用于基于其物理感知来操纵环境内的对象的机器人,所述机器人包括:
至少一个附件,用于操纵对象;
控制器,用于操作所述至少一个附件;
感知***,用于从至少一个传感器接收关于对象和环境的物理信息;
包括多个实例的实例数据库,所述多个实例中的至少一些实例指定将由附件对对象执行的任务,每个任务指定对象以及将对对象执行的动作,并且从通用、空间未指定的角度来定义每个任务;以及
响应于感知***的任务执行模块,用于使得机器人经由对控制器的命令来执行所述任务。
49.根据权利要求48所述的机器人,其中,所述任务执行模块基于所述物理信息,在与机器人相关联的坐标***中实时动态地生成与任务相对应的轨迹。
50.根据权利要求48所述的机器人,其中,所述任务执行模块连续地监控对象,并且在此基础上使得机器人附件向对象移动,而不计算轨迹坐标。
51.根据权利要求50所述的机器人,其中,只要由所述任务执行模块基于监控的对象确定满足与移动相关联的前置条件,所述任务执行模块使机器人附件向对象的移动继续。
52.根据权利要求51所述的机器人,其中,所述前置条件包括在附件和对象之间没有物理接触。
53.根据权利要求48所述的机器人,其中,所述感知***包括至少一个摄像机,用于捕获对象的图像。
54.根据权利要求53所述的机器人,其中,所述感知***还包括计算机视觉***。
55.根据权利要求48所述的机器人,其中,所述感知***包括至少一个触摸感应检测器。
56.一种用于在其环境内操纵对象的机器人实现的方法,包括:
接收关于对象或者环境中的至少一个的传感器输入;以及
基于(i)所述传感器输入和(ii)包括从通用、空间未指定的角度指定将由机器人对对象执行的任务的多个实例的实例数据库,来执行至少一个任务实例,以便使得机器人附件据此操纵对象。
57.根据权利要求56所述的方法,其中,执行任务实例包括:基于所述传感器输入,在与机器人相关联的坐标***中实时动态地生成与其相对应的轨迹。
58.根据权利要求56所述的方法,其中,执行任务实例包括连续监控对象,并且在此基础上,使得机器人附件向对象移动,而不计算轨迹坐标。
59.根据权利要求58所述的方法,其中,执行任务实例包括确定是否满足与其相关联的前置条件,并且如果满足,则继续向对象的移动。
60.根据权利要求59所述的方法,其中,所述前置条件包括在附件和对象之间没有物理接触。
61.根据权利要求56所述的方法,其中,接收传感器输入包括捕获对象的图像。
62.根据权利要求56所述的方法,其中,执行所述至少一个实例包括实例化与所述实例相关联的行为。
63.根据权利要求62所述的方法,其中,所述行为包括多个处理器可执行线程,所述处理器可执行线程具有与其相关联的条件集合,执行至少一个所选择的实例包括针对条件的满足来监控所述线程。
64.根据权利要求63所述的方法,其中,条件的满足触发所述线程之间的转换。
65.根据权利要求56所述的方法,还包括执行至少一个行为,所述至少一个行为防止机器人与自己或者与环境中的对象碰撞。
Applications Claiming Priority (23)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261662646P | 2012-06-21 | 2012-06-21 | |
US61/662646 | 2012-06-21 | ||
US201261676586P | 2012-07-27 | 2012-07-27 | |
US61/676586 | 2012-07-27 | ||
US13/621,706 US8996175B2 (en) | 2012-06-21 | 2012-09-17 | Training and operating industrial robots |
US13/621706 | 2012-09-17 | ||
US13/621,708 US8965580B2 (en) | 2012-06-21 | 2012-09-17 | Training and operating industrial robots |
US13/621,648 US20130343640A1 (en) | 2012-06-21 | 2012-09-17 | Vision-guided robots and methods of training them |
US13/621658 | 2012-09-17 | ||
US13/621657 | 2012-09-17 | ||
US13/621561 | 2012-09-17 | ||
US13/621517 | 2012-09-17 | ||
US13/621519 | 2012-09-17 | ||
US13/621,658 US9092698B2 (en) | 2012-06-21 | 2012-09-17 | Vision-guided robots and methods of training them |
US13/621,561 US8965576B2 (en) | 2012-06-21 | 2012-09-17 | User interfaces for robot training |
US13/621,687 US9434072B2 (en) | 2012-06-21 | 2012-09-17 | Vision-guided robots and methods of training them |
US13/621,657 US8958912B2 (en) | 2012-06-21 | 2012-09-17 | Training and operating industrial robots |
US13/621,519 US8996174B2 (en) | 2012-06-21 | 2012-09-17 | User interfaces for robot training |
US13/621,517 US8996167B2 (en) | 2012-06-21 | 2012-09-17 | User interfaces for robot training |
US13/621708 | 2012-09-17 | ||
US13/621648 | 2012-09-17 | ||
US13/621687 | 2012-09-17 | ||
PCT/US2013/046973 WO2013192490A2 (en) | 2012-06-21 | 2013-06-21 | Training and operating industrial robots |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104640677A true CN104640677A (zh) | 2015-05-20 |
CN104640677B CN104640677B (zh) | 2017-09-08 |
Family
ID=49774515
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380043813.2A Active CN104602868B (zh) | 2012-06-21 | 2013-06-21 | 用于机器人训练的用户接口 |
CN201380043208.5A Active CN104640677B (zh) | 2012-06-21 | 2013-06-21 | 训练和操作工业机器人 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380043813.2A Active CN104602868B (zh) | 2012-06-21 | 2013-06-21 | 用于机器人训练的用户接口 |
Country Status (5)
Country | Link |
---|---|
US (11) | US9092698B2 (zh) |
EP (2) | EP2864084A2 (zh) |
JP (2) | JP6314134B2 (zh) |
CN (2) | CN104602868B (zh) |
WO (3) | WO2013192492A1 (zh) |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016206642A1 (zh) * | 2015-06-26 | 2016-12-29 | 北京贝虎机器人技术有限公司 | 机器人的控制数据的生成方法及装置 |
CN106325065A (zh) * | 2015-06-26 | 2017-01-11 | 北京贝虎机器人技术有限公司 | 机器人交互行为的控制方法、装置及机器人 |
CN106325228A (zh) * | 2015-06-26 | 2017-01-11 | 北京贝虎机器人技术有限公司 | 机器人的控制数据的生成方法及装置 |
CN107123356A (zh) * | 2017-03-21 | 2017-09-01 | 上海和盛前沿科技有限公司 | 工业机器人基本技能操作平台实训方法 |
CN107943944A (zh) * | 2017-05-29 | 2018-04-20 | 小蚁科技(香港)有限公司 | 环境探索***和方法 |
CN108367434A (zh) * | 2015-10-08 | 2018-08-03 | 哈达丁贝特利刚格斯公司 | 机器人***和控制机器人***的方法 |
CN108748152A (zh) * | 2018-06-07 | 2018-11-06 | 上海大学 | 一种机器人示教方法及*** |
CN108873774A (zh) * | 2018-06-14 | 2018-11-23 | 合肥工业大学 | 一种vex机器人教学辅助控制***及控制方法 |
TWI660254B (zh) * | 2017-12-20 | 2019-05-21 | 湧德電子股份有限公司 | 軌跡優化系統 |
CN109922931A (zh) * | 2016-11-11 | 2019-06-21 | 精工爱普生株式会社 | 机器人控制装置、机器人、机器人***及机器人控制方法 |
CN110691676A (zh) * | 2017-06-19 | 2020-01-14 | 谷歌有限责任公司 | 使用神经网络和几何感知对象表示的机器人抓取预测 |
CN110719828A (zh) * | 2017-11-16 | 2020-01-21 | 谷歌有限责任公司 | 机器人***的组件特征检测器 |
CN110757461A (zh) * | 2019-11-13 | 2020-02-07 | 江苏方时远略科技咨询有限公司 | 一种工业移动机器人的控制***及其控制方法 |
CN111195906A (zh) * | 2018-11-20 | 2020-05-26 | 西门子工业软件有限公司 | 用于预测机器人的运动轨迹的方法和*** |
CN111590575A (zh) * | 2020-05-15 | 2020-08-28 | 深圳国信泰富科技有限公司 | 一种机器人的控制***及其方法 |
CN111721470A (zh) * | 2019-03-19 | 2020-09-29 | 辉达公司 | 使用深度学习的力估计 |
CN112351868A (zh) * | 2018-06-27 | 2021-02-09 | 库卡德国有限公司 | 用于诊断机器过程的方法和*** |
CN112368656A (zh) * | 2018-07-06 | 2021-02-12 | 三菱电机株式会社 | 机器学习装置、数控装置、工作机械及机器学习方法 |
TWI734055B (zh) * | 2018-11-30 | 2021-07-21 | 財團法人金屬工業研究發展中心 | 自動控制方法以及自動控制裝置 |
CN113232017A (zh) * | 2016-07-28 | 2021-08-10 | X开发有限责任公司 | 基于现场采集的测量的定制机器人安装 |
US20220212342A1 (en) * | 2013-06-14 | 2022-07-07 | Brain Corporation | Predictive robotic controller apparatus and methods |
Families Citing this family (399)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011056633A1 (en) | 2009-10-27 | 2011-05-12 | Battelle Memorial Institute | Semi-autonomous multi-use robot system and method of operation |
US9015093B1 (en) | 2010-10-26 | 2015-04-21 | Michael Lamport Commons | Intelligent control with hierarchical stacked neural networks |
US8775341B1 (en) | 2010-10-26 | 2014-07-08 | Michael Lamport Commons | Intelligent control with hierarchical stacked neural networks |
DE102011005985B4 (de) * | 2011-03-23 | 2019-01-24 | Kuka Roboter Gmbh | Roboter, Steuervorrictung für einen Roboter und Verfahren zum Betreiben eines Roboters |
US20170028557A1 (en) | 2015-07-28 | 2017-02-02 | Comprehensive Engineering Solutions, Inc. | Robotic navigation system and method |
US9566710B2 (en) | 2011-06-02 | 2017-02-14 | Brain Corporation | Apparatus and methods for operating robotic devices using selective state space training |
JP5840411B2 (ja) * | 2011-08-05 | 2016-01-06 | 日本メクトロン株式会社 | 光電気混載可撓性プリント配線板及びその受発光素子実装方法 |
CN104093527A (zh) * | 2012-02-03 | 2014-10-08 | 日本电气株式会社 | 通信引入***、通信引入方法和通信引入程序 |
EP2817712B1 (en) * | 2012-02-21 | 2020-08-05 | Amazon Technologies, Inc. | System and method for automatic picking of products in a materials handling facility |
US9092698B2 (en) | 2012-06-21 | 2015-07-28 | Rethink Robotics, Inc. | Vision-guided robots and methods of training them |
US9753453B2 (en) * | 2012-07-09 | 2017-09-05 | Deep Learning Robotics Ltd. | Natural machine interface system |
DE102012106448B4 (de) * | 2012-07-17 | 2016-03-31 | Reis Group Holding Gmbh & Co. Kg | Verfahren zur Bedienung eines Industrieroboters sowie sicheres Überwachungsgerät zur Durchführung des Verfahrens |
CN104470687A (zh) * | 2012-07-20 | 2015-03-25 | 株式会社安川电机 | 机器人模拟器、机器人示教装置以及机器人示教方法 |
US9186793B1 (en) | 2012-08-31 | 2015-11-17 | Brain Corporation | Apparatus and methods for controlling attention of a robot |
WO2014054183A1 (ja) * | 2012-10-05 | 2014-04-10 | 株式会社安川電機 | 自動調製システム |
US10572774B2 (en) * | 2012-12-06 | 2020-02-25 | Toyota Motor Engineering & Manufacturing North America. Inc. | Methods and robots for adjusting object detection parameters, object recognition parameters, or both object detection parameters and object recognition parameters |
EP2931485B1 (en) * | 2012-12-14 | 2023-09-13 | ABB Schweiz AG | Bare hand robot path teaching |
TWI483819B (zh) * | 2012-12-25 | 2015-05-11 | Ind Tech Res Inst | 夾爪裝置及其控制方法 |
US10292887B2 (en) * | 2012-12-31 | 2019-05-21 | Mako Surgical Corp. | Motorized joint positioner |
US9272421B2 (en) * | 2013-01-07 | 2016-03-01 | Milos Misha Subotincic | Visually controlled end effector |
WO2014110682A1 (en) * | 2013-01-18 | 2014-07-24 | Robotiq Inc. | Force/torque sensor, apparatus and method for robot teaching and operation |
JP5716769B2 (ja) * | 2013-02-21 | 2015-05-13 | 株式会社安川電機 | ロボットシミュレータ、ロボット教示装置およびロボット教示方法 |
US9956687B2 (en) | 2013-03-04 | 2018-05-01 | Microsoft Technology Licensing, Llc | Adapting robot behavior based upon human-robot interaction |
US9056396B1 (en) * | 2013-03-05 | 2015-06-16 | Autofuss | Programming of a robotic arm using a motion capture system |
US9486918B1 (en) * | 2013-03-13 | 2016-11-08 | Hrl Laboratories, Llc | System and method for quick scripting of tasks for autonomous robotic manipulation |
US20150314454A1 (en) * | 2013-03-15 | 2015-11-05 | JIBO, Inc. | Apparatus and methods for providing a persistent companion device |
US9764468B2 (en) | 2013-03-15 | 2017-09-19 | Brain Corporation | Adaptive predictor apparatus and methods |
US9102055B1 (en) * | 2013-03-15 | 2015-08-11 | Industrial Perception, Inc. | Detection and reconstruction of an environment to facilitate robotic interaction with the environment |
US10195058B2 (en) * | 2013-05-13 | 2019-02-05 | The Johns Hopkins University | Hybrid augmented reality multimodal operation neural integration environment |
US9242372B2 (en) | 2013-05-31 | 2016-01-26 | Brain Corporation | Adaptive robotic interface apparatus and methods |
US9792546B2 (en) | 2013-06-14 | 2017-10-17 | Brain Corporation | Hierarchical robotic controller apparatus and methods |
JP6229324B2 (ja) * | 2013-06-14 | 2017-11-15 | セイコーエプソン株式会社 | ロボット、ロボット制御装置およびロボットの制御方法 |
DE102013010290A1 (de) * | 2013-06-19 | 2014-12-24 | Kuka Laboratories Gmbh | Überwachen eines kinematisch redundanten Roboters |
US10228680B2 (en) * | 2013-07-22 | 2019-03-12 | Texas State University | Autonomous performance optimization in robotic assembly process |
JP5939213B2 (ja) * | 2013-08-09 | 2016-06-22 | 株式会社安川電機 | ロボット制御装置及びロボット制御方法 |
JP5850004B2 (ja) * | 2013-08-09 | 2016-02-03 | 株式会社安川電機 | ロボット制御装置及びロボット制御方法 |
CN104416581A (zh) * | 2013-08-27 | 2015-03-18 | 富泰华工业(深圳)有限公司 | 具有报警功能的机械手 |
CN105705257B (zh) * | 2013-09-06 | 2018-12-14 | 伯曼集团股份公司 | 用于将物品引导和单分到分拣机的方法 |
US9579789B2 (en) | 2013-09-27 | 2017-02-28 | Brain Corporation | Apparatus and methods for training of robotic control arbitration |
US9846843B2 (en) * | 2013-10-30 | 2017-12-19 | Georgia Tech Research Corporation | Methods and systems for facilitating interactions between a robot and user |
US9597797B2 (en) | 2013-11-01 | 2017-03-21 | Brain Corporation | Apparatus and methods for haptic training of robots |
US9463571B2 (en) | 2013-11-01 | 2016-10-11 | Brian Corporation | Apparatus and methods for online training of robots |
JP6322959B2 (ja) * | 2013-11-05 | 2018-05-16 | セイコーエプソン株式会社 | ロボット、ロボットシステム、及びロボット制御装置 |
US9248569B2 (en) | 2013-11-22 | 2016-02-02 | Brain Corporation | Discrepancy detection apparatus and methods for machine learning |
CN103744356B (zh) * | 2014-01-17 | 2016-08-17 | 重庆大学 | 一种基于dsp/fpga动态可配置的机床智能控制器及控制方法 |
CN103722565B (zh) * | 2014-01-23 | 2015-09-16 | 哈尔滨工业大学 | 仿人机器人自碰撞监控***及监控方法 |
US9358685B2 (en) * | 2014-02-03 | 2016-06-07 | Brain Corporation | Apparatus and methods for control of robot actions based on corrective user inputs |
US9233469B2 (en) * | 2014-02-13 | 2016-01-12 | GM Global Technology Operations LLC | Robotic system with 3D box location functionality |
KR20240027152A (ko) * | 2014-02-20 | 2024-02-29 | 엠비엘 리미티드 | 로봇식 요리용 키친에서의 음식 준비를 위한 방법 및 시스템 |
US10112076B2 (en) * | 2014-04-25 | 2018-10-30 | Christopher DeCarlo | Robotic athletic training or sporting method, apparatus, system, and computer program product |
FR3020303B1 (fr) * | 2014-04-25 | 2016-07-15 | Sileane | Procede et installation de prehension automatique d'un objet. |
US9346167B2 (en) | 2014-04-29 | 2016-05-24 | Brain Corporation | Trainable convolutional network apparatus and methods for operating a robotic vehicle |
US20150331415A1 (en) * | 2014-05-16 | 2015-11-19 | Microsoft Corporation | Robotic task demonstration interface |
US9737990B2 (en) | 2014-05-16 | 2017-08-22 | Microsoft Technology Licensing, Llc | Program synthesis for robotic tasks |
FR3021574B1 (fr) * | 2014-05-27 | 2019-04-05 | Commissariat A L`Energie Atomique Et Aux Energies Alternatives | Manipulateur cobotique |
JP5897644B2 (ja) * | 2014-06-02 | 2016-03-30 | 株式会社神戸製鋼所 | ロボットの制御装置 |
DE102015204641B4 (de) * | 2014-06-03 | 2021-03-25 | ArtiMinds Robotics GmbH | Verfahren und System zur Programmierung eines Roboters |
CN104057450B (zh) * | 2014-06-20 | 2016-09-07 | 哈尔滨工业大学深圳研究生院 | 一种针对服务机器人的高维操作臂遥操作方法 |
JP6476632B2 (ja) * | 2014-07-31 | 2019-03-06 | セイコーエプソン株式会社 | 双腕ロボット |
US9327406B1 (en) | 2014-08-19 | 2016-05-03 | Google Inc. | Object segmentation based on detected object-specific visual cues |
WO2016032807A1 (en) | 2014-08-25 | 2016-03-03 | Google Inc. | Methods and systems for augmented reality to display virtual representations of robotic device actions |
US10518409B2 (en) * | 2014-09-02 | 2019-12-31 | Mark Oleynik | Robotic manipulation methods and systems for executing a domain-specific application in an instrumented environment with electronic minimanipulation libraries |
US9501059B2 (en) * | 2014-09-12 | 2016-11-22 | Qualcomm Incorporated | Pocket robot |
US9630318B2 (en) | 2014-10-02 | 2017-04-25 | Brain Corporation | Feature detection apparatus and methods for training of robotic navigation |
US9403275B2 (en) * | 2014-10-17 | 2016-08-02 | GM Global Technology Operations LLC | Dynamic obstacle avoidance in a robotic system |
WO2016061471A1 (en) | 2014-10-17 | 2016-04-21 | Hitachi High Technologies America, Inc. | Interactive laboratory robotic system |
US9592603B2 (en) * | 2014-12-01 | 2017-03-14 | Spin Master Ltd. | Reconfigurable robotic system |
US9375853B1 (en) * | 2014-12-03 | 2016-06-28 | Google Inc. | Methods and systems to provide feedback based on a motion per path metric indicative of an effect of motion associated with components of a robotic device |
US9592608B1 (en) * | 2014-12-15 | 2017-03-14 | X Development Llc | Methods and systems for providing feedback during teach mode |
US9561587B2 (en) * | 2014-12-16 | 2017-02-07 | Amazon Technologies, Inc. | Robotic grasping of items in inventory system |
JP6549714B2 (ja) * | 2014-12-17 | 2019-07-24 | ノルグレン オートメーション ソーリューションズ エルエルシーNorgren Automation Solutions,Llc. | ワークピースを検出するための装置、ワークピース評価システム、製造システム、ワークピースの処理方法 |
JP6630042B2 (ja) * | 2014-12-26 | 2020-01-15 | 川崎重工業株式会社 | 双腕ロボットの教示システム及び双腕ロボットの教示方法 |
US11292706B2 (en) * | 2014-12-30 | 2022-04-05 | Edward Showalter | Apparatus, systems and methods for preparing and dispensing foods |
US10514687B2 (en) * | 2015-01-08 | 2019-12-24 | Rethink Robotics Gmbh | Hybrid training with collaborative and conventional robots |
WO2016130849A1 (en) * | 2015-02-12 | 2016-08-18 | Melonee Wise | System and method for order fulfillment using robots |
US9358684B1 (en) * | 2015-02-18 | 2016-06-07 | Merry Electronics Co., Ltd. | Wireless transmission device and robot arm using the same |
CA2882968C (en) | 2015-02-23 | 2023-04-25 | Sulfur Heron Cognitive Systems Inc. | Facilitating generation of autonomous control information |
US9569666B2 (en) | 2015-02-25 | 2017-02-14 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for measuring image recognition accuracy |
US9717387B1 (en) | 2015-02-26 | 2017-08-01 | Brain Corporation | Apparatus and methods for programming and training of robotic household appliances |
US9409294B1 (en) * | 2015-03-05 | 2016-08-09 | Toyota Motor Engineering & Manufacturing North America, Inc. | Hierarchical geometric plan composition (HGPC) framework for robot task planning |
JP6126152B2 (ja) * | 2015-03-16 | 2017-05-10 | ファナック株式会社 | 曲線部を有する軌道を生成するロボットの軌道生成装置 |
US9486921B1 (en) | 2015-03-26 | 2016-11-08 | Google Inc. | Methods and systems for distributing remote assistance to facilitate robotic object manipulation |
EP3075496B1 (en) * | 2015-04-02 | 2022-05-04 | Honda Research Institute Europe GmbH | Method for improving operation of a robot |
US9878447B2 (en) | 2015-04-10 | 2018-01-30 | Microsoft Technology Licensing, Llc | Automated collection and labeling of object data |
US9802317B1 (en) * | 2015-04-24 | 2017-10-31 | X Development Llc | Methods and systems for remote perception assistance to facilitate robotic object manipulation |
JP6332128B2 (ja) * | 2015-04-24 | 2018-05-30 | トヨタ自動車株式会社 | 物体認識装置、及び物体認識方法 |
US10729503B2 (en) * | 2015-05-01 | 2020-08-04 | Titan Medical Inc. | Instrument collision detection and feedback |
US20190381665A1 (en) * | 2015-05-08 | 2019-12-19 | C2 Systems Limited | System, method, computer program and data signal for the registration, monitoring and control of machines and devices |
US10089575B1 (en) | 2015-05-27 | 2018-10-02 | X Development Llc | Determining grasping parameters for grasping of an object by a robot grasping end effector |
US9682476B1 (en) | 2015-05-28 | 2017-06-20 | X Development Llc | Selecting robot poses to account for cost |
US9724826B1 (en) | 2015-05-28 | 2017-08-08 | X Development Llc | Selecting physical arrangements for objects to be acted upon by a robot |
US10625416B2 (en) * | 2015-05-28 | 2020-04-21 | Hitachi, Ltd. | Robot operation device and program |
DE102015008144B4 (de) * | 2015-06-24 | 2024-01-18 | Kuka Roboter Gmbh | Umschalten einer Steuerung eines Roboters in einen Handführ-Betriebsmodus |
US9925662B1 (en) * | 2015-06-28 | 2018-03-27 | X Development Llc | Generating a trained robot path based on physical manipulation of the robot and based on training user interface input(s) associated with the physical manipulation |
EP3112965A1 (en) * | 2015-07-02 | 2017-01-04 | Accenture Global Services Limited | Robotic process automation |
US9889564B2 (en) | 2015-07-08 | 2018-02-13 | Empire Technology Development Llc | Stable grasp point selection for robotic grippers with machine vision and ultrasound beam forming |
US9844877B1 (en) | 2015-07-14 | 2017-12-19 | X Development Llc | Generating a parameter for a movement characteristic for a waypoint trained path of a robot |
US10311634B2 (en) * | 2015-07-21 | 2019-06-04 | IAM Robotics, LLC | Three dimensional scanning and data extraction systems and processes for supply chain piece automation |
US9916506B1 (en) | 2015-07-25 | 2018-03-13 | X Development Llc | Invisible fiducial markers on a robot to visualize the robot in augmented reality |
US9919427B1 (en) | 2015-07-25 | 2018-03-20 | X Development Llc | Visualizing robot trajectory points in augmented reality |
US9919424B1 (en) | 2015-07-27 | 2018-03-20 | X Development Llc | Analog control switch for end-effector |
US20170028549A1 (en) * | 2015-07-28 | 2017-02-02 | Comprehensive Engineering Solutions, Inc. | Robotic navigation system and method |
US11112781B2 (en) * | 2015-07-31 | 2021-09-07 | Heinz Hemken | Training an autonomous robot using previously captured data |
JP6240689B2 (ja) * | 2015-07-31 | 2017-11-29 | ファナック株式会社 | 人の行動パターンを学習する機械学習装置、ロボット制御装置、ロボットシステム、および機械学習方法 |
US10166680B2 (en) * | 2015-07-31 | 2019-01-01 | Heinz Hemken | Autonomous robot using data captured from a living subject |
US9676098B2 (en) * | 2015-07-31 | 2017-06-13 | Heinz Hemken | Data collection from living subjects and controlling an autonomous robot using the data |
DE102016009030B4 (de) | 2015-07-31 | 2019-05-09 | Fanuc Corporation | Vorrichtung für maschinelles Lernen, Robotersystem und maschinelles Lernsystem zum Lernen eines Werkstückaufnahmevorgangs |
US9868213B2 (en) * | 2015-08-11 | 2018-01-16 | Empire Technology Development Llc | Incidental robot-human contact detection |
DE202015009616U1 (de) | 2015-08-14 | 2018-08-30 | Franka Emika Gmbh | Robotersystem und Gehäuseteil für ein solches Robotersystem |
US9886035B1 (en) | 2015-08-17 | 2018-02-06 | X Development Llc | Ground plane detection to verify depth sensor status for robot navigation |
US11370128B2 (en) | 2015-09-01 | 2022-06-28 | Berkshire Grey Operating Company, Inc. | Systems and methods for providing dynamic robotic control systems |
ES2935283T3 (es) | 2015-09-01 | 2023-03-03 | Berkshire Grey Operating Company Inc | Sistemas y métodos para proporcionar sistemas de control robótico dinámico |
WO2017044630A1 (en) | 2015-09-09 | 2017-03-16 | Berskshire Grey Inc. | Systems and methods for providing dynamic communicative lighting in a robotic environment |
DE102015011910A1 (de) * | 2015-09-11 | 2017-03-16 | Kuka Roboter Gmbh | Verfahren und System zum Steuern einer Roboteranordnung |
DE102016116702B4 (de) * | 2015-09-14 | 2019-01-24 | Fanuc Corporation | Messsystem zum Kalibrieren der mechanischen Parameter eines Roboters |
WO2017059194A1 (en) * | 2015-10-02 | 2017-04-06 | Verselus, Llc | System and method for autonomously teaching working points in a robotic disk test apparatus |
DE102015012962A1 (de) | 2015-10-08 | 2017-04-13 | Sami Haddadin | Robotersystem |
DE102015012961B4 (de) | 2015-10-08 | 2022-05-05 | Kastanienbaum GmbH | Robotersystem |
DE102015117211B8 (de) * | 2015-10-08 | 2016-12-29 | Kastanienbaum GmbH | Roboterarm mit Eingabeelementen |
JP6711591B2 (ja) * | 2015-11-06 | 2020-06-17 | キヤノン株式会社 | ロボット制御装置およびロボット制御方法 |
KR102584754B1 (ko) | 2015-11-11 | 2023-10-05 | 마코 서지컬 코포레이션 | 로봇식 시스템 및 그를 역구동하는 방법 |
CA3192023A1 (en) * | 2015-11-13 | 2017-05-18 | Berkshire Grey Operating Company, Inc. | Sortation systems and methods for providing sortation of a variety of objects |
US10220515B2 (en) * | 2015-11-30 | 2019-03-05 | Seiko Epson Corporation | Robot and control method for robot |
US10471594B2 (en) * | 2015-12-01 | 2019-11-12 | Kindred Systems Inc. | Systems, devices, and methods for the distribution and collection of multimodal data associated with robots |
US10613546B2 (en) | 2015-12-02 | 2020-04-07 | Qualcomm Incorporated | Stochastic map-aware stereo vision sensor model |
US10268188B2 (en) * | 2015-12-02 | 2019-04-23 | Qualcomm Incorporated | Active camera movement determination for object position and extent in three-dimensional space |
CN108290286A (zh) * | 2015-12-03 | 2018-07-17 | Abb瑞士股份有限公司 | 用于教导工业机器人拾取零件的方法 |
US20170161546A1 (en) * | 2015-12-08 | 2017-06-08 | Mitsubishi Electric Research Laboratories, Inc. | Method and System for Detecting and Tracking Objects and SLAM with Hierarchical Feature Grouping |
CN108369413B (zh) | 2015-12-11 | 2020-09-01 | Abb瑞士股份有限公司 | 工业机器人和用于控制机器人自动选择接下来要执行的程序代码的方法 |
US9799198B2 (en) | 2015-12-18 | 2017-10-24 | General Electric Company | System and method for communicating with an operator of the system |
US9969082B1 (en) * | 2016-01-05 | 2018-05-15 | Boston Dynamics, Inc. | Robotic systems and methods for task scoring and selection |
US9919422B1 (en) | 2016-01-06 | 2018-03-20 | X Development Llc | Methods and systems to provide mechanical feedback during movement of a robotic system |
CN107848117B (zh) * | 2016-01-06 | 2021-01-15 | 株式会社日立制作所 | 机器人***以及控制方法 |
CA3169689C (en) | 2016-01-08 | 2024-04-02 | Berkshire Grey Operating Company, Inc. | Systems and methods for acquiring and moving objects |
DE102017000063B4 (de) * | 2016-01-14 | 2019-10-31 | Fanuc Corporation | Robotereinrichtung mit Lernfunktion |
CN105498228B (zh) * | 2016-01-14 | 2018-01-12 | 胡文杰 | 一种智能机器人学习玩具 |
US10456910B2 (en) * | 2016-01-14 | 2019-10-29 | Purdue Research Foundation | Educational systems comprising programmable controllers and methods of teaching therewith |
CN105718880A (zh) * | 2016-01-20 | 2016-06-29 | 华东交通大学 | 一种远程办公签字及笔迹验证机器人***设计 |
DE102016101375B4 (de) * | 2016-01-26 | 2020-03-12 | aku.automation GmbH | Verbessertes Verfahren und Vorrichtung zum Anpassen einer Bildauswertung |
CN105583824B (zh) * | 2016-01-26 | 2017-05-24 | 清华大学 | 力控牵引和摆位的多自由度机械臂控制装置及其控制方法 |
US10065316B2 (en) * | 2016-02-05 | 2018-09-04 | Rethink Robotics, Inc. | Systems and methods for safe robot operation |
CA3014049C (en) | 2016-02-08 | 2021-06-22 | Thomas Wagner | Systems and methods for providing processing of a variety of objects employing motion planning |
CA3016418C (en) * | 2016-03-03 | 2020-04-14 | Google Llc | Deep machine learning methods and apparatus for robotic grasping |
CN111832702A (zh) * | 2016-03-03 | 2020-10-27 | 谷歌有限责任公司 | 用于机器人抓取的深度机器学习方法和装置 |
JP6733239B2 (ja) * | 2016-03-18 | 2020-07-29 | セイコーエプソン株式会社 | 制御装置及びロボットシステム |
CN105843118B (zh) * | 2016-03-25 | 2018-07-27 | 北京光年无限科技有限公司 | 一种机器人交互方法及机器人*** |
US10019566B1 (en) * | 2016-04-14 | 2018-07-10 | X Development Llc | Authorizing robot use and/or adapting physical control parameters for a robot |
DE102016004788A1 (de) | 2016-04-20 | 2017-10-26 | Kastanienbaum GmbH | Verfahren zur Herstellung eines Roboters und Vorrichtung zur Durchführung dieses Verfahrens |
DE102016004787B4 (de) | 2016-04-20 | 2023-02-02 | Franka Emika Gmbh | Antriebsvorrichtung für einen Roboter und Verfahren zu ihrer Herstellung |
US10500726B2 (en) * | 2016-04-25 | 2019-12-10 | Kindred Systems Inc. | Facilitating device control |
JP2017196705A (ja) * | 2016-04-28 | 2017-11-02 | セイコーエプソン株式会社 | ロボット、及びロボットシステム |
TWI622865B (zh) | 2016-04-29 | 2018-05-01 | 財團法人工業技術研究院 | 用於機器人的直覺式力量導引方法及其裝置 |
FR3050672B1 (fr) * | 2016-04-29 | 2018-11-23 | Les Companions | Automate pour le traitement d'une surface |
TWI581731B (zh) * | 2016-05-05 | 2017-05-11 | Solomon Tech Corp | Automatic shopping the method and equipment |
US10322506B2 (en) * | 2016-05-06 | 2019-06-18 | Kindred Systems Inc. | Systems, devices, articles, and methods for using trained robots |
CN105832419A (zh) * | 2016-05-06 | 2016-08-10 | 济南创泽生物医药科技有限公司 | 一种微操精准手术机器人 |
US20200348662A1 (en) * | 2016-05-09 | 2020-11-05 | Strong Force Iot Portfolio 2016, Llc | Platform for facilitating development of intelligence in an industrial internet of things system |
US9821458B1 (en) | 2016-05-10 | 2017-11-21 | X Development Llc | Trajectory planning with droppable objects |
US10241514B2 (en) | 2016-05-11 | 2019-03-26 | Brain Corporation | Systems and methods for initializing a robot to autonomously travel a trained route |
US10974394B2 (en) | 2016-05-19 | 2021-04-13 | Deep Learning Robotics Ltd. | Robot assisted object learning vision system |
CN105892372A (zh) * | 2016-05-31 | 2016-08-24 | 北京光年无限科技有限公司 | 一种智能机器人表情输出方法及智能机器人 |
US9987752B2 (en) | 2016-06-10 | 2018-06-05 | Brain Corporation | Systems and methods for automatic detection of spills |
US10052764B2 (en) * | 2016-06-16 | 2018-08-21 | Toyota Motor Engineering & Manufacutring North America, Inc. | Automated and adjustable platform surface |
US10058997B1 (en) * | 2016-06-16 | 2018-08-28 | X Development Llc | Space extrapolation for robot task performance |
US10282849B2 (en) | 2016-06-17 | 2019-05-07 | Brain Corporation | Systems and methods for predictive/reconstructive visual object tracker |
CN106003038A (zh) * | 2016-06-17 | 2016-10-12 | 小船信息科技(上海)有限公司 | 智能机器人 |
US10163219B2 (en) * | 2016-06-24 | 2018-12-25 | Fca Us Llc | Machine vision cargo monitoring in a vehicle |
US20170368691A1 (en) * | 2016-06-27 | 2017-12-28 | Dilili Labs, Inc. | Mobile Robot Navigation |
US10016896B2 (en) | 2016-06-30 | 2018-07-10 | Brain Corporation | Systems and methods for robotic behavior around moving bodies |
US10058995B1 (en) | 2016-07-08 | 2018-08-28 | X Development Llc | Operating multiple testing robots based on robot instructions and/or environmental parameters received in a request |
JP7145843B2 (ja) | 2016-07-18 | 2022-10-03 | ラエル オドナー, | ロボットマニピュレータの訓練 |
US10807233B2 (en) | 2016-07-26 | 2020-10-20 | The University Of Connecticut | Skill transfer from a person to a robot |
US10055667B2 (en) | 2016-08-03 | 2018-08-21 | X Development Llc | Generating a model for an object encountered by a robot |
FI127100B (en) * | 2016-08-04 | 2017-11-15 | Zenrobotics Oy | A method and apparatus for separating at least one piece from a plurality of pieces |
US10229317B2 (en) | 2016-08-06 | 2019-03-12 | X Development Llc | Selectively downloading targeted object recognition modules |
TWI651175B (zh) * | 2016-08-12 | 2019-02-21 | 財團法人工業技術研究院 | 機械手臂之控制裝置及其教導系統與方法 |
CN107717982B (zh) | 2016-08-12 | 2020-09-25 | 财团法人工业技术研究院 | 机械手臂的控制装置及操作方法 |
CN107717981B (zh) | 2016-08-12 | 2021-01-05 | 财团法人工业技术研究院 | 机械手臂的控制装置及其教导***与方法 |
JP6517762B2 (ja) | 2016-08-23 | 2019-05-22 | ファナック株式会社 | 人とロボットが協働して作業を行うロボットの動作を学習するロボットシステム |
JP6633209B2 (ja) * | 2016-08-26 | 2020-01-22 | シャープ株式会社 | ロボット、ロボットの制御方法、および制御プログラム |
JP6426672B2 (ja) * | 2016-08-30 | 2018-11-21 | ファナック株式会社 | ワーク仕分けシステムおよび方法 |
CN106391372A (zh) * | 2016-09-07 | 2017-02-15 | 广西大学 | 基于arm的自动喷粉*** |
CN109689310A (zh) * | 2016-09-13 | 2019-04-26 | Abb瑞士股份有限公司 | 对工业机器人编程的方法 |
US11254012B2 (en) * | 2016-09-14 | 2022-02-22 | Keba Ag | Control device and control method for industrial machines having controlled movement drives |
US10131053B1 (en) * | 2016-09-14 | 2018-11-20 | X Development Llc | Real time robot collision avoidance |
WO2018053430A1 (en) * | 2016-09-16 | 2018-03-22 | Carbon Robotics, Inc. | System and calibration, registration, and training methods |
JP6514166B2 (ja) * | 2016-09-16 | 2019-05-15 | ファナック株式会社 | ロボットの動作プログラムを学習する機械学習装置,ロボットシステムおよび機械学習方法 |
GB2554363B (en) * | 2016-09-21 | 2021-12-08 | Cmr Surgical Ltd | User interface device |
IT201600097482A1 (it) * | 2016-09-28 | 2018-03-28 | Gaiotto Automation S P A | Metodo per il trattamento superficiale di un manufatto |
US10571902B2 (en) * | 2016-10-12 | 2020-02-25 | Sisu Devices Llc | Robotic programming and motion control |
US10987804B2 (en) * | 2016-10-19 | 2021-04-27 | Fuji Xerox Co., Ltd. | Robot device and non-transitory computer readable medium |
US9717607B1 (en) * | 2016-10-28 | 2017-08-01 | International Business Machines Corporation | Augmented control of robotic prosthesis by a cognitive system |
US10274325B2 (en) | 2016-11-01 | 2019-04-30 | Brain Corporation | Systems and methods for robotic mapping |
US10001780B2 (en) | 2016-11-02 | 2018-06-19 | Brain Corporation | Systems and methods for dynamic route planning in autonomous navigation |
JP6534126B2 (ja) * | 2016-11-22 | 2019-06-26 | パナソニックIpマネジメント株式会社 | ピッキングシステム及びその制御方法 |
US9805306B1 (en) | 2016-11-23 | 2017-10-31 | Accenture Global Solutions Limited | Cognitive robotics analyzer |
US10723018B2 (en) | 2016-11-28 | 2020-07-28 | Brain Corporation | Systems and methods for remote operating and/or monitoring of a robot |
CN110352116A (zh) * | 2016-12-05 | 2019-10-18 | 费洛有限公司 | 智能服务机器人和相关***及方法 |
WO2018107000A1 (en) | 2016-12-09 | 2018-06-14 | Berkshire Grey, Inc. | Systems and methods for processing objects provided in vehicles |
US10430657B2 (en) | 2016-12-12 | 2019-10-01 | X Development Llc | Object recognition tool |
US10360531B1 (en) * | 2016-12-19 | 2019-07-23 | Amazon Technologies, Inc. | Robot implemented item manipulation |
US10635981B2 (en) * | 2017-01-18 | 2020-04-28 | Microsoft Technology Licensing, Llc | Automated movement orchestration |
JP7071054B2 (ja) * | 2017-01-20 | 2022-05-18 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
US10377040B2 (en) | 2017-02-02 | 2019-08-13 | Brain Corporation | Systems and methods for assisting a robotic apparatus |
US10852730B2 (en) | 2017-02-08 | 2020-12-01 | Brain Corporation | Systems and methods for robotic mobile platforms |
JP6464213B2 (ja) * | 2017-02-09 | 2019-02-06 | ファナック株式会社 | レーザ加工ヘッドおよび撮影装置を備えるレーザ加工システム |
US20190332969A1 (en) * | 2017-02-24 | 2019-10-31 | Omron Corporation | Configuring apparatus, method, program and storing medium, and learning data acquiring apparatus and method |
CN110235137A (zh) * | 2017-02-24 | 2019-09-13 | 欧姆龙株式会社 | 学习数据获取设备和方法、程序和存储介质 |
US10639787B2 (en) | 2017-03-06 | 2020-05-05 | Berkshire Grey, Inc. | Systems and methods for efficiently moving a variety of objects |
CN206536457U (zh) * | 2017-03-14 | 2017-10-03 | 合肥鑫晟光电科技有限公司 | 一种基板搬送机器人 |
CN107042507B (zh) | 2017-03-16 | 2023-07-28 | 广东省智能制造研究所 | 一种多自由度驱动手臂及采用该手臂的双臂机器人 |
CN107030691B (zh) * | 2017-03-24 | 2020-04-14 | 华为技术有限公司 | 一种看护机器人的数据处理方法及装置 |
GR20170100133A (el) * | 2017-03-30 | 2018-10-31 | Τεχνολογικο Εκπαιδευτικο Ιδρυμα Ανατολικης Μακεδονιας Και Θρακης | Μεθοδος εκπαιδευσης ανθρωποειδων ρομποτ |
US10293485B2 (en) | 2017-03-30 | 2019-05-21 | Brain Corporation | Systems and methods for robotic path planning |
CN111246977A (zh) | 2017-03-30 | 2020-06-05 | 软机器人公司 | 用户辅助型机器人控制*** |
CN106985152A (zh) * | 2017-04-01 | 2017-07-28 | 佛山华数机器人有限公司 | 一种多功能机器人夹具 |
US10449671B2 (en) * | 2017-04-04 | 2019-10-22 | Toyota Research Institute, Inc. | Methods and systems for providing robotic operation constraints for remote controllable robots |
US10766140B2 (en) | 2017-04-13 | 2020-09-08 | Battelle Memorial Institute | Teach mode collision avoidance system and method for industrial robotic manipulators |
JP6953778B2 (ja) * | 2017-04-28 | 2021-10-27 | オムロン株式会社 | 協調ロボット、コントローラ、および方法 |
US10860853B2 (en) * | 2017-04-28 | 2020-12-08 | Intel Corporation | Learning though projection method and apparatus |
US10864633B2 (en) | 2017-04-28 | 2020-12-15 | Southe Autonomy Works, Llc | Automated personalized feedback for interactive learning applications |
JP2018192556A (ja) * | 2017-05-16 | 2018-12-06 | オムロン株式会社 | ロボットシステム |
CN106985141B (zh) * | 2017-05-22 | 2020-07-03 | 中科新松有限公司 | 一种双臂协作机器人 |
JP6438525B1 (ja) * | 2017-05-26 | 2018-12-12 | ファナック株式会社 | 物品の重さを測定する重さ測定システムおよび方法 |
CN107133609B (zh) * | 2017-06-02 | 2020-01-14 | 王永安 | 一种人机交流机器人与其控制方法 |
US10235192B2 (en) | 2017-06-23 | 2019-03-19 | Accenture Global Solutions Limited | Self-learning robotic process automation |
US10569420B1 (en) * | 2017-06-23 | 2020-02-25 | X Development Llc | Interfacing with autonomous devices |
US10562181B2 (en) | 2017-07-03 | 2020-02-18 | X Development Llc | Determining and utilizing corrections to robot actions |
US11106967B2 (en) | 2017-07-03 | 2021-08-31 | X Development Llc | Update of local features model based on correction to robot action |
US10761542B1 (en) | 2017-07-11 | 2020-09-01 | Waymo Llc | Methods and systems for keeping remote assistance operators alert |
JP6619395B2 (ja) | 2017-07-12 | 2019-12-11 | ファナック株式会社 | ロボットシステムおよびロボットの教示方法 |
CA3071332A1 (en) * | 2017-07-25 | 2019-01-31 | Mbl Limited | Systems and methods for operations a robotic system and executing robotic interactions |
JP6633580B2 (ja) * | 2017-08-02 | 2020-01-22 | ファナック株式会社 | ロボットシステム及びロボット制御装置 |
CA3071407C (en) | 2017-08-02 | 2023-10-03 | Berkshire Grey, Inc. | Systems and methods for acquiring and moving objects having complex outer surfaces |
JP6680730B2 (ja) * | 2017-08-08 | 2020-04-15 | ファナック株式会社 | 制御装置及び学習装置 |
US10978187B2 (en) | 2017-08-10 | 2021-04-13 | Nuance Communications, Inc. | Automated clinical documentation system and method |
CN110914022B (zh) * | 2017-08-10 | 2023-11-07 | 罗伯特·博世有限公司 | 直接教导机器人的***和方法 |
US11316865B2 (en) | 2017-08-10 | 2022-04-26 | Nuance Communications, Inc. | Ambient cooperative intelligence system and method |
WO2019039006A1 (ja) * | 2017-08-23 | 2019-02-28 | ソニー株式会社 | ロボット |
JP6795471B2 (ja) * | 2017-08-25 | 2020-12-02 | ファナック株式会社 | ロボットシステム |
DE102017215114A1 (de) * | 2017-08-30 | 2019-02-28 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Manipulatorsystem und Verfahren zum Steuern eines robotischen Manipulators |
EP3683730A4 (en) * | 2017-09-12 | 2020-09-23 | Cloudminds (Shenzhen) Robotics Systems Co., Ltd. | DYNAMIC ROBOT, ROBOT AND CLOUD SERVER LEARNING PROCESS AND SYSTEM |
US10773382B2 (en) * | 2017-09-15 | 2020-09-15 | X Development Llc | Machine learning methods and apparatus for robotic manipulation and that utilize multi-task domain adaptation |
US10624707B2 (en) * | 2017-09-18 | 2020-04-21 | Verb Surgical Inc. | Robotic surgical system and method for communicating synchronous and asynchronous information to and from nodes of a robotic arm |
US10779901B2 (en) | 2017-09-18 | 2020-09-22 | Verb Surgical Inc. | Robotic surgical system having a communication network of a ring topology and method for use therewith |
JP2019059004A (ja) * | 2017-09-28 | 2019-04-18 | セイコーエプソン株式会社 | ロボットシステム |
US11847841B2 (en) | 2017-10-18 | 2023-12-19 | Brown University | Probabilistic object models for robust, repeatable pick-and-place |
CN107886501A (zh) * | 2017-10-23 | 2018-04-06 | 深圳市共进电子股份有限公司 | 视觉定位方法及终端设备 |
JP7041492B2 (ja) * | 2017-10-31 | 2022-03-24 | 川崎重工業株式会社 | ロボットシステム |
US11514599B2 (en) * | 2017-11-01 | 2022-11-29 | James R. Glidewell Dental Ceramics, Inc. | Systems and methods for tracking manufactured articles during transfer operations |
JP2019084601A (ja) * | 2017-11-02 | 2019-06-06 | キヤノン株式会社 | 情報処理装置、把持システムおよび情報処理方法 |
CN109778621B (zh) * | 2017-11-13 | 2022-02-08 | 宝马汽车股份有限公司 | 用于交通运输***的移动平台和交通运输*** |
CN107972063A (zh) * | 2017-11-24 | 2018-05-01 | 嘉兴学院 | 一种电机驱动的仿人型机器人 |
WO2019139815A1 (en) | 2018-01-12 | 2019-07-18 | Duke University | Apparatus, method and article to facilitate motion planning of an autonomous vehicle in an environment having dynamic objects |
CN108563146B (zh) * | 2018-01-15 | 2021-08-13 | 深圳市同川科技有限公司 | 机器人工作模式切换控制方法、装置、计算机设备和介质 |
JP7035555B2 (ja) * | 2018-01-23 | 2022-03-15 | セイコーエプソン株式会社 | 教示装置、及びシステム |
TWI822729B (zh) | 2018-02-06 | 2023-11-21 | 美商即時機器人股份有限公司 | 用於儲存一離散環境於一或多個處理器之一機器人之運動規劃及其改良操作之方法及設備 |
JP7208713B2 (ja) * | 2018-02-13 | 2023-01-19 | キヤノン株式会社 | 画像解析装置および画像解析方法 |
WO2019160611A1 (en) * | 2018-02-15 | 2019-08-22 | DMAI, Inc. | System and method for dynamic robot configuration for enhanced digital experiences |
US11250382B2 (en) | 2018-03-05 | 2022-02-15 | Nuance Communications, Inc. | Automated clinical documentation system and method |
WO2019173333A1 (en) | 2018-03-05 | 2019-09-12 | Nuance Communications, Inc. | Automated clinical documentation system and method |
EP3762929A4 (en) | 2018-03-05 | 2022-01-12 | Nuance Communications, Inc. | SYSTEM AND PROCEDURE FOR REVIEWING AUTOMATED CLINICAL DOCUMENTATION |
CN108838991B (zh) * | 2018-03-06 | 2022-03-25 | 南昌工程学院 | 一种自主类人双臂机器人及其对运动目标的跟踪操作*** |
CN108381509B (zh) * | 2018-03-19 | 2021-03-02 | 京东方科技集团股份有限公司 | 智能抓取装置及其控制方法、智能抓取控制*** |
WO2019183141A1 (en) * | 2018-03-21 | 2019-09-26 | Realtime Robotics, Inc. | Motion planning of a robot for various environments and tasks and improved operation of same |
US10147251B1 (en) | 2018-03-29 | 2018-12-04 | Capital One Services, Llc | Providing virtual and physical access to secure storage container |
WO2019189661A1 (ja) * | 2018-03-29 | 2019-10-03 | 国立大学法人奈良先端科学技術大学院大学 | 学習データセット作製方法及び装置 |
US10875176B2 (en) | 2018-04-04 | 2020-12-29 | Kuka Systems North America Llc | Process control using deep learning training model |
CN110340863B (zh) * | 2018-04-08 | 2023-02-17 | AIrobot株式会社 | 自主移动搬运机器人 |
DE102018109329B4 (de) * | 2018-04-19 | 2019-12-05 | Gottfried Wilhelm Leibniz Universität Hannover | Mehrgliedrige aktuierte Kinematik, vorzugsweise Roboter, besonders vorzugsweise Knickarmroboter |
US10967507B2 (en) * | 2018-05-02 | 2021-04-06 | X Development Llc | Positioning a robot sensor for object classification |
CN108656109B (zh) * | 2018-05-07 | 2021-03-02 | 中国科学院力学研究所 | 一种远程操作的训练方法及*** |
US11847822B2 (en) * | 2018-05-09 | 2023-12-19 | Sony Corporation | Information processing device and information processing method |
EP3566823A1 (en) * | 2018-05-11 | 2019-11-13 | Siemens Aktiengesellschaft | Method, apparatus and system for robotic programming |
CN108687772B (zh) * | 2018-05-15 | 2020-06-30 | 浙江工业大学 | 一种基于均值耦合的双机械臂***固定时间参数辨识与位置同步控制方法 |
US11119498B2 (en) | 2018-06-06 | 2021-09-14 | Toyota Research Institute, Inc. | Systems and methods for simulation utilizing a segmentable monolithic mesh |
KR20190141303A (ko) * | 2018-06-14 | 2019-12-24 | 엘지전자 주식회사 | 이동 로봇의 동작 방법 |
EP3784451A1 (en) * | 2018-06-15 | 2021-03-03 | Google LLC | Deep reinforcement learning for robotic manipulation |
WO2019244434A1 (ja) * | 2018-06-18 | 2019-12-26 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
EP3810375A1 (en) * | 2018-06-19 | 2021-04-28 | BAE SYSTEMS plc | Workbench system |
WO2019243797A1 (en) | 2018-06-19 | 2019-12-26 | Bae Systems Plc | Workbench system |
EP3584038A1 (en) * | 2018-06-19 | 2019-12-25 | BAE SYSTEMS plc | Workbench system |
JP7360406B2 (ja) | 2018-06-26 | 2023-10-12 | ファナック アメリカ コーポレイション | ロボット型ピッキングシステムのための拡張現実可視化 |
US11407111B2 (en) | 2018-06-27 | 2022-08-09 | Abb Schweiz Ag | Method and system to generate a 3D model for a robot scene |
AT521390B1 (de) * | 2018-06-29 | 2021-11-15 | Wittmann Tech Gmbh | Verfahren zur laufenden Speicherung von internen Betriebszuständen und zur Visualisierung von zeitlich zurückliegenden Ablaufsequenzen sowie Roboter und/oder Robotsteuerung hierfür |
US11285607B2 (en) | 2018-07-13 | 2022-03-29 | Massachusetts Institute Of Technology | Systems and methods for distributed training and management of AI-powered robots using teleoperation via virtual spaces |
JP7035886B2 (ja) * | 2018-07-30 | 2022-03-15 | トヨタ自動車株式会社 | 画像処理装置、画像処理方法 |
US10953541B2 (en) * | 2018-07-31 | 2021-03-23 | At&T Intellectual Property I, L.P. | Providing logistical support for robots |
US11203122B2 (en) * | 2018-08-03 | 2021-12-21 | Digital Dream Labs, Llc | Goal-based robot animation |
US11636382B1 (en) * | 2018-08-10 | 2023-04-25 | Textron Innovations, Inc. | Robotic self programming visual inspection |
WO2020041120A1 (en) * | 2018-08-20 | 2020-02-27 | Massachusetts Institute Of Technology | Robotic manipulation of objects using external contacts |
WO2020041117A1 (en) * | 2018-08-20 | 2020-02-27 | Massachusetts Institute Of Technology | Robotic manipulation of objects for grip adjustment |
US11254004B2 (en) * | 2018-08-30 | 2022-02-22 | Veo Robotics, Inc. | System identification of industrial robot dynamics for safety-critical applications |
CN109048843B (zh) * | 2018-09-14 | 2024-03-29 | 昆明理工大学 | 一种捡球机器人 |
WO2020060794A1 (en) * | 2018-09-17 | 2020-03-26 | Covidien Lp | Surgical robotic systems |
US11685052B2 (en) * | 2018-09-18 | 2023-06-27 | Kinova Inc. | Vision guided robot arm and method for operating the same |
JP7263724B2 (ja) * | 2018-09-27 | 2023-04-25 | 株式会社デンソーウェーブ | ロボットの制御方法 |
JP7172399B2 (ja) * | 2018-10-03 | 2022-11-16 | カシオ計算機株式会社 | 制御装置、ロボット、制御方法及びプログラム |
CN109491902B (zh) * | 2018-11-01 | 2023-04-18 | 京东方科技集团股份有限公司 | 交互测试方法、装置及*** |
JP7044047B2 (ja) * | 2018-12-14 | 2022-03-30 | トヨタ自動車株式会社 | ロボット |
KR102619004B1 (ko) | 2018-12-14 | 2023-12-29 | 삼성전자 주식회사 | 로봇 장치 및 로봇의 작업 기술을 학습하는 방법 |
RU192186U1 (ru) * | 2018-12-21 | 2019-09-05 | Ооо "Мера-Тсп" | Силовой джойстик |
WO2020139105A1 (ru) * | 2018-12-26 | 2020-07-02 | Публичное Акционерное Общество "Сбербанк России" | Способ и система предиктивного избегания столкновения манипулятора с человеком |
JP7128736B2 (ja) * | 2018-12-27 | 2022-08-31 | 川崎重工業株式会社 | ロボット制御装置、ロボットシステム及びロボット制御方法 |
US11185978B2 (en) | 2019-01-08 | 2021-11-30 | Honda Motor Co., Ltd. | Depth perception modeling for grasping objects |
US10870204B2 (en) | 2019-01-25 | 2020-12-22 | Mujin, Inc. | Robotic system control method and controller |
US10456915B1 (en) | 2019-01-25 | 2019-10-29 | Mujin, Inc. | Robotic system with enhanced scanning mechanism |
CN109773793B (zh) * | 2019-02-25 | 2022-03-25 | 太仓中科信息技术研究院 | 用于摄像机器人的碰撞检测***及方法 |
JP7273538B2 (ja) * | 2019-02-26 | 2023-05-15 | パナソニックホールディングス株式会社 | 装置、方法、及びプログラム |
CN109807909B (zh) * | 2019-03-04 | 2020-12-11 | 清研同创机器人(天津)有限公司 | 七自由度喷涂机器人 |
US11945113B2 (en) * | 2019-03-15 | 2024-04-02 | Omron Corporation | Parameter adjustment device, parameter adjustment method, and program |
WO2020188661A1 (ja) * | 2019-03-15 | 2020-09-24 | オムロン株式会社 | 設定支援装置、設定支援方法及びプログラム |
US11170526B2 (en) * | 2019-03-26 | 2021-11-09 | Samsung Electronics Co., Ltd. | Method and apparatus for estimating tool trajectories |
WO2020203793A1 (ja) * | 2019-03-29 | 2020-10-08 | 株式会社エスイーフォー | ロボットの制御装置、制御ユニット、それらを有するロボット制御システム |
US10906184B2 (en) * | 2019-03-29 | 2021-02-02 | Mujin, Inc. | Method and control system for verifying and updating camera calibration for robot control |
US10399227B1 (en) | 2019-03-29 | 2019-09-03 | Mujin, Inc. | Method and control system for verifying and updating camera calibration for robot control |
EP3946840A4 (en) | 2019-04-04 | 2022-12-28 | Plus One Robotics, Inc. | INDUSTRIAL ROBOTICS SYSTEMS AND METHODS FOR CONTINUOUS AND AUTOMATIC LEARNING |
US11813758B2 (en) * | 2019-04-05 | 2023-11-14 | Dexterity, Inc. | Autonomous unknown object pick and place |
US11318618B2 (en) | 2019-04-05 | 2022-05-03 | Verb Surgical Inc. | Robotic surgical system and method for handling real-time and non-real-time traffic |
EP3953855A4 (en) | 2019-04-11 | 2023-01-25 | Plus One Robotics, Inc. | SYSTEMS AND METHODS FOR IDENTIFYING PACKAGE PROPERTIES IN AN AUTOMATED INDUSTRIAL ROBOTICS SYSTEM |
JP7511259B2 (ja) | 2019-04-17 | 2024-07-05 | リアルタイム ロボティクス, インコーポレーテッド | モーション計画グラフ生成ユーザインターフェース、システム、方法、および物品 |
US11132845B2 (en) * | 2019-05-22 | 2021-09-28 | Microsoft Technology Licensing, Llc | Real-world object recognition for computing device |
JP7226101B2 (ja) * | 2019-05-28 | 2023-02-21 | オムロン株式会社 | 安全監視システム、安全監視制御装置、および安全監視方法 |
US10696493B1 (en) | 2019-05-31 | 2020-06-30 | Mujin, Inc. | Robotic system with packing mechanism |
US10679379B1 (en) | 2019-05-31 | 2020-06-09 | Mujin, Inc. | Robotic system with dynamic packing mechanism |
US10647528B1 (en) | 2019-05-31 | 2020-05-12 | Mujin, Inc. | Robotic system for palletizing packages using real-time placement simulation |
US10696494B1 (en) | 2019-05-31 | 2020-06-30 | Mujin, Inc. | Robotic system for processing packages arriving out of sequence |
WO2020242487A1 (en) * | 2019-05-31 | 2020-12-03 | Siemens Aktiengesellschaft | Method for dynamic multi-dimensional spatio-temporal human machine interaction and feedback |
US10618172B1 (en) | 2019-05-31 | 2020-04-14 | Mujin, Inc. | Robotic system with error detection and dynamic packing mechanism |
US11077554B2 (en) | 2019-05-31 | 2021-08-03 | Mujin, Inc. | Controller and control method for robotic system |
US11883963B2 (en) * | 2019-06-03 | 2024-01-30 | Cushybots Corporation | Robotic platform for interactive play using a telepresence robot surrogate |
US11216480B2 (en) | 2019-06-14 | 2022-01-04 | Nuance Communications, Inc. | System and method for querying data points from graph data structures |
US11043207B2 (en) | 2019-06-14 | 2021-06-22 | Nuance Communications, Inc. | System and method for array data simulation and customized acoustic modeling for ambient ASR |
US11227679B2 (en) | 2019-06-14 | 2022-01-18 | Nuance Communications, Inc. | Ambient clinical intelligence system and method |
US20210323581A1 (en) * | 2019-06-17 | 2021-10-21 | Lg Electronics Inc. | Mobile artificial intelligence robot and method of controlling the same |
CN110393399B (zh) * | 2019-06-25 | 2021-01-29 | 美克国际家居用品股份有限公司 | 一种智能组装拆卸家具用展示*** |
DE102019004478B3 (de) * | 2019-06-26 | 2020-10-29 | Franka Emlka Gmbh | System zum Vornehmen einer Eingabe an einem Robotermanipulator |
WO2020261881A1 (ja) * | 2019-06-27 | 2020-12-30 | パナソニックIpマネジメント株式会社 | エンドエフェクタの制御システムおよびエンドエフェクタの制御方法 |
US11531807B2 (en) | 2019-06-28 | 2022-12-20 | Nuance Communications, Inc. | System and method for customized text macros |
DE102019118260B3 (de) * | 2019-07-05 | 2020-08-20 | Franka Emika Gmbh | Taktile Rückmeldung eines Endeffektors eines Robotermanipulators über verschiedene Orientierungsbereiche |
US12032992B2 (en) | 2019-07-19 | 2024-07-09 | Toyota Research Institute, Inc. | Methods and systems for performing tasks based on a global model |
JP7306908B2 (ja) * | 2019-07-23 | 2023-07-11 | ファナック株式会社 | ロボットハンド制御装置、ロボットシステムおよびロボットハンド制御方法 |
US11491658B2 (en) * | 2019-07-23 | 2022-11-08 | Toyota Research Institute, Inc. | Methods and systems for automatically annotating items by robots |
US11580724B2 (en) * | 2019-07-23 | 2023-02-14 | Toyota Research Institute, Inc. | Virtual teach and repeat mobile manipulation system |
US11213953B2 (en) * | 2019-07-26 | 2022-01-04 | Google Llc | Efficient robot control based on inputs from remote client devices |
JP2021020309A (ja) * | 2019-07-30 | 2021-02-18 | 株式会社ダイアディックシステムズ | ロボット制御プログラム生成システム、ロボット制御プログラム生成方法、及びプログラム |
JP7339806B2 (ja) * | 2019-08-05 | 2023-09-06 | 川崎重工業株式会社 | 制御システム、ロボットシステム及び制御方法 |
KR20190104483A (ko) * | 2019-08-21 | 2019-09-10 | 엘지전자 주식회사 | 로봇 시스템 및 그 제어 방법 |
CN110562553B (zh) * | 2019-08-22 | 2021-04-09 | 深海弈智京山智能科技有限公司 | 一种下纸视觉引导***及引导方法 |
US11262887B2 (en) | 2019-09-13 | 2022-03-01 | Toyota Research Institute, Inc. | Methods and systems for assigning force vectors to robotic tasks |
US11958183B2 (en) | 2019-09-19 | 2024-04-16 | The Research Foundation For The State University Of New York | Negotiation-based human-robot collaboration via augmented reality |
EP4034374A1 (en) | 2019-09-23 | 2022-08-03 | NIKE Innovate C.V. | Manufacturing systems for applying materials to articles of apparel and methods of using the same |
US11670408B2 (en) | 2019-09-30 | 2023-06-06 | Nuance Communications, Inc. | System and method for review of automated clinical documentation |
IL291995A (en) * | 2019-10-10 | 2022-06-01 | The State Of Israel Ministry Of Agriculture & Rural Development Agricultural Res Organization Aro Vo | A human robot guidance system for identifying agricultural objects in an incomprehensible and noisy environment by combining laser and vision |
DE102019128082B4 (de) * | 2019-10-17 | 2022-03-10 | Franka Emika Gmbh | Drehmomentbegrenztes Bremsen eines Robotermanipulators |
US20220379468A1 (en) * | 2019-10-22 | 2022-12-01 | Universal Robots A/S | Robot arm with adaptive three-dimensional boundary in free-drive |
US10906188B1 (en) | 2019-10-25 | 2021-02-02 | Dexterity, Inc. | Singulation of arbitrary mixed items |
AU2020257165A1 (en) | 2019-10-28 | 2021-05-13 | The Raymond Corporation | Systems and methods for transferring routes between material handling devices |
EP4051464A4 (en) * | 2019-10-29 | 2023-07-19 | ABB Schweiz AG | SYSTEM AND METHOD FOR ONLINE OPTIMIZATION OF A SENSOR FUSION MODEL |
JP7415447B2 (ja) * | 2019-10-31 | 2024-01-17 | セイコーエプソン株式会社 | ロボットシステム |
DE102019217630B3 (de) * | 2019-11-15 | 2021-01-14 | Kuka Deutschland Gmbh | Verfahren zum Ausführen einer Applikation eines Robotersystems |
CN110900604B (zh) * | 2019-12-02 | 2021-01-05 | 浙江大学 | 基于双机械臂协作打磨***的动力学模型设计方法 |
MX2022006131A (es) * | 2019-12-05 | 2022-06-17 | Magna Int Inc | Metodo y configuracion para robotica sin vallas. |
US11584004B2 (en) * | 2019-12-17 | 2023-02-21 | X Development Llc | Autonomous object learning by robots triggered by remote operators |
JP2021102240A (ja) * | 2019-12-25 | 2021-07-15 | セイコーエプソン株式会社 | プログラム作成システム、プログラム作成装置およびロボットシステム |
US11610153B1 (en) * | 2019-12-30 | 2023-03-21 | X Development Llc | Generating reinforcement learning data that is compatible with reinforcement learning for a robotic task |
IT202000000373A1 (it) * | 2020-01-13 | 2021-07-13 | Ima Spa | Isola robotizzata per il confezionamento di articoli o prodotti |
US11741192B2 (en) * | 2020-01-29 | 2023-08-29 | International Business Machines Corporation | Increasing trust formation and reduce oversight costs for autonomous agents |
EP4099880A1 (en) * | 2020-02-06 | 2022-12-14 | Mark Oleynik | Robotic kitchen hub systems and methods for minimanipulation library |
WO2021158773A1 (en) | 2020-02-06 | 2021-08-12 | Berkshire Grey, Inc. | Systems and methods for camera calibration with a fiducial of unknown position on an articulated arm of a programmable motion device |
US11875527B1 (en) | 2020-04-13 | 2024-01-16 | Apple Inc. | Descriptor generation and point cloud fusion |
US11826908B2 (en) | 2020-04-27 | 2023-11-28 | Scalable Robotics Inc. | Process agnostic robot teaching using 3D scans |
US20210347053A1 (en) * | 2020-05-08 | 2021-11-11 | Vangogh Imaging, Inc. | Virtual presence for telerobotics in a dynamic scene |
CN111702744A (zh) * | 2020-06-10 | 2020-09-25 | 南昌大学 | 一种可双臂协作的仿人机械双臂 |
US11731271B2 (en) * | 2020-06-30 | 2023-08-22 | Microsoft Technology Licensing, Llc | Verbal-based focus-of-attention task model encoder |
US20220084306A1 (en) * | 2020-07-14 | 2022-03-17 | Kalpit Jain | Method and system of guiding a user on a graphical interface with computer vision |
US11554482B2 (en) * | 2020-07-16 | 2023-01-17 | Hitachi, Ltd. | Self-learning industrial robotic system |
EP4173776A4 (en) * | 2020-07-16 | 2023-12-27 | Sony Group Corporation | DEVICE AND METHOD FOR CONTROLLING ROBOT AND PROGRAM |
KR102386009B1 (ko) * | 2020-07-30 | 2022-04-13 | 네이버랩스 주식회사 | 로봇 작업의 학습 방법 및 로봇 시스템 |
EP3960395A1 (en) * | 2020-08-24 | 2022-03-02 | ABB Schweiz AG | Method and system for training a robot |
EP4216860A1 (en) * | 2020-09-25 | 2023-08-02 | Auris Health, Inc. | Haptic feedback for aligning robotic arms |
CN112223288B (zh) * | 2020-10-09 | 2021-09-14 | 南开大学 | 一种视觉融合的服务机器人控制方法 |
US11222103B1 (en) | 2020-10-29 | 2022-01-11 | Nuance Communications, Inc. | Ambient cooperative intelligence system and method |
US11925848B2 (en) | 2020-11-03 | 2024-03-12 | Shuhari Group, LLC | Combat applications partner |
US11948375B2 (en) | 2020-11-09 | 2024-04-02 | Walmart Apollo, Llc | System and method for optimizing container contents |
US11565406B2 (en) | 2020-11-23 | 2023-01-31 | Mitsubishi Electric Research Laboratories, Inc. | Multi-tentacular soft robotic grippers |
CN112549023B (zh) * | 2020-11-25 | 2022-05-27 | 浙江同善人工智能技术有限公司 | 基于TCP socket接口工业机器人示教器模式与协程控制方法 |
US11724407B2 (en) * | 2021-01-18 | 2023-08-15 | Xerox Corporation | Target-free RGBD camera alignment to robots |
WO2022156878A1 (en) * | 2021-01-19 | 2022-07-28 | Abb Schweiz Ag | System and method for visualizing a plurality of mobile robots |
US20220289501A1 (en) * | 2021-03-15 | 2022-09-15 | Dexterity, Inc. | Singulation of arbitrary mixed items |
US20240042617A1 (en) | 2021-03-23 | 2024-02-08 | Nec Corporation | Information processing device, modification system, information processing method, and non-transitory computer-readable medium |
US20220331966A1 (en) * | 2021-04-09 | 2022-10-20 | Beyond Imagination Inc. | Mobility surrogates |
CA3230947A1 (en) | 2021-09-08 | 2023-03-16 | Patrick McKinley JARVIS | Wearable robot data collection system with human-machine operation interface |
DE102021125157A1 (de) | 2021-09-28 | 2023-03-30 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Benutzerschnittstellenvorrichtung, Endeffektor, Roboter und Verfahren zum Kontrollieren einer Benutzerschnittstellenvorrichtung, eines Endeffektors und/oder eines Roboters |
CN118055897A (zh) | 2021-10-06 | 2024-05-17 | 伯克希尔格雷营业股份有限公司 | 利用转移***对提供在升高车辆中的物体的动态处理和用于接收物体的方法 |
CN113799143B (zh) * | 2021-11-18 | 2022-04-19 | 广东隆崎机器人有限公司 | 一种多机器人在工作区域内的安全协作方法及装置 |
US11989843B2 (en) | 2022-06-22 | 2024-05-21 | Snap Inc. | Robotic learning of assembly tasks using augmented reality |
CN115431251B (zh) * | 2022-09-16 | 2023-03-21 | 哈尔滨工业大学 | 一种仿人机器人上肢 |
EP4403318A1 (en) * | 2023-01-19 | 2024-07-24 | Honda Research Institute Europe GmbH | Robot system and method for learning one or more new semantic relations in a knowledge base of physical skills |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1537959A2 (en) * | 2003-11-24 | 2005-06-08 | Abb Research Ltd. | A method and a system for programming an industrial robot |
US20080161829A1 (en) * | 2006-12-27 | 2008-07-03 | Mako Surgical Corp. | Apparatus and method for providing an adjustable positive stop in space |
US20100184011A1 (en) * | 2009-01-21 | 2010-07-22 | International Business Machines Corporation | Machine, system and method for user-guided teaching of deictic references and referent objects of deictic references to a conversational command and control system |
US20100188034A1 (en) * | 2009-01-23 | 2010-07-29 | Derek Young | Trainable Robot and Method of Training |
WO2010122445A1 (en) * | 2009-04-23 | 2010-10-28 | Koninklijke Philips Electronics N.V. | Object-learning robot and method |
CN101903838A (zh) * | 2007-12-21 | 2010-12-01 | 库卡罗伯特有限公司 | 工业机器人和对工业机器人编程的方法 |
EP2258521A1 (en) * | 2008-02-28 | 2010-12-08 | Panasonic Corporation | Control apparatus and control method for a robot arm, robot, control program for a robot arm, and electronic integrated circuit for controlling a robot arm |
US20120072023A1 (en) * | 2010-09-22 | 2012-03-22 | Toyota Motor Engineering & Manufacturing North America, Inc. | Human-Robot Interface Apparatuses and Methods of Controlling Robots |
US20120130541A1 (en) * | 2010-09-07 | 2012-05-24 | Szalek Leszek A | Method and apparatus for robot teaching |
Family Cites Families (132)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6337552B1 (en) | 1999-01-20 | 2002-01-08 | Sony Corporation | Robot apparatus |
JPS52145375U (zh) * | 1976-04-30 | 1977-11-04 | ||
US4117605A (en) | 1976-06-24 | 1978-10-03 | Michael J. Freeman | Real time conversational toy having secure playback response |
JPS58195921U (ja) * | 1982-06-23 | 1983-12-26 | 本田技研工業株式会社 | ハンドルスイツチ装置 |
JPS59192491A (ja) * | 1983-04-15 | 1984-10-31 | 株式会社日立製作所 | 組立用治具と力センサとを兼ねる組込形直接教示装置 |
JPS60221288A (ja) | 1984-04-13 | 1985-11-05 | 株式会社 富士電機総合研究所 | 圧覚認識制御装置 |
JPH0445825Y2 (zh) * | 1985-10-18 | 1992-10-28 | ||
US4952772A (en) | 1988-11-16 | 1990-08-28 | Westinghouse Electric Corp. | Automatic seam tracker and real time error cumulative control system for an industrial robot |
US5652910A (en) | 1989-05-04 | 1997-07-29 | Texas Instruments Incorporated | Devices and systems with conditional instructions |
JPH0440506A (ja) * | 1990-06-06 | 1992-02-10 | Murata Mach Ltd | ロボットの教示装置 |
JP3126413B2 (ja) * | 1991-06-15 | 2001-01-22 | 松下電工株式会社 | ノンタッチスイッチ装置 |
JPH05143149A (ja) * | 1991-11-18 | 1993-06-11 | Fujitsu Ltd | ロボツト |
US5268837A (en) | 1992-04-23 | 1993-12-07 | Digital Equipment Corporation | Robotics workstation |
JPH0699375A (ja) | 1992-09-18 | 1994-04-12 | Kawasaki Heavy Ind Ltd | ロボット操作訓練装置 |
JP3080791B2 (ja) * | 1992-09-28 | 2000-08-28 | 三菱重工業株式会社 | マニプレータの直接教示用補助装置 |
DE4443669A1 (de) | 1994-12-08 | 1996-06-13 | Index Werke Kg Hahn & Tessky | Verfahren und Einrichtung zum Überwachen der Bewegung eines Maschinenbauteils |
US5650704A (en) | 1995-06-29 | 1997-07-22 | Massachusetts Institute Of Technology | Elastic actuator for precise force control |
JPH09244724A (ja) * | 1996-03-11 | 1997-09-19 | Asahi Sanac Kk | ロボットの動作プログラム作成方法及びその作成装置 |
DE19613386A1 (de) | 1996-04-03 | 1997-10-09 | Fiat Om Carrelli Elevatori | Flurförderzeug, das wahlweise manuell oder automatisch betreibbar ausgebildet ist |
WO1998002825A2 (en) | 1996-07-12 | 1998-01-22 | Francone Frank D | Computer implemented machine learning method and system |
JPH10136072A (ja) * | 1996-11-01 | 1998-05-22 | Masaru Okubo | スイッチボタン用突起片及び移動電話 |
US5783834A (en) | 1997-02-20 | 1998-07-21 | Modular Process Technology | Method and process for automatic training of precise spatial locations to a robot |
FI112334B (fi) | 1997-04-08 | 2003-11-28 | Abb Research Ltd | Menetelmä ja järjestely auton korin kokoonpanoon |
US6363301B1 (en) | 1997-06-04 | 2002-03-26 | Nativeminds, Inc. | System and method for automatically focusing the attention of a virtual robot interacting with users |
US6353814B1 (en) | 1997-10-08 | 2002-03-05 | Michigan State University | Developmental learning machine and method |
JPH11254361A (ja) * | 1998-03-13 | 1999-09-21 | Sumitomo Heavy Ind Ltd | ロボットにおけるダイレクトティーチングのモード切替え方式 |
US6951535B2 (en) | 2002-01-16 | 2005-10-04 | Intuitive Surgical, Inc. | Tele-medicine system that transmits an entire state of a subsystem |
JP3300682B2 (ja) * | 1999-04-08 | 2002-07-08 | ファナック株式会社 | 画像処理機能を持つロボット装置 |
US6484083B1 (en) | 1999-06-07 | 2002-11-19 | Sandia Corporation | Tandem robot control system and method for controlling mobile robots in tandem |
EP1232424A1 (en) | 1999-11-18 | 2002-08-21 | The Procter & Gamble Company | Home cleaning robot |
JP2001166804A (ja) | 1999-12-10 | 2001-06-22 | Sony Corp | 学習式動作制御装置およびその方法、並びに提供媒体 |
WO2001084260A2 (en) * | 2000-05-01 | 2001-11-08 | Irobot Corporation | Method and system for remote control of mobile robot |
US7236618B1 (en) * | 2000-07-07 | 2007-06-26 | Chee-Kong Chui | Virtual surgery system with force feedback |
WO2002029700A2 (en) | 2000-10-05 | 2002-04-11 | Siemens Corporate Research, Inc. | Intra-operative image-guided neurosurgery with augmented reality visualization |
US6553311B2 (en) * | 2000-12-08 | 2003-04-22 | Trimble Navigation Limited | Navigational off- line and off-heading indication system and method |
US20020165839A1 (en) * | 2001-03-14 | 2002-11-07 | Taylor Kevin M. | Segmentation and construction of segmentation classifiers |
JP2002301674A (ja) | 2001-04-03 | 2002-10-15 | Sony Corp | 脚式移動ロボット及びその運動教示方法、並びに記憶媒体 |
US7328196B2 (en) | 2003-12-31 | 2008-02-05 | Vanderbilt University | Architecture for multiple interacting robot intelligences |
DE60118317T2 (de) | 2001-04-30 | 2006-12-14 | Sony France S.A. | Autonom Roboter |
SE0103994L (sv) | 2001-11-29 | 2003-05-30 | Abb Ab | An industrial robot system and a method for programming thereof |
US6587752B1 (en) * | 2001-12-25 | 2003-07-01 | National Institute Of Advanced Industrial Science And Technology | Robot operation teaching method and apparatus |
JP2005515910A (ja) | 2002-01-31 | 2005-06-02 | ブレインテック カナダ インコーポレイテッド | シングルカメラ3dビジョンガイドロボティクスの方法および装置 |
EP1474271A1 (en) | 2002-01-31 | 2004-11-10 | Abb Research Ltd. | Robot machining tool position and orientation calibration |
JP3529049B2 (ja) | 2002-03-06 | 2004-05-24 | ソニー株式会社 | 学習装置及び学習方法並びにロボット装置 |
US6826452B1 (en) | 2002-03-29 | 2004-11-30 | The Penn State Research Foundation | Cable array robot for material handling |
NO317898B1 (no) | 2002-05-24 | 2004-12-27 | Abb Research Ltd | Fremgangsmate og system for a programmere en industrirobot |
EP1532599B1 (de) | 2002-08-17 | 2009-11-04 | Abb Research Ltd. | Verfahren zum betrieb eines systems mit einer vielzahl knoten und einer basisstation,gemäss tdma und system hierzu |
SE524627C2 (sv) | 2002-10-07 | 2004-09-07 | Abb Research Ltd | Trådlös regulator och förfarande för styrning av en anordning anordnad relativt en robot |
JP3715617B2 (ja) * | 2002-12-02 | 2005-11-09 | ファナック株式会社 | 生産セル |
SE525108C2 (sv) | 2002-12-30 | 2004-11-30 | Abb Research Ltd | Metod och system för programmering av en industrirobot, datorprogramprodukt, datorläsbart medium samt användning |
JP3951235B2 (ja) | 2003-02-19 | 2007-08-01 | ソニー株式会社 | 学習装置及び学習方法並びにロボット装置 |
JP3950805B2 (ja) | 2003-02-27 | 2007-08-01 | ファナック株式会社 | 教示位置修正装置 |
US20070061041A1 (en) | 2003-09-02 | 2007-03-15 | Zweig Stephen E | Mobile robot with wireless location sensing apparatus |
US7096090B1 (en) | 2003-11-03 | 2006-08-22 | Stephen Eliot Zweig | Mobile robotic router with web server and digital radio links |
WO2005045729A1 (de) | 2003-11-10 | 2005-05-19 | Siemens Aktiengesellschaft | System und verfahren zur durchführung und visualisierung von simulationen in einer erweiterten realität |
SE0303145D0 (sv) | 2003-11-23 | 2003-11-23 | Abb Research Ltd | Method for optimising the performance of a robot |
US7181314B2 (en) | 2003-11-24 | 2007-02-20 | Abb Research Ltd. | Industrial robot with controlled flexibility and simulated force for automated assembly |
SE0303445L (sv) | 2003-12-17 | 2005-06-18 | Abb Research Ltd | Verktyg för en industrirobot |
US7236854B2 (en) | 2004-01-05 | 2007-06-26 | Abb Research Ltd. | Method and a system for programming an industrial robot |
US7308112B2 (en) | 2004-05-14 | 2007-12-11 | Honda Motor Co., Ltd. | Sign based human-machine interaction |
US9110456B2 (en) | 2004-09-08 | 2015-08-18 | Abb Research Ltd. | Robotic machining with a flexible manipulator |
US7626569B2 (en) | 2004-10-25 | 2009-12-01 | Graphics Properties Holdings, Inc. | Movable audio/video communication interface system |
SE0402750D0 (sv) | 2004-11-10 | 2004-11-10 | Abb Ab | A calibration method |
SE0402891D0 (sv) | 2004-11-26 | 2004-11-26 | Abb Ab | A system and a method for controlling movements of an industrial robot |
SE0402945D0 (sv) | 2004-11-30 | 2004-11-30 | Abb Research Ltd | Industrial robot |
US20060178775A1 (en) | 2005-02-04 | 2006-08-10 | George Zhang | Accelerometer to monitor movement of a tool assembly attached to a robot end effector |
US7643907B2 (en) | 2005-02-10 | 2010-01-05 | Abb Research Ltd. | Method and apparatus for developing a metadata-infused software program for controlling a robot |
EP1719588A1 (en) | 2005-05-02 | 2006-11-08 | Abb Research Ltd. | A robot control system comprising a portable operating device with safety equipment |
EP1739594B1 (en) | 2005-06-27 | 2009-10-28 | Honda Research Institute Europe GmbH | Peripersonal space and object recognition for humanoid robots |
US20070001638A1 (en) | 2005-07-01 | 2007-01-04 | Fsi International, Inc. | Robot with vibration sensor device |
US8160743B2 (en) | 2005-08-16 | 2012-04-17 | Brainlab Ag | Anthropomorphic medical robot arm with movement restrictions |
US7720572B2 (en) | 2005-09-30 | 2010-05-18 | Irobot Corporation | Companion robot for personal interaction |
DE102005054575B3 (de) | 2005-11-16 | 2007-04-26 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Verfahren zur Regelung eines Roboterarms sowie Roboter zur Durchführung des Verfahrens |
US8667657B2 (en) | 2006-01-18 | 2014-03-11 | Abb Technology Ag | Method and apparatus for engine piston installation by use of industrial robots |
EP1820611B1 (en) | 2006-02-17 | 2008-10-08 | Abb Research Ltd. | An industrial robot system |
JP4908020B2 (ja) | 2006-03-02 | 2012-04-04 | 本田技研工業株式会社 | ハンド制御システム |
US20080065257A1 (en) | 2006-09-13 | 2008-03-13 | Jianmin He | Controlled material removal rate (CMRR) and self-tuning force control in robotic machining process |
TWI349870B (en) | 2006-11-22 | 2011-10-01 | Ind Tech Res Inst | Device and method of tactile sensing for human robot interaction |
EP1927440A1 (en) | 2006-11-30 | 2008-06-04 | Abb Research Ltd. | Method and device for monitoring the condition of an industrial robot |
EP1932629B1 (en) | 2006-12-11 | 2019-04-24 | ABB Research Ltd. | A method and a control system for monitoring the condition of an industrial robot |
TWI306051B (en) * | 2006-12-14 | 2009-02-11 | Ind Tech Res Inst | Robotic apparatus with surface information displaying and interaction capability |
ATE465851T1 (de) | 2006-12-19 | 2010-05-15 | Abb Research Ltd | Verfahren und vorrichtung zur handhabung von teilen |
ATE542644T1 (de) | 2006-12-22 | 2012-02-15 | Abb Research Ltd | Steuersystem |
EP1955830B1 (en) | 2007-02-06 | 2014-04-09 | Abb Research Ltd. | A method and a control system for monitoring the condition of an industrial robot |
EP1958738B1 (en) | 2007-02-13 | 2013-08-14 | Abb Research Ltd. | Remote diagnostic system for robots |
EP1965281A1 (en) | 2007-03-02 | 2008-09-03 | Abb Research Ltd. | Dynamic maintenance plan for an industrial robot |
EP1967333A1 (en) | 2007-03-09 | 2008-09-10 | Abb Research Ltd. | Detection of condition changes in an industrial robot system |
JP4877810B2 (ja) | 2007-04-02 | 2012-02-15 | 株式会社国際電気通信基礎技術研究所 | 物体の視覚的表現を学習するための学習システム及びコンピュータプログラム |
US20090132088A1 (en) | 2007-04-24 | 2009-05-21 | Tairob Ltd. | Transfer of knowledge from a human skilled worker to an expert machine - the learning process |
WO2008147239A1 (en) | 2007-05-28 | 2008-12-04 | Budker Institute Of Nuclear Physics Sibirskogo Otdeleniya Rossiiskoi Akademii Nauk | Lithium container |
US8364312B2 (en) | 2007-06-06 | 2013-01-29 | Cycogs, Llc | Modular rotary multi-sensor sensor ring |
US7957583B2 (en) | 2007-08-02 | 2011-06-07 | Roboticvisiontech Llc | System and method of three-dimensional pose estimation |
WO2009071567A1 (en) | 2007-12-05 | 2009-06-11 | Abb Research Ltd | A production line and a method for operating a such |
ATE524772T1 (de) | 2007-12-06 | 2011-09-15 | Abb Research Ltd | Roboterbetriebssystem und verfahren zur bereitstellung einer fernsteuerung für einen roboter |
FR2926240B1 (fr) | 2008-01-15 | 2010-04-30 | Blm | Procede pour l'apprentissage d'un robot ou similaire et dispositif pour la mise en oeuvre de ce procede. |
JP5213023B2 (ja) | 2008-01-15 | 2013-06-19 | 本田技研工業株式会社 | ロボット |
US8140188B2 (en) | 2008-02-18 | 2012-03-20 | Toyota Motor Engineering & Manufacturing North America, Inc. | Robotic system and method for observing, learning, and supporting human activities |
US8571706B2 (en) | 2008-02-20 | 2013-10-29 | Abb Research Ltd. | Method and system for optimizing the layout of a robot work cell |
US20090306825A1 (en) | 2008-04-21 | 2009-12-10 | Ying Li | Manipulation system and method |
JP5093498B2 (ja) * | 2008-07-09 | 2012-12-12 | 花王株式会社 | マニプレータシステム |
BRPI0917175A2 (pt) | 2008-08-27 | 2015-11-24 | Abb Research Ltd | robô para ambientes externos hostis |
JP2010094777A (ja) * | 2008-10-16 | 2010-04-30 | Fuji Electric Systems Co Ltd | 遠隔操作支援装置 |
DE102008043360A1 (de) | 2008-10-31 | 2010-05-12 | Kuka Roboter Gmbh | Industrieroboter und Verfahren zum Programmieren eines Industrieroboters |
WO2010063319A1 (en) | 2008-12-03 | 2010-06-10 | Abb Research Ltd. | A robot safety system and a method |
US9108316B2 (en) | 2008-12-10 | 2015-08-18 | Abb Research Ltd. | Method and system for in-production optimization of the parameters of a robot used for assembly |
US9199382B2 (en) | 2008-12-17 | 2015-12-01 | Abb Research Ltd. | Damage-preventing system for manipulator |
WO2010083259A2 (en) | 2009-01-13 | 2010-07-22 | Meimadtek Ltd. | Method and system for operating a self-propelled vehicle according to scene images |
EP2390064A4 (en) | 2009-01-22 | 2013-03-27 | Panasonic Corp | APPARATUS AND METHOD FOR CONTROLLING A ROBOT ARM, ROBOT, PROGRAM FOR CONTROLLING A ROBOT ARM, AND INTEGRATED ELECTRONIC CIRCUIT |
US8677854B2 (en) | 2009-04-15 | 2014-03-25 | ABB Researched Ltd. | Apparatus for a robot arm |
CN101590648A (zh) * | 2009-05-14 | 2009-12-02 | 天津工程师范学院 | 基于脑-机接口的服务机器人*** |
US20100312391A1 (en) | 2009-06-05 | 2010-12-09 | Abb Research Ltd. | Calibration Of A Lead-Through Teaching Device For An Industrial Robot |
PL2490867T3 (pl) | 2009-10-22 | 2015-02-27 | Abb Research Ltd | Część robota i sposób zabezpieczenia części robota |
CN102448681B (zh) | 2009-12-28 | 2014-09-10 | 松下电器产业株式会社 | 动作空间提示装置、动作空间提示方法以及程序 |
KR101145243B1 (ko) | 2010-03-31 | 2012-05-24 | 한국과학기술연구원 | 다관절 매니퓰레이터의 위치센서를 이용한 제한 공간 산출 방법 |
WO2011140704A1 (en) | 2010-05-11 | 2011-11-17 | Abb Research Ltd. | Apparatus, method, program and recording medium for robot offline teaching |
WO2011153156A2 (en) | 2010-06-02 | 2011-12-08 | Abb Research Ltd | Robotic assembly with partial fixturing |
EP2404712A1 (en) | 2010-07-07 | 2012-01-11 | ABB Research Ltd. | A dual arm robot and a method for controlling a dual arm robot |
SE1050763A1 (sv) | 2010-07-08 | 2010-07-12 | Abb Research Ltd | En metod för att kalibrera en mobil robot |
WO2012020858A1 (ko) | 2010-08-11 | 2012-02-16 | (주) 퓨처로봇 | 식당의 고객 서비스 및 계산 가능한 지능형 주행로봇 |
EP2608938B1 (en) | 2010-08-27 | 2014-07-02 | ABB Research LTD | Vision-guided alignment system and method |
WO2012031635A1 (en) | 2010-09-10 | 2012-03-15 | Abb Research Ltd. | Industrial robot |
KR20120047577A (ko) | 2010-11-04 | 2012-05-14 | 주식회사 케이티 | 대화형 행동모델을 이용한 로봇 인터랙션 서비스 제공 장치 및 방법 |
KR101453234B1 (ko) * | 2010-11-17 | 2014-10-22 | 미쓰비시덴키 가부시키가이샤 | 워크 취출 장치 |
CN102060986A (zh) | 2010-11-30 | 2011-05-18 | 中国科学院宁波材料技术与工程研究所 | 一种芳香族—脂肪族嵌段共聚酯及其制备方法 |
EP2673119B1 (en) | 2011-02-07 | 2015-12-16 | ABB Research Ltd. | Industrial robot with a collapsible process force applicator |
CN102655425B (zh) | 2011-03-02 | 2014-12-10 | 爱立信(中国)通信有限公司 | 调控波束方向改变而导致的上行负载变化的方法和基站 |
DE102011006420A1 (de) | 2011-03-30 | 2012-10-04 | Robert Bosch Gmbh | Steuerschaltung, Sensoranordnung und Verfahren zum Betrieb einer Steuerschaltung |
US8588972B2 (en) | 2011-04-17 | 2013-11-19 | Hei Tao Fung | Method for creating low-cost interactive entertainment robots |
US8639644B1 (en) * | 2011-05-06 | 2014-01-28 | Google Inc. | Shared robot knowledge base for use with cloud computing system |
US9002098B1 (en) * | 2012-01-25 | 2015-04-07 | Hrl Laboratories, Llc | Robotic visual perception system |
US9092698B2 (en) | 2012-06-21 | 2015-07-28 | Rethink Robotics, Inc. | Vision-guided robots and methods of training them |
US20230345750A1 (en) | 2020-09-18 | 2023-10-26 | Samsung Display Co., Ltd. | Organic electroluminescent device |
-
2012
- 2012-09-17 US US13/621,658 patent/US9092698B2/en active Active
- 2012-09-17 US US13/621,657 patent/US8958912B2/en active Active
- 2012-09-17 US US13/621,648 patent/US20130343640A1/en not_active Abandoned
- 2012-09-17 US US13/621,708 patent/US8965580B2/en active Active
- 2012-09-17 US US13/621,519 patent/US8996174B2/en active Active
- 2012-09-17 US US13/621,517 patent/US8996167B2/en active Active
- 2012-09-17 US US13/621,561 patent/US8965576B2/en active Active
- 2012-09-17 US US13/621,687 patent/US9434072B2/en active Active
- 2012-09-17 US US13/621,706 patent/US8996175B2/en active Active
-
2013
- 2013-06-21 CN CN201380043813.2A patent/CN104602868B/zh active Active
- 2013-06-21 EP EP13740398.6A patent/EP2864084A2/en not_active Ceased
- 2013-06-21 EP EP13740399.4A patent/EP2864085B1/en active Active
- 2013-06-21 WO PCT/US2013/046977 patent/WO2013192492A1/en active Application Filing
- 2013-06-21 JP JP2015518601A patent/JP6314134B2/ja active Active
- 2013-06-21 CN CN201380043208.5A patent/CN104640677B/zh active Active
- 2013-06-21 WO PCT/US2013/046996 patent/WO2013192500A2/en active Application Filing
- 2013-06-21 WO PCT/US2013/046973 patent/WO2013192490A2/en active Application Filing
- 2013-06-21 JP JP2015518598A patent/JP2015520040A/ja active Pending
-
2015
- 2015-06-24 US US14/749,033 patent/US9701015B2/en active Active
- 2015-06-24 US US14/749,017 patent/US9669544B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1537959A2 (en) * | 2003-11-24 | 2005-06-08 | Abb Research Ltd. | A method and a system for programming an industrial robot |
US20080161829A1 (en) * | 2006-12-27 | 2008-07-03 | Mako Surgical Corp. | Apparatus and method for providing an adjustable positive stop in space |
CN101903838A (zh) * | 2007-12-21 | 2010-12-01 | 库卡罗伯特有限公司 | 工业机器人和对工业机器人编程的方法 |
EP2258521A1 (en) * | 2008-02-28 | 2010-12-08 | Panasonic Corporation | Control apparatus and control method for a robot arm, robot, control program for a robot arm, and electronic integrated circuit for controlling a robot arm |
US20100184011A1 (en) * | 2009-01-21 | 2010-07-22 | International Business Machines Corporation | Machine, system and method for user-guided teaching of deictic references and referent objects of deictic references to a conversational command and control system |
US20100188034A1 (en) * | 2009-01-23 | 2010-07-29 | Derek Young | Trainable Robot and Method of Training |
WO2010122445A1 (en) * | 2009-04-23 | 2010-10-28 | Koninklijke Philips Electronics N.V. | Object-learning robot and method |
US20120130541A1 (en) * | 2010-09-07 | 2012-05-24 | Szalek Leszek A | Method and apparatus for robot teaching |
US20120072023A1 (en) * | 2010-09-22 | 2012-03-22 | Toyota Motor Engineering & Manufacturing North America, Inc. | Human-Robot Interface Apparatuses and Methods of Controlling Robots |
Cited By (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220212342A1 (en) * | 2013-06-14 | 2022-07-07 | Brain Corporation | Predictive robotic controller apparatus and methods |
CN106325228B (zh) * | 2015-06-26 | 2020-03-20 | 北京贝虎机器人技术有限公司 | 机器人的控制数据的生成方法及装置 |
WO2016206643A1 (zh) * | 2015-06-26 | 2016-12-29 | 北京贝虎机器人技术有限公司 | 机器人交互行为的控制方法、装置及机器人 |
CN106325065A (zh) * | 2015-06-26 | 2017-01-11 | 北京贝虎机器人技术有限公司 | 机器人交互行为的控制方法、装置及机器人 |
CN106325228A (zh) * | 2015-06-26 | 2017-01-11 | 北京贝虎机器人技术有限公司 | 机器人的控制数据的生成方法及装置 |
WO2016206642A1 (zh) * | 2015-06-26 | 2016-12-29 | 北京贝虎机器人技术有限公司 | 机器人的控制数据的生成方法及装置 |
CN108367434A (zh) * | 2015-10-08 | 2018-08-03 | 哈达丁贝特利刚格斯公司 | 机器人***和控制机器人***的方法 |
CN113232017A (zh) * | 2016-07-28 | 2021-08-10 | X开发有限责任公司 | 基于现场采集的测量的定制机器人安装 |
CN109922931A (zh) * | 2016-11-11 | 2019-06-21 | 精工爱普生株式会社 | 机器人控制装置、机器人、机器人***及机器人控制方法 |
CN107123356A (zh) * | 2017-03-21 | 2017-09-01 | 上海和盛前沿科技有限公司 | 工业机器人基本技能操作平台实训方法 |
CN107943944A (zh) * | 2017-05-29 | 2018-04-20 | 小蚁科技(香港)有限公司 | 环境探索***和方法 |
US11554483B2 (en) | 2017-06-19 | 2023-01-17 | Google Llc | Robotic grasping prediction using neural networks and geometry aware object representation |
CN110691676A (zh) * | 2017-06-19 | 2020-01-14 | 谷歌有限责任公司 | 使用神经网络和几何感知对象表示的机器人抓取预测 |
CN110719828A (zh) * | 2017-11-16 | 2020-01-21 | 谷歌有限责任公司 | 机器人***的组件特征检测器 |
CN110719828B (zh) * | 2017-11-16 | 2022-10-28 | 谷歌有限责任公司 | 由数据中心机器人执行的方法和数据中心机器人*** |
TWI660254B (zh) * | 2017-12-20 | 2019-05-21 | 湧德電子股份有限公司 | 軌跡優化系統 |
CN108748152A (zh) * | 2018-06-07 | 2018-11-06 | 上海大学 | 一种机器人示教方法及*** |
CN108748152B (zh) * | 2018-06-07 | 2021-06-29 | 上海大学 | 一种机器人示教方法及*** |
CN108873774A (zh) * | 2018-06-14 | 2018-11-23 | 合肥工业大学 | 一种vex机器人教学辅助控制***及控制方法 |
CN112351868A (zh) * | 2018-06-27 | 2021-02-09 | 库卡德国有限公司 | 用于诊断机器过程的方法和*** |
CN112368656A (zh) * | 2018-07-06 | 2021-02-12 | 三菱电机株式会社 | 机器学习装置、数控装置、工作机械及机器学习方法 |
CN112368656B (zh) * | 2018-07-06 | 2021-08-20 | 三菱电机株式会社 | 机器学习装置、数控装置、工作机械及机器学习方法 |
CN111195906A (zh) * | 2018-11-20 | 2020-05-26 | 西门子工业软件有限公司 | 用于预测机器人的运动轨迹的方法和*** |
CN111195906B (zh) * | 2018-11-20 | 2023-11-28 | 西门子工业软件有限公司 | 用于预测机器人的运动轨迹的方法和*** |
TWI734055B (zh) * | 2018-11-30 | 2021-07-21 | 財團法人金屬工業研究發展中心 | 自動控制方法以及自動控制裝置 |
CN111721470A (zh) * | 2019-03-19 | 2020-09-29 | 辉达公司 | 使用深度学习的力估计 |
CN110757461A (zh) * | 2019-11-13 | 2020-02-07 | 江苏方时远略科技咨询有限公司 | 一种工业移动机器人的控制***及其控制方法 |
CN111590575A (zh) * | 2020-05-15 | 2020-08-28 | 深圳国信泰富科技有限公司 | 一种机器人的控制***及其方法 |
CN111590575B (zh) * | 2020-05-15 | 2021-12-10 | 深圳国信泰富科技有限公司 | 一种机器人的控制***及其方法 |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104640677A (zh) | 训练和操作工业机器人 | |
Wang et al. | Interactive and immersive process-level digital twin for collaborative human–robot construction work | |
El Zaatari et al. | Cobot programming for collaborative industrial tasks: An overview | |
Krupke et al. | Comparison of multimodal heading and pointing gestures for co-located mixed reality human-robot interaction | |
US9387589B2 (en) | Visual debugging of robotic tasks | |
Delmerico et al. | Spatial computing and intuitive interaction: Bringing mixed reality and robotics together | |
CN109972674B (zh) | 基于自然交互的复杂施工环境下的无人挖掘***及方法 | |
Gradmann et al. | Augmented reality robot operation interface with *** tango | |
JP6950192B2 (ja) | 情報処理装置、情報処理システム及びプログラム | |
EP3224681B1 (en) | System for virtual commissioning | |
Gorjup et al. | An intuitive, affordances oriented telemanipulation framework for a dual robot arm hand system: On the execution of bimanual tasks | |
JP2024506611A (ja) | ナビゲーション及び操作機能を含む技能をロボティック学習及び実行するシステム、装置、及び方法 | |
Dermy et al. | Multi-modal intention prediction with probabilistic movement primitives | |
Sylari et al. | Hand gesture-based on-line programming of industrial robot manipulators | |
Yu et al. | Efficiency and learnability comparison of the gesture-based and the mouse-based telerobotic systems | |
KR20230100101A (ko) | 로봇 제어 시스템 및 이를 이용한 로봇 설정 방법 및 로봇 제어 방법 | |
Katsuki et al. | Development of fast-response master-slave system using high-speed non-contact 3D sensing and high-speed robot hand | |
Solberg et al. | Utilizing Reinforcement Learning and Computer Vision in a Pick-And-Place Operation for Sorting Objects in Motion | |
US20240189993A1 (en) | System for testing and training robot control | |
Manschitz et al. | Shared Autonomy for Intuitive Teleoperation | |
Sun et al. | Direct virtual-hand interface in robot assembly programming | |
Robles | Virtual Simulation of Robotic Operations Using Gaming Software | |
RU2813444C1 (ru) | Система взаимодействия человек-робот на основе смешанной реальности | |
WO2023284960A1 (en) | Teaching a robot system using hand gesture control and visual-inertial-odometry | |
Kulakov et al. | Intelligent method of robots teaching by show |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |