CN111246977A - 用户辅助型机器人控制*** - Google Patents

用户辅助型机器人控制*** Download PDF

Info

Publication number
CN111246977A
CN111246977A CN201880034491.8A CN201880034491A CN111246977A CN 111246977 A CN111246977 A CN 111246977A CN 201880034491 A CN201880034491 A CN 201880034491A CN 111246977 A CN111246977 A CN 111246977A
Authority
CN
China
Prior art keywords
robotic
gripper
actuator
sensor
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880034491.8A
Other languages
English (en)
Inventor
M·罗森斯坦
J·赛尔哈恩
J·A·莱辛
R·克诺夫
D·哈伯格
M·基亚佩塔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Soft Robotics Inc
Original Assignee
Soft Robotics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Soft Robotics Inc filed Critical Soft Robotics Inc
Publication of CN111246977A publication Critical patent/CN111246977A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/0023—Gripper surfaces directly activated by a fluid
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/08—Gripping heads and other end effectors having finger members
    • B25J15/12—Gripping heads and other end effectors having finger members with flexible finger members
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0009—Constructional details, e.g. manipulator supports, bases
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/10—Programme-controlled manipulators characterised by positioning means for manipulator elements
    • B25J9/14—Programme-controlled manipulators characterised by positioning means for manipulator elements fluid
    • B25J9/142—Programme-controlled manipulators characterised by positioning means for manipulator elements fluid comprising inflatable bodies
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F15—FLUID-PRESSURE ACTUATORS; HYDRAULICS OR PNEUMATICS IN GENERAL
    • F15B—SYSTEMS ACTING BY MEANS OF FLUIDS IN GENERAL; FLUID-PRESSURE ACTUATORS, e.g. SERVOMOTORS; DETAILS OF FLUID-PRESSURE SYSTEMS, NOT OTHERWISE PROVIDED FOR
    • F15B15/00—Fluid-actuated devices for displacing a member from one position to another; Gearing associated therewith
    • F15B15/08—Characterised by the construction of the motor unit
    • F15B15/10—Characterised by the construction of the motor unit the motor being of diaphragm type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39466—Hand, gripper, end effector of manipulator
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39554—Gripper is formed by flexible tube, embraces object like a finger
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40253—Soft arm robot, light, rubber, very compliant
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/02—Arm motion controller
    • Y10S901/09—Closed loop, sensor feedback controls arm movement
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/27—Arm part
    • Y10S901/28—Joint
    • Y10S901/29—Wrist
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/30—End effector
    • Y10S901/31—Gripping jaw
    • Y10S901/36—Actuating means
    • Y10S901/37—Fluid motor
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/46—Sensing device
    • Y10S901/47—Optical

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Fluid Mechanics (AREA)
  • Manipulator (AREA)

Abstract

实施例涉及用户辅助型机器人控制***、用于远程控制机器人***的用户界面、机器人控制***内的视觉***以及机器人***所采用的模块化抓持器。公开了***、方法、装置和可机读介质指令以与机器人***交互和对其进行控制，尤其是与采用软机器人致动器以抓取、移动和释放目标物体的拾放***进行交互或对其进行控制。

Description

用户辅助型机器人控制***
相关申请
本申请要求于2017年3月30日提交的、题为“用户辅助型机器人控制***”的美国临时专利申请序列号62/478,775的优先权。上述申请的内容被援引纳入本文。
技术领域
本发明大体涉及机器人领域，尤其涉及用于控制机器人***的新型***。实施例可应用于各种应用中，包括(但不限于)仓储管理、订单执行、包装、再回收等。
附图说明
图1A-1D示出了根据实施例使用的示例性软机器人致动器；
图2A-G示出了根据实施例的示例性机器人***体系结构；
图3A-H示出了根据实施例的用户界面；
图4A-D示出了根据实施例的示例***的校正；
图5A-D示出了根据实施例的、分别处于未致动状态和致动状态的示例性伺服-气动控制***的一部分；
图6A-P示出了根据实施例的模块化抓持器的部件和视图；
图7是示出了适于与实施例一起使用的示例性计算装置的框图；和
图8示出了示例性通信体系结构。
具体实施方式
本发明现将参考附图在下文更全面地描述，在附图中示出了本发明的优选实施例。但本发明能以各种不同形式来体现且不应被视为被本文所阐述的实施例限制。相反，提供这些实施例是为了使本发明透彻和完整，并充分向本领域技术人员传达本发明的范围。在附图中，相同的附图标记始终指代相同的元件。
I.介绍软机器人致动器
本文所描述的实施例可与硬机器人抓持器(例如由相对硬或相对不可变形的材料比如金属、硬塑料等制成的抓持器)结合使用。然而在许多情况下，软机器人抓持器比硬机器人抓持器有所改进。下文描述提供了关于软机器人的背景信息。
传统的机器人抓持器或致动器可能是价格昂贵的且不能在某些环境中操作，其中待处理的物体的重量、尺寸和形状方面的不确定性和多样性导致无法采用如过去那样的自动化解决方案。本申请描述自适应、便宜、轻质、可定制和易使用的新型软机器人致动器的应用。
软机器人致动器可以由弹性材料比如橡胶形成，或者由以被构造为在压力作用下展开、拉伸、扭转和/或弯曲的手风琴式结构布置的塑料薄壁或其它适用的相对软的材料形成。它们可以例如通过将一片或多片弹性材料成型为期望的形状来产生。软机器人致动器可以包括可填充有膨胀流体比如空气、水或盐水的中空内部以加压、膨胀和/或致动该致动器。在致动时，致动器的形状或轮廓会改变。在手风琴式致动器的例子中(在下文中更加详述)，致动可以使致动器卷曲或拉直成预设的目标形状。处于完全未致动形状和完全致动形状之间的一个或多个中间目标形状可通过部分地膨胀致动器来实现。替代地或附加地，致动器可使用真空来致动，以将膨胀流体从致动器移除并且由此改变致动器弯曲、扭转和/或延伸的程度。
致动还可以允许致动器在物体(如待抓取或待推动的物体)上施加力。但是，与传统的硬机器人致动器不同，软致动器在被致动时保持自适应性，以使软致动器可以部分地或完全地适形于待抓持的物体的形状。它们还可在与物体碰撞时偏转，这在从一堆或者料箱中拾取出物体时是尤其相关的，因为致动器可能会碰撞到该堆中不是抓取目标的相邻物体或者料箱的侧面。此外，能够以可控方式在整个大表面区域分布施加的力的大小，因为材料可易于变形。通过这种方式，软机器人致动器可抓持物体且不对其造成损坏。
此外，软机器人致动器允许可能难以用传统硬机器人致动器来实现的运动类型或运动(包括弯曲、扭转、拉伸、收缩)的组合。
图1A-1D示出了示例性软机器人致动器。更具体地，图1A示出了软机器人致动器的部分侧视图。图1B示出了图1A中的部分的俯视图。图1C示出了包括可被用户操纵的泵的软机器人致动器的部分的侧视图。图1D示出了图1C中所示部分的替代实施例。
致动器可为软机器人致动器100，如图1A所示，其利用膨胀流体(比如空气、水或盐水)是可膨胀的。膨胀流体可经由膨胀装置120通过流体连接件118被提供。
致动器100可处于未膨胀状态，其中在致动器100中以基本与大气环境具有相同压力地存在有限量的膨胀流体。致动器100还可处于完全膨胀状态，其中在致动器100中存在预设量的膨胀流体(该预设量对应于将由致动器100施加的预设最大力或者膨胀流体施加在致动器100上的预设最大压力)。致动器100还可处于完全真空状态或部分真空状态，在完全真空状态下，所有流体均被从致动器100中移除，在部分真空状态下，一些流体以小于大气环境的压力存在于致动器100中。另外，致动器100还可处于部分膨胀状态，其中致动器100所含有的膨胀流体少于在完全膨胀状态下存在的预设量的膨胀流体但大于无(或非常有限量的)膨胀流体。
在膨胀状态，致动器100可表现出绕着中心轴线弯曲的趋势，如图1A所示。为便于讨论，本文限定几个方向。如图1B所示，通过致动器100围绕其弯曲的中心轴线的轴向。在垂直于轴向的方向上并在位于由膨胀的致动器100构成的部分圆的半径方向上延伸的径向。沿着膨胀的致动器100的圆周延伸的周向。
在膨胀状态，致动器100可在沿着致动器100的内部圆周边缘在径向上施力。例如，致动器100的远侧末端的内侧朝向中心轴线向内施加力，可利用该力以允许致动器100抓取物体(可能与一个或多个附加致动器100结合)。由于致动器100的使用材料以及大体结构，软机器人致动器100可在膨胀时保持相对适形。
致动器100可由允许相对软的或适形的结构的一种或多种弹性材料制成。取决于应用，弹性材料可选自食品安全、生物相容或医学安全的食品药品监督管理局(FDA)许可材料。该致动器100可在符合生产质量管理规范(“GMP”)的设备中制备。
致动器100可包括基本平坦的基座102，虽然为了提升致动器的抓持能力和/或弯曲能力可为该基座102添加各种改型或附加物。该基座102可形成抓取目标物体的抓持表面。
致动器100可包括一个或多个手风琴式延伸部104。该手风琴式延伸部允许致动器100在膨胀时弯曲或挠曲，从而有助于限定致动器100在处于膨胀状态时的形状。手风琴式延伸部104包括一连串的脊106和槽108。手风琴式延伸部104的尺寸与脊106和槽108的布置可改变以得到不同形状或延伸轮廓。
虽然图1A-1D中的示例致动器在展开时呈“C”形或椭圆形，但是本领域普通技术人员将会意识到本发明不仅限于此。通过改变致动器100主体的形状或手风琴式延伸部104的尺寸、位置或形态，可实现不同的尺寸、形状和形态。而且，改变提供给致动器100的膨胀流体的量允许收缩器呈在未膨胀状态和膨胀状态之间的一个或多个中间尺寸或形状。因此，单独的致动器100通过改变膨胀量在尺寸和形状方面是可缩放的，并且通过用具有不同尺寸、形状或形态的另一个致动器100来代替一个致动器100可在尺寸和形状方面进一步缩放致动器。
致动器100从近端112向远端110延伸。近端112与接口114相连。接口114允许致动器100与转毂或其它机器人部件可拆卸地联接。接口114是由医学安全材料例如聚乙烯、聚丙烯、聚碳酸酯、聚醚醚酮、丙烯腈-丁二烯-苯乙烯(“ABS”)或缩醛均聚物制成。接口114可与致动器100和软管118中的一个或两个可拆卸地联接。接口114可具有用于与致动器100连接的端口。不同的接口114可具有不同的尺寸、数量或形态的致动器端口，以便适应较大或较小的致动器、不同数量的致动器或不同形态的致动器。
用从膨胀装置120穿过比如为软管118的流体连接件被供应的膨胀流体可以使致动器100膨胀。接口114可包括阀116或可被附接至阀116，该阀用于允许流体进入致动器100并防止流体从致动器中流出(除非阀是打开的)。软管118也可能或替代地附接至位于膨胀装置120处的膨胀器阀124，以调节在膨胀装置120位置处的膨胀流体的供应。
软管118还可包括致动器连接接口122，用于在一端可拆卸地连接接口114并且在另一端可拆卸地连接膨胀装置120。通过将致动器连接接口122的两部分分离，不同的膨胀装置120可与不同的接口114和/或致动器100连接。
膨胀流体可以是例如空气或盐水。在空气的情况下，膨胀装置120可包括手动操作的球状体或波纹管，以便供应环境空气。在盐水的情况下，膨胀装置120可包括注射器或其它合适的流体递送***。替代地或附加地，膨胀装置120可包括压缩机或泵，以便供应膨胀流体。
膨胀装置120包括用于供应膨胀流体的流体供给部126。例如流体供给部126可以是用于储存压缩空气、液化的或压缩的二氧化碳、液化的或压缩的氮气或盐水的储存器或者可以是用于向软管118供应环境空气的通风口。
膨胀装置120还包括用于从流体供给部126供应膨胀流体穿过软管118到致动器100的流体递送装置128，比如泵或压缩机。流体递送装置128能够向致动器100供应流体或从致动器100中抽出流体。流体递送装置128可以被电力驱动。为供应电力，膨胀装置120可包括电源130，比如电池或与电源插座接口。
电源130也可向控制装置132供电。控制装置132可允许用户例如通过一个或多个致动按钮134(或替代装置比如开关)来控制致动器的膨胀或瘪缩。控制装置132可包括控制器136，其用于向流体递送装置128发送控制信号以使流体递送装置128向致动器100供给膨胀流体或从致动器100中抽出流体。
II.用户辅助型机器人控制***
实施例涵盖了机器人控制***的几个方面。尤其是，一些实施例涉及包括“人机回圈”形式的监督控制的总体体系结构。此***可提供硬件和软件以允许用户本地或远程地与一个或多个机器人***交互，并且可以单独地或组合地包括对机器人控制和对用于执行任务比如数据分析和数据挖掘的分析***的改进以及其它改进。
进一步的实施例涉及针对于机器人控制***的用户界面设计，其可与本文描述的其它实施例分开或结合使用。本文描述的示例用户界面可提供用于与一个或多个机器人***交互的有效且简单的程序。
进一步的实施例涉及对可视化、三维定位和机动性以及相机和机器人校正的改进还有其它改进，其可与本文描述的其它实施例分开或结合使用。
另外的一些实施例(其可与本文描述的其它实施例分开或结合使用)涉及模块化机器人抓持器，其允许不同类型或形态的抓持器快速部署成与机器人***连接。
总体体系结构接下来参见图2A-2G进行描述。除非另有注明，本文所描述的各项改进可与任意其它改进分开或结合使用。
A.体系结构总览
图2A是示出了机器人控制结构200的总览的框图。虽然图2A的示例结构包括特定元素尤其是布置或构造，但是，在不脱离本发明的范围的条件下也可采用其它元素、布置和组合。
根据实施例，用户可与电子处理装置202(台式计算机、笔记本电脑、移动电话、平板电脑、专用信息亭等)进行交互。在一些实施例中，电子装置202可设置有触摸屏或其它形式的触觉输入以允许用户通过触摸和/或手势与界面交互。在一些实施例中，电子装置202可设置有一些其它的输入形式，比如键盘、鼠标、摄像机或基于手势控制的仪器手套、麦克风以及用于执行声音控制的相关逻辑等。与电子装置的交互可呈各种控制指令的形式。控制指令可为用户对电子装置202的各种输入，例如但不限于，采用手指或触控笔触碰触敏显示器、采用输入装置来选择用户界面元素比如图标或菜单项、声音命令、运动捕捉输入、电子装置的移动等。
采用该电子装置202，用户能够与一个机器人***或多个不同的机器人***进行交互。优选地，电子装置202允许用户经由控制指令与多个(例如三个或更多个)机器人拾放站同步交互。用于控制机器人***的示例性电子装置在下文图2B中示出并且在涉及装置界面的下个部分中进一步描述。
电子装置202可包括用于连接至网络204(比如因特网)的有线的或无线的网络接口。通过该网络连接，用户能够与机器人***远程交互。例如，位于自己的家中或者办公室中的用户可对位于远程仓库、执行中心或者能够访问网络204的任意其它位置处的机器人***进行控制。
根据一些实施例，人类用户可被人工智能控制逻辑补充或者可能被替代。相应地，该***可随着技术的发展轻松升级。例如，用户起初可完全控制机器人***的抓取动作，包括为了抓取目标物品而制定机器人抓持器的哪个位置应该展开。
随着可视化以及物体识别技术的改进，该***可在不同的目标物体之间进行识别和/或区分，允许用户简单地轻敲或敲击目标物体以将其选定。该抓持器可接下来自动展开以抓取目标。在此情况下，人类用户仍然要对抓取哪个目标、按什么顺序抓取以及将目标物体释放在何处做出决定。随着人工智能控制的进一步改进，机器逻辑可完全代替人类做出这些决定。
该网络204可为因特网、公共网络、私人网络或者任意其组合。网络体系结构的示例结合图8进行更加详细的描述。
采用网络，电子装置202可与一个或多个本地(例如对于机器人***位于本地)处理器210-1，210-2...210-n交互，其中n是正整数。该本地处理器210可呈任意适用计算装置的形式，比如台式计算机、服务器、小型或微型计算机、笔记本电脑、平板电脑、移动装置、专用硬件等。在一些实施例中，每个拾放站220可与一个或多个本地处理器210相关联，该本地处理器对于拾放站而言是独有的，即其不会在拾放站之间共享。在其它实施例中，一个或多个本地处理器210可与多个拾放站相关联，例如，本地处理器210-2可与拾放站220-2和220-m相关联。
本地处理器210可从用户的电子装置202处接收输入命令并且将适用的控制指令或命令转发给机器人***。另外，本地处理器210可从机器人***(包括从部署成与机器人***连接的任意传感器)和拾放站的其它部件比如相机、传送带、料箱处接收信息。来自拾放站220的信息可被传送至用户的电子装置202以便于控制机器人***。
另外，来自本地处理器、机器人***和/或用户装置的信息可被传送至示出为图2A中的云后台240的远程处理器。该云后台240可为任意适用的电子装置，比如台式笔记本、服务器、小型或微型计算机、笔记本电脑、平板电脑、移动装置、专用硬件等。该云后台240可收集与所部署***相关的数据并且可将该数据用于多种目的。
例如，云后台240可从部署在拾放站220-1中的相机222处收集快照(例如以预设间隔或者在预设事件比如可能的故障条件发生时)。此云后台240可进一步从部署成与拾放站220-1和/或机器人结合使用的传感器处接收信息，比如从物体测距和深度传感器、抓持质量检测和传感器、关于气动/液压流动速率和压力的信息等处。还可(自动地或手动地)为该云后台240提供其它信息，包括致动器、抓持器和其它机器人***的故障率、维护日程和识别到的问题、软件崩溃等。
该云后台240可基于收集到的数据执行数据挖掘和数据分析。基于收集到的数据，该云后台240可建议对维护日程或替换日程进行改变、可建议维修或优化和/或可在排除了其它可能性之后自动地对本地处理器210和/或用户的电子装置202的软件控制***做出(或者可建议)改变或升级。
例如，如果云后台240基于一个或多个抓取检测传感器和/或测距传感器确定了在通过闭合机器人抓持器234以试图抓取之前当前的机器人控制软件没有下降至适用深度，那么该云后台249会传送更新或补丁以改变机械臂232展开的初始深度。类似地，该云后台240可传送针对于抓持器取向、运动路径、抓取力等的改变。
该更新可局部(例如以改变一个机器人的行为)或全局地(例如以改变机器人组、机器人机群或者可访问该云后台240的所有机器人的行为)应用。例如，如果由1000个机器人组成的机群中的10个机器人试图以不同的成功性抓持一个新物体，那么基于这些教导整个由1000个机器人组成的机群都会接收到允许所有机器人成功抓取到该物品的更新。
为了这些目的和其它目的，云后台240可进一步将无线更新传送至本地处理器210以更新或维修机器人***的控制软件。该云后台240还可在排除其它可能性的情况下出于软件更新或维修目的向用户的电子装置202传送无线更新。
如上文提及，(多个)本地处理器210可与分配给特定用户的一个或多个拾放站220相关联。例如，给定位置(比如仓库或执行中心)可包括许多拾放站，其具有分配给特定用户的特定站或成组的站。如本文所用，“拾放站”或简称“拾取站”可表示许多不同的应用，在该应用中机械臂和抓持器对物体进行操纵，比如(但不限于)仓库的箱柜取放、生产包装、机加工、检查等。以下为本文描述的技术的应用的一些示例：
·从一堆中拾取出金属零部件铸件(例如半成品黄铜阀)并且将其放置在用于机加工的夹具中。
·从一堆中拾取出一个甜瓜并且将其放置在去皮机中。
·在回收中心，从一堆混合塑料中拾取出特定聚合物类型的单件塑料(例如，聚乙烯，聚丙烯，聚对苯二甲酸乙二酯等)并且将其放入正为该塑料类型的料箱中。
·从树上摘下一个水果并且将其放置入大木箱中。
拾取站的简化示例在图2C和2D中示出。
根据实施例，每个拾取站(例如拾取站220-1)均与机器人***、资源箱226、目标箱228以及一个或多个相机222(例如在资源箱和/或目标箱上方部署的一个或多个相机)相关联，递送至拾取站220-1的目标物体229将在资源箱226中由机器人***抓取，目标物体229由机器人***递送至目标箱228中。该资源箱226和/或目标箱228可人为地或借助传送带224或其它适用装置地递送至拾取站。
本领域普通技术人员将理解的是，其它形态的拾取站也是可行的。例如，目标物体最初可能未被部署在资源箱中，而是可能直接位于传送机上递送或者以不依赖于传送机的另一种方式被递送。在一个示例中，目标物体可被部署在移动式层架***上，在此处整个架子被移至拾取站处。类似地，该目标物体可被递送至一个容器中或者不包括目标箱的其它容纳位置处。该相机可被安装至容器的侧边或下方。在本发明的范围内还可能有许多其它形态。
除了相机之外，可存在其它传感器以检测料箱内的物体或者在物体进入或离开料箱时对其进行检测。此传感器可包括但不限于重量传感器(力检测传感器或力/扭矩传感器)、加速度计或其它振动传感器，三维深度相机、光束遮断式传感器、光谱仪、高光谱成像仪以及激光测距扫描仪。
机器人***可包括基座230，包括一个或多个关节的机械臂232附接至该基座230。该基座230和/或该臂232可支撑用于致动软机器人抓持器234的气动和/或液压连接件和/或用于支撑传感器和部署成与臂232或抓持器连接的其它装置的电力和/或数据连接件。
抓持器234可包括用于将抓持器234连接至机械臂232的转毂。一个或多个致动器(例如软机器人致动器)可附接至该转毂以形成抓持器。该转毂可包括连接件比如液压或气动连接件，以将致动流体单独地或成组地递送至(多个)致动器。
该转毂还可包括用于传感器和其它装置的安装位置，并且可包括用于为该装置供电和与其通信的电力和/或数据连接件。例如，该转毂可包括一个测距传感器，其被部署在允许***确定与待抓取目标物体的距离的位置(例如该转毂的底端，致动器之间)。该转毂还可包括一个相机以在试图抓取那个物体之前、期间和之后感测到并且观察到抓取物体的特征。该转毂还可包括加速度计或力检测传感器以确定关于被抓取物体的摇摆特性、动量或惯性信息，从而允许***对物体的保持或移动方式进行调节以改进保持或运输特性。其它的实施例可包括一个或多个抓取传感器或力传感器以确定抓持器在保持目标物体时力的精确性或大小。该抓取传感器或力传感器可被安装或部署在转毂和/或致动器内。
在一些实施例中，每个致动器均可与滑动地附接至第一或多个轨道的转毂相关联，该轨道允许致动器相对于彼此移动。该轨道可被附接至机械臂。该转毂可沿着轨道进行手动调节，或者可经由电机、气动***、液压***等进行自动调节。相应地，可按需调节致动器之间的空间和/或致动器关于彼此的形态。在下文模块化抓持器的部分中对适于与实施例一起使用的实施例进行进一步描述。
在一些实施例中，一个以上的转毂可通过轨道彼此连接，以同时支承抓取多个物体。与每个转毂相关联的致动器可被独立地或作为单个单元地控制。转毂的相对位置可沿着轨道进行手动调节或者经由电机、气动***、液压***等自动地调节。
目标物体可在资源箱中被递送至拾取站。该资源箱可为适用于将物品传送至拾取站的任意容器。包括几个目标物品的资源箱的内部视图的示例在图2E中示出。应注意的是，虽然特定示例是结合“料箱”进行描述的，但是这个术语可涵盖任意类型的容器，包括盒、袋等。
该资源箱可例如通过传送***被递送至通往机器人***的位置。该机器人***可抓取资源箱中的一个或多个物品并且将该物品递送至目标位置，比如也位于可接近机械臂的位置的目标箱。该资源箱可在被清空时和/或在相关物品已经从中移出时从机器人***处移走，允许资源箱由具有新的目标物品的新的资源箱所替换。类似地，当目标箱装满或者已经容置了充足的相关物品时，目标箱可被移走和/或以新的目标箱来替换。
一个或多个相机或其它可视化传感器可被安装在其中可观察到资源箱和/或目标箱的内容物的位置。例如，(多个)相机可被安装在资源箱和/或目标箱上方的架子上。相机***的示例在图2F-2G中示出。
B.示例界面
相机和/或其它传感器可(有线或无线地)连接至本地处理器210，其可将相机的图像(或其它传感器数据)转发至云后台240和/或用户的电子装置202。用户装置202上的界面可显示相机图像，如图3A所示。
该界面300可包括一个或多个图标或用于构造或控制机器人***的其它互动元素。互动元素可设置用于其它操作，例如但不限于形态操作、校正操作、抓取操作、力设定操作、晃动操作、重置操作、致动器排序操作、移动操作、物体选择操作或搅动操作。经由控制指令选择互动元素可引起对应于互动元素的控制命令被传送至位于所选的拾放站处的机器人***处。对于一些操作而言，在传送控制命令之前需要其它输入，在此情况下可存在其它的用户界面元素和/或互动元素以获得输入。
例如，示出的示例包括位于左下角处的配置/校正图标302，其可对应于配置或校正操作。与配置/校正图标302的互动可引起在界面中显示一个或多个菜单选项。
一个此菜单条目可为关于执行校正拾取站的选择，其可包括校正相机视图以提供资源箱和/或目标箱的规范视图。此校正过程在下文的显像部分进行描述。在一些实施例中，用户还可通过触碰触敏显示器上的位置(例如物体中心)和拖动该触觉接触以对显示器重新取向来对相机视图进行校正。
界面的主显示器可示出来自特定拾取站处的一个或多个相机的视图。例如，该相机可并非默认为位于资源箱上方的相机。如上文所述，多个拾取站可从给定用户装置处访问和控制。为了在拾取站之间进行切换，用户可例如在触敏显示器上执行滑动手势以在相机和/或拾取站之间移动。在另一个示例中，用户可选择显示器上的互动元素，该互动元素可见为图标或按钮元件或隐藏为显示器的区域，比如显示器的四个边缘中的一个。另外，该界面可在单个屏幕上(例如以平铺或串接的视图)显示多个拾取站视图。
不同拾取站之间的视图切换还可将控制从一个机器人***转移至另一个机器人***。例如，如果该界面最初显示的是来自第一拾取站的图像，那么通过电子装置202发出的用户命令可被发送至位于第一拾取站处的机器人***。如果用户接下来滑动以将视图切换至第二拾取站，那么经由电子装置202发出的命令可被发送至位于第二拾取站处的机器人***。
在一些实施例中，该界面除了显示资源箱的视图之外还能够显示终点箱的视图。这可例如允许用户指定抓取物体应该被递送至的特定位置。在另一个示例中，用户可指定目标物体的取向。替代地或附加地，该界面可显示资源箱的视图并且允许用户指定从资源箱中抓取哪个物体。该***接下来可自动将抓取目标传送至预设目标位置(比如目标箱的期望位置)。
在任一情况下，可存在在给定拾取站处可接近的多个目标位置。在界面上可存在两个或多个图标或互动元素以允许用于在不同目标位置之间进行选择。例如，在图3A中示出的实施例包括三个图标304-1、304-2和304-3(具有朝下箭头的容器)以指示不同的目标位置。在这个示例中，在选择抓持器目标之后选择其中一个目标位置图标可将抓取物体递送至与所选图标相关联的终点位置。
如果用户能够选择特定目标位置(例如经由终点箱或容器的相机视图)，该用户可例如通过轻敲或敲击将放置目标物体的位置来指示目标位置。
替代地或附加地，***可允许用户明确机器人在将来递送抓取目标时应该采用的位置或图案和/或物体在指定位置处的放置序列或顺序。例如，目标容器可为蛋盒或苹果架，其中物体以网格形态放置。用户可选择界面上的多个位置以指定物体应被放入的网格中的位置。该机器人***可首先将物体递送至第一网格位置，接下来将下一个目标物体递送至第二网格位置等。当所有的网格位置均被填满时，与终点容器相关联的传送机可将填满的容器移走并且将其替换为新容器，该过程可重复进行。
选择性地，该***可对用户的选项进行优化或标准化，例如，如果用户选择4×4网格中的位置，该网格中每个位置平均分隔3英寸，那么该***可将位置之间的距离均等化，从而使它们均匀间隔。如果***识别到用户已经输入了大于对应于网格或其它图案的位置的预设数量，那么该***还(或替代地)可使该网格或图案自动完整化。
该用户可与相机视图互动以指示应在何处和/或如何抓取给定物体。用户可通过界面指示抓持器目标的边缘位于哪里。该机器人***可接下来将抓取器部署到目标位置处并且试图围绕指定边缘闭合该抓取器。
通常情况下，该抓持器目标边缘可在界面中采用示例抓持器显示元素进行指示，如图3B所示。
参见图3B中的俯视图，界面元素可包括抓持器目标328显示元素，其表示抓持器中致动器的端部。抓持器目标328的位置可对应于在物理目标物体的抓取操作开始时抓持器将定位致动器的位置。该界面元素可包括代表抓持器的轴线(例如致动器沿其布置的轴线)的线330。
该界面元素还可沿着轴线包括一个或多个线或刻度标记，其表示抓持器可展开的最小或最大范围322(例如致动器可达到的最小或最大空间，其可包括致动器的负膨胀可达到的空间)。轴线的中心位置324可在表示致动器的最大或最小范围的标记之间被标记出。该中心点可被表示为点、刻度标记、虚线等。
在一些实施例中，该最小/最大范围可为抓持器以其当前配置可达到的最小/最大范围；例如，如果抓持器被安装在轨道上，那么该最小/最大范围可反映出抓持器在它们沿着轨道的当前间隔下可延伸至的最小/最大距离。在其它实施例中，该最小/最大范围可为在如果抓持器被重新构造的情况下该抓持器能达到的最小/最大范围(例如沿着轨道可达到的最小/最大范围，即使致动器当前没有以它们的最小/最大间隔部署)。前一个实施例可用于其中致动器可沿着轨道被手动调节的情况，可能需要用户与机器人***交互以物理地移动致动器。后一个实施例可良好适于其中致动器可借助例如电机、气动***或液压***沿着轨道自动移动的应用。
在其它实施例中，该***可显示当前可达到的最小/最大范围以及通过重新构型而可能达到的最小/最大范围。例如，该***可以实线和/或为第一种颜色或阴影的线标记出当前可达到的最小/最大范围，并且可以另一个虚线326和/或为第二种颜色或阴影的线标记出最小/最大可能范围。该另一个虚线或阴影线326可沿着轴线延伸并且可在表示最小/最大可能范围的另外两个标记处终止。
根据实施例，用户可通过一根手指或两根手指的手势来与触觉显示器交互，以指示机器人***应该将抓持器的致动器部署在什么位置。该用户手势还可包括两根以上的手指以指示致动器的部署，尤其是在包括两个以上的致动器的实施例中。该界面可显示对应于将部署致动器的位置(在一些实施例中，致动器的远侧末端所处的位置)的多个抓持器目标328。该界面还可包括抓持器目标之间间隔的显示330(例如量化显示)。
图3C示出了相机视图上附加的示例抓持器显示元素，以实现用户例如为了抓取操作而设定抓持器目标。
在一根手指的实施例，用户最初可与触摸屏触觉接触(或者以其它方式例如采用鼠标或其它输入选项指示初始接触位置)。在一个示例中，这个位置可作为初始抓持器目标。用户可接下来将初始输入拖动至第二位置，该第二位置可作为第二抓持器目标。当用户移动该初始接触时，界面上的指示器可自身重新取向和/或重构形态。替代地，用户的初始接触可明确中心位置，用户打算在该中心位置处部署抓持器(例如对应于上文明确的中心标记)。当用户拖动初始接触时，拖动距离的大小可明确出抓持器目标之间的间隔。
在两根手指的实施例中，用户与界面的初始触觉接触可明确第一抓持器目标的位置，而第二次触觉接触可明确第二抓持器目标的位置。在另一个实施例中，第一次接触可明确中心位置，第二次接触可明确其中一个抓持器目标的位置，其它抓持器目标位置可基于中心位置与明确指定的抓持器目标之间的距离推断得出。
在任一情况下，如果该接触是通过触摸屏指定的，那么该***可选择性地将显示的抓持器目标从触觉接触的位置处移开预设距离。在抓持器目标没有被用户的手或手指遮挡住的情况下，这可允许用户在显示器上观察抓持器目标。在其它的实施例中，该***可允许用户放大界面，以提供抓持器目标的更加细化的选择。
在一些实施例中，该界面可强制限制不允许用户将抓持器目标移出指示的最大范围。例如，一旦用户将抓持器目标移至指示的最大范围，那么超过指示的最大范围的进一步移动不会使得抓持器目标进一步移动(例如，抓持器目标可“卡”在最大范围处，如图3D所示)。
在其它实施例中，界面可允许用户对延伸超过在界面元素上指示的最大范围的抓持器目标进行设定。由于软机器人抓持器的可变形性，该软致动器可与物体充分接触(利用致动器的抓取表面)，以使该抓持器能够抓取比最大范围尺寸更大的物体。相应地，该***可试图尽可能接近由用户指示的抓持器目标位置地抓取目标物体；如果在预设次数的尝试之后还无法获得适用的强劲抓持，那么该***可终止尝试。选择性地，该***可试图搅动该料箱和/或否则重新布置该料箱的内容物以试图将目标物体的更具可抓取的表面展示给用户；此技术在下文进行更加详细的描述。
当用户试图设定延伸超过最大范围的抓持器目标时，该界面可指示用户正在尝试做此事并且可指示所要求延伸超过最大范围的大小。该界面可例如设定超过用于表示最大范围的线的抓持器目标并且例如通过虚线或不同颜色的线指示所要求的附加延伸的大小，如3B和3E中的下方附图所指示。
在图3F-3G中示出了替代界面元素。在这些示例中，圆334表示触觉界面上用户已经触碰(即触觉接触)的位置，而圆杆332表示工具的抓取能力。根据用户是以小于工具的最小抓取能力(图3F)或大于工具的最大抓取能力(图3G)在尝试进行抓持，圆杆可移动至对应的最小/最大位置以示出致动器将在何处实际抓取物体。当尝试的抓取位于界内时(图3H)，圆杆可直接落在触觉接触位置的顶端以指示该抓持器将在所需位置处部署该致动器。
选择性地，在初始设置抓持器目标之后，该用户可通过与界面的交互而调节抓持器目标(例如选择一个或多个抓持器目标以及移动它们，移动中心位置等)。
该相机视图可为一个二维视图，并且相应地该用户能够指定致动器在二维坐标系(例如x/y坐标系)中的初始布置。但是，机器人***可在三维空间中运行。该机器人***可沿着z-方向的路径将致动器移至指定的x/y位置(如在下文显像部分中更加详细的描述)，直至抓持器接近目标物体。例如，该抓持器可设置有测距传感器，其可检测与待抓取目标的距离。当传感器提示物体处于抓持器的附近时，该抓持器可被致动以抓持物体。
在一些实施例中，该抓持器的中心位置可朝向在显示器上指示的中心位置的x/y位置移动。该致动器起初未被致动。替代地，如果在界面上指示的抓持器的分布将需要反向致动/膨胀才能实现，那么该致动器可完全负膨胀或者局部适量地反向膨胀。
在其它实施例中，抓持器可被局部致动，以通过部署的抓持器尽可能地靠近在界面上指示的位置而趋近于指定的x/y位置。这些实施例可用在资源箱相对杂乱或填满的情况下，并且可允许抓持器尽可能精确地趋近于目标物体同时避开相邻物体。
在一些实施例中，可在界面上为用户设置一个用于启动致动器上的“晃动”效应的互动元素。当致动器晃动时，它们可在趋近于抓取目标时迅速地局部致动和不致动，从而允许附近的物体随着致动器趋近于抓取目标而被移开。在一些实施例中，该***可或者当然地或者在某些条件下(例如当检测到杂乱环境时)自动使致动器晃动。
另外，可允许用户在致动器抓取目标物体的同时(例如当致动器与目标接触时，以轻微操纵该物体从而露出更大的抓持表面)使致动器晃动。这项运动之后可进行抓持动作以获取从料箱中运出的物体。
上文所述的概念可经过修改而适用于其它的抓持器类型。例如，如果采用三个或四个致动器抓持器，那么该***可以适当的形态显示适量的抓持器目标。为了在界面上设定抓持器目标，可采用与上文所述类似的互动。例如，用户可最初将触觉接触安排在中心位置，接下来移动它们的初始接触或者安排一个附加接触以将抓持器目标移出中心位置或者朝向中心位置。替代地或附加地，用户可在屏幕上的多个位置处轻敲以指示抓持器目标的优选位置。还***可决定致动器的部署形态，其与抓持器的物理限制兼容但是也尽可能接近地匹配于优选位置。
在一些实施例中，该界面还可包括允许用户指定将施加至抓取目标的力的交互元素。例如，在设定抓持器目标时该***可弹出一个力菜单。替代地或附加地，该***可在触摸屏上计入三维接触力或者可包括允许指定的抓取力的输入字段。在另一个实施例中，下拉菜单可允许用户设定将施加的抓取力直至变化。
该抓取力可定量地(例如10牛顿)和/或定性地(例如低等、中等或高等)明确。在一些实施例中，该抓取力可从可能抓取力的预设组中选择。在其它实施例中，抓取力可被明确位于抓持器能够(或者构造为)施加的最小抓取力和最大抓取力之间的预设范围内。
该界面还可允许用户对不同的抓取进行排序。例如，在指定抓持器目标和/或选择终点图标以指定目标物体的终点(或完成抓取)时，该机器人***可开始执行抓取。可能会花费该机器人一段时间来抓取该目标物体并且将其移至其终点。在机器人或被占用期间，该用户可以与上文讨论相同的方式与界面进行交互以指示下一个抓持器目标。在机器人***将最初的目标物体递送至终点箱之后，该机器人***可继续执行在指定顺序中的下一个抓取。排序也可以其它方式指定。
当机器人***正在执行抓取时，由于该机器人可能位于相机和料箱之间的事实，该***可能会遮挡资源箱或终点箱的视图。由此，用户无法看见相机视图，以对新的抓持目标器进行排序。这个问题也在其它情况下可出现，比如当机器人***正在执行校正工艺路线时。为了解决这个问题，该***可被构造为当机械臂位于相机的视图之外时(例如以预设间隔或者仅仅在机器人执行拾取之前)捕捉资源箱或终点箱的图像。这个图像可接下来用于界面中(或者临时用作相机视图或者当机械臂使视图模糊时用作部分叠加在当前相机视图上的双重图像)以在机械臂遮挡时允许用户继续指定抓持器目标。该“双重”图像也有助于用户识别例如由于抓持器之前的拾取动作而移动的物体，因为此物体可像机械臂一样变得部分透明。保持未受干扰并且没有移动的物体可在用户界面中呈现为正常、不透明的物体。
在一些实施例中，该***可允许用户指定致动器顺序；这可在指定抓持器目标之前、期间或之后完成。例如，执行两根手指手势的顺序可为部署抓持器的顺序。替代地，用户可指定抓持器目标并且接下来选定其中一个抓持器目标以指定对应致动器应被部署的顺序。当机器人***趋近于抓取目标时，该致动器可以指定的顺序独立致动。
其它的实施例可允许附加的手势执行指定的动作。例如，轻弹手势或一些其它的指示可指示机器人***重置物体或者将物体轻推走。在另一个示例中，用户可在界面上画一个圆或执行另一个手势，其可指示机器人***搅动料箱的内容物。相应地，可重置目标物体以露出埋住的物体、使目标物体重新取向以露出更加可抓取的表面和/或将目标物体从资源箱的一组物体、壁或角落处移走。
在一些实施例中，为了趋近目标物体，用户可限定机械臂采取的路径。例如，用户可用嵌装有传感器的手套或能够进行三维运动追踪的相机与机器人***进行交互。用户可沿着期望用于机械臂的路径移动他们自己的手臂。(多个)传感器/相机可分析用户手臂的路径并且将适用指令传送至机械臂，该适用指令限定了机械臂在前往抓取目标时应采用的对应路径。可采用类似的技术以限定致动器的部署顺序、抓持器力等。
如果视觉***和/或智能允许，界面可允许用户采用轻敲或持续接触来选定识别到的物体。用户可将该物体拖动至指定目标(例如对应于期望终点箱的目标图标)。
视觉***的进一步改进在下个部分进行描述。
C.视觉***
1.校正
实施例提供了用于快速校正机器人***和视觉***(包括相机)中的一种或两种技术。
通常情况下，资源箱和终点箱被递送至一个区域，例如传送带的顶部，该区域的基底位于水平方向(例如沿着x-y-z坐标***的z平面)上的相对固定的位置处。这可简化抓取任务，因为该机器人可假设目标物体同样位于料箱基底和料箱顶部之间的某个位置。然后，在将控制器切换到基于抓持器中执行更精细控制的测距仪的逻辑之前，可以将机械臂放下一定距离。另外，该资源箱和/或终点箱每次均可被递送至几乎相同的区域内；相应地，机器人***可对料箱在x/y平面中的位置具有基本的认知(例如位于某个范围内)。
但是，该机械臂可能有时会超出校正范围。为了重新校正机械臂，可为该抓持器安装校正工具(例如用于触碰相对精确的位置的尖状杆；见下文的模块化抓持器示例)。该机器人***可被构造为与预设校正元件接触以重置机械臂对于机械臂在其中操作的三维空间的理解，例如在x/y/z或笛卡尔参考系中。该机械臂可通过移入预设原始位置和/或采用各种形式的测距传感器(例如位于校正工具的端部的触觉接触传感器、测距传感器等)而进一步被重新校正。与机器人***结合部署的各种传感器(例如测距传感器)也可在此过程中被重新校正。
为了执行重新校正，可为部署在拾放站220处的料箱在预设位置处(例如如图4A所示，在料箱404的底部)设置校正板402。
替代为空白的，校正板410可包括视觉元素的预设图案，例如如图4B所示。该机器人***可被构造为采用相机图像和/或一个或多个传感器以引起校正工具按序与视觉元素接触，以重新校正机器人***的x-、y-和/或z-定位。在示出的示例中，机器人***可将校正工具移至按序排列的位置P1、P2、P3和P4。
该***可采用位于机器人的共用路线位置/安全高度位置的目标以各种间隔执行校正检查。相应地，可抵靠于距机器人位置(例如在每个拾取循环的起始点或在拾取循环的设定间隔之后或者在有难度的拾取尝试之后，比如尝试执行出抓持重试)距离已知(单个高度检查)的目标对测距传感器进行检查，以验证测距传感器在规定的公差带内读数。类似地，定期的单个高度测距传感器检查可用于验证没有异物存在，例如阻挡或影响测距传感器精度的碎屑。
如果在测距传感器读数中观察到了异常情况，那么该机器人可移动至抓持器清洁位置，其位于机器人的提供外部抓持器清洁的工作区域内的站处。例如，该站可提供吹扫功能(例如吹起加真空)以及距目标距离感测以确认传感器保护盖得到清洁。无法通过清洁传感器保护盖来解决问题可能表示一些类型的传感器故障或漂移，从而允许维修或维护技术人员在做出拾取物体的失败尝试之前发现问题。该清扫位置还可或替代地在拾取循环之前或之后位于机器人站上方的位置，在此处重复执行测距感测检查。
根据一些实施例，校正图案还可或替代地用于校正或规范化(多个)相机或视觉***。例如，该料箱不一定以完美曲向递送至拾取站，新的料箱在其每次递送至该站时可能会以变化量歪斜。
因为用户可能难以与其中每次呈现的料箱的视图均不同的***进行交互，该相机可采用校正图案和/或其它提示(例如由边缘检测软件检测到的料箱的边缘)来操纵视图(例如倾斜或重新取向图像的部分或全部)以提供标准或规范的视角。该***可以在预设事件发生时(例如，当将新的料箱递送到拾放站时，或者在由抓持器拾取每个物体之后)和/或基于用户的命令定期对视图进行规范化处理。
2.三维定位
机器人***在三维空间中移动，所以检测相对于抓取目标和放置位置的移动是重要的。一些实施例可包括深度相机，其能够在相机视图中检测物体的三维位置和形状。其它实施例比如下文描述的实施例可替代地采用二维相机，其在支持三维定位和机器人控制同时仍能获得可接受的三维抓取结果的方面有所改进。
当二维相机提供了从中间位置看的俯仰视图时，该相机可提供对x/y位置的预估，物体被定位在该x/y位置，但是不能在z方向上对该物体进行定位。由集中控制相机捕捉的俯仰图像的示例在图4C中示出，其示出了料箱404和物体420的俯仰视图。
物体420的所示视图可为靠近相机定位的相对高的物体或者是进一步远离相机定位的相对短的物体，如图4D中的侧视图所示。
在这个示例中，从相机镜头422绘制到物体420的顶端的矢量442穿过相对近的位置444(在z平面具有相对大的高度)和相对远的位置(在z平面具有相对小的高度)。采用二维相机***不可能仅从图像确定出物体420是否相对高且靠近相机(420-1)或者相对短且远离相机(420-2)。
相应地，如果该***尝试猜测目标物体的精确x/y位置并且该机械臂从猜测位置的正上方趋近该物体，那么机械臂可能将会朝向该物体下降，但是在该抓持器下方没有任何物体可供抓取(如由图4D中直接位于目标物体420-1上方的抓持器由434-1表示和位于目标物体420-2上方的抓持器由434-2表示)。
为了避免这个问题，这机械臂可替代地沿着从相机422绘制到目标物体的矢量442(如图4中倾斜的抓持器代表448所示)趋近于物体。这可例如基于抓持器目标328的x/y位置和/或如在界面中指定的中心位置324以及相机相对于抓持器目标的已知位置和/或中心位置来实现。
这个方案确保了无论目标物体的高度如何，该抓持器均将会最终趋近于目标物体。机械臂中的测距传感器可检测到距离目标物体的距离并且在其检测到目标物体处于至少致动器末端的范围内时会致动该致动器。
在一些情况下，基于测距传感器难以得到精确的距离。例如，许多测距传感器是通过向目标物体发射电磁波并且在传感器处接收反射回的电磁波来工作。但是一些物体使电磁波分散，使得难以获得精确的距离读数。
因此，机器人***会降低抓取器直至测距传感器指示抓取物***于触及范围内。这可表示为第一预设下降/趋近距离。该***接下来可通过致动致动器来尝试抓取物体。如果一个或多个传感器(例如接触传感器，比如致动器内的触敏皮肤、力检测传感器、相机等)检测到该物体尚未被充分抓取(例如该物体没被致动器保持或者该物体没有以充足的力保持)，那么该机器人***可从第一预设下降距离降低预设量并且再次尝试。重复该过程直至实现充分抓取或者直至终止尝试(例如在预设数量的失败尝试之后)。预设下降距离和预设降低量可自动或手动地重构。
在一些实施例中，还可(或替代性地)对其它参数进行调节。例如，该***可调节基于抓取质量施加至目标物体的力(当检测到抓取质量较差时，该***可通过供应另外的膨胀流体至致动器而施加增大的力，反之亦然)。
通常情况下，该***将按照用户在界面中的所指定的尝试抓取物体。例如，该***可旋转抓持器基座以将致动器部署在如在界面中针对于抓持器目标所指定的角度和/或距离。但是，这个行为可在某些条件下被取代。
例如，该***可基于抓取质量调节抓取位置。如果传感器和/或相机检测到了不良抓持，那么该抓持器可被旋转和/或平移以尝试抓取目标物体的更长或更加可抓取的表面。在另一个示例中，该***可调整抓持器的旋转和/或抓取位置以避免与料箱或相邻物体的碰撞。该***可根据将要避免的碰撞的特定类型而对抓持器适应调整。例如，当趋近于料箱的侧面时，该抓持器可使自身重新取向以将致动器的轴线部署为平行于料箱的侧面或者与料箱的侧面呈九十度角。可根据待取回的物体的形态做出该决定。一方面，当趋近于料箱的角落时，该***可使该抓持器重新取向，以使一个致动器趋近于角落同时另一个致动器朝向料箱的内部布置。其它方式和/或配置也是可行的。
在一些情况下，如果***确定了与料箱的侧面的碰撞是不可避免的和/或如果用户要求机械臂将抓持器部署在料箱壁外侧的位置或一些其它不受限的位置，那么该拾取可被一起终止。
在一些实施例中，机器人抓持器可被安装在可伸缩或固定的杆上以减小机械臂在该杆附近的直径。该***可对抓持器趋近于目标物体的路径进行操纵，从而直径减小的部分在沿着路径的给定位置处位于料箱边缘附近。通过这种方式，该抓持器能够在不可能不使用杆的相对有限的环境中趋近于目标物体。
3.视觉硬件
其它的实施例提供了对用于机器人***的视觉硬件的改进。许多测距传感器采用发射器/接收器对，其中信号被发射(例如电磁信号，比如无线电波或红外线光束)、弹离物体以及接下来被接收。
例如测距传感器可被安装在机器人抓持器的转毂内，如图5A所示(其中致动器502位于左侧和右侧，矩形底部代表转毂504，虚线506代表发射自发射器508a并且在接收器508b处接收的电磁能)。
当暴露在真实环境中使用时，该测距传感器会被灰尘而模糊或者被环境中的物体所损坏。相应地，为了保护测距传感器和/或便于清理，该测距传感器可被由透射材料(比如玻璃和塑料)制成的层510所覆盖。
但是，问题出现了，覆盖层510对于由发射器发射的电磁能而言并非完全透明的。相应地，来自发射器的能量可被覆盖层反射回来并且可在接收器处被接收，形成了错误的距离读数，如图5B中的线507所示。
为了减轻这个问题，可在发射器和接收器之间布置屏障512。该屏障512可由将阻挡来自发射器的能量并且防止能量在接收器处被接收的任意适用材料制成。图5B中的比例出于说明目的被放大。
该屏障可例如为一件式或二件式设计，以用在发射器/接收器型测距传感器上。在任一情况下，该设计主要在传感器上的发射器和接收器物镜或开口之间提供分隔屏障。在一些实施例中，该屏障可跨越传感器外表面和保护层的内表面之间的整个间隙；在其它实施例中，该屏障可跨越部分间隙。
在两件式设计的情况下，包围传感器的外周缘的屏障形状可围绕传感器附接，形状匹配的附加有分隔肋或壁的屏障可附接至保护盖，其中该屏障对齐配合在测距传感器的发射器和接收器之间。当接下来该保护盖与两个屏障元件安装就位时，该测距传感器有效地装好并且免受散射的电磁辐射，并且具有就位好的屏障以将发射器和接收器物镜彼此分离和隔离。
适用于与实施例一起使用的屏障的示例在图5C和5D中示出。如图5C所示，该屏障可包括位于覆盖层下方的两个零部件，一个零部件520设置用于围绕传感器的外边缘安装并且支撑第二零部件522，其相对于传感器发射器和接收器将屏障布置在了一个精确的位置。图5C示出两个部件处于隔离状态，而图5D示出了部署在机器人转毂上并且包围测距传感器524的一个零部件。另一个零部件522与第一零部件520相匹配并且将该屏障适当定位。
采用示例屏障，该测距传感器可免受环境因素的影响同时尽管如此展示出了改进的检测精度。
D.抓持器形态
再一个实施例可包括模块化抓持器，其能够(以整体或具体部件)迅速交换为另一个适用模块化抓持器。这可例如允许将抓持器互换成带有不同配置的电子器件和/或致动器的其它抓持器。
图6A-6D示出了组装的模块化抓持器600的不同立体视图。如图6A的主视图所示，该抓持器600可包括一个或多个端口602，其用于将膨胀流体供给至致动器和/或将膨胀流体从致动器中移除以及用于将电气和/或数据连接件供应至传感器或处理器。在一些实施例中，不同的端口可供给不同的致动器，以使致动器能够被单独致动。为了将膨胀流体供给至抓持器，一个或多个气动或液压管路可附接至该端口。
同样应注意的是，在图6D的仰视图中，模块化抓持器600可包括用于传感器比如测距传感器的安装位置604。
模块化抓持器600可被拆分，从而一个或所有的工件均可被交换、维修或替换。图6E示出了图6A的模块化抓持器600在拆分时的状态。图6E的杆是校正工具610，如先前部分所述，其可替代致动器组件624被安装至转毂基座零部件622。
示出的工件可通过摩擦力和/或紧固机构(比如螺钉)的组合被固定。为了组装该工件，转毂基座622可通过安装座626被固定至机械臂，如图6L所示；也见图6J(侧视图)和6K(内部视图)。前支撑件628和后支撑件630可滑入转毂基座622内的对应插槽中。该致动器基座632可通过螺钉或快卸配合件附接至组件的底部，例如附接至转毂基座622、前支撑件628或后支撑件630中的一个或多个。
根据一些实施例，当模块化抓持器的其它工件被移除、交换或者重构时，转毂基座622可被构造为与机械臂的腕部凸缘保持附接。由此，该抓持器可在不影响抓持器与机械臂对齐的情况下被轻松重构。
类似地，该转毂基座622还可为机器人校正杆620提供附接位置，该附接位置可在不影响抓持器与机器人对齐的条件下被安装和移除。这是归因于此事实，即在安装校正杆的同时将抓持器从安装结构上移除，并且接下来该抓持器被重新安装入具有允许抓持器被精确和重复安装的对齐和锁定特征(或其它元件)的特定构造的凹槽中。
抓持器的模块化设计允许侧向面板的各种组合(允许不同的控制连接)以及甚至所有的抓持器设计均被安装在相同的安装结构上并且还允许安装具有不同的感测、内部电子器件的抓持器以及甚至不同的致动器布置，同时同样与机器人腕部保持对齐。
任意或所有部件可被交换为具有不同形态的部件。例如，致动器基座可交换具有不同类型的传感器的不同致动器基座，同时仍然保持其余的模块化抓持器部件。在另一个示例中，可换入具有致动器的不同数量和/或布置的新致动器基座，还可换入具有不同入口和/或出口端口的不同前支撑件以提供致动器的独立致动。
III.计算***和网络实现
上述方法可实现为计算机可读介质上的指令或作为非暂时性计算体系结构的一部分。图7示出了适于实现如前所述的各种实施例的示例性计算体系结构700的实施例。在一个实施例中，计算体系结构700可包括或实现为电子设备的一部分，比如计算机701。该实施例不限于上下文。
如该应用所使用的，术语“***”和“组件”旨在指代计算机相关的实体、任一硬件、硬件与软件的结合、软件或执行中的软件，其示例通过示例性计算体系结构700提供。例如，组件可以但不限于处理器上运行的进程、处理器、硬盘驱动器、多个存储驱动器(光和/或磁存储介质的)、物体、可执行文件、执行的线程、程序和/或计算机。以实例说明，运行在服务器上的应用程序和服务器可以是组件。一个或多个组件可驻留在进程和/或执行的线程内，并且组件可位于一个计算机上和/分配在两个或以上的计算机。另外，组件可以通过各种类型的通信介质可通信地彼此联接以协调操作。协调可以包含单向或双向信息交换。例如，组件可以按通过通信介质传达信号的形式来传达信息。信息可实现为分配给各种信号线的信号。在这种分配中，每个消息是信号。但是，另外的实施例可以可选地采用数据消息。这种数据消息可通过各种联接发出。示例性联接包括并行接口、串行接口和总线接口。
计算体系结构700包括各种常见的计算元件，比如一个或多个处理器、多核处理器、协同处理器、存储器单元、芯片组、控制器、***设备、接口、振荡器、定时装置、视频卡、声卡、多介质输入/输出(I/O)组件、电源等。但是，实施例不限于通过计算体系结构700来实现。
如图7所示，计算体系结构700包括处理单元702、***存储器704和***总线706。处理单元702可以是各种商业可购的处理器任一种，包括而不限于
Figure BDA0002287148240000241
和
Figure BDA0002287148240000242
处理器；
Figure BDA0002287148240000243
应用、嵌入和安全处理器；
Figure BDA0002287148240000244
和
Figure BDA0002287148240000245
和
Figure BDA0002287148240000246
处理器；IBM和
Figure BDA0002287148240000247
Cell处理器；
Figure BDA0002287148240000248
Core(2)
Figure BDA0002287148240000249
Figure BDA00022871482400002410
和
Figure BDA00022871482400002411
建理器以及类似的处理器。双微处理器、多核处理器和其它多个处理器体系结构还可用作处理单元702。
***总线706提供用于***组件的接口，包括但不限于，***存储器704到处理单元702。***总线706可以是总线结构的几种类型中的任一种，总线结构可进一步与存储器总线(具有或没有存储控制器)、***总线以及使用任一种类的商业可购的总线体系结构的本地总线互连。接口适配器可经由插槽体系结构联接至***总线706。示例插槽体系结构可包括但不限于加速图形端口(AGP)、卡总线、(扩展)工业标准结构((E)ISA)、微通道结构(MCA)、网络用户总线(Nubus)、***组件互连(扩展)(PCI(X))、总线接口(PCI Express)、个人计算机存储卡国际协会(PCMCIA)等。
计算体系结构700可包括或实现各种制品。制品可包括计算机可读存储介质以存储逻辑。计算机可读存储介质的示例可包括能够储存电子数据的任何有形介质，包括易失性存储器或非易失性存储器、可移除或不可移除存储器、可擦除或不可擦除存储器、可写或可重写存储器等。逻辑的示例可包括使用任何合适类型的代码实现的可执行计算机程序指令，该代码比如为源代码、编译代码、解释代码、可执行代码、静态代码、动态代码、面向对象代码、可视代码等。实施例还可以至少部分地实现为包含在非暂时性计算机可读介质中或其上的指令，其可通过一个或多个处理器读取并执行以能够执行本文描述的操作。
***存储器704可包括呈一个或多个高速存储单元形式的各种类型的计算机可读存储介质，比如只读存储器(ROM)、随机存取存储器(RAM)、动态RAM(DRAM)、双倍数据速率DRAM(DDRAM)、同步DRAM(SDRAM)、静态RAM(SRAM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪存、比如铁电聚合物存储器的聚合物存储器、奥式存储器、相变或铁电存储器、硅-氧-氮-氧-硅(SONOS))存储器、磁卡或光卡、比如独立磁盘冗余阵列(RAID)驱动器的设备的阵列、固态存储设备(例如USB存储器、固态驱动器(SSD))以及适于存储信息的任何其它类型的存储介质。在图7所示出的实施例中，***存储器704可包括非易失性存储器708和/或易失性存储器710。基本输入/输出***(BIOS)可存储在非易失性存储器708中。
计算体系结构700可包括呈一个或多个低速存储单元的各种类型的计算机可读存储介质，包括内部(或外部)硬盘驱动器(HDD)712、磁性软盘驱动器(FDD)714以读取或写入可移动磁盘716，以及光盘驱动器718以读取或写入可移动光盘720(例如CD-ROM或DVD)。HDD712、FDD714以及光盘驱动器720可分别通过HDD接口722、FDD接口724和光驱动器接口726联接至***总线706。用于外部驱动器实现的HDD接口722可包括通用串行总线(USB)和IEEE694接口技术中的至少一个或两个。
驱动器及与其相关的计算机可读介质提供数据、数据结构、计算机可执行指令等的易失性和/或非易失性存储。例如，多个程序模块可存储在驱动器和存储单元708、712中，包括操作***728、一个或多个应用程序730、其它程序模块732以及程序数据734。在一个实施例中，一个或多个应用程序730、其它程序模块732以及程序数据734可包括例如通信***500的各种应用和/或组件。
用户可通过一个或多个有线/无线输入设备将命令和信息输入计算机701，例如通过键盘736和比如鼠标738的定点设备。其它输入设备可包括麦克风、红外(IR)遥控器、射频(RF)遥控器、游戏手柄、手写笔、读卡器、加密狗、指纹读取器、手套、图形输入板、操纵杆、键盘、视网膜读取器、触摸屏(例如电容式、电阻式等)、跟踪球、触控板、传感器、触控笔等。这些和其它输入设备通常通过联接至***总线706的输入设备接口740被联接至处理单元702，但是可以通过其它接口比如并行端口、IEEE694串行端口、游戏端口、USB端口、红外接口等被联接。
监视器742或其它类型的显示设备也可经由接口(比如视频适配器744)联接至***总线706。监视器742可在计算机701的内部或外部。除监视器742外，计算机通常包括其它***输出设备如扬声器、打印机等。
计算机701可使用经由有线和/或无线通信逻辑联接至一个或多个远程计算机(比如远程计算机744)而在联网环境下操作。远程计算机744可以是工作站、服务器计算机、路由器、个人计算机、便携式计算机、基于微处理器的娱乐设备、对等设备或其它通用网络节点以及通常包括相对于计算机701描述的许多或所有元件，尽管为了简要仅示出了存储器/存储设备746。示出的逻辑联接包括到局域网(LAN)748和/或更大的网络(例如广域网(WAN)750)的有线/无线联接。这种LAN和WAN网络环境在办公室和公司是常见的，并且有利于企业范围的计算机网络，比如内联网，这些全部可联接至全球通信网络，例如因特网。
当在LAN联网环境中使用时，计算机701通过有线和/或无线通信网络接口或适配器752被联接至LAN 748。适配器752可促进到LAN 748的有线和/或无线通信，LAN 748还可包括设置在其上用来与适配器752的无线功能通信的无线接入点。
当在WAN联网环境中使用时，计算机701可包括调制解调器754，或者其可被联接至WAN 750上的通信服务器，或者具有用于在WAN 750上建立通信的其它方式(比如通过因特网)。可在内部或外部并且是有线和/或无线设备的调制解调器754经由输入设备接口740联接至***总线706。在联网环境中，相对于计算机701或其部分示出的程序调制解调器可以存储在远程存储器/存储设备746中。将可以理解，所示的网络联接是示例性的并且可以使用在计算机之间建立通信链路的其它方式。
计算机701是可操作的以与使用IEEE 802标准族的有线和无线设备或实体通信，比如可操作地设置在无线通信中的无线设备(例如空中调制技术的IEEE 802.13)。这至少包括WiFi(或无线保真)、WiMax以及蓝牙TM无线技术等。因此，通信可以是与传统网络一样的预定义结构或者仅是至少两个设备之间的点对点(ad-hoc)通信。Wi-Fi网络使用称为IEEE 802.13x(a、b、g、n等)的无线电技术来提供安全、可靠、快速的无线联接。Wi-Fi网络可用于使计算机彼此联接、联接至因特网并且联接至有线网络(其使用IEEE 802.3相关的媒介和功能)。
图8是示出适于实现如前所述各种实施例的示例性通信体系结构800的框图。该通信体系结构800包括各种常见通信元件，比如发射器、接收器、收发器、无线电、网络接口、基带处理器、天线、放大器、滤波器、电源等。但是，实施例不限于通过通信体系结构800来实现。
如图8所示，通信体系结构800包括一个或多个客户端802和服务器804。客户端802可以实现客户端设备510。服务器804可实现服务器设备526。客户端802和服务器804被可操作地联接至一个或多个各自的客户端数据存储806和服务器数据存储808，它们可被用于将本地信息存储到各自的客户端802和服务器804，比如cookies和/或相关上下文信息。
客户端802和服务器804可使用通信框架810在彼此之间传达信息。通信框架810可实现任何已知的通信技术和协议。通信框架810可被实现为分组交换网络(例如，比如因特网的公共网络，比如企业内联网的专用网络等)、电路交换网络(例如公共交换电话网络)或分组交换网络和电路交换网络的结合(具有合适的网关和转换器)。
通信框架810可以实现被布置成接受、通信并且联接至通信网络的各种网络接口。网络接口可被看作输入输出接口的专用形式。网络接口可采用联接协议，包括但不限于直接联接、以太网(例如厚、薄、双绞线10/100/1000Base T等)、令牌环、无线网络接口、蜂窝网络接口、IEEE 802.8a-x网络接口、IEEE802.16网络接口、IEEE802.20网络接口等。另外，多个网络接口可用于与各种通信网络类型交互。例如，多个网络接口可被采用以允许通过广播、多播和单播网络进行通信。如果处理要求决定了更高的速度和容量，则可类似地采用分布式网络控制器体系结构来集中、加载平衡并且以其它方式增加客户端802和服务器804所需的通信带宽。通信网络可以是有线和/或无线网络中的任一种及结合，包括但不限于直接互连、安全定制联接、专用网络(例如企业内联网)、公共网络(例如互联网)、个人局域网(PAN)、局域网(LAN)、城域网(MAN)、作为因特网节点的操作任务(OMNI)、广域网(WAN)、无线网、蜂窝网络以及其它通信网络。
IV术语的一般性说明
一些实施例可以使用措辞“一个实施例”或“实施例”及其派生词来描述。这些术语意味着结合该实施例描述的特定特征、结构或特性被包括在至少一个实施例中。在说明书中各处出现的短语“在一个实施例中”不一定都指的是同一实施例。此外，除非另有说明，否则上述特征被认为能够以任何结合一起使用。因此，除非注意到特征彼此不相容，否则可以彼此结合地使用单独讨论的任何特征。
通常参照本文使用的符号和术语，本文的详细描述可以根据在计算机或计算机网络上执行的程序过程来呈现。本领域技术人员使用这些程序描述和表示来最有效地将他们工作的实质传达给本领域其它技术人员。
这里的过程通常被认为是导致期望结果的自洽操作顺序。这些操作是需要物理操纵物理量的操作。通常，尽管不是必须的，这些量采用能够被存储、传输、结合、比较以及其它方式操作的电信号、磁信号或光信号的形式。有时，主要出于通用的原因，将这些信号称为比特、值、元素、符号、字符、术语、数字等是方便的。然而应该注意，所有这些和类似术语都与适当的物理量相关联，并且仅仅是应用于这些量的方便标记。
此外，所执行的操作通常以比如为添加或比较的术语来指代，这些术语通常与人类操作员执行的心理操作相关联。在大多数情况下，在本文描述的任何操作中，人类操作员的这种能力不是必需的，或者是不期望的，其形成一个或多个实施例的一部分。相反，操作是机器操作。用于执行各种实施例的操作的有用机器包括通用数字计算机或类似设备。
一些实施例可以使用措辞“联接”和“连接”及其派生词来描述。这些术语不一定是彼此的同义词。例如，一些实施例可使用术语“连接”和/或“联接”来描述，以表明两个或以上的元件彼此直接物理或电接触。然而，术语“联接”还可表示两个以上元件彼此不直接接触，但仍然彼此协作或交互。
各种实施例还涉及用于执行这些操作的装置或***。该装置可以为所需目的而专门构造，或者它可以包括通用计算机，该通用计算机由存储在计算机中的计算机程序选择性地激活或重新配置。这里给出的过程并不固有地与特定计算机或其它装置有关。各种通用机器可以与根据本文的教导编写的程序一起使用，或者可以证明构造更专用的装置以执行所需的方法步骤是方便的。从给出的描述中可以看出各种这些机器所需的结构。
要强调的是提供本文摘要是要允许读者快速确定技术文的本质。提交时的理解是它将不会用于解释或限制权利要求书的范围或含义。此外，在前面的具体实施方式中可以看出，为了简化本文，各特征在单个实施例中被结合。本文的方法不应被解释为反映所要求保护的实施例需要比每个权利要求中明确记载的更多特征的意图。而是，如以下权利要求书所反映地，发明主题在于少于单个公开实施例的所有特征。因此，以下权利要求书在此被并入具体实施方式中，每个权利要求自身作为单独实施例。在所附权利要求书中，术语“包括”和“其中”分别用作相应术语“包括”和“其中”的普通英语等同。此外，术语“第一”、“第二”、“第三”等仅仅用作标注，并不想要对其物体施加数字要求。
以上已经描述的内容包括所公开的体系结构的示例。当然，不可能描述组件和/或方法的每个可想到的结合，但本领域普通技术人员可以认识到许多其它结合和排列是可能的。因此，该新型的体系结构旨在涵盖落入所附权利要求书的精神和范围内的所有这些改变、修改和变化。
V.总结
上述技术的任一种或所有可通过存储在非暂时性计算机可读介质上的合适的逻辑来实现。当一个或多个处理器执行时，逻辑可使得处理器执行以上识别的技术。逻辑可完全地或部分地以硬件实现。逻辑可被包括作为控制器的一部分，用于控制软机器人致动器和/或在抓持器布置中采用一个或多个致动器的软机器人***的致动、停动、移动、位置等。

Claims (21)

1.一种***，其包括：
本地处理器，其可操作地与远程电子处理装置通信；和
拾放站，其与所述本地处理器通信并且包括：
机器人***，其包括基座、在第一端联接至所述基座的机械臂、联接至所述机械臂的第二端的软机器人抓持器，所述机器人***能够在第一位置可操作地抓取目标物体并且将所述目标物体移至第二位置；和
传感器。
2.根据权利要求1所述的***，其中所述软机器人抓持器包括：在第一端用于将所述抓持器连接至所述机械臂的转毂，以及联接至所述转毂以形成所述抓持器的一个或多个软机器人致动器。
3.根据权利要求2所述的***，所述转毂包括液压连接件或气动连接件以将致动流体递送至所述一个或多个软机器人致动器。
4.根据权利要求2所述的***，所述转毂包括用于所述传感器的安装位置以及用于为所述传感器供电和与所述传感器通信的一个或多个电气连接件或数据连接件。
5.根据权利要求2所述的***，包括多个转毂，每个转毂均与软机器人致动器相关联，其中多个所述转毂中的每一个均可滑动地附接至一个或多个轨道，所述轨道允许多个所述软机器人致动器相对于彼此移动。
6.根据权利要求5所述的***，其中所述一个或多个轨道联接至所述机械臂。
7.根据权利要求5所述的***，其中多个所述转毂能够沿着所述一个或多个轨道被手动调节。
8.根据权利要求7所述的***，其中多个所述转毂能够沿着所述一个或多个轨道被自动调节。
9.根据权利要求7所述的***，其中各自与每个转毂相关联的多个所述软机器人致动器能够被彼此独立地控制或者作为单个单元控制。
10.根据权利要求1所述的***，包括与所述拾放站通信的多个本地处理器。
11.根据权利要求1所述的***，包括与所述本地处理器通信的多个拾放站。
12.根据权利要求1所述的***，所述传感器包括下述中的一个或多个：相机、重量传感器、加速度计、测距传感器、力检测传感器、振动传感器、三维深度相机、光束遮断式传感器、光谱仪、高光谱成像仪、抓取传感器或激光测距扫描仪。
13.根据权利要求1所述的***，其中所述基座或所述机械臂中的至少一个包括下述中的至少一个：用于致动所述软机器人抓持器的气动连接件、用于致动所述软机器人抓持器的液压连接件、电气连接件或数据连接件。
14.根据权利要求1所述的***，其中所述第一位置包括资源箱，所述第二位置包括目标箱。
15.根据权利要求1所述的***，其中所述本地处理器接受来自所述远程电子处理装置的命令并且将控制命令传送至所述机器人***。
16.根据权利要求1所述的***，其中所述本地处理器接受来自所述机器人***的信息并且将所接收到的信息传送至所述远程电子处理装置。
17.根据权利要求1所述的***，还包括云后台，其用于接收和存储自所述远程电子处理装置、所述本地处理器或所述机器人***中的一个或多个传送出的信息。
18.根据权利要求17所述的***，其中所述云后台接收包括下述的一项或多项的信息：传感器数据、所述机器人***的零部件的故障率，维护日程、识别到的问题或软件崩溃。
19.根据权利要求17所述的***，所述云后台可操作执行下述中的一项或多项：基于接收到的信息执行数据挖掘和分析、建议对维护日程或替换日程进行改变、建议维修或优化，或自动进行或建议对所述远程电子装置的所述本地处理器的软件控制***的改变或升级。
20.根据权利要求17所述的***，所述云后台可操作地允许将软件更新传送至所述本地处理器或所述远程电子装置中的一个或多个。
21.根据权利要求1所述的***，其中所述传感器包括安装用于观察所述第一位置或所述第二位置中的一个的可视化传感器。
CN201880034491.8A 2017-03-30 2018-03-30 用户辅助型机器人控制*** Pending CN111246977A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762478775P 2017-03-30 2017-03-30
US62/478775 2017-03-30
PCT/US2018/025411 WO2018183852A1 (en) 2017-03-30 2018-03-30 User-assisted robotic control systems

Publications (1)

Publication Number Publication Date
CN111246977A true CN111246977A (zh) 2020-06-05

Family

ID=62063190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880034491.8A Pending CN111246977A (zh) 2017-03-30 2018-03-30 用户辅助型机器人控制***

Country Status (5)

Country Link
US (6) US11179856B2 (zh)
EP (1) EP3600795A1 (zh)
JP (2) JP7031894B2 (zh)
CN (1) CN111246977A (zh)
WO (1) WO2018183852A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117428760A (zh) * 2023-10-10 2024-01-23 无锡蔚动智能科技有限公司 一种基于人工智能的关节模组控制***及方法

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3439835A1 (en) * 2016-04-07 2019-02-13 Soft Robotics, Inc. Soft robotic actuators for positioning, packaging, and assembling
US11179856B2 (en) 2017-03-30 2021-11-23 Soft Robotics, Inc. User-assisted robotic control systems
US11396072B2 (en) * 2018-08-20 2022-07-26 Massachusetts Institute Of Technology Robotic manipulation of objects using external contacts
CN111385911B (zh) * 2018-12-27 2022-06-28 深圳市优必选科技有限公司 一种巡检机器人及其语音通话方法
JP7306044B2 (ja) * 2019-04-24 2023-07-11 株式会社アイシン 把持装置
US11938630B2 (en) 2019-08-30 2024-03-26 Universal City Studios Llc Edible soft robotic systems and methods
US10906188B1 (en) * 2019-10-25 2021-02-02 Dexterity, Inc. Singulation of arbitrary mixed items
US10843659B1 (en) 2020-02-20 2020-11-24 Samsara Networks Inc. Remote vehicle immobilizer
US20210276185A1 (en) * 2020-03-06 2021-09-09 Embodied Intelligence Inc. Imaging process for detecting failures modes
WO2021185805A2 (en) * 2020-03-18 2021-09-23 Teknologisk Institut A relocatable robotic system for production facilities
KR20220011464A (ko) * 2020-07-21 2022-01-28 삼성전자주식회사 로봇 및 그 제어 방법
US11654564B2 (en) * 2020-09-10 2023-05-23 Fanuc Corporation Efficient data generation for grasp learning with general grippers
US11565406B2 (en) * 2020-11-23 2023-01-31 Mitsubishi Electric Research Laboratories, Inc. Multi-tentacular soft robotic grippers
CN112549036B (zh) * 2020-12-25 2022-04-15 深圳市优必选科技股份有限公司 机器人关节校准方法、装置、机器人和存储介质
CN113199470B (zh) * 2021-03-30 2022-08-30 深圳市韧识科技有限公司 一种抓取装置及软体机械臂的控制方法
EP4070922A3 (en) * 2021-04-06 2023-01-11 Canon Kabushiki Kaisha Robot system, control method, image processing apparatus, image processing method, method of manufacturing products, program, and recording medium
WO2023086029A2 (en) * 2021-11-11 2023-05-19 National University Of Singapore Soft robotic modular and reconfigurable actuator

Family Cites Families (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3343864A (en) * 1965-10-07 1967-09-26 James I Baer Material handling apparatus and the like
FR2542243B1 (fr) 1983-03-11 1987-01-23 Syspro Porte-outil pour robot industriel
DE69022969T2 (de) 1989-12-20 1996-04-18 Toshiba Kawasaki Kk Flexibles Fingerelement.
JPH04134804A (ja) 1990-09-27 1992-05-08 Seiko Epson Corp 希土類永久磁石の製造方法
SE9003521D0 (sv) 1990-11-05 1990-11-05 Sandvik Ab High pressure isostatic densiffication process
GB2261069B (en) 1991-10-30 1995-11-01 Nippon Denso Co High speed picking system for stacked parts
US5457745A (en) 1994-07-11 1995-10-10 Wang; Chin-Yang Adjustable mobile phone holder
US5495410A (en) 1994-08-12 1996-02-27 Minnesota Mining And Manufacturing Company Lead-through robot programming system
JPH08132372A (ja) 1994-11-08 1996-05-28 Toshiba Corp ロボットの制御方法
JPH11300670A (ja) 1998-04-21 1999-11-02 Fanuc Ltd 物品ピックアップ装置
IT1306514B1 (it) 1998-08-05 2001-06-11 Vincenzo Arrichiello Dispositivo di attuazione a soffietto, specialmente per manipolatorerobotico, e metodo di azionamento di detto dispositivo.
US6464655B1 (en) 1999-03-17 2002-10-15 Environmental Robots, Inc. Electrically-controllable multi-fingered resilient heart compression devices
US6721444B1 (en) 1999-03-19 2004-04-13 Matsushita Electric Works, Ltd. 3-dimensional object recognition method and bin-picking system using the method
US6531090B2 (en) 2000-02-17 2003-03-11 Sumitomo Special Metals Co., Ltd. Method for producing powder compact and method for manufacturing magnet
US6845297B2 (en) 2000-05-01 2005-01-18 Irobot Corporation Method and system for remote control of mobile robot
JP3622652B2 (ja) 2000-09-01 2005-02-23 日産自動車株式会社 異方性バルク交換スプリング磁石およびその製造方法
US20040212626A1 (en) 2001-06-29 2004-10-28 Urban Lyxzen System and a method for user interaction
CN100372660C (zh) 2002-06-24 2008-03-05 松下电器产业株式会社 多关节驱动机构及其制造方法、使用该机构的把持手和机器人
JP3805310B2 (ja) * 2003-01-30 2006-08-02 ファナック株式会社 ワーク取出し装置
JP3930490B2 (ja) * 2004-04-23 2007-06-13 ファナック株式会社 物品取出し装置
CN101890720B (zh) 2004-07-13 2012-01-11 松下电器产业株式会社 物品保持***、机器人以及机器人控制方法
DK1996376T3 (en) * 2006-03-03 2016-08-29 Universal Robots As Programmable robot and user interface
JP4153528B2 (ja) * 2006-03-10 2008-09-24 ファナック株式会社 ロボットシミュレーションのための装置、プログラム、記録媒体及び方法
ES2433468T3 (es) 2006-04-26 2013-12-11 Vectrix International Limited Vehículo con sistema de inclinación bloqueable
JP4238256B2 (ja) * 2006-06-06 2009-03-18 ファナック株式会社 ロボットシミュレーション装置
US7313464B1 (en) * 2006-09-05 2007-12-25 Adept Technology Inc. Bin-picking system for randomly positioned objects
US8231158B2 (en) 2006-11-03 2012-07-31 President And Fellows Of Harvard College Robust compliant adaptive grasper and method of manufacturing same
JP4309439B2 (ja) 2007-03-30 2009-08-05 ファナック株式会社 対象物取出装置
EP2332698B1 (en) 2008-07-17 2014-06-04 Kawasaki Jukogyo Kabushiki Kaisha Robot hand
US8364314B2 (en) 2009-04-30 2013-01-29 GM Global Technology Operations LLC Method and apparatus for automatic control of a humanoid robot
JP5257335B2 (ja) 2009-11-24 2013-08-07 オムロン株式会社 ３次元視覚センサにおける計測有効領域の表示方法および３次元視覚センサ
JP5229253B2 (ja) 2010-03-11 2013-07-03 株式会社安川電機 ロボットシステム及びロボット装置並びにワーク取り出し方法
JP5449546B2 (ja) 2010-06-03 2014-03-19 株式会社日立製作所 人操作型作業機械システム
FI20106090A0 (fi) 2010-10-21 2010-10-21 Zenrobotics Oy Menetelmä kohdeobjektin kuvien suodattamiseksi robottijärjestelmässä
EP2444985B1 (en) 2010-10-25 2018-07-11 Toyota Jidosha Kabushiki Kaisha Production method of rare earth magnet
WO2012066819A1 (ja) 2010-11-17 2012-05-24 三菱電機株式会社 ワーク取り出し装置
US8504205B2 (en) 2011-03-17 2013-08-06 Harris Corporation Robotic grasping device with multi-force sensing at base of fingers
US9011077B2 (en) * 2011-04-20 2015-04-21 Siemens Energy, Inc. Cooled airfoil in a turbine engine
US20170028557A1 (en) 2015-07-28 2017-02-02 Comprehensive Engineering Solutions, Inc. Robotic navigation system and method
JP5316580B2 (ja) 2011-05-17 2013-10-16 株式会社安川電機 ロボットシステム
JP2014194958A (ja) 2011-06-21 2014-10-09 Hitachi Ltd 焼結磁石
US20140027774A1 (en) 2011-07-15 2014-01-30 Sionyx, Inc. Laser Processed Photovoltaic Devices and Associated Methods
KR101311480B1 (ko) 2011-08-03 2013-11-13 한국생산기술연구원 마찰교반 접합툴용 텅스텐 카바이드 소결체 제조 방법
US9522379B2 (en) 2011-08-12 2016-12-20 Mcalister Technologies, Llc Reducing and/or harvesting drag energy from transport vehicles, including for chemical reactors, and associated systems and methods
US8911703B2 (en) 2011-08-12 2014-12-16 Mcalister Technologies, Llc Reducing and/or harvesting drag energy from transport vehicles, including for chemical reactors, and associated systems and methods
US8996174B2 (en) 2012-06-21 2015-03-31 Rethink Robotics, Inc. User interfaces for robot training
JP5846057B2 (ja) * 2012-06-29 2016-01-20 トヨタ自動車株式会社 把持装置による把持方法
JP5469216B2 (ja) 2012-07-31 2014-04-16 ファナック株式会社 バラ積みされた物品をロボットで取出す装置
JP5790617B2 (ja) 2012-10-18 2015-10-07 トヨタ自動車株式会社 希土類磁石の製造方法
US9199376B2 (en) 2013-03-14 2015-12-01 GM Global Technology Operations LLC Intuitive grasp control of a multi-axis robotic gripper
JP5765355B2 (ja) 2013-03-18 2015-08-19 株式会社安川電機 ロボットピッキングシステム及び被加工物の製造方法
US9438648B2 (en) 2013-05-09 2016-09-06 Rockwell Automation Technologies, Inc. Industrial data analytics in a cloud platform
KR20150033423A (ko) 2013-09-24 2015-04-01 엘지전자 주식회사 열간가압성형 공정을 이용한 이방성 열간가압성형 자석의 제조방법 및 이 방법으로 제조된 열간가압성형 자석
PL3055133T3 (pl) * 2013-10-11 2020-05-18 Advanced Solutions Life Sciences, Llc System i stanowisko robocze do projektowania, wytwarzania i montażu konstrukcji z biomateriałów
KR102117984B1 (ko) 2013-11-27 2020-06-02 한국전자통신연구원 군집 로봇의 협력 청소 방법 및 제어 장치
US9841749B2 (en) 2014-04-01 2017-12-12 Bot & Dolly, Llc Runtime controller for robotic manufacturing system
US9278449B1 (en) 2014-05-21 2016-03-08 Bot & Dolly, Llc Closed-loop control system for robotic operation
JP6221978B2 (ja) 2014-07-25 2017-11-01 トヨタ自動車株式会社 希土類磁石の製造方法
CA2960858C (en) 2014-09-17 2022-12-13 Soft Robotics, Inc. Soft robotic actuator attachment hub and grasper assembly, reinforced actuators, and electroadhesive actuators
US20180150806A1 (en) 2014-10-14 2018-05-31 Xicore Inc. Systems for Actively Monitoring Lift Devices and Maintaining Lift Devices, and Related Methods
US9492923B2 (en) 2014-12-16 2016-11-15 Amazon Technologies, Inc. Generating robotic grasping instructions for inventory items
JP6576042B2 (ja) 2015-01-14 2019-09-18 キヤノン株式会社 表示制御装置及びその方法、プログラム
JP6767381B2 (ja) 2015-03-23 2020-10-14 ソフト ロボティクス， インコーポレイテッド ソフトロボットアクチュエータおよびそれを製造する方法に対する改良
US9486921B1 (en) * 2015-03-26 2016-11-08 Google Inc. Methods and systems for distributing remote assistance to facilitate robotic object manipulation
US10011013B2 (en) 2015-03-30 2018-07-03 X Development Llc Cloud-based analysis of robotic system component usage
US9327397B1 (en) 2015-04-09 2016-05-03 Codeshelf Telepresence based inventory pick and place operations through robotic arms affixed to each row of a shelf
US10625856B2 (en) * 2015-04-14 2020-04-21 ETAK Systems, LLC Battery backup via unmanned aerial vehicles for failure recovery
US10222986B2 (en) * 2015-05-15 2019-03-05 Cisco Technology, Inc. Tenant-level sharding of disks with tenant-specific storage modules to enable policies per tenant in a distributed storage system
US9687982B1 (en) 2015-05-27 2017-06-27 X Development Llc Adapting programming of a robot and/or control of the robot based on one or more parameters of an end effector of the robot
CA2987480C (en) 2015-06-11 2024-01-16 Soft Robotics, Inc. Modular robotic systems
US9718188B2 (en) 2015-09-21 2017-08-01 Amazon Technologies, Inc. Networked robotic manipulators
US9694494B1 (en) * 2015-12-11 2017-07-04 Amazon Technologies, Inc. Feature identification and extrapolation for robotic item grasping
US9751212B1 (en) * 2016-05-05 2017-09-05 Toyota Jidosha Kabushiki Kaisha Adapting object handover from robot to human using perceptual affordances
US9827678B1 (en) * 2016-05-16 2017-11-28 X Development Llc Kinematic design for robotic arm
CA3031468A1 (en) * 2016-07-21 2018-01-25 Siemens Healthcare Diagnostics Inc. Automated clinical analyzer system and method
US9715232B1 (en) * 2016-09-19 2017-07-25 X Development Llc Using planar sensors for pallet detection
JP6889574B2 (ja) 2017-03-03 2021-06-18 株式会社キーエンス ロボット設定装置、ロボット設定方法、ロボット設定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP6823502B2 (ja) 2017-03-03 2021-02-03 株式会社キーエンス ロボット設定装置、ロボット設定方法、ロボット設定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
US11179856B2 (en) 2017-03-30 2021-11-23 Soft Robotics, Inc. User-assisted robotic control systems
US11499325B2 (en) * 2017-03-31 2022-11-15 Canvas Construction, Inc. Automated drywall painting system and method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117428760A (zh) * 2023-10-10 2024-01-23 无锡蔚动智能科技有限公司 一种基于人工智能的关节模组控制***及方法
CN117428760B (zh) * 2023-10-10 2024-03-29 无锡蔚动智能科技有限公司 一种基于人工智能的关节模组控制***及方法

Also Published As

Publication number Publication date
US11660759B2 (en) 2023-05-30
US11077562B2 (en) 2021-08-03
US11173615B2 (en) 2021-11-16
US11179856B2 (en) 2021-11-23
EP3600795A1 (en) 2020-02-05
JP7308553B2 (ja) 2023-07-14
JP2020512204A (ja) 2020-04-23
US20180281200A1 (en) 2018-10-04
US20180281194A1 (en) 2018-10-04
US20180281188A1 (en) 2018-10-04
US11167422B2 (en) 2021-11-09
JP7031894B2 (ja) 2022-03-08
US20230364805A1 (en) 2023-11-16
US20220032475A1 (en) 2022-02-03
US20180281201A1 (en) 2018-10-04
WO2018183852A1 (en) 2018-10-04
JP2022009733A (ja) 2022-01-14

Similar Documents

Publication Publication Date Title
CN111246977A (zh) 用户辅助型机器人控制***
US11030766B2 (en) Automated manipulation of transparent vessels
US11286144B2 (en) Soft robotic actuators for positioning, packaging, and assembling
CN113795864A (zh) 自主未知对象拾取和放置
CN109561805B (zh) 餐具清洁***
US11511415B2 (en) System and method for robotic bin picking
US20200306980A1 (en) Automated Manipulation Of Transparent Vessels
US20210122056A1 (en) Detecting robot grasp of very thin object or feature
US20180111273A1 (en) Haptic Controller with Touch-Sensitive Control Knob
CN102822774A (zh) 代表性图像
JP2021146452A (ja) ハンドリング装置、制御装置、および制御プログラム
US20200201450A1 (en) Stretchable interactive tangibles
CN112871682B (zh) 快递供包***、方法、设备及存储介质
JP7481205B2 (ja) ロボットシステム、ロボットの制御方法、情報処理装置、コンピュータプログラム、学習装置、及び学習済みモデルの生成方法
KR102499576B1 (ko) 전자 장치 및 그 제어 방법
CN105653115A (zh) 一种显示控制方法和装置
KR102688270B1 (ko) 자율적인 미지의 물체의 픽 앤드 플레이스
KR20240116846A (ko) 자율적인 미지의 물체의 픽 앤드 플레이스

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200605