CN113681563B - 基于双相机的装配方法及*** - Google Patents

基于双相机的装配方法及*** Download PDF

Info

Publication number
CN113681563B
CN113681563B CN202111010634.1A CN202111010634A CN113681563B CN 113681563 B CN113681563 B CN 113681563B CN 202111010634 A CN202111010634 A CN 202111010634A CN 113681563 B CN113681563 B CN 113681563B
Authority
CN
China
Prior art keywords
camera
coordinate system
mechanical arm
assembly
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111010634.1A
Other languages
English (en)
Other versions
CN113681563A (zh
Inventor
莫威
田森
刘颖
李东黎
田洪峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Smartstate Technology Co ltd
Original Assignee
Shanghai Smartstate Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Smartstate Technology Co ltd filed Critical Shanghai Smartstate Technology Co ltd
Priority to CN202111010634.1A priority Critical patent/CN113681563B/zh
Publication of CN113681563A publication Critical patent/CN113681563A/zh
Application granted granted Critical
Publication of CN113681563B publication Critical patent/CN113681563B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J18/00—Arms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/007—Means or methods for designing or fabricating manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)

Abstract

本说明书实施例提供一种基于双相机的装配方法及***，应用于自动化技术领域，其中基于双相机的装配方案包括：第一相机固定位于工作区域上方，对装配工作区域实时监测，并负责机械臂的运动路径规划；第二相机位于机械臂上，在装配中进行小范围内的精准定位测量，机械臂对待装配物体进行装配。通过第一相机、机械臂和第二相机的协作工作，可对高精度仪器进行自动化精密装配，可提高高精度仪器的装配精确性和装配效率。

Description

基于双相机的装配方法及***
技术领域
本发明涉及自动化控制技术领域，具体涉及一种基于双相机的装配方法及***。
背景技术
近几年随着经济与科技的发展，对于高精度仪器的生产和装配效率的要求也越来越高，高质量、高可靠、高柔性、高智能化的高精度仪器批量装配***的建设已成必然趋势。
但是，现有高精度仪器的主要装配方式仍是依赖人工操作，并辅以吊具、支架车等简单工艺装备进行定位和支撑，因而存在着部件位姿调整不可量化、定位精度低、装配质量严重依赖作业人员的个人技能与经验等问题，而且新一代的高精度仪器设备功能趋于集成化，尺寸和重量也越来越大，本体结构还存在多样化，所以总装工况愈加复杂，高精度仪器装配耗时长，比如航天器单机产品的装配时长可达数周甚至数月。
因此，亟需引入新型的装配技术来提高高精度仪器的装配精度和效率。
发明内容
有鉴于此，本说明书实施例提供一种基于双相机的、用于对高精度仪器进行自动化装配的装配方法及***，不仅可对精密仪器设备(即高精度仪器，如航天仪器)进行自动化装配，还可提高高精度仪器的装配精确性和效率。
本说明书实施例提供以下技术方案：
本说明书实施例提供一种基于双相机的装配方法，包括：
第一相机对装配工作区域进行实时监测，并根据预设的路径策略确定机械臂对应的路径规划，所述路径规划用于所述机械臂运动到所述装配工作区域中预设的目标位置，其中所述第一相机固定安装于所述装配工作区域中；
所述机械臂根据所述路径规划运动到所述目标位置；
在所述机械臂到达所述目标位置后，第二相机对所述装配工作区域中的待装配物体进行装配定位测量以确定目标装配位置，其中所述第二相机安装于所述机械臂上的预设位置；
所述机械臂根据所述目标装配位置对所述待装配物体进行装配。
本说明书实施例还提供一种基于双相机的装配***，包括：
用于对待装配物体进行装配的机械臂；
固定安装于装配工作区域中的第一相机，所述第一相机用于实时监测所述装配工作区域，并根据预设的路径策略确定所述机械臂对应的路径规划，所述路径规划用于所述机械臂运动到所述装配工作区域中预设的目标位置；
安装于所述机械臂上的第一预设位置的第二相机，所述第二相机用于在所述机械臂到达所述目标位置后，对所述装配工作区域中的待装配物体进行装配定位测量以确定目标装配位置；
其中，所述机械臂根据所述路径规划运动到所述目标位置，以及根据所述目标装配位置对所述待装配物体进行装配。
与现有技术相比，本说明书实施例采用的上述至少一个技术方案能够达到的有益效果至少包括：
自动化的装配方式使高精度仪器装配标准化，具有可重复性；
自动化装配的定位精度高、装配速度快，使高精度仪器由原来的手工单件装配转变为自动化批量装配，大大提高了高精度仪器的生产效率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本说明书实施例提供的一种基于双相机的装配***的结构示意图；
图2是本说明书实施例提供的一种基于双相机的装配***中坐标系标定及路径规划的结构示意图；
图3是本说明书实施例提供的一种基于双相机的装配***中第二相机进行精确定位测量的结构示意图；
图4是本说明书实施例提供的一种基于双相机的装配方法的流程图；
图5是本说明书实施例提供的一种基于双相机的装配方法中坐标系标定的流程图；
图6是本说明书实施例提供的一种基于双相机的装配方法中坐标系标定的示意图；
图7是本说明书实施例提供的一种基于双相机的装配方法中进行航天仪器自动装配的流程图。
具体实施方式
下面结合附图对本申请实施例进行详细描述。
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本申请，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目和方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本申请的基本构想，图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等描述的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
目前，针对高精度仪器的装配，比如航天仪器设备的装配，为保障高精度仪器的安全和装配精度，仍采用人工方式进行装配。而航天仪器设备的快速发展，迫切需求一种能够满足高精度仪器的自动化装配方案。
基于此，发明人针对高精度仪器的装配需求，提成了一种新的自动化装配方案：如图1所示，在本说明书实施例提供的一种基于双相机的高精度仪器自动化装配的装配***中，双相机分别为固定放置于装配工作区域(比如装配厂房)上方某固定位置的第一相机(比如双目相机)，以及一个安装在机械臂上的第二相机(比如2D相机)，其中第一相机固定地位于装配工作区域上方，可以长距离地对整个装配工作区域进行实时监测，比如负责机械臂的运动路径的路径规划，比如装配中负责机械臂的运动路径上的干涉检查，而机械臂上的第二相机则负责装配中的小范围内装配情况的精准定位测量，比如机械臂运动到装配位置时，第二相机先对装配的具***置进行精确定位测量后，机械臂再进行装配。
通过本说明书实施例提供的一种基于双相机的高精度仪器自动化装配的装配***，不仅方便实际装配应用中，可以根据实际的装配需求(比如装配厂房)进行灵活部署，还能通过双相机和机械臂的协同来提高装配的精度、效率，非常适用于对高精度仪器(如航天仪器)的自动化装配。
以下结合附图，说明本申请各实施例提供的技术方案。
如图1、图2和图3所示，本说明书实施例提供一种基于双相机的装配***，可包括：第一相机、机械臂和第二相机，其中第一相机固定安装于装配工作区域中，第二相机安装于机械臂上的第一预设位置，比如第一预设位置可为机械臂的末端法兰盘上所安装的相机支架，这时第二相机可固定于相机支架上。
实施中，待装配物体(比如待装配的高精度仪器、设备、产品等)可以预先放置于安装平台上，便于机械臂对该待装配物体进行装配。
第一相机可固定安装于装配工作区域中，比如装配厂房中墙壁上，方便第一相机实时监测整个装配工作区域，比如监测装配中是否有人员活动，比如监测机械臂的运动轨道等。
第一相机还可根据预设的路径策略对所述机械臂进行运动路径的规划，确定出机械臂对应的至少一条路径规格，所述路径规划用于所述机械臂运动到所述装配工作区域中预设的目标位置。
例如，根据机械臂在装配前所在的起始位置P1和需要到达的某一目标位置P2，在路径规划后可获得从该起始位置运动到该目标位置之间的至少一条规划路径P1→P2。
需要说明的是，用于进行路径规划的路径策略可根据应用需要而进行预设、调整等，比如采用成熟的路径规划算法作为路径策略，这里不作限定。
在获得规划路径后，机械臂可根据所述路径规划向目标位置进行运动，以使机械臂的末端(即用于对待装配物体进行装配的一端)到达该目标位置，便于第二相机进一步进行精确的定位测量。
在所述机械臂到达所述目标位置后，第二相机可对所述装配工作区域中的待装配物体进行装配定位测量以确定目标装配位置。
在通过第二相机精确定位测量得到精确的目标装配位置后，机械臂可根据所述目标装配位置对所述待装配物体进行装配，比如目标装配位置为螺钉孔，这时机械臂的末端可通过螺钉装配工具进行螺钉装配。
因此，通过本说明书实施例提供的一种基于双相机的高精度仪器自动化装配的装配***，不仅方便实际装配应用中，可以根据实际的装配需求(比如装配厂房)进行灵活部署，使得自动化的装配方式可以满足高精度仪器的装配需求，使得高精度仪器的装配标准化，具有可重复性；而且，还能通过双相机和机械臂的协同工作，使得自动化装配时获得极高的定位精度，使高精度仪器由原来的手工单件装配转变为自动化批量装配，大大提高了高精度仪器的生产效率，非常适用于对高精度仪器(如航天仪器)的自动化装配。
下面以第一相机为双目视觉的相机(如双目相机)、第二相机为2D(二维)视觉的相机(如2D相机)为例，进一步对装配***进行实例性说明，但本领域的技术人员应当理解，双目相机、2D相机等不应构成对本说明书提供的技术方案构成限定。
在一些实施方式中，在机械臂距离待装配物体(比如零件)较远时，此时位于工作区域上方的双目相机可对工作区域拍摄，并对机械臂的运动路径进行路径规划，得到至少一条规划路径P1→P2。
其中，P1为机械臂的当前位置，P2为目标位置，机械臂未运动前的姿态可如图2所示。在机械臂按路径规划P1→P2运动后到达目标位置P2后，机械臂的位姿可如图3所示。这时，2D相机可对待装配物体(比如零件)进行精确的位姿偏差测量，从而获得精确的目标装配位置。
在一些实施方式中，可根据2D相机的测量结果，比如待装配物体在安装平台上的位置偏离了理论的位置，比如安装位置偏离了理论的安装位置等，调整安装平台上的待装配物体，或者调整机械臂的姿态，进行零件自动化装配。
在一些实施方式中，双目相机可在实时监测中，对机械臂的运动过程进行干涉检查，防止运动过程中机械臂与装配工作区域中的其他物体发生碰撞。
在一些实施方式中，当存在干涉时，第一相机可将干涉位置的坐标信息向机械臂反馈，这时机械臂可根据所述干涉位置的坐标信息对运动过程进行控制，比如使机械臂在运动到干涉位置前减速直至停止工作。
例如，鉴于高精度仪器(比如航天仪器)的装配复杂性，在装配过程中常常有人员进入穿线操作，这时双目相机可通过拍摄整个工作场景，对工作区域进行实时检测，防止装配人员和机械臂发生碰撞，保障人员、机械臂和高精度仪器的安全。
在一些实施方式中，2D相机可对装配的精度进行拍照测量判断。
实施中，在机械臂对所述待装配物体完成装配后，2D相机可对所述目标装配位置进行拍照，并检测所述目标装配位置的装配精度是否满足预设的精度阈值。
在一些实施方式中，2D相机可精确地确定螺钉的装配情况是否符合高精度仪器的装配要求。
实施中，当所述目标装配位置为螺孔安装位置时，这时2D相机测量可通过拍照后，获取螺钉的轮廓边线的圆心、螺孔的轮廓边线的圆心等信息，进而根据两圆心距离来确定螺钉的装配是否满足预设的精度，比如当两圆心距离小于等于预设的精度阈值，则可判断为螺钉的装配达到了高精度仪器的装配要求。
在一些实施方式中，还可采用激光传感器来辅助2D相机(即第二相机)获取目标装配位置的三维坐标数据。
实施中，基于双相机的装配***还包括激光传感器(图中未示出)，其中所述激光传感器安装于所述机械臂的第二预设位置(图中未示出)，用于与所述2D视觉的相机配合使用，以通过获取所述目标装配位置的深度信息而获取所述目标装配位置的三维坐标数据。
需要说明的是，第二预设位置可根据实际应用需要进行确定，这里不作限定。
通过2D相机、激光传感器与第一相机的相对位置关系，可基于获取的深度信息得到目标装配位置的三维坐标数据，从而可根据三维坐标数据进行装配，提高装配精度。
本说明书还提供一种基于双相机的装配方法，该装配方法可基于前述任意一个实施例提供的基于双相机的装配***进行自动化装配。
如图4所示，本说明书实施例提供一种基于双相机的装配方法，可包括：
步骤S202、第一相机对装配工作区域进行实时监测，并根据预设的路径策略确定机械臂对应的路径规划。
实施中，所述路径规划用于所述机械臂运动到所述装配工作区域中预设的目标位置，其中所述第一相机固定安装于所述装配工作区域中，比如第一相机固定安装于装配厂房的墙壁上，以便对下方的装配操作区域进行全局监测。
步骤S204、所述机械臂根据所述路径规划运动到所述目标位置。
步骤S206、在所述机械臂到达所述目标位置后，第二相机对所述装配工作区域中的待装配物体进行装配定位测量以确定目标装配位置(如图中标识的位置点P3)，其中所述第二相机安装于所述机械臂上的预设位置。
步骤S208、所述机械臂根据所述目标装配位置对所述待装配物体进行装配。
通过步骤S202至步骤S208，基于第一相机、机械臂和第二相机的协同工作，通过简单地将高精度仪器的自动化装配所需***部件(入第一相机、第二相机和机械臂)进行快速部署，可满足高精度仪器的高精度自动化装配需求，不仅可满足高精度仪器对装配精度的要求，实现自动化装配操作的标准化，而且还能提高装配效率，非常适用于对高精度仪器(如航天仪器)的自动化装配。
在一些实施方式中，可采用双目视觉的相机(比如双目相机)作为第一相机，采用2D(二维)视觉的相机(比如2D相机)作为第二相机，简化自动化装配中使用相机***及其标定操作，降低成本，提高部署灵活性。
实施中，第一相机可包括双目视觉的相机(如双目相机)，第二相机可包括2D视觉的相机(如2D相机)。
这时，可通过以下过程对双相机***进行标定，即基于双相机的装配方法还包括：标定所述第一坐标系、所述第二坐标系和所述第三坐标系，以及标定三个坐标系之间的转换关系，其中所述第一坐标系为所述第一相机的坐标系，所述第二坐标系为所述机械臂的坐标系，所述第三坐标系为所述第二相机的坐标系。
实施中，可将所述第一相机上的某基准点标定为第一坐标系的原点(如图中标识的位置点O)，并标定所述第一坐标系的x轴、y轴和z轴所对应方向。
优选地，在标定所述第一坐标系的x轴、y轴和z轴所对应方向时，可根据待装配物体标定所述第一坐标系的x轴、y轴和z轴所对应的方向。
其中，可以放置待装配物体的安装平台平面的法线方向作为z轴方向；将待装配物体中与z轴方向平行的某个侧面(如安装面)的法线方向作为x轴方向，最后可根据x轴方向和z轴方向利用右手法则确定y轴方向。
实施中，可将所述机械臂的末端法兰盘上的某基准点标定为第二坐标系的原点(如图中标识的位置点O1)，并标定所述第二坐标系的原点在所述第一坐标系中的第一坐标位置。
例如，机械臂的坐标系(即第二坐标系)的原点可选择机械臂上的任意位置。
优选地，选择时原点可靠近机械手末端第六轴上，即靠近安装工具所在位置，减少中间传递误差，提高识别和抓取精度。
优选地，可选择机械臂末端法兰盘的中点标定为机械臂坐标系原点
实施中，可将所述第二相机上的某基准点标定为第三坐标系的原点(如图中标识的位置点O2)，根据所述第二相机安装于所述机械臂上的预设位置，标定所述第三坐标系的原点在所述第二坐标系中的第二坐标位置。
例如，可将用于安装第二相机的相机支架上的某点作为第三坐标系的原点，可根据支架上的该点与机械臂的坐标系的原点确定出第二相机的坐标系的原点在机械臂的坐标系中的相对坐标。
在一些实施方式中，可预先对机械臂和第二相机之间的坐标系进行标定。
实施中，如图5所示，对所述第二坐标系与所述第三坐标系之间的转换关系进行标定过程，可包括：
步骤S402、获取三个标记物在所述第三坐标系中的位置坐标。
实施中，可将三个标记物放置于所述第二相机的视野中，例如前述图3中标识的孔1至孔3，其中三个标记物放置于同一平面且不在同一直线上。这时，可利用第二相机获取到三个标记物在第二相机中的坐标，可分别记为坐标(X0，Y0)、(X1，Y1)和(X2，Y2)。
步骤S404、根据三个所述位置坐标构建平行四边形，再根据目标点在所述第三坐标系中的坐标(Xi，Yi)与三个所述位置坐标的相对关系，获取目标点对应的坐标系数k1和k2。
实施中，如图6所示，根据三个所述位置坐标构建一平行四边形，然后可采用两个坐标轴的向量表示目标点在第二相机的坐标系中的坐标(Xi，Yi)，计算获得坐标系数k1和k2。
其中，目标点的坐标和坐标系数k1、k2与三个所述位置坐标存在如下第一关系式：
(Xi，Yi)＝(X0，Y0)+k1[(X1-X0)，(Y1-Y0)]+k2[(X2-X0)，(Y2-Y0)]
其中，第一关系式中的坐标系数k1和k2为目标点在三个所述位置坐标构成的非直角坐标系下的表示系数。
需要说明的是，鉴于三个标记物并未发生变动，因而该坐标系数在相机坐标系和机械臂坐标系下并不变化，因而可利用该特性，针对每个目标点先获取其对应的坐标系数，进而利用该系数获得坐标系中对应的坐标点。
步骤S406、利用所述机械臂的末端安装的探针触碰三个所述标记物，得到三个所述标记物在所述第二坐标系下的坐标(A0，B0，C0)，(A1，B1，C1)和(A2，B2，C2)，并根据三个所述标记物在所述第二坐标系下的坐标确定所述目标点在所述第二坐标系下的坐标(Ai，Bi，Ci)。
而目标点在机械臂坐标系下的位置(Ai，Bi，Ci)可由相似三角形定理，得出目标点在所述第二坐标系下的坐标(Ai，Bi，Ci)与三个所述标记物在所述第二坐标系下的坐标存在如下第二关系式：
(Ai，Bi，Ci)＝(A0，B0，C0)+k1[(A1-A0)，(B1-B0)，(C1-C0)]+k2[(A2-A0)，(B2-B0)，(C2-C0)]
其中，k1、k2为所述第一关系式中的坐标系数。
因此，可以得到第二相机的坐标系(即第三坐标系)下目标点(Xi，Yi)在机械臂的坐标系(即第二坐标系)中的位置(Ai，Bi，Ci)。
在一些实施方式中，在第一相机对装配工作区域进行实时监测的同时，还可通过第一相机对机械臂的运动路径进行实时干涉检查，以确保能及时更新机械臂的姿态，避免机械臂与装配配区域中的其他物体发生碰撞。
实施中，所述第一相机可根据预设的干涉策略，对所述机械臂在根据所述路径规划的运动过程进行实时干涉检查，以防止所述机械臂在运动过程中与所述装配工作区域中的物体产生碰撞。
比如，在对装配区域进行实时监测中，可检查工作区域内是否有外物进入，若有，则检测机械臂在规划路径P1→P2运动过程中是否会与外物产生碰撞。
在一些实施方式中，可构建机械臂对应的检测用的若干立体形状，比如长方体、圆柱体等，便于第一相机快速进行干涉检查。
例如，检测代表机械臂的长方体在规划路径P1→P2运动过程中是否会与外物产生重叠，若产生重叠，则说明外物已进入到机械臂的运动路径中，存在干涉。
通过实时干涉检查，可保障在高精度仪器(如航天仪器)的装配复杂场景中，即使在装配过程中有人员进入穿线操作，仍可通过第一相机拍摄整个工作场景，对工作区域进行实时检测，确保了人和机械臂的安全，防止碰撞产生。
在一些实施方式中，当所述第一相机检测到存在干涉位置时，可利用所述第一相机获取到干涉位置的坐标信息，并将所述干涉位置的坐标信息向所述机械臂反馈，使得机械臂可以根据所述干涉位置的坐标信息对所述机械臂的运动过程进行控制。
例如，在存在干涉时，可将干涉位置的信息反馈至机械臂，使机械臂在运动到干涉位置前减速直至停止工作。
在一些实施方式中，在所述机械臂对所述待装配物体完成装配后，第二相机可对装配情况进行高精度的检查，以确定装配是否符合高精度仪器的装配需求。
实施中，第二相机可对所述目标装配位置进行拍照，并检测所述目标装配位置的装配精度是否满足预设的精度阈值。
在一些实施方式中，当所述目标装配位置为螺孔安装位置时，第二相机可测量螺钉的轮廓边线的圆心与螺孔的轮廓边线的圆心之间的圆心距离是否小于预设的精度阈值，以对螺钉的装配情况进行高精度的检查。
实施中，装配完成后，机械臂运动至第二相机(比如2D相机)对准螺钉中心位置，通过测量螺钉轮廓边线与螺孔轮廓边线的位置关系来确定装配精度是否满足要求，若两轮廓边线圆心距离小于一定值，则说明装配精度满足要求。
本说明书还提供一种基于双相机的装配方法，该装配方法可对如航天仪器的高精度仪器进行精确的自动化装配。
下面结合前述各个实施例进行示例性说明。
如图7所示，对航天仪器的自动装配过程，可根据装配需要包括以下若干步骤：
步骤S602、双相机的标定，比如标定第一相机(如双目相机)的坐标系、第二相机(如2D相机)的坐标系和机械臂的坐标系，比如标定坐标系之间转换关系的标定等；
步骤S604、确定机械臂坐标系与相机坐标系转换关系，比如确定机械臂与第一相机的坐标系的关系，与第第二相机的坐标系的关系等；
步骤S606、利用双目相机识别并确定起始位置机械臂坐标P1和目标点的位置P2，并规划至少一条可行的机械臂运动路径P1→P2；
步骤S608、在机械臂的P1→P2运动过程中，双目相机实时获取工作区域图像，监测是否有外物进入工作区域，如有，则进一步判断外物与机械臂的运动路径是否产生重叠，即进行干涉检查；
步骤S610、产生重叠时，则检查干涉位置，将信号反馈给机械臂，使机械臂在运动到干涉位置前减速直至停止工作，待外物离开工作区后，重新开始工作；未产生重叠则正常工作；
步骤S612、机械臂运动至P2后，利用2D相机(即第二相机)精确地确定装配目标点的位置P3，在精确确定位置P3后，机械臂可运动至P3开始装配；
步骤S614、装配完成后，利用2D相机检测轮廓边线位置关系，确定装配精度是否满足要求。
通过本说明书实施例提供的基于双相机的装配方案，航天仪器可实现自动化装配，而且装配的精度高，效率高，也避免了人工装配中人为装配错误，为航天仪器的装配过程提供一种智能化的装配方案。
需要说明的是，上述步骤S602至S614具体可参照前述各个实施例中涉及的相关说明，这里不再赘述。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例侧重说明的都是与其他实施例的不同之处。尤其，对于后面说明的产品实施例而言，由于其与方法是对应的，描述比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中，各个实施例均可为完全硬件实施例、完全软件实施例或结合软件和硬件实施的实施例。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种基于双相机的装配方法，其特征在于，包括：
第一相机对装配工作区域进行实时监测，并根据预设的路径策略确定机械臂对应的路径规划，所述路径规划用于所述机械臂运动到所述装配工作区域中预设的目标位置，其中所述第一相机固定安装于所述装配工作区域中，所述第一相机长距离地对整个装配工作区域进行实时监测以负责机械臂的运动路径的路径规划；
所述机械臂根据所述路径规划运动到所述目标位置；
在所述机械臂到达所述目标位置后，第二相机对所述装配工作区域中的待装配物体进行装配定位测量以确定目标装配位置，其中所述第二相机安装于所述机械臂上的预设位置；
所述机械臂根据所述目标装配位置对所述待装配物体进行装配；
其中，所述第一相机包括双目视觉的相机，所述第二相机包括2D视觉的相机；
所述基于双相机的装配方法还包括：
对第一坐标系、第二坐标系和第三坐标系进行标定，以及对三个坐标系之间的转换关系进行标定，其中所述第一坐标系为所述第一相机的坐标系，所述第二坐标系为所述机械臂的坐标系，所述第三坐标系为所述第二相机的坐标系；
其中，将所述第一相机上的某基准点标定为第一坐标系的原点，并标定所述第一坐标系的x轴、y轴和z轴所对应方向；
将所述机械臂的末端法兰盘上的某基准点标定为第二坐标系的原点，标定所述第二坐标系的原点在所述第一坐标系中的第一坐标位置；
将所述第二相机上的某基准点标定为第三坐标系的原点，根据所述第二相机安装于所述机械臂上的预设位置，标定所述第三坐标系的原点在所述第二坐标系中的第二坐标位置；
对所述第二坐标系与所述第三坐标系之间的转换关系进行标定，包括：
获取三个标记物在所述第三坐标系中的位置坐标，分别记为坐标（X0，Y0）、（X1，Y1）和（X2，Y2），其中三个标记物放置于所述第二相机的视野中；
根据三个所述位置坐标构建平行四边形，根据目标点在所述第三坐标系中的坐标（Xi，Yi）与三个所述位置坐标的相对关系，获取目标点对应的坐标系数k1和k2，其中坐标系数k1、 k2与三个所述位置坐标和目标点的坐标存在如下第一关系式：
(Xi,Yi)=(X0,Y0)+k1[(X1-X0),(Y1-Y0)]+ k2[(X2-X0),(Y2-Y0)]
其中，第一关系式中的坐标系数k1和k2为目标点在三个所述位置坐标构成的非直角坐标系下的表示系数；
利用所述机械臂的末端安装的探针触碰三个所述标记物，得到三个所述标记物在所述第二坐标系下的坐标（A0，B0，C0），（A1，B1，C1）和（A2，B2，C2），并根据三个所述标记物在所述第二坐标系下的坐标确定所述目标点在所述第二坐标系下的坐标（Ai，Bi，Ci），其中目标点在所述第二坐标系下的坐标（Ai，Bi，Ci）与三个所述标记物在所述第二坐标系下的坐标存在如下第二关系式：
(Ai,Bi,Ci)=(A0,B0,C0)+ k1[(A1-A0),(B1-B0), (C1-C0)]+ k2[(A2-A0),(B2-B0),(C2-C0)]
其中，k1、k2为所述第一关系式中的坐标系数。
2.根据权利要求1所述的基于双相机的装配方法，其特征在于，所述基于双相机的装配方法还包括：
所述第一相机根据预设的干涉策略对所述机械臂在根据所述路径规划的运动过程进行实时干涉检查，以防止所述机械臂在运动过程中与所述装配工作区域中的物体产生碰撞。
3.根据权利要求2所述的基于双相机的装配方法，其特征在于，当所述第一相机检测到存在干涉位置时，所述基于双相机的装配方法还包括：
所述第一相机获取干涉位置的坐标信息，将所述干涉位置的坐标信息向所述机械臂反馈；
所述机械臂根据所述干涉位置的坐标信息对运动过程进行控制。
4.根据权利要求2所述的基于双相机的装配方法，其特征在于，所述基于双相机的装配方法还包括：
创建若干目标立体形状，其中所述目标立体形状用于表征包含有所述第二相机的机械臂的外形；
所述第一相机对所述机械臂在根据所述路径规划的运动过程进行实时干涉检查，包括：
所述第一相机检测所述目标立体形状在根据所述路径规划的运动过程进行实时干涉检查。
5.根据权利要求1至4中任意一项所述的基于双相机的装配方法，其特征在于，在所述机械臂对所述待装配物体完成装配后，所述基于双相机的装配方法还包括：
所述第二相机对所述目标装配位置进行拍照，并检测所述目标装配位置的装配精度是否满足预设的精度阈值。
6.根据权利要求5所述的基于双相机的装配方法，其特征在于，当所述目标装配位置为螺孔安装位置时，所述检测所述目标装配位置的装配精度是否满足预设的精度阈值，包括：测量螺钉的轮廓边线的圆心与螺孔的轮廓边线的圆心之间的圆心距离是否小于预设的精度阈值。
7.一种基于双相机的装配***，其特征在于，包括：
用于对待装配物体进行装配的机械臂；
固定安装于装配工作区域中的第一相机，所述第一相机用于实时监测所述装配工作区域，并根据预设的路径策略确定所述机械臂对应的路径规划，所述路径规划用于所述机械臂运动到所述装配工作区域中预设的目标位置，所述第一相机长距离地对整个装配工作区域进行实时监测以负责机械臂的运动路径的路径规划；
安装于所述机械臂上的第一预设位置的第二相机，所述第二相机用于在所述机械臂到达所述目标位置后，对所述装配工作区域中的待装配物体进行装配定位测量以确定目标装配位置；
其中，所述机械臂根据所述路径规划运动到所述目标位置，以及根据所述目标装配位置对所述待装配物体进行装配；
对第一坐标系、第二坐标系和第三坐标系进行标定，以及对三个坐标系之间的转换关系进行标定的标定单元，其中所述第一坐标系为所述第一相机的坐标系，所述第二坐标系为所述机械臂的坐标系，所述第三坐标系为所述第二相机的坐标系；
其中，将所述第一相机上的某基准点标定为第一坐标系的原点，并标定所述第一坐标系的x轴、y轴和z轴所对应方向；
将所述机械臂的末端法兰盘上的某基准点标定为第二坐标系的原点，标定所述第二坐标系的原点在所述第一坐标系中的第一坐标位置；
将所述第二相机上的某基准点标定为第三坐标系的原点，根据所述第二相机安装于所述机械臂上的预设位置，标定所述第三坐标系的原点在所述第二坐标系中的第二坐标位置；
对所述第二坐标系与所述第三坐标系之间的转换关系进行标定，包括：
获取三个标记物在所述第三坐标系中的位置坐标，分别记为坐标（X0，Y0）、（X1，Y1）和（X2，Y2），其中三个标记物放置于所述第二相机的视野中；
根据三个所述位置坐标构建平行四边形，根据目标点在所述第三坐标系中的坐标（Xi，Yi）与三个所述位置坐标的相对关系，获取目标点对应的坐标系数k1和k2，其中坐标系数k1、 k2与三个所述位置坐标和目标点的坐标存在如下第一关系式：
(Xi,Yi)=(X0,Y0)+k1[(X1-X0),(Y1-Y0)]+ k2[(X2-X0),(Y2-Y0)]其中，第一关系式中的坐标系数k1和k2为目标点在三个所述位置坐标构成的非直角坐标系下的表示系数；
利用所述机械臂的末端安装的探针触碰三个所述标记物，得到三个所述标记物在所述第二坐标系下的坐标（A0，B0，C0），（A1，B1，C1）和（A2，B2，C2），并根据三个所述标记物在所述第二坐标系下的坐标确定所述目标点在所述第二坐标系下的坐标（Ai，Bi，Ci），其中目标点在所述第二坐标系下的坐标（Ai，Bi，Ci）与三个所述标记物在所述第二坐标系下的坐标存在如下第二关系式：
(Ai,Bi,Ci)=(A0,B0,C0)+ k1[(A1-A0),(B1-B0), (C1-C0)]+ k2[(A2-A0),(B2-B0),(C2-C0)]其中，k1、k2为所述第一关系式中的坐标系数。
8.根据权利要求7所述的基于双相机的装配***，其特征在于，所述第一相机包括双目视觉的相机，所述第二相机包括2D视觉的相机；
所述基于双相机的装配***还包括激光传感器，所述激光传感器安装于所述机械臂的第二预设位置，用于与所述2D视觉的相机配合使用，以通过获取所述目标装配位置的深度信息，获取所述目标装配位置的三维坐标数据。
CN202111010634.1A 2021-08-31 2021-08-31 基于双相机的装配方法及*** Active CN113681563B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111010634.1A CN113681563B (zh) 2021-08-31 2021-08-31 基于双相机的装配方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111010634.1A CN113681563B (zh) 2021-08-31 2021-08-31 基于双相机的装配方法及***

Publications (2)

Publication Number Publication Date
CN113681563A CN113681563A (zh) 2021-11-23
CN113681563B true CN113681563B (zh) 2022-10-18

Family

ID=78584372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111010634.1A Active CN113681563B (zh) 2021-08-31 2021-08-31 基于双相机的装配方法及***

Country Status (1)

Country Link
CN (1) CN113681563B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114770505B (zh) * 2022-04-29 2024-07-23 清华大学 一种抓取装置、装配设备及其控制方法
CN114905511B (zh) * 2022-05-12 2023-08-11 南京航空航天大学 一种工业机器人装配误差检测与精度补偿***标定方法
CN115648224A (zh) * 2022-12-22 2023-01-31 北京钢铁侠科技有限公司 一种基于双深度相机识别定位的机械臂抓取方法
CN117140540A (zh) * 2023-08-04 2023-12-01 上海智元新创技术有限公司 紧固***及紧固***的拾取紧固方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6481083B1 (en) * 1999-06-25 2002-11-19 Burke E. Porter Machinery Company Robotic apparatus and method for mounting a vale stem on a wheel rim
JP5172766B2 (ja) * 2009-04-01 2013-03-27 本田技研工業株式会社 ワーク整列システムおよびワーク移動方法
JP5382053B2 (ja) * 2011-04-15 2014-01-08 株式会社安川電機 ロボットシステムおよびロボットシステムを用いた検査方法
CN202752803U (zh) * 2012-08-08 2013-02-27 苏州逸美德自动化科技有限公司 基于双视觉定位的组装机
CN210731548U (zh) * 2019-08-30 2020-06-12 珠海格力智能装备有限公司 装配设备
CN112405490A (zh) * 2020-11-25 2021-02-26 集美大学 一种具有自主导航定位功能的柔性装配机器人
CN113146172B (zh) * 2021-03-08 2023-05-02 中国科学院宁波材料技术与工程研究所 一种基于多视觉的检测与装配***及方法

Also Published As

Publication number Publication date
CN113681563A (zh) 2021-11-23

Similar Documents

Publication Publication Date Title
CN113681563B (zh) 基于双相机的装配方法及***
US10357879B2 (en) Robot zero-point calibration device and method
KR102280663B1 (ko) 비전 가이드 로봇 암 교정 방법
JP6280525B2 (ja) カメラのミスキャリブレーションの実行時決定のためのシステムと方法
CN110355788B (zh) 移动操作机器人大尺度空间高精度在线标定***
JP4021413B2 (ja) 計測装置
CN110370286A (zh) 基于工业机器人和单目相机的定轴运动刚体空间位置识别方法
CN108827155B (zh) 一种机器人视觉测量***及方法
Jiang et al. A measurement method for robot peg-in-hole prealignment based on combined two-level visual sensors
US10310054B2 (en) Relative object localization process for local positioning system
CN107883929A (zh) 基于多关节机械臂的单目视觉定位装置及方法
Morozov et al. Assessing the accuracy of industrial robots through metrology for the enhancement of automated non-destructive testing
CN106903687A (zh) 基于激光测距的工业机器人校准***与方法
CN101261118A (zh) 基于机器人的快速自动化三维形貌在线测量方法和***
CN109341532A (zh) 一种面向自动装配的基于结构特征的零件坐标标定方法
CN109579766A (zh) 一种产品外形自动检测方法及***
CN103759635A (zh) 一种精度与机器人无关的扫描测量机器人检测方法
Zhu et al. Kinematic modeling and parameter identification of a new circumferential drilling machine for aircraft assembly
CN210819622U (zh) 移动操作机器人大尺度空间高精度在线标定***
CN109895094A (zh) 一种工业机器人测量轨迹定位误差分析方法及***
CN113510708B (zh) 一种基于双目视觉的接触式工业机器人自动标定***
CN113146613B (zh) 一种工业机器人d-h参数三维自标定校准装置及方法
CN111687845B (zh) 一种基于惯性测量单元的机械臂运动学参数标定方法
CN115841516A (zh) 用于对摄像头的动态本征参数进行建模的方法和设备
CN111376272B (zh) 用于壳体结构三维扫描过程的机器人测量路径规划方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant