CN112001967A - 相机指导机械手搬运物体的方法和装置 - Google Patents

相机指导机械手搬运物体的方法和装置 Download PDF

Info

Publication number
CN112001967A
CN112001967A CN202010820948.7A CN202010820948A CN112001967A CN 112001967 A CN112001967 A CN 112001967A CN 202010820948 A CN202010820948 A CN 202010820948A CN 112001967 A CN112001967 A CN 112001967A
Authority
CN
China
Prior art keywords
coordinate system
manipulator
camera
target object
pixel coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010820948.7A
Other languages
English (en)
Inventor
刘梦茹
高祥
熊星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou HYC Technology Co Ltd
Original Assignee
Suzhou HYC Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou HYC Technology Co Ltd filed Critical Suzhou HYC Technology Co Ltd
Priority to CN202010820948.7A priority Critical patent/CN112001967A/zh
Publication of CN112001967A publication Critical patent/CN112001967A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/08—Gripping heads and other end effectors having finger members
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种相机指导机械手搬运物体的方法和装置。该方法包括：根据第一标定十字栅格板的十字中心在机械手坐标系下的坐标和在相机像素坐标系下的坐标以及相机的内参校准参数计算相机像素坐标系和机械手坐标系的投影矩阵；其中，相机固定于机械手的上方，且不随机械手运动；获取机械手法兰盘在相机像素坐标系下的中心坐标和目标物体在相机像素坐标系中的标准位姿；根据目标物体在相机像素坐标系中的实时位姿和标准位姿以及投影矩阵，确定机械手移动目标物体至标准位姿在机械手坐标系中的移动坐标。可以通过机械手将目标物体一次性准确的调整至标准位姿，保证了机械手搬运目标物体的准确性和效率，有利于提高作业效率。

Description

相机指导机械手搬运物体的方法和装置
技术领域
本发明实施例涉及自动化技术领域，尤其涉及一种相机指导机械手搬运物体的方法和装置。
背景技术
在机械手参与的生产过程中，可以通过相机代替人类的视觉指导机械手搬运物体。在现有技术中，根据相机成像模型，映射三维空间坐标系和相机像素坐标系之间的转换矩阵及镜头的畸变校正矩阵。当应用相机定位物体的位置时，相机对物体进行拍照，获取物体的相机像素坐标系下的坐标，然后根据转换矩阵及镜头的畸变校正矩阵将物体的相机像素坐标系的坐标转换为三维空间坐标系下的坐标，实现相机定位物体的实时位置。在上述过程中，相机只能定位物体的实时位置，还需要手眼或其他技术指导机械手搬运物体至标准位置，不仅无法保证机械手搬运物体的精度，同时浪费时间，降低机械手的搬运效率。
发明内容
本发明提供一种相机指导机械手搬运物体的方法和装置，以实现相机准确指导机械手搬运物体至标准位置，同时可以提高机械手的搬运效率。
第一方面，本发明实施例提供了一种相机指导机械手搬运物体的方法，包括：
根据第一标定十字栅格板的十字中心在机械手坐标系下的坐标和在相机像素坐标系下的坐标以及相机的内参校准参数计算相机像素坐标系和机械手坐标系的投影矩阵；其中，所述相机固定于所述机械手的上方，且不随所述机械手运动；
获取机械手法兰盘在所述相机像素坐标系下的中心坐标和目标物体在所述相机像素坐标系中的标准位姿；
根据目标物体在相机像素坐标系中的实时位姿和所述标准位姿以及所述投影矩阵，确定机械手移动目标物体至所述标准位姿在机械手坐标系中的移动坐标。
可选地，根据目标物体在相机像素坐标系中的实时位姿和所述标准位姿以及所述投影矩阵，确定机械手移动目标物体至所述标准位姿在机械手坐标系中的移动坐标，包括：
根据目标物体在相机像素坐标系中的实时位姿和所述标准位姿确定机械手在相机像素坐标系中的移动坐标；
根据机械手在相机像素坐标系中的移动坐标和所述投影矩阵，转换机械手在相机像素坐标系中的移动坐标为机械手在机械手坐标系中的移动坐标。
可选地，在根据目标物体在相机像素坐标系中的实时位姿和所述标准位姿确定机械手在相机像素坐标系中的移动坐标之前，还包括：
控制所述机械手抓取所述目标物体；
所述相机拍摄所述目标物体，获取所述目标物体在相机像素坐标系中的实时坐标和实时角度，作为所述目标物体在所述相机像素坐标系中的实时位姿。
可选地，在根据第一标定十字栅格板的十字中心在机械手坐标系下的坐标和在相机像素坐标系下的坐标以及相机的内参校准参数计算相机像素坐标系和机械手坐标系的投影矩阵之前，还包括：
获取第一标定十字栅格板的十字中心在机械手坐标系下的坐标和在相机像素坐标系下的坐标；
获取相机的内参校准参数。
可选地，获取第一标定十字栅格板的十字中心在机械手坐标系下的坐标和在相机像素坐标系下的坐标，包括：
设置所述第一标定十字栅格板位于所述相机视野区域内的物料区；
移动所述机械手，依次将所述机械手上的定位针针尖对准所述第一标定十字栅格板上不同的十字中心，记录每个所述十字中心在机械手坐标系下的坐标；
所述相机拍摄所述第一标定十字栅格板，获取所述第一标定十字栅格板上的十字上中心在相机像素坐标系下的坐标。
可选地，获取机械手法兰盘在所述相机像素坐标系下的中心坐标和目标物体在所述相机像素坐标系中的标准位姿，包括：
更换所述定位针为第二标定十字栅格板，移动所述机械手使所述第二标定十字栅格板位于所述相机视野区域内；
在标准位置以机械手法兰盘为中心旋转所述第二标定十字栅格板，所述相机连续多次拍摄所述第二标定十字栅格板；
根据多次拍摄的所述第二标定十字栅格板确定所述机械手法兰盘在所述相机像素坐标系下的中心坐标；
控制所述机械手抓取所述目标物体，并移动至所述相机的视野区域中心，即为所述标准位置；
所述相机拍摄所述目标物体，获取所述目标物体在相机像素坐标系中的坐标和放置角度，作为所述目标物体在所述相机像素坐标系中的标准位姿。
可选地，获取相机的内参校准参数，包括：
设置棋盘格校准板位于所述相机的视野区域内；
所述相机多次拍摄不同位姿的棋盘格校准板，获取所述相机的内参校准参数。
可选地，所述相机的内参校准参数包括相机内参数矩阵和镜头畸变矩阵。
可选地，根据第一标定十字栅格板的十字中心在机械手坐标系下的坐标和在相机像素坐标系下的坐标以及相机的内参校准参数计算相机像素坐标系和机械手坐标系的投影矩阵，包括：
根据第一标定十字栅格板的十字中心在机械手坐标系下的坐标和在相机像素坐标系下的坐标确定相机像素坐标系和机械手坐标系之间的旋转矩阵和位移矩阵；
根据所述相机内参数矩阵、镜头畸变矩阵、旋转矩阵和位移矩阵计算相机像素坐标系和机械手坐标系的投影矩阵。
第二方面，本发明实施例还提供了一种相机指导机械手搬运物体的装置，包括：
投影矩阵确定模块，用于根据第一标定十字栅格板的十字中心在机械手坐标系下的坐标和在相机像素坐标系下的坐标以及相机的内参校准参数计算相机像素坐标系和机械手坐标系的投影矩阵；其中，所述相机固定于所述机械手的上方，且不随所述机械手运动；
获取模块，用于获取机械手法兰盘在所述相机像素坐标系下的中心坐标和目标物体在所述相机像素坐标系中的标准位姿；
移动坐标确定模块，用于根据目标物体在相机像素坐标系中的实时位姿和所述标准位姿以及所述投影矩阵，确定机械手移动目标物体至所述标准位姿在机械手坐标系中的移动坐标。
本发明实施例的技术方案，可以根据第一标定十字栅格板的十字中心在机械手坐标系下的坐标和在相机像素坐标系下的坐标以及相机的内参校准参数计算相机像素坐标系和机械手坐标系的投影矩阵，实现相机像素坐标系下的坐标和机械手坐标系下的坐标的准确转换。然后获取机械手法兰盘在相机像素坐标系下的中心坐标和目标物体在相机像素坐标系中的标准位姿，避免机械手旋转引起的坐标变化对机械手搬运目标物体的影响，从而可以根据目标物体在相机像素坐标系中的实时位姿和标准位姿以及投影矩阵，确定机械手移动目标物体至标准位姿在机械手坐标系中的移动坐标，从而可以通过机械手将目标物体一次性准确的调整至标准位姿，不仅保证了机械手抓取目标物体和搬运目标物体的准确性，同时可以保证机械手搬运物体的效率，有利于提高作业效率。
附图说明
图1为本发明实施例提供的一种相机指导机械手搬运物体的方法的流程示意图；
图2为本发明实施例提供的一种相机指导机械手搬运物体的设备示意图；
图3为本发明实施例提供的另一种相机指导机械手搬运物体的方法的流程示意图；
图4为本发明实施例提供的另一种相机指导机械手搬运物体的方法的流程示意图；
图5为本发明实施例提供的一种第一标定十字栅格板的结构示意图；
图6为本发明实施例提供的一种相机指导机械手搬运物体的装置的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
图1为本发明实施例提供的一种相机指导机械手搬运物体的方法的流程示意图。本实施例提供的相机指导机械手搬运物体的方法可适用于相机指导机械手搬运物体的情况，该方法可以由相机指导机械手搬运物体的装置执行。如图1所示，该方法包括：
S110、根据第一标定十字栅格板的十字中心在机械手坐标系下的坐标和在相机像素坐标系下的坐标以及相机的内参校准参数计算相机像素坐标系和机械手坐标系的投影矩阵；其中，相机固定于机械手的上方，且不随机械手运动；
具体地，图2为本发明实施例提供的一种相机指导机械手搬运物体的设备示意图。如图2所示，该设备包括相机10、机械手20、第一标定十字栅格板30和光源模块40。相机10包括图像采集模块101和图像处理模块102。示例性地，相机10的型号可以为海康MV-CA060-11GM，镜头的焦距可以为4mm。第一标定十字栅格板30设置于相机10的视野区域内，第一标定十字栅格板30上设置有多个十字中心，多个十字中心之间的间距恒定，可以均匀分布于目标物体可能出现的区域，用于标定相机像素坐标系。通过相机10的图像采集模块101可以采集第一标定十字栅格板30的图像，并通过图像处理模块102处理图像，确定第一标定十字栅格板30的十字中心在相机像素坐标系下的坐标。而且，相机10的内参参数影响第一标定十字栅格板30上的十字中心在相机像素坐标系下的坐标，因此可以根据相机10的内参参数和十字中心在相机像素坐标系下的坐标建立内参校准参数和相机像素坐标系的关系矩阵，从而避免相机10的内参参数影响第一标定十字栅格板30上的十字中心在相机像素坐标系下的坐标。另外，光源模块40为第一标定十字栅格板30提供光源，可以保证图像采集模块101采集第一标定十字栅格板30的图像时所需的亮度，保证了采集的准确性。示例性地，光源模块40可以为嘉励600mm条形散射光。机械手20的法兰盘上可以设置有固定件201，固定件201上可以以中心对齐固定的方式固定定位针202。通过定位针202定位第一标定十字栅格板30上的十字中心，可以确定第一标定十字栅格板30上的十字中心在机械手坐标系下的坐标。根据第一标定十字栅格板30上的十字中心在机械手坐标系下的坐标和第一标定十字栅格板30的十字中心在相机像素坐标系下的坐标以及内参校准参数建立相机像素坐标系和机械手坐标系的投影矩阵，该投影矩阵可以实现相机像素坐标系下的坐标和机械手坐标系下的坐标的准确转换，在后续过程中根据相机10获取的目标物体的相机像素坐标系下的坐标和目标物体在相机像素坐标系中的坐标准确的转换为机械手坐标系下的坐标，从而可以确定机械手20的移动坐标，实现目标物体的准确搬运。
另外，相机10固定于机械手20的上方，机械手20回原点时不遮挡相机10的视野区域，有利于相机10拍照。且相机10不随机械手20运动，可以使得相机10能够确定机械手20在移动过程中的移动量，使得相机10能够在机械手20移动的过程中指导机械手20的移动，从而增加了相机10指导机械手20搬运物体的使用范围。
S120、获取机械手法兰盘在相机像素坐标系下的中心坐标和目标物体在相机像素坐标系中的标准位姿；
具体地，机械手法兰盘的中心为机械手20的旋转中心，通过获取机械手法兰盘在相机像素坐标系下的中心坐标，可以确定机械手20在相机像素坐标系下的旋转中心。目标物体在相机像素坐标系中的标准位姿为机械手20搬运目标物体的目标位姿，即将任意位置的目标物体搬运至标准位姿。目标物体在相机像素坐标系中的标准位姿一般包括目标物体在相机像素坐标系中的放置坐标和放置角度，在机械手20搬运目标物体时，通过机械手20搬运目标物体至放置坐标，同时通过机械手20以法兰盘为中心旋转使得目标物体的角度满足放置角度，并根据机械手法兰盘在相机像素坐标系下的中心坐标确定法兰盘旋转过程中产生的机械手坐标系变化，然后根据机械手坐标系变化重新确定目标物体在标准位姿，从而可以避免机械手20旋转引起的坐标变化对机械手20搬运目标物体的影响，实现了通过机械手20将目标物体一次性准确的调整至标准位姿，不仅保证了机械手20抓取目标物体和搬运目标物体的准确性，同时可以保证机械手20搬运物体的效率，有利于提高作业效率。
S130、根据目标物体在相机像素坐标系中的实时位姿和标准位姿以及投影矩阵，确定机械手移动目标物体至标准位姿在机械手坐标系中的移动坐标。
具体地，目标物体在相机像素坐标系中的实时位姿包括目标物体在相机像素坐标系中的实时坐标和实时角度。目标物体在相机像素坐标系中的实时位姿可以通过相机10获取，即通过相机10的图像采集模块101可以采集目标物体的图像，并通过图像处理模块102处理图像，确定目标物体在相机像素坐标系中的实时坐标和实时角度。通过投影矩阵可以将目标物体在相机像素坐标系中的位姿转换为目标物体在机械手坐标系下的位姿，从而可以确定机械手移动目标物体至标准位姿在机械手坐标系中的移动坐标，实现了机械手20将目标物体一次性准确的调整至标准位姿，不仅保证了机械手20抓取目标物体和搬运目标物体的准确性，同时可以保证机械手20搬运物体的效率，有利于提高作业效率。
本实施例的技术方案，可以根据第一标定十字栅格板的十字中心在机械手坐标系下的坐标和在相机像素坐标系下的坐标以及相机的内参校准参数计算相机像素坐标系和机械手坐标系的投影矩阵，实现相机像素坐标系下的坐标和机械手坐标系下的坐标的准确转换。然后获取机械手法兰盘在相机像素坐标系下的中心坐标和目标物体在相机像素坐标系中的标准位姿，避免机械手旋转引起的坐标变化对机械手搬运目标物体的影响，从而可以根据目标物体在相机像素坐标系中的实时位姿和标准位姿以及投影矩阵，确定机械手移动目标物体至标准位姿在机械手坐标系中的移动坐标，从而可以通过机械手将目标物体一次性准确的调整至标准位姿，不仅保证了机械手抓取目标物体和搬运目标物体的准确性，同时可以保证机械手搬运物体的效率，有利于提高作业效率。
在上述技术方案的基础上，根据目标物体在相机像素坐标系中的实时位姿和标准位姿以及投影矩阵，确定机械手移动目标物体至标准位姿在机械手坐标系中的移动坐标，包括：
根据目标物体在相机像素坐标系中的实时位姿和标准位姿确定机械手在相机像素坐标系中的移动坐标；
具体地，在获取目标物体在相机像素坐标系中的实时位姿和标准位姿后，可以根据实时位姿和标准位姿作差，确定机械手将目标物体从相机像素坐标系中的实时位姿处搬运至相机像素坐标系中的标准位姿处的移动坐标。
根据机械手在相机像素坐标系中的移动坐标和投影矩阵，转换机械手在相机像素坐标系中的移动坐标为机械手在机械手坐标系中的移动坐标。
具体地，在确定机械手在相机像素坐标系中的移动坐标后，可以根据投影矩阵将机械手在相机像素坐标系中的移动坐标转换为机械手在机械手坐标系中的移动坐标。然后根据机械手在机械手坐标系中的移动坐标指导机械手的移动轨迹，从而实现可以将目标物体搬运至标准位置处，并满足标准位姿的放置角度。
需要说明的是，上述过程仅是一种示例，在其他实施例中，还可以先通过投影矩阵将目标物体在相机像素坐标系中的标准位姿转换为目标物体在机械手坐标系中的标准位姿，以及通过投影矩阵将目标物体在相机像素坐标系中的实时位姿转换为目标物体在机械手坐标系下的实时位姿，然后根据目标物体在机械手坐标系中的实时位姿和目标物体在机械手坐标系中的标准位姿作差，确定机械手将目标物体从机械手坐标系中的实时位姿处搬运至机械手坐标系中的标准位姿处的移动坐标，即机械手在机械手坐标系中的移动坐标，然后根据机械手在机械手坐标系中的移动坐标指导机械手的移动轨迹，从而实现可以将目标物体搬运至标准位置处，并满足标准位姿的放置角度。
图3为本发明实施例提供的另一种相机指导机械手搬运物体的方法的流程示意图。如图3所示，该方法包括：
S310、根据第一标定十字栅格板的十字中心在机械手坐标系下的坐标和在相机像素坐标系下的坐标以及相机的内参校准参数计算相机像素坐标系和机械手坐标系的投影矩阵；其中，相机固定于机械手的上方，且不随机械手运动；
S320、获取机械手法兰盘在相机像素坐标系下的中心坐标和目标物体在相机像素坐标系中的标准位姿；
S330、控制机械手抓取目标物体；
具体地，在机械手抓取目标物体时，在机械手的法兰盘上设置抓取目标物体的结构，例如可以为夹具或吸盘。控制机械手移动至目标物体处，通过夹具或吸盘抓取目标物体。
S340、相机拍摄目标物体，获取目标物体在相机像素坐标系中的实时坐标和实时角度，作为目标物体在相机像素坐标系中的实时位姿。
具体地，当机械手抓取目标物体后，相机对机械手和目标物体进行拍照，获取机械手和目标物体的图像，提取目标物体在相机像素坐标系中的实时坐标和实时角度，从而确定目标物体在相机像素坐标系中的实时位姿。
S350、根据目标物体在相机像素坐标系中的实时位姿和标准位姿以及投影矩阵，确定机械手移动目标物体至标准位姿在机械手坐标系中的移动坐标。
具体地，在确定目标物体在相机像素坐标系中的实时位姿后，通过投影矩阵可以将目标物体在相机像素坐标系中的位姿转换为目标物体在机械手坐标系下的位姿，从而可以确定机械手移动目标物体至标准位姿在机械手坐标系中的移动坐标，实现了机械手将目标物体一次性准确的调整至标准位姿，不仅保证了机械手抓取目标物体和搬运目标物体的准确性，同时可以保证机械手20搬运物体的效率，有利于提高作业效率。
示例性地，当目标物体在相机像素坐标系下实时位姿中的实时坐标为p0，角度θ0。目标物体在相机像素坐标系下标准位姿中的标准坐标为pstd，放置角度为θstd，且机械手法兰盘在相机像素坐标系下的中心坐标为pr。当机械手抓取目标物体时，由于存在角度差，机械手以法兰盘为中心旋转以后，机械手抓取目标物体的位姿以机械手法兰盘为中心产生机械手坐标系下的坐标变化，此时机械手抓取的目标物体在机械手坐标系下的坐标变化量为：
Figure BDA0002634387370000121
其中，Pdelta为机械手以法兰盘为中心旋转后机械手抓取的目标物体在机械手坐标系下的坐标相对于旋转前的坐标变化量，R为绕原点顺时针旋转角度θ的旋转矩阵，P-1为相机像素坐标系和机械手坐标系的投影矩阵的逆矩阵。
在确定机械手需要调整的旋转角度，以及旋转后的坐标变化后，可以通过机械手将目标物体一次性准确的调整至标准位姿，不仅保证了机械手抓取目标物体和搬运目标物体的准确性，同时可以保证机械手搬运物体的效率，有利于提高作业效率。
图4为本发明实施例提供的另一种相机指导机械手搬运物体的方法的流程示意图。如图4所示，该方法包括：
S410、获取第一标定十字栅格板的十字中心在机械手坐标系下的坐标和在相机像素坐标系下的坐标；
可选地，获取第一标定十字栅格板的十字中心在机械手坐标系下的坐标和在相机像素坐标系下的坐标，包括：
设置第一标定十字栅格板位于相机视野区域内的物料区；
具体地，物料区为目标物体可能出现的区域，将第一标定十字栅格板设置于相机视野区域内的物料区，可以使第一标定十字栅格板尽可能的包括目标物体出现的区域，因此通过第一标定十字栅格板确定的投影矩阵的精确度比较高，有利于提高机械手搬运物体的精度。
移动机械手，依次将机械手上的定位针针尖对准第一标定十字栅格板上不同的十字中心，记录每个十字中心在机械手坐标系下的坐标；
具体地，机械手上的定位针针尖即为机械手的末端，通过定位针针尖依次对准第一标定十字栅格板上的十字中心，并记录每个十字中心在机械手坐标系下的坐标。例如，图5为本发明实施例提供的一种第一标定十字栅格板的结构示意图。如图5所示，第一标定十字栅格板上可以包括9个阵列排布的十字中心，通过移动机械手，使机械手上的定位针针尖依次对应每个十字中心，确定每个十字中心在机械手坐标系下的坐标。
相机拍摄第一标定十字栅格板，获取第一标定十字栅格板上的十字上中心在相机像素坐标系下的坐标。
具体地，在相机拍摄第一标定十字栅格板钱，将机械手回归原点，避免机械手阻碍相机的拍摄视野。相机拍摄第一标定十字栅格板时，相机的图像采集模块采集第一标定十字栅格板的图像，并通过图像处理模块处理图像，提取出第一标定十字栅格板上的多个十字中心在相机像素坐标系下的坐标。
S420、获取相机的内参校准参数。
可选地，获取相机的内参校准参数，包括：
设置棋盘格校准板位于相机的视野区域内；
具体地，棋盘格校准板用于校准相机的内参校准参数。
相机多次拍摄不同位姿的棋盘格校准板，获取相机的内参校准参数。
具体地，相机拍摄棋盘格校准板的内参校准参数相同，通过调整棋盘格校准板在相机视野区域内的位姿，可以根据多次拍摄获取的棋盘格校准板图像确定相机的内参校准参数。示例性地，相机的内参校准参数包括相机内参数矩阵和镜头畸变矩阵。棋盘格校准板的调整次数可以为12次。通过相机拍摄12张棋盘格校准板图像后，根据不同的棋盘格校准板图像确定相机的内参数矩阵和镜头畸变矩阵。
S430、根据第一标定十字栅格板的十字中心在机械手坐标系下的坐标和在相机像素坐标系下的坐标以及相机的内参校准参数计算相机像素坐标系和机械手坐标系的投影矩阵；其中，相机固定于机械手的上方，且不随机械手运动；
可选地，根据第一标定十字栅格板的十字中心在机械手坐标系下的坐标和在相机像素坐标系下的坐标以及相机的内参校准参数计算相机像素坐标系和机械手坐标系的投影矩阵，包括：
根据第一标定十字栅格板的十字中心在机械手坐标系下的坐标和在相机像素坐标系下的坐标确定相机像素坐标系和机械手坐标系之间的旋转矩阵和位移矩阵；
具体地，在上述过程中，在确定第一标定十字栅格板的十字中心在机械手坐标系下的坐标和在相机像素坐标系下的坐标后，可以将十字中心的机械手坐标系下的坐标和相机像素坐标系下的坐标一一对应输入至校准软件的参数列表，通过运行机械手与相机像素坐标系校准软件，首先校准相机内参校准参数的相机内参数矩阵和镜头畸变矩阵，再运行外参矩阵校准程序，获取相机像素坐标系与机械手坐标系之间的旋转矩阵和位移矩阵。示例性地，可以根据第一标定十字栅格板的十字中心在机械手坐标系下的坐标和在相机像素坐标系下的坐标采用非线性最小二乘法求解参数方程，计算相机像素坐标系与机械手坐标系之间的旋转矩阵和位移矩阵。
根据相机内参数矩阵、镜头畸变矩阵、旋转矩阵和位移矩阵计算相机像素坐标系和机械手坐标系的投影矩阵。
具体地，根据预先设定的算法和相机内参数矩阵、镜头畸变矩阵、旋转矩阵和位移矩阵计算相机像素坐标系和机械手坐标系的投影矩阵，使得投影矩阵可以准确的转换相机像素坐标系下的坐标和机械手坐标系下的坐标，在后续过程中根据相机获取的目标物体的相机像素坐标系下的坐标和目标物体在相机像素坐标系中的坐标准确的转换为机械手坐标系下的坐标，从而可以确定机械手的移动坐标，实现目标物体的准确搬运。
S440、获取机械手法兰盘在相机像素坐标系下的中心坐标和目标物体在相机像素坐标系中的标准位姿；
S450、根据目标物体在相机像素坐标系中的实时位姿和标准位姿以及投影矩阵，确定机械手移动目标物体至标准位姿在机械手坐标系中的移动坐标。
在上述技术方案的基础上，获取机械手法兰盘在相机像素坐标系下的中心坐标和目标物体在相机像素坐标系中的标准位姿，包括：
更换定位针为第二标定十字栅格板，移动机械手使第二标定十字栅格板位于相机视野区域内；
具体地，通过定位针确定第一标定十字栅格板上的十字中心在机械手坐标系下的坐标后，更换定位针为第二标定十字栅格板，并移动机械手使第二标定十字栅格板位于相机视野区域内。
在标准位置以机械手法兰盘为中心旋转第二标定十字栅格板，相机连续多次拍摄第二标定十字栅格板；
具体地，标准位置为目标物体通过机械手搬运的目标位置。将机械手移动至标准位置后，以机械手法兰盘为中心旋转第二标定十字栅格板，并通过相机连续多次拍摄第二标定十字栅格板的图像，从而可以获得第二标定十字栅格板不同角度的图像，从而可以获得第二标定十字栅格板上十字中心不同角度的坐标。示例性地，以机械手法兰盘为中心旋转第二标定十字栅格板时，通过相机连续拍摄大于9次的第二标定十字栅格板的图像，例如可以为12次，通过每次拍摄的第二标定十字栅格板的图像获取每次第二保定十字栅格板上的十字中心的坐标，以满足后续计算机械手法兰盘在相机像素坐标系下的中心坐标的精度。
根据多次拍摄的第二标定十字栅格板确定机械手法兰盘在相机像素坐标系下的中心坐标；
具体地，在获取多次拍摄的不同角度的第二标定十字栅格板的图像后，可以通过对每次获取的第二标定十字栅格板上的十字中心的坐标进行拟合，从而可以计算出高准确性的机械手法兰盘在相机像素坐标系下的中心坐标。
控制机械手抓取目标物体，并移动至相机的视野区域中心，即为标准位置；
具体地，在机械手抓取目标物体之前，将机械手法兰盘上的第二标定十字栅格板替换为抓取目标物体的结构，例如可以为夹具或吸盘。控制机械手移动至目标物体处，通过夹具或吸盘抓取目标物体，然后移动至相机的视野区域中心，作为标准位姿中的标准位置。
相机拍摄目标物体，获取目标物体在相机像素坐标系中的坐标和放置角度，作为目标物体在相机像素坐标系中的标准位姿。
具体地，在机械手抓取目标物体后，且移动至标准位置处，相机对机械手和目标物体进行拍照，获取机械手和目标物体的图像，提前目标物体在相机像素坐标系中的标准坐标和放置角度，从而确定目标物体在相机像素坐标系中的标准位姿。
本发明实施例还提供一种相机指导机械手搬运物体的装置。图6为本发明实施例提供的一种相机指导机械手搬运物体的装置的结构示意图。如图6所示，该装置包括：
投影矩阵确定模块10，用于根据第一标定十字栅格板的十字中心在机械手坐标系下的坐标和在相机像素坐标系下的坐标以及相机的内参校准参数计算相机像素坐标系和机械手坐标系的投影矩阵；其中，相机固定于机械手的上方，且不随机械手运动；
获取模块20，用于获取机械手法兰盘在相机像素坐标系下的中心坐标和目标物体在相机像素坐标系中的标准位姿；
移动坐标确定模块30，用于根据目标物体在相机像素坐标系中的实时位姿和标准位姿以及投影矩阵，确定机械手移动目标物体至标准位姿在机械手坐标系中的移动坐标。
本实施例的技术方案，通过投影矩阵确定模块根据第一标定十字栅格板的十字中心在机械手坐标系下的坐标和在相机像素坐标系下的坐标以及相机的内参校准参数计算相机像素坐标系和机械手坐标系的投影矩阵，实现相机像素坐标系下的坐标和机械手坐标系下的坐标的准确转换。然后通过获取模块获取机械手法兰盘在相机像素坐标系下的中心坐标和目标物体在相机像素坐标系中的标准位姿，避免机械手旋转引起的坐标变化对机械手搬运目标物体的影响，从而移动坐标确定模块根据目标物体在相机像素坐标系中的实时位姿和标准位姿以及投影矩阵，确定机械手移动目标物体至标准位姿在机械手坐标系中的移动坐标，从而可以通过机械手将目标物体一次性准确的调整至标准位姿，不仅保证了机械手抓取目标物体和搬运目标物体的准确性，同时可以保证机械手搬运物体的效率，有利于提高作业效率。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种相机指导机械手搬运物体的方法，其特征在于，包括：
根据第一标定十字栅格板的十字中心在机械手坐标系下的坐标和在相机像素坐标系下的坐标以及相机的内参校准参数计算相机像素坐标系和机械手坐标系的投影矩阵；其中，所述相机固定于所述机械手的上方，且不随所述机械手运动；
获取机械手法兰盘在所述相机像素坐标系下的中心坐标和目标物体在所述相机像素坐标系中的标准位姿；
根据目标物体在相机像素坐标系中的实时位姿和所述标准位姿以及所述投影矩阵，确定机械手移动目标物体至所述标准位姿在机械手坐标系中的移动坐标。
2.根据权利要求1所述的相机指导机械手搬运物体的方法，其特征在于，根据目标物体在相机像素坐标系中的实时位姿和所述标准位姿以及所述投影矩阵，确定机械手移动目标物体至所述标准位姿在机械手坐标系中的移动坐标，包括：
根据目标物体在相机像素坐标系中的实时位姿和所述标准位姿确定机械手在相机像素坐标系中的移动坐标；
根据机械手在相机像素坐标系中的移动坐标和所述投影矩阵，转换机械手在相机像素坐标系中的移动坐标为机械手在机械手坐标系中的移动坐标。
3.根据权利要求2所述的相机指导机械手搬运物体的方法，其特征在于，在根据目标物体在相机像素坐标系中的实时位姿和所述标准位姿确定机械手在相机像素坐标系中的移动坐标之前，还包括：
控制所述机械手抓取所述目标物体；
所述相机拍摄所述目标物体，获取所述目标物体在相机像素坐标系中的实时坐标和实时角度，作为所述目标物体在所述相机像素坐标系中的实时位姿。
4.根据权利要求1所述的相机指导机械手搬运物体的方法，其特征在于，在根据第一标定十字栅格板的十字中心在机械手坐标系下的坐标和在相机像素坐标系下的坐标以及相机的内参校准参数计算相机像素坐标系和机械手坐标系的投影矩阵之前，还包括：
获取第一标定十字栅格板的十字中心在机械手坐标系下的坐标和在相机像素坐标系下的坐标；
获取相机的内参校准参数。
5.根据权利要求4所述的相机指导机械手搬运物体的方法，其特征在于，获取第一标定十字栅格板的十字中心在机械手坐标系下的坐标和在相机像素坐标系下的坐标，包括：
设置所述第一标定十字栅格板位于所述相机视野区域内的物料区；
移动所述机械手，依次将所述机械手上的定位针针尖对准所述第一标定十字栅格板上不同的十字中心，记录每个所述十字中心在机械手坐标系下的坐标；
所述相机拍摄所述第一标定十字栅格板，获取所述第一标定十字栅格板上的十字上中心在相机像素坐标系下的坐标。
6.根据权利要求5所述的相机指导机械手搬运物体的方法，其特征在于，获取机械手法兰盘在所述相机像素坐标系下的中心坐标和目标物体在所述相机像素坐标系中的标准位姿，包括：
更换所述定位针为第二标定十字栅格板，移动所述机械手使所述第二标定十字栅格板位于所述相机视野区域内；
在标准位置以机械手法兰盘为中心旋转所述第二标定十字栅格板，所述相机连续多次拍摄所述第二标定十字栅格板；
根据多次拍摄的所述第二标定十字栅格板确定所述机械手法兰盘在所述相机像素坐标系下的中心坐标；
控制所述机械手抓取所述目标物体，并移动至所述相机的视野区域中心，即为所述标准位置；
所述相机拍摄所述目标物体，获取所述目标物体在相机像素坐标系中的坐标和放置角度，作为所述目标物体在所述相机像素坐标系中的标准位姿。
7.根据权利要求4所述的相机指导机械手搬运物体的方法，其特征在于，获取相机的内参校准参数，包括：
设置棋盘格校准板位于所述相机的视野区域内；
所述相机多次拍摄不同位姿的棋盘格校准板，获取所述相机的内参校准参数。
8.根据权利要求7所述的相机指导机械手搬运物体的方法，其特征在于，所述相机的内参校准参数包括相机内参数矩阵和镜头畸变矩阵。
9.根据权利要求8所述的相机指导机械手搬运物体的方法，其特征在于，根据第一标定十字栅格板的十字中心在机械手坐标系下的坐标和在相机像素坐标系下的坐标以及相机的内参校准参数计算相机像素坐标系和机械手坐标系的投影矩阵，包括：
根据第一标定十字栅格板的十字中心在机械手坐标系下的坐标和在相机像素坐标系下的坐标确定相机像素坐标系和机械手坐标系之间的旋转矩阵和位移矩阵；
根据所述相机内参数矩阵、镜头畸变矩阵、旋转矩阵和位移矩阵计算相机像素坐标系和机械手坐标系的投影矩阵。
10.一种相机指导机械手搬运物体的装置，其特征在于，包括：
投影矩阵确定模块，用于根据第一标定十字栅格板的十字中心在机械手坐标系下的坐标和在相机像素坐标系下的坐标以及相机的内参校准参数计算相机像素坐标系和机械手坐标系的投影矩阵；其中，所述相机固定于所述机械手的上方，且不随所述机械手运动；
获取模块，用于获取机械手法兰盘在所述相机像素坐标系下的中心坐标和目标物体在所述相机像素坐标系中的标准位姿；
移动坐标确定模块，用于根据目标物体在相机像素坐标系中的实时位姿和所述标准位姿以及所述投影矩阵，确定机械手移动目标物体至所述标准位姿在机械手坐标系中的移动坐标。
CN202010820948.7A 2020-08-14 2020-08-14 相机指导机械手搬运物体的方法和装置 Pending CN112001967A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010820948.7A CN112001967A (zh) 2020-08-14 2020-08-14 相机指导机械手搬运物体的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010820948.7A CN112001967A (zh) 2020-08-14 2020-08-14 相机指导机械手搬运物体的方法和装置

Publications (1)

Publication Number Publication Date
CN112001967A true CN112001967A (zh) 2020-11-27

Family

ID=73472493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010820948.7A Pending CN112001967A (zh) 2020-08-14 2020-08-14 相机指导机械手搬运物体的方法和装置

Country Status (1)

Country Link
CN (1) CN112001967A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112561999A (zh) * 2020-12-21 2021-03-26 惠州市德赛西威汽车电子股份有限公司 一种贴框设备精准贴合方法及贴框设备
CN112692840A (zh) * 2020-12-10 2021-04-23 安徽巨一科技股份有限公司 一种基于机器视觉配合机械手定位引导和标定方法
CN113686375A (zh) * 2021-09-22 2021-11-23 常州检验检测标准认证研究院 一种数字表自动检定方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803273A (zh) * 2017-01-17 2017-06-06 湖南优象科技有限公司 一种全景摄像机标定方法
CN107808401A (zh) * 2017-10-30 2018-03-16 大族激光科技产业集团股份有限公司 机械臂末端的单相机的手眼标定方法
CN109454634A (zh) * 2018-09-20 2019-03-12 广东工业大学 一种基于平面图像识别的机器人手眼标定方法
US20190091869A1 (en) * 2017-09-25 2019-03-28 Fanuc Corporation Robot system and workpiece picking method
CN109859277A (zh) * 2019-01-21 2019-06-07 陕西科技大学 一种基于Halcon的机器人视觉***标定方法
CN110717943A (zh) * 2019-09-05 2020-01-21 中北大学 用于二维平面的眼在手上机械手手眼标定方法及***
CN110788863A (zh) * 2019-11-22 2020-02-14 上海原能细胞生物低温设备有限公司 一种机器视觉的标定方法及机械臂定位抓取方法
CN111145272A (zh) * 2020-01-13 2020-05-12 苏州沃特维自动化***有限公司 一种机械手与相机手眼标定装置和方法
US20200238525A1 (en) * 2019-01-28 2020-07-30 Cognex Corporation System and method for automatic hand-eye calibration of vision system for robot motion

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803273A (zh) * 2017-01-17 2017-06-06 湖南优象科技有限公司 一种全景摄像机标定方法
US20190091869A1 (en) * 2017-09-25 2019-03-28 Fanuc Corporation Robot system and workpiece picking method
CN107808401A (zh) * 2017-10-30 2018-03-16 大族激光科技产业集团股份有限公司 机械臂末端的单相机的手眼标定方法
CN109454634A (zh) * 2018-09-20 2019-03-12 广东工业大学 一种基于平面图像识别的机器人手眼标定方法
CN109859277A (zh) * 2019-01-21 2019-06-07 陕西科技大学 一种基于Halcon的机器人视觉***标定方法
US20200238525A1 (en) * 2019-01-28 2020-07-30 Cognex Corporation System and method for automatic hand-eye calibration of vision system for robot motion
CN110717943A (zh) * 2019-09-05 2020-01-21 中北大学 用于二维平面的眼在手上机械手手眼标定方法及***
CN110788863A (zh) * 2019-11-22 2020-02-14 上海原能细胞生物低温设备有限公司 一种机器视觉的标定方法及机械臂定位抓取方法
CN111145272A (zh) * 2020-01-13 2020-05-12 苏州沃特维自动化***有限公司 一种机械手与相机手眼标定装置和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
万晓峰;: "基于SCARA机械手的手眼标定", 电子世界, no. 06, 31 March 2017 (2017-03-31), pages 76 - 77 *
傅华强 等: "工业机器人视觉定位技术研究与应用", 工业控制计算机, no. 03, 31 March 2016 (2016-03-31), pages 1 - 3 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112692840A (zh) * 2020-12-10 2021-04-23 安徽巨一科技股份有限公司 一种基于机器视觉配合机械手定位引导和标定方法
CN112561999A (zh) * 2020-12-21 2021-03-26 惠州市德赛西威汽车电子股份有限公司 一种贴框设备精准贴合方法及贴框设备
CN113686375A (zh) * 2021-09-22 2021-11-23 常州检验检测标准认证研究院 一种数字表自动检定方法
CN113686375B (zh) * 2021-09-22 2024-01-05 常州检验检测标准认证研究院 一种数字表自动检定方法

Similar Documents

Publication Publication Date Title
CN109483531B (zh) 一种用于机械手定点取放fpc板的机器视觉***及方法
CN112001967A (zh) 相机指导机械手搬运物体的方法和装置
CN106780623A (zh) 一种机器人视觉***快速标定方法
CN111791227B (zh) 机器人手眼标定方法、装置及机器人
CN107471218B (zh) 一种基于多目视觉的双臂机器人手眼协调方法
CN110125926B (zh) 自动化的工件取放方法及***
TWI404609B (zh) 機械手臂系統參數的校正方法與校正裝置
CN108399639A (zh) 基于深度学习的快速自动抓取与摆放方法
WO2021012122A1 (zh) 机器人手眼标定方法、装置、计算设备、介质以及产品
CN110751691B (zh) 一种基于双目视觉的管件自动抓取方法
CN109671122A (zh) 手眼相机标定方法及装置
CN106485758B (zh) 一种无人机摄像头标定装置、标定方法及流水线标定实现方法
CN110712194B (zh) 物体检查装置、物体检查***以及调整检查位置的方法
CN109459984B (zh) 一种基于三维点云的定位抓取***及其使用方法
EP2460054A2 (en) Methods and systems for calibrating an adjustable lens
WO2021012124A1 (zh) 机器人手眼标定方法、装置、计算设备、介质以及产品
CN106393103B (zh) 一种基于机器视觉的阵列式料框自适应取料方法
CN109238135B (zh) 一种基于视觉精准定位来料到测试箱的方法
WO2020073940A1 (zh) 基于机器视觉的晶硅光伏太阳能电池印刷定位平台标定方法及装置
CN111791226B (zh) 通过机器人实现组装的方法、装置及机器人
JP2012122870A (ja) 立体形状認識装置
JP7185860B2 (ja) 多軸可動視覚システムのキャリブレーション方法
US10875186B2 (en) Robot system
CN114260903A (zh) 圆盘式多工位抓手的工业机器人3d视觉精密插装引导控制方法
CN109318235B (zh) 一种机器人视觉伺服***的快速聚焦方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination