WO2021189223A1 - 一种基于标识卡运动的机器人增强现实示教的注册***及方法 - Google Patents

一种基于标识卡运动的机器人增强现实示教的注册***及方法 Download PDF

Info

Publication number
WO2021189223A1
WO2021189223A1 PCT/CN2020/080783 CN2020080783W WO2021189223A1 WO 2021189223 A1 WO2021189223 A1 WO 2021189223A1 CN 2020080783 W CN2020080783 W CN 2020080783W WO 2021189223 A1 WO2021189223 A1 WO 2021189223A1
Authority
WO
WIPO (PCT)
Prior art keywords
coordinate system
robot
registration
physical
physical robot
Prior art date
Application number
PCT/CN2020/080783
Other languages
English (en)
French (fr)
Inventor
陈成军
潘勇
丁旭彤
李东年
洪军
Original Assignee
青岛理工大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 青岛理工大学 filed Critical 青岛理工大学
Priority to PCT/CN2020/080783 priority Critical patent/WO2021189223A1/zh
Publication of WO2021189223A1 publication Critical patent/WO2021189223A1/zh

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators

Definitions

  • the invention relates to a registration system and method for robot augmented reality teaching based on identification card movement, and belongs to the fields of robots, intelligent manufacturing and augmented reality.
  • the traditional augmented reality registration algorithm based on the identification card when there is an obstacle between the camera and the identification card, the camera cannot capture the complete image of the identification card, so the augmented reality registration will not be realized. Especially when the camera moves, the user expects to obtain a stable augmented reality registration. For example, in the robot teaching based on augmented reality technology, the user wants to move the camera to observe the teaching path from different angles and observe the teaching situation of the robot.
  • the present invention provides a registration system and method for robot augmented reality teaching based on identification card movement.
  • the robot drives the identification card movement to achieve stable augmented reality registration, and stably superimpose the virtual model of the robot on In the real scene.
  • a registration system for robot augmented reality teaching based on identification card movement including a physical robot unit, a registration unit, a virtual robot generation unit, and a computer;
  • the physical robot unit includes a physical robot and a physical robot controller; the physical robot is provided with a physical robot base coordinate system; the physical robot controller is connected to the physical robot and a computer respectively, and the physical robot controller is used for Control the movement of the physical robot and obtain the trajectory of the physical robot;
  • the registration unit includes an AR registration card, a camera, and a conversion calculation unit;
  • the AR registration card is provided with an AR registration card coordinate system and is installed on the end effector of a physical robot, and the AR registration card contains at least four different The feature points of the line that are easy to identify;
  • the camera is installed and moved in a physical environment other than the physical robot, and is aimed at the working area of the physical robot to shoot;
  • the camera is provided with a camera coordinate system and is communicatively connected with the computer,
  • the conversion calculation unit is set in the computer, and uses each feature point on the AR registration card to calculate the conversion relationship between the camera coordinate system and the physical robot base coordinate system;
  • the virtual robot generating unit is arranged in the computer and is used to generate a virtual robot model.
  • the computer controls the camera to obtain an image of the working area of the physical robot, recognizes each feature point of the AR registration card in the image through a computer vision algorithm, and calculates that the feature point on the AR registration card is in the image
  • the computer reads the coordinates of each feature point on the AR registration card in the base coordinate system of the physical robot, and calculates the position and direction of the camera in the robot coordinate system.
  • the conversion calculation unit is specifically configured to: read the rotation angle of each joint of the physical robot from the physical robot controller, calculate the position and direction of the AR registration card coordinate system in the physical robot base coordinate system, and calculate The transformation matrix R1 from the coordinate system of the AR registration card to the base coordinate system of the physical robot.
  • the transformation matrix R1 the three-dimensional coordinates of each feature point on the AR registration card in the base coordinate system of the physical robot are calculated; and the imaging model of the camera and the internal parameters of the camera are used Matrix, according to the pixel coordinates of each feature point on the AR registration card in the image and the three-dimensional coordinates of each feature point in the physical robot base coordinate system, use the registration method provided by ARtoolkit to solve the relationship between the camera coordinate system and the physical robot base coordinate system The conversion relationship.
  • the AR registration card when the AR registration card is not within the imaging range after the camera is moved, and the AR registration cannot be completed, it also includes a first driving module that drives the physical robot to drive the AR registration card to follow the movement of the camera, specifically through the following steps accomplish:
  • Oc-XcYcZc arbitrarily select a point D that does not coincide with the origin Oc of the camera coordinate system, and calculate the coordinate values of D and O c in the physical robot base coordinate system Ow-XwYw Zw, respectively as D (x d , y d , z d ) and O c (x oc , y oc , z oc ), calculate the coordinate value O of the coordinate origin O m of the AR registration card coordinate system Om-XmYm Zm in the physical robot base coordinate system m (x om ,y om ,z om );
  • the AR registration card when the AR registration card is not within the imaging range after the camera is moved, and the AR registration cannot be completed, it also includes a second driving module that drives the physical robot to drive the AR registration card to follow the camera movement, specifically through the following Steps to achieve:
  • the three-dimensional grid model includes several grids.
  • the size of each grid is guaranteed to encompass the shape of the AR registration card area;
  • each grid includes two attributes: The reachable attributes of the physical robot and the visible range attributes of the camera; calculate the coordinates (xw, yw, zw) of the center point of each grid in the base coordinate system of the physical robot;
  • Cycle computer read image camera during the movement of the physical environment, the pixel coordinate Zi (u i, v i) characterized by each of computer vision algorithms to identify AR card registration point; Zi according to the pixel coordinates of all the feature points (u i ,v i ), and the corresponding three-dimensional coordinates Pi (x wi ,y wi ,z wi ), using the formula
  • the robot motion control instruction generating the registration card AR coordinate system Om-XmYm Zm origin Om motions to O k, O k Oc Zm axial direction approaching, and the Zm axis pointing forward Oc ;
  • the computer sends the robot motion control instructions to the physical robot controller to make the physical robot move; check whether the AR registration can be completed, if possible, exit and return to calculate the R 4*4 of the next cycle, otherwise return to the previous step to generate another robot motion control instruction , Continue to exercise.
  • a registration method for robot augmented reality teaching based on identification card movement which is implemented based on the registration system for robot augmented reality teaching based on identification card movement in the above calculation scheme 1.
  • the specific steps are as follows:
  • the computer controls the camera to take images, recognizes the feature points of the AR registration card in the image through computer vision algorithms and calculates the pixel coordinates of each feature point on the AR registration card in the image; at the same time reads and calculates the physical characteristics of each feature point on the AR registration card Three-dimensional coordinates in the robot base coordinate system;
  • the virtual robot generating unit generates a virtual robot model according to the conversion relationship between the three-dimensional coordinates of each feature point on the AR registration card in the base coordinate system of the physical robot and the three-dimensional coordinate of each feature point on the AR registration card in the camera coordinate system, Make the base coordinate system of the virtual robot model consistent with the base coordinate system of the physical robot.
  • the conversion calculation unit calculates the conversion relationship between the three-dimensional coordinates of each feature point on the AR registration card in the base coordinate system of the physical robot and the three-dimensional coordinate of each feature point on the AR registration card in the camera coordinate system.
  • the method is:
  • the computer reads the rotation angle of each joint of the physical robot from the physical robot controller, calculates the position and direction of the AR registration card coordinate system in the physical robot base coordinate system, and calculates from the AR registration card coordinate system to the physical robot base coordinate
  • the transformation matrix R1 calculate the three-dimensional coordinates of each feature point on the AR registration card in the physical robot base coordinate system; use the imaging model of the camera and the camera internal parameter matrix, according to the feature points on the AR registration card
  • the pixel coordinates in the image and the three-dimensional coordinates of each feature point in the base coordinate system of the physical robot are used to solve the conversion relationship between the camera coordinate system and the base coordinate system of the physical robot using the registration method provided by ARtoolkit.
  • the AR registration card when the AR registration card is not within the imaging range after the camera is moved, and the AR registration cannot be completed, it also includes a first driving module that drives the physical robot to drive the AR registration card to follow the movement of the camera, specifically through the following steps accomplish:
  • Oc-XcYcZc arbitrarily select a point D that does not coincide with the origin Oc of the camera coordinate system, and calculate the coordinate values of D and O c in the physical robot base coordinate system Ow-XwYw Zw, respectively as D (x d , y d , z d ) and O c (x oc , y oc , z oc ), calculate the coordinate value O of the coordinate origin O m of the AR registration card coordinate system Om-XmYm Zm in the physical robot base coordinate system m (x om ,y om ,z om );
  • the AR registration card when the AR registration card is not within the imaging range after the camera is moved, and the AR registration cannot be completed, it also includes a second driving module that drives the physical robot to drive the AR registration card to follow the movement of the camera, specifically through the following steps accomplish:
  • the three-dimensional grid model includes several grids.
  • the size of each grid is guaranteed to encompass the shape of the AR registration card area;
  • each grid includes two attributes: The reachable attributes of the physical robot and the visible range attributes of the camera; calculate the coordinates (xw, yw, zw) of the center point of each grid in the base coordinate system of the physical robot;
  • Cycle computer read image camera during the movement of the physical environment, the pixel coordinate Zi (u i, v i) characterized by each of computer vision algorithms to identify AR card registration point; Zi according to the pixel coordinates of all the feature points (u i ,v i ), and the corresponding three-dimensional coordinates Pi (x wi ,y wi ,z wi ), using the formula
  • the robot motion control instruction generating the registration card AR coordinate system Om-XmYm Zm origin Om motions to O k, O k Oc Zm axial direction approaching, and the Zm axis pointing forward Oc ;
  • the computer sends the robot motion control instructions to the physical robot controller to make the physical robot move; check whether the AR registration can be completed, if possible, exit and return to calculate the R 4*4 of the next cycle, otherwise return to the previous step to generate another robot motion control instruction , Continue to exercise.
  • the AR registration card is installed on the robot, and the direction and position of the AR registration card in the camera coordinate system are monitored in real time, and the robot is driven to move according to the direction and position, so that the registration card is aligned with the camera, which avoids registration when the camera moves.
  • the present invention is suitable for the actual teaching of industrial robots, and can achieve the consistency between the base coordinate system of the virtual robot model and the base coordinate system of the physical robot with high precision, and improve the accuracy of the teaching path.
  • Figure 1 is a schematic diagram of a registration system for robot augmented reality teaching based on the movement of identification cards of the present invention
  • FIG. 2 is a schematic diagram of the use of the first driving module in the registration system for robot augmented reality teaching based on the movement of the identification card of the present invention
  • FIG. 3 is a schematic diagram of the use of the second driving module in the registration system for robot augmented reality teaching based on the movement of the identification card of the present invention
  • Fig. 4 is a schematic flowchart of a registration method for robot augmented reality teaching based on the movement of the identification card of the present invention.
  • a registration system for robot augmented reality teaching based on identification card movement including a physical robot unit, a registration unit, a virtual robot generation unit, and a computer;
  • the physical robot unit includes a physical robot and a physical robot controller; the physical robot is provided with a physical robot base coordinate system; the physical robot controller is connected to the physical robot and a computer respectively, and the physical robot controller is used for Control the movement of the physical robot and obtain the trajectory of the physical robot;
  • the registration unit includes an AR registration card, a camera, and a conversion calculation unit;
  • the AR registration card is provided with an AR registration card coordinate system and is installed on the end effector of a physical robot, and the AR registration card contains at least four different The feature points of the line that are easy to identify;
  • the camera is installed and moved in a physical environment other than the physical robot, and is aimed at the working area of the physical robot to shoot;
  • the camera is provided with a camera coordinate system and is communicatively connected with the computer,
  • the conversion calculation unit is set in the computer, and uses each feature point on the AR registration card to calculate the conversion relationship between the camera coordinate system and the physical robot base coordinate system;
  • the virtual robot generating unit is arranged in the computer and is used to generate a virtual robot model.
  • the virtual reality can be realized with high precision.
  • the base coordinate system of the robot is consistent with the base coordinate system of the physical robot, which improves the accuracy of the teaching path and is suitable for remote augmented reality teaching of industrial robots and augmented reality teaching of mobile industrial robots.
  • the computer controls the camera to obtain an image of the working area of the physical robot, recognizes each feature point of the AR registration card in the image through a computer vision algorithm, and calculates that the feature point on the AR registration card is in the image the pixel coordinates Z i (u i, v i ), at the same time, the computer reads the coordinates of each feature point on the card at the physical register AR robot base coordinate system, calculating the camera position and orientation in the robot coordinate system. .
  • the conversion calculation unit is specifically used to: read the rotation angle of each joint of the physical robot from the physical robot controller, and calculate the AR registration card coordinate system O m -X m Y m Z m in the robot base coordinate system O w -X w Y w Z w position and direction, obtain the transformation matrix R 1 from the AR registration card coordinate system O m -X m Y m Z m to the robot coordinate system O w -X w Y w Z w .
  • the computer calculates the coordinates Pi (x wi , y wi , z wi ) of each feature point on the AR registration card in the robot coordinate system according to the transformation matrix R 1 , the calculation method is as follows:
  • a 3*4 is the internal parameter matrix of the camera, and the external parameter matrix R4*4 is solved by the registration method provided by ARtoolkit.
  • the AR registration card when the AR registration card is not within the imaging range after the camera is moved, and the AR registration cannot be completed, it also includes a first driving module that drives the physical robot to drive the AR registration card to follow the movement of the camera , Specifically through the following steps:
  • Oc-XcYcZc arbitrarily select a point D that does not coincide with the origin Oc of the camera coordinate system, and calculate the coordinate values of D and O c in the physical robot base coordinate system Ow-XwYw Zw, respectively as D (x d , y d , z d ) and O c (x oc , y oc , z oc ), calculate the coordinate value O of the coordinate origin O m of the AR registration card coordinate system Om-XmYm Zm in the physical robot base coordinate system m (x om ,y om ,z om );
  • the direction and position of the AR registration card in the camera coordinate system are monitored in real time, and the robot is driven to move according to the direction and position, so that the registration card is aligned with the camera, thereby avoiding the augmented reality registration failure caused by the occlusion of the registration card.
  • the difference between this embodiment and the second embodiment is that when the camera is moved, the AR registration card is not within the imaging range and the AR registration cannot be completed, it also includes a driving physical robot to drive the AR registration card to follow
  • the second driving module of the camera movement is specifically implemented by the following steps:
  • the three-dimensional grid model includes several grids.
  • the size of each grid is guaranteed to encompass the shape of the AR registration card area;
  • each grid includes two attributes: The reachable attributes of the physical robot and the visible range attributes of the camera; calculate the coordinates (xw, yw, zw) of the center point of each grid in the base coordinate system of the physical robot;
  • Cycle computer read image camera during the movement of the physical environment, the pixel coordinate Zi (u i, v i) characterized by each of computer vision algorithms to identify AR card registration point; Zi according to the pixel coordinates of all the feature points (u i ,v i ), and the corresponding three-dimensional coordinates Pi (x wi ,y wi ,z wi ), using the formula Solve for R 4*4 ;
  • the robot motion control instruction generating the registration card AR coordinate system Om-XmYm Zm origin Om motions to O k, O k Oc Zm axial direction approaching, and the Zm axis pointing forward Oc ;
  • the computer sends the robot motion control instructions to the physical robot controller to make the physical robot move; check whether the AR registration can be completed, if possible, exit and return to calculate the R 4*4 of the next cycle, otherwise return to the previous step to generate another robot motion control instruction , Continue to exercise.
  • the direction and position of the AR registration card in the camera coordinate system are monitored in another way in real time, and the robot is driven to move according to the direction and position, so that the registration card is aligned with the camera, avoiding the failure of augmented reality registration caused by the occlusion of the registration card.
  • a registration method for robot augmented reality teaching based on identification card movement is implemented based on the registration system for robot augmented reality teaching based on identification card movement in the first embodiment.
  • the specific steps are as follows:
  • the computer controls the camera to take images, recognizes the feature points of the AR registration card in the image through computer vision algorithms and calculates the pixel coordinates of each feature point on the AR registration card in the image; at the same time reads and calculates the physical characteristics of each feature point on the AR registration card Three-dimensional coordinates in the robot base coordinate system;
  • the virtual robot generating unit generates a virtual robot model according to the conversion relationship between the three-dimensional coordinates of each feature point on the AR registration card in the base coordinate system of the physical robot and the three-dimensional coordinate of each feature point on the AR registration card in the camera coordinate system, Make the base coordinate system of the virtual robot model consistent with the base coordinate system of the physical robot.
  • the virtual reality can be realized with high precision.
  • the base coordinate system of the robot is consistent with the base coordinate system of the physical robot, which improves the accuracy of the teaching path and is suitable for remote augmented reality teaching of industrial robots and augmented reality teaching of mobile industrial robots.
  • the conversion calculation unit calculates the conversion relationship between the three-dimensional coordinates of each feature point on the AR registration card in the base coordinate system of the physical robot and the three-dimensional coordinate of each feature point on the AR registration card in the camera coordinate system.
  • the method is:
  • the computer reads the rotation angle of each joint of the physical robot from the physical robot controller, and calculates the position and position of the AR registration card coordinate system O m -X m Y m Z m in the robot base coordinate system O w -X w Y w Z w Direction, obtain the transformation matrix R 1 from the AR registration card coordinate system O m -X m Y m Z m to the robot coordinate system O w -X w Y w Z w .
  • the computer calculates the coordinates Pi (x wi , y wi , z wi ) of each feature point on the AR registration card in the robot coordinate system according to the transformation matrix R 1 , the calculation method is as follows:
  • a 3*4 is the internal parameter matrix of the camera, and the external parameter matrix R4*4 is solved by the registration method provided by ARtoolkit.
  • the AR registration card when the AR registration card is not within the imaging range after the camera is moved, and the AR registration cannot be completed, it also includes a first driving module that drives the physical robot to drive the AR registration card to follow the movement of the camera, specifically through the following steps accomplish:
  • Oc-XcYcZc arbitrarily select a point D that does not coincide with the origin Oc of the camera coordinate system, and calculate the coordinate values of D and O c in the physical robot base coordinate system Ow-XwYw Zw, respectively as D (x d , y d , z d ) and O c (x oc , y oc , z oc ), calculate the coordinate value O of the coordinate origin O m of the AR registration card coordinate system Om-XmYm Zm in the physical robot base coordinate system m (x om ,y om ,z om );
  • the direction and position of the AR registration card in the camera coordinate system are monitored in real time, and the robot is driven to move according to the direction and position, so that the registration card is aligned with the camera, thereby avoiding the augmented reality registration failure caused by the occlusion of the registration card.
  • the difference between this embodiment and the fifth embodiment is that after the camera is moved, the AR registration card is not within the imaging range and the AR registration cannot be completed, it also includes a driving physical robot to drive the AR registration card to follow the camera movement
  • the second driver module of, specifically implemented through the following steps:
  • the three-dimensional grid model includes several grids.
  • the size of each grid is guaranteed to encompass the shape of the AR registration card area;
  • each grid includes two attributes: The reachable attributes of the physical robot and the visible range attributes of the camera; calculate the coordinates (xw, yw, zw) of the center point of each grid in the base coordinate system of the physical robot;
  • Cycle computer read image camera during the movement of the physical environment, the pixel coordinate Zi (u i, v i) characterized by each of computer vision algorithms to identify AR card registration point; Zi according to the pixel coordinates of all the feature points (u i ,v i ), and the corresponding three-dimensional coordinates Pi (x wi ,y wi ,z wi ), using the formula
  • the robot motion control instruction generating the registration card AR coordinate system Om-XmYm Zm origin Om motions to O k, O k Oc Zm axial direction approaching, and the Zm axis pointing forward Oc ;
  • the computer sends the robot motion control instructions to the physical robot controller to make the physical robot move; check whether the AR registration can be completed, if possible, exit and return to calculate the R 4*4 of the next cycle, otherwise return to the previous step to generate another robot motion control instruction , Continue to exercise.
  • the direction and position of the AR registration card in the camera coordinate system are monitored in another way in real time, and the robot is driven to move according to the direction and position, so that the registration card is aligned with the camera, avoiding the failure of augmented reality registration caused by the occlusion of the registration card.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一种基于标识卡运动的机器人增强现实示教的注册***，包括物理机器人单元、注册单元、虚拟机器人生成单元以及计算机；所述物理机器人单元包括物理机器人和物理机器人控制器；所述物理机器人自设置有物理机器人基坐标系；所述物理机器人控制器分别与所述物理机器人和计算机连接；所述注册单元包括AR注册卡、相机和转换计算单元；所述AR注册卡自设置有AR注册卡坐标系且安装在物理机器人上与所述计算机通信连接，所述AR注册卡包含至少四个不共线的便于识别的特征点；所述相机对准所述物理机器人的工作区域拍摄；所述转换计算单元设置于所述计算机中；所述虚拟机器人生成单元设置于所述计算机中，用于生成虚拟机器人模型。

Description

一种基于标识卡运动的机器人增强现实示教的注册***及方法 技术领域
本发明涉及一种基于标识卡运动的机器人增强现实示教的注册***和方法，属于机器人、智能制造和增强现实领域。
背景技术
在传统的基于标识卡的增强现实注册算法中，当相机与标识卡之间有障碍物时，摄像机无法拍摄到标识卡完整的图像，因此将无法实现增强现实注册。特别是当摄像机移动时，用户期望获得一个稳定的增强现实注册，如在基于增强现实技术的机器人示教中，用户希望移动摄像机，从不同角度观察示教路径，观察机器人的示教情况。
发明内容
为了解决上述技术问题，本发明提供一种基于标识卡运动的机器人增强现实示教的注册***和方法，通过机器人驱动标识卡运动，实现稳定的增强现实注册，将机器人的虚拟模型稳定地叠加在真实场景中。
本发明所采用的技术方案如下：
技术方案一：
一种基于标识卡运动的机器人增强现实示教的注册***，包括物理机器人单元、注册单元、虚拟机器人生成单元以及计算机；
所述物理机器人单元包括物理机器人和物理机器人控制器；所述物理机器人自设置有物理机器人基坐标系；所述物理机器人控制器分别与所述物理机器人和计算机连接，所述物理机器人控制器用于控制物理机器人运动，并获取物理机器人的运动轨迹；
所述注册单元包括AR注册卡、相机和转换计算单元；所述AR注册卡自设置有AR注册卡坐标系，且安装在物理机器人末端执行机构上，所述AR注册卡包含至少四个不共线的便于识别的特征点；所述相机安装在物理机器人以外的物理环境中移动，并对准所述物理机器人的工作区域拍摄；所述相机自设置有相机坐标系且与所述计算机通信连接，所述转换计算单元设置于所述计算机中，利用AR注册卡上各特征点，计算相机坐标系与物理机器人基坐标系之间的转换关系；
所述虚拟机器人生成单元设置于所述计算机中，用于生成虚拟机器人模型。
进一步的，所述计算机具体用于：所述计算机控制所述相机获取物理机器人工作区域的图像，通过计算机视觉算法识别图像中AR注册卡的各特征点并计算AR注册卡上各特征点在图像中的像素坐标，同时，所述计算机读取AR注册卡上各特征点在物理机器人基坐标系下的坐标，计算相机在机器人坐标系中位置和方向。
进一步的，所述转换计算单元具体用于：从物理机器人控制器中读取物理机器人各关节的旋转角度，计算所述AR注册卡坐标系在物理机器人基坐标系下的位置和方向，并计算由AR注册卡坐标系到物理机器人基坐标系的转换矩阵R1，根据转换矩阵R1计算AR注册卡上各特征点在物理机器人基坐标系下的三维坐标；并利用相机的成像模型及相机的内参矩阵，根据所述AR注册卡上各特征点在图像中的像素坐标以及各特征点在物理机器人基坐标系下的三维坐标，利用ARtoolkit提供的注册方法求解相机坐标系与物理机器人基坐标系间的转换关系。
进一步的，当相机的移动后，AR注册卡不在成像范围内，无法完成AR注 册时，还包括一驱动物理机器人带动所述AR注册卡跟随所述相机运动的第一驱动模块，具体通过以下步骤实现：
在相机坐标系Oc-XcYcZc的Zc轴上任意选择一点与相机坐标系的原点Oc不重合的D点，计算D和O c在物理机器人基坐标系Ow-XwYw Zw中的坐标值，分别为D(x d,y d,z d)和O c(x oc,y oc,z oc)，计算AR注册卡坐标系Om-XmYm Zm的坐标原点O m在物理机器人基坐标系下的坐标值O m(x om,y om,z om)；
在物理机器人基坐标系中计算O m(x om,y om,z om)与直线DOc的垂直交点Ok。Ok在物理机器人基坐标系下的坐标为O k(x ok,y ok,z ok)；
建立局部坐标系Ok-X kY kZ k,其中Ok为坐标系的原点，Xk轴与直线OmOk平行，且Xk轴的正向与AR注册卡坐标系的Xm轴的正向当前夹角小于90度；Zk轴与直线OkOc平行，且Zk轴正向指向相机坐标系的中心Oc；Ok-XkYk Zk,满足右手笛卡尔坐标系；
在物理机器人基坐标系中，生成物理机器人运动控制指令，使AR注册卡坐标系Om-XmYm Zm与局部坐标系Ok-XkYk Zk的坐标原点趋近重合，对应坐标轴方向趋近一致；
向物理机器人控制器发送物理机器人运动控制指令使物理机器人带动AR注册卡运动；检测能否完成AR注册，如可以则退出第一驱动模块，否则重新选择一D点，重复上述步骤。
可替代的，当相机的移动后，AR注册卡不在成像范围内，无法完成AR注册时，还包括一驱动物理机器人带动所述AR注册卡跟随所述相机运动的第二驱动模块，具体通过以下步骤实现：
初始化阶段：
在物理环境中建立三维栅格模型，三维栅格模型包括数个栅格，每个栅格的大小保证能够将AR注册卡面积大小的形状包络在内；每个栅格包括两个属性：物理机器人可达属性和相机的可见范围属性；计算每个栅格的中心点在物理机器人基坐标系下的坐标(xw,yw,zw)；
判断每个栅格的中心点是否在物理机器人的工作空间内，在如果在物理机器人的工作空间内，该栅格的可达属性为1，否则为0；
运行循环阶段：
计算机循环读取相机在移动过程中拍摄的物理工作环境的图像，通过计算机视觉算法识别AR注册卡中的各特征点的像素坐标Zi(u i,v i)；根据所有特征点的像素坐标Zi(u i,v i),和对应的三维坐标Pi(x wi,y wi,z wi)，利用公式
Figure PCTCN2020080783-appb-000001
求解R 4*4；
如果AR注册卡不在相机的成像范围内，无法求解R 4*4则进入下一步，否则返回重新求解R 4*4；
利用以上一个循环中求得的有效的R 4*4，计算每一个栅格的中心点成像的像素坐标(u,v)，如果(u,v)在相机的成像范围内，则设置该栅格的可见范围属性为1，否则设置该栅格的可见范围属性为0；
查询所有栅格，在物理机器人基坐标系内计算可见范围属性为1且可达属性为1的栅格距离AR注册卡坐标系原点Om的距离，选择距离最短的栅格的中心点为目标点，该中心点记为O k；
在物理机器人基坐标系中，生成机器人运动控制指令，使AR注册卡坐标系Om-XmYm Zm的原点Om向O k点运动，Zm轴向O kOc方向靠近，且Zm轴的 正向指向Oc；
计算机向物理机器人控制器发送机器人运动控制指令使物理机器人运动；检测能否完成AR注册，如可以则退出并返回计算下一循环的R 4*4，否则返回上一步生成另一机器人运动控制指令，继续运动。
技术方案二
一种基于标识卡运动的机器人增强现实示教的注册方法，该方法是基于上述计算方案一中的一种基于标识卡运动的机器人增强现实示教的注册***实现的，具体步骤如下：
设置AR注册卡的AR注册卡坐标系，并计算AR注册卡上各特征点在AR注册卡坐标系下的坐标值；
将AR注册卡安装在所述物理机器人末端执行机构上，标注AR注册卡坐标系的原点在物理机器人基坐标系下的坐标值；并安装好相机使所述相机在物理机器人以外的物理环境中运动，并对准所述物理机器人的工作区域拍摄；
计算机控制相机拍摄图像，通过计算机视觉算法识别图像中AR注册卡的各特征点并计算AR注册卡上各特征点在图像中的像素坐标；同时读取并计算AR注册卡上各特征点在物理机器人基坐标系下的三维坐标；
通过转换计算单元计算AR注册卡上各特征点在物理机器人基坐标系下的三维坐标和AR注册卡上各特征点在相机坐标系下的三维坐标之间的转换关系；
所述虚拟机器人生成单元根据AR注册卡上各特征点在物理机器人基坐标系下的三维坐标和AR注册卡上各特征点在相机坐标系下的三维坐标之间的转换关系生成虚拟机器人模型，使所述虚拟机器人模型的基坐标系与物理机器人基坐标系一致。
进一步的，所述通过转换计算单元计算AR注册卡上各特征点在物理机器人基坐标系下的三维坐标和AR注册卡上各特征点在相机坐标系下的三维坐标之间的转换关系的具体方法为：
计算机从物理机器人控制器中读取物理机器人各关节的旋转角度，计算所述AR注册卡坐标系在物理机器人基坐标系下的位置和方向，并计算由AR注册卡坐标系到物理机器人基坐标系的转换矩阵R1，根据转换矩阵R1计算AR注册卡上各特征点在物理机器人基坐标系下的三维坐标；利用相机的成像模型及相机内参矩阵，根据所述AR注册卡上各特征点在图像中的像素坐标以及各特征点在物理机器人基坐标系下的三维坐标，利用ARtoolkit提供的注册方法求解相机坐标系与物理机器人基坐标系间的转换关系。
进一步的，当相机的移动后，AR注册卡不在成像范围内，无法完成AR注册时，还包括一驱动物理机器人带动所述AR注册卡跟随所述相机运动的第一驱动模块，具体通过以下步骤实现：
在相机坐标系Oc-XcYcZc的Zc轴上任意选择一点与相机坐标系的原点Oc不重合的D点，计算D和O c在物理机器人基坐标系Ow-XwYw Zw中的坐标值，分别为D(x d,y d,z d)和O c(x oc,y oc,z oc)，计算AR注册卡坐标系Om-XmYm Zm的坐标原点O m在物理机器人基坐标系下的坐标值O m(x om,y om,z om)；
在物理机器人基坐标系中计算O m(x om,y om,z om)与直线DOc的垂直交点Ok。Ok在物理机器人基坐标系下的坐标为O k(x ok,y ok,z ok)；
建立局部坐标系Ok-X kY kZ k,其中Ok为坐标系的原点，Xk轴与直线OmOk平行，且Xk轴的正向与AR注册卡坐标系的Xm轴的正向当前夹角小于90度；Zk轴与直线OkOc平行，且Zk轴正向指向相机坐标系的中心Oc；Ok-XkYk Zk, 满足右手笛卡尔坐标系；
在物理机器人基坐标系中，生成物理机器人运动控制指令，使AR注册卡坐标系Om-XmYm Zm与局部坐标系Ok-XkYk Zk的坐标原点趋近重合，对应坐标轴方向趋近一致；
向物理机器人控制器发送物理机器人运动控制指令使物理机器人带动AR注册卡运动；检测能否完成AR注册，如可以则退出第一驱动模块，否则重新选择一D点，重复上述步骤。
进一步的，当相机的移动后，AR注册卡不在成像范围内，无法完成AR注册时，还包括一驱动物理机器人带动所述AR注册卡跟随所述相机运动的第二驱动模块，具体通过以下步骤实现：
初始化阶段：
在物理环境中建立三维栅格模型，三维栅格模型包括数个栅格，每个栅格的大小保证能够将AR注册卡面积大小的形状包络在内；每个栅格包括两个属性：物理机器人可达属性和相机的可见范围属性；计算每个栅格的中心点在物理机器人基坐标系下的坐标(xw,yw,zw)；
判断每个栅格的中心点是否在物理机器人的工作空间内，在如果在物理机器人的工作空间内，该栅格的可达属性为1，否则为0；
运行循环阶段：
计算机循环读取相机在移动过程中拍摄的物理工作环境的图像，通过计算机视觉算法识别AR注册卡中的各特征点的像素坐标Zi(u i,v i)；根据所有特征点的像素坐标Zi(u i,v i),和对应的三维坐标Pi(x wi,y wi,z wi)，利用公式
Figure PCTCN2020080783-appb-000002
求解R 4*4；
(如果AR注册卡不在相机的成像范围内，无法求解R 4*4则进入下一步，否则返回重新求解R 4*4；
利用以上一个循环中求得的有效的R 4*4，计算每一个栅格的中心点成像的像素坐标(u,v)，如果(u,v)在相机的成像范围内，则设置该栅格的可见范围属性为1，否则设置该栅格的可见范围属性为0；
查询所有栅格，在物理机器人基坐标系内计算可见范围属性为1且可达属性为1的栅格距离AR注册卡坐标系原点Om的距离，选择距离最短的栅格的中心点为目标点，该中心点记为O k；
在物理机器人基坐标系中，生成机器人运动控制指令，使AR注册卡坐标系Om-XmYm Zm的原点Om向O k点运动，Zm轴向O kOc方向靠近，且Zm轴的正向指向Oc；
计算机向物理机器人控制器发送机器人运动控制指令使物理机器人运动；检测能否完成AR注册，如可以则退出并返回计算下一循环的R 4*4，否则返回上一步生成另一机器人运动控制指令，继续运动。
本发明具有如下有益效果：
1、本发明面将AR注册卡安装在机器人，实时监测AR注册卡在相机坐标系的方向和位置，根据该方向和位置驱动机器人运动，使注册卡对准摄像机，避免了相机移动时由于注册卡遮挡造成的增强现实注册失败；
2、本发明适合工业机器人现实示教，可以高精度地实现虚拟机器人模型基 坐标系与物理机器人的基坐标系的一致，提高示教路径的精度。
附图说明
图1为本发明一种基于标识卡运动的机器人增强现实示教的注册***的示意图；
图2为本发明一种基于标识卡运动的机器人增强现实示教的注册***中第一驱动模块的使用示意图；
图3为本发明一种基于标识卡运动的机器人增强现实示教的注册***中第二驱动模块的使用示意图；
图4为本发明一种基于标识卡运动的机器人增强现实示教的注册方法的流程示意图。
具体实施方式
下面结合附图和具体实施例来对本发明进行详细的说明。
实施例一
请参阅图1，一种基于标识卡运动的机器人增强现实示教的注册***，包括物理机器人单元、注册单元、虚拟机器人生成单元以及计算机；
所述物理机器人单元包括物理机器人和物理机器人控制器；所述物理机器人自设置有物理机器人基坐标系；所述物理机器人控制器分别与所述物理机器人和计算机连接，所述物理机器人控制器用于控制物理机器人运动，并获取物理机器人的运动轨迹；
所述注册单元包括AR注册卡、相机和转换计算单元；所述AR注册卡自设置有AR注册卡坐标系，且安装在物理机器人末端执行机构上，所述AR注册卡包含至少四个不共线的便于识别的特征点；所述相机安装在物理机器人以外的 物理环境中移动，并对准所述物理机器人的工作区域拍摄；所述相机自设置有相机坐标系且与所述计算机通信连接，所述转换计算单元设置于所述计算机中，利用AR注册卡上各特征点，计算相机坐标系与物理机器人基坐标系之间的转换关系；
所述虚拟机器人生成单元设置于所述计算机中，用于生成虚拟机器人模型。
本实施例通过计算AR注册卡上各特征点在相机坐标系下的三维坐标与AR注册卡上各特征点在物理机器人基坐标系下的三维坐标之间的转换关系，可以高精度地实现虚拟机器人的基坐标系与物理机器人的基坐标系的一致，提高示教路径的精度，适合工业机器人远程增强现实示教和移动工业机器人增强现实示教。
实施例二
进一步的，所述计算机具体用于：所述计算机控制所述相机获取物理机器人工作区域的图像，通过计算机视觉算法识别图像中AR注册卡的各特征点并计算AR注册卡上各特征点在图像中的像素坐标Z i(u i,v i)，同时，所述计算机读取AR注册卡上各特征点在物理机器人基坐标系下的坐标，计算相机在机器人坐标系中位置和方向。。
进一步的，所述转换计算单元具体用于：从物理机器人控制器中读取物理机器人各关节的旋转角度，计算AR注册卡坐标系O m-X mY m Z m在机器人基坐标系O w-X wY w Z w中的位置和方向，获得由AR注册卡坐标系O m-X mY m Z m到机器人坐标系O w-X wY w Z w的转换矩阵R 1。计算机根据转换矩阵R 1计算AR注册卡在上各特征点在机器人坐标系下坐标Pi(x wi,y wi,z wi),计算方式如下：
Figure PCTCN2020080783-appb-000003
其中Q i(x mi,y mi,z mi)为第i个特征点在AR注册卡坐标系O m-X mY m Z m中的位置坐标。并利用相机的成像模型，根据所有特征点的像素坐标Z i(u i,v i),和对应的三维坐标Pi(x wi,y wi,z wi)，利用下式求转换矩阵R 4*4，实现由机器人坐标系基坐标系O w-X wY w Z w,到相机坐标系O c-X cY cZ c的变换。
Figure PCTCN2020080783-appb-000004
其中A 3*4为相机的内参矩阵，采用ARtoolkit提供的注册方法求解外参矩阵R4*4。
以该转换矩阵R 4*4设置虚拟世界中虚拟相机位置，并将虚拟机器人模型叠加在图像上物理机器人的位置，完成增强现实注册，实现虚拟机器人模型的基坐标系与物理机器人的基坐标系的一致。
进一步的，具体参加图2，当相机的移动后，AR注册卡不在成像范围内，无法完成AR注册时，还包括一驱动物理机器人带动所述AR注册卡跟随所述相机运动的第一驱动模块，具体通过以下步骤实现：
在相机坐标系Oc-XcYcZc的Zc轴上任意选择一点与相机坐标系的原点Oc不重合的D点，计算D和O c在物理机器人基坐标系Ow-XwYw Zw中的坐标值，分别为D(x d,y d,z d)和O c(x oc,y oc,z oc)，计算AR注册卡坐标系Om-XmYm Zm的坐标原点O m在物理机器人基坐标系下的坐标值O m(x om,y om,z om)；
在物理机器人基坐标系中计算O m(x om,y om,z om)与直线DOc的垂直交点Ok。 Ok在物理机器人基坐标系下的坐标为O k(x ok,y ok,z ok)；
建立局部坐标系Ok-X kY kZ k,其中Ok为坐标系的原点，Xk轴与直线OmOk平行，且Xk轴的正向与AR注册卡坐标系的Xm轴的正向当前夹角小于90度；Zk轴与直线OkOc平行，且Zk轴正向指向相机坐标系的中心Oc；Ok-XkYk Zk,满足右手笛卡尔坐标系；
在物理机器人基坐标系中，生成物理机器人运动控制指令，使AR注册卡坐标系Om-XmYm Zm与局部坐标系Ok-XkYk Zk的坐标原点趋近重合，对应坐标轴方向趋近一致；
向物理机器人控制器发送物理机器人运动控制指令使物理机器人带动AR注册卡运动；检测能否完成AR注册，如可以则退出第一驱动模块，否则重新选择一D点，重复上述步骤。
本实施例实时监测AR注册卡在相机坐标系的方向和位置，根据该方向和位置驱动机器人运动，使注册卡对准摄像机，避免了由于注册卡遮挡造成的增强现实注册失败。
实施例三
参加图3，本实施例与实施例二的不同之处在于，当相机的移动后，AR注册卡不在成像范围内，无法完成AR注册时，还包括一驱动物理机器人带动所述AR注册卡跟随所述相机运动的第二驱动模块，具体通过以下步骤实现：
初始化阶段：
在物理环境中建立三维栅格模型，三维栅格模型包括数个栅格，每个栅格的大小保证能够将AR注册卡面积大小的形状包络在内；每个栅格包括两个属性：物理机器人可达属性和相机的可见范围属性；计算每个栅格的中心点在物理机 器人基坐标系下的坐标(xw,yw,zw)；
判断每个栅格的中心点是否在物理机器人的工作空间内，在如果在物理机器人的工作空间内，该栅格的可达属性为1，否则为0；
运行循环阶段：
计算机循环读取相机在移动过程中拍摄的物理工作环境的图像，通过计算机视觉算法识别AR注册卡中的各特征点的像素坐标Zi(u i,v i)；根据所有特征点的像素坐标Zi(u i,v i),和对应的三维坐标Pi(x wi,y wi,z wi)，利用公式
Figure PCTCN2020080783-appb-000005
求解R 4*4；
如果AR注册卡不在相机的成像范围内，无法求解R 4*4则进入下一步，否则返回重新求解R 4*4；
利用以上一个循环中求得的有效的R 4*4，计算每一个栅格的中心点成像的像素坐标(u,v)，如果(u,v)在相机的成像范围内，则设置该栅格的可见范围属性为1，否则设置该栅格的可见范围属性为0；
查询所有栅格，在物理机器人基坐标系内计算可见范围属性为1且可达属性为1的栅格距离AR注册卡坐标系原点Om的距离，选择距离最短的栅格的中心点为目标点，该中心点记为O k；
在物理机器人基坐标系中，生成机器人运动控制指令，使AR注册卡坐标系Om-XmYm Zm的原点Om向O k点运动，Zm轴向O kOc方向靠近，且Zm轴的正向指向Oc；
计算机向物理机器人控制器发送机器人运动控制指令使物理机器人运动；检测能否完成AR注册，如可以则退出并返回计算下一循环的R 4*4，否则返回 上一步生成另一机器人运动控制指令，继续运动。
本实施例通过另一种方式实时监测AR注册卡在相机坐标系的方向和位置，根据该方向和位置驱动机器人运动，使注册卡对准摄像机，避免了由于注册卡遮挡造成的增强现实注册失败。
实施例四
一种基于标识卡运动的机器人增强现实示教的注册方法，该方法是基于实施例一中的一种基于标识卡运动的机器人增强现实示教的注册***实现的，具体步骤如下：
设置AR注册卡的AR注册卡坐标系，并计算AR注册卡上各特征点在AR注册卡坐标系下的坐标值；
将AR注册卡安装在所述物理机器人末端执行机构上，标注AR注册卡坐标系的原点在物理机器人基坐标系下的坐标值；并安装好相机使所述相机在物理机器人以外的物理环境中运动，并对准所述物理机器人的工作区域拍摄；
计算机控制相机拍摄图像，通过计算机视觉算法识别图像中AR注册卡的各特征点并计算AR注册卡上各特征点在图像中的像素坐标；同时读取并计算AR注册卡上各特征点在物理机器人基坐标系下的三维坐标；
通过转换计算单元计算AR注册卡上各特征点在物理机器人基坐标系下的三维坐标和AR注册卡上各特征点在相机坐标系下的三维坐标之间的转换关系；
所述虚拟机器人生成单元根据AR注册卡上各特征点在物理机器人基坐标系下的三维坐标和AR注册卡上各特征点在相机坐标系下的三维坐标之间的转 换关系生成虚拟机器人模型，使所述虚拟机器人模型的基坐标系与物理机器人基坐标系一致。
本实施例通过计算AR注册卡上各特征点在相机坐标系下的三维坐标与AR注册卡上各特征点在物理机器人基坐标系下的三维坐标之间的转换关系，可以高精度地实现虚拟机器人的基坐标系与物理机器人的基坐标系的一致，提高示教路径的精度，适合工业机器人远程增强现实示教和移动工业机器人增强现实示教。
实施例五
进一步的，所述通过转换计算单元计算AR注册卡上各特征点在物理机器人基坐标系下的三维坐标和AR注册卡上各特征点在相机坐标系下的三维坐标之间的转换关系的具体方法为：
计算机从物理机器人控制器中读取物理机器人各关节的旋转角度，计算AR注册卡坐标系O m-X mY m Z m在机器人基坐标系O w-X wY w Z w中的位置和方向，获得由AR注册卡坐标系O m-X mY m Z m到机器人坐标系O w-X wY w Z w的转换矩阵R 1。计算机根据转换矩阵R 1计算AR注册卡在上各特征点在机器人坐标系下坐标Pi(x wi,y wi,z wi),计算方式如下：
Figure PCTCN2020080783-appb-000006
其中Q i(x mi,y mi,z mi)为第i个特征点在AR注册卡坐标系O m-X mY m Z m中的位置坐标。并利用相机的成像模型，根据所有特征点的像素坐标Z i(u i,v i),和 对应的三维坐标Pi(x wi,y wi,z wi)，利用下式求转换矩阵R 4*4，实现由机器人坐标系基坐标系O w-X wY w Z w,到相机坐标系O c-X cY cZ c的变换。
Figure PCTCN2020080783-appb-000007
其中A 3*4为相机的内参矩阵，采用ARtoolkit提供的注册方法求解外参矩阵R4*4。
以该转换矩阵R 4*4设置虚拟世界中虚拟相机位置，并将虚拟机器人模型叠加在图像上物理机器人的位置，完成增强现实注册，实现虚拟机器人模型的基坐标系与物理机器人的基坐标系的一致。
进一步的，当相机的移动后，AR注册卡不在成像范围内，无法完成AR注册时，还包括一驱动物理机器人带动所述AR注册卡跟随所述相机运动的第一驱动模块，具体通过以下步骤实现：
在相机坐标系Oc-XcYcZc的Zc轴上任意选择一点与相机坐标系的原点Oc不重合的D点，计算D和O c在物理机器人基坐标系Ow-XwYw Zw中的坐标值，分别为D(x d,y d,z d)和O c(x oc,y oc,z oc)，计算AR注册卡坐标系Om-XmYm Zm的坐标原点O m在物理机器人基坐标系下的坐标值O m(x om,y om,z om)；
在物理机器人基坐标系中计算O m(x om,y om,z om)与直线DOc的垂直交点Ok。Ok在物理机器人基坐标系下的坐标为O k(x ok,y ok,z ok)；
建立局部坐标系Ok-X kY kZ k,其中Ok为坐标系的原点，Xk轴与直线OmOk平行，且Xk轴的正向与AR注册卡坐标系的Xm轴的正向当前夹角小于90度；Zk轴与直线OkOc平行，且Zk轴正向指向相机坐标系的中心Oc；Ok-XkYk Zk,满足右手笛卡尔坐标系；
在物理机器人基坐标系中，生成物理机器人运动控制指令，使AR注册卡坐标系Om-XmYm Zm与局部坐标系Ok-XkYk Zk的坐标原点趋近重合，对应坐标轴方向趋近一致；
向物理机器人控制器发送物理机器人运动控制指令使物理机器人带动AR注册卡运动；检测能否完成AR注册，如可以则退出第一驱动模块，否则重新选择一D点，重复上述步骤。
本实施例实时监测AR注册卡在相机坐标系的方向和位置，根据该方向和位置驱动机器人运动，使注册卡对准摄像机，避免了由于注册卡遮挡造成的增强现实注册失败。
实施例六
本实施例与实施例五的不同之处在于，当相机的移动后，AR注册卡不在成像范围内，无法完成AR注册时，还包括一驱动物理机器人带动所述AR注册卡跟随所述相机运动的第二驱动模块，具体通过以下步骤实现：
初始化阶段：
在物理环境中建立三维栅格模型，三维栅格模型包括数个栅格，每个栅格的大小保证能够将AR注册卡面积大小的形状包络在内；每个栅格包括两个属性：物理机器人可达属性和相机的可见范围属性；计算每个栅格的中心点在物理机器人基坐标系下的坐标(xw,yw,zw)；
判断每个栅格的中心点是否在物理机器人的工作空间内，在如果在物理机器人的工作空间内，该栅格的可达属性为1，否则为0；
运行循环阶段：
计算机循环读取相机在移动过程中拍摄的物理工作环境的图像，通过计算 机视觉算法识别AR注册卡中的各特征点的像素坐标Zi(u i,v i)；根据所有特征点的像素坐标Zi(u i,v i),和对应的三维坐标Pi(x wi,y wi,z wi)，利用公式
Figure PCTCN2020080783-appb-000008
求解R 4*4；
如果AR注册卡不在相机的成像范围内，无法求解R 4*4则进入下一步，否则返回重新求解R 4*4；
利用以上一个循环中求得的有效的R 4*4，计算每一个栅格的中心点成像的像素坐标(u,v)，如果(u,v)在相机的成像范围内，则设置该栅格的可见范围属性为1，否则设置该栅格的可见范围属性为0；
查询所有栅格，在物理机器人基坐标系内计算可见范围属性为1且可达属性为1的栅格距离AR注册卡坐标系原点Om的距离，选择距离最短的栅格的中心点为目标点，该中心点记为O k；
在物理机器人基坐标系中，生成机器人运动控制指令，使AR注册卡坐标系Om-XmYm Zm的原点Om向O k点运动，Zm轴向O kOc方向靠近，且Zm轴的正向指向Oc；
计算机向物理机器人控制器发送机器人运动控制指令使物理机器人运动；检测能否完成AR注册，如可以则退出并返回计算下一循环的R 4*4，否则返回上一步生成另一机器人运动控制指令，继续运动。
本实施例通过另一种方式实时监测AR注册卡在相机坐标系的方向和位置，根据该方向和位置驱动机器人运动，使注册卡对准摄像机，避免了由于注册卡遮挡造成的增强现实注册失败。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利 用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

  1. 一种基于标识卡运动的机器人增强现实示教的注册***，其特征在于：
    包括物理机器人单元、注册单元、虚拟机器人生成单元以及计算机；
    所述物理机器人单元包括物理机器人和物理机器人控制器；所述物理机器人自设置有物理机器人基坐标系；所述物理机器人控制器分别与所述物理机器人和计算机连接，所述物理机器人控制器用于控制物理机器人运动，并获取物理机器人的运动轨迹；
    所述注册单元包括AR注册卡、相机和转换计算单元；所述AR注册卡自设置有AR注册卡坐标系，且安装在物理机器人末端执行机构上，所述AR注册卡包含至少四个不共线的便于识别的特征点；所述相机安装在物理机器人以外的物理环境中移动，并对准所述物理机器人的工作区域拍摄；所述相机自设置有相机坐标系且与所述计算机通信连接，所述转换计算单元设置于所述计算机中，利用AR注册卡上各特征点，计算相机坐标系与物理机器人基坐标系之间的转换关系；
    所述虚拟机器人生成单元设置于所述计算机中，用于生成虚拟机器人模型。
  2. 根据权利要求1所述的一种基于标识卡运动的机器人增强现实示教的注册***，其特征在于，所述计算机具体用于：所述计算机控制所述相机获取物理机器人工作区域的图像，通过计算机视觉算法识别图像中AR注册卡的各特征点并计算AR注册卡上各特征点在图像中的像素坐标，同时，所述计算机读取AR注册卡上各特征点在物理机器人基坐标系下的坐标，计算相机在机器人坐标系中位置和方向。
  3. 根据权利要求2所述的一种基于标识卡运动的机器人增强现实示教的注册***，其特征在于，所述转换计算单元具体用于：从物理机器人控制器中读 取物理机器人各关节的旋转角度，计算所述AR注册卡坐标系在物理机器人基坐标系下的位置和方向，并计算由AR注册卡坐标系到物理机器人基坐标系的转换矩阵R1，根据转换矩阵R1计算AR注册卡上各特征点在物理机器人基坐标系下的三维坐标；并利用相机的成像模型及相机的内参矩阵，根据所述AR注册卡上各特征点在图像中的像素坐标以及各特征点在物理机器人基坐标系下的三维坐标，利用ARtoolkit提供的注册方法求解相机坐标系与物理机器人基坐标系间的转换关系。
  4. 根据权利要求1所述的一种基于标识卡运动的机器人增强现实示教的注册***，其特征在于，当相机的移动后，AR注册卡不在成像范围内，无法完成AR注册时，还包括一驱动物理机器人带动所述AR注册卡跟随所述相机运动的第一驱动模块，具体通过以下步骤实现：
    在相机坐标系Oc-XcYcZc的Zc轴上任意选择一点与相机坐标系的原点Oc不重合的D点，计算D和O c在物理机器人基坐标系Ow-XwYw Zw中的坐标值，分别为D(x d,y d,z d)和O c(x oc,y oc,z oc)，计算AR注册卡坐标系Om-XmYm Zm的坐标原点O m在物理机器人基坐标系下的坐标值O m(x om,y om,z om)；
    在物理机器人基坐标系中计算O m(x om,y om,z om)与直线DOc的垂直交点Ok。Ok在物理机器人基坐标系下的坐标为O k(x ok,y ok,z ok)；
    建立局部坐标系Ok-X kY kZ k,其中Ok为坐标系的原点，Xk轴与直线OmOk平行，且Xk轴的正向与AR注册卡坐标系的Xm轴的正向当前夹角小于90度；Zk轴与直线OkOc平行，且Zk轴正向指向相机坐标系的中心Oc；Ok-XkYk Zk,满足右手笛卡尔坐标系；
    在物理机器人基坐标系中，生成物理机器人运动控制指令，使AR注册卡坐 标系Om-XmYm Zm与局部坐标系Ok-XkYk Zk的坐标原点趋近重合，对应坐标轴方向趋近一致；
    向物理机器人控制器发送物理机器人运动控制指令使物理机器人带动AR注册卡运动；检测能否完成AR注册，如可以则退出第一驱动模块，否则重新选择一D点，重复上述步骤。
  5. 根据权利要求1所述的一种基于标识卡运动的机器人增强现实示教的注册***，其特征在于，当相机的移动后，AR注册卡不在成像范围内，无法完成AR注册时，还包括一驱动物理机器人带动所述AR注册卡跟随所述相机运动的第二驱动模块，具体通过以下步骤实现：
    初始化阶段：
    在物理环境中建立三维栅格模型，三维栅格模型包括数个栅格，每个栅格的大小保证能够将AR注册卡面积大小的形状包络在内；每个栅格包括两个属性：物理机器人可达属性和相机的可见范围属性；计算每个栅格的中心点在物理机器人基坐标系下的坐标(xw,yw,zw)；
    判断每个栅格的中心点是否在物理机器人的工作空间内，在如果在物理机器人的工作空间内，该栅格的可达属性为1，否则为0；
    运行循环阶段：
    计算机循环读取相机在移动过程中拍摄的物理工作环境的图像，通过计算机视觉算法识别AR注册卡中的各特征点的像素坐标Zi(u i,v i)；根据所有特征点的像素坐标Zi(u i,v i),和对应的三维坐标Pi(x wi,y wi,z wi)，利用公式
    Figure PCTCN2020080783-appb-100001
    求解R 4*4；
    如果AR注册卡不在相机的成像范围内，无法求解R 4*4则进入下一步，否则返回重新求解R 4*4；
    利用以上一个循环中求得的有效的R 4*4，计算每一个栅格的中心点成像的像素坐标(u,v)，如果(u,v)在相机的成像范围内，则设置该栅格的可见范围属性为1，否则设置该栅格的可见范围属性为0；
    查询所有栅格，在物理机器人基坐标系内计算可见范围属性为1且可达属性为1的栅格距离AR注册卡坐标系原点Om的距离，选择距离最短的栅格的中心点为目标点，该中心点记为O k；
    在物理机器人基坐标系中，生成机器人运动控制指令，使AR注册卡坐标系Om-XmYm Zm的原点Om向O k点运动，Zm轴向O kOc方向靠近，且Zm轴的正向指向Oc；
    计算机向物理机器人控制器发送机器人运动控制指令使物理机器人运动；检测能否完成AR注册，如可以则退出并返回计算下一循环的R 4*4，否则返回上一步生成另一机器人运动控制指令，继续运动。
  6. 一种基于标识卡运动的机器人增强现实示教的注册方法，其特征在于，该方法是基于权利要求1所述一种基于标识卡运动的机器人增强现实示教的注册***实现的，具体步骤如下：
    设置AR注册卡的AR注册卡坐标系，并计算AR注册卡上各特征点在AR注册卡坐标系下的坐标值；
    将AR注册卡安装在所述物理机器人末端执行机构上，标注AR注册卡坐标系的原点在物理机器人基坐标系下的坐标值；并安装好相机使所述相机在物理机器人以外的物理环境中运动，并对准所述物理机器人的工作区域拍摄；
    计算机控制相机拍摄图像，通过计算机视觉算法识别图像中AR注册卡的各特征点并计算AR注册卡上各特征点在图像中的像素坐标；同时读取并计算AR注册卡上各特征点在物理机器人基坐标系下的三维坐标；
    通过转换计算单元计算AR注册卡上各特征点在物理机器人基坐标系下的三维坐标和AR注册卡上各特征点在相机坐标系下的三维坐标之间的转换关系；
    所述虚拟机器人生成单元根据AR注册卡上各特征点在物理机器人基坐标系下的三维坐标和AR注册卡上各特征点在相机坐标系下的三维坐标之间的转换关系生成虚拟机器人模型，使所述虚拟机器人模型的基坐标系与物理机器人基坐标系一致。
  7. 根据权利要求6所述的一种基于标识卡运动的机器人增强现实示教的注册方法，其特征在于，所述通过转换计算单元计算AR注册卡上各特征点在物理机器人基坐标系下的三维坐标和AR注册卡上各特征点在相机坐标系下的三维坐标之间的转换关系的具体方法为：
    计算机从物理机器人控制器中读取物理机器人各关节的旋转角度，计算所述AR注册卡坐标系在物理机器人基坐标系下的位置和方向，并计算由AR注册卡坐标系到物理机器人基坐标系的转换矩阵R1，根据转换矩阵R1计算AR注册卡上各特征点在物理机器人基坐标系下的三维坐标；并利用相机的成像模型及相机的内参矩阵，根据所述AR注册卡上各特征点在图像中的像素坐标以及各特征点在物理机器人基坐标系下的三维坐标，利用ARtoolkit提供的注册方法求解相机坐标系与物理机器人基坐标系间的转换关系。
  8. 根据权利要求6所述的一种基于标识卡运动的机器人增强现实示教的注册方法，其特征在于，当相机的移动后，AR注册卡不在成像范围内，无法完成 AR注册时，还包括一驱动物理机器人带动所述AR注册卡跟随所述相机运动的第一驱动模块，具体通过以下步骤实现：
    在相机坐标系Oc-XcYcZc的Zc轴上任意选择一点与相机坐标系的原点Oc不重合的D点，计算D和O c在物理机器人基坐标系Ow-XwYw Zw中的坐标值，分别为D(x d,y d,z d)和O c(x oc,y oc,z oc)，计算AR注册卡坐标系Om-XmYm Zm的坐标原点O m在物理机器人基坐标系下的坐标值O m(x om,y om,z om)；
    在物理机器人基坐标系中计算O m(x om,y om,z om)与直线DOc的垂直交点Ok。Ok在物理机器人基坐标系下的坐标为O k(x ok,y ok,z ok)；
    建立局部坐标系Ok-X kY kZ k,其中Ok为坐标系的原点，Xk轴与直线OmOk平行，且Xk轴的正向与AR注册卡坐标系的Xm轴的正向当前夹角小于90度；Zk轴与直线OkOc平行，且Zk轴正向指向相机坐标系的中心Oc；Ok-XkYk Zk,满足右手笛卡尔坐标系；
    在物理机器人基坐标系中，生成物理机器人运动控制指令，使AR注册卡坐标系Om-XmYm Zm与局部坐标系Ok-XkYk Zk的坐标原点趋近重合，对应坐标轴方向趋近一致；
    向物理机器人控制器发送物理机器人运动控制指令使物理机器人带动AR注册卡运动；检测能否完成AR注册，如可以则退出第一驱动模块，否则重新选择一D点，重复上述步骤。
  9. 根据权利要求6所述的一种基于标识卡运动的机器人增强现实示教的注册方法，其特征在于，当相机的移动后，AR注册卡不在成像范围内，无法完成AR注册时，还包括一驱动物理机器人带动所述AR注册卡跟随所述相机运动的第二驱动模块，具体通过以下步骤实现：
    初始化阶段：
    在物理环境中建立三维栅格模型，三维栅格模型包括数个栅格，每个栅格的大小保证能够将AR注册卡面积大小的形状包络在内；每个栅格包括两个属性：物理机器人可达属性和相机的可见范围属性；计算每个栅格的中心点在物理机器人基坐标系下的坐标(xw,yw,zw)；
    判断每个栅格的中心点是否在物理机器人的工作空间内，在如果在物理机器人的工作空间内，该栅格的可达属性为1，否则为0；
    运行循环阶段：
    计算机循环读取相机在移动过程中拍摄的物理工作环境的图像，通过计算机视觉算法识别AR注册卡中的各特征点的像素坐标Zi(u i,v i)；根据所有特征点的像素坐标Zi(u i,v i),和对应的三维坐标Pi(x wi,y wi,z wi)，利用公式
    Figure PCTCN2020080783-appb-100002
    求解R 4*4；
    如果AR注册卡不在相机的成像范围内，无法求解R 4*4则进入下一步，否则返回重新求解R 4*4；
    利用以上一个循环中求得的有效的R 4*4，计算每一个栅格的中心点成像的像素坐标(u,v)，如果(u,v)在相机的成像范围内，则设置该栅格的可见范围属性为1，否则设置该栅格的可见范围属性为0；
    查询所有栅格，在物理机器人基坐标系内计算可见范围属性为1且可达属性为1的栅格距离AR注册卡坐标系原点Om的距离，选择距离最短的栅格的中心点为目标点，该中心点记为O k；
    在物理机器人基坐标系中，生成机器人运动控制指令，使AR注册卡坐标系 Om-XmYm Zm的原点Om向O k点运动，Zm轴向O kOc方向靠近，且Zm轴的正向指向Oc；
    计算机向物理机器人控制器发送机器人运动控制指令使物理机器人运动；检测能否完成AR注册，如可以则退出并返回计算下一循环的R 4*4，否则返回上一步生成另一机器人运动控制指令，继续运动。
PCT/CN2020/080783 2020-03-24 2020-03-24 一种基于标识卡运动的机器人增强现实示教的注册***及方法 WO2021189223A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/080783 WO2021189223A1 (zh) 2020-03-24 2020-03-24 一种基于标识卡运动的机器人增强现实示教的注册***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/080783 WO2021189223A1 (zh) 2020-03-24 2020-03-24 一种基于标识卡运动的机器人增强现实示教的注册***及方法

Publications (1)

Publication Number Publication Date
WO2021189223A1 true WO2021189223A1 (zh) 2021-09-30

Family

ID=77890108

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/080783 WO2021189223A1 (zh) 2020-03-24 2020-03-24 一种基于标识卡运动的机器人增强现实示教的注册***及方法

Country Status (1)

Country Link
WO (1) WO2021189223A1 (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105666505A (zh) * 2014-12-08 2016-06-15 发那科株式会社 具备扩展现实对应显示器的机器人***
CN107309882A (zh) * 2017-08-14 2017-11-03 青岛理工大学 一种机器人示教编程***及方法
WO2019120481A1 (en) * 2017-12-19 2019-06-27 Abb Schweiz Ag System and method for determining a transformation representation
CN110238831A (zh) * 2019-07-23 2019-09-17 青岛理工大学 基于rgb-d图像及示教器的机器人示教***及方法
CN110405775A (zh) * 2019-05-07 2019-11-05 中国地质大学（武汉） 一种基于增强现实技术的机器人示教***及方法
US20200043236A1 (en) * 2018-08-03 2020-02-06 Magic Leap, Inc. Depth plane selection for multi-depth plane display systems by user categorization
CN111300384A (zh) * 2020-03-24 2020-06-19 青岛理工大学 一种基于标识卡运动的机器人增强现实示教的注册***及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105666505A (zh) * 2014-12-08 2016-06-15 发那科株式会社 具备扩展现实对应显示器的机器人***
CN107309882A (zh) * 2017-08-14 2017-11-03 青岛理工大学 一种机器人示教编程***及方法
WO2019120481A1 (en) * 2017-12-19 2019-06-27 Abb Schweiz Ag System and method for determining a transformation representation
US20200043236A1 (en) * 2018-08-03 2020-02-06 Magic Leap, Inc. Depth plane selection for multi-depth plane display systems by user categorization
CN110405775A (zh) * 2019-05-07 2019-11-05 中国地质大学（武汉） 一种基于增强现实技术的机器人示教***及方法
CN110238831A (zh) * 2019-07-23 2019-09-17 青岛理工大学 基于rgb-d图像及示教器的机器人示教***及方法
CN111300384A (zh) * 2020-03-24 2020-06-19 青岛理工大学 一种基于标识卡运动的机器人增强现实示教的注册***及方法

Similar Documents

Publication Publication Date Title
CN111300384B (zh) 一种基于标识卡运动的机器人增强现实示教的注册***及方法
CN107901041B (zh) 一种基于图像混合矩的机器人视觉伺服控制方法
WO2020024178A1 (zh) 一种手眼标定方法、***及计算机存储介质
CN110039542B (zh) 具有速度方向控制的视觉伺服跟踪控制方法及机器人***
Corke et al. A new partitioned approach to image-based visual servo control
CN109571487B (zh) 一种基于视觉的机器人演示学习方法
Azad et al. Toward an unified representation for imitation of human motion on humanoids
CN102848389B (zh) 基于视觉运动捕捉的机械臂标定及跟踪***实现方法
CN108098762A (zh) 一种基于新型视觉引导的机器人定位装置及方法
CN106354161A (zh) 机器人运动路径规划方法
CN109976347B (zh) 一种基于快速扩展随机树和势场法的视觉伺服路径规划方法
CN109079794B (zh) 一种基于人体姿态跟随的机器人控制与示教方法
CN110695988A (zh) 双机械臂协同运动方法及***
Li et al. A hybrid visual servo control method for simultaneously controlling a nonholonomic mobile and a manipulator
CN109664317A (zh) 机器人的物体抓取***及方法
Lopez-Nicolas et al. Visual control for multirobot organized rendezvous
CN110928311B (zh) 一种基于全景相机下直线特征的室内移动机器人导航方法
CN111283664B (zh) 一种面向机器人增强现实示教的注册***和方法
CN109900251A (zh) 一种基于视觉技术的机器人定位装置及方法
Han et al. Grasping control method of manipulator based on binocular vision combining target detection and trajectory planning
WO2021189223A1 (zh) 一种基于标识卡运动的机器人增强现实示教的注册***及方法
CN115648200A (zh) 复合型机器人协同控制方法及***
CN116117786A (zh) 高视觉可见性下机械臂轨迹规划方法及***
WO2021189224A1 (zh) 一种面向机器人增强现实示教的注册***和方法
CN109146957B (zh) 一种基于三角形特征的机器人视觉控制方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20926892

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20926892

Country of ref document: EP

Kind code of ref document: A1