CN109974584B - 一种辅助激光截骨手术机器人的标定***及标定方法 - Google Patents

一种辅助激光截骨手术机器人的标定***及标定方法 Download PDF

Info

Publication number
CN109974584B
CN109974584B CN201910293683.7A CN201910293683A CN109974584B CN 109974584 B CN109974584 B CN 109974584B CN 201910293683 A CN201910293683 A CN 201910293683A CN 109974584 B CN109974584 B CN 109974584B
Authority
CN
China
Prior art keywords
coordinate system
robot
tool
relative
transfer matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910293683.7A
Other languages
English (en)
Other versions
CN109974584A (zh
Inventor
宋锐
王莉娟
赵赫
袁宏祥
李倩倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Shanda Science And Technology Park Development Co ltd
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201910293683.7A priority Critical patent/CN109974584B/zh
Publication of CN109974584A publication Critical patent/CN109974584A/zh
Application granted granted Critical
Publication of CN109974584B publication Critical patent/CN109974584B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Robotics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种辅助激光截骨手术机器人的标定***及标定方法，获取机械臂末端坐标系相对于机器人基坐标系的转移矩阵以及跟踪装置坐标系相对于相机坐标系的转移矩阵；求解工具坐标系相对于机械臂末端坐标系的平移向量，建立工具坐标系相对于机械臂末端坐标系的转移矩阵，得到工具坐标系相对于机器人基坐标系的转移矩阵，实现机器人的工具标定；求解工具坐标系相对于跟踪装置坐标系的平移向量，获取工具坐标系原点的两组三维点集，求解机器人基坐标系相对于相机坐标系的转移矩阵，实现机器人的手眼标定。

Description

一种辅助激光截骨手术机器人的标定***及标定方法
技术领域
本公开涉及机器人标定领域，具体涉及一种辅助激光截骨手术机器人的标定***及标定方法。
背景技术
近年来，手术机器人技术在临床上得到越来越广泛的应用。辅助激光截骨手术机器人是一种能够在手术中帮助医生按照术前规划自动完成截骨的任务自主型手术机器人。它相较于传统的截骨手术器械，具有精确可控、对周围组织损伤小等优点。工具标定和手眼标定是辅助截骨手术机器人安装和作业前的重要步骤，直接决定着机器人的定位精度及手术效果。
发明人在研发过程中发现，传统的标定方法多依赖先进的测量设备，标定过程复杂，测量设备成本昂贵，且测量精度很大程度上依赖测量设备的精度，使其难以在实际操作中有效应用。而现有的依靠自身的标定方法如“四点法”、“六点法”等操作过程复杂，稳定性差，无法满足临床手术要求。另一方面，辅助激光截骨手术机器人***中，对于激光工具的标定，是对激光有效消融点这一空间中悬空点的标定，属于非接触式工具标定，提高了***标定的难度。
发明内容
为了克服上述现有技术的不足，本公开提供了一种辅助激光截骨手术机器人的标定***及标定方法，能够自动有效地实现辅助激光截骨手术机器人的工具及手眼标定，提高标定精度。
本公开所采用的技术方案是：
一种辅助激光截骨手术机器人的标定方法，该方法包括以下步骤：
建立机器人、机械臂末端、相机、跟踪装置以及位于机械臂末端的工具的坐标系；
获取工具发射激光垂直照射到标定装置每个平面且经过标定装置的中心时，机械臂末端坐标系相对于机器人基坐标系的转移矩阵以及跟踪装置坐标系相对于相机坐标系的转移矩阵；
求解工具坐标系相对于机械臂末端坐标系的平移向量，建立工具坐标系相对于机械臂末端坐标系的转移矩阵；
将机械臂末端坐标系相对于机器人基坐标系的转移矩阵与工具坐标系相对于机械臂末端坐标系的转移矩阵相乘，得到工具坐标系相对于机器人基坐标系的转移矩阵，实现机器人的工具标定；
求解工具坐标系相对于跟踪装置坐标系的平移向量，获取工具坐标系原点的两组三维点集，求解机器人基坐标系相对于相机坐标系的转移矩阵，实现机器人的手眼标定。
作为本公开的进一步技术方案，所述机械臂末端坐标系相对于机器人基坐标系的转移矩阵的获取方法为：
测量位于机械臂末端的工具发射激光垂直照射到标定装置第一平面且经过标定装置的中心时，工具到标定装置外接球球心的距离；
当测量到的距离等于激光消融有效距离与标定装置外接球半径的和时，获取此时机械臂末端工具中心点相对于机器人基坐标系的位置和姿态信息，形成机械臂末端坐标系{E}相对于机器人基坐标系{B}的第一转移矩阵
Figure GDA0002308571790000021
重复上述步骤，直到得到机械臂末端坐标系{E}相对于机器人基坐标系{B}的第二转移矩阵
Figure GDA0002308571790000031
第三转移矩阵
Figure GDA0002308571790000032
和第四转移矩阵
Figure GDA0002308571790000033
作为本公开的进一步技术方案，所述跟踪装置坐标系相对于相机坐标系的转移矩阵的获取方法为：
测量位于机械臂末端的工具发射激光垂直照射到标定装置第一平面且经过标定装置的中心时，工具到标定装置外接球球心的距离；
当测量到的距离等于激光消融有效距离与标定装置外接球半径的和时，获取跟踪装置坐标系相对于相机坐标系的位置和姿态信息，形成跟踪装置坐标系{D}相对于相机坐标系{C}的第一转移矩阵
Figure GDA0002308571790000034
重复上述步骤，直到得到跟踪装置坐标系{D}相对于相机坐标系{C}的第二转移矩阵
Figure GDA0002308571790000035
第三转移矩阵
Figure GDA0002308571790000036
和第四转移矩阵
Figure GDA0002308571790000037
作为本公开的进一步技术方案，所述工具坐标系相对于机械臂末端坐标系的平移向量的求解方法为：
建立工具坐标系{T}、机械臂末端坐标系{E}、机器人基坐标系{B}的转换关系式；
将机械臂末端坐标系{E}相对于机器人基坐标系{B}的转移矩阵
Figure GDA0002308571790000038
代入上述得到的转换关系式中，得到不相容方程组；
采用奇异值分解法求解不相容方程组的最佳最小二乘解，得到工具坐标系{T}相对于机械臂末端坐标系{E}的平移向量
Figure GDA0002308571790000039
结合工具坐标系{T}与机械臂末端坐标系{E}平移关系的旋转矩阵不变原则，获得工具坐标系{T}相对于机械臂末端坐标系{E}的转移矩阵
Figure GDA00023085717900000310
将工具坐标系{T}相对于机械臂末端坐标系{E}的转移矩阵
Figure GDA0002308571790000041
与机械臂末端坐标系{E}相对于机器人基坐标系{B}的转移矩阵
Figure GDA0002308571790000042
相乘，得到工具坐标系{T}相对于机器人基坐标系{B}的转移矩阵
Figure GDA0002308571790000043
根据工具坐标系{T}相对于机器人基坐标系{B}的转移矩阵
Figure GDA0002308571790000044
调整机械臂末端工具中心点相对于机器人基坐标系的位置和姿态信息，实现机器人***工具标定。
作为本公开的进一步技术方案，所述工具坐标系相对于跟踪装置坐标系的平移向量的求解方法为：
建立工具坐标系{T}、跟踪装置坐标系{D}、相机坐标系{C}的转换关系式；
将跟踪装置坐标系{D}相对于相机坐标系{C}的转移矩阵
Figure GDA0002308571790000045
代入上述得到的转换关系式中，得到不相容方程组；
采用奇异值分解法求解不相容方程组的最佳最小二乘解，得到工具坐标系{T}相对于跟踪装置坐标系{D}的平移向量
Figure GDA0002308571790000046
作为本公开的进一步技术方案，所述获取工具坐标系原点的两组三维点集的步骤包括：
根据工具坐标系{T}相对于跟踪装置坐标系{D}的平移向量
Figure GDA0002308571790000047
将跟踪坐标系原点平移到工具坐标系原点；
获取位于空间任意位置的工具坐标系原点在机器人基坐标系和相机坐标系下的两组三维点集。
作为本公开的进一步技术方案，所述求解机器人基坐标系相对于相机坐标系的转移矩阵的步骤包括：
定义机器人基坐标系和相机坐标系的旋转矩阵与工具坐标系原点在机器人基坐标系和相机坐标系下的两组三维点集之间的函数F；
采用基于奇异值分解的最小二乘法求解函数F的最大值，得到机器人坐标系相对于相机坐标系的旋转矩阵；
根据工具坐标系原点从机器人基坐标系变换到相机坐标系的变换映射关系，计算机器人基坐标系相对于相机坐标系的平移分量；
基于机器人基坐标系相对于相机坐标系的旋转矩阵和机器人基坐标系相对于相机坐标系的平移分量，得到机器人基坐标系和相机坐标系的转移矩阵；
根据机器人基坐标系和相机坐标系的转移矩阵，控制安装在机械臂末端的工具按照设定的轨迹移动，同时获取工具相对于相机坐标系的位姿信息，实现***的手眼标定。
一种辅助激光截骨手术机器人的标定***，该***包括机器人***、视觉***、标定装置和处理器；
所述机器人***，用于操纵机械臂使工具发射激光垂直照射到标定装置每个平面且经过标定装置的中心，获取机械臂末端坐标系相对于机器人基坐标系的转移矩阵，并上传至处理器；
所述视觉***，用于获取工具发射激光垂直照射到标定装置每个平面且经过标定装置的中心时，跟踪装置坐标系相对于相机坐标系的转移矩阵，并上传至处理器；
所述处理器包括转移矩阵建立模块、机器人工具标定模块和机器人手眼标定模块；其中：
所述转移矩阵建立模块，用于判断工具到标定装置外接球球心的距离是否满足激光消融有效距离与标定装置外接球半径的和，若满足，则获取机械臂末端坐标系相对于机器人基坐标系的转移矩阵以及跟踪装置坐标系相对于相机坐标系的转移矩阵；
所述机器人工具标定模块，用于求解工具坐标系相对于机械臂末端坐标系的平移向量，建立工具坐标系相对于机械臂末端坐标系的转移矩阵；将机械臂末端坐标系相对于机器人基坐标系的转移矩阵与工具坐标系相对于机械臂末端坐标系的转移矩阵相乘，得到工具坐标系相对于机器人基坐标系的转移矩阵，实现机器人的工具标定；
所述机器人手眼标定模块，用于求解工具坐标系相对于跟踪装置坐标系的平移向量，根据工具坐标系相对于跟踪装置坐标系的平移向量，获取工具坐标系原点的两组三维点集，求解机器人基坐标系相对于相机坐标系的转移矩阵，实现机器人的手眼标定。
作为本公开的进一步技术方案，所述标定装置为正四面标记体，正四面标记体的四个顶角处设置有跟踪装置，所述正四面标记体的四个平面的中心设有通光的小孔。
通过上述技术方案，本公开的有益效果是：
(1)本公开结合激光截骨手术机器人的***特点，设计了一种专门针对激光有效消融点的标定装置，同时实现了非接触式工具在机器人坐标系和相机坐标系下的标定，能够大大提高了机器人的标定精度；且标定装置简单易行，大大降低了成本；
(2)本公开提出的标定方法克服了传统方法操作过程复杂及稳定性差的问题，提高了标定过程自动化程度，减少了人为操作等不必要的误差；
(3)本公开适用于辅助激光截骨手术机器人***，能够有效精确地实现工具标定和手眼标定，提高了机器人的自动化程度。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本申请，并不构成对本公开的不当限定。
图1是实施例一正四面标记体结构图；
图2是实施例二辅助激光截骨手术机器人的标定方法流程图；
图3是实施例三坐标系结构示意图。
具体实施方式
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本公开使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
名词解释：
(1)TCP，Tool Center Point，工具中心点。
实施例一
本实施例提供一种辅助激光截骨手术机器人的标定***，所述标定装置包括机器人***、视觉***、标定装置和处理器，所述机器人***采用现有的辅助激光截骨手术机器人***技术结构，其主要包括六自由度机械臂以及安装在机械臂末端的激光工具等。所述视觉***包括红外立体相机，所述标定装置为一个正四面标记体。
请参阅附图1，所述标定装置为正四面标记体，所述正四面标记体的四个顶点处分别安装有红外反光球的跟踪装置，所述正四面标记体的四个平面分别采用透明材料制成，所述标记工具的四个平面的中心标定点分别设有通光的小孔，可以实现激光穿过一平面上的通光小孔并垂直于该平面照射到对顶角上，通过控制激光发射位置到与标记工具一平面相对的顶角的距离，从而保证了多组标定点的激光有效消融点重合于正四面标记体中心。
本实施例的正四面标记体呈正四面体的特殊对称结构，能够实现标定点采集均匀分布的同时最大限度的调整机器人姿态，提高了自标定的精度。
控制机器人操作机械臂使激光源发射的激光从标记工具的第一个平面的中心处的通光小孔照射到与该平面相对的顶角上，实现激光垂直照射该平面并经过标记工具的中心。
所述机器人***，用于操纵机械臂使工具发射激光垂直照射到标定装置每个平面且经过标定装置的中心，获取机械臂末端tcp相对于机器人基坐标系的位置和姿态信息，形成机械臂末端坐标系相对于机器人基坐标系的转移矩阵并上传至处理器。
所述视觉***，用于获取工具发射激光垂直照射到标定装置每个平面且经过标定装置的中心时，跟踪装置相对于相机坐标系的位置和姿态信息，形成跟踪装置坐标系相对于相机坐标系的转移矩阵，并上传至处理器。
所述处理器，所述处理器包括转移矩阵建立模块、机器人工具标定模块和机器人手眼标定模块；其中：
所述转移矩阵建立模块，用于判断工具到标定装置外接球球心的距离是否满足激光消融有效距离与标定装置外接球半径的和，若满足，则获取机械臂末端坐标系相对于机器人基坐标系的转移矩阵以及跟踪装置坐标系相对于相机坐标系的转移矩阵；
所述机器人工具标定模块，用于求解工具坐标系相对于机械臂末端坐标系的平移向量，建立工具坐标系相对于机械臂末端坐标系的转移矩阵；将机械臂末端坐标系相对于机器人基坐标系的转移矩阵与工具坐标系相对于机械臂末端坐标系的转移矩阵相乘，得到工具坐标系相对于机器人基坐标系的转移矩阵，实现机器人的工具标定；
所述机器人手眼标定模块，用于求解工具坐标系相对于跟踪装置坐标系的平移向量，根据工具坐标系相对于跟踪装置坐标系的平移向量，获取工具坐标系原点的两组三维点集，求解机器人基坐标系相对于相机坐标系的转移矩阵，实现机器人的手眼标定。
在本实施例中，所述机器人***具体被配置为：
针对标定装置的第一个平面中心处的第一标定点，通过机器人***的机械臂使末端工具发射的激光通过正四面标定体的第一平面中心小孔，并且激光测距所测距离d满足关系：d＝l+r，获取此时机械臂末端tcp相对于机器人基坐标系的位置和姿态信息，形成机械臂末端坐标系{E}相对于机器人基坐标系{B}的转移矩阵
Figure GDA0002308571790000091
同上，针对其他三个标定点，通过机器人***获取末端工具相对于机器人基坐标系的位置和姿态信息，得到机械臂末端坐标系{E}相对于机器人基坐标系{B}的转移矩阵
Figure GDA0002308571790000101
具体地，所述视觉***具体被配置为：
针对标定装置的第一个平面中心处的第一标定点，通过机器人***的机械臂使末端工具发射的激光通过正四面标定体的第一平面中心小孔，并且激光测距所测距离d满足关系：d＝l+r，获取此时跟踪装置相对于相机坐标系的位置和姿态信息，形成跟踪装置坐标系{D}相对于相机坐标系{C}的转移矩阵
Figure GDA0002308571790000102
同上，针对其他三个标定点，通过视觉***的红外立体相机获取跟踪装置相对于相机坐标系的位置和姿态信息，得到跟踪装置坐标系{D}相对于相机坐标系{C}的转移矩阵
Figure GDA0002308571790000103
具体地，所述机器人工具标定模块具体被配置为：
将机器人***得到的4个标记点的机械臂末端坐标系{E}相对于机器人基坐标系{B}的转移矩阵
Figure GDA0002308571790000104
代入机器人工具标定的转换关系式，得到不相容方程组，采用奇异值分解法(SVD)求解该方程组在最小二乘法意义下的最可能接近解，得到工具坐标系{T}相对于机械臂末端坐标系{E}的平移向量
Figure GDA0002308571790000105
结合平移关系的旋转矩阵不变原则，基于工具坐标系{T}相对于机械臂末端坐标系{E}的平移向量
Figure GDA0002308571790000106
得到工具坐标系{T}相对于机械臂末端坐标系{E}的转移矩阵
Figure GDA0002308571790000107
将机械臂末端坐标系{E}相对于机器人基坐标系{B}的转移矩阵
Figure GDA0002308571790000108
与工具坐标系{T}相对于机械臂末端坐标系{E}的转移矩阵
Figure GDA0002308571790000109
相乘，得到工具坐标系{T}相对于机器人基坐标系{B}的转移矩阵
Figure GDA00023085717900001010
实现机器人的工具标定。
所述机器人手眼标定模块具体被配置为：
将机器人***得到的4个标记点的跟踪装置坐标系{D}相对于相机坐标系{C}的转移矩阵
Figure GDA0002308571790000111
代入机器人工具标定的转换关系式，得到不相容方程组，采用奇异值分解法(SVD)求解该方程组在最小二乘法意义下的最可能接近解，得到工具坐标系{T}相对于跟踪装置坐标系{D}的平移向量
Figure GDA0002308571790000112
根据工具坐标系{T}相对于跟踪装置坐标系{D}的平移向量
Figure GDA0002308571790000113
将红外立体相机获取的跟踪装置的原点平移到工具坐标系原点，使得相机可以直接读取工具坐标系原点的位置信息。
操作机械臂使激光工具在空间中随意取点，获取工具坐标系原点分别在机器人坐标系下的点集Pi(i＝1,...n)和相机坐标系下的点集Pi'。
通过两组三维点集的最小二乘解拟合实现手眼标定。
实施例二
本实施例提供一种辅助激光截骨手术机器人的标定方法，该方法是基于如上所述的辅助激光截骨手术机器人的标定装置实现的。
请参阅附图2，所述辅助激光截骨手术机器人的标定方法包括以下步骤：
S101，设置辅助激光截骨手术机器人的标定装置及跟踪装置，调整激光发射距离。
设机器人基坐标系为{B}，机械臂末端坐标系为{E}，相机坐标系为{C}，跟踪装置坐标系为{D}，激光工具坐标系为{T}(下面简称工具坐标系)，{T}是激光消融有效点作为原点建立的坐标系，请参阅附图3。
具体地，所述步骤101中，调整激光发射距离的具体实现方式如下：
测量末端工具发射的激光从标定装置的一个平面的中心通光小孔照射到与该平面相对的顶角处距离。设末端激光工具所测距离为d，激光消融有效距离l和标定装置外接球半径r，满足关系：d＝l+r。判断测量的距离是否等于d，若不等于，控制机械臂调整末端工具发射激光的距离满足d。
S102，获取标定装置上四个标定点的数据信息，包括机械臂末端坐标系{E}相对于机器人基坐标系{B}的转移矩阵
Figure GDA0002308571790000121
跟踪装置坐标系{D}相对于相机坐标系{C}的转移矩阵
Figure GDA0002308571790000122
具体地，针对标定装置的第一个平面中心处的第一标定点，通过机器人***的机械臂使末端工具发射的激光通过正四面标定体的第一平面中心小孔，并且激光测距所测距离d满足关系：d＝l+r，获取此时机械臂末端tcp相对于机器人基坐标系的位置和姿态信息，得到机械臂末端坐标系{E}相对于机器人基坐标系{B}的转移矩阵
Figure GDA0002308571790000123
通过视觉***的红外立体相机获取跟踪装置相对于相机坐标系的位置和姿态信息，得到跟踪装置坐标系{D}相对于相机坐标系{C}的转移矩阵
Figure GDA0002308571790000124
同上，针对其他三个标定点，通过机器人***获取末端工具相对于机器人基坐标系的位置和姿态信息，得到机械臂末端坐标系{E}相对于机器人基坐标系{B}的转移矩阵
Figure GDA0002308571790000125
通过视觉***的红外立体相机获取跟踪装置相对于相机坐标系的位置和姿态信息，得到跟踪装置坐标系{D}相对于相机坐标系{C}的转移矩阵
Figure GDA0002308571790000126
S103，求解工具坐标系{T}相对于机械臂末端坐标系{E}的平移向量
Figure GDA0002308571790000127
以及工具坐标系{T}相对于跟踪装置坐标系{D}的平移向量
Figure GDA0002308571790000128
具体地，将机器人***得到的4个标记点的机械臂末端坐标系{E}相对于机器人基坐标系{B}的转移矩阵
Figure GDA0002308571790000129
代入机器人工具标定的转换关系式，得到不相容方程组，采用奇异值分解法(SVD)求解该方程组在最小二乘法意义下的最可能接近解，得到工具坐标系{T}相对于机械臂末端坐标系{E}的平移向量
Figure GDA0002308571790000131
具体地，所述步骤103中，求解工具坐标系{T}相对于机械臂末端坐标系{E}的平移向量
Figure GDA0002308571790000132
其具体过程如下：
工具坐标系{T}相对于机器人基坐标系{B}的转移矩阵表示为
Figure GDA0002308571790000133
由于机器人的激光工具和跟踪装置是固联于机器人操作机械臂末端连杆上的，所以工具坐标系{T}相对于末端连杆坐标系{E}的位姿关系
Figure GDA0002308571790000134
是恒定的，即旋转分量
Figure GDA0002308571790000135
和平移向量
Figure GDA0002308571790000136
不变。
跟踪装置坐标系{D}相对于相机坐标系{C}的转移矩阵表示为
Figure GDA0002308571790000137
由于标定工具与跟踪装置同样是固联关系，所以工具坐标系{T}相对于跟踪装置坐标系{D}的转移矩阵
Figure GDA0002308571790000138
是恒定的，即旋转分量
Figure GDA0002308571790000139
和平移向量
Figure GDA00023085717900001310
不变。
默认工具坐标系{T}是由机械臂末端坐标系{E}平移得到，那么工具坐标系的姿态与机械臂末端坐标系的姿态相同。完成机器人工具坐标系标定，只需要求取工具坐标系与机械臂末端坐标系的转移矩阵的平移向量
Figure GDA00023085717900001311
工具坐标系{T}、机械臂末端坐标系{E}、机器人基坐标系{B}坐标系满足如下转换关系：
Figure GDA00023085717900001312
将步骤102得到的第i个标定点的机械臂末端坐标系到机器人基坐标系的变换矩阵
Figure GDA00023085717900001313
代入式(1)可得
Figure GDA00023085717900001314
写成分块形式为：
Figure GDA00023085717900001315
令等式两边计算得到的第4列对应相等，则得：
Figure GDA0002308571790000141
对于各标定点，工具坐标系原点相对于机器人基坐标系{B}的位置向量
Figure GDA0002308571790000142
保持不变。那么，对于全部标定点有：
Figure GDA0002308571790000143
写成矩阵形式为：
Figure GDA0002308571790000144
上式为不相容方程组，可以求出平移向量
Figure GDA0002308571790000145
的最佳最小二乘解。
具体地，运用奇异值分解法(SVD)求解上述的不相容方程组(5)在最小二乘法意义下的最可能接近解，其具体实现过程如下：
令
Figure GDA0002308571790000146
对A进行SVD分解A＝UΛVT,即可以求得A的广义逆矩阵A+＝VΛ+UT，其中
Figure GDA0002308571790000147
最后利用A+求取不相容方程组的最小二乘解，即
Figure GDA0002308571790000148
针对视觉***得到的4个标记点的跟踪装置坐标系{D}相对于相机坐标系{C}的转移矩阵
Figure GDA0002308571790000149
采用与上述相同的方法，求解工具坐标系{T}相对于跟踪装置坐标系{D}的平移向量
Figure GDA00023085717900001410
在本申请中不再赘述。
S104，结合平移关系的旋转矩阵不变原则，基于工具坐标系{T}相对于机械臂末端坐标系{E}的平移向量
Figure GDA0002308571790000151
得到工具坐标系{T}相对于机械臂末端坐标系{E}的转移矩阵
Figure GDA0002308571790000152
在本实施例中，工具坐标系{T}是由机械臂末端坐标系{E}平移得到，那么工具坐标系的姿态与机械臂末端坐标系的姿态相同。结合平移关系的旋转矩阵不变原则，可以获得工具坐标系{T}相对于机械臂末端坐标系{E}的转移矩阵
Figure GDA0002308571790000153
S105，将机械臂末端坐标系{E}相对于机器人基坐标系{B}的转移矩阵
Figure GDA0002308571790000154
与工具坐标系{T}相对于机械臂末端坐标系{E}的转移矩阵
Figure GDA0002308571790000155
相乘，得到工具坐标系{T}相对于机器人基坐标系{B}的转移矩阵
Figure GDA0002308571790000156
机器人***根据工具坐标系{T}相对于机器人基坐标系{B}的转移矩阵
Figure GDA0002308571790000157
调整机械臂末端工具中心点相对于机器人基坐标系的位置和姿态信息，实现机器人***工具标定。
具体地，所述工具坐标系{T}相对于机器人基坐标系{B}的转移矩阵
Figure GDA0002308571790000158
的计算公式为：
Figure GDA0002308571790000159
机器人***根据得到的工具坐标系{T}相对于机器人基坐标系{B}的转移矩阵
Figure GDA00023085717900001510
操作机械臂调整末端工具的位置和姿态，实现机器人的工具标定。
S106，获取工具坐标系原点的两组三维信息。
具体地，所述步骤106中，获取工具坐标系原点的两组三维信息的具体实现过程如下：
根据工具坐标系{T}相对于跟踪装置坐标系{D}的平移向量
Figure GDA00023085717900001511
将红外立体相机获取的跟踪装置的原点平移到工具坐标系原点，使得相机可以直接读取工具坐标系原点的位置信息。
操作机械臂使激光工具在空间中随意取点，获取工具坐标系原点在机器人坐标系下的三维信息Pi(i＝1,...n)和相机坐标系下的点集Pi'。
S107，通过两组三维点集的最小二乘解拟合实现手眼标定。
具体地，所述步骤107中，通过两组三维点集的最小二乘解拟合实现手眼标定的具体过程如下：
(1)步骤106获取的关于工具坐标系原点的两组三维信息分别在机器人坐标系下的点集Pi和相机坐标系下的点集Pi'，两组点集满足如下关系：
Pi'＝RPi+t+ni (7)
其中，R为机器人坐标系和相机坐标系的旋转矩阵，t为平移向量，ni为噪声向量。
获取R和t使满足：
Figure GDA0002308571790000161
(2)假设最小二乘法解的旋转矩阵为
Figure GDA0002308571790000162
平移向量为
Figure GDA0002308571790000163
两组点集的中心分别为
Figure GDA0002308571790000164
设
Figure GDA0002308571790000165
则{Pi'}和{Pi”}有相同的中心，即P'＝P”。
令
Figure GDA0002308571790000166
则有
Figure GDA0002308571790000171
(3)要求minδ2等价于求
Figure GDA0002308571790000172
定义函数
Figure GDA0002308571790000173
其中
Figure GDA0002308571790000174
对H进行SVD分解H＝UΛVT，令X＝VUT(3×3正交矩阵)，则有
XH＝VUTUΛVT＝VΛVT (13)
对于任意3×3正交矩阵B都有Trace(XH)≥Trace(BXH)。
其中，如果det(X)＝+1，则
Figure GDA0002308571790000175
如果det(X)＝-1，那么该算法不适用(这种情况极少发生)。所有3×3正交矩阵中，X使F最大化，即δ2最小。
(4)根据SVD方法和正交矩阵性质，求得
Figure GDA0002308571790000176
然后可以得到平移分量为
Figure GDA0002308571790000177
得到机器人基坐标系和相机坐标系的转移矩阵为：
Figure GDA0002308571790000178
机器人***根据机器人基坐标系{B}相对于相机坐标系{C}的转移矩阵
Figure GDA0002308571790000181
机器人***控制安装在机械臂末端的工具按照设定的轨迹移动时，同时视觉***的相机获取工具的位姿信息实时反馈给机器人***，实现机器人***手眼标定。
本实施例提出的标定方法克服了传统方法操作过程复杂及稳定性差的问题，提高了标定过程自动化程度，减少了人为操作等不必要的误差；同时实现了非接触式工具在机器人坐标系和立体相机坐标系下的标定，能够提高机器人的标定精度；且标定装置简单易行，大大降低了成本；适用于辅助激光截骨手术机器人***，能够有效精确地实现工具在机器人坐标系和相机坐标系下的标定，提高了机器人的自动化程度。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (8)

1.一种辅助激光截骨手术机器人的标定方法，其特征是，包括以下步骤：
建立机器人、机械臂末端、相机、跟踪装置以及位于机械臂末端的工具的坐标系；
获取工具发射激光垂直照射到标定装置每个平面且经过标定装置的中心时，机械臂末端坐标系相对于机器人基坐标系的转移矩阵以及跟踪装置坐标系相对于相机坐标系的转移矩阵；
求解工具坐标系相对于机械臂末端坐标系的平移向量，建立工具坐标系相对于机械臂末端坐标系的转移矩阵；
将机械臂末端坐标系相对于机器人基坐标系的转移矩阵与工具坐标系相对于机械臂末端坐标系的转移矩阵相乘，得到工具坐标系相对于机器人基坐标系的转移矩阵，实现机器人的工具标定；
求解工具坐标系相对于跟踪装置坐标系的平移向量，获取工具坐标系原点的两组三维点集，求解机器人基坐标系相对于相机坐标系的转移矩阵，实现机器人的手眼标定；
所述标定装置为正四面标记体，正四面标记体的四个顶角处设置有跟踪装置，所述正四面标记体的四个平面的中心设有通光的小孔。
2.根据权利要求1所述的辅助激光截骨手术机器人的标定方法，其特征是，所述机械臂末端坐标系相对于机器人基坐标系的转移矩阵的获取方法为：
测量位于机械臂末端的工具发射激光垂直照射到标定装置第一平面且经过标定装置的中心时，工具到标定装置外接球球心的距离；
当测量到的距离等于激光消融有效距离与标定装置外接球半径的和时，获取此时机械臂末端工具中心点相对于机器人基坐标系的位置和姿态信息，形成机械臂末端坐标系{E}相对于机器人基坐标系{B}的第一转移矩阵
Figure FDA0002308571780000021
重复上述步骤，直到得到机械臂末端坐标系{E}相对于机器人基坐标系{B}的第二转移矩阵
Figure FDA0002308571780000022
第三转移矩阵
Figure FDA0002308571780000023
和第四转移矩阵
Figure FDA0002308571780000024
3.根据权利要求1所述的辅助激光截骨手术机器人的标定方法，其特征是，所述跟踪装置坐标系相对于相机坐标系的转移矩阵的获取方法为：
测量位于机械臂末端的工具发射激光垂直照射到标定装置第一平面且经过标定装置的中心时，工具到标定装置外接球球心的距离；
当测量到的距离等于激光消融有效距离与标定装置外接球半径的和时，获取跟踪装置坐标系相对于相机坐标系的位置和姿态信息，形成跟踪装置坐标系{D}相对于相机坐标系{C}的第一转移矩阵
Figure FDA0002308571780000025
重复上述步骤，直到得到跟踪装置坐标系{D}相对于相机坐标系{C}的第二转移矩阵
Figure FDA0002308571780000026
第三转移矩阵
Figure FDA0002308571780000027
和第四转移矩阵
Figure FDA0002308571780000028
4.根据权利要求1所述的辅助激光截骨手术机器人的标定方法，其特征是，所述工具坐标系相对于机械臂末端坐标系的平移向量的求解方法为：
建立工具坐标系{T}、机械臂末端坐标系{E}、机器人基坐标系{B}的转换关系式；
将机械臂末端坐标系{E}相对于机器人基坐标系{B}的转移矩阵
Figure FDA0002308571780000029
代入上述得到的转换关系式中，得到不相容方程组；
采用奇异值分解法求解不相容方程组的最佳最小二乘解，得到工具坐标系{T}相对于机械臂末端坐标系{E}的平移向量
Figure FDA00023085717800000210
结合工具坐标系{T}与机械臂末端坐标系{E}平移关系的旋转矩阵不变原则，获得工具坐标系{T}相对于机械臂末端坐标系{E}的转移矩阵
Figure FDA0002308571780000031
将工具坐标系{T}相对于机械臂末端坐标系{E}的转移矩阵
Figure FDA0002308571780000032
与机械臂末端坐标系{E}相对于机器人基坐标系{B}的转移矩阵
Figure FDA0002308571780000033
相乘，得到工具坐标系{T}相对于机器人基坐标系{B}的转移矩阵
Figure FDA0002308571780000034
根据工具坐标系{T}相对于机器人基坐标系{B}的转移矩阵
Figure FDA0002308571780000035
调整机械臂末端工具中心点相对于机器人基坐标系的位置和姿态信息，实现机器人***工具标定。
5.根据权利要求1所述的辅助激光截骨手术机器人的标定方法，其特征是，所述工具坐标系相对于跟踪装置坐标系的平移向量的求解方法为：
建立工具坐标系{T}、跟踪装置坐标系{D}、相机坐标系{C}的转换关系式；
将跟踪装置坐标系{D}相对于相机坐标系{C}的转移矩阵
Figure FDA0002308571780000036
代入上述得到的转换关系式中，得到不相容方程组；
采用奇异值分解法求解不相容方程组的最佳最小二乘解，得到工具坐标系{T}相对于跟踪装置坐标系{D}的平移向量
Figure FDA0002308571780000037
6.根据权利要求1所述的辅助激光截骨手术机器人的标定方法，其特征是，所述获取工具坐标系原点的两组三维点集的步骤包括：
根据工具坐标系{T}相对于跟踪装置坐标系{D}的平移向量
Figure FDA0002308571780000038
将跟踪坐标系原点平移到工具坐标系原点；
获取位于空间任意位置的工具坐标系原点在机器人基坐标系和相机坐标系下的两组三维点集。
7.根据权利要求1所述的辅助激光截骨手术机器人的标定方法，其特征是，所述求解机器人基坐标系相对于相机坐标系的转移矩阵的步骤包括：
定义机器人基坐标系和相机坐标系的旋转矩阵与工具坐标系原点在机器人基坐标系和相机坐标系下的两组三维点集之间的函数F；
采用基于奇异值分解的最小二乘法求解函数F的最大值，得到机器人坐标系相对于相机坐标系的旋转矩阵；
根据工具坐标系原点从机器人基坐标系变换到相机坐标系的变换映射关系，计算机器人基坐标系相对于相机坐标系的平移分量；
基于机器人基坐标系相对于相机坐标系的旋转矩阵和机器人基坐标系相对于相机坐标系的平移分量，得到机器人基坐标系和相机坐标系的转移矩阵；
根据机器人基坐标系和相机坐标系的转移矩阵，控制安装在机械臂末端的工具按照一定轨迹移动，同时获取工具相对于相机坐标系的位姿信息，实现机器人***手眼标定。
8.一种辅助激光截骨手术机器人的标定***，其特征是，包括机器人***、视觉***、标定装置和处理器；
所述机器人***，用于操纵机械臂使工具发射激光垂直照射到标定装置每个平面且经过标定装置的中心，获取机械臂末端坐标系相对于机器人基坐标系的转移矩阵，并上传至处理器；
所述视觉***，用于获取工具发射激光垂直照射到标定装置每个平面且经过标定装置的中心时，跟踪装置坐标系相对于相机坐标系的转移矩阵，并上传至处理器；
所述处理器包括转移矩阵建立模块、机器人工具标定模块和机器人手眼标定模块；其中：
所述转移矩阵建立模块，用于判断工具到标定装置外接球球心的距离是否满足激光消融有效距离与标定装置外接球半径的和，若满足，则获取机械臂末端坐标系相对于机器人基坐标系的转移矩阵以及跟踪装置坐标系相对于相机坐标系的转移矩阵；
所述机器人工具标定模块，用于求解工具坐标系相对于机械臂末端坐标系的平移向量，建立工具坐标系相对于机械臂末端坐标系的转移矩阵；将机械臂末端坐标系相对于机器人基坐标系的转移矩阵与工具坐标系相对于机械臂末端坐标系的转移矩阵相乘，得到工具坐标系相对于机器人基坐标系的转移矩阵，实现机器人的工具标定；
所述机器人手眼标定模块，用于求解工具坐标系相对于跟踪装置坐标系的平移向量，根据工具坐标系相对于跟踪装置坐标系的平移向量，获取工具坐标系原点的两组三维点集，求解机器人基坐标系相对于相机坐标系的转移矩阵，实现机器人的手眼标定；
所述标定装置为正四面标记体，正四面标记体的四个顶角处设置有跟踪装置，所述正四面标记体的四个平面的中心设有通光的小孔。
CN201910293683.7A 2019-04-12 2019-04-12 一种辅助激光截骨手术机器人的标定***及标定方法 Active CN109974584B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910293683.7A CN109974584B (zh) 2019-04-12 2019-04-12 一种辅助激光截骨手术机器人的标定***及标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910293683.7A CN109974584B (zh) 2019-04-12 2019-04-12 一种辅助激光截骨手术机器人的标定***及标定方法

Publications (2)

Publication Number Publication Date
CN109974584A CN109974584A (zh) 2019-07-05
CN109974584B true CN109974584B (zh) 2020-03-20

Family

ID=67084479

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910293683.7A Active CN109974584B (zh) 2019-04-12 2019-04-12 一种辅助激光截骨手术机器人的标定***及标定方法

Country Status (1)

Country Link
CN (1) CN109974584B (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110368090B (zh) * 2019-08-09 2024-04-12 扬州大学 一种截骨导航机器人末端标定装置及标定方法
CN110559083B (zh) * 2019-09-10 2020-08-25 深圳市精锋医疗科技有限公司 手术机器人及其末端器械的控制方法、控制装置
CN110640745B (zh) * 2019-11-01 2021-06-22 苏州大学 基于视觉的机器人自动标定方法、设备和存储介质
CN111037561B (zh) * 2019-12-27 2021-09-07 武汉联影智融医疗科技有限公司 一种空间注册方法和装置
CN111189394B (zh) * 2020-04-09 2020-07-17 南京佗道医疗科技有限公司 异形加工件参数验证装置、***及方法
CN111633652A (zh) * 2020-06-02 2020-09-08 杜思傲 使用三维定位装置进行机器人坐标系注册方法
CN111557736B (zh) * 2020-06-02 2021-03-12 杭州键嘉机器人有限公司 医疗机器人导航***中截骨导板的标定方法
CN112525074B (zh) * 2020-11-24 2022-04-12 杭州素问九州医疗科技有限公司 标定方法、***、机器人、计算机装置和导航***
CN112568995A (zh) * 2020-12-08 2021-03-30 南京凌华微电子科技有限公司 一种机器人辅助手术的骨锯标定方法
CN112890954B (zh) * 2020-12-30 2022-08-09 北京和华瑞博医疗科技有限公司 机械臂运动控制方法、***及外科手术***
CN113995512A (zh) * 2021-02-07 2022-02-01 武汉光脉科技有限公司 一种全自动跟踪微创激光消融手术机器人***及其治疗方法
CN112842521A (zh) * 2021-02-09 2021-05-28 中国人民解放军陆军军医大学第二附属医院 一种激光截骨辅助全膝关节置换手术机器人
CN113040910B (zh) * 2021-03-11 2022-05-10 南京逸动智能科技有限责任公司 一种手术导航机器人末端上示踪器的标定方法
CN113509269B (zh) * 2021-04-01 2022-04-26 中国人民解放军陆军军医大学第二附属医院 一种激光截骨辅助全髋关节置换手术机器人
CN113343412B (zh) * 2021-04-22 2022-02-22 国网浙江省电力有限公司嘉兴供电公司 一种机械臂末端精准定位虚拟仿真方法
CN113021358B (zh) * 2021-05-21 2021-08-10 季华实验室 机械臂工具坐标系原点标定方法、装置和电子设备
CN113799130B (zh) * 2021-09-22 2023-05-02 西北工业大学 一种人机协作装配中的机器人位姿标定方法
CN113843792B (zh) * 2021-09-23 2024-02-06 四川锋准机器人科技有限公司 一种手术机器人的手眼标定方法
CN114670194B (zh) * 2022-03-22 2023-06-27 荣耀终端有限公司 机械手***定位方法及装置
CN114939867A (zh) * 2022-04-02 2022-08-26 杭州汇萃智能科技有限公司 一种基于立体视觉的机械手外接不规则非对称工具的标定方法及***
CN114536347A (zh) * 2022-04-08 2022-05-27 上海电气集团股份有限公司 机械臂的标定位置确定方法、标定方法、***及电子设备
CN114888792B (zh) * 2022-04-21 2023-09-05 北京航空航天大学 一种基于tcp法的截骨机器人***中刀具坐标系标定方法
CN114888791B (zh) * 2022-04-21 2023-08-25 北京航空航天大学 一种面向截骨机器人的头眼联合标定方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2669257A1 (fr) * 1990-11-21 1992-05-22 Renault Automatique Procede d'etalonnage d'un robot.
DE19720883A1 (de) * 1997-05-17 1998-11-19 Eugen Dr Trapet Demontierbarer Prüfkörper in Form eines Tetraeders
CN101630409B (zh) * 2009-08-17 2011-07-27 北京航空航天大学 一种用于机器人制孔***的手眼视觉标定方法
CN102087096B (zh) * 2010-11-12 2012-07-25 浙江大学 一种基于激光跟踪测量的机器人工具坐标系自动标定装置及方法
CN104833324A (zh) * 2015-01-28 2015-08-12 江南大学 一种基于测量头的机器人标定方法
CN105716525B (zh) * 2016-03-30 2018-03-30 西北工业大学 基于激光跟踪仪的机器人末端执行器坐标系标定方法
CN107081755A (zh) * 2017-01-25 2017-08-22 上海电气集团股份有限公司 一种机器人单目视觉引导***的自动标定装置
CN108324373B (zh) * 2018-03-19 2020-11-27 南开大学 一种基于电磁定位***的穿刺手术机器人精确定位实现方法

Also Published As

Publication number Publication date
CN109974584A (zh) 2019-07-05

Similar Documents

Publication Publication Date Title
CN109974584B (zh) 一种辅助激光截骨手术机器人的标定***及标定方法
CN106705956B (zh) 工业机器人末端位姿快速测量装置及其测量方法
JP5606241B2 (ja) 人間型ロボットのための視覚認知システムおよび方法
CN111012506B (zh) 基于立体视觉的机器人辅助穿刺手术末端工具中心标定方法
CN112472297B (zh) 位姿监测***、方法、手术机器人***和存储介质
CN106393174B (zh) 一种利用球杆仪标定机器人结构参数的方法
CN111823233B (zh) 基于高精度立体光学定位的机械臂手眼标定***及方法
JP2015042437A (ja) ロボットシステム及びロボットシステムの校正方法
CN111781894A (zh) 利用机器视觉进行装配工具空间定位及姿态导航的方法
WO2015070010A1 (en) Calibration system and method for calibrating industrial robot
CN113681559B (zh) 一种基于标准圆柱的线激光扫描机器人手眼标定方法
CN109009438A (zh) 柔性无创定位装置及其在术中手术路径规划的应用及***
CN112932667A (zh) 一种三维图像专用定位标尺、手术导航***及其定位方法
US11577400B2 (en) Method and apparatus for managing robot system
CN112958960A (zh) 一种基于光学靶标的机器人手眼标定装置
CN108942927A (zh) 一种基于机器视觉的像素坐标与机械臂坐标统一的方法
CN114905548A (zh) 一种双臂机器人基坐标系标定方法及其装置
CN114224489A (zh) 用于手术机器人的轨迹跟踪***及利用该***的跟踪方法
CN112762822B (zh) 一种基于激光跟踪仪的机械臂校准方法及***
CN110279470A (zh) 动态调节装置、动态调节***及其使用方法
CN115493486A (zh) 机器人工具坐标系的标定方法、装置、设备及介质
CN116852359A (zh) 一种基于机器人手持示教装置的tcp快速标定的装置及方法
CN214323368U (zh) 进料转盘机械臂上下样的视觉定位及手眼标定装置
CN112603544B (zh) 一种机械臂末端执行器校准***及方法
CN114668460A (zh) 穿刺针空间位姿统一方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231017

Address after: Room 504, 5th Floor, Building A, No. 777 Shunfeng Road, High tech Zone, Jinan City, Shandong Province, 250101

Patentee after: Shandong Shanda Science and Technology Park Development Co.,Ltd.

Address before: 250061, No. ten, No. 17923, Lixia District, Ji'nan City, Shandong Province

Patentee before: SHANDONG University