CN114515193A - 并联机器人、***、装置及存储介质 - Google Patents

并联机器人、***、装置及存储介质 Download PDF

Info

Publication number
CN114515193A
CN114515193A CN202210113699.7A CN202210113699A CN114515193A CN 114515193 A CN114515193 A CN 114515193A CN 202210113699 A CN202210113699 A CN 202210113699A CN 114515193 A CN114515193 A CN 114515193A
Authority
CN
China
Prior art keywords
target
puncture
point
initial
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210113699.7A
Other languages
English (en)
Inventor
何超
其他发明人请求不公开姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shuhang Robot Co ltd
Original Assignee
Shanghai Shuhang Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Shuhang Robot Co ltd filed Critical Shanghai Shuhang Robot Co ltd
Priority to CN202210113699.7A priority Critical patent/CN114515193A/zh
Publication of CN114515193A publication Critical patent/CN114515193A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34Trocars; Puncturing needles
    • A61B17/3403Needle locating or guiding means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J18/00Arms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/003Programme-controlled manipulators having parallel kinematics
    • B25J9/0045Programme-controlled manipulators having parallel kinematics with kinematics chains having a rotary joint at the base
    • B25J9/0048Programme-controlled manipulators having parallel kinematics with kinematics chains having a rotary joint at the base with kinematics chains of the type rotary-rotary-rotary
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/161Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34Trocars; Puncturing needles
    • A61B17/3403Needle locating or guiding means
    • A61B2017/3405Needle locating or guiding means using mechanical guide means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B2034/302Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B2034/305Details of wrist mechanisms at distal ends of robotic arms

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Robotics (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一种并联机器人、***、装置及存储介质,其中并联机器人包括:末端执行器及移动平面平行的第一平面移动机构、第二平面移动机构;所述第一平面移动机构、所述第二平面移动机构均具有至少两个平面移动的自由度;所述第一平面移动机构的移动远端与所述末端执行器的第一旋转运动副结构连接;所述第二平面移动机构的移动远端与所述末端执行器的第二旋转运动副结构连接;其中,通过控制所述第一平面移动机构协同所述第二平面移动机构动作,改变所述末端执行器的位姿。本申请减小机器人体积的同时,提高机器人的刚度及定位精度。

Description

并联机器人、***、装置及存储介质
技术领域
本发明涉及机器人技术领域,特别是涉及一种并联机器人、***、装置及存储介质。
背景技术
机器人因其学习曲线短且学习时间短、能够承受射线辐射、动作执行延迟时间短及准确性高等诸多优点,被广泛应用于工业、医学、农业、服务业、建筑业及军事等领域中。
然而,传统的用于医疗操作的机器人一般采用直角坐标系或多自由度旋转手臂,机器人的体积较大,限制临床医生的操作空间,刚度弱且定位精度低。
发明内容
基于此,有必要针对传统的机器人体积大、刚度弱且定位精度低的技术问题,提供一种并联机器人、***、装置及存储介质,减小机器人体积的同时,提高机器人的刚度及定位精度。
为了实现上述目的及其他目的,本申请实施例的一方面提供了一种并联机器人,包括末端执行器及移动平面平行的第一平面移动机构、第二平面移动机构;所述第一平面移动机构、所述第二平面移动机构均具有至少两个平面移动的自由度;所述第一平面移动机构的移动远端与所述末端执行器的第一旋转运动副结构连接;所述第二平面移动机构的移动远端与所述末端执行器的第二旋转运动副结构连接;其中,通过控制所述第一平面移动机构协同所述第二平面移动机构动作,改变所述末端执行器的位姿。
于上述实施例中的并联机器人中,通过设置移动平面平行的第一平面移动机构、第二平面移动机构均具有至少两个平面移动的自由度,所述第一平面移动机构的移动远端与所述末端执行器的第一旋转运动副结构连接,可以通过控制第一平面移动机构带动第一旋转运动副结构在第一平面移动机的移动平面内移动;所述第二平面移动机构的移动远端与所述末端执行器的第二旋转运动副结构连接,可以通过控制第二平面移动机构带动第二旋转运动副结构在第二平面移动机的移动平面内移动;实现通过控制所述第一平面移动机构协同所述第二平面移动机构动作,改变所述末端执行器的位姿,实现对末端执行器承载物件的精准定位。由于第一平面移动机构、第二平面移动机构并行独立控制,相对于包括串联多个自由度的移动机构的串联机器人,本申请有效地提高了机器人的刚度并减小了机器人的体积。由于利用移动平面平行的第一平面移动机构、第二平面移动机构协同动作,相对于传统的多轴联动以对末端执行器承载物件进行定位的技术,避免了多轴传动引入的***误差或结构误差等误差,有效地提高了并联机器人的定位精度。
在一些实施例中,所述第一平面移动机构包括经由第一五连杆机构连接的第一驱动装置、第二驱动装置;所述第二平面移动机构包括经由第二五连杆机构连接的第三驱动装置、第四驱动装置;其中,所述第一驱动装置、所述第二驱动装置、所述第三驱动装置及所述第四驱动装置均设置于机架,使得第一平面移动机构的移动平面、第二平面移动机构的移动平面在平行于所述移动平面的一平面上的正投影的重叠面积尽可能大,在确保末端执行器的移动空间足够大的前提下,有效地减小了机器人的体积。
在一些实施例中,所述并联机器人还包括持针器,持针器设置于所述末端执行器远离所述第一平面移动机构、所述第二平面移动机构的表面,用于固定穿刺针;其中,通过控制所述第一平面移动机构协同所述第二平面移动机构动作,改变所述穿刺针的位置和延伸方向,以控制穿刺针对病灶进行精准穿刺。
在一些实施例中,所述并联机器人还包括第一电机、第二电机、第三电机、第四电机及控制器,所述第一驱动装置经由所述第一电机与所述第一五连杆机构连接;所述第二驱动装置经由所述第二电机与所述第一五连杆机构连接;所述第三驱动装置经由所述第三电机与所述第二五连杆机构连接;所述第四驱动装置经由所述第四电机与所述第二五连杆机构连接;控制器与所述第一驱动装置、所述第二驱动装置、所述第三驱动装置及所述第四驱动装置均连接,被配置为:获取目标位姿控制命令,所述目标位姿控制命令用于指示所述穿刺针的目标位置和目标方向;根据第一预设算法解析所述目标位姿控制命令,得到第一角度驱动命令、第二角度驱动命令、第三角度驱动命令及第四角度驱动命令,使得所述第一驱动装置基于所述第一角度驱动命令驱动所述第一电机旋转第一角度,所述第二驱动装置基于所述第二角度驱动命令驱动所述第二电机旋转第二角度,所述第三驱动装置基于所述第三角度驱动命令驱动所述第三电机旋转第三角度,所述第四驱动装置基于所述第四角度驱动命令驱动所述第四电机旋转第四角度,以带动所述末端穿刺针移动至所述目标位置和所述目标方向,实现控制穿刺针对病灶进行精准穿刺,避免产生人工操作学习曲线及时间长、容易误操作且严重依赖于操作者的经验与能力的问题。
本申请实施例的第二方面提供了一种并联机器人***,包括任一本申请实施例中所述的并联机器人及控制处理装置,所述末端执行器的外表面设置有若干个第一预设材质的定位标记物;控制处理装置与所述并联机器人通信互联,被配置为:接收目标对象及临近所述目标对象设置的所述定位标记物的医学影像;根据所述医学影像重建所述目标对象的三维模型;根据所述三维模型对病灶、所述定位标记物及其他组织进行识别;根据识别出来的病灶确定所述末端执行器的初始目标位姿;根据所述初始目标位姿、图像识别坐标系与所述并联机器人的基坐标系的变换关系计算所述末端执行器在所述基坐标系的目标位姿;根据所述目标位姿生成所述目标位姿控制命令。
于上述实施例中的并联机器人***中,通过接收目标对象及临近所述目标对象设置的所述定位标记物的医学影像,根据所述医学影像重建所述目标对象的三维模型,根据所述三维模型对病灶、所述定位标记物及其他组织进行识别,以根据识别出来的病灶确定所述末端执行器的初始目标位姿,在根据所述初始目标位姿、图像识别坐标系与并联机器人的基坐标系的变换关系计算出所述末端执行器在所述基坐标系的目标位姿之后,根据所述目标位姿生成目标位姿控制命令,以控制并联机器人动作并带动其末端执行器移动至目标位姿控制命令指示的目标位姿。
在一些实施例中,所述并联机器人***还包括设置于所述末端执行器的持针器,所述持针器用于固定穿刺针;所述控制处理装置还被配置为:获取初始穿刺入针点,并根据识别出来的病灶确定初始穿刺目标点;根据所述初始穿刺入针点及所述变换关系计算所述基坐标系的穿刺入针点,根据所述初始穿刺目标点及所述变换关系计算所述基坐标系的穿刺目标点;根据所述穿刺入针点及所述穿刺目标点生成所述目标位姿控制命令,以控制所述穿刺针移动至目标位置和目标方向。
于上述实施例中的并联机器人***中,通过在并联机器人***的末端执行器上设置用于固定穿刺针的持针器,并配置控制处理装置:获取初始穿刺入针点,并根据识别出来的病灶确定初始穿刺目标点;根据所述初始穿刺入针点及图像识别坐标系与并联机器人的基坐标系的变换关系计算基坐标系的穿刺入针点,根据所述初始穿刺目标点及所述变换关系计算所述基坐标系的穿刺目标点;以根据所述穿刺入针点及所述穿刺目标点生成目标位姿控制命令,以控制所述穿刺针移动至目标位姿控制命令指示的目标位置和目标方向,实现精准穿刺操作,避免产生人工操作学习曲线及时间长、容易误操作且严重依赖于操作者的经验与能力的问题。
在一些实施例中,所述其他组织包括血管和/或骨骼;所述控制处理装置还被配置为:在确定所述初始穿刺目标点之后及计算所述穿刺入针点、所述穿刺目标点之前,判断经由所述初始穿刺入针点及所述初始穿刺目标点的初始穿刺路径是否穿过血管和/或骨骼;若没有穿过,则计算所述穿刺入针点、所述穿刺目标点;反之,重新获取初始穿刺入针点。本实施例能够有效地避免确定的初始穿刺路径穿过血管和/或骨骼,从而能够有效地减少穿刺针对目标对象造成的损伤。
在一些实施例中,所述变换关系包括旋转矩阵R和平移矩阵T;计算所述变换关系的步骤包括:确定识别出的定位标记物的中心点在图像识别坐标系的第一坐标;根据所述第一坐标及预先获取的所述中心点在所述基坐标系的第二坐标,通过刚体配准计算所述旋转矩阵R和所述平移矩阵T,以通过旋转矩阵R和平移矩阵T建立起初始穿刺入针点与并联机器人的穿刺入针点、初始穿刺目标点与并联机器人的穿刺目标点的对应关系,从而控制并联机器人动作并带动其末端执行器精准移动以精准定位/操作。
在一些实施例中,根据如下公式计算所述穿刺入针点PinRobot、所述穿刺目标点PdRobot:PinRobot=R*PinImage+T;PdRobot=R*PdImage+T;其中,PinImage为在所述图像识别坐标系的初始穿刺入针点,PdImage为根据识别出来的病灶确定的初始穿刺目标点。以将图像识别坐标系中的初始穿刺入针点PinImage、初始穿刺目标点PdImage分别转化至并联机器人的基坐标系的穿刺入针点PinRobot、穿刺目标点PdRobot,以实现根据图像识别结果智能控制并联机器人动作并带动其末端执行器精准移动以精准定位/操作。
在一些实施例中,所述判断经由所述初始穿刺入针点及所述初始穿刺目标点的初始穿刺路径是否穿过血管和/或骨骼的步骤,包括:对直线型初始穿刺路径进行模拟碰撞检测,判断所述直线型初始穿刺路径是否穿过血管和/或骨骼。通过模拟碰撞检测避免确定的初始穿刺路径穿过血管和/或骨骼,从而能够有效地减少穿刺针对目标对象造成的损伤,提高并联机器人***工作的智能性与安全性。
在一些实施例中,所述根据所述三维模型对病灶、所述定位标记物及其他组织进行识别,包括如下步骤中至少一种:通过区域生长法从所述三维模型中分割出病灶;通过阈值分割法从所述三维模型中分割出定位标记物;通过图像交互法从所述三维模型中分割出其他组织。本实施例能够有效地识别出根据目标对象的医学影像重建的三维模型中的病灶、定位标记物及其他组织中至少一种,以便于控制并联机器人对目标对象实现智能精准治疗,提高医疗操作的智能性,避免产生人工操作学习曲线及时间长、容易误操作且严重依赖于操作者的经验与能力的问题。
在一些实施例中,所述并联机器人***还包括第二预设材质的床板,第二预设材质的床板用于承载所述目标对象及固定所述并联机器人,便于将床板固定于成像设备的扫描床面,实现床板与扫描床共同移动,同时获取包括目标对象及固定于床板的并联机器人与定位标记物的医学影像,以便于后续进行图像识别及根据图像识别结果控制并联机器人动作并带动其末端执行器精准移动以精准定位/操作。
本申请实施例的第三方面提供了一种控制处理装置,包括图像处理单元及路径规划单元,图像处理单元用于接收目标对象及临近所述目标对象设置的定位标记物的医学影像,根据所述医学影像重建所述目标对象的三维模型,及根据所述三维模型对病灶、所述定位标记物及其他组织进行识别;路径规划单元用于根据识别出来的病灶确定设置于机器人末端的末端执行器的初始目标位姿,根据所述初始目标位姿、图像识别坐标系与所述机器人的基坐标系的变换关系计算所述末端执行器在所述基坐标系的目标位姿,及根据所述目标位姿生成所述目标位姿控制命令。
于上述实施例中的控制处理装置中,通过设置图像处理单元接收目标对象及临近所述目标对象设置的定位标记物的医学影像,根据所述医学影像重建所述目标对象的三维模型,及根据所述三维模型对病灶、所述定位标记物及其他组织进行识别;并设置路径规划单元根据识别出来的病灶确定设置于机器人末端的末端执行器的初始目标位姿,根据所述初始目标位姿、图像识别坐标系与所述机器人的基坐标系的变换关系计算所述末端执行器在所述基坐标系的目标位姿,及根据所述目标位姿生成所述目标位姿控制命令,以控制机器人动作并带动其末端执行器移动至目标位姿控制命令指示的目标位姿,以实现精准定位/操作。
在一些实施例中,所述控制处理装置用于控制穿刺针移动至目标位置和目标方向;所述路径规划单元还用于获取初始穿刺入针点,并根据识别出来的病灶确定初始穿刺目标点;所述装置还包括定位装置,定位装置用于根据所述初始穿刺入针点及所述变换关系计算所述基坐标系的穿刺入针点,根据所述初始穿刺目标点及所述变换关系计算所述基坐标系的穿刺目标点;及根据所述穿刺入针点及所述穿刺目标点生成所述目标位姿控制命令,以控制所述穿刺针移动至目标位置和目标方向。
于上述实施例中的控制处理装置中,通过设置定位装置根据初始穿刺入针点及图像识别坐标系与并联机器人的基坐标系的变换关系计算基坐标系的穿刺入针点,根据所述初始穿刺目标点及所述变换关系计算所述基坐标系的穿刺目标点;及根据所述穿刺入针点及所述穿刺目标点生成所述目标位姿控制命令,以控制所述穿刺针移动至目标位置和目标方向,实现精准穿刺操作,避免产生人工操作学习曲线及时间长、容易误操作且严重依赖于操作者的经验与能力的问题。
在一些实施例中,所述其他组织包括血管和/或骨骼;所述路径规划单元还用于:在确定所述初始穿刺目标点之后及计算所述穿刺入针点、所述穿刺目标点之前,判断经由所述初始穿刺入针点及所述初始穿刺目标点的初始穿刺路径是否穿过血管和/或骨骼;若没有穿过,则计算所述穿刺入针点、所述穿刺目标点;反之,重新获取初始穿刺入针点。本实施例能够有效地避免确定的初始穿刺路径穿过血管和/或骨骼,从而能够有效地减少穿刺针对目标对象造成的损伤。
在一些实施例中,所述图像处理单元还用于执行如下步骤中至少一种:通过区域生长法从所述三维模型中分割出病灶;通过阈值分割法从所述三维模型中分割出定位标记物;通过图像交互法从所述三维模型中分割出其他组织。本实施例能够有效地识别出根据目标对象的医学影像重建的三维模型中的病灶、定位标记物及其他组织中至少一种,以便于控制并联机器人对目标对象实现智能精准治疗,提高医疗操作的智能性,避免产生人工操作学习曲线及时间长、容易误操作且严重依赖于操作者的经验与能力的问题。
本申请实施例的第四方面提供了一种运动检测装置,包括若干个传感器及位置跟踪设备,传感器用于设置于目标对象的检测位置,以检测所述检测位置的位置数据;位置跟踪设备与所述传感器连接,用于根据接收的所述位置数据跟踪所述检测位置的位置变化,并根据所述位置变化生成动作提示信息,以指示向目标对象执行预设动作,避免产生因目标对象的检测位置移动导致操作者定位或操作不准确/失败。相对于传统的利用呼吸门控设备辅助穿刺操作,本申请无需额外的辅助设备且能够有效地解决目标对象呼吸引起的病灶移位影像。
在一些实施例中,所述位置跟踪设备被配置为:将所述位置数据的时间序列进行滤波及/或放大处理后,得到预处理位置数据;将所述预处理位置数据进行拟合处理,得到检测位置变化曲线;获取所述检测位置变化曲线上预设时间的变化量;若所述变化量小于或等于预设位移阈值,则生成所述动作提示信息,提示操作者执行预设的操作,避免产生因目标对象的检测位置移动导致操作者定位或操作不准确/失败,提高操作的智能性、安全性。
在一些实施例中,所述预设动作包括穿刺动作;所述检测位置位于如下区域中至少一个:所述目标对象的右肺上叶的正上方的皮肤区域;所述目标对象的右肺下叶的正上方的皮肤区域;所述目标对象的左肺中间的正上方的皮肤区域;所述位置跟踪设备还被配置为:根据所述位置变化生成动作提示信息,以指示向所述目标对象的肺部执行穿刺动作。本实施例实现对目标对象肺部移动情况的准确检测,并在目标对象屏气期间进行穿刺动作,避免产生因目标对象的肺部呼吸移动导致操作者定位或操作不准确/失败,提高穿刺手术的智能性、安全性。
本申请实施例的第五方面提供了一种医学***,包括机器人、成像设备及控制处理装置,所述机器人的末端执行器上设置有若干个第一预设材质的定位标记物;成像设备用于对目标对象及临近所述目标对象设置的所述定位标记物进行扫描成像以获取医学影像;控制处理装置与所述成像设备及所述机器人均通信互联,被配置为:接收目标对象及临近所述目标对象设置的所述定位标记物的医学影像;根据所述医学影像重建所述目标对象的三维模型;根据所述三维模型对病灶、所述定位标记物及其他组织进行识别;根据识别出来的病灶确定所述末端执行器的初始目标位姿;根据所述初始目标位姿、图像识别坐标系与所述机器人的基坐标系的变换关系计算所述末端执行器在所述基坐标系的目标位姿;根据所述目标位姿生成目标位姿控制命令,以控制机器人动作并带动所述末端执行器移动至所述目标位姿控制命令指示的目标位姿。
于上述实施例中的医学***中,通过设置成像设备获取包括目标对象及临近所述目标对象设置的定位标记物,且定位标记物设置于机器人的末端执行器上;并配置控制处理装置接收目标对象及临近所述目标对象设置的所述定位标记物的医学影像,根据所述医学影像重建所述目标对象的三维模型,根据所述三维模型对病灶、所述定位标记物及其他组织进行识别,根据识别出来的病灶确定所述末端执行器的初始目标位姿,以根据所述初始目标位姿、图像识别坐标系与所述机器人的基坐标系的变换关系计算所述末端执行器在所述基坐标系的目标位姿,及根据所述目标位姿生成目标位姿控制命令,以实现根据成像设备获取的医学影像智能控制机器人动作并带动所述末端执行器移动至所述目标位姿控制命令指示的目标位姿。相对于传统的利用电磁导航或光学导航进行医学操作导航,需要比较繁琐和复杂的空间变换及注册等操作,本实施例简单方便,实施成本低,占地空间小,且避免人工参与带来的确定因素。
在一些实施例中,所述医学***还包括设置于所述末端执行器的持针器,所述持针器用于固定穿刺针;所述控制处理装置还被配置为:获取初始穿刺入针点,并根据识别出来的病灶确定初始穿刺目标点;根据所述初始穿刺入针点及所述变换关系计算所述基坐标系的穿刺入针点,根据所述初始穿刺目标点及所述变换关系计算所述基坐标系的穿刺目标点;根据所述穿刺入针点及所述穿刺目标点生成所述目标位姿控制命令,以控制机器人动作并带动所述穿刺针移动至所述目标位姿控制命令指示的目标位置和目标方向,实现精准穿刺操作,避免产生人工穿刺学习曲线及时间长、容易误操作且严重依赖于操作者的经验与能力的问题。相对于传统的利用电磁导航或光学导航进行穿刺导航,需要比较繁琐和复杂的空间变换及注册等操作,本实施例简单方便,实施成本低,占地空间小,且避免人工参与带来的确定因素。
在一些实施例中,所述成像设备包括正电子发射断层扫描设备、计算机断层扫描设备、磁共振设备、X射线设备、超声图像设备以及多模态融合成像设备中的至少一种。
本申请实施例的第六方面提供了一种医学***,包括:成像设备、控制处理装置、机器人及任一本申请实施例中所述的运动检测装置,所述的控制处理装置与所述成像设备、所述运动检测装置及所述机器人均通信互联,被配置为:接收目标对象及临近所述目标对象设置的所述定位标记物的医学影像;根据所述医学影像重建所述目标对象的三维模型;根据所述三维模型对病灶、所述定位标记物及其他组织进行识别;根据识别出来的病灶确定所述末端执行器的初始目标位姿;根据所述初始目标位姿、图像识别坐标系与所述机器人的基坐标系的变换关系计算所述末端执行器在所述基坐标系的目标位姿;根据所述目标位姿生成目标位姿控制命令;根据所述目标位姿控制命令、所述动作提示信息控制所述机器人动作,并带动所述末端执行器移动至所述目标位姿控制命令指示的目标位姿。
本申请实施例的第七方面提供了一种存储介质,其上存储有计算机程序;所述计算机程序被处理器执行时执行如下步骤:接收目标对象及临近所述目标对象设置的定位标记物的医学影像;根据所述医学影像重建所述目标对象的三维模型;根据所述三维模型对病灶、所述定位标记物及其他组织进行识别;根据识别出来的病灶确定机器人的末端执行器的初始目标位姿;根据所述初始目标位姿、图像识别坐标系与所述机器人的基坐标系的变换关系计算所述末端执行器在所述基坐标系的目标位姿;根据所述目标位姿生成目标位姿控制命令,以控制机器人带动末端执行器移动至所述目标位姿控制命令指示的目标位姿,实现根据图像识别结果智能控制机器人精准定位/操作。
附图说明
为了更清楚地说明本公开实施例技术中的技术方案,下面将对实施例技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一实施例中的并联机器人的结构示意图;
图2为图1所示实施例中第一五连杆机构的等效示意图;
图3为一实施例中末端执行器的结构示意图;
图4为一实施例中并联机器人的控制电路的原理示意图;
图5为一实施例中并联机器人***的结构示意图;
图6为一实施例中初始穿刺路径确认的原理示意图;
图7为一实施例中图像识别坐标系与并联机器人的基坐标系的转换原理示意图;
图8为一实施例中床板的结构示意图;
图9为一实施例中控制处理装置的结构示意图;
图10为另一实施例中控制处理装置的结构示意图;
图11为一实施例中运动检测装置的结构示意图;
图12-图13为一实施例中运动检测装置的应用场景示意图;
图14为一实施例中医学***的结构示意图;
图15为一实施例中医学***的应用场景示意图。
附图标记说明:
401、第一平面移动机构;402、第二平面移动机构;403、末端执行器;404、穿刺针轴线;405、第一平面交点;406、第二平面交点;407、第一旋转运动副结构;408、第二旋转运动副结构;409、持针器;4010、定位标记物;4011、第一驱动装置;4012、第二驱动装置;4013、第一五连杆机构;4023、第二五连杆机构;4021、第三驱动装置;4022、第四驱动装置;4031、第一电机;4032、第二电机;4033、第三电机;4034、第四电机;4035、控制器;4014、第一移动平面;4024、第二移动平面;100、机器人;101、并联机器人;102、控制处理装置;103、运动检测装置;200、成像设备;601、位置跟踪设备;104、支撑臂;105、床板;106、CT床;602、第一传感器;603、第二传感器;604、第三传感器;1074、初始穿刺入针点;1075、初始穿刺目标点;1076、直线型初始穿刺路径;1、第一定位标记球;2、第二定位标记球;3、第三定位标记球;4、第四定位标记球;211、图像处理单元;212、路径规划单元;213、定位装置。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
为了便于理解本申请,下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的首选实施例。但是,本申请可以以许多不同的形式来实现,并不限于本文所描述的实施例。相反地,提供这些实施例的目的是使对本申请的公开内容更加透彻全面。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
在使用本文中描述的“包括”、“具有”、和“包含”的情况下,除非使用了明确的限定用语,例如“仅”、“由……组成”等,否则还可以添加另一部件。除非相反地提及,否则单数形式的术语可以包括复数形式,并不能理解为其数量为一个。
应当理解,尽管本文可以使用术语“第一”、“第二”等来描述各种元件,但是这些元件不应受这些术语的限制。这些术语仅用于将一个元件和另一个元件区分开。例如,在不脱离本申请的范围的情况下,第一元件可以被称为第二元件,并且类似地,第二元件可以被称为第一元件。
在本申请中,除非另有明确的规定和限定,术语“相连”、“连接”等术语应做广义理解,例如,可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本申请中的具体含义。
请注意,本申请中涉及的机器人包括包含处理器以及由处理器向驱动电机施加控制信息,以对手术器械进行控制操作的终端设备。
请参考图1,本申请一实施例中提供了一种并联机器人101,包括末端执行器403及移动平面平行的第一平面移动机构401、第二平面移动机构402;第一平面移动机构401、第二平面移动机构402均具有至少两个平面移动的自由度;第一平面移动机构401的移动远端与末端执行器403的第一旋转运动副结构407连接;第二平面移动机构402的移动远端与末端执行器403的第二旋转运动副结构408连接;其中,通过控制第一平面移动机构401协同第二平面移动机构402动作,改变末端执行器403的位姿。
作为示例,请继续参考图1,可以设置第一平面移动机构401的移动平面为第一移动平面4014,设置第二平面移动机构402的移动平面为第二移动平面4024,第一移动平面4014与第二移动平面4024互相平行;第一平面移动机构401、第二平面移动机构402均具有至少两个平面移动的自由度,第一平面移动机构401的移动远端与末端执行器403的第一旋转运动副结构407连接,可以通过控制第一平面移动机构401带动第一旋转运动副结构407在第一移动平面4014内移动;第二平面移动机构402的移动远端与末端执行器403的第二旋转运动副结构408连接,可以通过控制第二平面移动机构402带动第二旋转运动副结构408在第二移动平面4024内移动;实现通过控制第一平面移动机构401协同第二平面移动机构402动作,改变末端执行器403的位姿,实现对末端执行器403承载物件的精准定位。由于第一平面移动机构401、第二平面移动机构402并行独立控制,相对于包括串联多个自由度的移动机构的串联机器人,本申请有效地提高了机器人的刚度并减小了机器人的体积。由于利用移动平面平行的第一平面移动机构401、第二平面移动机构402协同动作,相对于传统的串联机器人利用多轴联动以对末端执行器403承载物件进行定位的技术,避免了多轴传动引入的***误差或结构误差等误差,有效地提高了并联机器人101的定位精度;并且并联机器人相对于串联机器人具有较强的结构刚度。
作为示例,请继续参考图1,第一旋转运动副结构407、第二旋转运动副结构408、第一平面移动机构401及第二平面移动机构402均位于末端执行器403的同侧,以进一步有效地减小机器人的体积。
作为示例,请继续参考图1,第一平面移动机构401的移动远端a与末端执行器403的第一旋转运动副结构407铰接;第二平面移动机构402的移动远端b与末端执行器403的第二旋转运动副结构408铰接,以确保第一平面移动机构401、第二平面移动机构402在各自移动平面内的自由度。
作为示例,请继续参考图1,第一平面移动机构401包括经由第一五连杆机构连接的第一驱动装置4011、第二驱动装置4012;第二平面移动机构402包括经由第二五连杆机构连接的第三驱动装置4021、第四驱动装置4022;其中,第一驱动装置4011、第二驱动装置4012、第三驱动装置4021及第四驱动装置4022均设置于机架,使得第一平面移动机构401的移动平面、第二平面移动机构402的移动平面在平行于移动平面的一平面上的正投影的重叠面积尽可能大,在确保末端执行器403的移动空间足够大的前提下,有效地减小了机器人的体积。
作为示例,请参考图2,以图1中的第一平面移动机构的第一五连杆机构4013为例来示例性说明本申请中五连杆机构的实现原理。第一五连杆机构包括首尾依次连接的连杆L1、连杆L2、连杆L3、连杆L4及连杆L5,其中,第一驱动装置4011设置于连杆L1与连杆L3之间,第二驱动装置4012设置于连杆L1与连杆L2之间,第一旋转运动副结构407设置于连杆L4与连杆L5之间。
作为示例,请参考图3,并联机器人还包括持针器409,持针器409设置于末端执行器403远离第一平面移动机构401、第二平面移动机构402的表面,用于固定穿刺针(未图示);其中,通过控制第一平面移动机构401协同第二平面移动机构402动作,改变穿刺针的位置和延伸方向,以控制穿刺针对病灶进行精准穿刺。穿刺针可以具有多种不同长度规格,例如,穿刺针一般可以有90mm、100mm、150mm、200mm等不同长度的规格。医生或操作人员可以根据目标对象穿刺位置的穿刺需求选择相应长度的穿刺针。
具体地,请继续参考图1,持针器的穿刺针轴线404与第一移动平面4014的交点为第一平面交点405,穿刺针轴线404与第二移动平面4024的交点为第二平面交点406,第一驱动装置4011与第二驱动装置4012驱动第一五连杆机构4013带动第一平面交点405在第一移动平面4014内移动,第三驱动装置4021与第四驱动装置4022驱动第二五连杆机构4023带动第二平面交点406在第二移动平面4024内移动。实现通过控制第一平面移动机构401协同第二平面移动机构402动作,改变穿刺针的位置和延伸方向,以控制穿刺针对病灶进行精准穿刺。以并联机器人应用于肺结穿刺手术为例,并联机器人采用上下两个平面五连杆机构,每个平面五连杆机构各具有两个自由度的平面移动,两个平面五连杆机构通过四个电机实现四个自由度的空间运动,覆盖左右肺部,设备小巧,易于安装拆卸。
作为示例,请参考图4,并联机器人还包括第一电机4031、第二电机4032、第三电机4033、第四电机4034及控制器4035,第一驱动装置4011经由第一电机4031与第一五连杆机构连接;第二驱动装置4012经由第二电机4032与第一五连杆机构连接;第三驱动装置4021经由第三电机4033与第二五连杆机构连接;第四驱动装置4022经由第四电机4034与第二五连杆机构连接;控制器4035与第一驱动装置4011、第二驱动装置4012、第三驱动装置4021及第四驱动装置4022均连接,被配置为:获取目标位姿控制命令,目标位姿控制命令用于指示穿刺针的目标位置和目标方向;根据第一预设算法例如机器人逆运动学算法解析目标位姿控制命令,得到第一角度驱动命令、第二角度驱动命令、第三角度驱动命令及第四角度驱动命令,使得第一驱动装置4011基于第一角度驱动命令驱动第一电机4031旋转第一角度,第二驱动装置4012基于第二角度驱动命令驱动第二电机4032旋转第二角度,第三驱动装置4021基于第三角度驱动命令驱动第三电机4033旋转第三角度,第四驱动装置4022基于第四角度驱动命令驱动第四电机4034旋转第四角度,以带动末端穿刺针移动至目标位置和目标方向,实现控制穿刺针对病灶进行精准穿刺,避免产生人工操作学习曲线及时间长、容易误操作且严重依赖于操作者的经验与能力的问题。
作为示例,可以将并联机器人的电机放置于底座后端,并设置并联机器人前端连杆和末端执行器均采用非金属材质,以减少CT影像的伪影。
请参考图1-图5,本申请的一实施例中提供了一种并联机器人***,包括任一本申请实施例中的并联机器人101及控制处理装置102,并联机器人101的末端执行器403的外表面设置有若干个第一预设材质的定位标记物4010;控制处理装置102与并联机器人101通信互联,被配置为:接收目标对象及临近目标对象设置的定位标记物4010的医学影像;根据医学影像重建目标对象的三维模型;根据三维模型对病灶、定位标记物4010及其他组织进行识别;根据识别出来的病灶确定末端执行器403的初始目标位姿;根据初始目标位姿、图像识别坐标系与并联机器人101的基坐标系的变换关系计算末端执行器403在基坐标系的目标位姿;根据目标位姿生成目标位姿控制命令。
请继续参考图5,通过接收目标对象及临近目标对象设置的定位标记物4010的医学影像,根据医学影像重建目标对象的三维模型,根据三维模型对病灶、定位标记物4010及其他组织进行识别,以根据识别出来的病灶确定末端执行器403的初始目标位姿,在根据初始目标位姿、图像识别坐标系与并联机器人101的基坐标系的变换关系计算出末端执行器403在基坐标系的目标位姿之后,根据目标位姿生成目标位姿控制命令,以控制并联机器人101动作并带动其末端执行器403移动至目标位姿控制命令指示的目标位姿。
请继续参考图1-图5,并联机器人***还包括设置于末端执行器403的持针器409,持针器409用于固定穿刺针;控制处理装置102还被配置为:获取初始穿刺入针点,并根据识别出来的病灶确定初始穿刺目标点;根据初始穿刺入针点及图像识别坐标系与并联机器人的基坐标系的变换关系计算基坐标系的穿刺入针点,根据初始穿刺目标点及变换关系计算基坐标系的穿刺目标点;以根据穿刺入针点及穿刺目标点生成目标位姿控制命令,以控制穿刺针移动至目标位姿控制命令指示的目标位置和目标方向。不需要电磁导航或者光学导航用于配准,直接使用影像定位,实现精准穿刺操作,避免产生人工操作学习曲线及时间长、容易误操作且严重依赖于操作者的经验与能力的问题。
请继续参考图1-图5,可以设置其他组织包括血管和/或骨骼;控制处理装置102还被配置为:在确定初始穿刺目标点之后及计算穿刺入针点、穿刺目标点之前,判断经由初始穿刺入针点及初始穿刺目标点的初始穿刺路径是否穿过血管和/或骨骼;若没有穿过,则计算穿刺入针点、穿刺目标点;反之,重新获取初始穿刺入针点。本实施例能够有效地避免确定的初始穿刺路径穿过血管和/或骨骼,从而能够有效地减少穿刺针对目标对象造成的损伤。
作为示例,根据三维模型对病灶、定位标记物及其他组织进行识别,包括如下步骤中至少一种:通过区域生长法从三维模型中分割出病灶;通过阈值分割法从三维模型中分割出定位标记物;通过图像交互法从三维模型中分割出其他组织。本实施例能够有效地识别出根据目标对象的医学影像重建的三维模型中的病灶、定位标记物及其他组织中至少一种,以便于控制并联机器人对目标对象实现智能精准治疗,提高医疗操作的智能性,避免产生人工操作学习曲线及时间长、容易误操作且严重依赖于操作者的经验与能力的问题。
作为示例,请参考图6,判断经由初始穿刺入针点1074及初始穿刺目标点1075的初始穿刺路径是否穿过血管和/或骨骼的步骤,包括:对直线型初始穿刺路径1076进行模拟碰撞检测,判断直线型初始穿刺路径1076是否穿过血管和/或骨骼。通过模拟碰撞检测避免确定的初始穿刺路径穿过血管和/或骨骼,从而能够有效地减少穿刺针对目标对象造成的损伤,提高并联机器人***工作的智能性与安全性。
作为示例,请参考图7,变换关系包括旋转矩阵R和平移矩阵T;定位标记物包括第一定位标记球1、第二定位标记球2、第三定位标记球3及第四定位标记球4,计算变换关系的步骤包括:确定识别出的定位标记物的中心点在图像识别坐标系omn的第一坐标,可以计算第一定位标记球1、第二定位标记球2、第三定位标记球3及第四定位标记球4的中心点在图像识别坐标系omn的坐标的平均值并作为第一坐标;根据第一坐标及预先获取的中心点在并联机器人的基坐标系oxyz的第二坐标,可以计算第一定位标记球1、第二定位标记球2、第三定位标记球3及第四定位标记球4的中心点在并联机器人的基坐标系oxyz的坐标的平均值并作为第二坐标;通过刚体配准计算旋转矩阵R和平移矩阵T,以通过旋转矩阵R和平移矩阵T建立起初始穿刺入针点与并联机器人的穿刺入针点、初始穿刺目标点与并联机器人的穿刺目标点的对应关系,从而控制并联机器人101动作并带动其末端执行器403精准移动以精准定位/操作。
具体地,可以根据如下公式计算穿刺入针点PinRobot、穿刺目标点PdRobot:PinRobot=R*PinImage+T;PdRobot=R*PdImage+T;其中,PinImage为在图像识别坐标系的初始穿刺入针点,PdImage为根据识别出来的病灶确定的初始穿刺目标点。以将图像识别坐标系中的初始穿刺入针点PinImage、初始穿刺目标点PdImage分别转化至并联机器人的基坐标系的穿刺入针点PinRobot、穿刺目标点PdRobot,以实现根据图像识别结果智能控制并联机器人动作并带动其末端执行器精准移动以精准定位/操作。
作为示例,定位标记物的材质可以包括钛,在DICOM格式影像中的灰度值为6000HU-8000HU。例如,定位标记物可以为钛球,在DICOM格式影像中的灰度值为6000HU、7000HU或8000HU等。
作为示例,请参考图8,并联机器人***还包括第二预设材质的床板105,第二预设材质的床板105用于承载目标对象及固定并联机器人101,便于将床板105固定于成像设备的扫描床面,实现床板105与扫描床共同移动,同时获取包括目标对象及固定于床板105的并联机器人101与定位标记物的医学影像,以便于后续进行图像识别及根据图像识别结果控制并联机器人101动作并带动其末端执行器精准移动以精准定位/操作。在本申请的一实施例中,可以将床板固定在CT设备的CT床106上,以便于CT设备同时扫描目标对象及固定于床板105的并联机器人101与定位标记物,以获取包括目标对象及固定于床板105的并联机器人101与定位标记物的医学影像。
在一些实施例中,第二预设材质可以包括碳纤维、聚酯纤维或塑料等,在确保床板的结构强度的情况下,尽量减小床板的重量,以便于移动床板及床板上的目标对象。
作为示例,请参考图9,本申请的一实施例中提供了一种控制处理装置102,包括图像处理单元211及路径规划单元212,图像处理单元211用于接收目标对象及临近目标对象设置的定位标记物的医学影像,根据医学影像重建目标对象的三维模型,及根据三维模型对病灶、定位标记物及其他组织进行识别;路径规划单元212用于根据识别出来的病灶确定设置于机器人末端的末端执行器的初始目标位姿,根据初始目标位姿、图像识别坐标系与机器人的基坐标系的变换关系计算末端执行器4在基坐标系的目标位姿,及根据目标位姿生成目标位姿控制命令,以控制机器人动作并带动其末端执行器403移动至目标位姿控制命令指示的目标位姿,以实现精准定位/操作。
请继续参考图10,在一些实施例中,控制处理装置102用于控制穿刺针移动至目标位置和目标方向;路径规划单元212还用于获取初始穿刺入针点,并根据识别出来的病灶确定初始穿刺目标点;控制处理装置102还包括定位装置213,定位装置213用于根据初始穿刺入针点及变换关系计算基坐标系的穿刺入针点,根据初始穿刺目标点及变换关系计算基坐标系的穿刺目标点;及根据穿刺入针点及穿刺目标点生成目标位姿控制命令,以控制穿刺针移动至目标位置和目标方向。通过设置定位装置213根据初始穿刺入针点及图像识别坐标系与并联机器人的基坐标系的变换关系计算基坐标系的穿刺入针点,根据初始穿刺目标点及变换关系计算基坐标系的穿刺目标点;及根据穿刺入针点及穿刺目标点生成目标位姿控制命令,以控制穿刺针移动至目标位置和目标方向,实现精准穿刺操作,避免产生人工操作学习曲线及时间长、容易误操作且严重依赖于操作者的经验与能力的问题。
请继续参考图10,在一些实施例中,其他组织包括血管和/或骨骼;路径规划单元212还用于:在确定初始穿刺目标点之后及计算穿刺入针点、穿刺目标点之前,判断经由初始穿刺入针点及初始穿刺目标点的初始穿刺路径是否穿过血管和/或骨骼;若没有穿过,则计算穿刺入针点、穿刺目标点;反之,重新获取初始穿刺入针点。本实施例能够有效地避免确定的初始穿刺路径穿过血管和/或骨骼,从而能够有效地减少穿刺针对目标对象造成的损伤。
请继续参考图10,在一些实施例中,图像处理单元211还用于执行如下步骤中至少一种:通过区域生长法从三维模型中分割出病灶;通过阈值分割法从三维模型中分割出定位标记物4010;通过图像交互法从三维模型中分割出其他组织。本实施例能够有效地识别出根据目标对象的医学影像重建的三维模型中的病灶、定位标记物4010及其他组织中至少一种,以便于控制并联机器人101对目标对象实现智能精准治疗,提高医疗操作的智能性,避免产生人工操作学习曲线及时间长、容易误操作且严重依赖于操作者的经验与能力的问题。
具体地,可以设置图像处理单元211通过网络从影像归档和通信***(PictureArchiving and Communication Systems,PACS)***导入DICOM格式CT影像,并通过成像设备获取病人和并联机器人的末端执行器的CT影像,对DICOM格式影像进行解析,获取每幅影像的方向、位置、层厚、层间距、像素间距及像素值等信息中至少一种,进行水平位、矢状位、冠状位的重建后,使用体绘制方法重建出病人和机器人的末端执行器的三维模型。使用种子点的区域生长法分割出肋间血管,使用阈值分割法分割出定位标记球,使用体绘制渲染出骨骼与肺实质,使用图像交互法分割出结节。
作为示例,请参考图11,本申请的一实施例中提供了一种运动检测装置103,包括若干个传感器及位置跟踪设备601,传感器用于设置于目标对象的检测位置,以检测检测位置的位置数据;位置跟踪设备601与传感器连接,用于根据接收的位置数据跟踪检测位置的位置变化,并根据位置变化生成动作提示信息,以指示向目标对象执行预设动作,避免产生因目标对象的检测位置移动导致操作者定位或操作不准确/失败。相对于传统的利用呼吸门控设备辅助穿刺操作,本申请无需额外的辅助设备且能够有效地解决目标对象呼吸引起的病灶移位影像。
作为示例,请继续参考图11,位置跟踪设备601被配置为:将位置数据的时间序列进行滤波及/或放大处理后,得到预处理位置数据;将预处理位置数据进行拟合处理,得到检测位置变化曲线;获取检测位置变化曲线上预设时间的变化量;若变化量小于或等于预设位移阈值,则生成动作提示信息,提示操作者执行预设的操作,避免产生因目标对象的检测位置移动导致操作者定位或操作不准确/失败,提高操作的智能性、安全性。
作为示例,请参考图12-图13,可以设置预设动作包括穿刺动作;检测位置位于如下区域中至少一个:目标对象的右肺上叶的正上方的皮肤区域;目标对象的右肺下叶的正上方的皮肤区域;目标对象的左肺中间的正上方的皮肤区域。请继续参考图11,可以设置传感器包括第一传感器602、第二传感器603及第三传感器604,第一传感器602、第二传感器603及第三传感器604均与位置跟踪设备601连接。第一传感器602设置于目标对象的右肺上叶的正上方的皮肤区域,第二传感器603设置于目标对象的右肺下叶的正上方的皮肤区域,第三传感器604设置于目标对象的左肺中间的正上方的皮肤区域;位置跟踪设备601还被配置为:根据第一传感器602、第二传感器603及第三传感器604,第一传感器602、第二传感器603及第三传感器604的位置变化生成动作提示信息,以指示向目标对象的肺部执行穿刺动作。第一传感器602、第二传感器603及第三传感器604会随着目标对象的呼吸运动起伏变化,位置跟踪设备601实时采集第一传感器602、第二传感器603及第三传感器604的位置变化,进行简单的去噪、滤波及放大处理后,拟合呼吸运动的曲线。在对病人进行肺部CT扫描期间,采集病人屏气状态下的CT影像,当定位完成后,查看其呼吸运动曲线,选取屏气时刻穿刺。例如,病人进行拍摄CT期间,记下病人屏气状态时其身上第一传感器602、第二传感器603及第三传感器604的位置数据的平均值P0,在进行穿刺手术期间,记下t时刻病人身上第一传感器602、第二传感器603及第三传感器604的位置数据的平均值Pt,设置预设位移阈值为m,记S=Pt-P0,若S<m,判定为进针时刻。本实施例实现对目标对象肺部移动情况的准确检测,并在目标对象屏气期间进行穿刺动作,避免产生因目标对象的肺部呼吸移动导致操作者定位或操作不准确/失败,提高穿刺手术的智能性、安全性。
请参考图14,本申请的一实施例中提供了一种医学***,包括机器人100、成像设备200、及控制处理装置102,机器人100的末端执行器上设置有若干个第一预设材质的定位标记物;成像设备用于对目标对象及临近目标对象设置的定位标记物进行扫描成像以获取医学影像;控制处理装置102与成像设备200及机器人100通信互联,被配置为:接收目标对象及临近目标对象设置的定位标记物的医学影像;根据医学影像重建目标对象的三维模型;根据三维模型对病灶、定位标记物及其他组织进行识别;根据识别出来的病灶确定末端执行器的初始目标位姿;根据初始目标位姿、图像识别坐标系与机器人的基坐标系的变换关系计算末端执行器在基坐标系的目标位姿;根据目标位姿生成目标位姿控制命令,以控制机器人100动作并带动末端执行器移动至目标位姿控制命令指示的目标位姿。相对于传统的利用电磁导航或光学导航进行医学操作导航,需要比较繁琐和复杂的空间变换及注册等操作,本实施例简单方便,实施成本低,占地空间小,且避免人工参与带来的确定因素。
作为示例,请参考图3、图15,医学***还包括设置于末端执行器403的持针器409,持针器409用于固定穿刺针;控制处理装置102还被配置为:获取初始穿刺入针点,并根据识别出来的病灶确定初始穿刺目标点;根据初始穿刺入针点及变换关系计算基坐标系的穿刺入针点,根据初始穿刺目标点及变换关系计算基坐标系的穿刺目标点;根据穿刺入针点及穿刺目标点生成目标位姿控制命令,以控制机器人动作并带动穿刺针移动至目标位姿控制命令指示的目标位置和目标方向,实现精准穿刺操作,避免产生人工穿刺学习曲线及时间长、容易误操作且严重依赖于操作者的经验与能力的问题。相对于传统的利用电磁导航或光学导航进行穿刺导航,需要比较繁琐和复杂的空间变换及注册等操作,本实施例简单方便,实施成本低,占地空间小,且避免人工参与带来的确定因素。
作为示例,成像设备具体可以包括计算机断层扫描(Computed Tomography,简称CT)设备、X射线设备、磁共振(Magnetic Resonance,简称MR)设备、正电子发射断层扫描(Positron Emission Computed Tomography,简称PET)设备、超声成像设备以及多模态融合成像设备等。
请继续参考图3、图5、图15,在本申请的一实施例中,提供了一种医学***,包括:成像设备、控制处理装置102、机器人及任一本申请实施例中的运动检测装置103,控制处理装置102可以放置在台车上,台车上包含一台显示器,一台电脑主机;机器人与控制处理装置102进行数据交换,控制处理装置102与运动检测装置103进行数据交换,即,控制处理装置102与成像设备、机器人及运动检测装置103通信互联,被配置为:接收目标对象及临近目标对象设置的定位标记物4010的医学影像;根据医学影像重建目标对象的三维模型;根据三维模型对病灶、定位标记物4010及其他组织进行识别;根据识别出来的病灶确定末端执行器403的初始目标位姿;根据初始目标位姿、图像识别坐标系与机器人的基坐标系的变换关系计算末端执行器403在基坐标系的目标位姿;根据目标位姿生成目标位姿控制命令;根据目标位姿控制命令、动作提示信息控制机器人动作,并带动末端执行器403移动至目标位姿控制命令指示的目标位姿。
在本申请的一实施例中,提供了一种存储介质,其上存储有计算机程序;计算机程序被处理器执行时执行如下步骤:接收目标对象及临近目标对象设置的定位标记物的医学影像;根据医学影像重建目标对象的三维模型;根据三维模型对病灶、定位标记物及其他组织进行识别;根据识别出来的病灶确定机器人的末端执行器的初始目标位姿;根据初始目标位姿、图像识别坐标系与机器人的基坐标系的变换关系计算末端执行器在基坐标系的目标位姿;根据目标位姿生成目标位姿控制命令,以控制机器人带动末端执行器移动至目标位姿控制命令指示的目标位姿,实现根据图像识别结果智能控制机器人精准定位/操作。
本申请实施例中的技术方案可以应用于术前、术中及术后期间的定位,肺结穿刺、脊柱穿刺或者颅脑穿刺等手术中。
请注意,上述实施例仅出于说明性目的而不意味对本发明的限制。上下文中的实施例可以相互引用、互相参见即可。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (21)

1.一种并联机器人,其特征在于,包括末端执行器及移动平面相互平行的第一平面移动机构、第二平面移动机构;
所述第一平面移动机构、所述第二平面移动机构均具有至少两个平面移动的自由度;
所述第一平面移动机构的移动远端与所述末端执行器的第一旋转运动副结构连接;
所述第二平面移动机构的移动远端与所述末端执行器的第二旋转运动副结构连接;
其中,通过控制所述第一平面移动机构协同所述第二平面移动机构动作,改变所述末端执行器的位姿。
2.根据权利要求1所述的并联机器人,其特征在于:
所述第一平面移动机构包括经由第一五连杆机构连接的第一驱动装置、第二驱动装置;
所述第二平面移动机构包括经由第二五连杆机构连接的第三驱动装置、第四驱动装置;
其中,所述第一驱动装置、所述第二驱动装置、所述第三驱动装置及所述第四驱动装置均设置于机架。
3.根据权利要求2所述的并联机器人,其特征在于,还包括:
持针器,设置于所述末端执行器远离所述第一平面移动机构、所述第二平面移动机构的表面,用于固定穿刺针;
其中,通过控制所述第一平面移动机构协同所述第二平面移动机构动作,改变所述穿刺针的位置和延伸方向。
4.根据权利要求3所述的并联机器人,其特征在于,还包括:
第一电机,所述第一驱动装置经由所述第一电机与所述第一五连杆机构连接;
第二电机,所述第二驱动装置经由所述第二电机与所述第一五连杆机构连接;
第三电机,所述第三驱动装置经由所述第三电机与所述第二五连杆机构连接;
第四电机,所述第四驱动装置经由所述第四电机与所述第二五连杆机构连接;
控制器,与所述第一驱动装置、所述第二驱动装置、所述第三驱动装置及所述第四驱动装置均连接,被配置为:
获取目标位姿控制命令,所述目标位姿控制命令用于指示所述穿刺针的目标位置和目标方向;
根据第一预设算法解析所述目标位姿控制命令,得到第一角度驱动命令、第二角度驱动命令、第三角度驱动命令及第四角度驱动命令,使得所述第一驱动装置基于所述第一角度驱动命令驱动所述第一电机旋转第一角度,所述第二驱动装置基于所述第二角度驱动命令驱动所述第二电机旋转第二角度,所述第三驱动装置基于所述第三角度驱动命令驱动所述第三电机旋转第三角度,所述第四驱动装置基于所述第四角度驱动命令驱动所述第四电机旋转第四角度,以带动所述末端穿刺针移动至所述目标位置和所述目标方向。
5.一种并联机器人***,其特征在于,包括:
权利要求1-4任一项所述的并联机器人,所述末端执行器的外表面设置有若干个第一预设材质的定位标记物;以及
控制处理装置,与所述并联机器人通信互联,被配置为:
接收目标对象及临近所述目标对象设置的所述定位标记物的医学影像;
根据所述医学影像重建所述目标对象的三维模型;
根据所述三维模型对病灶、所述定位标记物及其他组织进行识别;
根据识别出来的病灶确定所述末端执行器的初始目标位姿;
根据所述初始目标位姿、图像识别坐标系与所述并联机器人的基坐标系的变换关系计算所述末端执行器在所述基坐标系的目标位姿;
根据所述目标位姿生成所述目标位姿控制命令。
6.根据权利要求5所述的并联机器人***,其特征在于,还包括设置于所述末端执行器的持针器,所述持针器用于固定穿刺针;所述控制处理装置还被配置为:
获取初始穿刺入针点,并根据识别出来的病灶确定初始穿刺目标点;
根据所述初始穿刺入针点及所述变换关系计算所述基坐标系的穿刺入针点,根据所述初始穿刺目标点及所述变换关系计算所述基坐标系的穿刺目标点;
根据所述穿刺入针点及所述穿刺目标点生成所述目标位姿控制命令,以控制所述穿刺针移动至目标位置和目标方向。
7.根据权利要求6所述的并联机器人***,其特征在于,所述其他组织包括血管和/或骨骼;所述控制处理装置还被配置为:
在确定所述初始穿刺目标点之后及计算所述穿刺入针点、所述穿刺目标点之前,判断经由所述初始穿刺入针点及所述初始穿刺目标点的初始穿刺路径是否穿过血管和/或骨骼;
若没有穿过,则计算所述穿刺入针点、所述穿刺目标点;
反之,重新获取初始穿刺入针点。
8.根据权利要求7所述的并联机器人***,其特征在于,所述变换关系包括旋转矩阵R和平移矩阵T;计算所述变换关系的步骤包括:
确定识别出的定位标记物的中心点在图像识别坐标系的第一坐标;
根据所述第一坐标及预先获取的所述中心点在所述基坐标系的第二坐标,通过刚体配准计算所述旋转矩阵R和所述平移矩阵T。
9.根据权利要求8所述的并联机器人***,其特征在于,根据如下公式计算所述穿刺入针点PinRobot、所述穿刺目标点PdRobot
PinRobot=R*PinImage+T;
PdRobot=R*PdImage+T;
其中,PinImage为在所述图像识别坐标系的初始穿刺入针点,PdImage为根据识别出来的病灶确定的初始穿刺目标点。
10.根据权利要求7-9任一项所述的并联机器人***,其特征在于,所述判断经由所述初始穿刺入针点及所述初始的初始穿刺路径是否穿过血管和/或骨骼的步骤,包括:
对直线型初始穿刺路径进行模拟碰撞检测,判断所述直线型初始穿刺路径是否穿过血管和/或骨骼。
11.根据权利要求5-9任一项所述的并联机器人***,其特征在于,所述根据所述三维模型对病灶、所述定位标记物及其他组织进行识别,包括如下步骤中至少一种:
通过区域生长法从所述三维模型中分割出病灶;
通过阈值分割法从所述三维模型中分割出定位标记物;
通过图像交互法从所述三维模型中分割出其他组织。
12.根据权利要求5-9任一项所述的并联机器人***,其特征在于,还包括:
第二预设材质的床板,用于承载所述目标对象及固定所述并联机器人。
13.一种控制处理装置,其特征在于,包括:
图像处理单元,用于接收目标对象及临近所述目标对象设置的定位标记物的医学影像,根据所述医学影像重建所述目标对象的三维模型,及根据所述三维模型对病灶、所述定位标记物及其他组织进行识别;
路径规划单元,用于根据识别出来的病灶确定设置于机器人末端的末端执行器的初始目标位姿,根据所述初始目标位姿、图像识别坐标系与所述机器人的基坐标系的变换关系计算所述末端执行器在所述基坐标系的目标位姿,及根据所述目标位姿生成所述目标位姿控制命令。
14.根据权利要求13所述的控制处理装置,其特征在于,用于控制穿刺针移动至目标位置和目标方向;所述路径规划单元还用于获取初始穿刺入针点,并根据识别出来的病灶确定初始穿刺目标点;所述装置还包括:
定位装置,用于根据所述初始穿刺入针点及所述变换关系计算所述基坐标系的穿刺入针点,根据所述初始穿刺目标点及所述变换关系计算所述基坐标系的穿刺目标点;及根据所述穿刺入针点及所述穿刺目标点生成所述目标位姿控制命令,以控制所述穿刺针移动至目标位置和目标方向。
15.根据权利要求14所述的控制处理装置,其特征在于,所述其他组织包括血管和/或骨骼;所述路径规划单元还用于:
在确定所述初始穿刺目标点之后及计算所述穿刺入针点、所述穿刺目标点之前,判断经由所述初始穿刺入针点及所述初始穿刺目标点的初始穿刺路径是否穿过血管和/或骨骼;
若没有穿过,则计算所述穿刺入针点、所述穿刺目标点;
反之,重新获取初始穿刺入针点。
16.根据权利要求13-15任一项所述的控制处理装置,其特征在于,所述图像处理单元还用于执行如下步骤中至少一种:
通过区域生长法从所述三维模型中分割出病灶;
通过阈值分割法从所述三维模型中分割出定位标记物;
通过图像交互法从所述三维模型中分割出其他组织。
17.一种运动检测装置,其特征在于,包括:
若干个传感器,用于设置于目标对象的检测位置,以检测所述检测位置的位置数据;
位置跟踪设备,与所述传感器连接,用于根据接收的所述位置数据跟踪所述检测位置的位置变化,并根据所述位置变化生成动作提示信息,以指示向目标对象执行预设动作。
18.根据权利要求17所述的运动检测装置,其特征在于,所述位置跟踪设备被配置为:
将所述位置数据的时间序列进行滤波及/或放大处理后,得到预处理位置数据;
将所述预处理位置数据进行拟合处理,得到检测位置变化曲线;
获取所述检测位置变化曲线上预设时间的变化量;
若所述变化量小于或等于预设位移阈值,则生成所述动作提示信息。
19.根据权利要求17或18所述的运动检测装置,其特征在于,所述预设动作包括穿刺动作;所述检测位置位于如下区域中至少一个:
所述目标对象的右肺上叶的正上方的皮肤区域;
所述目标对象的右肺下叶的正上方的皮肤区域;
所述目标对象的左肺中间的正上方的皮肤区域;
所述位置跟踪设备还被配置为:根据所述位置变化生成动作提示信息,以指示向所述目标对象的肺部执行穿刺动作。
20.一种医学***,其特征在于,包括:
机器人,所述机器人的末端执行器上设置有若干个第一预设材质的定位标记物;
成像设备,用于对目标对象及临近所述目标对象设置的所述定位标记物进行扫描成像以获取医学影像;
权利要求17-19任一项所述的运动检测装置,用于检测所述目标对象待操作部位的位置变化,并根据所述位置变化生成动作提示信息;
控制处理装置,与所述成像设备、所述运动检测装置及所述机器人均通信互联,被配置为:
接收目标对象及临近所述目标对象设置的所述定位标记物的医学影像;
根据所述医学影像重建所述目标对象的三维模型;
根据所述三维模型对病灶、所述定位标记物及其他组织进行识别;
根据识别出来的病灶确定所述末端执行器的初始目标位姿;
根据所述初始目标位姿、图像识别坐标系与所述机器人的基坐标系的变换关系计算所述末端执行器在所述基坐标系的目标位姿;
根据所述目标位姿生成目标位姿控制命令;
根据所述目标位姿控制命令、所述动作提示信息控制所述机器人动作,并带动所述末端执行器移动至所述目标位姿控制命令指示的目标位姿。
21.一种存储介质,其上存储有计算机程序;其特征在于,所述计算机程序被处理器执行时执行如下步骤:
接收目标对象及临近所述目标对象设置的定位标记物的医学影像;
根据所述医学影像重建所述目标对象的三维模型;
根据所述三维模型对病灶、所述定位标记物及其他组织进行识别;
根据识别出来的病灶确定机器人的末端执行器的初始目标位姿;
根据所述初始目标位姿、图像识别坐标系与所述机器人的基坐标系的变换关系计算所述末端执行器在所述基坐标系的目标位姿;
根据所述目标位姿生成目标位姿控制命令,以控制机器人带动末端执行器移动至所述目标位姿控制命令指示的目标位姿。
CN202210113699.7A 2022-01-30 2022-01-30 并联机器人、***、装置及存储介质 Pending CN114515193A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210113699.7A CN114515193A (zh) 2022-01-30 2022-01-30 并联机器人、***、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210113699.7A CN114515193A (zh) 2022-01-30 2022-01-30 并联机器人、***、装置及存储介质

Publications (1)

Publication Number Publication Date
CN114515193A true CN114515193A (zh) 2022-05-20

Family

ID=81597664

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210113699.7A Pending CN114515193A (zh) 2022-01-30 2022-01-30 并联机器人、***、装置及存储介质

Country Status (1)

Country Link
CN (1) CN114515193A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115607297A (zh) * 2022-10-19 2023-01-17 山东大学 一种震颤抑制的主从手术机器人控制***及方法
CN116269783A (zh) * 2023-03-28 2023-06-23 北京维卓致远医疗科技发展有限责任公司 引导架和手术机器人

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105662587A (zh) * 2016-04-18 2016-06-15 山东科技大学 一种微创骨科手术机器人
CN105796161A (zh) * 2016-03-02 2016-07-27 赛诺威盛科技(北京)有限公司 一种ct介入治疗中进行穿刺导航的方法及穿刺导航装置
CN106859768A (zh) * 2015-12-11 2017-06-20 上海工程技术大学 用于腹腔微创手术的解耦四自由度远心机构
CN107126258A (zh) * 2017-06-29 2017-09-05 哈尔滨理工大学 一种微创手术套管柔性针的路径规划方法
CN107274428A (zh) * 2017-08-03 2017-10-20 汕头市超声仪器研究所有限公司 基于仿真和实测数据的多目标三维超声图像分割方法
CN110755136A (zh) * 2019-10-10 2020-02-07 中国科学院合肥肿瘤医院 一种穿刺方法
CN110946653A (zh) * 2018-12-29 2020-04-03 华科精准(北京)医疗科技有限公司 一种手术导航***
CN112568996A (zh) * 2019-09-30 2021-03-30 格罗伯斯医疗有限公司 外科手术***

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106859768A (zh) * 2015-12-11 2017-06-20 上海工程技术大学 用于腹腔微创手术的解耦四自由度远心机构
CN105796161A (zh) * 2016-03-02 2016-07-27 赛诺威盛科技(北京)有限公司 一种ct介入治疗中进行穿刺导航的方法及穿刺导航装置
CN105662587A (zh) * 2016-04-18 2016-06-15 山东科技大学 一种微创骨科手术机器人
CN107126258A (zh) * 2017-06-29 2017-09-05 哈尔滨理工大学 一种微创手术套管柔性针的路径规划方法
CN107274428A (zh) * 2017-08-03 2017-10-20 汕头市超声仪器研究所有限公司 基于仿真和实测数据的多目标三维超声图像分割方法
CN110946653A (zh) * 2018-12-29 2020-04-03 华科精准(北京)医疗科技有限公司 一种手术导航***
CN112568996A (zh) * 2019-09-30 2021-03-30 格罗伯斯医疗有限公司 外科手术***
CN110755136A (zh) * 2019-10-10 2020-02-07 中国科学院合肥肿瘤医院 一种穿刺方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115607297A (zh) * 2022-10-19 2023-01-17 山东大学 一种震颤抑制的主从手术机器人控制***及方法
CN115607297B (zh) * 2022-10-19 2024-04-30 山东大学 一种震颤抑制的主从手术机器人控制***及方法
CN116269783A (zh) * 2023-03-28 2023-06-23 北京维卓致远医疗科技发展有限责任公司 引导架和手术机器人
CN116269783B (zh) * 2023-03-28 2023-12-19 北京维卓致远医疗科技发展有限责任公司 引导架和手术机器人

Similar Documents

Publication Publication Date Title
US20220346886A1 (en) Systems and methods of pose estimation and calibration of perspective imaging system in image guided surgery
CN108024838B (zh) 用于在图像引导手术中使用配准荧光透视图像的***和方法
JP4822634B2 (ja) 対象物の案内のための座標変換を求める方法
US8213693B1 (en) System and method to track and navigate a tool through an imaged subject
KR102048352B1 (ko) 의료 이미지 스캐닝 및 이미지 안내 타겟팅을 위한 원격중심운동 로봇
JP2966089B2 (ja) 不均質組織内部における局部手術用対話型装置
US20210059762A1 (en) Motion compensation platform for image guided percutaneous access to bodily organs and structures
CN112220557B (zh) 用于颅脑穿刺的手术导航及机器臂装置及定位方法
US20090082660A1 (en) Clinical workflow for treatment of atrial fibrulation by ablation using 3d visualization of pulmonary vein antrum in 2d fluoroscopic images
CN114515193A (zh) 并联机器人、***、装置及存储介质
CN113316429A (zh) 用于在坐标系之间配准和导航的***和方法
JP2008126075A (ja) Ctレジストレーション及びフィードバックの視覚的検証のためのシステム及び方法
CN1647759A (zh) 对准和重叠医疗成像的系列拍摄中的图像数据的方法
US10390892B2 (en) System and methods for updating patient registration during surface trace acquisition
CN1939217A (zh) 用于对侵入性检查或者治疗心脏进行视觉支持的方法
JP6349278B2 (ja) 放射線撮像装置、画像処理方法及びプログラム
CN114848143A (zh) 一种基于脊柱手术辅助机器人的手术导航***及方法
Brattain et al. Instrument tracking and visualization for ultrasound catheter guided procedures
US20230316550A1 (en) Image processing device, method, and program
Kim et al. Robot for ultrasound-guided prostate imaging and intervention
KR20240021745A (ko) 경피적 개입의 시간 실시간 안내를 위한 초음파 프로브가 장착된 로봇
CN115227349A (zh) 一种基于光学跟踪技术的肺部穿刺机器人
CN112076401B (zh) 高强度聚焦超声治疗***
CN114689041B (zh) 基于二维图像的磁导航定位***、方法及相关设备
CN113940756B (zh) 一种基于移动dr影像的手术导航***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination