CN113679473A - 一种人机协同力反馈脑室穿刺机器人装置 - Google Patents

一种人机协同力反馈脑室穿刺机器人装置 Download PDF

Info

Publication number
CN113679473A
CN113679473A CN202110969487.4A CN202110969487A CN113679473A CN 113679473 A CN113679473 A CN 113679473A CN 202110969487 A CN202110969487 A CN 202110969487A CN 113679473 A CN113679473 A CN 113679473A
Authority
CN
China
Prior art keywords
puncture
surgical
coordinate system
force
visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110969487.4A
Other languages
English (en)
Inventor
王君臣
杨晓涵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202110969487.4A priority Critical patent/CN113679473A/zh
Publication of CN113679473A publication Critical patent/CN113679473A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34—Trocars; Puncturing needles
    • A61B17/3403—Needle locating or guiding means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A61B2090/065—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension for measuring contact or contact pressure

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Manipulator (AREA)

Abstract

一种人机协同力反馈脑室穿刺机器人装置，所述人机协同力反馈脑室穿刺机器人装置包括手术机器人***(01)，手术监测***(02)，手术控制***(03)，手术操作装置(04)和手术显示装置(05)；其中手术机器人***(01)配置为执行穿刺手术动作；手术监测***(02)配置为术中器械追踪和虚拟现实可视化导航；手术控制***(03)配置为辅助穿刺操作；手术操作装置(04)为操作者手持的交互装置；手术显示装置(05)为外接的屏幕。

Description

一种人机协同力反馈脑室穿刺机器人装置
技术领域
本发明涉及神经外科手术机器人领域，尤其涉及一种人机协同力反馈脑室穿刺机器人装置及其控制方法。
背景技术
神经外科手术，或为了缓解疼痛等需求而在颅骨上进行切口的操作，已经有上千年的历史。据考古发现及文献记载，印加人早在石器时代晚期就已掌握通过在人的颅骨上进行钻孔而进行疾病治疗的技术。Al-Zahrawi医师在欧洲中世纪时期就进行过颅脑损伤、颅骨骨折、脑积水和硬脑膜下积液等神经外科手术治疗。但由于科技发展等限制，神经外科手术在近一百年内才得到迅速发展。目前神经外科手术覆盖范围涉及脑膜炎和其他中枢***感染疾病、脑部积水、颅骨骨折等头部外伤、脊髓和周围神经肿瘤、脑出血、血管畸形、运动障碍疾病、脑部癌症等疾病的治疗。
脑是唯一完全被包裹在骨头中的器官，与肾脏和肝脏等其他器官相比，具有功能唯一性，即脑的每一部分组织的功能无法被其他位置的组织所替代。因此一旦头部发生损伤死亡率和伤残率都较高。
临床上国际公认的挽救颅脑创伤病人生命最主要和最有效的手段是对病人进行及时而准确的脑室穿刺引流手术。脑室穿刺引流术(External Ventricular Drainage,EVD)是一种神经外科手术，通过从外部打开通向脑室区域的通路来降低颅内压，是对大脑创伤患者的一种急救措施。因脑积水引起严重颅内压增高的病患，在病情危重，发生脑疝或昏迷时，应当采用脑室穿刺和引流作为紧急减压抢救措施，为进一步诊疗创造条件。脑室内有出血的病人，穿刺引流血性脑脊液可减轻脑室反应及防止脑室***阻塞。
临床上脑室穿刺引流手术是损伤控制性手术中最难的术式之一。术前需要医生读取CT图像确定手术位置，术中对定位精准度要求高，对手术医生的专业性和心理素质要求很高。然而在急救环境中专业人员短缺的情况下，急需实现颅脑穿刺引流手术的精准化、可视化以及自动化。
针对此需求，本发明提出了一种人机协同力反馈脑室穿刺机器人装置技术路线。通过术前手术规划，术中手术导航，人机协同条件下机器人穿刺头骨完成精准化、可视化及自动化的脑室穿刺手术。
本发明提出的人机协同力反馈脑室穿刺机器人装置通过力反馈与视觉导航相结合让操作者可以通过机器人远程操作手术，降低了对操作者专业性和心理素质的要求。机器人操作与人在环结合保证了手术的安全性。操作者可以通过力反馈和视觉导航两个方面控制手术进程。实现了结合视觉力觉的人在环协同脑室穿刺手术，并为同类型神经外科手术提供思路。
本发明给出了实现自动化脑室穿刺手术的硬件***和控制方法。
发明内容
本发明的实施例提供一种人机协同力反馈脑室穿刺机器人装置，所述人机协同力反馈脑室穿刺机器人装置包括手术机器人***(01)，手术监测***(02)，手术控制***(03)，手术操作装置(04)和手术显示装置(05)；其中手术机器人***(01)配置为执行穿刺手术动作；手术监测***(02)配置为术中器械追踪和虚拟现实可视化导航；手术控制***(03)配置为辅助穿刺操作；手术操作装置(04)为操作者手持的交互装置；手术显示装置(05)为外接的屏幕。
根据本发明的一种实施方式，例如，手术机器人***(01)包括7自由度串联机械臂、穿刺手术末端执行器以及配套控制柜；
优选的，手术监测***(02)包括视觉伺服导航***和力反馈***；其中，力反馈***包括穿刺手术末端执行器的压力传感器、力觉交互设备和上位机；视觉伺服导航***包括双目相机和固连在穿刺手术末端执行器以及手术对象上的视觉标记物；
优选的，手术控制***(03)是一计算机，该计算机包括图像处理模块、力觉信号处理模块、交互设备通讯模块以及视觉导航显示模块；
优选的，手术操作装置(04)配置为通过对交互设备的操作将手部动作映射到手术机器人***(03)的穿刺动作中。
根据本发明的一种实施方式，例如，手术机器人***(01)包括7自由度串联机械臂(06)、穿刺手术末端执行器(07)以及配套控制柜(08)；
优选的，穿刺手术末端执行器(07)包括穿刺钻头(09)、穿刺轴向力测量模块(10)和进给机构(11)；
优选的，穿刺钻头(09)包括麻花钻头(12)、轴承座(13)、联轴器(14)、电机支架(15)以及电机(16)，其中，轴承座(13)为麻花钻头(12)提供支撑，电机支架(15)为电机(16)提供支撑，联轴器(14)连接电机(16)和麻花钻头(12)，将电机(16)的动力传输给麻花钻头(12)；
优选的，穿刺轴向力测量模块(10)包括预紧力模块(17)，活动力传感器支架(18)，压力传感器(19)，钻头连接块(20)，压力传感器接触块(21)，固定力传感器支架(22)，滑块(23)，导轨(24)和底板(25)；预紧力模块(17)、活动力传感器支架(18)、导轨(24)、固定力传感器支架(22)依次固定在底板(25)上；其中，预紧力模块(17)有一个面向活动力传感器支架(18)的螺纹孔，活动力传感器支架(18)和固定力传感器支架(22)上固定压力传感器(19)；导轨(24)上安装滑块(23)，优选的，滑块(23)采用直线轴承，能够在导轨上自由滑动；滑块(23)上依次固连压力传感器接触块(21)和钻头连接块(20)；钻头连接块(20)固连穿刺钻头(09)，将穿刺钻头(09)受到的轴向力传导到穿刺轴向力测量模块(10)中，特别的是其固连的压力传感器接触块(21)中；压力传感器接触块(21)与压力传感器19接触的面为平面；
优选的，进给机构(11)包括直流电机(26)、同步带机构(27)、丝杠螺母机构(28)、滑块(29)、光电开关(30)和机械臂连接件(31)；其中，同步带机构(27)将直流电机(26)输出的旋转转换为丝杠螺母机构(28)的输入；丝杠螺母机构(28)将输入的旋转转换为直线运动，并带动滑块(29)的直线运动；滑块(29)固连有金属片，用于配合光电开关(30)进行限位；滑块(29)固连穿刺轴向力测量模块(10)；优选的，光电开关(30)通过检测滑块(29)固连的金属片对光电开关光路的阻挡起到对滑块(29)限位的作用；机械臂连接件(31)连接穿刺手术末端执行器(07)与7自由度机械臂(06)。
根据本发明的一种实施方式，例如，手术监测***(02)配置为实现视觉伺服和视觉导航；手术监测***(02)包括视觉伺服导航***和力反馈***，其中，力反馈***包括穿刺手术末端执行器的压力传感器、力觉交互设备和上位机；视觉伺服导航***包括双目相机和固连在穿刺手术末端执行器和手术对象上的视觉标记物。
根据本发明的一种实施方式，例如，手术控制***(03)配置为控制脑室穿刺手术的全过程；
优选的，手术控制***(03)包括一计算机，该计算机包括图像处理模块、电机控制模块、力觉信号处理模块、交互设备通讯模块以及视觉导航显示模块。
本发明的实施例还提供一种如前所述的人机协同力反馈脑室穿刺机器人装置的控制方法，所述控制方法包括术前规划、视觉导航和人机协同。
根据本发明的一种实施方式，例如，术前规划包括：获得手术对象的图像信息；图像分割；确定手术目标；对手术对象配准；除此之外还需要准备好手术环境，包括：在手术对象上固连视觉标记物(Marker)；确保手术对象在双目相机视野内并固定；使手术机器人处于工作位置，即双目相机可以看到的位置。
根据本发明的一种实施方式，例如，视觉导航和人机协同包括：
首先机器人根据术前规划的轨迹在视觉引导下使穿刺手术末端执行器到达穿刺起始的位姿；其中包括对双目相机图像进行实时角点检测，基于视觉标记物(marker)的快速模板匹配，进而实时计算与视觉标记物(marker)固连的穿刺手术末端执行器位置，结合机械臂的位姿在上位机软件中实时显示手术状态；
在机器人到达穿刺起始位姿后，由操作者操作交互设备进行人机协同操作；在到达穿刺起始点后获得压力传感器起始数据F10，F20；随后开始实时读取压力传感器数据并根据公式F＝(F21-F20)-(F11-F10)(2-3)计算穿刺力；穿刺力会成比例通过交互设备反馈到操作者手上；在穿刺过程中操作者的操作有手术导航视觉显示和交互设备力反馈的双重保障；
操作者首先通过交互设备控制钻头进给，直到到达目标位置，此时钻头不旋转；随后操作者扣动交互设备扳机钻头旋转；操作者根据手上反馈的力合理控制进给速率；在钻头穿破头骨时根据穿刺力的突变立刻自动停止钻头的旋转和进给；随后操作者进行其他操作；
使用机器人进行穿刺手术，需要视觉伺服导航***提供7自由度串联机械臂的目标位姿信息；术前规划阶段可以给出TCP坐标系在图像坐标系中的目标位姿，通过图像配准映射得到在实际手术空间中7自由度串联机械臂TCP坐标系相对于头骨视觉标记物(Marker)局部坐标系的相对位姿，进而控制7自由度串联机械臂运动到正确的穿刺位姿；详细的坐标系变换关系如图8所示；
其中，{OTCP}为手术工具坐标系，
Figure BDA0003225110480000053
为固定于7自由度串联机械臂末端的视觉标记物(Marker)坐标系，{OC}为相机坐标系，
Figure BDA0003225110480000054
为固连于目标骨上的视觉标记物(Marker)坐标系，{OM}为CT图像空间坐标系，{OVTCP}为7自由度串联机械臂到达目标位置时的手术工具坐标系；上述坐标系之间的转换关系如下：
Figure BDA0003225110480000051
是7自由度串联机械臂末端视觉标记物(Marker)坐标系相对于手术工具坐标系的位姿变换矩阵，由手眼标定得到；
Figure BDA0003225110480000052
是7自由度串联机械臂末端视觉标记物(Marker)坐标系相对于相机坐标系的位姿变换矩阵；
Figure BDA0003225110480000061
是与目标骨固连的视觉标记物(Marker)坐标系相对于相机坐标系的位姿变换矩阵；
Figure BDA0003225110480000062
是CT图像坐标系相对于目标骨固连视觉标记物(Marker)的局部坐标系的位姿变换矩阵，可以通过图像配准得到；
Figure BDA0003225110480000063
是目标手术工具坐标系相对于图像坐标系的位姿变换矩阵，在术前规划阶段给出；根据链式法则，7自由度串联机械臂TCP从起始位置到目标位置的坐标变换矩阵可由下式求出：
Figure BDA0003225110480000064
式(3-1)中T为7自由度串联机械臂末端TCP坐标系的变换矩阵，将它发给7自由度串联机械臂控制器可以控制7自由度串联机械臂运动，将穿刺手术末端执行器从起始位置带到目标姿态，进而可以开始穿刺操作；
视觉伺服使用基于双目视觉的目标定位与手术导航方法，包括X角点的识别和定位，视觉标记物(Marker)的注册及识别，手术器械尖端的注册和定位，图像配准；结合GPU对算法进行加速，对于960*480的图像，每秒钟可以处理超过100帧，满足***对于实时性的要求；通过快速识别定位手术器械，将前期大脑的模型和手术器械模型导入虚拟场景中，通过图像配准可以实现手术可视化导航。
本发明具有以下有益的技术效果：
(1)本发明提出的人机协同力反馈脑室穿刺机器人装置具有完备的自动化控制硬件配置及与之相适应的机械配置，使得颅脑穿刺引流手术的精准化、可视化以及自动化的实现成为可能。
(2)通过术前手术规划，术中手术导航，人机协同条件下机器人穿刺头骨完成精准化、可视化及自动化的脑室穿刺手术。
(3)本发明提出的人机协同力反馈脑室穿刺机器人装置通过力反馈与视觉导航相结合让操作者可以通过机器人远程操作手术，降低了对操作者专业性和心理素质的要求。机器人操作与人在环结合保证了手术的安全性。操作者可以通过力反馈和视觉导航两个方面控制手术进程。实现了结合视觉力觉的人在环协同脑室穿刺手术，并为同类型神经外科手术提供思路。
(4)本发明采用主从控制模式，可以实现远程手术，对边远地区，例如海岛、边疆等地，具有战略意义和经济意义。
附图说明
图1是本发明实施例提供的人机协同力反馈脑室穿刺机器人装置的结构示意图；
图2是本发明实施例提供的人机协同力反馈脑室穿刺机器人装置中手术机器人***01的结构示意图；
图3是本发明实施例提供的人机协同力反馈脑室穿刺机器人装置中穿刺手术末端执行器的结构示意图；
图4是本发明实施例提供的人机协同力反馈脑室穿刺机器人装置中穿刺钻头09的结构示意图；
图5是本发明实施例提供的人机协同力反馈脑室穿刺机器人装置中穿刺轴向力测量模块10的结构示意图；
图6是穿刺轴向力测量模块受力分析简图；
图7是本发明实施例提供的人机协同力反馈脑室穿刺机器人装置中进给机构11的结构示意图；
图8是本发明实施例提供的人机协同力反馈脑室穿刺机器人装置中坐标系变换关系图。
图9是本发明实施例提供的人机协同力反馈脑室穿刺机器人装置的控制算法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。但本领域技术人员知晓，本发明并不局限于附图和以下实施例。
本申请的人机协同力反馈脑室穿刺机器人装置包括手术机器人***，手术监测***，手术控制***，手术操作装置和手术显示装置。其中手术机器人***配置为执行穿刺手术操作；手术监测***配置为术中器械追踪和虚拟现实可视化导航；手术控制***配置为辅助穿刺操作；手术操作装置为操作者手持的交互装置；手术显示装置为外接的屏幕。
下面将以实施例来具体介绍手术机器人***，手术监测***和手术控制***的技术细节。
实施例1脑室穿刺手术机器人***整体的组成
如图1所示，人机协同力反馈脑室穿刺机器人装置包括手术机器人***01，手术监测***02，手术控制***03，手术操作装置04和手术显示装置05。
手术机器人***01，又称穿刺手术执行***，包括7自由度串联机械臂、穿刺手术末端执行器以及配套控制柜。
手术监测***02配置为监测手术进程，为医生提供反馈信息。手术监测***02包括视觉伺服导航***和力反馈***。力反馈***包括穿刺手术末端执行器的压力传感器、力觉交互设备和上位机。视觉伺服导航***包括双目相机和固连在穿刺手术末端执行器以及手术对象上的视觉标记物(marker)。
手术控制***03例如可以是一计算机，该计算机包括图像处理模块、力觉信号处理模块、交互设备通讯模块以及视觉导航显示模块，手术控制***03配置为提出人机协同脑室穿刺手术控制算法流程。
手术操作装置04是医生在人机协同穿刺手术过程中实际使用的交互设备；手术操作装置04配置为通过对交互设备的操作将手部动作映射到手术机器人***03的穿刺动作中。
手术显示装置05是手术控制***03外接的显示器，用于显示手术过程。
在人机协同脑室穿刺手术过程中，手术机器人***中的7自由度串联机械臂和穿刺手术末端执行器首先在视觉伺服导航***的引导下自动追踪到预定穿刺位置，随后进行人机协同穿刺。
由操作者控制交互设备进行穿刺操作。通过上位机和控制柜将交互设备的动作按比例映射到穿刺执行器，从而控制钻头的进给量。交互设备的扳机控制钻头旋转。当执行器末端感受到穿刺轴向力时，轴向力通过控制柜和上位机成比例反馈到交互设备上，交互设备对操作者的手施加反馈力。从而让操作者对穿刺力度有所把握。
实施例2脑室穿刺手术机器人***各部分的组成
1.手术机器人***
图2是本发明实施例提供的人机协同力反馈脑室穿刺机器人装置中手术机器人***01的结构。如图2所示，手术机器人***01包括7自由度串联机械臂06、穿刺手术末端执行器07以及配套控制柜08。
图3展示了穿刺手术末端执行器07的结构。穿刺手术末端执行器07针对脑室穿刺的需求设计2个自由度，分别是钻头的旋转和钻头进给。如图3所示，穿刺手术末端执行器07包括穿刺钻头09、穿刺轴向力测量模块10和进给机构11三部分。下面举例说明各部分的结构。
1.1.穿刺钻头09的结构
图4展示了穿刺钻头09的结构。如图4所示，穿刺钻头09包括麻花钻头12、轴承座13、联轴器14、电机支架15以及电机16。其中，轴承座13为麻花钻头12提供支撑，电机支架15为电机16提供支撑，联轴器14连接电机16和麻花钻头12，将电机16的动力传输给麻花钻头12。
1.2.穿刺轴向力测量模块10的结构
在脑室穿刺过程中，为了保证安全，需要测量穿刺过程中钻头在轴向的受力。受力信息有两个用途，在人机协同穿刺过程中给操作者以真实的力反馈，使得操作者感受到手术的状态，能够很大程度保证安全性；第二个用途在于实现力控下的自主穿刺。采用差分法测穿刺力。图5展示了穿刺轴向力测量模块10的结构。如图5所示，穿刺轴向力测量模块10包括预紧力模块17，活动力传感器支架18，压力传感器19，钻头连接块20，压力传感器接触块21，固定力传感器支架22，滑块23，导轨24和底板25，如图5所示。
预紧力模块17、活动力传感器支架18、导轨24、固定力传感器支架22依次固定在底板25上。其中，预紧力模块17有一个面向活动力传感器支架18的螺纹孔。活动力传感器支架18和固定力传感器支架22上固定压力传感器19。导轨24上安装滑块23。滑块23例如可以采用直线轴承，可以在导轨上自由滑动。滑块23上依次固连压力传感器接触块21和钻头连接块20。钻头连接块20固连穿刺钻头09，将穿刺钻头受到的轴向力传导到穿刺轴向力测量模块10中，特别的是其固连的压力传感器接触块21中。压力传感器接触块21的加工需要保证图5中与压力传感器19接触的面为平面，以保证压力传感器测量的准确性。
穿刺轴向力测量模块10的设计要求是在能保证测量穿刺轴向力的情况下尽量减重，以便于串联机械臂的控制。因此，优选的，在设计时设计减重槽，并选择铝作为加工材料。
穿刺轴向力测量模块10的安装过程如下：活动力传感器支架18在初次安装过程中螺丝不拧紧使其可以在图5所示的腰孔中滑动，其他部分依次安装好。随后预紧力模块17拧入螺丝。螺丝顶在活动力传感器支架18上，使其位置固定并使2个压力传感器有预紧力。这时拧紧活动力传感器支架18的螺丝，将其位置固定。之后撤去预紧力模块17上的螺丝。
安装完毕后穿刺轴向力测量模块10可以视为可以微小滑动的导轨滑块模型，两端有压力传感器与滑块接触。该机构可以用图6所示的受力分析简图来分析。F1，F2分别是2端压力传感器的读数。G是滑块及固连在滑块上的钻头整体的重力，将其沿斜面方向的分力记作G1。F是钻骨时的穿刺力，在未钻骨时值为0。
根据理论力学知识，钻头固连在滑块上，在外力作用下滑块相对于滑轨有微小运动，所以会造成两端压力传感器读数的变化。因此脑室穿刺机器人在穿刺前后的工作状况可以视为斜面滑块。由于滑轨滑块的摩擦力远小于钻头重力和钻骨的穿刺力，并且在摩擦力不会影响钻骨过程中对正在钻的组织类型的判断，因此可以在受力分析时忽略摩擦力。
在手术过程中，机器人首先在视觉引导下到达规划的穿刺位置，做好穿刺准备。这个状态下压力传感器的读数分别记作F10，F20.则沿斜面方向的力学公式为：
F10+0＝G1+F20 (2-1)在穿刺过程中，由于姿态不变，只是钻头进给，所以G1不变。沿斜面方向的力学公式：
F11+F＝G1+F21 (2-2)式中F11，F21为穿刺过程中压力传感器的实时读数。整理可得实时穿刺力F的计算公式为：
F＝(F21-F20)-(F11-F10) (2-3)
1.3.进给机构11的结构
图7展示了进给机构11的结构。如图7所示，进给机构11包括直流电机26、同步带机构27、丝杠螺母机构28、滑块29、光电开关30和机械臂连接件31。
其中同步带机构27将直流电机26输出的旋转转换为丝杠螺母机构28的输入。丝杠螺母机构28将输入的旋转转换为直线运动，并带动滑块29的直线运动。滑块29固连有金属片，用于配合光电开关30进行限位。滑块29固连穿刺轴向力测量模块10。光电开关30通过检测滑块29固连的金属片对光电开关光路的阻挡起到对滑块29限位的作用。机械臂连接件31用于将穿刺手术末端执行器07与7自由度机械臂06连接。
2.手术监测***
手术监测***02配置为实现视觉伺服和视觉导航。手术监测***02包括视觉伺服导航***和力反馈***，其中，力反馈***包括穿刺手术末端执行器的压力传感器、力觉交互设备和上位机；视觉伺服导航***包括双目相机和固连在穿刺手术末端执行器和手术对象上的视觉标记物(marker)。
使用机器人进行穿刺手术，需要视觉伺服导航***提供7自由度串联机械臂(因为7自由度串联机械臂末端和穿刺执行器是固连的，所以7自由度串联机械臂末端位姿和穿刺执行器位姿是一一对应的)的目标位姿信息。术前规划阶段可以给出TCP坐标系在图像坐标系中的目标位姿，通过图像配准映射得到在实际手术空间中7自由度串联机械臂TCP坐标系相对于头骨Marker局部坐标系的相对位姿，进而控制7自由度串联机械臂运动到正确的穿刺位姿。详细的坐标系变换关系如图8所示。
其中，{OTCP}为手术工具坐标系，
Figure BDA0003225110480000127
为固定于7自由度串联机械臂末端的Marker坐标系，{OC}为相机坐标系，
Figure BDA0003225110480000128
为固连于目标骨上的Marker坐标系，{OM}为CT图像空间坐标系，{OVTCP}为7自由度串联机械臂到达目标位置时的手术工具坐标系。上述坐标系之间的转换关系如下：
Figure BDA0003225110480000121
是7自由度串联机械臂末端Marker坐标系相对于手术工具坐标系的位姿变换矩阵，由手眼标定得到；
Figure BDA0003225110480000122
是7自由度串联机械臂末端Marker坐标系相对于相机坐标系的位姿变换矩阵；
Figure BDA0003225110480000123
是与目标骨固连的Marker坐标系相对于相机坐标系的位姿变换矩阵；
Figure BDA0003225110480000124
是CT图像坐标系相对于目标骨固连Marker的局部坐标系的位姿变换矩阵，可以通过图像配准得到；
Figure BDA0003225110480000125
是目标手术工具坐标系相对于图像坐标系的位姿变换矩阵，在术前规划阶段给出。根据链式法则，7自由度串联机械臂TCP从起始位置到目标位置的坐标变换矩阵可由下式求出：
Figure BDA0003225110480000126
式(3-1)中T为7自由度串联机械臂末端TCP坐标系的变换矩阵，将它发给7自由度串联机械臂控制器可以控制7自由度串联机械臂运动，将穿刺手术末端执行器从起始位置带到目标姿态，进而可以开始穿刺操作。
视觉伺服使用基于双目视觉的目标定位与手术导航方法，包括X角点的识别和定位，Marker的注册及识别，手术器械尖端的注册和定位，图像配准。结合GPU对算法进行加速，对于960*480的图像，每秒钟可以处理超过100帧，满足***对于实时性的要求。通过快速识别定位手术器械，将前期大脑的模型和手术器械模型导入虚拟场景中，通过图像配准可以实现手术可视化导航。
3.手术控制***
手术控制***03控制脑室穿刺手术的全过程，手术控制***03例如可以包括一计算机，该计算机包括图像处理模块、电机控制模块、力觉信号处理模块、交互设备通讯模块以及视觉导航显示模块。人机协同算法控制流程包括术前规划，视觉导航和人机协同，以及视觉-力觉结合的安全保障机制，如图9所示。
术前规划过程包括：获得手术对象的图像信息；图像分割；确定手术目标；对手术对象配准。除此之外还需要准备好手术环境，包括：在手术对象上固连视觉标记物(marker)；确保手术对象在双目相机视野内并固定；使手术机器人处于工作位置(双目相机可以看到)
首先机器人根据术前规划的轨迹在视觉引导下使穿刺执行器到达穿刺起始的位姿。其中包括对双目相机图像进行实时角点检测，基于视觉marker的快速模板匹配，进而实时计算与视觉marker固连的穿刺手术末端执行器位置，结合机械臂的位姿在上位机软件中实时显示手术状态。
在机器人到达穿刺起始位姿后，由操作者操作交互设备进行人机协同操作。根据前文穿刺执行器硬件设计所述，在到达穿刺起始点后获得压力传感器起始数据F10，F20。随后开始实时读取压力传感器数据并根据公式(2-3)计算穿刺力。穿刺力会成比例通过交互设备反馈到操作者手上。在穿刺过程中操作者的操作有手术导航视觉显示和交互设备力反馈的双重保障。
操作者首先通过交互设备控制钻头进给，直到到达目标位置，此时钻头不旋转。随后操作者扣动交互设备扳机钻头旋转。操作者根据手上反馈的力合理控制进给速率。在钻头穿破头骨时根据穿刺力的突变立刻自动停止钻头的旋转和进给。随后操作者可以进行其他操作。
操作者在人在环的穿刺手术的全程都可以根据手术导航和力觉反馈调整操作，穿刺全程均由操作者通过交互设备控制，并且对操作者要求很低。***能在充分考虑安全性的同时辅助医生高效完成穿刺手术。

Claims (8)

1.一种人机协同力反馈脑室穿刺机器人装置，其特征在于，所述人机协同力反馈脑室穿刺机器人装置包括手术机器人***(01)，手术监测***(02)，手术控制***(03)，手术操作装置(04)和手术显示装置(05)；其中手术机器人***(01)配置为执行穿刺手术动作；手术监测***(02)配置为术中器械追踪和虚拟现实可视化导航；手术控制***(03)配置为辅助穿刺操作；手术操作装置(04)为操作者手持的交互装置；手术显示装置(05)为外接的屏幕。
2.根据权利要求1所述的人机协同力反馈脑室穿刺机器人装置，其特征在于，手术机器人***(01)包括7自由度串联机械臂、穿刺手术末端执行器以及配套控制柜；
优选的，手术监测***(02)包括视觉伺服导航***和力反馈***；其中，力反馈***包括穿刺手术末端执行器的压力传感器、力觉交互设备和上位机；视觉伺服导航***包括双目相机和固连在穿刺手术末端执行器以及手术对象上的视觉标记物；
优选的，手术控制***(03)是一计算机，该计算机包括图像处理模块、力觉信号处理模块、交互设备通讯模块以及视觉导航显示模块；
优选的，手术操作装置(04)配置为通过对交互设备的操作将手部动作映射到手术机器人***(03)的穿刺动作中。
3.根据权利要求1或2所述的人机协同力反馈脑室穿刺机器人装置，其特征在于，手术机器人***(01)包括7自由度串联机械臂(06)、穿刺手术末端执行器(07)以及配套控制柜(08)；
优选的，穿刺手术末端执行器(07)包括穿刺钻头(09)、穿刺轴向力测量模块(10)和进给机构(11)；
优选的，穿刺钻头(09)包括麻花钻头(12)、轴承座(13)、联轴器(14)、电机支架(15)以及电机(16)，其中，轴承座(13)为麻花钻头(12)提供支撑，电机支架(15)为电机(16)提供支撑，联轴器(14)连接电机(16)和麻花钻头(12)，将电机(16)的动力传输给麻花钻头(12)；
优选的，穿刺轴向力测量模块(10)包括预紧力模块(17)，活动力传感器支架(18)，压力传感器(19)，钻头连接块(20)，压力传感器接触块(21)，固定力传感器支架(22)，滑块(23)，导轨(24)和底板(25)；预紧力模块(17)、活动力传感器支架(18)、导轨(24)、固定力传感器支架(22)依次固定在底板(25)上；其中，预紧力模块(17)有一个面向活动力传感器支架(18)的螺纹孔，活动力传感器支架(18)和固定力传感器支架(22)上固定压力传感器(19)；导轨(24)上安装滑块(23)，优选的，滑块(23)采用直线轴承，能够在导轨上自由滑动；滑块(23)上依次固连压力传感器接触块(21)和钻头连接块(20)；钻头连接块(20)固连穿刺钻头(09)，将穿刺钻头(09)受到的轴向力传导到穿刺轴向力测量模块(10)中，特别的是其固连的压力传感器接触块(21)中；压力传感器接触块(21)与压力传感器19接触的面为平面；
优选的，进给机构(11)包括直流电机(26)、同步带机构(27)、丝杠螺母机构(28)、滑块(29)、光电开关(30)和机械臂连接件(31)；其中，同步带机构(27)将直流电机(26)输出的旋转转换为丝杠螺母机构(28)的输入；丝杠螺母机构(28)将输入的旋转转换为直线运动，并带动滑块(29)的直线运动；滑块(29)固连有金属片，用于配合光电开关(30)进行限位；滑块(29)固连穿刺轴向力测量模块(10)；优选的，光电开关(30)通过检测滑块(29)固连的金属片对光电开关光路的阻挡起到对滑块(29)限位的作用；机械臂连接件(31)连接穿刺手术末端执行器(07)与7自由度机械臂(06)。
4.根据权利要求1-3任一项所述的人机协同力反馈脑室穿刺机器人装置，其特征在于，手术监测***(02)配置为实现视觉伺服和视觉导航；手术监测***(02)包括视觉伺服导航***和力反馈***，其中，力反馈***包括穿刺手术末端执行器的压力传感器、力觉交互设备和上位机；视觉伺服导航***包括双目相机和固连在穿刺手术末端执行器和手术对象上的视觉标记物。
5.根据权利要求1-4任一项所述的人机协同力反馈脑室穿刺机器人装置，其特征在于，手术控制***(03)配置为控制脑室穿刺手术的全过程；
优选的，手术控制***(03)包括一计算机，该计算机包括图像处理模块、电机控制模块、力觉信号处理模块、交互设备通讯模块以及视觉导航显示模块。
6.根据权利要求1-5任一项所述的人机协同力反馈脑室穿刺机器人装置的控制方法，其特征在于，所述控制方法包括术前规划、视觉导航和人机协同。
7.根据权利要求6所述的控制方法，其特征在于，术前规划包括：获得手术对象的图像信息；图像分割；确定手术目标；对手术对象配准；除此之外还需要准备好手术环境，包括：在手术对象上固连视觉标记物(Marker)；确保手术对象在双目相机视野内并固定；使手术机器人处于工作位置，即双目相机可以看到的位置。
8.根据权利要求6或7所述的控制方法，其特征在于，视觉导航和人机协同包括：
首先机器人根据术前规划的轨迹在视觉引导下使穿刺手术末端执行器到达穿刺起始的位姿；其中包括对双目相机图像进行实时角点检测，基于视觉标记物(marker)的快速模板匹配，进而实时计算与视觉标记物(marker)固连的穿刺手术末端执行器位置，结合机械臂的位姿在上位机软件中实时显示手术状态；
在机器人到达穿刺起始位姿后，由操作者操作交互设备进行人机协同操作；在到达穿刺起始点后获得压力传感器起始数据F10，F20；随后开始实时读取压力传感器数据并根据公式F＝(F21-F20)-(F11-F10)(2-3)计算穿刺力；穿刺力会成比例通过交互设备反馈到操作者手上；在穿刺过程中操作者的操作有手术导航视觉显示和交互设备力反馈的双重保障；
操作者首先通过交互设备控制钻头进给，直到到达目标位置，此时钻头不旋转；随后操作者扣动交互设备扳机钻头旋转；操作者根据手上反馈的力合理控制进给速率；在钻头穿破头骨时根据穿刺力的突变立刻自动停止钻头的旋转和进给；随后操作者进行其他操作；
使用机器人进行穿刺手术，需要视觉伺服导航***提供7自由度串联机械臂的目标位姿信息；术前规划阶段可以给出TCP坐标系在图像坐标系中的目标位姿，通过图像配准映射得到在实际手术空间中7自由度串联机械臂TCP坐标系相对于头骨视觉标记物(Marker)局部坐标系的相对位姿，进而控制7自由度串联机械臂运动到正确的穿刺位姿；详细的坐标系变换关系如图8所示；
其中，{OTCP}为手术工具坐标系，
Figure FDA0003225110470000041
为固定于7自由度串联机械臂末端的视觉标记物(Marker)坐标系，{OC}为相机坐标系，
Figure FDA0003225110470000042
为固连于目标骨上的视觉标记物(Marker)坐标系，{OM}为CT图像空间坐标系，{OVTCP}为7自由度串联机械臂到达目标位置时的手术工具坐标系；上述坐标系之间的转换关系如下：
Figure FDA0003225110470000043
是7自由度串联机械臂末端视觉标记物(Marker)坐标系相对于手术工具坐标系的位姿变换矩阵，由手眼标定得到；
Figure FDA0003225110470000044
是7自由度串联机械臂末端视觉标记物(Marker)坐标系相对于相机坐标系的位姿变换矩阵；
Figure FDA0003225110470000045
是与目标骨固连的视觉标记物(Marker)坐标系相对于相机坐标系的位姿变换矩阵；
Figure FDA0003225110470000046
是CT图像坐标系相对于目标骨固连视觉标记物(Marker)的局部坐标系的位姿变换矩阵，可以通过图像配准得到；
Figure FDA0003225110470000051
是目标手术工具坐标系相对于图像坐标系的位姿变换矩阵，在术前规划阶段给出；根据链式法则，7自由度串联机械臂TCP从起始位置到目标位置的坐标变换矩阵可由下式求出：
Figure FDA0003225110470000052
式(3-1)中T为7自由度串联机械臂末端TCP坐标系的变换矩阵，将它发给7自由度串联机械臂控制器可以控制7自由度串联机械臂运动，将穿刺手术末端执行器从起始位置带到目标姿态，进而可以开始穿刺操作；
视觉伺服使用基于双目视觉的目标定位与手术导航方法，包括X角点的识别和定位，视觉标记物(Marker)的注册及识别，手术器械尖端的注册和定位，图像配准；结合GPU对算法进行加速，对于960*480的图像，每秒钟可以处理超过100帧，满足***对于实时性的要求；通过快速识别定位手术器械，将前期大脑的模型和手术器械模型导入虚拟场景中，通过图像配准可以实现手术可视化导航。
CN202110969487.4A 2021-08-23 2021-08-23 一种人机协同力反馈脑室穿刺机器人装置 Pending CN113679473A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110969487.4A CN113679473A (zh) 2021-08-23 2021-08-23 一种人机协同力反馈脑室穿刺机器人装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110969487.4A CN113679473A (zh) 2021-08-23 2021-08-23 一种人机协同力反馈脑室穿刺机器人装置

Publications (1)

Publication Number Publication Date
CN113679473A true CN113679473A (zh) 2021-11-23

Family

ID=78581525

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110969487.4A Pending CN113679473A (zh) 2021-08-23 2021-08-23 一种人机协同力反馈脑室穿刺机器人装置

Country Status (1)

Country Link
CN (1) CN113679473A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114235010A (zh) * 2021-12-31 2022-03-25 杭州堃博生物科技有限公司 定位追踪组件的验证方法、装置、电子设备与存储介质
CN114631884A (zh) * 2022-02-14 2022-06-17 上海脑虎科技有限公司 一种电极植入手术机器人
CN116277035A (zh) * 2023-05-15 2023-06-23 北京壹点灵动科技有限公司 机器人的控制方法、装置、处理器及电子设备
CN116898548A (zh) * 2023-09-13 2023-10-20 真健康（北京）医疗科技有限公司 穿刺手术机器人末端移动位置的确定方法及设备
CN116901087A (zh) * 2023-09-13 2023-10-20 真健康（北京）医疗科技有限公司 一种穿刺手术机器人末端力和力矩的确定方法及设备
CN117017488A (zh) * 2023-10-10 2023-11-10 华中科技大学同济医学院附属协和医院 一种包含非自主运动补偿的穿刺臂路径规划方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105105849A (zh) * 2015-07-22 2015-12-02 北京航空航天大学 一种前交叉韧带重建术中的机器人末端执行器
CN109009444A (zh) * 2018-08-23 2018-12-18 广州医科大学附属第医院 一种电磁式力反馈穿刺手术辅助装置及机器人穿刺***
CN110353806A (zh) * 2019-06-18 2019-10-22 北京航空航天大学 用于微创全膝关节置换手术的增强现实导航方法及***
CN112220557A (zh) * 2019-06-30 2021-01-15 苏州理禾医疗技术有限公司 用于颅脑穿刺的手术导航及机器臂装置及定位方法
CN112370163A (zh) * 2020-11-11 2021-02-19 上海交通大学医学院附属第九人民医院 用于下颌骨重建的腓骨移植手术机器人

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105105849A (zh) * 2015-07-22 2015-12-02 北京航空航天大学 一种前交叉韧带重建术中的机器人末端执行器
CN109009444A (zh) * 2018-08-23 2018-12-18 广州医科大学附属第医院 一种电磁式力反馈穿刺手术辅助装置及机器人穿刺***
CN110353806A (zh) * 2019-06-18 2019-10-22 北京航空航天大学 用于微创全膝关节置换手术的增强现实导航方法及***
CN112220557A (zh) * 2019-06-30 2021-01-15 苏州理禾医疗技术有限公司 用于颅脑穿刺的手术导航及机器臂装置及定位方法
CN112370163A (zh) * 2020-11-11 2021-02-19 上海交通大学医学院附属第九人民医院 用于下颌骨重建的腓骨移植手术机器人

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114235010A (zh) * 2021-12-31 2022-03-25 杭州堃博生物科技有限公司 定位追踪组件的验证方法、装置、电子设备与存储介质
CN114631884A (zh) * 2022-02-14 2022-06-17 上海脑虎科技有限公司 一种电极植入手术机器人
CN116277035A (zh) * 2023-05-15 2023-06-23 北京壹点灵动科技有限公司 机器人的控制方法、装置、处理器及电子设备
CN116277035B (zh) * 2023-05-15 2023-09-12 北京壹点灵动科技有限公司 机器人的控制方法、装置、处理器及电子设备
CN116898548A (zh) * 2023-09-13 2023-10-20 真健康（北京）医疗科技有限公司 穿刺手术机器人末端移动位置的确定方法及设备
CN116901087A (zh) * 2023-09-13 2023-10-20 真健康（北京）医疗科技有限公司 一种穿刺手术机器人末端力和力矩的确定方法及设备
CN116901087B (zh) * 2023-09-13 2023-11-17 真健康（北京）医疗科技有限公司 一种穿刺手术机器人末端力和力矩的确定方法及设备
CN116898548B (zh) * 2023-09-13 2023-12-12 真健康（北京）医疗科技有限公司 穿刺手术机器人末端移动位置的确定方法及设备
CN117017488A (zh) * 2023-10-10 2023-11-10 华中科技大学同济医学院附属协和医院 一种包含非自主运动补偿的穿刺臂路径规划方法
CN117017488B (zh) * 2023-10-10 2024-01-09 华中科技大学同济医学院附属协和医院 一种包含非自主运动补偿的穿刺臂路径规划方法

Similar Documents

Publication Publication Date Title
CN113679473A (zh) 一种人机协同力反馈脑室穿刺机器人装置
US12011232B2 (en) Systems and methods for using tracking in image-guided medical procedure
US11779405B2 (en) Systems and methods for entry point localization
US11357581B2 (en) Method for using a physical object to manipulate a corresponding virtual object in a virtual environment, and associated apparatus and computer program product
US6547782B1 (en) System and method for augmentation of surgery
US8734431B2 (en) Remote control system
US8974460B2 (en) Device for controlled adjustment of a surgical positioning unit
CA2633137C (en) Microsurgical robot system
US20220160443A1 (en) Robotic surgical methods and apparatuses
TW201524451A (zh) 骨科手術之手持式機器人以及其控制方法
US20230000354A1 (en) Systems and methods for medical procedures using optical coherence tomography sensing
JPH07184929A (ja) 手術装置
US20180110569A1 (en) Surgical instrument with led lighting and absolute orientation
JP2006312079A (ja) 医療用マニピュレータ
JP2003275223A (ja) 手術装置
CN114098962A (zh) 一种脑出血穿刺手术导航***
CN210250064U (zh) 一种基于光学导航及力反馈控制的颅颌面外科机器人***
US20240138932A1 (en) Systems and methods for controlling one or more surgical tools
Jin et al. Safety design and control algorithm for robotic spinal surgical system
CN109481019A (zh) 基于光学导航及力反馈控制的颅颌面外科机器人***
US20230240766A1 (en) Automatic robotic procedure for skin cutting, tissue pathway, and dilation creation
Troccaz et al. Computer-augmented surgery
WO2022253286A1 (zh) 术中不动点的调整方法、可读存储介质及手术机器人***
CN116439828A (zh) 一种股骨颈骨折手术机器人末端导向方法
CN116942325A (zh) 一种脊柱骨科手术机器人***及末端执行器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination