CN109528313A - 光谱三维定位识别*** - Google Patents

光谱三维定位识别*** Download PDF

Info

Publication number
CN109528313A
CN109528313A CN201811188115.2A CN201811188115A CN109528313A CN 109528313 A CN109528313 A CN 109528313A CN 201811188115 A CN201811188115 A CN 201811188115A CN 109528313 A CN109528313 A CN 109528313A
Authority
CN
China
Prior art keywords
narrow
image
operation tool
spectrum
band
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811188115.2A
Other languages
English (en)
Other versions
CN109528313B (zh
Inventor
舒远
王星泽
李梓彤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heyi Science And Technology (wuhan) Co Ltd
Original Assignee
Heyi Science And Technology (wuhan) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Heyi Science And Technology (wuhan) Co Ltd filed Critical Heyi Science And Technology (wuhan) Co Ltd
Priority to CN201811188115.2A priority Critical patent/CN109528313B/zh
Publication of CN109528313A publication Critical patent/CN109528313A/zh
Application granted granted Critical
Publication of CN109528313B publication Critical patent/CN109528313B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/10—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis
    • A61B90/11—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis with guides for needles or instruments, e.g. arcuate slides or ball joints
    • A61B90/13—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis with guides for needles or instruments, e.g. arcuate slides or ball joints guided by light, e.g. laser pointers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种光谱三维定位识别***以及方法，包括：广谱光源，用于产生宽波段的广谱光线，其中，所述广谱光线用于照射手术区域；光谱成像阵列设备，用于采集所述广谱光线被所述手术区域反射而形成的多组窄波段光谱图像，其中，不同组的窄波段光谱图像具有不同的成像窄波段，所述多组窄波段光谱图像中的每组窄波段光谱图像包括多个窄波段相同，角度不同的光谱图像，所述成像窄波段的数量在100以上；处理***，用于根据所述多组窄波段光谱图像构建所述手术区域的三维图像；显示设备，用于将介入路径增强至所述三维图像中，从而得到增强后的三维图像并进行显示。

Description

光谱三维定位识别***
技术领域
本申请涉及医疗器械领域，尤其涉及一种光谱三维定位识别***。
背景技术
随着公众对健康的重视度越来越高及医疗水平的不断提升，外科手术也越来越常见。在外科手术中，手术的成功率以及效果与手术的精确度紧密相关，传统手术都是依靠医生的经验，对手术工具以及病变位置进行目视判断，精确度不高，而且对医生的要求也很高。
但是，如何提高外科手术的精度，是至今尚未解决的一个难题。
发明内容
本申请提供了一种光谱三维定位识别***，能够有效地提高外科手术的精度。
第一方面，提供了一种光谱三维定位识别***，包括：
广谱光源，用于产生宽波段的广谱光线，其中，所述广谱光线用于照射手术区域；
光谱成像阵列设备，用于采集所述广谱光线被所述手术区域反射而形成的多组窄波段光谱图像，其中，不同组的窄波段光谱图像具有不同的成像窄波段，所述多组窄波段光谱图像中的每组窄波段光谱图像包括多个窄波段相同，角度不同的光谱图像，所述成像窄波段的数量在100以上；
处理***，用于根据所述多组窄波段光谱图像构建所述手术区域的三维图像；
显示设备，用于将介入路径增强至所述三维图像中，从而得到增强后的三维图像并进行显示。
可选地，所述手术区域包括：病变部位、手术工具和手术标记，
处理***还用于根据所述多组窄波段光谱图像将所述手术部位、所述手术工具和所述手术标记进行定位和分割从而得到定位分割结果，从而根据定位分割结果确定所述手术部位、所述手术工具和所述手术标记之间的相对位置；并且，根据所述手术部位、所述手术工具和所述手术标记之间的相对位置进行坐标转换，从而实现三维图像的重构。
可选地，所述手术工具中设置有陀螺仪，加速度计，距离传感器中的一个或者多个；
处理***还用于接收所述手术工具发送的位置信息，其中，所述位置信息是根据所述陀螺仪，所述加速度计和所述距离传感器中的一个或者多个采集到的位置数据计算得到的；
结合所述定位分割结果以及所述位置信息确定所述手术部位、所述手术工具和所述手术标记之间的相对位置。
可选地，所述处理***还用于根据所述多组窄波段光谱图像确定所述手术工具的匹配点；根据所述手术工具的匹配点和第一关系确定所述手术工具的位置信息以及姿态角，其中，所述第一关系为所述手术工具的匹配点和所述手术工具的三维模型的立体关系。
可选地，处理***还用于确定所述手术工具的切入深度是否大于第一阈值或者小于第二阈值，其中，第一阈值大于第二阈值；在所述手术工具的切入深度大于第一阈值或者小于第二阈值的情况下，发出提示信息。
第二方面，提供了一种光谱三维定位识别方法，包括如下步骤：
广谱光源产生宽波段的广谱光线，其中，所述广谱光线用于照射手术区域；
光谱成像阵列设备采集所述广谱光线被所述手术区域反射而形成的多组窄波段光谱图像，其中，不同组的窄波段光谱图像具有不同的成像窄波段，所述多组窄波段光谱图像中的每组窄波段光谱图像包括多个窄波段相同，角度不同的光谱图像，所述成像窄波段的数量在100以上；
处理***根据所述多组窄波段光谱图像构建所述手术区域的三维图像；
显示设备将介入路径增强至所述三维图像中，从而得到增强后的三维图像并进行显示。
可选地，所述手术区域包括：手术部位、手术工具和手术标记，所述处理***根据所述多组窄波段光谱图像构建所述手术区域的三维图像，包括：
处理***根据所述多组窄波段光谱图像将所述手术部位、所述手术工具和所述手术标记进行定位和分割从而得到定位分割结果，从而根据定位分割结果确定所述手术部位、所述手术工具和所述手术标记之间的相对位置；并且，根据所述手术部位、所述手术工具和所述手术标记之间的相对位置进行坐标转换，从而实现三维图像的重构。
可选地，所述手术工具中设置有陀螺仪，加速度计，距离传感器中的一个或者多个；所述方法还包括：
处理***接收所述手术工具发送的位置信息，其中，所述位置信息是根据所述陀螺仪，所述加速度计和所述距离传感器中的一个或者多个采集到的位置数据计算得到的；
所述处理***根据定位分割结果确定所述手术部位、所述手术工具和所述手术标记之间的相对位置，包括：
所述处理***结合所述定位分割结果以及所述位置信息确定所述手术部位、所述手术工具和所述手术标记之间的相对位置。
可选地，所述方法还包括：所述处理***根据所述多组窄波段光谱图像确定所述手术工具的匹配点；所述处理***根据所述手术工具的匹配点和第一关系确定所述手术工具的位置信息以及姿态角，其中，所述第一关系为所述手术工具的匹配点和所述手术工具的三维模型的立体关系。
可选地，所述方法还包括：所述处理***确定所述手术工具的切入深度是否大于第一阈值或者小于第二阈值，其中，第一阈值大于第二阈值；所述处理***在所述手术工具的切入深度大于第一阈值或者小于第二阈值的情况下，发出提示信息。
上述方案中，通过广谱光源产生宽波段的广谱光线照射手术区域；光谱成像阵列设备采集所述广谱光线被所述手术区域反射而形成的多组窄波段光谱图像，其中，不同的窄波段光谱图像具有不同的成像窄波段，所述多组窄波段光谱图像中的每组窄波段光谱图像包括多个窄波段相同，角度不同的光谱图像；处理***根据所述多组窄波段光谱图像构建所述手术区域的三维图像，并将介入路径增强至所述所述三维图像中，从而得到增强后的三维图像。上述方法中，可以根据多组窄波段光谱图像获得更丰富的有效信息，从而构建出精确度更高的三维图像，并且，通过虚拟增强技术在三维图像上叠加介入路径，可以引导医生正确进行手术，提高了手术的精度。
附图说明
图1是本申请提供的一种光谱三维定位识别***的结构示意图；
图2是本申请提供的一种手术刀具的匹配点和三维模型的示意图；
图3是本申请提供的增强现实前和增强现实后的对比图；
图4是本申请提供的一种通过增强现实的方式进行提示信息的示意图；
图5是本申请提供的一种光谱三维定位识别方法的流程示意图。
具体实施例
参见图1，图1是本申请提供的一种光谱三维定位识别***的结构示意图。在本申请实施例中，光谱三维定位识别***包括：广谱光源110，光谱成像阵列设备120、处理***130以及显示设备140。
广谱光源110用于产生宽波段的广谱光线，其中，所述广谱光线用于照射手术区域；
光谱成像阵列设备120用于采集所述广谱光线被所述手术区域反射而形成的多组窄波段光谱图像，其中，不同的窄波段光谱图像具有不同的成像窄波段；
处理***130用于根据所述多组窄波段光谱图像构建所述手术区域的三维图像；
显示设备140用于将介入路径增强至所述三维图像中，从而得到增强后的三维图像并进行显示。
在本申请具体的实施方式中，广谱光源用于产生宽波段的广谱光线。广谱光源产生的波长的范围可以从红外延伸至紫外，从红外延伸至可见光，或者，从可见光延伸至紫外等等。在实际应用中，广谱光源的数量可以是一个或者多个。在一具体的实施例中，多个广谱光源产生的广谱光线的波段的范围都是相同的，例如，第一广谱光源产生的广谱光线的波长范围为350纳米至850纳米，第二广谱光源产生的广谱光线的波长范围也为350纳米至850纳米等等。在另一具体的实施例中，多个广谱光源产生的广谱光线的波段的范围都是相同的，例如，第一广谱光源产生的广谱光线的波长范围为350纳米至550纳米，第二广谱光源产生的广谱光线的波长范围也为550纳米至850纳米等等。
在上述例子中，皆以广谱光源产生的广谱光线为连续的宽波段为例进行说明，在实际应用中，广谱光源产生的广谱光线也可以是不连续的宽波段，例如，第一广谱光源产生的广谱光线的波长范围为350纳米至450纳米，第一广谱光源产生的广谱光线的波长范围为650纳米至850纳米等等，此处不作具体限定。
在本申请具体的实施方式中，手术区域可以包括：手术部位、手术工具和手术标记。其中，手术部位可以病人身上需要被做手术的部位，以及需要被做手术的部位的附近部位。手术工具可以是手术刀、针筒、手术剪刀、手术拉钩以及撑开器等等。手术标记可以是便于进行定位的手术标记物。当然，手术区域还可以包括其他的手术元素，例如医生或者护士等等，此处不作具体限定。
在本申请具体的实施方式中，光谱成像阵列设备120可以形成多组窄波段光谱图像。光谱成像阵列设备120可以是高光谱成像阵列设备或者超光谱成像阵列设备等等。其中，高光谱成像阵列设备以数百至数千个连续且细分的光谱波段对手术区域同时成像，超光谱成像阵列设备以数千至数万个连续且细分的光谱波段对手术区域同时成像。当然，光谱成像阵列设备120还可以以更多的连续且细分的光谱波段对手术区域同时成像，例如数万个至数十万个连续且细分的光谱波段对手术区域同时成像等等，此处不作具体限定。
在本申请具体的实施方式中，不同的窄波段光谱图像具有不同的成像窄波段，因此，不同的窄波段光谱图像具有不同的视野。将不同的窄波段光谱图像进行综合，可以获得更广阔的视野，因而可以获得更丰富的信息。举例来说，人体的皮肤能够较好地反射a成像窄波段，人体的肌肉能够较好地反射b成像窄波段，人体的血管能够较好地反射c成像窄波段，人体的骨骼能够较好地反射d成像窄波段。因此，可以根据a成像窄波段获得反应人体皮肤情况的A窄波段光谱图像，可以根据b成像窄波段获得反应人体肌肉情况的B窄波段光谱图像，可以根据c成像窄波段获得反应人体骨骼情况的C窄波段光谱图像，可以根据d成像窄波段获得反应人体骨骼情况的D窄波段光谱图像。因而，可以获得更准确的人体信息。可以理解，当光谱波段细分的程度越高，则光谱成像阵列设备120的视野越广阔，光谱生成设备获得的信息也自然越丰富。
在本申请的实施方式中，处理***130根据所述多组窄波段光谱图像构建所述手术区域的三维图像，其中，每组窄波段光谱图像包括多个窄波段相同，角度不同的光谱图像。具体地，继续以上述的例子进行说明，处理***130可以根据不同角度的A窄波段光谱图像重建皮肤的三维图像A，根据不同角度的B窄波段光谱图像重建肌肉的三维图像B，根据不同角度的C窄波段光谱图像重建血管的三维图像C，根据不同角度的D窄波段光谱图像重建骨骼的三维图像D。将三维图像A、三维图像B、三维图像C以及三维图像D进行融合后，就可以获得能够同时反映皮肤、肌肉、血管和骨骼的三维图像。
在本申请具体的实施方式中，处理***130根据所述多组窄波段光谱图像构建所述手术区域的三维图像具体可以是：处理***130将所述手术部位、所述手术工具和所述手术标记进行定位和分割从而得到定位分割结果，从而根据定位分割结果确定所述手术部位、所述手术工具和所述手术标记之间的相对位置，然后，再根据所述手术部位、所述手术工具和所述手术标记之间的相对位置重构三维图像。可以理解，通过多组窄波段光谱图像可以获得更加丰富的信息，因而，可以更加准确地对所述手术部位、所述手术工具和所述手术标记进行定位和分割。
在本申请具体的实施方式中，处理***130将所述手术部位、所述手术工具和所述手术标记进行定位和分割从而得到定位分割结果具体可以是：在获得多组窄波段光谱图像之后，处理***130可以用特征提取算法(例如，卷积神经网络)提取多组窄波段光谱图像的纹理特征。然后，再结合图像识别算法(例如，卷积神经网络)和动作追踪算法对手术前做的标记、手术工具与手术相关区域进行准确定位或分割，从而得到定位分割结果。
在本申请具体的实施方式中，为了提高所述手术工具的定位和分割精度，还可以在手术工具中设置有陀螺仪，加速度计，距离传感器中的一个或者多个。手术工具可以通过陀螺仪，加速度计，距离传感器获取手术工具的位置，手术工具与所述手术标记之间的距离等等位置数据。手术工具将采集到的位置数据发送给作为位置信息发送给处理***130。处理***130再根据接收到的位置信息结合所述定位分割结果确定所述手术部位、所述手术工具和所述手术标记之间的相对位置。
在本申请具体的实施方式中，所述处理***130还用于根据所述多组窄波段光谱图像确定所述手术工具的匹配点；根据所述手术工具的匹配点和第一关系确定所述手术工具的位置信息以及姿态角，其中，所述第一关系为所述手术工具的匹配点和所述手术工具的三维模型的立体关系。手术工具的匹配点能够很好地反映手术刀的位置信息和姿态角，例如，当手术刀为水平放置时，手术刀的刀尖、刀身和刀柄上的匹配点基本成一水平线；当手术刀为竖直放置时，手术刀的刀尖、刀身和刀柄上的匹配点基本成一竖直线等等。此外，为了提高手术刀的位置信息和姿态角的识别精度，可以根据所述手术工具的匹配点和第一关系确定所述手术工具的位置信息以及姿态角。可以理解，同时根据所述手术工具的匹配点和第一关系确定所述手术工具的位置信息以及姿态角能够更有效地提高手术工具的位置信息以及姿态角准确度。举例来说，如图2所示，假设当手术刀为水平放置时，手术刀的刀尖1和刀柄上的匹配点3基本成一水平线，刀身上的匹配点2高于手术刀的刀尖的匹配点1和刀柄上的匹配点3的连线，明显刀身上的匹配点2是存在问题的，通过将手术工具的三维模型和匹配点进行匹配，可以排除明显存在问题的匹配点2。
在本申请具体的实施方式中，显示设备140将介入路径增强至所述所述三维图像中，从而得到增强后的三维图像并进行显示。如图3左边所示，在没有进行增强现实之前，医生只能根据经验进行手术；如图3右边所示，在进行了增强现实之后，医生可以根据增强现实的指引进行手术。其中，显示设备可以是显示屏，也可以是虚拟现实头戴式显示设备，例如，虚拟现实眼镜，虚拟现实眼罩以及虚拟现实头盔等等，此处不作具体限定。
在本申请具体的实施方式中，在手术的过程中，光谱三维定位识别***一直采集多组窄波段光谱图像，并继续生成三维图像。处理***130根据生成的三维图像确定手术工具的切入深度是否大于第一阈值或者小于第二阈值；在所述手术工具的切入深度大于第一阈值的情况下，发出提示信息提示手术工具的切入深度过深，在所述手术工具的切入深度小于第二阈值的情况下，发出提示信息提示手术工具的切入深度过浅。其中，提示信息可以是声音、光线或者文字中的一种。如图4所示，可以通过增强现实的方法在三维图像上增加文字以提醒医生切入过深。
上述方案中，通过广谱光源产生宽波段的广谱光线照射手术区域；光谱成像阵列设备采集所述广谱光线被所述手术区域反射而形成的多组窄波段光谱图像，其中，不同的窄波段光谱图像具有不同的成像窄波段，所述多组窄波段光谱图像中的每组窄波段光谱图像包括多个窄波段相同，角度不同的光谱图像；处理***根据所述多组窄波段光谱图像构建所述手术区域的三维图像，并将介入路径增强至所述所述三维图像中，从而得到增强后的三维图像。上述方法中，可以根据多组窄波段光谱图像获得更丰富的有效信息，从而构建出精确度更高的三维图像，并且，通过虚拟增强技术在三维图像上叠加介入路径，可以引导医生正确进行手术，提高了手术的精度。
参阅图5，图5是本申请实施例提供的一种光谱三维定位识别方法的结构示意图。本实施例的光谱三维定位识别方法，包括如下步骤：
S101：广谱光源产生宽波段的广谱光线，其中，所述广谱光线用于照射手术区域。
在本申请具体的实施方式中，广谱光源用于产生宽波段的广谱光线。广谱光源产生的波长的范围可以从红外延伸至紫外，从红外延伸至可见光，或者，从可见光延伸至紫外等等。在实际应用中，广谱光源的数量可以是一个或者多个。在一具体的实施例中，多个广谱光源产生的广谱光线的波段的范围都是相同的，例如，第一广谱光源产生的广谱光线的波长范围为350纳米至850纳米，第二广谱光源产生的广谱光线的波长范围也为350纳米至850纳米等等。在另一具体的实施例中，多个广谱光源产生的广谱光线的波段的范围都是相同的，例如，第一广谱光源产生的广谱光线的波长范围为350纳米至550纳米，第二广谱光源产生的广谱光线的波长范围也为550纳米至850纳米等等。
在上述例子中，皆以广谱光源产生的广谱光线为连续的宽波段为例进行说明，在实际应用中，广谱光源产生的广谱光线也可以是不连续的宽波段，例如，第一广谱光源产生的广谱光线的波长范围为350纳米至450纳米，第一广谱光源产生的广谱光线的波长范围为650纳米至850纳米等等，此处不作具体限定。
S102：光谱成像阵列设备采集所述广谱光线被所述手术区域反射而形成的多组窄波段光谱图像，其中，不同的窄波段光谱图像具有不同的成像窄波段。
在本申请具体的实施方式中，手术区域可以包括：手术部位、手术工具和手术标记。其中，手术部位可以病人身上需要被做手术的部位，以及需要被做手术的部位的附近部位。手术工具可以是手术刀、针筒、手术剪刀、手术拉钩以及撑开器等等。手术标记可以是便于进行定位的手术标记物。当然，手术区域还可以包括其他的手术元素，例如医生或者护士等等，此处不作具体限定。
在本申请具体的实施方式中，光谱成像阵列设备可以形成多组窄波段光谱图像。光谱成像阵列设备可以是高光谱成像阵列设备或者超光谱成像阵列设备等等。其中，高光谱成像阵列设备以数百至数千个连续且细分的光谱波段对手术区域同时成像，超光谱成像阵列设备以数千至数万个连续且细分的光谱波段对手术区域同时成像。当然，光谱成像阵列设备还可以以更多的连续且细分的光谱波段对手术区域同时成像，例如数万个至数十万个连续且细分的光谱波段对手术区域同时成像等等，此处不作具体限定。
在本申请具体的实施方式中，不同的窄波段光谱图像具有不同的成像窄波段，因此，不同的窄波段光谱图像具有不同的视野。将不同的窄波段光谱图像进行综合，可以获得更广阔的视野，因而可以获得更丰富的信息。举例来说，人体的皮肤能够较好地反射a成像窄波段，人体的肌肉能够较好地反射b成像窄波段，人体的血管能够较好地反射c成像窄波段，人体的骨骼能够较好地反射d成像窄波段。因此，可以根据a成像窄波段获得反应人体皮肤情况的A窄波段光谱图像，可以根据b成像窄波段获得反应人体肌肉情况的B窄波段光谱图像，可以根据c成像窄波段获得反应人体骨骼情况的C窄波段光谱图像，可以根据d成像窄波段获得反应人体骨骼情况的D窄波段光谱图像。因而，可以获得更准确的人体信息。可以理解，当光谱波段细分的程度越高，则光谱成像阵列设备的视野越广阔，光谱生成设备获得的信息也自然越丰富。
S103：处理***根据所述多组窄波段光谱图像构建所述手术区域的三维图像，并将介入路径增强至所述三维图像中，从而得到增强后的三维图像。
在本申请的实施方式中，处理***根据所述多组窄波段光谱图像构建所述手术区域的三维图像，其中，每组窄波段光谱图像包括多个窄波段相同，角度不同的光谱图像。具体地，继续以上述的例子进行说明，处理***可以根据不同角度的A窄波段光谱图像重建皮肤的三维图像A，根据不同角度的B窄波段光谱图像重建肌肉的三维图像B，根据不同角度的C窄波段光谱图像重建血管的三维图像C，根据不同角度的D窄波段光谱图像重建骨骼的三维图像D。将三维图像A、三维图像B、三维图像C以及三维图像D进行融合后，就可以获得能够同时反映皮肤、肌肉、血管和骨骼的三维图像。
在本申请具体的实施方式中，处理***根据所述多组窄波段光谱图像构建所述手术区域的三维图像具体可以是：处理***将所述手术部位、所述手术工具和所述手术标记进行定位和分割从而得到定位分割结果，从而根据定位分割结果确定所述手术部位、所述手术工具和所述手术标记之间的相对位置，然后，再根据所述手术部位、所述手术工具和所述手术标记之间的相对位置重构三维图像。可以理解，通过多组窄波段光谱图像可以获得更加丰富的信息，因而，可以更加准确地对所述手术部位、所述手术工具和所述手术标记进行定位和分割。
在本申请具体的实施方式中，处理***将所述手术部位、所述手术工具和所述手术标记进行定位和分割从而得到定位分割结果具体可以是：在获得多组窄波段光谱图像之后，处理***可以用特征提取算法(例如，卷积神经网络)提取多组窄波段光谱图像的纹理特征。然后，再结合图像识别算法(例如，卷积神经网络)和动作追踪算法对手术前做的标记、手术工具与手术相关区域进行准确定位或分割，从而得到定位分割结果。
在本申请具体的实施方式中，为了提高所述手术工具的定位和分割精度，还可以在手术工具中设置有陀螺仪，加速度计，距离传感器中的一个或者多个。手术工具可以通过陀螺仪，加速度计，距离传感器获取手术工具的位置，手术工具与所述手术标记之间的距离等等位置数据。手术工具将采集到的位置数据发送给作为位置信息发送给处理***。处理***再根据接收到的位置信息结合所述定位分割结果确定所述手术部位、所述手术工具和所述手术标记之间的相对位置。
在本申请具体的实施方式中，所述处理***还用于根据所述多组窄波段光谱图像确定所述手术工具的匹配点；根据所述手术工具的匹配点和第一关系确定所述手术工具的位置信息以及姿态角，其中，所述第一关系为所述手术工具的匹配点和所述手术工具的三维模型的立体关系。手术工具的匹配点能够很好地反映手术刀的位置信息和姿态角，例如，当手术刀为水平放置时，手术刀的刀尖、刀身和刀柄上的匹配点基本成一水平线；当手术刀为竖直放置时，手术刀的刀尖、刀身和刀柄上的匹配点基本成一竖直线等等。此外，为了提高手术刀的位置信息和姿态角的识别精度，可以根据所述手术工具的匹配点和第一关系确定所述手术工具的位置信息以及姿态角。可以理解，同时根据所述手术工具的匹配点和第一关系确定所述手术工具的位置信息以及姿态角能够更有效地提高手术工具的位置信息以及姿态角准确度。举例来说，如图2所示，假设当手术刀为水平放置时，手术刀的刀尖1和刀柄上的匹配点3基本成一水平线，刀身上的匹配点2高于手术刀的刀尖的匹配点1和刀柄上的匹配点3的连线，明显刀身上的匹配点2是存在问题的，通过将手术工具的三维模型和匹配点进行匹配，可以排除明显存在问题的匹配点2。
S104：显示设备将介入路径增强至所述三维图像中，从而得到增强后的三维图像并显示。
在本申请具体的实施方式中，显示设备可以是显示屏，也可以是虚拟现实头戴式显示设备，例如，虚拟现实眼镜，虚拟现实眼罩以及虚拟现实头盔等等，此处不作具体限定。
在本申请具体的实施方式中，医生戴上虚拟眼镜之后，就可以看到增强后的三维图像，并根据增强后的三维图像进行手术。如图3左边所示，在没有进行增强现实之前，医生只能根据经验进行手术；如图3右边所示，在进行了增强现实之后，医生可以根据增强现实的指引进行手术。
在本申请具体的实施方式中，在手术的过程中，光谱三维定位识别***一直采集多组窄波段光谱图像，并继续生成三维图像。处理***根据生成的三维图像确定手术工具的切入深度是否大于第一阈值或者小于第二阈值；在所述手术工具的切入深度大于第一阈值的情况下，发出提示信息提示手术工具的切入深度过深，在所述手术工具的切入深度小于第二阈值的情况下，发出提示信息提示手术工具的切入深度过浅。其中，提示信息可以是声音、光线或者文字中的一种。如图4所示，可以通过增强现实的方法在三维图像上增加文字以提醒医生切入过深。
上述方案中，通过广谱光源产生宽波段的广谱光线照射手术区域；光谱成像阵列设备采集所述广谱光线被所述手术区域反射而形成的多组窄波段光谱图像，其中，不同的窄波段光谱图像具有不同的成像窄波段，所述多组窄波段光谱图像中的每组窄波段光谱图像包括多个窄波段相同，角度不同的光谱图像；处理***根据所述多组窄波段光谱图像构建所述手术区域的三维图像，并将介入路径增强至所述所述三维图像中，从而得到增强后的三维图像。上述方法中，可以根据多组窄波段光谱图像获得更丰富的有效信息，从而构建出精确度更高的三维图像，并且，通过虚拟增强技术在三维图像上叠加介入路径，可以引导医生正确进行手术，提高了手术的精度。
在本申请所提供的几个实施例中，应该理解到，所揭露的***、终端和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种光谱三维定位识别***，其特征在于，包括：
广谱光源，用于产生宽波段的广谱光线，其中，所述广谱光线用于照射手术区域；
光谱成像阵列设备，用于采集所述广谱光线被所述手术区域反射而形成的多组窄波段光谱图像，其中，不同组的窄波段光谱图像具有不同的成像窄波段，所述多组窄波段光谱图像中的每组窄波段光谱图像包括多个窄波段相同，角度不同的光谱图像，所述成像窄波段的数量在100以上；
处理***，用于根据所述多组窄波段光谱图像构建所述手术区域的三维图像；
显示设备，用于将介入路径增强至所述三维图像中，从而得到增强后的三维图像并进行显示。
2.根据权利要求1所述的***，其特征在于，所述手术区域包括：手术部位、手术工具和手术标记，
处理***还用于根据所述多组窄波段光谱图像将所述手术部位、所述手术工具和所述手术标记进行定位和分割从而得到定位分割结果，从而根据定位分割结果确定所述手术部位、所述手术工具和所述手术标记之间的相对位置；并且，根据所述手术部位、所述手术工具和所述手术标记之间的相对位置进行坐标转换，从而实现三维图像的重构。
3.根据权利要求2所述的***，其特征在于，所述手术工具中设置有陀螺仪，加速度计，距离传感器中的一个或者多个；
处理***还用于接收所述手术工具发送的位置信息，其中，所述位置信息是根据所述陀螺仪，所述加速度计和所述距离传感器中的一个或者多个采集到的位置数据计算得到的；
结合所述定位分割结果以及所述位置信息确定所述手术部位、所述手术工具和所述手术标记之间的相对位置。
4.根据权利要求2或3所述的***，其特征在于，
所述处理***还用于根据所述多组窄波段光谱图像确定所述手术工具的匹配点；
根据所述手术工具的匹配点和第一关系确定所述手术工具的位置信息以及姿态角，其中，所述第一关系为所述手术工具的匹配点和所述手术工具的三维模型的立体关系。
5.根据权利要求1至4任一权利要求所述的***，其特征在于，
处理***还用于确定所述手术工具的切入深度是否大于第一阈值或者小于第二阈值，其中，第一阈值大于第二阈值；
在所述手术工具的切入深度大于第一阈值或者小于第二阈值的情况下，发出提示信息。
6.一种光谱三维定位识别方法，其特征在于，包括如下步骤：
广谱光源产生宽波段的广谱光线，其中，所述广谱光线用于照射手术区域；
光谱成像阵列设备采集所述广谱光线被所述手术区域反射而形成的多组窄波段光谱图像，其中，不同组的窄波段光谱图像具有不同的成像窄波段，所述多组窄波段光谱图像中的每组窄波段光谱图像包括多个窄波段相同，角度不同的光谱图像，所述成像窄波段的数量在100以上；
处理***根据所述多组窄波段光谱图像构建所述手术区域的三维图像；
显示设备将介入路径增强至所述三维图像中，从而得到增强后的三维图像并进行显示。
7.根据权利要求6所述的方法，其特征在于，所述手术区域包括：手术部位、手术工具和手术标记，所述处理***根据所述多组窄波段光谱图像构建所述手术区域的三维图像，包括：
处理***根据所述多组窄波段光谱图像将所述手术部位、所述手术工具和所述手术标记进行定位和分割从而得到定位分割结果，从而根据定位分割结果确定所述手术部位、所述手术工具和所述手术标记之间的相对位置；并且，根据所述手术部位、所述手术工具和所述手术标记之间的相对位置进行坐标转换，从而实现三维图像的重构。
8.根据权利要求7所述的方法，其特征在于，所述手术工具中设置有陀螺仪，加速度计，距离传感器中的一个或者多个；所述方法还包括：
处理***接收所述手术工具发送的位置信息，其中，所述位置信息是根据所述陀螺仪，所述加速度计和所述距离传感器中的一个或者多个采集到的位置数据计算得到的；
所述处理***根据定位分割结果确定所述手术部位、所述手术工具和所述手术标记之间的相对位置，包括：
所述处理***结合所述定位分割结果以及所述位置信息确定所述手术部位、所述手术工具和所述手术标记之间的相对位置。
9.根据权利要求7或8所述的方法，其特征在于，所述方法还包括：
所述处理***根据所述多组窄波段光谱图像确定所述手术工具的匹配点；
所述处理***根据所述手术工具的匹配点和第一关系确定所述手术工具的位置信息以及姿态角，其中，所述第一关系为所述手术工具的匹配点和所述手术工具的三维模型的立体关系。
10.根据权利要求6至9任一权利要求所述的方法，其特征在于，所述方法还包括：
所述处理***确定所述手术工具的切入深度是否大于第一阈值或者小于第二阈值，其中，第一阈值大于第二阈值；
所述处理***在所述手术工具的切入深度大于第一阈值或者小于第二阈值的情况下，发出提示信息。
CN201811188115.2A 2018-10-12 2018-10-12 光谱三维定位识别*** Active CN109528313B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811188115.2A CN109528313B (zh) 2018-10-12 2018-10-12 光谱三维定位识别***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811188115.2A CN109528313B (zh) 2018-10-12 2018-10-12 光谱三维定位识别***

Publications (2)

Publication Number Publication Date
CN109528313A true CN109528313A (zh) 2019-03-29
CN109528313B CN109528313B (zh) 2021-04-20

Family

ID=65843678

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811188115.2A Active CN109528313B (zh) 2018-10-12 2018-10-12 光谱三维定位识别***

Country Status (1)

Country Link
CN (1) CN109528313B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010019515A2 (en) * 2008-08-10 2010-02-18 Board Of Regents, The University Of Texas System Digital light processing hyperspectral imaging apparatus
CN105263398A (zh) * 2013-03-15 2016-01-20 圣纳普医疗(巴巴多斯)公司 手术成像***
CN106456070A (zh) * 2014-06-26 2017-02-22 索尼公司 成像装置和方法
CN106890025A (zh) * 2017-03-03 2017-06-27 浙江大学 一种微创手术导航***和导航方法
CN108185974A (zh) * 2018-02-08 2018-06-22 北京数字精准医疗科技有限公司 一种内窥式荧光超声融合造影导航***
CN108348295A (zh) * 2015-09-24 2018-07-31 圣纳普医疗(巴巴多斯)公司 机动全视野适应性显微镜

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010019515A2 (en) * 2008-08-10 2010-02-18 Board Of Regents, The University Of Texas System Digital light processing hyperspectral imaging apparatus
CN105263398A (zh) * 2013-03-15 2016-01-20 圣纳普医疗(巴巴多斯)公司 手术成像***
CN106456070A (zh) * 2014-06-26 2017-02-22 索尼公司 成像装置和方法
CN108348295A (zh) * 2015-09-24 2018-07-31 圣纳普医疗(巴巴多斯)公司 机动全视野适应性显微镜
CN106890025A (zh) * 2017-03-03 2017-06-27 浙江大学 一种微创手术导航***和导航方法
CN108185974A (zh) * 2018-02-08 2018-06-22 北京数字精准医疗科技有限公司 一种内窥式荧光超声融合造影导航***

Also Published As

Publication number Publication date
CN109528313B (zh) 2021-04-20

Similar Documents

Publication Publication Date Title
US11083527B2 (en) Systems and methods for assisted surgical navigation
US11483532B2 (en) Augmented reality guidance system for spinal surgery using inertial measurement units
US20230016940A1 (en) Power tools or instruments with integrated haptic actuator for vibration reduction
CN111329554B (zh) 用于手术的装置与方法
CN107613897B (zh) 扩增实境的外科导航
US20210137634A1 (en) Augmented Reality Display for Vascular and Other Interventions, Compensation for Cardiac and Respiratory Motion
KR101572487B1 (ko) 환자와 3차원 의료영상의 비침습 정합 시스템 및 방법
CN108720862B (zh) 基于与骨组织的接近度配准解剖图像与位置跟踪坐标系
JP2019520859A (ja) 無線超音波追跡および通信のためのウルトラワイドバンドの位置決め
CN108784831A (zh) 一种基于三维影像的穿刺参数生成方法
CN110325141A (zh) 影像整合装置及影像整合方法
CN101797182A (zh) 一种基于增强现实技术的鼻内镜微创手术导航***
US20180153620A1 (en) Spinal Navigation Method, Spinal Navigation System and Computer Program Product
CN105096270B (zh) 一种冠脉三维重建中的钙化斑块去除方法
CN110215285A (zh) 手术导航的纠偏方法及***
CN116492052B (zh) 一种基于混合现实脊柱三维可视化手术导航***
CN109771052B (zh) 基于多目成像和多偏振态成像的三维图像建立方法及***
CN118436438A (zh) 用于将切口标记投射到患者上的方法和***
CN109528313A (zh) 光谱三维定位识别***
CN115105204A (zh) 一种腹腔镜增强现实融合显示方法
US11869216B2 (en) Registration of an anatomical body part by detecting a finger pose
Schütz et al. Interactive Shape Sonification for Tumor Localization in Breast Cancer Surgery
CN109035382A (zh) 一种用于靶向治疗的导向装置的制作方法
US20240104853A1 (en) Method and device for providing surgical guide using augmented reality
US20240197411A1 (en) System and method for lidar-based anatomical mapping

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant