CN111821024B - 手术导航***及其成像方法 - Google Patents

手术导航***及其成像方法 Download PDF

Info

Publication number
CN111821024B
CN111821024B CN202010422466.6A CN202010422466A CN111821024B CN 111821024 B CN111821024 B CN 111821024B CN 202010422466 A CN202010422466 A CN 202010422466A CN 111821024 B CN111821024 B CN 111821024B
Authority
CN
China
Prior art keywords
image
lens group
target
instrument
main
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010422466.6A
Other languages
English (en)
Other versions
CN111821024A (zh
Inventor
王民良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiwan Main Orthopaedic Biotechnology Co Ltd
Original Assignee
Taiwan Main Orthopaedic Biotechnology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiwan Main Orthopaedic Biotechnology Co Ltd filed Critical Taiwan Main Orthopaedic Biotechnology Co Ltd
Publication of CN111821024A publication Critical patent/CN111821024A/zh
Application granted granted Critical
Publication of CN111821024B publication Critical patent/CN111821024B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00477—Coupling
    • A61B2017/00486—Adaptors for coupling parts with incompatible geometries
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2072—Reference field transducer attached to an instrument or patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/5025—Supports for surgical instruments, e.g. articulated arms with a counter-balancing mechanism
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B90/57—Accessory clamps
    • A61B2090/571—Accessory clamps for clamping a support arm to a bed or other supports
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Robotics (AREA)
  • Optics & Photonics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Vascular Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)

Abstract

一种手术导航***，包含主追踪单元、辅助追踪单元及处理单元。所述主追踪单元包括拍摄第一影像的主红外线镜头组。所述辅助追踪单元包括拍摄第二影像的辅助红外线镜头组。所述处理单元用于接收并辨识所述第一影像与所述第二影像，且使所述第一影像与所述第二影像的其中一个与所述病理影像结合而形成扩增实境影像。通过设置所述辅助红外线镜头组，使得在所述主红外线镜头受遮蔽时，所述处理单元仍可以通过所述第二影像形成所述扩增实境影像，而能减少所述主红外线镜头组受遮蔽后无法显示导航影像的窘境，借此，达到提升手术导航的稳定性的功效。

Description

手术导航***及其成像方法
技术领域
本发明涉及一种手术导航***，特别是涉及一种具有辅助追踪单元的手术导航***及其成像方法。
背景技术
当进行例如骨科、脑科等外科手术时，受限于切口较小及病征较深的情况，往往无法清楚得知是否于精准的位置进行手术。
如图1所示，现有的一种手术导航***1，适用于结合一个病理影像(图未示)，辅助一个医疗人员10操作一个手术器具101对一个患者102的一个患部103进行手术，并包含一个设置在所述患者102的所述患部103附近的初始标靶11、一个设置在所述手术器具101的器械标靶12、一个光学追踪单元13，及一个荧幕14。所述初始标靶11恒位于病理影像的固定位置，所述光学追踪单元13用于朝所述患部103摄影，并根据所述器械标靶12与所述初始标靶11的相对位置，计算出所述器械标靶12于所述光学追踪***13的成像坐标系位置，并输出一个具有所述手术器具101与所述患部103的病理影像的扩增实境(Augmented Reality，简称AR)影像至所述荧幕14输出。借此，能使所述医疗人员10了解所述手术器具101于所述患者102体内的位置，以及相对所述患部103的距离与方向，而能达到辅助手术的功效。
惟，当所述医疗人员10或一个助手在移动时，遮蔽到所述光学追踪***13的镜头，而拍摄不到所述初始标靶11与所述器械标靶12的其中任一个时，将导致所述光学追踪***13无法计算出所述手术器具101的位置，而不能显示所述扩增实境影像，就无法达到辅助手术的功效。
发明内容
本发明的第一目的在于提供一种提升手术导航的稳定性及提升手术方便性的手术导航***。
本发明的手术导航***适用于搭配已知的病理影像与定位识别单元，辅助医疗人员操作手术器具对患者的皮下患部进行手术，所述定位识别单元包括设置于所述患者的初始标靶，及设置于所述手术器具的器械标靶。所述手术导航***包含主追踪单元、辅助追踪单元，及处理单元。
所述主追踪单元，包括主载具、用于显示扩增实境影像的主显示器，及设置在所述主载具的主红外线镜头组，所述主红外线镜头组用于朝所述定位识别单元拍摄第一影像。
所述辅助追踪单元，包括辅助载具、设置在所述辅助载具的辅助红外线镜头组，及用于显示混合实境影像的显示镜片组，所述辅助红外线镜头组用于朝所述定位识别单元拍摄第二影像。
所述处理单元，信号连接所述主显示器、所述主红外线镜头组与所述辅助红外线镜头组，用于接收所述第一影像与所述第二影像并进行影像辨识，所述处理单元根据影像辨识结果使所述第一影像与所述第二影像的其中一个与所述病理影像结合而形成所述扩增实境影像后输出至所述主显示器。
本发明的手术导航***，所述辅助追踪单元还包括可见光镜头组，所述可见光镜头组用于朝所述定位识别单元拍摄实际影像，所述处理单元信号连接所述显示镜片组及所述可见光镜头组，接收所述实际影像并将所述第一影像或第二影像与所述实际影像结合形成所述混合实境影像后输出至所述显示镜片组。
本发明的手术导航***，所述辅助红外线镜头组具有两个相间隔的辅助红外线镜头，所述可见光镜头组具有两个位于所述辅助红外线镜头间且相间隔的可见光镜头。
本发明的手术导航***，所述辅助载具是头戴式装置，所述辅助红外线镜头组与所述可见光镜头组适用于设置于所述医疗人员的双眼上方，所述显示镜片组位于所述可见光镜头组下，且适用于设置在所述医疗人员的双眼前方。
本发明的手术导航***，所述处理单元还输出所述混合实境影像至所述主显示器，所述主显示器设置在所述主载具上，并具有用于显示所述病理影像的病理影像区、用于显示所述扩增实境影像的扩增实境区，及用于显示所述混合实境影像的混合实境区。
本发明的手术导航***，所述主载具具有可固定地移动的底座、设置于所述底座上的置放架，及连接所述置放架且供所述主红外线镜头组设置的平衡臂。
本发明的手术导航***，所述处理单元具有设置在所述置放架且信号连接所述主显示器与所述主红外线镜头组的主处理器，及信号连接所述主处理器与所述辅助红外线镜头组且适用于供所述医疗人员携带的副处理器。
本发明的第二目的在于提供一种提升手术导航的稳定性及提升手术方便性的手术导航***。
本发明的手术导航***，适用于搭配已知的病理影像，辅助医疗人员操作手术器具对患者的皮下患部进行手术，并包含定位识别单元、主追踪单元、辅助追踪单元，及处理单元。
所述定位识别单元，包括设置于所述患者的初始标靶，及设置于所述手术器具的器械标靶。
所述主追踪单元，包括主载具、用于显示扩增实境影像的主显示器，及设置在所述主载具的主红外线镜头组，所述主红外线镜头组用于朝所述定位识别单元拍摄第一影像。
所述辅助追踪单元，包括辅助载具、设置在所述辅助载具的辅助红外线镜头组，及用于显示混合实境影像的显示镜片组，所述辅助红外线镜头组用于朝所述定位识别单元拍摄第二影像。
所述处理单元，信号连接所述主显示器、所述主红外线镜头组与所述辅助红外线镜头组，用于接收所述第一影像与所述第二影像并进行影像辨识，所述处理单元根据影像辨识结果使所述第一影像与所述第二影像的其中一个与所述病理影像结合而形成所述扩增实境影像后输出至所述主显示器。
本发明的手术导航***，所述初始标靶具有沿第一轴线延伸且适用于可拆卸的固定于所述患者的夹持部、连接所述夹持部的初始标志部，及四个连接所述初始标志部且共平面的初始定位球，所述初始定位球所位于的平面不平行于所述第一轴线。
本发明的手术导航***，所述器械标靶具有适用于安装于沿第二轴线延伸的所述手术器具的连接部、连接所述连接部的器械标志部，及四个连接所述器械标志部且共平面的器械定位球，所述器械定位球所位于的平面不平行于所述第二轴线。
本发明的第三目的在于提供一种提升手术导航的稳定性及提升手术方便性的手术导航成像方法。
本发明的手术导航成像方法，适用于运用于如前所述的手术导航***，所述手术导航成像方法包含以下步骤(A)～步骤(E)。
步骤(A)制备如前所述的手术导航***。
步骤(B)所述主红外线镜头组拍摄所述第一影像，所述辅助红外线镜头组拍摄所述第二影像。
步骤(C)所述处理单元识别所述第一影像与所述第二影像是否具有所述初始标靶与所述器械标靶。
步骤(D)于步骤(C)中，所述处理单元识别所述第一影像与所述第二影像其中的具有所述初始标靶与所述器械标靶时，所述处理单元使所述第一影像与所述第二影像的其中所述一个与所述病理影像结合而形成所述扩增实境影像。
所述处理单元输出所述扩增实境影像至所述主显示器进行显示。
本发明的手术导航成像方法，所述辅助追踪单元还包括设置在所述辅助载具且用于显示混合实境影像的显示镜片组，及可见光镜头组，所述手术导航成像方法还包含以下步骤：
步骤(E)所述可见光镜头组拍摄实际影像；及
步骤(F)所述处理单元根据步骤(C)的辨识结果将所述第二影像与所述实际影像结合形成所述混合实境影像后输出至所述显示镜片组进行显示。
本发明的手术导航成像方法，于所述步骤(F)中，若所述处理单元于步骤(C)中辨识所述第二影像具有所述初始标靶、或所述器械标靶、或所述初始标靶与所述器械标靶，则所述处理单元运算所述第二影像所具有的所述初始标靶、或所述器械标靶、或所述初始标靶与所述器械标靶的空间坐标，并根据运算的空间坐标将所述初始标靶、或所述器械标靶、或所述初始标靶与所述器械标靶与所述实际影像结合形成所述混合实境影像。
本发明的手术导航成像方法，于步骤(F)中，所述处理单元还将所述混合实境影像输出至所述主显示器进行显示。
本发明的手术导航成像方法，于所述步骤(D)中，所述处理单元运算所述第一影像与所述第二影像的其中一个所具有的所述初始标靶与所述器械标靶的空间坐标，并根据所述初始标靶与所述器械标靶的空间坐标将所述初始标靶与所述器械标靶与所述病理影像结合而形成所述扩增实境影像。
本发明的有益效果在于：通过设置所述辅助追踪单元的辅助红外线镜头组可以朝所述皮下患部额外拍摄所述第二影像，使得在所述主追踪单元的主红外线镜头拍不到所述初始标靶与所述器械标靶任一个时，也就是所述第一影像不具有所述初始标靶与所述器械标靶任一个时，所述处理单元仍可以将所述第二影像与所述病理影像结合而形成所述扩增实境影像后输出至所述主显示器，而能减少所述主红外线镜头组受遮蔽后无法显示导航影像的窘境，借此，达到提升手术导航的稳定性的功效。
附图说明
本发明的其他的特征及功效，将于参照图式的实施方式中清楚地呈现，其中：
图1是一个立体示意图，说明现有的一种手术导航***；
图2是一个立体示意图，说明本发明手术导航***的一个实施例；
图3是所述实施例中的一个初始标靶的一个立体图；
图4是所述实施例中的一个器械标靶的一个立体图；
图5是所述实施例中的一个辅助追踪单元的一个立体图；
图6是一张坐标示意图；
图7是所述实施例的一张讯号方块图；
图8是本发明手术导航成像方法的一张流程图，说明一个扩增实境影像的显示步骤；及
图9是本发明校正方法的另一个流程图，说明一个混合实境影像的显示步骤。
具体实施方式
参阅图2与图3，本发明手术导航***的实施例，适用于搭配一个已知的病理影像，辅助一个医疗人员6操作一个手术器具7对一个患者8的一个皮下患部81进行手术。所述病理影像可以但不限于是电脑断层(Computed Tomography,CT)或磁共振成像(MagneticResonance Imaging,MRI)的医学数字成像和通信(Digital Imaging and Communicationsin Medicine,DICOM)传输协定格式的影像。
所述手术导航***包含一个定位识别单元2、一个主追踪单元3、一个辅助追踪单元4，及一个处理单元5。
所述定位识别单元2包括一个设置于所述患者8的初始标靶21，及一个设置于所述手术器具7的器械标靶22。
参阅图2、图3、图4与图5，所述初始标靶21具有一个沿一个第一轴线L1延伸且适用于可拆卸的固定于所述患者8的夹持部211、一个连接所述夹持部211且呈X型的初始标志部212，及四个连接所述初始标志部212且共平面的初始定位球213。所述初始定位球213所位于的平面P1不平行于所述第一轴线L1。
值得说明的是，所述初始标靶21的初始定位球213的设置与所述初始标志部212的形状不以前述为限，在本实施例的其他变化态样中，所述初始定位球213也可以共平面，且所述平面P1也可以平行于所述第一轴线L1，只要知道所述初始定位球213彼此间的相对位置，就可以达成本实施例的功效。
所述器械标靶22具有一个适用于安装于沿一个第二轴线L2延伸的手术器具的连接部221、一个呈Y型且连接所述连接部221的器械标志部，及四个连接所述器械标志部的器械定位球223。所述器械定位球223共平面，且所位于的平面P2不平行于所述第二轴线L2。
值得说明的是，所述器械标靶22的器械定位球223的设置与所述器械标志部的形状不以前述为限，在本实施例的其他变化态样中，所述器械定位球223也可以共平面，且所述平面P2也可以平行于所述第二轴线L2，只要知道所述器械定位球223彼此间的相对位置，就可以达成本实施例的功效。此外，所述器械标靶22的数量也不以一个为限，也能是两个以上的数量，并不以此为限。
进一步说明的是，在本实施例中，所述初始定位球213与所述器械定位球223为红外线反光材质，借此，能被后述的红外线镜头所侦测。
参阅图2，所述主追踪单元3包括一个主载具31、一个设置在所述主载具31且用于显示一个扩增实境影像(Augmented Reality，简称AR，图未示)的主显示器32，及一个设置在所述主载具31的主红外线镜头组33。所述主红外线镜头组33用于朝所述定位识别单元2拍摄一个第一影像(图未示)。
所述主载具31具有一个可固定地移动的底座311、一个设置于所述底座311上的置放架312，及一个连接所述置放架312且供所述主红外线镜头组33设置的平衡臂313。
所述主显示器32具有一个用于显示所述病理影像的病理影像区321、一个用于显示所述扩增实境影像的扩增实境区322，及一个用于显示混合实境影像的混合实境区323。
值得注意的是，在本实施例的其他变化态样中，所述主显示器32也可以独立于所述主载具31分开设置。
值得说明的是，所述病理影像区321、所述扩增实境区322与所述混合实境区323为主显示器32中的三个区域，使用者可以根据自身需求任意拖曳、开启或关闭、放大缩小其中任一个区域，而使前述区域能有不同的显示组合，如:并列显示或全荧幕显示某一个影像。
在本实施例中，所述主红外线镜头组33具有两个相间隔的主红外线镜头331。
参阅图2与图5，所述辅助追踪单元4包括一个辅助载具41，及设置在所述辅助载具41的一个辅助红外线镜头组42、一个可见光镜头组43，及一个用于显示所述混合实境影像(Mixed Reality，简称MR，图未示)的显示镜片组44。
所述辅助红外线镜头组42用于朝所述定位识别单元2拍摄一个第二影像(图未示)。
所述可见光镜头组43用于朝所述定位识别单元2拍摄一个实际影像(图未示)。
所述辅助红外线镜头组42具有两个相间隔的辅助红外线镜头421，所述可见光镜头组43具有两个位于所述辅助红外线镜头421间且相间隔的可见光镜头431。
在本实施例中，所述辅助载具41是头戴式装置，所述辅助红外线镜头组42与所述可见光镜头组43适用于设置于所述医疗人员6的双眼上方，所述显示镜片组44位于所述可见光镜头组43下，且适用于设置在所述医疗人员6的双眼前方。
参阅图2与图7，所述处理单元5信号连接所述主显示器32、所述主红外线镜头组33、所述辅助红外线镜头组42、所述可见光镜头组43与所述显示镜片组44，并用于接收所述第一影像与所述第二影像并进行影像辨识。
值得说明的是，本发明所指的信号连接，可以是有线连接(如:对应不同讯号源的讯号线)或是无线连接(如：蓝牙、无线网络等无线通讯技术)。
所述处理单元5根据影像辨识结果使所述第一影像与所述第二影像的其中一个与所述病理影像结合而形成所述扩增实境影像后输出至所述主显示器32的扩增实境区322进行显示。
所述处理单元5还可根据前述的影像辨识结果将所述第二影像与所述实际影像结合形成所述混合实境影像后输出至所述显示镜片组44与所述主显示器32的混合实境区323显示。
在本实施例中，所述处理单元5具有一个设置在所述置放架312且信号连接所述主显示器32与所述主红外线镜头组33的主处理器51，及一个信号连接所述主处理器51、所述辅助红外线镜头组42、所述可见光镜头组43及所述显示镜片组44且适用于供所述医疗人员6携带的副处理器52。
在本实施例中，所述副处理器52主要用于接收所述第二影像、所述实际影像并传至所述主处理器51进行影像辨识，并对所述混合实境影像进行影像处理以供所述显示镜片组44显示。在本实施例的其他变化态样中，所述处理单元5也可以仅具有所述主处理器51，所述辅助红外线镜头组42、所述可见光镜头组43及所述显示镜片组44直接信号连接所述主处理器51。
参阅图2、图8与图9，本发明的手术导航成像方法，运用于前述的手术导航***，并包含以下步骤:
步骤901：制备所述手术导航***。
进一步说明的是，于所述步骤901之前，所述医疗人员6可以利用一个术前规划***将所述初始标靶21定位于所述病理影像之中，形成一个世界坐标系S0。其详细的方法非本发明的技术特征，且本领域具有通常知识者可以根据前述内容推得其他细节，因此在此不再赘述。
步骤902：所述主红外线镜头组33拍摄所述第一影像，所述辅助红外线镜头组42拍摄所述第二影像。
步骤903：所述处理单元5识别所述第一影像与所述第二影像是否具有所述初始标靶21与所述器械标靶22。
步骤904：于所述步骤中903中，所述处理单元5识别所述第一影像与所述第二影像其中的一个具有所述初始标靶21与所述器械标靶22时，所述处理单元5使所述第一影像与所述第二影像的其中所述一个与所述病理影像结合而形成所述扩增实境影像。
于所述步骤904中，详细来说，所述处理单元5运算所述第一影像与所述第二影像的其中所述一个所具有的所述初始标靶21与所述器械标靶22的空间坐标，并根据所述初始标靶21与所述器械标靶22的空间坐标将所述初始标靶21与所述器械标靶22与所述病理影像结合而形成所述扩增实境影像。
参阅图2、图6与图8，进一步说明的是，所述初始标靶21界定出所述世界坐标系S0，所述主红外线镜头组33所拍摄的所述第一影像成像于一个第一成像坐标系S1，所述辅助红外线镜头组42所拍摄的所述第二影像成像于一个第二成像坐标系S2，于执行前述步骤前，所述处理单元5会先进行一个校正步骤，以计算出所述主红外线镜头组33的内、外矩阵与所述辅助红外线镜头组42的内、外矩阵，借此，使所述第一成像坐标系S1与所述世界坐标系S0或所述第二成像坐标系S2与所述世界坐标系S0间可以通过前述的矩阵进行坐标转换，以使所述处理单元5能通过其中所述器械标靶22与所述初始标靶21的相对位置ΔX，计算出所述器械标靶22于所述世界坐标系S0的位置，而使所述器械标靶22能与所述病理影像结合而形成所述扩增实境影像。上述有关镜头的内、外矩阵与坐标转换的细节由于本领域中具有通常知识者根据以上说明可以推知扩充细节，因此不多加说明。
步骤905：所述处理单元5输出所述扩增实境影像至所述主显示器32进行显示。
参阅图2、图6与图9，此外，本发明的手术导航成像方法，还能输出所述混合实境影像至所述显示镜片组44，并包含以下步骤：
步骤901：制备所述手术导航***。
步骤902：所述主红外线镜头组33拍摄所述第一影像，所述辅助红外线镜头组42拍摄所述第二影像，所述可见光镜头组43拍摄所述实际影像。
步骤903：所述处理单元5识别所述第一影像与所述第二影像是否具有所述初始标靶21与所述器械标靶22。
步骤906：于所述步骤903中，若所述处理单元5辨识所述第二影像具有所述初始标靶21、或所述器械标靶22、或所述初始标靶21与所述器械标靶22，则所述处理单元5运算所述第二影像所具有的所述初始标靶21、或所述器械标靶22、或所述初始标靶21与所述器械标靶22的空间坐标，并根据运算的空间坐标将所述初始标靶21、或所述器械标靶22、或所述初始标靶21与所述器械标靶22与所述实际影像结合形成所述混合实境影像。
简言之，若所述处理单元5辨识所述第二影像具有所述初始标靶21或所述器械标靶22，则将所述初始标靶21或所述器械标靶22与所述实际影像结合形成所述混合实境影像，如所述处理单元55辨识所述第二影像同时具有所述初始标靶21与所述器械标靶22，则将所述初始标靶21与所述器械标靶22与所述实际影像结合形成所述混合实境影像。
于所述步骤906中，详细来说，所述处理单元5运算所述第一影像与所述第二影像的其中所述一个所具有的所述初始标靶21与所述器械标靶22的空间坐标，并根据所述初始标靶21与所述器械标靶22的空间坐标将所述初始标靶21与所述器械标靶22与所述病理影像结合而形成所述扩增实境影像。
进一步说明的是，所述可见光镜头组43所拍摄的所述实际影像成像于一个第三成像坐标系S3，所述显示镜片组44显示所述混合实境影像于一个第四成像坐标系S4，由于所述辅助红外线镜头组42、所述可见光镜头组43，与所述显示镜片组44间的相对位置是固定不变，于执行前述步骤前，会先进行一个校正步骤，以计算出所述可见光镜头组43的内、外矩阵，及所述第二成像坐标系S2、所述第三成像坐标系S3与所述第四成像坐标系S4的坐标转换关系，以使所述处理单元5能通过所述器械标靶22与所述初始标靶21的相对位置ΔX，计算出所述器械标靶22于所述世界坐标系S0的位置，以及所述器械标靶22于显示在所述显示镜片组44的位置，而使所述器械标靶22能与所述实际影像结合而形成所述混合实境影像。此外，由于所述处理单元5已存有所述第三成像坐标系S3与所述第四坐标系S4的坐标转换关系，因此，只要所述可见光镜头组43拍到所述初始标靶21或所述器械标靶22任一个时，所述处理单元5就能将所述初始标靶21或所述器械标靶22的所述者于第三成像座系S3的坐标通过前述的坐标转换关系转换至所述第四成像坐标系S4，也就是说，所述处理单元5不需要所述器械标靶22与所述初始标靶21的相对位置ΔX，也能将所述器械标靶22与所述实际影像结合形成所述混合实境影像，但所述混合实境影像中不具有所述初始标靶21。只要上述有关镜头的内、外矩阵与坐标系转换的细节由于本领域中具有通常知识者根据以上说明可以推知扩充细节，因此不多加说明。
步骤907：所述处理单元5根据辨识结果将所述第二影像与所述实际影像结合形成所述混合实境影像后输出至所述显示镜片组44与所述主显示器32进行显示。
进一步说明的是，于所述步骤907中，所述混合实境影像也可以仅输出至所述显示镜片组44进行显示。
值得注意的是，本发明的手术导航成像方法实际上包含所述步骤901～所述步骤907，其中，所述步骤904～905与所述步骤906～907的步骤顺序可以任意，只要所述处理单元5可以对所述第一影像与所述第二影像进行影像辨识，就可以执行后续的扩增实境影像显示步骤(步骤904～905)，或是混合实境影像显示步骤(步骤906～907)。此外，为了方便理解，以下将所述处理单元5的辨识结果与扩增实境影像及混合实境影像结果整理于下表。
Figure BDA0002497426260000121
注1：当所述第一影像与所述第二影像皆辨识出所述初始标靶21与所述器械标靶22时，所述处理单元5会根据前述影像的解析度进行判断，并将解析度高的所述影像结合所述病理影像或所述实际影像以形成对应的扩增实境影像或混合实境影像。
注2：由于所述第一影像已辨识出所述初始标靶21与所述器械标靶22，因此所述处理单元5可以根据所述器械标靶22与所述初始标靶21的相对位置ΔX，计算出所述器械标靶22的世界坐标系S0位置，因此，即使所述第二影像并未辨识出所述器械标靶22，所述处理单元5仍可以根据所述第二影像中的所述初始标靶21与所述相对位置ΔX，将所述器械标靶22显示于所述混合实境影像上。
注3：由于所述第二影像并未辨识出所述初始标靶21，因此，即使所述处理单元5可以通过所述第三成像坐标系S3与所述第四成像坐标系S4间的投影关系，将所述器械标靶22与所述实际影像结合而形成所述混合实境影像，所述处理单元5仍无法通过所述器械标靶22与所述初始标靶21的相对位置ΔX将所述初始标靶21与所述实际影相结合而形成所述混合实境影像，简言之，所述混合实境影像中只会有所述器械标靶22(因不清楚所述辅助红外线镜头组42所朝的方向)。
注4：由于所述第一影像若未同时辨识所述初始标靶21与所述器械标靶22时，所述处理单元5会因为无法得到所述器械标靶22与所述初始标靶21的相对位置ΔX，而无法计算出所述器械标靶22的世界坐标系S0位置，亦即无法将所述器械标靶22结合所述病理影像形成所述扩增实境影像。
值得提醒的是，所述扩增实境影像仅显示于所述主显示器32的扩增实境区322，所述混合实境影像显示于所述显示镜片组44与所述主显示器32的混合实境区323至少其中一个。
经由以上的说明，可将前述实施例的优点归纳如下：
1.通过设置所述辅助追踪单元4的辅助红外线镜头组42可以朝所述皮下患部81额外拍摄所述第二影像，使得在所述主追踪单元3的主红外线镜头331拍不到其中一个标靶，也就是所述第一影像不具有其中一个标靶时，所述处理单元5仍可以将所述第二影像与所述病理影像结合而形成所述扩增实境影像后输出至所述主显示器32，而能减少所述主红外线镜头组33受遮蔽后无法显示导航影像(所述扩增实境影像)的窘境，借此，达到提升手术导航的稳定性的功效。
2.此外，由于在手术时，为了手术的安全性，鲜少有外界物体遮蔽所述医疗人员6的视线的情形发生，因此，通过设置于所述医疗人员6的双眼上方的所述辅助红外线镜头组42与所述可见光镜头组43，可以进一步减少所述辅助红外线镜头组42受遮蔽的情形发生，借此，进一步达到提升手术导航的稳定性的功效。
3.除前述之外，通过所述辅助追踪单元的所述可见光镜头组43拍摄所述实际影像，且所述处理单元5可以将所述第二影像与所述病理影像结合而形成所述扩增实境影像后输出至所述显示镜片组44，借此，让所述医疗人员6可以将视线着重在所述患者8的皮下患部81，而不需持续抬头看所述主显示器32，借此，还能达到提升手术方便性的功效。
以上所述者，仅为本发明的实施例而已，当不能以此限定本发明实施的范围，即凡依本发明权利要求书及说明书内容所作的简单的等效变化与修饰，皆仍属本发明的范围。

Claims (13)

1.一种手术导航***，适用于搭配已知的病理影像与定位识别单元，辅助医疗人员操作手术器具对患者的皮下患部进行手术，所述定位识别单元包括可拆卸地固定于所述患者的初始标靶，及设置于所述手术器具的器械标靶，并包含：
主追踪单元，包括主载具、用于显示扩增实境影像的主显示器，及设置在所述主载具的主红外线镜头组，所述主红外线镜头组用于朝所述定位识别单元拍摄第一影像；
其特征在于：手术导航***还包括：
辅助追踪单元，包括辅助载具、设置在所述辅助载具的辅助红外线镜头组、用于显示混合实境影像的显示镜片组，及可见光镜头组，所述辅助红外线镜头组用于朝所述定位识别单元拍摄第二影像，所述可见光镜头组用于朝所述定位识别单元拍摄实际影像；及
处理单元，信号连接所述主显示器、所述主红外线镜头组、所述辅助红外线镜头组与所述可见光镜头组，用于接收所述第一影像与所述第二影像并进行影像辨识，所述处理单元根据影像辨识结果使所述第一影像与所述第二影像的其中一个与所述病理影像结合而形成所述扩增实境影像后输出至所述主显示器，当所述处理单元于辨识所述第二影像具有所述初始标靶、或所述器械标靶、或所述初始标靶与所述器械标靶，则所述处理单元运算所述第二影像所具有的所述初始标靶、或所述器械标靶、或所述初始标靶与所述器械标靶的空间坐标，并根据运算的空间坐标将所述初始标靶、或所述器械标靶、或所述初始标靶与所述器械标靶与所述实际影像结合形成混合实境影像。
2.根据权利要求1所述的手术导航***，其特征在于：所述处理单元接收所述实际影像并将所述第一影像或第二影像与所述实际影像结合形成所述混合实境影像后输出至所述显示镜片组。
3.根据权利要求2所述的手术导航***，其特征在于：所述辅助红外线镜头组具有两个相间隔的辅助红外线镜头，所述可见光镜头组具有两个位于所述辅助红外线镜头间且相间隔的可见光镜头。
4.根据权利要求3所述的手术导航***，其特征在于：所述辅助载具是头戴式装置，所述辅助红外线镜头组与所述可见光镜头组适用于设置于所述医疗人员的双眼上方，所述显示镜片组位于所述可见光镜头组下，且适用于设置在所述医疗人员的双眼前方。
5.根据权利要求2所述的手术导航***，其特征在于：所述处理单元还输出所述混合实境影像至所述主显示器，所述主显示器设置在所述主载具上，并具有用于显示所述病理影像的病理影像区、用于显示所述扩增实境影像的扩增实境区，及用于显示所述混合实境影像的混合实境区。
6.根据权利要求1所述的手术导航***，其特征在于：所述主载具具有可固定地移动的底座、设置于所述底座上的置放架，及连接所述置放架且供所述主红外线镜头组设置的平衡臂。
7.根据权利要求6所述的手术导航***，其特征在于：所述处理单元具有设置在所述置放架且信号连接所述主显示器与所述主红外线镜头组的主处理器，及信号连接所述主处理器与所述辅助红外线镜头组且适用于供所述医疗人员携带的副处理器。
8.一种手术导航***，适用于搭配已知的病理影像，辅助医疗人员操作手术器具对患者的皮下患部进行手术，并包含：
定位识别单元，包括设置于所述患者的初始标靶，及设置于所述手术器具的器械标靶；
主追踪单元，包括主载具、用于显示扩增实境影像的主显示器，及设置在所述主载具的主红外线镜头组，所述主红外线镜头组用于朝所述定位识别单元拍摄第一影像；
其特征在于：手术导航***还包括：
辅助追踪单元，包括辅助载具、设置在所述辅助载具的辅助红外线镜头组、用于显示混合实境影像的显示镜片组，及可见光镜头组，所述辅助红外线镜头组用于朝所述定位识别单元拍摄第二影像，所述可见光镜头组用于朝所述定位识别单元拍摄实际影像；及
处理单元，信号连接所述主显示器、所述主红外线镜头组与所述辅助红外线镜头组与所述可见光镜头组，用于接收所述第一影像与所述第二影像并进行影像辨识，所述处理单元根据影像辨识结果使所述第一影像与所述第二影像的其中一个与所述病理影像结合而形成所述扩增实境影像后输出至所述主显示器，当所述处理单元于辨识所述第二影像具有所述初始标靶、或所述器械标靶、或所述初始标靶与所述器械标靶，则所述处理单元运算所述第二影像所具有的所述初始标靶、或所述器械标靶、或所述初始标靶与所述器械标靶的空间坐标，并根据运算的空间坐标将所述初始标靶、或所述器械标靶、或所述初始标靶与所述器械标靶与所述实际影像结合形成混合实境影像。
9.根据权利要求8所述的手术导航***，其特征在于：所述初始标靶具有沿第一轴线延伸且适用于可拆卸的固定于所述患者的夹持部、连接所述夹持部的初始标志部，及四个连接所述初始标志部且共平面的初始定位球，所述初始定位球所位于的平面不平行于所述第一轴线。
10.根据权利要求8所述的手术导航***，其特征在于：所述器械标靶具有适用于安装于沿第二轴线延伸的所述手术器具的连接部、连接所述连接部的器械标志部，及四个连接所述器械标志部且共平面的器械定位球，所述器械定位球所位于的平面不平行于所述第二轴线。
11.一种手术导航成像方法，适用于运用于根据权利要求1所述的手术导航***，所述手术导航成像方法包含以下步骤，其特征在于：
步骤(A)：制备根据权利要求1所述的手术导航***，所述辅助追踪单元还包括设置在所述辅助载具且用于显示混合实境影像的显示镜片组，及可见光镜头组；
步骤(B)：所述主红外线镜头组拍摄所述第一影像，所述辅助红外线镜头组拍摄所述第二影像；
步骤(C)：所述处理单元识别所述第一影像与所述第二影像是否具有所述初始标靶与所述器械标靶；
步骤(D)：于步骤(C)中，所述处理单元识别所述第一影像与所述第二影像其中的一个具有所述初始标靶与所述器械标靶时，所述处理单元使所述第一影像与所述第二影像的其中所述一个与所述病理影像结合而形成所述扩增实境影像；
所述处理单元输出所述扩增实境影像至所述主显示器进行显示；
步骤(E)：所述可见光镜头组拍摄实际影像；及
步骤(F)：所述处理单元根据步骤(C)的辨识结果将所述第二影像与所述实际影像结合形成所述混合实境影像后输出至所述显示镜片组进行显示，若所述处理单元于步骤(C)中辨识所述第二影像具有所述初始标靶、或所述器械标靶、或所述初始标靶与所述器械标靶，则所述处理单元运算所述第二影像所具有的所述初始标靶、或所述器械标靶、或所述初始标靶与所述器械标靶的空间坐标，并根据运算的空间坐标将所述初始标靶、或所述器械标靶、或所述初始标靶与所述器械标靶与所述实际影像结合形成混合实境影像。
12.根据权利要求11所述的手术导航成像方法，其特征在于：于步骤(F)中，所述处理单元还将所述混合实境影像输出至所述主显示器进行显示。
13.根据权利要求11所述的手术导航成像方法，其特征在于：于所述步骤(D)中，所述处理单元运算所述第一影像与所述第二影像的其中所述一个所具有的所述初始标靶与所述器械标靶的空间坐标，并根据所述初始标靶与所述器械标靶的空间坐标将所述初始标靶与所述器械标靶与所述病理影像结合而形成所述扩增实境影像。
CN202010422466.6A 2020-03-27 2020-05-19 手术导航***及其成像方法 Active CN111821024B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW109110389A TWI727725B (zh) 2020-03-27 2020-03-27 手術導航系統及其成像方法
TW109110389 2020-03-27

Publications (2)

Publication Number Publication Date
CN111821024A CN111821024A (zh) 2020-10-27
CN111821024B true CN111821024B (zh) 2022-04-05

Family

ID=72913931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010422466.6A Active CN111821024B (zh) 2020-03-27 2020-05-19 手术导航***及其成像方法

Country Status (3)

Country Link
US (2) US20210298835A1 (zh)
CN (1) CN111821024B (zh)
TW (1) TWI727725B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US11980507B2 (en) 2018-05-02 2024-05-14 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11389252B2 (en) * 2020-06-15 2022-07-19 Augmedics Ltd. Rotating marker for image guided surgery
US20230240405A1 (en) * 2022-02-02 2023-08-03 Ted Spooner Mixed reality surgical helmet
CN117598782B (zh) * 2023-09-28 2024-06-04 苏州盛星医疗器械有限公司 用于经皮穿刺手术的手术导航方法、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102772244A (zh) * 2012-08-13 2012-11-14 南京航空航天大学 一种用于椎弓根螺钉植入的术中导航***
CN102910130A (zh) * 2012-10-24 2013-02-06 浙江工业大学 一种现实增强型的驾驶辅助预警***
EP2944284A1 (en) * 2014-05-13 2015-11-18 Metronor AS A system for precision guidance of surgical procedures on a patient
CN105765444A (zh) * 2013-10-15 2016-07-13 增强现实眼镜公司 用于可重构投影的增强现实器具/虚拟现实器具的***和方法
CN107088091A (zh) * 2017-06-08 2017-08-25 广州技特电子科技有限公司 一种辅助骨科手术的手术导航***及导航方法
CN109416841A (zh) * 2016-07-11 2019-03-01 台湾骨王生技股份有限公司 影像增强真实度的方法与应用该方法在可穿戴式眼镜的手术导引

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7753910B2 (en) * 2003-07-21 2010-07-13 Stephen Ritland Surgical image tracker mounting base apparatus and method of use
US7702379B2 (en) * 2004-08-25 2010-04-20 General Electric Company System and method for hybrid tracking in surgical navigation
US9718190B2 (en) * 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
JP5355220B2 (ja) * 2009-05-22 2013-11-27 キヤノン株式会社 眼底撮影装置
CN103908345B (zh) * 2012-12-31 2017-02-08 复旦大学 一种基于平板电脑的手术导航用的体数据可视化方法
US20150366628A1 (en) * 2014-06-18 2015-12-24 Covidien Lp Augmented surgical reality environment system
US10537394B2 (en) * 2016-12-19 2020-01-21 Ethicon Llc Hot device indication of video display
CN208017582U (zh) * 2017-06-16 2018-10-30 青岛大学附属医院 计算机辅助微创手术装置
US11272985B2 (en) * 2017-11-14 2022-03-15 Stryker Corporation Patient-specific preoperative planning simulation techniques
US20210052348A1 (en) * 2018-01-22 2021-02-25 Medivation Ag An Augmented Reality Surgical Guidance System
CN108742841B (zh) * 2018-05-30 2020-11-06 上海交通大学 一种多位置跟踪仪的工具实时定位装置
TWI741196B (zh) * 2018-06-26 2021-10-01 華宇藥品股份有限公司 整合擴增實境之手術導航方法及系統
US11612438B2 (en) * 2018-09-05 2023-03-28 Point Robotics Medtech Inc. Navigation system and method for medical operation by a robotic system using a tool

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102772244A (zh) * 2012-08-13 2012-11-14 南京航空航天大学 一种用于椎弓根螺钉植入的术中导航***
CN102910130A (zh) * 2012-10-24 2013-02-06 浙江工业大学 一种现实增强型的驾驶辅助预警***
CN105765444A (zh) * 2013-10-15 2016-07-13 增强现实眼镜公司 用于可重构投影的增强现实器具/虚拟现实器具的***和方法
EP2944284A1 (en) * 2014-05-13 2015-11-18 Metronor AS A system for precision guidance of surgical procedures on a patient
CN109416841A (zh) * 2016-07-11 2019-03-01 台湾骨王生技股份有限公司 影像增强真实度的方法与应用该方法在可穿戴式眼镜的手术导引
CN107088091A (zh) * 2017-06-08 2017-08-25 广州技特电子科技有限公司 一种辅助骨科手术的手术导航***及导航方法

Also Published As

Publication number Publication date
TWI727725B (zh) 2021-05-11
CN111821024A (zh) 2020-10-27
US20210298835A1 (en) 2021-09-30
US20230126207A1 (en) 2023-04-27
TW202135737A (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
CN111821024B (zh) 手术导航***及其成像方法
JP7189939B2 (ja) 手術ナビゲーションシステム
US11276187B2 (en) Method and system for registration verification
US7774044B2 (en) System and method for augmented reality navigation in a medical intervention procedure
US10687901B2 (en) Methods and systems for registration of virtual space with real space in an augmented reality system
US9248000B2 (en) System for and method of visualizing an interior of body
AU2015202805B2 (en) Augmented surgical reality environment system
US8251893B2 (en) Device for displaying assistance information for surgical operation, method for displaying assistance information for surgical operation, and program for displaying assistance information for surgical operation
EP2967297B1 (en) System for dynamic validation, correction of registration for surgical navigation
CN110353806A (zh) 用于微创全膝关节置换手术的增强现实导航方法及***
US20210186355A1 (en) Model registration system and method
US20140022283A1 (en) Augmented reality apparatus
WO2011122032A1 (ja) 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム
WO2015037340A1 (ja) 画像処理装置、画像処理方法、プログラム
US8666476B2 (en) Surgery assistance system
CN111035458A (zh) 一种手术综合视景智能辅助***及图像处理方法
CN110638525B (zh) 整合扩增实境的手术导航***
TW202215370A (zh) 疊合虛擬影像於即時影像的系統與方法
WO2023014667A1 (en) Augmented reality system for real space navigation and surgical system using the same
CN115515520A (zh) 手术导航***及其应用
US10925687B2 (en) System and method for optical axis calibration
TWI697317B (zh) 應用於與手術導航整合之混合實境系統之數位影像實境對位套件與方法
US20200077924A1 (en) System and method to register anatomy without a probe
CN107260305A (zh) 计算机辅助微创手术***
CN113925611A (zh) 对象三维模型和对象实体的匹配方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant