KR102056930B1 - Spine surgical navigation system and method using augmented reality technology - Google Patents

Spine surgical navigation system and method using augmented reality technology Download PDF

Info

Publication number
KR102056930B1
KR102056930B1 KR1020170155946A KR20170155946A KR102056930B1 KR 102056930 B1 KR102056930 B1 KR 102056930B1 KR 1020170155946 A KR1020170155946 A KR 1020170155946A KR 20170155946 A KR20170155946 A KR 20170155946A KR 102056930 B1 KR102056930 B1 KR 102056930B1
Authority
KR
South Korea
Prior art keywords
image
target bone
surgical
information
anatomical structure
Prior art date
Application number
KR1020170155946A
Other languages
Korean (ko)
Other versions
KR20190058190A (en
Inventor
정민형
김경숙
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020170155946A priority Critical patent/KR102056930B1/en
Publication of KR20190058190A publication Critical patent/KR20190058190A/en
Application granted granted Critical
Publication of KR102056930B1 publication Critical patent/KR102056930B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Pathology (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Optics & Photonics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

수술 내비게이션 시스템에 있어서, 환자의 수술 대상 뼈의 2차원 의료 영상 정보로부터 3차원 의료 영상 정보를 생성하고, 생성한 상기 3차원 의료 영상 정보 및 상기 3차원 의료 영상 정보로부터 계산된 임계값을 토대로 AR 영상을 생성하는 영상 매칭부, 그리고 상기 영상 매칭부에서 생성한 AR 영상을, 환자의 수술 대상 뼈 상에 투영하여 디스플레이하는 디스플레이부를 포함하며, 상기 AR 영상은 상기 수술 대상 뼈에 대응하는 미리 저장된 관심 영역 및 상기 수술 대상 뼈에 스크류가 삽입될 위치 정보를 포함한다.In a surgical navigation system, 3D medical image information is generated from 2D medical image information of a patient's surgical target bone, and AR is generated based on the generated threshold value calculated from the 3D medical image information and the 3D medical image information. An image matching unit for generating an image, and a display unit for projecting and displaying an AR image generated by the image matching unit on a patient's surgery target bone, wherein the AR image is a pre-stored interest corresponding to the surgery target bone. It includes information on the area and the position where the screw is inserted into the surgical target bone.

Description

증강현실 기술을 이용한 척추 수술 네비게이션 시스템 및 방법{Spine surgical navigation system and method using augmented reality technology}Spinal surgical navigation system and method using augmented reality technology

본 발명은 증강현실 기술을 이용한 척추 수술 내비게이션 시스템 및 방법에 관한 것이다.The present invention relates to a spinal surgery navigation system and method using augmented reality technology.

척추 수술 분야에는 척추를 교정하거나 안정화시키기 위해 환부에 삽입될 다양한 종류의 스크류(screw)가 사용되고 있으며, 스크류를 척추에서 적절한 위치에 고정시키기 위해 척추 수술 내비게이션 시스템이 개발되고 있다.BACKGROUND OF THE INVENTION In the field of spinal surgery, various types of screws to be inserted into the affected area are used to correct or stabilize the spine, and a spinal surgery navigation system is being developed to fix the screw in a proper position on the spine.

종래 내비게이션 시스템은 스크류가 고정될 위치를 수술자에게 가이드하기 위해, 신체의 내외부에 마커를 직접 부착하거나 방사선을 이용하였다. 다만, 마커를 직접 부착하는 기술의 경우 소독이 필수적인　수술실 환경으로 인해 제한을 가지며, 방사선을 이용한 내비게이션 시스템은 환부 및 시술자가 지속적으로 방사능에 노출되어야 하는 문제점을 갖고 있다.Conventional navigation systems have used markers or radiation directly attached to the inside and outside of the body to guide the operator where the screw will be fixed. However, the technique of attaching the marker directly has limitations due to the surgery room environment, which requires disinfection, and the navigation system using radiation has a problem that the affected part and the operator must be continuously exposed to radiation.

따라서, 본 발명은 2차원 의료 영상으로부터 획득한 3차원 입체 영상에 스크류가 고정될 위치를 마킹하고, 마킹된 3차원 영상을 신체의 특징부를 이용하여 실제 환자의 척추에 매칭 결합하여 사전에 마킹한 위치에 스크류가 고정될 수 있도록 하는 수술 네비게이션 시스템 및 방법을 제공한다.Therefore, the present invention marks the position where the screw is fixed to the three-dimensional stereoscopic image obtained from the two-dimensional medical image, and matching the marked three-dimensional image to the spine of the actual patient using the features of the body to mark in advance A surgical navigation system and method are provided that allow a screw to be secured in position.

본 발명의 일 실시예에 따른 수술 내비게이션 시스템은 환자의 수술 대상 뼈의 2차원 의료 영상 정보로부터 3차원 의료 영상 정보를 생성하고, 생성한 상기 3차원 의료 영상 정보 및 상기 3차원 의료 영상 정보로부터 계산된 임계값을 토대로 AR 영상을 생성하는 영상 매칭부, 그리고 상기 영상 매칭부에서 생성한 AR 영상을, 환자의 수술 대상 뼈 상에 투영하여 디스플레이하는 디스플레이부를 포함하며, 상기 AR 영상은 상기 수술 대상 뼈에 대응하는 미리 저장된 관심 영역 및 상기 수술 대상 뼈에 스크류가 삽입될 위치 정보를 포함한다.Surgical navigation system according to an embodiment of the present invention generates three-dimensional medical image information from the two-dimensional medical image information of the patient's surgical bone, and calculated from the generated three-dimensional medical image information and the three-dimensional medical image information An image matching unit for generating an AR image based on the threshold value, and a display unit for projecting and displaying an AR image generated by the image matching unit on a surgery target bone of the patient, wherein the AR image is the surgery target bone. It includes a pre-stored region of interest corresponding to the position information to be inserted into the surgical target bone.

상기 영상 매칭부는, 상기 수술 대상 뼈의 2차원 의료 영상 정보를 수신하는 정보 수신부, 상기 2차원 의료 영상 정보로부터 상기 3차원 의료 영상 정보를 생성하고, 생성한 3차원 의료 영상 정보로부터 상기 임계값을 계산하는 3차원 영상 생성부, 상기 수술 대상 뼈에 대한 정보를 수신하고, 상기 수술 대상 뼈에 대해 미리설정된 하나 이상의 해부학적 구조물에 대한 정보를 상기 관심 영역으로 결정하는 관심 영역 설정부, 그리고 상기 3차원 의료 영상을 상기 임계값으로 필터링하여 AR 영상을 생성하고, 생성한 AR 영상에 상기 스크류가 삽입될 위치 정보를 표시하고, 상기 관심 영역과 상기 해부학적 구조물이 일치되도록 매칭하는 AR 영상 생성부를 포함한다.The image matching unit may include an information receiver configured to receive 2D medical image information of the operation target bone, generate the 3D medical image information from the 2D medical image information, and set the threshold value from the generated 3D medical image information. 3D image generating unit for calculating, the region of interest setting unit for receiving information about the bone of the operation target, the region of interest setting unit for determining the information about one or more anatomical structure predetermined for the surgical target bone as the region of interest, and the 3 The AR image is generated by filtering the 3D medical image by the threshold value, and displaying position information for inserting the screw in the generated AR image, and matching the region of interest with the anatomical structure to match. do.

상기 임계값은 상기 3차원 의료 영상으로부터 계산된 그레이 스케일 값이다.The threshold is a gray scale value calculated from the 3D medical image.

상기 AR 영상 생성부는, 상기 AR 영상의 관심 영역과 상기 수술 대상 뼈의 해부학적 구조물이 일치하여 매칭하기 위하여, 상기 해부학적 구조물을 기준으로 상기 관심 영역의 회전각, 크기 변화 값 및 위치 변화 값을 계산한다.The AR image generator, in order to match and match the region of interest of the AR image and the anatomical structure of the bone to be operated, adjusts the rotation angle, the size change value, and the position change value of the region of interest based on the anatomical structure. Calculate

상기 디스플레이부는, 상기 영상 매칭부가 생성한 AR 영상을 수신하는 AR 영상 수신부, 그리고 상기 수신한 AR 영상을 상기 수술 대상 뼈 상에 투영되도록 디스플레이하는 영상 제공부를 포함한다.The display unit may include an AR image receiving unit receiving an AR image generated by the image matching unit, and an image providing unit configured to display the received AR image to be projected onto the surgical target bone.

상기 디스플레이부는, 의사가 착용할 수 있는 HMD(Head Mounted Device) 형태 또는 비 HMD(Non-Head Mounted Device) 형태 중 어느 하나로 구현된다.The display unit may be implemented in any one of a head mounted device (HMD) form or a non-head mounted device (HMD) type that a doctor can wear.

본 발명의 일 실시예에 따른 수술 내비게이션 시스템이 수술 대상 뼈 상에 AR 영상을 디스플레이하는 방법은 환자의 수술 대상 뼈의 2차원 의료 영상으로부터 3차원 의료 영상을 생성하는 단계, 상기 생성한 3차원 의료 영상에 상기 수술 대상 뼈에 대응하는 관심 영역을 반영하는 단계, 상기 3차원 의료 영상으로부터 계산된 임계값을 토대로 상기 3차원 의료 영상을 필터링하여 상기 관심 영역이 반영된 AR 영상을 생성하는 단계, 상기 수술 대상 뼈에 스크류가 삽입될 위치 정보를 수신하고, 상기 수신한 위치 정보를 상기 AR 영상에 표시하는 단계, 그리고 상기 수술 대상 뼈에 상기 AR 영상을 매칭하여 상기 수술 대상 뼈 상에 상기 AR 영상이 투영되도록 디스플레이하는 단계를 포함한다.Method for displaying an AR image on a surgical target bone in the surgical navigation system according to an embodiment of the present invention comprises the steps of generating a three-dimensional medical image from the two-dimensional medical image of the patient's surgical target bone, the generated three-dimensional medical Reflecting the region of interest corresponding to the surgical target bone on an image, filtering the three-dimensional medical image based on a threshold value calculated from the three-dimensional medical image, and generating an AR image reflecting the region of interest; Receiving position information to be inserted into the target bone screw, and displaying the received position information on the AR image, and matching the AR image to the surgical target bone to project the AR image onto the surgical target bone And displaying the display if possible.

상기 임계값은 상기 3차원 의료 영상으로부터 계산된 그레이 스케일 값이다.The threshold value is a gray scale value calculated from the 3D medical image.

상기 관심 영역은 상기 수술 대상 뼈에 대해 미리 설정된 하나 이상의 해부학적 구조물에 대한 정보이고, 상기 수술 대상 뼈에 상기 AR 영상을 매칭하는 것은 상기 해부학적 구조물과 상기 AR 영상의 상기 관심 영역이 일치되도록 매칭한다.The region of interest is information about one or more anatomical structures preset for the surgical target bone, and matching the AR image to the surgical target bone matches the anatomical structure with the region of interest of the AR image. do.

상기 디스플레이하는 단계는, 상기 AR 영상의 관심 영역과 상기 실제 수술 대상 뼈의 해부학적 구조물이 일치하여 매칭하기 위하여, 상기 해부학적 구조물을 기준으로 상기 관심 영역의 회전각, 크기 변화 값 및 위치 변화 값을 계산하는 단계를 더 포함한다.The displaying may include a rotation angle, a size change value, and a position change value of the ROI, based on the anatomical structure, to match and match the ROI of the AR image with the anatomical structure of the actual target bone. It further comprises the step of calculating.

본 발명에 따르면, 수술 전 환자의 척추에 스크류가 실제로 고정될 위치를 증강 현실 영상으로 확인할 수 있어 수술 계획을 세움에 있어 명확한 자료로 사용함으로써, 의료 사고의 발생 감소와 수술 시간 단축 및 환자의 수술에 대한 부담감을 감소시킬 수 있다.According to the present invention, the position where the screw is actually fixed to the spine of the patient before surgery can be confirmed by using augmented reality images, so that it can be used as a clear data for planning the surgery, thereby reducing the occurrence of medical accidents and reducing the operation time and the patient's surgery. It can reduce the burden on people.

또한, 직접 수술 및 시술용이 아닌 의학 전공자 및 기타 전공자들에게 교육용 소프트웨어로 보급할 수 있으므로, 교육 비용을 줄일 수 있다.In addition, it can be distributed as educational software to medical and other majors, not directly for surgery and surgery, thereby reducing the cost of education.

도 1은 본 발명의 실시예에 따른 수술 내비게이션 시스템의 예시도이다.
도 2는 본 발명의 실시예에 따른 수술 내비게이션 시스템의 구조도이다.
도 3은 본 발명의 실시예에 따른 수술 내비게이션 시스템을 이용한 AR 영상 제공 방법에 대한 흐름도이다.
도 4는 본 발명의 실시예에 따라 설정된 관심 영역의 예시도이다.1 is an illustration of a surgical navigation system according to an embodiment of the present invention.
2 is a structural diagram of a surgical navigation system according to an embodiment of the present invention.
3 is a flowchart illustrating an AR image providing method using a surgical navigation system according to an exemplary embodiment of the present invention.
4 is an exemplary diagram of an ROI set according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. As those skilled in the art would realize, the described embodiments may be modified in various different ways, all without departing from the spirit or scope of the present invention. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and like reference numerals designate like parts throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. Throughout the specification, when a part is said to "include" a certain component, it means that it can further include other components, without excluding other components unless specifically stated otherwise.

이하, 도면을 참조로 하여 본 발명의 실시예에 따른 수술 내비게이션 시스템 및 이를 이용한 입체 영상 제공 방법에 대해 설명한다.Hereinafter, a surgical navigation system and a stereoscopic image providing method using the same according to an embodiment of the present invention will be described with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 수술 내비게이션 시스템의 예시도이다.1 is an illustration of a surgical navigation system according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 환자의 척추에 스크류가 고정될 위치가 마킹된 AR(Augmented Reality) 영상을 매칭하여, 수술자(이하, '의사'라 지칭함)가 수술 중 환자의 척추에 스크류가 실제로 고정될 위치를 확인할 수 있도록 하는 수술 내비게이션 시스템(100)은 영상 매칭부(110)와 디스플레이부(120)를 포함한다.As shown in FIG. 1, by matching an AR (Augmented Reality) image marked where the screw is to be fixed to the patient's spine, the operator (hereinafter referred to as a 'doctor') may actually have the screw on the patient's spine during surgery. Surgical navigation system 100 to confirm the position to be fixed includes an image matching unit 110 and the display unit 120.

영상 매칭부(110)는 환자의 뼈에 대한 CT 또는 MRI 등 2차원 의료 영상을 토대로 3차원 의료 영상을 생성한다.The image matching unit 110 generates a 3D medical image based on a 2D medical image such as CT or MRI of the bone of the patient.

영상 매칭부(110)가 생성한 3차원 의료 영상은 환자의 뼈의 상태(예를 들면, 골밀도, 굽음증 정도), 뼈의 해부학적 구조물에 대한 정보 등을 모두 포함한다. 영상 매칭부(110)가 2차원 의료 영상을 기준으로 3차원 의료 영상을 생성하는 방법은 여러 방법으로 수행될 수 있으므로, 본 발명의 실시예에서는 어느 하나로 한정하지 않는다.The 3D medical image generated by the image matching unit 110 includes all of the bone state of the patient (eg, bone density, degree of bend), information about the anatomy of the bone, and the like. The method of generating the 3D medical image based on the 2D medical image by the image matching unit 110 may be performed in various ways. Therefore, the image matching unit 110 is not limited to any one embodiment.

영상 매칭부(110)는 외부로부터 입력되는 실제 수술 대상인 뼈에 대한 정보, 즉, 수술 부위 정보를 수신한다. 또한, 영상 매칭부는(110)는 수술 부위에 대한 정보를 수신하면, 해당 수술 부위에 대해 미리 설정된 해부학적 구조물에 대한 정보를 관심 영역(land mark)으로 결정한다.The image matching unit 110 receives information about a bone, that is, an actual surgical target input from the outside, that is, surgical site information. In addition, when the image matching unit 110 receives the information on the surgical site, the image matching unit 110 determines the information on the anatomical structure preset for the corresponding surgical site as a land mark.

영상 매칭부(110)는 생성한 3차원 의료 영상에 결정한 관심 영역을 설정한다. 그리고, 영상 매칭부(110)는 관심 영역이 설정된 3차원 의료 영상을 미리 계산된 임계값을 이용하여 필터링하여 실제 뼈에 정합될 AR 영상을 생성한다.The image matching unit 110 sets the region of interest determined in the generated 3D medical image. The image matching unit 110 generates an AR image to be matched to the actual bone by filtering the 3D medical image in which the ROI is set using a pre-calculated threshold value.

또한, 영상 매칭부(110)는 환자의 수술 대상 뼈에 스크류가 실제로 고정될 위치를 수신하면, 수신된 스크류의 고정 위치를 3차원 의료 영상에 표시한다. 그리고, 생성한 AR 영상을 디스플레이부(120)로 제공하여, 수술자인 의사가 디스플레이부(120)를 통해 실제 뼈와 정합된 AR 영상을 확인할 수 있도록 한다. 이때, AR 영상에도 관심 영역이 표시되어 있으므로, 실제 뼈에 표시된 관심 영역에 일치하도록 위치시킨 후, 스크류의 고정 위치가 표시된 AR 영상이 실제 뼈에 투영되어 디스플레이 된다.In addition, when the image matching unit 110 receives the position where the screw is actually fixed to the surgical target bone of the patient, and displays the fixed position of the received screw on the three-dimensional medical image. In addition, the generated AR image is provided to the display unit 120 so that the surgeon doctor can check the AR image matched with the actual bone through the display unit 120. In this case, since the region of interest is also displayed on the AR image, the region of interest is positioned to match the region of interest displayed on the actual bone, and then the AR image on which the fixed position of the screw is displayed is displayed on the actual bone.

디스플레이부(120)는 영상 매칭부(110)로부터 전달되는 스크류의 고정 위치가 표시된 AR 영상을 환자의 뼈에 정합, 디스플레이 하여, 의사가 용이하게 스크류가 실제 고정될 위치를 확인할 수 있도록 한다. 여기서 디스플레이부(120)는 의사가 착용할 수 있는 HMD(Head Mounted Device) 형태와 비 HMD(Non-Head Mounted Device) 형태로 구현될 수 있으며, 본 발명의 실시예에서는 HMD 형태를 예로 하여 설명한다.The display unit 120 matches and displays the AR image in which the fixing position of the screw transmitted from the image matching unit 110 is displayed on the bone of the patient, so that the doctor can easily check the position where the screw is actually fixed. The display unit 120 may be implemented in the form of a head mounted device (HMD) and a non-head mounted device (HMD) that can be worn by a doctor, and the embodiment of the present invention will be described by using an HMD as an example. .

이상에서 설명한 수술 내비게이션 시스템(100)의 구조에 대해 도 2를 참조로 상세히 설명한다.The structure of the surgical navigation system 100 described above will be described in detail with reference to FIG.

도 2는 본 발명의 실시예에 따른 수술 내비게이션 시스템의 구조도이다.2 is a structural diagram of a surgical navigation system according to an embodiment of the present invention.

도 2에 도시된 바와 같이, 수술 내비게이션 시스템(100)은 스크류의 고정 위치가 표시된 AR 영상을 생성하는 영상 매칭부(110)와 상기 AR 영상을 환자의 수술 대상 뼈에 정합된 형태로 디스플레이하는 디스플레이부(120)로 구성된다.As shown in FIG. 2, the surgical navigation system 100 displays an image matching unit 110 that generates an AR image in which a fixed position of a screw is displayed, and displays the AR image in a form matched to a patient's surgical bone. It is composed of a portion (120).

영상 매칭부(110)는 정보 수신부(111), 3차원 의료 영상 생성부(112), 관심 영역 설정부(113) 및 AR 영상 생성부(114)를 포함한다. 그리고 디스플레이부(120)는 AR 영상 수신부(121) 및 영상 제공부(122)를 포함한다.The image matching unit 110 includes an information receiver 111, a 3D medical image generator 112, an ROI setting unit 113, and an AR image generator 114. In addition, the display unit 120 includes an AR image receiving unit 121 and an image providing unit 122.

먼저, 정보 수신부(111)는 수술 대상으로 결정된 환자의 뼈 부분에 대한 2차원 의료 영상을 수신한다. 2차원 의료 영상의 종류로는 CT 또는 MRI 등이 있으며, 본 발명의 실시예에서는 어느 하나의 종류로 2차원 의료 영상의 형태를 한정하지 않는다.First, the information receiver 111 receives a 2D medical image of a bone part of a patient determined as an operation target. Types of two-dimensional medical images include CT or MRI, and the embodiment of the present invention does not limit the shape of the two-dimensional medical images.

3차원 의료 영상 생성부(112)는 정보 수신부(111)가 수신한 2차원 의료 영상을 전처리 과정, 합성 과정, 배경 투사 과정 그리고 후처리 과정을 통해 3차원 의료 영상으로 생성한다. 여기서, 생성된 3차원 의료 영상은 환자의 뼈의 상태(예를 들면, 골밀도, 굽음증 정도), 뼈의 해부학적 구조물에 대한 정보 등을 모두 포함한다.The 3D medical image generator 112 generates the 2D medical image received by the information receiver 111 as a 3D medical image through a preprocessing process, a synthesis process, a background projection process, and a postprocessing process. Here, the generated 3D medical image includes all of the bone state of the patient (eg, bone density, degree of bend), information about the anatomy of the bone, and the like.

즉, 3차원 의료 영상 생성부(112)는 수술 대상으로 결정된 환자의 뼈 부분에대한 2차원 의료 영상에서 노이즈를 제거하고 영상 품질을 향상시키고, 편이 보정(Bias Correction) 등의 전처리 작업을 수행하여 3차원 의료 영상으로 변환하기 적합한 상태의 전처리된 의료 영상을 생성한다. 3차원 의료 영상 생성부(112)는 전처리된 의료 영상을 합성하고 배경을 투사하여 3차원 의료 영상으로 생성한다. That is, the 3D medical image generating unit 112 removes noise from the 2D medical image of the bone portion of the patient determined as the operation target, improves image quality, and performs preprocessing such as bias correction. A preprocessed medical image is generated in a state suitable for conversion into a 3D medical image. The 3D medical image generator 112 synthesizes the preprocessed medical image and projects the background to generate a 3D medical image.

3차원 의료 영상 생성부(112)가 생성한 3차원 의료 영상을 통해 의사는 수술 대상 뼈의 골밀도, 굽음증 정도, 주변의 해부학적 구조물 등을 파악할 수 있다. 3차원 의료 영상을 통해 의사는 수술 대상으로 결정된 뼈(예를 들면, 척추)의 상태를 정확히 확인할 수 있는바, 이에 기초하여 의사는 뼈를 고정시킬 스크류가 삽입될 위치를 결정할 수 있다. 그리고 3차원 의료 영상 생성부(112)는 수술 대상 뼈의 주변 구조물들과 수술 대상 뼈 사이의 거리 및 수술 대상 뼈로부터 얼마만큼의 깊이에 위치하는지 나타내는 위치 정보를, 3차원 좌표계를 이용하여 생성하여 3차원 의료 영상에 포함시킨다.Through the three-dimensional medical image generated by the three-dimensional medical image generating unit 112, the doctor can determine the bone density, the degree of bending, the anatomical structures around the surgery target bone. The 3D medical image allows the doctor to accurately determine the condition of the bone (for example, the spine) determined as the operation target, and based on this, the doctor may determine a position at which the screw to fix the bone is inserted. The 3D medical image generating unit 112 generates location information indicating the distance between the surrounding structures of the operation target bone and the operation target bone and how deep the target bone is located using the 3D coordinate system. Include in 3D medical images.

3차원 의료 영상 생성부(112)가 2차원 의료 영상을 전처리하고, 합성, 배경을 투사하는 방법, 그리고 3차원 좌표계를 이용하여 깊이 정보를 추출하고 이를 함께 제공하는 것은 다양한 방법을 통해 실행될 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하여 설명하지는 않는다.Since the 3D medical image generator 112 preprocesses the 2D medical image, synthesizes it, projects the background, and extracts depth information using the 3D coordinate system and provides the same together, it can be executed by various methods. In the embodiment of the present invention, the description is not limited to any one method.

3차원 의료 영상 생성부(112)는 생성한 3차원 의료 영상으로부터 이후 설명할 AR 영상 생성부(114)에서 필터링할 때 사용할 임계값을 계산한다. 여기서 필터링에 사용되는 임계값은 3차원 의료 영상을 나타내는 그레이 스케일(gray scale)의 특정 값을 의미한다. The 3D medical image generator 112 calculates a threshold value to be used when filtering by the AR image generator 114 to be described later from the generated 3D medical image. Here, the threshold used for filtering means a specific value of a gray scale representing a 3D medical image.

예를 들어, CT 영상인 2차원 의료 영상에서 뼈는 밝게 나타나고, 기타 조직(상피조직, 결합조직, 근육조직, 신경조직)들은 어둡게 나타난다. 그리고 혈관의 밝기와 병변의 밝기가 뼈의 밝기와 기타 조직의 밝기 사이의 밝기로 보인다면, 뼈와 기타 조직, 혈관, 병변 등의 밝기를 숫자로 표현할 수 있다.For example, in two-dimensional medical images, CT images, bones appear bright and other tissues (epithelial, connective, muscular, neural) appear dark. If the brightness of blood vessels and the brightness of lesions are seen as the brightness between the brightness of bones and the brightness of other tissues, then the brightness of bones and other tissues, blood vessels, lesions, etc. can be expressed numerically.

그러므로, 3차원 의료 영상 생성부(112)는 혈관과 병변의 밝기에 해당하는 수치를 기준으로 그레이 스케일의 임계값을 설정할 수 있다. 본 발명의 실시예에서는 3차원 의료 영상 생성부(112)가 임계값을 계산하는 것을 예로 하여 설명하나 반드시 이와 같이 한정되는 것은 아니다. 또한, 3차원 의료 영상으로부터 임계값을 계산하는 방법을 어느 하나의 방법으로 한정하지 않는다.Therefore, the 3D medical image generator 112 may set the gray scale threshold based on a value corresponding to the brightness of the blood vessel and the lesion. In the exemplary embodiment of the present invention, the 3D medical image generator 112 calculates a threshold value as an example, but is not necessarily limited thereto. In addition, the method of calculating the threshold value from the 3D medical image is not limited to any one method.

관심 영역 설정부(113)는 외부로부터 수술 부위에 대한 정보를 수신한다.The ROI setting unit 113 receives information about the surgical site from the outside.

그리고 관심 영역 설정부(113)는 해당 수술 부위에 대해 미리 설정된 하나 이상의 해부학적 구조물에 대한 정보를 관심 영역으로 결정한다. 관심 영역 설정부(113)가 관심 영역을 결정하는 예에 대해 도 4를 참고로 먼저 설명한다.The ROI setting unit 113 determines the ROI as information on one or more anatomical structures preset for the surgery site. An example in which the ROI setting unit 113 determines the ROI will be described with reference to FIG. 4.

도 4는 본 발명의 실시예에 따라 설정된 관심 영역의 예시도이다.4 is an exemplary diagram of an ROI set according to an embodiment of the present invention.

도 4에 도시된 바와 같이, 수술 대상이 척추인 경우, 관심 영역 설정부(113)는 실제 수술 대상인 척추 부위에 대한 정보를 수신한다. 이 경우, 관심 영역 설정부(113)는 척추 뼈 부위 각각의 바디(body), 가로돌기(transverse processes), 고리뿌리(pedicle), 고리판(lamina) 등과 같은 해부학적 구조물들의 위치 및 각도에 대한 정보를 미리 저장할 수 있다. 관심 영역 설정부(113)는 척추 부위에 대한 정보를 수신하면, 해당 부위의 해부학적 구조물에 대한 정보들 중 적어도 하나를 관심 영역으로 결정할 수 있다.As shown in FIG. 4, when the surgical target is the spine, the ROI setting unit 113 receives information about the spinal region which is the actual surgical target. In this case, the ROI setting unit 113 may determine the position and angle of anatomical structures such as bodies, transverse processes, pedicles, laminas, etc. of each vertebral bone region. Information can be stored in advance. When the ROI setting unit 113 receives the information about the spine region, the ROI setting unit 113 may determine at least one of the information about the anatomical structure of the region as the ROI.

다른 실시예에서, 관심 영역 설정부(113)는 환자의 척추를 구성하고 있는 뼈 각각이 갖고 있는 해부학적 특징에 대한 정보를 미리 저장할 수 있다. 이 경우, 관심 영역 설정부(113)는 실제 수술 대상의 척추 뼈 부위에 대한 정보를 수신하면, 기 저장된 정보에서 수술 대상의 척추 뼈가 갖고 있는 해부학적 특징 중 적어도 하나를 관심 영역으로 결정할 수 있다.In another embodiment, the ROI setting unit 113 may store in advance information on anatomical features of each bone constituting the spine of the patient. In this case, when the ROI setting unit 113 receives information on the actual spinal bone region of the surgery target, the ROI setting unit 113 may determine at least one of anatomical features of the spinal bone of the surgery target from the previously stored information as the ROI. .

본 발명의 실시예에서는 수술 대상이 척추인 것을 예로 하여 설명하였으나, 뼈의 종류에 따라 서로 다른 해부학적 구조물들이 관심 영역 설정부(113)에 저장되고, 이들 중 적어도 하나가 관심 영역으로 결정될 수도 있다.In the exemplary embodiment of the present invention, the surgical target is described as an example, but different anatomical structures are stored in the ROI setting unit 113 according to the type of bone, and at least one of them may be determined as the ROI. .

도 2로 다시 돌아가면, AR 영상 생성부(114)는 3차원 의료 영상 생성부(112)에서 생성된 3차원 의료 영상에 관심 영역 설정부(113)에서 결정된 관심 영역을 설정한다. 그리고, AR 영상 생성부(114)는 스크류가 고정될 위치 정보를 수신하여 관심 영역이 설정된 3차원 의료 영상에 스크류 고정 위치를 표시한다.2, the AR image generator 114 sets the ROI determined by the ROI setter 113 to the 3D medical image generated by the 3D medical image generator 112. The AR image generating unit 114 receives the position information on which the screw is to be fixed and displays the screw fixing position on the 3D medical image in which the ROI is set.

구체적으로, 3차원 의료 영상은 골밀도, 굽음증 정도와 같은 환자의 뼈의 상태에 대한 정보를 포함하는바, 의사는 3차원 의료 영상을 통해 실제 환자의 척추에 스크류가 삽입될 위치를 결정할 수 있다. 스크류 고정 위치를 결정하면 의사는 해당 위치를 AR 영상 생성부(114)에 입력하고, AR 영상 생성부(114)는 관심 영역이 설정된 3차원 의료 영상에 입력된 스크류 고정 위치를 표시한다.In detail, the 3D medical image includes information about a patient's bone state such as bone density and degree of bending, and the doctor may determine a position where the screw is inserted into the spine of the actual patient through the 3D medical image. . When the screw fixing position is determined, the doctor inputs the corresponding position to the AR image generating unit 114, and the AR image generating unit 114 displays the screw fixing position input to the 3D medical image in which the ROI is set.

비록 상기 설명에서는 관심 영역이 먼저 설정되고 이후에 스크류 고정 위치를 표시하였으나, 스크류 고정 위치가 먼저 표시되고 이후에 관심 영역이 설정되어도 무방하다.Although the region of interest is first set in the above description and then the screw fixing position is indicated, the screw fixing position may be displayed first and the region of interest may be set afterwards.

AR 영상 생성부(114)가 스크류가 고정될 위치 정보를 수신하는 방법이나, 3차원 의료 영상에 스크류 고정 위치를 표시하는 방법은 다양한 방법으로 실행될 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.Since the AR image generating unit 114 receives the position information on which the screw is to be fixed or the method of displaying the screw fixing position on the 3D medical image may be performed in various ways, according to an embodiment of the present invention, any one method may be used. It is not limited to.

AR 영상 생성부(114)는 관심 영역 및 스크류 고정 위치가 표시된 3차원 의료 영상을, 3차원 의료 영상 생성부(112)가 계산한 임계값을 토대로 필터링하여 AR 영상으로 생성한다.The AR image generator 114 filters the 3D medical image in which the ROI and the screw fixing position are displayed, based on the threshold value calculated by the 3D medical image generator 112 to generate the AR image.

AR 영상 생성부(114)는 AR 영상을 실제 뼈에 정합한다. AR 영상을 실제 뼈에 정합할 때, AR 영상 생성부(114)는 실제 뼈 부분의 해부학적 구조물과 AR 영상에 표시된 관심 영역을 일치시킨다.The AR image generator 114 matches the AR image to actual bones. When matching the AR image to the actual bone, the AR image generator 114 matches the anatomical structure of the actual bone portion with the region of interest displayed on the AR image.

또한, AR 영상 생성부(114)는 AR 영상에 표시된 관심 영역이 환자의 척추를 구성하고 있는 뼈 각각이 갖고 있는 해부학적 특징에 대한 정보인 경우, 실제 뼈 부분이 갖고 있는 해부학적 특징과 AR 영상에 표시된 관심 영역을 일치시킬 수 있다.In addition, the AR image generating unit 114, if the region of interest displayed on the AR image is information on the anatomical characteristics of each bone constituting the spine of the patient, the AR image generating unit 114 and the AR image You can match the region of interest shown in.

AR 영상 생성부(114)가 실제 뼈 부분의 해부학적 구조물과 AR 영상에 표시된 관심 영역을 일치시킬 때, AR 영상 생성부(114)는 실제 뼈 부분의 해부학적 구조물을 기준으로 관심 영역을 얼마나 회전시킬지(회전각), 얼마나 위치를 변화시킬지(위치 변화 값), 얼마나 크기를 변화시킬지(크기 변화 값) 등을 계산한다. 그리고, 계산된 회전각, 위치 변화 값 및 크기 변화 값을 관심 영역에 반영하여, 실제 수술 대상 뼈에 AR 영상이 정합되도록 한다.When the AR image generator 114 matches the anatomical structure of the actual bone portion with the region of interest displayed on the AR image, the AR image generator 114 rotates the ROI based on the anatomical structure of the actual bone portion. Calculate how much to change (rotation angle), how much position to change (position change value), how much to change size (value change value), and so on. The calculated rotation angle, position change value, and size change value are reflected in the ROI, so that the AR image is matched to the actual target bone.

AR 영상 생성부(114)가 실제 뼈 부분의 해부학적 구조물을 기준으로 관심 영역의 회전각, 위치 변화 값, 크기 변화 값을 계산하는 방법은 다양한 방법으로 실행될 수 있으므로, 본 발명의 실시예에서는 상세한 설명을 생략한다. 또한, AR 영상을 수술 대상 뼈에 정합하는 방법 역시 다양한 방법으로 실행될 수 있으므로, 본 발명의 실시예에서는 상세한 설명을 생략한다. Since the AR image generator 114 calculates the rotation angle, the position change value, and the size change value of the ROI based on the anatomical structure of the actual bone part, it can be performed in various ways. Omit the description. In addition, the method of matching the AR image to the target bone of surgery may also be performed in various ways, and thus, detailed description thereof will be omitted.

한편, 디스플레이부(120)의 AR 영상 수신부(121)는 AR 영상 생성부(114)에서 생성한 수술 대상 뼈에 정합된 AR 영상을 수신한다. Meanwhile, the AR image receiving unit 121 of the display unit 120 receives an AR image matched to a surgical target bone generated by the AR image generating unit 114.

영상 제공부(122)는 AR 영상 수신부(121)가 수신한 AR 영상을 실제 수술 대상 뼈에 투영하여 디스플레이 한다.The image provider 122 projects and displays the AR image received by the AR image receiver 121 onto a target bone of surgery.

영상 제공부(122)가 제공하는 수술 대상 뼈에 투영된 AR 영상은, 수술이 진행되는 동안 수술 대상 뼈에 고정된 상태를 유지하여 디스플레이 된다.The AR image projected on the surgical target bone provided by the image provider 122 is displayed while being fixed to the surgical target bone while the surgery is in progress.

이상에서 설명한 수술 내비게이션 시스템을 이용하여 AR 영상을 제공하는 방법에 대해 도 3을 참조로 설명한다.A method of providing an AR image by using the surgical navigation system described above will be described with reference to FIG. 3.

도 3은 본 발명의 실시예에 따른 수술 내비게이션 시스템을 이용한 AR 영상 제공 방법에 대한 흐름도이다.3 is a flowchart illustrating an AR image providing method using a surgical navigation system according to an exemplary embodiment of the present invention.

도 3에 도시된 바와 같이, 수술 내비게이션 시스템(100)은 환자의 수술 대상 뼈를 촬영한 CT 또는 MRI와 같은 2차원 의료 영상을 수신한다. 그리고 수신한 2차원 의료 영상을 토대로 3차원 의료 영상을 생성한다(S100).As shown in FIG. 3, the surgical navigation system 100 receives a two-dimensional medical image such as a CT or an MRI of a patient's surgical target bone. In operation S100, a 3D medical image is generated based on the received 2D medical image.

이와 동시에 수술 내비게이션 시스템(100)은 생성한 3차원 의료 영상을 토대로 이후 필터링에 사용할 임계값을 계산한다. 2차원 의료 영상을 3차원 입체 영상으로 생성하는 과정에서, 수술 내비게이션 시스템(100)은 환자의 뼈의 상태(예를 들면, 골밀도, 굽음증 정도), 뼈의 해부학적 구조물에 대한 정보 등을 추출한다.At the same time, the surgical navigation system 100 calculates a threshold to be used for later filtering based on the generated 3D medical image. In the process of generating a 2D medical image as a 3D stereoscopic image, the surgical navigation system 100 extracts information about a patient's bone state (eg, bone density, degree of bend), and anatomical structure of the bone. do.

수술 내비게이션 시스템(100)은 수술 부위에 대한 정보를 수신하고, 해당 수술 부위에 대해 미리 설정된 하나 이상의 해부학적 구조물에 대한 정보를 관심 영역으로 결정한다(S110).The surgical navigation system 100 receives the information on the surgical site and determines information on one or more anatomical structures preset for the corresponding surgical site as the region of interest (S110).

즉, 의사가 환자의 수술 대상 뼈 부분에 대한 위치 정보를 입력하면, 해당 뼈 부분에 대해 미리 저장된 해부학적 구조물들 중 적어도 하나 이상을 관심 영역으로 결정한다. 이는 3차원 의료 영상으로부터 생성된 AR 영상을 실제 수술 대상 뼈에 정합하는 과정에서, 관심 영역을 이용하여 정합이 이루어질 수 있도록 하기 위함이다.That is, when the doctor inputs position information about the bone portion of the patient to be operated on, the doctor determines at least one or more of the anatomical structures stored in advance for the bone portion as the ROI. This is to allow registration using the ROI in the process of matching the AR image generated from the 3D medical image to the actual target bone.

수술 내비게이션 시스템(100)은 수술 부위에서 스크류가 고정될 위치에 대한정보를 수신하고, 수신한 정보를 3차원 의료 영상에 표시한다(S120). 스크류 고정 위치에 대한 정보를 수산하는 방법이나, 수신한 정보를 3차원 의료 영상에 표시하는 방법은 다양한 방법으로 실행될 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.The surgical navigation system 100 receives the information on the position where the screw is fixed at the surgical site and displays the received information on the 3D medical image (S120). The method of receiving information about the screw fixing position or the method of displaying the received information on the 3D medical image can be executed in various ways, and therefore, the embodiment of the present invention is not limited to any one method.

수술 내비게이션 시스템(100)은 S100 단계에서 생성한 3차원 의료 영상과 계산한 임계값에 기초하고, S110 단계에서 계산한 관심 영역 및 S120 단계에서 표시한 스크류 고정 위치를 포함하는 AR 영상을 생성한다(S130).The surgical navigation system 100 generates an AR image based on the 3D medical image generated in step S100 and the calculated threshold value, and includes the region of interest calculated in step S110 and the screw fixation position indicated in step S120 ( S130).

수술 내비게이션 시스템(100)은 S130 단계에서 생성한 AR 영상을 관심 영역을 토대로 실제 수술 대상 뼈에 정합하여 디스플레이 한다(S140). 즉, 수술 내비게이션 시스템(100) 실제 뼈 부분의 해부학적 구조물과 AR 영상에 표시된 관심 영역을 일치시켜, 수술 대상 뼈에 AR 영상이 정합된 형태로 디스플레이 한다.The surgical navigation system 100 matches and displays the AR image generated in operation S130 with the actual target bone based on the region of interest (S140). That is, the surgical navigation system 100 matches the anatomical structure of the actual bone part with the region of interest displayed on the AR image, and displays the AR image on the target bone in a matched form.

본 발명에 따르면, 수술 전 환자의 척추에 스크류가 실제로 고정될 위치를 증강 현실 영상으로 확인할 수 있어 수술 계획을 세움에 있어 명확한 자료로 사용함으로써, 의료 사고의 발생 감소와 수술 시간 단축 및 환자의 수술에 대한 부담감을 감소시킬 수 있다.According to the present invention, the position where the screw is actually fixed to the spine of the patient before surgery can be confirmed by using augmented reality images, so that it can be used as a clear data in planning the surgery, thereby reducing the occurrence of medical accidents and reducing the operation time and the patient's surgery It can reduce the burden on people.

또한, 직접 수술 및 시술용이 아닌 의학 전공자 및 기타 전공자들에게 교육용 소프트웨어로 보급할 수 있으므로, 교육 비용을 줄일 수 있다.In addition, it can be distributed as educational software to medical and other majors, not directly for surgery and surgery, thereby reducing the cost of education.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concepts of the present invention defined in the following claims are also provided. It belongs to the scope of rights.

Claims (10)

수술 내비게이션 시스템에 있어서,
환자의 수술 대상 뼈의 2차원 의료 영상 정보를 이용하여 상기 수술 대상 뼈의 해부학적 구조를 분석하고, 임의의 해부학적 구조물이 포함된 영상 정합용 관심 영역을 설정하고, 상기 2차원 의료 영상 정보를 이용하여 상기 관심 영역이 포함된 3차원 의료 영상 정보를 생성하고, 상기 3차원 의료 영상 정보를 이용하여 상기 관심 영역과 상기 수술 대상 뼈에 스크류가 삽입될 위치 정보를 포함하는 AR 영상을 생성하고, 상기 수술 대상 뼈에서 상기 관심 영역에 포함된 상기 해부학적 구조물의 위치를 확인하고, 상기 AR 영상에 포함된 관심 영역과 상기 수술 대상 뼈의 해부학적 구조물의 위치가 일치하도록 상기 AR 영상을 변형하는 영상 매칭부, 그리고
변형된 AR 영상을 상기 수술 대상 뼈에 투영하는 디스플레이부를 포함하며,
상기 AR 영상은 상기 수술 대상 뼈에 대응하는 미리 저장된 관심 영역 및 상기 수술 대상 뼈에 스크류가 삽입될 위치 정보를 포함하는, 수술 내비게이션 시스템.In surgical navigation systems,
Analyze the anatomical structure of the surgical target bone using 2D medical image information of the patient's surgical target bone, set a region of interest for image registration including any anatomical structure, and apply the 2D medical image information Generate 3D medical image information including the ROI, and generate an AR image including position information to insert a screw into the ROI and the target bone using the 3D medical image information; An image for identifying a position of the anatomical structure included in the region of interest in the surgical target bone, and deforming the AR image so that the position of the region of interest included in the AR image coincides with the position of the anatomical structure of the surgical target bone Matching unit, and
It includes a display unit for projecting the modified AR image to the surgical target bone,
The AR image includes a pre-stored region of interest corresponding to the surgical target bone and position information to be inserted into the surgical target bone, the surgical navigation system. 제1항에 있어서,
상기 영상 매칭부는,
상기 수술 대상 뼈의 2차원 의료 영상 정보를 수신하는 정보 수신부,
기 저장된 상기 수술 대상 뼈의 해부학적 구조에 대한 정보를 이용하여, 상기 수술 대상 뼈를 구성하는 임의의 해부학적 구조물을 상기 관심 영역으로 설정하는 관심 영역 설정부,
상기 2차원 의료 영상 정보를 이용하여 상기 관심 영역이 포함된 상기 3차원 의료 영상 정보를 생성하는 3차원 영상 생성부, 그리고
상기 수술 대상 뼈에 스크류가 삽입될 위치 정보를 입력 받고, 상기 3차원 의료 영상에 상기 위치 정보를 포함하여 AR 영상을 생성하고, 상기수술 대상 뼈에서 상기 관심 영역에 포함된 상기 해부학적 구조물의 위치를 확인하고, 상기 AR 영상에 포함된 관심 영역과 상기 수술 대상 뼈의 해부학적 구조물의 위치가 일치하도록 상기 AR 영상을 변형하는 AR 영상 생성부
를 포함하는 수술 내비게이션 시스템.The method of claim 1,
The image matching unit,
An information receiver configured to receive 2D medical image information of the bone to be operated on;
A region of interest setting unit configured to set an arbitrary anatomical structure constituting the surgical target bone as the region of interest by using previously stored information about the anatomical structure of the surgical target bone;
A 3D image generating unit generating the 3D medical image information including the ROI by using the 2D medical image information, and
Receives the position information to be inserted into the surgical target bone, generating the AR image including the position information in the three-dimensional medical image, the position of the anatomical structure included in the region of interest in the surgical target bone An AR image generation unit for transforming the AR image so that the ROI included in the AR image and the position of the anatomical structure of the target bone of the surgery match with each other;
Surgical navigation system comprising a. 삭제delete 제2항에 있어서,
상기 AR 영상 생성부는,
상기 AR 영상의 관심 영역과 상기 수술 대상 뼈의 해부학적 구조물의 위치가 일치하기 위하여, 상기 수술 대상 뼈의 해부학적 구조물의 위치를 기준으로 상기 관심 영역의 회전각, 크기 변화 값 및 위치 변화 값을 계산하고, 계산된 각각의 값들을 이용하여 상기 AR 영상을 변형하는, 수술 내비게이션 시스템.The method of claim 2,
The AR image generator,
In order to coincide with the position of the region of interest of the AR image and the anatomical structure of the surgical target bone, the rotation angle, the size change value, and the position change value of the region of interest are based on the position of the anatomical structure of the surgical target bone. Calculate, and modify the AR image using the calculated respective values. 제1항에 있어서,
상기 디스플레이부는,
상기 영상 매칭부가 생성한 AR 영상을 수신하는 AR 영상 수신부, 그리고
상기 수신한 AR 영상을 상기 수술 대상 뼈에 투영되도록 디스플레이하는 영상 제공부
를 포함하는 수술 내비게이션 시스템.The method of claim 1,
The display unit,
An AR image receiving unit receiving the AR image generated by the image matching unit, and
Image providing unit for displaying the received AR image to be projected on the target bone of the surgery
Surgical navigation system comprising a. 제1항에 있어서,
상기 디스플레이부는,
의사가 착용할 수 있는 HMD(Head Mounted Device) 형태 또는 비 HMD(Non-Head Mounted Device) 형태 중 어느 하나로 구현되는 수술 내비게이션 시스템.The method of claim 1,
The display unit,
Surgical navigation system implemented in the form of a head-mounted device (HMD) or a non-head-mounted device (HMD) that can be worn by a doctor. 수술 내비게이션 시스템이 수술 대상 뼈에 AR 영상을 디스플레이하는 방법에 있어서,
환자의 수술 대상 뼈의 2차원 의료 영상에 포함된 상기 수술 대상 뼈의 해부학적 구조를 분석하여 해부학적 구조물이 포함된 영상 정합용 관심 영역을 설정하는 단계,
상기 2차원 의료 영상 정보를 이용하여 상기 관심 영역이 포함된 3차원 의료 영상을 생성하는 단계,
상기 3차원 의료 영상을 이용하여 AR 영상을 생성하는 단계,
상기 수술 대상 뼈에 스크류가 삽입될 위치 정보를 수신하고, 상기 수신한 위치 정보를 상기 AR 영상에 표시하는 단계, 그리고
상기 수술 대상 뼈에서 상기 관심 영역에 포함된 상기 해부학적 구조물의 위치를 확인하고, 상기 AR 영상에 포함된 관심 영역과 상기 수술 대상 뼈의 해부학적 구조물의 위치가 일치되도록 상기 AR 영상을 변형하고, 상기 수술 대상 뼈에 상기 AR 영상을 투영하여 디스플레이하는 단계
를 포함하는 AR 영상 디스플레이 방법.In the method of the surgical navigation system to display the AR image on the bone to be surgical,
Analyzing the anatomical structure of the surgical target bone included in the 2D medical image of the surgical target bone of the patient to set an image matching ROI including the anatomical structure;
Generating a 3D medical image including the ROI by using the 2D medical image information;
Generating an AR image using the 3D medical image;
Receiving position information for inserting a screw into the surgical target bone, displaying the received position information on the AR image, and
Confirm the position of the anatomical structure included in the region of interest on the surgical target bone, deform the AR image to match the position of the region of interest included in the AR image with the anatomical structure of the surgical target bone, Projecting and displaying the AR image on the surgical target bone
AR image display method comprising a. 삭제delete 삭제delete 제7항에 있어서,
상기 디스플레이하는 단계는,
상기 수술 대상 뼈의 상기 해부학적 구조물의 위치를 기준으로 상기 AR 영상에 포함된 관심 영역의 회전각, 크기 변화 값 및 위치 변화 값을 계산하는 단계,
계산된 각각의 값들을 이용하여 상기 AR 영상을 변형하는 단계, 그리고
상기 AR 영상의 상기 관심 영역과 상기 수술 대상 뼈의 해부학적 구조물의 위치가 일치되도록 매칭하는 단계
를 포함하는 AR 영상 디스플레이 방법.The method of claim 7, wherein
The displaying step,
Calculating a rotation angle, size change value and position change value of the ROI included in the AR image based on the position of the anatomical structure of the surgical target bone;
Modifying the AR image using the calculated respective values, and
Matching the region of interest of the AR image with the position of the anatomical structure of the surgical target bone
AR image display method comprising a.
KR1020170155946A 2017-11-21 2017-11-21 Spine surgical navigation system and method using augmented reality technology KR102056930B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170155946A KR102056930B1 (en) 2017-11-21 2017-11-21 Spine surgical navigation system and method using augmented reality technology

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170155946A KR102056930B1 (en) 2017-11-21 2017-11-21 Spine surgical navigation system and method using augmented reality technology

Publications (2)

Publication Number Publication Date
KR20190058190A KR20190058190A (en) 2019-05-29
KR102056930B1 true KR102056930B1 (en) 2019-12-17

Family

ID=66673163

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170155946A KR102056930B1 (en) 2017-11-21 2017-11-21 Spine surgical navigation system and method using augmented reality technology

Country Status (1)

Country Link
KR (1) KR102056930B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210156703A (en) * 2020-06-18 2021-12-27 주식회사 디엠에프 Method for providing real-time visualization service using 3-dimensional facial scan data and augment reality

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102276529B1 (en) * 2019-11-27 2021-07-12 김지호 Method and device for guiding biometric sensor attachment
KR102371932B1 (en) * 2020-04-10 2022-03-08 가톨릭관동대학교산학협력단 Spondylodesis simulation method
KR102476832B1 (en) * 2020-08-10 2022-12-13 아주대학교산학협력단 User terminal for providing augmented reality medical image and method for providing augmented reality medical image
KR20230166023A (en) * 2022-05-27 2023-12-06 고려대학교 산학협력단 Method and apparatus for providing ar images

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100726028B1 (en) * 2005-12-14 2007-06-08 한양대학교 산학협력단 Augmented reality projection system of affected parts and method therefor
KR101536115B1 (en) 2013-08-26 2015-07-14 재단법인대구경북과학기술원 Method for operating surgical navigational system and surgical navigational system
KR101647467B1 (en) * 2015-06-05 2016-08-11 주식회사 메드릭스 3d surgical glasses system using augmented reality

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100726028B1 (en) * 2005-12-14 2007-06-08 한양대학교 산학협력단 Augmented reality projection system of affected parts and method therefor
KR101536115B1 (en) 2013-08-26 2015-07-14 재단법인대구경북과학기술원 Method for operating surgical navigational system and surgical navigational system
KR101647467B1 (en) * 2015-06-05 2016-08-11 주식회사 메드릭스 3d surgical glasses system using augmented reality

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210156703A (en) * 2020-06-18 2021-12-27 주식회사 디엠에프 Method for providing real-time visualization service using 3-dimensional facial scan data and augment reality
KR102458276B1 (en) * 2020-06-18 2022-10-25 주식회사 디엠에프 Method for providing real-time visualization service using 3-dimensional facial scan data and augment reality

Also Published As

Publication number Publication date
KR20190058190A (en) 2019-05-29

Similar Documents

Publication Publication Date Title
KR102056930B1 (en) Spine surgical navigation system and method using augmented reality technology
US20220079682A1 (en) External Fixator Deformity Correction Systems and Methods
US10201320B2 (en) Deformed grid based intra-operative system and method of use
EP2421461B1 (en) System for assessing the relative pose of an implant and a bone of a creature
US10055848B2 (en) Three-dimensional image segmentation based on a two-dimensional image information
WO2014117806A1 (en) Registration correction based on shift detection in image data
US9826919B2 (en) Construction of a non-imaged view of an object using acquired images
WO2023021451A1 (en) Augmented reality assistance for osteotomy and discectomy
CN110638525A (en) Operation navigation method and system integrating augmented reality
KR101988531B1 (en) Navigation system for liver disease using augmented reality technology and method for organ image display
CN109155068B (en) Motion compensation in combined X-ray/camera interventions
JP6873832B2 (en) Intraoperative system and usage with deformed grid
US11386556B2 (en) Deformed grid based intra-operative system and method of use
US20230326059A1 (en) Patterned incision foil and method for determining a geometry of an anatomical surface
US20240058064A1 (en) Computer implemented method for augmented reality spinal rod planning and bending for navigated spine surgery
US20240197411A1 (en) System and method for lidar-based anatomical mapping
Peuchot et al. Augmented reality in spinal surgery

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant