KR102056436B1 - 의료용 네비게이션 시스템 및 그 방법 - Google Patents

의료용 네비게이션 시스템 및 그 방법 Download PDF

Info

Publication number
KR102056436B1
KR102056436B1 KR1020170101529A KR20170101529A KR102056436B1 KR 102056436 B1 KR102056436 B1 KR 102056436B1 KR 1020170101529 A KR1020170101529 A KR 1020170101529A KR 20170101529 A KR20170101529 A KR 20170101529A KR 102056436 B1 KR102056436 B1 KR 102056436B1
Authority
KR
South Korea
Prior art keywords
data
coordinates
measurement target
dimensional
tool device
Prior art date
Application number
KR1020170101529A
Other languages
English (en)
Other versions
KR20180116090A (ko
Inventor
이철희
Original Assignee
(주)칼리온
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)칼리온 filed Critical (주)칼리온
Publication of KR20180116090A publication Critical patent/KR20180116090A/ko
Application granted granted Critical
Publication of KR102056436B1 publication Critical patent/KR102056436B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/227—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for ears, i.e. otoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/24—Surgical instruments, devices or methods, e.g. tourniquets for use in the oral cavity, larynx, bronchial passages or nose; Tongue scrapers

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Robotics (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Otolaryngology (AREA)
  • Pulmonology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

본 발명은 3차원 스캐닝을 이용한 의료용 광학식 네비게이션 기술에 관한 것으로서, 측정 대상 부위에 환자 트래커의 부착 없이 수술이 가능하고, 데이터의 정합 및 재정합 등의 과정이 불필요한 기술을 제공할 수 있다.

Description

의료용 네비게이션 시스템 및 그 방법{MEDICAL NAVIGATION SYSTEM AND THE METHOD THEREOF}
본 발명은 의료용 네비게이션 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 3차원 스캐닝을 이용한 의료용 광학식 네비게이션 기술에 관한 것이다.
수술 네비게이션 시스템은 환자와 수술도구에 부착된 트래커(Tracker)를 이용하여 수술도구의 현재 위치를 파악하고, 미리 촬영된 컴퓨터단층촬영장치(Computed Tomography, CT) 및 자기공명영상장치(magnetic resonance imaging, MRI) 등의 영상 정보를 이용하여 모니터 상에 재현된 인체 내부 영상에 수술도구의 위치를 도시하는 시스템이다.
이러한 수술 네비게이션 시스템을 사용하면, 피부나 다른 장기로 인하여 가려지는 수술 도구의 위치를 직관적으로 파악할 수 있다.
기존의 수술 네비게이션 시스템은 수술 전, 측정 대상(환자)에 대한 CT 촬영 데이터에 기반하여 측정 대상의 수술 부위에 환자 트래커(Patient Tracker)의 좌표를 표시하고, 표시된 환자 트랙터의 좌표와 측정 대상의 신체 내부로 삽입되는 툴 트래커(Tool Tracker)의 좌표를 추적하여 영상 정보를 제공한다.
다만, 기존 기술은 측정 대상의 수술 부위에 환자 트래커의 좌표를 지정하는 것이므로, 수술 중에 측정 대상의 움직임이 발생하는 경우, CT 촬영 데이터 및 환자 트래커의 좌표를 재 정합하여야 한다는 문제점이 존재하였다.
또한, 기존 기술은 측정 대상의 수술 부위에 환자 트래커의 좌표를 밴드 또는 테이프 등으로 고정시켜야 한다는 단점이 존재하며, 환자 트래커가 측정 대상의 수술 부위로부터 떨어지거나 변동되는 경우, 기술의 정확성이 떨어진다는 한계가 존재하였다.
나아가, 최근에는 3차원(3D) 스캐닝 장치에 대한 관심이 증가하는 추세이다.
3차원 스캐닝 장치는 물체의 3D 형상 및 색상 정보를 획득하는 광학기기로서 상업, 건축, 의학, 공업, 학술, 문화 등 광범위한 분야에 걸쳐 사용된다. 3D 스캐닝 장치는 레이저 삼각법, 구조광 투영, TOF(Time Of Flight) 등 여러 가지의 방법으로 구현이 가능하며, 획득된 물체의 3차원 형상 정보를 컴퓨터에서 사용할 수 있는 3차원 파일 형식으로 저장한다.
3D 스캐닝 기술은 물체의 형상 정보를 획득하여 컴퓨터 모델로 저장하며, 로봇의 주행, 부품의 결함 검사, 리버스(reverse) 엔지니어링, HCI(Human Computer Interaction), 문화재복원 등의 분야에서 그 요구가 점차 증가하고 있다.
이에 따라서, 본 발명은 3D 스캐닝 기술을 이용하여 증강 현실의 의료용 네비게이션 기술을 제안한다.
한국등록특허 제10­1049507호(2011.07.08. 등록), "영상유도수술시스템 및 그 제어방법" 한국등록특허 제10­1471040호(2014.12.03. 등록), "의료기기의 네비게이션을 위한 초음파 영상 보조 시스템"
본 발명의 목적은 측정 대상 부위에 부착하는 환자 트래커 대신, 3차원(3D) 스캐닝을 이용하는 수술용 광학식 네비게이션을 제공하고자 한다.
또한, 본 발명의 목적은 측정 대상 부위에 환자 트래커의 부착 없이 수술이 가능하고, 데이터의 정합 및 재정합 등의 과정이 불필요한 기술을 제공하고자 한다.
또한, 본 발명의 목적은 측정 대상의 미세한 움직임도 반영하고, 수술의 정확도를 향상시키며, 수술 시간을 단축할 수 있는 기술을 제공하고자 한다.
또한, 본 발명의 목적은 전자기식, 광학식 및 하이브리드 네비게이션 기술에 적용되며, 내시경 또는 현미경 사용의 수술 시, 수술 도구의 정밀한 위치 파악이 가능한 기술을 제공하고자 한다.
본 발명의 실시예에 따른 의료용 네비게이션 방법은 측정 대상을 3차원(3D) 스캐닝하는 단계, 스캐닝된 3차원 스캔 데이터와 상기 측정 대상에 대한 영상 촬영 데이터를 정합하는 단계 및 상기 정합 데이터를 기반으로 추적되는 측정 대상 부위에 대한 상기 측정 대상의 좌표와, 상기 측정 대상 내 삽입되는 툴 기기의 좌표에 따른 모니터링 영상 정보를 제공하는 단계를 포함한다.
상기 3차원 스캐닝하는 단계는 3차원 형상 및 색상 정보를 획득하는 3차원 스캐너(3D Scanner)를 이용하여 상기 측정 대상에 대한 상기 3차원 스캔 데이터를 획득할 수 있다.
상기 데이터를 정합하는 단계는 CT(Computed tomography, 컴퓨터 단층촬영)를 이용하여 촬영된 상기 측정 대상의 축면(Axial), 시상면(Sagittal) 및 관상면(Coronal) 중 적어도 어느 하나 이상에 대한 상기 영상 촬영 데이터와, 상기 3차원 스캔 데이터를 정합할 수 있다.
상기 데이터를 정합하는 단계는 상기 영상 촬영 데이터로부터 상기 측정 대상의 표면 점 좌표들을 추출하고, 상기 추출된 표면 점 좌표에 ICP(Iterative Closest Point) 알고리즘을 적용하여 상기 영상 촬영 데이터 및 상기 3차원 스캔 데이터를 정합할 수 있다.
상기 모니터링 영상 정보를 제공하는 단계는 상기 정합 데이터 또는 상기 3차원 스캔 데이터로부터 획득되는 상기 측정 대상의 좌표를 상기 모니터링 영상 정보로 제공할 수 있다.
상기 모니터링 영상 정보를 제공하는 단계는 상기 측정 대상의 좌표를 나타내는 상기 모니터링 영상 정보에, 상기 측정 대상에 삽입되는 상기 툴 기기의 좌표를 포함시켜 상기 모니터링 영상 정보로 제공할 수 있다.
상기 모니터링 영상 정보를 제공하는 단계는 상기 측정 대상의 좌표 및 상기 툴 기기의 좌표에 좌표계 매핑 알고리즘을 적용하여 매핑시키며, 상기 매핑된 좌표에 대해 상기 모니터링 영상 정보로 제공할 수 있다.
상기 툴 기기의 좌표는 상기 툴 기기에 포함된 일정 영역을 감지하는 추적 장치(Tracking Device)로부터 추적될 수 있다.
본 발명의 실시예에 따른 의료용 네비게이션 시스템은 측정 대상을 3차원(3D) 스캐닝하는 3차원 스캐너, 상기 3차원 스캐너로부터 스캐닝된 3차원 스캔 데이터와 상기 측정 대상에 대한 영상 촬영 데이터를 정합하는 데이터 정합부, 상기 정합 데이터를 기반으로 추적되는 측정 대상 부위에 대한 상기 측정 대상의 좌표와, 상기 측정 대상 내 삽입되는 툴 기기의 좌표를 매핑하는 좌표 매핑부 및 상기 정합 데이터 및 상기 매핑된 좌표에 대한 모니터링 영상 정보를 제공하는 영상 제공부를 포함한다.
상기 데이터 정합부는 CT(Computed tomography, 컴퓨터 단층촬영)를 이용하여 촬영된 상기 측정 대상의 축면(Axial), 시상면(Sagittal) 및 관상면(Coronal) 중 적어도 어느 하나 이상에 대한 상기 영상 촬영 데이터와, 상기 3차원 스캔 데이터를 정합할 수 있다.
상기 데이터 정합부는 상기 영상 촬영 데이터로부터 상기 측정 대상의 표면 점 좌표들을 추출하고, 상기 추출된 표면 점 좌표에 ICP(Iterative Closest Point) 알고리즘을 적용하여 상기 영상 촬영 데이터 및 상기 3차원 스캔 데이터를 정합할 수 있다.
상기 툴 기기의 좌표는 상기 툴 기기에 포함된 일정 영역을 감지하는 추적 장치(Tracking Device)로부터 추적될 수 있다.
상기 좌표 매핑부는 상기 3차원 스캐너와 상기 추적 장치 간의 상기 측정 대상의 좌표 및 상기 툴 기기의 좌표에 좌표계 매핑 알고리즘을 적용하여 매핑할 수 있다.
본 발명의 실시예에 따른 의료용 네비게이션 시스템은 상기 3차원 스캐너, 추적 장치(Tracking Device) 및 상기 툴 기기 중 적어도 어느 하나의 동작을 제어하는 제어부를 더 포함할 수 있다.
본 발명의 실시예에 따르면, 측정 대상 부위에 환자 트래커의 부착 없이 수술이 가능하고, 데이터의 정합 및 재정합 등의 과정이 불필요한 기술을 제공할 수 있다.
또한, 본 발명의 실시예에 따르면, 측정 대상의 미세한 움직임도 반영하고, 수술의 정확도를 향상시키며, 수술 시간을 단축할 수 있다.
또한, 본 발명의 실시예에 따르면, 전자기식, 광학식 및 하이브리드 네비게이션 기술에 적용할 수 있다.
또한, 본 발명의 실시예에 따르면, 시중의 해외 의료기기와 대비해 저렴한 국산 의료기기 개발로 수입의 대체와 수출의 증대가 발생할 수 있고, 환자의 치료효과나 수술 후유증 측면에서 더 향상된 안전성을 보장할 수 있다.
도 1은 본 발명의 실시예에 따른 의료용 네비게이션 방법의 흐름도를 도시한 것이다.
도 2는 본 발명의 실시예에 따른 의료용 네비게이션 시스템의 세부 구성에 대한 블록도를 도시한 것이다.
도 3a 및 도 3b는 본 발명의 실시예에 따른 의료용 네비게이션 시스템의 적용 예를 설명하기 위해 도시한 것이다.
도 4는 본 발명의 실시예에 따른 데이터 정합의 예를 설명하기 위해 도시한 것이다.
도 5는 본 발명의 실시예에 따른 모니터의 디스플레이 예를 설명하기 위해 도시한 것이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 시청자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명은 의료 분야 중 이비인후과 수술에 필요한 네비게이션 시스템으로, 시술기구(이하, '툴 기기'라 칭함)와 환자(이하, '측정 대상'이라 칭함)와의 정합이 필요한 기존 네비게이션 시스템과는 달리 3차원 스캔 기술을 접목한 새로운 정합 및 시스템 기술을 제안한다.
다만, 이하에서는 측정 대상의 안면 부분에 대한 실시예들을 설명하고 있으나, 본 발명의 의료용 네비게이션 시스템 및 그 방법은 이비인후과뿐만 아니라 다양한 의료 분야에 적용 가능함은 당연하다.
이러한 본 발명의 실시예들에 따른 시스템 및 방법에 대해 도 1 내지 도 5를 참조하여 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 의료용 네비게이션 방법의 흐름도를 도시한 것이고, 도 2는 본 발명의 실시예에 따른 의료용 네비게이션 시스템의 세부 구성에 대한 블록도를 도시한 것이다.
본 발명의 실시예에 따른 의료용 네비게이션 시스템(200)은 스캐닝된 3차원 스캔 데이터와 영상 촬영 데이터를 정합하고, 측정 대상의 좌표와 툴 기기의 좌표를 매핑하여 모니터링 영상 정보를 제공한다.
이를 위해, 본 발명의 실시예에 따른 의료용 네비게이션 시스템(200)은 3차원 스캐너(210), 데이터 정합부(220), 좌표 매핑부(230) 및 영상 제공부(240)를 포함한다. 또한, 본 발명의 실시예에 따른 의료용 네비게이션 시스템(200)은 3차원 스캐너(210), 추적 장치(Tracking Device) 및 툴 기기(Tool Rigid Body, 툴 리지드바디 혹은 전자기식 트래커가 부착된 툴)의 동작을 제어하는 제어부(250)를 더 포함할 수 있다.
이 때, 3차원 스캐너(210), 데이터 정합부(220), 좌표 매핑부(230) 및 영상 제공부(240)는 도 1의 단계들(110~130)을 수행하기 위해 구성될 수 있다.
단계 110에서, 3차원 스캐너(210)는 측정 대상을 3차원(3D) 스캐닝한다.
개시된 발명의 실시예에서, 측정 대상은 진단의 대상이 되는 환자 또는 피검체를 의미하는바, 측정 대상 부위는 수술 또는 시술하기 위한 환자 신체의 특정 부위를 일컫을 수 있다. 예를 들어, 측정 대상 부위는 뇌, 안면, 치아, 척추, 관절, 유방 및 흉부 중 어느 하나의 특정 부위일 수 있다.
단계 110에서 3차원 스캐너(210)는 측정 대상에 대한 3차원 형상 및 색상 정보를 포함하는 3차원 스캔 데이터를 스캐닝할 수 있다.
예를 들면, 3차원 스캐너(210)는 측정 대상에 대한 3차원 모델을 생성하는 것으로, 측정 대상으로 광원을 조사하고, 조사된 빛에 의해 반사된 후 입사되는 광원을 전기적 영상신호로 변환하며, 영상신호에 따른 복수의 영상을 결합하여 3차원 영상의 3차원 스캔 데이터를 생성할 수 있다. 즉, 3차원 스캐너(210)는 측정 대상의 특정 부위 또는 신체 전체에 대한 3차원 형상과, 3차원 형상 각각에 따른 색상 정보를 포함하는 3차원 모델의 3차원 스캔 데이터를 스캐닝할 수 있다. 다만, 3차원 스캐너(210)의 모델, 형태 및 동작 방법은 한정되지 않으며, 측정 대상에 대한 실시간 3차원 모델을 생성하는 스캐너이면 가능하다.
실시예에 따라서, 본 발명에 따른 3차원 스캐너(210)는 두경부의 스캔을 위주로 하며, 광학 렌즈 및 기하학적(Geometry) 설계를 기반으로, 실시간 3D 스캐닝 결과를 생성하며, SIMD(Single­Instruction Multiple Data)/GPU(Graphics Processing Unit) 기반의 영상 처리 및 좌표 계산을 산출하는 것을 특징으로 한다.
단계 120에서, 데이터 정합부(220)는 스캐닝된 3차원 스캔 데이터와 측정 대상에 대한 영상 촬영 데이터를 정합한다.
이 때, 영상 촬영 데이터는 영상 기기를 이용하여 수술 또는 시술하고자 하는 측정 대상 부위를 촬영한 데이터일 수 있다. 예를 들면, 영상 기기는 측정 대상을 스캔하여 내부의 영상 데이터를 획득하는 바, 이를 위해 엑스선이나 자기 공명 현상을 이용할 수 있다. 보다 구체적인 예로서, 영상 기기는 엑스선을 이용하는 토모신세시스(Tomosynthesis), 컴퓨터 단층촬영(Computed tomography; CT) 및 양전자 단층촬영(Positron Emission Tomography) 중 어느 하나일 수 있으며, 자기공명촬영(Magnetic Resonance Imaging)을 수행하는 기기일 수 있다. 또한, 영상 기기는 촬영 방식 중 둘 이상의 방식을 결합하여 수행하는 기기일 수 있다.
또 다른 예로, 영상 기기는 측정 대상에 대한 영상 데이터를 이용하여 3차원 볼륨을 복원하고, 측정 대상의 3차원 볼륨을 x축 방향, y축 방향 및 z축 방향 중 적어도 하나의 방향에서 재투영(reprojection)하여 적어도 하나의 재투영 영상으로부터 미리 설정된 특징 정보를 추출하는 기기일 수도 있다.
본 발명의 실시예에 따른 단계 120에서 데이터 정합부(220)는 CT(Computed tomography, 컴퓨터 단층촬영)를 이용하여 촬영된 측정 대상의 축면(Axial), 시상면(Sagittal) 및 관상면(Coronal) 중 적어도 어느 하나 이상에 대한 영상 촬영 데이터와 3차원 스캔 데이터를 정합할 수 있다.
보다 구체적으로, 단계 120에서 데이터 정합부(220)는 CT로부터 획득된 영상 촬영 데이터와 3차원 스캔 데이터를 기반으로, 영상 촬영 데이터 및 3차원 스캔 데이터에 포함된 측정 대상 부위의 위치 및 크기를 동일하게 배치시킨 후, 영상 촬영 데이터로부터 CT의 HU(Hounsfield Unit)으로 분류하거나, 별도의 분할 알고리즘을 이용하여 측정 대상의 표면 점 좌표들을 추출하고, 추출된 표면 점 좌표에 ICP(Iterative Closest Point) 알고리즘을 적용하여 데이터를 정합할 수 있다. 이 때, 데이터 정합부(220)는 CT로부터 획득된 영상 촬영 데이터를 기준 데이터로 설정하고, 3차원 스캐너(210)로부터 획득된 3차원 스캔 데이터를 새 데이터로 설정하여 ICP 알고리즘을 적용시키며, ICP 알고리즘은 영상 촬영 데이터 및 3차원 스캔 데이터 간의 점과 점 스캔 매핑에 따른 쌍을 산출하여 정확한 위치를 보정하고 정합할 수 있다. 이에 따라서, 본 발명의 실시예에 따른 의료용 네비게이션 시스템(200)은 CT 촬영 시, 측정 대상 부위에 대한 피부두께로부터 발생할 수 있는 오류의 영향을 최소화하기 위해 추출된 피부 좌표를 보정할 수 있다.
단계 130에서, 좌표 매핑부(230)는 정합 데이터를 기반으로 추적되는 측정 대상의 좌표와, 측정 대상 내 삽입되는 툴 기기(Tool Rigid Body, 툴 리지드바디 혹은 전자기식 트래커가 부착된 툴)의 좌표를 매핑하고, 영상 제공부(240)는 정합 데이터 및 매핑된 좌표에 대한 모니터링 영상 정보를 제공한다.
예를 들면, 상기 측정 대상의 좌표는 수술 또는 시술하기 위한 측정 대상 부위의 위치를 나타내고, 3차원 스캐너(210)로부터 추적되는 것을 기본으로 하며, 영상 촬영 데이터 및 3차원 스캔 데이터의 정합 데이터로부터 추적될 수도 있다. 또한, 상기 툴 기기의 좌표는 수술 또는 시술을 하기 위한 수술기구(또는 툴 기기)의 위치를 나타내며, 툴 기기에 포함된 일정 영역(마커, marker)을 탐지하는 추적 장치(Tracking Device)로부터 추적될 수 있다. 여기서, 툴 기기(또는 수술기구)는 뇌, 안면, 치아, 척추, 관절, 유방 및 흉부 중 어느 하나의 측정 대상 부위에 대한 수술 또는 시술 시 사용되는 의료용 기구로, 측정 대상 부위에 따른 서로 다른 종류의 기구일 수 있으며, 복수 개의 기구를 의미할 수도 있다.
또한, 상기 추적 장치는 자기장을 이용하여 툴 기기에 포함된 일정 영역의 위치정보를 파악하는 센서가 구비될 수 있으며, 툴 기기의 위치정보를 파악하여 이동경로를 추적할 수 있다.
본 발명의 실시예에 따른 단계 130에서 좌표 매핑부(230)는 측정 대상의 좌표 및 툴 기기의 좌표에 좌표계 매핑 알고리즘을 적용하여 매핑시킬 수 있다. 이 때, 측정 대상의 좌표 및 툴 기기의 좌표 간 매핑은 수술 전 또는 중에 매핑 작업이 진행될 수 있으며, 매핑된 측정 대상의 좌표 및 툴 기기의 좌표는 수술 또는 시술 동안 변동되지 않고 고정될 수 있다. 이 때, 상기 좌표계 매핑 알고리즘은 오차 보정을 위해 기존 기술에 일반적으로 사용되는 알고리즘이므로, 상세한 설명을 생략하기로 한다.
또한, 단계 130에서 영상 제공부(240)는 3차원 스캐너(210)로부터 추적되거나 영상 촬영 데이터 및 3차원 스캔 데이터의 정합 데이터로부터 추적되는 측정 대상의 좌표를 모니터링 영상 정보로 제공할 수 있으며, 측정 대상의 좌표를 나타내는 모니터링 영상 정보에, 측정 대상에 삽입되는 툴 기기의 좌표를 포함시켜 제공할 수도 있다.
예를 들면, 단계 130에서 본 발명의 실시예에 따른 제어부(250)는 모니터링하고자 하는 측정 대상 부위에 대응하는 모니터링 영상 정보를 모니터를 통해 디스플레이되도록 제어할 수 있다. 나아가, 제어부(250)는 측정 대상 부위의 상태를 보다 명확하게 모니터링할 수 있도록 화면 모드 및 측정 대상 부위에 기초하여 영상 및 파형, 수치로 디스플레이할 수 있으며, 모니터 내 화면을 복수 개로 분할하고, 분할된 화면 각각에 2차원 영상 정보, 3차원 영상 정보, 좌표 정보, 측정 대상의 식별 정보 및 측정 대상 부위의 정보 중 적어도 어느 하나 이상의 모니터링 영상 정보가 디스플레이되도록 제어할 수도 있다. 또한, 제어부(250)는 기 설정된 수술 또는 시술 시 안정 범위를 벗어나는 경우 소리, 진동 및 색상 변화 중 적어도 어느 하나의 경고 신호를 제공하도록 제어할 수도 있다.
도 3a 및 도 3b는 본 발명의 실시예에 따른 의료용 네비게이션 시스템의 적용 예를 설명하기 위해 도시한 것이다.
도 3a 및 도 3b를 참조하면, 본 발명의 실시예에 따른 의료용 네비게이션 시스템(300)은 측정 대상(10)을 3차원 스캐닝하는 3차원 스캐너(310), 측정 대상(10) 내 삽입되는 툴 기기(330), 좌표를 추적하는 추적 장치(320) 및 모니터(340)를 포함한다.
본 발명의 실시예에 따른 의료용 네비게이션 시스템(300) 내 3차원 스캐너(310)는 측정 대상(10)을 3차원 스캐닝(a)하여 측정 대상(10)에 대한 수술 또는 시술 시, 측정 대상 부위의 위치를 나타내는 측정 대상의 좌표를 추적한다.
이에 따른 의료인은 모니터(240)로부터 측정 대상의 좌표를 확인하여 툴 기기(330)를 이용해 수술 또는 시술을 진행(b)할 수 있다. 이 때, 모니터(240)는 측정 대상의 좌표뿐만 아니라, 측정 대상(10) 내부에 툴 기기의 위치를 나타내는 툴 기기의 좌표를 제공할 수 있다.
본 발명의 실시예에 따른 의료용 네비게이션 시스템(300)의 추적 장치(320)는 3차원 스캐너(310)를 통한 측정 대상의 좌표를 추적(c)할 수 있으며, 툴 기기에 포함된 일정 영역(마커, marker)을 탐지하여 툴 기기의 좌표를 추적(d)할 수도 있다. 이 때, 추적 장치(320)는 자기장을 이용하여 툴 기기(330)에 포함된 일정 영역의 위치정보를 파악하는 센서를 구비할 수 있다.
도 4는 본 발명의 실시예에 따른 데이터 정합의 예를 설명하기 위해 도시한 것이다.
도 4를 참조하면, 본 발명의 실시예에 따른 의료용 네비게이션 시스템은 3차원 스캐너를 이용하여 스캐닝된 측정 대상에 대한 3차원 스캔 데이터와, 측정 대상에 대한 영상 촬영 데이터를 정합한다.
이 때, 영상 촬영 데이터는 영상 기기를 이용하여 수술 또는 시술하고자 하는 측정 대상 부위를 촬영한 데이터일 수 있다. 예를 들면, 영상 기기는 측정 대상을 스캔하여 내부의 영상 데이터를 획득하는 바, 이를 위해 엑스선이나 자기 공명 현상을 이용할 수 있다. 보다 구체적인 예로서, 영상 기기는 엑스선을 이용하는 토모신세시스(Tomosynthesis), 컴퓨터 단층촬영(Computed tomography; CT) 및 양전자 단층촬영(Positron Emission Tomography) 중 어느 하나일 수 있으며, 자기공명촬영(Magnetic Resonance Imaging)을 수행하는 기기일 수 있다. 또한, 영상 기기는 촬영 방식 중 둘 이상의 방식을 결합하여 수행하는 기기일 수도 있다.
다만, 본 발명의 실시예에 따른 의료용 네비게이션 시스템은 CT를 통해 촬영된 영상 촬영 데이터를 사용한다.
다시 도 4를 참조하면, 본 발명의 실시예에 따른 의료용 네비게이션 시스템은 수술(또는 시술) 전, CT를 이용하여 측정 대상의 축면(Axial), 시상면(Sagittal) 및 관상면(Coronal) 중 적어도 어느 하나 이상에 대한 영상 촬영 데이터(또는, CT 스캔 데이터)를 수집할 수 있다. 이 때, 영상 촬영 데이터는 2차원인 것을 기본으로 하나, 적용되는 실시예에 따라서는 2차원 데이터를 3차원 데이터로 구현하여 사용할 수도 있다.
즉, 본 발명의 실시예에 따른 의료용 네비게이션 시스템은 수술 전, 영상 촬영 데이터(또는, CT 스캔 데이터)를 기준 데이터로 설정하고, 동일하게 수술 전이나 수술 중 3차원 스캐너를 이용하여 스캐닝되는 3차원 스캔 데이터를 새 데이터로 설정할 수 있다.
이후, 본 발명의 실시예에 따른 의료용 네비게이션 시스템은 영상 촬영 데이터 및 3차원 스캔 데이터를 도 4에 도시된 바와 같이, 측정 대상 부위(예를 들면, 안면)의 위치 및 크기가 동일하도록 배치시킨 후, 영상 촬영 데이터로부터 CT의 HU(Hounsfield Unit)으로 분류하거나, 별도의 분할 알고리즘을 이용하여 측정 대상의 표면 점 좌표들을 추출한다. 이후, 본 발명의 실시예에 따른 의료용 네비게이션 시스템은 추출된 표면 점 좌표에 ICP(Iterative Closest Point) 알고리즘을 적용하여 데이터를 정합한다. 즉, 본 발명의 실시예에 따른 의료용 네비게이션 시스템은 ICP 알고리즘을 이용하여 CT 촬영 시, 발생할 수 있는 데이터 간의 오차를 보정할 수 있다.
도 5는 본 발명의 실시예에 따른 모니터의 디스플레이 예를 설명하기 위해 도시한 것이다.
도 5를 참조하면, 본 발명의 실시예에 따른 모니터는 화면을 복수 개로 분할하고, 분할된 화면 각각에 2차원 영상 정보, 3차원 영상 정보, 좌표 정보, 측정 대상의 식별 정보 및 측정 대상 부위의 정보 중 적어도 어느 하나 이상의 모니터링 영상 정보를 디스플레이할 수 있다. 이 때, 각 분할된 화면은 서로 다른 측정 대상 부위에 대한 모니터링 영상 정보를 디스플레이할 수 있다.
또한, 본 발명의 실시예에 따른 모니터는 측정 대상의 좌표와 툴 기기의 좌표를 실시간으로 디스플레이할 수 있으며, 툴 기기의 좌표에 다른 위치 및 경로를 제공할 수도 있다.
또한, 본 발명의 실시예에 따른 모니터는 사용자(또는 관리자, 의료인 등)의 선택 입력을 수신하고, 수신된 선택 입력에 기반하여 모니터링 영상 정보를 전환 및 변경하여 디스플레이할 수 있으며, 서로 다른 수치 값, 파형 및 색상으로 디스플레이할 수도 있다.
또한, 본 발명의 실시예에 따른 모니터는 기 설정된 수술 또는 시술 시, 안정 범위를 벗어나는 경우 소리, 진동 및 색상 변화 중 적어도 어느 하나의 경고 신호를 제공할 수도 있다.
즉, 본 발명의 실시예에 따른 모니터는 도 5에 도시된 데이터 외에 측정 대상의 병리학적 상태에 기초하여 보다 다양한 데이터를 디스플레이할 수 있으며, 디스플레이되는 화면 및 정보의 위치, 개수 및 크기는 이에 한정되지 않는다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD­ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기­광 매체(magneto­optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
10: 측정 대상(환자)
200, 300: 의료용 네비게이션 시스템
310: 3차원 스캐너
320: 추적 장치
330: 툴 기기
340: 모니터

Claims (14)

  1. 의료용 네비게이션 시스템의 동작 방법에 있어서,
    측정 대상을 3차원(3D) 스캐닝하는 단계;
    스캐닝된 3차원 스캔 데이터와 상기 측정 대상에 대한 영상 촬영 데이터를 정합하는 단계; 및
    상기 정합 데이터를 기반으로 추적되는 측정 대상 부위에 대한 상기 측정 대상의 좌표와, 상기 측정 대상 내 삽입되는 툴 기기의 좌표에 따른 모니터링 영상 정보를 제공하는 단계를 포함하되,
    상기 데이터를 정합하는 단계는
    상기 영상 촬영 데이터 및 상기 3차원 스캔 데이터에 포함된 측정 대상 부위의 위치 및 크기를 동일하게 배치한 후, 상기 영상 촬영 데이터로부터 상기 측정 대상의 표면 점 좌표들을 추출하고, 상기 추출된 표면 점 좌표에 ICP(Iterative Closest Point) 알고리즘을 적용하여 상기 영상 촬영 데이터 및 상기 3차원 스캔 데이터 간의 점과 점 스캔 매핑에 따른 쌍을 산출하여 정확한 위치를 보정하여 정합하고,
    상기 모니터링 영상 정보를 제공하는 단계는
    상기 측정 대상의 좌표 및 상기 툴 기기의 좌표에 좌표계 매핑 알고리즘을 적용하여 매핑시키며, 상기 측정 대상의 좌표를 나타내는 상기 모니터링 영상 정보에, 상기 측정 대상에 삽입되는 상기 툴 기기의 좌표를 포함시켜 상기 모니터링 영상 정보로 제공하는 것을 특징으로 하는, 의료용 네비게이션 방법.
  2. 제1항에 있어서,
    상기 3차원 스캐닝하는 단계는
    3차원 형상 및 색상 정보를 획득하는 3차원 스캐너(3D Scanner)를 이용하여 상기 측정 대상에 대한 상기 3차원 스캔 데이터를 획득하는 의료용 네비게이션 방법.
  3. 제1항에 있어서,
    상기 데이터를 정합하는 단계는
    CT(Computed tomography, 컴퓨터 단층촬영)를 이용하여 촬영된 상기 측정 대상의 축면(Axial), 시상면(Sagittal) 및 관상면(Coronal) 중 적어도 어느 하나 이상에 대한 상기 영상 촬영 데이터와, 상기 3차원 스캔 데이터를 정합하는 의료용 네비게이션 방법.
  4. 삭제
  5. 제1항에 있어서,
    상기 모니터링 영상 정보를 제공하는 단계는
    상기 정합 데이터 또는 상기 3차원 스캔 데이터로부터 획득되는 상기 측정 대상의 좌표를 상기 모니터링 영상 정보로 제공하는 의료용 네비게이션 방법.
  6. 삭제
  7. 삭제
  8. 제1항에 있어서,
    상기 툴 기기의 좌표는
    상기 툴 기기에 포함된 일정 영역을 감지하는 추적 장치(Tracking Device)로부터 추적되는 의료용 네비게이션 방법.
  9. 측정 대상을 3차원(3D) 스캐닝하는 3차원 스캐너;
    상기 3차원 스캐너로부터 스캐닝된 3차원 스캔 데이터와 상기 측정 대상에 대한 영상 촬영 데이터를 정합하는 데이터 정합부;
    상기 정합 데이터를 기반으로 추적되는 측정 대상 부위에 대한 상기 측정 대상의 좌표와, 상기 측정 대상 내 삽입되는 툴 기기의 좌표를 매핑하는 좌표 매핑부; 및
    상기 정합 데이터 및 상기 매핑된 좌표에 대한 모니터링 영상 정보를 제공하는 영상 제공부를 포함하되,
    상기 데이터 정합부는
    상기 영상 촬영 데이터 및 상기 3차원 스캔 데이터에 포함된 측정 대상 부위의 위치 및 크기를 동일하게 배치한 후, 상기 영상 촬영 데이터로부터 상기 측정 대상의 표면 점 좌표들을 추출하고, 상기 추출된 표면 점 좌표에 ICP(Iterative Closest Point) 알고리즘을 적용하여 상기 영상 촬영 데이터 및 상기 3차원 스캔 데이터 간의 점과 점 스캔 매핑에 따른 쌍을 산출하여 정확한 위치를 보정하여 정합하고,
    상기 좌표 매핑부는
    상기 3차원 스캐너와 추적 장치 간의 상기 측정 대상의 좌표 및 상기 툴 기기의 좌표에 좌표계 매핑 알고리즘을 적용하여 매핑하며,
    상기 영상 제공부는 상기 측정 대상의 좌표를 나타내는 상기 모니터링 영상 정보에, 상기 측정 대상에 삽입되는 상기 툴 기기의 좌표를 포함시켜 상기 매핑된 좌표에 대해 상기 모니터링 영상 정보로 제공하는 것을 특징으로 하는, 의료용 네비게이션 시스템.
  10. 제9항에 있어서,
    상기 데이터 정합부는
    CT(Computed tomography, 컴퓨터 단층촬영)를 이용하여 촬영된 상기 측정 대상의 축면(Axial), 시상면(Sagittal) 및 관상면(Coronal) 중 적어도 어느 하나 이상에 대한 상기 영상 촬영 데이터와, 상기 3차원 스캔 데이터를 정합하는 의료용 네비게이션 시스템.
  11. 삭제
  12. 제9항에 있어서,
    상기 툴 기기의 좌표는
    상기 툴 기기에 포함된 일정 영역을 감지하는 상기 추적 장치(Tracking Device)로부터 추적되는 의료용 네비게이션 시스템.
  13. 삭제
  14. 제9항에 있어서,
    상기 3차원 스캐너, 상기 추적 장치(Tracking Device) 및 상기 툴 기기 중 적어도 어느 하나의 동작을 제어하는 제어부
    를 더 포함하는 의료용 네비게이션 시스템.
KR1020170101529A 2017-04-14 2017-08-10 의료용 네비게이션 시스템 및 그 방법 KR102056436B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20170048473 2017-04-14
KR1020170048473 2017-04-14

Publications (2)

Publication Number Publication Date
KR20180116090A KR20180116090A (ko) 2018-10-24
KR102056436B1 true KR102056436B1 (ko) 2019-12-16

Family

ID=64132326

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170101529A KR102056436B1 (ko) 2017-04-14 2017-08-10 의료용 네비게이션 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102056436B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021141307A1 (ko) 2020-01-08 2021-07-15 최홍희 의료용 다목적 레이저 포인팅장치

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102264077B1 (ko) * 2019-07-01 2021-06-11 주식회사 리메드 의료용 네비게이션 장치
KR20230013220A (ko) * 2021-07-16 2023-01-26 가톨릭대학교 산학협력단 신경외과 실습용 영상 제공 시스템 및 방법
KR20230027471A (ko) * 2021-08-19 2023-02-28 인제대학교 산학협력단 포인트 클라우드와 ct 영상의 정합을 위한 방법 및 장치
KR20240068176A (ko) * 2022-11-10 2024-05-17 재단법인 아산사회복지재단 증강현실을 이용한 이미지 정합 기반 의료영상 생성장치 및 이의 동작 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008264520A (ja) * 2007-03-20 2008-11-06 National Univ Corp Shizuoka Univ 手術支援情報表示装置、手術支援情報表示方法及び手術支援情報表示プログラム
WO2016138076A1 (en) 2015-02-25 2016-09-01 University Of Pittsburgh - Of The Commonwealth System Of Higher Education Mapping of internal features on en face imagery

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008264520A (ja) * 2007-03-20 2008-11-06 National Univ Corp Shizuoka Univ 手術支援情報表示装置、手術支援情報表示方法及び手術支援情報表示プログラム
WO2016138076A1 (en) 2015-02-25 2016-09-01 University Of Pittsburgh - Of The Commonwealth System Of Higher Education Mapping of internal features on en face imagery

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021141307A1 (ko) 2020-01-08 2021-07-15 최홍희 의료용 다목적 레이저 포인팅장치
KR102278149B1 (ko) 2020-01-08 2021-07-16 최홍희 의료용 다목적 레이저 포인팅장치

Also Published As

Publication number Publication date
KR20180116090A (ko) 2018-10-24

Similar Documents

Publication Publication Date Title
US11759261B2 (en) Augmented reality pre-registration
KR102056436B1 (ko) 의료용 네비게이션 시스템 및 그 방법
Wang et al. Video see‐through augmented reality for oral and maxillofacial surgery
US20230016227A1 (en) Medical augmented reality navigation
ES2718543T3 (es) Sistema y procedimiento para la navegación basada en imágenes fusionadas con la colocación de marcador tardío
EP3007635B1 (en) Computer-implemented technique for determining a coordinate transformation for surgical navigation
JP6644795B2 (ja) 解剖学的オブジェクトをセグメント化する超音波画像装置及び方法
US10951837B2 (en) Generating a stereoscopic representation
US20210145372A1 (en) Image acquisition based on treatment device position
US20220022964A1 (en) System for displaying an augmented reality and method for generating an augmented reality
US20230360334A1 (en) Positioning medical views in augmented reality
EP4193589B1 (en) Real time augmentation
KR102184001B1 (ko) 수술용 네비게이션을 위한 영상 정합 장치 및 영상 정합 방법
CN109907833B (zh) 医学成像中的标记描绘
EP4128145B1 (en) Combining angiographic information with fluoroscopic images
JP7407831B2 (ja) 介入装置追跡
US20230237711A1 (en) Augmenting a medical image with an intelligent ruler
WO2023110134A1 (en) Detection of positional deviations in patient registration

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant