KR20180058656A

KR20180058656A - 현실-증강된 형태학적 방법

Info

Publication number: KR20180058656A
Application number: KR1020177027902A
Authority: KR
Inventors: 찬드라 데밤; 자키 아드난 타허; 윌리엄 스콧 에드가
Original assignee: 아리스 엠디, 인코포레이티드
Priority date: 2015-03-01
Filing date: 2016-03-01
Publication date: 2018-06-01
Also published as: MX2017011316A; US20160249989A1; WO2016140989A1; ZA201706549B; HK1246123A1; US11381659B2; BR112017018874A2; WO2016140989A9; US10601950B2; CL2017002218A1; IL254280A0; AU2016226388A1; PH12017501801A1; US20230179680A1; US20210058485A1; CN107847289A; EP3265011A1; MA41082A1; JP2018516718A

Abstract

형태학적 대상에 대해 수행될 의료 처치술과 연계하여 상기 형태학적 대상의 이학적 특징(physical feature)에 대한 대표적 데이터가 수신된다. 의료 처치술을 수행할 의료 전문인을 위해 상기 이학적 특징의 가상 이미지가 오버레이된 형태학적 대상의 뷰(view)가 렌더링되며, 이러한 렌더링은 상기 대표적 데이터를 토대로 이학적 특징의 가상 이미지를 생성하는 조작과, 가상 이미지에서 형태학적 대상에 대한 이학적 특징의 현장 시각화가 가능해지도록 형태학적 대상 상의 하나 이상의 기준 점들에 따라, 상기 뷰 안에 이학적 특징의 가상 이미지를 렌더링하는 조작을 포함한다.

Description

증강 현실에 기반한 형태학적 의료 처치술

관련 출원에 대한 상호 참조

본원은 "증강 현실에 기반한 외과 수술 및 의학적 평가"란 명칭으로 2015년 3월 1일에 출원된 미국 특허 가출원 제62/126,624호의 우선권을 주장하며, 그 내용을 여기에 참조로 포함한다.

본 개시는 가상 현실, 증강 현실, 투영 또는 기타 다른 가상 공간에서의 의료용 오버레이 제공에 관한 것이다.

본원에 개시되는 다양한 실시형태를 첨부된 도면들에 제한 목적이 아닌 예시 목적으로 도시하였으며, 이들 도면에서의 유사 참조 번호는 유사한 구성요소를 가리킨다.
도 1은 수술용 오버레이 시스템 다이어그램의 일 예를 나타낸다.
도 2는 수술용 오버레이 프로그램의 흐름을 나타낸다.
도 3은 복강경 시스템 다이어그램의 일 예를 나타낸다.
도 4는 복강경 프로그램의 흐름을 나타낸다.
도 5는 2차원 및 3차원 구성요소들을 포함한 헤드업 디스플레이(HUD)의 일 예를 나타낸다.
도 6은 이미지 및 의료 처치술 단계의 일 예에 대한 동시 병행 HUD를 나타낸다.
도 7은 트랙커 및 모니터가 장착된 메스를 사용하고 있는 의사의 일 예를 나타낸다.
도 8은 예시적 복강경 경로 디스플레이 및 HUD 카메라를 나타낸다.
도 9는 환자에 부착되는 HUD 구성요소들의 예와, HUD로 제공되는 모습의 일 예를 나타낸다.
도 10은 해부구조 부분들이 차단되지 않도록 가시성을 허용하기 위해 해부구조의 구성요소가 가상적으로 제거된, 환자의 해부구조 디스플레이의 일 예를 나타낸다.
도 11은 [시스템 구성요소를 이용하여] 진행 중에 있는 해부 또는 절개(dissection) 동작의 일 예를 나타낸다.
도 12는 뚜렷한 증상(예컨대, 발진 또는 다른 국소적 질환)을 지닌 가상 환자의 일 예를 나타낸다.
도 13은 증강 현실을 이용한 학생의 학습에 대한 일 예를 나타낸다.
도 14는 응급 처치 과정의 일 예를 나타낸다.
도 15는 증강 현실로 제공된 IQ 테스트 문제의 일 예를 나타낸다.
도 16은 흉부 상승 및 검출/그의 이미지 캡쳐의 일 예를 나타낸다.
도 17은 여백 검사의 일 예를 나타낸다.
도 18은 특징 및/또는 경계(perimeter)에 기반한 시퀀스 매칭의 일 예를 나타낸다.
도 19는 프레임-오프셋 시스템의 일 예를 나타낸다.
도 20은 2차원 특징에 대한 원호 테스트의 일 예를 나타낸다.
도 21은 3차원 특징에 대한 구면 테스트의 일 예를 나타낸다.

수술 이전과 수술 도중에 환자의 장기, 동맥 및 다른 특징들을 관측하고 정확하게 위치를 파악함으로써, 환자의 특징 위치 변이와 관련된 수술 오류로 인한 이환율 및 사망률을 낮추는 방법, 시스템 및 시스템 구성요소들을 다양한 실시형태를 통해 개시한다. 여러 실시형태에서, 영상 데이터(imaging data)는 의료 처치술의 정확도와 효율을 개선하기 위해 의료 처치술 동안 의사, 외과 의사 또는 다른 의료 전문인에게 보여지는 환자의 증강 현실("AR") 또는 가상 현실("VR") 모습으로 해석된다. 본 방법 및 장치는 영상 데이터를 의료 처치술 대상의 AR 및 VR 모습으로 해석하여, 이를 보험 회계감사원, 비-수술 내과의사, 간호사 및 법률가들을 포함하되 이에 제한되지 않는 다른 사용자들이 사용하도록 한다.

의료 처치술 동안 복강경 카메라에 대한 카메라 이미지 및 증강 현실("AR") 경로 데이터 모두를 표시하는 헤드업 디스플레이("HUD")를 제공하는 방법 및 장치 또한 개시한다. 여러 실시형태에 의하면, 장치로 카메라 이미지 전송, 그리고 증강 현실에서 복강경의 위치 및 경로 데이터 오버레이와 함께, 복강경 카메라 및/또는 캐리어 튜브의 위치들이 복강경 검사시 추적된다.

자기공명영상법("MRI")으로 수집한 환자의 형태 데이터의 디스플레이 및 증강 현실("AR") 또는 가상 현실("VR")를 이용하여 수술- 및 진단- 술기를 수련시키고 테스트하기 위한 다양한 기술 및 장치를 또한 개시한다. 여러 실시형태에 의하면, (예컨대, MRI, CT 스캔, 엑스레이, 또는 기타 다른 환자 데이터 공급원으로부터 구성된) 환자의 형태 데이터를 의료 전문인/수련의에게 표시하고 AR 또는 VR을 통해 더 개선시켜 테스트 및 수련을 위한 다양한 조건들을 시뮬레이션 한다.

본원에서 "의료 처치술"은 유형을 지닌 신체에 수행되는 임의의 수술, 진단, 척추 교정, 물리치료, 재활 및/또는 기타 다른 작업을 포함하지만 이에 제한되지 않는 것으로 정의된다.

"의료 전문인"은 의료 처치술을 행하는 임의의 대행인을 포함하지만 이에 제한되지 않는 것으로 정의된다.

"형태학적 대상", "형태학적 이미지", "형태 데이터", "형태학" 및 다른 변형어들은 자기공명영상법("MRI"), 컴퓨터 단층촬영("CT"), 컴퓨터 축방향 단층촬영("CAT"), 양전자 방출 단층촬영-전산화 단층촬영("PET-CT"), 광간섭 단층촬영("OCT"), 파장가변 광원 광간섭 단층촬영("SS-OCT"), 광간섭 단층촬영 혈관 조영술("OCTA"), 초음파, 엑스레이, 핵자기 공명, 유방 조영, 혈관 조영, 골반 초음파, 디지털 사진 촬영 기법, 카메라 사진 촬영 기법, 원자 탐침 단층촬영("APT"), 전산화 단층촬영 영상 분광법("CTIS"), 공초점 레이저 주사 현미경("LCSM"), 동결 전자 단층촬영("Cryo-ET"), 전기 정전용량 단층촬영("ECT"), 전기 저항 단층촬영("ERT"), 전기 임피던스 단층촬영("EIT"), 전자 단층촬영("ET"), 레이저 절제 단층촬영("LAT"), 자기 유도 단층촬영("MIT"), 뮤온 단층촬영, 각막 형태 검사(비디오를 이용한 각막 형태 검사), 중성자 단층촬영, 음향 단층촬영, 광 확산 단층촬영("ODT"), 광 투영 단층촬영("OPT"), 광음향 영상법("PAT"), 양전자 방출 단층촬영("PET"), 양자 단층촬영, 단일 광자 방출 전산화 단층촬영("SPECT"), 탄성파 단층촬영, 열음향 영상법, 초음파-광 변조 단층촬영("UOT"), 피부 형태 검사, 또는 동맥 조영을 포함하지만 이에 제한되지 않는 것으로 정의된다.

AR 장치는, 내장된(embedded) 투명 디스플레이 기구를 갖춘 안경처럼, 투명한 이미지를 실제 임상 현장(현실 세계) 데이터 위에 표시할 수 있는 컴퓨터 통제식 디스플레이로 이루어진 임의의 장치이거나, 또는 오버레이된 3차원 데이터와 결합된, 카메라 또는 다른 영상 소스로부터의 복합 이미지를 표시할 수 있는 장치이다.

VR 장치는 사용자의 시야를 가린 후 사용자들이 가상 환경에 몰두할 수 있도록 하는 컴퓨터 통제식 디스플레이로 이루어진 임의의 장치이다.

I. 시각적 AR/VR 의료용 오버레이

수술용 오버레이

일 실시형태는 수술 타겟들 및 다른 관련된 의학적 및/또는 해부학적 데이터를 증강 또는 가상 현실 수술 환경에 표시하는 방법에 관한 것이다.

수술을 수행할 때 환자 내 타겟 위치 및/또는 해부학적 부분이 존재한다. 3차원으로 렌더링된 이미지를 표시함으로써, 수술 효율이 증가될 수 있는 한편, 환자의 이환율 및 사망률을 낮추게 된다. 후술되는 바와 같이, 의료 전문인은 렌더링된 이미지를 임의로 제어할 수 있다.

증강 현실에서, 상기 렌더링된 이미지는 실체 환자 위에 오버레이된 환자의 형태에 대한 3차원 모델로서 사용자 또는 사용자들에 보여진다. 가상 현실의 경우에는 환자 형태가 환자에 대한 3차원 모델이 되며, 본 발명의 의도된 용도상 환자로서 취급된다. 투영 환경에서, 렌더링된 이미지 데이터는 환자가 보이도록 장착된 프로젝터 또는 프로젝터들을 사용하여 대상 위에 투영된다. 사용자 또는 사용자들로 인한 이미지 차단을 방지하고, 3차원 이미지가 제공될 수 있도록 하기 위해 여러 개의 프로젝터가 사용된다.

본 시스템은 디스플레이 장치, 의료용 오버레이 소프트웨어, 환자의 형태 데이터, 및 카메라 등 최소한으로 구성된다. 이러한 최소 구성의 실시형태에서, 디스플레이 장치는 카메라로부터의 이미지를 보여주고, 소프트웨어는 상기 이미지를 해석하여 환자의 형태 데이터를 올바른 위치에 배치한다. 카메라로부터의 이미지를 사용하여, 소프트웨어는 렌더링된 이미지를 후술하는 바와 같이 업데이트한다.

다른 실시형태(도 1)에 의하면, 본 시스템은 증강 현실 안경, 태블릿, 디스플레이 화면, 가상 현실 안경 또는 헤드-장착 디스플레이, AR 또는 VR 장치의 이동을 추적하는 센서들, 의료용 오버레이 소프트웨어, 카메라, 오디오 캡쳐 장치, 메스, 손 또는 기타 다른 기구들 같은 특정 객체의 위치 추적을 위한 센서들, 선택사양으로 스피커, 및/또는 장치에 미리 로딩되거나 요구시 네트워크를 통해 전달될 수 있는 환자 형태에 대한 데이터 저장부로 구성된다. AR 또는 VR 디스플레이 대신에 프로젝터가 이용될 수 있다.

시스템이 초기화되면(도 2, 101), 사용자는 수행되어야 하는 의료 처치술을 우선 선택한다. 선택 가능한 프로세스들의 리스트는 현재 준비된 환자 의료 처치술들의 데이터베이스로부터 제공된다. 이렇게 데이터베이스에서 검색된 데이터를 본원에서는 "의료 처치술관련 데이터(procedural data)"라 지칭하며, 환자의 형태 데이터, 환자 정보, 의료 처치술 지시사항, 의료 처치술 시간/날짜, 및/또는 의료 처치술 위치를 포함할 수 있지만 이에 제한되지 않는다.

데이터베이스로부터 로딩된 의료 처치술 관련 데이터는 데이터 수신 인터페이스를 이용하여 시스템을 시행하는데 사용되는 프로그램 저장부에 저장된다(도 2, 102). 이는 시스템에 액세스가능한 랜덤 액세스 메모리("RAM"), 솔리드 스테이트 드라이브("SSD"), 보안 디지털 카드("SD 카드"), 및/또는 하드 디스크 드라이브("HDD")일 수 있지만 이에 제한되지 않는다.

선택사항으로, 현재 사용자 또는 사용자들의 선호사항을 사용자 선호도 데이터베이스에서 검색한다(도 2, 103). 로딩된 선호사항을 본원에서는 "의료 전문인 환경설정(practitioner preferences)"으로 지칭하며, 디스플레이 휘도, HUD 투명도, HUD 구성요소 위치 선호도, 오디오 볼륨 및/또는 선호하는 입력 방법을 포함할 수 있지만 이에 제한되지 않는다.

본 시스템은 시행 동안 모니터링 및/또는 추적되는 센서 입력부들에 연결된다. 이들 센서는 맥박 모니터, 혈압 모니터, 심전도 모니터 및/또는 무선 센서(이를테면, 고주파("RF") 위치 표시기를 포함하지만 이에 제한되지 않음)일 수 있지만 이에 제한되지 않는다. 센서들이 정확하게 판독되고 있다는 것을 보장하기 위해 센서 입력정보를 검증한다(도 2, 104). 본 시스템은 사용자(들)에 각 센서의 현재 판독값을 표시하고, 사용자(들)는 그 값이 정확하다는 것을 확인한다. 사용자(들)이 명확하게 검증 프로세스를 무효로 하지 않는 이상, 검증이 실패하면 시스템 시행이 중단된다.

상기 검증에 이어, 시각적 타겟들이 시스템에 의해 획득되며, 환자 신원이 확인된 다음, 렌더링된 이미지의 위치, 배향 및/또는 스케일이 검증된다(도 2, 105).

증강 현실 공간에 있는 수술 기구들 및 다른 객체들을 시각적으로 추적하기 위해, 사용자는 카메라가 볼 수 있는 위치에 기구를 들고, 해당 기구를 식별할 것을 소프트웨어에 요청할 수 있다. 사용자 쌍방향 대화방식을 통해, 소프트웨어가 기구를 올바르게 식별하였는 지의 여부가 결정된다. 기구가 올바르게 식별되고 있어 사용자가 만족하면, 사용자는 이러한 식별된 기구를 추적하도록 명령(음성 또는 다른 사용자 인터페이스 방법)을 통해 지시한다. 대안으로는, 카메라에서 보이는 피추적 기구에 추적용 마커를 부착시킨 다음, 상기 마커에 대한 추적을 시작하도록 사용자 인터페이스를 통해 소프트웨어에 지시할 수 있다. 대안으로 또는 추가적으로, 해당 기구에 하나 이상의 고주파(RF)-기반 추적 요소를 부착 또는 내장시켜 연결(예컨대, 블루투스 페어링 또는 다른 단방향 혹은 양방향 통신 링크)되게 할 수 있으며, 연결 지점에서 소프트웨어가 추적용 요소(들)에 대한 추적을 시작할 수 있게 한다.

환자 확인은 두 가지 방식으로 행해진다. 우선, 환자의 정보가 형태 데이터에 코드화된다. 사용자는 형태에 관한 정보를 병원 팔찌, 클립보드, 및/또는 환자를 식별하는 다른 표준 방법에 의해 얻은 환자 관련 정보와 비교한다. 또한 정확한 환자에만 형태가 매칭될 것이므로, 정확한 환자가 시스템에 보일 때에만 렌더링된 이미지가 나타나게 된다.

렌더링된 이미지 전체가 환자의 위치에 고정(anchor)된다. 본원에서, 렌더링된 이미지를 고정시킨다는 것은 렌더링된 이미지의 측위 특징들, 이를테면, 비제한적으로는, 검출된 특징들 및/또는 경계 위치, 그리고 결과적으로는 렌더링된 이미지 전체를 고정시키는 것을 가리키며, 이로써 이들 렌더링된 이미지 특징들은 상기 측위 특징들을 기준으로 제 위치에 고정된다. 특징 검출, 경계 위치, 및/또는 점군(point cloud) 매핑을 함께 이용하여 환자의 정확한 3차원 위치, 크기 및 배향을 결정한다. 프로그램이 시행됨에 따라 이들 측정 지표를 지속적으로 업데이트함으로써, 렌더링된 이미지가 항상 정확하게 고정되도록 보장한다. 또한, 마커, 이를테면 수술 표식(surgical tattoo) 혹은 다른 가시적 마커를 사용함으로써, 형태 모델이 정확하게 고정되도록 보장한다.

의료 처치술을 시작하기에 앞서, 사용자 또는 사용자들은 환자 주변을 걸으면서, 렌더링된 이미지가 적절한 크기로 되어 있는지와 환자에 제대로 정렬되었는지를 확실하게 한다. 만일 올바르게 정렬되어 있지 않다면, 사용자(들)는 장치 상에 제공된 임의의 사용자 입력 방법을 이용하여 정렬 상태를 수정할 수 있다.

이렇게 3차원의 렌더링된 이미지가 장치에 생성되며, 증강 현실의 경우, 안경은 안경 자체에 내장된 투명 화면일 수 있다. 가상 현실의 경우에는 렌더링된 이미지가 불투명 VR 디스플레이에 생성된다. 프로젝션 시스템의 경우에는 렌더링된 이미지가 해당 용도로 장착된 임의 개수의 프로젝터로부터 환자 위로 투영된다. 여러 개의 프로젝터를 이용하면 사용자 또는 사용자들의 움직임으로 인한 투영 방해를 피할 수 있다.

의료 처치술 동안, 환자의 현재 형태를 표시하기 위해 상기 렌더링된 이미지가 지속적으로 업데이트된다(도 2, 106). 외과 의사가 절개를 하고 해부구조의 일부를 열면, 렌더링 이미지가 실시간으로 업데이트되어, 환자 형태에 관해 점진적으로 더 깊은 모습과 렌더링 이미지가 제공된다. 이러한 디스플레이의 깊이-추적 동작 또한 사용자 또는 사용자들이 제스처, 음성 명령 또는 기타 다른 형태의 사용자 입력을 이용하여 무효화시킬 수 있다. 또한 사용자(들)는 어느 한 장기의 뒤나 아래를 보기 위해 또는 장기를 다양한 관점으로 근접하게(궤적 이동, 패닝(panning), 확대/축소(zooming)) 보기 위해, 해당 장기를 모델로부터 제거하는 등과 같이, 표시된 형태의 일부를 개별적으로 선택 및 조작할 수 있다. 예를 들어, 사용자(들)은 또한 이렇게 제거된 부분을 회전 및 재배향시켜 다른 각도들로 볼 수 있을 뿐만 아니라 디스플레이 깊이를 조절함으로써 그 부분의 내부도 볼 수 있다. 이들 보기 제어(viewing control) 모두는 제스처, 음성 명령, 옆으로 밀기(swipe), 탭, 마우스-움직임, 키보드 제어 등과 같은 사용자 입력을 통해 시행될 수 있다. 사용자(들)는 또한 모델 상의 임의의 부분을 확대(zoom in) 할 수 있는데, 이는 원발 형태(primary morphology)로부터 제거되었던 부분이거나, 원발 형태의 일 부분이거나 형태 자체 모두의 여부에 관계없이 가능하다.

환자와 시스템 사용자(들) 간의 상대 이동 - 그리고 이에 따른 렌더링된 이미지를 고정시키는데 이용된 마커들의 실제 혹은 감지된 이동 - 을 여러 방식으로 검출할 수 있다(도 2, 107). 그 중 한 가지 방법이 후술되는 프레임 오프셋 방법이다. 또한 보충 정보가 증강 또는 가상 현실 장치 내(예컨대, AR/VR 고글, 디스플레이-쉴드 또는 다른 렌더링 장치 내)의 위치 센서들을 이용하여 제공된다. 프로젝션 시스템의 경우에는 프로젝터가 고정 위치에 있게 되므로 보충 정보가 제공될 수 없다. 사용자(들)가 이동하면 3차원 공간 내 사용자의 위치가 소프트웨어에서 업데이트되며, 그러면 소프트웨어는 가시적인 렌더링된 이미지 모델 또는 가상 모델을 업데이트한다(도 2, 108). 상기 모델은 또한 환자의 위치 변화에 근거하여 조절된다(도 2, 109). 데이터 집합의 점들을 변환, 병진 및/또는 회전시키는 4원법 및/또는 행렬 연산을 이용하여 형태 데이터의 위치, 배향 및/또는 크기를 변환시킨다(도 2, 110). 하기의 예에서 설명하겠지만, 환자가 이동하면 환자의 조절된 위치에 매칭되도록 형태 데이터가 변환된다.

모든 추적된 객체들의 위치가 3차원 공간에서 결정되며, 렌더링된 이미지를 위해 이들의 위치가 업데이트되어 저장된다(도 2, 111). 그런 후에는, 전술한 바와 같이, 사용자 입력이 처리된다(도 2, 112). 입력이 처리되고 렌더링된 이미지가 업데이트된 후에는 렌더링 엔진을 이용하여 뷰(view)가 생성된다(도 2, 113).

수술 오버레이를 사용하는 동안, 피해야 하거나 조심해야 하는 부위로 주목된 부위에 외과 의사가 접근하고 있으면 청각적 및/또는 시각적 신호(cue)가 외과 의사에게 주어진다. 예를 들어, 외과 의사가 장관에 수술을 시행하고 있는 와중에 메스가 환자의 장에 가까워지고 있다면, 시각적 및/또는 청각적 근접 경보를 발생함으로써 외과 의사가 너무 가까이 다가가고 있음을 알려줄 수 있다. 이러한 경보는 예를 들어 증강 현실에 표시되는 적색 영역일 수 있다. 녹음된 경보 또는 경보음이 재생될 수도 있다.

해부구조 오버레이

또한 다른 실시형태는 가상 현실, 증강 현실 또는 기타 다른 가상 공간에서 해부구조 디스플레이를 제공하는 방법 및 장치에 관한 것이다.

의대 학생들에게 해부학을 가르치기 위한 사실상의 표준이 해부도, 해부 모델 및 카데바 해부(cadaver dissection)이다. 가상 공간에서 해부학적 데이터를 제공함으로써, 해부학이 3차원 공간으로 학습될 수 있다. 이러한 해부 모델은 또한 사용자 또는 사용자들에게 표시될 메모를 포함할 수 있다. 본 모델은 인간에 국한되지 않으며, 동물 및 다른 생명체의 해부 모델을 이용하는 수의과 용도로도 사용될 수 있다. 모델은 또한 사용자 또는 사용자들과 쌍방향 대화할 수 있게 되어 있어, 사용자가 모델의 개별 구성요소를 절개 및 조작할 수 있게 한다. 음성, 제스처 및 장치 입력부를 포함하지만 이에 제한되지 않는 임의의 사용자 입력 방법을 통해 모델의 특정 부분을 선택할 수 있다. 선택된 모델에 대한 세부 사항이 시각적 또는 청각적으로 사용자(들)에 제공될 수 있다.

증강 또는 가상 현실에서, 3차원 해부 모델들은 실제 모델이 있지 않은 위치에 표시된다. 증강 현실에서는 모델이 마커 또는 다른 위치 표시기 위에 임의로 오버레이될 수 있거나, 또는 실체 객체들이 포함되어 있을 수 있는, 심지어 사용자 또는 사용자들에 대해 고정된 위치에 임의적으로 오버레이될 수 있다. 모델은 3차원으로 제시되며, 모델의 디스플레이를 아래에 개략적으로 설명하는 바와 같이 조작할 수 있다.

해부 모델은 이를테면 태블릿, 안경, 프로젝터(들) 또는 다른 디스플레이 매체와 같은 증강 현실 장치, 카메라, 카메라 및/또는 사용자(들)의 위치 이동을 추적하는 센서들, 선택사양으로서, 청각 피드백 및 청각 입력 각각을 위한 스피커 및 오디오 캡쳐 장치, 그리고 장치 상에 미리 로딩되거나 요구시 네트워크를 통해 전달될 수 있는 환자 형태에 대한 데이터의 저장부로 이루어진 시스템을 이용하여 증강 현실에 표시된다.

사용자 또는 사용자들에게는 개별적 해부학적 구성요소의 세부 설명을 열 수 있는 능력이 주어지는 것과 더불어, 임의로 주석(annotation)도 표시된다. 해부 모델을 검진 또는 절개하면서, 사용자 또는 사용자들은 해부학적 구성요소들을 조작하고 이들을 주 모델로부터 멀리 떨어뜨려 해당 구성요소들을 3차원으로 자세히 검진할 수 있다. 사용자 또는 사용자들은 또한 특정 섹션들 또는 전체 모델 상에서 확대시켜 더 면밀하게 관찰할 수 있다. 사용자 또는 사용자들은 또한 모델은 물론 모델의 개별적 섹션을 회전 및 재배향시킬 수 있다.

사용자는 사용자 입력 제어부를 이용하여 가상 해부 모델을 절개할 수 있다. 상기 모델은 실제 또는 가상 수술 기구를 이용하여 절개될 수도 있다. 가상 기구는 임의의 통상적 사용자 입력 방법을 이용하여 가상 공간 내에서 미리 구성되어 구체화(instantiate)된다. 실제 기구는 전술된 대로 추적 및 이용될 수 있다. 사용자 또는 사용자들이 가상 모델을 절개하면, 해부구조의 각 개별 구성요소를 보게 되어, 이들 개별 구성요소를 절개할 수 있게 된다. 사용자는 또한 본인의 행위들을 순차적으로 실행취소하기 위해 임의의 사용자 입력 방법을 이용하여 해당 행위들을 되돌릴 수 있다. 사용자 입력을 통해 발행된 명령을 이용하여 모델은 원래 위치로 언제든지 리셋될 수 있다.

사용자 또는 사용자들은 가상 모델을 3차원으로 이리저리 움직일 수 있다. 모델은 모델이 처음 초기화되었을 때 선택된, 3차원 공간 내 한 지점에 고정된다. 사용자 쌍방향 대화방식을 이용하여 모델이 이 공간으로부터 이동될 수 있지만, 그렇지 않은 경우에는 제자리에 고정된다. 그 위치는 후술되는 프레임 오프셋 방법론과, 장치 및/또는 카메라가 제공한 위치 정보를 함께 이용하여 결정된다. 증강 현실에서는 사용자 또는 사용자들이 가상 모델을 기준으로 자신의 몸을 움직여 모델 주변을 탐색할 수 있다. 가상 현실에서는 사용자 또는 사용자들이, 헤드 추적 및 기타 이용가능한 위치 추적 정보와 더불어, 사용자 입력을 통해 발행된 명령들을 이용하여 가상 공간을 통해 움직일 수 있다.

복강경 오버레이

또 다른 실시형태는 복강경 정보의 시각적 디스플레이를 가상 현실, 증강 현실 또는 기타 다른 가상 공간으로 제공하는 방법 및 장치에 관한 것이다.

복강경 의료 처치술에는 수술용 카메라(복강경) 및 수술 도구들이 이용된다. 증강 또는 가상 현실에서는 환자 위에 오버레이된 방사선 이미지들을 표시함으로써, 의료 전문인이 암 종양과 같은 수술 타겟을 보다 정확하게 표적화하고 그 위치를 파악할 수 있다. 복강경 및 수술 도구들의 위치 역시 표시될 수 있다. 복강경 및 수술 도구들의 과거 위치 역시 경로 데이터로서 보여질 수 있다. 의료 전문인은 음성을 통해서나 기정된 명령, 제스처 또는 다른 기정된 사용자 인터페이스 옵션을 이용하여 메모를 작성할 수도 있다.

복강경 수술시, 외과 의사는 복강경 장치들의 실제 위치를 볼 수 없다. 증강 현실 장치는 복강경 헤드들의 현재 위치, 복강경 헤드들의 과거 위치(경로), 및/또는 복강경 카메라 뷰를 표시하는 HUD(아래 참조)를 표시한다. 본 장치는 또한 위에 설명한 바와 같이 형태 데이터를 (임의로) 표시한다.

복강경 오버레이(도 3)는 복강경 수술 셋업, 증강 현실 또는 가상 현실 장치(카메라 및 위치 추적 포함), 소프트웨어, 위치 추적기들, 위치 수신기들, 및 수신기와 증강 현실 장치 사이의 인터페이스부로 이루어진다. 위치 추적기들은 수신기(들)와 짝을 이루며, 복강경 기구의 단부에 부착된다. 수신기들은 증강 현실 장치에 바람직하게는 무선으로 연결된다. 복강경 카메라는 증강 현실 장치에 (바람직하게는 무선으로) 연결된다.

복강경 의료 처치술이 시작되었을 때, 시스템이 상호작동된다(도 4, 201). 그런 후에는 송신기들, 수신기들 및 소프트웨어 간에 소통이 올바른지 검증하기 위해 송신기들을 검사한다(도 4, 202). 이러한 송신기들의 초기 위치뿐만 아니라 복강경으로부터의 초기 카메라 뷰를 보여주는 렌더링된 이미지가 표시된다(도 4, 203).

시스템 내 가장 늦은 구성요소가 감당할 수 있는 정도로 빠르게, 복강경 헤드들의 위치가 일정한 간격으로 송신된다(도 4, 204). 추적기들의 정확한 현재 배치 위치를 유지하기 위해 추적기와 수신기는 이들에 가능한 빠른 주파수로 작동한다. 그런 후 증강 현실 장치는 업데이트된 위치를 표시할 수 있는 대로 자주 수신기에 요청한다. 가장 최근의 위치 데이터만 표시를 위해 증강 현실 장치에 반환된다. 복강경 카메라로부터의 이미지 역시 요청된다(도 4, 205).

복강경 추적기들의 현재 위치 및 과거 위치뿐만 아니라 카메라 이미지를 이용하여 렌더링된 이미지가 업데이트된다(도 4, 206). 현재 위치는 물론 과거 위치가 증강 현실에서 사용자 또는 사용자들에게 표시된다. 이로써 사용자(들)는 현재 위치와, 상기 현재 위치에 도달하기 위해 택한 트랙 둘 다를 볼 수 있게 된다. 카메라 뷰 역시 HUD에 표시된다(아래 참조). 이 프로세스는 의료 처치술이 종료되었을 때까지 반복된다(도 4, 202).

또 다른 실시형태 역시 증강 현실을 레이저 눈 수술에 이용하는 방법에 관한 것이다.

예를 들어, 레이저 눈 박피술은 환자의 망막에 빛이 더 정확하게 초점을 맞추도록 눈의 각막을 박피함으로써 환자의 시력을 개선시키는 프로세스이다.

또 다른 실시형태는 증강 현실 디스플레이, 카메라 또는 다른 영상 장치, 레이저, 및/또는 절개 도구(레이저, 기계 등)로 이루어진다. 각막의 표면이 스캔되고, AR에서 모델이 구성된다. 이러한 AR 모델은 외과 의사가 레이저를 사용하여 각막의 표면을 수정할 때 외과 의사를 가이드 하는 데 도움을 주도록 이용된다. AR 모델은 실제 각막 위의 오버레이로서 또는 HUD에서의 디스플레이로서 표시된다(아래 참조).

실시간/헤드업 디스플레이

의료 처치술 동안, 환자의 바이탈 통계, 영상법, 및 다른 환자 데이터가 상의 목적상 종종 요구된다. 앞서 언급한 데이터가 실시간으로 업데이트되어 표시되는 덕분에, 수련의는 정보를 모니터링하거나 검색하기 위해 장치의 도움을 받거나 진료 기록들을 참조할 필요 없이 환자나 당면한 일에 집중할 수 있게 된다. 바이탈 수치가 적합한 범위를 벗어나면 경보음이 울리도록 임의의 범위 또한 설정될 수 있다.

예를 들어, 헤드업 디스플레이(HUD)를 이용하여 충수절제술을 수행하고 있는 외과 의사에게 환자의 바이탈 통계 디스플레이가 증강 현실로 제공될 수 있게 됨에 따라, 외과 의사는 환자의 혈압이 안정적으로 유지되고 있는지 확실히 하기 위해 다른 곳으로 시선을 돌릴 필요 없이 시술에 집중할 수 있다.

HUD는 AR 장치 또는 다른 디스플레이 매체 및 소스 입력부, 이를테면 바이탈 사인 모니터로 이루어진다. HUD는 표시될 소스 데이터의 유형을 미리 자동적으로 또는 사용자 쌍방향 대화방식에 의해 선택하도록 구성된다. 그런 후 데이터가 미리 자동으로 또는 사용자 쌍방향 대화방식에 의해 결정된 위치에 표시된다. HUD 항목 또는 밑에 있는 세부사항을 더 잘 볼 수 있도록 HUD 구성요소들의 투명도(알파 채널값)를 조절할 수도 있다.

소스 입력부들이 HUD에 연결된 후에는 일정한 간격으로 수치들이 판독되며, HUD 구성요소들이 새로운 수치로 업데이트된다.

또 다른 실시형태는 보여지는 주변환경에 겹쳐 놓인 2차원 및/또는 3차원 이미지들로 이루어진 헤드업 디스플레이(HUD)를 표시하는 방법 및 장치에 관한 것이다.

헤드업 디스플레이는 매우 다양한 용도로 이용될 수 있다. 가상 환경에서, HUD는 보기 상황과 상관없이 계속 볼 수 있도록 되어 있는 일관된 정보를 뷰어에게 제공한다. 이러한 데이터는 미리 설정된 조건들, 사용자 환경설정, 주변환경 요인들 및/또는 상황별 데이터에 기반한 다양한 정보를 보여주도록 구성될 수 있다.

예를 들어, 환자들을 진찰하는 의사는 해당 환자들의 안면 인식을 통해 트리거된 환자 정보를 표시해 주는 HUD를 구비할 수 있다. 그 밖에도, 각 환자를 위해, 의사는 어느 데이터가 가장 볼 가치가 있을 지 파악하여 환경 설정을 할 수 있으며, 이에 따른 특정 데이터가 1회 방문 또는 장기적 용도를 위해 HUD에 표시되도록 할 수 있다.

본원에 개시된 다양한 실시형태는 헤드업 디스플레이(HUD), 의료 영상 디스플레이, 바이탈 통계 디스플레이, 환자 정보 디스플레이, 의료 처치술 정보 및 기타 다른 데이터를 포함하지만 이에 제한되지 않는 구성요소들로 이루어진 증강 또는 가상 현실 수술용 오버레이를 제공하는 방법에 관한 것이다.

헤드업 디스플레이는, 표시될 데이터와 관련된 적응형 부분들과 함께, 2차원 또는 3차원 이미지 혹은 모델을 이용하여 생성된다. 바이탈 통계의 경우에는 데이터가 대상에 연결된 의료 장치로부터 스트리밍된다. 그런 후 데이터는 소프트웨어에 제공되며, 표시될 정보에 근거하여 상기 소프트웨어에 의해 해석된 다음, 적절하게 표시된다. 예를 들어 환자의 산소 포화도의 경우, 퍼센트로 표현된 원시 데이터는 HUD에서의 표시를 위해 적분 퍼센트 숫자로 환산될 수 있다.

또 다른 실시형태에서, HUD는 다른 보기 매체(viewing medium), 이를테면, 비제한적으로, LCD 또는 CRT 스크린으로 대체될 수 있다. 이러한 뷰는 가상 공간을 반드시 포함하지는 않는다.

도 5는 샘플 HUD 구성을 나타낸다. 모니터링되는 4개의 바이탈 사인, 즉 체온, 산소 포화도, 맥박수 및 혈압이 좌측상단 모서리, 우측상단 모서리, 좌측하단 모서리 및 우측하단 모서리에 각각 나타나있다. 이들 표시는 투명하며 고정 위치들에 있으므로, 사용자 또는 사용자들이 고개를 돌려 볼 때 바이탈 사인들은 카메라를 기준으로 일정한 자리에 늘 있다.

마찬가지로, 소프트웨어가 인식하는 포맷의 의료 이미지들(DICOM, Jpeg, png, bitmap, raw 및 다른 유사한 포맷들을 포함하지만 이에 제한되지 않음)이 HUD의 일부로서 오버레이될 수 있어, 의료 전문인은 이들 이미지를 언제나 가상 공간에서 보도록 허용된다.

의학용 데이터베이스 혹은 다른 기존의 소스로부터 로딩되었던 환자 정보 및 바이탈 통계 역시 유사한 방식으로 표시될 수 있다. 데이터는 또한 수작업으로 입력될 수 있다.

기존의 소스로부터 의료 처치술 방향 및 정보도 얻을 수 있다. 이들 의료 처치술 및 방법은 사용자 쌍방향 대화방식, 이를테면, 음성 제어, 제스처 제어 또는 기타 다른 제어 방법 등 다양한 형태를 이용하여 단계화될 수 있다.

도 6은 도 1과 동일한 HUD를 나타내지만, 단 사용자가 어떻게 의료 처치술을 수행해야 하는 지에 대한 지시사항을 제공하는 안내문이 체온 통계의 좌측 아래에 제시될 수 있다. 각 단계가 완료될 때, 안내서가 자동으로 또는 사용자 쌍방향 대화방식에 의해 업데이트된다.

또 다른 실시형태는 수술 타겟들 및 다른 관련된 의학적 및/또는 해부학적 데이터를 증강 또는 가상 현실 환경에 표시하는 방법에 관한 것이다.

타겟 부위는 3차원 가상 공간을 통해 선택될 수 있다. 또한, 의료 전문인이 환자 위에서 오버레이를 이용하여 타겟 부위들을 선택할 수 있다. 타겟 부위들은 또한 펜, 손가락 또는 다른 위치관련 장치를 이용하여 선택될 수 있다. 또한 타겟들은 비제한적으로는 LCD 또는 CRT 스크린과 같은 통상의 디스플레이 상에 표시될 수 있다. 수술 기구 또는 다른 추적 방법으로부터 전송된 위치 추적 정보는 이러한 기구 또는 추적기가 CRT 스크린 상의 타겟 위치를 기준으로 어디에 있는지를 의료 전문인에게 식별시켜 줄 목적으로 이용될 수 있다. 현실 세계의 객체들이 위치 추적된 객체들이나 기구들을 가릴(obscure) 때조차도 증강 현실에서는 이러한 위치 추적된 객체들이나 기구들을 볼 수 있다. 예를 들어, 환부 절개시, 절단되고 있는 살에 의해 메스의 날이 가려지기는 하지만 증강 현실에서는 메스의 날이 보인다.

도 7은 외과 의사에 의해 사용 중인, 위치 추적기(좌측)를 구비한 메스를 나타낸다. 우측에는, 환자 형태의 실물크기 모형이 예시된 디스플레이 장치를 나타낸다. 디스플레이 상의 X는 메스의 현재 위치를 나타내는 한편, 원은 수술 타겟 위치를 나타낸다. 디스플레이 장치를 봄으로써, 외과 의사는 본인이 절개를 시작해야 하는 올바른 위치에 도달한지를 판단할 수 있다.

예를 들어, 외과 의사는 환자 복부의 MR 이미지를 검토한다. 복부 수술을 위한 타겟 위치가 상기 이미지에서 식별된다. 환자의 도표를 이용하여 외과 의사는 타겟 부위를 마크한다. 수술 동안, 상기 도표가 환자 옆에 있는 모니터 상에 표시된다. 환자에 대한 메스의 위치 또한 메스에 부착된 위치 추적기에 의해 모니터 상에 표시된다. 메스의 위치가 타겟의 위치에 매칭되면, 외과 의사는 이들 위치가 같음을 모니터 상에서 볼 수 있다. 이는 수술을 시작해야 하는 적소를 찾았다는 것을 외과 의사에 알려준다.

또 다른 예에서, 환자의 심장에 종양 제거 수술을 수행하는 외과 의사는 증강 현실에서 환자의 심장을 신체로부터 분리하고, 심장을 환자로부터 멀리 옮겨 놓은 다음, 심장 및 관련 종양을 3차원 공간에서 검사할 수 있다. 이는 외과 의사가 종양의 위치를 더 잘 분석할 수 있도록 할 뿐만 아니라, 종양 제거를 위한 최선의 접근 경로를 계획할 수 있게 한다. 이는 개인에 맞게 수술 정확도를 더 높일 수 있도록 한다. 또한 이 뷰는 진료 상담이나 다른 용도를 위해 다른 사용자들과 네트워크를 통해 공유될 수 있다.

또 다른 예에서, 교육 강사는 펜이나 다른 기구에 부착된 위치 추적기를 이용하여 학생의 지식을 테스트한다. 교육 강사는 시술을 위한 타겟을 미리 식별해 놓고, 학생들에게 상기 기구를 이용하여 해당 타겟의 위치를 알아내도록 질문한다. 증강 현실 안경을 끼고 있는 교육 강사는 학생들의 대답이 실제 타겟에 근접한지 볼 수 있다. 이 예의 다른 버전으로, 학생에게 방사선 이미지를 보여주고, 그 이미지에서 정확한 타겟 위치를 식별하도록 학생에게 질문할 수 있다.

또 다른 예에서, 물리 치료사는 척추 부상을 표시하는데 있어서 형태학적 이미지들을 이용한다. 이러한 오버레이를 사용함으로써, 물리 치료사는 척추에 추가 부상 또는 손상을 야기하지 않으면서 환자를 정확하게 도울 수 있다.

또 다른 예에서, 환자는 렌더링된 이미지가 이용되는 의료 처치술 도중 오른쪽 팔을 구부린다. 구부려진 팔의 새 위치를 반영하기 위해 형태학적 소스 데이터가 업데이트된다. 카메라 이미지를 분석하여, 팔의 구부림 방향과 정도가 다양한 지점에서 결정된다. 이러한 방향과 정도를 이용하여, 형태 데이터는 표준 4원법 및/또는 행렬에 기반한 변환 방법에 의해 이동된 각 지점에 대한 새 위치를 반영하도록 업데이트된다.

또 다른 실시형태는, 복강경 장치의 경로 매핑, 복강경 장치의 위치 디스플레이, 복강경 영상 데이터 디스플레이, 및/또는 일반적 및 특정 지점들에 관련된 메모를 작성하기 위한 시스템을 포함하지만 이에 제한되지 않는 구성요소들로 이루어진, 복강경 시술을 위한 증강 또는 가상 현실 수술용 오버레이를 제공하는 방법에 관한 것이다.

현재 복강경에는 비침습적으로 수술을 수행하기 위해 환자의 속 또는 다른 부위를 보기 위한 카메라가 구비되어 있다. 소프트웨어에 연결된 수신기와 함께 사용되는 송신기를 복강경의 단부에 장착시킴으로써, 복강경의 위치 및 과거 경로가 추적되어 가상 공간에 표시될 수 있다. 송신기는 수술 환경에 허용될 수 있는 임의의 주파수(이를테면, RF, 블루투스(Bluetooth), 또는 와이파이(WiFi)가 있지만 이에 제한되지 않음)를 이용할 수 있다.

또한 카메라로부터의 데이터는 가상 공간에서 실시간으로 판독되어 일차적 디스플레이 또는 HUD로서 표시될 수 있다. 전체 의료 처치술 동안 디스플레이를 볼 수 있게 됨에 따라, 의료 처치술시의 이환율 및 사망률이 감소될 수 있다.

도 8은 진행 중인 복강경 시술을 나타낸다. 좌측으로 증강 현실 경로들과 복강경 기구들의 팁 부분을 볼 수 있다. 우측으로는 복강경으로부터의 카메라 뷰가 보이며, 이는 외과 의사나 다른 사용자의 HUD에서 볼 수 있다.

그 외에도, 의료 전문인은 음성 인식, 제스처 인식, 및/또는 기타 다른 입력 형태로 이루어진 사용자 인터페이스를 이용하여 메모를 작성할 수 있다. 의료 전문인은 주석을 달고 싶은 위치를 식별하기 위한 기정된 제스처를 이용할 수 있다. 일단 제스처가 인식되면 의료 전문인은 남기길 원하는 메모를 말할 수 있으며, 이는 잘 공지되어 있는 음성 인식 방법들에 의해 해석되고 텍스트로 전환되어 HUD에 표시된다. 또한 이들 메모는 다음을 위한 참조로 기록된다.

예를 들어, 충수절제술에 대해 계획할 때, 외과 의사는 환자 모델을 검토하게 된다. 모델을 검사하고 수술 경로를 계획하면서, 외과 의사는 환자가 후 회장 충수를 가졌음을 알아챈다. 충수의 위치 때문에, 회장(ileum)에 가해지는 우발적인 손상 위험을 낮추기를 희망하면서, 외과 외사는 회장(ileum)에 대해 주의하라는 메모를 모델 위에 작성한다.

예를 들어, 복강경 담낭절제술(담낭 제거 수술)에서는, 제거할 담낭의 위치 파악을 위해 복강경이 사용된다. 전통적으로, 복강경으로부터의 디스플레이는 수술 부위 옆에 있는 스크린에 보여져 왔으며, 외과 의사는 복강경의 위치나 경로를 볼 수 없었다. 더욱이, 외과 의사는 환자를 보고 있을 때에는 복강경 출력에 집중할 수 없었다. 그러나 증강 현실을 이용하면, 환자 몸 속을 관통하는 복강경의 위치 및 경로가 환자의 몸 위에 직접 표시될 수 있다. 복강경으로부터의 카메라 뷰 역시 HUD로 보여질 수 있어, 외과 의사가 환자 및 카메라 둘 다를 동시에 볼 수 있도록 한다.

또 다른 실시형태는 보여지는 주변환경에 겹쳐 놓이거나 통합된 2차원 또는 3차원 이미지들로 이루어진 헤드업 디스플레이(HUD)를 증강 또는 가상 현실에 표시하는 방법에 관한 것이다.

HUD는 가상 공간에서 사용자에게 데이터를 표시하는데 이용된다. HUD의 구성요소들은 사용자 시야에 맞추어 위치 고정될 수 있거나, 현실 또는 가상 환경 내 위치들에 고정될 수 있거나, 이 둘의 조합일 수 있다. 예를 들어, 환자의 데이터를 사용자에 표시하는데 있어서, HUD의 일부 구성요소(이를테면, 심박수, 혈압)는 환자의 위치에 고정될 수 있는 한편, 다른 구성요소들(이를테면, 방사선 이미지들, 환자 정보, 또는 의료 처치술관련 메모들)은 의료 전문인의 시야에 맞추어 고정될 수 있다.

도 9는 두 가지 별개의 HUD 구성요소를 나타낸다. 하나는 환자의 맥박수로서, 환자의 위치에 고정되며, 사용자가 이리저리 움직여도 3차원 공간 내 같은 곳에 유지된다. 환자의 성명, 연령 및 혈액형을 포함하는 두 번째 구성요소는 뷰의 좌측하단 모서리에 고정된다.

예를 들어, 병실들을 돌면서 회진하는 의사는 환자의 바이탈 사인들을 표시하는 HUD를 소지할 수 있다. 의사가 한 병실에서 다른 병실로 가면, HUD는 의사가 현재 방문하고 있는 환자로 업데이트된다.

또 다른 예를 들자면, 예전에는 마취 동안 환자의 바이탈 사인들이 안정적으로 적절한 범위에 유지되도록 보장하기 위해 환자를 지속적으로 모니터링 해야 했다. 그러나 바이탈 사인 모니터에 연결된 증강 현실 장치를 이용하면, 환자를 모니터링하는 사람은 증강 HUD를 이용하여 바이탈 사인들을 항상 볼 수 있는 곳에 둘 수 있다. 이 덕분에 모니터는 마취 환자를 계속 모니터링하면서 다른 작업을 수행할 수 있게 한다. 또한 여러 개의 환자 바이탈 사인이 단 하나의 현실 증강 장치에 연결될 수 있어, 하나의 모니터가 다수의 마취 환자들을 지켜볼 수 있다.

또 다른 실시형태에서, 최초 대응자(예컨대, EMT)는 초기 구명 프로세스들로 프로그램된 가상 공간 장치를 이용할 수 있다. 환자의 바이탈이 장치로 스트리밍될 수 있으며, 증상들을 근거로 표준 지침(protocol)을 개시하여 상기 최초 대응자에게 구명 단계들을 단계적으로 제공한다.

또 다른 실시형태에서, 당직 근무 중인 간호사나 레지던트는 여러 환자의 비상 버튼들에 연결된 가상 공간 장치를 소지한다. 비상 버튼이 눌려지면, 환자의 바이탈과 위치가 가상 공간 장치에 연결된다. 이러한 가상 공간 장치는 병원에 있거나 당직 근무 중일 수 있는 환자 담당 내과 의사에도 연결될 수 있다. 이렇게 간호사, 레지던트 또는 내과 의사는 서로, 그리고 환자와도 통신하면서 해당 환자의 안전을 보장하기 위한 올바른 단계들을 정하게 된다.

예를 들어, 야간에 병동을 지키는 간호사는 병실 밖에 있는 데스크에서 업무를 본다. 간호사는 서류를 작성하면서 증강 현실로 표시된 HUD를 본다. 환자가 비상 버튼을 누른다. 환자의 바이탈이 즉시 HUD로 표시되며, 간호사는 환자가 심박 급속증임을 알게 된다. HUD에 포함된 환자 이력에는 심박 급속증이나 관련 병태에 대한 어떠한 이력도 나타나지 않으므로, 간호사는 당직 의사를 증강 현실 장치를 통해 호출하기 시작한다. 집에 있던 의사는 간호사의 증강 현실 장치 상에 있는 카메라를 통해 이 상황을 볼 수 있으며, 본인이 병원으로 가는 동안 간호사에게 환자를 안정시키는 단계들을 자세하게 알려 준다.

또 다른 실시형태는 레이저 눈 수술에서 증강 현실을 이용하는 방법에 관한 것이다.

레이저 눈 시술에 증강 현실 오버레이를 이용함으로써 외과 의사는 더 높은 정확도를 얻을 수 있다. 눈이 스캔되고, 수술 타겟이 눈 위에 오버레이될 수 있다. 또한 타겟은 후술되는 것처럼 다른 위치로의 이동, 확대/축소, 회전 및 정밀 검사와 메모 작성을 위한 조작 등과 같이 조작될 수 있다.

예를 들어, 라식 수술시, 대상의 각막이 고화질 카메라 혹은 다른 수단으로 스캔될 수 있다. 원하는 모양의 각막이 스캔된 각막의 표층과 비교된다. 그 둘의 차이에 관한 증강 현실 오버레이가 박피술 동안 대상의 각막 위에 보여지며, 외과 의사가 각막의 모양을 조절할 때 가상 객체가 업데이트된다. 이로써 외과 의사는 의료 처치술시 각막의 모든 부분을 정확하게 박피하고 있음을 확신할 수 있게 되어, 수술 오류를 줄이게 된다.

또 다른 예에서는 망막 열공(tear)을 찾기 위해 환자 눈의 뒤쪽을 스캔 및 매핑한다. 위치가 파악된 작은 열공이 증강 현실 형태 모델로 처리된다. 이 형태 모델이 환자의 눈 위에 겹쳐 놓여지면서, 정확하게 망막 열공의 위치를 의료 전문인에게 보여준다. 그리하여 열공을 아르곤 레이저를 이용하여 쉽고 안전하게 봉합할 수 있다.

또 다른 실시형태는 진단 목적을 위해, 움직이는 환자의 방사선 이미지를 분석하는 방법에 관한 것이다.

다양한 이동 지점에서 촬영된 방사선 이미지들을 이용하여, 예를 들면, 관절 위치의 변화 및 가능성 있는 체액 축적을 보여줄 수 있다. 이는 또한 관절염과 같은 병태를 진단하는데 이용될 수 있다.

II. AR/VR를 이용한 의료 수련/학습/시뮬레이션/테스트

또 다른 실시형태는 육안 해부학을 문제중심학습(PBL)과 통합하는 방법에 관한 것이다.

육안 해부학과 PBL은 해부학을 강의할 때 이용되는 두 가지 상이한 방법들이다. 이들 두 방법을 통합함으로써, 학생들이 더 잘 이해할 수 있게 된다.

또 다른 실시형태는 의료 시뮬레이션을 가상 현실, 증강 현실 또는 기타 다른 가상 공간으로 제공하는 방법 및 장치에 관한 것이다.

의료 및 진단 수련은 주로 강의실 내 학습에 이어서 학생이 실제 환자들을 진찰하면서 배우는 일정 기간의 레지던트 과정을 통해 제공된다. 하지만, 의료 처치술 및 진단 프로세스들을 수련시키는 능력이 현재에는 부족하다. 따라서 가상 공간에서의 시뮬레이션을 이용하면, 학생은 환자를 위험에 처하게 하지 않으면서 실무 연습을 행할 수 있게 되고, 교육 강사나 동료가 이를 모니터링하고, 성적을 매기며, 도움을 줄 수 있다. 그룹 시뮬레이션도 실시될 수 있어, 다수의 학생 및/또는 교육 강사가 함께 보면서 수행할 수 있다. 또한 이러한 시뮬레이션들은 현장 실습에 대한 적임성을 판단하기 위해 학생들의 테스트에 이용될 수 있다.

실전에서는 종종 외과 의사들이 가장 최첨단의 방법들을 이용하지 않는 경우가 있다. 외과적 지식은 통상 학교 교육과 레지던트 과정을 통해 전달된다. 특정 의료 처치술의 수행 방법을 배울 때, 외과 의사들은 그들의 교육 강사가 이용하는 방법을 배우게 된다. 결과적으로 교육 강사들은 최신 방법이 아닐 수도 있지만 본인들에게 가장 친숙한 방법을 가르치게 된다. 그러나 증강 또는 가상 현실을 수련 체계(training mechanism)로 이용함으로써, 의료 전문인들은 의료 처치술을 수행하는데 있어서 가장 최근의 기술들에 뒤쳐지지 않게 될 수 있다. 쌍방향 대화방식 시뮬레이션들을 통해, 외과 의사는 특정 의료 처치술을 수행하는데 있어서 가장 최신 방법으로 수련할 수 있다. 소프트웨어를 또한 정기적으로 업데이트하여 수련용으로 가장 최첨단의 방법들이 이용 가능하도록 보장할 수 있게 함으로써, 환자들의 이환율과 사망률을 낮춘다.

또 다른 실시형태는 가상 및/또는 증강 현실과 결합된 인공 지능을 이용한 교육 및 테스트 방법, 그리고 장치에 관한 것이다.

학생에게 시각적으로 교과 내용을 제시하는데 있어서 가상 공간을 이용하는 경우, 상기 교과 내용을 사용자가 배운 적이 있는지 테스트하고, 사용자의 요구와 선호도에 맞게 강의 등급과 스타일을 조절하기 위해 인공 지능 알고리즘을 적용할 수 있다.

또 다른 실시형태는 증강 현실, 가상 현실 또는 기타 다른 가상 공간을 이용한 응급 처치 훈련 방법 및 장치에 관한 것이다.

응급 처치 훈련은 대부분 사람들에게 제공되는 흔한 형태의 의료 훈련이다. 그러나, 통상의 응급 처치 훈련은 응급 처치가 필요할 수 있는 실제 상황을 사용자 또는 사용자들이 경험할 수 없게 되어 있다. 그러나 가상 공간을 이용함으로써, 응급 처치 상황들을 시뮬레이션할 수 있으며, 요구되는 처치를 수행하는데 필요한 단계들에서 사용자(들)에게 가이드서 및 훈련이 주어질 수 있다. 시뮬레이션은 또한 사용자(들)의 수행 능력을 평가하고 이들이 응급 처치 상황 시 조치를 취하는데 있어서 유능하다고 간주해야 할지를 결정하는데 이용될 수 있다.

또 다른 실시형태는 증강 현실, 가상 현실 또는 기타 다른 가상 공간을 이용한 지능지수(IQ) 테스트 방법 및 장치를 포함한다.

IQ 테스트는 지능의 여러 측면이 관여되는 다양한 테스트를 이용하여 실시된다. 이들 테스트는 가상 공간에서 시행 관리될 수 있으며, 그 결과는 자동 평가되거나 어느 정도의 평가자 쌍방향 대화방식을 통해 평가된다. 테스트가 치러지는 동안 보통은 시험관이 해당 대상을 감시하면서 수행 능력을 평가하였다. 흔히 이는 테스트를 치르고 있는 대상에 불안감을 주는 원인으로서, 최적 수행 능력에 못 미치는 결과를 낳을 수 있다. 가상 공간 테스트를 이용하면 시험관이 해당 대상을 모니터링해야 할 필요가 없어진다.

또 다른 실시형태는 인공 지능과 통합된 증강 또는 가상 현실을 이용하여 학생들을 교육하는 방법이다.

또 다른 실시형태는 사용자 또는 사용자들이 가상 환자로부터 어떤 시뮬레이션된 장기를 분리시키는 것을 배우는 게임이다. 만일 사용자가 성공적으로 장기를 분리시키면, 점수를 따게 된다. 그렇지 못하면, 음향 또는 기타 다른 피드백 메커니즘을 받게 된다. 다수의 사용자들이 순서대로 돌아가면서 게임에 임하여 최고 득점을 하면 승자가 된다.

또 다른 실시형태는 해부도 작성, 해부 표지, 수의과용 해부구조, 및 절개 시뮬레이션을 포함하지만 이에 제한되지 않는 구성요소들로 이루어진 증강 또는 가상 현실 해부구조 디스플레이를 제공하는 방법에 관한 것이다.

해부구조 디스플레이는 미리 구성되어 임의로 주석이 달린 모델들을 이용하여 증강 또는 가상 현실에서 시행될 수 있다. 이들 모델은 3차원으로 표시되며, 사용자 또는 사용자들과의 쌍방향 대화방식이 가능하다. 음성, 제스처 및 기타 다른 사용자 제어 방법을 이용함으로써, 사용자 또는 사용자들은 인체의 개별 부분들을 조작할 수 있다. 사용자(들)는 또한 해부구조의 어느 층들과 어느 부분들이 표시되어야 하는지 명시할 수 있다. 정밀 검사를 위해, 그리고 선택되는 특징에 대한 더 세부적인 사항들을 제공하기 위해 개별 부분들, 예를 들면 장기들을 주 모델로부터 따로 분리시킬 수 있다.

도 10은 정밀 검사를 위해 신장이 따로 분리된 증강 현실 해부 모델을 나타낸다. 신장을 변형시켜 그 단면이 표시되도록 하였다.

도면은 인간, 동물 또는 임의의 생명체의 것일 수 있다. 시뮬레이션은 또한 절개 목적으로 마련될 수 있으며, 절개 수행을 시도하도록 학생이 제어기, 제스처, 또는 기타 다른 사용자 인터페이스 수단을 이용하여 쌍방향 대화를 할 수 있게 하며, 사용자가 실수하면 이를 말해주기 위해 피드백이 주어진다.

도 11은 사용자가 가상 카데바를 해부하는 모습을 나타내는 것으로, 표피의 한 부분을 제거하여 그 밑의 조직을 드러내고 있다.

이 덕분에, 예를 들어, 강의실 환경에서, 보건 법규로 인해 관심 밖으로 밀려났던 육안 해부학이 필요 없어진다. 교육 강사 및 학생은 카데바 사용을 둘러싼 비용 및 규제 사안들을 처리해야 하는 대신, 종래의 교과서-기반 학습을 통해 얻는 것보다 현장 실무 방식으로, 가상 인체 내의 해부구조를 탐구할 수 있게 된다. 또 다른 장점은 단계들을 거꾸로 뒤로 가기 하는 능력으로서, 이는 카데바의 경우라면 당연히 불가능할 것이다.

또 다른 예에서, 말(馬)을 진찰하는 동안, 말의 해부구조에 대한 증강 현실 디스플레이가 수의사의 HUD에 표시될 수 있어, 해부학적 데이터에 빠르게 접근하도록 하고, 진찰 및 치료의 효율을 개선시킨다.

육안 해부학은 카데바 또는 기타 다른 해부학 교육 방법론의 이용을 통해 해부학을 공부하는 학문인 한편, PBL은 정답이 정해져 있지 않은 문제들을 통해 학생들이 교과 내용에 대해 배우는 교육학이다. 이들 두 방법을 통합하여, 정답이 정해져 있지 않은 문제들을 해부학적 절개와 결부시킨 학습 패러다임을 구성할 수 있어 보다 철저한 이해를 가르치게 된다.

예를 들어, 교육 강사는 어느 한 사망 환자에 관련된 문제를 제기할 수 있다. 사망 전 수시간 동안, 해당 환자는 질문에 대한 답을 매번 받았음에도 같은 질문을 누차 반복하였다고 한다. 그러면 학생들은 사망의 원인(이 경우 췌장의 인슐린-분비 종양이었음)을 판단하기 위해 절개용 가상 인체를 이용할 수 있다.

또 다른 실시형태는 진단 시뮬레이션, 수술 시뮬레이션, 의료 처치술 시뮬레이션, 환자 영상을 토대로 한 수술들 미리보기, 및 교육과 같은 용도를 위한 그룹 시뮬레이션을 포함하지만 이에 제한되지 않는 구성요소들로 이루어진 증강 또는 가상 현실 의료 시뮬레이션을 제공하는 방법에 관한 것이다.

의료 시뮬레이션은 환자를 위험에 빠트리지 않으면서 의료 전문인을 수련 및 테스트하는데 유용하다. 실제 환자로부터 획득하였거나, 또는 3차원 모델링 프로그램을 이용하거나 기타 다른 컴퓨터-생성 수단을 통해 구성된 데이터를 이용하여, 환자가 가상 공간에 생성된다.

이러한 가상 환자는 소프트웨어에 의해 자동으로 선택된 병태, 혹은 예컨대 교육 강사에 의해 사용자 쌍방향 대화방식으로 선택된 병태를 가질 수 있다. 사용자 또는 사용자들은 상기 가상 환자와 쌍방향 대화방식을 취하여 병태를 진단할 수 있다. 환자에 가상 진단 검사들이 실시될 수 있으며, 이로써 환자가 표시하고 있는 병태에 대한 정확한 결과를 제공한다.

도 12는 발진이 눈에 보이는 가상 환자를 나타낸다. 사용자는 이 환자를 진찰 및 진단하게 된다.

또한 사용자는 수술이나 의료 처치술을 진단-포함 시뮬레이션의 일부로서 또는 별도로 수행할 수 있다. 가상 환자는 실제 환자처럼 반응하며, 임의로 합병증을 자동으로 혹은 쌍방향 대화방식으로 가상 환자에 유발시킬 수 있다.

수술 미리보기 역시 실제 환자로부터의 영상 데이터를 이용하여 수행될 수 있다. 이들 이미지가 시뮬레이션에 의해 이용가능한 모델로 변형되며, 실제 환자의 해부구조를 이용하여 시술이 시뮬레이션된다.

예를 들어, 의사 진찰실에 있는 가상 환자에서부터 시뮬레이션이 시작될 수 있다. 사용자는 가상 환자에 질문을 하고, 진단을 위해 적절한 진단 검사들을 정해야 한다. 이 예에서, 환자는 신장 결석 때문에 하부 요통을 앓고 있는 중이다. 이를 진단하기 위해, 내과 의사는 복부 MRI를 촬영할 것을 지시 내린다. 본 시뮬레이션에서는 테스트 결과들이 바로 제공된다. MRI를 이용하여, 사용자는 신장 결석을 정확하게 진단하며, 환자의 수술 날짜를 잡아 줄 수 있다. 그런 후 본 시뮬레이션은 수술 환경으로 바뀌며, 사용자는 환자를 치료하기 위해 시뮬레이션된 수술을 수행할 수 있다.

또 다른 예로는, 테스트를 치르고 있는 전문 의료인이 술기(skill) 실기 테스트를 치를 수 있다. 예를 들어, 외과 의사는 실기가 아닌 필기 테스트를 치름으로써 자격증을 딴다. 가상 현실에서 의료 처치술을 수행하는 것에 의해 후보자의 능력이 현실적 시나리오로 평가될 수 있다. 상기 의료 처치술은, 후보자의 성적을 매기고 해당 후보자가 테스트 대상 술기들을 행하기 위한 자격이 되는지 판단하는 교육 강사 또는 다른 적임자에 의해 모니터링된다. 대안으로는, 시뮬레이션의 프로그램에 의해 평가되고 나서 후보자 및/또는 교육 강사에 통보되는 다양한 각도의 성패에 대한 기준이 제정될 수 있다.

또 다른 예로는, 환자에 심박 조율기를 설치하려고 준비하고 있는 외과 의사는 환자의 방사선 데이터를 가상 현실에서 검토한다. 환자의 모델이 구성되어 가상 수술대 위에 놓인다. 외과 의사는 실제 수술을 수행하기에 앞서, 현실의 환자의 방사선 데이터를 이용하여, 심박 조율기를 환자 속에 설치하기 위해 가상 수술 도구들을 사용할 수 있다. 이로써 외과 의사는 환자 생리학에서의 모든 이상 상태(abnormalities)에 대해 대처할 수 있게 될 뿐만 아니라 효율적인 의료 처치술을 연습할 수 있게 된다.

또 다른 실시형태는 해부학적 용도, 수술 연습 및 기타 다른 방도를 위해 3D 프린팅된 카데바 모델의 구성 수단이다. 상기 방사선 데이터에서 설명한 방법을 이용하여 구성된 3차원 모델을 이용함으로써 3D 프린팅에 적합한 모델이 구성된다. 이 모델은 해부학 공부, 수술 연습 및 기타 다른 일반적 용도를 위해 카데바 대신 사용하기에 충분히 세부적이면서 정확하다. 또한 수술을 통한 회복 이전의 결손 장기들을 프린팅할 수 있으며, 이들을 기술 연습 및 공부에 이용할 수 있다. 또한 현실 환경과 가상 환경 둘 다에서 육안 해부학과 문제중심학습의 통합이 가능해진다.

동물 및 기타 다른 생명체의 3차원 모델 역시 구성될 수 있어, 수의사 및 다른 교육생들은 흔하지 않았던 혹은 공부하기 어려웠던 종들을 절개하고 이들의 해부구조를 공부할 수 있게 된다. 이 방법의 추가 장점은 대상이 실제로 죽임을 당할 필요가 없다는 것이다. 이는 멸종 위기에 놓인 종들에 특히 유용하며, 이들 종에 대해서는 절개가 가능하지는 않지만 방사선 영상 수집이 가능할 수 있다.

예를 들어, 종양이 있는 환자의 방사선 데이터를 이용하여, 강의실에서 사용할 3차원 카데바 모델을 구성한다. 각각의 카데바를 일련의 증상 및 방사선 보고서들과 연계시킨다. 그러면 학생들은 문제점을 정확하게 파악하고, 종양을 제거해야 할 카데바에 시술을 수행해야 한다.

또 다른 예로, 한 남성이 원인 불명으로 사망하였다. 그의 가족이 부검 실시를 원하지 않지만, 경찰은 남성의 사망에 관하여 의문을 가지고 있다. 이 때 남성의 시체를 MRI로 스캔하여 3차원 카데바 모델을 구성할 수 있는데, 그러면 가족이 원하는 것을 거스르지 않으면서 부검을 할 수 있게 된다.

또 다른 실시형태는 인공 지능과 통합된 가상 또는 증강 현실을 학생들에게 교과 내용을 테스트 및 교육시키는 용도로 이용하는 방법에 관한 것이다.

학생들은 여러 다양한 방식으로 배운다. 인공 지능과 가상 공간을 이용하여, 미리 프로그램된 교과 내용이 학생에게 참여 방식으로 제공될 수 있다. 교과 내용에 대한 학생의 지식을 계속 테스트함으로써, 특정 학생에게 어떤 방법이 가장 효과적인지 정할 수 있으며, 교육이 가속화될 수 있다.

도 13은 학생을 위해 증강 현실로 표시된 객관식 문제를 나타낸다.

미리 프로그램된 교과 내용을 테스트하는데 있어서 가상 공간을 또한 이용할 수 있다. 학생은 질문에 응답하거나, 과제를 수행하거나, 아니면 프로그램에 정의된 대로 가상 공간과 쌍방향 대화하도록 요청된다. 응답의 성패에 근거하여, 성적이 매겨질 수 있고, 개선해야 할 영역들이 파악될 수 있다.

예를 들어, 학습 장애 아동을 가상 또는 증강 현실 학습 환경에 소개한다. 개, 고양이 및 물고기에 대한 정보가 다양한 방식으로 제공된다. 개는 시각적 신호(visual cue)를 이용하여 배우도록 되어 있다. 고양이는 음향 방법을 이용하여 배우도록 되어 있다. 물고기는 터치 및 조작이 가능한 쌍방형 대화방식 디스플레이를 이용하여 배우도록 되어 있다. 그런 후 아동이 교과 내용의 어느 부분을 가장 잘 배웠는지 알아보기 위해 해당 아동을 테스트한다. 정확도를 개선하고 아동이 교과 영역에 대해 예지를 갖는 경우들을 감안하여 위의 프로세스가 많은 주제에 대해 반복되며, 이러한 특정 아동에 맞게 조정된 학습 프로파일이 생성 및 구성된다. 이렇게 조정 구성된 방법론을 이용하여 새로운 교과 내용이 제공되며, 테스트를 통해 학습 모델을 지속적으로 업데이트한다.

또 다른 예에서는, 발음과 읽기를 테스트하도록 설계된 일련의 어휘를 이용하여 난독증을 진단할 수 있다. 각 어휘가 증강 또는 가상 현실로 제공되며, 사용자는 해당 어휘를 큰 소리로 읽도록 요청된다. 해당 어휘가 정확하게 되풀이 되었는지 판단하기 위해 음성 인식이 이용된다. 정확하게 되풀이된 어휘들의 개수를 토대로, 추가 난독증 심사가 필요한지에 대한 평가가 내려질 수 있다. 또한 본 테스트는 상이한 장치를 소지한 다른 사용자에 의해 원격으로 모니터링될 수 있다. 이는, 테스트 도중, 테스트에 임하고 있는 대상이 자신이 모니터링되고 있다는 것에 대해 불안해하지 않게 되는 테스트법을 가능하게 하여, 이들 해당 대상이 테스트를 더 잘 치르도록 돕는다.

또 다른 예로, 21개의 질문으로 구성된 테스트가 학생에 주어진다. 그 중 7개의 질문이 청각적으로 학생에 주어진다. 7개의 질문은 시각적으로 학생에 주어진다. 7개의 질문은 학생에게 가상 객체들과 쌍방향 대화할 것을 요구한다. 테스트 결과는 전체 성적과, 각 개별적 학습 유형에 따른 성적 둘 다에 대해 분석된다. 학생을 위한 프로파일이 생성되어, 어느 특정 스타일로 제시된 질문들에서 해당 학생이 더 높은 점수를 받았는지 판단한다. 선호하는 스타일이 정해지면, 교과 내용은 이러한 선호된 포맷으로 더 자주 제공되어 학생의 학습에 도움이 되도록 할 것이다.

또 다른 예로, 학습 장애 아동을 가상 또는 증강 현실 학습 환경에 소개한다. 개, 고양이 및 물고기에 대한 정보가 다양한 방식으로 제공된다. 개는 시각적 신호(visual cue)를 이용하여 배우도록 되어 있다. 고양이는 음향 방법을 이용하여 배우도록 되어 있다. 물고기는 터치 및 조작이 가능한 쌍방형 대화방식 디스플레이를 이용하여 배우도록 되어 있다. 그런 후 아동이 교과 내용의 어느 부분을 가장 잘 배웠는지 알아보기 위해 해당 아동을 테스트한다. 정확도를 개선하고 아동이 교과 영역에 대해 예지를 갖는 경우들을 감안하여 위의 프로세스가 많은 주제에 대해 반복되며, 이러한 특정 아동에 맞게 조정된 학습 프로파일이 생성 및 구성된다. 이렇게 조정 구성된 방법론을 이용하여 새로운 교과 내용이 제공되며, 테스트를 통해 학습 모델을 지속적으로 업데이트한다.

또 다른 실시형태는 증강 또는 가상 현실 장치를 이용하여 청각 테스트를 수행하는 수단이다. 이 테스트를 수행하기 위해 먼저 사용자에게 언제 소리를 듣는지 표시(indicate)하도록 지시한다. 그런 후에는 인간의 정상 청력 범위에 훨씬 못 미치는 주파수의 소리부터 시작하여, 소리를 들을 수 있다고 사용자가 표시할 때까지 소리를 점점 더 크게 재생한다. 일단 소리가 들렸다면, 소리의 크기 증가량을 감소시키고 주파수를 낮추어 가되, 사용자가 들린다고 표시하지 않는 소리까지 재생한다. 사용자가 듣는 최저 주파수를 알아낼 때까지 이를 반복한다. 그런 후에는 인간의 정상 청력 범위를 훨씬 웃도는 주파수에서 시작하여, 사용자를 고주파 영역에서 테스트한다. 사용자가 소리를 들을 수 있다고 표시할 때까지 주파수를 점점 낮추어 간다. 그리고 나서 사용자가 더 이상 소리를 들을 수 없을 때까지 크기 증가량을 낮추고 주파수를 높인다. 사용자가 듣는 최고 주파수를 알아낼 때까지 이를 반복한다.

예를 들어, 청각 장애가 있는 것으로 생각되는 아동을 가상 환경에 노출시키고 바이탈 모니터링에 연결한다. 이 아동을 다양한 소리에 노출시키고, 바이탈 사인들을 모니터링한다. 소리에 대한 이 아동의 반응은 아이가 소리를 들을 수 있음을 나타내며, 비언어적 자폐증과 같은 병태를 진단 내리는데 도움이 되도록 사용될 수 있다.

또 다른 예로, 한 고령 여성의 귀가 어쩌면 어두워진 것으로 생각된다. 이 여성에게 테스트를 해 보도록 하여, 가청 영역을 검증할 수 있으며, 해당 여성에게 보청기가 필요한지 판단할 수 있다.

또 다른 실시형태는 사용자 또는 사용자들의 응급 처치 훈련을 위한 증강 또는 가상 현실 시뮬레이션 방법에 관한 것이다.

응급 처치 훈련은 미리 프로그램된 시뮬레이션을 이용하여 가상 공간에서 실시될 수 있다. 시뮬레이션을 시행시키고 있는 컴퓨터에 의해 제공되거나 현장에 같이 있는 교육 강사가 해 주는 지시사항들을 따르면서, 사용자는 가상 공간 내 3차원 모델들과 쌍방향 대화한다. 교육 강사 및 다른 사용자들은 훈련 중인 사용자로서 가상 공간을 동시에 임의로 볼 수 있다. 피드백이 시뮬레이션에 의해 제공된다. 시뮬레이션은 또한 사용자들을 테스트하여 성적을 매기는데 이용될 수 있다.

도 14는 환자에게 압박대를 묶고 있는 증강 현실 시범을 나타낸다. 이 시범은 가상 교육 강사에 의해 주어지며, 이어서 사용자는 그 과정을 반복하도록 요청된다.

예를 들어, 한 학생 그룹이 응급 처치 상황에서 압박대 대기를 배우고 있다. 가상 교육 강사가 갖추어진 가상 현실 프로그램은 이 그룹에게 어떻게 압박대를 묶어야 하는지 시범을 보인다. 시범이 끝나면, 각 학생은 자신의 가상 환자에 압박대 매기를 시도할 수 있다. 학생이 어려워하고 있다면, 프로그램에 지원을 요구할 수 있다. 학생들이 압박대 매기를 완료하였을 때, 상기 프로그램은 이들의 실력 수준을 평가하고, 이들의 응급 처치 과정에 대한 성적을 매긴다.

또 다른 실시형태는 증강 또는 가상 현실을 이용하여 지능 지수를 테스트하는 방법에 관한 것이다.

IQ 테스트는 종종 시험관의 감독 하에 실시되는데, 이는 일부 대상들을 긴장하게 만들고 이들의 수행 능력에 영향을 미칠 수 있다. 이 테스트를 가상 공간에서 시행 관리함으로써, 사용자는 주시되던 때의 집중력 방해 요인 없이 테스트를 치를 수 있게 된다. 테스트 시행 관리자는 사용자에게는 보이지 않는 가상 공간에서 그 과정을 임의적으로 지켜볼 수 있다.

본 테스트는 필기/실기 테스트에 쓰이는 것과 동일한 질문들을 이용하여 시행 관리되지만, 모든 내용이 가상 공간에서 질의 응답된다. 이는 또한 공간 추론과 같은 영역에 대한 더 수준 높은 테스트에도 허용된다.

도 15는 증강 현실에서 IQ 테스트용으로 제시된 한 질문을 나타낸다.

예를 들어, 공간 추론 테스트는 어느 시리즈의 형상이 3차원 구멍을 정확하게 맞추어 메울 것인지에 대한 질문을 포함할 수 있다. 증강 현실에서, 사용자는 이들 형상의 배향 및 크기를 조작하면서 3차원으로 형상들을 검사할 수 있다. 이로써 사용자는 문제에 대한 답을 선택하기 전에 가능성 있는 답들을 더 잘 분석할 수 있게 된다.

또 다른 실시형태는 인공 지능과 통합된 증강 또는 가상 현실을 이용하여 학생들을 가르치는 방법에 관한 것이다.

증강 또는 가상 현실과 인공 지능을 통합함으로써, 교과 내용을 가르치기 위한 개선된 학습 시스템이 구성될 수 있다. 사람들마다 세 가지 주요 방법, 즉 청각, 촉각 및 시각을 이용하여 각기 다른 방식으로 배운다. 가르쳐야 할 정보의 데이터 뱅크와 인공 지능을 이용함으로써, 학생의 최적 학습 스타일을 측정하고 이를 활용하여 교과 내용을 더 잘 이해하도록 보장할 수 있다.

주기적으로 학생을 평가하여, 해당 학생이 내용을 완벽하게 배우지 못한 영역들을 판단할 수 있으며, 이들 영역에 대해 추가적인 가르침 및 집중 관심이 주어질 수 있다. 위에 언급한 방법들을 서로 다른 균형 수준으로 이용하는 교육 통합법을 이용하여 전체적으로 또는 각기 영역에서의 학생의 최선 학습 스타일을 정립할 수 있으며, 이러한 교육 방법들을 학생에 맞게 조정함으로써 학습 및 유지가 개선된다.

예를 들어, 서면으로 작성된 지시사항들을 보면서 매우 잘 배우는 학생이 과학 실험을 수행하는 방법에 대해 배우고 있다. 서로 다른 교육 방법들(즉, 청각, 촉각 및 시각)을 이용하여 학생에게 실험 방법의 다양한 부분들을 알려준다. 프로그램에 의해 주목된 바에 의하면, 학생은 지시사항들이 시각적으로 제공될 때 가장 잘 따라 할 수 있었으며, 이에 따라 더 많은 부분의 지시사항들이 시각적 방식으로 제공되기 시작한다.

III. 생리학적/해부학적 매핑 , 모델링 및 위치 마킹

또 다른 실시형태는 인체를 스캔, 매핑 및 분석하는 방법과 장치에 관한 것이다.

카메라나 기타 다른 영상 기록 장치를 사용하여, 대상을 스캔하고 2차원 또는 3차원 모델에 매핑할 수 있다. 이 모델은 관심이 있는 혹은 우려되는 부위들을 식별하기 위해 의료 전문인이 사용할 수 있다. 또한 이 모델은 방문 사이에 부위들을 모니터링하기 위해 사용되기도 한다. 또한 이 모델은 병태들, 이를테면 흑색종, 발진, 건선 및 기타 다른 가시적 병태가 있는지를 판단하기 위해 자동으로 또는 사용자 쌍방향 대화방식으로 분석될 수도 있다.

2차원적 매핑의 경우, 카메라는 대상을 향하도록 배치된다. 그런 후에는 대상이 360도 회전하며, 대상이 회전할 때 이미지들이 기록된다. 이렇게 기록된 이미지들을 한 프레임으로부터의 동일한 데이터를 다음 프레임과 비교하는 식으로 우선 처리하여 배경을 제거한다. 동일한 데이터는 폐기되고, 대상만 남게 된다. 특징 검출을 이용하여, 이미지들이 함께 정합되어 대상의 2차원 모델을 형성한다.

마찬가지로 3차원적 매핑의 경우, 카메라는 대상을 향하도록 배치된다. 그런 후에는 대상이 360도 회전하며, 대상이 회전할 때 이미지들이 기록된다. 이렇게 기록된 이미지들을 한 프레임으로부터의 동일한 데이터를 다음 프레임과 비교하는 식으로 우선 처리하여 배경을 제거한다. 동일한 데이터는 폐기되고, 대상만 남게 된다. 2차원 모델이 위에 설명한 바와 같이 구성된다. 그러면 데이터로부터 점군이 구성되어, 대상의 3차원 모델을 구성한다. 점군이 2차원 모델("피부")과 오버레이되며, 이로써 대상의 3차원 모델을 제공한다.

일단 모델이 생성된 후에는, 공지된 병태들에 대해 상기 2차원 모델("피부")의 분석이 수행된다. 사용자 또는 사용자들이 관심 영역들을 검토 목적으로 마크한다. 나중에 방문할 때 비교하기 위해 데이터도 또한 저장된다.

또 다른 실시형태는 호흡 또는 심장 박동과 같은 율동적 움직임 내 동일한 시점에서 이미지들이 촬영되도록 보장하기 위해 대상의 신체 위치를 토대로 자기공명영상법의 펄스 시퀀스의 타이밍을 정하는 방법 및 장치에 관한 것이다.

기존의 MRI 기계를 이용한 자기공명영상법(MRI)은 환자의 움직임과 관련하여 영상 문제들을 안고 있다. MRI 검사 도중에 환자가 움직일 때 보이는 두 가지 흔한 문제점은 흐린 이미지와 이미지 허상이다. 환자 신체의 위치를 모니터링하여, 환자가 올바른 위치에 있을 때에만 이미지가 찍히도록 영상 시퀀스의 시간에 제한을 둘 수 있다.

예를 들어, 센서나 카메라를 이용하여 환자 흉부의 높이를 모니터링할 수 있으며, 이로써 흉부가 맨 마지막 이미지와 같은 높이에 있을 때에만 이미지가 찍히도록 영상 시퀀스를 유발시킨다. 이 기술을 이용하여, 흉부가 같은 위치에 있을 때 환자 흉부의 모든 이미지가 찍히게 된다.

또 다른 실시형태는 가돌리늄 마커를 이용하여 증강 현실에서의 배치 위치를 개선하는 방법에 관한 것이다.

또 다른 실시형태는 가상 현실, 증강 현실 또는 기타 다른 가상 공간에서의 3차원 객체 시각화를 제어하는 방법 및 장치에 관한 것이다.

컴퓨터에 저장되는 3차원 객체는 많은 데이터 점(data point)들로 구성된다. 시각화 변경을 통해, 객체의 시각적 표현을 변화시킬 수 있으며, 이로써 사용자 또는 사용자들은 시각화된 객체를 다양한 방식으로 볼 수 있게 된다.

예를 들어, MRI 데이터로부터 구성된 3차원 모델은 모델 외부 층들에 의해 커버된 상당량의 정보를 포함한다. 시각화 변경 및 데이터의 외부 층 제거를 통해, 모델의 내부 부분들(이를테면, 뇌)이 보이도록 할 수 있다.

또 다른 실시형태는 의료 영상 데이터를 증강 현실, 가상 현실 또는 기타 다른 가상 공간에 시각화하는 방법 및 장치에 관한 것이다.

의료 영상 데이터는 3차원 가상 공간에 표시하기에 적합한 포맷으로 변환될 수 있다. 그러면 이러한 데이터는 가상 현실, 증강 현실 또는 다른 가상 공간을 통해 표시될 수 있다.

증강 현실에서의 배치 위치는 주로 시각적 수단, 특징 검출, 및 본원에 기재된 기타 다른 방법들을 통해 결정된다.

또 다른 실시형태는 3차원 모델을 구성하는 방법 및 장치에 관한 것으로, 이미지 이격 거리를 결정하는 단계와, 누락된 이미지들(missing images)을 식별하는 단계와, 소스 이미지를 정렬하고 누락된 이미지의 데이터를 구성하는 단계와, 상기 이미지들을 합쳐서 3차원 모델을 형성하는 단계를 포함한다.

또 다른 실시형태는 인체를 스캔하는 단계와, 표면 데이터를 저장하는 단계와, 중요한 특징들, 이를테면 흑색종, 사마귀, 발진, 기타 다른 피부 병태 및 두드러진 특징들을 (자동으로 또는 인간의 쌍방향 대화방식을 통해) 마크하는 단계로 이루어진, 인체의 매핑 및 분석 방법을 포함한다.

대상 또는 대상 영역을 카메라 또는 기타 다른 영상 장치를 이용하여 스캔할 수 있다. 그런 후에는 표면 데이터를 현재와 후일의 용도를 위해 저장 및 분석할 수 있다. 표면의 특성들을 분석함으로써, 공통 병태들을 진단할 수 있으며, 여러 치료법의 효능을 판단할 수 있다. 환부의 크기, 색상 및 기타 다른 측정 지표를 측정하고 비교할 수 있어, 이전 방문들과 현재 방문들 간의 직접 비교가 가능해진다. 또한 이러한 비교를 통해, 제공되고 있는 치료법의 효능에 대해 명확하게 이해하게 된다. 이들 비교결과를, 비제한적으로, 의료 전문인뿐만 아니라, 예를 들면, 주어진 치료법에 대해 기꺼이 환자에 계속 지급해 줄지 판단하기 위해 보험 회사가 이용할 수 있다.

예를 들어, 자동으로 또는 사용자 쌍방향 대화방식을 통해 내려진 진단들의 시각적 오버레이와 함께, 증강 현실 안경으로 본 환자의 영상 기록물을 저장한다. 이 기록물은 환자 파일을 위한, 그리고 환자와의 약속 전에 검토하기 위한 영상 보고서로서 이용될 수 있다. 또한 기록물은 전문의한테 보내지는 소개서(모든 AR/VR 콘텐츠 포함)의 일부로 이용될 수 있다. 또한 기록물은 전문의한테 보내지는 소개서의 일부로 이용될 수 있다. 병원 시설에서는, 이러한 영상 기록물을 이용함으로써, 서로 다른 치료 단계에 있는 환자들을 재진료할 필요성이 없어진다. 이에 따라 최초(original) 검진의 기록물을 볼 수 있게 된다.

또 다른 예로, 아토피성 피부염(eczema)을 앓는 환자가 초기 진찰에서 스캔될 수 있다. 피부과 전문의가 처방전을 사용하여 아토피성 피부염을 치료할 때, 치료 효능을 검증하기 위해 스캔(점영상)을 매 방문시 비교할 수 있다. 소프트웨어는 환부의 크기 및 형상의 변화 여부를 자동으로 판단할 수 있다.

또 다른 실시형태는, 보다 안정적인 이미지를 제공하도록 호흡 과정 동안 같은 시점에서 이미지들이 찍히는 것을 보장하기 위해, 예를 들면 흉부의 높이를 이용하여, 환자의 신체 위치를 토대로 영상 시퀀스의 타이밍을 정하는 방법에 관한 것이다.

기존의 영상 시퀀스에서는 환자의 움직임이 영상 시퀀스 실패, 허상, 흐린 이미지, 및/또는 기타 원치 않는 이상(anomalies)을 야기할 수 있었다. 센서, 예컨대, 카메라, 고도계, 또는 기타 다른 위치 센서를 이용함으로써, 환자가 올바른 위치에 있을 때에만 이미지들이 찍히도록 영상 시퀀스의 시간에 제한을 둘 수 있다.

예를 들어, 환자의 흉부를 MR 스캔할 때, MR 플랫폼으로부터의 환자 흉부의 높이를 모니터링하는데 있어서 카메라가 이용될 수 있다. 환자의 흉부가 특정 높이에 있을 때, 영상 시퀀스가 작동된다. 환자의 흉부가 더 이상 올바른 높이에 있지 않으면, 시퀀스를 중단시키고, 흉부 위치가 올바른 다음 번을 기다린다.

도 16은 MRI 기계 안의 환자를 나타낸다. 이미지들을 찍는 카메라 또는 기타 다른 영상 장치에 의해 추적되는 라인인 영상 라인이 이미지에 보인다. 환자의 흉부가 이 라인과 같은 높이에 없으면, 이미지가 찍히지 않는다.

또 다른 실시형태는 가상 현실, 증강 현실 또는 기타 다른 가상 공간에 표시된 3차원 객체의 시각화를 제어하는 방법을 포함하며, 상기 방법은 시각화에 요구되는 변경 사항을 결정하는 단계와, 3차원 객체를 업데이트하는 단계로 이루어진다. 가상 현실, 증강 현실 또는 기타 다른 가상 공간에 표시된 3차원 객체의 시각화를 제어하는 장치는 시각화에 요구되는 변경 사항을 결정하는 수단과, 3차원 객체를 업데이트하는 수단을 포함한다. 이 프로세스는 시스템에 의해 자동으로 수행될 수 있거나, 또는 운영자에 의해 쌍방향 대화방식으로 가이드될 수 있다. 적용 분야들로는 가상 현실, 증강 현실 및 3D 프린팅을 포함하지만 이에 제한되지 않는다.

가상 공간에서의 시각화는 본 발명 하에 여러 가지 다양한 방식으로 제어될 수 있다. 본 발명의 일 실시형태에 의하면, 초기에 보이지 않는 모델 부분들을 표시하기 위해 자동으로 또는 사용자 쌍방향 대화방식을 통해 모델 디스플레이 깊이가 제어된다. 모델은 (모든 정보를 포함하여) 꽉 찬 상태일 수 있거나 제한 깊이까지 경계 정보로만 구성된 "중공형" 모델일 수 있다. 이 경계 정보는 여백 검사를 이용하여 산출될 수 있다. 사용자가 더 깊이 보기를 원하는 모델 부분을 가리키면, 모델의 외부측 섹션들이 감추어지고, 그 아래의 데이터가 표시된다.

여백 검사는 모델의 직교 공간(Cartesian space)의 가장자리에 있는 빈(empty) 출발점(흔히 (0, 0, 0)[x, y, z 좌표]에 있음)을 선택함으로써 행해진다. 좌표가 예를 들어 최소 색상 임계값과 같은 검색 매개변수를 충족시키지 않는다면 각각의 이웃 좌표가 검사 리스트에 추가된다. 검색 매개변수를 충족시키는 점을 만나면, 객체의 경계 배열(perimeter array)에 추가되며, 한 좌표보다 큰 깊이들의 경우에는 각도에 대한 깊이 카운터가 감소된다. 검색 매개변수를 충족시키는 좌표들은 검색 리스트에 추가되지 않는다.

도 17은 2차원 여백 검사의 예를 나타낸다. 좌측 상부 모서리에 있는 점(0,0)부터 검사하기 시작하였다. 점들을 검색 영역(범례 참조)에 추가하였고, 이웃점들은 0이 아닌(백색) 값들로 테스트하였다. 원(이미지, 범례 참조)의 좌측 상부 경계를 따라 0이 아닌 점들이 발견되었다(경계, 범례 참조). 이 점들은 0이 아닌 검색 매개변수를 충족시키므로 경계 배열에 추가된다. 따라서, 이 도면에 도시된 시점에서는 다음과 같은 점들이 경계 배열에 포함된다: (8, 3), (8, 4), (7, 4), (6, 4), (6, 5), (6, 6), (5, 6), 및 (5, 7).

중공형 모델을 업데이트하는 경우에는, 새로운 깊이 위치에 표시될 데이터를 결정하기 위해 완성 모델로부터의 데이터가 이용된다. 예를 들어, x-평면을 따라 초기 깊이가 0이고, 사용자가 깊이를 10으로 업데이트하였다면, x-값이 10보다 작은 기존 모델 내 모든 좌표가 모델로부터 폐기된다. 그런 후 완성 모델로부터의 데이터가 모델의 x = 10 평면을 따라 추가된다. 아울러, 주어진 깊이까지의 데이터가 추가될 수 있다. 예를 들어, 모델을 위해 이용된 깊이가 3이라면, 10 ≤ x ≤13 범위 내의 데이터가 가시적 모델에 추가될 것이다.

또 다른 실시형태는 의료 영상 데이터를 증강 현실, 가상 현실, 또는 기타 다른 가상 환경으로 시각화하는 방법을 포함하며, 상기 방법은 대상의 위치를 파악하는 단계와, 대상의 위치를 결정하는 단계와, 대상의 배향을 결정하는 단계와, 의료 영상 데이터를 렌더링하는 단계로 이루어진다. 의료 영상 데이터를 증강 현실, 가상 현실, 또는 기타 다른 가상 환경으로 시각화하는 장치는 대상의 위치를 파악하는 수단과, 대상의 위치를 결정하는 수단과, 대상의 배향을 결정하는 수단과, 의료 영상 데이터를 렌더링하는 수단을 포함한다. 이 프로세스는 시스템에 의해 자동으로 수행될 수 있거나, 또는 운영자에 의해 쌍방향 대화방식으로 가이드될 수 있다. 적용 분야들로는 시술 용도를 위한 시각화, 의료 검사 용도를 위한 시각화, 외과적 수련 용도를 위한 시각화, 의료 수련 용도를 위한 시각화, 물리치료 용도를 위한 시각화, 레이저 수술 용도를 위한 시각화, 및 이학적 진단(physical diagnostics) 용도를 위한 시각화를 포함하지만 이에 제한되지 않는다.

대상의 위치 파악은 여러 가지 다양한 방식으로 행해질 수 있다. 본 발명의 일 실시형태에서는, 대상 부위의 특징들을 타겟 내에서 검출된 특징들과 비교한다. 매칭되는 특징들의 개수가 자동으로 결정된 또는 사용자나 프로그램 사양을 통해 결정된 임계값보다 크면, 타겟이 대상에 대한 매치(match)로 간주되며, 매칭 위치가 발견된다. 다른 실시형태에서는, 타겟의 경계 형상을 이미지 내 검출된 가장자리들과 비교할 수 있다. 만일 매칭 경계 점들의 개수가 자동으로 결정된 또는 사용자나 프로그램에 의해 명시된 임계값을 초과하면, 타겟이 대상에 대한 매치로 간주되며, 매칭 위치가 발견된다. 이 프로세스는, 예를 들어, 타겟의 다양한 각도 및 스케일에 대해 미리 컴파일된, 특징 또는 경계 데이터 세트를 이용하여 3차원으로 적용될 수 있다. 그 밖에도, 특징 또는 경계를 비교하는 동안, 타겟의 회전 및 스케일이 실시간으로 결정될 수 있다.

도 18은 이미지 내 위치하며 매칭된 타겟 객체(좌측 하부 모서리, 백색 배경)을 나타낸다. 타겟 객체 상의 백색 X 마크들은 특징들을 가리킨다. 이 특징들을 대상 이미지 내 특징들에 매칭시켜 적극적으로 식별한다. 타겟 객체의 경계 값들도 대상 이미지와 비교하여, 매치를 발견 및/또는 지지한다. 매칭 영역은 그를 둘러싸고 있는 검정색 사각형으로 나타내었다.

타겟 검출을 더 빠른 프로세스로 만들기 위해 대상 내부의 검색 영역이 더 감소될 수 있다. 본 발명의 일 실시형태는 이미지 내 변경된 점들(대상 내부에서의 객체 이동을 가리킴)을 결정하기 위해 XOR(배타적 OR) 방법을 이용한다. 이러한 이동 점들은 대상 내 타겟들의 검색을 가이드하는 데에 이용되며, 이로써 검사할 필요가 있는 데이터 점들의 개수가 줄어든다. 임의로, 이들 점은 특징 및/또는 경계 데이터 대신으로 이용될 수 있다.

XOR 기반의 이미지를 결정하기 위해, 프레임 간의 오프셋이 요구된다. 프레임 간의 오프셋을 정하기 위해, 현재 대상의 이미지가 이전에 보여진 대상 이미지와 비교된다. 여러 개의 점들(n)이 자동으로, 사용자에 의해, 또는 프로그램의 일부로 선택된다. 이들 점은 뷰 프레임 내의 고정 위치들이다. 이전 이미지 내의 데이터를 현재 이미지 내의 데이터와 비교하여, 오프셋을 정할 수 있다. 한 점이 출발점으로 선택된다. 자동으로 결정되었든, 또는 사용자가 선택하였든, 한 영역에서 이전 이미지의 값에 대한 매치를 검색한다. 비교될 값은 예를 들어 단일점 값일 수 있다. 이 값은 또한 가우스 분포 또는 기타 다른 산출 방식의 합산일 수 있다. 주어진 범위 내에서 만일 현재 이미지 내 값이 이전 이미지의 값에 매칭되는 것으로 밝혀지면, 해당 오프셋을 기록한다. 상기 범위 내의 다른 가능한 오프셋들 역시 기록한다. 만일 가능한 오프셋이 전혀 발견되지 않으면, 매치가 발견될 때까지 또는 오프셋에 대한 후속 매치(아래 참조)가 더 이상 가능하지 않을 때까지 또 다른 점이 선택된다.

도 19는 프레임 오프셋 산출을 위한 흐름도를 나타낸다. 본 흐름은 좌측 상부 모서리의 '시작'이라 쓰여진 부분에서 시작된다. 만일 이것이 시퀀스의 첫 번째 프레임(예컨대, 카메라가 촬영한 첫 번째 이미지)이라면, 간단히 현재 프레임을 저장하고 시퀀스를 완료하면 된다. 만일 이것이 임의의 후속 프레임이라면, 이전 프레임을 저장하고 현재 프레임을 추가한다. 다음으로, 여러 개의 기준점들(N)을 기정된 좌표계에서 혹은 다른 선택 수단에 의해 선택한다. 이들 기준 좌표계를 이용하여 이전 프레임으로부터 값들을 검색(retrieve)한다. 이 값들은 나중에 이용할 수 있도록 저장된다. 그런 후, 현재 프레임 내 기준 좌표계에서의 값들을 이전 프레임으로부터 취한 값들과 비교한다. 충분히 많은 개수의 값들이 매칭되지 않으면, 좌표계 변환이 일어나게 된다. 먼저, 변환 값들을 테스트하여, 이들이 임계값을 초과하지 않았음을 보장한다. 만일 초과하였다면, 해당 시퀀스가 포기되고, 매치가 발견되지 않는다. 만일 초과하지 않았다면, 병진 및/또는 회전 값들을 논리적 방식으로 조절하여 임계값 범위들 내의 값들을 테스트한다. 이러한 비교 및 조절 주기는 변환 임계값이 초과되고 매치 없이 시퀀스가 종료될 때까지, 또는 충분히 많은 개수의 값들이 매칭되고 병진 및 회전 값들이 기록될 때까지 지속된다. 기록된 병진 및 회전 값들을 이용하여, 이전 프레임과 현재 프레임을 XOR 연산을 적용하여 통합함으로써, 동일한 크기의 새 프레임이 원조 프레임들로서 제공된다. 주어진 임계값을 초과하는 XOR 프레임 내 좌표계를 찾음으로써, 이미지의 객체들과 다른 이동 구성요소들의 위치들이 가시화된다.

가능한 점들의 리스트가 완성된 후에는, 남아있는 n개의 점들 각각을 동일한 오프셋으로 비교한다. 또한 이들 점을 이미지의 중심을 기준으로 회전시키고 테스트한다. 만일 이들 점의 충분한 개수가 명시된 오프셋 및 회전에서 매칭되면, 매치가 발견된 것으로 판단한다. 이 시점에서, 타겟 이미지 내 픽셀 값들 모두는 결정된 오프셋 및 회전에 의해 변형된 대상 이미지를 이용하여 XOR된다. (사용자가 결정하였거나, 자동으로 결정되었거나, 또는 기정된) 임계값을 초과하지 않는 점들은 제거된다. 이러한 합성 이미지는 대상 영역 내에서의 객체들의 위치 및 이동을 강조 표시한다(highlight).

만일 원 위에 일정 간격을 두고 위치된 순차적 점들 중 충분히 많은 개수의 점들이 최소 임계값 기준을 충족시키면 하나의 특징이 존재하는 것으로 판단된다. 예를 들어, 만일 순차적 점들의 최저 개수가 16인 것으로 판단되고, 매치 요구 조건이 10보다 큰 값이라면, (가변적 또는 일정한 간격에 근거하여 산출된) 원 위에 연이어 위치된 최소 16개의 점들은 10보다 큰 값을 가져야 한다. 만일 이 조건이 충족되면, 테스트의 중심점이 특징에 해당되는 것으로 간주된다.

도 20은 두 개의 상이한 점들에 2차원적으로 수행된 특징 테스트들을 나타낸다. 최소 개수 12개의 순차적 점들을 이용하면, 좌측의 점(좌측 원의 중심)은 패스하지 못한다. 백색이 아닌 점을 비롯하여 12개보다 적은 점들이 원 위에 순차적으로 위치되어 있다. 우측의 점(우측 원의 중심)은 패스한다. 상기 점을 둘러싸고 있는 원 위에 13개의 점들이 순차적으로 위치되어 있다.

특징 매칭은 평면 또는 구면을 이용하여 3차원적으로 행해질 수 있다. 평면의 경우, 위에 주목한 것과 같은 원이 3개의 다른 평면, 즉 XY 평면, XZ 평면 및 YZ 평면 상에서 산출된다. 만일 특징이 모든 평면에 대한 기준을 충족시키면, 매치가 존재하는 것으로 간주된다.

도 21은 특징 테스트의 3차원 모델을 나타낸다. 원의 바깥쪽 주위의 고리들로 도시된 평면 원들은 특징의 유효성 여부를 판단하기 위해 각 축 상에 이용되는 원을 나타낸다. XY, XZ 및 YZ 등의 각 평면에 테스트를 시행하고, 만일 특징 테스트가 세 평면 모두에서 성공적이면, 중심에 있는 특징(도면의 원점에 있는 검은 점(black dot))이 유효한 것으로 간주된다.

타겟의 위치는 바로 보기용 2D 좌표 데이터로서, 그리고 이동 참고용 3D 좌표 데이터로서 저장된다. 이렇게 매칭된 타겟 회전 및 스케일을 이용하면, 대상의 뷰 내에 매칭된 영역 위로 타겟이 정확하게 렌더링될 수 있다. 이 위치가 3차원으로 저장됨에 따라, 객체를 후속 프레임들에서 신속하게 테스트하여, 사용자 및 타겟이 움직일 때의 객체의 위치를 확인할 수 있게 된다.

가돌리늄은 MR 영상의 명암을 개선하는데 흔히 사용되는 물질이다. 가돌리늄을 운반물질(carrier)과 혼합시켜, MR 스캔 이전에 표면을 피복할 수 있다. 이로써 가상 공간용 타겟 검출에 사용하기에 적합한, 피복 표면의 고 명암비 이미지가 제공된다.

예를 들어, 뇌 속의 병변들을 찾기 위해 환자를 MR 스캔한다. 가돌리늄이 주입된 운반물질을 MR 스캔 이전에 환자의 안면 전체에 펴 바르면, 환자 안면에 강한 명암비가 형성된다. 환자 안면으로부터의 이러한 개선된 명암비를 이용하여 환자의 디지털 이미지를 생성함에 따라, 환자를 식별하는데 있어서, 그리고 후일 수술 도중에 MR 스캔의 3차원 모델을 환자의 머리 위로 위치시키는데 있어서 안면 인식이 이용될 수 있다.

또 다른 예로, 가돌리늄이 주입된 운반물질은 대상 위에 그려지는 마커로서 이용될 수 있는데, 이러한 마커는 최종 MR 이미지에서도 가시적이며, 보정 목적으로 이용될 수 있다.

또 다른 실시형태는 3차원 모델을 구성하는 방법으로서, 이미지 이격 거리를 결정하는 단계와, 누락된 이미지들을 식별하는 단계와, 소스 이미지를 정렬하고 누락된 이미지의 데이터를 구성하는 단계와, 상기 이미지들을 합쳐서 3차원 모델을 형성하는 단계를 포함한다.

DICOM 포맷으로 제공되는 이미지들은 슬라이스 사이의 이격 거리를 표시하는 데이터를 포함한다. 이 데이터는 필요한 슬라이스 개수를 결정하는데 이용된다. 이 데이터가 없을 때에는, 이미지의 폭 치수와 높이 치수 중 더 작은 것을 이용하여 깊이를 정함으로써 직사각형 모델을 구성한다. 또한 이 값은 무효화되거나, 또는 모델을 정확한 깊이에 조절하기 위해 사용자 입력을 통해 설정될 수도 있다.

다음으로, 누락된 이미지들을 식별한다. 자동 식별은 이미지 파일들의 번호 부여, 이미지 파일들의 콘텐츠 및 이미지 파일들의 유효성을 포함한 여러 인자를 봄으로써 행해진다. 한 시퀀스 내의 이미지 파일들은 종종 순차적으로 번호가 부여된다. 번호들 시퀀스를 분석하고, 시퀀스 내 모든 누락된 번호들은 누락된 이미지들인 것으로 플래그 지정된다. 이미지들의 콘텐츠를 분석하고, 상당한 데이터가 누락되어 있는 이미지들(예컨대, 거의 또는 전체가 비어있는 이미지)은 누락된 이미지들인 것으로 플래그 지정된다. 무효 이미지 파일은 이용되는 타입의 유효 이미지로서 열리지 않는 파일이다. 3차원 이미지의 자동 생성 기능은 플래그 지정된 이미지를 누락된 것으로 처리한다. 대안으로, 또는 통합하여, 사용자는 누락된 이미지들은 물론, 플래그 추가 이미지들을 누락된 것으로서, 검토 및 변경시킬 수 있다.

그런 후 이미지들은 요구되는 대로 프레임들 사이에 정렬된다. 경계의 점들이 양 이웃 이미지들로부터 정렬되지 않은 상태로 어긋나게 놓여 있으면 해당 이미지는 정렬되지 않은 것으로 판단된다. 따라서, 3개의 순차적 이미지들이, 형상 변경 및 스케일에 따라 조절된, 이미지의 동일 영역을 점유하는 경계들을 가지고 있다면, 상기 이미지들은 정렬되었다고 판단된다. 만일 중심에 있는 이미지가 이웃 이미지들로부터 정렬되지 않은 상태로 어긋나게 놓여 있으면, 이미지들 간의 특징을 비교하고 이들을 정렬시켜 해당 이미지가 일렬로 나란해지도록 조절한다. 이러한 정렬 단계에서는 단지 경계만이 아닌 전체 이미지가 사용된다.

누락된 이미지들을 보간하여 최종 모델을 구성한다. 필요한 이미지들의 최종 개수와, 각각의 기존 이미지 쌍 사이에 추가되어야 하는 이미지들의 개수가 결정된다. 상기 필요한 이미지들을 추가하기 위해 많은 패스가 이루어진다. 각 패스시, 이미지들에 존재하는 데이터를 보간함으로써 하나의 이미지가 각각의 기존 쌍 사이에 추가된다. 따라서, 5개의 이미지를 갖는 시퀀스의 경우, 하나가 패스하면 9개의 이미지가 있게 된다. 두 번째가 패스하면, 16개의 이미지가 있게 된다. 이는 원하는 개수의 이미지들이 충족되었거나 초과되었을 때까지 계속된다.

하기와 같은 비-포괄적 방법들, 시스템들 및 시스템 구성요소들이 본원에 개시된다:

헤드업 디스플레이(HUD), 의료 영상 디스플레이, 바이탈 통계 디스플레이, 환자 정보 디스플레이, 의료 처치술 정보 및 기타 다른 데이터를 포함하지만 이에 제한되지 않는 구성요소들로 이루어진 증강 또는 가상 현실 수술용 오버레이를 제공하는 방법.

수술 타겟들 및 다른 관련된 의학적 및/또는 해부학적 데이터를 증강 또는 가상 현실 수술 환경에 표시하는 방법.

복강경 장치의 경로 매핑, 복강경 장치의 위치 디스플레이, 복강경 영상 데이터 디스플레이, 및/또는 일반적 및 특정 지점들에 관련된 메모를 작성하기 위한 시스템을 포함하지만 이에 제한되지 않는 구성요소들로 이루어진, 복강경 시술을 위한 증강 또는 가상 현실 수술용 오버레이를 제공하는 방법.

해부도 작성, 해부 표지, 수의과용 해부구조, 및 절개 시뮬레이션을 포함하지만 이에 제한되지 않는 구성요소들로 이루어진 증강 또는 가상 현실 해부구조 디스플레이를 제공하는 방법.

육안 해부학을 문제중심학습(PBL)과 통합하는 방법.

진단 시뮬레이션, 수술 시뮬레이션, 의료 처치술 시뮬레이션, 환자 영상을 토대로 한 수술들 미리보기, 및 교육과 같은 용도를 위한 그룹 시뮬레이션을 포함하지만 이에 제한되지 않는 구성요소들로 이루어진 증강 또는 가상 현실 의료 시뮬레이션을 제공하는 방법.

보여지는 환경에 겹쳐 놓이거나 통합된 2차원 및/또는 3차원 이미지들로 이루어진 헤드업 디스플레이(HUD)를 증강 또는 가상 현실에 표시하는 방법.

인공 지능과 통합된 가상 또는 증강 현실을 학생들에게 교과 내용을 테스트 및 교육시키는 용도로 이용하는 방법.

사용자의 응급 처치 훈련을 위한 증강 또는 가상 현실 시뮬레이션 방법.

증강 또는 가상 현실을 이용하여 지능 지수를 테스트하는 방법.

가상 현실, 증강 현실 또는 기타 다른 가상 공간에 표시된 3차원 객체의 시각화를 제어하는 방법으로서, 시각화에 요구되는 변경 사항을 결정하는 단계와, 3차원 객체를 업데이트하는 단계를 포함하는 방법. 가상 현실, 증강 현실 또는 기타 다른 가상 공간에 표시된 3차원 객체의 시각화를 제어하는 장치로서, 시각화에 요구되는 변경 사항을 결정하는 수단과, 3차원 객체를 업데이트하는 수단을 포함하는 장치. 본 프로세스는 시스템에 의해 자동으로 수행될 수 있거나, 또는 운영자에 의해 쌍방향 대화방식으로 가이드될 수 있다. 적용 분야로는, 가상 현실, 증강 현실 및 3D 프린팅을 포함하지만 이에 제한되지 않는다.

의료 영상 데이터를 증강 현실, 가상 현실, 또는 기타 다른 가상 환경으로 시각화하는 방법으로서, 대상의 위치를 파악하는 단계와, 대상의 위치를 결정하는 단계와, 대상의 배향을 결정하는 단계와, 의료 영상 데이터를 렌더링하는 단계를 포함하는 방법. 의료 영상 데이터를 증강 현실, 가상 현실, 또는 기타 다른 가상 환경으로 시각화하는 장치로서, 대상의 위치를 파악하는 수단과, 대상의 위치를 결정하는 수단과, 대상의 배향을 결정하는 수단과, 의료 영상 데이터를 렌더링하는 수단을 포함하는 장치. 본 프로세스는 시스템에 의해 자동으로 수행될 수 있거나, 또는 운영자에 의해 쌍방향 대화방식으로 가이드될 수 있다. 적용 분야로는, 시술 용도를 위한 시각화, 의료 검사 용도를 위한 시각화, 외과적 수련 용도를 위한 시각화, 의료 수련 용도를 위한 시각화, 물리치료 용도를 위한 시각화, 레이저 수술 용도를 위한 시각화, 및 이학적 진단 용도를 위한 시각화를 포함하지만 이에 제한되지 않는다.

가돌리늄 마커를 이용하여 증강 현실에서의 배치 위치를 개선하는 방법.

이미지 이격 거리를 결정하는 단계와, 누락된 이미지들(missing images)을 식별하는 단계와, 소스 이미지를 정렬하고 누락된 이미지의 데이터를 구성하는 단계와, 상기 이미지들을 합쳐서 3차원 모델을 형성하는 단계를 포함하는, 3차원 모델의 구성 방법 및 장치.

인공 지능과 통합된 증강 또는 가상 현실을 이용하여 학생들을 가르치는 방법.

본원에 개시된 여러 방법론 및/또는 이를 구성하고 관리하기 위한 사용자 인터페이스들 중 어느 것이든 하나 이상의 순차적 지시사항(지시사항을 제대로 수행하는데 필요한 관련 데이터 포함)을 수행하는 기계에 의해 구현될 수 있다. 이들 지시사항을 하나 이상의 컴퓨터-판독가능 매체 상에 기록하여, 특별한 용도 또는 범용 컴퓨터 시스템 혹은 소비자용 전자 장치나 가전, 이를테면 전술된 다양한 시스템 구성요소들, 장치들 및 가전들의 하나 이상의 프로세서들(예컨대, 도 1에 나타낸 것과 같은 프로그램된 프로세서(들)) 내에서 나중에 검색 및 시행시킬 수 있다. 이들 지시사항 및 데이터가 구현될 수 있는 컴퓨터-판독가능 매체는 다양한 비-일시적 형태(예컨대, 광학-, 자성- 또는 반도체- 저장 매체)의 비휘발성 저장 매체, 그리고 이들 지시사항과 데이터를 무선, 광학 또는 유선 시그널링 매체를 통해 전송하는데 이용될 수 있는 반송파, 또는 이들의 임의의 조합을 포함되지만 이에 제한되지 않는다. 반송파에 의한 이들 지시사항과 데이터의 전송 예들로, 하나 이상의 데이터 전송 프로토콜(예컨대, HTTP, FTP, SMTP 등)을 통해 인터넷 및/또는 기타 다른 컴퓨터 네트워크 상에서의 전송(업로드, 다운로드, 이메일 등)을 포함하지만 이에 제한되지 않는다.

전술된 설명과 첨부된 도면에서는, 개시된 실시형태들에 대한 완전한 이해를 제공하도록 특정 용어와 참조 번호들을 제시하였다. 몇몇 예에서, 용어 및 번호들은 이들 실시형태를 실시하는데 필요하지 않는 특정 상세설명을 의미할 수도 있다. 예를 들어, 특정 치수, 구성요소(카메라, 프로젝션, 센서 등)의 개수들, 부품 회로 또는 장치 등 중 어느 것이든 대안 실시형태들에 전술된 것들과 상이할 수 있다. 아울러, 시스템 구성요소들 또는 기능성 블록들 간의 링크 혹은 기타 다른 상호연결은 버스들이나 단일 신호 라인으로서 예시될 수 있다. 대안으로는 각각의 버스가 단일 신호 라인일 수 있으며, 대안으로는 각각의 단일 신호 라인이 버스들일 수 있다. 어떻게 도시되었거나 설명되었든지, 신호들 및 시그널링 링크들은 단일-종단이거나 차동일 수 있다. 본원에서 "결합된(coupled)"이란 용어는 직접적인 연결뿐만 아니라 하나 이상의 개재된 회로 혹은 구조를 통한 연결을 표현하고자 사용되었다. 장치 "프로그래밍"은, 예를 들어 그리고 비제한적으로, 호스트 명령에 응답하여 또는 1회성 프로그래밍 조작(예컨대, 장치 제조시 배치된 회로 내부의 퓨즈 끊기)을 통해, 제어 값을 장치 또는 시스템 구성요소 내부의 레지스터 또는 기타 다른 저장 회로에 로딩하는 것(그리고 이에 따라 장치의 운영적 측면 제어 및/또는 장치 구성 정립하는 것) 및/또는 장치의 하나 이상 선택된 핀들이나 기타 다른 접속 구조들을 기준 전압 라인들에 연결(스트래핑(strapping)으로도 지칭됨)하여 특정한 장치 구성 혹은 장치의 운영 측면을 정립하는 것을 포함할 수 있다. "예시적" 및 "실시형태"란 용어들은 선호도나 요구조건이 아닌 하나의 예를 표현하고자 사용되었다. 또한, ?-할(될) 수 있는(있다)"및 ?-하(되)기도 하는(한다)"이란 용어들은 임의 선택적(허용가능한) 주제를 나타내도록 혼용하여 사용되었다. 이들 용어가 쓰이지 않았다고 해서, 소정의 특징이나 기법이 요구됨을 의미하는 것으로 이해해서는 안 된다.

본 개시의 광의적 측면에서의 사상과 범주를 벗어나지 않으면서, 본원에 제시된 실시형태들이 다양하게 수정 및 변경될 수 있다. 예를 들어, 실시형태들 중 어느 하나의 특징들 또는 양태들은 상기 실시형태들 중 다른 하나와 조합되어, 혹은 그의 상대적(counterpart) 특징들 또는 양태들 대신에 적용될 수 있다. 따라서, 본 명세서와 도면은 한정적 측면보다는 예시적 측면으로 간주되어야 한다.

Claims

형태학적 대상에 대한 의료 처치술을 용이하게 만드는 방법에 있어서,
상기 형태학적 대상의 이학적 특징(physical feature)의 대표적 데이터를 수신하는 단계와;
의료 처치술을 수행하는 의료 전문인을 위해, 상기 이학적 특징의 가상 이미지가 오버레이된 형태학적 대상의 뷰(view)를 렌더링하는 단계로서,
상기 대표적 데이터를 토대로 이학적 특징의 가상 이미지를 생성하는 조작; 및
가상 이미지에서 형태학적 대상에 대한 이학적 특징의 현장 시각화가 가능해지도록 형태학적 대상 상의 하나 이상의 기준 점들에 따라, 상기 뷰 안에 이학적 특징의 가상 이미지를 렌더링하는 조작을 포함한 렌더링 단계
를 포함하는 방법.
제1항에 있어서,
상기 형태학적 대상의 이학적 특징의 대표적 데이터를 수신하는 단계는 자기공명영상(MRI) 데이터, 단층촬영 데이터, 초음파 데이터, 엑스레이 데이터, 핵자기 공명(NMR) 데이터 또는 사진 데이터 중 하나 이상을 수신하는 조작을 포함하는 것인 방법.
제1항에 있어서,
상기 이학적 특징의 가상 이미지가 오버레이된 형태학적 대상의 뷰를 렌더링하는 단계는 상기 이학적 특징의 상기 가상 이미지를 하나 이상의 프로젝터를 통해 상기 형태학적 대상 위로 투영하는 조작을 포함하는 것인 방법.
제3항에 있어서,
상기 이학적 특징의 가상 이미지를 하나 이상의 프로젝터를 통해 상기 형태학적 대상 위로 투영하는 조작은 상기 이학적 특징의 3차원 이미지를 투영하는 것을 포함하는 것인 방법.
제1항에 있어서,
상기 이학적 특징의 가상 이미지가 오버레이된 형태학적 대상의 뷰를 렌더링하는 단계는 상기 가상 이미지를 적어도 부분적으로 투명한 디스플레이 부재에 표시하여 상기 디스플레이를 통해 형태학적 대상이 보이게 하는(visible) 조작을 포함하는 것인 방법.
제5항에 있어서,
상기 적어도 부분적으로 투명한 디스플레이 부재는 헤드업 디스플레이 부재를 포함하는 것인 방법.
제1항에 있어서,
상기 이학적 특징의 가상 이미지가 오버레이된 형태학적 대상의 뷰를 렌더링하는 단계는 상기 이학적 특징의 상기 가상 이미지가 오버레이된 형태학적 대상의 가상 이미지를 가상 현실 디스플레이 부재에 표시하는 조작을 포함하는 것인 방법.
제1항에 있어서,
상기 의료 전문인과 상기 형태학적 대상 간의 상대적 위치 변화를 검출하는 단계와,
이에 대한 응답으로, 상기 상대적 위치 변화에 대해(account for) 상기 형태학적 대상 상의 하나 이상의 기준 점들을 따라 상기 뷰 내에 상기 이학적 특징의 상기 가상 이미지를 재렌더링(re-rendering)하는 단계
를 더 포함하는 방법.
제8항에 있어서,
상기 상대적 위치 변화를 검출하는 단계는 상기 의료 전문인의 움직임 또는 상기 형태학적 대상의 움직임 중 하나 이상을 검출하는 조작을 포함하는 것인 방법.
제1항에 있어서,
상기 이학적 특징의 가상 이미지 내 상기 이학적 특징의 하나 이상의 양상을 강조하고자 하는 소망을 표시(indicate)하는 제어 입력을 수신하는 단계와,
상기 제어 입력에 대한 응답으로, 상기 이학적 특징의 상기 하나 이상의 양상을 강조하기 위해 상기 가상 이미지를 재렌더링하는 단계
를 더 포함하는 방법.
제10항에 있어서,
상기 제어 입력은 상기 이학적 특징에 대한 관측점(a point of view)이 상기 이학적 특징 내부로 가려지거나(submerged) 추가로 가려질 것임을 명시함으로써, 상기 재렌더링된 가상 이미지가 상기 가려지거나 추가로 가려진 관측점에서 상기 이학적 특징의 가상적 세부사항을 포함하도록 하는 것인 방법.
제10항에 있어서,
상기 제어 입력은 이학적 특징의 가상 이미지의 배향이 변경될 것임을 명시함으로써, 상기 재렌더링된 가상 이미지가 상기 이학적 특징의 다른 사시도로부터의 가상적 세부사항을 포함하도록 하는 것인 방법.
제10항에 있어서,
상기 이학적 특징은 상기 형태학적 대상의 복수의 구성요소 특징들을 포함하며,
상기 제어 입력은 상기 구성요소 특징들 중 선택된 하나의 배치가 상기 구성요소 특징들 중 다른 하나 이상을 기준으로(relative to) 변경될 것임을 명시함으로써, 상기 재렌더링된 가상 이미지가 상기 구성요소 특징들 중 상기 선택된 하나에 의해 이전에 차단된(obstructed) 상기 구성요소 특징들 중 상기 다른 하나 이상의 가상 세부사항을 포함하도록 하는 것인 방법.
제1항에 있어서,
상기 형태학적 대상에 대한 실체 도구(physical instrument)의 배치를 표시하는(indicate) 정보를 수신하는 단계와;
상기 실체 도구의 적어도 일 부분의 가상 이미지를 상기 이학적 특징의 상기 가상 이미지 내부에 렌더링하는 단계
를 더 포함하는 방법.
제14항에 있어서,
상기 형태학적 대상에 대한 상기 실체 도구의 이동을 표시하는 정보를 수신하는 단계와,
상기 실체 도구의 이동을 묘사하기 위해 실시간으로 상기 가상 이미지를 재렌더링하는 단계
를 더 포함하는 방법.
제1항에 있어서,
상기 방법은 상기 형태학적 대상의 실시간 바이탈 통계를 하나 이상의 센서를 통해 수신하는 단계를 더 포함하며,
상기 이학적 특징의 가상 이미지가 오버레이된 형태학적 대상의 뷰를 렌더링하는 단계는 상기 실시간 바이탈 통계의 디스플레이에 의해 추가로 오버레이되는 상기 형태학적 대상의 뷰를 렌더링하는 조작을 포함하는 것인 방법.
형태학적 대상에 대한 의료 처치술을 용이하게 만드는 시스템에 있어서,
상기 형태학적 대상의 이학적 특징의 대표적 데이터를 수신하기 위한 데이터 수신 인터페이스와;
의료 처치술을 수행하는 의료 전문인을 위해, 상기 이학적 특징의 가상 이미지가 오버레이된 형태학적 대상의 뷰를 렌더링하기 위한 렌더링 엔진으로서,
(i) 상기 대표적 데이터를 토대로 이학적 특징의 가상 이미지를 생성하고,
(ii) 가상 이미지에서 형태학적 대상에 대한 실제 이학적 특징의 현장 시각화가 가능해지도록 형태학적 대상 상의 하나 이상의 기준 점들에 따라, 상기 뷰 안에 이학적 특징의 가상 이미지를 렌더링하기 위한 하나 이상의 프로그램된 프로세서를 포함하는 렌더링 엔진
을 포함하는 시스템.
제17항에 있어서,
상기 데이터 수신 인터페이스는 상기 대표적 데이터를 하나 이상의 서버 컴퓨터로부터 컴퓨터 네트워크를 통해 수신하기 위한 네트워크 인터페이스를 포함하는 것인 시스템.
제17항에 있어서,
상기 시스템은 데이터 저장부를 더 포함하며,
상기 데이터 수신 인터페이스는 상기 대표적 데이터를 상기 데이터 저장부에/로부터 요청 및 수신하기 위한 인터페이스를 포함하는 것인 시스템.
제17항에 있어서,
상기 렌더링 엔진은 하기 중 적어도 하나를 포함하는 것인 시스템:
상기 이학적 특징의 상기 가상 이미지를 상기 형태학적 대상 위로 투영하기 위한 하나 이상의 프로젝터;
상기 가상 이미지를 표시하도록 구성되며 적어도 부분적으로 투명하게 형성됨으로써 상기 형태학적 대상이 디스플레이 부재를 통해 보일 수 있도록 하는 증강 현실 디스플레이 부재; 또는
오버레이된 상기 이학적 특징의 상기 가상 이미지를 상기 형태학적 대상의 가상 이미지 상에 표시하기 위한 가상 현실 디스플레이 부재.
프로그램 코드가 저장된 비-일시적 기계-판독가능 매체로서, 하나 이상의 프로세서에 의해 시행되면 상기 매체는 상기 하나 이상의 프로세서가
형태학적 대상의 이학적 특징의 대표적 데이터를 획득하게 하고;
상기 이학적 특징의 가상 이미지가 오버레이된 형태학적 대상의 뷰를 렌더링하게 하되,
(i) 상기 대표적 데이터를 토대로 이학적 특징의 가상 이미지를 생성하는 조작, 및
(ii) 가상 이미지에서 형태학적 대상에 대한 실제 이학적 특징의 현장 시각화가 가능해지도록 형태학적 대상 상의 하나 이상의 기준 점들에 따라, 상기 뷰 안에 이학적 특징의 가상 이미지를 렌더링하는 조작을 포함한,
렌더링을 수행하게 하는 것인, 매체.