KR101595962B1 - 대장내시경 수술 시뮬레이션시스템 - Google Patents

Abstract

수술 전 CT(Computed Tomography)를 찍어 획득한 영상을 진단명과 광학적 특성에 따라 재편집하여 실물에 근접한 가상의 대장을 모니터상에서 만들어 대장내시경 수술을 연습할 수 있도록 한 대장내시경 수술 시뮬레이션시스템에 관한 것으로서, 사용자의 사용상태에 따라 신호를 발생시키는 컨트롤러; 및 대장 내시경 영상의 특성을 반영하여 2차원 대장 영상을 3차원 대장내시경 영상으로 구현하고, 상기 컨트롤러에서 발생한 신호에 따라 상기 3차원 대장내시경 영상에 컨트롤러의 가상 동작상태를 반영하여 가상 대장내시경 수술을 수행하는 시뮬레이터로 대장내시경 수술 시뮬레이션시스템을 구현하고, 상기 시뮬레이터는 대장내시경 전문가로부터 획득하여 저장한 가상 소견 정보와 실제 광각과 각도에 따른 시술 전 환자의 영상을 상기 3차원 대장내시경 영상 또는 화면에 출력해준다.

Description

대장내시경 수술 시뮬레이션시스템{Colnoscopy surgery simulation system}

본 발명은 대장내시경 수술 시뮬레이션시스템에 관한 것으로, 더욱 상세하게는 수술 전 CT(Computed Tomography)를 찍어 획득한 대장 영상을 진단명과 광학적 특성에 따라 재편집하여 실물에 근접한 가상의 대장을 모니터상에서 만들어 대장내시경 수술을 연습할 수 있도록 한 대장내시경 수술 시뮬레이션시스템에 관한 것이다.

대장내시경(Colnoscopy)은 항문으로 내시경이라는 특수한 카메라를 삽입하여, 대장 내부 및 대장과 인접한 소장의 말단 부위까지를 관찰하는 검사법이다. 최근 사용되는 대부분의 내시경은 유연한 튜브의 끝에 광섬유로 연결된 카메라가 달려 있는 길이 1.3 ~ 1.7m의 기구이다. 대장내시경은 특히, 대장암과 염증성 장질환의 진단에 매우 중요한 검사이다. 갑작스러운 혈색소(헤모글로빈; hemoglobin)의 감소 등 빈혈의 징후가 있는 경우에는 대변에서 혈색소가 검출되지 않더라도 상부 위장관(위, 식도, 십이지장)내시경과 함께 흔히 대장내시경을 시행한다. 직접 대장의 내부를 보면서 눈으로 진단을 하고, 필요에 따라 지혈을 하거나, 조직 검사 또는 의심스러운 병변을 제거하는 치료목적도 있다. 최근에는 다양한 기구와 술기를 이용하여 출혈 부위를 지혈하거나, 용종과 점막의 종양을 제거하는 치료 내시경이 확대되고 있다.

대장내시경을 이용한 시술은 내시경의 좁은 시각과 제약된 움직임으로 인해 시술에 많은 어려움이 따른다. 수련의들은 먼저 수차례에 걸쳐 대장내시경 조작방법을 학습한 후, 이미 기술을 완벽히 습득한 전문의의 감독하에 직접 환자를 대상으로 조작연습을 하면서 대장내시경의 전문기술을 익히게 된다.

그러나 수련원들이 직접 환자를 대상으로 연습을 하는 경우, 환자의 위험부담이 크다는 문제점이 있다. 또한, 이미 대장내시경 기술을 습득한 전문의들이라 할지라도 숙련도에 따라 시술시간에 많은 차이가 나며, 미숙한 경우 자칫 대장을 손상시킬 수 있다는 문제점이 있다. 따라서, 이러한 문제점을 해결하기 위해 실제 시술을 하기에 앞서 보다 안전하고 효과적으로 대장내시경 시술을 습득할 수 있는 시스템이 필요하다.

이러한 필요성에 의해 최근 들어 가상현실과 햅틱 장치(HAPTIC DEVICE)를 이용한 가상 수술 시스템이 개발되고 있으며, 이러한 시스템을 이용하여 수술 전 시뮬레이션 또는 수술 계획을 수립하게 된다.

햅틱 장치를 이용한 소화기 내시경 시뮬레이션 시스템에 대한 종래기술이 하기의 <특허문헌 1> 대한민국 공개특허 공개번호 10-2009-0066453호(2009.06.24. 공개)에 개시되었다.

<특허문헌 1>에 개시된 종래기술은 소화기 내시경 시술의 운동을 표현할 수 있는 내시경의 직선방향과 롤 방향의 2자유도를 일정한 반경을 가지고 회전하는 원형의 메커니즘으로 구현함으로써, 실제 시술에 필요한 내시경의 직선방향 및 롤 방향의 충분한 작업공간을 확보하면서도 크기를 조절할 수 있는 소화기 내시경 시뮬레이션용 원형 햅틱장치 및 햅틱 인터페이스를 제공한다.

한편, 가상 수술 시스템을 구현하기 위해서는 영상 데이터를 구축해야되며, 수술 시뮬레이션을 위한 영상 데이터를 구축하는 종래기술이 하기의 <특허문헌 2> 대한민국 등록특허 등록번호 10-0346363호(2002.07.15. 등록)(발명의 명칭: 자동 의료 영상 분할을 통한 3차원 영상 데이터 구축방법/장치 및 그를 이용한 영상유도 수술 장치)에 개시되어 있다.

<특허문헌 2>에 개시된 종래 기술은, 여러 사람으로부터 취득된 같은 부위의 의료영상으로부터 원하는 부분의 윤곽선 점들의 집합으로 표현된 모델을 각각 생성하여 PCA(Principal Component Analysis)를 사용하여 하나의 대표 모델을 생성하게 된다. 다음으로, 목적 함수를 정의하고 이러한 목적 함수를 최대화시키는 변환계수를 구하여, PCA를 통해 형성된 모델을 주어진 의료영상에 대응시킨 후 전체 모델을 확대/축소, 회전, 평행이동을 통해 주어진 의료영상에 맞도록 변환하게 된다. 이후 변환 범위를 특정 범위로 제한하여 변환함으로써, 2차원 의료영상을 자동 분할 알고리즘을 이용하여 각 부위를 분할하고, 분할된 영상을 3차원 데이터로 구축하여 디스플레이해주게 된다.

대한민국 공개특허 공개번호 10-2009-0066453호(2009.06.24. 공개) 대한민국 등록특허 등록번호 10-0346363호(2002.07.15. 등록)

그러나 상기와 같은 <특허문헌 1>에 개시된 종래기술은 가격이 고가이고, 실제 다양한 위치 시술의 각도가 이루어지지 못하는 단점이 있다.

또한, <특허문헌 2>에 개시된 종래기술은 내시경에 의해 보이는 영상과 구현한 3차원 영상과의 차이가 크다는 단점이 있다. 즉, 내시경에 의한 영상은 렌즈 광각, 포커스, 조도에 따라 대장의 영상이 왜곡되어 보이는데, <특허문헌 2>에서 구현되는 3차원 영상은 이러한 요소를 반영하지 못하므로 실제 대장내시경에 의한 영상과 다른 영상을 보여준다. 따라서 가상 수술 시스템에서 구현되는 영상과 실제 시술시 환자의 영상이 완전히 일치하지 않으며, 이로 인해 정확한 수술계획, 시술을 할 수 없는 문제점이 있었다. 즉, 실제 수술과 동일한 환경을 구현할 수 없으므로, 가상 수술 시스템의 학습효과가 저하되는 문제점이 있었다.

또한, 기존의 대부분의 수술 연습용 도구는 독립된 기계장치로 이루어져 있고, 정상의 대장 및 부정확한 장기 소견을 보여주고 있으며, 매우 조잡하고 경제적이지 못하여 실제 대장 상황과 매우 달라 연구용 이상의 가치가 없는 단점이 있다.

본 발명의 목적은 상기와 같은 종래기술에서 발생하는 제반 문제점을 해결하기 위해서 제안된 것으로서, 수술 전 CT(Computed Tomography)를 찍어 획득한 영상을 진단명과 광학적 특성에 따라 재편집하여 실물에 근접한 가상의 대장을 모니터상에서 만들어 대장내시경 수술을 연습할 수 있도록 한 대장내시경 수술 시뮬레이션시스템을 제공하는 것이다.

본 발명의 다른 목적은 대장 영상의 특성을 반영하여 실제 대장 영상과 동일한 3차원 대장 내시경 영상을 구현해주도록 한 대장내시경 수술 시뮬레이션시스템을 제공하는 것이다.

본 발명의 또 다른 목적은 실제 광각과 각도에 따라 시술 전 환자의 모습과 실제 대장내시경에 근접한 가상 소견과 정보를 미리 보여줌으로써, 시술 당시 정확한 처치와 진단이 이루어질 수 있도록 한 대장내시경 수술 시뮬레이션시스템을 제공하는 것이다.

상기한 바와 같은 목적을 달성하기 위하여, 본 발명에 따른 대장내시경 수술 시뮬레이션시스템은 사용자의 사용상태에 따라 신호를 발생시키는 컨트롤러; 대장내시경 영상의 특성을 반영하여 2차원 대장 영상을 3차원 대장내시경 영상으로 구현하고, 상기 컨트롤러에서 발생한 신호에 따라 상기 3차원 대장내시경 영상에 컨트롤러의 가상 동작상태를 반영하여 가상 대장내시경 수술을 수행하는 시뮬레이터를 포함하며,

상기 시뮬레이터는 대장내시경 전문가로부터 획득하여 저장한 가상 소견 정보와 실제 광각과 각도에 따른 시술 전 환자의 영상을 화면에 출력해주는 것을 특징으로 한다.

상기에서 컨트롤러는 사용자의 선택에 따라 가상 수술도구를 제어하며, 상기 가상 수술 도구는 시뮬레이터에서 구현되는 것을 특징으로 한다.

상기에서 3차원 대장내시경 영상은 컴퓨터단층촬영장치(CT)에 의해 촬영된 영상을 기초로 생성한 것을 특징으로 한다.

상기에서 시뮬레이터는 컴퓨터단층촬영장치(CT)에 의해 촬영된 영상을 보고 대장내시경 전문가들이 제공해주는 가상 소견 정보를 저장하는 가상 소견정보 저장부를 포함하는 것을 특징으로 한다.

상기에서 시뮬레이터는 대장내시경 영상에 실제 광각과 각도를 적용하여 획득한 시술전 환자의 영상을 저장하는 환자 영상 저장부를 더 포함하는 것을 특징으로 한다.

상기에서 시뮬레이터는 대장내시경 영상의 특성을 반영하여 3차원 대장내시경 영상을 구현하는 영상 처리부; 상기 컨트롤러에서 발생한 신호에 따라 상기 3차원 대장내시경 영상에 컨트롤러의 가상 동작상태를 반영하여 가상 대장내시경 수술을 제어하는 시뮬레이터 제어부; 상기 시뮬레이터 제어부의 제어에 따라 상기 3차원 대장내시경 영상에 컨트롤러의 가상 동작상태를 반영한 시술 영상을 출력해주는 영상 출력부를 더 포함하고,

상기 시뮬레이터 제어부는 상기 가상 소견정보 저장부에 저장된 가상 소견 정보 및 상기 환자 영상 저장부에 저장된 시술전 환자의 영상을 상기 영상 출력부에 표출해주는 것을 특징으로 한다.

상기에서 영상 처리부는 2차원 영상을 3차원 입체영상으로 변환하는 랜더링부; 상기 3차원 입체영상으로부터 결손 부분을 보상하는 영상 보상부; 상기 영상 보상부에서 보상된 3차원 영상에 텍스처로 매핑을 하여 3차원 대장내시경 영상에 볼륨감과 현실감 및 입체감을 부여해주는 텍스처 매핑부를 포함하는 것을 특징으로 한다.

본 발명에 따르면 수술 전 CT(Computed Tomography)를 찍어 획득한 대장 영상을 광학적 특성에 따라 재편집하여 실물에 근접한 가상의 대장내시경 영상을 구현해줄 수 있어, 실제 수술과 근접한 기관지 수술을 연습할 수 있도록 도모해주는 장점이 있다.

또한, 본 발명에 따르면 대장내시경 영상의 특성을 반영하여 실제 대장 영상과 동일한 3차원 대장내시경 영상을 구현해줄 수 있어, 실제 수술과 동일한 환경 구현으로 가상 수술 시스템의 학습효과를 향상시킬 수 있는 장점이 있다.

또한, 본 발명에 따르면 대장내시경 수술을 가상으로 수행함으로써, 의대생 또는 경험이 적은 의사들이 많은 경험을 쌓고, 단시간에 전문기술을 습득할 수 있도록 도모해주는 효과가 있으며, 실제와 동일한 환경에서 가상 수술을 수행함으로써, 실제 수술 시 위험부담을 줄일 수 있는 효과도 있다.

또한, 본 발명에 따른 대장 전문가들로부터 획득한 가상 소견 및 내시경 광각 및 각도를 적용한 시술 전 환자의 영상을 제공해줌으로써, 실제 대장내시경 시술에서 정확한 진단과 처치가 이루어지도록 도모해주는 효과가 있다.

도 1은 본 발명에 따른 대장내시경 수술 시뮬레이션시스템의 실시 예 구성도,
도 2는 도 1의 영상 처리부의 실시 예 구성도,
도 3a는 개략적인 대장내시경의 모습 및 대장 영상 예시도, 도 3b는 본 발명에서 구현한 가상의 대장 용종 조직을 제거하는 대장내시경 수술 영상 예시도.

이하 본 발명의 바람직한 실시 예에 따른 대장내시경 수술 시뮬레이션시스템을 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 바람직한 실시 예에 따른 대장내시경 수술 시뮬레이션시스템의 구성도이다.

본 발명의 바람직한 실시 예에 따른 대장내시경 수술 시뮬레이션시스템은 컨트롤러(10)와 시뮬레이터(20)를 포함한다.

상기 컨트롤러(10)는 사용자의 사용상태(조작)에 따라 신호를 발생시키고, 상기 시뮬레이터(20)는 대장내시경 영상의 특성을 반영하여 3차원 대장내시경 영상을 구현하고, 상기 컨트롤러(10)에서 발생한 신호에 따라 상기 3차원 대장내시경 영상에 컨트롤러(10)의 가상 동작상태를 반영하여 가상 대장내시경 수술을 시뮬레이션해주는 역할을 한다.

여기서 시뮬레이터(20)는 3차원 대장내시경 영상에서 컨트롤러(10)의 가상 동작상태에 따라 신호를 발생시키고, 상기 신호를 컨트롤러(10)에 전송한다. 컨트롤러(10)는 시뮬레이터(20)에서 발생한 신호를 분석하고, 상기 신호에 따라 구동하여 사용자가 촉감 및 역감을 감지하도록 구동된다.

또한, 컨트롤러(10)는 사용자의 선택에 따라 다양한 가상 수술도구를 제어하며, 이때 상기 가상 수술 도구는 시뮬레이터(20)에서 구현된다. 컨트롤러(10)는 각각의 가상 수술도구에 따라 구비되어, 실제 수술환경과 동일한 가상 수술환경을 구현할 수 있다.

상기 컨트롤러(10)는 컨트롤러 제어부(11), 위치 검출부(12), 구동부(13), 컨트롤러 신호부(14)를 포함한다.

상기 위치 검출부(12)는 컨트롤러(10)의 내부에 구비되어, 상기 컨트롤러(10)의 동작에 따른 위치를 검출한다. 즉, 사용자가 조작하는 컨트롤러(10)의 실제 동작상태가 시뮬레이터(20) 상에 동일하게 구현되도록, 컨트롤러(10)의 실제 동작상태에 대한 위치정보를 검출하여 시뮬레이터(20)에 전송한다. 상기 시뮬레이터(20)는 상기 위치정보를 기반으로 시뮬레이터(20) 상에 컨트롤러(10)의 가상 동작상태를 구현한다.

여기서 컨트롤러(10)의 위치정보는 실시간으로 시뮬레이터(20)에 전송되는 것이 바람직하다. 이로 인해, 사용자에 의한 컨트롤러(10)의 실제 동작상태와 시뮬레이터(20) 상에서 구현되는 컨트롤러(10)의 가상 동작상태가 동일하게 구현되므로 실제 수술환경과 동일한 환경을 구현하여 가상 대장내시경 수술을 수행할 수 있다.

상기 구동부(13)는 컨트롤러(10)의 내부에 구비되어, 시뮬레이터(20)에서 전송되는 신호에 따라 컨트롤러(10)를 구동시킨다. 예컨대, 컨트롤러(10)를 사용하는 사용자가 촉감 및 역감을 감지하도록 구동되며, 컨트롤러 제어부(11)의 제어에 의해 구동된다.

즉, 실제 수술환경과 동일한 환경을 구현하기 위하여, 시뮬레이터(20)에 의해 구현되는 3차원 영상에서 컨트롤러(10)의 가상 동작 상태에 따른 저항을 사용자가 감지할 수 있도록 하는 것이다. 따라서, 3차원 대장내시경 영상에서 구현되는 가상 컨트롤러(10)가 3차원 대장내시경 영상에서 피부, 근육, 신경 등에 접촉하는 경우, 각 구조물의 물성을 반영한 저항을 사용자가 감지할 수 있도록 컨트롤러(10)를 구동한다. 이러한 구동부(13)는 진동모터, 리니어 모터 등을 사용하여 사용자가 촉감 및 저항을 감지하도록 할 수 있다.

상기 컨트롤러 신호부(14)는 컨트롤러(10)의 내부에 구비되어, 컨트롤러(10)와 시뮬레이터(20) 상호 간에 신호를 송수신하도록 한다. 즉, 컨트롤러 신호부(14)는 컨트롤러(10)의 위치 검출부(12)에서 검출된 위치정보에 대한 신호를 시뮬레이터(20)로 전송하고, 시뮬레이터(20)로부터 발생한 신호를 전송받는다.

상기 시뮬레이터(20)로부터 전송받는 신호는 상기 시뮬레이터(20) 상에서 컨트롤러(10)의 가상 동작상태에 따른 반력에 대한 신호이며, 컨트롤러 신호부(14)는 상기 신호를 수신받는다. 상기 신호는 컨트롤러 제어부(11)를 통하여 구동부(13)로 전송되어, 상기 구동부(13)가 구동되도록 하여 사용자가 촉감 및 역감을 감지하게 된다.

또한, 컨트롤러 신호부(14)는 컨트롤러 제어부(11)로부터 신호를 전송받아 시뮬레이터(20)에 전송하며, 상기 시뮬레이터(20)로부터 전송받은 신호는 컨트롤러 제어부(11)로 전송하는 역할도 한다. 이러한 컨트롤러 신호부(14)는 시뮬레이터 신호부(24)와 연동하여 신호를 송수신한다. 신호 전송 방식은 유선으로 신호를 송/수신할 수 있고 무선통신을 통하여 신호를 송/수신할 수도 있다. 무선통신을 이용하는 경우 근거리 통신망, 적외선 통신, 블루투스 등을 이용할 수 있으나, 근거리 통신망을 사용하는 것이 바람직하다.

상기 컨트롤러 제어부(11)는 컨트롤러(10)의 내부에 구비되어, 위치 검출부(12), 구동부(13), 컨트롤러 신호부(14)를 제어한다. 즉, 컨트롤러 제어부(11)는 사용자가 컨트롤러(10)를 사용하는 경우 위치 검출부(12)를 제어하여 상기 컨트롤러(10)의 위치정보를 검출하도록 한다. 상기 위치 검출부(12)가 검출한 위치정보는 실시간으로 컨트롤러 제어부(11)로 전송되고, 상기 컨트롤러 제어부(11)는 전송된 위치정보를 위치신호로 변환하여 컨트롤러 신호부(14)를 통해 시뮬레이터(20)로 전송한다. 이때, 사용자가 컨트롤러(10)의 조작을 통해 선택한 가상 수술도구에 대한 정보도 시뮬레이터(20)에 전송한다.

또한, 컨트롤러 제어부(11)는 구동부(13)를 제어하여 컨트롤러(10)가 구동되도록 한다. 즉, 컨트롤러 제어부(11)는 컨트롤러 신호부(14)를 통해 전송받은 신호를 분석하여 구동부(13)를 제어한다. 상기 전송받은 신호는 시뮬레이터(20) 상에서 컨트롤러(10)의 가상 동작상태에 따른 반력으로, 가상 수술도구가 3차원 대장내시경 영상의 피부, 근육, 신경 등에 접촉됨으로써 발생한다.

따라서 컨트롤러 제어부(11)는 상기 신호를 분석하여, 상기 반력에 따라 사용자가 촉감 및 역감을 감지할 수 있도록 구동부(13)를 제어한다. 이로 인해, 실제 수술환경과 동일한 환경을 구현할 수 있다.

또한, 컨트롤러 제어부(11)는 컨트롤러 신호부(14)를 제어하여 컨트롤러(10)와 시뮬레이터(20) 상호간 신호정보를 송/수신하도록 제어한다. 즉, 컨트롤러 제어부(11)는 위치 검출부(12)로부터 위치정보를 전송받아, 상기 위치정보에 따른 신호를 발생시켜 컨트롤러 제어부(14)를 통해 시뮬레이터(20)로 송신하도록 제어하는 기능을 한다.

아울러 시뮬레이터(20)로부터 발생한 신호를 전송받도록 컨트롤러 신호부(14)를 제어하고, 상기 전송받은 신호를 분석하여 구동부(13)의 구동을 제어한다. 상기 컨트롤러 제어부(11)는 컨트롤러(10)의 동작상태가 시뮬레이터(20) 상에 실시간으로 구현되도록 신호의 전송을 제어하고, 상기 시뮬레이터(20) 상에서 컨트롤러(10)의 동작상태에 따른 반력을 사용자가 실시간으로 감지할 수 있도록 전송된 신호를 처리한다.

이와 같이 컨트롤러 제어부(11)는 위치 검출부(12), 구동부(13), 컨트롤러 신호부(14)를 제어하여, 컨트롤러(10)의 전체 동작을 제어한다. 또한, 컨트롤러(10)와 시뮬레이터(20)를 실시간으로 연동하게 함으로써, 실제 수술환경과 동일한 환경을 구현할 수 있다.

다음으로, 상기 시뮬레이터(20)는 시뮬레이터 제어부(21), 데이터베이스(22), 영상처리부(23), 시뮬레이터 신호부(24), 영상 출력부(25), 가상 소견정보 저장부(26) 및 환자 영상 저장부(27)를 포함한다.

상기 데이터베이스(22)는 시뮬레이터(20)의 내부에 구비되어, 가상 수술을 수행하고자 하는 대장에 대한 2차원 영상이 저장되고, 컨트롤러(10)에 의해 구현되는 3차원 가상 수술도구에 대한 영상이 저장된다.

상기 대장에 대한 영상은 컴퓨터단층촬영장치(CT)에 의해 촬영된 영상이 저장되고, 상기 영상은 영상 처리부(23)를 통해 3차원 대장내시경 영상으로 변환되고, 변환된 3차원 대장내시경 영상으로부터 결손을 추출하여 결손을 보정 한 후, 결손 보정이 이루어진 3차원 대장내시경 영상에 텍스처 매핑을 수행하여 볼륨감과 현실감 및 입체감을 부가한 3차원 대장내시경 영상을 생성하게 된다.

또한, 상기 데이터베이스(22)는 시뮬레이터 제어부(21)에 의해 제어되며, 가상 대장내시경 수술 시스템이 사용되는 경우, 먼저 데이터베이스(22)에 저장된 영상이 영상 처리부(23)로 전송된다. 아울러, 데이터베이스(22)에 저장된 가상 수술도구에 대한 3차원 영상은 시뮬레이터 제어부(21)로 전송된다. 아울러, 데이터베이스(22)는 가상 수술 영상을 저장한다. 이러한 수술 영상을 통해, 가상 수술을 마친 후 상기 영상을 분석하고 상기 분석된 결과를 기반으로 수술과정에서의 문제점 및 수술의 성공 여부 등을 파악할 수 있다. 이로 인해, 가상 대장내시경 수술 시뮬레이션시스템을 사용하는 사용자의 학습효과를 향상시킬 수 있다.

상기 영상 처리부(23)는 시뮬레이터(20)의 내부에 구비되며, 2차원 영상을 3차원 대장내시경 영상으로 변환한다. 영상 처리부(23)는 도 2에 도시한 바와 같이, 랜더링부(23a), 영상 보상부(23b) 및 텍스처 매핑부(23d)로 이루어진다.

랜더링부(23a)는 데이터베이스(22)로부터 변환하고자 하는 2차원 영상을 전송받는다. 상기 2차원 영상은 가상 수술을 수행하고자 하는 부분으로, 상기 부분에 대해 컴퓨터단층촬영장치(CT)에 의해 촬영된 영상을 이용한다. 상기 촬영된 영상은 가상 수술을 수행하고자 하는 부분에 대해 1㎜ 간격으로 얻은 절단면에 대한 영상이다.

랜더링부(23a)는 구역화 과정을 통해 2차원 영상을 3차원 대장내시경 영상으로 변환한다. 즉, 3차원 대장내시경 영상을 구현하기 위해 각 관심구역 영상의 강도(intensity)에 해당되는 문턱치(threshold value)를 각각 설정하고, 상기 문턱치(threshold value) 이상이 되는 값만을 필터링하여 구역화한다. 구체적으로, 2차원 영상에서 피부, 근육, 동맥, 신경에 대한 문턱치를 각각 설정하고, 상기 문턱치 이상되는 구역을 피부, 근육, 동맥, 신경으로 구역화한다. 상기 구역화된 영상을 이용하여 3차원 대장내시경 영상을 구현한다.

또한, 더욱 정확한 3차원 대장내시경 영상을 구현하기 위해 구역화 과정 이전에 보간 과정(interpolation)을 수행할 수 있다. 상기 보간 과정은 3차원 대장내시경 영상의 해상도를 향상시키기 위한 것으로 연속되는 2차원 영상 사이에 현재 시퀀스 영상의 이전과 이후의 차이를 구하여, 상기 차분 영상을 보간하는 것이다. 이러한 영상 보간 과정을 수행하면 더욱 정확한 3차원 대장내시경 영상을 구현할 수 있다.

다음으로, 영상 보상부(23b)는 상기 랜더링부(23a)에 의해 변환된 3차원 대장내시경 영상을 보상하는 역할을 한다. 여기서 영상 보상은 3차원 대장내시경 영상에서 윤곽선을 추출하여 배경과 영상을 구분하고, 구분한 영상에서 저주파 성분을 제거하는 필터링을 통해 직류(DC) 성분을 제거한다. 통상, 영상에서의 픽셀 값이 급격하게 변하는 부분을 고주파(high frequency) 성분이 강하다고 하고, 픽셀 값이 일정하거나 완만하게 변하는 부분을 저주파(low frequency) 성분이 강하다고 한다. 영상에서 저주파 성분을 제거하게 되면, 즉 DC성분을 제거하게 되면 픽셀변화가 급격한 부분을 강조하여 표현할 수 있으며, 이렇게 픽셀 변화가 급격한 부분을 결손이라고 판단하게 된다. 여기서 DC성분을 제거하는 방법은 integral image를 생성하여 활용하도록 한다. 이는 일정 크기의 필터가 영상 내에서 이동하여 처리하는 연산의 복잡성을 최대한 줄일 수 있는 장점이 있다. integral image를 생성하여 연산하는 방법은 영상 처리 기법에서 잘 알려진 공지의 기술이므로 구체적인 설명은 생략하기로 한다.

주지한 바와 같은 과정을 통해 영상의 손상 부분 즉, 3차원 대장내시경 영상에서 어두운 부분을 추출하게 된다. 이후 상기 3차원 대장내시경 영상으로부터 추출한 손상 부분에 대하여 3차원 메쉬 에디팅 기법을 적용하여 영상 보정을 하게 된다. 여기서 3차원 메쉬 에디팅 기법은 사용자가 메쉬 데이터에 변형 요소를 가하였을 때 메쉬 데이터의 특징을 유지하면서 형태를 수정하는 기법이다. 보편적으로 사용하는 에디팅 기법은 단일 메쉬를 사용하여 형태를 수정한다. 그러나 3차원 메쉬 데이터는 위치 정보와 연결 정보만을 표현하고 있으므로 에디팅을 수행할 때 물체가 나타내는 운동성의 측면에서 형태 특징을 충분히 반영하지 못한다. 따라서 형태적 특징을 유지하는 에디팅 결과를 얻기 위해 두 개의 메쉬 데이터에서 국부 영역(local region)에서의 표면 특징을 운동 특성(motion feature)으로 매개 변수화하여 에디팅을 수행한다.

다음으로, 텍스처 매핑부(23c)는 상기 영상 보상부(23b)에서 영상이 보상된 3차원 대장내시경 영상에 텍스처 매핑(texture mapping) 기법을 적용하여 볼륨감 및 현실감, 그리고 입체감을 부가하여 3차원 대장내시경 영상을 완성하게 된다.

여기서 텍스처 매핑은 3차원의 공간에서 뼈대가 완성된 모델의 표면에 사실감을 부여해 주기 위한 기법으로서, 3D 프로그램을 통해 완성된 모델링 데이터에 사용자가 원하는 재질을 부여해 줌으로써 보다 사실적이고 정교한 모델의 표면을 얻을 수 있다. 예컨대, 텍스처 매핑은 표현하고자 하는 이미지나 물체의 사실감을 높이기 위해 그 표면에 원하는 무늬나 색을 입히는 작업으로서, 3차원 입체 모형의 표현에 많이 사용된다. 일반적으로 모든 텍스처는 여러 가지 색의 점들이 모여서 만들어진 비트맵 그래픽으로 이루어져 있는데, 본 발명에서는 더욱 부드럽고 균일한 이미지와 좀 더 선명한 해상도를 얻기 위해 2선형 여과와 3선형 여과 등의 색상 혼합 기법을 사용한다.

이러한 과정을 통해 3차원 영상에 텍스처 매핑을 하게 되면 완성된 3차원 대장내시경 영상은 볼륨감을 동반한 현실감과 입체감을 갖는 실제 대장내시경 영상과 동일한 3차원 대장내시경 영상을 구현할 수 있게 되는 것이다.

아울러 실제 시뮬레이션시 영상 처리부(23)는 시뮬레이터 제어부(21)로부터 컨트롤러(10)에 의해 구현되는 가상 수술도구와 상기 수술도구의 동작상태에 대한 정보를 전송받는다. 상기 전송받은 정보와 기관지 내시경 특성이 반영된 3차원 대장내시경 영상을 결합하여, 가상 수술을 수행하는 영상을 구현한다. 즉, 3차원 대장내시경 영상에서 가상 수술도구가 동작하도록 영상을 구현하고, 상기 구현된 영상을 시뮬레이터 제어부(21)로 전송한다.

상기 시뮬레이터 신호부(24)는 시뮬레이터(20)의 내부에 구비되어, 시뮬레이터(20)와 컨트롤러(10) 상호 간에 신호정보를 송수신한다. 즉, 시뮬레이터 신호부(24)는 컨트롤러 신호부(14)로부터 컨트롤러(10)의 동작상태에 대한 신호를 전송받고, 3차원 영상에서 컨트롤러(10)의 가상 동작상태에 따른 반력에 대한 신호를 컨트롤러 신호부(14)에 전송한다. 또한, 시뮬레이터 신호부(24)는 컨트롤러 신호부(14)에서 전송받은 신호를 시뮬레이터 제어부(21)에 전송한다. 여기서 시뮬레이터 신호부(24)는 컨트롤러 신호부(14)와 연동하여 신호를 송/수신한다. 이때 신호 송수신 방식은 유선으로 신호를 송수신할 수 있고, 무선통신을 통하여 신호를 송수신할 수도 있다. 무선통신을 이용하는 경우 근거리 통신망, 적외선 통신, 블루투스 등을 이용할 수 있으나, 근거리 통신망을 사용하는 것이 바람직하다.

상기 영상 출력부(25)는 시뮬레이터(20)의 내부에 구비되어, 영상 처리부(23)에 의해 생성된 3차원 대장내시경 영상 또는 대장내시경 수술 시뮬레이션 영상을 출력한다. 도 3a는 개략적인 대장 내시경의 모습 및 대장 내시경 영상이며, 도 3b는 CT 영상을 기초로 3차원으로 생성한 대장내시경 영상의 수술 영상을 도시한 것이다.

즉, 영상 출력부(25)는 시뮬레이터 제어부(21)로부터 3차원 영상정보를 수신받아 이를 화면에 출력한다. 이러한 영상 출력부(25)는 LCD, OLED, LED로 구성될 수 있으며, 터치스크린으로 구현할 수도 있다.

상기 시뮬레이터 제어부(21)는 시뮬레이터(20)의 내부에 구비되어, 데이터베이스(22), 영상처리부(23), 시뮬레이터 신호부(24), 영상 출력부(25), 가상 소견정보 저장부(26), 환자 영상 저장부(27)를 제어한다.

이러한 시뮬레이터 제어부(21)는 데이터베이스(22)를 제어하여 2차원 영상을 영상 처리부(23)로 전송하도록 제어하고, 상기 데이터베이스(22)에 저장되어 있는 컨트롤러(10)에 의해 구현되는 가상 수술도구에 대한 영상을 전송받는다. 아울러 시뮬레이터 신호부(24)로부터 컨트롤러(10)에 의해 구현되는 가상 수술도구의 동작상태를 전송받고, 가상 수술도구에 대한 영상과 동작상태에 대한 정보를 결합하여, 가상 수술도구의 동작상태에 대한 영상 정보를 영상처리부(23)에 전송한다.

또한, 시뮬레이터 제어부(21)는 상기 영상 처리부(23)에 의해 구현된 영상을 전송받아 분석한다. 즉, 3차원 영상 내에서 가상 수술도구의 동작상태를 분석하여 상기 동작상태에 따른 반력을 분석한다. 구체적으로, 3차원 영상 내에서 가상 수술도구가 동작하여 피부, 근육, 신경 등에 접촉하는 경우 이에 대한 반력을 분석한다.

상기 분석된 반력은 시뮬레이터 신호부(24)를 통해 컨트롤러(10)로 전송되어 상기 반력을 사용자가 감지할 수 있도록 한다.

또한, 시뮬레이터 제어부(21)는 시뮬레이터 신호부(24)를 제어하여 시뮬레이터(20)와 컨트롤러(10) 간의 신호정보를 송/수신하도록 제어한다. 즉, 3차원 대장내시경 영상에서 컨트롤러(10)의 가상 동작상태에 따른 반력에 대한 신호를 컨트롤러(10)에 전송하는 것을 제어하고, 상기 컨트롤러(10)로부터 컨트롤러(10)가 구현하는 가상 수술도구와 상기 수술도구에 대한 동작상태에 대한 신호를 전송받는 것을 제어한다.

아울러, 시뮬레이터 제어부(21)는 컨트롤러(10)의 동작상태에 따른 가상 동작상태가 실시간으로 3차원 대장내시경 영상에 구현될 수 있도록, 상기 시뮬레이터 신호부(24)를 제어하여 컨트롤러(10)로부터의 신호를 수신한다. 또한, 사용자가 컨트롤러(10)의 동작상태에 따른 반력을 실시간으로 감지할 수 있도록, 상기 시뮬레이터 신호부(24)를 제어하여 컨트롤러(10)에 신호 송신을 제어한다.

또한, 시뮬레이터 제어부(21)는 영상 출력부(25)를 제어하여 영상이 출력되도록 한다. 즉, 영상처리부(23)에서 구현된 3차원 대장내시경 영상을 전송받아 영상 출력부(25)로 전송하고, 실시간으로 영상이 출력될 수 있도록 영상 출력부(25)를 제어한다.

또한, 상기 가상 소견정보 저장부(26)는 컴퓨터단층촬영장치(CT)에 의해 촬영된 대장 영상을 보고 대장내시경 전문가들이 제공해주는 가상 소견 정보를 저장하는 역할을 한다. 여기서 대장내시경 전문가들이 제공해주는 가상 소견 정보는 온라인을 통해 수신하여 저장할 수 있으며, 오프라인으로 진행된 경우 키보드 등과 같은 입력장치를 통해 입력받아 저장할 수 있다. 예컨대, CT로 촬영한 환자의 대장 영상을 대장내시경 전문가들에게 보여주거나 전송하고, 대장내시경 전문가들로부터 획득한 소견 정보를 가상 소견 정보로 저장하게 된다. 이렇게 가상 소견정보 저장부(26)에 저장되는 가상 소견정보는 가상 대장내시경 시술시 영상 출력부(25)를 통해 화면에 디스플레이된다. 따라서 사용자(수련의)는 전문가에 의한 소견 정보를 참조하여 가상 대장내시경 시술을 시뮬레이션함으로써, 추후 실제 시술에서 진단과 처치에 더욱 정확성을 도모할 수 있게 된다.

또한, 상기 환자 영상 저장부(27)는 대장내시경 영상에 실제 광각과 각도를 적용하여 획득한 시술 전 환자의 영상을 저장하는 역할을 한다. 이렇게 광각과 각도에 따른 시술 전 환자의 영상을 영상 출력부(25)를 통해 표출해줌으로써, 사용자(수련의)는 대장내시경 수술 시뮬레이션시 실제 환자를 시술하는 것과 같은 시뮬레이션을 할 수 있으므로, 추후 실제 시술에서 진단과 처치에 더욱 정확성을 도모할 수 있게 된다.

이상, 본 발명의 대장내시경 수술 시뮬레이션시스템의 구성과 기능에 대하여 상세하게 설명하였다. 이하, 본 발명 대장내시경 수술 시뮬레이션시스템의 사용상태에 대하여 간단하게 설명하면 다음과 같다.

대장내시경 수술 시뮬레이션시스템을 사용하여 가상 대장내시경 수술을 시뮬레이션하기 위하여, 시술하고자 하는 환자에 대한 영상을 컴퓨터단층촬영장치(CT)에 의해 촬영하고, 상기 촬영 영상을 시뮬레이터(20)의 데이터베이스(22)에 저장한다. 이때, 상기 영상은 1㎜ 간격으로 촬영한다.

대장내시경 수술 시뮬레이션시 데이터베이스(22)에 전송된 촬영 영상은 영상처리부(23)로 전송되고, 상기 영상처리부(23)에서 3차원 영상으로 변환된다. 여기서 2차원 영상을 3차원 대장내시경 영상으로 변환하는 구체적인 설명은 이미 설명한 바 있으므로, 중복기재를 회피하기 위해 생략하기로 한다.

아울러 영상처리부(23)는 대장내시경 영상의 특성을 반영하여 3차원 대장내시경 영상을 구현하고, 상기 구현된 3차원 영상에 컨트롤러(10)에 의한 가상 수술도구의 가상 동작상태를 반영하여 3차원 대장내시경 영상을 구현한다.

상술한 바와 같이, 상기 과정을 통하여 영상처리부(23)에서 대장내시경 영상의 특성이 반영된 3차원 대장내시경 영상을 구현한다. 이때, 구현된 3차원 대장내시경 영상은 사용자(수련의)가 볼 수 있도록 영상 출력부(25)에 의해 출력된다.

영상 출력부(25)에 대장내시경 영상의 특성이 반영된 3차원 대장내시경 영상이 출력되면, 사용자는 컨트롤러(10)를 이용하여 가상 수술을 수행하게 된다. 이때, 사용자는 컨트롤러(10)를 이용하여 사용하고자 하는 가상 수술도구를 선택하고, 선택된 가상 수술도구를 이용하여 가상 수술을 수행한다.

사용자가 컨트롤러(10)를 이용하여 가상 수술을 하는 경우, 컨트롤러(10)와 시뮬레이터(20)는 상기 컨트롤러(10)의 동작상태가 3차원 대장내시경 영상에서 구현되도록 한다. 즉, 컨트롤러(10)는 동작상태에 대한 위치정보를 시뮬레이터(20)에 전송하고, 상기 시뮬레이터(20)는 상기 위치정보를 분석하여 3차원 대장내시경 영상에서 컨트롤러(10)가 구현되도록 한다. 도 3b는 가상의 대장 용종 조직을 제거하는 대장 내시경 수술 시뮬레이션 영상의 화면이다.

이때, 사용자는 컨트롤러(10)를 통해 가상 소견정보의 디스플레이를 요청할 수 있고, 이러한 요청에 따라 시뮬레이터 제어부(21)는 가상 소견정보 저장부(26)에 저장된 가상 소견정보를 영상 출력부(25)에 디스플레이한다. 여기서 가상 소견 정보는 진단 정보와 대장내시경 수술방법에 대한 정보를 포함할 수 있다.

또한, 사용자는 컨트롤러(10)를 통해 환자 영상의 디스플레이를 요청할 수 있고, 이러한 요청에 따라 시뮬레이터 제어부(21)는 환자 영상 저장부(27)에 저장된 환자 영상을 영상 출력부(25)에 디스플레이한다. 여기서 환자 영상을 실제 광각과 각도에 따른 시술 전 환자의 영상일 수 있다.

이러한 소견 정보 및 환자 영상 정보에 의해, 사용자(수련의)는 실제 환자의 대장 영상을 보면서, 전문의가 제시해주는 소견 정보 및 대장내시경 수술방법을 기초로 가상으로 대장내시경 수술을 시뮬레이션하게 된다.

그리고 가상 대장내시경 수술 시뮬레이션이 진행되면, 수술 진행에 대한 수술 영상을 데이터베이스(22)에 저장한다. 이렇게 저장되는 수술 영상을 기초로 가상 대장내시경 수술 시뮬레이션이 종료되면, 수술의 잘못된 점, 주의할 점 등을 분석할 수 있다. 이러한 분석은 추후 실제 대장 내시경 수술시 정확한 진단과 처치에 도움을 주게 된다.

또한, 3차원 대장내시경 영상에서 컨트롤러(10)의 가상 동작상태에 따른 반력을 사용자가 감지할 수 있도록, 시뮬레이터(20)는 컨트롤러(10)에 반력 신호를 전송한다. 상기 컨트롤러(10)는 상기 신호에 의해 구동되어, 사용자가 촉감 및 역감을 감지할 수 있도록 한다.

이로 인해, 사용자가 컨트롤러(10)를 조작하는 것에 대응하여 영상 출력부(25)에서 출력되는 3차원 대장내시경 영상에 컨트롤러(10)의 가상 동작상태가 구현되므로 실제 수술 환경과 동일한 환경에서 가상 수술이 가능해지는 것이다.

이상과 같이 본 발명 대장내시경 수술 시뮬레이션시스템은 컨트롤러(10)와 시뮬레이터(20)로 구성되며, 시뮬레이터(20)에 의해 대장내시경 영상의 특성이 반영된 3차원 대장내시경 영상이 구현되어 실제 수술환경과 동일한 환경을 구현할 수 있어, 학습 효과를 향상시킬 수 있게 되는 것이다.

이상 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.

10: 컨트롤러
20: 시뮬레이터
21: 시뮬레이터 제어부
22: 데이터베이스
23: 영상 처리부
25: 영상 출력부
26: 가상 소견정보 저장부
27: 환자 영상 저장부

Claims (7)

1. 사용자의 사용상태에 따라 신호를 발생시키는 컨트롤러; 및
   대장내시경 영상의 특성을 반영하여 2차원 대장 영상을 3차원 대장내시경 영상으로 구현하고, 상기 컨트롤러에서 발생한 신호에 따라 상기 3차원 대장내시경 영상에 컨트롤러의 가상 동작상태를 반영하여 가상 대장내시경 수술을 수행하는 시뮬레이터를 포함하며,
   상기 시뮬레이터는 대장내시경 전문가로부터 획득하여 저장한 가상 소견 정보 또는 실제 광각과 각도에 따른 시술 전 환자의 영상을 상기 3차원 대장내시경 영상 또는 화면에 출력해주며,
   상기 시뮬레이터는 컴퓨터단층촬영장치(CT)에 의해 촬영된 대장 영상을 보고 대장내시경 전문가들이 제공해주는 가상 소견 정보를 저장하는 가상 소견정보 저장부; CT영상에 대장내시경 영상의 특성을 반영하여 3차원 대장내시경 영상을 구현하는 영상 처리부; 상기 컨트롤러에서 발생한 신호에 따라 상기 3차원 대장내시경 영상에 컨트롤러의 가상 동작상태를 반영하여 가상 대장내시경 수술을 제어하는 시뮬레이터 제어부; 상기 시뮬레이터 제어부의 제어에 따라 상기 3차원 대장내시경 영상에 컨트롤러의 가상 동작상태를 반영한 시술 영상을 출력해주는 영상 출력부; 수술과정에서의 문제점 및 수술의 성공 여부를 파악할 수 있도록 가상 수술을 마친 후 생성되는 가상 수술 영상을 저장하는 데이터베이스를 포함하며,
   상기 컨트롤러는 사용자의 선택에 따라 가상 수술도구를 제어하며, 상기 가상 수술 도구는 시뮬레이터에서 구현되며,
   상기 시뮬레이터 제어부는 상기 데이터베이스를 제어하여 2차원 영상을 상기 영상 처리부로 전송하도록 제어하고, 상기 데이터베이스에 저장되어 있는 컨트롤러에 의해 구현되는 가상 수술도구에 대한 영상을 전송받으며, 시뮬레이터 신호부로부터 컨트롤러에 의해 구현되는 가상 수술도구의 동작상태를 전송받고, 가상 수술도구에 대한 영상과 동작상태에 대한 정보를 결합하여, 가상 수술도구의 동작상태에 대한 영상 정보를 상기 영상처리부에 전송하는 것을 특징으로 하는 대장내시경 수술 시뮬레이션시스템.
   
2. 삭제
3. 청구항 1에 있어서, 상기 3차원 대장내시경 영상은 컴퓨터단층촬영장치(CT)에 의해 촬영된 영상을 기초로 생성한 것을 특징으로 하는 대장내시경 수술 시뮬레이션시스템.
   
4. 삭제
5. 삭제
6. 삭제
7. 청구항 1에 있어서, 상기 영상 처리부는 2차원 영상을 3차원 입체영상으로 변환하는 랜더링부; 상기 변환된 3차원 영상으로부터 결손을 보정하는 영상 보상부; 상기 영상 보상부에 의해 결손 보정이 이루어진 3차원 입체영상에 텍스처 매핑을 수행하여 볼륨감과 현실감 및 입체감을 부가한 3차원 대장내시경 영상을 생성하는 텍스처 매핑부를 포함하는 것을 특징으로 하는 대장내시경 수술 시뮬레이션시스템.
   
   

Images