KR20160008130A - 수술 로봇 시스템 및 적응 제어 방법 - Google Patents
수술 로봇 시스템 및 적응 제어 방법 Download PDFInfo
- Publication number
- KR20160008130A KR20160008130A KR1020150181305A KR20150181305A KR20160008130A KR 20160008130 A KR20160008130 A KR 20160008130A KR 1020150181305 A KR1020150181305 A KR 1020150181305A KR 20150181305 A KR20150181305 A KR 20150181305A KR 20160008130 A KR20160008130 A KR 20160008130A
- Authority
- KR
- South Korea
- Prior art keywords
- scale factor
- surgical
- moving
- control object
- endoscope
- Prior art date
Links
Images
Classifications
-
- A61B19/2203—
-
- A61B2019/2211—
-
- A61B2019/2215—
-
- A61B2019/2223—
-
- A61B2019/223—
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Robotics (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Abstract
수술용 로봇 시스템 및 적응 제어 방법이 개시된다. 수술용 내시경 및 수술도구 중 하나 이상인 제어객체가 장착되는 수술용 로봇 시스템에 포함되어 상기 제어객체의 위치를 제어하는 마스터 인터페이스는, 제어객체의 이동 조작을 위한 사용자 명령을 입력받는 조작부와, 수술용 내시경으로부터 제공되는 영상 정보들 중 하나 이상인 기준 이미지와 기준 이미지에 상응하는 이동 스케일 팩터를 저장하는 저장부와, 수술용 내시경으로부터 현재 제공되는 현재 영상 정보가 기준 이미지에 비해 축소되었는지 확대되었는지를 판단하고, 그 축소 또는 확대 정도에 비례하도록 이동 스케일 팩터를 조정하여 재설정하는 스케일 팩터 연산부와, 조작부를 이용한 사용자 명령을 재설정된 이동 스케일 팩터에 상응하도록 변환하여 제어객체에 대한 조작 신호를 생성하는 조작 신호 생성부를 포함할 수 있다. 본 발명은, 수술 시간의 단축 및 수술 진행 과정에서의 수술자의 피로감 경감이 가능하고, 표시되는 영상 정보를 토대로 수술 도구의 이동 거리를 직관적으로 인식할 수 있도록 하는 효과가 있다.
Description
본 발명은 수술 로봇 시스템 및 적응 제어 방법에 관한 것이다.
의학적으로 수술이란 피부나 점막, 기타 조직을 의료 기계를 사용하여 자르거나 째거나 조작을 가하여 병을 치료하는 행위를 말한다. 특히, 수술부위의 피부를 절개하여 열고 그 내부에 있는 기관 등을 치료, 성형하거나 제거하는 개복 수술 등은 출혈, 부작용, 환자의 고통, 흉터 등의 문제로 인하여 최근에는 로봇(robot)을 사용한 수술이 대안으로서 각광받고 있다.
수술 로봇 시스템은 일반적으로 마스터 로봇과 슬레이브 로봇으로 구성되며, 마스터 로봇과 슬레이브 로봇은 독립적으로 구현되거나 일체형으로 구현될 수도 있다.
수술자가 마스터 로봇에 구비된 조종기(예를 들어 핸들)를 조작하면, 슬레이브 로봇의 로봇 암에 결합되거나 로봇 암이 파지하고 있는 수술도구(즉, 인스트루먼트(instrument))가 조작되어 수술이 수행된다.
수술자의 조종기 조작에 따른 수술이 진행되도록 하기 위해 수술 로봇 시스템은 다양한 동작 모드에서 지정된 동작을 수행한다. 다양한 동작 모드들 중 일부 동작 모드인 마스터 재위치 모드, 복강경 위치제어 모드, 홀드모드에 대해 설명하면 다음과 같다.
마스터 재위치 모드는 구비된 마스터 재위치 버튼이 눌려졌을 때의 수술 로봇 시스템의 동작 모드로서, 수술자가 조종기를 움직이더라도 조종기 조작에 따른 조작 명령이 슬레이브 로봇으로 전달되지 않는 동작 모드이다. 마스터 재위치 모드로의 진입을 위한 마스터 재위치 버튼은 이후 설명되는 바와 같이 클러치 버튼으로 구현될 수 있다.
복강경 위치제어 모드는 수술자가 조종기를 움직이면 슬레이브 로봇에 장착된 수술도구 대신 복강경이 조작되도록 하는 동작 모드이다. 수술자는 마스터 로봇에 미리 구비된 카메라 버튼(예를 들어, 페달)을 누른 상태에서 조종기를 움직임으로써 복강경 위치제어 모드에서 복강경 이동 등의 방식으로 복강경이 조작되도록 할 수 있다.
홀드 모드는 현재의 동작 상태를 그대로 고정시키는 동작 모드로서, 마스터 로봇과 슬레이브 로봇이 모두 현재 상태 그대로 정지되도록 하는 동작 모드이다. 수술자가 미리 설정된 버튼을 누르거나 콘솔(console)에서 얼굴을 떼는 등의 동작에 의해 수술 로봇 시스템은 홀드 모드로 진입될 수 있다.
이하, 관련 도면을 참조하여 종래 기술에 따른 수술 로봇 시스템의 마스터 재위치 모드 및 복강경 위치제어 모드의 동작에 대해 간략히 설명한다.
도 1은 종래 기술에 따른 수술용 로봇 시스템의 전체 구조를 나타낸 평면도이고, 도 2는 종래 기술에 따른 수술용 로봇 시스템의 마스터 인터페이스를 나타낸 개념도이며, 도 3a 및 도 3b는 종래 기술에 따른 수술용 로봇 시스템에 구비된 인스트루먼트의 이동 제어 과정을 나타낸 개념도이다.
도 1 및 도 2를 참조하면, 수술용 로봇 시스템은 수술대에 누워있는 환자에게 직접적으로 수술을 행하는 슬레이브 로봇(2)과 슬레이브 로봇(2)을 수술자가 원격 조종하는 마스터 로봇(1)을 포함하여 구성된다. 마스터 로봇(1)과 슬레이브 로봇(2)이 일체형으로 구성되는 경우, 마스터 인터페이스(4)는 일체화된 수술용 로봇의 인터페이스 부분에 상응될 수 있다.
슬레이브 로봇(2)은 로봇 암(3) 및 복강경(5)을 포함한다. 마스터 로봇(1)의 마스터 인터페이스(4)는 모니터(6), 핸들(10), 마스터 재위치 버튼 및 카메라 버튼을 포함한다. 마스터 재위치 버튼 및 카메라 버튼 각각은 클러치 버튼(14) 또는 페달(30) 등의 형태로 구현될 수 있다.
마스터 로봇(1)과 슬레이브 로봇(2)은 유선 통신망 또는 무선 통신망을 통해 상호 결합되어 조작 신호 등이 상대방으로 전송될 수 있다. 만일, 마스터 인터페이스(4)에 구비된 두 개의 핸들(10)에 의한 두 개의 조작신호 및/또는 복강경(5)의 위치 조정을 위한 조작신호가 동시에 및/또는 유사한 시점에서 전송될 필요가 있는 경우, 각 조작신호는 상호 독립적으로 슬레이브 로봇(2)으로 전송될 수 있다.
슬레이브 로봇(2)의 로봇 암(3)은 다자유도를 가지며 구동되도록 구현될 수 있다. 로봇 암(3)은 예를 들어 환자의 수술 부위에 삽입되는 수술도구, 수술도구를 수술 위치에 따라 요(yaw)방향으로 회전시키는 요동 구동부, 요동 구동부의 회전 구동과 직교하는 피치(pitch) 방향으로 수술도구를 회전시키는 피치 구동부, 수술도구를 길이 방향으로 이동시키는 이송 구동부와, 수술도구를 회전시키는 회전 구동부, 수술도구의 끝단에 설치되어 수술 병변을 절개 또는 절단하는 수술도구 구동부를 포함하여 구성될 수 있다.
마스터 인터페이스(4)에 구비된 두 개의 핸들(10)은 수술자가 양손에 각각 파지하여 조작할 수 있도록 형성되며, 수술자의 핸들(10) 조작에 따른 조작 신호가 슬레이브 로봇(2)으로 전송되어 로봇 암(3)이 제어된다.
마스터 인터페이스(4)의 모니터(6)에는 복강경(5)에 의해 입력되는 영상이 화상 이미지로 표시된다. 또한, 모니터(6)에는 예시된 바와 같이 환자의 심전도 그래프 등이 부가적으로 더 표시될 수도 있다.
마스터 인터페이스(4)에 구비되는 마스터 재위치 버튼은 수술자가 수술을 진행하는 중에, 수술 진행을 위한 작업영역(예를 들어, 수술도구의 조작을 위해 복강경(5)에 의해 촬영되는 영역)을 제1 위치에서 다른 위치인 제2 위치로 이동시킨 후 마스터 인터페이스(4)의 핸들(10)의 조작을 위한 행동영역을 재조정(예를 들어, 현재 작업영역의 중심위치가 핸들(10)의 기본 위치로 복귀 조정)하고자할 때 이용할 수 있는 제어 버튼이다.
수술자가 마스터 재위치 버튼을 입력한 상태(예를 들어, 페달(30)을 밟은 상태)에서 핸들(10)을 어느 방향으로 조작하더라도 이에 따른 수술도구 조작 명령이나 복강경(5) 조작 명령이 슬레이브 로봇(2)으로 제공되지 않으므로, 수술자는 수술 동작의 편의를 위해 핸들(10)을 원래의 상태로 복귀시킬 수 있다.
즉, 수술자는 작업영역을 제1 위치에서 제2 위치로 이동시키고자 하는 경우, 우선 복강경(5) 이동을 위한 카메라 버튼 입력을 입력(즉, 복강경 위치제어 모드로의 진입)하고, 핸들(10) 조작에 의해 복강경(5)을 원하는 위치로 이동시킨 후, 복강경(5) 이동을 위해 임의의 방향으로 조작된 핸들(10)이 원래의 위치로 복귀될 때 복강경(5)이 이동되지 않도록 하기 위해 마스터 재위치 버튼을 누른 상태(마스터 재위치 모드)에서 핸들(10)을 원래의 위치로 복귀 조작한 후 마스터 재위치 버튼의 누름 상태를 종료함으로써, 변경된 작업영역 내에서 수술도구의 조작을 위한 핸들(10) 조작이 가능하도록 행동영역을 재조정할 수 있다.
그러나 복강경 위치제어 모드에서의 핸들(10) 조작에 의해 복강경(5)이 상응하는 방향으로 이동되는 정도가 미리 설정된 크기의 작업영역(310)의 크기로 제한되어, 도 3a에 도시된 바와 같이 작업영역(310)을 (a) 영역에서 (b) 영역으로 이동하고자 하는 경우 수술자에게 큰 불편함을 야기하는 원인이 된다.
즉, (a) 영역인 작업영역(310)을 (b) 영역으로 이동시키고자 할 때, 도 3b에 예시된 바와 같이, 수술자는 작업영역(310)을 (a), (p1), (p2), (p3) 및 (b)의 단계로 순차적 이동하도록 제약되며, 각 이동 단계에서 수술자는 복강경(5) 이동을 위한 카메라 버튼 입력, 핸들(10) 조작에 따른 복강경(5) 이동, 핸들(10)을 원래의 위치로 복귀하도록 하기 위한 마스터 재위치 버튼의 입력 및 입력 종료의 과정을 반복하여야 하며 작업영역(310)을 이동시키는 경로가 달라진다면 카메라 버튼 및 마스터 재위치 버튼의 입력 횟수는 더 많아질 수 있다. 여기서, 도 3b의 c_a, c_b 등은 핸들(10) 조작에 따른 복강경(5)의 이동 위치를 나타낸다.
또한 종래기술에 따른 수술용 로봇 시스템에서의 수술도구 이동 방식의 문제점은 복강경(5)을 통해 입력되는 영상 정보의 배율에 관계없이 유지되는 것이다.
이는, 수술도구의 이동 간격을 정의하는 이동 스케일 팩터(MSF, Motion Scale Factor)가 미리 설정된 작업 영역(310) 내에서 최적의 움직임을 가지도록 일정하게 고정되어 있을 뿐, 복강경(5)을 통해 입력되는 영상 정보가 어느 부분 및 어느 영역을 포함하고 있는지가 전혀 고려되지 않기 때문이다.
또한, 작업 영역 단위의 복강경(5) 이동 메커니즘은 결과적으로 수술 시간의 장기화를 초래하며, 고도의 긴장 상태에서 수술을 진행하는 의사에게 심각한 피로감을 유발시키는 문제점도 있다.
전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
본 발명은, 복강경을 통해 촬영된 영상 정보가 어느 영역 및 어느 범위의 피사체에 관한 것인지에 따라 수술도구의 이동 스케일 팩터를 적응적으로 가변할 수 있는 수술용 로봇 시스템 및 적응 제어 방법을 제공하기 위한 것이다.
본 발명은, 수술 시간의 단축 및 수술 진행 과정에서의 수술자의 피로감 경감이 가능하고, 표시되는 영상 정보를 토대로 수술 도구의 이동 거리를 직관적으로 인식할 수 있도록 하는 수술용 로봇 시스템 및 적응 제어 방법을 제공하기 위한 것이다.
본 발명은, 복강경 및/또는 수술도구의 조작 편의성을 극대화할 수 있는 수술용 로봇 시스템 및 적응 제어 방법을 제공하기 위한 것이다.
본 발명은, 복강경의 조작을 위해 이용되는 카메라 버튼을 개선하고 별도의 위치제어/속도제어 버튼을 추가함으로써 새로운 동작을 구현할 수 있는 수술용 로봇 시스템 및 적응 제어 방법을 제공하기 위한 것이다.
본 발명의 일 측면에 따르면, 수술용 내시경 및 수술도구 중 하나 이상인 제어객체가 장착되는 수술용 로봇 시스템에 포함되어 상기 제어객체의 위치를 제어하는 마스터 인터페이스로서, 제어객체의 이동 조작을 위한 사용자 명령을 입력받는 조작부와, 수술용 내시경으로부터 제공되는 영상 정보들 중 하나 이상인 기준 이미지와 기준 이미지에 상응하는 이동 스케일 팩터(Motion Scale Factor)를 저장하는 저장부와, 수술용 내시경으로부터 현재 제공되는 현재 영상 정보가 기준 이미지에 비해 축소되었는지 확대되었는지를 판단하고, 그 축소 또는 확대 정도에 선형적 또는 비선형적으로 비례하도록 이동 스케일 팩터를 조정하여 재설정하는 스케일 팩터 연산부와, 조작부를 이용한 사용자 명령을 재설정된 이동 스케일 팩터에 상응하도록 변환하여 제어객체에 대한 조작 신호를 생성하는 조작 신호 생성부를 포함하는 마스터 인터페이스가 제공된다.
스케일 팩터 연산부는 현재 영상 정보가 기준 이미지에 비해 축소되었는지 확대되었는지를 판단하기 위해, 현재 영상 정보가 기준 이미지 중 일치하는 영역을 미리 설정된 영상 해석 기법에 따라 검출하여 구역 설정할 수 있다.
스케일 팩터 연산부는 설정된 구역의 가로 사이즈, 세로 사이즈, 대각선 길이 및 넓이 중 하나 이상인 환산 정보와 기준 이미지에서 환산 정보에 대응되는 정보간의 비례 관계를 이용하여 이동 스케일 팩터를 조정할 수 있다.
사용자 명령에 따른 제어객체의 이동 거리는 이동 스케일 팩터에 종속되어 조정될 수 있다.
수술용 내시경은 복강경, 흉강경, 관절경, 비경, 방광경, 직장경, 십이지장경, 종격경, 심장경 중 하나 이상일 수 있다.
본 발명의 다른 측면에 따르면, 수술용 내시경 및 수술도구 중 하나 이상인 제어객체가 장착되는 수술용 로봇 시스템에 포함되어 상기 제어객체의 위치를 제어하는 마스터 인터페이스로서, 제어객체의 이동 조작을 위한 사용자 명령을 입력받는 조작부와, 수술용 내시경의 촬영 조건에 따른 하나 이상의 이동 스케일 팩터를 저장하는 저장부와, 수술용 내시경의 촬영 조건에 관한 정보를 제공받아 상응하는 이동 스케일 팩터를 저장부에서 검색하여 적용할 이동 스케일 팩터로 설정하는 스케일 팩터 연산부와, 조작부를 이용한 사용자 명령을 설정된 이동 스케일 팩터에 상응하도록 변환하여 제어객체에 대한 조작 신호를 생성하는 조작 신호 생성부를 포함하는 마스터 인터페이스가 제공된다.
촬영 조건은 수술용 내시경의 영상 촬영 줌 배율, 촬영 위치, 수술 부위 표면과의 거리 및 촬영되는 수술 부위의 실제 크기 중 하나 이상일 수 있다.
영상 촬영 줌 배율이 고배율인 경우의 이동 스케일 팩터가 영상 촬영 줌 배율이 저배율인 경우의 이동 스케일 팩터보다 상대적으로 작은 값을 가질 수 있다.
수술용 내시경이 상대적으로 더 인체 내부로 삽입된 경우의 이동 스케일 팩터가 수술용 내시경이 상대적으로 덜 삽입된 경우의 이동 스케일 팩터보다 작은 값을 가질 수 있다.
수술 부위 표면과의 거리를 감지하기 위해 구비된 센서로부터 센싱값을 수신하되, 수술부위 표면과의 거리가 가까울수록 이동 스케일 팩터는 상대적으로 작은 값으로 설정될 수 있다.
촬영되는 수술부위의 실제 크기가 작아질수록 이동 스케일 팩터는 상대적으로 작은 값으로 설정될 수 있다.
사용자 명령에 따른 수술 도구의 이동 거리는 이동 스케일 팩터에 종속되어 조정될 수 있다.
사용자 명령이 수술용 내시경의 이동 조작을 위한 명령인 경우, 수술용 내시경의 이동 거리는 이동 스케일 팩터에 종속되어 조정될 수 있다.
촬영 조건의 변동에 따라 이동 스케일 팩터는 실시간 연산되어 저장부에 저장 처리될 수 있다.
스케일 팩터 연산부는, 제어객체의 이동 조작을 위해 조작부가 상대적으로 큰 조작량으로 조작되는 경우, 조작부가 상대적으로 적은 조작량으로 조작되는 경우보다 큰 이동 스케일 팩터를 설정할 수 있다.
수술용 내시경이 3차원 영상 획득 장치인 경우, 촬영 조건에 관한 정보는 수술용 내시경에 의해 촬영된 영상 정보의 해석을 통해 계산된 깊이(depth) 정보일 수 있다.
수술용 내시경은 복강경, 흉강경, 관절경, 비경, 방광경, 직장경, 십이지장경, 종격경, 심장경 중 하나 이상일 수 있다.
본 발명의 또 다른 측면에 따르면, 마스터 인터페이스에서 수행되는 수술용 내시경 및 수술도구 중 하나 이상인 제어객체의 적응적 제어 방법으로서, 수술용 내시경으로부터 제공되는 영상 정보들 중 하나 이상인 기준 이미지와 기준 이미지에 상응하는 이동 스케일 팩터(Motion Scale Factor)를 저장하는 단계와, 수술용 내시경으로부터 현재 제공되는 현재 영상 정보가 기준 이미지에 비해 축소되었는지 확대되었는지를 판단하는 단계와, 판단된 축소 또는 확대 정도에 선형적 또는 비선형적으로 비례하도록 이동 스케일 팩터를 조정하여 재설정하는 단계와, 제어객체의 이동 조작을 위해 입력된 사용자 명령을 재설정된 이동 스케일 팩터에 상응하도록 변환하여 제어객체의 조작 신호를 생성하는 단계를 포함하는 제어객체의 적응적 제어 방법이 제공된다.
판단하는 단계는, 현재 영상 정보가 기준 이미지에 비해 축소되었는지 확대되었는지를 판단하기 위해, 현재 영상 정보가 기준 이미지 중 일치하는 영역을 미리 설정된 영상 해석 기법에 따라 검출하여 구역 설정할 수 있다.
조정하여 재설정하는 단계는, 설정된 구역의 가로 사이즈, 세로 사이즈, 대각선 길이 및 넓이 중 하나 이상인 환산 정보와 기준 이미지에서 환산 정보에 대응되는 정보간의 비례 관계를 이용하여 이동 스케일 팩터를 조정할 수 있다.
사용자 명령에 따른 제어객체의 이동 거리는 이동 스케일 팩터에 종속되어 조정될 수 있다.
수술용 내시경은 복강경, 흉강경, 관절경, 비경, 방광경, 직장경, 십이지장경, 종격경, 심장경 중 하나 이상일 수 있다.
본 발명의 또 다른 측면에 따르면, 마스터 인터페이스에서 수행되는 수술용 내시경 및 수술도구 중 하나 이상인 제어객체의 적응적 제어 방법으로서, 수술용 내시경의 촬영 조건에 따른 하나 이상의 이동 스케일 팩터들을 저장하는 단계와, 수술용 내시경의 촬영 조건에 관한 정보를 제공받아 상응하는 이동 스케일 팩터를 저장부에서 검색하여 적용할 이동 스케일 팩터로 설정하는 단계와, 제어객체의 이동 조작을 위해 입력된 사용자 명령을 재설정된 이동 스케일 팩터에 상응하도록 변환하여 제어객체에 대한 조작 신호를 생성하는 단계를 포함하는 수술 도구의 적응적 제어 방법이 제공된다.
촬영 조건은 수술용 내시경의 영상 촬영 줌 배율, 촬영 위치, 수술 부위 표면과의 거리 및 촬영되는 수술 부위의 실제 크기 중 하나 이상일 수 있다.
영상 촬영 줌 배율이 고배율인 경우의 이동 스케일 팩터가 영상 촬영 줌 배율이 저배율인 경우의 이동 스케일 팩터보다 상대적으로 작은 값을 가질 수 있다.
수술용 내시경이 상대적으로 더 인체 내부로 삽입된 경우의 이동 스케일 팩터가 수술용 내시경이 상대적으로 덜 삽입된 경우의 이동 스케일 팩터보다 작은 값을 가질 수 있다.
센서에 의해 감지된 수술 부위 표면과의 거리 정보를 제공받는 단계를 더 포함하되, 수술부위 표면과의 거리가 가까울수록 이동 스케일 팩터는 상대적으로 작은 값으로 설정될 수 있다.
촬영되는 수술부위의 실제 크기가 작아질수록 이동 스케일 팩터는 상대적으로 작은 값으로 설정될 수 있다.
사용자 명령에 따른 제어객체의 이동 거리는 이동 스케일 팩터에 종속되어 조정될 수 있다.
촬영 조건의 변동에 따라 이동 스케일 팩터는 실시간 연산되어 저장부에 저장 처리될 수 있다.
설정하는 단계는, 제어객체의 이동 조작을 위해 사용자 명령이 상대적으로 큰 조작부의 조작량에 대한 것인 경우, 조작부가 상대적으로 적은 조작량으로 조작되는 경우보다 큰 이동 스케일 팩터로 설정할 수 있다.
수술용 내시경이 3차원 영상 획득 장치인 경우, 촬영 조건에 관한 정보는 수술용 내시경에 의해 촬영된 영상 정보의 해석을 통해 계산된 깊이(depth) 정보일 수 있다.
수술용 내시경은 복강경, 흉강경, 관절경, 비경, 방광경, 직장경, 십이지장경, 종격경, 심장경 중 하나 이상일 수 있다.
본 발명의 또 다른 측면에 따르면, 수술용 내시경 및 수술도구 중 하나 이상인 제어객체가 장착되는 수술용 로봇 시스템에 포함되어 제어객체의 위치를 제어하는 마스터 인터페이스로서, 제어객체의 이동 조작을 위한 사용자 명령을 입력받는 조작부와, 도구/비전 선택(Instrument/Vision Selection) 입력수단의 선택 정보에 따라 상응하는 제어객체의 위치 제어를 위한 조작 신호를 조작부의 조작량에 상응하도록 생성하는 조작 신호 생성부를 포함하는 마스터 인터페이스가 제공된다.
조작 신호 생성부는 위치제어 모드가 선택되었는지 여부를 판단하여, 선택된 경우에만 상기 위치 제어를 위한 조작 신호를 생성할 수 있다.
도구/비전 선택 입력수단의 선택 정보에 따라 제어객체는 수술용 내시경 및 수술도구 중 하나 이상으로 지정될 수 있다.
도구/비전 선택 입력수단은 제어객체의 지정을 위해 하나 이상의 버튼으로 구성될 수 있다.
도구/비전 선택 입력수단의 선택 정보에 따라 제어객체가 수술용 내시경 및 수술도구로 지정된 경우, 조작 신호 생성부는 조작부의 조작 방향에 상응하는 방향으로 수술용 내시경 및 수술도구가 정렬 상태를 유지하며 이동되도록 하는 조작 신호를 생성할 수 있다.
도구/비전 선택 입력수단의 선택 정보에 따라 제어객체가 수술용 내시경 및 수술도구로 지정된 경우, 수술부위 중 임의의 부위를 잡고 있는 상태인 수술도구, 수술용 내시경에 의해 그 끝단이 촬영되지 않는 수술도구, 죠(jaw)가 다물어져 있는 상태인 수술도구, 수술자에 의해 고정 상태를 유지하도록 지정된 수술도구 및 복수의 조작부에 각각 구비된 고정 상태 유지 버튼 중 임의의 고정 상태 버튼이 눌려진 경우 해당 조작부에 상응하도록 설정된 수술도구 중 하나 이상은 조작부의 조작에 관계없이 이동하지 않고 그 위치를 유지할 수 있다.
조작부의 조작량에 상응하도록 제어되는 제어객체의 위치 이동량은 이동 스케일 팩터(Motion Scale Factor)에 종속되어 결정될 수 있다.
수술용 내시경으로부터 제공되는 영상 정보들 중 하나 이상인 기준 이미지와 기준 이미지에 상응하는 이동 스케일 팩터를 저장하는 저장부와, 수술용 내시경으로부터 현재 제공되는 현재 영상 정보가 기준 이미지에 비해 축소되었는지 확대되었는지를 판단하고, 그 축소 또는 확대 정도에 선형적 또는 비선형적으로 비례하도록 이동 스케일 팩터를 조정하여 재설정하는 스케일 팩터 연산부를 더 포함하되, 조작 신호 생성부는 조작부의 조작량을 재설정된 이동 스케일 팩터에 상응하도록 변환하여 조작 신호를 생성할 수 있다.
스케일 팩터 연산부는 현재 영상 정보가 기준 이미지에 비해 축소되었는지 확대되었는지를 판단하기 위해, 현재 영상 정보가 기준 이미지 중 일치하는 영역을 미리 설정된 영상 해석 기법에 따라 검출하여 구역 설정할 수 있다.
스케일 팩터 연산부는 설정된 구역의 가로 사이즈, 세로 사이즈, 대각선 길이 및 넓이 중 하나 이상인 환산 정보와 기준 이미지에서 환산 정보에 대응되는 정보간의 비례 관계를 이용하여 이동 스케일 팩터를 조정할 수 있다.
수술용 내시경의 촬영 조건에 따른 하나 이상의 이동 스케일 팩터를 저장하는 저장부와, 수술용 내시경의 촬영 조건에 관한 정보를 제공받아 상응하는 이동 스케일 팩터를 저장부에서 검색하여 적용할 이동 스케일 팩터로 설정하는 스케일 팩터 연산부를 더 포함하되, 조작 신호 생성부는 조작부의 조작량을 설정된 이동 스케일 팩터에 상응하도록 변환하여 조작 신호를 생성할 수 있다.
촬영 조건은 수술용 내시경의 영상 촬영 줌 배율, 촬영 위치, 수술 부위 표면과의 거리 및 촬영되는 수술 부위의 실제 크기 중 하나 이상일 수 있다.
영상 촬영 줌 배율이 고배율인 경우의 이동 스케일 팩터가 영상 촬영 줌 배율이 저배율인 경우의 이동 스케일 팩터보다 상대적으로 작은 값을 가질 수 있다.
수술용 내시경이 상대적으로 더 인체 내부로 삽입된 경우의 이동 스케일 팩터가 수술용 내시경이 상대적으로 덜 삽입된 경우의 이동 스케일 팩터보다 작은 값을 가질 수 있다.
수술 부위 표면과의 거리를 감지하기 위해 구비된 센서로부터 센싱값을 수신하되, 수술부위 표면과의 거리가 가까울수록 이동 스케일 팩터는 상대적으로 작은 값으로 설정될 수 있다.
촬영되는 수술부위의 실제 크기가 작아질수록 이동 스케일 팩터는 상대적으로 작은 값으로 설정될 수 있다.
촬영 조건의 변동에 따라 이동 스케일 팩터는 실시간 연산되어 저장부에 저장 처리될 수 있다.
스케일 팩터 연산부는, 수술 도구의 이동 조작을 위해 조작부가 상대적으로 큰 조작량으로 조작되는 경우, 조작부가 상대적으로 적은 조작량으로 조작되는 경우보다 큰 이동 스케일 팩터를 설정할 수 있다.
수술용 내시경이 3차원 영상 획득 장치인 경우, 촬영 조건에 관한 정보는 수술용 내시경에 의해 촬영된 영상 정보의 해석을 통해 계산된 깊이(depth) 정보일 수 있다.
수술용 내시경은 복강경, 흉강경, 관절경, 비경, 방광경, 직장경, 십이지장경, 종격경, 심장경 중 하나 이상일 수 있다.
본 발명의 또 다른 측면에 따르면, 마스터 인터페이스에서 수행되는 수술용 내시경 및 수술도구 중 하나 이상인 제어객체에 대한 위치 제어 방법으로서, 조작부를 이용하여 제어객체의 이동 조작을 위한 사용자 명령을 입력받는 단계와, 도구/비전 선택(Instrument/Vision Selection) 입력수단의 선택 정보에 따라 상응하는 제어객체의 위치 제어를 위한 조작 신호를 조작부의 조작량에 상응하도록 생성하는 단계를 포함하는 제어객체에 대한 위치 제어 방법이 제공된다.
도구/비전 선택 입력수단의 선택 정보에 따라 제어객체는 수술용 내시경 및 수술도구 중 하나 이상으로 지정될 수 있다.
도구/비전 선택 입력수단의 선택 정보에 따라 제어객체가 수술용 내시경 및 수술도구로 지정된 경우, 생성하는 단계는 조작부의 조작 방향에 상응하는 방향으로 수술용 내시경 및 수술도구가 정렬 상태를 유지하며 이동되도록 하는 조작 신호를 생성할 수 있다.
도구/비전 선택 입력수단의 선택 정보에 따라 제어객체가 수술용 내시경 및 수술도구로 지정된 경우, 수술부위 중 임의의 부위를 잡고 있는 상태인 수술도구, 수술용 내시경에 의해 그 끝단이 촬영되지 않는 수술도구, 죠(jaw)가 다물어져 있는 상태인 수술도구, 수술자에 의해 고정 상태를 유지하도록 지정된 수술도구 및 복수의 조작부에 각각 구비된 고정 상태 유지 버튼 중 임의의 고정 상태 버튼이 눌려진 경우 해당 조작부에 상응하도록 설정된 수술도구 중 하나 이상은 조작부의 조작에 관계없이 이동하지 않고 그 위치를 유지할 수 있다.
조작부의 조작량에 상응하도록 제어되는 제어객체의 위치 이동량은 이동 스케일 팩터(Motion Scale Factor)에 종속되어 결정될 수 있다.
생성하는 단계는, 수술용 내시경으로부터 현재 제공되는 현재 영상 정보가 수술용 내시경에 의해 제공된 영상 정보들 중 어느 하나인 기준 이미지에 비해 축소되었는지 확대되었는지를 판단하는 단계와, 축소 또는 확대된 경우 그 축소 또는 확대 정도에 선형적 또는 비선형적으로 비례하도록 이동 스케일 팩터를 조정하여 재설정하는 단계와, 재설정된 이동 스케일 팩터에 부합하도록 변환된 조작량에 상응하는 조작 신호를 생성하는 단계를 포함하는 것을 특징으로 하는 제어객체에 대한 위치 제어 방법이 제공된다.
축소되었는지 확대되었는지를 판단하는 단계에서, 현재 영상 정보가 기준 이미지 중 일치하는 영역을 미리 설정된 영상 해석 기법에 따라 검출하여 구역 설정할 수 있다.
생성하는 단계는, 수술용 내시경의 촬영 조건에 관한 정보를 제공받는 단계와, 저장부에 미리 저장된 촬영 조건에 따른 하나 이상의 이동 스케일 팩터 중 제공받은 정보에 상응하는 이동 스케일 팩터를 추출하는 단계와, 조작부의 조작량을 추출된 이동 스케일 팩터에 상응하도록 변환하여 조작 신호를 생성하는 단계를 포함할 수 있다.
촬영 조건은 수술용 내시경의 영상 촬영 줌 배율, 촬영 위치, 수술 부위 표면과의 거리 및 수술용 내시경에 의해 촬영되는 수술 부위의 실제 크기 중 하나 이상일 수 있다.
영상 촬영 줌 배율이 고배율인 경우의 이동 스케일 팩터가 영상 촬영 줌 배율이 저배율인 경우의 이동 스케일 팩터보다 상대적으로 작은 값을 가질 수 있다.
수술용 내시경이 상대적으로 더 인체 내부로 삽입된 경우의 이동 스케일 팩터가 수술용 내시경이 상대적으로 덜 삽입된 경우의 이동 스케일 팩터보다 작은 값을 가질 수 있다.
수술 부위 표면과의 거리를 감지하기 위해 구비된 센서로부터 센싱값을 수신하는 단계를 더 포함하되, 수술부위 표면과의 거리가 가까울수록 이동 스케일 팩터는 상대적으로 작은 값으로 설정될 수 있다.
촬영되는 수술부위의 실제 크기가 작아질수록 이동 스케일 팩터는 상대적으로 작은 값으로 설정될 수 있다.
촬영 조건의 변동에 따라 이동 스케일 팩터는 실시간 연산되어 저장부에 저장 처리될 수 있다.
제어객체의 위치 제어를 위해 조작부가 상대적으로 큰 조작량으로 조작되는 경우, 조작부가 상대적으로 적은 조작량으로 조작되는 경우보다 큰 이동 스케일 팩터가 설정될 수 있다.
수술용 내시경이 3차원 영상 획득 장치인 경우, 촬영 조건에 관한 정보는 수술용 내시경에 의해 촬영된 영상 정보의 해석을 통해 계산된 깊이(depth) 정보일 수 있다.
본 발명의 또 다른 측면에 따르면, 수술용 내시경 및 수술도구 중 하나 이상인 제어객체가 장착되는 수술용 로봇 시스템에 포함되어 제어객체의 이동 속도를 제어하는 마스터 인터페이스로서, 제어객체의 이동 조작을 위한 사용자 명령을 입력받는 조작부와, 도구/비전 선택(Instrument/Vision Selection) 입력수단의 선택 정보에 따라 상응하는 제어객체의 이동 속도를 제어하기 위한 조작 신호를 조작부의 조작량에 상응하도록 생성하는 조작 신호 생성부를 포함하는 마스터 인터페이스가 제공된다.
조작 신호 생성부는 속도제어 모드가 선택되었는지 여부를 판단하고, 선택된 경우에만 상기 이동 속도를 제어하기 위한 조작 신호를 생성할 수 있다.
조작부의 조작량이 상대적으로 클수록 제어객체의 이동 속도는 상대적으로 큰 값으로 지정될 수 있다.
도구/비전 선택 입력수단의 선택 정보에 따라 제어객체는 수술용 내시경 및 수술도구 중 하나 이상으로 지정될 수 있다.
도구/비전 선택 입력수단은 제어객체의 지정을 위해 하나 이상의 버튼으로 구성될 수 있다.
도구/비전 선택 입력수단의 선택 정보에 따라 제어객체가 수술용 내시경 및 수술도구로 지정된 경우, 조작 신호 생성부는 조작부의 조작 방향에 상응하는 방향으로 수술용 내시경 및 수술도구가 정렬 상태를 유지하며 이동되도록 하는 조작 신호를 생성할 수 있다.
도구/비전 선택 입력수단의 선택 정보에 따라 제어객체가 수술용 내시경 및 수술도구로 지정된 경우, 수술부위 중 임의의 부위를 잡고 있는 상태인 수술도구, 수술용 내시경에 의해 그 끝단이 촬영되지 않는 수술도구, 죠(jaw)가 다물어져 있는 상태인 수술도구, 수술자에 의해 고정 상태를 유지하도록 지정된 수술도구 및 복수의 조작부에 각각 구비된 고정 상태 유지 버튼 중 임의의 고정 상태 버튼이 눌려진 경우 해당 조작부에 상응하도록 설정된 수술도구 중 하나 이상은 조작부의 조작에 관계없이 이동하지 않고 그 위치를 유지할 수 있다.
조작부의 조작량에 상응하도록 제어되는 제어객체의 이동 속도는 이동 스케일 팩터(Motion Scale Factor)에 종속되어 결정될 수 있다.
수술용 내시경으로부터 제공되는 영상 정보들 중 하나 이상인 기준 이미지와 기준 이미지에 상응하는 이동 스케일 팩터를 저장하는 저장부와, 수술용 내시경으로부터 현재 제공되는 현재 영상 정보가 기준 이미지에 비해 축소되었는지 확대되었는지를 판단하고, 그 축소 또는 확대 정도에 선형적 또는 비선형적으로 비례하도록 이동 스케일 팩터를 조정하여 재설정하는 스케일 팩터 연산부를 더 포함하되, 조작 신호 생성부는 조작부의 조작량을 재설정된 이동 스케일 팩터에 상응하도록 변환하여 조작 신호를 생성할 수 있다.
스케일 팩터 연산부는 현재 영상 정보가 기준 이미지에 비해 축소되었는지 확대되었는지를 판단하기 위해, 현재 영상 정보가 기준 이미지 중 일치하는 영역을 미리 설정된 영상 해석 기법에 따라 검출하여 구역 설정할 수 있다.
스케일 팩터 연산부는 설정된 구역의 가로 사이즈, 세로 사이즈, 대각선 길이 및 넓이 중 하나 이상인 환산 정보와 기준 이미지에서 환산 정보에 대응되는 정보간의 비례 관계를 이용하여 이동 스케일 팩터를 조정할 수 있다.
수술용 내시경의 촬영 조건에 따른 하나 이상의 이동 스케일 팩터를 저장하는 저장부와, 수술용 내시경의 촬영 조건에 관한 정보를 제공받아 상응하는 이동 스케일 팩터를 저장부에서 검색하여 적용할 이동 스케일 팩터로 설정하는 스케일 팩터 연산부를 더 포함하되, 조작 신호 생성부는 조작부의 조작량을 설정된 이동 스케일 팩터에 상응하도록 변환하여 조작 신호를 생성할 수 있다.
촬영 조건은 수술용 내시경의 영상 촬영 줌 배율, 촬영 위치, 수술 부위 표면과의 거리 및 촬영되는 수술 부위의 실제 크기 중 하나 이상일 수 있다.
영상 촬영 줌 배율이 고배율인 경우의 이동 스케일 팩터가 영상 촬영 줌 배율이 저배율인 경우의 이동 스케일 팩터보다 상대적으로 작은 값을 가질 수 있다.
수술용 내시경이 상대적으로 더 인체 내부로 삽입된 경우의 이동 스케일 팩터가 수술용 내시경이 상대적으로 덜 삽입된 경우의 이동 스케일 팩터보다 작은 값을 가질 수 있다.
수술 부위 표면과의 거리를 감지하기 위해 구비된 센서로부터 센싱값을 수신하되, 수술부위 표면과의 거리가 가까울수록 이동 스케일 팩터는 상대적으로 작은 값으로 설정될 수 있다.
촬영되는 수술부위의 실제 크기가 작아질수록 이동 스케일 팩터는 상대적으로 작은 값으로 설정될 수 있다.
촬영 조건의 변동에 따라 이동 스케일 팩터는 실시간 연산되어 저장부에 저장 처리될 수 있다.
스케일 팩터 연산부는, 수술 도구의 이동 조작을 위해 조작부가 상대적으로 큰 조작량으로 조작되는 경우, 조작부가 상대적으로 적은 조작량으로 조작되는 경우보다 큰 이동 스케일 팩터를 설정할 수 있다.
수술용 내시경이 3차원 영상 획득 장치인 경우, 촬영 조건에 관한 정보는 수술용 내시경에 의해 촬영된 영상 정보의 해석을 통해 계산된 깊이(depth) 정보일 수 있다.
수술용 내시경은 복강경, 흉강경, 관절경, 비경, 방광경, 직장경, 십이지장경, 종격경, 심장경 중 하나 이상일 수 있다.
본 발명의 또 다른 측면에 따르면, 수술용 내시경 및 수술도구 중 하나 이상인 제어객체가 장착되는 수술용 로봇 시스템에서 수행되는 제어객체의 이동 속도 제어 방법으로서, 조작부를 이용하여 제어객체의 이동 조작을 위한 사용자 명령을 입력받는 단계와, 도구/비전 선택(Instrument/Vision Selection) 입력수단의 선택 정보에 따라 상응하는 제어객체의 이동 속도를 제어하기 위한 조작 신호를 조작부의 조작량에 상응하도록 생성하는 단계를 포함하는 제어객체의 이동 속도 제어 방법이 제공된다.
생성하는 단계에서, 조작부의 조작량이 상대적으로 클수록 제어객체의 이동 속도는 상대적으로 큰 값으로 지정될 수 있다.
도구/비전 선택 입력수단의 선택 정보에 따라 제어객체는 수술용 내시경 및 수술도구 중 하나 이상으로 지정될 수 있다.
도구/비전 선택 입력수단의 선택 정보에 따라 제어객체가 수술용 내시경 및 수술도구로 지정된 경우, 생성하는 단계는, 조작부의 조작 방향에 상응하는 방향으로 수술용 내시경 및 수술도구가 정렬 상태를 유지하며 이동되도록 하는 조작 신호를 생성할 수 있다.
도구/비전 선택 입력수단의 선택 정보에 따라 제어객체가 수술용 내시경 및 수술도구로 지정된 경우, 수술부위 중 임의의 부위를 잡고 있는 상태인 수술도구, 수술용 내시경에 의해 그 끝단이 촬영되지 않는 수술도구, 죠(jaw)가 다물어져 있는 상태인 수술도구, 수술자에 의해 고정 상태를 유지하도록 지정된 수술도구 및 복수의 조작부에 각각 구비된 고정 상태 유지 버튼 중 임의의 고정 상태 버튼이 눌려진 경우 해당 조작부에 상응하도록 설정된 수술도구 중 하나 이상은 조작부의 조작에 관계없이 이동하지 않고 그 위치를 유지할 수 있다.
조작부의 조작량에 상응하도록 제어되는 제어객체의 이동 속도는 이동 스케일 팩터(Motion Scale Factor)에 종속되어 결정될 수 있다.
생성하는 단계는, 수술용 내시경으로부터 현재 제공되는 현재 영상 정보가 수술용 내시경에 의해 제공된 영상 정보들 중 어느 하나인 기준 이미지에 비해 축소되었는지 확대되었는지를 판단하는 단계와, 축소 또는 확대된 경우 그 축소 또는 확대 정도에 선형적 또는 비선형적으로 비례하도록 이동 스케일 팩터를 조정하여 재설정하는 단계와, 재설정된 이동 스케일 팩터에 부합하도록 변환된 조작량에 상응하는 조작 신호를 생성하는 단계를 포함하는 것을 특징으로 하는 제어객체에 대한 위치 제어 방법이 제공된다.
축소되었는지 확대되었는지를 판단하는 단계에서, 현재 영상 정보가 기준 이미지 중 일치하는 영역을 미리 설정된 영상 해석 기법에 따라 검출하여 구역 설정할 수 있다.
생성하는 단계는, 수술용 내시경의 촬영 조건에 관한 정보를 제공받는 단계와, 저장부에 미리 저장된 촬영 조건에 따른 하나 이상의 이동 스케일 팩터 중 제공받은 정보에 상응하는 이동 스케일 팩터를 추출하는 단계와, 조작부의 조작량을 추출된 이동 스케일 팩터에 상응하도록 변환하여 조작 신호를 생성하는 단계를 포함할 수 있다.
촬영 조건은 수술용 내시경의 영상 촬영 줌 배율, 촬영 위치, 수술 부위 표면과의 거리 및 수술용 내시경에 의해 촬영되는 수술 부위의 실제 크기 중 하나 이상일 수 있다.
영상 촬영 줌 배율이 고배율인 경우의 이동 스케일 팩터가 영상 촬영 줌 배율이 저배율인 경우의 이동 스케일 팩터보다 상대적으로 작은 값을 가질 수 있다.
수술용 내시경이 상대적으로 더 인체 내부로 삽입된 경우의 이동 스케일 팩터가 수술용 내시경이 상대적으로 덜 삽입된 경우의 이동 스케일 팩터보다 작은 값을 가질 수 있다.
수술 부위 표면과의 거리를 감지하기 위해 구비된 센서로부터 센싱값을 수신하는 단계를 더 포함하되, 수술부위 표면과의 거리가 가까울수록 이동 스케일 팩터는 상대적으로 작은 값으로 설정될 수 있다.
촬영되는 수술부위의 실제 크기가 작아질수록 이동 스케일 팩터는 상대적으로 작은 값으로 설정될 수 있다.
촬영 조건의 변동에 따라 이동 스케일 팩터는 실시간 연산되어 저장부에 저장 처리될 수 있다.
제어객체의 위치 제어를 위해 조작부가 상대적으로 큰 조작량으로 조작되는 경우, 조작부가 상대적으로 적은 조작량으로 조작되는 경우보다 큰 이동 스케일 팩터가 설정될 수 있다.
수술용 내시경이 3차원 영상 획득 장치인 경우, 촬영 조건에 관한 정보는 수술용 내시경에 의해 촬영된 영상 정보의 해석을 통해 계산된 깊이(depth) 정보일 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명의 실시예에 따르면, 복강경을 통해 촬영된 영상 정보가 어느 영역 및 어느 범위의 피사체에 관한 것인지에 따라 수술도구의 이동 스케일 팩터를 적응적으로 가변할 수 있는 효과가 있다.
또한, 수술 시간의 단축 및 수술 진행 과정에서의 수술자 피로감 감소가 가능하고, 표시되는 영상 정보를 토대로 수술 도구의 이동 거리를 직관적으로 인식할 수 있도록 하는 효과도 있다.
또한, 복강경 및/또는 수술도구의 조작 편의성을 극대화할 수 있는 효과도 있다.
또한, 복강경의 조작을 위해 이용되는 카메라 버튼을 개선하고 별도의 위치제어/속도제어 버튼을 추가함으로써 새로운 동작을 구현할 수 있는 효과도 있다.
도 1은 종래 기술에 따른 수술용 로봇 시스템의 전체 구조를 나타낸 평면도.
도 2는 종래 기술에 따른 수술용 로봇 시스템의 마스터 인터페이스를 나타낸 개념도.
도 3a 및 도 3b는 종래 기술에 따른 수술용 로봇 시스템에 구비된 인스트루먼트의 이동 제어 과정을 나타낸 개념도.
도 4a는 본 발명의 일 실시예에 따른 수술용 로봇 시스템의 구성을 개략적으로 나타낸 블록 구성도.
도 4b 및 4c는 본 발명의 일 실시예에 따른 고정(fixed) MSF(Motion Scale Factor) 적용 개념을 나타낸 도면.
도 4d 및 4e는 본 발명의 일 실시예에 따른 적응적(adaptive) MSF 적용 개념을 나타낸 도면.
도 5a 및 5b는 본 발명의 일 실시예에 따른 이동 스케일 팩터의 적응적 조정 개념을 나타낸 도면.
도 6은 본 발명의 일 실시예에 따른 이동 스케일 팩터의 적응적 조정 방법을 나타낸 순서도.
도 7은 본 발명의 일 실시예에 따른 수술 로봇 시스템의 위치제어 모드 결정 방법을 나타낸 순서도.
도 8은 본 발명의 다른 실시예에 따른 수술 로봇 시스템의 속도제어 모드 결정 방법을 나타낸 순서도.
도 2는 종래 기술에 따른 수술용 로봇 시스템의 마스터 인터페이스를 나타낸 개념도.
도 3a 및 도 3b는 종래 기술에 따른 수술용 로봇 시스템에 구비된 인스트루먼트의 이동 제어 과정을 나타낸 개념도.
도 4a는 본 발명의 일 실시예에 따른 수술용 로봇 시스템의 구성을 개략적으로 나타낸 블록 구성도.
도 4b 및 4c는 본 발명의 일 실시예에 따른 고정(fixed) MSF(Motion Scale Factor) 적용 개념을 나타낸 도면.
도 4d 및 4e는 본 발명의 일 실시예에 따른 적응적(adaptive) MSF 적용 개념을 나타낸 도면.
도 5a 및 5b는 본 발명의 일 실시예에 따른 이동 스케일 팩터의 적응적 조정 개념을 나타낸 도면.
도 6은 본 발명의 일 실시예에 따른 이동 스케일 팩터의 적응적 조정 방법을 나타낸 순서도.
도 7은 본 발명의 일 실시예에 따른 수술 로봇 시스템의 위치제어 모드 결정 방법을 나타낸 순서도.
도 8은 본 발명의 다른 실시예에 따른 수술 로봇 시스템의 속도제어 모드 결정 방법을 나타낸 순서도.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 4a는 본 발명의 일 실시예에 따른 수술용 로봇 시스템의 구성을 개략적으로 나타낸 블록 구성도이고, 도 4b 및 4c는 본 발명의 일 실시예에 따른 고정(fixed) MSF(Motion Scale Factor) 적용 개념을 나타낸 도면이며, 도 4d 및 4e는 본 발명의 일 실시예에 따른 적응적(adaptive) MSF 적용 개념을 나타낸 도면이고, 도 5a 및 5b는 본 발명의 일 실시예에 따른 이동 스케일 팩터의 적응적 조정 개념을 나타낸 도면이다.
도 4a를 참조하면, 수술용 로봇 시스템은 마스터 로봇(1)과 슬레이브 로봇(2)을 포함하여 구성될 수 있으며, 마스터 로봇(1)과 슬레이브 로봇(2)은 독립적으로 구현되거나 일체형으로 구현될 수 있다.
마스터 로봇(1)은 영상 입력부(410), 화면 표시부(420), 암 조작부(430), 조작신호 생성부(450), 스케일 팩터 연산부(440) 및 제어부(460)를 포함한다. 도시되지는 않았으나, 마스터 로봇(1)은 저장부를 더 구비할 수 있다. 슬레이브 로봇(2)은 로봇 암(3) 및 복강경(5)을 포함한다.
영상 입력부(410)는 슬레이브 로봇(2)의 복강경(5)에 구비된 카메라를 통해 입력된 영상을 유선 또는 무선 통신망을 통해 수신한다.
화면 표시부(420)는 영상 입력부(410)를 통해 수신된 영상에 상응하는 화상 이미지를 시각(視覺)적 정보로 출력한다. 화면 표시부(420)는 모니터(6) 등의 형태로 구현될 수 있으며, 수신된 영상이 화면 표시부(420)를 통해 화상 이미지로 출력되도록 하기 위한 영상 처리 프로세스가 제어부(460) 또는 영상 처리부(도시되지 않음)에 의해 수행될 수 있다.
암 조작부(430)는 슬레이브 로봇(2)의 로봇 암(3) 및/또는 복강경(5)의 위치 및 기능을 수술자가 조작할 수 있도록 하는 수단이다. 암 조작부(430)는 도 2에 예시된 바와 같이 핸들의 형상으로 형성될 수 있으나, 그 형상이 이에 제한되지 않으며 동일한 목적 달성을 위한 다양한 형상으로 변형 구현될 수 있다. 또한, 예를 들어 일부는 핸들 형상으로, 다른 일부는 클러치 버튼 등의 다른 형상으로 형성될 수도 있다. 예를 들어, 수술자는 암 조작부(430)를 파지한 상태에서 임의의 방향으로 암 조작부(430)를 조작하는 경우 그 방향으로 수술도구가 움직이도록 조작할 수 있다. 암 조작부(430)는 예를 들어 3차원 공간상에서 기울임 조작될 수도 있으나, 암 조작부(430)의 구현 방식에 따라 조작 방식은 다양할 수 있을 것이다. 즉, 본 명세서에서 수술도구 및/또는 복강경(5)의 움직임 조작 등을 위해 일 단부가 고정되고 임의의 방향으로 타 단부를 기울여 조작 명령을 입력받는 구조의 암 조작부(430)를 예로 들어 설명하지만, 수술자의 조작 명령을 입력받기 위한 암 조작부(430)의 구조가 다양할 수 있으며, 채택된 구조에 따라 조작 명령을 입력하는 방식은 다양할 수 있다.
상술한 바와 같이, 마스터 로봇(1)의 마스터 인터페이스(4)에는 하나 이상의 기능 버튼이 구비될 수 있으며, 각 기능 버튼은 물리적 실체를 가지는 기구적 형태의 버튼/스위치로 구현되거나, 화면 표시부(420)를 통해 디스플레이되고 수술자의 터치에 의해 동작되는 소프트웨어 형태의 버튼/스위치로 구현될 수 있습니다.
마스터 인터페이스(4)에 구비되는 기능 버튼은 예를 들어 마스터 재위치 버튼, 도구/비전 선택 버튼 및 위치제어/속도제어 모드 버튼 중 하나 이상을 포함할 수 있다.
마스터 재위치(Master Reposition, MR) 버튼은 수술자가 마스터 로봇(1)을 이용한 조작에 따른 조작 명령이 슬레이브 로봇(2)으로 전달되지 않도록 하기 위해 수술 로봇 시스템이 마스터 재위치 모드에서 동작되도록 하는 버튼이다. 수술자는 마스터 재위치 버튼을 이용하여 암 조작부(430)를 원래의 위치로 복귀시킴으로써 이후 설명되는 위치제어/속도제어 모드에서의 위치/속도 제어를 위한 시작점을 새로 설정할 수 있다.
도구/비전 선택(Instrument/Vision Selection, IVS) 버튼은 수술자가 마스터 로봇(1)의 암 조작부(430) 등을 이용한 조작을 수행할 때, 조작 결과에 따라 복강경(5) 및 수술도구 중 하나 이상이 조작되도록 하기 위한 버튼이다. 이는 종래 기술에 따른 수술 로봇 시스템에 적용된 카메라 버튼의 용도 및 기능을 개량 확장한 것으로서, 수술자는 도구/비전 선택 버튼을 이용하여 암 조작부(430)의 조작에 따라 수술도구가 움직이는 도구제어 모드, 암 조작부(430)의 조작에 따라 복강경(5)이 움직이는 비전제어 모드 및 암 조작부(430)의 조작에 따라 수술도구와 복강경(5)이 모두 움직이는 통합제어 모드 중 하나 이상인 동작 모드를 지정할 수 있다.
전술한 바와 같이, IVS 버튼을 이용하여 복수의 동작 모드 중 임의의 동작 모드 선택이 가능하도록 하기 위해 예를 들어 IVS 버튼은 비전제어 버튼과 통합제어 버튼인 2개의 버튼으로 구성될 수 있다. 이 경우, 어느 하나의 버튼도 눌려지지 않은 상태에서는 도구제어 모드에서 구동되고, 비전제어 버튼만 눌려진 상태에서는 비전제어 모드에서 구동되며, 통합제어 버튼만 눌려진 상태에서는 통합제어 모드로서 구동되도록 할 수 있다. 이때, 2개의 버튼이 모두 눌려진 상태에서는 앞서 설명한 홀드 모드에서 구동되도록 할 수 있다.
물론, IVS 버튼은 하나의 버튼으로 구현될 수도 있다. 예를 들어 IVS 버튼은 복수의 동작 모드 중 임의의 동작 모드 선택이 가능하도록 회전 조작되도록 구현될 수 있다. 다른 예로서, IVS 버튼은 누름 가능한 구조로 형성되어, 해당 버튼이 눌려지지 않은 상태에서는 도구제어 모드에서 구동되고, 누름 상태가 유지되면 비전제어 모드에서 구동되며, 더블클릭하면 통합제어 모드의 개시 및 추가로 1회 더 누르면 통합제어 모드가 종료되도록 구현될 수도 있다.
수술자에 의해 IVS 버튼의 조작 상태, 즉 동작 모드에 대한 정보는 화면 표시부(420)를 통해 디스플레이될 수 있음은 당연하다.
이와 같이, 수술 로봇 시스템의 동작 모드 지정을 위해 버튼의 구현 형태 및 버튼의 조작 형태는 다양할 수 있으며, 이러한 개념은 이하에서 설명되는 위치제어/속도제어 모드 버튼에 대해서도 동일하게 적용될 수 있다.
위치제어/속도제어 모드(Position/Velocity Mode, PVM) 버튼은 수술자가 마스터 로봇(1)의 암 조작부(430) 등을 이용한 조작이 위치제어 모드에서 기능하도록 할 것인지 속도제어 모드에서 기능하도록 할 것인지를 지정하기 위한 버튼이다. 여기서, 위치제어 모드는 암 조작부(430) 등의 조작에 따라 수술도구 또는 복강경의 위치가 이동(예를 들어, 수술도구 등의 조작)되도록 하기 위한 동작 모드이고, 속도제어 모드는 암 조작부(430) 등의 조작에 따라 수술도구 또는 복강경이 이동하는 속도(방향이 더 포함될 수 있음)가 변경되도록 하기 위한 동작 모드이다.
PVM 버튼의 선택에 의해 수술 로봇 시스템은 위치제어 모드 또는 속도제어 모드에서 동작하게 되고, 각 동작 모드에서 조작되는 대상을 중심으로 정리하면 아래 [표 1]과 같다.
제어대상 |
위치제어
모드
( PVM 버튼 : 위치제어 선택) |
속도제어
모드
( PVM 버튼 : 속도제어 선택) |
수술도구
제어 |
- 수술도구의 위치제어 모드 - IVS 버튼 : 도구제어 선택 |
- 수술도구의 이동속도제어 모드 - IVS 버튼 : 도구제어 선택 |
복강경 제어 | - 복강경의 위치제어 모드 - IVS 버튼 : 비전제어 선택 |
- 복강경의 이동속도제어 모드 - IVS 버튼 : 비전제어 선택 |
통합제어 | - 수술도구 및 복강경의 위치제어 모드 - IVS 버튼 : 통합제어 선택 |
- 수술도구 및 복강경의 이동속도제어 모드 - IVS 버튼 : 통합제어 선택 |
이하 도 4a 내지 도 5b를 계속 참조하여 수술용 로봇 시스템 및 이동 스케일 팩터의 적응적 조정 개념을 우선 설명한 후, 이후 도 7 및 도 8을 참조하여 위치제어 모드와 속도제어 모드에 대해 구체적으로 각각 설명하기로 한다.
조작신호 생성부(450)는 로봇 암(3) 및/또는 복강경(5)의 위치 이동 또는 수술을 위한 조작을 위해 수술자가 암 조작부(430)를 조작하는 경우, 수술 로봇 시스템의 동작 모드 및 암 조작부(430)의 조작 상태에 상응하는 조작신호를 생성하여 슬레이브 로봇(2)으로 전송한다. 이때, 조작신호 생성부(450)는 제어부(460)의 제어에 의해 수술자가 선택한 동작 모드(예를 들어, 위치제어 모드, 속도제어 모드 등)에 상응하는 조작신호를 생성할 수 있다. 생성된 조작신호는 유선 또는 무선 통신망을 통해 송수신될 수 있음은 앞서 설명한 바와 같다.
또한, 조작신호 생성부(450)는 후술되는 바와 같이 스케일 팩터 연산부(440)가 이동 스케일 팩터를 갱신하여 설정하는 경우 이에 상응하는 조작신호를 생성하여 슬레이브 로봇(2)으로 전송한다.
스케일 팩터 연산부(440)는 복강경(5)에 의해 촬영되는 영상이 어느 크기 및/또는 어느 영역에 대한 피사체인 것인지를 인식하고, 수술자의 암 조작부(430) 조작량에 상응하도록 복강경(5) 또는/및 수술도구가 조작될 수 있도록 이동 스케일 팩터(MSF, Motion Scale Factor)를 조정한다. 예를 들어, 수술도구의 움직임과 암 조작부(430)간의 조작 관계는 "수술도구의 움직임량 = k x MSF x 암 조작부의 조작량"으로 정의될 수 있다. 여기서, k는 비례상수이다. 이러한 조작 관계는 암 조작부(430)의 조작량과 복강경(5)의 움직임량에 대해서도 동일하게 적용될 수 있다.
스케일 팩터 연산부(440)에 의해 조정되는 MSF는 고정된 값들 중에서 수술자가 임의로 선택하여 지정할 수도 있으나, 수술 상황에 따라 적응적으로 조정되어 적용될 수 있다.
도 4b 및 4c에 예시된 바와 같이, 미리 설정되어 고정된 모드들(즉, 노멀 모드, 파인 모드, 울트라 파인 모드) 중에서 하나를 선택하면 선택된 모드에 따라 미리 지정된 MSF가 적용되도록 할 수 있다. 예를 들어, 노멀 모드에서는 마스터와 슬레이브의 비율인 MSF가 1:1로 지정된 경우, 암 조작부(430)를 이용하여 1만큼 이동 조작되면 슬레이브(즉, 수술도구 또는/및 복강경)도 동일한 크기인 1만큼 움직이도록 조작된다. 도시된 예를 참조하면, 파인 모드에서는 마스터가 3만큼 움직여야 슬레이브가 1만큼 움직이도록 조작될 것이고, 울트라 파인 모드에서는 마스터가 5만큼을 움직여야 슬레이브가 1만큼 움직이도록 조작될 것이다.
MSF를 고정된 값으로 적용하는 방식으로, 전술한 바와 같이 각 모드별로 MSF가 미리 설정될 수도 있으나, 수술자가 화면 표시부(420)에 표시되는 복수의 선택값들(예를 들어, 1:1, 3:1, 5:1, 7:1, 10:1 등) 중 임의의 값을 선택하여 MSF로 지정할 수도 있음은 당연하다.
이와 같이, 마스터 또는 슬레이브 상황(예를 들어, 암 조작부의 조작량, 복강경의 삽입 정도, 환부와의 거리 등)에 의해 MSF가 변동되지 않고 고정하여 적용할 수도 있다(도 4c 참조).
또한, 전술한 바와 같이 MSF는 수술 상황(예를 들어, 마스터 및/또는 슬레이브의 현재 상황 등)에 따라 적응적으로 조정되어 적용(adaptive MSF)될 수 있다.
MSF가 적응적으로 조정되어 적용되는 경우로서, 화면 표시부(420)를 통해 출력되는 영상의 특성(예를 들어, 화면에 보이는 영상의 실제 크기)에 따라 적응적으로 조정되도록 할 수 있다. 예를 들어, 복강경(5)을 환부(즉, 수술 부위)에서 멀리 위치시키거나 배율 줌 아웃(zoom out)한 경우 화면 표시부(420)에는 상대적으로 덜 세밀하지만 넓은 부위에 대한 영상이 표시될 것이며, 이 경우 MSF는 상대적으로 큰 값을 가지도록 적응적 조정될 수 있다. 반대로, 복강경(5)을 환부(즉, 수술 부위)에 가까이 위치시키거나 배율 줌 인(zoom in)한 경우 화면 표시부(420)에는 상대적으로 세밀하지만 좁은 부위에 대한 영상이 표시될 것이며, 이 경우 MSF는 상대적으로 작은 값을 가지도록 적응적 조정될 수 있다.
다른 경우로서, 도 4d에 예시된 바와 같이 슬레이브가 처한 상황에 따라 MSF를 결정하기 위한 방법으로 SASC(Slave-dependent Adaptive Scaling Control) 방식이 적용될 수도 있으며, 이 경우 MSF는 슬레이브 상태의 함수로 표현될 수 있다. 예를 들어, 영상 해석을 통해 화면의 확대 또는 축소 여부를 파악하고 그에 따라 MSF를 변경할 수 있으며, 복강경(5)이 얼마나 삽입되었는지에 따라 MSF를 변경할 수 있으며, 복강경(5) 끝단에 거리감지 센서를 구비하여 환부와의 거리(depth)를 측정하고 그에 따라 MSF를 변경할 수 있고, 3차원 복강경(5)의 경우 영상처리에 의해 환부와의 거리(depth)를 측정하고 그에 따라 MSF를 변경할 수 있으며, 화면 표시부(420)를 통해 디스플레이되는 영역의 실제 크기에 따라 MSF를 변경(도 5a 및 5b 참조)하는 등의 다양한 방법이 적용될 수 있다. 각각의 경우에 대해서는 이후 도 5a 및 도 5b를 참조하여 상세히 설명하기로 한다.
이와 같이, 마스터 또는 슬레이브 상황(예를 들어, 암 조작부의 조작량, 복강경의 삽입 정도, 환부와의 거리 등)에 의해 MSF가 고정되지 않고 적응적 조정되어 적용할 수도 있다.
마찬가지로, 도 4e에 예시된 바와 같이 마스터가 처한 상황에 따라 MSF를 결정하기 위한 방법으로 MASC(Master-dependent Adaptive Scaling Control) 방식이 적용될 수도 있고, 이 경우 MSF는 마스터 상태의 함수로 표현될 수 있다.
예를 들어, 암 조작부(430)가 이동 시작위치에서부터 조금 움직이면 MSF가 상대적으로 작은 값을 가지지만(즉, 슬레이브가 미세하게 천천히 움직임), 이동 시작 위치로부터 멀리 움직이면 MSF가 상대적으로 커지도록(즉, 슬레이브가 빨리 많이 움직이도록) 조정할 수 있을 것이다. 이 경우, 전술한 마스터 재위치 버튼이 눌려지면 이동 시작위치를 재설정할 수 있으며, 재설정된 이동 시작위치로부터의 조작시 전술한 바와 같이 MSF가 움직임량에 따라 조정되도록 할 수 있다.
이 때, MSF는 선형적으로 변할 수도 있고, 비선형적으로 변할 수도 있음은 당연하다. 또한, MSF는 실시간으로 계산된 값이 사용될 수도 있고, 미리 저장된 값이 사용될 수도 있다.
이하, 도 5a 및 5b를 참조하여, 스케일 팩터 연산부(440)에 의한 이동 스케일 팩터의 적응적 조정 방식을 간략히 설명한다. 도 5a 및 도 5b의 식별번호 510은 현재 복강경(5)에 의해 촬영되는 현재 촬영 영역을 나타내고, 식별번호 520은 복강경(5)에 의해 촬영될 수 있는 기준 촬영 영역을 나타낸다. 복강경(5)에 의해 촬영되는 촬영 영역의 실제 크기는 복강경(5)이 환부에 가까운 정도, 줌 인/아웃 정도 등의 요인에 의해 다양할 수 있으며, 배율 조정 등의 방식으로 현재 촬영 영역과 기준 촬영 영역은 일치할 수도 있다.
만일, 복강경(5)의 촬영 배율이 고배율로 설정되거나 복강경(5)이 수술 부위로 근접되도록 이동되는 경우, 도 5a의 510 및 도 5b에 도시된 바와 같이 복강경(5)에 의해 촬영되는 현재 촬영 영역(510)은 해당 복강경(5)이 수술 부위를 미리 설정된 위치 및 배율에서 촬영한 기준 촬영 영역(520)보다 작을 것이다.
그러나 만일, 복강경(5)의 촬영 배율이 저배율로 설정되거나 복강경(5)이 수술 부위에서 멀어지도록 이동되는 경우, 복강경(5)에 의해 촬영되는 현재 촬영 영역(510)은 기준 촬영 영역(520)과 일치하거나 커질 수 있을 것이다.
도 5a 및 도 5b에 예시된 바와 같이, 현재 촬영 영역(510)이 기준 촬영 영역(520)보다 작은 경우에는, 수술자가 좁은 영역에서 세밀한 수술을 진행함이 일반적이므로 암 조작부(430)의 조작에 따른 수술 도구의 이동 스케일이 세밀하게 조정될 필요가 있다. 그러나 반대로, 현재 촬영 영역(510)이 기준 촬영 영역(520)과 일치하거나 커지는 경우에는, 수술자가 수술 부위를 전체적으로 관찰하거나 수술하고자 하는 작업 영역을 다른 부위로 이동함이 일반적이므로 암 조작부(430)의 조작에 따른 수술 도구의 이동 스케일이 상대적으로 크게 조정되어야 수술자의 직관적인 수술 도구 조작이 가능할 것이다.
이와 같이, 복강경(5)이 촬영하는 피사체의 크기 및 이에 상응하도록 화면 표시부(420)를 통해 표시되는 영상 정보의 내용에 따라 이동 스케일 팩터(MSF)를 적응적 조정하는 방법은 다양할 것이다.
이동 스케일 팩터를 적응적 조정하는 방법들 중 몇 가지를 예시적으로 설명하면 다음과 같다. 물론, 이동 스케일 팩터의 적응적 조정 방법이 이하에서 예시적 설명되는 사항만으로 제한되지는 않으며, 또한 이하의 예시적 설명에 의해 본 발명의 권리범위가 제한되지도 않음을 유의하여야 한다.
일예로, 스케일 팩터 연산부(440)는 도 5a 및 도 5b에 예시된 바와 같이, 저장부에 저장되는 기준 이미지를 활용하여 기준 촬영 영역(520)의 크기와 현재 촬영 영역(510)의 크기 차이에 비례하도록 이동 스케일 팩터를 조정할 수 있다.
즉, 도 5a에 예시된 바와 같이, 기준 촬영 영역(520)에 의해 촬영되어 표시장치에 표시되는 영상 정보가 실제 크기 세로 12cm인 환부에 대한 것으로 가정하면, 이때의 윈도우 사이즈를 1로 정의하고, 이동 스케일 팩터 역시 1로 정의할 수 있다. 이 상황에서는 수술자가 암 조작부(430)를 임의의 방향으로 조작하면, 수술 도구는 기준 촬영 영역(520)의 중심점으로부터 암 조작부(430)가 조작된 방향으로 이동하게 된다.
그러나 도 5a 및 5b에 예시된 바와 같이, 복강경(5)이 수술 부위로의 접근 또는 줌인(zoom-in) 조작에 의해 기준 촬영 영역(520)의 일부 영역으로서의 현재 촬영 영역(510)인 실제 크기 세로 4cm인 환부가 촬영되는 경우라면, 이때의 윈도우 사이즈를 0.33(즉, 4cm/12cm)인 것으로 해석하여, 이동 스케일 팩터를 낮춰(예를 들어, 0.33) 새롭게 설정할 수 있다. 이 경우, 화면 표시부(420)의 표시 영역에는 현재 촬영 영역(510)이 전체로 표시(즉, 전체 수술 부위 중 일부가 확대되어 세밀하게 표시)되지만 이동 스케일 팩터가 낮아져 보다 세밀한 제어가 가능해질 수 있다.
이때, 현재 촬영 영역(510)이 기준 촬영 영역(520)에 비해 어느 정도의 크기를 가지고 있는지는 예를 들어 기준 촬영 영역(520)에서 촬영된 영상 정보를 기준 이미지로서 저장부에 저장한 후, 배율 조정 및/또는 복강경(5)의 길이 방향(샤프트의 축방향)으로의 이동에 따른 현재 촬영 영역(510)의 영상 정보가 기준 이미지에서 어느 영역 및 어느 크기인지를 영상 해석 기법(예를 들어, 2장의 이미지에서 동일한 영역을 검출하고 구역 설정하는 영상 해석 기법)을 이용하여 인식할 수 있다.
전술한 예에서 이동 스케일 팩터를 조정하는 기준이 세로 길이인 경우를 가정하여 설명하였으나, 이동 스케일 팩터의 조정 기준은 예를 들어, 대각선 길이, 가로 길이, 넓이 등으로 다양할 수 있다.
다른 예로서, 스케일 팩터 연산부(440)는 복강경(5)의 영상 촬영 배율, 위치 이동, 수술 부위의 표면과의 거리 등을 이용하여 이동 스케일 팩터를 조정할 수 있다.
즉, 스케일 팩터 연산부(440)는 좁은 범위를 촬영하기 위해 복강경(5)의 영상 촬영 배율이 고배율로 설정되었다면 수술 도구에 대한 세밀한 조작이 가능하도록 이동 스케일 팩터를 낮추고, 넓은 범위를 촬영하기 위해 복강경의 영상 촬영 배율이 저배율로 설정되었다면 이동 스케일 팩터를 높이는 방식으로 이동 스케일 팩터를 조정할 수 있다. 복강경(5)에 설정될 수 있는 각 배율 값에 대한 이동 스케일 팩터는 실험적 통계적으로 미리 산출되어 저장부에 미리 저장될 수 있다.
또한, 스케일 팩터 연산부(440)는 복강경(5)이 기준 위치(예를 들어, 수술 환자의 복부에 삽입된 초기 위치)로부터 상대적으로 어느 정도 길이 방향(예를 들면, 인체에 삽입 또는 인출)으로 이동하는지에 따라 스케일 팩터를 조정할 수도 있다. 복강경(5)의 위치에 대한 정보는 마스터 로봇(1)이 직접 산출하거나 슬레이브 로봇(2)으로부터 제공받을 수 있으며, 기준 위치는 예를 들어 복강경(5)이 체내에 삽입된 후 최초의 암 조작부(430)가 조작되는 위치로 지정되거나 수술자에 의해 임의로 지정될 수 있을 것이다.
만일 복강경(5)이 인체 내부로 더 삽입(즉, 수술 부위쪽으로 근접)되었다면 수술 도구에 대한 세밀한 조작이 가능하도록 이동 스케일 팩터를 낮추고, 복강경(5)이 인체 외부로 인출되는 방향으로 이동(즉, 수술 부위쪽에서 멀어짐)하였다면 이동 스케일 팩터를 높일 수 있다. 복강경(5)이 기준 위치로부터의 길이 방향 이동 거리에 따른 이동 스케일 팩터는 실험적 통계적으로 미리 산출되어 저장부에 미리 저장될 수 있다.
또한, 스케일 팩터 연산부(440)는 복강경(5)에 구비된 거리감지 센서로부터 제공되는 수술 부위 표면까지의 거리 값을 이용하여 스케일 팩터를 조정할 수도 있다. 만일 복강경(5)과 수술 부위 표면까지의 거리가 가깝다면 수술 도구에 대한 세밀한 조작이 가능하도록 이동 스케일 팩터를 낮추고, 복강경(5)과 수술 부위 표면까지의 거리가 상대적으로 멀다면 이동 스케일 팩터를 높일 수 있다. 복강경(5)과 수술 부위 표면까지의 거리에 따른 이동 스케일 팩터는 실험적 통계적으로 미리 산출되어 저장부에 미리 저장될 수 있다.
또한, 화면 표시부(420)를 통해 표시되는 영상이 3차원 영상 획득 장치인 복강경(5)에 의해 제공된 영상인 경우, 영상처리를 통해 깊이(depth)를 계산할 수 있고 이 값을 이용하여 이동 스케일 팩터를 연산할 수도 있음은 당연하다.
다시 도 4a를 참조하면, 제어부(460)는 상술한 기능이 수행될 수 있도록 각 구성 요소들의 동작을 제어한다. 제어부(460)는 영상 입력부(410)를 통해 입력되는 영상이 화면 표시부(420)를 통해 표시될 화상 이미지로 변환하는 기능을 수행할 수도 있다. 또한, 제어부(460)는 수술자에 의한 마스터 재위치 버튼 입력이 있으면 복강경(5) 및 수술도구의 위치 이동없이 핸들(10)의 복귀 조작이 가능하도록 하는 처리를 수행할 수도 있다.
이하, 관련도면을 참조하여 이동 스케일 팩터(MSF)의 적응적 조정 방법의 일 실시예를 설명한 후, 관련 도면들을 참조하여 위치제어 모드 및 속도제어 모드에 대해 각각 설명하기로 한다.
각 설명 과정에서 별도로 설명되지 않더라도 앞서 설명한 이동 스케일 팩터(MSF)에 대한 개념이 적용될 수 있음은 당연하다.
이에 관해 간략히 설명하면, 고정식 MSF 위치제어 모드에서는 마스터(예를 들어, 암 조작부 등)가 1cm 움직이면 슬레이브도 1cm 움직이거나(예를 들어, 노멀 모드), 마스터가 3cm 움직이면 슬레이브가 1cm 움직일 수 있다(예를 들어, 파인 모드).
이에 비해, 적응적 MSF 위치제어 모드에서는 현재 보고 있는 화면이 확대, 축소된 정도, 내시경이 삽입된 정도, 내시경 끝단과 환부와의 거리, 또는 마스터가 시작점으로부터 이동된 정도 등에 따라 MSF가 선형 또는 비선형적으로 달라지고, 이에 따라 슬레이브의 움직임이 결정된다.
마찬가지로, 고정식 MSF 속도제어 모드에서는 마스터나 슬레이브의 상황과 관계없이, 마스터가 시작점으로부터 1cm 움직이면 슬레이브가 1cm/sec로 움직이고, 마스터가 시작점으로부터 5cm 움직이면 슬레이브가 5cm/sec로 움직이도록 제어될 수 있다.
이에 비해, 적응적 MSF 속도제어 모드에서는 마스터가 시작점으로부터 똑같이 1cm를 움직이더라도, 화면이 확대되어 있는 상황, 내시경이 깊이 삽입된 경우 또는 환부와의 거리가 가까운 경우 등에서는 슬레이브가 0.5cm/sec로 움직이고, 화면이 축소되어 있는 상황, 내시경이 얕게 삽입된 경우 또는 환부와의 거리가 먼 경우 등에서는 슬레이브가 1.5cm/sec로 움직일 수 있다. 즉, 마스터 또는 슬레이브의 상황에 따라 MSF가 선형 또는 비선형적으로 달라지고, 결국 마스터의 움직임에 따라 속도가 변하는 변화량이 MSF에 따라 적응적으로 변할 수 있다.
도 6은 본 발명의 일 실시예에 따른 이동 스케일 팩터의 적응적 조정 방법을 나타낸 순서도이다.
도 6을 참조하면, 단계 610에서 마스터 로봇(1)은 복강경(5)에 의해 촬영되어 제공되는 영상 정보를 이동 스케일 팩터의 적응적 조정을 위한 기준 이미지로서 저장한다.
단계 620에서, 마스터 로봇(1)은 기준 이미지 재설정 요청이 입력되는지 여부를 판단한다.
만일 기준 이미지 재설정 요청이 입력되었다면 단계 630으로 진행하여 수술 부위에 대한 기준 이미지를 재설정한다.
단계 620의 판단에 의해 기준 이미지 재설정 요청이 입력되지 않은 경우이거나 단계 630에 의해 기준 이미지가 재설정되었다면 단계 640으로 진행한다.
단계 640에서 마스터 로봇(1)은 수술자의 암 조작부(430) 조작에 의해 복강경(5)이 촬영하는 촬영 영역에 대한 축소 요청이 입력되는지 여부를 판단한다. 촬영 영역에 대한 축소 요청은 예를 들어 복강경(5)이 환부로 접근하거나, 줌 인 처리 등을 통해 보다 좁은 영역에 대한 촬영을 지시하기 위한 것으로, 화면 표시부(420)를 통해서는 보다 세밀하지만 좁은 영역에 대한 영상(즉, 확대된 영상)이 표시된다.
만일 촬영 영역 축소 요청이 입력되지 않으면, 단계 660으로 진행한다.
그러나 만일 촬영 영역 축소 요청이 입력되었다면, 마스터 로봇(1)은 단계 650으로 진행하여 이동 스케일 팩터를 재설정한다.
즉, 복강경(5)에 의해 촬영되는 영상이 전체 수술 부위 중 일정 영역을 확대한 영상이므로 수술 도구의 세밀한 조작이 이루어지도록 하기 위해 이동 스케일 팩터는 작아진다. 이때, 마스터 로봇(1)은 촬영 영역 축소 요청에 따른 복강경(5)의 현재 촬영 영역(510)의 영상 정보가 단계 610 또는 단계 630에서 설정된 기준 이미지 내에서 어느 영역 및 어느 크기인지를 영상 해석 기법(예를 들어, 2장의 이미지에서 동일한 영역을 검출하고 구역 설정하는 영상 해석 기법)을 이용하여 인식함으로써 이동 스케일 팩터를 어느 수준으로 조정할 것인지를 판단할 수 있다.
단계 660에서 마스터 로봇(1)은 수술자의 암 조작부(430) 조작에 의해 복강경(5)이 촬영하는 영상의 촬영 영역에 대한 확대 요청이 입력되는지 여부를 판단한다. 촬영 영역에 대한 확대 요청은 예를 들어 복강경(5)이 환부로부터 멀어지거나, 줌 아웃 처리 등을 통해 보다 넓은 영역에 대한 촬영을 지시하기 위한 것으로, 화면 표시부(420)를 통해서는 세밀하지는 않지만 보다 넓은 영역에 대한 영상(즉, 축소된 영상)이 표시된다.
만일 촬영 영역 확대 요청이 입력되지 않으면, 단계 620으로 다시 진행한다.
그러나, 단계 660의 판단에 의해 촬영 영역에 대한 확대 요청이 입력되었다면 단계 670으로 진행하여, 마스터 로봇(1)은 설정된 기준 이미지를 기준으로 촬영 영역이 확대된 현재 촬영 영역(510)에 대한 이동 스케일 팩터를 재설정한다.
이제까지 도 6을 참조하여, 기준 이미지를 이용한 이동 스케일 팩터의 적응적 조정 방법을 설명하였으나, 이동 스케일 팩터의 적응적 조정을 위해 앞서 설명한 바와 같이 복강경(5)의 영상 촬영 배율, 위치 이동, 수술 부위의 표면과의 거리 등이 독립적으로 또는 추가적으로 이용될 수 있음은 당연하다.
도 7은 본 발명의 일 실시예에 따른 수술 로봇 시스템의 위치제어 모드 결정 방법을 나타낸 순서도이다.
앞서 설명한 바와 같이, 수술자는 마스터 로봇(1)에 구비된 위치제어/속도제어 모드(PVM) 버튼을 이용하여 수술 로봇 시스템이 위치제어 모드에서 구동되도록 할 것인지, 속도제어 모드에서 구동되도록 할 것인지를 지정할 수 있다. 또한, 수술자는 도구/비전 선택(IVS) 버튼을 이용하여 암 조작부(430)의 조작에 의해 조작되는 대상이 수술도구인지, 복강경인지 아니면 수술도구와 복강경 모두인지를 결정할 수 있다.
또한, 앞서 설명한 바와 같이 PVM 버튼과 IVS 버튼은 개별적으로 그 기능이 지정된 복수의 버튼으로 구성되거나, 다양한 조작 방식으로 구동 모드의 선택이 가능하도록 구현된 하나의 버튼일 수도 있다. 물론, 이외에도 PVM 버튼과 IVS 버튼의 구현 방식은 다양할 것이다.
본 실시예에 따른 수술 로봇 시스템의 위치제어 모드에는 수술 도구의 위치 제어를 위한 수술도구 위치 제어 모드, 복강경(5)의 위치 제어를 위한 복강경 위치제어 모드 및 수술도구와 복강경을 통합적으로 위치 제어하기 위한 통합 위치제어 모드가 포함될 수 있다. 이하, 도 7을 참조하여 수술 로봇 시스템의 위치제어 모드 결정 방법을 설명하기로 한다.
도 7을 참조하면, 단계 705에서 암 조작부(430)가 수술자에 의해 조작된다.
단계 710에서 제어부(460)는 위치제어/속도제어 모드(PVM) 버튼이 수술 로봇 시스템이 위치제어 모드에서 동작되도록 선택되었는지 여부를 판단한다. 위치제어/속도제어 모드(PVM) 버튼은 마스터 로봇(1)의 암 조작부(430) 등을 이용한 조작이 위치제어 모드에서 기능하도록 할 것인지 속도제어 모드에서 기능하도록 할 것인지를 지정하기 위한 버튼이다.
단계 710의 판단 결과로, 만일 PVM 버튼이 수술 로봇 시스템이 속도제어 모드에서 동작되도록 선택되었다면 도 8의 단계 810으로 진행한다.
그러나 만일 PVM 버튼이 수술도구 및 복강경(5) 중 하나 이상의 위치 제어를 위한 위치제어 모드로서 선택되었다면 단계 720으로 진행한다.
단계 720에서 제어부(460)는 도구/비전 선택(IVS) 버튼이 수술 로봇 시스템이 도구제어 모드에서 동작되도록 선택되었는지 여부를 판단한다. 도구/비전 선택(IVS) 버튼은 수술자가 마스터 로봇(1)의 암 조작부(430) 등을 이용한 조작을 수행할 때, 조작 결과에 따라 복강경(5) 및 수술도구 중 하나 이상이 조작되도록 하기 위한 버튼이다.
단계 720의 판단 결과로, 만일 IVS 버튼이 도구제어 모드로 동작하도록 선택된 경우라면, 단계 730으로 진행하여, 조작신호 생성부(450)는 단계 705에 따른 암 조작부(430)의 조작에 따른 조작 명령이 수술도구의 위치제어에 적용되도록 하기 위한 조작 신호를 생성하여 슬레이브 로봇(2)으로 전송한다. 이때, 생성되는 조작 신호는 앞서 설명한 고정적 또는 적응적 이동 스케일 팩터를 적용하여 생성될 수 있다.
단계 730에 의해 슬레이브 로봇(2)에 전송되는 조작 신호에 의해 슬레이브 로봇(2)에 구비된 수술도구가 암 조작부(430)의 조작에 상응하도록 이동 제어될 것이다.
그러나 만일 단계 720의 판단 결과로 IVS 버튼이 도구제어 모드로 동작하도록 선택되지 않은 경우라면 단계 740으로 진행한다.
단계 740에서 제어부(460)는 도구/비전 선택(IVS) 버튼이 수술 로봇 시스템이 비전제어 모드에서 동작되도록 선택되었는지 여부를 판단한다.
단계 740의 판단 결과로, 만일 IVS 버튼이 비전제어 모드로 동작하도록 선택된 경우라면, 단계 750으로 진행하여, 조작신호 생성부(450)는 단계 705에 따른 암 조작부(430)의 조작에 따른 조작 명령이 복강경(5)의 위치제어에 적용되도록 하기 위한 조작 신호를 생성하여 슬레이브 로봇(2)으로 전송한다. 이때, 생성되는 조작 신호는 앞서 설명한 고정적 또는 적응적 이동 스케일 팩터를 적용하여 생성될 수 있다.
단계 750에 의해 슬레이브 로봇(2)에 전송되는 조작 신호에 의해 슬레이브 로봇(2)에 구비된 복강경(5)이 암 조작부(430)의 조작에 상응하도록 이동 제어될 것이다.
그러나 만일 단계 740의 판단 결과로 IVS 버튼이 비전제어 모드로 동작하도록 선택되지 않은 경우라면 단계 760으로 진행한다.
단계 760에서 제어부(460)는 도구/비전 선택(IVS) 버튼이 수술 로봇 시스템이 통합제어 모드에서 동작되도록 선택되었는지 여부를 판단한다.
단계 760의 판단 결과로, 만일 IVS 버튼이 통합제어 모드로 동작하도록 선택된 경우라면, 단계 770으로 진행하여, 조작신호 생성부(450)는 암 조작부(430)의 조작에 따라 수술도구 및 복강경(5) 모두의 위치 제어가 수행되도록 하기 위한 조작 신호를 생성하여 슬레이브 로봇으로 전송한다.
여기서, 조작 신호는 암 조작부(430)가 조작된 방향으로 수술도구와 복강경(5)이 함께 움직이되, 상호간에 정렬된 상태(예를 들어, 상호간의 상대적 위치 등)가 그대로 유지되며 이동되도록 하기 위한 것이다. 즉, 복강경(5)의 이동에 따라 촬영 영역의 물리적 위치가 변경될지라도 수술자가 화면 표시부(420)를 통해 확인하는 표시화면 상에서 촬영 영역의 중심점을 기준으로 수술도구의 배치에 관한 상대 위치는 일정하게 유지된다. 수술자는 예를 들어 마스터 재위치 버튼을 선택하거나, 동작 모드를 다른 모드로 전환시키는 등의 조작을 통해 복강경(5)과 수술도구의 연동적 이동을 종료시킬 수 있다.
통합 위치제어 모드의 동작 상태를 예를 들어 간략히 설명하면 다음과 같다.
수술자가 촬영 영역(510)의 변경 등의 목적으로 PVM 버튼은 위치제어 모드로 선택하고, IVS 버튼은 통합 제어 모드로 선택한 경우, 조작신호 생성부(450)는 암 조작부(430)가 조작된 방향으로 복강경(5)과 수술도구가 함께 이동되도록 하기 위한 조작 신호를 생성하여 슬레이브 로봇(2)으로 전송한다.
이때, 복강경(5)과 수술도구 상호간의 정렬 상태는 유지되어 이동되지만, 어느 하나의 수술도구가 무엇인가를 잡고 있는 상태(예를 들어, 수술 부위 중 임의의 부위를 잡고 있는 상태로서 도 5a 및 5b 참조)라면 수술환자의 안전을 도모하기 위해 해당 수술도구는 복강경(5)과 연동적으로 이동하지 않고 해당 위치에 대기할 수도 있음은 당연하다.
또한, 화면 표시부(420)를 통해 표시되는 영상 정보를 참조할 때, 그 끝단이 표시 화면 내에 표시되지 않는 수술도구(즉, 복강경(5)에 의해 촬영되는 촬영 범위 이외에 끝단이 위치된 수술도구)도 복강경(5)과 연동적으로 이동하지 않고 해당 위치에 대기할 수도 있음은 당연하다.
또한, 수술도구의 죠(jaw)가 다물어져 있는 경우, 해당 수술도구는 환자의 안전을 위해 이동되지 않도록 제어될 수도 있다.
이외에도, 임의의 수술도구가 이동되지 않도록 제어하는 방법은 보다 다양할 수 있음은 당연하다. 예를 들어 수술자가 직접 지정한 수술도구는 움직이지 않도록 할 수 있으며, 또한 좌우 암 조작부(430)에 특정 버튼(예를 들어 마스터 재위치 버튼이 암 조작부(430)에 각각 위치할 수도 있음)이 구비되어 있어 해당 버튼을 누르면 버튼이 눌러진 암 조작부(430)가 관할하는 수술도구는 움직이지 않도록 할 수도 있을 것이다.
그러나, 단계 760의 판단 결과로, 만일 IVS 버튼이 통합제어 모드로 동작하도록 선택되지 않은 경우라면, 단계 780으로 진행하여, 조작신호 생성부(450)는 지정된 동작 모드에서 수술도구 및/또는 복강경(5)이 조작되도록 하기 위한 조작 신호를 생성하여 슬레이브 로봇으로 전송한다. 예를 들어 홀드 모드나 마스터 재위치 모드에서는 마스터의 조작에 상관없이 수술도구 및/또는 복강경(5)이 마지막 제어 위치를 그대로 유지할 수 있도록 조작 신호를 생성하여 슬레이브 로봇으로 전송한다.
도 8은 본 발명의 다른 실시예에 따른 수술 로봇 시스템의 속도제어 모드 결정 방법을 나타낸 순서도이다.
앞서 설명한 바와 같이, 수술자는 마스터 로봇(1)에 구비된 위치제어/속도제어 모드(PVM) 버튼을 이용하여 수술 로봇 시스템의 동작 모드를 위치제어 모드 또는 속도제어 모드로 지정할 수 있다. 또한, 수술자는 도구/비전 선택(IVS) 버튼을 이용하여 암 조작부(430)의 조작에 의해 조작되는 대상을 수술도구 및 복강경 중 하나 이상으로 결정할 수 있다.
본 실시예에 따른 수술 로봇 시스템의 속도제어 모드에는 수술 도구의 이동 속도 제어를 위한 수술도구 속도제어 모드, 복강경(5)의 이동 속도 제어를 위한 복강경 속도제어 모드 및 수술도구와 복강경 모두의 이동 속도를 제어하기 위한 통합 속도제어 모드가 포함될 수 있다. 이하, 도 8을 참조하여 수술 로봇 시스템의 속도제어 모드 결정 방법을 설명하기로 한다.
앞서 도 7을 참조하여 설명한 바와 같이, 단계 710에서 제어부(460)는 위치제어/속도제어 모드(PVM) 버튼이 수술 로봇 시스템이 위치제어 모드에서 동작되도록 선택되었는지 여부를 판단하고, 만일 PVM 버튼이 수술 로봇 시스템이 속도제어 모드에서 동작되도록 선택되었다면 도 8의 단계 810으로 진행한다.
도 8을 참조하면, 단계 810에서 제어부(460)는 도구/비전 선택(IVS) 버튼이 수술 로봇 시스템이 도구제어 모드에서 동작되도록 선택되었는지 여부를 판단한다.
단계 810의 판단 결과로, 만일 IVS 버튼이 도구제어 모드로 동작하도록 선택된 경우라면, 단계 820으로 진행하여, 조작신호 생성부(450)는 단계 705(도 7 참조)에 따른 암 조작부(430)의 조작에 따른 조작 명령이 수술도구의 속도제어에 적용되도록 하기 위한 조작 신호를 생성하여 슬레이브 로봇(2)으로 전송한다. 단계 820에 의해 슬레이브 로봇(2)에 전송되는 조작 신호에 의해 슬레이브 로봇(2)에 구비된 수술도구가 암 조작부(430)의 조작에 상응하도록 이동 제어될 것이다.
이때, 생성되는 조작 신호는 앞서 설명한 고정적 또는 적응적 이동 스케일 팩터를 적용하여 생성될 수 있다.
또한, 조작 신호는 암 조작부(430)가 시작점으로부터 얼마나 움직였는지에 따라 수술도구가 움직이는 속도가 달라지도록 생성될 수 있다. 즉, 암 조작부(430)가 어느 특정한 방향으로 조금 움직이면(즉, 약간의 움직임 후 암 조작부(430)의 조작 상태를 유지하면) 수술도구는 그 방향으로 지속적으로 천천히 움직이고, 암 조작부(430)가 해당 방향으로 많이 움직이면(즉, 큰 움직임 후 암 조작부(430)의 조작 상태를 유지하면) 수술도구가 지속적으로 빠른 속도로 움직이도록 제어될 수 있다. 예를 들어, 암 조작부(430)가 도 2에 도시된 바와 같이 형성되는 경우, 암 조작부(430)가 임의의 방향으로 5도만큼 조작된 경우의 수술도구 이동 속도보다 암 조작부(430)가 해당 방향으로 30도만큼 조작된 경우의 수술도구 이동 속도가 더 크도록 할 수 있다.
암 조작부(430)의 조작량이 커질수록 수술도구가 이동되는 속도는 커지도록 미리 설정될 수 있으며, 암 조작부(430)의 조작량에 상응하는 수술도구의 이동 속도에 대한 정보는 미리 마스터 인터페이스(4)에 구비된 저장부에 저장될 수 있다.
물론, 암 조작부(430)가 시작점으로 복귀되면 전술한 수술도구의 움직임은 중지될 것이다. 참고로, 위치제어 모드에서 암 조작부(430)가 시작점으로 복귀되면 수술도구도 원 위치로 복귀되지만, 속도제어 모드에서는 암 조작부(430)가 시작점으로 복귀되면 속도가 0(즉, 움직임이 정지)된다.
그러나 만일 단계 810의 판단 결과로 IVS 버튼이 도구제어 모드로 동작하도록 선택되지 않은 경우라면 단계 830으로 진행한다.
단계 830에서 제어부(460)는 도구/비전 선택(IVS) 버튼이 수술 로봇 시스템이 비전제어 모드에서 동작되도록 선택되었는지 여부를 판단한다.
단계 830의 판단 결과로, 만일 IVS 버튼이 비전제어 모드로 동작하도록 선택된 경우라면, 단계 840으로 진행하여, 조작신호 생성부(450)는 암 조작부(430)의 조작에 따른 조작 명령이 복강경(5)의 이동 속도의 제어를 위해 적용되도록 하는 조작 신호를 생성하여 슬레이브 로봇(2)으로 전송한다. 이때, 생성되는 조작 신호는 앞서 설명한 고정적 또는 적응적 이동 스케일 팩터를 적용하여 생성될 수 있다. 단계 840에 의해 슬레이브 로봇(2)에 전송되는 조작 신호에 의해 슬레이브 로봇(2)에 구비된 복강경(5)이 암 조작부(430)의 조작에 상응하도록 이동 제어될 것이다.
복강경(5)의 이동 속도 제어 방식은 앞서 설명한 수술 도구의 이동 속도 제어 방식과 동일하므로 이에 대한 설명은 생략한다.
그러나 만일 단계 830의 판단 결과로 IVS 버튼이 비전제어 모드로 동작하도록 선택되지 않은 경우라면 단계 850으로 진행한다.
단계 850에서 제어부(460)는 도구/비전 선택(IVS) 버튼이 수술 로봇 시스템이 통합제어 모드에서 동작되도록 선택되었는지 여부를 판단한다.
단계 850의 판단 결과로, 만일 IVS 버튼이 통합제어 모드로 동작하도록 선택된 경우라면, 단계 860으로 진행하여, 조작신호 생성부(450)는 암 조작부(430)의 조작에 따라 수술도구 및 복강경(5) 모두의 이동 속도에 대한 제어가 수행되도록 하기 위한 조작 신호를 생성하여 슬레이브 로봇으로 전송한다.
여기서, 조작 신호는 암 조작부(430)가 조작된 방향으로 수술도구와 복강경(5)이 함께 움직이되, 상호간에 정렬된 상태(예를 들어, 상호간의 상대적 위치 등)가 그대로 유지되며 암 조작부(430)의 조작량에 상응하는 속도로 이동되도록 하기 위한 것이다. 즉, 복강경(5)의 이동에 따라 촬영 영역의 물리적 위치가 변경될지라도 수술자가 화면 표시부(420)를 통해 확인하는 표시화면 상에서 촬영 영역의 중심점을 기준으로 수술도구의 배치에 관한 상대 위치는 일정하게 유지된다.
또한, 속도제어 모드에서 수술도구가 이동되는 경우에도 앞서 통합 위치제어 모드의 동작 상태에서 예를 들어 설명한 바와 같이 수술도구의 이동이 제한되는 경우가 존재할 수 있다. 예를 들어, 어느 하나의 수술도구가 무엇인가를 잡고 있는 상태(예를 들어, 수술 부위 중 임의의 부위를 잡고 있는 상태로서 도 5a 및 5b 참조)이거나, 수술도구의 끝단이 표시 화면내에 표시되지 않는 상태이거나, 수술도구의 죠(jaw)가 다물어져 있는 경우이거나, 수술자가 고정 상태를 유지하도록 지정한 수술도구이거나, 암 조작부(430)에 구비된 고정 상태 유지 버튼이 눌려진 경우 이에 상응하는 수술도구인 경우 등에서 해당 수술도구는 이동이 제한될 수 있을 것이다.
그러나, 단계 850의 판단 결과로, 만일 IVS 버튼이 통합제어 모드로 동작하도록 선택되지 않은 경우라면, 단계 870으로 진행하여, 조작신호 생성부(450)는 지정된 동작 모드에서 수술도구 및/또는 복강경(5)이 조작되도록 하기 위한 조작 신호를 생성하여 슬레이브 로봇으로 전송한다. 예를 들어 홀드 모드나 마스터 재위치 모드에서는 마스터의 조작에 상관없이 수술도구 및/또는 복강경(5)이 마지막 제어 위치를 그대로 유지할 수 있도록 조작 신호를 생성하여 슬레이브 로봇으로 전송한다.
상술한 이동 스케일 팩터의 적응적 조정 방법 및 암 조작 특성에 따른 적응적 제어 방법은 디지털 처리 장치에 내장된 소프트웨어 프로그램 등에 의해 시계열적 순서에 따른 자동화된 절차로 수행될 수도 있음은 당연하다. 상기 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 상기 방법을 구현한다. 상기 정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야에서 통상의 지식을 가진 자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
1 : 마스터 로봇
2 : 슬레이브 로봇
3 : 로봇 암 5 : 복강경
410 : 영상 입력부 420 : 화면 표시부
430 : 암 조작부 440 : 스케일 팩터 연산부
450 : 조작신호 생성부 460 : 제어부
3 : 로봇 암 5 : 복강경
410 : 영상 입력부 420 : 화면 표시부
430 : 암 조작부 440 : 스케일 팩터 연산부
450 : 조작신호 생성부 460 : 제어부
Claims (33)
- 수술용 내시경 및 수술도구 중 하나 이상인 제어객체가 장착되는 수술용 로봇 시스템에 포함되어 상기 제어객체의 위치를 제어하는 마스터 인터페이스로서,
상기 제어객체의 이동 조작을 위한 사용자 명령을 입력받는 조작부;
상기 수술용 내시경으로부터 제공되는 영상 정보들 중 하나 이상인 기준 이미지와 상기 기준 이미지에 상응하는 이동 스케일 팩터(Motion Scale Factor)를 저장하는 저장부;
상기 수술용 내시경으로부터 현재 제공되는 현재 영상 정보가 상기 기준 이미지에 비해 축소되었는지 확대되었는지를 판단하고, 그 축소 또는 확대 정도에 선형적 또는 비선형적으로 비례하도록 상기 이동 스케일 팩터를 조정하여 재설정하는 스케일 팩터 연산부; 및
상기 조작부를 이용한 사용자 명령을 상기 재설정된 이동 스케일 팩터에 상응하도록 변환하여 상기 제어객체에 대한 조작 신호를 생성하는 조작 신호 생성부를 포함하는 마스터 인터페이스.
- 제1항에 있어서,
상기 스케일 팩터 연산부는 상기 현재 영상 정보가 상기 기준 이미지에 비해 축소되었는지 확대되었는지를 판단하기 위해, 상기 현재 영상 정보가 상기 기준 이미지 중 일치하는 영역을 미리 설정된 영상 해석 기법에 따라 검출하여 구역 설정하는 것을 특징으로 하는 마스터 인터페이스.
- 제2항에 있어서,
상기 스케일 팩터 연산부는 상기 설정된 구역의 가로 사이즈, 세로 사이즈, 대각선 길이 및 넓이 중 하나 이상인 환산 정보와 상기 기준 이미지에서 상기 환산 정보에 대응되는 정보간의 비례 관계를 이용하여 상기 이동 스케일 팩터를 조정하는 것을 특징으로 하는 마스터 인터페이스.
- 제1항에 있어서,
상기 사용자 명령에 따른 상기 제어객체의 이동 거리는 상기 이동 스케일 팩터에 종속되어 조정되는 것을 특징으로 하는 마스터 인터페이스.
- 제1항에 있어서,
상기 수술용 내시경은 복강경, 흉강경, 관절경, 비경, 방광경, 직장경, 십이지장경, 종격경, 심장경 중 하나 이상인 것을 특징으로 하는 마스터 인터페이스.
- 수술용 내시경 및 수술도구 중 하나 이상인 제어객체가 장착되는 수술용 로봇 시스템에 포함되어 상기 제어객체의 위치를 제어하는 마스터 인터페이스로서,
상기 제어객체의 이동 조작을 위한 사용자 명령을 입력받는 조작부;
수술용 내시경의 촬영 조건에 따른 하나 이상의 이동 스케일 팩터를 저장하는 저장부;
상기 수술용 내시경의 촬영 조건에 관한 정보를 제공받아 상응하는 이동 스케일 팩터를 상기 저장부에서 검색하여 적용할 이동 스케일 팩터로 설정하는 스케일 팩터 연산부; 및
상기 조작부를 이용한 사용자 명령을 상기 설정된 이동 스케일 팩터에 상응하도록 변환하여 상기 제어객체에 대한 조작 신호를 생성하는 조작 신호 생성부를 포함하는 마스터 인터페이스.
- 제6항에 있어서,
상기 촬영 조건은 상기 수술용 내시경의 영상 촬영 줌 배율, 촬영 위치, 수술 부위 표면과의 거리 및 촬영되는 수술 부위의 실제 크기 중 하나 이상인 것을 특징으로 하는 마스터 인터페이스.
- 제7항에 있어서,
상기 영상 촬영 줌 배율이 고배율인 경우의 이동 스케일 팩터가 상기 영상 촬영 줌 배율이 저배율인 경우의 이동 스케일 팩터보다 상대적으로 작은 값을 가지는 것을 특징으로 하는 마스터 인터페이스.
- 제7항에 있어서,
상기 수술용 내시경이 상대적으로 더 인체 내부로 삽입된 경우의 이동 스케일 팩터가 상기 수술용 내시경이 상대적으로 덜 삽입된 경우의 이동 스케일 팩터보다 작은 값을 가지는 것을 특징으로 하는 마스터 인터페이스.
- 제7항에 있어서,
상기 수술 부위 표면과의 거리를 감지하기 위해 구비된 센서로부터 센싱값을 수신하되,
상기 수술부위 표면과의 거리가 가까울수록 이동 스케일 팩터는 상대적으로 작은 값으로 설정되는 것을 특징으로 하는 마스터 인터페이스.
- 제7항에 있어서,
상기 촬영되는 수술부위의 실제 크기가 작아질수록 이동 스케일 팩터는 상대적으로 작은 값으로 설정되는 것을 특징으로 하는 마스터 인터페이스.
- 제6항에 있어서,
상기 사용자 명령에 따른 상기 제어객체의 이동 거리는 상기 이동 스케일 팩터에 종속되어 조정되는 것을 특징으로 하는 마스터 인터페이스.
- 제7항에 있어서,
상기 촬영 조건의 변동에 따라 이동 스케일 팩터는 실시간 연산되어 상기 저장부에 저장 처리되는 것을 특징으로 하는 마스터 인터페이스.
- 제6항에 있어서,
상기 스케일 팩터 연산부는,
상기 수술 도구의 이동 조작을 위해 상기 조작부가 상대적으로 큰 조작량으로 조작되는 경우, 상기 조작부가 상대적으로 적은 조작량으로 조작되는 경우보다 큰 이동 스케일 팩터를 설정하는 것을 특징으로 하는 마스터 인터페이스.
- 제6항에 있어서,
상기 수술용 내시경이 3차원 영상 획득 장치인 경우, 상기 촬영 조건에 관한 정보는 상기 수술용 내시경에 의해 촬영된 영상 정보의 해석을 통해 계산된 깊이(depth) 정보인 것을 특징으로 하는 마스터 인터페이스.
- 제6항에 있어서,
상기 수술용 내시경은 복강경, 흉강경, 관절경, 비경, 방광경, 직장경, 십이지장경, 종격경, 심장경 중 하나 이상인 것을 특징으로 하는 마스터 인터페이스.
- 마스터 인터페이스에서 수행되는 수술용 내시경 및 수술도구 중 하나 이상인 제어객체의 적응적 제어 방법으로서,
상기 수술용 내시경으로부터 제공되는 영상 정보들 중 하나 이상인 기준 이미지와 상기 기준 이미지에 상응하는 이동 스케일 팩터(Motion Scale Factor)를 저장하는 단계;
상기 수술용 내시경으로부터 현재 제공되는 현재 영상 정보가 상기 기준 이미지에 비해 축소되었는지 확대되었는지를 판단하는 단계;
판단된 축소 또는 확대 정도에 선형적 또는 비선형적으로 비례하도록 상기 이동 스케일 팩터를 조정하여 재설정하는 단계; 및
상기 제어객체의 이동 조작을 위해 입력된 사용자 명령을 상기 재설정된 이동 스케일 팩터에 상응하도록 변환하여 상기 제어객체에 대한 조작 신호를 생성하는 단계를 포함하는 제어객체의 적응적 제어 방법.
- 제17항에 있어서,
상기 판단하는 단계는, 상기 현재 영상 정보가 상기 기준 이미지에 비해 축소되었는지 확대되었는지를 판단하기 위해, 상기 현재 영상 정보가 상기 기준 이미지 중 일치하는 영역을 미리 설정된 영상 해석 기법에 따라 검출하여 구역 설정하는 것을 특징으로 하는 제어객체의 적응적 제어 방법.
- 제17항에 있어서,
상기 조정하여 재설정하는 단계는, 상기 설정된 구역의 가로 사이즈, 세로 사이즈, 대각선 길이 및 넓이 중 하나 이상인 환산 정보와 상기 기준 이미지에서 상기 환산 정보에 대응되는 정보간의 비례 관계를 이용하여 상기 이동 스케일 팩터를 조정하는 것을 특징으로 하는 제어객체의 적응적 제어 방법.
- 제17항에 있어서,
상기 사용자 명령에 따른 상기 제어객체의 이동 거리는 상기 이동 스케일 팩터에 종속되어 조정되는 것을 특징으로 하는 제어객체의 적응적 제어 방법.
- 제17항에 있어서,
상기 수술용 내시경은 복강경, 흉강경, 관절경, 비경, 방광경, 직장경, 십이지장경, 종격경, 심장경 중 하나 이상인 것을 특징으로 하는 제어객체의 적응적 제어 방법.
- 마스터 인터페이스에서 수행되는 수술용 내시경 및 수술도구 중 하나 이상인 제어객체의 적응적 제어 방법으로서,
상기 수술용 내시경의 촬영 조건에 따른 하나 이상의 이동 스케일 팩터들을 저장하는 단계;
상기 수술용 내시경의 촬영 조건에 관한 정보를 제공받아 상응하는 이동 스케일 팩터를 상기 저장부에서 검색하여 적용할 이동 스케일 팩터로 설정하는 단계; 및
상기 제어객체의 이동 조작을 위해 입력된 사용자 명령을 상기 재설정된 이동 스케일 팩터에 상응하도록 변환하여 상기 제어객체의 조작 신호를 생성하는 단계를 포함하는 제어객체의 적응적 제어 방법.
- 제22항에 있어서,
상기 촬영 조건은 상기 수술용 내시경의 영상 촬영 줌 배율, 촬영 위치, 수술 부위 표면과의 거리 및 촬영되는 수술 부위의 실제 크기 중 하나 이상인 것을 특징으로 하는 제어객체의 적응적 제어 방법.
- 제23항에 있어서,
상기 영상 촬영 줌 배율이 고배율인 경우의 이동 스케일 팩터가 상기 영상 촬영 줌 배율이 저배율인 경우의 이동 스케일 팩터보다 상대적으로 작은 값을 가지는 것을 특징으로 하는 제어객체의 적응적 제어 방법.
- 제23항에 있어서,
상기 수술용 내시경이 상대적으로 더 인체 내부로 삽입된 경우의 이동 스케일 팩터가 상기 수술용 내시경이 상대적으로 덜 삽입된 경우의 이동 스케일 팩터보다 작은 값을 가지는 것을 특징으로 하는 제어객체의 적응적 제어 방법.
- 제23항에 있어서,
센서에 의해 감지된 상기 수술 부위 표면과의 거리 정보를 제공받는 단계를 더 포함하되,
상기 수술부위 표면과의 거리가 가까울수록 이동 스케일 팩터는 상대적으로 작은 값으로 설정되는 것을 특징으로 하는 제어객체의 적응적 제어 방법.
- 제23항에 있어서,
상기 촬영되는 수술부위의 실제 크기가 작아질수록 이동 스케일 팩터는 상대적으로 작은 값으로 설정되는 것을 특징으로 하는 제어객체의 적응적 제어 방법.
- 제22항에 있어서,
상기 사용자 명령에 따른 상기 제어객체의 이동 거리는 상기 이동 스케일 팩터에 종속되어 조정되는 것을 특징으로 하는 제어객체의 적응적 제어 방법.
- 제23항에 있어서,
상기 촬영 조건의 변동에 따라 이동 스케일 팩터는 실시간 연산되어 상기 저장부에 저장 처리되는 것을 특징으로 하는 제어객체의 적응적 제어 방법.
- 제22항에 있어서,
상기 설정하는 단계는,
상기 제어객체의 이동 조작을 위해 상기 사용자 명령이 상대적으로 큰 조작부의 조작량에 대한 것인 경우, 상기 조작부가 상대적으로 적은 조작량으로 조작되는 경우보다 큰 이동 스케일 팩터로 설정하는 것을 특징으로 하는 제어객체의 적응적 제어 방법.
- 제22항에 있어서,
상기 수술용 내시경이 3차원 영상 획득 장치인 경우, 상기 촬영 조건에 관한 정보는 상기 수술용 내시경에 의해 촬영된 영상 정보의 해석을 통해 계산된 깊이(depth) 정보인 것을 특징으로 하는 제어객체의 적응적 제어 방법.
- 제22항에 있어서,
상기 수술용 내시경은 복강경, 흉강경, 관절경, 비경, 방광경, 직장경, 십이지장경, 종격경, 심장경 중 하나 이상인 것을 특징으로 하는 제어객체의 적응적 제어 방법.
- 제17항 내지 제32항 중 어느 하나에 기재된 제어객체의 적응적 제어 방법을 수행하기 위하여 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며 디지털 처리 장치에 의해 판독될 수 있는 프로그램을 기록한 기록매체.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150181305A KR101740286B1 (ko) | 2015-12-17 | 2015-12-17 | 수술 로봇 시스템 및 적응 제어 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150181305A KR101740286B1 (ko) | 2015-12-17 | 2015-12-17 | 수술 로봇 시스템 및 적응 제어 방법 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020100130289A Division KR20120068597A (ko) | 2010-12-17 | 2010-12-17 | 수술 로봇 시스템 및 적응 제어 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20160008130A true KR20160008130A (ko) | 2016-01-21 |
KR101740286B1 KR101740286B1 (ko) | 2017-05-29 |
Family
ID=55308605
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020150181305A KR101740286B1 (ko) | 2015-12-17 | 2015-12-17 | 수술 로봇 시스템 및 적응 제어 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101740286B1 (ko) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3420878A4 (en) * | 2016-02-24 | 2019-01-30 | Sony Corporation | INFORMATION PROCESSING DEVICE FOR MEDICAL USE, INFORMATION PROCESSING METHOD, INFORMATION PROCESSING SYSTEM FOR MEDICAL USE |
KR102013866B1 (ko) * | 2018-02-20 | 2019-08-23 | (주)휴톰 | 실제수술영상을 이용한 카메라 위치 산출 방법 및 장치 |
WO2023014002A1 (ko) * | 2021-08-02 | 2023-02-09 | 주식회사 로엔서지컬 | 원격 수술용 엔드 이펙터의 이동 거리 조절 장치 및 그 방법 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5631973A (en) * | 1994-05-05 | 1997-05-20 | Sri International | Method for telemanipulation with telepresence |
ATE238140T1 (de) | 1992-01-21 | 2003-05-15 | Stanford Res Inst Int | Chirurgisches system |
-
2015
- 2015-12-17 KR KR1020150181305A patent/KR101740286B1/ko active IP Right Grant
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3420878A4 (en) * | 2016-02-24 | 2019-01-30 | Sony Corporation | INFORMATION PROCESSING DEVICE FOR MEDICAL USE, INFORMATION PROCESSING METHOD, INFORMATION PROCESSING SYSTEM FOR MEDICAL USE |
US11033338B2 (en) | 2016-02-24 | 2021-06-15 | Sony Corporation | Medical information processing apparatus, information processing method, and medical information processing system |
KR102013866B1 (ko) * | 2018-02-20 | 2019-08-23 | (주)휴톰 | 실제수술영상을 이용한 카메라 위치 산출 방법 및 장치 |
WO2023014002A1 (ko) * | 2021-08-02 | 2023-02-09 | 주식회사 로엔서지컬 | 원격 수술용 엔드 이펙터의 이동 거리 조절 장치 및 그 방법 |
KR20230019747A (ko) * | 2021-08-02 | 2023-02-09 | 주식회사 로엔서지컬 | 원격 수술용 엔드 이펙터의 이동 거리 조절 장치 및 그 방법 |
Also Published As
Publication number | Publication date |
---|---|
KR101740286B1 (ko) | 2017-05-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20120068597A (ko) | 수술 로봇 시스템 및 적응 제어 방법 | |
JP7155344B2 (ja) | 手術システムおよび表示方法 | |
JP7160033B2 (ja) | 入力制御装置、入力制御方法、および手術システム | |
KR101038417B1 (ko) | 수술 로봇 시스템 및 그 제어 방법 | |
KR101320379B1 (ko) | 의료용 로봇 시스템의 컴퓨터 표시부 상에 보조 이미지의표시 및 조작 | |
JP4744595B2 (ja) | 内視鏡外科手術器具 | |
CN110226967A (zh) | 用于远程操作医疗***的结构调整***和方法 | |
US20200261160A1 (en) | Robotic surgical systems and methods and computer-readable media for controlling them | |
CN108778085B (zh) | 图像处理设备、内窥镜手术***以及图像处理方法 | |
KR101798590B1 (ko) | 마스터 로봇, 이를 포함하는 수술 로봇 시스템 및 그 제어 방법과, 이를 기록한 기록매체 | |
EP2862497B1 (en) | Manipulator system | |
KR101740286B1 (ko) | 수술 로봇 시스템 및 적응 제어 방법 | |
JP2020048706A (ja) | 手術システムおよび表示方法 | |
KR101267914B1 (ko) | 외과 수술 로봇 조작 장치 | |
KR100962472B1 (ko) | 수술 로봇 시스템 및 그 제어 방법 | |
WO2018216501A1 (ja) | 制御装置、制御方法、および手術システム | |
KR101706994B1 (ko) | 수술 로봇 시스템 및 그 복강경 조작 방법 | |
JP6902639B2 (ja) | 手術システム | |
KR20160037184A (ko) | 외과적 침습 동안 집도자에게 영상 지원을 제공하기 위한 보조 수단 | |
JP7128326B2 (ja) | 手術システム | |
US20230240764A1 (en) | User input systems and methods for a computer-assisted medical system | |
US20230270323A1 (en) | Dynamic input controls on a drive-by-wire endoscope | |
KR101709911B1 (ko) | 수술 로봇 시스템 및 그 복강경 조작 방법 | |
KR101698961B1 (ko) | 수술 로봇 시스템 및 그 복강경 조작 방법 | |
JP2002233536A (ja) | 内視鏡手術システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |