KR20240049859A

KR20240049859A - 가요성 튜브의 히스테리시스 보상 제어장치

Info

Publication number: KR20240049859A
Application number: KR1020220128324A
Authority: KR
Inventors: 이동호; 김준환; 권동수
Original assignee: 주식회사 로엔서지컬
Priority date: 2022-10-07
Filing date: 2022-10-07
Publication date: 2024-04-18

Abstract

본 발명은 가요성 튜브의 히스테리시스 보상 제어장치 및 그 방법에 관한 것으로서, 보다 상세하게는 오버튜브의 채널 내에 배치된 수술도구의 히스테리시스를 보상 제어하기 위한 가요성 튜브의 히스테리시스 보상 제어장치에 관한 것이다. 이를 위해 모드 스위칭에 필요한 유연 수술도구의 이미지 정보와 와이어 텐션 정보를 입력받는 입력부, 상기 유연 수술도구의 이미지 정보 및 텐션 정보를 기초로 상기 수술도구의 현재 상태를 판단하고, 상기 수술도구의 현재 상태에 따라 제어모드 스위칭을 위한 제어모드 변경신호를 생성하는 모드 스위칭 판단부, 상기 모드 스위칭 판단부의 제어모드 변경신호에 따라 텐션 정보를 기초로 한 가요성 튜브 제어에서 이미지 정보를 기초로 한 가요성 튜브 제어로 제어모드를 스위칭하거나 또는 이미지 정보를 기초로 한 가요성 튜브 제어에서 텐션 정보를 기초로 한 가요성 튜브 제어로 제어모드를 스위칭하는 모드 스위칭부, 학습 모델에 의해 산출된 텐션 오차값을 바탕으로 히스테리시스 특성을 갖는 가요성 튜브를 보상 제어하는 보상 제어부를 포함하는 것을 특징으로 하는 가요성 튜브의 히스테리시스 보상 제어장치가 개시된다.

Description

가요성 튜브의 히스테리시스 보상 제어장치{Hysteresis compensation apparatus of flexible tube}

본 발명은 가요성 튜브의 히스테리시스 보상 제어장치 및 그 방법에 관한 것으로서, 보다 상세하게는 오버튜브의 채널 내에 배치된 수술도구의 히스테리시스를 보상 제어하기 위한 가요성 튜브의 히스테리시스 보상 제어장치에 관한 것이다.

도 1에 도시된 바와 같이 유연 오버튜브(10)는 복수의 유연 수술도구(21,22)를 포함한다. 복수의 유연 수술도구(21,22)는 오버튜브의 몸체에 마련된 각각의 채널(11,12) 내에 삽입 배치된다. 일예로서 제1 수술도구(21)는 제1,2 견인 와이어(도면 미도시)에 의해 견인됨으로써 위치와 방향을 제어할 수 있다.

유연 수술도구는 도 2에 도시된 바와 같이 히스테리시스 구간을 갖는다. 즉, 동일한 견인력 주어져도 유연 오버튜브 또는 수술도구의 형상에 따라 히스테리시스 구간이 발생된다. 이러한 히스테리시스 발생 구간에서의 오버튜브 또는 수술도구의 제어는 정밀하지 못한 단점을 갖는다.

US 2019/0290109 KR 10-2340169

따라서, 본 발명은 전술한 바와 같은 문제점을 해결하기 위하여 창출된 것으로서, 히스테리시스 구간내에서도 유연 수술도구를 정밀하게 제어할 수 있는 발명을 제공하는데 그 목적이 있다.

그러나, 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

전술한 본 발명의 목적은, 모드 스위칭에 필요한 유연 수술도구의 이미지 정보와 텐션 정보를 입력받는 입력부, 수술도구의 이미지 정보를 기초로 수술도구의 현재 상태를 판단하고, 수술도구의 현재 상태에 따라 제어모드 변경신호를 생성하는 모드 스위칭 판단부, 모드 스위칭 판단부의 제어모드 변경신호에 따라 이미지 정보를 기초로 한 유연 오버튜브 제어에서 텐션 정보를 기초로 한 유연 오버튜브 제어로 제어모드를 스위칭하는 모드 스위칭부, 학습 모델에 의해 산출된 텐션 오차값을 바탕으로 히스테리시스 특성을 갖는 유연 수술도구를 보상 제어하는 보상 제어부를 포함하는 것을 특징으로 하는 유연 오버튜브의 히스테리시스 보상 제어장치를 제공함으로써 달성될 수 있다.

또한, 수술도구의 현재 상태를 판단하는 이미지 정보는 유연 오버튜브의 몸체의 채널 내에 삽입되어 견인 와이어에 의해 견인되는 수술도구의 팁 영역을 촬영한 이미지 정보이다.

또한, 입력부는 오버튜브의 몸체의 채널 내에 삽입되어 수술도구를 촬영하는 수술도구 이미지 촬영부, 수술도구의 견인 와이어의 견인력을 측정하는 텐션 측정부를 포함하며, 수술도구 이미지 촬영부에서 촬영한 수술도구의 팁 영역의 이미지 정보를 모드 스위칭 판단부로 전송함으로써 수술도구의 현재 상태를 판단한다.

또한, 모드 스위칭 판단부는 수술도구의 팁 영역의 이미지 정보를 바탕으로 이미지 정보를 기초로 한 유연 오버튜브 제어모드로 제어 가능한지 여부를 판단한다.

또한, 수술도구의 이미지 정보를 기초로 기 설정된 학습모델에 따라 학습하고, 학습에 의해 이미지 오차값을 산출하는 이미지 정보 학습부, 수술도구의 텐션 정보를 기초로 기 설정된 학습모델에 따라 학습하고, 학습에 의해 텐션 오차값을 산출하는 텐션 정보 학습부를 더 포함한다.

한편, 본 발명의 목적은 유연 수술도구의 이미지 정보를 기초로 수술도구의 현재 상태를 판단함으로써 제1 제어모드 변경신호를 생성하거나 또는 유연 수술도구의 텐션 정보를 기초로 기 정의된 텐션 제어 모델링에 해당하는지를 판단함으로써 제2 제어모드 변경 신호를 생성하는 모드 스위칭 판단부, 텐션 정보를 기초로 한 유연 오버튜브 제어에서 이미지 정보를 기초로 한 유연 오버튜브 제어로 제어모드를 스위칭하는 이미지 모드 스위칭부, 이미지 정보를 기초로 한 유연 오버튜브 제어에서 텐션 정보를 기초로 한 유연 오버튜브 제어로 제어모드를 스위칭하는 텐션 모드 스위칭부, 텐션 정보 또는 이미지 정보를 기초로 생성된 보상 오차값을 이용하여 히스테리시스 특성을 갖는 유연 수술도구를 보상 제어하는 보상 제어부를 포함하는 것을 특징으로 하는 유연 오버튜브의 히스테리시스 보상 제어장치를 제공함으로써 달성될 수 있다.

또한, 제1 제어모드 변경신호는 수술도구의 현재 상태를 판단하는 이미지 정보에 포함된 수술도구의 팁 영역이 보이지 않거나 또는 다른 수술도구에 의해 가려져 있는 경우에 생성된다.

또한, 텐션 모드 스위칭부는 제1 제어모드 변경신호에 따라 제어모드를 스위칭한다.

또한, 제2 제어모드 변경신호는 수술도구의 하중에 변화가 있거나 또는 수술도구의 복수의 텐션 측정값 중 어느 하나의 측정값이 제로여서 텐션 제어 모델링에 해당하지 않는 경우에 생성된다.

또한, 이미지 모드 스위칭부는 제2 제어모드 변경신호에 따라 제어모드를 스위칭한다.

한편, 본 발명의 목적은 유연 수술도구의 이미지 정보에 기초하여 히스테리시스 특성을 갖는 유연 수술도구를 보상 제어하는 단계, 수술도구의 현재 상태를 판단하는 이미지 정보를 기초로 수술도구가 보이는지를 판단하는 단계, 수술도구가 보이지 않는다고 판단되면, 이미지 정보에 기초한 보상 제어에서 텐션 정보에 기초한 보상 제어로 제어 모드를 스위칭하는 단계, 유연 수술도구의 텐션 정보에 기초하여 히스테리시스 특성을 갖는 유연 수술도구를 보상 제어하는 단계를 포함하는 것을 특징으로 하는 유연 오버튜브의 히스테리시스 보상 제어방법을 제공함으로써 달성될 수 있다.

또한, 이미지 정보에 기초한 보상 제어에서 텐션 정보에 기초한 보상 제어로 제어모드가 변경된 후에,

유연 수술도구의 텐션 정보를 기초로 기 정의된 텐션 제어 모델링에 해당하는지를 판단하는 단계, 기 정의된 텐션 제어 모델링에 해당하지 않는다고 판단되면, 텐션 정보에 기초한 보상 제어에서 이미지 정보에 기초한 보상 제어로 제어 모드를 스위칭하는 단계, 유연 수술도구의 이미지 정보에 기초하여 히스테리시스 특성을 갖는 유연 수술도구를 보상 제어하는 단계를 포함한다

전술한 바와 같은 본 발명에 의하면 히스테리시스 구간내에서도 유연 수술도구를 정밀하게 제어할 수 있는 효과가 있다.

본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 일실시예를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술적 사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석 되어서는 아니 된다.
도 1은 본 발명의 일실시예에 따른 유연 오버튜브를 나타낸 도면이고,
도 2는 본 발명의 일실시예에 따른 유연 수술도구의 히스테리시스 특성 또는 곡선을 나타낸 도면이고,
도 3은 본 발명의 제1 실시예에 따른 유연 오버튜브의 히스테리시스 보상 제어장치의 대략적인 구성을 나타낸 도면이고,
도 4는 본 발명의 제1 실시예에 따른 이미지 정보 기반 히스테리시스 보상 제어에서 텐션 정보 기반 히스테리시스 보상 제어로 제어모드를 변경 스위칭하는 것을 순차적으로 설명한 도면이고,
도 5는 본 발명의 제1 실시예에 따른 이미지 정보 기반 히스테리시스 보상 제어에서 텐션 정보 기반 히스테리시스 보상 제어로 제어모드를 변경 스위칭 한 후에 다시 텐션 정보 기반 히스테리시스 보상 제어에서 이미지 정보 기반 히스테리시스 보상 제어로 제어모드를 변경 스위칭하는 것을 순차적으로 설명한 도면이고,
도 6은 본 발명의 제2 실시예에 따른 유연 오버튜브의 히스테리시스 보상 제어장치의 대략적인 구성을 나타낸 도면이고,
도 7은 본 발명의 제2 실시예에 따른 텐션 정보 기반 히스테리시스 보상 제어에서 이미지 정보 기반 히스테리시스 보상 제어로 제어모드를 변경 스위칭 한 후에 다시 이미지 정보 기반 히스테리시스 보상 제어에서 텐션 정보 기반 히스테리시스 보상 제어로 제어모드를 변경 스위칭하는 것을 순차적으로 설명한 도면이고,
도 8은 본 발명의 제3 실시예에 따른 히스테리시스 보상 모델의 학습에 따른 대략적인 구성을 나타낸 도면이고,
도 9는 본 발명의 제3 실시예에 따른 히스테리시스 보상 제어에 따른 대략적인 구성을 나타낸 도면이다.

이하, 도면을 참조하여 본 발명의 바람직한 일실시예에 대해서 설명한다. 또한, 이하에 설명하는 일실시예는 특허청구범위에 기재된 본 발명의 내용을 부당하게 한정하지 않으며, 본 실시 형태에서 설명되는 구성 전체가 본 발명의 해결 수단으로서 필수적이라고는 할 수 없다. 또한, 종래 기술 및 당업자에게 자명한 사항은 설명을 생략할 수도 있으며, 이러한 생략된 구성요소(방법) 및 기능의 설명은 본 발명의 기술적 사상을 벗어나지 아니하는 범위내에서 충분히 참조될 수 있을 것이다.

본 발명의 일실시예에 따른 가요성 튜브의 히스테리시스 보상 제어장치는 가요성 튜브에서 발생되는 히스테리시스를 보상 제어하는 장치이다. 이때, 가요성 튜브는 와이어로 구동 또는 견인되는 튜브로서, 일예로서 유연 오버튜브나 유연 오버튜브의 채널 내에 삽입되는 유연 수술도구 또는 유연 로봇 수술도구를 예시로 들 수 있다. 이하에서는 가요성 튜브의 일예로서 유연 오버튜브(10) 또는 유연 수술도구(21,22)를 예로들어 설명하기로 한다.

유연 오버튜브(10)는 유연한 튜브 몸체와 유연한 튜브의 채널 내에 유연 수술도구가 삽입된다. 유연 오버튜브(10)는 인체의 몸 내부로 삽입되며, 유연 튜브와 수술도구를 견인 와이어를 통해 위치(position)와 방향(orientation)을 제어함으로써 인체를 수술하는 장치이다.

도 1에 도시된 바와 같이 유연 오버튜브(10, 또는 튜브)는 유연한 몸체를 가지는 오버튜브 몸체(10a), 오버튜브 몸체(10a)의 내측으로 기 설정된 지름을 가지면서 형성된, 제1,2,3 채널(11,12,13), 각 채널에 삽입되는 수술도구 및 카메라부를 포함한다. 도 1에 도시된 바와 같이 제1 채널(11)에는 제1 수술도구(21)가 삽입되며, 제2 채널(12)에는 제2 수술도구(22)가 삽입되고, 제3 채널(13)에는 카메라부(23)가 삽입될 수 있다. 다만, 채널의 개수 및 수술도구의 개수는 필요에 따라 변경될 수 있다. 오버튜브 몸체(10a)의 전단부에는 각 채널 내에 삽입된 카메라부(23) 및 수술도구가 돌출되어 있다. 따라서 카메라부(23)는 전방을 촬영할 수 있고, 각 수술도구는 조직을 집거나 절제하는 수술을 견인 와이어(또는 구동 와이어)의 조작에 따라 제어할 수 있다. 오버튜브 몸체(10a)의 후단부에는 견인 와이어(도면 미도시)를 조작할 수 있는 조작부(또는 제어부, 도면 미도시)가 배치된다. 견인 와이어는 조작부에서 오버튜브 몸체 또는 수술도구의 전단부까지 연결되어 있다. 따라서 사용자의 조작부 조작에 의해 견인 와이어의 위치와 방향을 제어할 수 있다. 이때, 일예로서 유연 오버튜브 몸체(10a)의 위치와 방향을 제어하기 위해서 제1 견인 와이어(10b)와 제2 견인 와이어(10c)를 조작부에 의해 조정함으로써 견인력에 따라 위치와 방향을 바꿀 수 있다. 그리고 유연 오버튜브 몸체(10a)의 위치 및 방향 제어와 동일하게 각 수술도구의 위치 및 방향 제어도 동일한 원리로 설명될 수 있다.

한편, 도 2에 도시된 바와 같이 유연 오버튜브 몸체(10a) 또는 유연 수술도구(21,22)는 견인 와이어의 견인력에 따라 선형적인 슬로프(slope) 구간을 가져서 수술도구의 위치 및 방향을 제어할 수 있다. 다만, 견인 와이어를 이용하여 수술도구를 제어할 때 도 2에 도시된 바와 같이 동일한 견인력을 제공함에도 불구하고 그 견인력에 상응하도록 위치와 방향을 일정하게 제어할 수 없는 구간도 존재한다. 이 구간을 히스테리시스 영역이라 할 수 있으며, 이러한 히스테리시스 영역에서는 견인력이 동일하다 하더라도 수술도구의 위치와 방향 제어가 달라질 수 있다. 이러한 히스테리시스가 발생하는 이유는 일예로서 유연 수술도구 또는 유연 오버튜브가 체내에 삽입될 때 그 형상이나 꼬임이 달라져서 와이어와 와이어 시스간에 마찰력이 발생되어 일어날 수도 있고, 견인 와이어의 사용으로 인한 와이어 신장(elongation)이 원인일 수도 있다. 또한, 와이어의 슬랙(slack)에 의해 와이어를 견인하도록 제어 명령이 입력됨에도 불구하고 출력에 변화가 없는 일명 데드존(dead zone)이 발생되어 일어날 수도 있다. 또한, 유연 오버튜브 내의 시스 또는 와이어로 인한 일정하지 않은(un-uniform) 튜브 특성으로 발생될 수도 있다.

따라서 본 발명에서는 이러한 히스테리시스 특성을 갖는 유연 수술도구를 보상 제어함으로써 정밀하게 수술도구를 제어할 수 있다.

(유연 오버튜브의 히스테리시스 보상 제어장치의 구성 및 기능 : 제 1 실시예)

도 3에 도시된 바와 같이, 본 발명의 제1 실시예에 따른 유연 오버튜브의 히스테리시스 보상 제어장치는 입력부(110), 모드 스위칭 판단부(120), 모드 스위칭부(130), 학습부(140), 보상 제어부(150)를 포함한다.

입력부(110)는 히스테리시스 제어를 위한 모드 스위칭에 필요한 유연 수술도구의 이미지 정보와 텐션 정보를 입력받는다. 이를 위해 입력부(110)는 수술도구 이미지 촬영부(111), 텐션 측정부(112), 텐션 변화량 산출부(113), 텐션 입력값 비교 판단부(114)를 포함한다.

수술도구 이미지 촬영부(111)는 제3 채널(13)에 삽입되며, 제3 채널(13)에 삽입되어 히스테리시스 보상 제어 대상체인 제1 수술도구(21)의 엔드 이펙터 또는 수술도구의 팁(21a) 영역을 촬영한 촬영 이미지를 생성한다. 이때, 제어 대상체가 제2 수술도구(22)인 경우에는 제2 수술도구(22)를 촬영할 수도 있으며, 필요에 따라서는 제1,2 수술도구(21,22) 모두를 촬영할 수도 있다. 한편, 수술도구 이미지 촬영부(111)는 고정될 수도 있고 또는 필요에 따라 움직임 제어가 가능한 구조로 채널 내에 삽입 고정될 수도 있다. 이때, 수술을 위해 실제 체내에 삽입된 카메라의 촬영 조건은 학습부(140)에서 이미 학습으로 활용된 수술도구의 촬영 위치, 촬영 각도 또는 촬영 영역과 정확히 일치하는 것이 바람직하다.

텐션 측정부(112)는 수술도구의 견인 와이어의 견인력을 측정한다. 견인력을 측정하기 위해 일예로서 견인 와이어의 장력을 측정하는 장력 측정센서를 배치하거나 또는 조작부에 배치된 견인 와이어를 구동시키는 모터의 부하를 측정할 수도 있다.

도 5에 도시된 바와 같이 이미지 정보에 기초한 수술도구 히스테리시스 보상 제어에서 텐션 정보에 기초한 수술도구 히스테리시스 보상 제어로 제어 모드가 스위칭 된 후에 다시 이미지 정보에 기초한 수술도구 히스테리시스 보상 제어로 모드가 스위칭 될 때 추가적으로 텐션 변화량 산출부(113) 및 텐션 입력값 비교 판단부(114)를 포함한다.

텐션 변화량 산출부(113)는 히스테리시스 보상 제어 대상체인 제1 수술도구(21)에 하중이 없다가 갑자기 하중이 가해지는 경우나 반대로 제1 수술도구(21)에 하중이 가해지다가 하중이 없어지는 경우 등 와이어 텐션 값이 변화되는 변화량을 산출한다. 어느 하나의 수술도구를 견인 와이어로 제어하기 위해서는 앞서 설명한 도 1에 도시된 바와 같이 2개의 견인 와이어를 각각 조작해야 하며, 이에 따라 제1,2 견인 와이어의 와이어 장력 또는 견인력 측정센서가 필요하다.

다만, 설명의 편의를 위하여 각각 1개의 견인 와이어로 설명하였을 뿐 실질적으로 1 자유도를 움직이기 위해서는 견인 와이어가 2개 필요하며, 2 자유도의 경우에는 총 4개의 견인 와이어가 필요하다. 또한, 견인 와이어 1개 당 구동 모터 1개가 필요하거나 또는 견인 와이어 2개 당 구동 모터 1개로 구동시킬 수도 있다.

텐션 변화량 산출부(113)는 각각의 측정센서에서 측정한 텐션값의 변화량을 산출한다. 텐션값의 변화량을 비교하여 무부하에서 부하로 바뀌거나 부하에서 무부하로 바뀌는 경우를 알 수 있고, 이러한 2가지 경우에는 텐션 정보를 기반으로 한 히스테리시스 보상 제어가 어려워 제어모드를 스위칭해야 한다. 즉, 이러한 경우 텐션 정보 기반 제어에서 이미지 정보 기반 제어로 변경해야 한다.

텐션 입력값 비교 판단부(114)는 상술한 제1,2 와이어의 장력 또는 견인력 측정값(또는 텐션값) 중 어느 하나의 입력값이 '0'인 경우를 찾는다. 제1,2 와이어의 각각의 텐션값 중 어느 하나의 입력값이 '0'이면 텐션 정보를 기반으로 한 히스테리시스 보상 제어가 어려워 제어모드를 스위칭해야 한다. 즉, 이러한 경우 텐션 정보 기반 제어에서 이미지 정보 기반 제어로 변경해야 한다. 이하에서는 히스테리시스 보상 제어 대상체를 제1 수술도구(21)로 가정하여 설명한다. 다만, 제2 수술도구(22)의 히스테리리스 보상 제어도 동일한 원리로 설명될 수 있다.

본 발명의 일실시예에 따른 모드 스위칭 판단부(120)는 유연 제1 수술도구(21)의 이미지 정보를 기초로 제1 수술도구(21)의 현재 상태를 판단함으로써 제1 제어모드 변경신호(이미지 정보 기반 히스테리시스 보상 제어에서 텐션 정보 기반 히스테리시스 보상 제어로 모드 스위칭을 할 수 있도록 생성된 신호)를 생성한다.

모드 스위칭 판단부(120)는 유연 제1 수술도구(21)의 텐션 정보를 기초로 기 정의된 텐션 제어 모델링에 해당하는지를 판단함으로써 제2 제어모드 변경 신호(텐션 정보 기반 히스테리시스 보상 제어에서 이미지 정보 기반 히스테리시스 보상 제어로 모드 스위칭을 할 수 있도록 생성된 신호)를 생성한다.

제1 수술도구(21)의 현재 상태를 판단하는 이미지 정보는 제1 수술도구(21)의 팁(21a) 영역을 촬영한 이미지 정보이다.

모드 스위칭 판단부(120)는 이미지 분석 및 판단부(121) 및 텐션 모델링 분석 및 판단부(122)를 포함한다.

이미지 분석 및 판단부(121)는 수술도구 이미지 촬영부(111)로부터 제1 수술도구(21)의 팁 영역의 촬영 이미지를 전송받는다. 전송받은 촬영 이미지를 통해 제1 수술도구(21)의 현재 상태를 판단할 수 있다. 즉, 촬영 이미지를 분석함으로써 촬영 이미지에 포함된 제1 수술도구(21)의 팁 영역이 보이지 않거나 또는 제2 수술도구(22)에 의해 제1 수술도구(21)가 가려져 있는 경우에는 이미지 정보를 기반으로 한 보상 제어를 할 수 없으므로 이미지 분석 및 판단부(121)는 제1 제어모드 변경신호를 생성한다. 제1 제어모드 변경신호의 생성에 따라 이미지 정보 기반 히스테리시스 보상 제어에서 텐션 정보 기반 히스테리시스 보상 제어로 제어 모드가 변경 스위칭된다.

텐션 모델링 분석 및 판단부(122)는 텐션 변화량 산출부(113) 또는 텐션 입력값 비교 판단부(114)의 입력 값에 따라 텐션 제어 모델링에 해당하는지 여부를 판단하고, 판단에 따라 텐션 제어 모델링에 해당하지 않는다고 판단하면 더 이상 텐션 정보 기반 히스테리시스 보상 제어를 할 수 없기 때문에 제어 모드를 스위칭하기 위한 제2 제어모드 변경신호를 생성한다. 즉, 텐션 정보 기반 히스테리시스 보상 제어에서 이미지 정보 기반 히스테리시스 보상 제어로 제어모드가 스위칭 된다. 이때, 텐션 제어 모델링에 해당하지 않는 경우의 일예로서 제1 수술도구(21)의 하중에 변화가 있거나(하중이 없다가 하중이 가해지는 경우, 하중이 가해지다가 하중이 없어지는 경우) 또는 제1 수술도구(21)를 견인하는 제1,2 견인 와이어의 각각의 텐션 측정값 중 어느 하나의 측정값이 '0'인 경우이다. 상술한 일예는 후술하는 텐션 정보 학습부(142)의 딥러닝 학습시에 가정된 예측 모델이 아닌 경우로서 이러한 경우에는 텐션 정보 기반으로 히스테리시스 보상 제어를 할 수 없다. 따라서 제어모드의 스위칭이 필요한다.

본 발명의 일실시예에 따른 모드 스위칭부(130)는 이미지 모드 스위칭부(131)와 텐션 모드 스위칭부(132)를 포함한다.

이미지 모드 스위칭부(131)는 이미지 분석 및 판단부(121)의 제1 제어모드 변경신호에 따라 이미지 정보를 기초로 한 제1 수술도구(21) 보상 제어에서 텐션 정보를 기초로 한 제1 수술도구(21) 보상 제어로 제어모드를 스위칭한다.

텐션 모드 스위칭부(132)는 텐션 모델링 분석 및 판단부(122)의 제2 제어모드 변경신호에 따라 이미지 정보를 기초로 한 제1 수술도구(21) 보상 제어에서 텐션 정보를 기초로 한 제1 수술도구(21) 보상 제어로 제어모드를 스위칭한다.

본 발명의 일실시예에 따른 학습부(140)는 이미지 정보 또는 텐션 정보를 바탕으로 딥러닝 또는 머신 러닝을 수행하고, 학습을 통해 이미지 오차값 또는 텐션 오차값을 각각 산출한다. 이를 위해 학습부(140)는 이미지 정보 학습부(141) 및 텐션 정보 학습부(142)를 포함한다.

이미지 정보 학습부(141)는 제1 수술도구(21)의 팁(21a) 영역의 촬영된 이미지를 바탕으로 머신 러닝 또는 딥 러닝을 수행한다. 따라서 학습에 필요한 이미지를 획득하기 위한 카메라(23)의 촬영 조건과 실제 체내에 삽입되었을 때의 카메라(23)의 촬영 조건이 서로 일치하는 것이 바람직하다. 이미지 정보 학습부(141)는 기 정의된 학습모델에 따른 학습에 의해 체내에 삽입되어 현재 촬영된 제1 수술도구(21)의 이미지에 상응하는 이미지 보상 제어값 또는 이미지 보상 오차값을 산출한다. 이미지 보상 오차값은 보상 제어부(150)로 전송된다. 물론, 이때 생성되는 이미지 보상 오차값은 실제 제1 수술도구를 구동시키기 위한 견인 와이어 구동모터의 구동과 관련된 정보일 수 있다.

텐션 정보 학습부(142)는 제1 수술도구(21)의 견인 와이어의 텐션 정보를 바탕으로 머신 러닝 또는 딥 러닝을 수행한다. 텐션 정보 학습부(142)는 기 정의된 학습모델에 따른 학습에 의해 체내에 삽입된 제1 수술도구(21)의 텐션 측정값에 상응하는 텐션 보상 제어값 또는 텐션 보상 오차값을 산출한다. 텐션 보상 오차값은 보상 제어부(150)로 전송된다.

보상 제어부(150)는 이미지 보상 오차값 또는 텐션 보상 오차값에 의해 히스테리시스 곡선을 갖는 제1 수술도구(21)를 보상 제어한다. 이를 위해 보상 제어부(150)는 이미지 정보 기반 히스테리시스 보상 제어부(151) 및 텐션 정보 기반 히스테리시스 보상 제어부(152)를 포함한다.

이미지 정보 기반 히스테리시스 보상 제어부(151)는 이미지 보상 오차값을 이용하여 제1 수술도구(21)를 히스테리시스 보상 제어한다. 즉, 현재 촬영한 제1 수술도구의 이미지 정보를 바탕으로 학습에 의해 산출한 이미지 보상 오차값을 이용하여 히스테리시스 보상 제어한다.

텐션 정보 기반 히스테리시스 보상 제어부(152)는 텐션 보상 오차값을 이용하여 제1 수술도구(21)를 히스테리시스 보상 제어한다. 즉, 현재 측정한 제1 수술도구의 텐션 정보를 바탕으로 학습에 의해 산출한 텐션 보상 오차값을 이용하여 히스테리시스 보상 제어한다.

(유연 오버튜브의 히스테리시스 보상 제어방법)

본 발명의 일실시예에 따른 유연 오버튜브의 히스테리시스 보상 제어방법은 도 4에 도시된 이미지 정보 기반 보상 제어에서 텐션 정보 기반 보상 제어로 제어모드가 변경되는 제1 방법과 도 5에 도시된 이미지 정보 기반 보상 제어에서 텐션 정보 기반 보상 제어로 제어모드가 변경되고, 다시 텐션 정보 기반 보상 제어에서 이미지 정보 기반 보상 제어로 제어모드가 변경되는 제2 방법을 이하에서 설명하기로 한다.

도 4에 도시된 바와 같이 이미지 정보 기반 보상 제어에서 텐션 정보 기반 보상 제어는 다음의 단계를 수행함으로써 이루어질 수 있다.

보상 제어부(150)는 먼저 제1 수술도구(21)의 이미지 정보에 기초하여 히스테리시스 곡선을 갖는 제1 수술도구(21)를 보상 제어한다(S11). 좀 더 자세하게 설명하면, 이미지 정보 기반 히스테리시스 보상 제어부(151)는 제1 수술도구(21)의 이미지 정보에 기초하여 제1 수술도구(21)의 견인 와이어의 장력을 제어한다.

이때, 이미지 분석 및 판단부(121)는 제1 수술도구(21)의 현재 상태를 판단하는 이미지 정보를 기초로 제1 수술도구(21)가 보이는지를 판단한다. 제1 수술도구(21)가 카메라부(23)의 시야에서 가려지거나 사라지는 경우에는 더 이상 이미지 정보 기반 보상 제어를 할 수 없기 때문에 제1 수술도구(21)의 현재 상태를 판단한다(S12).

판단결과, 수술도구가 보이지 않는다고 판단되면, 모드 스위칭부(130)는 이미지 정보에 기초한 보상 제어에서 텐션 정보에 기초한 보상 제어로 제어 모드를 스위칭한다(S13).

제어모드의 스위칭에 따라 텐션 정보 기반 히스테리시스 보상 제어부(152)는 제1 수술도구(21)의 텐션 정보에 기초하여 히스테리시스 곡선을 갖는 제1 수술도구(21)를 보상 제어한다.

한편, 도 5에 도시된 바와 같이 이미지 정보 기반 보상 제어에서 텐션 정보 기반 보상 제어를 수행하다가 다시 이미지 정보 기반 보상 제어는 다음의 단계를 수행함으로써 이루어질 수 있다.

먼저, 도 4 및 도 5에 도시된 바와 같이 S11 단계 내지 S14 단계까지는 동일하다. 텐션 정보 기반 히스테리시스 보상 제어부(152)는 제1 수술도구(21)의 텐션 정보에 기초하여 제1 수술도구(21)를 보상 제어하고 있다.

텐션 모델링 분석 및 판단부(122)는 이미지 정보에 기초한 보상 제어에서 텐션 정보에 기초한 보상 제어로 제어모드가 변경된 후에 제1 수술도구(21)의 텐션 정보를 기초로 기 정의된 텐션 제어 모델링에 해당하는지를 판단한다(S15). 텐션 제어 모델링에 해당하지 않는 경우에는 더 이상 텐션 정보 기반 보상 제어를 할 수 없기 때문이다.

판단 결과, 기 정의된 텐션 제어 모델링에 해당하지 않는다고 판단되면, 이미지 모드 스위칭부(131)는 텐션 정보에 기초한 보상 제어에서 이미지 정보에 기초한 보상 제어로 제어 모드를 스위칭한다(S16)..

제어모드의 스위칭에 따라 이미지 정보 기반 히스테리시스 보상 제어부(151)는 제1 수술도구(21)의 이미지 정보에 기초하여 히스테리시스 곡선을 갖는 제1 수술도구(21)를 보상 제어한다.

(유연 오버튜브의 히스테리시스 보상 제어장치의 구성 및 기능 : 제 2 실시예)

본 발명의 제2 실시예에 따른 유연 오버튜브의 히스테리시스 보상 제어장치는 첨부된 도면 6 및 7을 참고하여 상세히 설명하기로 한다. 다만, 상술한 입력부(110), 모드 스위칭 판단부(120), 모드 스위칭부(130), 학습부(140) 및 보상 제어부(250)의 설명은 필요에 따라 참조될 수 있으며, 동일한 설명은 생략하기로 한다.

도 6에 도시된 바와 같이 입력부(210)는 모드 스위칭에 필요한 유연 수술도구의 이미지 정보와 와이어 텐션 정보를 입력받는다. 입력부(210)는 수술도구 이미지 촬영부(211), 텐션 측정부(212), 텐션 변화량 산출부(213), 및 텐션 입력값 비교 판단부(214)를 포함하며, 상술한 입력부(110)의 설명에 갈음하기로 한다. 다만, 텐션 입력값 비교 판단부(214)는 제1,2 와이어의 텐션 측정값을 입력받으며, 텐션 입력값 중 어느 하나의 입력값이 '0'인 경우를 찾는다. 이를 위해 무부하시에도 와이어의 견인력에 따른 초기 텐션 측정값이 '0' 이상이 측정되도록 견인력을 조정하는 것이 바람직하다.

모드 스위칭 판단부(220)는 이미지 분석 판단부(221) 및 텐션 모델링 분석 및 판단부(222)를 포함한다. 모드 스위칭 판단부(220)는 유연 수술도구의 이미지 정보 및 텐션 정보를 기초로 수술도구의 현재 상태를 판단하고, 수술도구의 현재 상태에 따라 제어모드 스위칭을 위한 제어모드 변경신호를 생성한다. 제어모드 변경신호는 각 스위칭 조건에 따라 각기 생성된다. 모드 스위칭 판단부는(220)는 제1,2 스위칭 조건 제어모드 변경신호, 제3 스위칭 강제 조건 제어모드 변경신호, 및 수술도구의 상태 변화를 유도하는 신호를 각각 생성한다.

텐션 모델링 분석 및 판단부(222)는 텐션 정보에 기초한 제어를 수행 중에 텐션 정보를 기초로 한 가요성 튜브 제어를 수행할 수 없다고 판단하는 제1 스위칭 조건에서는 텐션 정보를 기초로 한 가요성 튜브 제어에서 이미지 정보를 기초로 한 가요성 튜브 제어로 제어모드를 스위칭하는 제1 스위칭 조건 제어모드 변경신호를 생성한다. 제1 스위칭 조건의 예시는 텐션 정보에 기초한 제어를 수행할 수 없는 앞서 설명에 갈음하기로 한다.

또한, 텐션 모델링 분석 및 판단부(222)는 제1 스위칭 조건 제어모드 변경신호에 의해 이미지 정보를 기초로 한 가요성 튜브 제어를 수행 중에, 이미지 분석 및 판단부(221)의 신호를 기초로 이미지 정보를 기초로 한 가요성 튜브 제어를 수행할 수 없다고 판단하고 그리고 제1 스위칭 조건이 해제되었다고 판단하는 제2 스위칭 조건에 해당하면 이미지 정보를 기초로 한 가요성 튜브 제어에서 텐션 정보를 기초로 한 가요성 튜브 제어로 제어모드를 스위칭 하는 제2 스위칭 조건 제어모드 변경신호를 생성한다.

이미지 분석 및 판단부(221)는 제1 스위칭 조건 제어모드 변경신호에 의해 이미지 정보를 기초로 한 가요성 튜브 제어를 수행 중에, 이미지 정보를 기초로 한 가요성 튜브 제어를 수행할 수 없다고 판단하고 그리고 제1 스위칭 조건도 해제되지 않았다고 판단하는 제3 스위칭 강제 조건에 해당하면 이미지 정보를 기초로 한 가요성 튜브 제어에서 텐션 정보를 기초로 한 가요성 튜브 제어로 제어모드를 강제적으로 스위칭하는 제3 스위칭 강제 조건 제어모드 변경신호를 생성한다. 제3 스위칭 강제 조건의 일예로서, 복수의 수술도구 중 적어도 어느 하나의 수술도구의 일부 영역이 판독 이미지상에서 보이지 않거나, 수술도구 2개 이상이 서로 오버랩되어 판독 이미지상에서 오버랩 영역이 발생하여 이미지 판독이 어려운 경우, 또는 수술도구 2개 이상이 서로 접하거나 하여 이미지 판독이 어려운 경우 등이 있을 수 있다. 또한, 다른 예로서, 혈액이 카메라 렌즈 또는 수술도구에 묻거나, 인체 내의 장기 조직 또는 장기 절제로 인한 연기에 의해 카메라의 시야 또는 수술도구가 가려지는 경우, 장기나 또는 장기 주변의 환경에 의해 수술도구의 전체 이미지 윤곽이 바뀌어 수술도구를 파악하기 힘든 경우, 어느 하나의 수술도구가 카메라의 시야를 가릴 때, 촬영 카메라의 엘이디 조명이 수술도구에 반사되어 수술도구의 이미지 식별이 어려울 때 등이 있따.

모드 스위칭 판단부(220)는 제1 스위칭 조건 제어모드 변경신호에 의해 이미지 정보를 기초로 한 가요성 튜브 제어를 수행 중에 이미지 정보를 기초로 한 가요성 튜브 제어를 수행할 수 없다고 판단하고 그리고 제1 스위칭 조건도 해제되지 않았다고 판단하는 제4 스위칭 조건에 해당하면 와이어 또는 수술도구를 제어하여 텐션 정보 또는 이미지 정보에 기초한 가요성 튜브 제어가 가능하도록 수술도구의 상태 변화를 유도하는 신호를 생성한다. 생성된 신호는 후술하는 제어부(260)로 전송한다.

제어부(260)는 와이어 제어부(261) 및 수술도구 제어부(262)를 포함한다. 와이어 제어부(261)는 수술도구의 상태 변화를 유도하는 신호를 모드 스위칭 판단부(220)로부터 입력받아 와이어를 제어함으로써 텐션 정보에 기초한 가요성 튜브 제어가 가능하도록 와이어를 제어한다. 일예로서 와이어가 끊어진 것이 아니라면 견인줄을 잡아 당기거나 풀리도록 반복 제어함으로써 텐션 측정값이 측정되도록 제어할 수 있다.

또한, 수술도구 제어부(262)는 수술도구의 상태 변화를 유도하는 신호를 모드 스위칭 판단부(220)로부터 입력받아 수술도구 이미지 촬영부(211) 또는 수술도구를 제어함으로써 이미지 판독이 가능한 이미지 정보에 기초한 가요성 튜브 제어가 가능하도록 한다.

제어부(260)의 제어에 의해 텐션 측정값이 정상적으로 입력되거나 또는 이미지 판독이 가능하게 되면, 텐션 정보 가능 신호 및 이미지 정보 가능 신호를 각각 생성하여 모드 스위칭 판단부(220)로 전송한다.

모드 스위칭 판단부(220)는 제어부(260)로부터 텐션 정보 가능 신호를 입력받으면 이미지 정보에 기초한 가요성 튜브 제어에서 텐션 정보에 기초한 가요성 튜브 제어로 제어모드를 변경시키는 텐션 상태변화 제어모드 변경신호를 생성한다. 모드 스위칭 판단부(220)는 제어부(260)로부터 이미지 정보 가능 신호를 입력받으면 이미지 정보에 기초한 가요성 튜브 제어모드로 계속 제어되도록 한다. 따라서 특별한 제어모드의 변경이 필요하지 않다.

만약, 제어부(260)의 제어에 의해서도 상태변화가 일어나지 않아 텐션 정보 및 이미지 정보에 기초하여 제어가 불가한 경우에는 사용자에게 피드백을 보내도록 한다.

모드 스위칭부(230)는 상술한 제1,2 스위칭 조건 제어모드 변경신호, 제3 스위칭 강제 조건 제어모드 변경신호 및 텐션 상태변화 제어모드 변경신호를 모드 스위칭 판단부(220)로부터 입력받는다. 모드 스위칭 판단부(220)의 각각의 제어모드 변경신호에 따라 텐션 정보를 기초로 한 가요성 튜브 제어에서 이미지 정보를 기초로 한 가요성 튜브 제어로 제어모드를 스위칭하거나 또는 이미지 정보를 기초로 한 가요성 튜브 제어에서 텐션 정보를 기초로 한 가요성 튜브 제어로 제어모드를 스위칭하도록 제어한다.

학습부(240) 및 보상 제어부(250)의 설명은 앞서 설명에 갈음하기로 한다.

도 7에 도시된 바와 같이, 텐션 정보에 기초한 가요성 튜브 제어를 최초로 수행한다(S21). 텐션 정보에 기초한 가요성 튜브 제어 수행 중에 기 정의된 텐션 모델링에 해당하지 않는다(제1 스위칭 조건)고 판단한 경우에는(S22), 이미지 정보에 기초한 가요성 튜브 제어로 제어모드를 변경하여 제어한다(S23,S24).

한편, 텐션 정보에 기초한 가요성 튜브 제어에서 이미지 정보에 기초한 가요성 튜브 제어로 제어를 하다가, 제1 스위칭 조건이 해제되거나(제2 스위칭 조건), 제1 스위칭 조건이 해제되지 않고 그리고 수술도구의 이미지 판독도 불가하여 이미지 정보에 기초한 가요성 튜브 제어를 더 이상 유지할 수 없는 경우에는 다음과 같이 각각 제어가 수행된다.

먼저, 제1 스위칭 조건이 해제되고(제2 스위칭 조건) 그리고 측정된 텐션 측정값이 설정된 임계값(이때, 일예로서 임계값은 '0') 보다 큰 경우(제2' 스위칭 조건)에는 이미지 정보에 기초한 가요성 튜브 제어에서 텐션 정보에 기초한 가요성 튜브 제어로 다시 제어모드를 변경하여 제어한다(S31,S32,S33,S34).

한편, 제1 스위칭 조건이 해제되지 않고 그리고 수술도구의 이미지 판독도 불가한 경우(S51)에는 다음과 같이 3가지 방법으로 제어를 수행한다.

먼저, 제1 방법으로, 제어모드 변경 강제 조건에 해당하는지 여부를 판단하고(제3 스위칭 강제 조건), 제3 스위칭 강제 조건에 해당하면 무조건 이미지 정보에 기초한 가요성 튜브 제어에서 텐션 정보에 기초한 가요성 튜브 제어로 다시 제어모드를 변경하여 제어한다(S41.S54a)

제2 방법으로, 와이어가 당김되거나 풀림되도록 와이어를 반복적으로 제어함으로써 제1 스위칭 조건이 해제되도록 와이어를 제어한다(S52a). 와이어의 제어에 따라 와이어의 텐션 측정값이 정상적으로 입력되면(제4 스위칭 조건) 이미지 정보에 기초한 가요성 튜브 제어에서 텐션 정보에 기초한 가요성 튜브 제어로 다시 제어모드를 변경하여 제어한다(S53a,S54a). 만약에 텐션 측정값이 정상적으로 입력되지 않아 제4 스위칭 조건을 만족하지 못하면 후술하는 제3 방법으로 전환하거나 또는 최종적으로 사용자에게 피드백을 보낸다.

제3 방법으로, 수술도구 또는 수술도구 이미지 촬영부(211)의 위치를 제어하여 수술도구의 이미지가 판독되도록 제어한다(S52b). 위치 제어에 따라 이미지 판독이 가능하다고 판단되면(제4 스위칭 조건) 이미지 정보에 기초한 가요성 튜버 제어가 그대로 유지되도록 한다(S53b,S54b). 만약에 이미지 판독이 가능하지 않아 제4 스위칭 조건을 만족하지 못하면 상술한 제2 방법으로 전환하거나 또는 최종적으로 사용자에게 피드백을 보낸다.

(유연 오버튜브의 히스테리시스 보상 제어장치의 구성 및 기능 : 제 3 실시예)

일반적으로, 와이어와 시스(sheath) 사이의 마찰 정도에 따라 히스테리시스가 달라지고, 또한 오버튜브의 형상에 따라 시스의 형상이 달라진다. 이에 따라 외이어와 시스 사이의 마찰이 달라질 수 있고, 이로 인해 히스테리시스의 특성이 변화되어 오버튜브의 형상에 따라 동일한 와이어의 구동력에도 불구하고 유연 수술도구의 위치 및 자세(굽힙 각도)가 달라진다. 따라서 본 발명의 제3 실시예에 따른 유연 오버튜브의 히스테리시스 보상 제어장치는 오버튜브의 형상 변화 및 유연 수술도구의 위치 및 자세 변경에도 불구하고 이에 맞는 히스테리시스 특성 모델을 탐색하여 보상값을 도출할 수 있도록 한 장치이다. 본 발명의 제3 실시예에 따른 유연 오버튜브의 히스테리시스 보상 제어장치에 대해 첨부된 도 8 및 도 9를 참고하여 상세히 설명하기로 한다.

본 발명에서는 먼저 히스테리시스 모델 학습을 통해 히스테리시스 보상 모델을 학습 보정하고, 학습 보정된 히스테리시스 보상 모델을 모델 탐색조건에 따라 탐색하여 히스테리시스 보상 모델을 결정한 후에 결정된 보상 모델에 의해 보상 값을 도출하여 유연 수술도구(21,22)를 보상 제어한다.

먼저, 히스테리시스 모델 학습을 위해 도 8을 참고하여 설명하기로 한다. 도 8에 도시된 바와 같이 유연 수술도구 위치 및 자세 산출부(310)는 오버튜브의 채널 내에 삽입되면서 와이어의 견인에 따라 구동되는 유연 수술도구(21,22)의 위치 및 자세 값을 산출한다. 유연 수술도구의 위치 및 자세 값은 아래의 2가지 방법에 의해 산출될 수 있다.

첫번째 방법으로, 유연 수술도구 위치 및 자세 감지부(311)는 실제 유연 수술도구의 위치 및 자세 값을 센서를 통해 감지 산출한다. 이를 위해 다양한 센서가 배치될 수 있다. 센서의 일예로서, FBG 센서(광섬유격자소자), 마그네틱 센서, 또는 카메라를 이용할 수 있다. 실제 유연 수술도구의 위치 및 자세는 유연 수술도구의 굽힘 각도이거나 또는 유연 수술도구의 전후진, 회전에 따른 측정 값일 수 있다. 텐션 정보는 텐션 장력값이거나 또는 엔코더로 측정한 와이어 당김량일 수 있다.

두번째 방법으로, 유연 수술도구 이미지 획득부(312)는 유연 수술도구의 이미지를 획득한다. 획득된 각각의 유연 수술도구의 이미지는 데이터 셋으로 저장된다. 유연 수술도구 위치 및 자세 추정부(313)는 입력된 유연 수술도구의 이미지 데이터 셋과 유연 수술도구의 위치 및 자세 값을 서로 매칭하여 데이터 셋으로 저장한다. 따라서 유연 수술도구 위치 및 자세 추정부(313)는 유연 수술도구 이미지 획득부(312)에서 전송된 이미지 데이터 셋을 기준으로 매칭된 유연 수술도구의 실제 위치 및 자세 값을 추정할 수 있다. 유연 수술도구의 이미지 정보는 오버튜브의 채널 내에 삽입된 카메라(111)에서 본 이미지 데이터 셋이다.

모델조건 설정부(321)는 히스테리시스 보상 모델 조건을 설정하기 위해, 오버튜브의 형상을 기 설정된 형상으로 제어하거나 또는 유연 수술도구의 모션을 기 설정된 모션으로 제어하도록 설정한다. 일예로서, 오버튜브는 다양한 형상으로 변형 가능하며, 유연 수술도구의 모션도 수술동작에 따라 다양할 수 있다. 따라서 발생 가능한 다양한 환경변수(오버튜브의 형상 및 유연 수술도구의 모션)를 설정하고, 이 환경변수 설정에 따른 히스테리시스 보상 모델을 생성한다.

텐션 정보 및 이미지 정보 획득부(322)는 모델조건 설정부(321)에서 다양하게 설정한 히스테리시스 보상 모델 조건에 따라 각각의 텐션 정보 및 이미지 정보를 획득한다. 또한, 텐션 정보 및 이미지 정보 획득부(322)는 획득된 텐션 정보 및 이미지 정보를 히스테리시스 보상모델 생성부에 입력하기 위한 입력 데이터 셋(입력 정보)으로 저장한다. 텐션 정보는 상술한 텐션 측정부(112)를 통해 측정할 수 있으며, 이미지 정보는 상술한 유연 수술도구 이미지 획득부(312, 또는 수술도구 이미지 촬영부(111))를 통해 획득할 수 있다.

유연 수술도구 위치 및 자세 도출부(323)는 텐션 정보 및 이미지 정보 획득부(322)에서 입력 정보를 획득할 당시의 유연 수술도구의 위치 및 자세 값을 도출한다. 유연 수술도구의 위치 및 자세 값은 센서나 또는 이미지 데이터 셋으로부터 도출할 수 있음은 상술한 바와 같다. 또한, 유연 수술도구 위치 및 자세 도출부(323)는 도출된 유연 수술도구의 위치 및 자세 값을 출력 데이터 셋(출력 정보)으로 저장한다.

히스테리시스 보상모델 생성부(324)는 모델조건 설정부(321)에서 설정한 오버튜브의 형상 및 유연 수술도구의 모션 제어에 따라 얻어진 입력 데이터 셋인 와이어의 텐션 정보 및 이미지 정보와, 입력 정보를 획득할 때의 출력 데이터 셋인 유연 수술도구의 위치 및 자세 값을 각각 입력받는다. 히스테리시스 보상모델 생성부(324)는 입력 데이터 셋과 출력 데이터 셋을 입력받아 모델조건 설정부(321)에서 설정한 다양한 환경변수에 따른(오버튜브의 형상 변화 및 유연 수술도구의 모션 변화에 따른) 각각의 히스테리시스 보상 모델을 생성한다.

히스테리시스 모델 학습부(325)는 텐션 정보, 이미지 정보 및 히스테리시스 보상모델 생성부(324)에서 생성된 히스테리시스 보상 모델을 포함하여 학습함으로써 히스테리시스 보상 모델을 학습 보정(calibration)한다.

상술한 바와 같이, 히스테리시스 모델 학습을 통해 히스테리시스 보상 모델을 학습 보정한 후에 학습 보정된 히스테리시스 보상 모델을 모델 탐색조건에 따라 탐색하여 히스테리시스 보상 모델을 결정하고, 결정된 보상 모델에 의해 보상 값을 도출하여 유연 수술도구(21,22)를 보상 제어한다. 이하에서는 첨부된 도 9를 참조하여 이를 설명하기로 한다.

모델 탐색조건 입력부(330)는 오버튜브가 병변이 있는 목적 위치에 도달한 후에 유연 수술도구의 특정 모션으로 인한 텐션 정보 및 이미지 정보를 획득한다. 텐션 정보는 상술한 바와 같이 텐션 측정부(112)를 통해 측정할 수 있으며, 이미지 정보는 유연 수술도구 이미지 획득부(312, 또는 수술도구 이미지 촬영부(111))를 통해 획득할 수 있다. 획득된 텐션 정보 및 이미지 정보는 히스테리시스 보상모델 탐색부(340)로 전송한다.

히스테리시스 보상모델 탐색부(340)는 모델 탐색조건 입력부(330)에서 입력한 텐션 정보 및 이미지 정보를 기초로 히스테리시스 모델 학습부(325)의 학습 보정된 히스테리시스 보상 모델을 탐색한다.

히스테리시스 보상모델 결정부(350)는 히스테리시스 보상모델 탐색부(340)에 의해 탐색된 학습 보정된 히스테리시스 보상 모델을 결정하고, 결정된 히스테리시스 보상 모델에 의해 텐션 오차 값인 보상 값을 산출한다.

보상 제어부(360)는 히스테리시스 보상모델 결정부(350)에서 결정된 히스테리시스 보상 모델의 텐션 오차값을 바탕으로 히스테리시스 특성을 갖는 가요성 튜브를 보상 제어한다.

히스테리시스 변화 감지부(370)는 오버튜브의 움직임을 감지하거나 또는 환자의 움직임을 감지한다. 오버튜브나 또는 환자의 움직임은 히스테리시스 변화 조건에 해당한다. 히스테리시스 변화가 일어나면 결정된 히스테리시스 보상 모델의 재탐색이 필요할 수 있다. 따라서 히스테리시스 변화 감지부(370)는 히스테리시스 변화 조건을 감지하면, 모델 탐색조건 입력부(330)에 감지 신호를 전송한다. 히스테리시스 변화 감지 신호를 입력받은 모델 탐색조건 입력부(330)는 텐션 정보 및 이미지 정보를 다시 획득 하여 히스테리시스 보상 모델이 재탐색되도록 한다.

오버튜브의 움직임 감지는 일예로서 오버튜브나 유연 수술도구를 제어하는 제어 입력이 없는 상태에서 이미지가 변화되는 경우 또는 오버튜브를 제어하는 마스터 조작 신호가 입력된 경우일 수 있다.

한편, 환자가 움직이면 인체 내부에 삽입된 오버튜브의 형상이 변형될 수 있다. 따라서 환자의 움직임을 감지하여 히스테리시스 변화를 예측한다. 환자의 움직임 감지는 일예로서 환자의 호흡을 체크하거나 환자를 촬영한 영상의 이미지의 변화를 통해 알 수 있다.

본 발명을 설명함에 있어 종래 기술 및 당업자에게 자명한 사항은 설명을 생략할 수도 있으며, 이러한 생략된 구성요소(방법) 및 기능의 설명은 본 발명의 기술적 사상을 벗어나지 아니하는 범위내에서 충분히 참조될 수 있을 것이다. 또한, 상술한 본 발명의 구성요소는 본 발명의 설명의 편의를 위하여 설명하였을 뿐 여기에서 설명되지 아니한 구성요소가 본 발명의 기술적 사상을 벗어나지 아니하는 범위내에서 추가될 수 있다.

상술한 각부의 구성 및 기능에 대한 설명은 설명의 편의를 위하여 서로 분리하여 설명하였을 뿐 필요에 따라 어느 한 구성 및 기능이 다른 구성요소로 통합되어 구현되거나, 또는 더 세분화되어 구현될 수도 있다.

이상, 본 발명의 일실시예를 참조하여 설명했지만, 본 발명이 이것에 한정되지는 않으며, 다양한 변형 및 응용이 가능하다. 즉, 본 발명의 요지를 일탈하지 않는 범위에서 많은 변형이 가능한 것을 당업자는 용이하게 이해할 수 있을 것이다. 또한, 본 발명과 관련된 공지 기능 및 그 구성 또는 본 발명의 각 구성에 대한 결합관계에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.

10 : 유연 오버튜브
10a : 오버튜브 몸체
10b : 제1 견인 와이어
10c : 제2 견인 와이어
11 : 제1 채널
12 : 제2 채널
13 : 제3 채널
21 : 제1 수술도구
21a : 엔드 이펙터 또는 수술도구 팁
22 : 제2 수술도구
22a : 엔드 이펙터 또는 수술도구 팁
23 : 카메라부
110 : 입력부
111 : 수술도구 이미지 촬영부
112 : 텐션 측정부
113 : 텐션 변화량 산출부
114 : 텐션 입력값 비교 판단부
120 : 모드 스위칭 판단부
121 : 이미지 분석 및 판단부
122 : 텐션 모델링 분석 및 판단부
130 : 모드 스위칭부
131 : 이미지 모드 스위칭부
132 : 텐션 모드 스위칭부
140 : 학습부
141 : 이미지 정보 학습부
142 : 텐션 정보 학습부
150 : 보상 제어부
151 : 이미지 정보 기반 히스테리시스 보상 제어부
152 : 텐션 정보 기반 히스테리시스 보상 제어부
210 : 입력부
211 : 수술도구 이미지 촬영부
212 : 텐션 측정부
213 : 텐션 변화량 산출부
214 : 텐션 입력값 비교 판단부
220 : 모드 스위칭 판단부
221 : 이미지 분석 및 판단부
222 : 텐션 모델링 분석 및 판단부
230 : 모드 스위칭부
231 : 이미지 모드 스위칭부
232 : 텐션 모드 스위칭부
240 : 학습부
241 : 이미지 정보 학습부
242 : 텐션 정보 학습부
250 : 보상 제어부
251 : 이미지 정보 기반 히스테리시스 보상 제어부
252 : 텐션 정보 기반 히스테리시스 보상 제어부
260 : 제어부
261 : 와이어 제어부
262 : 수술도구 제어부
310 : 유연 수술도구 위치 및 자세 산출부
311 : 유연 수술도구 위치 및 자세 감지부
312 : 유연 수술도구 이미지 획득부
313 : 유연 수술도구 위치 및 자세 추정부
320 : 학습부
321 : 모델조건 설정부
322 : 텐션 정보 및 이미지 정보 획득부
323 : 유연 수술도구 위치 및 자세 도출부
324 : 히스테리시스 보상모델 생성부
325 : 히스테리시스 모델 학습부
330 : 모델 탐색조건 입력부
340 : 히스테리시스 보상모델 탐색부
350 : 히스테리시스 보상모델 결정부
360 : 보상 제어부
370 : 히스테리시스 변화 감지부
371 : 오버튜브 움직임 감지부
372 : 환자 움직임 감지부

Claims

모드 스위칭에 필요한 유연 수술도구의 이미지 정보와 와이어 텐션 정보를 입력받는 입력부,
상기 유연 수술도구의 이미지 정보 및 텐션 정보를 기초로 상기 수술도구의 현재 상태를 판단하고, 상기 수술도구의 현재 상태에 따라 제어모드 스위칭을 위한 제어모드 변경신호를 생성하는 모드 스위칭 판단부,
상기 모드 스위칭 판단부의 제어모드 변경신호에 따라 텐션 정보를 기초로 한 가요성 튜브 제어에서 이미지 정보를 기초로 한 가요성 튜브 제어로 제어모드를 스위칭하거나 또는 이미지 정보를 기초로 한 가요성 튜브 제어에서 텐션 정보를 기초로 한 가요성 튜브 제어로 제어모드를 스위칭하는 모드 스위칭부,
학습 모델에 의해 산출된 텐션 오차값을 바탕으로 히스테리시스 특성을 갖는 가요성 튜브를 보상 제어하는 보상 제어부를 포함하는 것을 특징으로 하는 가요성 튜브의 히스테리시스 보상 제어장치.
제 1 항에 있어서,
상기 입력부는,
튜브의 몸체의 채널 내에 삽입되어 채널 내에 삽입된 수술도구를 촬영하는 수술도구 이미지 촬영부,
상기 수술도구의 견인 와이어의 견인력을 측정하는 텐션 측정부,
상기 텐션 측정부에서 측정한 견인력에 기초하여 상기 와이어의 와이어 텐션 값이 변화되는 텐션 변화량을 산출하는 텐션 변화량 산출부,
상기 텐션 측정부에서 측정한 견인력에 기초하여 입력된 와이어 텐션값을 비교 판단하는 텐션 입력값 비교 판단부를 포함하는 것을 특징으로 하는 가요성 튜브의 히스테리시스 보상 제어장치.
제 1 항에 있어서,
상기 모드 스위칭 판단부는,
상기 텐션 정보를 기초로 한 가요성 튜브 제어를 수행할 수 없다고 판단하는 제1 스위칭 조건에서는 텐션 정보를 기초로 한 가요성 튜브 제어에서 이미지 정보를 기초로 한 가요성 튜브 제어로 제어모드를 스위칭하는 제1 스위칭 조건 제어모드 변경신호를 생성하거나, 또는
상기 제1 스위칭 조건 제어모드 변경신호에 의해 이미지 정보를 기초로 한 가요성 튜브 제어를 수행 중에 상기 이미지 정보를 기초로 한 가요성 튜브 제어를 수행할 수 없다고 판단하면서 제1 스위칭 조건이 해제되었다고 판단하는 제2 스위칭 조건에서는 이미지 정보를 기초로 한 가요성 튜브 제어에서 텐션 정보를 기초로 한 가요성 튜브 제어로 제어모드를 스위칭 하는 제2 스위칭 조건 제어모드 변경신호를 생성하거나 또는,
상기 제1 스위칭 조건 제어모드 변경신호에 의해 이미지 정보를 기초로 한 가요성 튜브 제어를 수행 중에 상기 이미지 정보를 기초로 한 가요성 튜브 제어를 수행할 수 없다고 판단하면서 제1 스위칭 조건도 해제되지 않았다고 판단하는 제3 스위칭 강제 조건에서는 이미지 정보를 기초로 한 가요성 튜브 제어에서 텐션 정보를 기초로 한 가요성 튜브 제어로 제어모드를 강제적으로 스위칭 하는 제3 스위칭 강제 조건 제어모드 변경신호를 생성하거나 또는,
상기 제1 스위칭 조건 제어모드 변경신호에 의해 이미지 정보를 기초로 한 가요성 튜브 제어를 수행 중에 상기 이미지 정보를 기초로 한 가요성 튜브 제어를 수행할 수 없다고 판단하면서 제1 스위칭 조건도 해제되지 않았다고 판단하는 제4 스위칭 조건에서는 와이어 또는 수술도구를 제어하여 상기 텐션 정보 또는 이미지 정보에 기초한 가요성 튜브 제어가 가능하도록 상기 수술도구의 상태 변화를 유도하는 신호를 생성하는 것을 특징으로 하는 가요성 튜브의 히스테리시스 보상 제어장치.
제 3 항에 있어서,
상기 수술도구의 상태 변화를 유도하는 신호를 입력받아 상기 와이어를 제어함으로써 텐션 정보에 기초한 가요성 튜브 제어가 가능하도록 제어하거나 또는 수술도구 이미지 촬영부와 수술도구 중 어느 하나를 제어함으로써 이미지 정보에 기초한 가요성 튜브 제어가 가능하도록 제어하는 제어부를 더 포함하는 것을 특징으로 하는 가요성 튜브의 히스테리시스 보상 제어장치.
제 1 항에 있어서,
상기 수술도구의 이미지 정보를 기초로 기 설정된 학습모델에 따라 학습하고, 학습에 의해 이미지 오차값을 산출하는 이미지 정보 학습부,
상기 수술도구의 텐션 정보를 기초로 기 설정된 학습모델에 따라 학습하고, 학습에 의해 텐션 오차값을 산출하는 텐션 정보 학습부를 더 포함하는 것을 특징으로 하는 가요성 튜브의 히스테리시스 보상 제어장치.
오버튜브의 채널 내에 삽입되면서 와이어의 견인에 따라 구동되는 유연 수술도구의 위치 및 자세 값을 산출하는 유연 수술도구 위치 및 자세 산출부,
상기 오버튜브의 형상 및 유연 수술도구의 모션 제어에 따라 얻어진 입력 정보인 와이어의 텐션 정보 및 이미지 정보와 상기 입력 정보를 획득할 때의 출력 정보인 상기 유연 수술도구의 위치 및 자세 값을 각각 입력받음으로써 상기 오버튜브의 형상 변화 및 유연 수술도구의 모션 변화에 따른 각각의 히스테리시스 보상 모델을 생성하는 히스테리시스 보상모델 생성부,
상기 텐션 정보, 이미지 정보 및 히스테리시스 보상모델 생성부에서 생성된 히스테리시스 보상 모델을 포함하여 학습함으로써 히스테리시스 보상 모델을 학습 보정하는 히스테리시스 모델 학습부를 포함하는 것을 특징으로 하는 가요성 튜브의 히스테리시스 보상 제어장치.
제 6 항에 있어서,
상기 유연 수술도구 위치 및 자세 산출부는,
부착된 센서를 이용하여 상기 유연 수술도구의 위치 및 자세 값을 산출하거나 또는, 데이터 셋으로 이루어진 이미지 정보와 매칭된 상기 유연 수술도구의 위치 및 자세 값을 산출하는 것을 특징으로 하는 가요성 튜브의 히스테리시스 보상 제어장치.
제 6 항에 있어서,
히스테리시스 보상 모델 조건을 설정하기 위해, 상기 오버튜브의 형상을 기 설정된 형상으로 제어하거나 또는 상기 유연 수술도구의 모션을 기 설정된 모션으로 제어하는 모델조건 설정부,
각각의 상기 히스테리시스 보상 모델 조건에 따라 텐션 정보 및 이미지 정보를 획득하고, 획득된 상기 텐션 정보 및 이미지 정보를 상기 입력 정보의 입력 데이터 셋으로 저장하는 텐션 정보 및 이미지 정보 획득부,
상기 입력 정보를 획득할 때의 상기 유연 수술도구의 위치 및 자세 값을 도출하고, 도출된 상기 유연 수술도구의 위치 및 자세 값을 상기 출력 정보의 출력 데이터 셋으로 저장하는 유연 수술도구 위치 및 자세 도출부를 더 포함하는 것을 특징으로 하는 가요성 튜브의 히스테리시스 보상 제어장치.
제 6 항에 있어서,
상기 오버튜브가 목적 위치에 도달 한 후의 유연 수술도구의 특정 모션으로 인한 텐션 정보 및 이미지 정보를 획득하는 모델 탐색조건 입력부,
상기 모델 탐색조건 입력부에서 입력한 텐션 정보 및 이미지 정보를 기초로상기 학습 보정된 히스테리시스 보상 모델을 탐색하는 히스테리시스 보상모델 탐색부,
상기 히스테리시스 보상모델 탐색부에 의해 탐색된 학습 보정된 히스테리시스 보상 모델을 결정하고, 결정된 히스테리시스 보상 모델에 의해 텐션 오차 값인 보상 값을 산출하는 히스테리시스 보상모델 결정부,
상기 텐션 오차값을 바탕으로 히스테리시스 특성을 갖는 가요성 튜브를 보상 제어하는 보상 제어부를 더 포함하는 것을 특징으로 하는 가요성 튜브의 히스테리시스 보상 제어장치.
제 9 항에 있어서,
상기 오버튜브의 움직임이 감지되거나 또는 환자의 움직임이 감지되어 히스테리시스 변화를 일으키는 히스테리시스 변화 조건을 감지하는 히스테리시스 변화 감지부를 더 포함하는 것을 특징으로 하는 가요성 튜브의 히스테리시스 보상 제어장치.
제 10 항에 있어서,
상기 히스테리시스 변화 감지부는,
상기 히스테리시스 변화 조건을 감지하여 상기 모델 탐색조건 입력부에 감지 신호를 전송함으로써 상기 모델 탐색조건 입력부에서 텐션 정보 및 이미지 정보가 재획득 되도록 하고, 히스테리시스 보상 모델이 재탐색되도록 하는 것을 특징으로 하는 가요성 튜브의 히스테리시스 보상 제어장치.