JP5908172B2

JP5908172B2 - 手術支援システムおよび手術支援システムの制御方法

Info

Publication number: JP5908172B2
Application number: JP2015521896A
Authority: JP
Inventors: 岸　宏亮; 宏亮岸
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2012-11-30
Filing date: 2013-11-27
Publication date: 2016-04-26
Anticipated expiration: 2033-11-27
Also published as: EP2925250A1; US9630323B2; EP2925250A4; JP2015534835A; EP2925250B1; WO2014084408A1; CN104661612A; CN104661612B; US20150321355A1

Description

本発明は、冗長関節を有する手術支援システム、およびこの手術支援システムを制御する手術支援システムの制御方法に関する。

本願は、２０１２年１１月３０日に米国に仮出願された米国特許出願第６１/７３１，８０２号に基づいて優先権を主張し、その内容をここに援用する。

近年、医療施設の省人化を図るため、ロボットによる医療処置の研究が行われている。特に、外科分野では、多自由度（多関節）を有するマニピュレータによって患者の処置をする手術支援システムについての各種の提案がなされている。このような手術支援システムにおいて、患者の体腔に直接接触するマニピュレータを、遠隔操作装置によって遠隔操作できるようにしたものが知られている。

ここで、内視鏡下手術で特に困難な針かけ動作を、手術支援システムを用いて行う場合、マニピュレータの先端に取り付けられたグリッパーをローリングさせながら針をかける。このとき、先端にロール軸関節がないマニピュレータでは、先端に取り付けられたグリッパーをローリングさせるためのローリングに伴って他の関節を協調動作させる。この場合、多数の関節が動作して、周囲の臓器等に衝突する可能性が考えられる。

これに対し、先端部にいわゆる冗長関節を設けることにより、先端のみの位置及び姿勢決めを可能としたマスタスレーブマニピュレータが、例えば特許文献１において提案されている。なお、ここで言う冗長関節とは、回転軸および直動軸のいずれか一方である動作軸を有する関節であって、初期状態において、その関節の動作軸と平行であって、回転軸、直動軸の種類が同じ動作軸を有する別の関節がマニピュレータ内にあるもののことを意味する。

一般的に、特許文献１などに示された先端に冗長関節を有する手術支援システムの場合、操作部からの操作情報に従ってマニピュレータの各関節の駆動量を計算するための逆運動学計算が複雑化する。このような場合、例えば冗長関節を一時的に固定させることでマニピュレータの自由度と操作部の自由度とを一致させ、マニピュレータの各関節を１対１で対応させるようにすれば逆運動学計算を簡略化することができる。

しかしながら、操作者が固定する冗長関節を切替えるのでは、手技中の操作者の負担が増加してしまう。

本発明は、冗長関係にある関節の切替えを、位置関係算出部が算出した切替え位置関係に基づいてマニピュレータ制御部が自動的に行う、手術支援システムおよび手術支援システムの制御方法を提供する。これにより、マスタ装置の操作部を操作する操作者が関節の切替えを行う必要がなく、手技中の操作者の負担を低減させ、手技を効率的に行うことができる。

本発明の第１態様によれば、マニピュレータの固定端から見た場合の最も遠い端部である前記マニピュレータの先端側に設けられた処置部を用いて、撮像部で観察しながら処置対象となる対象組織の処置を行う手術支援システムは、複数の自由度に対応した複数の関節を有し、該複数の関節の中に互いに冗長関係にある少なくとも２つの冗長関節が含まれる前記マニピュレータと、前記複数の自由度に対応した操作情報を与える操作部と、前記対象組織または前記処置部と、前記撮像部との間の切替え位置関係を算出する位置関係算出部と、前記操作情報に従って前記関節の動作を制御する制御部と、を備え、前記制御部は、前記切替え位置関係に基づいて、前記少なくとも２つの冗長関節の１つを駆動関節として、前記少なくとも２つの冗長関節の残りを固定関節として前記マニピュレータを制御する。

本発明の第２態様によれば、第１態様に係る手術支援システムにおいて、前記切替え位置関係は、前記対象組織または前記処置部と、前記撮像部との間の距離を表し、前記制御部は、前記切替え位置関係が閾値以下である場合には、前記少なくとも２つの冗長関節のうち前記マニピュレータの先端に最も近いものを前記駆動関節とし、前記切替え位置関係が前記閾値よりも大きい場合には、前記少なくとも２つの冗長関節のうち前記マニピュレータの先端から最も遠いものを前記駆動関節としてもよい。

本発明の第３態様によれば、第１態様に係る手術支援システムにおいて、前記位置関係算出部は、前記撮像部の位置を検出する撮像部検出部と、前記処置部の位置を検出する処置部検出部と、を有し、検出された前記撮像部の位置、および前記処置部の位置に基づいて、前記切替え位置関係として前記処置部と前記撮像部との間の距離を算出してもよい。

本発明の第４態様によれば、第３態様に係る手術支援システムは、画像を取得可能な前記撮像部を更に備えてもよい。

本発明の第５態様によれば、第３態様に係る手術支援システムにおいて、前記位置関係算出部は、前記撮像部の視野内に前記処置部が配置されているときのみに、前記切替え距離を算出してもよい。

本発明の第６態様によれば、第１態様に係る手術支援システムにおいて、前記位置関係算出部は、前記処置部を写したものであって前記撮像部が取得した画像に基づいて、前記切替え位置関係として前記処置部と前記撮像部との間の距離を算出してもよい。

本発明の第７態様によれば、第１態様に係る手術支援システムにおいて、前記撮像部は、互いに異なるとともに同一直線上にない向きから前記対象組織を写した第一の画像および第二の画像を取得可能であり、前記位置関係算出部は、取得された前記第一の画像および前記第二の画像に基づいて、前記切替え距離として前記対象組織と前記撮像部との間の距離を算出してもよい。

本発明の第８態様によれば、複数の自由度に対応した複数の関節を有し、該複数の関節の中に互いに冗長関係にある少なくとも２つの冗長関節が含まれるマニピュレータを備える手術支援システムを制御する手術支援システムの制御方法は、前記マニピュレータに設けられた処置部を用いて処置を行う対象組織または前記処置部と、前記撮像部との間の切替え位置関係を算出し、前記切替え位置関係に基づいて、前記少なくとも２つの冗長関節の１つを駆動関節として、前記少なくとも２つの冗長関節の残りを固定関節として前記マニピュレータを制御する。

本発明の実施形態に係る手術支援システムによれば、冗長関係にある関節の切替えを、位置関係算出部が算出した切替え位置関係に基づいてマニピュレータ制御部が自動的に行う、手術支援システムおよび手術支援システムの制御方法を提供する。これにより、マスタ装置の操作部を操作する操作者が関節の切替えを行う必要がなく、手技中の操作者の負担を低減させ、手技を効率的に行うことができる。

本発明の第１実施形態に係る手術支援システムを示す全体図である。本発明の第１実施形態に係る手術支援システムのスレーブマニピュレータの１つを模式的に示す図である。本発明の第１実施形態に係る手術支援システムを示すブロック図である。本発明の第１実施形態に係る手術支援システムのスレーブマニピュレータの他の１つの先端側を模式的に示す図である。本発明の第１実施形態に係る手術支援システムの操作部を示す斜視図である。本発明の第１実施形態に係る手術支援システムの制御装置で測定する切替え距離を説明する図である。本発明の第１実施形態に係る手術支援システムの制御方法を説明する図である。本発明の第１実施形態に係る手術支援システムの制御方法を示すフローチャートである。本発明の第２実施形態に係る手術支援システムを示すブロック図である。本発明の第２実施形態に係る手術支援システムを用いた手技を説明する図である。本発明の第３実施形態に係る手術支援システムを示すブロック図である。鉗子が内視鏡の比較的近くに配置された場合の画像と、その画像を構成する画素の一部を拡大して示したものを示す図である。鉗子が内視鏡から比較的遠くに配置された場合の画像と、その画像を構成する画素の一部を拡大して示したものを示す図である。本発明の第４実施形態に係る手術支援システムを示すブロック図である。本発明の第４実施形態に係る手術支援システムとともに用いられる内視鏡を説明する図である。本発明の第４実施形態に係る内視鏡で取得される第一の画像、第二の画像の例を示す図である。本発明の第４実施形態に係る手術支援システムの制御装置で測定する切替え距離の他の例を説明する図である。本発明の第４実施形態に係る手術支援システムの制御装置で測定する切替え距離の他の例を説明する図である。

（第１実施形態）
以下、本発明の第１実施形態に係る手術支援システムを、図１から図８を参照しながら説明する。

図１に示すように、第１実施形態に係る手術支援システム１は、複数のスレーブマニピュレータ（マニピュレータ）１１を有するスレーブ装置１０と、操作情報を与えるマスタ装置（操作部）４０と、操作情報に従ってスレーブマニピュレータ１１を制御する制御装置７０とを備えている。

スレーブ装置１０は、図１および図２に示すように、手術台１２と、手術台１２に設けられたフレーム１３に固定端１１ａが固定された複数のスレーブマニピュレータ１１とを有している。なお、各スレーブマニピュレータ１１は、同一の構成であるため、以下では、複数のスレーブマニピュレータ１１のうちの、後述する鉗子３０が取り付けられたスレーブマニピュレータ１１Ａについて説明する。

本実施形態では、スレーブマニピュレータ１１Ａは、図２に示すように、７自由度に対応した関節２１〜２７を有し、マスタ装置４０からの操作情報に従って各関節２１〜２７が駆動される。スレーブマニピュレータ１１Ａは、７つの関節２１〜２７が、関節２７が固定端１１ａ側となるように連設して配置されている。

これらの関節２１〜２７のうち、関節２１および関節２４はロール軸（Ｘ軸）周りに回転する関節である。すなわち、関節２１、２４の動作軸は、Ｘ軸に平行な回転軸である。関節２２、関節２７はヨー軸（Ｚ軸）周りに回転する関節であり、関節２２、２７の動作軸は、Ｚ軸に平行な回転軸である。関節２３、関節２６はピッチ軸（Ｙ軸）周りに回転する関節であり、関節２３、２６の動作軸は、Ｙ軸に平行な回転軸である。

また、関節２５はロール軸に沿って伸縮する関節である。

関節２１〜２５の動作軸は同一直線上に配置されている。関節２６、２７の動作軸は同一直線上に配置されている。関節２１、２４は、動作軸が回転軸であり、それらの動作軸が図２に示す初期状態において互いに平行であるため、互いに冗長関係にある冗長関節となっている。

スレーブマニピュレータ１１Ａの先端１１ｂには、鉗子（処置部）３０が取り付けられている。鉗子３０の先端部に設けられた一対の鉗子片３０ａには、不図示の操作ワイヤを介してワイヤモータ３０ｂ（図３参照）が接続されている。ワイヤモータ３０ｂを駆動して操作ワイヤを進退させることで、一対の鉗子片３０ａの先端部を互いに近づけたり離間させたりすることができる。この例では、鉗子３０は棒状に形成されている。

関節２１には、図３に示すように、関節２１を駆動するための関節モータ２１ａと、関節２１の回転角度を検出するためのエンコーダ２１ｂとが設けられている。各関節２２〜２４、２６、２７についても、関節２１と同様に、関節モータ２２ａ〜２４ａ、２６ａ、２７ａと、エンコーダ２２ｂ〜２４ｂ、２６ｂ、２７ｂとがそれぞれ設けられている。関節２５には、関節２５を駆動するための関節モータ２５ａと、関節２５の伸縮量を検出するためのエンコーダ２５ｂとが設けられている。

これらの関節２１〜２７は、関節モータ２１ａ〜２７ａを駆動することで互いに独立して駆動可能である。エンコーダ２１ｂ〜２７ｂで検出された検出結果は、制御装置７０に出力される。

図２に示す関節２２〜２７を協調させながら駆動させることによって、スレーブマニピュレータ１１Ａにおける、固定端１１ａから見た場合の最も遠い端部であるスレーブマニピュレータ１１Ａの先端の鉗子３０の位置の３自由度と姿勢の３自由度とが実現される。また、これらの関節２２〜２７に加えて、スレーブマニピュレータ１１Ａでは、先端の鉗子３０をローリングさせるための関節２１を冗長関節として設けている。このような構成により、例えば、スレーブマニピュレータ１１Ａの先端の鉗子３０をローリングさせる場合において、先端の鉗子３０から遠い方の関節である関節２４をローリングさせるか、または、先端の鉗子３０に近い方の関節である関節２１をローリングさせるかを適時選択することが可能である。本実施形態では、冗長関係にある関節２１と関節２４とは同時に駆動させないようにして、逆運動学計算を簡略化する。

スレーブマニピュレータ１１Ａ以外の他のスレーブマニピュレータ１１の１つである図４に示すスレーブマニピュレータ１１Ｂの先端１１ｂには、内視鏡（撮像部）３１が取り付けられている。内視鏡３１の先端部には、ＬＥＤなどを有する照明ユニット３１ａおよび光学ユニット３１ｂが外部に露出した状態で設けられている。内視鏡３１における光学ユニット３１ｂよりも基端側には、ＣＣＤなどの撮像素子３１ｃ（図３参照）が内蔵されている。光学ユニット３１ｂは、光学ユニット３１ｂよりも前方に規定される視野Ｒ１内の対象物の像を撮像素子３１ｃの不図示の受光面上に結像させる。撮像素子３１ｃは、受光面上の像により画像を取得し、この画像を信号に変換して制御装置７０に出力する。

マスタ装置４０は、図１に示すように、操作部４１と表示部４２とを有している。

操作部４１は、例えば図５に示すように、回転機構より構成された駆動軸５１〜５４と、直動機構より構成された駆動軸５５、５６と、を含む駆動部５０を有している。駆動部５０の基端部は、操作部４１および表示部４２を支持する支持台４３に固定されている（図１参照。）。操作部４１の先端部（術者などの操作者Ｏの腕Ｏ１によって把持される側とする。）には、グリップ５９が設けられている。

このような構成において、操作者Ｏが、グリップ５９を把持した状態で、操作部４１を移動させたり、回転させたりすることにより、操作部４１を構成する各駆動軸５１〜５６が駆動される。各駆動軸５１〜５６の駆動量（回転機構の場合には回転角、直動機構の場合には変位量）は、各駆動軸５１〜５６に設けられたエンコーダ５１ａ〜５６ａ（図３参照。）によって検出され、エンコーダ５１ａ〜５６ａの検出信号が、スレーブ装置１０のスレーブマニピュレータ１１の先端の鉗子３０の位置及び姿勢を指令するための、操作部４１の操作情報を示す信号（操作信号）として制御装置７０に出力される。

本実施形態の操作部４１は、駆動軸が６個設けられており、この６個の駆動軸５１〜５６を動かすことによって得られるエンコーダ５１ａ〜５６ａの６個の操作信号（θ_１，ｄ_１，ｄ_２，θ_２，θ_３，θ_４）を出力する。これらの値を用いて、制御装置７０の後述するマスタ制御部７２は、スレーブマニピュレータ１１への位置姿勢指令信号を算出する。

操作部４１には、操作部４１により制御されるスレーブマニピュレータ１１を切替えるマニピュレータ切替えスイッチ６１が備えられている（図３参照。）。さらに、操作部４１には、図示はしないがワイヤモータ３０ｂなどを駆動するためのスイッチなどが備えられている。

表示部４２は、例えば液晶ディスプレイから構成され、制御装置７０から入力された画像信号に基づいて画像を表示する。

制御装置７０は、図３に示すように、バス７１に接続されたマスタ制御部７２、処置具位置検出部７３、内視鏡位置検出部７４、距離演算部７５、マニピュレータ制御部（制御部）７６、画像処理部７７、および入力部７８と、電源７９とを有している。バス７１には、スレーブマニピュレータ１１の関節モータ２１ａ〜２７ａ、エンコーダ２１ｂ〜２７ｂ、鉗子３０のワイヤモータ３０ｂ、内視鏡３１の撮像素子３１ｃ、操作部４１のエンコーダ５１ａ〜５６ａ、マニピュレータ切替えスイッチ６１、および表示部４２が接続されている。

マスタ制御部７２、処置具位置検出部７３、内視鏡位置検出部７４、距離演算部７５、マニピュレータ制御部７６、および画像処理部７７は、それぞれが演算素子、メモリー、および制御プログラムなどで構成されている。

マスタ制御部７２は、マスタ装置４０からの６自由度に対応した操作信号に従って、スレーブマニピュレータ１１の先端の鉗子３０の位置及び姿勢の指令値を算出する。そしてこの算出した指令値をマニピュレータ制御部７６に出力する。

処置具位置検出部７３には、スレーブマニピュレータ１１Ａの隣り合う関節間の長さや、鉗子３０の長さなどが記憶されている。処置具位置検出部７３は、スレーブマニピュレータ１１Ａのエンコーダ２１ｂ〜２７ｂから入力された検出結果、および前述の記憶された長さなどに基づいて、鉗子３０の先端部の位置を検出する。なお、スレーブマニピュレータ１１Ａのエンコーダ２１ｂ〜２７ｂ、および処置具位置検出部７３で処置部検出部を構成する。

内視鏡位置検出部７４には、スレーブマニピュレータ１１Ｂの隣り合う関節間の長さ、内視鏡３１の長さなどが記憶されている。内視鏡位置検出部７４は、スレーブマニピュレータ１１Ｂのエンコーダ２１ｂ〜２７ｂから入力された検出結果、および前述の記憶された長さに基づいて、内視鏡３１の先端部の位置及び姿勢を検出する。なお、スレーブマニピュレータ１１Ｂのエンコーダ２１ｂ〜２７ｂ、および内視鏡位置検出部７４で撮像部検出部を構成する。

距離演算部７５には、内視鏡３１における視野Ｒ１の配置などが記憶されている。距離演算部７５は、処置具位置検出部７３で検出された鉗子３０の先端部の位置、および、内視鏡位置検出部７４で検出された内視鏡３１の先端部の位置から、図６に示すように、略円錐状に広がる視野Ｒ１の中心軸線に沿った鉗子３０の先端部と内視鏡３１の先端部との間の距離である切替え距離（切替え位置関係）Ｌ_１を算出する。これら撮像部検出部、処置部検出部、および距離演算部７５で、位置関係算出部を構成する。また、距離演算部７５は、鉗子３０の先端部の位置、および、内視鏡３１の先端部の位置及び姿勢から、鉗子３０の先端部が内視鏡３１の視野Ｒ１内に配置されているか否かを検出することができる。

マニピュレータ制御部７６は、マスタ装置４０からの位置及び姿勢の指令値に基づいて、スレーブマニピュレータ１１の先端の鉗子３０の位置及び姿勢の指令値に一致させるために必要なスレーブマニピュレータ１１の各関節２１〜２７の駆動量を、逆運動学計算によって算出する。

また、マニピュレータ制御部７６は、切替え距離Ｌ_１に基づいて、関節２１、２４の一方を選択して駆動し、他方を固定するように制御する。より具体的には、マニピュレータ制御部７６は、切替え距離Ｌ_１が所定の閾値以下である場合には、スレーブマニピュレータ１１の関節２１、２４のうちスレーブマニピュレータ１１の先端の鉗子３０に近い関節２１を選択して駆動し、先端の鉗子３０から遠い関節２４を固定する。すなわち、マニピュレータ制御部７６は、関節２１を駆動関節とし関節２４を固定関節として、スレーブマニピュレータ１１を制御する。一方で、切替え距離Ｌ_１がこの閾値よりも大きい場合には、マニピュレータ制御部７６は、関節２４を選択して駆動し、関節２１を固定する。この閾値としては、手技の内容や使用する処置具（処置部）の種類などに応じて、例えば、２０ｍｍなどと設定することが好ましい。

画像処理部７７は、図３に示す内視鏡３１が取得した画像を画像信号に変換し、表示部４２に出力する。

入力部７８は、例えばキーボードであり、例えばスレーブ装置１０の近傍に配置される。介助者が入力部７８から入力した指示は、マスタ制御部７２などに出力される。

電源７９は、外部から入力された電力を、スレーブマニピュレータ１１、マスタ装置４０、マスタ制御部７２などに供給する。

次に、以上のように構成された本実施形態の手術支援システム１を用いた手技について説明する。以下では、患者の体腔内に処置具を導入し、対象組織に縫合などの処置する場合を例にとって説明する。

介助者は、図１に示すように手術台１２上に患者Ｑを寝かせ、消毒、麻酔などの適切な処理を行う。介助者が入力部７８を操作して手術支援システム１を起動すると、電源７９からスレーブマニピュレータ１１、マスタ装置４０、マスタ制御部７２などに電力が供給される。

図７に示すように、患者Ｑの体壁Ｑ１に互いに異なる向きとなるようにトロッカーＴ１、Ｔ２を取り付ける。

照明ユニット３１ａに電力を供給して内視鏡３１の前方を照明し、撮像素子３１ｃで取得した画像を表示部４２に表示させる。操作者Ｏが表示部４２の画像を観察している状態で、介助者は、内視鏡３１をトロッカーＴ１を通して患者Ｑの体腔Ｑ２に導入する。なお、内視鏡３１の導入をマスタ装置４０の制御により行ってもよい。

操作者Ｏは、操作部４１を操作し、手技の内容などに応じた適切な閾値を入力する。入力した閾値は、マニピュレータ制御部７６に記憶される。操作部４１を操作して鉗子３０のワイヤモータ３０ｂを駆動させ、患者Ｑの体外において一対の鉗子片３０ａ間に縫合用の曲がり針Ｎを把持させる。

マニピュレータ切替えスイッチ６１を操作して、操作部４１でスレーブマニピュレータ１１Ａが制御されるように切替える。このとき、本実施形態の手術支援システム１は以下のように制御される。図８は、手術支援システム１の制御方法を示すフローチャートである。

まず、ステップＳ１０において、処置具位置検出部７３は鉗子３０の先端部の位置を検出し、内視鏡位置検出部７４は内視鏡３１の先端部の位置及び姿勢を検出する。距離演算部７５は、検出した鉗子３０の先端部の位置、内視鏡３１の先端部の位置及び姿勢から、鉗子３０の先端部が内視鏡３１の視野Ｒ１内に配置されているか否かを検出する。距離演算部７５が鉗子３０の先端部が視野Ｒ１内に配置されていると判断した場合には（ＹＥＳ）、ステップＳ２０に移行する。

距離演算部７５が鉗子３０の先端部が視野Ｒ１内に配置されていないと判断した場合には（ＮＯ）、ステップＳ１１に移行する。ステップＳ１１では、関節２１を固定関節と設定し、関節２４を駆動関節と設定する。そして、ステップＳ３６に移行する。

前述のステップＳ２０において、距離演算部７５は、直前に行われたステップＳ１０で検出した鉗子３０の先端部の位置、および内視鏡３１の先端部の位置から切替え距離Ｌ_１を算出する。すなわち、距離演算部７５は、内視鏡３１の視野Ｒ１内に鉗子３０の先端部が配置されているときのみに、切替え距離Ｌ_１を算出する。そして、ステップＳ３０に移行する。

ステップＳ３０では、マニピュレータ制御部７６は、切替え距離Ｌ_１が閾値以下であるか否かを判断する。切替え距離Ｌ_１が閾値以下である場合には（ＹＥＳ）、ステップＳ３１に移行する。ステップＳ３１では、関節２４を固定関節と設定し、関節２１を駆動関節と設定する。そして、ステップＳ３６に移行する。

一方で、ステップＳ３０において、マニピュレータ制御部７６が切替え距離Ｌ_１が閾値以下でないと判断した場合には（ＮＯ）、ステップＳ３２に移行する。ステップＳ３２では、関節２１を固定関節と設定し、関節２４を駆動関節と設定する。そして、ステップＳ３６に移行する。

続いて、ステップＳ３６において、マニピュレータ制御部７６は、マスタ制御部７２から受け取った位置及び姿勢の指令値、およびステップＳ３１、３２で固定関節、駆動関節と設定した関節情報にもとづいて、スレーブマニピュレータ１１Ａの先端の鉗子３０の位置及び姿勢を指令値に一致させるために必要なスレーブマニピュレータ１１Ａの各関節２１〜２７の駆動量を、逆運動学計算によって算出する。さらに、各関節２１〜２７に対する指令値を決定する。

次に、ステップＳ３７において、マニピュレータ制御部７６は、ステップＳ３６で求められた各関節２１〜２７の指令値に従ってスレーブマニピュレータ１１Ａの各関節２１〜２７を駆動する。ただし、ステップＳ１１、３１、または３２で固定すると設定した関節は固定したまま駆動しない。そして、ステップＳ１０に移行する。

ステップＳ１０〜３７は、例えば１ミリ秒である所定時間△ｔごとに繰り返して行われる。すなわち、関節２１、２４のうちいずれを固定関節と設定するかは、時々刻々と自動的に変化し得るものとなっている。マニピュレータ切替えスイッチ６１を操作して、操作部４１でスレーブマニピュレータ１１Ａとは異なる他のスレーブマニピュレータ１１が制御されるようになったときに、このフローは強制終了される。

このように、ステップＳ１０〜３７を行うことで、鉗子３０の先端部が内視鏡３１の視野Ｒ１外に配置されている場合、および、鉗子３０の先端部が内視鏡３１の視野Ｒ１内に配置されていて切替え距離Ｌ_１が比較的長い場合には、スレーブマニピュレータ１１Ａの先端の鉗子３０に近い関節２１を固定する。一方で、鉗子３０の先端部が内視鏡３１の視野Ｒ１内に配置されていて、さらに切替え距離Ｌ_１が比較的短い場合には、スレーブマニピュレータ１１Ａの先端の鉗子３０から遠い関節２４を固定する。

操作者Ｏは、表示部４２に表示された画像を観察しつつ、操作部４１を操作してトロッカーＴ２を通して図７に示すようにスレーブマニピュレータ１１Ａの鉗子３０を体腔Ｑ２に導入する。そして、鉗子３０の先端部を処置対象となる対象組織Ｑ３に近づけていく。

一般的に、曲がり針Ｎを用いた針かけ動作においては、スレーブマニピュレータ１１Ａの先端の鉗子３０に取り付けられた鉗子３０をローリングさせながら対象組織Ｑ３に曲がり針Ｎをかける。前述したように、スレーブマニピュレータ１１Ａは、７つの関節２１〜２７を協調動作させながら、鉗子３０の位置及び姿勢を制御する。このとき、鉗子３０から遠い、すなわち、スレーブマニピュレータ１１Ａの先端の鉗子３０から遠い関節２４をローリングさせると、鉗子３０のローリングも行われる反面、関節２４よりも先端側の関節２１〜２３も大きく動作して、これらの関節２１〜２３などが周囲の組織などに衝突してしまう恐れがある。

このため、針かけ動作のような、主にローリング動作が必要な場合には、他の関節が不必要に動作しないよう、スレーブマニピュレータ１１Ａの先端の鉗子３０に近い側の関節である関節２１をローリングさせることが望ましい。この場合には、関節２４を固定関節としてもよい。切替え距離Ｌ_１が比較的短く、内視鏡３１の視野Ｒ１内に鉗子３０の先端部が大きく表示され、内視鏡３１の視野Ｒ１ではスレーブマニピュレータ１１Ａの基端側の状態が確認しにくくなる。しかし、関節２１〜２７が不必要に動作しないように制御されるため、問題ない。

関節２４を固定関節とすると、スレーブマニピュレータ１１Ａの先端の鉗子３０の位置及び姿勢の取り得る範囲が大きく制限されるため、ローリング以外の回転も必要な動作の場合には、関節２４をローリングさせるように駆動することが望ましい。この場合には、関節２１は固定関節としてもよい。切替え距離Ｌ_１が比較的長く、内視鏡３１の視野Ｒ１内にスレーブマニピュレータ１１Ａの先端側の広い範囲が表示されるため、スレーブマニピュレータ１１Ａが大きく動作しても操作者Ｏが容易にその動作を認識することができ、容易に対応することができる。

このように、本実施形態のスレーブマニピュレータ１１Ａは７自由度に対応した関節２１〜２７を備えるが、切替え距離Ｌ_１の値によらずある１つの関節を固定して残りの６つの関節のみを動作させる。このため、位置及び姿勢の６自由度に対して、７つの関節全ての駆動量が未知とするよりも、独立した６つの関節に対して逆運動学計算を行うことで、冗長問題を回避し、逆運動学計算を簡略化することができる。

曲がり針Ｎを用いて対象組織Ｑ３を縫合した後で、トロッカーＴ２から鉗子３０を抜き出し、トロッカーＴ１から内視鏡３１を抜き出す。

患者Ｑの体壁Ｑ１からトロッカーＴ１、Ｔ２を取り外し、体壁Ｑ１の開口を縫合するなど適切な処置をして、一連の手技を終了する。

しかしながら、操作者が固定する冗長関節を切替えるのでは、手技中の操作者の負担が増加する。

これに対して、本実施形態の手術支援システム１、および手術支援システム１の制御方法によれば、冗長関係にある関節２１、２４の切替えを、位置関係算出部を構成する距離演算部７５が算出した切替え距離Ｌ_１に基づいてマニピュレータ制御部７６が自動的に行う。したがって、マスタ装置４０の操作部４１を操作する操作者Ｏが関節２１、２４の切替えを行う必要がなく、手技中の操作者Ｏの負担を低減させ、手技を効率的に行うことができる。

スレーブマニピュレータ１１Ａを構成する関節の１つを固定することで、スレーブマニピュレータ１１Ａを制御するために必要な逆運動学計算を簡略化することができる。

切替え距離Ｌ_１が閾値以下である場合には、関節２４を固定し関節２１を駆動する。このため、針かけ動作のような比較的小さな動作を行うときに、関節２１以外の関節が周囲の組織などに接触するのを抑制することができる。そして、手術支援システム１の操作性を高めることができる。一方で、切替え距離Ｌ_１が閾値よりも大きい場合には、関節２１を固定し関節２４を駆動する。これにより、比較的大きな動作を行いやすくすることができる。

位置関係算出部は、撮像部検出部および処置部検出部を備えている。撮像部検出部は、エンコーダ２１ｂ〜２７ｂ、およびスレーブマニピュレータ１１Ｂや内視鏡３１の形状寸法などを用いて内視鏡３１の先端部の位置及び姿勢を正確に検出することができる。処置部検出部も、撮像部検出部と同様の構成であるため、鉗子３０の先端部の位置を正確に検出することができる。

手術支援システム１はスレーブマニピュレータ１１Ｂの先端１１ｂに取り付けられた内視鏡３１を備えるため、手術支援システム１を内視鏡３１も含めて全ての構成を備えたものとすることができる。

距離演算部７５は、内視鏡３１の視野Ｒ１内に鉗子３０が配置されているときのみに切替え距離Ｌ_１を算出する。したがって、距離演算部７５の計算処理量を低減させることができる。

（第２実施形態）
次に、本発明の第２実施形態について図９および図１０を参照しながら説明するが、前記実施形態と同一の部位には同一の符号を付してその説明は省略し、異なる点についてのみ説明する。

図９に示すように、本実施形態の手術支援システム２は、第１実施形態の手術支援システム１の各構成に対して、内視鏡３１および内視鏡位置検出部７４に代えて、ビデオカメラ（撮像部検出部）９１を備えている。本手術支援システム２は、一般的な内視鏡９２に接続可能となっている。すなわち、本手術支援システム２は内視鏡を備えておらず、一般的な内視鏡９２と組み合わせて用いることができる。

ビデオカメラ９１としては、図１０に示すように、手術室の天井Ｃに吊り下げて設置することが好ましい。ビデオカメラ９１は、その視野Ｒ２内に手技中の内視鏡９２が入るように設置される。ビデオカメラ９１内には、不図示の検出回路が内蔵されている。この検出回路は、演算素子やメモリーを有している。操作部４１や入力部７８から手術支援システム２に接続される内視鏡９２の長さ、内視鏡９２における視野Ｒ２の配置などを入力すると、このメモリーに記憶される。

この検出回路は、ビデオカメラ９１で取得した画像から、公知の画像処理方法により、内視鏡９２の先端部の位置及び姿勢を検出することができる。ビデオカメラ９１は、図９に示す制御装置７０のバス７１に接続されていて、検出した内視鏡９２の先端部の位置及び姿勢を制御装置７０に出力することができる。

内視鏡９２としては、公知の一般的な構成のものを用いることができる。内視鏡９２は、例えば、ＬＥＤなどを有する照明ユニット９２ａと、ＣＣＤなどの撮像素子９２ｂとを備えている。内視鏡９２は、手技中には、例えば手術台１２に固定されたり、介助者に保持されたりする。

撮像素子９２ｂが取得した画像は、制御装置７０のバス７１に接続可能なケーブル９２ｃを介して画像処理部７７に出力され、この画像が表示部４２に表示される。

なお、内視鏡９２の先端部の位置及び姿勢を検出する方法の一例として、以下の方法が知られている。すなわち、図１０に示すように、内視鏡９２に全周にわたり複数のマーカー９２ｄを設けておく。隣り合うマーカー９２ｄが離間する距離は、検出回路に予め記憶されている。この複数のマーカー９２ｄの位置を画像処理方法により検出することで、内視鏡９２の先端部の位置及び姿勢を検出する。

このように構成された本実施形態の手術支援システム２によれば、冗長関係にある関節２１、２４の切替えをマニピュレータ制御部７６が自動的に行うため、手技中の操作者Ｏの負担を低減させることができる。

手術支援システム２が内視鏡を備えず、一般的な内視鏡９２に接続可能となっているため、既存の内視鏡９２を有効に活用するとともに、手術支援システム２の製造コストを抑えることができる。操作者Ｏや介助者が使い慣れた内視鏡があれば、その内視鏡に本手術支援システム２を接続して用いることができる。これによっても、操作者Ｏや介助者の操作性を向上させることができる。

本実施形態では、ビデオカメラ９１が天井Ｃに吊り下げて設置されるとした。しかし、ビデオカメラ９１の配置はこの限りでなく、例えば、手術台１２にビデオカメラ９１を固定したり、介助者がビデオカメラ９１を保持したりするように構成してもよい。

（第３実施形態）
次に、本発明の第３実施形態について図１１から図１３を参照しながら説明するが、前記実施形態と同一の部位には同一の符号を付してその説明は省略し、異なる点についてのみ説明する。

図１１に示すように、本実施形態の手術支援システム３は、第１実施形態の手術支援システム１の各構成に対して、内視鏡３１および制御装置７０に代えて、制御装置１００を備えている。

本手術支援システム３は、第２実施形態の手術支援システム２と同様に、一般的な内視鏡９２に接続可能となっている。

制御装置１００は、第１実施形態の制御装置７０の各構成に対して、処置具位置検出部７３、内視鏡位置検出部７４、および距離演算部７５に代えて、距離算出部（位置関係算出部）１０１を備えている。

距離算出部１０１は、鉗子３０を写したものであって内視鏡９２が取得した画像から、公知の画像処理方法を用いて、切替え距離（切替え位置関係）として鉗子３０の先端部と内視鏡９２の先端部との間の距離を算出することができる。上述の実施形態の手術支援システム１、２では、内視鏡の位置、鉗子３０の位置をそれぞれ検出してから切替え距離を算出した。これに対して、本実施形態の距離算出部１０１は、切替え距離を前述の画像から直接算出するものである。

この切替え距離の算出に用いられる画像処理方法は、公知のものが用いられて特に限定されるものではないが、例えば以下の方法がある。

図１２および図１３に、鉗子３０を写した画像Ｐ１０、Ｐ２０を示す。画像Ｐ１０は、鉗子３０の先端部を内視鏡９２の先端部の比較的近くに配置して取得したものであり、画像Ｐ２０は、鉗子３０の先端部を内視鏡９２の先端部から比較的遠くに配置して取得したものである。これらの画像Ｐ１０、Ｐ２０は、各図中の一部拡大図に示すように、複数の画素Ｐ１を基準平面上で格子状に配列したものとして表される。

内視鏡９２から鉗子３０を遠くに配置して取得した画像ほど、その画像内で鉗子３０は小さく写る。

距離算出部１０１は、公知の画像処理方法により、各画像Ｐ１０、Ｐ２０において、棒状に形成されている鉗子３０の径方向Ｄを認識する。距離算出部１０１が画像Ｐ１０、Ｐ２０中における鉗子３０の径方向Ｄを認識しやすいように、鉗子３０の外面に方向を示す目印を設けてもよい。

距離算出部１０１は、画像Ｐ１０、Ｐ２０において、径方向Ｄに並び、かつ、処置部３０の外径を表す画素Ｐ１の数を算出する。この画素Ｐ１の数は、図１２の例では６となり、図１３の例では３となる。

また、距離算出部１０１のメモリーには、この画素Ｐ１の数と切替え距離との対応関係を示したテーブルが予め記憶されている。距離算出部１０１はこのテーブルに基づいて、切替え距離を算出する。

このように構成された本実施形態の手術支援システム３によれば、冗長関係にある関節２１、２４の切替えを自動的に行うことができる。

切替え距離が比較的短く鉗子３０と内視鏡９２とが接近して配置されている場合には、関節２１〜２７が不必要に動作しないように制御されるため、鉗子３０が内視鏡９２に接触するのが防止される。また、切替え距離が比較的長く鉗子３０と内視鏡９２とが離間して配置されている場合には、スレーブマニピュレータ１１Ａが大きく動作しても問題ない。

（第４実施形態）
次に、本発明の第４実施形態について図１４から図１６を参照しながら説明するが、前記実施形態と同一の部位には同一の符号を付してその説明は省略し、異なる点についてのみ説明する。

図１４に示すように、本実施形態の手術支援システム４は、第１実施形態の手術支援システム１の各構成に対して、内視鏡３１および制御装置７０に代えて、制御装置１１０を備えている。

本手術支援システム４は、図１４および図１５に示すように、距離の測定が可能な公知の内視鏡１２０が接続可能となっている。すなわち、本実施形態では、内視鏡１２０が距離算出部（位置関係算出部）を兼ねている。

この内視鏡１２０は、その先端部にＬＥＤなどを有する照明ユニット１２０ａと、ＣＣＤなどの一対の撮像素子１２０ｂ、１２０ｃを備えている。

撮像素子１２０ｂは、向きＥ１から対象組織Ｑ３を写した第一の画像Ｐ３０（図１６参照。）を取得可能である。一方で、撮像素子１２０ｃは、向きＥ２から対象組織Ｑ３を写した第二の画像Ｐ４０（図１６参照。）を取得可能である。これら向きＥ１、Ｅ２は、互いに異なるとともに同一直線上にないものとなっている。すなわち、第一の画像Ｐ３０、第二の画像Ｐ４０を同時に取得し、例えば、表示部４２に表示された第一の画像Ｐ３０を右目で見るとともに第二の画像Ｐ４０を左目で見ることで、操作者Ｏは表示部４２上で対象組織Ｑ３を立体視することができる。

また、内視鏡１２０には、不図示の検出回路が内蔵されている。この検出回路は、演算素子やメモリーを有している。検出回路は、公知の画像処理方法により、撮像素子１２０ｂ、１２０ｃで取得された第一の画像Ｐ３０および第二の画像Ｐ４０に基づいて、切替え距離（切替え位置関係）Ｌ_２として対象組織Ｑ３と内視鏡１２０の先端部との間の距離を算出することができる。すなわち、本実施形態では、第一の画像Ｐ３０と第二の画像Ｐ４０との間の視差に基づいて切替え距離Ｌ_２を算出している。

なお、制御装置１１０は、第１実施形態の制御装置７０の各構成に対して、処置具位置検出部７３、内視鏡位置検出部７４、および距離演算部７５を備えない構成となっている。

このように構成された本実施形態の手術支援システム４によっても、冗長関係にある関節２１、２４の切替えを自動的に行うことができる。

切替え距離Ｌ_２が比較的短く対象組織Ｑ３と内視鏡１２０とが接近して配置されている場合には、関節２１〜２７が不必要に動作しないように制御されるため、内視鏡１２０が対象組織Ｑ３に接触するのが防止される。また、切替え距離Ｌ_２が比較的長く対象組織Ｑ３と内視鏡１２０とが離間して配置されている場合には、スレーブマニピュレータ１１Ｂが大きく動作しても問題ない。

なお、本実施形態では、第一の画像Ｐ３０と第二の画像Ｐ４０との間の視差に基づいて、対象組織Ｑ３と内視鏡１２０の先端部との間の距離として切替え距離Ｌ_２を算出した。しかし、切替え距離Ｌ_２の算出方法はこの限りではない。例えば、超音波やレーザー光などの到達時間や、波長の変化を利用して切替え距離Ｌ_２を算出してもよい。

以上、本発明の第１実施形態から第４実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の構成の変更なども含まれる。さらに、各実施形態で示した構成のそれぞれを適宜組み合わせて利用できることは、言うまでもない。

たとえば、前記第１実施形態から第４実施形態では処置部は鉗子３０であるとした。処置部としてはこれ以外にも、スネア、注射器、高周波処置具などを適宜選択して用いることができる。

また、７個の関節２１〜２７を有するスレーブマニピュレータ１１のうち、動作軸が回転軸である関節２２、２４が冗長関係にあるとした。しかし、スレーブマニピュレータが８個以上の関節を有し、それら８個以上の関節のうち６個を除いた関節が冗長関係にあるとしてもよい。この場合、冗長関係にある複数の関節のうち１個以外を自動的に選択して固定するようにすれば、本実施形態と同様の効果を奏する。また、動作軸が直動軸である２つ以上の関節が冗長関係にあってもよい。スレーブマニピュレータが６個以下の関節を有するとともに、それらの関節のうちの２つ以上が冗長関係にあってもよい。

スレーブマニピュレータ１１が、互いに冗長関係にある３つ以上の冗長関節を備えてもよい。この場合、マニピュレータ制御部７６は、切替え距離Ｌ_１に基づいて３つ以上の冗長関節の１つを選択して駆動し、残りの冗長関節を固定する。

第３および第４実施形態では、ズームレンズを通した反射光により画像が取得される場合であっても、そのズームレンズの倍率が検出可能であれば、その倍率を考慮して切替え距離を算出することができる。

本手術支援システムに備えられるスレーブマニピュレータ１１の数に制限は無く、少なくとも１基のスレーブマニピュレータ１１Ａが備えられていればよい。

操作部が制御装置と配線などで電気的に接続されていなく、操作部と制御装置とが無線通信可能となるように構成してもよい。この場合、操作部を把持した操作者Ｏが、操作部を３次元空間内で移動させたり回転させたりすることで、位置の３自由度に対応した操作信号を制御装置に出力することが可能である。

第１および第２実施形態では、内視鏡を固定し、この内視鏡の位置及び姿勢を入力部７８から入力して距離演算部７５などに記憶させてもよい。この場合、時々刻々の鉗子３０の先端部の位置を検出することで、切替え距離を算出することができる。

第１実施形態では、切替え距離Ｌ_１として視野Ｒ１の中心軸線に沿った鉗子３０の先端部と内視鏡３１の先端部との間の距離を算出した。しかし、図１７に示すように、鉗子３０の先端部が視野Ｒ１の縁部にあるときには、切替え距離Ｌ_３として視野Ｒ１の縁部に沿った鉗子３０の先端部と内視鏡３１の先端部との間の距離を算出してもよい。

また、図１８に示すように、略円錐状に広がる視野Ｒ１の中心軸線Ｌ_１１から鉗子３０の先端部までの距離を切替え距離Ｌ_４としてもよい。

この他、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。

本発明は、手術支援システムおよび手術支援システムの制御方法に広く適用でき、冗長関係にある関節の切替えを、位置関係算出部が算出した切替え位置関係に基づいてマニピュレータ制御部が自動的に行う、手術支援システムおよび手術支援システムの制御方法を提供する。これにより、マスタ装置の操作部を操作する操作者が関節の切替えを行う必要がなく、手技中の操作者の負担を低減させ、手技を効率的に行うことができる。

１、２、３、４手術支援システム
１０スレーブ装置
１１スレーブマニピュレータ（マニピュレータ）
１１Ａスレーブマニピュレータ
１１Ｂスレーブマニピュレータ
１１ａ固定端
１１ｂ先端
１２手術台
１３フレーム
２１〜２７関節
２１ａ〜２７ａ関節モータ
２１ｂ〜２７ｂエンコーダ
３０鉗子（処置部）
３０ａ鉗子片
３０ｂワイヤモータ
３１内視鏡（撮像部）
３１ａ照明ユニット
３１ｂ光学ユニット
３１ｃ撮像素子
４０マスタ装置（操作部）
４１操作部
４２表示部
４３支持台
５０駆動部
５１〜５６駆動軸
５１ａ〜５６ａエンコーダ
５９グリップ
６１マニピュレータ切替えスイッチ
７０、１００、１１０制御装置
７１バス
７２マスタ制御部
７３処置具位置検出部
７４内視鏡位置検出部
７５距離演算部
７６マニピュレータ制御部（制御部）
７７画像処理部
７８入力部
７９電源
９１ビデオカメラ（撮像部検出部）
９２内視鏡
９２ａ照明ユニット
９２ｂ撮像素子
９２ｃケーブル
９２ｄマーカー
１０１距離算出部（位置関係算出部）
１２０内視鏡
１２０ａ照明ユニット
１２０ｂ、１２０ｃ撮像素子
Ｎ曲がり針
Ｏ操作者
Ｏ１腕
Ｐ１画素
Ｐ１０、Ｐ２０、Ｐ３０、Ｐ４０画像
Ｑ患者
Ｑ１体壁
Ｑ２体腔
Ｑ３対象組織
Ｒ１視野
Ｔ１、Ｔ２トロッカー

特開昭６３−２６７１７７号公報

Claims

マニピュレータの固定端から見た場合の最も遠い端部である前記マニピュレータの先端側に設けられた処置部を用いて、撮像部で観察しながら処置対象となる対象組織の処置を行う手術支援システムであって、
複数の自由度に対応した複数の関節を有し、該複数の関節の中に互いに冗長関係にある少なくとも２つの冗長関節が含まれる前記マニピュレータと、
前記複数の自由度に対応した操作情報を与える操作部と、
前記対象組織または前記処置部と、前記撮像部との間の切替え位置関係を算出する位置関係算出部と、
前記操作情報に従って前記関節の動作を制御する制御部と、
を備え、
前記制御部は、前記切替え位置関係に基づいて、前記少なくとも２つの冗長関節の１つを駆動関節として、前記少なくとも２つの冗長関節の残りを固定関節として前記マニピュレータを制御する、手術支援システム。
前記切替え位置関係は、前記対象組織または前記処置部と、前記撮像部との間の距離を表し、
前記制御部は、
前記切替え位置関係が閾値以下である場合には、前記少なくとも２つの冗長関節のうち前記マニピュレータの先端に最も近いものを前記駆動関節とし、
前記切替え位置関係が前記閾値よりも大きい場合には、前記少なくとも２つの冗長関節のうち前記マニピュレータの先端から最も遠いものを前記駆動関節とする、
請求項１に記載の手術支援システム。
前記位置関係算出部は、
前記撮像部の位置を検出する撮像部検出部と、
前記処置部の位置を検出する処置部検出部と、
を有し、
検出された前記撮像部の位置、および前記処置部の位置に基づいて、前記切替え位置関係として前記処置部と前記撮像部との間の距離を算出する、
請求項１に記載の手術支援システム。
画像を取得可能な前記撮像部を更に備える、請求項３に記載の手術支援システム。
前記位置関係算出部は、前記撮像部の視野内に前記処置部が配置されているときのみに、前記切替え距離を算出する、請求項３に記載の手術支援システム。
前記位置関係算出部は、前記処置部を写したものであって前記撮像部が取得した画像に基づいて、前記切替え位置関係として前記処置部と前記撮像部との間の距離を算出する、請求項１に記載の手術支援システム。
前記撮像部は、互いに異なるとともに同一直線上にない向きから前記対象組織を写した第一の画像および第二の画像を取得可能であり、
前記位置関係算出部は、取得された前記第一の画像および前記第二の画像に基づいて、前記切替え距離として前記対象組織と前記撮像部との間の距離を算出する、
請求項１に記載の手術支援システム。
複数の自由度に対応した複数の関節を有し、該複数の関節の中に互いに冗長関係にある少なくとも２つの冗長関節が含まれるマニピュレータを備える手術支援システムを制御する手術支援システムの制御方法であって、
前記マニピュレータに設けられた処置部を用いて処置を行う対象組織または前記処置部と、前記撮像部との間の切替え位置関係を算出し、
前記切替え位置関係に基づいて、前記少なくとも２つの冗長関節の１つを駆動関節として、前記少なくとも２つの冗長関節の残りを固定関節として前記マニピュレータを制御する、手術支援システムの制御方法。