JPH07504363A - テレオペレータシステムとテレプレゼンス法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 テレオペレータシステムとテレプレゼンス法るオペレータの手に直に感じるのと 同じ感覚で遠隔操作する装置のオペレータを提供する手段を含むものに関係する 。

本発明の背景 テレオペレーティングは、良く知られているように、マニプレータを使った遠隔 位置での作業を人間が行うことを含む。

テレプレゼンス（ｔｅｌｅｐｒｅｓｅｎｃｅ）は、オペレータが、実際に操作を 行なう作業現場にいたら、自分自身の手で行うのと同じフィードバックコントロ ールを行うテレオペレータを提供することを含む。テレプレゼンス操作は、−゛ 般的に据え付けのビジュアルディスプレー、特に、遠隔作業場所の立体映像ディ スプレーの使用を含む。立体鏡テレビシステムは、例えば米国特許番号４，５６ ２．４６３と４，５８３，１１７や英国出願特許ＧＢ２，０４０，１３４に示さ れているように良く知られている。

フィードバック力と共に、映し出す立体鏡テレビを使った遠隔マニプレータもま た、例えば、「運動感覚の結合を通した遠隔マニプレータの制御」、ベグジー（ Ｂｅｊｃｚｙ）ら２機械設計のコンピュータ（Ｃｏｍｐｕｔｅｒｓ　ｉｎ　Ｍｅ ｃｈａｎｉｃａｌ　Ｅｎｇｉｎｅｅｒｉｎｇ）、１９８３年７月、４８〜６０頁 及び［フォース−フィードバックマニプレータを用いたベグインホール作業に対 するステレオの利点（Ｓｔｅｒｅｏ　Ａｄｖａｎｔａｇｅ　ｆｏｒ　ａ　Ｐｅｇ −Ｉｎ−Ｈｏｌｅ　Ｔａ５ｋ　Ｕｓｉｎｇ　ａ　Ｆｏｒｃｅ−Ｆｅｅｄｂａｃｋ 　Ｍａｎｉｐｕｌａｔｏｒ）」、スペイン（Ｅ、Ｈ，５ｐａｉｎ）、ステレオス コピック　ディスプレーと応用（Ｓｔｅｒｅｏｓｃｏｐｉｃ　Ｄｉｓｐｌａｙｓ 　ａｎｄ　Ａｐｐｌｉｃａｔｉｏｎｓ）第１２５６巻、１９９０年、２４４〜２ ５４頁の論文に示されているように良く知られている。ベグジーらの論文には、 フォーストルクフィードバック（ｆｏｒｃｅ−ｔｏｒｑｕｅ　ｆｅｅｄｂａｃｋ ）が含まれている。また、米国特許番号３，９２１．４４５には、動力、トルク 及び本発明で用いてもよいタイプのすべりセンサーを含んだマニプレータが示さ れている。

従来のマニプレータのオペレータには、作業現場に固定した３次元像が送られ、 手動で、そのマニプレータをフィードバック制御していたが、オペレータには、 作業現場に実際に存在する感覚は与えられていない。本発明は、遠隔マニプレー タ現場に、存在するオペレータの感覚を実質的に加えた、遠隔マニプレーシヨン システムで、監視アレンジメントを自衛したものである。

本発明の概要と目的 本発明の目的の一つは、オペレータにより遠隔位置より制御された遠隔マニプレ ータに存在するオペレータの感覚を強める、改善された監視システムを含んだ、 改善されたテレオペレータのシステム及び方法の提供である。

本発明の目的の一つは、前記タイプの改善されたテレオペレータのシステム及び 方法の提供であり、オペレータが監視するマニプレークエンドエフエクターの像 が、そのエンドエフェクターを制御するのに、オペレータにより使用される手　 ′動コントローラの肝要な部分を含むものとして、オペレータにより知覚させら れ、その結果、作業現場で得られる強い感覚をオペレータに与える。

本発明の目的の一つは、軍事、工業、生物医学などを含んだ種々の広い用途での 使用によく適した前記タイプの改善されたテレオペレータのシステム及び方法の 提供である。

本発明は、作業現場に設置され、遠隔オペレータコントロールステーションでの 手作動手段により制御されたマニプレータを含む。マニプレータのエンドエフェ クターは、作業現場において、作業場所に置かれた物体をマニプレータするのに 使われ、フォース　トルク　フィードバックが、エンドエフェクターの受けた機 械的抵抗をオペレータに逆に伝達するのに用いられている。

立体映像ディスプレーが、作業場所の像をオペレータに提供する。本発明によれ ば、前記像が、手作動手段に近接して設置され、オペレータは、手作動手段の方 向を向いて、手作動手段に近接した、監視像を見ることになる。現実と仮空のど ちらかの作業場所の像が、手作動手段に近接して与えられるであろう。現実の像 を映すディスプレ一手段が、オペレータによる現実の像の直接の監視のため、手 作動手段に近接して設置される。作業場所の仮空の像を映すため、鏡がオペレー タの目と手作動手段の間に置かれる。この場合、ディスプレ一手段は上下逆の・ 　現実の像を映し、その逆になった像は、前記鏡を経て映され、その鏡は、前記 像を逆にし、オペレータに作業場所の仮空の像を与え、この作業場所が手作動手 段に近接して位置するようにみえる。

エンドエフェクターが作業現場に置かれ、手作動手段が遠隔オペレータステーシ ョンに置かれているという事実にもかかわらず、手作動手段に近接して作業場所 の像を設置することにより、オペレータは、エンドエフェクターと手作動手段が 実質的に一体となる感覚を与えられる。オペレータに作業現場からの立体音響の 音を与える、立体音響システムが含まれてもよい。ビデオカメラ手段は、作業現 場の監視に使われ、作業現場の像が得られる。種々の他のセンサーやそれらに結 合した応答器が、圧力、触覚、熱、振動及び強化されたテレプレゼンスオペレー ションのための同様の情報の伝達のため、各々、作業現場とオペレータステーシ ョンに設置されてもよい。

用途によっては、異なった倍率操作がオペレータステーションと作業現場間の情 報の伝達において用いられてよい。例えば、マイクロアッセンブリー、顕微手術 及び、小さな部分のマニプレーシヨンを含むようなオペレーションで、光学的か つ、又はビデオ拡大機がオペレータが監視する、拡大された３次元像を与えるの に使われてもよい。手作動手段とマニプレータの間の同様の倍率操作で、オペレ ータの感覚は、縮小版のオペレータが作業現場にいるとしたら、もつであろう感 覚と実質的には同じとなる。

図面の簡単な説明 本発明は、その他の目的および利点と共に添付図面を考察し下記の説明から最も 良く理解されよう。図面は説明および実施例のためだけの目的であり、本説明が これに限定されるものでないことは理解されよう。各図において、同様の参照数 字は同一部品を示す。

図１は、ワークサイトおよび遠隔制御オペレータのステーションの側面図を含む 、本発明を具体化するテレオペレータ装置の線図；図２は、事実上図１の線２− ２に沿ったオペレータのステーションの拡大背面図３は、事実上図１の線３−３ に沿ったワークサイトの拡大背面図；図４は、図１に類似の、ワークサイトの素 子とオペレータステーションの素子との寸法的関係を示す簡易側面図； 図５は、ミニチュア仮想の眼による視覚認識を示す線図で、図６は、像の拡大が 用いられる時に、オペレータによる視覚認識を示す線図；図７は、図１の線図に 類似するが、テレプレゼンス（Ｔｅｌｅｐｒｅｓｅｎｃｅ）手術に用いられるテ レオペレータシステムを示す線図；図８は、図７に示されるオペレータのステー ションの背面図；図９は、図７に示されるワークサイトの背面図；図１Ｏおよび 図１１は、それぞれ自由度を増した、オペレータのステーションおよびマニプレ ータの変型の部分側面図；図１２は、ディスプレ一手段が、オペレータの直視用 に配置される、オペレータのステーションの変型の側面図； 図１３は、図１２に示されるオペレータのステーションの変型の側面図；で図１ ４は、本発明と共に用いられる内視鏡の挿入部分の部分図である。

図１−３について説明すると、テレオペレータシステムは、オペレータのステー ション２０（図１および２）およびワークサイト２２（図１および３）を含むも のとして示される。オペレータステーションのオペレータ１８は、遠隔ワークサ イトのマニプレ−タ２４を制御する。マニプレータ２４は、右および左マニプレ ータ２４Ｒおよび２４Ｌからなり、それぞれ破線で示されるワークスペース３０ 内のプラットホームまたはペース２８上に置かれる対象物２６のような物体を操 作するのに用いられる。説明を目的とするだけであり、これに限定するものでは ないが、上記右マニプレータ２４Ｒはペース２８に付加されたハウジング３２Ｒ を含むものとして示され、そしてこのハウジングから入れ予成アーム３４Ｒが延 び出ている。アーム３４Ｒの内端部３４Ｒ１は、従来型装着手段を用いて、任よ うになっている。

アーム３４Ｒは、入れ予成内部部分３４Ｒ１と外部部分３４Ｒ２を含み、外部部 分は内部部分３４Ｒ１の内方へ、そして内部部分３４Ｒ１から外方へ軸線方向移 動、およびその縦軸線の周りの回転運動の両方に適合するようになりでいる。

エンドエフェクター４ＯＲが、アームの外端部に支持され、説明の目的でグリッ パを含むものとして示される。図示されないモータは、ピボット軸線３６および ３８周りのアーム３４Ｒのピボット運動、アームの縦軸線に沿うおよび縦軸線周 りの外側アーム部分３４Ｒ２の軸線方向および回転運動、およびグリッパ４０Ｒ の開放と閉鎖を制御する。上記モータは、モータの制御用のモータ制御回路と共 に、上記ハウジング３２Ｒ内に含むこともできる。上記モータは、コンピュータ ４２の制御下で右マニプレータインターフェース４４Ｒおよび上記モータ制御回 路を経てそれに接続される。

左マニプレータ２４Ｌは、右マニプレータ２４Ｒと事実上向一般計であり、同一 参照番号であるがＲの代りに添字りを付し、同一部品認識に用いられる。説明の 目的で、図３に示される、左エンドエフェクター４ＯＬは、１対のはさみ刃の様 式で作動する切断刃を含むものとして示される。

上記ワークサイトには１対のビデオカメラ４６Ｒおよび４６Ｌが設けられ、線４ ８Ｒおよび４８Ｌにおいて、それからの立体信号出力の作成のため、異なる角度 からワークスペース３０を観察する。図３に示される両カメラの光軸間の角γは 、図２に示されるようなワークスペースの像のオペレータの両眼間の視角γに事 実上等しい。

線４８Ｒおよび４８Ｌにおけるビデオカメラ出力は、カメラからの右および左ル 変換器により、カメラ信号出力のディジタル信号形への変換およびモニタ５４に おけるディスプレーに備えて、左／右スイッチから、アナログ信号形式ヘディジ タル信号出力の変換が用いられることもある。

ディスプレ一手段５４の表面の電子光学デバイス５８は、調時及び制御ユニット ５６からの、左／右同期信号の制御下でディスプレ一手段５４から受けた偏光を 制御する。上記左および右の像視野は、直角方向に偏光される、右および左の偏 光素子６２および６４を備えた、１対の受動偏光眼鏡を着けたオペレータＩ８に より観察される。上記電子光学デバイス５８を経たディスプレー５４からの偏光 は、オペレータによる立体画法目視のため、右視野が左眼から遮光され、そして 左視野が右眼から遮光されるような視野による同期された視野である。オペレー タに遠隔ワークスペースの立体視界を与えるため、この発明の実施に用いること もできる、例えば、活性立体眼鏡を使用するものを含め、左および右の像視野の 立体画法目視用の他の手段は周知である。

モニタ５４用の垂直偏向コイル結線は逆転され、モニタを底部から頂部へ走査さ せ、これによりワークスペース３０の頂部−底部反転像３０１を生じる。文字ａ 、ｂ、ｃおよびｄはワークピース３０および反転ワークスペース像３０１の対応 かとを識別するために用いられる。上記反転ワークスペース像３０Ｉは、テーブ ル６８の上面のミラー６６を介してオペレータにより観察され、上記ミラーは像 ３０１を反転して、オペレータにより直立位置に観察されるように上記像を反− タにより観察される像は仮想像を含み、ワークサイトにおいてマニプレータ手段 ２４の制御のため、上記オペレータにより用いられるコントローラ手段７０に隣 接配置される。

コントローラ手段７０は、テーブル上面６８の直下に配置されて、右及び左コン トローラ７２Ｒおよび７２Ｌを含み、それぞれ右及び左マニプレータ２４Ｒおる 。説明の目的で、これに限定されるものではなく、右コントローラ７２Ｒはテー ブル上面６８の底部に固着されたハウジング７４Ｒを含むのが示され、これから 入れ千成コントロールアームすなわちスティックの形式の手作動コントローラ７ ６Ｒが延び出る。

右及び左コントロールアーム７６Ｒおよび７６Ｌは、関連マニプレータアーム３ ４Ｒ及び３４Ｌにおけると同じ自由度がそれぞれに与えられる。例えばコントロ ールアーム７６Ｒの内端部はマニプレータピボット軸線３６に相当する水平軸線 ３６の周りにピボット運動され、この軸線は順次、マニプレータ軸線３８に相当 する横断垂直軸線の周りにピボット運動するのに適するようになっている。コン トロールアーム７６Ｒはまた内部部分７６Ｒ１および外部部分７６Ｒ２を含み、 外部部分は内部部分７６Ｒ１内への軸線方向移動および内部部分７６Ｒ１から出 る軸線方向運動、およびその縦軸線周りの回転運動の両方に適している。コント ロールアーム７６Ｈには関連マニプレータアーム３４Ｒと同様に４つの自由度が 与えられていることは明白であろう。さらに、センサ手段７８Ｒが外部アーム部 分７６Ｒ２の外端部に隣接配置され、グリッパ４ＯＲのグリッピング作動を制御 するのに用いられる。同様にセンサ手段７８Ｌがコントロールアーム７６Ｌの外 端部に隣接され、はさみ刃４ＯＬの作動を制御する使用に適している。

右および左コントローラ７２Ｒと７２Ｌはサーボ機構内に包含され、該機構にお いてコントロールアーム７６Ｒと７６Ｌはマニプレークアーム３４Ｒと３４Ｌの 位置を制御し、そしてセンサー手段１８Ｒと７８Ｌ上の圧力はエンドエフェクタ ４２へのコントローラの接続のために示される。遠隔位置における機械的運動り を組み合わせるものか本発明装置の遠隔立合（ｔｅ　１ｅｐｒｅｓｅｎｃｅ）操 らマイクからの出力が右および左増幅器により増幅されそしてオペレータのステ ーションにおける右および左スピーカに供給されて作業空間においてオペレータ に立体音響を提供するステレオ音響出力を提供する。

第１図においてこのステレオ装置系の右チャンネルのみが示され、ここには右マ イクロフォン８２Ｒ１右増幅器８６Ｒおよび右スピーカ−８８Ｒが含まれる。

ここに左マイクロフォンとスピーカは作業場所におけるそれぞれの右マイクロフ ォンとスピーカおよびオペレータの制御ステーションの真うしろに位置する（第 １図）。当然のことに、イヤフォンがこれらスピーカの代わりにオペレータのた めに提供でき、これによりオペレータの制御ステーションにおける外部雑音を遮 断するに役立てつる。更に第１図において、モニタにおける遮光板５４Ｂが示さ れオペレータによるモニタ面の直接観察を防止する。

ここに第４図を参照し、ここでは第１乃至３図に示した装置の簡素化した線図を 示しそして種々の長さ及び角度位置が図番で示されている。第４図において、作 業空間におけるカメラと点７間の光路長は図番りにより示される。同作業空間の バーチャルイメージにおけるオペレータの眼と点７間の対応する光路長は距離ａ ＋ｂにより示され、ここにａはオペレータの眼からミラー６６への距離でありモ してｂは該バーチャルイメージでの該ミラーから点Ｆ迄の距離である。ここに示 される他の寸法はマニプレータの腕３４Ｒの枢軸点上のカメラの高さＧと、コン トロールアーム７６Ｒの枢軸点上のオペレータの眼の対応する高さｇを更に含む 。長さｄのコントロールアーム７６Ｒによりマニプレータアーム３４Ｒは長さＤ に調整されている。同様に垂直に関し角度β、にあるコントロールアーム７６Ｒ をもって、マニプレータ３４Ｒは垂直線から同一の角度に位置される。カメラが 作業空間を見る垂直線からの角度および、オペレータの眼が作業空間のバーチャ ルイメージを見る垂直線からの角度はαで示される。作業位置の諸要素とオペレ ータステーション間には下記の関係が存在する：ａ＋ｂ＝ｋＬ　（１） ｄ＝ｋＤ　（２） ｇ＝ｋＧ　（３） ここにｋは縮尺ファクタ定数である。

ｋが１の場合はａ＋ｂ＝Ｌ％ｄ＝Ｄそしてｇ＝Ｇであり、作業場所の寸法の縮尺 計算は必要でない。

ここにどのような縮尺ファクタも使用でき、本発明は非縮尺操作（ｆｕｌｌ−ｓ ｃａｌｅ　ｍａｎｉｐｕｌａｔｉｏｎ）に限定されるものでない。例えば作業場 所は小さくでき、例えば顕微鏡寸法をも包含し、この場合目的物、両眼間の距離 および焦点に関する光学パラメータおよび機械的かつ寸法パラメータが適切に適 用される。適切な縮尺（ｓｃａｌｉｎｇ）およびイメージ倍率（ｉｍａｇｅｍａ ｇｎｉｆｉｃａｔｉｏｎ）、力およびトルクフィードバックを使用することによ りまた手作動制御手段７６Ｒと７６Ｌに隣接して作業空間３ｏのイメージ３０ｖ を位置させることにより、オペレータはエンドエフェクタ４０Ｒと４ＯＬを直接 制御する強い感覚を持ちうる。オペレータはエンドエフェクタ４０Ｒと４ＯＬと それぞれのコントロールアーム７６Ｒと７６Ｌが実質的に一体であるという感覚 を受ける。この手作動制御手段とエンドエフェクタの一体化の同一の感覚は、オ ペレータにより観視されたイメージが手作動制御手段に近接して位置されない公 知技術の構成では実感されない。公知技術が立体像観察および、力およびトルク フィードバックを包含する場合といえども、作業対象とする観察像対象物からの 断絶感が存在する。本発明はオペレータの手がエンドエフェクタの直接制御を行 うとも思える作業空間像を設置することによりこの断絶感を克服する。

小規模の操作例えば外科手術的適用に必要な操作に対しては、ミニアチュア観察 者（ｍｉｎｉａｔｕｒｅ　ｏｂｓｅｒｖｅｒ）が実際の作業場所にいる場合に該 観察者が持つであろう観察経験を模写することが望ましい。第５図において仮想 的ミニアチュア観察者のバーチャルアイ９ｏが実際の作業空間を観察している状 態を示している。この実際の作業空間内の一点、ｘ、　ｙ、　ｚにおける給源か らの光はＸ’／Ｍで表した点においてミニアチュア観察者の眼９ｏ上に成る刺激 を与える。第６図において実際のオペレータの眼９２は、この実際の作業空間を 観察するに使用されたビデオカメラ９４により生成された拡大したバーチャルイ メージを観察して示される。ここに図示のカメラは受光レンズ９６およびＣＣＤ 　（ｃｈａｒｇｅ−ｃｏｕｐｌｅｄ−ｄｅｖｉｃｅ）アレー９８のような固体イ メージング装置を含み、このアレーではｘ、　ｙ、ｚにおける点状光源がＸ　ｌ 　ｌ　Ｙｉ　ｌＺ　で示される。

正確な尺度において、対応する光源は、観察デスプレーの面の実際のまたは見掛 は位置の何れかでＭＸ、、ＭＹ、、ＭＺ冒こおいて生成されるが本装置系の立体 画像操作により該オペレータには実際の作業空間における点ｘ、　ｙ、ｚに対応 する点ＭＸ、ＭＹ、ＭＺから発生しているように思われる。実際の眼９２の網膜 において、ある刺激が、仮想的観察者の眼９０における点Ｘ’／Ｍと比例的に同 一位置で点Ｘ′に生成される。この関係は正確に寸法合わせしたカメラ距離およ びレンズ焦点長さを、光学的倍率Ｍ。＝Ｍ／Ｍｖ　（ここにＭは望んだ全体倍率 そしてＭｖはビデオ倍率である）となるように選択することにより保証される。

典型的ビデオ倍率Ｍｖは約４０であり、該倍率はＣＣＤアレー９８の巾とディス プレー巾との比に等しい。

ここに第７図乃至第９図により医療方面に利用する本発ＢＪ″の態様を示す。こ こに右および左マニプレータ１００Ｒと１００Ｌが示さセ、これらは右および左 コントローラｌ０２Ｒと１０２Ｌそれぞれにより制御されて示される。イメージ ング装置系の各要素は、実際の作業空間１０４の拡大バーチャルイメージ１０４ ｖがオペレータにより観察のため提供されることを除いては、上記第１乃至第３ 図に示したイメージング系に使用した要素と実質的に同一である。更に右および 左コントローラ１０２Ｒと１０２Ｌをそれぞれのマニプレータ１００Ｒと１０Ｏ Ｌに接続するためのサーボ機構要素もまた第１乃至第３図に関して記載したもの と実質的に同一である。ここに図示の装置において、右および左マニプレータは 右および左コントローラと実質的に同一構造であり、即ちあるマニプレータおよ びあるコントローラの記述は両者に等しく適用できる。更に接尾語ＲとＬは右と 左の多要素間を区別するために使用される。

これらマニプレータは外部制御セクション１００ＲＡと１００ＬＡおよび挿入セ クション１００ＲＢと１００ＬＢを包含し、ここに挿入セクションは円筒チュー ブまたはカニユーレを介して体腔内に挿入するに適した部分である。説明のため 、マニプレータが患者の腹壁１０６を通して挿入して示される。広く理解される ように腹腔鏡外科手術のため、腹壁１０６は吹込み法により内臓から分離され、 この吹込み法はガスを図示していないが適当な手段により腹部に導入する方法で ある。マニプレータ・モータおよびそれと組み合わされたモータ制御回路はマニ プレータの外部制御セクション１００ＲＡと１００ＬＡ内に入れられ挿入セクシ ョンの制御を行う。マニプレータは腹腔内の臓器を観察するための腹腔鏡１０８ と共に患者が保持されている手術台の一部を形成する固定レールにより担持され ている。

マニプレータのインサージョンセクション１００ＲＢ及び１００ＬＢは、図１〜 ３の態様に関して上述したマニプレータアーム３４Ｒ及び３４Ｌと実質的に同じ 構成のものでよい。該インサージョンセクションは、体の内部で使用するため比 較的小さい大きさを有する。インサージョンセクション１００ＲＢは入れ予成の 内方セクションｌ　１２Ｒ１及び外方セクション１１２Ｒ２を含み、しかして該 外方セクションは内方セクションｌ　１２Ｒ１に対して出入りする軸線方向の移 動並びにその長手軸線の回りの回転の両方に適合されている。エンドエフェクタ ー１１４Ｒ及び１１４Ｌは、器官１１６の操作のためにそれぞれ右及び左のセク ション１１２Ｒ２及び１１２Ｌ２の外方端において担持されている。内方セクシ ３ン１１２Ｒ１は、当該インサージョンセクションが壁１０６を横切る点Ｐに実 質的に位置する交差垂直軸線の回りの旋回運動に適合されている。エンドエフェ クター１１４Ｒ及び１１４Ｌの操作を除いて、各マニプレータアームは、図１〜 ３に示された態様と同じく４の自由度が与えられている。エンドエフェクター１ １４Ｒ及び１１４Ｌは単に、本質的には、例えばケン別器、電気外科用カッター 及びコアギユレータ、顕微ビンセット、顕微針、ホールグー、解剖用ハサミ、刃 、かん腸器及び縫合糸を含めてハンドルが除去された顕微外科用器具からなって いてもよい。

ワークスペース１０４を観るためのラバロスコープ１０８は、外方の操作セクシ ョン１０８Ａ及びインサージョンセクション１０８Ｂからなるものが示されてい る。インサージョンセクション１０８Ｂの外方エンドセクション１２０はその内 方エンド１２２内で軸線方向にかつ回転可能的移動でき、かつワークスペース１ ０４を立体的に観るための一対の画像トランスミッションウィンドウ１２４゜１ ２４が設けられている。該ラバロスコープにはまた、該ワークスペースを照明す るための照明手段（図示せず）並びに液体が該ウィンドウを通過して流れるため の液体用入口及び出口手段（図示せず）が設けられている。セクション１０８Ａ 内のビデオカメラ手段は、画像メモリ５０への連結用のアウトプットライン４８ Ｒ及び４８Ｌにおいて左及び右の電子画像の発生のためビューイングウィンドウ を通って受け取られる光に応答する。拡大三次元画像１０４１が、ミラー６６を 経てオペレータが着ける干渉偏波メガネ６０によって観られるようにするためデ ィスプレ一手段５４において作られる。図１−３に示されている態様と同様に、 ワークスペース１０４が、コントローラ１０２Ｒ及び１０２Ｌのコントローラア ーム１３０Ｒ及び１３０Ｌに隣接して作られる。コントローラアー・ム１３０Ｒ 及び１３０Ｌは、上述した図１−３の態様において含まれているコントローラア ーム７６Ｒ及び７６Ｌと同じタイプのものである。それらは、入れ子式の内方及 び外方セクション１３２Ｒ１及び１３２Ｒ並びに１３２Ｌ１及び１３２Ｌ２を含 む。コントロールアームの外方エンドに隣接して位置するセンサー手段１３４Ｒ 及び１３４Ｌは、図１−３を参照して上述したやり方でそれぞれエンドエフェク ター１１４Ｒ及び１１４Ｌの操作を制御する。ここで、画像がオペレータにより 観られる垂直線からの角度は対象物が該カメラにより観られる垂直線からの角度 に等しい必要はない、ということが留意されよう。図７−９に示された配置では 、オペレータが垂直線から角度θにて画像１０４Ｖを観るように示されており、 一方対象物１１６は直接下向きに観られるように示されている。外部参照がない 場合、体内の垂直線の感覚は特に大きくなく、垂直線に対して観察者及びカメラ が種々の角度で観る結果オペレータの精神に混乱は生じない。

図７−９の態様の場合、ワークスペースの拡大虚像１０４Ｖがオペレータにより 観られるために与えられるのみならず、マニプレータのインサージョンセクショ ン１００ＲＢ及び１００ＬＢの長さより長い長さのコントローラアーム１３０Ｒ 及びｌ　３０Ｌが用いられる。入れ子式のコントロールアームの軸線方向の移動 のサーボ機構スケーリングが与えられて、その軸線方向の延出又は引込みが入れ 子式の該インサージジンセクションのより小さい延出又は引込みをもたらすよう にされる。スケーリングなしでは、コントロールアーム１３０Ｒ及び１３０Ｌの 角旋回運動はインサージョンセクション１００ＲＢ及び１００ＬＢの同じ角旋回 運動を生じさせ、そして該コントロールアームのエンドセクション１３２Ｒ２及 び１３２Ｌ２の回転運動は右及び左のマニプレータのインサージョンセクション のエンドセクションｌ　ｌ　２Ｒ２及び１１２Ｌ２の同じ回転運動を生じさせる 。拡大画像に関する本発明のこの態様は、顕微外科の分野特に大きさの制限のた めに外科医が手によって所与の領域に達し得ない場合特に有用である。

本発明は、いかなる特定数の自由度を有するマニプレータについての使用に限定 されない。当該技術で周知の種々の自由度を有するマニプレータが本発明の実施 に用いられ得る。ここで図１Ｏ及び１１を参照すると、リストジヨイントを設け て追加的な運動自由が与えられているコントローラ１４０及びマニプレータ１４ ２がそれぞれ示されている。図示されたコントローラ１４０は、テーブルミラー ６６が置かれるテーブルトップ６８の底部に取り付けられたハウジング１４４を 含む。現実のワークスペース１４６の拡大虚像１４６Ｖが、上述したやり方でミ ラー６６上を下向きで見るときオペレータにより観られ得るようにオペレータの 手１４Ｂに隣接して与えられる。

それぞれ内方及び外方セクシ１ン１５０Ｌｌ及び１５０Ｌ２からなるコントロー ルアーム１５０Ｌが、双頭矢印１５２及び１５４を交差させることにより示され ているようにいかなる旋回方向にも旋回運動するようにハウジング１４４内に設 置される。外方セクション１５０Ｌ２は、双頭矢印１５６の方向において内方セ クション１５０Ｌｌに対して出入りする軸線方向の移動に適合されている。それ はまた、双頭矢印１５８の方向においてその長手軸線の回りの回転に適合されて いる。この態様では、コントロールアームは、双頭矢印１６４の方向の旋回運動 のためにリストジヨイント１６２により外方セクション１５０Ｌ２にピボット取 り付けされている。エンドセクション１６０は軸線方向に整合した内方及び外方 セクション１６０Ａ及び１６０Ｂからなり、しかしてその外方セクション１６０ Ｂは双頭矢印１６６の方向においてその長手軸線の回りに回転可能である。上述 した配置の場合のように、センサー手段１６８が、図１１に示されたマニプレー タ１４２におけるエンドエフェクター１７０の操作のためにコントロールアーム の自由端に隣接して設置されている。

図１１を参照すると、軸線方向に整合されたリンク１７２Ａ及び１７２Ｂからな るリスト１７２に取り付けられた一対の可動ジョーからなるエンドエフェクター １７０が示されている。外方リンク１７２Ｂは、矢印１６６の方向における手動 コントロールユニットのセクション１６０Ｂの回転に応答して、双頭矢印１６６ Ｍの方向において内方のリンク１７２Ａに対して長手軸線の回りにモータ一手段 （図示せず）により回転できる。リストリンク１７２Ａは、ピボット軸線１６２ の回りの手動コントロール手段のエンドセクション１６０の旋回運動に応答して 、双頭矢印１６４Ｍの方向において旋回運動するようにマニプレータの前アーム １７４にピボット取り付けされている。前アーム１７４は、双頭矢印１５６の方 向におけるコントロールアーム１５０Ｌの外方セクション１５０Ｌ２の軸線方向 の移動に応答して、双頭矢印１５６Ｍの方向において長手方向で軸線方向に移動 できる。それはまた、双頭矢印１５Ｂの方向におけるコントロールアーム１５０ Ｌの外方セクション１５０Ｌ２の回転に応答して、双頭矢印１５８Ｍの方向にお いて長手軸線の回りに回転できる。加えて、それは、それぞれ双頭矢印１５２及 び１５４の方向におけるコントロールアーム１５０Ｌの旋回運動に応答して、双 頭矢印１５２Ｍ及び１５４Ｍの方向において点１７６の回りで旋回的に運動でき る。遠隔的な腹腔鏡検査法的外科のような生医学的用途のためには、ピボット点 １７６は、実質的にマニプレータが延出する腹壁１７８のレベルに位置される。

図１１において、マニプレータアーム１７４は、腹壁を貫通するカニユーレ１８ ０を通って延出するマニプレータアーム１７４が示されている。

マニプレータの外部操作端は、その上に主体が支持されている手術テーブルの支 持レール（図示せず）に、取付られるように設計される。それはグリッパ−１７ ０の開閉用エンドエフェクタ駆動モータを含む。リスト駆動モータ１８４はリス Ｈ７２の枢軸運動を二頭矢印１６４Ｍの方向に制御し、そして延長駆動モータ１ ８６はマニプレータアーム１７４の軸性の運動を二頭矢印１５６Ｍの方向に制御 する。前アーム枢転制御モータ及びリンケージは、一般に参照番号１８８で表示 されるが、アーム１７４の枢軸運動を矢印１５２Ｍ及び１５４Ｍの方向に枢軸点 １７６のまわりに提供する。点１７６のまわりの枢軸運動はマニプレータの外部 操作端の横運動と同時のアーム１７４の枢軸運動とによって与えられる。運動は 共働されて、その結果前アームの回転の中心が腹部壁のレベルで点１７６に於て 空中に固定される。

コントローラ１４０及びマニプレータ１４２は図７．８及び９に示されるような システムに含まれており、このシステムは操作者が右手で使用するための第２の コントローラ及びマニプレータを含み、そして手動コントローラによるマニプレ ータの遠隔操作のため、適切なタイプの関連するサーボ機構（図示せず）を含む 。作業場に於けるビデオカメラ手段は、図９に示されるように、表示手段と共に 、図７で示されるものがあるが、操作者に左手及び右手で操作する制御手段に隣 接した位置で作業空間のイメージを与えるために採用される。リスト結合を有す るマニプレータを使用することにより、追加の自由の度合がその増加した操作性 及び有用性のために与えられる。但し、上述の如く、本発明はある一定の自由度 を有するマニプレータに限定されるものでない。

さて図１２及び１３を参照すると、ここでは本発明の変形が示されており、これ は作業空間（図示せず）の３−二次元イメージ２４０■の直視を提供する。図１ ２及び１３では、操作者の作業台だけが示されており、これは左右のコントロー ラ２４２Ｒ及び２４２Ｌ、および上記コントローラ及びコントロールアームと同 じタイプのものでもよい関連する左右手動手段２４４Ｒ及び２４４Ｌを含む。

操作者の作業台は上記したタイプのものであってもよいマニプレータの遠隔操作 用に設計される。作業空間の３−二次元イメージは視覚表示手段２４６と電気光 学装置５８とを共用することにより表示手段及び操作者が着用する断面偏光（Ｃ ｒｏｓｓ−ｐｏｌａｒｉｚｅｄ）眼鏡の面で与えられる。この表示手段に対して 、作業空間を視る左右のビデオカメラからの左右のビデオ場が、すべて上記に詳 述した態様で、交互に供給される。エンドエフェクター及び目的イメージ２４８ 及び２５０は、それぞれ、作業場でビデオカメラから見て作業空間内に示される 。この表示手段２４６は操作者による直視のために左右手動手段２４４Ｒ及び２ ４４Ｌに隣接して位置される。この配置により、エンドエフェクター及び目的イ メージは手動手段２４４Ｒ及び２４４Ｌと共に操作者により同時に可視である。

手動手段は又可視なので、操作者はエンドエフェクタ一手段及び手動手段の間の 接続視覚を与えられ、これによりそれらは実質的に一体のものとして現われるさ て、図１４を参照すると、ここでは内視鏡の挿入部の遠方端部、又は先端、２６ ０が示されており、これは前述の「イントロダクション　トウ　ア　ニュープロ ジェクト　フォア　ナショナル　リサーチ　アンド　デベロプメント　プログラ ム（ラージ−スケイル　プロジェクト）イン　エフワイ　１９９１Ｊ　（“■ｎ ｔｒｏｄｕｃｔｉｏｎ　ｔｏ　ａ　Ｎｅｗ　Ｐｒｏｊｅｃｔ　ｆｏｒ　Ｎａｔｉ ｏｎａｌ　Ｒｅ５ｅａｒｃｈ　ａｎｄ　Ｄｅｖｅｌｏｐｍｅｎｔ　Ｐｒｏｇｒａ ｍ　（Ｌａｒｇｅ−Ｓｃａｌｅ　Ｐｒｏｊｅｃｔ）ｉｎ　ＦＹ　１９９１”）　 ・と称する刊行物に示されていると実質的に同じタイプのもので、この内視鏡は 本発明の実施に使用してもよい。内視鏡の挿入端は一対の間隔を置いて離れたの ぞき窓２６２Ｒ及び２６２Ｌ、そして観察する作業空間を見て照明するための照 明源を含む。窓で受領した光は目的レンズ手段（図示せず）によって焦点合わせ され、繊維−光（ｆｉｂｅｒ−ｏｐｔｉｃ）バンドルを通して該内視鏡の操作端 に於ける（図示せず）カメラに移送される。カメラ出力は作業空間の３−二次元 イメージに変換されるが、この二次元イメージは操作者の作業台に於て（図示せ ず）手動手段に隣接して位置されている。左右の操縦可能なカテーテル（ｃａｔ ｈｅｔｅｒｓ）２６８Ｒ及び２６８Ｌは内視鏡本体内の補助チャネルを通過する 。

このカテーテルは、図示されているように、遠方端部からの延長のために設計さ れている。エンドエフェクター２７ＯＲ及び２７０Ｌは慣用の内視鏡器具よりな ってＶよいカテーテルの端部に設けられている。力感知器（ｆｏｒｃｅ　５ｅｎ ｓｏｒｓ）（図示せず）は、又内視鏡チャネルを通して挿入される。操縦可能な カテーテルは、カテーテルの曲げ及び本発明での使用に適したエンドエフェクタ ーの操作を制御する制御ワイヤーを含むが、公知のものである。制御ワイヤーの 操作のための制御モータは内視鏡の操作端に設けられており、これらのモータは 、遠隔操作者の作業台からの操縦可能なカテーテル及び関連するエンドエフェク ターの操作のために上記したタイプのサーボ機構に含まれる。他の実施態様とし ては、サーボ機構システムに於けるインターフェースするコンピュータは操作者 の手の動きをエンドエフェクターの共働システム中に再マツプし、そしてエンド エフェクターのイメージは上記した方法で手動コントローラに隣接して可視であ る。この実施態様では、操作者は内視鏡を通して両手を直接エンドエフェクター 上にその制御のために置くために手をのばすという感覚を持つ。異ったタイプの 内視鏡は本発明のこの実施態様で採用しても良い。但し、エンドエフェクタ一手 段の制御に使用するためのひとつ又はそれ以上の補助チャネル、作業空間の視覚 表示を与えるのに用いる適切な視覚手段を含む場合に限る。例えば、胃、結腸（ ｃｏｌｏｎｓｃｏｐｉｃ）、及び同じタイプの、内視鏡が採用される。

以上本発明を特許法の要求に従って詳細に記載したが、種々の他の変化及び修正 は当業者にとって自明であろう。例えば、上記の如く、本発明は触診のためのそ して組織及び器具をマニプレータするための微妙な感覚を与える触覚のフィード バック（ｆｅｅｄｂａｃｋ）の使用を含む。このフィードバックを与えるため、 触覚センサーアレーが手動制御手段上の触覚センサー刺激アレーに結合している エンドエフェクター上に含まれていてもよく、これが操作者の手の上に触覚感覚 を再生する。テレオペレータ触覚感知のための種々の伝達（ｔｒａｎｓｄｕｃｔ ｉｏｎ）技術が知られているが、これは抵抗／伝導、半導体、圧電気容量性及び 光電子のものを含む。異るタイプの手動制御手段及びマニプレータが採用されて も良いが、例えば、ギンパル（ｇｉｍｂａｌｓ）、リンケージ（ｌｉｎｌｃａｇ ｅｓ）、プレー（ｐｕｌｌｅｙｓ）、ケーブル（ｃａｂｌｅｓ）、駆動ベルト及 びバンド、ギア（ｇｅａｒｓ）、光学又は電磁気位置エンコーダ、及び角形及び 線形モーターを含めて、非常に広範囲の公知の機構及び電子機械要素を使用する 。オペレータに対するカフィードバック（ｆｏｒｃｅ　ｆｅｅｄｂａｃｋ）は手 動制御手段との人体接触の使用を要求する。例示されたような手づかみタイプの ハンド　コントローラと、制御プレース（ｃｏｎｔｒｏｌ　ｂｒａｃｅ）タイプ のハンド　コントローラの両方とも、オペレータに対するカフィードバックのた めに本発明で十分使用されるよう設計されている。制御プレース　ハンドコント ローラは関節角を測定するためにオペレータの関節に取付けられたポジティブセ ンサを有する構造の使用を含む。カフィードバックはそれから各関節に適用する ことができる。同様に、個々の指の曲げを測定するために関節に取付けられた可 変−抵抗又は繊維−光学フレックスセンサを有する光繊維手袋を使用して良い。

この種の手袋は現実物体とのテレブリゼンス　インターアクション（ｔｅＩｅｐ ｒｅｓｅｎｃｅ　１ｎｔｅｒａｃｔｉｏｎ）を与えるためにカフィードバックを 具備している。採用される手作動制御手段のタイプに関係なく、ワークピースの イメージはそれに隣接して生成されオペレータにエンドエフェクタ一手段及び手 作動制御手段は実質的に一体であるという感覚を与える。又、上記の如く、多く の異るタイプのサーボ機構がロボット及びテレオペレータシステム技術で良く知 られており、本発明はあるひとつのタイプに限定されるものでない。オペレータ への力及びトルクフィードバック（ｆｏｒｃｅ　ａｎｄ　ｔｏｒｃ＋ｕｅｆｅｅ ｄｂａｃｋ）を含むものが、好まれており、操作のテレブリゼンス（ｔｅｌｅｐ ｒｅｓｅｎｃｅ）感覚に寄与する。加えて、作業空間の立体鏡イメージを生成す る多くの異った手段が公知である。例えば、二台のカメラを使用する代りに、単 一のカメラが切り換え断面−偏光要素（ｓｗｉ　ｔｃｈｅｄ　ｃｒｏｓｓ−ｐｏ ｌａｒｉｚｉｎｇ　ｅｌｅｍｅｎｔｓ）と共にイメージ受領通路で採用して２も よい。この場合には、一対の間隔を置いて離れた立体鏡レンズが作業空間を異る 角度から見てそしてその第１及び第２のイメージをカメラに与えるために使用さ れる。図９の構成では、ここではラバロスコープ（Ｉａｐａｒｏｓｃｏｐｅ）が 示されているが、他のタイプの内視鏡が作業空間を見るために使用されて良い。

上述の如く、本発明はある一定の適用又は使用に限定されるものではない。バイ オメディカル分野では、使用は、例えば、遠隔位置からの手術を含む、公開手術 、及びマイクロサージエリ−（ｍｉ　ｃｒｏｓｅｒｇｅｒｙ）、及びラバロスコ ープ手術及び内視鏡手術のような最少限侵略手術（ｍｉｎｉｍｕｍ　１ｎｖａｓ ’　ｉｖｅ　ｓｕｒｇｅｒｙ）を含む。マイクロスコープのマニプレーシヨンを 含む実験室での使用も又意図されている。本発明の産業的使用は、例えば、有害 物質の取扱、遠隔操作、マイクロアセンブリー（ｍｉｃｒｏａｓｓｅｍｂｌｙ） 、及びその類似物を含む。本発明のテレオペレータシステムの軍事的及び海面下 の使用は明白である。

上記したこと及び他のかかる変化及び修正が添付の請求項に定義された発明の精 神及び範囲に該当すべきことが意図されている。

手続補正書 平成　６年　９月　８日

Claims (25)

【特許請求の範囲】
1. １．遠隔操作オペレータの場所から、オペレータによって作業空間内の作業部位 に位置した目的物を操作する為のテレオペレータシステムであって、作業空間に おける目的物を操作する為のエンドエフェクター手段を含む作業部位におけるマ ニプレータ手段、 オペレータによる手作動手段のコントローラによって該マニプレータ手段を遠隔 操作する為の、該マニプレータ手段に連結した、コントローラの場所に於ける該 手作動手段を含むコントローラ手段、作業空間を観察する為のビデオカメラ手段 、及び作業空間のイメージを作りだす為のビデオカメラ手段に応答する手段であ って、該手作動手段の作動の間該手作動手段の方向でオペレータによって観察さ れ、そしてオペレータにエンドエフェクター手段及び該手作動手段が実質的に統 合されている感覚を与えるように、該イメージが該手作動手段に隣接して位置す るものである前記手段、から成る前記テレオペレータシステム。
2. ２．前記ビデオカメラ手段が立体信号出力を生み出すために異なった角度から作 業空間を観察する為の手段を含み、イメージを作りだす為の前記手段が該立体信 号出力に応答して作業空間の三次元イメージ作りだす為の手段を含む、請求項１ 記載のテレオペレータシステム。
3. ３．作業空間を観察する為の手段の前記手段の光学軸間の角度がオペレータの両 眼間のイメージ観察角度に実質的に等しい、請求項２記載のテレオペレータシス テム。
4. ４．前記手作動手段があらゆる枢軸方向に於ける動作をするために設置されたコ ントロールアームを含み、エンドエフェクター手段のイメージ及びオペレータに より感じられる可動コントロールアームの位置がオペレータにエンドエフェクタ ー手段がコントロールアームの延長を含むものである感覚を与える、請求項２記 載のテレオペレータシステム。
5. ５．前記マニプレータがあらゆる枢軸方向に於ける動作をするために設置された アームを含み、オペレータによる前記コントロールアームの角作動がマニプレー タアームの実質的に等しい角作動を生じる、請求項４記載のテレオペレータシス テム。
6. ６．オペレータの眼から作業空間のイメージまでの長さおよびコントロールアー ムの長さが、それぞれ前記ビデオカメラ手段から作業空間までの光路長およびマ ニプレータアームの長さにファクターｋによって関連づけされており、ｋが定数 である、請求項５記載のテレオペレータシステム。
7. ７．オペレータによって観察される前記イメージが仮想イメージを含む、請求項 ２記載のテレオペレータシステム。
8. ８．イメージを作りだす為の前記手段が、作業空間の上下逆さまの三次元実像イ メージを作りだす為の表示手段、オペレータの前に置かれた鏡であって、該表示 手段から逆さまの実像イメージを受け取り、鏡の中で該仮想イメージが観察され るようにそれをオペレータの眼の方向に反射する前記鏡を含む、請求項７記載の テレオペレータシステム。
9. ９．前記表示手段が前記鏡の上方に置かれ、該鏡の方に面している、請求項８記 載のテレオペレータシステム。
10. １０．前記表示手段が垂直方向からある角度で下方に傾いて面している、請求項 ７記載のテレオペレータシステム。
11. １１．前記マニプレータ手段が第一及び第二のマニプレータを含み、前記コント ローラ手段が該第一及び第二のマニプレータをそれぞれ遠隔操作するための第一 及び第二の手作動手段を含む、請求項１記載のテレオペレータシステム。
12. １２．作動区域及び作業空間がその中に位置する空洞内に挿入可能な挿入区域か ら成る検視鏡（内視鏡）を含み、前記作業空間が前記ビデオカメラ手段によって それを通して観察される観察窓手段を有する、請求項１記載のテレオペレータシ ステム。
13. １３．前記マニプレータ手段が、前記空洞内にある目的物を操作する為に、作動 区域及び空洞内に挿入可能な挿入区域を含む、請求項１２記載のテレオペレータ システム。
14. １４．前記マニプレータ手段が第一及び第二のマニプレータを含み、前記コント ローラ手段が該第一及び第二のマニプレータをそれぞれ遠隔操作するための第一 及び第二の手作動手段を含む、請求項１３記載のテレオペレータシステム。
15. １５．マニプレータの作動区域及び前記検視鏡（内視鏡）を手術の間支持するた めにそれらを手術台の支持レールに取り付けるための手段を含む、請求項１４記 載のテレオペレータシステム。
16. １６．作業空間の前記イメージと共に、前記システムの視覚的及び力的遠隔立合 （テレプレゼンス）作動を与えるための、前記マニプレータ手段から前記手作動 手段への力フィードバックを含む、請求項１記載のテレオペレータシステム。
17. １７．作業空間からの音を拾い上げる為の第一及び第二の立体音響マイクロホン 、及びそれぞれ該第一及び第二の立体音響マイクロホンからの出力に応答して立 体音響音出力を生み出し、オペレータに該作業空間に存在する音響の様相を与え るための、遠隔操作の場所にある第一及び第二のスピーカを含む、請求項１記載 のテレオペレータシステム。
18. １８．作業空間のイメージを作りだす為の前記手段が、オペレータによって直接 観察されるように前記手作動手段に隣接している、作業空間の実像イメージを作 りだす為の表示手段を含む、請求項１記載のテレオペレータシステム。
19. １９．アクセサリーチャンネルを有する検視鏡（内視鏡）を含む請求項１記載の テレオペレータシステムであって、前記マニプレータ手段が該チャンネルを通り 延伸する操縦可能なカテーテルを含み、前記エンドエフェクター手段が該操縦可 能なカテーテルに担われ、前記作業空間が該検視鏡（内視鏡）を介して前記ビデ オカメラ手段によって観察される、前記テレオペレータシステム。
20. ２０．遠隔位置にいるオペレータによる手術方法であって、対象者に検視鏡（内 視鏡）及び第一及び第二のマニプレータの挿入端を挿入し検視鏡（内視鏡）及び 第一及び第二のマニプレータの作動端を支持し、ビデオカメラ手段によって該対 象者内部の目的物を観察するために検視鏡（内視鏡）を用い、 該マニプレータから離れた位置にある第一及び第二の手作動コントローラによっ て、それぞれ第一及び第二のマニプレータをコントロールし、該第一及び第二の 手作動コントローラの操作中にオペレータによって観察され、オペレータに該第 一及び第二のマニプレータ及びそれぞれ第一及び第二の手作動コントローラが実 質的に統合されている感覚を与えるように、ビデオカメラ手段によって観察され た該目的物のイメージを該第一及び第二の手作動コントローラに隣接する位置に 表示することから成る、前記方法。
21. ２１．立体的ビデオカメラが検視鏡（内視鏡）による目的物の観察に使用され、 表示されたイメージが三次元的イメージである、請求項２０記載の方法。
22. ２２．オペレータによる観察の為に目的物の拡大イメージを表示することを含む 、請求項２０記載の方法。
23. ２３．オペレータによる観察イメージが仮想イメージを含む、請求項２０記載の 方法。
24. ２４．オペレータによる観察イメージが実像イメージを含む、請求項２３記載の 方法。
25. ２５．検視鏡（内視鏡）及び第一及び第二のマニプレータが対象者の腹部内に挿 入され、腹部内に吹き込むことを含む、請求項２０記載の方法。