JP2005211529A - 手技支援システム - Google Patents
手技支援システム Download PDFInfo
- Publication number
- JP2005211529A JP2005211529A JP2004024828A JP2004024828A JP2005211529A JP 2005211529 A JP2005211529 A JP 2005211529A JP 2004024828 A JP2004024828 A JP 2004024828A JP 2004024828 A JP2004024828 A JP 2004024828A JP 2005211529 A JP2005211529 A JP 2005211529A
- Authority
- JP
- Japan
- Prior art keywords
- image
- virtual image
- virtual
- endoscope
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000003780 insertion Methods 0.000 claims description 20
- 230000037431 insertion Effects 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 abstract description 13
- 230000002159 abnormal effect Effects 0.000 abstract description 9
- 210000001367 artery Anatomy 0.000 abstract description 3
- 210000003462 vein Anatomy 0.000 abstract description 3
- 210000001835 viscera Anatomy 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 24
- 230000003187 abdominal effect Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 238000012986 modification Methods 0.000 description 12
- 230000004048 modification Effects 0.000 description 12
- 238000012937 correction Methods 0.000 description 10
- 238000002591 computed tomography Methods 0.000 description 8
- 238000001356 surgical procedure Methods 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 208000005646 Pneumoperitoneum Diseases 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 4
- 210000000683 abdominal cavity Anatomy 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000001574 biopsy Methods 0.000 description 3
- 210000000621 bronchi Anatomy 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000000523 sample Substances 0.000 description 3
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 208000004350 Strabismus Diseases 0.000 description 1
- 229910002092 carbon dioxide Inorganic materials 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000001112 coagulating effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 238000010882 preoperative diagnosis Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Endoscopes (AREA)
Abstract
【課題】 手技支援に適したバーチャル画像をリアルタイムに手技中に提供する。
【解決手段】 バーチャル画像生成部11は、CT画像DB部23、メモリ24、CPU25、通信I/F26、表示I/F27、切替え部27Aを有し、手技中に関心部位(異常部)の周辺の各方向から見た生体画像情報(臓器等により見えない動脈、静脈の配置の画像情報や関心部位の位置の画像情報等)を提供する。
【選択図】 図1
【解決手段】 バーチャル画像生成部11は、CT画像DB部23、メモリ24、CPU25、通信I/F26、表示I/F27、切替え部27Aを有し、手技中に関心部位(異常部)の周辺の各方向から見た生体画像情報(臓器等により見えない動脈、静脈の配置の画像情報や関心部位の位置の画像情報等)を提供する。
【選択図】 図1
Description
本発明は、被検体に関するバーチャル画像データを生成し、該バーチャル画像データに基づき手技の支援を行う手技支援システムに関する。
近年、画像による診断が広く行われるようになっており、例えばX線CT(Computed Tomography)装置等により被検体の断層像を撮像することにより被検体内の3次元的なバーチャル画像データを得、このバーチャル画像データを用いて患部の診断が行われるようになってきた。
CT装置では、X線照射・検出を連続的に回転させつつ被検体を体軸方向に連続送りすることにより、被検体の3次元領域について螺旋状の連続スキャン(ヘリカルスキャン:helical scan)を行い、3次元領域の連続するスライスの断層像から、3次元的なバーチャル画像を作成することが行われる。
そのような3次元画像の1つに、肺の気管支の3次元像がある。気管支の3次元像は、例えば肺癌等が疑われる異常部の位置を3次元的に把握するのに利用される。そして、異常部を生検によって確認するために、気管支内視鏡を挿入して先端部から生検針や生検鉗子等を出して組織のサンプル(sample)を採取することが行われる。
気管支のような多段階の分岐を有する体内の管路では、異常部の所在が分岐の末梢に近いとき、内視鏡の先端を短時間で正しく目的部位に到達させることが難しいために、例えば特開2000−135215号公報等では、被検体の3次元領域の画像データに基づいて前記被検体内の管路の3次元像を作成し、前記3次元像上で前記管路に沿って目的点までの経路を求め、前記経路に沿った前記管路の仮想的な内視像(以下、バーチャル画像と称す)を前記画像データに基づいて作成し、前記バーチャル画像を表示することで、気管支内視鏡を目的部位にナビゲーションする装置が提案されている。
また、腹部領域の体内の臓器を被検体とする診断においては、従来より、上記同様に主に腹部領域内の被検体の3次元的なバーチャル画像を作成し、これを表示しながら診断するための画像解析ソフトが実用化されている。
この種の画像解析ソフトを用いた画像システムは、医師が術前に予め患者の腹部領域内等の被検体の病変部の変化をそのバーチャル画像を見ながら把握するための診断に用いられており、通常、カンファレンス室等の手術室外で行われているのが一般的である。
特開2000−135215号公報
この種の画像解析ソフトを用いた画像システムは、医師が術前に予め患者の腹部領域内等の被検体の病変部の変化をそのバーチャル画像を見ながら把握するための診断に用いられており、通常、カンファレンス室等の手術室外で行われているのが一般的である。
従来より、内視鏡観察下で腹部領域の体内の被検体に対する手術等を行う場合にも、内視鏡観察画像の観察領域の被検体の生体画像情報(臓器等により見えない動脈、静脈の配置の画像情報や関心部位の位置の画像情報等)を、必要に応じて術者に対して迅速に提供することが望まれている。
しかしながら、上述した画像解析ソフトを用いた画像システムは、あくまでも腹部領域の被検体のバーチャル画像を見ながら行う術前診断に用いるものであり、実際の手術における内視鏡システムと併用して使用することはできず、術者に対して必要な被検体の生体情報を術中に提供することはできない。
しかしながら、上述した画像解析ソフトを用いた画像システムは、あくまでも腹部領域の被検体のバーチャル画像を見ながら行う術前診断に用いるものであり、実際の手術における内視鏡システムと併用して使用することはできず、術者に対して必要な被検体の生体情報を術中に提供することはできない。
また、例えば実際に手術を行う内視鏡システムに前記画像システムからバーチャル画像を提供して手技を支援する手技支援システムを構築することが考えられるが、リアルな内視鏡画像に支援可能なバーチャル画像を提供する形態が確立できていないために、効果的な手技支援を行うことが困難な状況にある。
本発明は、上記事情に鑑みてなされたものであり、手技支援に適したバーチャル画像をリアルタイムに手技中に提供することのできる手技支援システムを提供することを目的としている。
本発明の手技支援システムは、被検体に挿入する内視鏡の挿入部を示す角度情報を検出する検出手段と、前記検出手段により検出された角度情報に基づき前記内視鏡の観察画像面に対応した前記被検体に関する第1のバーチャル画像データを生成する第1のバーチャル画像データ生成手段と、前記内視鏡の観察画像面と所定の角度を有する面に対応した前記被検体に関する前記第2のバーチャル画像データを生成する第2のバーチャル画像データ生成手段とを備えて構成される。
以上説明したように本発明によれば、手技支援に適したバーチャル画像をリアルタイムに手技中に提供することができるという効果ある。
以下、図面を参照しながら本発明の実施例について述べる。
図1ないし図18は本発明の実施例1に係わり、図1は手技支援システムの構成を示す構成図、図2は図1の手技支援システムの要部構成を示すブロック図、図3は図1の内視鏡の構成を示す図、図4は図1の手技支援システムの作用を説明する図、図5は図1の手技支援システムの処理の流れを示すフローチャート、図6は図5の処理で展開される画面を示す第1の図、図7は図5の処理で展開される画面を示す第2の図、図8は図5の処理で展開される画面を示す第3の図、図9は図1の手技支援システムの作用の変形例を説明する第1の図、図10は図1の手技支援システムの作用の変形例を説明する第2の図、図11は図5の処理で展開される画面の第1の変形例を示す図、図12は図5の処理で展開される画面の第2の変形例を示す第1の図、図13は図5の処理で展開される画面の第2の変形例を示す第2の図、図14は図5の処理で展開される画面の第2の変形例を示す第3の図、図15は図1の内視鏡が側視型の場合の側視観察方向を説明する図、図16は図15の側視型の内視鏡に対応した通常バーチャル画像の補正処理を示すフローチャート、図17は図16の処理で展開される画面を示す第1の図、図18は図16の処理で展開される画面を示す第2の図である。
図1に示すように、本実施例の手技支援システム1は、内視鏡システムと組み合わせて構成され、具体的には、被検体の体腔内を観察可能な観察手段としての内視鏡2、CCU4、光源5、電気メス装置6、気腹装置7、超音波駆動電源8、VTR9、システムコントローラ10、バーチャル画像生成部11、リモコン12A、音声入力マイク12B、マウス15、キーボード16、バーチャル画像表示用のモニタ17及び、手術室に配された内視鏡画像用モニタ13及びバーチャル画像用モニタ17aを有して構成されている。
本実施例では内視鏡2として、図3に示すような腹腔鏡を用いている。この内視鏡(腹腔鏡)2は、被検体の腹腔内に挿入するための挿入部2bと、挿入部2bの基端側に設けられた把持部2aとを有して構成される。挿入部2bの内部には照明光学系及び観察光学系が設けられており、被検体の腹腔内の観察部位を照明し、被検体の腹腔内の観察像を得ることが可能となっている。
把持部2aにはライトガイドコネクタ2cが設けられ、該ライトガイドコネクタ2cには、一端が光源装置5に接続されたライトガイドケーブル2f(図1参照)の他端に接続され、これにより、挿入部2b内の照明光学系を介して光源装置5からの照明光を観察部位に照射できるようになっている。
把持部2aに設けられた図示しない接眼部には、CCD等の撮像手段を有するカメラヘッド2dが接続され、このカメラヘッド2dには観察像のズームイン/アウトなどの操作を行うためのリモートスイッチ2gが設けられている。また、このカメラヘッド2dの基端側にはカメラケーブル2eが延設されており、カメラケーブル2eの他端にはCCU4に電気的に接続するための接続コネクタ(図示せず)が設けられている。
図1に戻り、内視鏡2は、手術時、トラカール37に挿通された状態のまま、このトラカール37によって患者体内の腹部に保持されながら前記挿入部を腹部領域に挿入して、CCD等の撮像部により腹部領域を撮像し、撮像した撮像信号をカメラヘッド2dを介してCCU4に供給する。
CCU4は、内視鏡2からの撮像信号に信号処理を施し、撮像信号に基づく画像データ(例えば内視鏡ライブ画像データ)を、手術室内に配されたシステムコントローラ10に供給する。また、システムコントローラ10からの制御により、内視鏡のライブ画像の静止画あるいは動画に基づく画像データがCCU4からVTR9に選択的に出力される。なお、システムコントローラ10の詳細な構成ついては後述する。
VTR9は、システムコントローラ10の制御により、前記CCU4からの内視鏡ライブ画像データを記録し、あるいは再生可能である。再生時の場合には、再生された内視鏡ライブ画像データをシステムコントローラ10に出力する。
光源装置5は、ライトガイドを介して前記内視鏡2に照明光を供給するための光源装置である。
電気メス装置6は、例えば患者の腹部領域内の異常部を電気メスプローブ(図示せず)による電気熱を用いて切断したりする手術処置装置であり、超音波駆動電源8は、超音波プローブ(図示せず)で前記異常部を切断あるいは凝固したりする手術処置装置である。
電気メス装置6は、例えば患者の腹部領域内の異常部を電気メスプローブ(図示せず)による電気熱を用いて切断したりする手術処置装置であり、超音波駆動電源8は、超音波プローブ(図示せず)で前記異常部を切断あるいは凝固したりする手術処置装置である。
また気腹装置7は、図示はしないが送気、吸気手段を備え、接続される前記トラカール37を介して患者体内の例えば腹部領域に炭酸ガスを送気するものである。
これらの光源装置5,電気メス装置6,気腹装置7及び超音波駆動電源8は、前記システムコントローラ10と電気的に接続されており、このシステムコントローラ10によってその駆動が制御されるようになっている。
また、手術室内には、上述したCCU4、VTR9、光源装置5,電気メス装置6,気腹装置7及び超音波駆動電源8等の各種機器の他にシステムコントローラ10及び内視鏡画像用モニタ13、バーチャル画像用モニタ17aが配されている。
本実施例では、例えば患者30の腹部内にトラカール37を介して挿入部を挿入して被検体を撮像する術者31が、患者30に対して図1に示すような位置で処置を行うものとすると、この術者31の位置に対応した見やすい位置(視野方向)に、内視鏡画像用モニタ13、バーチャル画像用モニタ17aが設置されるようになっている。
本実施例では、例えば患者30の腹部内にトラカール37を介して挿入部を挿入して被検体を撮像する術者31が、患者30に対して図1に示すような位置で処置を行うものとすると、この術者31の位置に対応した見やすい位置(視野方向)に、内視鏡画像用モニタ13、バーチャル画像用モニタ17aが設置されるようになっている。
システムコントローラ10は、内視鏡システム全体の各種動作(例えば表示制御や調光制御等)を制御するもので、図2に示すように、通信インターフェイス(以下、通信I/Fと称す)18、メモリ19、制御部としてのCPU20及び表示インターフェイス(以下、表示I/Fと称す)21とを有している。
通信I/F18は、前記CCU4、光源装置5,電気メス装置6,気腹装置7、超音波駆動電源8、VTR9及び後述するバーチャル画像生成部11に電気的に接続されており、これらの駆動制御信号の送受信、または内視鏡画像データの送受信をCPU20によって制御される。なお、この通信I/F18には、遠隔操作手段としての術者用のリモコン12A及び音声入力マイク12Bが電気的に接続されており、リモコン12Aの操作指示信号あるいは音声入力マイク12Bの音声指示信号を取り込み、前記CPU20に供給するようになっている。
このリモコン12Aは、図示はしないが例えば内視鏡ライブ画像用の内視鏡画像用モニタ13やバーチャル画像表示用のモニタ17、あるいはバーチャル(仮想)画像用モニタ17aに表示される表示画像に対応したホワイトバランスボタン、気腹装置7を実行するための気腹ボタンと、気腹実行の際の圧力を上下に調整するための圧力ボタン、VTR9に内視鏡ライブ画像を録画実行するための録画ボタン、その録画実行の際のフリーズボタン及びレリーズボタン、内視鏡ライブ画像あるいはバーチャル画像表示を実行するための表示ボタン、バーチャル画像を生成する際に2次元表示(2D表示)を実行するための操作ボタン(各種2D表示モードに応じたアキシャルボタン、コロナルボタン、サジタルボタン等)、バーチャル画像を表示する際の3次元表示(3D表示)を実行するための操作ボタンで、各種3D表示モードを実行した際のバーチャル画像の視野方向を示す挿入点ボタン(内視鏡2の腹部領域に対する挿入情報で、例えば内視鏡2を挿入する腹部領域のX方向、Y方向、Z方向の数値を表示するためのボタン)、注目点ボタン(内視鏡2を腹部領域に挿入した際の内視鏡2の軸方向(角度)の数値を表示するためのボタン)、3D表示する際の表示倍率変更を指示するためのボタン(表示倍率を縮小する縮小ボタン、表示倍率を拡大する拡大ボタン等)、表示色を変更するための表示色ボタン、トラッキングを実行するためのトラッキングボタン、各ボタンの押下により決定した操作設定モードに対して設定入力情報の切換や決定等を行う操作ボタンや数値等を入力するためのテンキー等を有している。
したがって、これらの各ボタンを備えたリモコン12A(またはスイッチ)を用いることによって、術者は所望する情報が迅速に得られるように操作することが可能である。
メモリ19は、例えば内視鏡静止画像の画像データや機器設定情報等のデータを記憶するもので、これらのデータの記憶、及び読み出しは前記CPU20によって制御がなされるようになっている。
表示I/F21は、前記CCU4、VTR9及び内視鏡画像用モニタ13に電気的に接続されており、CCU4からの内視鏡ライブ画像データあるいはVTR9の再生された内視鏡画像データを送受信し、例えば受信した内視鏡ライブ画像データを内視鏡画像用モニタ13に出力する。これにより、内視鏡画像用モニタ13は供給された内視鏡ライブ画像データに基づく内視鏡ライブ画像を表示する。
また、内視鏡画像用モニタ13は、内視鏡ライブ画像の表示の他に、該CPU20の表示制御により、該内視鏡システムの各種機器設定状態やパラメータ等の設定情報を表示することも可能である。
CPU20は、システムコントローラ10内の各種動作、すなわち、通信I/F18、表示I/F24による各種信号の送受信制御、メモリ19の画像データの書き込みや読み出し制御、内視鏡画像用モニタ13の表示制御、さらにはリモコン12A(またはスイッチ)の操作信号に基づく各種動作制御等を行う。
一方、前記システムコントローラ10には、バーチャル画像生成部11が電気的に接続されている。
バーチャル画像生成部11は、図2に示すように、CT画像DB部23、メモリ24、CPU25、通信I/F26、表示I/F27、切替え部27Aを有している。
バーチャル画像生成部11は、図2に示すように、CT画像DB部23、メモリ24、CPU25、通信I/F26、表示I/F27、切替え部27Aを有している。
CT画像DB部23は、患者のX線断層像を撮像する図示しない公知のCT装置で生成された3次元画像データを、例えばMO(Magneto−Optical disk)装置やDVD(Digital Versatile Disc)装置等、可搬型の記憶媒体を介して取り込むCT画像データ取り込み部(図示せず)を備え、取り込んだ3次元画像データ(CT画像データ)を格納するものである。この3次元画像データの読み出しや書き込みは、CPU25によって制御される。
メモリ24は、例えば前記3次元画像データやCPU25によりこの3次元画像データに基づき生成されたバーチャル画像データ等のデータを記憶するもので、これらのデータの記憶、及び読み出しは前記CPU25によって制御がなされるようになっている。
通信I/F26は、前記システムコントローラ10の通信I/F18に接続されており、バーチャル画像生成部11と前記システムコントローラ10とが連動して各種動作するのに必要な制御信号の送受信を行うもので、CPU25によって制御され、CPU25内に取り込まれるようになっている。
表示I/F27は、前記CPU25の制御により生成されたバーチャル画像を切替部27Aを介してバーチャル画像用のモニタ17,17aに出力する。これにより、バーチャル画像用のモニタ17,17aは供給されたバーチャル画像を表示する。この場合、前記切替部27Aは、CPU25による切替え制御によって、バーチャル画像の出力を切替えて、指定されたバーチャル画像用のモニタ17,17aに対し出力することが可能である。なお、バーチャル画像の表示を切替える必要がない場合には、前記切替部27Aを設けなくても良く、前記バーチャル画像用のモニタ17,17aの双方に同じバーチャル画像を表示させても良い。
前記CPU25には、マウス15及びキーボード16が電気的に接続されている。これらマウス15及びキーボード16は、このバーチャル画像表示装置によるバーチャル画像表示動作を実行するのに必要な各種設定情報等を入力したり設定したりするための操作手段である。
CPU25は、前記バーチャル画像生成部11内の各種動作、すなわち、通信I/F26、表示I/F27による各種信号の送受信制御、メモリ24の画像データの書き込みや読み出し制御、モニタ17、17aの表示制御、切替部27Aの切替え制御、さらにはマウス15やキーボード16の操作信号に基づく各種動作制御等を行う。
なお、本実施例では、前記バーチャル画像生成部11を、例えば遠隔地に配されたバーチャル画像生成部に通信手段を介して接続するように構成すれば遠隔手術支援システムとして構築することも可能である。
また、本実施例では、内視鏡2の視野方向に基づくバーチャル画像を生成し表示するために、図3に示すように、内視鏡2の把持部2aにセンサ3が設けられており、このセンサ3には、例えばジャイロセンサ等が収容されており、内視鏡2の腹部領域への挿入角度等の情報を検出し、センサ3の検出情報が図2に示すように通信I/F26を介してバーチャル画像生成部11に供給される。
なお、本実施例では、センサ3は有線にてバーチャル画像生成部11に電気的に接続されるが、無線にてデータ通信可能に前記バーチャル画像生成部11に接続するように構成しても良い。
次にこのように構成された本実施例の作用について説明する。本実施例では、センサ3による内視鏡2の腹部領域への挿入角度情報に基づいて、バーチャル画像生成部11が内視鏡2の視野と一致する、図4に示すような対象臓器100近傍の関心部位(異常部)101の中心にした方向の通常方向(正面)バーチャル画像を生成する。また、このときにバーチャル画像生成部11は、同時に対象臓器100近傍の関心部位(異常部)101の中心にした立方体に対して右、左、上、下、背面の方向から見た複数の側面バーチャル画像を生成する。
なお、少なくとも通常方向(正面)バーチャル画像は、センサ3の検出情報に基づき内視鏡2のライブ内視鏡画像に同期してリアルタイムに生成される。
また、本実施例では、右、左、上、下、背面の方向から見た複数の各側面バーチャル画像は、通常方向(正面)バーチャル画像と同様にライブ内視鏡画像に同期してリアルタイムに生成しても良いが、本実施例では、後述するように側面バーチャル画像の表示指示が行われた際の通常方向(正面)バーチャル画像のフレーム画像に基づく静止画像として生成するものとする。
手技が開始され、カメラヘッド2dにより被検体内の観察像が撮像されると、内視鏡画像用モニタ13に内視鏡画像が表示される。
そして、バーチャル画像生成部11は、図5に示すように、ステップS1にてセンサ3による内視鏡2の腹部領域への挿入角度情報に基づいて、通常方向(正面)バーチャル画像を生成し、図6に示すように通常方向バーチャル画面150をバーチャル(仮想)画像用モニタ17aに表示する。
この図6の通常方向バーチャル画面150には、通常方向(正面)バーチャル画像201の他に、右、左、上、下、背面の方向から見た複数の側面バーチャル画像の表示を指示する指示ボタン202、203、204、205、206と、各側面同時表示を指示するマルチ指示ボタン207が設けられている。
そして、ステップS2にて通常方向バーチャル画面150で指示ボタン202、203、204、205、206あるいはマルチ指示ボタン207のいずれかがポインタ200により選択され別視点表示がなされたかどうか判断する。
なお、ポインタ200の選択は、ポインティングデバイス等により実行されるが、例えば術者が音声入力マイク12Bを用いて音声により選択を行うようにしてもよい(例えば背面は「ハイメン」と発声することで音声認識により選択可能である)。
通常方向バーチャル画面150で指示ボタン202、203、204、205、206あるいはマルチ指示ボタン207のいずれかがポインタ200により選択されると、ステップS3にて選択された指示ボタンに応じた視点のバーチャル(仮想)画像をバーチャル(仮想)画像用モニタ17aに表示する。
例えば図6において右側面表示用の指示ボタン202がポインタ200により選択されると、図7に示すような通常方向(正面)バーチャル画像201に代わる右側面バーチャル画像211を有する別視点バーチャル画面151をバーチャル(仮想)画像用モニタ17aに表示する。
この図7の別視点バーチャル画面151には、右側面バーチャル画像211の他に、左、上、下、背面の方向から見た複数の側面バーチャル画像の表示を指示する指示ボタン203、204、205、206と、各側面同時表示を指示するマルチ指示ボタン207と、通常方向(正面)バーチャル画像201の表示を指示する通常表示ボタン208が設けられている。
そして、ステップS4にてバーチャル画像生成部11のCPU25内の内部タイマをセットし時間計測を開始する。
続いて、ステップS5にて別視点バーチャル画面151で通常表示ボタン207がポインタ200により選択されたかどうか判断し、通常表示ボタン207が選択されるとステップS1に戻り、通常表示ボタン207が選択されないと、ステップS6にて別視点バーチャル画面151で指示ボタン203、204、205、206あるいはマルチ指示ボタン207がポインタ200により選択されたかどうか判断する。
別視点バーチャル画面151で指示ボタン203、204、205、206あるいはマルチ指示ボタン207がポインタ200により選択されると、ステップS7にて選択された指示ボタンに応じた視点のバーチャル(仮想)画像をバーチャル(仮想)画像用モニタ17aに表示し、ステップS8にてCPU25内の内部タイマをリセットし時間計測を再開してステップS9に進み、指示ボタンが選択されない場合はステップS6からそのままステップS9に進む。
ステップS9では、システムコントローラ10のCPU20の画像処理による動きベクトルによりCPU25が内視鏡2のライブ内視鏡画像に所定以上の動きがあったかどうかを判断し、ライブ内視鏡画像に所定以上の動きがあった場合にはステップS1に戻り、ライブ内視鏡画像に所定以上の動きがない場合にはステップS10にてCPU25内の内部タイマが所定時間経過したかどうか判断し、所定時間経過した場合にはステップS1に戻り、所定時間に達していない場合にはステップS5にもどる。
なお、ステップS3あるいはステップS7にて、ポインタ200によりマルチ指示ボタン207が選択されると、図8に示すようなマルチ視点バーチャル画面152がバーチャル(仮想)画像用モニタ17aに表示される。このマルチ視点バーチャル画面152は、通常方向(正面)バーチャル画像及び通常方向(正面)バーチャル画像を中心に右、左、上、下、背面の方向から見た複数の側面バーチャル画像を配置した画像を有している。
以上のように本実施例では、術者に手技中に関心部位(異常部)の周辺の各方向から見た生体画像情報(臓器等により見えない動脈、静脈の配置の画像情報や関心部位の位置の画像情報等)を所定時間提供でき、ライブ内視鏡画像に所定以上の動き(変化)がある場合には内視鏡2の腹部領域への挿入角度情報に基づいた通常方向(正面)バーチャル画像の表示に戻すことができるので、種々のバーチャル画像をリアルタイムに手技中に提供することができる。
なお、本実施例では、図9に示すように通常方向(正面)バーチャル画像に対して直交した側面バーチャル画像を生成するとしたが、これに限らず、図10に示すように通常方向(正面)バーチャル画像に対して直交面にオフセット角θを持たせた面を側面とした側面バーチャル画像を生成するようにしてもよい。また、本実施例の側面バーチャル画像の面は一例であって、側面バーチャル画像の面は手技に適した任意の面であれば本実施例の効果を得ることはいうまでもない。
また、本実施例では、バーチャル(仮想)画像用モニタ17aに表示する画像を通常方向(正面)バーチャル画像あるいは側面バーチャル画像のいずれかとしたが、これに限らず、例えば図11に示すように、通常方向(正面)バーチャル画像に隣接させ(右)側面バーチャル画像を表示させるようにしてもよい。
さらに、指示ボタンの代りに、図12に示すように、各側面バーチャル画像のサムネイル画像を表示するようにしてもよく、図13に示すように、選択された側面バーチャル画像のサムネイル画像の枠を太枠表示することで、表示されている側面バーチャル画像の識別が容易になると共に、サムネイル画像表示により他の側面バーチャル画像の状態が視認でき、より有用に側面バーチャル画像が提供できる。図14に通常方向(正面)バーチャル画像に隣接させ(右)側面バーチャル画像を表示させた際の側面バーチャル画像のサムネイル画像の表示例を示す。
ところで、内視鏡2には直視型と斜視型があるが、上記実施例の場合は直視型内視鏡を想定しているため、図15に示すように、斜視型内視鏡300の場合、挿入方向と側視方向が一致しないため、斜視のライブ内視鏡画像と内視鏡の挿入方向のみ依存する通常方向(正面)バーチャル画像とは異なる向きの画像となる。
そこで、上記バーチャル画像生成部11のCPU25は、以下のようにして斜視型内視鏡300に対応した通常方向(正面)バーチャル画像の補正を行う。
すなわち、図16に示すように、ステップS21にて図17のような斜視型内視鏡300の挿入方向の直視バーチャル(仮想)画像301をバーチャル(仮想)画像用モニタ17aに表示する。そして、ステップS22にてバーチャル(仮想)画像301上で斜視型内視鏡300の斜視角に対応した補正角を入力し、斜視補正ボタンを選択することで、ステップS23にて図18に示すような斜視補正バーチャル(仮想)画像302をバーチャル(仮想)画像用モニタ17aに表示する。この斜視補正バーチャル(仮想)画像302でステップS24にて直視方向表示ボタンが選択されると、ステップS21に戻り、直視方向表示ボタンが選択されないとステップS22に戻る。
直視バーチャル(仮想)画像301あるいは斜視補正バーチャル(仮想)画像302にてOKボタンが選択されると、直視バーチャル(仮想)画像301あるいは斜視補正バーチャル(仮想)画像302が通常方向(正面)バーチャル画像として登録される。
これにより直視型と斜視型のそれぞれに対応した通常方向(正面)バーチャル画像を得ることができる。
なお、斜視型内視鏡に限らず側視型内視鏡に対しても、斜視型内視鏡に対する角度補正と同様な角度補正(90度補正)を行うことで、側視型内視鏡の観察画像の方向と一致した通常方向(正面)バーチャル画像を得ることができる。
本発明は、上述した実施例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
1…手技支援システム
2…内視鏡、
3…センサ
4…CCU
5…光源装置
6…電気メス装置
7…気腹装置
8…超音波駆動電源
9…VTR
10…システムコントローラ
11…バーチャル画像生成部
代理人 弁理士 伊藤 進
2…内視鏡、
3…センサ
4…CCU
5…光源装置
6…電気メス装置
7…気腹装置
8…超音波駆動電源
9…VTR
10…システムコントローラ
11…バーチャル画像生成部
代理人 弁理士 伊藤 進
Claims (2)
- 被検体に挿入する内視鏡の挿入部を示す角度情報を検出する検出手段と、
前記検出手段により検出された角度情報に基づき前記内視鏡の観察画像面に対応した前記被検体に関する第1のバーチャル画像データを生成する第1のバーチャル画像データ生成手段と、
前記内視鏡の観察画像面と所定の角度を有する面に対応した前記被検体に関する前記第2のバーチャル画像データを生成する第2のバーチャル画像データ生成手段と、
を具備したことを特徴とする手技支援システム。 - 被検体の体腔内に挿入可能な挿入部と、
前記被検体の体腔内に対する前記挿入部の挿入方向に関する情報を検出する検出手段と、
前記検出手段により検出された挿入方向に関する情報に基づいて、仮想的な基準点に対して所定の距離を有する面に対応した第1のバーチャル画像データを生成する第1のバーチャル画像データ生成手段と、
前記第1のバーチャル画像データの面とは異なり、前記仮想的な基準点に対して所定の距離を有する面に対応した第2のバーチャル画像データを生成する第2のバーチャル画像データ生成手段と
を具備したことを特徴とする手技支援システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004024828A JP2005211529A (ja) | 2004-01-30 | 2004-01-30 | 手技支援システム |
US10/858,440 US20050033117A1 (en) | 2003-06-02 | 2004-06-01 | Object observation system and method of controlling object observation system |
US11/716,308 US7951070B2 (en) | 2003-06-02 | 2007-03-09 | Object observation system and method utilizing three dimensional imagery and real time imagery during a procedure |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004024828A JP2005211529A (ja) | 2004-01-30 | 2004-01-30 | 手技支援システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005211529A true JP2005211529A (ja) | 2005-08-11 |
Family
ID=34907395
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004024828A Pending JP2005211529A (ja) | 2003-06-02 | 2004-01-30 | 手技支援システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005211529A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011114731A1 (ja) * | 2010-03-17 | 2011-09-22 | 富士フイルム株式会社 | 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム |
WO2011122032A1 (ja) * | 2010-03-31 | 2011-10-06 | 富士フイルム株式会社 | 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム |
JP2012050606A (ja) * | 2010-08-31 | 2012-03-15 | Fujifilm Corp | 内視鏡画像処理装置および方法、並びに、プログラム |
-
2004
- 2004-01-30 JP JP2004024828A patent/JP2005211529A/ja active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011114731A1 (ja) * | 2010-03-17 | 2011-09-22 | 富士フイルム株式会社 | 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム |
JP2011193885A (ja) * | 2010-03-17 | 2011-10-06 | Fujifilm Corp | 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム |
US9179822B2 (en) | 2010-03-17 | 2015-11-10 | Fujifilm Corporation | Endoscopic observation supporting system, method, device and program |
WO2011122032A1 (ja) * | 2010-03-31 | 2011-10-06 | 富士フイルム株式会社 | 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム |
JP2011212244A (ja) * | 2010-03-31 | 2011-10-27 | Fujifilm Corp | 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム |
US9375133B2 (en) | 2010-03-31 | 2016-06-28 | Fujifilm Corporation | Endoscopic observation support system |
JP2012050606A (ja) * | 2010-08-31 | 2012-03-15 | Fujifilm Corp | 内視鏡画像処理装置および方法、並びに、プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4698966B2 (ja) | 手技支援システム | |
US7951070B2 (en) | Object observation system and method utilizing three dimensional imagery and real time imagery during a procedure | |
US20070078328A1 (en) | Operation assisting system | |
JP4153963B2 (ja) | 内視鏡挿入形状検出装置 | |
JP2006198032A (ja) | 手術支援システム | |
EP2430979A1 (en) | Biopsy support system | |
WO2019155931A1 (ja) | 手術システム、画像処理装置及び画像処理方法 | |
JP2010069018A (ja) | 医用ガイドシステム | |
WO2008004222A2 (en) | Computer image-aided method and system for guiding instruments through hollow cavities | |
JP4365630B2 (ja) | 手術支援装置 | |
JP2002253480A (ja) | 医療処置補助装置 | |
US20050234326A1 (en) | Medical procedure support system and method | |
JP2006198031A (ja) | 手術支援システム | |
JP2006223374A (ja) | 手術支援装置、手術支援システム及び手術支援方法 | |
JP5226244B2 (ja) | 医用ガイドシステム | |
JP2006218239A (ja) | 手技支援システム | |
JP2005211529A (ja) | 手技支援システム | |
JP2005211530A (ja) | 手技支援システム | |
JP4533638B2 (ja) | バーチャル画像表示システム | |
JP4546043B2 (ja) | バーチャル画像表示装置 | |
JP4546042B2 (ja) | バーチャル画像表示装置 | |
JP4590189B2 (ja) | バーチャル画像表示装置 | |
JP2006198107A (ja) | 手術支援システム | |
JP2004357789A (ja) | 被検体観察システム及び被検体観察システムの制御方法 | |
JP2005021354A (ja) | 遠隔手術支援装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090804 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20091201 |