JPWO2017212725A1 - 医療用観察システム - Google Patents
医療用観察システム Download PDFInfo
- Publication number
- JPWO2017212725A1 JPWO2017212725A1 JP2018501382A JP2018501382A JPWO2017212725A1 JP WO2017212725 A1 JPWO2017212725 A1 JP WO2017212725A1 JP 2018501382 A JP2018501382 A JP 2018501382A JP 2018501382 A JP2018501382 A JP 2018501382A JP WO2017212725 A1 JPWO2017212725 A1 JP WO2017212725A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- endoscope
- trigger signal
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Biomedical Technology (AREA)
- Animal Behavior & Ethology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Astronomy & Astrophysics (AREA)
- General Physics & Mathematics (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
このように、複雑な3次元形状を有する管腔臓器内を観察するような場合には、観察しようとする管腔領域の3次元形状(立体形状)を表示して、観察状況をユーザに提示する観察支援システムが用いられる場合がある。
例えば、第1の従来例としての日本国特開平10−234662号公報は、マウス又はキーボードからの入力操作をトリガとして、被検体のスライス画像から3次元モデル画像の生成を開始することを開示している。
また、第2の従来例としての日本国特開2002−306403号公報は、内視鏡の先端位置の座標データの変化をトリガとして、先端付近の器官のCTデータを記憶部から読み出して、先端付近の周囲の器官の内壁の3次元画像を構築して、モニタに3次元画像を表示することを開示している。
また、第2の従来例は、内視鏡の先端の位置の変化により3次元モデル画像を生成するが、撮像された画像に基づいて3次元モデル画像を生成することを開始することを開示していない。
ユーザは、内視鏡により臓器内部等の検査対象領域を観察(又は検査)する場合、観察している領域等の3次元モデル画像(3次元形状画像)を構築して表示すると、観察済みの領域の形状を把握できると共に、現在観察している状況から次に内視鏡を移動して観察しようとする作業を行い易くなる。
また、このように3次元モデル画像を構築して表示するようにした場合、ユーザは、内視鏡を患者に挿入した挿入口付近の3次元モデル画像を必要とせず、検査対象領域又はその周辺領域を観察する状態になった状態において3次元モデル画像の構築を開始する要望が多い。
このため、3次元モデル画像の構築を開始するべき状態になった場合に3次元モデル画像の構築を開始する医療用観察システムが望まれる。
本発明は上述した点に鑑みてなされたもので、撮像された画像等に基づいて生成されるトリガ信号により、自動的に3次元モデル画像の生成を開始する医療用観察システムを提供することを目的とする。
また、本発明の他の態様の医療用観察システムは、3次元形状を有する被検体の内部を観察する内視鏡と、前記被検体の3次元モデル画像を構築する3次元モデル画像生成部と、前記内視鏡が所定の位置にあることを検知した場合、前記3次元モデル画像の生成を開始するトリガ信号を生成する信号生成部と、前記3次元モデル画像生成部に対して、前記信号生成部により生成された前記トリガ信号に基づいて、前記3次元モデル画像の生成を開始するよう制御する制御部と、を有する。
(第1の実施形態)
図1に示すように第1の実施形態の医療用観察システム1は、内視鏡2と、トロリー3に配置された光源装置4と、内視鏡画像装置5と、観察支援装置6と、観察支援装置6に接続され、磁界を発生するアンテナ7と、モニタ8とを有する。
内視鏡2は、軟性の挿入部11を有する軟性内視鏡であり、挿入部11は、被検体を形成する患者9内に挿入される。
光源装置4は、照明光を発生し、発生した照明光を内視鏡2(のライトガイド19)に供給する。内視鏡画像装置5は、内視鏡2に設けられた撮像部25に対する信号処理を行う。内視鏡画像装置5は、撮像部25から出力される撮像画像の画像信号からモニタ8に表示するための表示画像となる内視鏡画像の画像信号を生成し、観察支援装置6を介してモニタ8に出力する。モニタ8は、内視鏡画像表示エリア8aには内視鏡画像を、3次元モデル画像表示エリア8bには観察支援装置6により生成された3次元モデル画像をそれぞれ表示する。
なお、図1に示す例では、観察支援装置6には、内視鏡画像装置5からの内視鏡画像(の画像信号)が入力される構成となっているが、撮像部25の撮像画像(の画像信号)を観察支援装置6に入力し、観察支援装置6が内視鏡画像(の画像信号)も生成する構成にしても良い。
なお、尿管10は、その深部側において腎盂51a、腎杯51bに連通する(図3参照)。
挿入部11は、その先端に設けられた硬質の先端部15と、該先端部15の後端に設けられた湾曲可能な湾曲部16と、該湾曲部16の後端から操作部12の前端まで延びる可撓性を有する可撓管部17とを有する。
操作部12には湾曲部16を湾曲操作するための湾曲操作ノブ18が設けられている。
照明窓から出射される照明光により照明された管腔臓器内の観察対象部位(被写体とも言う)は、先端部15の照明窓に隣接して設けられた観察窓(撮像窓)に取り付けられた対物光学系23によりその結像位置に光学像が結像される。対物光学系23の結像位置には、撮像素子としての例えば電荷結合素子(CCDと略記)24の撮像面が配置される。このCCD24は、所定の画角(視野角)を有する。
対物光学系23と、CCD24は、管腔臓器内を撮像する撮像部(又は撮像装置)25を形成する。なお、CCD24の画角は、対物光学系23の光学特性(例えば焦点距離)にも依存するために、対物光学系23の光学特性を考慮に入れた撮像部25の画角や、または対物光学系を用いて観察する場合の画角と言うこともできる。
内視鏡画像装置5は、CCD駆動信号を発生するドライバ31と、CCD24の出力信号に対する信号処理を行い、内視鏡画像の画像信号(映像信号)を生成する信号処理回路32とを有する。ドライバ31は、信号線26等を介してCCD24にCCD駆動信号を印加し、CCD駆動信号の印加によりCCD24は、撮像面に結像された光学像を光電変換した撮像画像の画像信号を出力する。
CCD24は、挿入部11内などを挿通された信号線26の一端と接続され、該信号線26の他端はライトガイドコネクタ14に接続される接続ケーブル27(内の信号線)を介して該接続ケーブル27の端部の信号コネクタ28に至る。この信号コネクタ28は内視鏡画像装置5の信号コネクタ受けに着脱自在に接続される。
また、信号処理回路32により生成された内視鏡画像の画像信号は、伝送線29aを介して光源装置4の調光回路22に出力し、調光回路22は、画像信号の数フレーム分の平均値と、設定された基準の明るさとの差信号を生成し、差信号の値が0になるように光源ランプ20が発生する照明光の光量を調整する。
内視鏡2は、例えばライトガイドコネクタ14内に、該内視鏡2に固有の情報を格納したメモリ30を有し、このメモリ30は、内視鏡2に搭載されたCCD24が有する画素数のデータ等を格納している。
上記信号処理回路32は、生成した例えばデジタルの内視鏡画像の画像信号又は2次元の内視鏡画像データ(単に内視鏡画像とも言う)を観察支援装置6に入力する入力部を形成する。
挿入部11の先端部15内には、体外における所定の位置に配置されたアンテナ7により発生した磁場を検出することにより先端部15の(3次元)を検出するための位置センサとなる複数のセンスコイル34a〜34cが配置されている。センスコイル34a〜34cは、先端部15内に配置された先端部内センサ34(図2参照)を形成する。
先端部15内において、挿入部11(又は先端部15)の長手方向に沿って配置された2つのセンスコイル34a,34bと、2つのセンスコイル34a,34bを結ぶ線分と直交する方向に配置されたセンスコイル34cとが配置されている。
センスコイル34a〜34cにより検出された位置情報は、内視鏡画像装置5から、伝送線29bを経由して観察支援装置6内の後述する先端部位置推定部に出力される。
このため、観察支援装置6内の後述する先端位置推定部42は、3つのセンスコイル34a〜34cの3次元位置を検出することにより、先端部15の3次元位置及び先端部15の軸方向を検出(推定)することができる。換言すると、先端部15においてのセンスコイル34a〜34cの3次元位置の検出からそれぞれ既知の距離離れて配置された撮像部25を構成する対物光学系23の3次元位置及び対物光学系23の視線方向(光軸方向)を検出することができる。
先端位置推定部42は、先端部15の3次元位置及び姿勢を推定する位置・姿勢推定部を形成する。
センスコイル34a〜34cは、内視鏡2内の信号線35の一端に接続され、信号線35の他端は、ライトガイドコネクタ14から延出されるケーブル27と接続される。ケーブル27内の信号線35は、内視鏡画像装置5から伝送線29bを介して観察支援装置6内の先端位置推定部42(図2参照)と接続される。
また、図1に示すように観察支援装置6に体表マーカ36を接続して、患者9における例えば体表上の基準となる位置に設定した体表マーカ36によりその基準となる位置の情報を取得することができる。
また、観察支援装置6に外部インタフェース(外部I/F)37としてのLANを接続して、CT/MRI装置から患者9の3次元情報となるCT/MRIデータ等を取得することができるようにしている。
図2は被検体の3次元モデル画像を構築する処理等を行う観察支援装置6の構成を示す。
観察支援装置6は、3次元モデル画像を生成(構築)する画像処理部41と、先端部15の3次元位置を推定する先端位置推定部42と、トリガ信号等を生成する制御部43と、画像の合成を行う合成部48とを有する。
画像処理部41は、内視鏡画像装置5から入力される(2次元の)内視鏡画像(又は撮像画像)から3次元モデル画像を生成(構築)する3次元モデル画像生成部41aを有し、生成した3次元モデル画像(の画像信号)を合成部48に出力する。
合成部48は、内視鏡画像(の画像信号)と3次元モデル画像(の画像信号)とを合成し、モニタ8に出力し、モニタ8は内視鏡画像と3次元モデル画像とを表示する。
また、先端位置推定部42には、体表マーカ36に組込まれた図示していないセンサ(2つのセンサコイル)からのセンサ情報が入力され、2つのセンサコイルの位置及び姿勢が推定される。また、先端位置推定部42は、既知となるマーカ位置及び姿勢の情報を用いて、先端部の位置と姿勢を推定する際の較正(レジストレーション)を行うことができる。
先端位置推定部42は、推定した位置及び姿勢の情報を3次元モデル画像生成部41aに出力する。
3次元モデル画像生成部41aは、2次元の内視鏡画像と、先端位置推定部42により推定された位置及び姿勢の情報とを用いて、3次元モデル画像を生成(構築)する。
また、先端位置推定部42は、推定した位置及び姿勢の情報を制御部43に出力する。
また、制御部43は、アンテナ7を形成する複数のソースコイルに対して、各ソースコイルの周囲に、それぞれ位置検出用の磁界を発生させる交流信号を印加する。なお、後述する図25Dにおいては、1つのソースコイル7aが、その周囲に発生する磁界Hを示す。
本実施形態における特徴量比較部44は、内視鏡画像(撮像画像)の輝度情報に基づいて、トリガ信号を生成させるための比較結果の信号となる判定信号を出力する。
このため、特徴量比較部44は、内視鏡画像の輝度を抽出すると共に、その平均値を算出する輝度抽出回路44aと、輝度抽出回路44aが抽出した輝度の平均値と、閾値格納部44cが格納する閾値とを比較し、比較結果の判定信号を出力する比較回路(又は判定回路)44bとを有する。
そして、術者は、入力装置38から輝度情報に基づいてトリガ信号を生成する複数の処理における任意の1つの処理を選択することができる。
トリガ信号生成部45は、特徴量比較部44(の比較回路44b)による比較結果に基づいて、トリガ信号を生成する信号生成部を形成する。
なお、特徴量比較部44は、特徴量の比較を行う場合、内視鏡の挿入動作に応じた異なる位置の各々において、先端位置推定部42により推定された位置の情報を参照して、特徴量の比較を行う。
制御部43は、トリガ信号生成部45が生成したトリガ信号に基づいて、3次元モデル画像生成部41aに対して、3次元モデル画像の画像信号の生成を開始するように制御する。制御部43は、中央処理装置(CPU)、DSP等により構成される。
なお、磁界検出部46と、動作検知部47に関しては、後述する実施形態において説明する。
本実施形態の医療用観察システム1は、3次元形状を有する被検体としての患者9の内部を撮像する撮像部25を有する内視鏡2と、前記撮像部25により出力された撮像画像(に対応する内視鏡画像)に基づいて、前記被検体の3次元モデル画像を構築する3次元モデル画像生成部41aと、前記撮像画像における所定のパラメータが所定値以上変化した場合、前記3次元モデル画像の生成を開始するトリガ信号を生成する信号生成部を形成するトリガ信号生成部45と、前記3次元モデル画像生成部41aに対して、前記信号生成部により生成された前記トリガ信号に基づいて、前記3次元モデル画像の生成を開始するよう制御する制御部43と、を有することを特徴とする。
内視鏡2Bを用いる場合には、センサを有しないために、挿入部11の先端部15の対物光学系23の位置及び視線方向の情報が得られない。そのために、内視鏡2Bが挿入される患者9の3次元形状情報を、例えばCT装置から取得すると共に、画像マッチングにより内視鏡2Bの対物光学系23の位置及び視線方向の情報を取得する。
内視鏡2Bにより得られる内視鏡画像に対応する仮想内視鏡画像をCT装置による3次元形状情報から生成し、内視鏡画像と仮想内視鏡画像との画像マッチングにより内視鏡2Bの対物光学系23の位置及び視線方向の情報を取得する。これに対して、内視鏡2の場合には、CT装置による患者9の3次元形状情報を取得することが不要となる。
また、図4は、全体的な処理、つまり、3次元モデル画像の構築を開始するための判定を行う処理と、開始した場合の3次元モデル画像構築のフローチャートを示す。
図1に示す内視鏡2を光源装置4,内視鏡画像装置5に接続し、内視鏡画像装置5を光源装置4と(モニタ8が接続された)観察支援装置6に接続して各装置の電源を投入して動作状態に設定する。
内視鏡画像装置5は、対物光学系23によりCCD24の撮像面に結像された撮像画像に相当する内視鏡画像を観察支援装置6内の画像処理部41に出力する。また内視鏡2の挿入部11の先端部15内に配置された先端部内センサ34は、センサ情報を観察支援装置6内の先端位置推定部42に出力する。
また、以下の説明においては、挿入部11の先端部が尿管10から腎盂51a内に挿入された状態の場合に3次元モデル画像の生成を開始するように設定される場合を説明する。
観察支援装置6に最初のフレーム番号i(=1)の内視鏡画像(図4では単に画像)は、画像処理部(の3次元モデル画像生成部41a)と特徴量比較部44に入力される。また、3次元モデル画像生成部41aにはトリガ信号が発生した場合には、トリガ信号生成部45からトリガ信号が入力される。
挿入部11の先端部15を尿管10内に挿入したような状態においては、ステップS2の判定処理の結果、ステップS3の処理に進む。ステップS3において特徴量比較部44は、内視鏡画像、位置情報を取り込む。なお、ステップS3において特徴量比較部44は、内視鏡画像、位置及び姿勢情報を取り込むようにしても良い。
ステップS3の処理の後のステップS5において特徴量比較部44は、取り込んだ内視鏡画像から所定の特徴量(パラメータ)C(ij)を検出する。なお、C(i,j)は、後述する図7Aにおいては入力された画像の輝度値から得られる画像の特徴的な値を示す。現時点ではC(i,j)は、C(1,0)となる。そして、次のステップS6において特徴量比較部44は、検出した所定の特徴量C(ij)と、閾値とを比較する。そして、特徴量比較部44は、所定の特徴量C(ij)が閾値以上であるか否かの比較結果を(制御部43内の)トリガ信号生成部45に出力する。なお、ステップS5,S6処理に関しては、図5等を参照して後述する。
ステップS7において制御部43は、フレーム番号iを1つ増加させた(i=2)後、ステップS2の処理に戻る。このようにして、フレーム番号iが順次大きくなる内視鏡画像において、同様の処理が繰り返される。そして、挿入部11の先端部15が尿管10の深部の腎盂51a内に挿入されると、所定の特徴量C(ij)が閾値以上となり、ステップS6の処理からステップS8の処理に移る。
ステップS8においてトリガ信号生成部45は、パラメータjを1、つまりトリガ信号を発生し、トリガ信号を3次元モデル画像生成部41aに出力する。
次のステップS4において3次元モデル画像生成部41aは、内視鏡画像、位置及び視線方向(又は位置及び姿勢)の情報を取り込む。
次のステップS9において3次元モデル画像生成部41aは、(3次元モデル画像としての)3次元形状画像の構築を行う。
3次元モデル画像生成部41aは、1フレーム分の内視鏡画像とその場合の位置及び視線方向の情報を用いて構築した3次元形状画像の画像信号をモニタ8に出力する。
次のステップS10においてモニタ8は、1フレーム分の内視鏡画像により構築された3次元形状画像を(3次元モデル画像として)表示する。
次のステップS11において制御部43は、入力装置38の終了ボタンなどから検査終了の指示信号が入力されたか否かを判定する。検査終了の指示信号が入力されていない場合には、ステップS7の処理に移り、フレーム番号のパラメータが1つ増加された後、ステップS2の処理に戻る。
3次元形状画像の構築を開始した位置から挿入部11の先端部15が腎盂51aの深部側に移動しながら撮像された撮像済み(観察済み)の内視鏡画像に対応した3次元形状画像が構築される。また、構築された3次元形状画像がモニタ8において例えば図1に示すように表示される。なお、モニタ8において3次元形状画像を表示した場合の観察する観察方向(視点方向)を設定することができる。観察方向が設定されない場合には、デフォルトの観察方向の設定の状態で3次元形状画像が表示される。
術者は、観察や処置を終了する場合には入力装置38の終了ボタン等を操作して、検査終了の指示信号を入力する。すると、ステップS12に示すように制御部43は、3次元モデル画像生成部41aが3次元形状画像の構築をする処理を停止させ、図4の処理を終了する。
なお、上述の説明においては、3次元モデル画像生成部41aが、3次元モデル画像として3次元形状画像を生成(構築)して、生成した3次元形状画像をモニタ8に表示する例を説明した。
次に図5A−図6Dを参照して、所定の特徴量としての輝度情報を利用して、3次元モデル画像の構築を開始する(トリガ信号を生成する)比較結果を得る場合の処理を具体的に説明する。
本実施形態は、3次元モデル画像の構築を開始する所定の特徴量として、内視鏡画像における輝度情報を利用し、挿入部11の先端部15が尿管10から腎盂51a内に挿入された場合を検出する。また、腎盂51a内に挿入された場合を検出する輝度情報として、術者は、(1フレーム分の)内視鏡画像の平均値を用いる場合と、(1フレーム分の)内視鏡画像の分割領域の平均値を用いる場合と、内視鏡画像上に設定したラインに沿った分割領域の平均値を用いる場合と、から選択することができる。
そのため、得られる内視鏡画像における周辺部は、高い輝度値となり、内視鏡画像における中心部は尿管10の奥部分に対応した低い輝度値となる(尿管10、狭い管腔10aは、ほぼ真っ直ぐな状態であるとする)。
図6Aは、腎盂51a内で得られる内視鏡画像を示す。また、図6Bは、腎盂51a内のように広い管腔50内に挿入部11の先端部15が挿入された様子を示し、図6Cは、図6Bの場合に得られる内視鏡画像を示す。また、図6Dは、図6Cの水平方向のラインに沿った輝度の分布を示す。図6Dにおいて、点線は、輝度の平均値Papを示す。
図6Dの平均値Papは、Pauよりも大きくなる。そして、後述する図7Aの処理においては、Pau<Pa_th<Papの条件を満たす閾値Pa_thを用いて、腎盂51aの内視鏡画像の判定を行う。
本実施形態においては、図5D、図6Dに示すような輝度分布の特性を利用して、撮像された撮像画像又は内視鏡画像から腎盂51aの画像を判定する(比較結果の)判定信号を得る。
上述したように本実施形態においては、輝度分布の特性を利用して、腎盂51aの画像を判定する3つの方法又は構成を備えている。
図4におけるステップS3の内視鏡画像、位置情報の取り込みの処理の後、図7AのステップS21に示すように特徴量比較部44(の前処理部又は輝度抽出回路44a)は、内視鏡画像におけるノイズを除去するノイズ除去の処理を行う。特徴量比較部44(の輝度抽出回路44a)は、例えばガウシアンフィルタを用いて、ノイズを除去する。
次のステップS22において特徴量比較部44(のの前処理部又は輝度抽出回路44a)は、内視鏡画像におけるハレーション部分の除去する処理を行う。特徴量比較部44(の輝度抽出回路44a)は、例えば内視鏡画像の色成分画像となるRGB画像を、輝度画像と色差画像に変換し、輝度画像(白黒画像)が、階調の上限に近い閾値以上となる画像部分をハレーションとして除去する。
次のステップS24において特徴量比較部44(の比較回路44b)は、輝度平均値Paと、その輝度平均値Paに対して予め設定した閾値Pa_thとを比較する。
Pa≧Pa_thを満たさない比較結果の場合には、(判定信号を発生しないで)ステップS7の処理に戻る。つまり、腎盂51a内の内視鏡画像を判定するための閾値Pa_thに達していないと判定され、次のフレーム番号iの内視鏡画像において同様の処理が繰り返される。そして、挿入部11の先端部15が腎盂51a内に挿入され、腎盂51a内の内視鏡画像を取得した状態になると、以下のような比較結果となる。
Pa≧Pa_thを満たす比較結果の場合には、比較回路44bは、判定信号を発生して、トリガ信号生成部45に出力する。すると、ステップS8においてトリガ信号生成部45は、トリガ信号を発生する。そして、図4において説明したように3次元モデル画像生成部41aは、腎盂51a内の(2次元)内視鏡画像から3次元形状画像の構築を開始する。
図7BにおけるステップS23′、S24′以外の処理は、図7Aと同じであり、その説明を省略する。
次に図8Aの処理を説明する。図8AにおけるステップS31とS32は、図7AのステップS21のノイズ除去とステップS22のハレーション除去と同じ処理である。
次のステップS33において特徴量比較部44(の輝度抽出回路44a)は、ステップS31,S32の処理を経た内視鏡画像を複数の画像領域としての分割領域に分割する。図8Bは、(ステップS32の処理後の)内視鏡画像を水平方向及び垂直方向の分割数Nをそれぞれ10としたN×Nに分割された分割領域Rdを示す。
次のステップS34において特徴量比較部44(の輝度抽出回路44a)は、各分割領域の輝度平均値を算出する。
次のステップS35において特徴量比較部44(の輝度抽出回路44a)は、各分割領域の輝度平均値の最大値Pmaxと各分割領域の輝度平均値の最小値Pminとを抽出する。更に、特徴量比較部44(の輝度抽出回路44a)は、最大値Pmaxと最小値Pminとの差分Pd(=Pmax−Pmin)を算出する。
次のステップS36において特徴量比較部44(の比較回路44b)は、差分Pdが、この差分Pdに対して設定された閾値Pd_thとを比較し、差分Pdが閾値Pd_th以下か否かを判定する。
図5Aと図6Aとの比較、又は図5Cと図6Cとの比較、又は図5Dと図6Dとの比較から分かるように尿管10内のように狭い管腔10a内での内視鏡画像の分割領域における最大値と最小値との差は、腎盂51a内の場合よりも大きい値となる。また、このような輝度分布の特性を考慮して、閾値Pd_thが設定されている。
挿入部11の先端部15が、尿管10の深部側に移動(挿入)され、腎盂51aに近づくと管腔が広くなり、ステップS36において差分Pdが閾値Pd_thより大きいと判定されるものの差分Pdと閾値Pd_thとのずれ量は小さくなる。
すると、ステップS8においてトリガ信号生成部45は、トリガ信号を発生する。そして、図4において説明したように3次元モデル画像生成部41aは、腎盂51a内の(2次元)内視鏡画像から3次元形状画像の構築を開始する。
次に図9Aを参照して3つ目の処理を説明する。図9Aに示す処理は、図8Aに類似するため、図8Aにおける処理と異なる部分のみを説明する。
図8Aにおいての処理は、内視鏡画像全体を2次元的に複数の分割領域に分割したのに対して、図9Aの処理は、内視鏡画像における特定のラインに沿って複数の分割領域を設定し、複数の分割領域に対して図8Aの場合と同様の処理を行う。
図9Aにおける処理は、図8AにおいてステップS33の処理をステップS33′に変更した処理となり、その他は図8Aと同じ処理となる。ステップS33′において特徴量比較部44(の輝度抽出回路44a)は、例えば図5C又は図6Cに示すように内視鏡画像において特定のラインを設定し、特定のラインに沿って複数の分割領域を設定する。
なお、図9AにおけるステップS36における閾値Pa_thは、図9Bのライン及びその場合の分割領域Rdhの大きさ等に応じて設定される。
図9Aの処理を選択した場合には、図8Aの場合よりも少ない演算量で済む利点がある。そのため、観察支援装置6に入力される内視鏡画像から時間的な遅れが殆ど発生しないタイミングで、3次元形状画像の構築を開始できる。
このように動作する第1の実施形態によれば、撮像された撮像画像又は内視鏡画像に基づいて生成されるトリガ信号により、自動的に3次元形状画像により形成される3次元モデル画像の生成を開始することができる。従って、術者が3次元モデル画像の生成を開始させる操作を必要としないので、操作性を向上できる。
次に本発明の第2の実施形態を説明する。本実施形態は、内視鏡画像を予め設定したテンプレート画像との類似度から、判定信号を生成する。このため、本実施形態においては、図2の観察支援装置6における特徴量比較部44が、第1の実施形態と異なる。
図10に示すように本実施形態における特徴量比較部44は、参照画像としてのテンプレート画像を設定する画像設定部44dと、内視鏡画像との類似度を算出する類似度算出部(又は類似度比較部)44eと、算出した類似度の結果を記録するメモリ44fを有する。
類似度算出部44eは、算出した類似度が閾値設定部44cにおいて設定された類似度の閾値以下(但し、類似度の算出方法によっては閾値以上となる)に類似している比較結果の場合に、第1の実施形態の場合と同様に、トリガ信号を発生させるための判定信号をトリガ信号生成部45に出力する。その他の構成は、第1の実施形態と同様の構成である。
本実施形態における全体的な処理は、図4に示す第1の実施形態の場合と殆ど同じであり、第1の実施形態とは図4におけるステップS5,S6が異なる。
図11は本実施形態におけるステップS5,S6に相当する処理の詳細を示す。
そして、尿管10から腎臓内に挿入された内視鏡2により取得される内視鏡画像が、尿管10内、尿管腎盂移行部51c内、腎盂51a内の特徴を有する各テンプレート画像の時間順に十分に類似する事(又は閾値以下に類似する事)が検出された場合には、腎盂51a内に挿入されたと判定する。
より単純化して、例えば腎盂51a内の特徴を有するテンプレート画像と十分に類似する事(又は閾値以下に類似していること)が検出された場合に、腎盂51a内に挿入されたと判定し、トリガ信号を発生するようにしても良い。
また、尿管10内又は尿管腎盂移行部51c内と、腎盂51a内の特徴を有する各テンプレート画像を用意し、尿管10内又は尿管腎盂移行部51c内のテンプレート画像と十分に類似する事が検出された後に、腎盂51a内のテンプレート画像と十分に類似する事が検出された場合に、腎盂51a内に挿入されたと判定し、トリガ信号を発生するようにしても良い。なお、他の臓器に挿入する場合に適用しても良い。
図12A、図13A及び図14Aは、挿入部11の先端部がそれぞれ尿管10内、尿管10と腎盂51aとの間の尿管腎盂移行部51c内、腎盂51a内に存在する状態を示す。なお、図12A等においては、髄質を51d、皮質を51eで示している。
図12B、図13BA及び図14Bは、図12A、図13A及び図14Aの場合の内視鏡2により取得される内視鏡画像を示す。図12B、図14Bの内視鏡画像は、図5A、図6Aに示した内視鏡画像と類似したものである。図13Bは、屈曲している尿管腎盂移行部51c内において得られる内視鏡画像を示す。
テンプレート画像は、実際の内視鏡画像により設定しても良いし、腎臓を模擬した腎臓ファントム内を内視鏡2により観察した場合に得られる観察画像により設定しても良い。また、CT装置等で得られた腎臓の3次元モデルから、この3次元モデル内に仮想的に内視鏡を配置した際に得られる仮想内視鏡画像から、尿管10内、尿管腎盂移行部51c、腎盂51a内のテンプレート画像を設定しても良い。
更に、実際の尿管10内、尿管腎盂移行部51c、腎盂51a内において内視鏡2によりそれぞれ得られる複数枚の内視鏡画像から、それぞれ輝度の平均的な内視鏡画像を作成して、尿管10内、尿管腎盂移行部51c、腎盂51a内のテンプレート画像を設定しても良い。
画像設定部44dは、このように設定された3種類のテンプレート画像を予め格納する画像格納部を備え、画像設定部44dは、テンプレート画像を画像格納部から読み出し、テンプレート画像を設定する。なお、画像格納部をメモリ44fにより形成しても良い。
次のステップS43において制御部43は、テンプレート画像(又はテンプレートマッチング)のパラメータkを初期値0に設定する。なお、パラメータkは、0が尿管10、1が尿管腎盂移行部51c、2が腎盂51aに対応して設定される。
次のステップS44において特徴量比較部44(の画像設定部44d)は、パラメータkに対応して3種類のテンプレート画像の設定を行う。つまり、画像設定部44dは、このパラメータk=0に対応した尿管10のテンプレート画像、k=1の尿管腎盂移行部51cのテンプレート画像、k=1の腎盂のテンプレート画像を設定(用意)する。
次のステップS45において類似度算出部44eは、内視鏡2により得られた内視鏡画像と、テンプレート画像との類似度Sikを算出するテンプレートマッチングを行う。また、次のステップS46において類似度算出部44eは、パラメータkが2であるかを判定し、パラメータkが2でない場合には、次のステップS47おいて類似度算出部44eは、パラメータkを1つ大きくしてステップS44の処理に戻る。
本実施形態においては、内視鏡画像とテンプレート画像との類似度Sikを、以下の式1により算出する。
Sik=ΣxΣy(fi(x,y)−tk(x,y))2 (1)
ここで、fi(x,y)は、フレーム番号iで、座標(x,y)の2次元内視鏡画像(の画素値)、tk(x,y)は、パラメータkにおける座標(x、y)の2次元テンプレート画像(の画素値)を表す。また、ΣxとΣyは、2次元内視鏡画像及び2次元テンプレート画像におけるx座標とy座標の範囲内において加算することを表す。
式1から分かるように類似度Sikは、その値が小さい程、類似していることを示す。Sikを類似指数と定義し、類似指数Sikが小さい値ほど、類似度が大きい(高い)と表現しても良い。
ステップS46においてパラメータkが2の場合には、ステップS48の処理に進む。
次のステップS49において類似度算出部44eは、メモリ44fに尿管10、尿管腎盂移行部51c、腎盂51aの順に検出された履歴情報(基準履歴情報と言う)が在るか否かを判定する。現時点では、そのような履歴情報が存在しないので、ステップS7の処理に移り、フレーム番号iを1つ大きくしてステップS2の処理に戻る。
このようにして、時間的に後のフレーム番号iの内視鏡画像fiに対して同様の処理が繰り返される。そして、内視鏡2の先端部15が尿管腎盂移行部51c内に達すると、その場合の内視鏡画像と尿管腎盂移行部51cのテンプレート画像t1との類似度の値が最小となる。そして、ステップS48においてメモリ44fには、fi:シーンSc(尿管腎盂移行部)が記録される。また、この場合においても、次のステップS49において基準履歴情報でないと判定され、ステップS7の処理に移る。
このような記録状態になると、ステップS49において類似度算出部44eは、メモリ44fに記録された履歴情報から、尿管、尿管腎盂移行部、腎盂の順に検出されたと判定し、判定信号をトリガ信号生成部45に出力し、ステップS50の処理に進む。
なお、類似度Sikとして式1に示した式の代わりに、以下の式2に示す正規化相互相関Tikを利用しても良い。
Tik=ΣxΣy{(fi(x,y)−<fi>)(tk(x,y)−<tk>)}/U (2)
U=(ΣxΣy(fi(x,y)−<fi>)2(tk(x,y)−<tk>)2)1/2
なお、<fi>、<tk>は、それぞれfi、tkの平均値を表す。
また、テンプレートマッチングは、内視鏡画像とテンプレート画像とがほぼ一致した画像でないと、類似度が小さくならない為、観察方向が変化すると、検出(判定)の精度が低下する。精度の低下を防止するために、例えば、図12Bの内視鏡画像を尿管10の場合のテンプレート画像にする場合、点線で示すように特徴部分を切り出した、切り出し画像をテンプレート画像に設定しても良い。他のテンプレート画像に対しても同様に適用しても良い。
また、類似度を算出する場合に用いるレンプレート画像として、実際の腎臓の観察画像を複数枚用いて、その画像を教師データとしてニューラルネットワークを構築して、尿管、尿管腎盂移行部、腎盂を検出するようにしてもよい。
上述した第1及び第2の実施形態は、内視鏡2を尿管10から腎臓の腎盂側に挿入する場合を説明したが、内視鏡2を口から肺内に挿入する場合にも適用できることを以下に説明する。
内視鏡2の先端部15を口から肺に挿入した場合、撮像される画像は、図16Aの咽頭、図16Bの器管支,図16Cの左右の主気管支の分岐部の順番の内視鏡画像となる。なお、図16A、図16B,図16Cは、それぞれ概略図を示し、より具体的な画像は、図17A、図17B又は図17C,図17Dとなる。
気管支は、尿管10の場合と同様に細い管腔構造となり、図17B又は図17Cに示すように中心側が暗くなる内視鏡画像となる。また、内視鏡2の先端部15が気管支の深部側(奥に)に挿入されると、図17Dに示すように輝度が均一に近い状態の左右の主気管支の分岐部が現れる内視鏡画像となる。そして、例えば、左右の主気管支の分岐部が現れる内視鏡画像を、輝度情報から検出(判定)したり、テンプレート画像を用いた類似度を算出して検出(判定)したりすることができる。
よって、上述した腎臓の観察の場合と同様に、第1の実施形態、第2の実施形態を適用して、(気管支の観察支援をするための)気管支の3次元形状画像(3次元モデル画像)の構築を自動的に開始させる処理を内視鏡画像から同様に行うことができる。
次に本発明の第3の実施形態を説明する。腎臓内等に内視鏡2を挿入する場合、円滑に挿入するための挿入補助具としてのアクセスシースを採用する場合がある。本実施形態においては、アクセスシースを採用した場合の実施形態である。
図18Aは、尿管10内に留置したアクセスシース61を示し、アクセスシース61の先端は、尿管腎盂移行部51cの手前あたりに配置される。そして、アクセスシース61内に挿入した内視鏡2より、アクセスシース61の先端を、内視鏡画像から検出することにより、尿管10における腎盂尿管移行部の手前を検出することができる。なお、アクセスシース61は、例えば後述する図25Aの拡大図に示すように先端部61aが、その他の部分(樹脂)と異なる金属により構成され、その色も異なる。
挿入補助具としてのアクセスシース61は、内視鏡2の挿入部11の外径よりも大きい内径の管路を有する。また、アクセスシース61の基端の挿入口61b(図25A参照)から内視鏡2の挿入部11の先端部15を挿入可能である。挿入された内視鏡2の先端部15をアクセスシース61の先端部61a(図25A参照)の先端の突出口から外部に突出させることができる。
図18Bに対応した実際に得られる内視鏡画像は、図18Cのようになる。アクセスシース61の内壁画像I61と、アクセスシース61の先端内部画像I61aと、その内側の尿管内壁画像I10の色とが異なることから、先端内部画像I61aと尿管内壁画像I10との境界を内視鏡画像から検出することができる。
また、図18B及び図18Cに示すようにアクセスシース61の先端内部画像I61aとその内側の尿管内壁画像I10との境界は、円又は楕円となるので、その境界を形状から検出することもできる。
図19は、本実施形態における特徴量比較部44の構成を示す。本実施形態は、図1及び図2と同様の構成であり、図2における特徴量比較部44のより詳細な構成が第1の実施形態の場合と異なるのみの構成となる。
図19に示すように特徴量比較部44は、色度図上の処理を行う色度図処理部44gと、先端内部画像I61aとその内側の尿管内壁画像I10との円又は楕円の境界を検出するための円形ハフ変換等の処理を行う境界処理部44hとを有する。また、境界処理部44hは、円形ハフ変換を行う円形ハフ変換処理部を含む。
術者は、入力装置38から色度図処理部44gを用いてトリガ信号を発生させる場合と、境界処理部44hを用いてトリガ信号を発生させる場合とを選択することができる。
ステップS51及びS52において特徴量比較部44(の前処理部又は)は、ステップS41及びS42の場合と同様に、内視鏡画像のノイズ除去の処理とハレーションの除去の処理を行う。
次のステップS53において特徴量比較部44(の色度図処理部44g)は、内視鏡画像の各画素を、図18Dに示す色度図にプロットする。
内視鏡2の先端部15が挿入された位置が図18Aに示す位置よりも浅い場合には、内視鏡画像の色度図上の位置は、アクセスシース61の内壁画像I61の色に対応した位置となる。
そして、内視鏡2の先端部15が図18A又はこれに近い位置まで挿入されると、その場合の内視鏡画像は図18Cに近い画像となり、色度図上においては、先端内部画像I61aの色が複数プロットされる。なお、図18Dにおいて、先端内部画像I61aの所定の色の領域をC61aで示している。
一方、ステップS54の判定処理において所定の色の領域C61a内に所定数以上、プロットされた位置が存在する判定結果の場合には、特徴量比較部44(の色度図処理部44g)は、トリガ信号を発生させる判定信号をトリガ信号生成部45に出力する。
次のステップS8においてトリガ信号生成部45はトリガ信号を発生する。そして、図2に示す3次元モデル画像生成部41aは、3次元形状画像の構築を開始する。
なお、ステップS54の判定処理として、更に色度図上において尿管内壁画像I10又は尿管腎盂移行部51cの画像の色の領域C10(図18Dの色度図において示す)に、所定数以上、プロットされた位置が存在する条件を追加しても良い。
先端部15がアクセスシース61の先端部61aに近い位置になると、円形の領域のサイズが大きくなり、その内側の尿管内壁画像I10又は尿管腎盂移行部51cの画像の内視鏡画像に占める割合も大きくなる。そのため、そのような画像の色度図上でプロットされた色も考慮してステップS54の判定を行うようにしても良い。
図20Bに示す処理は、図20AにおけるステップS53とS54とを、ステップS61〜S64に変更した処理となる。
ステップS52の処理のステップS61において特徴量比較部44(の境界処理部44h)は、内視鏡画像内のエッジ抽出を行う。特徴量比較部44(の境界処理部44h)は、例えば、内視鏡画像を形成するRGB画像におけるグリーン画像(G画像)を用いてCannyオペレータによるG画像内のエッジ成分を抽出する。
次のステップS62において特徴量比較部44(の境界処理部44h)は、内視鏡画像の輝度を2値化する処理を行う。より具体的には、特徴量比較部44(の境界処理部44h)は、内視鏡画像におけるG画像を用いて内視鏡画像の濃度値ヒストグラムを作成し、更に2値化の閾値を設定し、内視鏡画像を2値化する(p-タイル法等を用いる)。
次のステップS64において特徴量比較部44(の境界処理部44h)は、円形ハフ変換による2値化したエッジの各画素をパラメータ空間に投票する。
次のステップS65において特徴量比較部44(の境界処理部44h)は、円形を抽出する処理を行う。より具体的には、特徴量比較部44(の境界処理部44h)は、パラメータ空間での投票度数が最大となる位置を検出する。
次のステップS66において特徴量比較部44(の境界処理部44h)は、アクセスシース61の先端部61aの有無を判定する。より具体的には、特徴量比較部44(の境界処理部44h)は、ステップS65で検出された投票度数が特定の閾値以上かを判定し、閾値未満である場合には、内視鏡2の先端部15がアクセスシース61の先端部61a付近に存在しない状態の内視鏡画像であると判定する。この判定結果の場合には、ステップS7の処理に進む。
また、本実施形態においては、アクセスシース61の先端部61aを留置する位置の設定(調整)により、3次元形状画像の構築を開始させる位置を調整することができる。
次に本発明の第4の実施形態を説明する。本実施形態は、腎盂51a、腎杯51b内における特定の構造を検出した場合、トリガ信号を発生して、3次元形状画像の構築を開始する。
本実施形態は、図21に示すように特徴量比較部44は、特定の構造を検出する構造検出部44iを有する。構造検出部44iは、検出対象に設定される特定の構造を有する基準画像の特徴を格納するメモリ44jを有する。
構造検出部44iは、内視鏡2による取得される内視鏡画像が特定の構造を有するか否かを検出(判定)し、特定の構造を有することを検出した場合、判定信号をトリガ信号生成部に出力する。そして、3次元形状画像の構築が開始する。
なお、メモリ44jは、特定の構造を有する複数種類の基準画像の特徴を格納でき、術者は、検出対象とする特定の構造を選択(設定)できる。つまり、術者は、複数種類の基準画像の特徴から1つの基準画像の特徴を選択することにより、選択された基準画像の特徴(特定の構造)に相当する検出結果の位置から3次元形状画像の構築を開始させる選択を行うことができる。
また、図22B又は図22Cは、上腎杯における腎乳頭を特定の色を有すると共に、***した形状となる特定の構造を有する基準画像を示す。内視鏡2を腎杯51b内に挿入し、図22B又は図22Cに示すように白色に近い周辺の色に対して、矢印で示すように肌色に近い色を有し、***した形状を有する腎乳頭の構造St2,St3を検出した場合に、構造検出部44iは、判定信号を発生し、3次元形状画像の構築が開始するようにする。その他の構成は、第1の実施形態と同様の構成である。
図23は、本実施形態におけるトリガ信号を生成するための処理のフローチャートを示す。この処理は、例えば図20Aにおいて、ステップS53,S54の処理をステップS71,S72に置換した処理となる。
次のステップS72において構造検出部44iは、内視鏡画像が特定の構造を、予め設定された閾値以上の割合で特定の構造を有するか否かを判定する。閾値未満の割合で特定の構造を検出した場合には、ステップS7の処理に移り、閾値以上の割合で特定の構造を検出した場合にはステップS8の処理に進む。
本実施形態によれば、特定の構造を検出した場合に、自動的に3次元形状画像(3次元モデル画像)の構築(生成)を開始することができる。
また、複数種類の特定の構造を用意することにより、3次元形状画像を構築する位置を選択することができる。
次に本発明の第5の実施形態を説明する。本実施形態は、上述した第1〜第4の実施形態のいずれかの実施形態において、トリガ信号生成部45又は動作検知部47が、キャリブレーションを行うキャリブレーション処理部45aを有する。図24Aは、トリガ信号生成部45がキャリブレーション処理部45aを有する例を示す。
また、本実施形態においては、術者は、入力装置38から上述した実施形態の処理を行う場合と、キャリブレーション処理部45aによる処理に基づいてトリガ信号を生成する場合との一方を選択することができる。上述した実施形態の処理を選択した場合には、上述した実施形態と同様の処理となり、説明済みの動作となる。そのために、以下ではキャリブレーション処理部45aを選択した場合の処理等を説明する。
腎臓は呼吸によって移動する為、精度の高い観察支援を実現するためには呼吸による腎臓の動きを考慮する必要がある。例えば、呼吸の動きによる内視鏡2の先端部15の位置を補正しない場合には、内視鏡2の先端部15の位置に基づく3次元形状画像(3次元モデル画像)を構築する場合の精度と、表示した場合の精度も低下する。また、モニタ8に表示される腎盂・腎杯形状に対して内視鏡先端が実際と異なる位置に表示される。
図24Bは、本実施形態の処理を示す。図24に示す処理は、図4の処理と類似しているので、異なる部分のみ説明する。ステップS1として、初期化を行う。ここではパラメータjのみ用い、初期値j=0に設定し、ステップS2の処理に進む。ステップS2においてパラメータjが1でない場合には、ステップS81の処理に進み、ステップS81においてキャリブレーション処理部45aは、キャリブレーションの処理を行う。
キャリブレーション処理部45aは、腎臓内に挿入した内視鏡2の先端部15を、腎臓の動きに合わせて動かすことにより、先端部15の位置の動きを、腎臓の動きとして先端部15の位置を求めても良い。
このような推定を行うことが可能な補正のデータ取得が完了した状態になると、キャリブレーション処理部45aは、キャリブレーションが完了し、完了を通知する判定信号又はトリガ信号を出力する。なお、キャリブレーション処理部45aがトリガ信号生成部45の外部に設けられている場合には、キャリブレーション処理部45aがトリガ信号生成部45にトリガ信号を発生させる判定信号を出力する。
ステップS81の次のステップS82においてキャリブレーション処理部45aは、キャリブレーションが完了したか(換言すると、補正のデータ取得が完了したか)を判定する。キャリブレーションが完了していない場合には、ステップS81の処理に戻る。
一方、キャリブレーションが完了した場合には、ステップS8に進み、ステップS8の処理後にステップS4に進む。ステップS4以降は、図4と同様の処理を行う。但し、ステップS11において、終了でない場合にはステップS4の処理に戻る。また、ステップS4において、先端部15の位置の情報を取り込んだ際に、上記のように呼吸による変動量を補正した位置の情報を取得して、ステップS9の処理を行う。
本実施形態によれば、キャリブレーションの完了後に、トリガ信号を発生して、自動的に3次元形状画像の構築を開始できる。また、呼吸による先端部15の位置が変動した場合の影響を低減した3次元形状画像の構築ができる。
次に本発明の第6の実施形態を説明する。本実施形態は、上述した第1〜第5の実施形態のいずれかの実施形態において、磁界検出部46が、磁界変化を検出した場合に判定信号をトリガ信号生成部45に出力し、3次元モデル画像生成部41aは、3次元形状画像の構築を開始する。入力装置38から磁界検出部46を用いない選択を行った場合には、上述した第1〜第5の実施形態のいずれかの動作となる。このため以下では、入力装置38から磁界検出部46を用いる選択を行った場合を説明する。
内視鏡2の先端部15がアクセスシース61の先端部61a付近の位置を通過したような場合における、先端部内センサ34から出力される磁界の検出信号から磁界検出部46が磁界の変化量を検出して、トリガ信号を発生させる判定信号を発生する。
図25Aは、図18Aと同様の図であり、内視鏡2の先端部15及びその周囲のアクセスシース61の先端部61aの付近を拡大図により拡大して示す。拡大図からのハッチングから分かるように、アクセスシース61の先端部61aは、導電性を有する金属で構成され、先端部61a以外は樹脂等の非金属部材(又は絶縁製部材)で構成されている。以下に説明するようにアクセスシース61の先端部61aが、アクセスシース61におけるその他の部分と、磁界に対する特性が異なることを利用して、信号生成部を構成するトリガ信号生成部45は、トリガ信号を発生(生成)する。
図25Cは、図25Aにおいて、更に内視鏡2の先端部15がアクセスシース61の先端部61a内にまで挿入された状態を示す。
図25Cにおける円形部分の拡大図に示すように、先端部15内には先端部内センサ34を形成するセンスコイル34a〜34cが配置されている。また、患者9の外部に配置されるアンテナ7を構成するソースコイル7aには、交流電流が印加され、このソースコイル7aは、その周囲に(交流)磁界を発生する。なお、先端部15の位置の検出精度を向上するために、複数のソースコイルが採用されている。
図25Dは、ソースコイル7aが発生する磁界と、その磁界を検出するセンスコイル34aを示す(センスコイル34b,34cは、センスコイル34aの場合と同様に作用する)。
図25Dに示すように、ソースコイル7aには時間的に変化する電流が流れ、時間的に変化する磁界Hが発生する。ソースコイル7aが発生した磁界H内にセンスコイル34aを配置した場合、電磁誘導によりセンスコイル34aに電流が流れる。
そのため、金属Mの近傍にセンスコイル34aが配置されていると、センスコイル34aは、渦電流Ceによって発生した磁界とソースコイル7aが発生した磁界Hの合成された磁界を検出することになり、金属Mの有無によってセンスコイル34aが検出する出力が変化する。
内視鏡2の先端部15がアクセスシース61の先端部61a内に存在した場合、又は先端部61aを通過した場合、アクセスシース61の先端部61aを境にセンスコイル34aの出力が変動する。
従って、磁界検出部46が変動する出力を検出することにより、内視鏡2の先端部15がアクセスシース61の先端部61aを通過したことを判定することができる。
本実施形態によれば、先端部15がアクセスシース61の先端部61aを通過した際の磁界変化量を検出した場合にトリガ信号を発生し、自動的に3次元形状画像の構築を開始できる。
先端部15がアクセスシース61の先端部61aに近づき、先端部61a内(先端部61aの内側)に入った際の磁界変化量を磁界検出部46が検出した判定信号に基づいて、トリガ信号を発生させるようにしても良い。
換言すると、内視鏡2の先端部15がアクセスシース61の先端部61aのような所定の位置にあることを(磁界検出部46が)検知した場合、トリガ信号生成部45が3次元モデル画像の生成を開始するトリガ信号を生成するようにしても良い。
このように磁界検出部46が内視鏡2の先端部15内に配置され、先端部15の位置を検出する先端部内センサ34により検出される検出信号から内視鏡2の先端部15周辺の磁界変化を検出し、検出結果の判定信号をトリガ信号生成部45に出力する。
トリガ信号生成部45(及び磁界検出部46)は、内視鏡2が所定の位置にあることを検知した場合のトリガ信号を生成する信号生成部をトリガ信号生成部45が構成する。なお、トリガ信号生成部45が磁界検出部46を備える構成にしても良いし、逆に磁界検出部46がトリガ信号生成部45を備える構成にしても良い。そして、本実施形態は以下のような構成であるとも言える。
上記のように内視鏡2の先端部15アクセスシース61の先端部61a等の所定の位置にあることを検知(検出)した場合の他の場合にも、トリガ信号を発生させるようにしても良い。
例えば、磁界検出部46が、先端部内センサ34がアンテナ7の検出範囲に入った場合に、トリガ信号生成部45からトリガ信号を発生させ、3次元モデル画像生成部41aが3次元形状画像の構築を開始するような構成にしても良い。
また、一定時間間隔等において先端部15の位置の推定から、動作検知部47が先端部15の移動速度を算出し、移動速度が閾値未満となった場合に、トリガ信号を発生し、3次元モデル画像生成部41aが3次元形状画像の構築を開始するような構成にしても良い。
また、第6の実施形態により、内視鏡2の先端部15が所定の位置にあることを検知した場合、その時間から設定された時間、又は所定の位置から設定された距離遡って、3次元モデル画像生成部41aが3次元形状画像の構築を開始するようにしても良い。
また、内視鏡画像(撮像画像)における所定のパラメータの所定値以上の結果(又は変化結果)と、術者等のユーザによる内視鏡2の挿入動作の検知結果と、に基づいて、トリガ信号を生成するようにしても良い。
図26Bは、この場合の処理の例を(第6の実施形態の第1変形例として)示す。図26Bは、例えば図4の処理において、ステップS6において所定の特徴量(パラメータ)C(i,j)が閾値以上の場合には、ステップS6′の処理を行うフローチャートとなる。ステップS6′以外は、図4と同様の処理となる。
ステップS6′において、例えば動作検知部47により形成される挿入動作検知部が、(所定の)挿入動作を検知したか否かを判定(検知)し、挿入動作を検知しない場合には、ステップS7に移る。一方、ステップS6′において、動作検知部47により形成される挿入動作検知部が、挿入動作を検知した場合には、ステップS8に進み、トリガ信号を発生する。
また、ユーザが入力装置38から上述した実施形態及び変形例等を選択的に動作させる選択を行うことができる構成にしても良い。
図27は、ユーザが入力装置38から上述した実施形態及び変形例等を選択的に動作させることができる(第6の実施形態の第2変形例の)観察支援装置6Bを示す。
図27の観察支援装置6Bは、特徴量比較部44が第1の実施形態における輝度抽出回路44a,比較回路44b,閾値設定部44c,から第4の実施形態における構造検出部44i、メモリ44jまでを有する。また、トリガ信号生成部45は、キャリブレーション処理部45aを有する。
そして、ユーザは、入力装置38から第1の実施形態の輝度抽出回路44a,比較回路44b,閾値設定部44c〜第4の実施形態の構造検出部44i、メモリ44jまでの1つの実施形態を選択して、3次元形状画像の構築を開始させる構成を選択できる。
また、その他に、入力装置38からキャリブレーション処理部45aを選択したり、磁界検出部46を選択する等して、上述した第6の実施形態等の処理や動作を行うようにすることもできる。図27の観察支援装置6Bを用いた場合には、3次元形状画像の構築を開始させる場合において、ユーザの選択肢が増え、操作性の良い医療用観察システムを実現できる。
なお、上述した実施形態等を部分的に組み合わせて異なる実施形態等を構成しても良い。
Claims (13)
- 3次元形状を有する被検体の内部を撮像する撮像部を有する内視鏡と、
前記撮像部により出力された撮像画像に基づいて、前記被検体の3次元モデル画像を構築する3次元モデル画像生成部と、
前記撮像画像における所定のパラメータに基づいて、前記3次元モデル画像の生成を開始させるためのトリガ信号を生成する信号生成部と、
前記3次元モデル画像生成部に対して、前記信号生成部により生成された前記トリガ信号に基づいて、前記3次元モデル画像の生成を開始するよう制御する制御部と、
を有することを特徴とする医療用観察システム。 - 前記撮像画像における前記所定のパラメータを特徴量として所定の閾値と比較する特徴量比較部をさらに備え、
前記信号生成部は、前記特徴量比較部による比較結果に基づいて、前記トリガ信号を生成することを特徴とする請求項1に記載の医療用観察システム。 - 前記所定のパラメータは、輝度情報であることを特徴とする請求項1に記載の医療用観察システム。
- 前記所定のパラメータは、前記撮像画像と、予め記憶されている参照画像と、の類似度であることを特徴とする請求項1に記載の医療用観察システム。
- 術者による前記内視鏡の挿入動作を検知する挿入動作検知部を更に備え、
前記信号生成部は、前記所定のパラメータが所定値以上変化し、かつ前記挿入動作検知部による検知結果に基づいて、前記トリガ信号を生成することを特徴とする請求項1に記載の医療用観察システム。 - 3次元形状を有する被検体の内部を観察する内視鏡と、
前記被検体の3次元モデル画像を構築する3次元モデル画像生成部と、
前記内視鏡が所定の位置にあることを検知した場合、前記3次元モデル画像の生成を開始するトリガ信号を生成する信号生成部と、
前記3次元モデル画像生成部に対して、前記信号生成部により生成された前記トリガ信号に基づいて、前記3次元モデル画像の生成を開始するよう制御する制御部と、
を有することを特徴とする医療用観察システム。 - 前記内視鏡先端部周辺の磁界の変化を検出する磁界検出部をさらに備え、
前記信号生成部は、前記磁界検出部による検出結果に基づいて、前記内視鏡が所定の位置にあることを検知して、前記トリガ信号を生成することを特徴とする請求項6に記載の医療用観察システム。 - 前記内視鏡が挿入口から内部に挿入することが可能であると共に、前記挿入口から挿入された前記内視鏡の先端部を突出口から外部に突出させることが可能な管路として形成された挿入補助具を更に備え、
前記磁界検出部は、前記内視鏡の先端部が前記挿入補助具における前記突出口から突出された際の磁界変化を検出することを特徴とする請求項7に記載の医療用観察システム。 - 前記特徴量比較部は、前記撮像画像における前記特徴量として、前記撮像画像全体又は所定の方向に沿った前記撮像画像の領域を複数の分割領域に分割し、前記複数の分割領域それぞれの輝度平均値を算出し、更に前記輝度平均値の最大値と最小値との差分を算出する輝度算出回路を有し、
前記差分が閾値以下の場合に、前記信号生成部は、前記トリガ信号を生成することを特徴とする請求項2に記載の医療用観察システム。 - 前記特徴量比較部は、前記内視鏡が挿入された前記被検体の内部における特定の位置においての前記撮像画像又は当該撮像画像に類似する画像を前記参照画像として予め記憶するメモリと、前記参照画像と実際に前記撮像部により撮像された前記撮像画像との類似度を算出する類似度算出部と、を有し、前記類似度算出部が十分に類似している比較結果の場合に、前記信号生成部は、前記トリガ信号を生成することを特徴とする請求項2に記載の医療用観察システム。
- 前記特徴量比較部は、前記内視鏡が挿入された前記被検体の内部における挿入口から該挿入口よりも深部側となる挿入経路に沿った少なくとも第1及び第2の特定の位置においての撮像画像又は当該撮像画像に類似する画像を、第1及び第2の参照画像として予め記憶するメモリと、前記第1及び第2の参照画像と実際に前記撮像部により撮像された前記撮像画像との類似度を算出する類似度算出部と、を有し、
前記類似度算出部が前記撮像部による前記撮像画像が前記第1の参照画像と類似する比較結果を得た後に、前記撮像部による前記撮像画像が前記第2の参照画像と類似する比較結果を得た場合に、前記信号生成部は、前記トリガ信号を生成することを特徴とする請求項2に記載の医療用観察システム。 - 前記特徴量比較部は、前記内視鏡が挿入された前記被検体の内部における挿入口から該挿入口よりも深部側となる挿入経路に沿った第1、第2及び第3の特定の位置においての撮像画像又は当該撮像画像に類似する画像を、第1、第2及び第3の参照画像として予め記憶するメモリと、前記第1、第2及び第3の参照画像と実際に前記撮像部により撮像された前記撮像画像との類似度を算出する類似度算出部と、を有し、
前記類似度算出部が前記撮像部による前記撮像画像が前記第1の参照画像と最も類似する第1の比較結果と、前記撮像部による前記撮像画像が前記第2の参照画像と最も類似する第2の比較結果とを順次得た後に、前記撮像部による前記撮像画像が前記第3の参照画像と最も類似する第3の比較結果を得た場合に、前記信号生成部は、前記トリガ信号を生成することを特徴とする請求項2に記載の医療用観察システム。 - 前記内視鏡が挿入口から内部に挿入することが可能であると共に、前記挿入口から挿入された前記内視鏡の先端部を突出口から外部に突出させることが可能な管路として形成され、前記突出口付近の内壁が他の内壁及び前記被検体内部の色と異なる色を有する挿入補助具を更に備え、
前記特徴量比較部は、前記撮像部による前記撮像画像の各画素を色度図上にプロットする色度図処理部を有し、
前記色度図処理部が色度図上にプロットされた各画素が前記突出口付近の内壁の色に相当する領域内に存在する数を所定数と比較し、所定数以上有る比較結果の場合に、前記信号生成部は、前記トリガ信号を生成することを特徴とする請求項2に記載の医療用観察システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016113777 | 2016-06-07 | ||
JP2016113777 | 2016-06-07 | ||
PCT/JP2017/009831 WO2017212725A1 (ja) | 2016-06-07 | 2017-03-10 | 医療用観察システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2017212725A1 true JPWO2017212725A1 (ja) | 2018-06-28 |
Family
ID=60578499
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018501382A Pending JPWO2017212725A1 (ja) | 2016-06-07 | 2017-03-10 | 医療用観察システム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JPWO2017212725A1 (ja) |
WO (1) | WO2017212725A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190090960A1 (en) * | 2017-09-25 | 2019-03-28 | Intuitive Surgical Operations, Inc. | Tubular body structure imaging and locating system |
JPWO2020153186A1 (ja) * | 2019-01-24 | 2021-11-18 | 富士フイルム株式会社 | 内視鏡装置 |
JP6632020B1 (ja) * | 2019-09-20 | 2020-01-15 | 株式会社Micotoテクノロジー | 内視鏡画像処理システム |
WO2021166103A1 (ja) * | 2020-02-19 | 2021-08-26 | オリンパス株式会社 | 内視鏡システム、管腔構造算出装置及び管腔構造情報の作成方法 |
JPWO2022080141A1 (ja) * | 2020-10-12 | 2022-04-21 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004290380A (ja) * | 2003-03-26 | 2004-10-21 | Olympus Corp | 医療装置 |
WO2007139187A1 (ja) * | 2006-05-31 | 2007-12-06 | National University Corporation Chiba University | 3次元画像構築装置及び方法並びにプログラム |
JP2009056239A (ja) * | 2007-09-03 | 2009-03-19 | Olympus Medical Systems Corp | 内視鏡装置 |
WO2014136579A1 (ja) * | 2013-03-06 | 2014-09-12 | オリンパスメディカルシステムズ株式会社 | 内視鏡システム及び内視鏡システムの作動方法 |
WO2015049962A1 (ja) * | 2013-10-02 | 2015-04-09 | オリンパスメディカルシステムズ株式会社 | 内視鏡システム |
WO2015098210A1 (ja) * | 2013-12-24 | 2015-07-02 | オリンパス株式会社 | 内視鏡用シース |
-
2017
- 2017-03-10 JP JP2018501382A patent/JPWO2017212725A1/ja active Pending
- 2017-03-10 WO PCT/JP2017/009831 patent/WO2017212725A1/ja active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004290380A (ja) * | 2003-03-26 | 2004-10-21 | Olympus Corp | 医療装置 |
WO2007139187A1 (ja) * | 2006-05-31 | 2007-12-06 | National University Corporation Chiba University | 3次元画像構築装置及び方法並びにプログラム |
JP2009056239A (ja) * | 2007-09-03 | 2009-03-19 | Olympus Medical Systems Corp | 内視鏡装置 |
WO2014136579A1 (ja) * | 2013-03-06 | 2014-09-12 | オリンパスメディカルシステムズ株式会社 | 内視鏡システム及び内視鏡システムの作動方法 |
WO2015049962A1 (ja) * | 2013-10-02 | 2015-04-09 | オリンパスメディカルシステムズ株式会社 | 内視鏡システム |
WO2015098210A1 (ja) * | 2013-12-24 | 2015-07-02 | オリンパス株式会社 | 内視鏡用シース |
Also Published As
Publication number | Publication date |
---|---|
WO2017212725A1 (ja) | 2017-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9516993B2 (en) | Endoscope system | |
JP5715311B2 (ja) | 内視鏡システム | |
JP5855358B2 (ja) | 内視鏡装置及び内視鏡装置の作動方法 | |
WO2017212725A1 (ja) | 医療用観察システム | |
US9326660B2 (en) | Endoscope system with insertion support apparatus | |
US9357945B2 (en) | Endoscope system having a position and posture calculating portion | |
JP4585048B2 (ja) | 内視鏡システム | |
CN108135453B (zh) | 内窥镜***和图像处理方法 | |
JPWO2014156378A1 (ja) | 内視鏡システム | |
JP5977900B2 (ja) | 画像処理装置 | |
CN111067468B (zh) | 用于控制内窥镜***的方法、设备及存储介质 | |
JP5750669B2 (ja) | 内視鏡システム | |
JP6022133B2 (ja) | 医療装置 | |
JPWO2019130868A1 (ja) | 画像処理装置、プロセッサ装置、内視鏡システム、画像処理方法、及びプログラム | |
US9345394B2 (en) | Medical apparatus | |
US10694929B2 (en) | Medical equipment system and operation method of medical equipment system | |
WO2022202520A1 (ja) | 医療情報処理装置、内視鏡システム、医療情報処理方法、及び医療情報処理プログラム | |
WO2022190366A1 (ja) | 内視鏡用形状計測システムおよび内視鏡用形状計測方法 | |
JP6335839B2 (ja) | 医療装置、医療画像生成方法及び医療画像生成プログラム | |
WO2016039292A1 (ja) | 内視鏡システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180112 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180112 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20180112 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20180306 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180313 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180403 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180612 |