JPWO2017212725A1 - Medical observation system - Google Patents
Medical observation system Download PDFInfo
- Publication number
- JPWO2017212725A1 JPWO2017212725A1 JP2018501382A JP2018501382A JPWO2017212725A1 JP WO2017212725 A1 JPWO2017212725 A1 JP WO2017212725A1 JP 2018501382 A JP2018501382 A JP 2018501382A JP 2018501382 A JP2018501382 A JP 2018501382A JP WO2017212725 A1 JPWO2017212725 A1 JP WO2017212725A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- endoscope
- trigger signal
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Biomedical Technology (AREA)
- Animal Behavior & Ethology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Astronomy & Astrophysics (AREA)
- General Physics & Mathematics (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
内視鏡の撮像部に基づく撮像画像(内視鏡画像)が入力される特徴量比較部44内の輝度抽出回路44aは、撮像画像の分割領域の輝度平均値の最大値と最小値との差分を算出し、比較回路44bは差分が閾値以下か否かを比較し、閾値以下の場合にはトリガ信号生成部45はトリガ信号を生成し、3次元モデル画像生成部41aは、撮像画像と、内視鏡の先端部内センサ34に基づく位置情報から3次元形状画像を構築する処理を開始する。The luminance extraction circuit 44a in the feature amount comparison unit 44 to which a captured image (endoscopic image) based on the imaging unit of the endoscope is input is the maximum and minimum luminance average values of the divided regions of the captured image. The difference is calculated, and the comparison circuit 44b compares whether or not the difference is equal to or smaller than the threshold value. If the difference is equal to or smaller than the threshold value, the trigger signal generation unit 45 generates a trigger signal, and the three-dimensional model image generation unit 41a Then, a process of constructing a three-dimensional shape image from the position information based on the endoscope front end sensor 34 is started.
Description
本発明は、内視鏡による観察に基づいて3次元モデル画像を生成する医療用観察システムに関する。 The present invention relates to a medical observation system that generates a three-dimensional model image based on observation with an endoscope.
近年、内視鏡は、医療用分野等において広く用いられるようになっている。また、内視鏡は、腎盂、腎杯のように被検体における複雑な3次元形状を有する管腔臓器内の検査、又は観察に使用される場合がある。
このように、複雑な3次元形状を有する管腔臓器内を観察するような場合には、観察しようとする管腔領域の3次元形状(立体形状)を表示して、観察状況をユーザに提示する観察支援システムが用いられる場合がある。
例えば、第1の従来例としての日本国特開平10−234662号公報は、マウス又はキーボードからの入力操作をトリガとして、被検体のスライス画像から3次元モデル画像の生成を開始することを開示している。
また、第2の従来例としての日本国特開2002−306403号公報は、内視鏡の先端位置の座標データの変化をトリガとして、先端付近の器官のCTデータを記憶部から読み出して、先端付近の周囲の器官の内壁の3次元画像を構築して、モニタに3次元画像を表示することを開示している。In recent years, endoscopes have been widely used in the medical field and the like. Further, the endoscope may be used for examination or observation in a hollow organ having a complicated three-dimensional shape in a subject such as a renal pelvis or a renal cup.
Thus, when observing the inside of a luminal organ having a complicated three-dimensional shape, the three-dimensional shape (three-dimensional shape) of the luminal region to be observed is displayed and the observation status is presented to the user. In some cases, an observation support system is used.
For example, Japanese Patent Laid-Open No. 10-234662 as a first conventional example discloses that generation of a three-dimensional model image from a slice image of a subject is started using an input operation from a mouse or a keyboard as a trigger. ing.
Japanese Patent Laid-Open No. 2002-306403 as a second conventional example reads out CT data of an organ near the distal end from a storage unit using a change in coordinate data of the distal end position of an endoscope as a trigger, It discloses that a three-dimensional image of an inner wall of a nearby surrounding organ is constructed and the three-dimensional image is displayed on a monitor.
第1の従来例は、ユーザによる入力操作を必要とするため、入力操作が煩わしいと感じるユーザも存在し、また、検査中においてユーザが入力操作を忘れると、3次元モデル画像の生成が開始されないことが発生し、改善すべき欠点がある。
また、第2の従来例は、内視鏡の先端の位置の変化により3次元モデル画像を生成するが、撮像された画像に基づいて3次元モデル画像を生成することを開始することを開示していない。
ユーザは、内視鏡により臓器内部等の検査対象領域を観察(又は検査)する場合、観察している領域等の3次元モデル画像(3次元形状画像)を構築して表示すると、観察済みの領域の形状を把握できると共に、現在観察している状況から次に内視鏡を移動して観察しようとする作業を行い易くなる。
また、このように3次元モデル画像を構築して表示するようにした場合、ユーザは、内視鏡を患者に挿入した挿入口付近の3次元モデル画像を必要とせず、検査対象領域又はその周辺領域を観察する状態になった状態において3次元モデル画像の構築を開始する要望が多い。
このため、3次元モデル画像の構築を開始するべき状態になった場合に3次元モデル画像の構築を開始する医療用観察システムが望まれる。
本発明は上述した点に鑑みてなされたもので、撮像された画像等に基づいて生成されるトリガ信号により、自動的に3次元モデル画像の生成を開始する医療用観察システムを提供することを目的とする。Since the first conventional example requires an input operation by the user, there are some users who feel that the input operation is troublesome. If the user forgets the input operation during the examination, the generation of the three-dimensional model image is not started. And there are drawbacks to be improved.
Further, the second conventional example discloses that a three-dimensional model image is generated by a change in the position of the tip of the endoscope, but generation of a three-dimensional model image is started based on the captured image. Not.
When a user observes (or examines) a region to be examined such as the inside of an organ with an endoscope, a three-dimensional model image (three-dimensional shape image) such as the region being observed is constructed and displayed. The shape of the region can be grasped, and it becomes easy to perform an operation of moving the endoscope next to the observation from the current observation state.
In addition, when the three-dimensional model image is constructed and displayed in this way, the user does not need a three-dimensional model image near the insertion port where the endoscope is inserted into the patient, and the examination target region or its surroundings There are many requests to start construction of a three-dimensional model image in a state where an area is observed.
For this reason, a medical observation system that starts construction of a three-dimensional model image when construction of the three-dimensional model image is to be started is desired.
The present invention has been made in view of the above points, and provides a medical observation system that automatically starts generating a three-dimensional model image by a trigger signal generated based on a captured image or the like. Objective.
本発明の一態様の医療用観察システムは、3次元形状を有する被検体の内部を撮像する撮像部を有する内視鏡と、前記撮像部により出力された撮像画像に基づいて、前記被検体の3次元モデル画像を構築する3次元モデル画像生成部と、前記撮像画像における所定のパラメータが所定値以上変化した場合、前記3次元モデル画像の生成を開始するトリガ信号を生成する信号生成部と、前記3次元モデル画像生成部に対して、前記信号生成部により生成された前記トリガ信号に基づいて、前記3次元モデル画像の生成を開始するよう制御する制御部と、を有する。
また、本発明の他の態様の医療用観察システムは、3次元形状を有する被検体の内部を観察する内視鏡と、前記被検体の3次元モデル画像を構築する3次元モデル画像生成部と、前記内視鏡が所定の位置にあることを検知した場合、前記3次元モデル画像の生成を開始するトリガ信号を生成する信号生成部と、前記3次元モデル画像生成部に対して、前記信号生成部により生成された前記トリガ信号に基づいて、前記3次元モデル画像の生成を開始するよう制御する制御部と、を有する。The medical observation system according to one aspect of the present invention is based on an endoscope having an imaging unit that images the inside of a subject having a three-dimensional shape, and based on a captured image output by the imaging unit. A three-dimensional model image generating unit that constructs a three-dimensional model image; a signal generating unit that generates a trigger signal for starting generation of the three-dimensional model image when a predetermined parameter in the captured image changes by a predetermined value or more; A control unit that controls the three-dimensional model image generation unit to start generating the three-dimensional model image based on the trigger signal generated by the signal generation unit.
In addition, a medical observation system according to another aspect of the present invention includes an endoscope that observes the inside of a subject having a three-dimensional shape, and a three-dimensional model image generation unit that constructs a three-dimensional model image of the subject. The signal generator for generating a trigger signal for starting generation of the three-dimensional model image when detecting that the endoscope is at a predetermined position, and the signal to the three-dimensional model image generator A control unit configured to control generation of the three-dimensional model image based on the trigger signal generated by the generation unit.
以下、図面を参照して本発明の実施形態を説明する。
(第1の実施形態)
図1に示すように第1の実施形態の医療用観察システム1は、内視鏡2と、トロリー3に配置された光源装置4と、内視鏡画像装置5と、観察支援装置6と、観察支援装置6に接続され、磁界を発生するアンテナ7と、モニタ8とを有する。
内視鏡2は、軟性の挿入部11を有する軟性内視鏡であり、挿入部11は、被検体を形成する患者9内に挿入される。
光源装置4は、照明光を発生し、発生した照明光を内視鏡2(のライトガイド19)に供給する。内視鏡画像装置5は、内視鏡2に設けられた撮像部25に対する信号処理を行う。内視鏡画像装置5は、撮像部25から出力される撮像画像の画像信号からモニタ8に表示するための表示画像となる内視鏡画像の画像信号を生成し、観察支援装置6を介してモニタ8に出力する。モニタ8は、内視鏡画像表示エリア8aには内視鏡画像を、3次元モデル画像表示エリア8bには観察支援装置6により生成された3次元モデル画像をそれぞれ表示する。
なお、図1に示す例では、観察支援装置6には、内視鏡画像装置5からの内視鏡画像(の画像信号)が入力される構成となっているが、撮像部25の撮像画像(の画像信号)を観察支援装置6に入力し、観察支援装置6が内視鏡画像(の画像信号)も生成する構成にしても良い。Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(First embodiment)
As shown in FIG. 1, the
The
The
In the example illustrated in FIG. 1, the
内視鏡2は、患者9における観察対象の被検体となる所定の管腔臓器(単に管腔臓器とも言う)の一部を形成する例えば尿管10内に挿入される挿入部11と、この挿入部11の後端(基端)に設けられた操作部12と、操作部12から延出されるユニバーサルケーブル13とを有する。ユニバーサルケーブル13の端部に設けたライトガイドコネクタ14は、光源装置4のライトガイドコネクタ受けに着脱自在に接続される。
なお、尿管10は、その深部側において腎盂51a、腎杯51bに連通する(図3参照)。
挿入部11は、その先端に設けられた硬質の先端部15と、該先端部15の後端に設けられた湾曲可能な湾曲部16と、該湾曲部16の後端から操作部12の前端まで延びる可撓性を有する可撓管部17とを有する。
操作部12には湾曲部16を湾曲操作するための湾曲操作ノブ18が設けられている。The
The
The
The
図1における一部の拡大図で示すように挿入部11内には、照明光を伝送するライトガイド19が挿通されており、このライトガイド19の先端は、先端部15の照明窓に取り付けられ、ライトガイド19の後端は、ライトガイドコネクタ14に至る。
As shown in a partially enlarged view in FIG. 1, a
ライトガイドコネクタ14には、光源装置4の光源ランプ20で発生した照明光が集光レンズ21により集光されて入射され、ライトガイド19は伝送した照明光を照明窓に取り付けられた先端面から出射する。また、光源装置4は、光源ランプ20で発生する照明光の光量を調整する調光回路22を有する。
照明窓から出射される照明光により照明された管腔臓器内の観察対象部位(被写体とも言う)は、先端部15の照明窓に隣接して設けられた観察窓(撮像窓)に取り付けられた対物光学系23によりその結像位置に光学像が結像される。対物光学系23の結像位置には、撮像素子としての例えば電荷結合素子(CCDと略記)24の撮像面が配置される。このCCD24は、所定の画角(視野角)を有する。
対物光学系23と、CCD24は、管腔臓器内を撮像する撮像部(又は撮像装置)25を形成する。なお、CCD24の画角は、対物光学系23の光学特性(例えば焦点距離)にも依存するために、対物光学系23の光学特性を考慮に入れた撮像部25の画角や、または対物光学系を用いて観察する場合の画角と言うこともできる。Illumination light generated by the
An observation target site (also referred to as a subject) in the luminal organ illuminated by illumination light emitted from the illumination window is attached to an observation window (imaging window) provided adjacent to the illumination window of the
The objective
CCD24は、挿入部11内などを挿通された信号線26の一端と接続され、該信号線26の他端はライトガイドコネクタ14に接続される接続ケーブル27(内の信号線)を介して該接続ケーブル27の端部の信号コネクタ28に至る。この信号コネクタ28は内視鏡画像装置5の信号コネクタ受けに着脱自在に接続される。
内視鏡画像装置5は、CCD駆動信号を発生するドライバ31と、CCD24の出力信号に対する信号処理を行い、内視鏡画像の画像信号(映像信号)を生成する信号処理回路32とを有する。ドライバ31は、信号線26等を介してCCD24にCCD駆動信号を印加し、CCD駆動信号の印加によりCCD24は、撮像面に結像された光学像を光電変換した撮像画像の画像信号を出力する。
CCD24は、挿入部11内などを挿通された信号線26の一端と接続され、該信号線26の他端はライトガイドコネクタ14に接続される接続ケーブル27(内の信号線)を介して該接続ケーブル27の端部の信号コネクタ28に至る。この信号コネクタ28は内視鏡画像装置5の信号コネクタ受けに着脱自在に接続される。The
The
The
信号処理回路32は、生成した内視鏡画像の画像信号を伝送線29aを介して観察支援装置6に送る。モニタ8は、CCD24の撮像面に結像された所定の画角(の範囲)で撮像された光学像に対応する撮像画像を内視鏡画像表示エリア(単に画像表示エリアと略記)8aにおいて内視鏡画像を表示する。図1においては、CCD24の撮像面が例えば正方形の場合において、その4つの隅を切り欠いた8角形に近い内視鏡画像を表示する様子を示す。
また、信号処理回路32により生成された内視鏡画像の画像信号は、伝送線29aを介して光源装置4の調光回路22に出力し、調光回路22は、画像信号の数フレーム分の平均値と、設定された基準の明るさとの差信号を生成し、差信号の値が0になるように光源ランプ20が発生する照明光の光量を調整する。
内視鏡2は、例えばライトガイドコネクタ14内に、該内視鏡2に固有の情報を格納したメモリ30を有し、このメモリ30は、内視鏡2に搭載されたCCD24が有する画素数のデータ等を格納している。The
Further, the image signal of the endoscopic image generated by the
The
内視鏡画像装置5は、その内部の図示しない読出回路が、メモリ30に接続されたデータを読み出し、内視鏡画像装置5内のドライバ31と信号処理回路32に出力する。ドライバ31は、入力された画素数のデータに応じたCCD駆動信号を発生し、信号処理回路32は画素数のデータに対応した信号処理を行う。
上記信号処理回路32は、生成した例えばデジタルの内視鏡画像の画像信号又は2次元の内視鏡画像データ(単に内視鏡画像とも言う)を観察支援装置6に入力する入力部を形成する。
挿入部11の先端部15内には、体外における所定の位置に配置されたアンテナ7により発生した磁場を検出することにより先端部15の(3次元)を検出するための位置センサとなる複数のセンスコイル34a〜34cが配置されている。センスコイル34a〜34cは、先端部15内に配置された先端部内センサ34(図2参照)を形成する。
先端部15内において、挿入部11(又は先端部15)の長手方向に沿って配置された2つのセンスコイル34a,34bと、2つのセンスコイル34a,34bを結ぶ線分と直交する方向に配置されたセンスコイル34cとが配置されている。In the
The
A plurality of position sensors for detecting (three-dimensional) of the
In the
センスコイル34a,34bを結ぶ線分方向は、撮像部25を構成する対物光学系23の光軸方向(又は視線方向又は先端部15の姿勢)とほぼ一致するように配置されている。また、センスコイル34a〜34cを含む面がCCD24の撮像面における上下方向にほぼ一致するように配置されている。
センスコイル34a〜34cにより検出された位置情報は、内視鏡画像装置5から、伝送線29bを経由して観察支援装置6内の後述する先端部位置推定部に出力される。
このため、観察支援装置6内の後述する先端位置推定部42は、3つのセンスコイル34a〜34cの3次元位置を検出することにより、先端部15の3次元位置及び先端部15の軸方向を検出(推定)することができる。換言すると、先端部15においてのセンスコイル34a〜34cの3次元位置の検出からそれぞれ既知の距離離れて配置された撮像部25を構成する対物光学系23の3次元位置及び対物光学系23の視線方向(光軸方向)を検出することができる。
先端位置推定部42は、先端部15の3次元位置及び姿勢を推定する位置・姿勢推定部を形成する。The line segment direction connecting the sense coils 34a and 34b is arranged so as to substantially coincide with the optical axis direction (or the line-of-sight direction or the posture of the distal end portion 15) of the objective
The position information detected by the sense coils 34a to 34c is output from the
Therefore, the tip
The tip
なお、図1に示す内視鏡2における撮像部25は、対物光学系23の結像位置にCCD24の撮像面を配置した構成であるが、対物光学系23とCCDとの間に対物光学系23の光学像を伝送するイメージガイドを用いた構成の撮像部を備えた内視鏡の場合にも適用できる。
センスコイル34a〜34cは、内視鏡2内の信号線35の一端に接続され、信号線35の他端は、ライトガイドコネクタ14から延出されるケーブル27と接続される。ケーブル27内の信号線35は、内視鏡画像装置5から伝送線29bを介して観察支援装置6内の先端位置推定部42(図2参照)と接続される。
また、図1に示すように観察支援装置6に体表マーカ36を接続して、患者9における例えば体表上の基準となる位置に設定した体表マーカ36によりその基準となる位置の情報を取得することができる。
また、観察支援装置6に外部インタフェース(外部I/F)37としてのLANを接続して、CT/MRI装置から患者9の3次元情報となるCT/MRIデータ等を取得することができるようにしている。The
The sense coils 34 a to 34 c are connected to one end of a
Further, as shown in FIG. 1, a
In addition, a LAN as an external interface (external I / F) 37 is connected to the
また、図2に示すように観察支援装置6には、キーボード、マウス、操作スイッチ、フットスイッチ等の入力装置38が接続され、ユーザとしての術者は、入力装置38から指示信号や、選択の信号等を観察支援装置6の画像処理部41と制御部43に入力することができる。
図2は被検体の3次元モデル画像を構築する処理等を行う観察支援装置6の構成を示す。
観察支援装置6は、3次元モデル画像を生成(構築)する画像処理部41と、先端部15の3次元位置を推定する先端位置推定部42と、トリガ信号等を生成する制御部43と、画像の合成を行う合成部48とを有する。
画像処理部41は、内視鏡画像装置5から入力される(2次元の)内視鏡画像(又は撮像画像)から3次元モデル画像を生成(構築)する3次元モデル画像生成部41aを有し、生成した3次元モデル画像(の画像信号)を合成部48に出力する。
合成部48は、内視鏡画像(の画像信号)と3次元モデル画像(の画像信号)とを合成し、モニタ8に出力し、モニタ8は内視鏡画像と3次元モデル画像とを表示する。As shown in FIG. 2, the
FIG. 2 shows the configuration of the
The
The
The synthesizing
先端位置推定部42には、先端部内センサ34(を形成するセンスコイル34a〜34c)からのセンサ情報が入力され、3つのセンスコイルの位置及び姿勢が推定される。先端位置推定部42は、3つのセンサコイルの位置及び姿勢から先端部15の位置及び姿勢(又は先端部15の対物光学系23の位置及び視線方向)を推定する。
また、先端位置推定部42には、体表マーカ36に組込まれた図示していないセンサ(2つのセンサコイル)からのセンサ情報が入力され、2つのセンサコイルの位置及び姿勢が推定される。また、先端位置推定部42は、既知となるマーカ位置及び姿勢の情報を用いて、先端部の位置と姿勢を推定する際の較正(レジストレーション)を行うことができる。
先端位置推定部42は、推定した位置及び姿勢の情報を3次元モデル画像生成部41aに出力する。
3次元モデル画像生成部41aは、2次元の内視鏡画像と、先端位置推定部42により推定された位置及び姿勢の情報とを用いて、3次元モデル画像を生成(構築)する。
また、先端位置推定部42は、推定した位置及び姿勢の情報を制御部43に出力する。Sensor information from the in-tip sensor 34 (the sense coils 34a to 34c forming the tip part sensor 34) is input to the tip
In addition, sensor information from sensors (two sensor coils) (not shown) incorporated in the
The tip
The three-dimensional model
In addition, the tip
制御部43は、入力される内視鏡画像における所定のパラメータとしての所定の特徴量を抽出し、所定の閾値と比較する特徴量比較部44と、トリガ信号を生成するトリガ信号生成部45と、磁界検出部46及び動作検知部47とを有する。
また、制御部43は、アンテナ7を形成する複数のソースコイルに対して、各ソースコイルの周囲に、それぞれ位置検出用の磁界を発生させる交流信号を印加する。なお、後述する図25Dにおいては、1つのソースコイル7aが、その周囲に発生する磁界Hを示す。
本実施形態における特徴量比較部44は、内視鏡画像(撮像画像)の輝度情報に基づいて、トリガ信号を生成させるための比較結果の信号となる判定信号を出力する。
このため、特徴量比較部44は、内視鏡画像の輝度を抽出すると共に、その平均値を算出する輝度抽出回路44aと、輝度抽出回路44aが抽出した輝度の平均値と、閾値格納部44cが格納する閾値とを比較し、比較結果の判定信号を出力する比較回路(又は判定回路)44bとを有する。The
Further, the
The feature
Therefore, the feature
また、輝度抽出回路44aは、1フレーム分の内視鏡画像の輝度の平均値を算出する平均値算出回路の機能を他に、1フレーム分の内視鏡画像又はラインの沿った画像領域を複数の領域に分割して、各領域における輝度の平均値を算出する領域平均値算出回路の機能を待つ。
そして、術者は、入力装置38から輝度情報に基づいてトリガ信号を生成する複数の処理における任意の1つの処理を選択することができる。
トリガ信号生成部45は、特徴量比較部44(の比較回路44b)による比較結果に基づいて、トリガ信号を生成する信号生成部を形成する。
なお、特徴量比較部44は、特徴量の比較を行う場合、内視鏡の挿入動作に応じた異なる位置の各々において、先端位置推定部42により推定された位置の情報を参照して、特徴量の比較を行う。
制御部43は、トリガ信号生成部45が生成したトリガ信号に基づいて、3次元モデル画像生成部41aに対して、3次元モデル画像の画像信号の生成を開始するように制御する。制御部43は、中央処理装置(CPU)、DSP等により構成される。In addition to the function of the average value calculation circuit for calculating the average value of the luminance of the endoscope image for one frame, the
The surgeon can select any one of a plurality of processes for generating a trigger signal from the
The trigger
When comparing feature amounts, the feature
The
なお、図2においては、制御部43が、特徴量比較部44及びトリガ信号生成部45等を内蔵した構成例を示しているが、制御部43の外部に特徴量比較部44及びトリガ信号生成部45を設けるようにしても良い。そして、特徴量比較部44が判定信号を制御部43に出力し、制御部43が判定信号に基づいてトリガ信号生成部45がトリガ信号を3次元モデル画像生成部41aに出力させる制御を行うようにしても良い。
なお、磁界検出部46と、動作検知部47に関しては、後述する実施形態において説明する。
本実施形態の医療用観察システム1は、3次元形状を有する被検体としての患者9の内部を撮像する撮像部25を有する内視鏡2と、前記撮像部25により出力された撮像画像(に対応する内視鏡画像)に基づいて、前記被検体の3次元モデル画像を構築する3次元モデル画像生成部41aと、前記撮像画像における所定のパラメータが所定値以上変化した場合、前記3次元モデル画像の生成を開始するトリガ信号を生成する信号生成部を形成するトリガ信号生成部45と、前記3次元モデル画像生成部41aに対して、前記信号生成部により生成された前記トリガ信号に基づいて、前記3次元モデル画像の生成を開始するよう制御する制御部43と、を有することを特徴とする。2 shows a configuration example in which the
Note that the magnetic
The
なお、本実施形態においては、挿入部11の先端部15の位置及び姿勢(又は対物光学系23の位置及び視線方向)の情報を検出する先端部内センサ34を備えた内視鏡としての内視鏡2の場合で説明する。しかし、図1において2点鎖線で示すようにセンサを有しない内視鏡2Bにおいても、一部の構成を変更することにより、適用できる。図1に示す内視鏡2Bは、内視鏡2においてのセンサを有しない構成以外は、内視鏡2と同様の構成である。
内視鏡2Bを用いる場合には、センサを有しないために、挿入部11の先端部15の対物光学系23の位置及び視線方向の情報が得られない。そのために、内視鏡2Bが挿入される患者9の3次元形状情報を、例えばCT装置から取得すると共に、画像マッチングにより内視鏡2Bの対物光学系23の位置及び視線方向の情報を取得する。
内視鏡2Bにより得られる内視鏡画像に対応する仮想内視鏡画像をCT装置による3次元形状情報から生成し、内視鏡画像と仮想内視鏡画像との画像マッチングにより内視鏡2Bの対物光学系23の位置及び視線方向の情報を取得する。これに対して、内視鏡2の場合には、CT装置による患者9の3次元形状情報を取得することが不要となる。In the present embodiment, the endoscope as an endoscope provided with the distal end portion
When the
A virtual endoscopic image corresponding to the endoscopic image obtained by the
次に本実施形態の動作を説明する。本実施形態の動作として、例えば内視鏡2を患者9の尿管10内に挿入し、その深部の腎盂、腎杯を検査(観察)する場合を説明する。図3は、内視鏡2の挿入部11が挿入される尿管10及び深部の腎盂51a、腎杯51bを示す。
また、図4は、全体的な処理、つまり、3次元モデル画像の構築を開始するための判定を行う処理と、開始した場合の3次元モデル画像構築のフローチャートを示す。
図1に示す内視鏡2を光源装置4,内視鏡画像装置5に接続し、内視鏡画像装置5を光源装置4と(モニタ8が接続された)観察支援装置6に接続して各装置の電源を投入して動作状態に設定する。
内視鏡画像装置5は、対物光学系23によりCCD24の撮像面に結像された撮像画像に相当する内視鏡画像を観察支援装置6内の画像処理部41に出力する。また内視鏡2の挿入部11の先端部15内に配置された先端部内センサ34は、センサ情報を観察支援装置6内の先端位置推定部42に出力する。Next, the operation of this embodiment will be described. As an operation of the present embodiment, a case will be described in which, for example, the
FIG. 4 shows a flowchart of overall processing, that is, processing for making a determination for starting construction of a three-dimensional model image, and construction of a three-dimensional model image when starting.
The
The
観察支援装置6は、動作状態となり、図4のステップS1に示すように制御部43は、観察支援装置6を初期化する。制御部43は、初期化の処理として、入力される内視鏡画像のフレーム番号のパラメータiと、3次元モデル画像を生成させるか否かを表すトリガ信号に相当するパラメータjとをそれぞれ初期値1,0とする。以後では、フレーム番号のパラメータiを省略して、フレーム番号iで表記する。なお、j=0は、3次元モデル画像を生成させない状態のパラメータ値であり、j=1は、3次元モデル画像を生成させるトリガ信号が発生した状態のパラメータ値となる。
また、以下の説明においては、挿入部11の先端部が尿管10から腎盂51a内に挿入された状態の場合に3次元モデル画像の生成を開始するように設定される場合を説明する。
観察支援装置6に最初のフレーム番号i(=1)の内視鏡画像(図4では単に画像)は、画像処理部(の3次元モデル画像生成部41a)と特徴量比較部44に入力される。また、3次元モデル画像生成部41aにはトリガ信号が発生した場合には、トリガ信号生成部45からトリガ信号が入力される。The
Further, in the following description, a case will be described in which a setting is made so as to start generating a three-dimensional model image when the distal end portion of the
The endoscope image (simply an image in FIG. 4) of the first frame number i (= 1) is input to the
図4におけるステップS2において、3次元モデル画像生成部41aは、パラメータjが1(つまり、トリガ信号が入力されている)かを判定する。トリガ信号が入力されていない場合には、ステップS3の処理に進み、トリガ信号が入力されている場合には、ステップS4の処理に進む。
挿入部11の先端部15を尿管10内に挿入したような状態においては、ステップS2の判定処理の結果、ステップS3の処理に進む。ステップS3において特徴量比較部44は、内視鏡画像、位置情報を取り込む。なお、ステップS3において特徴量比較部44は、内視鏡画像、位置及び姿勢情報を取り込むようにしても良い。
ステップS3の処理の後のステップS5において特徴量比較部44は、取り込んだ内視鏡画像から所定の特徴量(パラメータ)C(ij)を検出する。なお、C(i,j)は、後述する図7Aにおいては入力された画像の輝度値から得られる画像の特徴的な値を示す。現時点ではC(i,j)は、C(1,0)となる。そして、次のステップS6において特徴量比較部44は、検出した所定の特徴量C(ij)と、閾値とを比較する。そして、特徴量比較部44は、所定の特徴量C(ij)が閾値以上であるか否かの比較結果を(制御部43内の)トリガ信号生成部45に出力する。なお、ステップS5,S6処理に関しては、図5等を参照して後述する。In step S2 in FIG. 4, the three-dimensional model
In a state where the
In step S5 after the process of step S3, the feature
上記のように挿入部11の先端部15が尿管10内に挿入された状態においては、所定の特徴量C(ij)は閾値未満となり、ステップS7の処理に進む。一方、所定の特徴量C(ij)が閾値以上となる場合には、ステップS8の処理に進む。
ステップS7において制御部43は、フレーム番号iを1つ増加させた(i=2)後、ステップS2の処理に戻る。このようにして、フレーム番号iが順次大きくなる内視鏡画像において、同様の処理が繰り返される。そして、挿入部11の先端部15が尿管10の深部の腎盂51a内に挿入されると、所定の特徴量C(ij)が閾値以上となり、ステップS6の処理からステップS8の処理に移る。
ステップS8においてトリガ信号生成部45は、パラメータjを1、つまりトリガ信号を発生し、トリガ信号を3次元モデル画像生成部41aに出力する。
次のステップS4において3次元モデル画像生成部41aは、内視鏡画像、位置及び視線方向(又は位置及び姿勢)の情報を取り込む。
次のステップS9において3次元モデル画像生成部41aは、(3次元モデル画像としての)3次元形状画像の構築を行う。As described above, in a state where the
In step S7, the
In step S8, the trigger
In the next step S4, the three-dimensional model
In the next step S9, the 3D model
現時点では、トリガ信号が発生した直後であるので、トリガ信号の発生直後において取得した1フレーム分の内視鏡画像と、その場合の位置及び視線方向の情報を用いて3次元形状画像の構築を開始する。
3次元モデル画像生成部41aは、1フレーム分の内視鏡画像とその場合の位置及び視線方向の情報を用いて構築した3次元形状画像の画像信号をモニタ8に出力する。
次のステップS10においてモニタ8は、1フレーム分の内視鏡画像により構築された3次元形状画像を(3次元モデル画像として)表示する。
次のステップS11において制御部43は、入力装置38の終了ボタンなどから検査終了の指示信号が入力されたか否かを判定する。検査終了の指示信号が入力されていない場合には、ステップS7の処理に移り、フレーム番号のパラメータが1つ増加された後、ステップS2の処理に戻る。At present, since it is immediately after the trigger signal is generated, a three-dimensional shape image is constructed using the endoscope image for one frame acquired immediately after the trigger signal is generated, and information on the position and the line-of-sight direction in that case. Start.
The three-dimensional model
In the next step S10, the
In the next step S <b> 11, the
トリガ信号が発生した状態であるので、ステップS2の処理の後、ステップS4の処理に進み、さらにステップS9、S10の処理を行う。ステップS2,S4,S9−S11,S7のループの処理を繰り返すことにより、3次元形状画像の構築領域が増加する。
3次元形状画像の構築を開始した位置から挿入部11の先端部15が腎盂51aの深部側に移動しながら撮像された撮像済み(観察済み)の内視鏡画像に対応した3次元形状画像が構築される。また、構築された3次元形状画像がモニタ8において例えば図1に示すように表示される。なお、モニタ8において3次元形状画像を表示した場合の観察する観察方向(視点方向)を設定することができる。観察方向が設定されない場合には、デフォルトの観察方向の設定の状態で3次元形状画像が表示される。Since the trigger signal has been generated, the process proceeds to step S4 after step S2, and further performs steps S9 and S10. By repeating the loop processing of steps S2, S4, S9-S11, and S7, the construction area of the three-dimensional shape image increases.
A three-dimensional shape image corresponding to a captured (observed) endoscopic image captured while the
モニタ8において表示される3次元形状画像により、術者は内視鏡2により観察(検査)している腎盂51aの形状及び観察領域を把握でき、観察や処置を円滑に行い易くなる。
術者は、観察や処置を終了する場合には入力装置38の終了ボタン等を操作して、検査終了の指示信号を入力する。すると、ステップS12に示すように制御部43は、3次元モデル画像生成部41aが3次元形状画像の構築をする処理を停止させ、図4の処理を終了する。
なお、上述の説明においては、3次元モデル画像生成部41aが、3次元モデル画像として3次元形状画像を生成(構築)して、生成した3次元形状画像をモニタ8に表示する例を説明した。The three-dimensional shape image displayed on the
When ending the observation or treatment, the surgeon operates the end button of the
In the above description, an example in which the 3D model
3次元モデル画像生成部41aが生成する3次元モデル画像として3次元形状画像の場合に限定されるものでなく、例えば3次元形状画像から観察済みの3次元領域となる3次元構築領域と、未観察の(ために構築されていない)3次元未構築領域との境界を視認可能にする(又は視認し易くする)3次元画像を生成(構築)し、モニタ8において3次元画像を3次元モデル画像として表示するようにしても良い。
次に図5A−図6Dを参照して、所定の特徴量としての輝度情報を利用して、3次元モデル画像の構築を開始する(トリガ信号を生成する)比較結果を得る場合の処理を具体的に説明する。
本実施形態は、3次元モデル画像の構築を開始する所定の特徴量として、内視鏡画像における輝度情報を利用し、挿入部11の先端部15が尿管10から腎盂51a内に挿入された場合を検出する。また、腎盂51a内に挿入された場合を検出する輝度情報として、術者は、(1フレーム分の)内視鏡画像の平均値を用いる場合と、(1フレーム分の)内視鏡画像の分割領域の平均値を用いる場合と、内視鏡画像上に設定したラインに沿った分割領域の平均値を用いる場合と、から選択することができる。The 3D model image generated by the 3D model
Next, referring to FIG. 5A to FIG. 6D, the processing for obtaining a comparison result that starts construction of a three-dimensional model image (generates a trigger signal) using luminance information as a predetermined feature amount is described in detail. I will explain it.
In the present embodiment, the luminance information in the endoscopic image is used as a predetermined feature amount for starting construction of the three-dimensional model image, and the
図5Aは、尿管10内で得られる内視鏡画像を示す。また、図5Bは、尿管10内のように狭い管腔10a内に挿入部11の先端部15が挿入された様子を示す。図5Cは、図5Bの場合に得られる内視鏡画像を示す。また、図5Dは、図5Cにおける水平方向のラインに沿った輝度の分布を示す。図5Dにおいて、点線は、輝度の平均値Pauを示す。
FIG. 5A shows an endoscopic image obtained in the
図5A−図5Dから分かるように尿管10又は狭い管腔10a内では、内視鏡2の挿入部11の先端部15の対物光学系23及びCCD24の撮像部25により観察(撮像)した場合、尿管10等の内壁と先端部15との距離が近く(小さく)なる。
そのため、得られる内視鏡画像における周辺部は、高い輝度値となり、内視鏡画像における中心部は尿管10の奥部分に対応した低い輝度値となる(尿管10、狭い管腔10aは、ほぼ真っ直ぐな状態であるとする)。
図6Aは、腎盂51a内で得られる内視鏡画像を示す。また、図6Bは、腎盂51a内のように広い管腔50内に挿入部11の先端部15が挿入された様子を示し、図6Cは、図6Bの場合に得られる内視鏡画像を示す。また、図6Dは、図6Cの水平方向のラインに沿った輝度の分布を示す。図6Dにおいて、点線は、輝度の平均値Papを示す。As can be seen from FIGS. 5A to 5D, in the
Therefore, the peripheral part in the obtained endoscopic image has a high luminance value, and the central part in the endoscopic image has a low luminance value corresponding to the back part of the ureter 10 (the
FIG. 6A shows an endoscopic image obtained in the
図6A−図6Dから分かるように腎盂51a内等では、広い管状構造になる為、内視鏡2の先端部15の撮像部25により観察(撮像)した場合、腎盂51aの内壁と先端部15との距離が遠く(大きく)なる。この場合、光源装置4の調光回路22による調光機能が動作し、照明光の光量が増加し、得られる内視鏡画像における周辺部と中心部とは、ほぼ同じような輝度値になる。
図6Dの平均値Papは、Pauよりも大きくなる。そして、後述する図7Aの処理においては、Pau<Pa_th<Papの条件を満たす閾値Pa_thを用いて、腎盂51aの内視鏡画像の判定を行う。
本実施形態においては、図5D、図6Dに示すような輝度分布の特性を利用して、撮像された撮像画像又は内視鏡画像から腎盂51aの画像を判定する(比較結果の)判定信号を得る。
上述したように本実施形態においては、輝度分布の特性を利用して、腎盂51aの画像を判定する3つの方法又は構成を備えている。As can be seen from FIGS. 6A to 6D, since the inside of the
The average value Pap in FIG. 6D is larger than Pau. 7A described later, an endoscopic image of the
In the present embodiment, a determination signal for determining an image of the
As described above, the present embodiment includes three methods or configurations for determining the image of the
図7A又は図7Bと、図8Aと、図9Aは、腎盂51aの画像を判定する3つの処理を示す。まず、図7Aを参照して、その動作(処理)を説明する。なお、図7Aの代わりに図7Bを採用しても良い。
図4におけるステップS3の内視鏡画像、位置情報の取り込みの処理の後、図7AのステップS21に示すように特徴量比較部44(の前処理部又は輝度抽出回路44a)は、内視鏡画像におけるノイズを除去するノイズ除去の処理を行う。特徴量比較部44(の輝度抽出回路44a)は、例えばガウシアンフィルタを用いて、ノイズを除去する。
次のステップS22において特徴量比較部44(のの前処理部又は輝度抽出回路44a)は、内視鏡画像におけるハレーション部分の除去する処理を行う。特徴量比較部44(の輝度抽出回路44a)は、例えば内視鏡画像の色成分画像となるRGB画像を、輝度画像と色差画像に変換し、輝度画像(白黒画像)が、階調の上限に近い閾値以上となる画像部分をハレーションとして除去する。7A or 7B, FIG. 8A, and FIG. 9A show three processes for determining an image of the
After the process of capturing the endoscope image and position information in step S3 in FIG. 4, as shown in step S21 in FIG. 7A, the feature amount comparison unit 44 (the preprocessing unit or the
In the next step S22, the feature amount comparison unit 44 (the pre-processing unit or the
次のステップS23において特徴量比較部44(の輝度抽出回路44a)は、ステップS21,S22の処理を経た内視鏡画像の(ハレーション部分を除去した1フレーム分の)輝度画像の輝度平均値Paを算出する。なお、図7Bにおいて説明するように内視鏡画像の中心部側の一部の領域における輝度平均値Paを算出するようにしても良い。
次のステップS24において特徴量比較部44(の比較回路44b)は、輝度平均値Paと、その輝度平均値Paに対して予め設定した閾値Pa_thとを比較する。
Pa≧Pa_thを満たさない比較結果の場合には、(判定信号を発生しないで)ステップS7の処理に戻る。つまり、腎盂51a内の内視鏡画像を判定するための閾値Pa_thに達していないと判定され、次のフレーム番号iの内視鏡画像において同様の処理が繰り返される。そして、挿入部11の先端部15が腎盂51a内に挿入され、腎盂51a内の内視鏡画像を取得した状態になると、以下のような比較結果となる。
Pa≧Pa_thを満たす比較結果の場合には、比較回路44bは、判定信号を発生して、トリガ信号生成部45に出力する。すると、ステップS8においてトリガ信号生成部45は、トリガ信号を発生する。そして、図4において説明したように3次元モデル画像生成部41aは、腎盂51a内の(2次元)内視鏡画像から3次元形状画像の構築を開始する。In the next step S23, the feature amount comparison unit 44 (the
In the next step S24, the feature amount comparison unit 44 (the comparison circuit 44b) compares the luminance average value Pa with a preset threshold Pa_th for the luminance average value Pa.
If the comparison result does not satisfy Pa ≧ Pa_th, the process returns to step S7 (without generating a determination signal). That is, it is determined that the threshold Pa_th for determining the endoscopic image in the
When the comparison result satisfies Pa ≧ Pa_th, the comparison circuit 44 b generates a determination signal and outputs the determination signal to the trigger
図7AのステップS23においては、内視鏡画像の輝度画像の輝度平均値Paを算出して、閾値Pa_thと比較しているが、図7BのステップS23′に示すように内視鏡画像の中心領域における輝度画像の輝度平均値Pa′を算出するようにしても良い。そして、次のステップS24′において比較回路44bが、輝度平均値Pa′と閾値Pa_th′と比較するようにしても良い。中心領域としては、内視鏡画像の中心部を中心として、その周辺領域を含むように設定すれば良い。例えば中心領域として、中心部を中心として、内視鏡画像の全領域の1/9〜1/2程度に設定する。
図7BにおけるステップS23′、S24′以外の処理は、図7Aと同じであり、その説明を省略する。
次に図8Aの処理を説明する。図8AにおけるステップS31とS32は、図7AのステップS21のノイズ除去とステップS22のハレーション除去と同じ処理である。
次のステップS33において特徴量比較部44(の輝度抽出回路44a)は、ステップS31,S32の処理を経た内視鏡画像を複数の画像領域としての分割領域に分割する。図8Bは、(ステップS32の処理後の)内視鏡画像を水平方向及び垂直方向の分割数Nをそれぞれ10としたN×Nに分割された分割領域Rdを示す。In step S23 of FIG. 7A, the luminance average value Pa of the luminance image of the endoscopic image is calculated and compared with the threshold value Pa_th. As shown in step S23 ′ of FIG. 7B, the center of the endoscopic image You may make it calculate the brightness | luminance average value Pa 'of the brightness | luminance image in an area | region. Then, in the next step S24 ′, the comparison circuit 44b may compare the luminance average value Pa ′ with the threshold value Pa_th ′. The central region may be set so as to include the peripheral region around the center of the endoscopic image. For example, the center area is set to about 1/9 to 1/2 of the entire area of the endoscopic image with the center at the center.
Processes other than steps S23 ′ and S24 ′ in FIG. 7B are the same as in FIG. 7A, and a description thereof will be omitted.
Next, the process of FIG. 8A will be described. Steps S31 and S32 in FIG. 8A are the same processes as the noise removal in step S21 and the halation removal in step S22 in FIG. 7A.
In the next step S33, the feature amount comparison unit 44 (the
なお、分割数Nを10にした場合に限定されるものでなく、2以上の数であれば良い。また、水平方向及び垂直方向の分割数Nを等しくした場合に限らず、異なる値に設定しても良い。
次のステップS34において特徴量比較部44(の輝度抽出回路44a)は、各分割領域の輝度平均値を算出する。
次のステップS35において特徴量比較部44(の輝度抽出回路44a)は、各分割領域の輝度平均値の最大値Pmaxと各分割領域の輝度平均値の最小値Pminとを抽出する。更に、特徴量比較部44(の輝度抽出回路44a)は、最大値Pmaxと最小値Pminとの差分Pd(=Pmax−Pmin)を算出する。
次のステップS36において特徴量比較部44(の比較回路44b)は、差分Pdが、この差分Pdに対して設定された閾値Pd_thとを比較し、差分Pdが閾値Pd_th以下か否かを判定する。
図5Aと図6Aとの比較、又は図5Cと図6Cとの比較、又は図5Dと図6Dとの比較から分かるように尿管10内のように狭い管腔10a内での内視鏡画像の分割領域における最大値と最小値との差は、腎盂51a内の場合よりも大きい値となる。また、このような輝度分布の特性を考慮して、閾値Pd_thが設定されている。Note that the number of divisions N is not limited to 10, but may be a number of 2 or more. Further, the number of divisions N in the horizontal direction and the vertical direction is not limited to being equal, and may be set to different values.
In the next step S34, the feature amount comparison unit 44 (the
In the next step S35, the feature amount comparison unit 44 (the
In the next step S36, the feature amount comparison unit 44 (the comparison circuit 44b) compares the difference Pd with a threshold value Pd_th set for the difference Pd, and determines whether or not the difference Pd is equal to or less than the threshold value Pd_th. .
Endoscopic images in a
つまり、尿管10内のように狭い管腔10a内での内視鏡画像の場合には、差分Pdが閾値Pd_thより大きく、腎盂51a内のように広い管腔50内での内視鏡画像の場合には、差分Pdが閾値Pd_th以下となるように、閾値Pd_thが設定されている。
That is, in the case of an endoscopic image in a
このため、尿管10内の内視鏡画像の場合には、ステップS36において差分Pdが閾値Pd_thより大きいと判定され、ステップS7の処理を経て(図4の)ステップS2の処理に戻る。そして、次のフレーム番号の内視鏡画像に対する同様の処理が繰り返される。
挿入部11の先端部15が、尿管10の深部側に移動(挿入)され、腎盂51aに近づくと管腔が広くなり、ステップS36において差分Pdが閾値Pd_thより大きいと判定されるものの差分Pdと閾値Pd_thとのずれ量は小さくなる。For this reason, in the case of an endoscopic image in the
When the
そして、更に挿入部11の先端部15が、腎盂51a内に至ると、ステップS36において差分Pdが閾値Pd_th以下と判定される。この判定結果の場合に、比較回路44bは、判定信号をトリガ信号生成部45に出力する。
すると、ステップS8においてトリガ信号生成部45は、トリガ信号を発生する。そして、図4において説明したように3次元モデル画像生成部41aは、腎盂51a内の(2次元)内視鏡画像から3次元形状画像の構築を開始する。
次に図9Aを参照して3つ目の処理を説明する。図9Aに示す処理は、図8Aに類似するため、図8Aにおける処理と異なる部分のみを説明する。
図8Aにおいての処理は、内視鏡画像全体を2次元的に複数の分割領域に分割したのに対して、図9Aの処理は、内視鏡画像における特定のラインに沿って複数の分割領域を設定し、複数の分割領域に対して図8Aの場合と同様の処理を行う。
図9Aにおける処理は、図8AにおいてステップS33の処理をステップS33′に変更した処理となり、その他は図8Aと同じ処理となる。ステップS33′において特徴量比較部44(の輝度抽出回路44a)は、例えば図5C又は図6Cに示すように内視鏡画像において特定のラインを設定し、特定のラインに沿って複数の分割領域を設定する。When the
Then, in step S8, the trigger
Next, the third process will be described with reference to FIG. 9A. Since the process shown in FIG. 9A is similar to FIG. 8A, only the parts different from the process in FIG.
The process in FIG. 8A divides the entire endoscopic image into a plurality of divided areas two-dimensionally, whereas the process in FIG. 9A has a plurality of divided areas along a specific line in the endoscopic image. And the same processing as in FIG. 8A is performed for a plurality of divided regions.
The process in FIG. 9A is a process in which the process in step S33 in FIG. 8A is changed to step S33 ′, and the other processes are the same as those in FIG. 8A. In step S33 ′, the feature amount comparison unit 44 (the
図9Bは、特定のラインに沿って設定された複数の分割領域Rdhを示す。なお、図9Bでは特定のラインとして、内視鏡画像の中心を通る水平方向の1つのラインを設定したが、複数のラインを設定し、複数のラインに対して複数の分割領域を設定するようにしても良い。
なお、図9AにおけるステップS36における閾値Pa_thは、図9Bのライン及びその場合の分割領域Rdhの大きさ等に応じて設定される。
図9Aの処理を選択した場合には、図8Aの場合よりも少ない演算量で済む利点がある。そのため、観察支援装置6に入力される内視鏡画像から時間的な遅れが殆ど発生しないタイミングで、3次元形状画像の構築を開始できる。
このように動作する第1の実施形態によれば、撮像された撮像画像又は内視鏡画像に基づいて生成されるトリガ信号により、自動的に3次元形状画像により形成される3次元モデル画像の生成を開始することができる。従って、術者が3次元モデル画像の生成を開始させる操作を必要としないので、操作性を向上できる。FIG. 9B shows a plurality of divided regions Rdh set along a specific line. In FIG. 9B, one line in the horizontal direction passing through the center of the endoscopic image is set as a specific line. However, a plurality of lines are set, and a plurality of divided areas are set for the plurality of lines. Anyway.
The threshold value Pa_th in step S36 in FIG. 9A is set according to the line in FIG. 9B and the size of the divided region Rdh in that case.
When the process of FIG. 9A is selected, there is an advantage that a smaller calculation amount is required than in the case of FIG. 8A. Therefore, the construction of a three-dimensional shape image can be started at a timing that hardly causes a time delay from the endoscopic image input to the
According to the first embodiment that operates in this manner, a three-dimensional model image that is automatically formed from a three-dimensional shape image by a trigger signal that is generated based on a captured image or an endoscopic image. Generation can begin. Therefore, since the operator does not need an operation for starting the generation of the three-dimensional model image, the operability can be improved.
(第2の実施形態)
次に本発明の第2の実施形態を説明する。本実施形態は、内視鏡画像を予め設定したテンプレート画像との類似度から、判定信号を生成する。このため、本実施形態においては、図2の観察支援装置6における特徴量比較部44が、第1の実施形態と異なる。
図10に示すように本実施形態における特徴量比較部44は、参照画像としてのテンプレート画像を設定する画像設定部44dと、内視鏡画像との類似度を算出する類似度算出部(又は類似度比較部)44eと、算出した類似度の結果を記録するメモリ44fを有する。
類似度算出部44eは、算出した類似度が閾値設定部44cにおいて設定された類似度の閾値以下(但し、類似度の算出方法によっては閾値以上となる)に類似している比較結果の場合に、第1の実施形態の場合と同様に、トリガ信号を発生させるための判定信号をトリガ信号生成部45に出力する。その他の構成は、第1の実施形態と同様の構成である。
本実施形態における全体的な処理は、図4に示す第1の実施形態の場合と殆ど同じであり、第1の実施形態とは図4におけるステップS5,S6が異なる。
図11は本実施形態におけるステップS5,S6に相当する処理の詳細を示す。(Second Embodiment)
Next, a second embodiment of the present invention will be described. In the present embodiment, the determination signal is generated from the similarity between the endoscopic image and a preset template image. For this reason, in this embodiment, the feature-
As shown in FIG. 10, the feature
In the case of a comparison result in which the
The overall processing in this embodiment is almost the same as that in the first embodiment shown in FIG. 4, and steps S5 and S6 in FIG. 4 are different from the first embodiment.
FIG. 11 shows details of processing corresponding to steps S5 and S6 in the present embodiment.
本実施形態においては、挿入口を有する尿管10から挿入口の深部側の挿入経路に沿った腎盂51a内に挿入された状態の内視鏡画像を精度良く判定するために、尿管10内、腎盂51a内での代表的な内視鏡画像となる2つのテンプレート画像の他に、その途中の尿管腎盂移行部51c内でのテンプレート画像を用意している。
そして、尿管10から腎臓内に挿入された内視鏡2により取得される内視鏡画像が、尿管10内、尿管腎盂移行部51c内、腎盂51a内の特徴を有する各テンプレート画像の時間順に十分に類似する事(又は閾値以下に類似する事)が検出された場合には、腎盂51a内に挿入されたと判定する。
より単純化して、例えば腎盂51a内の特徴を有するテンプレート画像と十分に類似する事(又は閾値以下に類似していること)が検出された場合に、腎盂51a内に挿入されたと判定し、トリガ信号を発生するようにしても良い。
また、尿管10内又は尿管腎盂移行部51c内と、腎盂51a内の特徴を有する各テンプレート画像を用意し、尿管10内又は尿管腎盂移行部51c内のテンプレート画像と十分に類似する事が検出された後に、腎盂51a内のテンプレート画像と十分に類似する事が検出された場合に、腎盂51a内に挿入されたと判定し、トリガ信号を発生するようにしても良い。なお、他の臓器に挿入する場合に適用しても良い。
図12A、図13A及び図14Aは、挿入部11の先端部がそれぞれ尿管10内、尿管10と腎盂51aとの間の尿管腎盂移行部51c内、腎盂51a内に存在する状態を示す。なお、図12A等においては、髄質を51d、皮質を51eで示している。
図12B、図13BA及び図14Bは、図12A、図13A及び図14Aの場合の内視鏡2により取得される内視鏡画像を示す。図12B、図14Bの内視鏡画像は、図5A、図6Aに示した内視鏡画像と類似したものである。図13Bは、屈曲している尿管腎盂移行部51c内において得られる内視鏡画像を示す。In the present embodiment, in order to accurately determine an endoscopic image inserted into the
And the endoscopic image acquired by the
In a simpler manner, for example, when it is detected that the template image having characteristics in the
Further, template images having characteristics in the
FIGS. 12A, 13A, and 14A show a state in which the distal end portion of the
12B, 13BA, and 14B show endoscopic images acquired by the
これらの内視鏡画像にそれぞれ類似した画像がそれぞれテンプレート画像として設定される。
テンプレート画像は、実際の内視鏡画像により設定しても良いし、腎臓を模擬した腎臓ファントム内を内視鏡2により観察した場合に得られる観察画像により設定しても良い。また、CT装置等で得られた腎臓の3次元モデルから、この3次元モデル内に仮想的に内視鏡を配置した際に得られる仮想内視鏡画像から、尿管10内、尿管腎盂移行部51c、腎盂51a内のテンプレート画像を設定しても良い。
更に、実際の尿管10内、尿管腎盂移行部51c、腎盂51a内において内視鏡2によりそれぞれ得られる複数枚の内視鏡画像から、それぞれ輝度の平均的な内視鏡画像を作成して、尿管10内、尿管腎盂移行部51c、腎盂51a内のテンプレート画像を設定しても良い。
画像設定部44dは、このように設定された3種類のテンプレート画像を予め格納する画像格納部を備え、画像設定部44dは、テンプレート画像を画像格納部から読み出し、テンプレート画像を設定する。なお、画像格納部をメモリ44fにより形成しても良い。Images similar to these endoscopic images are set as template images.
The template image may be set by an actual endoscopic image, or may be set by an observation image obtained when the inside of a kidney phantom simulating a kidney is observed by the
Further, an average endoscopic image of luminance is created from a plurality of endoscopic images respectively obtained by the
The
図11の処理が開始すると、ステップS41及びS42において特徴量比較部44(の前処理部又は類似度算出部44e)は、ノイズ除去とハレーション除去とを行う。ステップS41及びS42の処理は、図7AのステップS21,S22と同様の処理である。
次のステップS43において制御部43は、テンプレート画像(又はテンプレートマッチング)のパラメータkを初期値0に設定する。なお、パラメータkは、0が尿管10、1が尿管腎盂移行部51c、2が腎盂51aに対応して設定される。
次のステップS44において特徴量比較部44(の画像設定部44d)は、パラメータkに対応して3種類のテンプレート画像の設定を行う。つまり、画像設定部44dは、このパラメータk=0に対応した尿管10のテンプレート画像、k=1の尿管腎盂移行部51cのテンプレート画像、k=1の腎盂のテンプレート画像を設定(用意)する。
次のステップS45において類似度算出部44eは、内視鏡2により得られた内視鏡画像と、テンプレート画像との類似度Sikを算出するテンプレートマッチングを行う。また、次のステップS46において類似度算出部44eは、パラメータkが2であるかを判定し、パラメータkが2でない場合には、次のステップS47おいて類似度算出部44eは、パラメータkを1つ大きくしてステップS44の処理に戻る。When the process of FIG. 11 is started, the feature amount comparison unit 44 (preprocessing unit or
In the next step S43, the
In the next step S44, the feature amount comparison unit 44 (the
In the next step S45, the
ステップS44〜S47のループの処理により、フレーム番号iの内視鏡画像と3種類のテンプレート画像との類似度Sikが算出されることになる。
本実施形態においては、内視鏡画像とテンプレート画像との類似度Sikを、以下の式1により算出する。
Sik=ΣxΣy(fi(x,y)−tk(x,y))2 (1)
ここで、fi(x,y)は、フレーム番号iで、座標(x,y)の2次元内視鏡画像(の画素値)、tk(x,y)は、パラメータkにおける座標(x、y)の2次元テンプレート画像(の画素値)を表す。また、ΣxとΣyは、2次元内視鏡画像及び2次元テンプレート画像におけるx座標とy座標の範囲内において加算することを表す。
式1から分かるように類似度Sikは、その値が小さい程、類似していることを示す。Sikを類似指数と定義し、類似指数Sikが小さい値ほど、類似度が大きい(高い)と表現しても良い。
ステップS46においてパラメータkが2の場合には、ステップS48の処理に進む。The similarity Sik between the endoscopic image of frame number i and the three types of template images is calculated by the loop processing of steps S44 to S47.
In the present embodiment, the similarity Sik between the endoscopic image and the template image is calculated by the
Sik = ΣxΣy (fi (x, y) −tk (x, y)) 2 (1)
Here, fi (x, y) is the frame number i, the two-dimensional endoscope image (pixel value) of the coordinates (x, y), and tk (x, y) is the coordinates (x, y) represents a two-dimensional template image (its pixel value). Further, Σx and Σy represent addition within the range of the x coordinate and the y coordinate in the two-dimensional endoscope image and the two-dimensional template image.
As can be seen from
If the parameter k is 2 in step S46, the process proceeds to step S48.
ステップS48において類似度算出部44eは、算出した3つの類似度Sikの値が、最小となる(最も類似している)テンプレート画像を選択して、その内視鏡画像fiのシーンを設定し、例えば類似度算出部44e内のメモリ44fに記録する。
In step S48, the
例えば、最初のフレーム番号i(i=1)の内視鏡画像f1の場合には、内視鏡2の先端部15が尿管10内に存在した場合には、尿管10に対して用意されたテンプレート画像t0との類似度の値が最も小さくなる。そして、内視鏡画像f1のシーンは、尿管10内を観察するシーンSc(尿管)として設定(判定)され、メモリ44fにf1:Sc(尿管)を記録する。なお、f1:シーンSc(尿管)は、メモリ44fがフレーム番号1の内視鏡画像f1と、判定されたシーンSc(尿管)とを対応付けて記録することを示す。
次のステップS49において類似度算出部44eは、メモリ44fに尿管10、尿管腎盂移行部51c、腎盂51aの順に検出された履歴情報(基準履歴情報と言う)が在るか否かを判定する。現時点では、そのような履歴情報が存在しないので、ステップS7の処理に移り、フレーム番号iを1つ大きくしてステップS2の処理に戻る。
このようにして、時間的に後のフレーム番号iの内視鏡画像fiに対して同様の処理が繰り返される。そして、内視鏡2の先端部15が尿管腎盂移行部51c内に達すると、その場合の内視鏡画像と尿管腎盂移行部51cのテンプレート画像t1との類似度の値が最小となる。そして、ステップS48においてメモリ44fには、fi:シーンSc(尿管腎盂移行部)が記録される。また、この場合においても、次のステップS49において基準履歴情報でないと判定され、ステップS7の処理に移る。For example, in the case of the endoscope image f1 of the first frame number i (i = 1), if the
In the next step S49, the
In this way, the same processing is repeated for the endoscopic image fi of frame number i that is later in time. And when the front-end | tip
このようにして、時間的に後のフレーム番号iの内視鏡画像fiに対して同様の処理が繰り返される。そして、内視鏡2の先端部15が腎盂51a内に達すると、その場合の内視鏡画像fiと腎盂51aのテンプレート画像t2との類似度の値が最小となる。そして、ステップS48においてメモリ44fには、fi:シーンSc(腎盂)が記録される。
In this way, the same processing is repeated for the endoscopic image fi of frame number i that is later in time. When the
この場合のメモリ44fに格納された履歴情報の例を図15に示す。メモリ44fには、フレーム番号iが付けられた内視鏡画像fiと共に、類似度算出により算出(設定、又は判定)されたシーンSc(L)が順次記録される。ここで、Lは、尿管、尿管腎盂移行部、腎盂の情報を表す。内視鏡2の先端部15が尿管10からその深部側に挿入され、腎盂51a内に達すると、図15に示すように時間的に尿管、尿管腎盂移行部、腎盂の順序のシーンSc(L)の情報が記録される。
このような記録状態になると、ステップS49において類似度算出部44eは、メモリ44fに記録された履歴情報から、尿管、尿管腎盂移行部、腎盂の順に検出されたと判定し、判定信号をトリガ信号生成部45に出力し、ステップS50の処理に進む。An example of the history information stored in the memory 44f in this case is shown in FIG. A scene Sc (L) calculated (set or determined) by similarity calculation is sequentially recorded in the memory 44f together with the endoscopic image fi assigned the frame number i. Here, L represents information on the ureter, ureteropelvic junction, and renal pelvis. When the
In such a recording state, in step S49, the
ステップS50においてトリガ信号生成部45は、パラメータjを0から1にして、トリガ信号を発生する。そして、図4の処理に進み、3次元形状画像の生成が開始する。
なお、類似度Sikとして式1に示した式の代わりに、以下の式2に示す正規化相互相関Tikを利用しても良い。
Tik=ΣxΣy{(fi(x,y)−<fi>)(tk(x,y)−<tk>)}/U (2)
U=(ΣxΣy(fi(x,y)−<fi>)2(tk(x,y)−<tk>)2)1/2
なお、<fi>、<tk>は、それぞれfi、tkの平均値を表す。
また、テンプレートマッチングは、内視鏡画像とテンプレート画像とがほぼ一致した画像でないと、類似度が小さくならない為、観察方向が変化すると、検出(判定)の精度が低下する。精度の低下を防止するために、例えば、図12Bの内視鏡画像を尿管10の場合のテンプレート画像にする場合、点線で示すように特徴部分を切り出した、切り出し画像をテンプレート画像に設定しても良い。他のテンプレート画像に対しても同様に適用しても良い。In step S50, the trigger
Note that, instead of the equation shown in
Tik = ΣxΣy {(fi (x, y) − <fi>) (tk (x, y) − <tk>)} / U (2)
U = (ΣxΣy (fi (x, y) − <fi>) 2 (tk (x, y) − <tk>) 2 ) 1/2
Note that <fi> and <tk> represent average values of fi and tk, respectively.
Further, in template matching, since the degree of similarity is not reduced unless the endoscopic image and the template image are substantially the same, the detection (determination) accuracy decreases when the observation direction changes. In order to prevent a reduction in accuracy, for example, when the endoscopic image of FIG. 12B is used as a template image in the case of the
また、尿管10、尿管腎盂移行部51c、腎盂51aの場合の各テンプレート画像として、それぞれを画像の中心の回りで回転した複数のテンプレート画像を用意するようにしても良い。この場合には、類似度を算出する場合の演算量が増大するため、内視鏡画像及びテンプレート画像として、画素数を縮小した縮小画像を利用するようにしても良い。
また、類似度を算出する場合に用いるレンプレート画像として、実際の腎臓の観察画像を複数枚用いて、その画像を教師データとしてニューラルネットワークを構築して、尿管、尿管腎盂移行部、腎盂を検出するようにしてもよい。
上述した第1及び第2の実施形態は、内視鏡2を尿管10から腎臓の腎盂側に挿入する場合を説明したが、内視鏡2を口から肺内に挿入する場合にも適用できることを以下に説明する。
内視鏡2の先端部15を口から肺に挿入した場合、撮像される画像は、図16Aの咽頭、図16Bの器管支,図16Cの左右の主気管支の分岐部の順番の内視鏡画像となる。なお、図16A、図16B,図16Cは、それぞれ概略図を示し、より具体的な画像は、図17A、図17B又は図17C,図17Dとなる。Further, as each template image in the case of the
Moreover, as a lenplate image used when calculating the similarity, a plurality of actual kidney observation images are used, and a neural network is constructed using the images as teacher data, and the ureter, ureteropelvic junction, renal pelvis May be detected.
In the first and second embodiments described above, the case where the
When the
内視鏡2の先端部15が図17Aの咽頭を通過した後は、気管支の細い管腔が続き、その場合の内視鏡画像は図17B又は図17Cのような画像となる。その後、内視鏡画像における輝度が均一に近い状態となる、図17Dに示すような左右の主気管支の分岐部が観察される(なお、左右の主気管支の分岐部は、管腔は腎盂のように広がらないが、左右に細い気管支が分かれ、分岐の壁を観察する為、輝度が均一に近い状態となる)。
気管支は、尿管10の場合と同様に細い管腔構造となり、図17B又は図17Cに示すように中心側が暗くなる内視鏡画像となる。また、内視鏡2の先端部15が気管支の深部側(奥に)に挿入されると、図17Dに示すように輝度が均一に近い状態の左右の主気管支の分岐部が現れる内視鏡画像となる。そして、例えば、左右の主気管支の分岐部が現れる内視鏡画像を、輝度情報から検出(判定)したり、テンプレート画像を用いた類似度を算出して検出(判定)したりすることができる。
よって、上述した腎臓の観察の場合と同様に、第1の実施形態、第2の実施形態を適用して、(気管支の観察支援をするための)気管支の3次元形状画像(3次元モデル画像)の構築を自動的に開始させる処理を内視鏡画像から同様に行うことができる。After the
The bronchus has a thin lumen structure as in the case of the
Therefore, as in the case of the above-described kidney observation, the three-dimensional shape image (three-dimensional model image for supporting the observation of the bronchi) is applied by applying the first and second embodiments. The process of automatically starting the construction of () can be similarly performed from the endoscopic image.
(第3の実施形態)
次に本発明の第3の実施形態を説明する。腎臓内等に内視鏡2を挿入する場合、円滑に挿入するための挿入補助具としてのアクセスシースを採用する場合がある。本実施形態においては、アクセスシースを採用した場合の実施形態である。
図18Aは、尿管10内に留置したアクセスシース61を示し、アクセスシース61の先端は、尿管腎盂移行部51cの手前あたりに配置される。そして、アクセスシース61内に挿入した内視鏡2より、アクセスシース61の先端を、内視鏡画像から検出することにより、尿管10における腎盂尿管移行部の手前を検出することができる。なお、アクセスシース61は、例えば後述する図25Aの拡大図に示すように先端部61aが、その他の部分(樹脂)と異なる金属により構成され、その色も異なる。
挿入補助具としてのアクセスシース61は、内視鏡2の挿入部11の外径よりも大きい内径の管路を有する。また、アクセスシース61の基端の挿入口61b(図25A参照)から内視鏡2の挿入部11の先端部15を挿入可能である。挿入された内視鏡2の先端部15をアクセスシース61の先端部61a(図25A参照)の先端の突出口から外部に突出させることができる。(Third embodiment)
Next, a third embodiment of the present invention will be described. When the
FIG. 18A shows the
The
図18Aに示すように、アクセスシース61の先端付近に内視鏡2の先端部15を挿入した場合、図18Bの概略図に示すようにアクセスシース61の先端内部画像I61aと、その内側の尿管内壁画像(尿管内部画像)I10とを観察する状態となる。なお、先端内部画像I61aの外側は、アクセスシース61の内壁画像I61となり、先端部15がアクセスシース61の先端部内に位置すると、内壁画像I61は無くなり、先端内部画像I61aと、尿管内壁画像I10となる。
図18Bに対応した実際に得られる内視鏡画像は、図18Cのようになる。アクセスシース61の内壁画像I61と、アクセスシース61の先端内部画像I61aと、その内側の尿管内壁画像I10の色とが異なることから、先端内部画像I61aと尿管内壁画像I10との境界を内視鏡画像から検出することができる。
また、図18B及び図18Cに示すようにアクセスシース61の先端内部画像I61aとその内側の尿管内壁画像I10との境界は、円又は楕円となるので、その境界を形状から検出することもできる。As shown in FIG. 18A, when the
An actually obtained endoscopic image corresponding to FIG. 18B is as shown in FIG. 18C. Since the inner wall image I61 of the
Further, as shown in FIGS. 18B and 18C, the boundary between the distal end internal image I61a of the
本実施形態においては、上記境界を検出した場合には判定信号を発生し、内視鏡画像から3次元形状画像の構築を開始するトリガ信号を発生する。また、本実施形態においては、境界を検出(判定)するために、例えば図18Dに示す色度図を利用する。
図19は、本実施形態における特徴量比較部44の構成を示す。本実施形態は、図1及び図2と同様の構成であり、図2における特徴量比較部44のより詳細な構成が第1の実施形態の場合と異なるのみの構成となる。
図19に示すように特徴量比較部44は、色度図上の処理を行う色度図処理部44gと、先端内部画像I61aとその内側の尿管内壁画像I10との円又は楕円の境界を検出するための円形ハフ変換等の処理を行う境界処理部44hとを有する。また、境界処理部44hは、円形ハフ変換を行う円形ハフ変換処理部を含む。
術者は、入力装置38から色度図処理部44gを用いてトリガ信号を発生させる場合と、境界処理部44hを用いてトリガ信号を発生させる場合とを選択することができる。In the present embodiment, when the boundary is detected, a determination signal is generated, and a trigger signal for starting construction of a three-dimensional shape image from the endoscopic image is generated. Further, in the present embodiment, in order to detect (determine) the boundary, for example, a chromaticity diagram shown in FIG. 18D is used.
FIG. 19 shows a configuration of the feature
As shown in FIG. 19, the feature
The surgeon can select a case where the trigger signal is generated from the
図20Aは、本実施形態における色度図処理部44gを用いてトリガ信号を生成するための比較又は判定を行う処理を示す。
ステップS51及びS52において特徴量比較部44(の前処理部又は)は、ステップS41及びS42の場合と同様に、内視鏡画像のノイズ除去の処理とハレーションの除去の処理を行う。
次のステップS53において特徴量比較部44(の色度図処理部44g)は、内視鏡画像の各画素を、図18Dに示す色度図にプロットする。
内視鏡2の先端部15が挿入された位置が図18Aに示す位置よりも浅い場合には、内視鏡画像の色度図上の位置は、アクセスシース61の内壁画像I61の色に対応した位置となる。
そして、内視鏡2の先端部15が図18A又はこれに近い位置まで挿入されると、その場合の内視鏡画像は図18Cに近い画像となり、色度図上においては、先端内部画像I61aの色が複数プロットされる。なお、図18Dにおいて、先端内部画像I61aの所定の色の領域をC61aで示している。FIG. 20A shows a process of performing comparison or determination for generating a trigger signal using the chromaticity diagram processing unit 44g in the present embodiment.
In steps S51 and S52, the feature amount comparison unit 44 (or the pre-processing unit thereof) performs processing for removing noise from the endoscopic image and processing for removing halation, as in steps S41 and S42.
In the next step S53, the feature amount comparison unit 44 (its chromaticity diagram processing unit 44g) plots each pixel of the endoscopic image in the chromaticity diagram shown in FIG. 18D.
When the position where the
Then, when the
次のステップS54において特徴量比較部44(の色度図処理部44g)は、プロットした位置(色)が所定の色の領域C61a内に所定数以上存在するかを判定する。所定数以上存在しない場合には、ステップS7に移り、フレーム番号を1つ増加する。
一方、ステップS54の判定処理において所定の色の領域C61a内に所定数以上、プロットされた位置が存在する判定結果の場合には、特徴量比較部44(の色度図処理部44g)は、トリガ信号を発生させる判定信号をトリガ信号生成部45に出力する。
次のステップS8においてトリガ信号生成部45はトリガ信号を発生する。そして、図2に示す3次元モデル画像生成部41aは、3次元形状画像の構築を開始する。
なお、ステップS54の判定処理として、更に色度図上において尿管内壁画像I10又は尿管腎盂移行部51cの画像の色の領域C10(図18Dの色度図において示す)に、所定数以上、プロットされた位置が存在する条件を追加しても良い。
先端部15がアクセスシース61の先端部61aに近い位置になると、円形の領域のサイズが大きくなり、その内側の尿管内壁画像I10又は尿管腎盂移行部51cの画像の内視鏡画像に占める割合も大きくなる。そのため、そのような画像の色度図上でプロットされた色も考慮してステップS54の判定を行うようにしても良い。In the next step S54, the feature amount comparison unit 44 (the chromaticity diagram processing unit 44g) determines whether or not the plotted positions (colors) exist in a predetermined color area C61a. If the predetermined number or more does not exist, the process moves to step S7, and the frame number is incremented by one.
On the other hand, in the determination process of step S54, in the case of a determination result in which a predetermined number or more of the plotted positions exist in the predetermined color area C61a, the feature amount comparison unit 44 (the chromaticity diagram processing unit 44g) A determination signal for generating a trigger signal is output to the trigger
In the next step S8, the
In addition, as the determination processing in step S54, a predetermined number or more in the color region C10 (shown in the chromaticity diagram of FIG. 18D) of the ureter inner wall image I10 or the ureteral renal
When the
次に図20Bを参照してアクセスシース先端内部と尿管との境界が、ほぼ円形を示すことを利用し、境界処理部44hによる円形ハフ変換により境界を検出する場合の処理を説明する。
図20Bに示す処理は、図20AにおけるステップS53とS54とを、ステップS61〜S64に変更した処理となる。
ステップS52の処理のステップS61において特徴量比較部44(の境界処理部44h)は、内視鏡画像内のエッジ抽出を行う。特徴量比較部44(の境界処理部44h)は、例えば、内視鏡画像を形成するRGB画像におけるグリーン画像(G画像)を用いてCannyオペレータによるG画像内のエッジ成分を抽出する。
次のステップS62において特徴量比較部44(の境界処理部44h)は、内視鏡画像の輝度を2値化する処理を行う。より具体的には、特徴量比較部44(の境界処理部44h)は、内視鏡画像におけるG画像を用いて内視鏡画像の濃度値ヒストグラムを作成し、更に2値化の閾値を設定し、内視鏡画像を2値化する(p-タイル法等を用いる)。Next, referring to FIG. 20B, a description will be given of processing in the case where the boundary is detected by circular Hough transformation by the
The process illustrated in FIG. 20B is a process in which steps S53 and S54 in FIG. 20A are changed to steps S61 to S64.
In step S61 of the process of step S52, the feature amount comparison unit 44 (the
In the next step S62, the feature amount comparison unit 44 (the
次のステップS63において特徴量比較部44(の境界処理部44h)は、尿管10内の2値化部分を削除する。より具体的には、特徴量比較部44(の境界処理部44h)は、内視鏡画像内の尿管画像領域を検出し、尿管画像領域内の2値化部分を削除する。
次のステップS64において特徴量比較部44(の境界処理部44h)は、円形ハフ変換による2値化したエッジの各画素をパラメータ空間に投票する。
次のステップS65において特徴量比較部44(の境界処理部44h)は、円形を抽出する処理を行う。より具体的には、特徴量比較部44(の境界処理部44h)は、パラメータ空間での投票度数が最大となる位置を検出する。
次のステップS66において特徴量比較部44(の境界処理部44h)は、アクセスシース61の先端部61aの有無を判定する。より具体的には、特徴量比較部44(の境界処理部44h)は、ステップS65で検出された投票度数が特定の閾値以上かを判定し、閾値未満である場合には、内視鏡2の先端部15がアクセスシース61の先端部61a付近に存在しない状態の内視鏡画像であると判定する。この判定結果の場合には、ステップS7の処理に進む。In the next step S63, the feature amount comparison unit 44 (the
In the next step S64, the feature amount comparison unit 44 (the
In the next step S65, the feature amount comparison unit 44 (the
In the next step S <b> 66, the feature amount comparison unit 44 (the
一方、特徴量比較部44(の境界処理部44h)は、投票度数が特定の閾値以上である場合には、内視鏡2の先端部15がアクセスシース61の先端部61a付近に存在する状態の内視鏡画像であると判定する。この判定結果の場合にはステップS8の処理に移る。
On the other hand, the feature amount comparison unit 44 (the
本実施形態によれば、アクセスシース61を採用した場合、内視鏡画像からアクセスシース61の先端部61aを検出することにより、トリガ信号を発生して、3次元形状画像の構築を自動的に開始させることができる。
また、本実施形態においては、アクセスシース61の先端部61aを留置する位置の設定(調整)により、3次元形状画像の構築を開始させる位置を調整することができる。According to the present embodiment, when the
In the present embodiment, the position at which the construction of the three-dimensional shape image is started can be adjusted by setting (adjusting) the position where the
(第4の実施形態)
次に本発明の第4の実施形態を説明する。本実施形態は、腎盂51a、腎杯51b内における特定の構造を検出した場合、トリガ信号を発生して、3次元形状画像の構築を開始する。
本実施形態は、図21に示すように特徴量比較部44は、特定の構造を検出する構造検出部44iを有する。構造検出部44iは、検出対象に設定される特定の構造を有する基準画像の特徴を格納するメモリ44jを有する。
構造検出部44iは、内視鏡2による取得される内視鏡画像が特定の構造を有するか否かを検出(判定)し、特定の構造を有することを検出した場合、判定信号をトリガ信号生成部に出力する。そして、3次元形状画像の構築が開始する。
なお、メモリ44jは、特定の構造を有する複数種類の基準画像の特徴を格納でき、術者は、検出対象とする特定の構造を選択(設定)できる。つまり、術者は、複数種類の基準画像の特徴から1つの基準画像の特徴を選択することにより、選択された基準画像の特徴(特定の構造)に相当する検出結果の位置から3次元形状画像の構築を開始させる選択を行うことができる。(Fourth embodiment)
Next, a fourth embodiment of the present invention will be described. In the present embodiment, when a specific structure in the
In the present embodiment, as shown in FIG. 21, the feature
The
The memory 44j can store the characteristics of a plurality of types of reference images having a specific structure, and the surgeon can select (set) a specific structure to be detected. That is, the surgeon selects a feature of one reference image from the features of a plurality of types of reference images, so that a three-dimensional shape image is obtained from the position of the detection result corresponding to the feature (specific structure) of the selected reference image. You can make a selection to start building.
図22Aと、図22B又は図22Cは、特定の構造を有する基準画像の例を示す。図22Aは、腎盂51aから腎杯51bの入口が観察される分岐構造を有する基準画像を示す。図22Aのように腎盂51a内において、その画像内に複数の矢印で示すように腎杯51bの入口を表す、くぼんで奥が暗くなる構造(部分)St1が存在している。そして、構造検出部44iは、このような腎杯51bの入口を示す構造を1つ又は複数の分岐構造を検出した場合に、判定信号を発生し、3次元形状画像の構築が開始するようにする。
また、図22B又は図22Cは、上腎杯における腎乳頭を特定の色を有すると共に、***した形状となる特定の構造を有する基準画像を示す。内視鏡2を腎杯51b内に挿入し、図22B又は図22Cに示すように白色に近い周辺の色に対して、矢印で示すように肌色に近い色を有し、***した形状を有する腎乳頭の構造St2,St3を検出した場合に、構造検出部44iは、判定信号を発生し、3次元形状画像の構築が開始するようにする。その他の構成は、第1の実施形態と同様の構成である。
図23は、本実施形態におけるトリガ信号を生成するための処理のフローチャートを示す。この処理は、例えば図20Aにおいて、ステップS53,S54の処理をステップS71,S72に置換した処理となる。FIG. 22A and FIG. 22B or 22C show examples of reference images having a specific structure. FIG. 22A shows a reference image having a branch structure in which the entrance of the
Moreover, FIG. 22B or FIG. 22C shows the reference | standard image which has a specific structure which has a specific color and has a specific shape for the renal papilla in the upper renal cup. The
FIG. 23 shows a flowchart of processing for generating a trigger signal in the present embodiment. This process is, for example, a process in which steps S53 and S54 are replaced with steps S71 and S72 in FIG. 20A.
ステップS71において構造検出部44iは、メモリ44jに格納された検出対象の基準画像の特定の構造を参照して、内視鏡2による取得される内視鏡画像が特定の構造を有するか否かを検出する。
次のステップS72において構造検出部44iは、内視鏡画像が特定の構造を、予め設定された閾値以上の割合で特定の構造を有するか否かを判定する。閾値未満の割合で特定の構造を検出した場合には、ステップS7の処理に移り、閾値以上の割合で特定の構造を検出した場合にはステップS8の処理に進む。
本実施形態によれば、特定の構造を検出した場合に、自動的に3次元形状画像(3次元モデル画像)の構築(生成)を開始することができる。
また、複数種類の特定の構造を用意することにより、3次元形状画像を構築する位置を選択することができる。In step S71, the
In the next step S72, the
According to this embodiment, when a specific structure is detected, construction (generation) of a three-dimensional shape image (three-dimensional model image) can be automatically started.
In addition, by preparing a plurality of types of specific structures, it is possible to select a position for constructing a three-dimensional shape image.
(第5の実施形態)
次に本発明の第5の実施形態を説明する。本実施形態は、上述した第1〜第4の実施形態のいずれかの実施形態において、トリガ信号生成部45又は動作検知部47が、キャリブレーションを行うキャリブレーション処理部45aを有する。図24Aは、トリガ信号生成部45がキャリブレーション処理部45aを有する例を示す。
また、本実施形態においては、術者は、入力装置38から上述した実施形態の処理を行う場合と、キャリブレーション処理部45aによる処理に基づいてトリガ信号を生成する場合との一方を選択することができる。上述した実施形態の処理を選択した場合には、上述した実施形態と同様の処理となり、説明済みの動作となる。そのために、以下ではキャリブレーション処理部45aを選択した場合の処理等を説明する。
腎臓は呼吸によって移動する為、精度の高い観察支援を実現するためには呼吸による腎臓の動きを考慮する必要がある。例えば、呼吸の動きによる内視鏡2の先端部15の位置を補正しない場合には、内視鏡2の先端部15の位置に基づく3次元形状画像(3次元モデル画像)を構築する場合の精度と、表示した場合の精度も低下する。また、モニタ8に表示される腎盂・腎杯形状に対して内視鏡先端が実際と異なる位置に表示される。(Fifth embodiment)
Next, a fifth embodiment of the present invention will be described. In the present embodiment, in any one of the first to fourth embodiments described above, the trigger
In the present embodiment, the operator selects one of the case where the processing of the above-described embodiment is performed from the
Since the kidney moves by respiration, it is necessary to consider the movement of the kidney due to respiration in order to realize highly accurate observation support. For example, when the position of the
このため、本実施形態においては、キャリブレーション処理部45aは、呼吸による腎臓の動きを検出して、内視鏡2の先端部15の位置を補正するキャリブレーションの処理を行う。そして、キャリブレーションが完了した場合には、3次元形状画像の構築を開始する。
図24Bは、本実施形態の処理を示す。図24に示す処理は、図4の処理と類似しているので、異なる部分のみ説明する。ステップS1として、初期化を行う。ここではパラメータjのみ用い、初期値j=0に設定し、ステップS2の処理に進む。ステップS2においてパラメータjが1でない場合には、ステップS81の処理に進み、ステップS81においてキャリブレーション処理部45aは、キャリブレーションの処理を行う。
キャリブレーション処理部45aは、腎臓内に挿入した内視鏡2の先端部15を、腎臓の動きに合わせて動かすことにより、先端部15の位置の動きを、腎臓の動きとして先端部15の位置を求めても良い。Therefore, in the present embodiment, the
FIG. 24B shows processing of the present embodiment. Since the process shown in FIG. 24 is similar to the process of FIG. 4, only different parts will be described. As step S1, initialization is performed. Here, only the parameter j is used, the initial value j = 0 is set, and the process proceeds to step S2. If the parameter j is not 1 in step S2, the process proceeds to step S81. In step S81, the
The
キャリブレーション処理部45aは、腎臓内に内視鏡2の先端部15が挿入された状態で、呼吸による腎臓の動きの変動量に基づいて、呼吸による先端部15の位置を推定する先端の位置データの推定又は取得の処理を行う。
このような推定を行うことが可能な補正のデータ取得が完了した状態になると、キャリブレーション処理部45aは、キャリブレーションが完了し、完了を通知する判定信号又はトリガ信号を出力する。なお、キャリブレーション処理部45aがトリガ信号生成部45の外部に設けられている場合には、キャリブレーション処理部45aがトリガ信号生成部45にトリガ信号を発生させる判定信号を出力する。
ステップS81の次のステップS82においてキャリブレーション処理部45aは、キャリブレーションが完了したか(換言すると、補正のデータ取得が完了したか)を判定する。キャリブレーションが完了していない場合には、ステップS81の処理に戻る。
一方、キャリブレーションが完了した場合には、ステップS8に進み、ステップS8の処理後にステップS4に進む。ステップS4以降は、図4と同様の処理を行う。但し、ステップS11において、終了でない場合にはステップS4の処理に戻る。また、ステップS4において、先端部15の位置の情報を取り込んだ際に、上記のように呼吸による変動量を補正した位置の情報を取得して、ステップS9の処理を行う。
本実施形態によれば、キャリブレーションの完了後に、トリガ信号を発生して、自動的に3次元形状画像の構築を開始できる。また、呼吸による先端部15の位置が変動した場合の影響を低減した3次元形状画像の構築ができる。The
When the correction data acquisition capable of performing such estimation is completed, the
In step S82 subsequent to step S81, the
On the other hand, when the calibration is completed, the process proceeds to step S8, and proceeds to step S4 after the process of step S8. After step S4, the same processing as in FIG. 4 is performed. However, if it is not the end in step S11, the process returns to step S4. In step S4, when the position information of the
According to the present embodiment, after completion of calibration, a trigger signal can be generated to automatically start construction of a three-dimensional shape image. In addition, it is possible to construct a three-dimensional shape image with reduced influence when the position of the
(第6の実施形態)
次に本発明の第6の実施形態を説明する。本実施形態は、上述した第1〜第5の実施形態のいずれかの実施形態において、磁界検出部46が、磁界変化を検出した場合に判定信号をトリガ信号生成部45に出力し、3次元モデル画像生成部41aは、3次元形状画像の構築を開始する。入力装置38から磁界検出部46を用いない選択を行った場合には、上述した第1〜第5の実施形態のいずれかの動作となる。このため以下では、入力装置38から磁界検出部46を用いる選択を行った場合を説明する。
内視鏡2の先端部15がアクセスシース61の先端部61a付近の位置を通過したような場合における、先端部内センサ34から出力される磁界の検出信号から磁界検出部46が磁界の変化量を検出して、トリガ信号を発生させる判定信号を発生する。
図25Aは、図18Aと同様の図であり、内視鏡2の先端部15及びその周囲のアクセスシース61の先端部61aの付近を拡大図により拡大して示す。拡大図からのハッチングから分かるように、アクセスシース61の先端部61aは、導電性を有する金属で構成され、先端部61a以外は樹脂等の非金属部材(又は絶縁製部材)で構成されている。以下に説明するようにアクセスシース61の先端部61aが、アクセスシース61におけるその他の部分と、磁界に対する特性が異なることを利用して、信号生成部を構成するトリガ信号生成部45は、トリガ信号を発生(生成)する。(Sixth embodiment)
Next, a sixth embodiment of the present invention will be described. In this embodiment, in any one of the first to fifth embodiments described above, when the magnetic
When the
FIG. 25A is a view similar to FIG. 18A, and shows an enlarged view of the vicinity of the
図25Bは、図25Aの状態で取得される内視鏡画像の概略図を示し、図18Bと同様の図となる。
図25Cは、図25Aにおいて、更に内視鏡2の先端部15がアクセスシース61の先端部61a内にまで挿入された状態を示す。
図25Cにおける円形部分の拡大図に示すように、先端部15内には先端部内センサ34を形成するセンスコイル34a〜34cが配置されている。また、患者9の外部に配置されるアンテナ7を構成するソースコイル7aには、交流電流が印加され、このソースコイル7aは、その周囲に(交流)磁界を発生する。なお、先端部15の位置の検出精度を向上するために、複数のソースコイルが採用されている。
図25Dは、ソースコイル7aが発生する磁界と、その磁界を検出するセンスコイル34aを示す(センスコイル34b,34cは、センスコイル34aの場合と同様に作用する)。
図25Dに示すように、ソースコイル7aには時間的に変化する電流が流れ、時間的に変化する磁界Hが発生する。ソースコイル7aが発生した磁界H内にセンスコイル34aを配置した場合、電磁誘導によりセンスコイル34aに電流が流れる。FIG. 25B shows a schematic diagram of an endoscopic image acquired in the state of FIG. 25A, and is the same diagram as FIG. 18B.
25C shows a state in which the
As shown in the enlarged view of the circular portion in FIG. 25C, sense coils 34 a to 34 c forming the
FIG. 25D shows a magnetic field generated by the
As shown in FIG. 25D, a time-varying current flows through the
また、ソースコイル7aが発生した磁界H内にアクセスシース61の先端部61aのような金属Mを配置した場合、磁束が金属Mを貫き、磁束の周りに渦電流Ceが流れる。渦電流Ceが流れると金属Mを貫いた磁束と逆方向に磁界が発生する。
そのため、金属Mの近傍にセンスコイル34aが配置されていると、センスコイル34aは、渦電流Ceによって発生した磁界とソースコイル7aが発生した磁界Hの合成された磁界を検出することになり、金属Mの有無によってセンスコイル34aが検出する出力が変化する。
内視鏡2の先端部15がアクセスシース61の先端部61a内に存在した場合、又は先端部61aを通過した場合、アクセスシース61の先端部61aを境にセンスコイル34aの出力が変動する。
従って、磁界検出部46が変動する出力を検出することにより、内視鏡2の先端部15がアクセスシース61の先端部61aを通過したことを判定することができる。Further, when a metal M such as the
Therefore, when the
When the
Therefore, it is possible to determine that the
図26Aは、この場合の処理を示す。図26Aの処理は、図24においてステップS81及びS82の処理が異なる。ステップS2においてパラメータjが1でない判定結果の場合には、ステップS85において磁界検出部46は、先端部内センサ34が出力する検出信号の時間的変化量Dtをモニタする。次のステップS86において磁界検出部46は、検出信号の時間的変化量Dtの絶対値が、閾値Dth以上であるか否かを判定し、閾値Dth未満の場合には、ステップS85の処理に戻る。なお、閾値Dthは、正の値である(Dth>0)。
FIG. 26A shows processing in this case. The process of FIG. 26A differs from the process of steps S81 and S82 in FIG. In the case where the determination result is that the parameter j is not 1 in step S2, the magnetic
一方、検出信号の時間的変化量Dtの絶対値が、閾値Dth以上の場合には、磁界検出部46は、判定信号をトリガ信号生成部45に出力してステップS8に進む。ステップS8において、トリガ信号生成部45は、トリガ信号を発生し、このステップS8の処理後、ステップS4の処理に移る。なお、ステップS4,S9〜S12は、図4における処理と同様である。
本実施形態によれば、先端部15がアクセスシース61の先端部61aを通過した際の磁界変化量を検出した場合にトリガ信号を発生し、自動的に3次元形状画像の構築を開始できる。On the other hand, when the absolute value of the temporal change amount Dt of the detection signal is equal to or greater than the threshold value Dth, the magnetic
According to this embodiment, a trigger signal is generated when the amount of magnetic field change when the
なお、先端部15がアクセスシース61の先端部61aを通過した際の磁界変化量を検出した場合にトリガ信号を発生させる場合の他に、以下の場合においてトリガ信号を発生させるようにしても良い。
先端部15がアクセスシース61の先端部61aに近づき、先端部61a内(先端部61aの内側)に入った際の磁界変化量を磁界検出部46が検出した判定信号に基づいて、トリガ信号を発生させるようにしても良い。
換言すると、内視鏡2の先端部15がアクセスシース61の先端部61aのような所定の位置にあることを(磁界検出部46が)検知した場合、トリガ信号生成部45が3次元モデル画像の生成を開始するトリガ信号を生成するようにしても良い。
このように磁界検出部46が内視鏡2の先端部15内に配置され、先端部15の位置を検出する先端部内センサ34により検出される検出信号から内視鏡2の先端部15周辺の磁界変化を検出し、検出結果の判定信号をトリガ信号生成部45に出力する。In addition to the case where the trigger signal is generated when the magnetic field change amount when the
A trigger signal is generated based on the determination signal detected by the magnetic
In other words, when the
Thus, the magnetic
トリガ信号生成部45は、磁界検出部46の検出結果に基づいて、先端部15が所定の位置としてのアクセスシース61の先端部61aの位置にあることを検知してトリガ信号を発生し、3次元モデル画像生成部41a又は制御部43に出力する。3次元モデル画像生成部41aは、トリガ信号生成部45からのトリガ信号により3次元モデル画像の生成を開始したり、又は制御部43による制御下でトリガ信号に基づいて3次元モデル画像の生成を開始する。
トリガ信号生成部45(及び磁界検出部46)は、内視鏡2が所定の位置にあることを検知した場合のトリガ信号を生成する信号生成部をトリガ信号生成部45が構成する。なお、トリガ信号生成部45が磁界検出部46を備える構成にしても良いし、逆に磁界検出部46がトリガ信号生成部45を備える構成にしても良い。そして、本実施形態は以下のような構成であるとも言える。Based on the detection result of the
In the trigger signal generation unit 45 (and the magnetic field detection unit 46), the trigger
本実施形態の医療用観察システム1(例えば図1)は、3次元形状を有する被検体としての患者9の内部を観察する内視鏡2と、前記被検体の3次元モデル画像を構築する3次元モデル画像生成部41aと、前記内視鏡2(の先端部15)がアクセスシース61の先端部61a等の所定の位置にあることを検知した場合、前記3次元モデル画像の生成を開始するトリガ信号を生成する信号生成部を形成するトリガ信号生成部45と、前記3次元モデル画像生成部41aに対して、前記信号生成部により生成された前記トリガ信号に基づいて、前記3次元モデル画像の生成を開始するよう制御する制御部43と、を有することを特徴とする。
上記のように内視鏡2の先端部15アクセスシース61の先端部61a等の所定の位置にあることを検知(検出)した場合の他の場合にも、トリガ信号を発生させるようにしても良い。
例えば、磁界検出部46が、先端部内センサ34がアンテナ7の検出範囲に入った場合に、トリガ信号生成部45からトリガ信号を発生させ、3次元モデル画像生成部41aが3次元形状画像の構築を開始するような構成にしても良い。The medical observation system 1 (for example, FIG. 1) of this embodiment constructs an
As described above, the trigger signal may be generated also in other cases when it is detected (detected) that the
For example, the magnetic
より具体的には、磁界検出部46は、先端部内センサ34の検出信号の信号レベルの絶対値が、信号レベルの閾値以上となる場合に、トリガ信号を発生するようにしても良い。換言すると、先端部内センサ34の検出信号の信号レベルの絶対値が、信号レベルの閾値以上となる場合に所定の精度で先端部15の位置を検出又は推定できるアンテナ7の検出範囲内に入ったと判定する。
また、一定時間間隔等において先端部15の位置の推定から、動作検知部47が先端部15の移動速度を算出し、移動速度が閾値未満となった場合に、トリガ信号を発生し、3次元モデル画像生成部41aが3次元形状画像の構築を開始するような構成にしても良い。
また、第6の実施形態により、内視鏡2の先端部15が所定の位置にあることを検知した場合、その時間から設定された時間、又は所定の位置から設定された距離遡って、3次元モデル画像生成部41aが3次元形状画像の構築を開始するようにしても良い。More specifically, the magnetic
Further, from the estimation of the position of the
Further, according to the sixth embodiment, when it is detected that the
その他に、動作検知部47がユーザによる入力装置38やフットスイッチの操作、内視鏡2の挿入の操作、例えば湾曲操作、内視鏡2を挿入した後の、後退させる操作を検知した場合に、トリガ信号生成部45からトリガ信号を発生させ、3次元モデル画像生成部41aが3次元形状画像の構築を開始するような構成にしても良い。
また、内視鏡画像(撮像画像)における所定のパラメータの所定値以上の結果(又は変化結果)と、術者等のユーザによる内視鏡2の挿入動作の検知結果と、に基づいて、トリガ信号を生成するようにしても良い。
図26Bは、この場合の処理の例を(第6の実施形態の第1変形例として)示す。図26Bは、例えば図4の処理において、ステップS6において所定の特徴量(パラメータ)C(i,j)が閾値以上の場合には、ステップS6′の処理を行うフローチャートとなる。ステップS6′以外は、図4と同様の処理となる。
ステップS6′において、例えば動作検知部47により形成される挿入動作検知部が、(所定の)挿入動作を検知したか否かを判定(検知)し、挿入動作を検知しない場合には、ステップS7に移る。一方、ステップS6′において、動作検知部47により形成される挿入動作検知部が、挿入動作を検知した場合には、ステップS8に進み、トリガ信号を発生する。In addition, when the
Further, the trigger is based on a result (or a change result) of a predetermined parameter or more in the endoscopic image (captured image) and a detection result of the insertion operation of the
FIG. 26B shows an example of processing in this case (as a first modification of the sixth embodiment). FIG. 26B is a flowchart for performing the process of step S6 ′ when, for example, in the process of FIG. 4, when the predetermined feature amount (parameter) C (i, j) is equal to or greater than the threshold value in step S6. Except for step S6 ', the process is the same as in FIG.
In step S6 ′, for example, if the insertion motion detection unit formed by the
動作検知部47により形成される挿入動作検知部は、上述した内視鏡2による湾曲操作等でも良いし、先端部内センサ34がアンテナ7の検出範囲に入った場合を、所定の挿入動作を検知した場合に設定しても良い。このように複数の判定結果(又は検知結果)に基づいて、トリガ信号を生成するようにしても良い。図26Bでは、撮像画像と挿入動作の場合とを組み合わせた例を示しているが、撮像画像と図26Aの検出信号の時間的変化量等とを組み合わせても良い。
また、ユーザが入力装置38から上述した実施形態及び変形例等を選択的に動作させる選択を行うことができる構成にしても良い。
図27は、ユーザが入力装置38から上述した実施形態及び変形例等を選択的に動作させることができる(第6の実施形態の第2変形例の)観察支援装置6Bを示す。
図27の観察支援装置6Bは、特徴量比較部44が第1の実施形態における輝度抽出回路44a,比較回路44b,閾値設定部44c,から第4の実施形態における構造検出部44i、メモリ44jまでを有する。また、トリガ信号生成部45は、キャリブレーション処理部45aを有する。The insertion operation detection unit formed by the
In addition, a configuration may be employed in which the user can perform selection to selectively operate the above-described embodiment, modification, and the like from the
FIG. 27 shows an
In the
特徴量比較部44は、第1の実施形態の輝度抽出回路44a,比較回路44b,閾値設定部44c,第2の実施形態の画像設定部44d、類似度算出部44e、第3の実施形態の色度図処理部44g、境界処理部44h、第4の実施形態の構造検出部44i、メモリ44jを有する。また、トリガ信号生成部45は、第5の実施形態で説明したキャリブレーション処理部45aを有する。
そして、ユーザは、入力装置38から第1の実施形態の輝度抽出回路44a,比較回路44b,閾値設定部44c〜第4の実施形態の構造検出部44i、メモリ44jまでの1つの実施形態を選択して、3次元形状画像の構築を開始させる構成を選択できる。
また、その他に、入力装置38からキャリブレーション処理部45aを選択したり、磁界検出部46を選択する等して、上述した第6の実施形態等の処理や動作を行うようにすることもできる。図27の観察支援装置6Bを用いた場合には、3次元形状画像の構築を開始させる場合において、ユーザの選択肢が増え、操作性の良い医療用観察システムを実現できる。
なお、上述した実施形態等を部分的に組み合わせて異なる実施形態等を構成しても良い。The feature
Then, the user selects one embodiment from the
In addition, the processing and operation of the above-described sixth embodiment can be performed by selecting the
Different embodiments may be configured by partially combining the above-described embodiments.
本出願は、2016年6月7日に日本国に出願された特願2016−113777号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。 This application is filed on the basis of the priority claim of Japanese Patent Application No. 2006-113777 filed in Japan on June 7, 2016. The above disclosure is included in the present specification and claims. Shall be quoted.
本発明の一態様の医療用観察システムは、撮像部と、被検体内に挿通され、所定の臓器まで挿通可能な挿入部と、を有する内視鏡と、トリガ信号が入力されることで、前記トリガ信号が入力された後に前記撮像部により出力された撮像画像に基づいて、前記被検体の立体形状を表す3次元形状画像の生成を開始し、かつ前記内視鏡により撮像される領域の変化に応じて前記立体形状の構築領域を増加する3次元モデル画像生成部と、前記3次元形状画像の生成を開始させるための前記トリガ信号を入力する信号生成部と、前記挿入部が前記所定の臓器まで到達しているかどうかを判定し、前記挿入部が前記所定の臓器まで到達していないと判断された場合は、前記信号生成部に前記トリガ信号を入力させず、かつ前記挿入部が前記所定の臓器まで到達したと判断された場合は、前記信号生成部に前記トリガ信号を入力させる制御を行う制御部と、を有する。 The medical observation system of one embodiment of the present invention is an endoscope including an imaging unit, an insertion unit that is inserted into a subject and can be inserted to a predetermined organ, and a trigger signal is input. Based on the captured image output by the imaging unit after the trigger signal is input , generation of a three-dimensional shape image representing the three- dimensional shape of the subject is started, and the region captured by the endoscope and a three-dimensional model image generating unit to increase the construction area of the three-dimensional shape in accordance with a change, a signal generating unit for inputting the trigger signal for starting the generation of the pre-Symbol 3-dimensional shape image, wherein the insertion portion is the It is determined whether or not the predetermined organ has been reached, and if it is determined that the insertion unit has not reached the predetermined organ, the trigger signal is not input to the signal generation unit, and the insertion unit Is the predetermined organ In the case where it is determined to have reached, and a control unit for performing control to input the trigger signal to the signal generator.
本発明の一態様の医療用観察システムは、撮像部と、被検体内の所定の臓器まで挿通可能な挿入部と、を有する内視鏡と、前記挿入部の先端部に配置されたセンサから当該先端部の3次元位置及び姿勢を推定する位置姿勢推定部と、前記撮像部において撮像された内視鏡画像の輝度情報として、1フレーム分の内視鏡画像の平均値、1フレーム分の内視鏡画像の分割領域の平均値または前記内視鏡画像上に設定した所定ラインに沿った分割領域の平均値から選択的に特徴量として算出可能な特徴量比較部と、前記特徴量比較部が算出した特徴量に基づいてトリガ信号を出力する信号生成部と、前記信号生成部から前記トリガ信号の入力に基づいて、前記位置姿勢推定部により推定された位置及び姿勢情報と前記内視鏡画像とを用いて前記被検体における前記所定の臓器の立体形状を表す3次元形状画像の構築を開始し、前記3次元形状画像の構築を開始した位置から前記内視鏡の移動に基づき撮像した内視鏡画像に対応した3次元形状画像を構築する3次元形状画像生成部と、を有する。
The medical observation system according to one aspect of the present invention includes an endoscope having an imaging unit, an insertion unit that can be inserted into a predetermined organ in a subject, and a sensor disposed at a distal end portion of the insertion unit. A position / orientation estimation unit that estimates the three-dimensional position and orientation of the tip, and the luminance information of the endoscope image captured by the imaging unit, the average value of one frame of the endoscope image, and one frame A feature amount comparison unit capable of selectively calculating as a feature amount from an average value of divided regions of an endoscopic image or an average value of divided regions along a predetermined line set on the endoscopic image; and the feature amount comparison A signal generation unit that outputs a trigger signal based on the feature amount calculated by the unit, and the position and orientation information estimated by the position and orientation estimation unit based on the input of the trigger signal from the signal generation unit the test using a mirror image The start building the three-dimensional shape image representing a three-dimensional shape of a predetermined organ in the corresponded from the starting point of the construction of the three-dimensional shape image in an endoscopic image captured based on the movement of the
Claims (13)
前記撮像部により出力された撮像画像に基づいて、前記被検体の3次元モデル画像を構築する3次元モデル画像生成部と、
前記撮像画像における所定のパラメータに基づいて、前記3次元モデル画像の生成を開始させるためのトリガ信号を生成する信号生成部と、
前記3次元モデル画像生成部に対して、前記信号生成部により生成された前記トリガ信号に基づいて、前記3次元モデル画像の生成を開始するよう制御する制御部と、
を有することを特徴とする医療用観察システム。An endoscope having an imaging unit for imaging the inside of a subject having a three-dimensional shape;
A three-dimensional model image generation unit that constructs a three-dimensional model image of the subject based on the captured image output by the imaging unit;
A signal generation unit that generates a trigger signal for starting generation of the three-dimensional model image based on predetermined parameters in the captured image;
A control unit that controls the three-dimensional model image generation unit to start generating the three-dimensional model image based on the trigger signal generated by the signal generation unit;
A medical observation system characterized by comprising:
前記信号生成部は、前記特徴量比較部による比較結果に基づいて、前記トリガ信号を生成することを特徴とする請求項1に記載の医療用観察システム。A feature amount comparison unit that compares the predetermined parameter in the captured image as a feature amount with a predetermined threshold;
The medical observation system according to claim 1, wherein the signal generation unit generates the trigger signal based on a comparison result by the feature amount comparison unit.
前記信号生成部は、前記所定のパラメータが所定値以上変化し、かつ前記挿入動作検知部による検知結果に基づいて、前記トリガ信号を生成することを特徴とする請求項1に記載の医療用観察システム。Further comprising an insertion motion detector for detecting the insertion motion of the endoscope by the surgeon,
2. The medical observation according to claim 1, wherein the signal generation unit generates the trigger signal based on a detection result of the insertion motion detection unit when the predetermined parameter changes by a predetermined value or more. system.
前記被検体の3次元モデル画像を構築する3次元モデル画像生成部と、
前記内視鏡が所定の位置にあることを検知した場合、前記3次元モデル画像の生成を開始するトリガ信号を生成する信号生成部と、
前記3次元モデル画像生成部に対して、前記信号生成部により生成された前記トリガ信号に基づいて、前記3次元モデル画像の生成を開始するよう制御する制御部と、
を有することを特徴とする医療用観察システム。An endoscope for observing the inside of a subject having a three-dimensional shape;
A three-dimensional model image generation unit for constructing a three-dimensional model image of the subject;
A signal generation unit that generates a trigger signal for starting generation of the three-dimensional model image when detecting that the endoscope is in a predetermined position;
A control unit that controls the three-dimensional model image generation unit to start generating the three-dimensional model image based on the trigger signal generated by the signal generation unit;
A medical observation system characterized by comprising:
前記信号生成部は、前記磁界検出部による検出結果に基づいて、前記内視鏡が所定の位置にあることを検知して、前記トリガ信号を生成することを特徴とする請求項6に記載の医療用観察システム。A magnetic field detector for detecting a change in the magnetic field around the endoscope distal end;
The said signal generation part detects that the said endoscope exists in a predetermined position based on the detection result by the said magnetic field detection part, The said trigger signal is produced | generated, The said trigger signal is produced | generated. Medical observation system.
前記磁界検出部は、前記内視鏡の先端部が前記挿入補助具における前記突出口から突出された際の磁界変化を検出することを特徴とする請求項7に記載の医療用観察システム。The endoscope can be inserted into the insertion port from the inside, and is formed as a conduit that can project the distal end portion of the endoscope inserted from the insertion port to the outside from the projection port. A further insertion aid,
The medical observation system according to claim 7, wherein the magnetic field detection unit detects a magnetic field change when a distal end portion of the endoscope is protruded from the protruding opening of the insertion assisting tool.
前記差分が閾値以下の場合に、前記信号生成部は、前記トリガ信号を生成することを特徴とする請求項2に記載の医療用観察システム。The feature amount comparison unit divides the entire captured image or a region of the captured image along a predetermined direction as the feature amount in the captured image into a plurality of divided regions, and averages the luminance of each of the plurality of divided regions. A luminance calculation circuit for calculating a value and further calculating a difference between the maximum value and the minimum value of the average luminance value,
The medical observation system according to claim 2, wherein the signal generation unit generates the trigger signal when the difference is equal to or less than a threshold value.
前記類似度算出部が前記撮像部による前記撮像画像が前記第1の参照画像と類似する比較結果を得た後に、前記撮像部による前記撮像画像が前記第2の参照画像と類似する比較結果を得た場合に、前記信号生成部は、前記トリガ信号を生成することを特徴とする請求項2に記載の医療用観察システム。The feature amount comparison unit is at least at first and second specific positions along an insertion path that is deeper than the insertion port from the insertion port inside the subject into which the endoscope is inserted. A memory that stores a captured image or an image similar to the captured image in advance as first and second reference images, the first and second reference images, and the captured image actually captured by the imaging unit A similarity calculation unit that calculates the similarity of
After the similarity calculation unit obtains a comparison result in which the captured image by the imaging unit is similar to the first reference image, a comparison result in which the captured image by the imaging unit is similar to the second reference image is obtained. 3. The medical observation system according to claim 2, wherein, when obtained, the signal generation unit generates the trigger signal. 4.
前記類似度算出部が前記撮像部による前記撮像画像が前記第1の参照画像と最も類似する第1の比較結果と、前記撮像部による前記撮像画像が前記第2の参照画像と最も類似する第2の比較結果とを順次得た後に、前記撮像部による前記撮像画像が前記第3の参照画像と最も類似する第3の比較結果を得た場合に、前記信号生成部は、前記トリガ信号を生成することを特徴とする請求項2に記載の医療用観察システム。The feature amount comparison unit includes first, second, and third specific positions along an insertion path that is deeper than the insertion port from the insertion port inside the subject into which the endoscope is inserted. A memory for previously storing the captured image or an image similar to the captured image as the first, second, and third reference images, the first, second, and third reference images, and the actual imaging unit. A similarity calculation unit that calculates the similarity with the captured image captured by
The similarity calculation unit has a first comparison result in which the captured image by the imaging unit is most similar to the first reference image, and a first comparison result in which the captured image by the imaging unit is most similar to the second reference image. After sequentially obtaining the two comparison results, the signal generation unit obtains the trigger signal when the captured image obtained by the imaging unit obtains a third comparison result that is most similar to the third reference image. The medical observation system according to claim 2, wherein the medical observation system is generated.
前記特徴量比較部は、前記撮像部による前記撮像画像の各画素を色度図上にプロットする色度図処理部を有し、
前記色度図処理部が色度図上にプロットされた各画素が前記突出口付近の内壁の色に相当する領域内に存在する数を所定数と比較し、所定数以上有る比較結果の場合に、前記信号生成部は、前記トリガ信号を生成することを特徴とする請求項2に記載の医療用観察システム。The endoscope can be inserted into the insertion port from the inside, and is formed as a conduit that can project the distal end portion of the endoscope inserted from the insertion port to the outside from the projection port. An insertion aid having an inner wall in the vicinity of the projection opening having a color different from that of the other inner wall and the inside of the subject,
The feature amount comparison unit includes a chromaticity diagram processing unit that plots each pixel of the captured image by the imaging unit on a chromaticity diagram,
When the chromaticity diagram processing unit compares the number of each pixel plotted on the chromaticity diagram in the region corresponding to the color of the inner wall near the protruding opening with a predetermined number, and the comparison result has a predetermined number or more 3. The medical observation system according to claim 2, wherein the signal generation unit generates the trigger signal.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016113777 | 2016-06-07 | ||
JP2016113777 | 2016-06-07 | ||
PCT/JP2017/009831 WO2017212725A1 (en) | 2016-06-07 | 2017-03-10 | Medical observation system |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2017212725A1 true JPWO2017212725A1 (en) | 2018-06-28 |
Family
ID=60578499
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018501382A Pending JPWO2017212725A1 (en) | 2016-06-07 | 2017-03-10 | Medical observation system |
Country Status (2)
Country | Link |
---|---|
JP (1) | JPWO2017212725A1 (en) |
WO (1) | WO2017212725A1 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190090960A1 (en) * | 2017-09-25 | 2019-03-28 | Intuitive Surgical Operations, Inc. | Tubular body structure imaging and locating system |
JPWO2020153186A1 (en) * | 2019-01-24 | 2021-11-18 | 富士フイルム株式会社 | Endoscope device |
JP6632020B1 (en) * | 2019-09-20 | 2020-01-15 | 株式会社Micotoテクノロジー | Endoscope image processing system |
WO2021166103A1 (en) * | 2020-02-19 | 2021-08-26 | オリンパス株式会社 | Endoscopic system, lumen structure calculating device, and method for creating lumen structure information |
JPWO2022080141A1 (en) * | 2020-10-12 | 2022-04-21 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004290380A (en) * | 2003-03-26 | 2004-10-21 | Olympus Corp | Medical apparatus |
WO2007139187A1 (en) * | 2006-05-31 | 2007-12-06 | National University Corporation Chiba University | Three-dimensional image forming device, three-dimensional image forming method and program |
JP2009056239A (en) * | 2007-09-03 | 2009-03-19 | Olympus Medical Systems Corp | Endoscope apparatus |
WO2014136579A1 (en) * | 2013-03-06 | 2014-09-12 | オリンパスメディカルシステムズ株式会社 | Endoscope system and endoscope system operation method |
WO2015049962A1 (en) * | 2013-10-02 | 2015-04-09 | オリンパスメディカルシステムズ株式会社 | Endoscope system |
WO2015098210A1 (en) * | 2013-12-24 | 2015-07-02 | オリンパス株式会社 | Endoscope sheath |
-
2017
- 2017-03-10 JP JP2018501382A patent/JPWO2017212725A1/en active Pending
- 2017-03-10 WO PCT/JP2017/009831 patent/WO2017212725A1/en active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004290380A (en) * | 2003-03-26 | 2004-10-21 | Olympus Corp | Medical apparatus |
WO2007139187A1 (en) * | 2006-05-31 | 2007-12-06 | National University Corporation Chiba University | Three-dimensional image forming device, three-dimensional image forming method and program |
JP2009056239A (en) * | 2007-09-03 | 2009-03-19 | Olympus Medical Systems Corp | Endoscope apparatus |
WO2014136579A1 (en) * | 2013-03-06 | 2014-09-12 | オリンパスメディカルシステムズ株式会社 | Endoscope system and endoscope system operation method |
WO2015049962A1 (en) * | 2013-10-02 | 2015-04-09 | オリンパスメディカルシステムズ株式会社 | Endoscope system |
WO2015098210A1 (en) * | 2013-12-24 | 2015-07-02 | オリンパス株式会社 | Endoscope sheath |
Also Published As
Publication number | Publication date |
---|---|
WO2017212725A1 (en) | 2017-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9516993B2 (en) | Endoscope system | |
JP5715311B2 (en) | Endoscope system | |
JP5855358B2 (en) | Endoscope apparatus and method for operating endoscope apparatus | |
WO2017212725A1 (en) | Medical observation system | |
US9326660B2 (en) | Endoscope system with insertion support apparatus | |
US9357945B2 (en) | Endoscope system having a position and posture calculating portion | |
JP4585048B2 (en) | Endoscope system | |
CN108135453B (en) | Endoscope system and image processing method | |
JPWO2014156378A1 (en) | Endoscope system | |
JP5977900B2 (en) | Image processing device | |
CN111067468B (en) | Method, apparatus, and storage medium for controlling endoscope system | |
JP5750669B2 (en) | Endoscope system | |
JP6022133B2 (en) | Medical equipment | |
JPWO2019130868A1 (en) | Image processing equipment, processor equipment, endoscopic systems, image processing methods, and programs | |
US9345394B2 (en) | Medical apparatus | |
US10694929B2 (en) | Medical equipment system and operation method of medical equipment system | |
WO2022202520A1 (en) | Medical information processing device, endoscope system, medical information processing method, and medical information processing program | |
WO2022190366A1 (en) | Shape measurement system for endoscope and shape measurement method for endoscope | |
JP6335839B2 (en) | Medical device, medical image generation method, and medical image generation program | |
WO2016039292A1 (en) | Endoscope system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180112 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180112 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20180112 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20180306 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180313 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180403 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180612 |