JP6779670B2 - 電子内視鏡システム - Google Patents

Description

本発明は、電子内視鏡システムに関する。

被写体の明るい部位から暗い部位までを鮮明に表示するようにダイナミックレンジを拡張したＨＤＲ（High Dynamic Range）画像を生成する電子内視鏡システムが知られている。ＨＤＲ画像を得るためには、被写体を高い露出値で撮像することによって得られる高輝度画像信号と、これと同じ被写体を低い露出値で撮像することによって得られる低輝度画像信号とを合成する必要がある。例えば特許文献１に、ＨＤＲ画像を生成することが可能な電子内視鏡システムの具体的構成が記載されている。

特許文献１に記載の電子内視鏡システムでは、光源の発光時間が１フィールド毎に交互に切り替わる。光源の発光時間が長いフィールドでは撮像素子の受光量が多くなり、光源の発光時間が短いフィールドでは撮像素子の受光量が少なくなる。そのため、前者のフィールドでは高輝度画像信号が得られ、後者のフィールドでは低輝度画像信号が得られる。特許文献１に記載の電子内視鏡システムでは、これらの画像信号を用いてＨＤＲ画像が生成される。

特開２０１１−２４８８５号公報

近年、特定の生体構造に高い吸収特性を持つ狭帯域光を用いて特定の生体構造を強調した狭帯域光観察画像を生成する電子内視鏡システムが知られている。一般に、狭帯域光は、白色光源より射出された白色光を光学フィルタで半値幅の狭い光にフィルタリングしたものであることから、白色光と比べて光量が極端に少ない。そのため、狭帯域光を用いた場合には、被写体を明るく撮像することが難しく、ＨＤＲ画像の生成に必要な高輝度画像信号を得ることが難しい。

本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、狭帯域光により照射された被写体の特定の生体構造を強調したＨＤＲ画像を生成するのに好適な電子内視鏡システムを提供することである。

本発明の一実施形態に係る電子内視鏡システムは、狭帯域光と広帯域光とを交互に射出する光源部と、狭帯域光と広帯域光とで交互に照射される被写体を撮像し、該狭帯域光の照射期間中に撮像された被写体の画像信号を第一画像信号として生成すると共に、該広帯域光の照射期間中に撮像された被写体の画像信号を第二画像信号として生成する手段と、第一画像信号と第二画像信号とを加算して高輝度画像信号を生成する高輝度画像信号生成手段と、第一画像信号と、所定の係数で乗算することによって信号レベルを低下させた第二画像信号とを加算して低輝度画像信号を生成する低輝度画像信号生成手段と、高輝度画像信号と低輝度画像信号を用いてＨＤＲ画像信号を生成するＨＤＲ画像信号生成手段とを備える。

また、本発明の一実施形態において、高輝度画像信号生成手段、低輝度画像信号生成手段は、それぞれ、時間的に隣り合う照射期間中に撮像された被写体の第一画像信号と第二画像信号を用いて高輝度画像信号、低輝度画像信号を生成する構成としてもよい。

また、本発明の一実施形態において、第二画像信号に乗算される所定の係数は、例えば定数であり、また、第一画像信号と第二画像信号との信号レベル比に基づいて設定される値であってもよい。

本発明の一実施形態によれば、狭帯域光により照射された被写体の特定の生体構造を強調したＨＤＲ画像を生成するのに好適な電子内視鏡システムが提供される。

本発明の一実施形態に係る電子内視鏡システムの構成を示すブロック図である。 本発明の一実施形態に係るプロセッサに備えられる回転フィルタ部を集光レンズ側から見た正面図である。 本発明の一実施形態に係るＨＤＲモード時における、プロセッサに備えられる信号処理回路の信号処理動作を、フローチャートで示す図である。 本発明の一実施形態において高輝度画像信号を生成する処理を概念的に示す説明図である。 本発明の一実施形態において低輝度画像信号を生成する処理を概念的に示す説明図である。

以下、本発明の実施形態について図面を参照しながら説明する。なお、以下においては、本発明の一実施形態として電子内視鏡システムを例に取り説明する。

図１は、本発明の一実施形態に係る電子内視鏡システム１の構成を示すブロック図である。図１に示されるように、電子内視鏡システム１は、医療用に特化されたシステムであり、電子スコープ１００、プロセッサ２００及びモニタ３００を備えている。

プロセッサ２００は、システムコントローラ２０２及びタイミングコントローラ２０４を備えている。システムコントローラ２０２は、メモリ２１２に記憶された各種プログラムを実行し、電子内視鏡システム１全体を統合的に制御する。

また、システムコントローラ２０２は、操作パネル２１４に接続されている。システムコントローラ２０２は、操作パネル２１４より入力される術者からの指示に応じて、電子内視鏡システム１の各動作の実行及び各動作のためのパラメータの変更を行う。術者による入力指示には、例えば電子内視鏡システム１の動作モードの切替指示がある。動作モードには、例えば通常モードやＨＤＲモードがある。タイミングコントローラ２０４は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム１内の各回路に出力する。

ランプ２０８は、ランプ電源イグナイタ２０６による始動後、照射光Ｌを射出する。ランプ２０８は、例えば、キセノンランプ、ハロゲンランプ、水銀ランプ、メタルハライドランプ等の高輝度ランプであり、また、ＬＤ（Laser Diode）やＬＥＤ（Light Emitting Diode）等の半導体発光素子であってもよい。照射光Ｌは、少なくとも可視光領域を含む光（白色光）である。

ランプ２０８より射出された照射光Ｌは、回転フィルタ部２６０に入射される。図２は、回転フィルタ部２６０を集光レンズ２１０側から見た正面図である。回転フィルタ部２６０は、回転式ターレット２６１、ＤＣモータ２６２、ドライバ２６３及びフォトインタラプタ２６４を備えている。

図２に示されるように、回転式ターレット２６１には、狭帯域光用フィルタＦｎｂと白色光用フィルタＦｗが円周方向に交互に並べて配置されている。各光学フィルタは扇形状を有しており、フレーム周期に応じた角度ピッチ（ここでは、約９０°の角度ピッチ）で配置されている。なお、以降の説明において「フレーム」は「フィールド」に置き替えてもよい。

ドライバ２６３は、システムコントローラ２０２による制御下でＤＣモータ２６２を駆動する。回転フィルタ部２６０は、回転式ターレット２６１がＤＣモータ２６２によって回転動作することにより、ランプ２０８より入射された照射光Ｌから、スペクトルの異なる二種類の照射光（狭帯域光Ｌｎｂと白色光Ｌｗ）の一方を、撮像と同期したタイミングで取り出す。

具体的には、回転式ターレット２６１は、回転動作中、狭帯域光用フィルタＦｎｂから狭帯域光Ｌｎｂを、白色光用フィルタＦｗから狭帯域光Ｌｎｂよりも帯域の広い広帯域光（白色光Ｌｗ）を、交互に取り出す。回転式ターレット２６１の回転位置や回転の位相は、回転式ターレット２６１の外周付近に形成された開口（不図示）をフォトインタラプタ２６４によって検出することにより制御される。

狭帯域光用フィルタＦｎｂは、特定の生体構造（表層や深層の血管構造、特定の病変部位等）を強調した狭帯域光観察画像を撮影するのに適した分光特性を持つ。照射光Ｌは、狭帯域光用フィルタＦｎｂを通過することにより、特定の生体構造に高い吸収特性を持つ半値幅の狭い光、すなわち狭帯域光Ｌｎｂとなる。

白色光用フィルタＦｗは、照射光Ｌを適正な光量に減光する減光フィルタである。なお、白色光用フィルタＦｗは、単なる開口（光学フィルタの無いもの）や絞り機能を兼ねたスリット（光学フィルタの無いもの）に置き換えてもよい。

回転フィルタ部２６０より取り出された照射光（狭帯域光Ｌｎｂ又は白色光Ｌｗ）は、集光レンズ２１０により、電子スコープ１００のＬＣＢ（Light Carrying Bundle）１０２の入射端面に集光されてＬＣＢ１０２内に入射される。

ＬＣＢ１０２内に入射された照射光（狭帯域光Ｌｎｂ又は白色光Ｌｗ）は、ＬＣＢ１０２内を伝播して電子スコープ１００の先端に配置されたＬＣＢ１０２の射出端面より射出され、配光レンズ１０４を介して被写体である体腔内の生体組織に照射される。これにより、生体組織は、狭帯域光Ｌｎｂと白色光Ｌｗとによって交互に照射される。照射光により照射された生体組織からの戻り光は、対物レンズ１０６を介して固体撮像素子１０８の受光面上で光学像を結ぶ。

固体撮像素子１０８は、ベイヤ型画素配置を有する単板式カラーＣＣＤ（Charge Coupled Device）イメージセンサである。固体撮像素子１０８は、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の画像信号を生成して出力する。なお、固体撮像素子１０８は、ＣＣＤイメージセンサに限らず、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやその他の種類の撮像装置に置き換えられてもよい。固体撮像素子１０８はまた、補色系フィルタを搭載したものであってもよい。

回転フィルタ部２６０による狭帯域光Ｌｎｂと白色光Ｌｗとの切り換えのタイミングは、固体撮像素子１０８における撮像期間（フレーム期間）の切り換えのタイミングと同期している。従って、固体撮像素子１０８は、１フレーム期間中、狭帯域光Ｌｎｂにより照射された生体組織からの戻り光を受光して狭帯域光観察像の画像信号を生成して出力し、続く１フレーム期間中、白色光Ｌｗにより照射された生体組織からの戻り光を受光して白色光観察像の画像信号を生成して出力する。固体撮像素子１０８は、上記を繰り返すことにより、各観察像の画像信号を交互に出力する。

電子スコープ１００の接続部内には、ドライバ信号処理回路１１０が備えられている。ドライバ信号処理回路１１０には、狭帯域光観察像、白色光観察像の各画像信号がフレーム周期で固体撮像素子１０８より入力される。ドライバ信号処理回路１１０は、固体撮像素子１０８より入力される画像信号に対して所定の処理を施してプロセッサ２００の信号処理回路２２０に出力する。

ドライバ信号処理回路１１０はまた、メモリ１１２にアクセスして電子スコープ１００の固有情報を読み出す。メモリ１１２に記録される電子スコープ１００の固有情報には、例えば、固体撮像素子１０８の画素数や感度、動作可能なフレームレート、型番等が含まれる。ドライバ信号処理回路１１０は、メモリ１１２より読み出された固有情報をシステムコントローラ２０２に出力する。

システムコントローラ２０２は、電子スコープ１００の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ２０２は、生成された制御信号を用いて、プロセッサ２００に接続されている電子スコープに適した処理がなされるようにプロセッサ２００内の各種回路の動作やタイミングを制御する。

タイミングコントローラ２０４は、システムコントローラ２０２によるタイミング制御に従って、ドライバ信号処理回路１１０にクロックパルスを供給する。ドライバ信号処理回路１１０は、タイミングコントローラ２０４から供給されるクロックパルスに従って、固体撮像素子１０８をプロセッサ２００側で処理される映像のフレームレートに同期したタイミングで駆動制御する。

信号処理回路２２０は、前段信号処理回路２２２、ＨＤＲ画像生成回路２２４、後段信号処理回路２２６及び画像メモリ２２８を有している。信号処理回路２２０の信号処理動作については、電子内視鏡システム１の動作モードが通常モードに設定されている場合と、ＨＤＲモードに設定されている場合に分けて説明する。

［動作モードが通常モードに設定されている場合］
前段信号処理回路２２２は、ドライバ信号処理回路１１０より１フレーム周期で交互に入力される狭帯域光観察像、白色光観察像の各画像信号に対して、デモザイク処理、マトリックス演算、Ｙ／Ｃ分離等の所定の信号処理を施して、ＨＤＲ画像生成回路２２４に出力する。

ＨＤＲ画像生成回路２２４は、前段信号処理回路２２２より１フレーム周期で交互に入力される狭帯域光観察像、白色光観察像の各画像信号を後段信号処理回路２２６にスルー出力する。

後段信号処理回路２２６は、ＨＤＲ画像生成回路２２４より１フレーム周期で交互に入力される狭帯域光観察像、白色光観察像の各画像信号を処理してモニタ表示用の画面データを生成し、生成されたモニタ表示用の画面データを所定のビデオフォーマット信号に変換する。変換されたビデオフォーマット信号は、モニタ３００に出力される。これにより、生体組織の狭帯域光観察画像や白色光観察画像がモニタ３００の表示画面に表示される。

［動作モードがＨＤＲモードに設定されている場合］
図３に、ＨＤＲモード時の信号処理回路２２０の信号処理動作をフローチャートで示す。図３に示されるフローチャートは、例えば、電子内視鏡システム１の動作モードがＨＤＲモードに切り替えられた時点で開始される。

［図３のＳ１１（現フレームの画像信号の入力）］
本処理ステップＳ１１では、現フレームの画像信号（狭帯域光観察像又は白色光観察像の画像信号）が前段信号処理回路２２２に入力される。

［図３のＳ１２（画像信号の判定）］
本処理ステップＳ１２では、ＨＤＲ画像生成回路２２４において、処理ステップＳ１１（現フレームの画像信号の入力）にて前段信号処理回路２２２より入力された現フレームの画像信号が、狭帯域光観察像、白色光観察像の何れの画像信号であるかが判定される。ＨＤＲ画像生成回路２２４は、例えば、システムコントローラ２０２による回転フィルタ部２６０等の制御情報や画像信号の平均輝度値等を基に、現フレームの画像信号が狭帯域光観察像、白色光観察像の何れの画像信号であるかを判定する。

［図３のＳ１３（前フレームの画像信号の読み出し）］
画像メモリ２２８（揮発性メモリ）には、後述の処理ステップＳ１８（現フレームの画像信号の保持）の実行により、前フレーム（現フレームの１つ前のフレーム）の画像信号が保持されている。本処理ステップＳ１３では、ＨＤＲ画像生成回路２２４により、前フレームの画像信号が画像メモリ２２８から読み出される。現フレームの画像信号が狭帯域光観察像の画像信号である場合には、白色光観察像の画像信号が読み出され、現フレームの画像信号が白色光観察像の画像信号である場合には、狭帯域光観察像の画像信号が読み出される。

なお、電子内視鏡システム１の起動時に動作モードがＨＤＲモードに設定されている場合、本フローチャートに示される処理の初回実行時には、前フレームの画像信号が画像メモリ２２８に保持されていない。この場合、本フローチャートの処理は、後述の処理ステップＳ１８（現フレームの画像信号の保持）に進む。

［図３のＳ１４（高輝度画像信号の生成）］
本処理ステップＳ１４では、ＨＤＲ画像生成回路２２４において、現フレームの画像信号と処理ステップＳ１３（前フレームの画像信号の読み出し）にて読み出された前フレームの画像信号とが加算されることにより、高輝度画像信号が生成される。

図４に、高輝度画像信号を生成する処理の概念的な説明図を示す。図４のグラフＡは、白色光観察像の画像信号を構成する各画素の信号レベル（輝度値）を概念的に示す。図４のグラフＡは、例えば、粘膜等の表面部分を写す画素の信号レベルを示すものとなっている。また、図４のグラフＢは、狭帯域光観察像の画像信号を構成する各画素の信号レベルを概念的に示す。図４のグラフＢは、例えば、粘膜等の表面部分に加えて特定の生体構造を写す画素の信号レベルを示すものとなっている。グラフＢ中、落ち込んでいる２か所が特定の生体構造を写す画素に対応し、それ以外が粘膜等を写す画素に対応する。このように、グラフＢには、特定の生体構造の情報が含まれる。

図４の例では、白色光観察像の画像信号（図４のグラフＡ参照）と狭帯域光観察像の画像信号（図４のグラフＢ参照）とが加算されると、図４のグラフＣに示されるように、狭帯域光観察像の画像信号の信号レベルが特定の生体構造の情報を保持しつつ加算分（白色光観察像の画像信号の信号レベル分）上がる。これにより、高輝度な画像信号、すなわち高輝度画像信号が得られる。

［図３のＳ１５（低輝度画像信号の生成）］
本処理ステップＳ１５では、ＨＤＲ画像生成回路２２４において、処理ステップＳ１２（画像信号の判定）にて現フレームの画像信号が白色光観察像の画像信号であると判定された場合には、現フレームの画像信号が係数αで乗算され、同処理ステップにて現フレームの画像信号が狭帯域光観察像の画像信号であると判定された場合には、前フレームの画像信号（すなわち、白色光観察像の画像信号）が係数αで乗算される。

係数αは、１未満の値である。そのため、白色光観察像の画像信号は、係数αで乗算されることにより、信号レベルが下がる（減衰される）。本処理ステップＳ１５では、係数αで乗算された白色光観察像の画像信号と、狭帯域光観察像の画像信号とが加算されることにより、低輝度画像信号が生成される。

図５に、低輝度画像信号を生成する処理の概念的な説明図を示す。図５のグラフＤは、白色光観察像の画像信号を構成する各画素の信号レベルを概念的に示すものであって、図４のグラフＡに示される各画素の信号レベルを係数αで乗算したものを示す。図５のグラフＤから、白色光観察像の画像信号が係数αで乗算されることで信号レベルが下がり、低輝度になっていることが判る。また、図５のグラフＥは、図４のグラフＢと同じである。

図５の例では、白色光観察像の画像信号（図５のグラフＤ参照）と狭帯域光観察像の画像信号（図５のグラフＥ参照）とが加算されると、図５のグラフＦに示されるように、狭帯域光観察像の画像信号の信号レベルが特定の生体構造の情報を保持しつつ僅かな加算分（係数αで乗算された、白色光観察像の画像信号の信号レベル分）上がる。これにより、低輝度な画像信号、すなわち低輝度画像信号が得られる。

係数αは、定数又は変数である。後者の場合、係数αは、例えば学習値であり、過去の連続する２フレームの画像信号（狭帯域光観察像の画像信号と白色光観察像の画像信号と）の信号レベル比（平均値比等）に基づいて定期的に更新設定される。信号レベル比が小さい（狭帯域光観察像の画像信号と白色光観察像の画像信号との信号レベル差が小さい）ほど、高輝度画像信号と低輝度画像信号との信号レベル差を確保する必要上、係数αは小さい値に設定される。

［図３のＳ１６（ＨＤＲ画像信号の生成）］
処理ステップＳ１４（高輝度画像信号の生成）にて生成された高輝度画像信号は、暗すぎて黒潰れする生体組織の情報を再現するのに好適である。また、処理ステップＳ１５（低輝度画像信号の生成）にて生成された低輝度画像信号は、明るすぎて白飛びする生体組織の情報を再現するのに好適である。本処理ステップＳ１６では、ＨＤＲ画像生成回路２２４において、このような特徴を持つ高輝度画像信号と低輝度画像信号とが合成されることにより、ダイナミックレンジが拡張されたＨＤＲ画像信号が生成される。なお、高輝度画像信号と低輝度画像信号とを合成してＨＤＲ画像信号を生成する技術は周知であり、ここでの詳細な説明は省略する。

［図３のＳ１７（ＨＤＲ画像の表示処理）］
本処理ステップＳ１７では、処理ステップＳ１６（ＨＤＲ画像信号の生成）にて生成されたＨＤＲ画像信号が後段信号処理回路２２６に入力されて、所定のビデオフォーマット信号に変換後、モニタ３００に出力される。これにより、ダイナミックレンジの広い生体組織の狭帯域光観察画像がモニタ３００の表示画面に表示される。

ＨＤＲ画像信号の生成には２フレーム分の画像信号が用いられるが、その組み合わせ（高輝度画像信号と低輝度画像信号との組み合わせ）は１フレーム毎に更新される。そのため、ＨＤＲ画像は、フレームレートを維持したまま、モニタ３００の表示画面に表示される。

［図３のＳ１８（現フレームの画像信号の保持）］
本処理ステップＳ１８では、ＨＤＲ画像生成回路２２４により、処理ステップＳ１１（現フレームの画像信号の入力）にて前段信号処理回路２２２より入力された現フレームの画像信号が画像メモリ２２８に保持される。

［図３のＳ１９（ＨＤＲモードの終了判定）］
本処理ステップＳ１９では、動作モードが他のモードに切り替えられる等により、ＨＤＲモードによる生体組織の撮影が終了したか否かが判定される。ＨＤＲモードによる生体組織の撮影が終了していないと判定された場合（Ｓ１９：ＮＯ）、本フローチャートの処理は、処理ステップＳ１１（現フレームの画像信号の入力）に戻る。ＨＤＲモードによる生体組織の撮影が終了したと判定された場合（Ｓ１９：ＹＥＳ）には、本フローチャートの処理は終了する。

本実施形態によれば、白色光観察像の画像信号を利用して、狭帯域光観察像を高輝度化した高輝度画像信号が生成される。これにより、従来手法では難しかった、特定の生体構造の情報を含むＨＤＲ画像が生成される。

以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本願の実施形態に含まれる。

上記の実施形態では、時間的に隣り合う照射期間（すなわち、現フレームとその１つ前のフレーム）の画像信号を用いて高輝度画像信号及び低輝度画像信号が生成されている。別の一実施形態では、時間的に離れた照射期間（例えば現フレームとその３つ前のフレーム）の画像信号を用いて高輝度画像信号及び低輝度画像信号が生成されてもよい。

１ 電子内視鏡システム
１００ 電子スコープ
１０２ ＬＣＢ
１０４ 配光レンズ
１０６ 対物レンズ
１０８ 固体撮像素子
１１０ ドライバ信号処理回路
１１２ メモリ
２００ プロセッサ
２０２ システムコントローラ
２０４ タイミングコントローラ
２０６ ランプ電源イグナイタ
２０８ ランプ
２１０ 集光レンズ
２１２ メモリ
２１４ 操作パネル
２２０ 信号処理回路
２２２ 前段信号処理回路
２２４ ＨＤＲ画像生成回路
２２６ 後段信号処理回路
２２８ 画像メモリ
２６０ 回転フィルタ部
２６１ 回転式ターレット
Ｆｓ 特殊光用フィルタ
Ｆｎ 通常光用フィルタ
２６２ ＤＣモータ
２６３ ドライバ
２６４ フォトインタラプタ

Claims (3)

1. 広帯域光と、特定の生体構造での吸収特性が、該特定の生体構造以外の生体構造での吸収特性よりも高い、狭帯域光と、を交互に射出する光源部と、
   前記狭帯域光と前記広帯域光とで交互に照射される被写体を撮像し、該狭帯域光の照射期間中に撮像された被写体の画像信号を第一画像信号として生成すると共に、該広帯域光の照射期間中に撮像された被写体の画像信号を第二画像信号として生成する手段と、
   前記第一画像信号と前記第二画像信号とを加算して高輝度画像信号を生成する高輝度画像信号生成手段と、
   前記第一画像信号と、所定の係数で乗算することによって信号レベルを低下させた第二画像信号とを加算して低輝度画像信号を生成する低輝度画像信号生成手段と、
   前記高輝度画像信号と前記低輝度画像信号とを合成することにより、ＨＤＲ（High Dynamic Range）画像信号を生成するＨＤＲ画像信号生成手段と、
   を備える、
   電子内視鏡システム。
2. 前記高輝度画像信号生成手段、前記低輝度画像信号生成手段は、それぞれ、
   時間的に隣り合う照射期間中に撮像された被写体の第一画像信号と第二画像信号を用いて高輝度画像信号、低輝度画像信号を生成する、
   請求項１に記載の電子内視鏡システム。
3. 前記所定の係数は、
   定数、又は、
   前記第一画像信号と前記第二画像信号との信号レベル比に基づいて設定される、
   請求項１又は請求項２に記載の電子内視鏡システム。

Images