JP6655433B2 - 電子内視鏡システム - Google Patents

Description

本発明は、病変部等の被写体を観察するための電子内視鏡システムに関する。

医療機器分野においては、分光特性の異なる照射光を使用した観察を同時に行うことで病変部の診断を容易にする電子内視鏡システムが知られている。この種の電子内視鏡システムの具体的構成は、例えば特許文献１に記載されている。

特許文献１に記載の電子内視鏡システムでは、システムコントロール回路（４２）は、偶数番フレームの第２フィールド及びこれに続く奇数番フレームの第１フィールドに白色光をライトガイド（１６）に導入するとともに、奇数番フレームの第２フィールドに及びこれに続く偶数番フレームの第１フィールドに励起光をライトガイド（１６）に導入する。前段処理回路（４３１）は、奇数番フレームの各フィールド及び偶数番フレームの各フィールドに得られた映像信号を各メモリ領域（４３２ａ〜ｄ）に上書きする。スキャンコンバータ（４３５）は、各フレームの第１フィールドでは、メモリ領域（４３２ａ，ｃ）のそれぞれから通常カラー画像、蛍光画像の映像信号を読み出して結合し、各フレームの第２フィールドでは、メモリ領域（４３２ｄ，ｂ）のそれぞれから通常カラー画像、蛍光画像の映像信号を読み出して結合する。これにより、垂直方向の解像度の低下が抑えられた状態で通常カラー画像と蛍光画像とが一画面内に同時に表示される。

特開２００５−３１９２１３号公報

特許文献１に記載の電子内視鏡システムでは、各フィールドの通常カラー画像及び蛍光画像は、新たなフィールド画像によって更新されるまでの間に常に２回連続で（例えば、奇数番フレームの第１フィールドと次の偶数番フレームの第１フィールドに続けて、若しくは奇数番フレームの第２フィールドと次の偶数番フレームの第２フィールドに続けて）表示される。そのため、実質的なリフレッシュレートが低い。そこで、画像の変化（主に被写体の動き）をフィールド単位で推定し、推定結果に基づいて生成された推定画像で欠落フィールド（ここでは、前フィールドと同じ画像が表示される現フィールド）を補完（表示）することにより、リフレッシュレートを向上させることが考えられる。

しかし、元画像の内容（元画像内の被写体の動き）によっては、精度の低い推定画像しか生成できないことがある。このような精度の低い推定画像で欠落フィールドを補完すると、欠落フィールドの前後において却って不自然な動画像になるという問題が指摘される。

本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、欠落フィールドを推定画像で補完することによる動画像の劣化を避けつつもリフレッシュレートの実質的な向上を達成することが可能な電子内視鏡システムを提供することである。

本発明の一実施形態に係る電子内視鏡システムは、分光特性の異なる第一の光と第二の光とを所定のリフレッシュレートに同期したタイミングで交互に射出する光源部と、第一の光により照射される第一照射期間の被写体を撮像して第一画像を生成し、第二の光により照射される第二照射期間の被写体を撮像して第二画像を生成する生成手段と、生成された第一画像及び第二画像を表示画面に同時に表示する表示手段と、生成された第一画像及び第二画像に基づいて、次の第二照射期間に撮像される第二画像を予測する予測手段と、予測された第二画像と、次の第二照射期間に実際に撮像された第二画像との比較結果に基づいて、予測手段による予測の精度が高いか否かを判定する判定手段とを備える。表示手段は、予測手段による予測の精度が高いと判定されると、次の第二照射期間の直後の第一照射期間に撮像されるであろう第二画像を推定し、推定された第二画像を、該第一照射期間に撮像された第一画像と共に表示画面に表示し、予測手段による予測の精度が高くないと判定されると、次の第二照射期間に撮像された第二画像を、該次の第二照射期間の直後の第一照射期間に撮像された第一画像と共に表示画面に表示する。

また、本発明の一実施形態において、判定手段は、予測手段により予測された第二画像と、次の第二照射期間に実際に撮像された第二画像との差分値が所定の閾値未満である場合に、該予測手段による予測の精度が高いと判定する構成としてもよい。

また、本発明の一実施形態において、予測手段は、異なる第一照射期間に撮像された複数の第一画像からその変化率を計算し、計算された第一画像の変化率、及び直前の第二照射期間に撮像された第二画像に基づいて、次の第二照射期間に撮像される第二画像を予測する構成としてもよい。

本発明の一実施形態によれば、欠落フィールドを推定画像で補完することによる動画像の劣化を避けつつもリフレッシュレートの実質的な向上を達成することが可能な電子内視鏡システムが提供される。

本発明の一実施形態に係る電子内視鏡システムの構成を示すブロック図である。 本発明の一実施形態に係るプロセッサに備えられる回転フィルタ部を集光レンズ側から見た正面図である。 特殊光及び通常光に関する各種処理のタイミング及び期間を示すシーケンス図である。

以下、本発明の実施形態について図面を参照しながら説明する。なお、以下においては、本発明の一実施形態として電子内視鏡システムを例に取り説明する。

［電子内視鏡システム１の構成］
図１は、本発明の一実施形態に係る電子内視鏡システム１の構成を示すブロック図である。図１に示されるように、電子内視鏡システム１は、医療用に特化されたシステムであり、電子スコープ１００、プロセッサ２００及びモニタ３００を備えている。

プロセッサ２００は、システムコントローラ２０２及びタイミングコントローラ２０４を備えている。システムコントローラ２０２は、メモリ２１２に記憶された各種プログラムを実行し、電子内視鏡システム１全体を統合的に制御する。また、システムコントローラ２０２は、操作パネル２１４に接続されている。システムコントローラ２０２は、操作パネル２１４より入力される術者からの指示に応じて、電子内視鏡システム１の各動作及び各動作のためのパラメータを変更する。タイミングコントローラ２０４は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム１内の各回路に出力する。

ランプ２０８は、ランプ電源イグナイタ２０６による始動後、照射光Ｌを射出する。ランプ２０８は、例えば、キセノンランプ、ハロゲンランプ、水銀ランプ、メタルハライドランプ等の高輝度ランプやＬＥＤ（Light Emitting Diode）である。照射光Ｌは、主に可視光領域から不可視である赤外光領域に広がるスペクトルを持つ光（又は少なくとも可視光領域を含む白色光）である。

ランプ２０８より射出された照射光Ｌは、回転フィルタ部２６０に入射される。図２は、回転フィルタ部２６０を集光レンズ２１０側から見た正面図である。回転フィルタ部２６０は、回転式ターレット２６１、ＤＣモータ２６２、ドライバ２６３及びフォトインタラプタ２６４を備えている。図２に示されるように、回転式ターレット２６１には、一対の特殊光用フィルタＦｓ及び一対の通常光（白色光）用フィルタＦｎが円周方向に順に並べて配置されている。各光学フィルタは扇形状を有しており、フィールド周期に応じた角度ピッチ（ここでは約９０°の角度ピッチ）で配置されている。なお、以降の説明において「フィールド」は「フレーム」に適宜置き替えてもよい。本実施形態において、フィールド周期、フレーム周期はそれぞれ、１／６０秒、１／３０秒である。

ドライバ２６３は、システムコントローラ２０２による制御下でＤＣモータ２６２を駆動する。回転フィルタ部２６０は、回転式ターレット２６１がＤＣモータ２６２によって回転動作することにより、ランプ２０８より入射された照射光Ｌから、スペクトルの異なる二種類の照射光（特殊光Ｌｓと通常光Ｌｎ）の一方を、撮像と同期したタイミングで取り出す。具体的には、回転式ターレット２６１は、回転動作中、特殊光用フィルタＦｓより特殊光Ｌｓを、通常光用フィルタＦｎより通常光Ｌｎを、交互に取り出す。回転式ターレット２６１の回転位置や回転の位相は、回転式ターレット２６１の外周付近に形成された開口（不図示）をフォトインタラプタ２６４によって検出することにより制御される。

特殊光用フィルタＦｓは、例えば表層付近の血管構造（又は深層の血管構造、特定の病変部など）の分光画像を撮影するのに適した分光特性を持つ。通常光用フィルタＦｎは、照射光Ｌを減光する減光フィルタであるが、単なる開口（光学フィルタの無いもの）や絞り機能を兼ねたスリット（光学フィルタの無いもの）に置き換えてもよい。

回転フィルタ部２６０より取り出された照射光（特殊光Ｌｓ又は通常光Ｌｎ）は、集光レンズ２１０によりＬＣＢ（Light Carrying Bundle）１０２の入射端面に集光されてＬＣＢ１０２内に入射される。

ＬＣＢ１０２内に入射された照射光（特殊光Ｌｓ又は通常光Ｌｎ）は、ＬＣＢ１０２内を伝播して電子スコープ１００の先端に配置されたＬＣＢ１０２の射出端面より射出され、配光レンズ１０４を介して被写体に照射される。これにより、被写体は、特殊光Ｌｓと通常光Ｌｎとによって交互に照射される。照射光により照射された被写体からの戻り光は、対物レンズ１０６を介して固体撮像素子１０８の受光面上で光学像を結ぶ。

固体撮像素子１０８は、補色市松型画素配置を有するインターレース方式の単板式カラーＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサである。固体撮像素子１０８は、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、イエローＹｅ、シアンＣｙ、グリーンＧ、マゼンタＭｇの各補色信号を生成し、生成された垂直方向に隣接する２つの画素の画像信号を加算し混合して出力する。なお、固体撮像素子１０８は、ＣＭＯＳイメージセンサに限らず、ＣＣＤ（Charge Coupled Device）イメージセンサやその他の種類の撮像装置に置き換えられてもよい。固体撮像素子１０８はまた、原色系フィルタ（ベイヤ配列フィルタ）を搭載したものであってもよい。

回転フィルタ部２６０による特殊光Ｌｓと通常光Ｌｎとの切り換えのタイミングは、固体撮像素子１０８における撮像期間（フィールド期間）の切り換えのタイミングと同期している。従って、固体撮像素子１０８は、１フィールド期間中、特殊光Ｌｓを受光して特殊光観察像の画像信号を生成して出力し、続く１フィールド期間中、通常光Ｌｎを受光して通常光観察像の画像信号を生成して出力する。固体撮像素子１０８は、上記を繰り返すことにより、各観察像の画像信号を交互に出力する。

電子スコープ１００の接続部内には、ドライバ信号処理回路１１０が備えられている。ドライバ信号処理回路１１０には、特殊光観察像、通常光観察像の各画像信号がフィールド周期で固体撮像素子１０８より入力される。ドライバ信号処理回路１１０は、固体撮像素子１０８より入力される画像信号に対して所定の処理を施してプロセッサ２００の前段信号処理回路２２０に出力する。

ドライバ信号処理回路１１０はまた、メモリ１１２にアクセスして電子スコープ１００の固有情報を読み出す。メモリ１１２に記録される電子スコープ１００の固有情報には、例えば、固体撮像素子１０８の画素数や感度、動作可能なリフレッシュレート、型番等が含まれる。ドライバ信号処理回路１１０は、メモリ１１２より読み出された固有情報をシステムコントローラ２０２に出力する。

システムコントローラ２０２は、電子スコープ１００の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ２０２は、生成された制御信号を用いて、プロセッサ２００に接続されている電子スコープに適した処理がなされるようにプロセッサ２００内の各種回路の動作やタイミングを制御する。

タイミングコントローラ２０４は、システムコントローラ２０２によるタイミング制御に従って、ドライバ信号処理回路１１０にクロックパルスを供給する。ドライバ信号処理回路１１０は、タイミングコントローラ２０４から供給されるクロックパルスに従って、固体撮像素子１０８をプロセッサ２００側で処理される映像のフィールドレートに同期したタイミングで駆動制御する。

前段信号処理回路２２０は、ドライバ信号処理回路１１０より１フィールド周期で入力される特殊光観察像、通常光観察像の各画像信号に対してデモザイク処理、マトリックス演算、Ｙ／Ｃ分離等の所定の信号処理を施して、中段信号処理回路２３０に出力する。

中段信号処理回路２３０は、特殊光用メモリ２３２ｓ１、２３２ｓ２、通常光用メモリ２３２ｎ１、２３２ｎ２を有している。特殊光用メモリ２３２ｓ１、通常光用メモリ２３２ｎ１には、それぞれ、前段信号処理回路２２０より特殊光観察像、通常光観察像の各画像信号が入力されて書き込まれる（上書きされる）。また、特殊光用メモリ２３２ｓ２、通常光用メモリ２３２ｎ２には、それぞれ、後述のフィールド画像出力処理にて求められた予測画像の画像信号が入力されて書き込まれる（上書きされる）。

中段信号処理回路２３０は、フィールド画像補完回路２３４を有している。フィールド画像補完回路２３４には、各メモリより各画像信号が入力される。フィールド画像補完回路２３４は、各メモリより入力される画像信号をタイミングコントローラ２０４からのクロックパルスに同期させて後段信号処理回路２４０に順次出力する。

後段信号処理回路２４０は、フィールド画像補完回路２３４より入力される画像信号を処理してモニタ表示用の画面データを生成し、生成されたモニタ表示用の画面データを所定のビデオフォーマット信号に変換する。変換されたビデオフォーマット信号は、モニタ３００に出力される。これにより、被写体の特殊観察画像や通常観察画像がモニタ３００の表示画面に表示される。

術者は、操作パネル２１４を操作することにより、観察画像の表示形態を設定することができる。観察画像の表示形態としては、例えば、同一サイズの特殊観察画像と通常観察画像とを並べて一画面に表示させる形態、一方の観察画像を親画面表示し、他方の観察画像を子画面表示する形態、術者の操作に従って選択された一方の観察画像を全画面表示させる形態がある。また、表示中の観察画像には、操作パネル２１４によって入力された内視鏡観察に関する情報（例えば、術者名、患者名、観察日時、観察に使用した照射光の種別等）をスーパーインポーズ表示させることができる。

図３（ａ）〜図３（ｇ）は、特殊観察画像と通常観察画像とを並べて一画面内に表示させる際の、特殊光Ｌｓ及び通常光Ｌｎに関する各種処理のタイミング及び期間を示すシーケンス図である。図３（ａ）は、照射光（特殊光Ｌｓ、通常光Ｌｎ）により被写体（体腔内）が照射されるタイミング及び期間を示す。図３（ａ）に示されるように、特殊光Ｌｓは、奇数フィールドに対応する期間中、被写体に照射され、通常光Ｌｎは、偶数フィールドに対応する期間中、被写体に照射される。図３（ｂ）は、特殊光用メモリ２３２ｓ１への特殊光観察像の画像信号の書込みタイミング及び保持期間を示す。図３（ｃ）は、特殊光用メモリ２３２ｓ２への特殊光観察像の画像信号の書込みタイミング及び保持期間を示す。図３（ｄ）は、通常光用メモリ２３２ｎ１への通常光観察像の画像信号の書込みタイミング及び保持期間を示す。図３（ｅ）は、通常光用メモリ２３２ｎ２への通常光観察像の画像信号の書込みタイミング及び保持期間を示す。図３（ｆ）は、特殊観察画像の出力タイミング及び表示期間を示す。図３（ｇ）は、通常観察画像の出力タイミング及び表示期間を示す。

なお、図３（ａ）〜図３（ｇ）の各図において、各種処理のタイミング及び期間は、便宜上、「回転式ターレット２６１のフィルタの符号（序数）」の表記で示される。例えば、図３（ａ）の「Ｆｓ１」は、特殊光用フィルタＦｓにより取り出された特殊光Ｌｓによる初回の照射タイミング及び照射期間を示す。また、例えば、図３（ｂ）の「Ｆｓ１」は、特殊光（初回）Ｌｓにより照射された被写体の画像信号を特殊光用メモリ２３２ｓ１へ書き込むタイミング及び書き込まれた画像信号を保持する期間を示す。また、例えば、図３（ｆ）の「Ｆｓ１」は、特殊光用メモリ２３２ｓ１より入力される画像信号（初回）を用いて生成された特殊観察画像がモニタ３００に出力されるタイミング及びモニタ３００にて表示される期間を示す。なお、図３（ａ）〜図３（ｇ）に示される各種処理間の遅延は無視しても差し支えない程度に極僅かな時間である。従って、図３（ａ）〜図３（ｇ）に示されるように、本実施形態では、便宜上、各種処理間の遅延を考慮しない。

図３（ａ）に示されるように、特殊光Ｌｓ、通常光Ｌｎはそれぞれ、被写体に２フィールド周期で交互に照射される。そのため、全フィールドにおいて特殊観察画像と通常観察画像の両方を欠落させることなく一画面に並べて表示させるには、例えば、特殊観察画像、通常観察画像のそれぞれにおいて、同じ観察画像を２フィールド続けて表示させることが考えられる。しかし、この場合、特殊観察画像については、奇数フィールドと、これに続く偶数フィールドで同じ画像が表示されるため、垂直方向の解像度が低下する。通常観察画像についても、偶数フィールドと、これに続く奇数フィールドで同じ画像が表示されるため、垂直方向の解像度が低下する。そこで、本実施形態では、中段信号処理回路２３０において次に説明されるフィールド画像出力処理が行われることにより、垂直方向の解像度の低下が抑えられる。

［中段信号処理回路２３０において実行されるフィールド画像出力処理］
以下、フィールド画像出力処理について、図３の「フレーム〔ｎ〕〜フレーム〔ｎ＋２〕」に着目して説明する。

《フレーム〔ｎ〕の奇数フィールド》
フレーム〔ｎ〕の奇数フィールドでは、特殊光観察像の画像信号Ｆｓ１が特殊光用メモリ２３２ｓ１に書き込まれて、フィールド画像補完回路２３４に入力される。フィールド画像補完回路２３４は、入力された画像信号Ｆｓ１をそのまま、タイミングコントローラ２０４からのクロックパルスに同期させて後段信号処理回路２４０に出力する。これにより、後段信号処理回路２４０にて処理された特殊観察画像Ｆｓ１がモニタ３００に出力され表示される。

《フレーム〔ｎ〕の偶数フィールド》
フレーム〔ｎ〕の偶数フィールドでは、通常光観察像の画像信号Ｆｎ１が通常光用メモリ２３２ｎ１に書き込まれて、特殊光用メモリ２３２ｓ１に保持されている特殊光観察像の画像信号Ｆｓ１と共にフィールド画像補完回路２３４に入力される。フィールド画像補完回路２３４は、入力された画像信号Ｆｓ１、Ｆｎ１をそのまま、タイミングコントローラ２０４からのクロックパルスに同期させて後段信号処理回路２４０に出力する。これにより、後段信号処理回路２４０にて処理された特殊観察画像Ｆｓ１、通常観察画像Ｆｎ１がモニタ３００に出力されて、一画面内に並べて表示される。

《フレーム〔ｎ＋１〕の奇数フィールド》
フレーム〔ｎ＋１〕の奇数フィールドでは、特殊光観察像の画像信号Ｆｓ２が特殊光用メモリ２３２ｓ１に書き込まれて、通常光用メモリ２３２ｎ１に保持されている通常光観察像の画像信号Ｆｎ１と共にフィールド画像補完回路２３４に入力される。フィールド画像補完回路２３４は、入力された画像信号Ｆｓ２、Ｆｎ１をそのまま、タイミングコントローラ２０４からのクロックパルスに同期させて後段信号処理回路２４０に出力する。これにより、後段信号処理回路２４０にて処理された特殊観察画像Ｆｓ２、通常観察画像Ｆｎ１がモニタ３００に出力されて、一画面内に並べて表示される。

極僅かな時間（数フィールド期間）内では、電子スコープ１００が体腔内で大きく移動することが少ないため、電子スコープ１００による特殊光観察の撮影範囲と通常光観察の撮影範囲とが実質的に変わらず、通常観察画像と特殊観察画像とが同じように変化するものと考えられる。そのため、フィールド画像補完回路２３４は、直近の特殊観察画像の変化率（現フィールドの特殊光観察像の画像信号Ｆｓ２と、前フィールド（フレーム〔ｎ〕の偶数フィールド）の特殊光観察像の画像信号Ｆｓ１との比率）を直近の通常観察画像の変化率として推定し、推定された直近の通常観察画像の変化率を直前のフィールド（フレーム〔ｎ〕の偶数フィールド）の通常光観察像の画像信号Ｆｎ１で乗算することにより、直後のフィールド（フレーム〔ｎ＋１〕の偶数フィールド）の予測画像Ｆｎ１”（通常観察画像Ｆｎ２を予測した予測画像の画像信号Ｆｎ１”）を求める。なお、画像信号Ｆｓ１と画像信号Ｆｓ２との比率は、例えば、所定の画素領域（有効画素全域や中央の画素領域等）について、画素毎の比率を平均化した値である。

下記に、予測画像の画像信号Ｆｎ１”の求め方を数式で示す。
Ｆｎ１”＝Ｆｎ１×（Ｆｓ２／Ｆｓ１）

フィールド画像補完回路２３４は、上記数式を用いて求めた予測画像の画像信号Ｆｎ１”を通常光用メモリ２３２ｎ２に書き込む。

《フレーム〔ｎ＋１〕の偶数フィールド》
フレーム〔ｎ＋１〕の偶数フィールドでは、通常光観察像の画像信号Ｆｎ２が通常光用メモリ２３２ｎ１に書き込まれて、特殊光用メモリ２３２ｓ１に保持されている特殊光観察像の画像信号Ｆｓ２と共にフィールド画像補完回路２３４に入力される。フィールド画像補完回路２３４は、入力された画像信号Ｆｓ２、Ｆｎ２をそのまま、タイミングコントローラ２０４からのクロックパルスに同期させて後段信号処理回路２４０に出力する。これにより、後段信号処理回路２４０にて処理された特殊観察画像Ｆｓ２、通常観察画像Ｆｎ２がモニタ３００に出力されて、一画面内に並べて表示される。

また、フィールド画像補完回路２３４は、直近の通常観察画像の変化率（現フィールドの通常光観察像の画像信号Ｆｎ２と前フィールド（フレーム〔ｎ＋１〕の奇数フィールド）の通常光観察像の画像信号Ｆｎ１との比率）を直近の特殊観察画像の変化率として推定し、推定された直近の特殊観察画像の変化率を直前のフィールド（フレーム〔ｎ＋１〕の奇数フィールド）の特殊光観察像の画像信号Ｆｓ２で乗算することにより、直後のフィールド（フレーム〔ｎ＋２〕の奇数フィールド）の予測画像Ｆｓ２”（特殊観察画像Ｆｓ３を予測した予測画像の画像信号Ｆｓ２”）を求める。

下記に、予測画像の画像信号Ｆｓ２”の求め方を数式で示す。
Ｆｓ２”＝Ｆｓ２×（Ｆｎ２／Ｆｎ１）

フィールド画像補完回路２３４は、上記数式を用いて求めた予測画像の画像信号Ｆｓ２”を特殊光用メモリ２３２ｓ２に書き込む。

《フレーム〔ｎ＋２〕の奇数フィールド》
フレーム〔ｎ＋２〕の奇数フィールドでは、特殊光観察像の画像信号Ｆｓ３が特殊光用メモリ２３２ｓ１に書き込まれて、通常光用メモリ２３２ｎ１に保持されている通常光観察像の画像信号Ｆｎ２と共にフィールド画像補完回路２３４に入力される。

ここで、通常観察画像Ｆｎ２を予測した予測画像Ｆｎ１”と、実際の通常観察画像Ｆｎ２とが乖離するほど、通常観察画像が精度良く予測できていないものと考えられる。そこで、フィールド画像補完回路２３４は、通常観察画像の予測精度を検証するため、所定の画素領域（有効画素全域や中央の画素領域等）について、通常観察画像Ｆｎ２を予測した予測画像の画像信号Ｆｎ１”と、実際の通常光観察像の画像信号Ｆｎ２との差分値（絶対値）を画素毎に算出し、算出された差分値を積和演算した値が所定の閾値未満となるか否かを判定する。

積和演算値が所定の閾値未満となる場合、通常観察画像を精度良く予測することができているものとみなされる。フィールド画像補完回路２３４は、通常観察画像の予測精度が現状高いことから、現フィールドで撮像されるであろう通常光観察像の画像信号Ｆｎ２’の推定を行う。

具体的には、フィールド画像補完回路２３４は、中間画像（特殊観察画像Ｆｓ３と特殊観察画像Ｆｓ２との中間画像）が特殊観察画像Ｆｓ２に対してどの程度変化するか、つまり、直近の特殊観察画像が１フィールドでどの程度変化するかを計算する。フィールド画像補完回路２３４は、計算された直近１フィールドの特殊観察画像の変化率を直近１フィールドにおける通常観察画像の変化率とみなし、この通常観察画像の変化率と通常光観察像の画像信号Ｆｎ２とを乗算することにより、現フィールドで撮像されるであろう通常光観察像の画像信号Ｆｎ２’を推定する。

下記に、推定画像の画像信号Ｆｎ２’の求め方を数式で示す。
Ｆｎ２’＝Ｆｎ２×｛［（Ｆｓ３／Ｆｓ２）−１］／２＋１｝

また、フィールド画像補完回路２３４は、直近の特殊観察画像の変化率（現フィールドの特殊光観察像の画像信号Ｆｓ３と、前フィールド（フレーム〔ｎ＋１〕の偶数フィールド）の特殊光観察像の画像信号Ｆｓ２との比率）を直近の通常観察画像の変化率として推定し、推定された直近の通常観察画像の変化率を直前のフィールド（フレーム〔ｎ＋１〕の偶数フィールド）の通常光観察像の画像信号Ｆｎ２で乗算することにより、直後のフィールド（フレーム〔ｎ＋２〕の偶数フィールド）の予測画像Ｆｎ２”（通常観察画像Ｆｎ３を予測した予測画像の画像信号Ｆｎ２”）を求める。

下記に、予測画像の画像信号Ｆｎ２”の求め方を数式で示す。
Ｆｎ２”＝Ｆｎ２×（Ｆｓ３／Ｆｓ２）

フィールド画像補完回路２３４は、推定された画像信号Ｆｎ２’と、特殊光用メモリ２３２ｓ１より入力された画像信号Ｆｓ３を、タイミングコントローラ２０４からのクロックパルスに同期させて後段信号処理回路２４０に出力する。これにより、後段信号処理回路２４０にて処理された特殊観察画像Ｆｓ３、通常観察画像Ｆｎ２’がモニタ３００に出力されて、一画面内に並べて表示される。すなわち、通常観察画像について、欠落フィールドとなり得る（前フィールド（フレーム〔ｎ＋１〕の偶数フィールド）と同じ通常観察画像Ｆｎ２が表示され得る）現フィールドが推定画像である通常観察画像Ｆｎ２’によって補完されてリフレッシュレートが向上する。そのため、垂直方向の解像度の低下が抑えられる。

一方、積和演算値が所定の閾値以上となる場合、通常観察画像を精度良く予測することができていないものとみなされる。通常観察画像の予測精度が低い場合、精度の低い推定画像しか求めることができないため、推定画像による欠落フィールドの補完を行うと、欠落フィールドの前後において却って不自然な動画像になりかねない。

そこで、フィールド画像補完回路２３４は、通常観察画像の推定を行わず、通常光用メモリ２３２ｎ１より入力された画像信号Ｆｎ２、特殊光用メモリ２３２ｓ１より入力された画像信号Ｆｓ３をそのまま、タイミングコントローラ２０４からのクロックパルスに同期させて後段信号処理回路２４０に出力する。これにより、後段信号処理回路２４０にて処理された特殊観察画像Ｆｓ３、通常観察画像Ｆｎ２がモニタ３００に出力されて、一画面内に並べて表示される。すなわち、通常観察画像について、推定画像による欠落フィールドの補完を中止することにより、欠落フィールドの前後における動画像の劣化が避けられる。

フィールド画像補完回路２３４は、推定画像による欠落フィールドの補完を中止する場合も、推定画像による欠落フィールドの補完を行う場合と同じく、予測画像の画像信号Ｆｎ２”を求める。

《フレーム〔ｎ＋２〕の偶数フィールド》
フレーム〔ｎ＋２〕の偶数フィールドでは、通常光観察像の画像信号Ｆｎ３が通常光用メモリ２３２ｎ１に書き込まれて、特殊光用メモリ２３２ｓ１に保持されている特殊光観察像の画像信号Ｆｓ３と共にフィールド画像補完回路２３４に入力される。

ここで、特殊観察画像Ｆｓ３を予測した予測画像Ｆｓ２”と、実際の特殊観察画像Ｆｓ３とが乖離するほど、特殊観察画像が精度良く予測できていないものと考えられる。そこで、フィールド画像補完回路２３４は、特殊観察画像の予測精度を検証するため、所定の画素領域（有効画素全域や中央の画素領域等）について、特殊観察画像Ｆｓ３を予測した予測画像の画像信号Ｆｓ２”と、実際の特殊光観察像の画像信号Ｆｓ３との差分値（絶対値）を画素毎に算出し、算出された差分値を積和演算した値が所定の閾値未満となるか否かを判定する。

積和演算値が所定の閾値未満となる場合、特殊観察画像を精度良く予測することができているものとみなされる。フィールド画像補完回路２３４は、特殊観察画像の予測精度が現状高いことから、現フィールドで撮像されるであろう特殊光観察像の画像信号Ｆｓ３’の推定を行う。

具体的には、フィールド画像補完回路２３４は、中間画像（通常観察画像Ｆｎ３と通常観察画像Ｆｎ２との中間画像）が通常観察画像Ｆｎ２に対してどの程度変化するか、つまり、直近の通常観察画像が１フィールドでどの程度変化するかを計算する。フィールド画像補完回路２３４は、計算された直近１フィールドの通常観察画像の変化率を直近１フィールドにおける特殊観察画像の変化率とみなし、この特殊観察画像の変化率と特殊光観察像の画像信号Ｆｓ３とを乗算することにより、現フィールドで撮像されるであろう特殊光観察像の画像信号ＦＳ３’を推定する。

下記に、推定画像の画像信号Ｆｓ３’の求め方を数式で示す。
Ｆｓ３’＝Ｆｓ３×｛［（Ｆｎ３／Ｆｎ２）−１］／２＋１｝

また、フィールド画像補完回路２３４は、直近の通常観察画像の変化率（現フィールドの通常光観察像の画像信号Ｆｎ３と、前フィールド（フレーム〔ｎ＋２〕の奇数フィールド）の通常光観察像の画像信号Ｆｎ２との比率）を直近の特殊観察画像の変化率として推定し、推定された直近の特殊観察画像の変化率を直前のフィールド（フレーム〔ｎ＋２〕の奇数フィールド）の特殊光観察像の画像信号Ｆｓ３で乗算することにより、直後のフィールド（フレーム〔ｎ＋３〕の奇数フィールド）の予測画像Ｆｓ３”（特殊観察画像Ｆｓ４を予測した予測画像の画像信号Ｆｓ３”）を求める。

下記に、予測画像の画像信号Ｆｓ３”の求め方を数式で示す。
Ｆｓ３”＝Ｆｓ３×（Ｆｎ３／Ｆｎ２）

フィールド画像補完回路２３４は、推定された画像信号Ｆｓ３’と、通常光用メモリ２３２ｎ１より入力された画像信号Ｆｎ３を、タイミングコントローラ２０４からのクロックパルスに同期させて後段信号処理回路２４０に出力する。これにより、後段信号処理回路２４０にて処理された特殊観察画像Ｆｓ３’、通常観察画像Ｆｎ３がモニタ３００に出力されて、一画面内に並べて表示される。すなわち、特殊観察画像について、欠落フィールドとなり得る（前フィールド（フレーム〔ｎ＋２〕の奇数フィールド）と同じ特殊観察画像Ｆｓ３が表示され得る）現フィールドが推定画像である特殊観察画像Ｆｓ３’によって補完されてリフレッシュレートが向上する。そのため、垂直方向の解像度の低下が抑えられる。

一方、積和演算値が所定の閾値以上となる場合、特殊観察画像を精度良く予測することができていないものとみなされる。そこで、フィールド画像補完回路２３４は、特殊観察画像の推定を行わず、特殊光用メモリ２３２ｓ１より入力された画像信号Ｆｓ３、通常光用メモリ２３２ｎ１より入力された画像信号Ｆｎ３をそのまま、タイミングコントローラ２０４からのクロックパルスに同期させて後段信号処理回路２４０に出力する。これにより、後段信号処理回路２４０にて処理された特殊観察画像Ｆｓ３、通常観察画像Ｆｎ３がモニタ３００に出力されて、一画面内に並べて表示される。すなわち、特殊観察画像について、推定画像による欠落フィールドの補完を中止することにより、欠落フィールドの前後における動画像の劣化が避けられる。

フィールド画像補完回路２３４は、推定画像による欠落フィールドの補完を中止する場合も、推定画像による欠落フィールドの補完を行う場合と同じく、予測画像の画像信号Ｆｓ３”を求める。

以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本発明の実施形態に含まれる。

上記の実施形態では、ある時点において、予測画像と実際の画像との差分の積和演算値が所定の閾値未満となるとき、当該時点の画像の予測精度が高いものとみなされているが、別の実施形態では、積和演算値が複数フレーム連続して所定の閾値未満となるときにはじめて、当該時点の画像の予測精度が高いものとみなされるようにしてもよい。この場合、推定画像を補完することによる欠落フィールドの前後における動画像の劣化がより確実に避けられる。

１ 電子内視鏡システム
１００ 電子スコープ
１０２ ＬＣＢ
１０４ 配光レンズ
１０６ 対物レンズ
１０８ 固体撮像素子
１１０ ドライバ信号処理回路
１１２ メモリ
２００ プロセッサ
２０２ システムコントローラ
２０４ タイミングコントローラ
２０６ ランプ電源イグナイタ
２０８ ランプ
２１０ 集光レンズ
２１２ メモリ
２１４ 操作パネル
２２０ 前段信号処理回路
２３０ 中段信号処理回路
２３２ｓ１，２３２ｓ２ 特殊光用メモリ
２３２ｎ１，２３２ｎ２ 通常光用メモリ
２３４ フィールド画像補完回路
２４０ 後段信号処理回路
２６０ 回転フィルタ部
２６１ 回転式ターレット
Ｆｓ 特殊光用フィルタ
Ｆｎ 通常光用フィルタ
２６２ ＤＣモータ
２６３ ドライバ
２６４ フォトインタラプタ

Claims (3)

1. 分光特性の異なる第一の光と第二の光とを所定のリフレッシュレートに同期したタイミングで交互に射出する光源部と、
   前記第一の光により照射される第一照射期間の被写体を撮像して第一画像を生成し、前記第二の光により照射される第二照射期間の被写体を撮像して第二画像を生成する生成手段と、
   生成された第一画像及び第二画像を表示画面に同時に表示する表示手段と、
   生成された第一画像及び第二画像に基づいて、次の第二照射期間に撮像される第二画像を予測する予測手段と、
   予測された第二画像と、前記次の第二照射期間に実際に撮像された第二画像との比較結果に基づいて、前記予測手段による予測の精度が高いか否かを判定する判定手段と、
   を備え、
   前記表示手段は、
   前記予測手段による予測の精度が高いと判定されると、前記次の第二照射期間の直後の第一照射期間に撮像されるであろう第二画像を推定し、推定された第二画像を、該第一照射期間に撮像された第一画像と共に前記表示画面に表示し、
   前記予測手段による予測の精度が高くないと判定されると、前記次の第二照射期間に撮像された第二画像を、該次の第二照射期間の直後の第一照射期間に撮像された第一画像と共に前記表示画面に表示する、
   電子内視鏡システム。
2. 前記判定手段は、
   前記予測手段により予測された第二画像と、前記次の第二照射期間に実際に撮像された第二画像との差分値が所定の閾値未満である場合に、該予測手段による予測の精度が高いと判定する、
   請求項１に記載の電子内視鏡システム。
3. 前記予測手段は、
   異なる第一照射期間に撮像された複数の第一画像からその変化率を計算し、
   計算された第一画像の変化率、及び直前の第二照射期間に撮像された第二画像に基づいて、次の第二照射期間に撮像される第二画像を予測する、
   請求項１又は請求項２に記載の電子内視鏡システム。

Images