JP2016214637A - 画像処理装置 - Google Patents

Abstract

【課題】病変部を毎回同じ条件で撮影することができないため、病変部のスコアがばらつき、その精度が低い。
【解決手段】画像処理装置を、撮影中の画像を所定時間経過する度にスコアリングし、その平均値を算出する第一のスコアリング手段と、所定の操作入力を受けた時点で撮影された画像をスコアリングする第二のスコアリング手段と、第一のスコアリング手段により算出された平均値と、第二のスコアリング手段により算出されたスコアとを、撮影中の画像と共に所定の表示画面に表示させる表示手段とを備える構成とする。
【選択図】図２

Description

本発明は、撮影された画像を所定の表示画面に表示させる画像処理装置に関する。

病変部は、一般に正常な粘膜組織とは異なる色を呈する。カラー内視鏡装置の性能向上により、正常組織と僅かに色の異なる病変部の識別も可能になってきている。しかし、術者が内視鏡による撮影画像上の僅かな色の違いにより正常組織から病変部を正確に識別できるようになるためには、熟練者の指導下で長期間のトレーニングを受ける必要がある。また、熟練した術者であっても、僅かな色の違いから病変部を識別することは容易ではなく、慎重な作業が要求される。

そこで、例えば特許文献１や特許文献２に、内視鏡による撮影画像をスコアリングし、術者に病変部（炎症や潰瘍等）を識別させるための補助的な情報として、表示装置の表示画面に表示させる構成が記載されている。具体的には、特許文献１や特許文献２に記載の画像処理装置は、内視鏡による撮影画像を構成する各画素について、その色相と彩度の情報に基づいて病変部の画素であるか否かを判定し、判定された画素の数に基づいて病変指数（スコア）を計算して表示装置の表示画面に表示させる。

特開２０１４−１８３３２号公報 特開２０１４−１８３３３号公報

例えば、炎症性腸疾患の場合、半年に一回のペースで内視鏡を用いた検査が行われる。この検査を特許文献１や特許文献２に記載の内視鏡装置を用いて行うことにより、炎症性腸疾患の変化を客観的情報であるスコアとして残すことができる。但し、スコアは、撮影条件（例えば、病変部との撮影距離、撮影の構図、照明具合（明るさ）、術者による撮影技術、使用機器の性能、使用機器の設定等）に応じて変動する。言い換えると、スコアには、各検査における撮影条件の違いが誤差として含まれる。

病変部をより一層正確に検査するためには、病変部を毎回同じ条件で撮影する必要がある。しかし、病変部を毎回同じ条件で撮影することは、現実的には不可能である。

本発明の一実施形態に係る画像処理装置は、撮影中の画像を所定時間経過する度にスコアリングし、その平均値を算出する第一のスコアリング手段と、所定の操作入力を受けた時点で撮影された画像をスコアリングする第二のスコアリング手段と、第一のスコアリング手段により算出された平均値と、第二のスコアリング手段により算出されたスコアとを、撮影中の画像と共に所定の表示画面に表示させる表示手段とを備える。

本発明の一実施形態によれば、第一のスコアリング手段により算出される平均値と、第二のスコアリング手段により算出されるスコアが、例えば一回の手技内で算出されることにより、算出時における撮影条件の違いが極力抑えられる。そのため、術者は、所定の操作入力を受けた時点で撮影された画像のスコアについて、平均化により精度良く算出されたスコアとの相対関係を考慮することにより、各手技における撮影条件の違いの影響を排除したうえで、検査材料として利用することができる。

また、本発明の一実施形態において、第一のスコアリング手段は、撮影中の画像をスコアリングする際、画像中央部よりも画像周辺部に対してスコアの重みを高く設定する構成としてもよい。

また、本発明の一実施形態において、第二のスコアリング手段は、所定の操作入力を受けた時点で撮影された画像をスコアリングする際、画像周辺部よりも画像中央部に対してスコアの重みを高く設定する構成としてもよい。

また、本発明の一実施形態において、表示手段は、表示画面に表示させる画像の周囲にマスク領域を配置し、マスク領域上に、第一のスコアリング手段により算出された平均値と、第二のスコアリング手段により算出されたスコアとを並べて表示する構成としてもよい。

本発明の一実施形態によれば、各手技における撮影条件の違いの影響を排除したうえで病変部のスコアを検査材料として利用することが可能な画像処理装置が提供される。

本発明の一実施形態に係る電子内視鏡システムの構成を示すブロック図である。 本発明の一実施形態に係る電子内視鏡システムに備えられるプロセッサにより実行されるスコア表示処理のフローチャートを示す図である。 撮影画像を例示する図である。 本発明の一実施形態においてモニタの表示画面に表示される画面例を示す図である。 本発明の一実施形態においてモニタの表示画面に表示される画面例を示す図である。

以下、本発明の実施形態について図面を参照しながら説明する。なお、以下においては、本発明の一実施形態として電子内視鏡システムを例に取り説明する。

［電子内視鏡システム１の構成］
図１は、本発明の一実施形態に係る電子内視鏡システム１の構成を示すブロック図である。図１に示されるように、電子内視鏡システム１は、電子スコープ１００、プロセッサ２００及びモニタ３００を備えている。

プロセッサ２００は、システムコントローラ２０２及びタイミングコントローラ２０４を備えている。システムコントローラ２０２は、メモリ２１２に記憶された各種プログラムを実行し、電子内視鏡システム１全体を統合的に制御する。また、システムコントローラ２０２は、操作パネル２１４に接続されている。システムコントローラ２０２は、操作パネル２１４より入力される術者からの指示に応じて、電子内視鏡システム１の各動作及び各動作のためのパラメータを変更する。タイミングコントローラ２０４は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム１内の各回路に出力する。

ランプ２０８は、ランプ電源イグナイタ２０６による始動後、照射光Ｌを射出する。ランプ２０８は、例えば、キセノンランプ、ハロゲンランプ、水銀ランプ、メタルハライドランプ等の高輝度ランプやＬＥＤ（Light Emitting Diode）である。照射光Ｌは、主に可視光領域から不可視である赤外光領域に広がるスペクトルを持つ光（又は少なくとも可視光領域を含む白色光）である。

ランプ２０８より射出された照射光Ｌは、集光レンズ２１０によりＬＣＢ（Light Carrying Bundle）１０２の入射端面に集光されてＬＣＢ１０２内に入射される。

ＬＣＢ１０２内に入射された照射光Ｌは、ＬＣＢ１０２内を伝播して電子スコープ１００の先端に配置されたＬＣＢ１０２の射出端面より射出され、配光レンズ１０４を介して被写体に照射される。照射光Ｌにより照射された被写体からの戻り光は、対物レンズ１０６を介して固体撮像素子１０８の受光面上で光学像を結ぶ。

固体撮像素子１０８は、ベイヤ型画素配置を有する単板式カラーＣＣＤ（Charge Coupled Device）イメージセンサである。固体撮像素子１０８は、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の画像信号を生成して出力する。なお、固体撮像素子１０８は、ＣＣＤイメージセンサに限らず、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやその他の種類の撮像装置に置き換えられてもよい。固体撮像素子１０８はまた、補色系フィルタを搭載したものであってもよい。

電子スコープ１００の接続部内には、ドライバ信号処理回路１１０が備えられている。ドライバ信号処理回路１１０には、画像信号がフレーム周期で固体撮像素子１０８より入力される。なお、以降の説明において「フレーム」は「フィールド」に置き替えてもよい。本実施形態において、フレーム周期、フィールド周期はそれぞれ、１／３０秒、１／６０秒である。ドライバ信号処理回路１１０は、固体撮像素子１０８より入力される画像信号に対して所定の処理を施してプロセッサ２００の前段信号処理回路２２０及びＴＥ（Tone Enhance）回路２２２に出力する。

ドライバ信号処理回路１１０はまた、メモリ１１２にアクセスして電子スコープ１００の固有情報を読み出す。メモリ１１２に記録される電子スコープ１００の固有情報には、例えば、固体撮像素子１０８の画素数や感度、動作可能なフレームレート、型番等が含まれる。ドライバ信号処理回路１１０は、メモリ１１２より読み出された固有情報をシステムコントローラ２０２に出力する。

システムコントローラ２０２は、電子スコープ１００の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ２０２は、生成された制御信号を用いて、プロセッサ２００に接続されている電子スコープに適した処理がなされるようにプロセッサ２００内の各種回路の動作やタイミングを制御する。

タイミングコントローラ２０４は、システムコントローラ２０２によるタイミング制御に従って、ドライバ信号処理回路１１０にクロックパルスを供給する。ドライバ信号処理回路１１０は、タイミングコントローラ２０４から供給されるクロックパルスに従って、固体撮像素子１０８をプロセッサ２００側で処理される映像のフレームレートに同期したタイミングで駆動制御する。

前段信号処理回路２２０は、ドライバ信号処理回路１１０より１フレーム周期で入力される画像信号に対して色補間、マトリックス演算、Ｙ／Ｃ分離等の所定の信号処理を施して、後段信号処理回路２３０に出力する。

ＴＥ回路２２２は、ドライバ信号処理回路１１０より１フレーム周期で入力される画像信号に対してトーンエンハンス処理を行い、スコアリング回路２２４に出力する。なお、トーンエンハンス処理の詳細な例示は、特許文献１や特許文献２において参照することができる。

トーンエンハンス処理は、病変の判定精度を上げるための処理であり、概略的には、ドライバ信号処理回路１１０より入力される各原色信号Ｒ、Ｇ、Ｂに対して非線形なゲイン（利得）を与えるゲイン調整を行うことにより、判定する病変に特有の色域（特に境界部）付近におけるダイナミックレンジを実質的に広げて、色表現の実効的な分解能を高める処理である。

スコアリング回路２２４は、ＴＥ回路２２２より１フレーム周期で入力されるトーンエンハンス処理後の画像信号に基づいて該画像信号よりなる撮影画像をスコアリングする。スコアリング処理は、撮影画像内に写る病変部に関する客観的かつ定量的な情報（例えば、炎症性腸疾患等の非局在型の疾患の重症度や、ポリープ等の局在型の疾患の病変部に近づいているかどうか）を術者に把握させるための病変指数（スコア）を算出する処理である。

スコアリング回路２２４は、概略的には、ＴＥ回路２２２より入力される各フレームの画像信号を構成する各画素データに対して有効画素判定を行い、ＨＳＩ（Heu-Saturation-Intensity）等の所定の色空間の画素データに変換し、変換された画素データに基づいて病変部の画素であるか否かを判定し、有効画素と判定された画素のうち病変であると判定された画素が占める割合（スコア）を算出する。なお、スコアリング処理の詳細な例示は、特許文献１や特許文献２において参照することができる。

スコアリング回路２２４は、算出された各フレームの撮影画像のスコアをメモリ２２６に保存すると共に、メモリ２２６に保存されている所定期間内のスコアの平均値（以下、「平均スコア」と記す。）を算出して、後段信号処理回路２３０に出力する。

後段信号処理回路２３０は、前段信号処理回路２２０より入力される画像信号を処理して撮影画像の表示データを生成すると共にモニタ３００の表示画面の周辺領域（撮影画像の表示領域の周囲）をマスクするマスキング処理を行い、更に、マスキング処理により生成されるマスク領域に、スコアリング回路２２４より入力される平均スコアを重畳した、モニタ表示用の画面データを生成する。後段信号処理回路２３０は、生成されたモニタ表示用の画面データを所定のビデオフォーマット信号に変換して、モニタ３００に出力する。これにより、モニタ３００の表示画面には、その中央領域に被写体の撮影画像が表示されると共に、該撮影画像の表示領域の周囲がマスキングされた画面が表示される。また、マスク領域には平均スコアが表示される。すなわち、平均スコアは、撮影画像の視認性を保つため、該撮影画像と重ならない位置に表示される。

保存データ制御回路２３２は、システムコントローラ２０２から指示を受けて、後段信号処理回路２３０から出力された画面データ又はメモリ２２６に保存されているスコアを外部メモリ４００に保存する。外部メモリ４００は、例えばＵＳＢ（Universal Serial Bus）メモリである。

［スコア表示処理］
図２は、本発明の一実施形態においてプロセッサ２００により実行されるスコア表示処理のフローチャートを示す。図２のスコア表示処理は、例えば、本処理の実行の開始を指示する所定の操作が行われた時点で開始され、該実行の終了を指示する所定の操作が行われた時点で終了する。また、図２のスコア表示処理は、例えば、電子内視鏡システム１が起動した時点で実行が開始され、電子内視鏡システム１が停止した時点で実行が終了するようにしてもよい。

［図２のＳ１１（平均スコアの算出）］
メモリ２２６には、図２のスコア表示処理の実行が開始されると、各フレームの撮影画像のスコアが順次保存され、図２のスコア表示処理の実行が終了されると、保存されているスコアが全て消去される。処理ステップＳ１１では、メモリ２２６に保存されたスコアの平均値、すなわち平均スコアが算出される。なお、平均スコアは、図２のスコア表示処理の実行終了後も消去されず、今回の手技の履歴として残される。

ここで、図３（ａ）及び図３（ｂ）に、撮影画像を例示する。図３（ａ）は、病変部の撮影画像を示し、図３（ｂ）は、電子スコープ１００を体腔内に挿入して管状部内で進退させている時の撮影画像を示す。

図３（ａ）に示されるように、術者は、通常、撮影範囲の中央部に病変部を収めて撮影を行うものと考えられる。すなわち、術者による撮影は、撮影範囲の中央部に病変部が配置され、撮影範囲の周辺部に正常部が配置される構図で行われる。また、電子スコープ１００を体腔内に挿入して管状部内で進退させている間（例えば、病変部を探している間や検査が完了して電子スコープ１００を体腔外側へ戻している間）は、電子スコープ１００の周囲に位置する管壁部が撮影されて、図３（ｂ）に示されるように、撮影範囲の周辺部の全周に写る。撮影範囲の周辺部の全周に写る管壁部は、その大部分が正常部である。

そこで、本処理ステップＳ１１では、撮影範囲の中央部の画素データよりも周辺部の画素データに対して高い重み係数が設定されたうえで、各フレームのスコアが算出される。撮影範囲の中央部の画素データには、例えばゼロの重み係数が設定されてもよい。これにより、平均スコアは、正常部の状態をより正確に反映した値となり、また、平均化により突発的な誤差が排除された値となる。

［図２のＳ１２（平均スコアの表示）］
図４は、モニタ３００の表示画面に表示される画面例を示す。本処理ステップＳ１２では、図４に例示されるように、処理ステップＳ１１（平均スコアの算出）にて算出された平均スコアが撮影画像の表示領域の周囲に配置されるマスク領域上に表示される。

［図２のＳ１３（操作の判定）］
本処理ステップＳ１３では、静止画撮影操作又はフリーズ操作が行われたか否かが判定される。図２のスコア表示処理は、静止画撮影操作又はフリーズ操作が行われていないと判定される限り（Ｓ１３：ＮＯ）、処理ステップＳ１１〜Ｓ１３をループする。

［図２のＳ１４（スコアの算出）］
本処理ステップＳ１４は、処理ステップＳ１３（操作の判定）にて静止画撮影操作又はフリーズ操作が行われたと判定された場合（Ｓ１３：ＹＥＳ）に実行される。本処理ステップＳ１４では、静止画撮影操作又はフリーズ操作の入力を受けた時点での撮影画像が平均スコアとは別個にスコアリングされて、そのスコアがメモリ２２６に保存される。ここで算出されるスコアも平均スコアと同様に、図２のスコア表示処理の実行終了後も消去されず、今回の手技の履歴として残される。

上述したように、術者による撮影は、一般に、撮影範囲の中央部に病変部が配置され、撮影範囲の周辺部に正常部が配置される構図で行われる（図３（ａ）参照）。そこで、本処理ステップＳ１４では、撮影範囲の周辺部の画素データよりも中央部の画素データに対して高い重み係数が設定されたうえで、静止画撮影操作又はフリーズ操作の入力を受けた時点での撮影画像のスコアが算出される。これにより、本処理ステップＳ１４にて算出されるスコアは、正常部の影響が少なからず排除されて、病変部の状態をより正確に反映した値となる。以下、説明の便宜上、本処理ステップＳ１４にて算出されるスコアを「病変部スコア」と記す。

［図２のＳ１５（統計的数値の算出）］
本処理ステップＳ１５では、所定の統計的数値が算出される。例示的には、メモリ２２６に保存されている全てのスコアを母集団とする標準偏差が算出されたり、メモリ２２６に保存されている一部のスコアが標本として抽出され、抽出された標本に基づいて標準偏差が算出されたり、平均スコアに対する病変部スコアの偏差が算出されたりする。

［図２のＳ１６（病変部スコアの表示）］
図５は、モニタ３００の表示画面に表示される画面例を示す。本処理ステップＳ１６では、図５に例示されるように、処理ステップＳ１４（スコアの算出）にて算出された病変部スコアが撮影画像の表示領域の周囲に配置されるマスク領域上に平均スコアと並べて表示される。

また、術者は、所定の設定操作を行うことにより、処理ステップＳ１５（統計的数値の算出）にて算出された数値を該マスク領域上に平均スコア及び病変部スコアと並べて表示させることができる。

また、術者は、所定の操作を行うことにより、処理ステップＳ１５（統計的数値の算出）にて算出された数値や、図４、図５に例示される画面データを保存データ制御回路２３２を通じて外部メモリ４００に保存させることができる。

本実施形態によれば、平均スコアと病変部スコアは、一回の手技内で算出されていることから、算出時における撮影条件の違いが極力抑えられているといえる。そのため、術者は、病変部スコアと平均スコアとの相対関係を考慮することにより、各手技における撮影条件の違いによるスコアの誤差を排除し、誤差が排除された病変部スコアに基づいて病変部をより一層正確に検査することができる。例えば、炎症性腸疾患の検査のような、半年に一回のペースでしか行われない検査においても、術者は、各手技における撮影条件の違いによる病変部スコアの誤差を排除することができるため、病変部の進行状態をより一層正確に判断することができる。

以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本発明の実施形態に含まれる。

１ 電子内視鏡システム
１００ 電子スコープ
１０２ ＬＣＢ
１０４ 配光レンズ
１０６ 対物レンズ
１０８ 固体撮像素子
１１０ ドライバ信号処理回路
１１２ メモリ
２００ プロセッサ
２０２ システムコントローラ
２０４ タイミングコントローラ
２０６ ランプ電源イグナイタ
２０８ ランプ
２１０ 集光レンズ
２１２ メモリ
２１４ 操作パネル
２２０ 前段信号処理回路
２２２ ＴＥ回路
２２４ スコアリング回路
２２６ メモリ
２３０ 後段信号処理回路
２３２ 保存データ制御回路
４００ 外部メモリ

Claims (4)

1. 撮影中の画像を所定時間経過する度にスコアリングし、その平均値を算出する第一のスコアリング手段と、
   所定の操作入力を受けた時点で撮影された画像をスコアリングする第二のスコアリング手段と、
   前記第一のスコアリング手段により算出された平均値と、前記第二のスコアリング手段により算出されたスコアとを、撮影中の画像と共に所定の表示画面に表示させる表示手段と、
   を備える、
   画像処理装置。
2. 前記第一のスコアリング手段は、
   撮影中の画像をスコアリングする際、画像中央部よりも画像周辺部に対してスコアの重みを高く設定する、
   請求項１に記載の画像処理装置。
3. 前記第二のスコアリング手段は、
   所定の操作入力を受けた時点で撮影された画像をスコアリングする際、画像周辺部よりも画像中央部に対してスコアの重みを高く設定する、
   請求項１又は請求項２に記載の画像処理装置。
4. 前記表示手段は、
   前記表示画面に表示させる画像の周囲にマスク領域を配置し、
   前記マスク領域上に、前記第一のスコアリング手段により算出された平均値と、前記第二のスコアリング手段により算出されたスコアとを並べて表示する、
   請求項１から請求項３の何れか一項に記載の画像処理装置。

Images