JP2012005512A - 画像処理装置、内視鏡装置、内視鏡システム、プログラム及び画像処理方法 - Google Patents

Abstract

【課題】個人差に応じた注目領域の検出が可能な画像処理装置、内視鏡装置、内視鏡システム、プログラム及び画像処理方法等を提供すること。
【解決手段】画像処理装置は、第１画像取得部２３３と、第２画像取得部２３５と、基準特徴量算出部２３４と、第２画像側注目領域検出部２３６を含む。第１画像取得部２３３は、第１の撮像素子により得られた第１画像を取得する。第２画像取得部２３５は、第２の撮像素子２２５，２２６により得られた第２画像を取得する。基準特徴量算出部２３４は、第１画像内の画素の画素値に基づいて、第２画像側注目領域の検出基準となる基準特徴量を算出する。第２画像側注目領域検出部２３６は、基準特徴量と、第２画像内の画素の画素値とに基づいて、第２画像から第２画像側注目領域を検出する。
【選択図】図１０

Description

本発明は、画像処理装置、内視鏡装置、内視鏡システム、プログラム及び画像処理方法等に関する。

従来、医療分野では、Ｘ線診断装置やＣＴ、ＭＲＩ、超音波観測装置、内視鏡装置等の画像撮像機器を用いた観察が広く行われている。例えば、内視鏡装置は、挿入部が体腔内に挿入され、その挿入部の先端部に配置された撮像部により体腔内を撮像し、その撮像画像をモニタに表示する。そして、医師は、モニタに表示された体腔内の画像を観察して、体腔内の臓器等の診断や処置を行う。このような内視鏡装置は、消化管粘膜の像を直接的に撮像する。そのため、医師は、粘膜の色調や病変部の形状、粘膜表面の微細な構造等の様々な所見を総合的に観察できる。

さて、内視鏡装置では、出血部位等の病変部が含まれる所定の画像を検出する画像処理手法がある。例えば、特許文献１には、あらかじめ取得した複数のサンプルに基づいて病変検出基準を設定し、その病変検出基準を用いて病変部を検出する画像処理手法が開示されている。

国際公開第０２／０７３５０７号

しかしながら、消化管内部においては、正常粘膜の分光反射特性と病変部の分光反射特性との間の違いには、一般的に個人差がある。そのため、患者に依らず共通の病変検出基準を用いると、正常粘膜と病変部とを識別する精度が患者に依ってばらついてしまう。このように病変検出結果の信頼性が低下すると、医師に注意深い観察が要求されるため、医師の負担が増大してしまう。

本発明の幾つかの態様によれば、個人差に応じた病変検出が可能な画像処理装置、内視鏡装置、内視鏡システム、プログラム及び画像処理方法等を提供できる。

本発明の一態様は、第１の撮像素子により得られた第１画像を取得する第１画像取得部と、第２の撮像素子により得られた第２画像を取得する第２画像取得部と、前記第１画像内の画素の画素値に基づいて、第２画像側注目領域の検出基準となる基準特徴量を算出する基準特徴量算出部と、前記基準特徴量と、前記第２画像内の画素の画素値とに基づいて、前記第２画像から前記第２画像側注目領域を検出する第２画像側注目領域検出部と、を含む画像処理装置に関係する。

本発明の一態様によれば、第１の撮像素子により得られた第１画像から基準特徴量が算出され、その基準特徴量に基づいて、第２の撮像素子により得られた第２画像から第２画像側注目領域が検出される。これにより、個人差に影響されない注目領域検出等が可能になる。

また、本発明の他の態様は、第１内視鏡装置により得られた第１画像を取得する第１画像取得部と、第２内視鏡装置により得られた第２画像を取得する第２画像取得部と、前記第１画像内の画素の画素値に基づいて、第２画像側注目領域の検出基準となる基準特徴量を算出する基準特徴量算出部と、前記基準特徴量と、前記第２画像内の画素の画素値とに基づいて、前記第２画像から前記第２画像側注目領域を検出する第２画像側注目領域検出部と、を含む画像処理装置に関係する。

また、本発明の他の態様は、上記のいずれかに記載の画像処理装置を含む内視鏡装置に関係する。

また、本発明の他の態様は、第１内視鏡装置と第２内視鏡装置を含む内視鏡システムであって、第１の撮像素子により得られた第１画像を取得する第１画像取得部と、第２の撮像素子により得られた第２画像を取得する第２画像取得部と、前記第１画像内の画素の画素値に基づいて、第２画像側注目領域の検出基準となる基準特徴量を算出する基準特徴量算出部と、前記基準特徴量と、前記第２画像内の画素の画素値とに基づいて、前記第２画像から前記第２画像側注目領域を検出する第２画像側注目領域検出部と、を含む内視鏡システムに関係する。

また、本発明の他の態様は、第１の撮像素子により得られた第１画像を取得する第１画像取得部と、第２の撮像素子により得られた第２画像を取得する第２画像取得部と、前記第１画像内の画素の画素値に基づいて、第２画像側注目領域の検出基準となる基準特徴量を算出する基準特徴量算出部と、前記基準特徴量と、前記第２画像内の画素の画素値とに基づいて、前記第２画像から前記第２画像側注目領域を検出する第２画像側注目領域検出部として、コンピュータを機能させるプログラムに関係する。

また、本発明の他の態様は、第１の撮像素子により得られた第１画像を取得し、第２の撮像素子により得られた第２画像を取得し、前記第１画像内の画素の画素値に基づいて、第２画像側注目領域の検出基準となる基準特徴量を算出し、前記基準特徴量と、前記第２画像内の画素の画素値とに基づいて、前記第２画像から前記第２画像側注目領域を検出する画像処理方法に関係する。

病変検出手法の比較例についての説明図。 本実施形態の病変検出手法についての説明図。 第１内視鏡装置のカプセル部の構成例。 第１内視鏡装置の制御装置の構成例。 第１内視鏡装置の撮像素子の色フィルタについての説明図。 第１内視鏡装置の撮像素子の色フィルタについての説明図。 狭帯域光の分光特性についての説明図。 図８（Ａ）〜図８（Ｃ）は、第１内視鏡装置の撮像素子の色フィルタについての説明図。 第１内視鏡装置の撮像素子の色フィルタについての説明図。 第２内視鏡装置の構成例。 第２内視鏡装置の特殊光撮像素子の色フィルタについての説明図。 基準特徴量算出部の詳細な構成例。 図１３（Ａ）は、第１画像側正常領域についての説明図である。図１３（Ｂ）は、局所領域についての説明図である。 重み付け関数の第１の特性例。 重み付け関数の第２の特性例。 第２画像取得部の詳細な構成例。 第２画像側注目領域検出部の詳細な構成例。 尤度に応じて割り当てられる特定色の例。 第１内視鏡装置の第２の構成例。 基準特徴量算出部の第２の詳細な構成例。 第２画像側注目領域検出部の第２の詳細な構成例。 第１画像処理部の第２の詳細な構成例。 第２画像処理部の第２の詳細な構成例。 本実施形態が行う処理のフローチャート例。 基準特徴量算出処理のフローチャート例。 第２画像側注目領域検出処理のフローチャート例。 基準特徴量算出部の第３の詳細な構成例。 第１画像側正常領域検出部の詳細な構成例。 基準特徴量算出処理のフローチャート例。 基準特徴量算出部の第４の詳細な構成例。 基準特徴量算出処理のフローチャート例。 基準特徴量算出部の第５の詳細な構成例。 コンピュータシステムの構成を示すシステム構成図。 コンピュータシステムにおける本体部の構成を示すブロック図。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．本実施形態の手法
図１、図２を用いて、本実施形態が行う病変検出手法について説明する。
図１に、病変検出手法の比較例を示す。図１に示すように、２人の患者１と患者２の消化管を内視鏡を用いて診察する場合について考える。このとき、Ａ１に示すように患者１の撮像画像内に病変部が存在し、Ａ２に示すように患者２の撮像画像にも病変部が存在するとする。比較例では、これらの病変部を、画像の色特徴量（色相等）から自動的に検出し、医師に注意を促すためのアラート表示を行う。

Ａ３に示すように、この比較例では、患者１と患者２で同一の検出基準を用いて病変部の検出を行う。このとき、患者１と患者２の撮像画像に同じ種別の病変部が写っていたとしても、患者の個人差や病変部の状態等に依って色特徴量が異なる場合がある。例えば、検出基準が、患者１の病変部の色特徴量に近い基準だとすると、Ａ４に示すように、患者１の病変部は検出されてアラート画像が表示され、Ａ５に示すように、患者２の病変部は検出されずアラート画像が表示されない可能性がある。このように、患者に依らない検出基準を用いると、患者の個人差等に応じた病変検出ができなくなってしまう。

そこで、本実施形態では、患者毎に検出基準を作成し、その検出基準を用いて病変検出を行う。具体的には、図２のＢ１に示すように、カプセル型内視鏡（第１内視鏡装置）により消化管粘膜を撮像し、Ｂ２に示すように、その撮像画像から患者１用の検出基準を求める。そして、Ｂ３に示すように、スコープ型内視鏡（第２内視鏡装置）により診察を行う際に、その検出基準を用いて病変部を検出してアラート表示を行う。これと同様の処理を患者２に対しても行うことで、Ｂ４に示すように、色特徴量が異なる患者２の病変部を検出できる。このように本実施形態では、患者毎の検出基準を用いることで、患者の個人差等に応じた病変検出が可能である。

２．第１内視鏡装置の構成例
次に、上記本実施形態の詳細な構成例と動作について説明する。上述のように、本実施形態では、まず第１内視鏡装置（第１撮像手段）により患者（被験者）の体腔内を撮影し、異常所見の有無などの画像診断を行い、異常所見の検出基準を設ける。次に、第２内視鏡装置（第２撮像手段）により同一患者の体腔内を撮影し、設けた異常所見の検出基準を利用して画像診断を行う。

以下では、第１内視鏡装置は、患者に何らかの疾患がないかスクリーニング検査を行うカプセル型内視鏡であり、第２撮像装置は、カプセル内視鏡検査により何らかの疾患が疑われる場合に、より詳細な検査を行うスコープ型内視鏡である場合を例に説明する。

まず、図３〜図９を用いて、カプセル型内視鏡（第１内視鏡装置）の構成例について説明する。図３に、カプセル型内視鏡のカプセル部（送信装置）の構成例を示す。このカプセル部は、光源部１１０と、白色光発光素子１１１と、特殊光発光素子１１２と、対物レンズ１２０と、撮像素子１３０と、第１制御部１４０と、Ａ／Ｄ変換部１５０と、送信アンテナ１６０を含む。

そして、撮像素子１３０は、Ａ／Ｄ変換部１５０に接続されている。第１制御部１４０は、光源部１１０と、撮像素子１３０と、Ａ／Ｄ変換部１５０と、送信アンテナ１６０に接続されている。Ａ／Ｄ変換部１５０は、送信アンテナ１６０に接続されている。

光源部１１０は、発光素子を発光させる制御を行う。具体的には、光源部１１０は、白色光を発光する白色光発光素子１１１と、特殊光を発光する特殊光発生素子１１２に接続され、第１制御部１４０の制御信号に基づいて、白色光発光素子１１１と特殊光発生素子１１２を順次発光させる制御を行う。

対物レンズ１２０は、被写体像を撮像素子１３０に結像させる。具体的には、対物レンズ１２０は、白色光発光素子１１１及び特殊光発生素子１１２が照射した照明光が観察対象に反射されて戻った反射光を集光する。

撮像素子１３０は、対物レンズ１２０によって結像された、観察対象からの反射光を撮像（検出）する。例えば、撮像素子１３０は、ＣＭＯＳイメージセンサや、ＣＣＤイメージセンサにより構成される。

第１制御部１４０は、光源部１１０と、撮像素子１３０と、Ａ／Ｄ変換部１５０送信アンテナ１６０を制御する制御信号を出力する。例えば、この制御信号は、白色光発光素子１１１と特殊光発生素子１１２のどちらを発光させるかを表す情報を含み、第１制御部１４０は、その情報に基づいて光源部１１０等を制御する。

Ａ／Ｄ変換部１５０は、撮像素子１３０から出力されるアナログ画像信号をデジタル画像信号に変換し、デジタル画像信号として送信アンテナ１６０に出力する。

送信アンテナ１６０は、後述する受信装置のデータ受信部１７０に対して無線により信号を送信する。具体的には、送信アンテナ１６０は、Ａ／Ｄ変換部１５０から出力されるデジタル画像信号と、第１制御部１４０から出力される制御信号を送信する。

図４に、カプセル型内視鏡の制御装置（受信装置）の構成例を示す。この画像処理装置は、データ受信部１７０と、第１画像処理部１８０を含む。

そして、データ受信部１７０は、第１画像処理部１８０に接続されている。第１画像処理部１８０は、第２内視鏡装置２００に接続されている。なお、第１画像処理部１８０と第２内視鏡装置２００は、着脱可能に接続され、例えばＵＳＢ（Universal Serial Bus）等により接続される。

データ受信部１７０は、カプセル部から無線により送信された信号を受信する。具体的には、データ受信部１７０は、受信アンテナ１７１と、データ記録部１７２と、データ伝送部１７３を含む。受信アンテナ１７１は、データ記録部１７２に接続されている。データ記録部１７２は、データ伝送部１７３に接続されている。

受信アンテナ１７１は、送信アンテナ１６０から送信されるデジタル画像信号と制御信号を受信する。

データ記録部１７２（記憶部）は、受信アンテナ１７１により受信されたデジタル画像信号と制御信号を記憶する。

データ伝送部１７３は、第１画像処理部１８０に対して、デジタル画像信号および制御信号をデータとして伝送する。例えば、データ伝送部１７３と第１画像処理部１８０は、有線または無線によりネットワーク接続されて、データ伝送部１７３は、そのネットワークを介してデータ伝送を行う。あるいは、データ記録部１７２が、可搬情報記憶媒体（ＤＶＤ等の光ディスク媒体、ハードディスク媒体、メモリ媒体等）に対してデータを記録し、第１画像処理部１８０が、その可搬情報記憶媒体に記録されたデータを読み取ることで、データ伝送が行われてもよい。

第１画像処理部１８０は、データ受信部１７０からのデータに基づいて撮像画像を生成する。具体的には、第１画像処理部１８０は、第１画像生成部１８１と、第１画像記録部１８２を含む。第１画像生成部１８１は、第１画像記録部１８２に接続されている。第１画像記録部１８２は、第２内視鏡装置２００に接続されている。

第１画像生成部１８１は、データ伝送部１７３から伝送されたデジタル画像信号と制御信号に基づいて、白色光画像（通常光画像）と特殊光画像を生成する。

第１画像記録部１８２は、第１画像生成部１８１により生成された白色光画像と特殊光画像を記憶する。

次に、第１画像生成部１８１が白色光画像と特殊光画像を生成する手法について説明する。なお以下では、特殊光の一例として狭帯域光を用いた場合について説明するが、本実施形態では、特殊光は狭帯域光に限定されない。

まず、図５、図６を用いて、データ伝送部１７３から伝送されたデジタル画像信号が白色光画像である場合について説明する。この場合、白色光発光素子１１１は、第１制御部１４０からの制御信号に基づいて白色光を発光し、撮像素子１３０は、その制御信号に同期して被写体からの反射光を撮像する。

図５に示すように、撮像素子１３０の色フィルタは、例えばフィルタｍ，ｇ，ｂにより構成される。これらの色フィルタｍ，ｇ，ｂは、図６に示す色フィルタ透過率を有する。第１画像生成部１８１は、このような撮像素子１３０により取得されたデジタル画像信号に対して補間処理を行い、全画素に対してカラー信号Ｒ，Ｇ，Ｂを生成する。例えば、その補間処理として、周囲の画素値の平均値をとる処理を行う。

例えば、座標（１，１）、（２，１）、（１，２）、（２，２）におけるカラー信号の生成について説明する。まず、座標（１，１）におけるＭ信号ｍ（１，１）とＢ信号ｂ（１，１）とＲ信号ｒ（１，１）は、下式（１）により算出される。
ｍ（１，１）＝｛ｍ（１，０）＋ｍ（１，２）｝／２，
ｂ（１，１）＝｛ｂ（０，１）＋ｂ（２，１）｝／２，
ｒ（１，１）＝ｍ（１，１）−ｂ（１，１） ・・・ （１）

次に、座標（２，１）におけるＧ信号ｇ（２，１）とＭ信号ｍ（２，１）とＲ信号ｒ（２，１）は、下式（２）により算出される。
ｇ（２，１）
＝｛ｇ（１，１）＋ｇ（２，０）＋ｇ（３，１）＋ｇ（２，２）｝／４，
ｍ（２，１）
＝｛ｍ（１，０）＋ｍ（３，０）＋ｍ（１，２）＋ｍ（３，２）｝／４，
ｒ（２，１）＝ｍ（２，１）−ｂ（２，１） ・・・ （２）

次に、座標（１，２）におけるＧ信号ｇ（１，２）とＢ信号ｂ（１，２）とＲ信号ｒ（１，２）は、下式（３）により算出される。
ｇ（１，２）
＝｛ｇ（０，２）＋ｇ（１，１）＋ｇ（２，２）＋ｇ（１，３）｝／４，
ｂ（１，２）
＝｛ｂ（０，１）＋ｂ（２，１）＋ｂ（２，３）＋ｂ（０，３）｝／４，
ｒ（１，２）＝ｍ（１，２）−ｂ（１，２） ・・・ （３）

次に座標（２，２）におけるＭ信号ｍ（２，２）とＢ信号ｂ（２，２）とＲ信号ｒ（２，２）は、下式（４）により算出される。
ｍ（２，２）＝｛ｍ（１，２）＋ｍ（３，２）｝／２，
ｂ（２，２）＝｛ｂ（２，１）＋ｂ（２，３）｝／２，
ｒ（２，２）＝ｍ（２，２）−ｂ（２，２） ・・・ （４）

そして、このようにして算出されたＲ，Ｇ，Ｂ画像に対して、例えば既知のホワイトバランス処理や、色変換処理、階調変換処理等の画像処理が行われ、白色光画像が生成される。

次に、図７〜図９を用いて、データ伝送部１７３から伝送されたデジタル画像信号が特殊光画像であった場合について説明する。この場合、図７に示すように、特殊光発生素子１１２は、ｂ２（３９０〜４４５ｎｍ）とｇ２（５３０〜５５０ｎｍ）の波長帯域を有する光を出射する。例えば、特殊光発生素子１１２は、ｂ２光を発する素子と、ｇ２光を発する素子を有する。そして、第１制御部１４０がこれらの発光するタイミングを制御し、撮像素子１３０が反射光を撮像し、ｂ２の照明光に対応するＢ２信号とｇ２の照明光に対応するＧ２信号が生成される。

具体的には、図８（Ａ）に示すように、色フィルタｍを有する画素では、照明光ｂ２，ｇ２の分光放射率特性と色フィルタｍの透過率特性との積により、色フィルタｍの透過光の分光特性はｂ２の帯域を有する。また、図８（Ｂ）に示すように、色フィルタｇの透過光の分光特性はｇ２の帯域を有し、図８（Ｃ）に示すように、色フィルタｂの透過光の分光特性はｂ２の帯域を有する。すなわち、図９に示すように、撮像素子１３０の色フィルタｇ，ｍ，ｂは、市松状の色フィルタｇ２，ｂ２として機能する。

そして、このようにして得られたＧ２、Ｂ２信号に対して補間処理が行われ、全画素においてｇ２帯域に対応する信号値を持つＧ２信号と、全画素においてｂ２帯域に対応する信号値を持つＢ２信号が生成される。例えば、この補間処理として、周辺４画素の平均値をとる処理が行われる。例えば、座標（１，１）におけるＢ２信号ｂ２（１，１）と、座標（１，２）におけるＧ２信号ｇ２（１，２）は、下式（５）により算出される。
ｂ２（１，１）
＝｛ｂ２（０，１）＋ｂ２（１，０）＋ｂ２（２，１）＋ｂ２（１，２）｝／４，
ｇ２（１，２）
＝｛ｇ２（０，２）＋ｇ２（１，１）＋ｇ２（２，２）＋ｇ２（１，３）｝／４
・・・ （５）

次に、補間されたＧ２信号とＢ２信号から擬似カラー信号Ｒ，Ｇ，Ｂが生成される。例えば、Ｒ信号にＧ２信号を入力し、Ｇ信号及びＢ信号にＢ２信号を入力することで擬似カラー信号が生成される。第１画像生成部１８１は、生成した擬似カラー信号に対してさらにホワイトバランス、階調変換等の処理を行い、特殊光（狭帯域光）画像として第１画像記録部１８２に出力する。

第１画像記録部１８２に記録された１枚以上の第１画像（第１通常光画像、第１特殊光画像）は、第２内視鏡装置２００に対して出力される。例えば、第１画像記録部１８２と第２内視鏡装置２００は、有線または無線でネットワーク接続され、そのネットワークを介してデータ送信が行われる。あるいは、第１画像記録部１８２は可搬情報記録媒体であり、第２内視鏡装置２００は、図示しない読み出し部によって、可搬情報記録媒体に記録された第１画像を取得してもよい。ここで、第１内視鏡装置１００が出力する第１画像は、体腔内を撮影した静止画または動画である。静止画の場合、第１画像は１または複数の画像であり、動画の場合、第１画像は例えばストリームデータによる画像である。

３．第２内視鏡装置の構成例
図１０に、第２内視鏡装置の構成例を示す。この第２内視鏡装置２００（スコープ型内視鏡）は、光源部２１０と、挿入部２２０と、第２画像処理部２３０と、表示部２４０と、外部Ｉ／Ｆ部２５０を含む。

光源部２１０は、被写体に照射するための照射光を発生する。具体的には、光源部２１０は、白色光を発生する白色光源２１１と、白色光をライトガイドファイバ２２１に集光するための集光レンズ２１２を含む。

挿入部２２０は、例えば体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。挿入部２２０は、光源部２１０で集光された光を導くためのライトガイドファイバ２２１と、そのライトガイドファイバ２２１により先端まで導かれてきた光を拡散させて観察対象に照射する照明レンズ２２２を含む。また、挿入部２２０は、観察対象から戻る反射光を集光する対物レンズ２２３と、その集光した反射光を２つに分離するハーフミラー２２４と、その分離された反射光を検出するための白色光撮像素子２２５と特殊光撮像素子２２６を含む。

白色光撮像素子２２５は、白色光画像を撮影するための撮像素子である。例えば、その色フィルタ（例えばベイヤ配列）は、透過帯域５８０ｎｍ〜７００ｎｍのｒフィルタと、透過帯域４８０ｎｍ〜６００ｎｍのｇフィルタと、透過帯域３８０ｎｍ〜５００ｎｍのｂフィルタにより構成される。

特殊光撮像素子２２６は、狭帯域画像を撮影するための撮像素子である。例えば、図１１に示すように、その色フィルタは、２種類の狭帯域光ｇ２とｂ２を透過する２種類の色フィルタｇ２とｂ２が市松状に配置されて構成される。

第２画像処理部２３０（画像処理装置）は、第１画像から基準特徴量を算出し、その基準特徴量を用いて第２内視鏡装置２００の撮像画像から注目領域を検出する。具体的には、第２画像処理部２３０は、Ａ／Ｄ変換部２３１ａ，２３１ｂと、第２制御部２３２と、第１画像取得部２３３と、基準特徴量算出部２３４と、第２画像取得部２３５と、第２画像側注目領域検出部２３６（注目領域検出部）を含む。

Ａ／Ｄ変換部２３１ａ，２３１ｂは、第２画像取得部２３５に接続されている。第２制御部２３２は、光源部２１０と、第１画像取得部２３３と、基準特徴量算出部２３４と、第２画像取得部２３５と、第２画像側注目領域検出部２３６と、表示部２４０と、外部Ｉ／Ｆ部２５０と双方向に接続されており、これらを制御する。第１画像取得部２３３は、基準特徴量算出部２３４に接続されている。基準特徴量算出部２３４は、第２画像側注目領域検出部２３６に接続されている。第２画像取得部２３５は、第２画像側注目領域検出部２３６に接続されている。第２画像側注目領域検出部２３６は、表示部２４０に接続されている。

第１画像取得部２３３は、第１内視鏡装置１００から出力された第１画像を取得し、取得した第１画像を基準特徴量算出部２３４に出力する。例えば、第１画像取得部２３３は、第１画像として白色光画像及び特殊光画像を取得する。

基準特徴量算出部２３４は、第２画像から病変（広義には注目領域）を検出する基準となる基準特徴量を、第１画像の画素値に基づいて算出し、算出した基準特徴量を第２画像側注目領域検出部２３６に出力する。

Ａ／Ｄ変換部２３１ａは、白色光撮像素子２２５から出力されたアナログ画像信号をデジタル画像信号に変換し、そのデジタル画像信号を第２画像取得部２３５に出力する。Ａ／Ｄ変換部２３１ｂは、特殊光撮像素子２２６から出力されたアナログ画像信号をデジタル画像信号に変換し、そのデジタル画像信号を第２画像取得部２３５に出力する。

第２画像取得部２３５は、Ａ／Ｄ変換部２３１ａから出力されたデジタル画像信号を画像処理して白色光画像を取得し、Ａ／Ｄ変換部２３１ｂから出力されたデジタル画像信号を画像処理して特殊光画像を取得する。第２画像取得部２３５は、これらの白色光画像と特殊光画像を第２画像として第２画像側注目領域検出部２３６に出力する。

第２画像側注目領域検出部２３６は、第２画像取得部２３５により取得された第２画像の画素値と、基準特徴量算出部２３４により算出された基準特徴量に基づいて、第２画像側注目領域（注目領域）を検出する。

表示部２４０は、第２画像処理部２３０からの出力画像を表示（出力）する。例えば、出力画像は、第２内視鏡装置２００により撮像された白色光画像に、注目領域を表すアラート表示が付加された画像である。

外部Ｉ／Ｆ部２５０は、第２内視鏡装置２００に対してユーザが入力等を行うためのインターフェースである。例えば、外部Ｉ／Ｆ部２５０は、電源のオン／オフを行うための電源スイッチや、撮影操作を開始するためのシャッタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換ボタン等を含む。

４．基準特徴量算出部の詳細な構成例
図１２に、上述の基準特徴量算出部２３４の詳細な構成例を示す。この基準特徴量算出部２３４は、第１画像側注目領域検出部２３４１（第１領域検出部）と、局所領域設定部２３４２と、基準算出部２３４３を含む。そして、第１画像側注目領域検出部２３４１は、局所領域設定部２３４２に接続されている。局所領域設定部２３４２は、基準算出部２３４３に接続されている。基準算出部２３４３は第２画像側注目領域検出部２３６に接続されている。

第１画像側注目領域検出部２３４１は、第１画像の特殊光画像の画素値に基づいて、病変部（広義には、第１画像側注目領域、第１領域）を検出する。例えば、特殊光画像が狭帯域光画像である場合、扁平上皮癌等の病変部が褐色の領域として描出されるため、特徴量として色相Ｈを検出基準として使用する。まず、第１画像側注目領域検出部２３４１は、特殊光画像の各画素について、色相Ｈを下式（６）〜式（１１）を用いて算出する。ここで、特殊光画像の各画素のＲ，Ｇ，Ｂの信号値を夫々ｒ，ｇ，ｂと表記し、各信号値は８ビット（０〜２５５）であるとする。また、ＭＡＸ関数は、複数の引数の中で最大のものを出力する関数とする。

ｍａｘ＝ＭＡＸ（ｒ，ｇ，ｂ） ・・・ （６）
上式（６）においてｍａｘ＝０の場合には、下式（７）により色相Ｈを求める。
Ｈ＝３６０ ・・・ （７）
上式（６）においてｍａｘが０以外の場合には、まず下式（８）により値ｄを求める。ここで、ＭＩＮ関数は、複数の引数の中から最小値の引数を出力する関数である。
ｄ＝ＭＡＸ（ｒ，ｇ，ｂ）−ＭＩＮ（ｒ，ｇ，ｂ） ・・・ （８）
上式（８）において、ｒ，ｇ，ｂのうちｒが最大の場合には、下式（９）により色相Ｈを求める。
Ｈ＝６０×（ｇ−ｂ）／ｄ ・・・ （９）
また、上式（８）において、ｒ，ｇ，ｂのうちｇが最大の場合には、下式（１０）により色相Ｈを求める。
Ｈ＝６０×（ｂ−ｒ）／ｄ＋１２０ ・・・ （１０）
また、上式（８）において、ｒ，ｇ，ｂのうちｂが最大の場合には、下式（１１）により色相Ｈを求める。
Ｈ＝６０×（ｒ−ｇ）／ｄ＋２４０ ・・・ （１１）
なお、上記演算によりＨ＜０となった場合には、Ｈに３６０を加える。また、上記演算によりＨ＝３６０となった場合には、Ｈ＝０とする。

第１画像側注目領域検出部２３４１は、特殊光画像の各画素の色相Ｈが、例えば褐色を表す５〜３５の範囲にあれば、その画素を第１画像側注目領域として検出する。そして、検出された第１画像側注目領域の情報（例えば、画素の座標）は、局所領域設定部２３４２に出力される。なお、本実施形態では、第１画像側注目領域を検出する特徴量は、上記色相Ｈに限定されない。例えば、本実施形態では、色の特徴量や空間周波数の特徴量等を各々求め、それぞれに重み係数を付与して線形結合し、第１画像側注目領域を検出する特徴量としてもよい。

局所領域設定部２３４２は、第１画像から検出された注目領域を１つ以上の領域に分割し、分割した領域各々を局所領域として設定する。局所領域設定部２３４２は、設定した局所領域の情報（例えば、局所領域内の画素の座標）を基準算出部２３４３に出力する。例えば、第１画像が複数の画像である場合、その複数の画像から検出された注目領域全てが分割対象となる。また、消化管種別（部位）毎に基準特徴量が算出される場合、算出対象の消化管種別に対応する第１画像から検出された注目領域が分割対象となる。

図１３（Ａ）、図１３（Ｂ）を用いて、局所領域の設定手法例について説明する。図１３（Ａ）に示すように、第１画像において注目領域が検出された画素にフラグ“１”を付与する。そして、図１３（Ｂ）に示すように、フラグ“１”が付与された領域に対して４連結ラベリング処理を行い、その領域の各画素にラベル“１”〜“４”を付与し、同一のラベルが付与された画素群を同一の局所領域に設定する。このラベリング処理を全ての第１画像に対して行い、全ての局所領域に異なるラベルを付与する。ここで、４連結ラベリング処理とは、４方向（画像の水平方向及び垂直方向）に隣接する画素に同一のラベルを付与する処理である。

なお、本実施形態では、領域分割の手法は上記４連結ラベリング処理に限定されず、例えば８連結のラベリング処理を用いてもよい。あるいは、領域分割の方法として、注目領域の画素値に基づいて、Ｗａｔｅｒｓｈｅｄ法等の既知の領域分割アルゴリズムを適用してもよい。あるいは、局所領域の範囲は、ユーザの指定により設定されてもよい。あるいは、領域分割を行わず、注目領域全体を１つの局所領域として設定してもよい。

基準算出部２３４３は、第１画像の画素値と局所領域の情報に基づいて基準特徴量を算出し、算出した基準特徴量を第２画像側注目領域検出部２３６に出力する。具体的には、基準算出部２３４３は、白色光画像及び特殊光画像の局所領域内の画素値から各局所領域についての特徴量を算出し、その特徴量から注目領域についての基準特徴量を算出する。下式（１２）〜（１５）を用いて、この基準特徴量の算出手法例について説明する。

ここで、座標（ｘ，ｙ）における第１画像の画素値をｆ（ｘ，ｙ）とする。例えば、第１画像を構成している白色光画像の信号数をｐ、特殊光画像の信号数をｑとすると、ｆ（ｘ，ｙ）は（ｐ＋ｑ）次元のベクトルである。本実施形態では、白色光画像は３チャンネル、特殊光画像は２チャンネルの信号を持っているため、ｐ＝３、ｑ＝２であり、ｆ（ｘ，ｙ）は５次元のベクトルである。なお、以下の式では、太字で表記した値はベクトル（または行列）を表すものとする。

まず、局所領域設定部２３４２によりＣ_０〜Ｃ_Ｎ−１のＮ個の局所領域が設定されたとすると、基準算出部２３４３は、各局所領域Ｃ_ｉについて第１画像の画素値の平均ＡＶＥ_ｉと標準偏差ＳＴＤ_ｉを、下式（１２）、（１３）により算出する。ここで、演算子“.＊”はベクトルの要素毎の積算を表し、演算子“.＾”はベクトルの要素毎のべき乗を表す。

そして、基準算出部２３４３は、局所領域Ｃ_ｉ毎に算出されたＡＶＥ_ｉとＳＴＤ_ｉから、下式（１４）、（１５）により基準特徴量ＡＶＥ、ＳＴＤを算出する。

ここで、ＡＲＥＡ（Ｃ_ｉ）は局所領域Ｃ_ｉの面積を表し、例えば局所領域Ｃ_ｉに含まれる画素数である。また、Ｗ（ＡＲＥＡ（Ｃ_ｉ））は、局所領域Ｃ_ｉに対応する重み付け係数を表し、局所領域の面積に応じて値が変化する重み付け関数である。例えば、この重み付け関数は、局所領域の面積と重み係数をあらかじめ関連付けたルックアップテーブルにより実現される。

例えば、図１４に、重み付け関数の第１の特性例を示す。この特性例では、閾値Ｔｈ１以下の面積において関数の値が０（または０近傍）である。そのため、ノイズ等により小面積の局所領域が生じても、その局所領域が及ぼす基準特徴量に対する影響を抑制できる。また、図１５に、重み付け関数の第２の特性例を示す。この特性例では、閾値Ｔｈ２以下の面積において関数の値が０（または０近傍）であり、閾値Ｔｈ３以上の面積において関数の値が１（または１近傍）である。そのため、小面積の局所領域が基準特徴量に対して及ぼす影響を抑制できる。また、第１の特性例では、大面積の局所領域が存在すると、その局所領域の影響が支配的となってしまうが、第２の特性例によれば、所定面積以上の局所領域が及ぼす影響を一様にできる。

５．第２画像取得部の詳細な構成例
次に、図１６に、第２画像取得部２３５の詳細な構成例を示す。この第２画像取得部２３５は、白色光画像生成部２３５１（通常光画像生成部）と、特殊光画像生成部２３５２と、白色光画像記録部２３５３（通常光画像記憶部）と、特殊光画像記録部２３５４（特殊光画像記憶部）を含む。そして、白色光画像生成部２３５１は、白色光画像記録部２３５３に接続されている。特殊光画像生成部２３５２は、特殊光画像記録部２３５４に接続されている。白色光画像記録部２３５３と特殊光画像記録部２３５４は、第２画像側注目領域検出部２３６に接続されている。

白色光画像生成部２３５１は、Ａ／Ｄ変換部２３１ａから出力されるデジタル画像信号に対して画像処理を行い、白色光画像（通常光画像）を生成する。例えば、白色光画像生成部２３５１は、既知の補間処理やホワイトバランス処理、色変換処理、階調変換処理等の画像処理を行う。

特殊光画像生成部２３５２は、Ａ／Ｄ変換部２３１ｂから出力されるデジタル画像信号に対して画像処理を行い、特殊光画像を生成する。

例えば、図１１等で上述のように、特殊光画像が狭帯域光画像である場合、特殊光画像生成部２３５２には、フィルタｇ２，ｂ２に対応する市松状のデジタル画像信号が入力される。まず、特殊光画像生成部２３５２は、この画像信号に対して補間処理を行い、全画素においてｇ２フィルタに対応する信号値を有するＧ２画像信号と、全画素においてｂ２フィルタに対応する信号値を有するＢ２画像信号を生成する。

次に、特殊光画像生成部２３５２は、Ｇ２画像信号とＢ２画像信号から擬似カラー画像を生成する。例えば、特殊光画像生成部２３５２は、擬似カラー画像のＲチャンネルにＧ２画像信号を入力し、疑似カラー画像のＧチャンネルとＢチャンネルにＢ２画像信号を入力し、擬似カラー画像を生成する。そして、特殊光画像生成部２３５２は、生成した擬似カラー画像に対してホワイトバランス処理や階調変換処理等の処理を行い、処理後の画像を特殊光画像として出力する。

白色光画像記録部２３５３は、白色光画像生成部２３５１から出力された白色光画像を記憶する。特殊光画像記録部２３５４は、特殊光画像生成部２３５２から出力された特殊光画像を記憶する。第２画像取得部２３５は、白色光画像記録部２３５３に記録された白色光画像と、特殊光画像記録部２３５４に記録された特殊光画像を、第２画像（第２白色光画像、第２特殊光画像）として出力する。

６．第２画像側注目領域検出部の詳細な構成例
次に、図１７に、第２画像側注目領域検出部２３６の詳細な構成例を示す。この第２画像側注目領域検出部２３６は、尤度算出部２３６１と、表示態様設定部２３６２を含む。そして、尤度算出部２３６１は、表示態様設定部２３６２に接続されている。表示態様設定部２３６２は、表示部２４０に接続されている。

尤度算出部２３６１は、第２画像取得部２３５から出力された第２画像の画素値と、基準特徴量算出部２３４により算出された基準特徴量に基づいて、第２画像の各画素の病変らしさを表す尤度を算出する。そして、尤度算出部２３６１は、算出した尤度を表示態様設定部２３６２に出力する。例えば、尤度算出部２３６１は、上述の基準特徴量ＡＶＥ，ＳＴＤを用いて、下式（１６）、（１７）により各画素の尤度Ｌ（ｘ，ｙ）を算出する。ここで、ｇ（ｘ，ｙ）は、画像上での座標（ｘ，ｙ）での第２画像の画素値である。また、演算子“．／”は、ベクトルの要素毎の除算を表し、記号“｜｜”は、ベクトルの大きさを表す。また、Ｇ（α，σ）は、標準偏差σのガウス関数である。

例えば、上式（１６）、（１７）におけるσは、次の設定手法により設定される。第２画像の信号数をｔとし、各信号が独立変数であるとした場合、α^２は自由度（ｔ−１）のχ二乗分布に従うと考えられる。このとき、σ^２は、自由度（ｔ−１）のχ二乗分布の下側１０％における値に設定される。この場合、１０％の確率でα^２＜σ^２を満たし、１≧Ｌ（ｘ，ｙ）＞ｅ^−０．５を満たす。例えば、ｅ^−０．５を注目領域検出の閾値とすれば、ｇ（ｘ，ｙ）がＡＶＥに近く、α^２＜σ^２を満たす画素が注目領域と判定される。例えば、σ^２は信号数ｔによって決まるため、尤度算出部２３６１がσ^２をあらかじめ算出しておけばよい。あるいは、σ^２は、外部Ｉ／Ｆ部２５０を介して任意の値に設定されてもよい。ここで、χ二乗分布の下側１０％における値とは、α^２＝０側からχ二乗分布の確率密度を積分し、１０％に達したときのα^２の値である。

表示態様設定部２３６２は、尤度算出部２３６１により算出された尤度Ｌ（ｘ，ｙ）に基づいて、第２画像の表示態様（どのように表示するか）を設定する。具体的には、表示態様設定部２３６２は、第２画像の白色光画像の各画素に、尤度Ｌ（ｘ，ｙ）に応じた特定色を割り当て出力画像とし、その出力画像を表示部２４０に出力する。例えば、図１８に、尤度Ｌ（ｘ，ｙ）に応じて割り当てられる特定色の例を示す。図１８のＣ１、Ｃ２、Ｃ３は、それぞれ特定色のＲ信号値、Ｇ信号値、Ｂ信号値を表す。すなわち、尤度Ｌ（ｘ，ｙ）が閾値Ｌｔｈから１に変化するに従って、特定色は青から緑、緑から赤に変化する。尤度Ｌ（ｘ，ｙ）が閾値Ｌｔｈより小さい画素では、白色光画像の画素値をそのまま出力画像の画素値に割り当てる。

このようにすれば、尤度が閾値Ｌｔｈ以下の領域を正常部位とし、その領域については通常の観察を行うことができる。一方、尤度が閾値Ｌｔｈ以上の領域を注目領域とし、その領域については割り当てられた色に応じて観察者に注意を促すことができる。例えば、閾値Ｌｔｈ＝ｅ^−１＝０．３６８を設定すると、α^２＞２σ^２となる画素を病変部とみなさないことを意味する。なお、本実施形態では、閾値Ｌｔｈを超える尤度に対してどのような特定色を割り当てるかを、あらかじめ作成したルックアップテーブルにより設定してもよい。

なお、上記実施形態では、白色光画像と特殊光画像の全ての色信号を用いて種々の処理（基準特徴量の算出、尤度の算出等）を行う場合を例に説明したが、本実施形態はこれに限定されない。例えば、第１画像、第２画像として特殊光画像及び白色光画像の一方のみが取得され、基準特徴量の算出や第２画像側注目領域の検出が、取得された画像の色信号のみを用いて行われてもよい。あるいは、本実施形態では、基準特徴量の算出において、Ｒ信号以外の色信号を用いて基準特徴量を算出してもよい。これは、Ｒ信号が、他の色信号と比べて病変部と正常部で信号強度の差異が小さいためである。あるいは、本実施例では、画像の特徴量としてＲＧＢの画素値をそのまま利用せず、白色光画像等のＲＧＢの画素値を色相・彩度・明度の画素値にＨＳＶ変換し、そのＨＳＶ変換後の画素値から基準特徴量を算出してもよい。

さて、上述のように、画像処理により病変部を検出して表示させる場合、患者に依らない共通の検出基準を用いると、患者の個人差等により病変部の検出精度が低下する可能性がある。

この点、本実施形態によれば、図１０に示すように、第１画像取得部２３３と、第２画像取得部２３５と、基準特徴量算出部２３４と、第２画像側注目領域検出部２３６を含む。第１画像取得部２３３は、第１の撮像素子（図３に示す撮像素子１３０）により得られた第１画像（第１通常光画像、第１特殊光画像）を取得する。第２画像取得部２３５は、第２の撮像素子（白色光撮像素子２２５、特殊光撮像素子２２６）により得られた第２画像（第２通常光画像、第２特殊光画像）を取得する。基準特徴量算出部２３４は、第１画像内の画素の画素値ｆ（ｘ，ｙ）に基づいて、第２画像側注目領域の検出基準となる基準特徴量ＡＶＥ、ＳＴＤを算出する。第２画像側注目領域検出部２３６は、基準特徴量ＡＶＥ、ＳＴＤと、第２画像内の画素の画素値ｇ（ｘ，ｙ）に基づいて、第２画像から第２画像側注目領域を検出する。

これにより、患者の個人差等に応じた病変部の検出等が可能になる。具体的には、本実施形態によれば、カプセル型内視鏡により第１画像が取得され、スコープ型内視鏡により同一患者から第２画像が取得される。そして、病変検出基準として、第１画像の特徴量から基準特徴量が算出され、第２画像の特徴量と基準特徴量との比較により第２画像から病変検出が行われる。これにより、患者毎の基準特徴量に基づいて病変部が検出されるため、共通の検出基準を用いた場合に比べて検出精度を向上できる。また、検出精度の向上により、医師は必要以上に注意深い観察を行う必要がなくなり、内視鏡観察における医師の負担を軽減できる。

ここで、注目領域（第１画像側注目領域、第２画像側注目領域）とは、使用者にとって観察の優先順位が他の領域よりも相対的に高い領域であり、例えば、使用者が医者であり治療を希望した場合、粘膜部や病変部を写した領域を指す。また、他の例として、医者が観察したいと欲した対象が泡や便であれば、注目領域は、その泡部分や便部分を写した領域になる。即ち、使用者が注目すべき対象は、その観察目的によって異なるが、いずれにしても、その観察に際し、使用者にとって観察の優先順位が他の領域よりも相対的に高い領域が注目領域となる。また、注目領域は特殊光画像や通常光画像（白色光画像）の画素の特徴量（色相、彩度等）を用いて検出することができる。例えば、特徴量に対して閾値を設定することで注目領域を検出でき、その閾値は、注目領域の種類に応じて変化する。例えば第１の種類の注目領域に対する色相、彩度等の特徴量の閾値と、第２の種類の注目領域に対する特徴量の閾値は異なった値になる。そして、注目領域の種類が変わった場合には、この特徴量の閾値を変えるだけで済み、注目領域の検出後の処理（基準特徴量算出処理等）については、本実施形態で説明した処理と同様の処理で実現することができる。

また、本実施形態では、図１２に示すように、基準特徴量算出部２３４は、第１画像内の画素の画素値ｆ（ｘ，ｙ）に基づいて、第１画像（１又は複数の画像）から第１画像側注目領域を検出する第１画像側注目領域検出部２３４１を有する。そして、基準特徴量算出部２３４は、第１画像側注目領域内の画素の画素値に基づいて、基準特徴量ＡＶＥ、ＳＴＤを算出する。具体的には、基準特徴量算出部２３４は、第１画像側注目領域内の画素の画素値の平均値を、基準特徴量ＡＶＥ、ＳＴＤとして算出する。

このようにすれば、カプセル型内視鏡により撮像された第１画像から、色相範囲等の検出基準により第１画像側注目領域を検出し、その第１画像側注目領域についての特徴量である基準特徴量ＡＶＥ、ＳＴＤを算出できる。

また、本実施形態では、基準特徴量算出部２３４は、第１画像側注目領域に対して複数の局所領域Ｃ_１〜Ｃ_Ｎ−１を設定する局所領域設定部２３４２を有する。そして、上式（１２）〜（１５）に示すように、基準特徴量算出部２３４は、各局所領域Ｃ_ｉ内の画素の画素値に基づいて、各局所領域Ｃ_ｉにおける特徴量ＡＶＥ_ｉ、ＳＴＤ_ｉを求め、その特徴量ＡＶＥ_ｉ、ＳＴＤ_ｉに基づいて基準特徴量ＡＶＥ、ＳＴＤを求める。

具体的には、基準特徴量算出部２３４は、各局所領域Ｃ_ｉ内の画素の画素値の平均値ＡＶＥ_ｉや分散ＳＴＤ_ｉを特徴量として求め、複数の局所領域Ｃ_１〜Ｃ_Ｎ−１の特徴量ＡＶＥ_１〜ＡＶＥ_Ｎ−１、ＳＴＤ_１〜ＳＴＤ_Ｎ−１を重み付け加算して基準特徴量ＡＶＥ、ＳＴＤを求める。例えば、図１４等に示すように、基準特徴量算出部２３４は、各局所領域Ｃ_ｉの面積ＡＲＥＡ（Ｃ_ｉ）に応じた重み付け係数Ｗ（ＡＲＥＡ（Ｃ_ｉ））により重み付け加算を行う。

このようにすれば、第１画像側注目領域を局所領域に分割し、その局所領域の特徴量に基づく基準特徴量を算出できる。また、局所領域の特徴量を面積に応じて重み付け加算することで、ノイズの影響や巨大な注目領域の影響を軽減することが可能になる。

また、本実施形態では、図１３（Ｂ）に示すように、局所領域設定部２３４２は、第１画像側注目領域に含まれる画素のうち隣接する（同一ラベルが付与された）画素群（画素の集合）を局所領域として設定する。

このようにすれば、隣接画素に同一ラベルを付与するラベリング処理により、第１画像側注目領域を１又は複数の局所領域に分割できる。

また、本実施形態では、図１７に示すように、第２画像側注目領域検出部２３６は、基準特徴量ＡＶＥ、ＳＴＤと、第２画像内の画素の画素値ｇ（ｘ，ｙ）に基づいて、第２画像側注目領域の注目度合いを表す尤度Ｌ（ｘ，ｙ）を求める尤度算出部２３６１を有する。そして、尤度算出部２３６１は、第２画像内の画素の画素値ｇ（ｘ，ｙ）が基準特徴量ＡＶＥに近いほど（上式（１７）のα^２が小さいほど）、その画素の尤度Ｌ（ｘ，ｙ）を大きくする。

このようにすれば、尤度により各画素の病変部らしさを表すことができる。また、基準特徴量に応じて尤度が求められることで、患者の個人差等を反映した尤度を算出できる。これにより、患者に応じた検出基準による病変検出が可能になる。

ここで、尤度とは、画像内の検出対象領域が注目領域であることのもっともらしさを表すパラメータである。例えば、病変部を注目領域とする場合、尤度は病変らしさを表し、病変部に特有の特徴と検出対象領域の特徴の類似の程度を表す。例えば、病変部と検出対象領域の色が類似するほど大きくなる（または小さくなる）値を求め、その値を尤度としてもよい。また、その値をさらに変換して尤度を求めてもよい。あるいは、尤度は、正常粘膜の特徴と検出対象領域の特徴の非類似の程度を表す。この場合、例えば病変部と検出対象領域の色が非類似であるほど大きくなる（または小さくなる）値を求め、その値を尤度としてもよい。また、その値をさらに変換して尤度を求めてもよい。

また、本実施形態では、第２画像側注目領域検出部は、尤度Ｌ（ｘ，ｙ）に基づいて、第２画像側注目領域を表示する制御を行う表示態様設定部２３６２を有する。具体的には、表示態様設定部２３６２は、尤度Ｌ（ｘ，ｙ）の大きさに応じて第２画像側注目領域を強調処理し、強調処理された第２画像側注目領域を表示する制御を行う。例えば、図１８に示すように、表示態様設定部２３６２は、尤度Ｌ（ｘ，ｙ）が所定の閾値Ｌｔｈより大きい場合に、尤度Ｌ（ｘ，ｙ）の大きさに応じて第２画像側注目領域内の画素の色を変更する処理を行う。

このようにすれば、尤度に基づいて第２画像側注目領域の表示制御が行われることで、第２画像側注目領域の検出が可能になる。例えば、尤度が所定の閾値より大きい画素に色を付す表示制御を行うことで、その色を付された画素群を第２画像側注目領域として検出できる。

また、本実施形態では、基準特徴量ＡＶＥ、ＳＴＤは、第１画像内の画素の原色画素値に関する特徴量である。

このようにすれば、原色画素値であるＲＧＢ信号をそのまま用いて基準特徴量を求めることができる。なお、本実施形態では、ＲＧＢ信号を補色画素値に変換し、その補色画素値に関する基準特徴量を算出してもよい。あるいは、ＲＧＢ信号を色相値Ｈや彩度値Ｓ、明度値Ｖに変換し、そのＨＳＶ信号に関する特徴量を求めてもよい。このようにすれば、正常部に対して検出対象病変部の特徴が現れやすい色空間を用いて、基準特徴量を求めることができる。

また、本実施形態では、第１画像取得部２３３は、第１通常光画像（第１白色光画像）及び第１特殊光画像を、第１画像として取得する。第２画像取得部２３５は、第２通常光画像（第２白色光画像）及び第２特殊光画像を、第２画像として取得する。

このようにすれば、通常光画像及び特殊光画像の色信号に基づく基準特徴量や尤度を求めることができる。これにより、通常光画像及び特殊光画像の双方における病変部の色が考慮された病変検出が可能になり、検出精度を向上できる。なお、本実施形態では、第１画像取得部２３３、第２画像取得部２３５が、通常光画像及び特殊光画像のいずれか一方を取得してもよい。

ここで、通常光画像（白色光画像）とは、白色の波長帯域（例えば３８０ｎｍ〜７００ｎｍ）における情報を有した被写体像を含む画像である。また、特殊光画像とは、特定の波長帯域における情報を有した被写体像を含む画像である。図５等で上述のように、この通常光画像と特殊光画像は、照明光の分光特性や撮像素子の色フィルタの分光特性等により、白色波長帯域の被写体像と特定波長帯域の被写体像が生成され、その被写体像が撮像されることで実現される。

また、本実施形態では、上記特定の波長帯域は、白色の波長帯域（例えば３８０ｎｍ〜６５０ｎｍ）よりも狭い帯域である（ＮＢＩ：Narrow Band Imaging）。例えば、通常光画像及び特殊光画像は、生体内を写した生体内画像であり、その生体内画像に含まれる特定の波長帯域は、血液中のヘモグロビンに吸収される波長の波長帯域である。例えば、このヘモグロビンに吸収される波長は、３９０ｎｍ〜４４５ｎｍ（第１の狭帯域光、狭帯域光のＢ２成分）、または５３０ｎｍ〜５５０ｎｍ（第２の狭帯域光、狭帯域光のＧ２成分）である。

これにより、生体の表層部及び、深部に位置する血管の構造を観察することが可能になる。また得られた信号を特定のチャンネル（Ｇ２→Ｒ、Ｂ２→Ｇ，Ｂ）に入力することで、扁平上皮癌等の通常光では視認が難しい病変などを褐色等で表示することができ、病変部の見落としを抑止することができる。なお、３９０ｎｍ〜４４５ｎｍまたは５３０ｎｍ〜５５０ｎｍとは、ヘモグロビンに吸収されるという特性及び、それぞれ生体の表層部または深部まで到達するという特性から得られた数字である。ただし、この場合の波長帯域はこれに限定されず、例えばヘモグロビンによる吸収と生体の表層部又は深部への到達に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。

また、本実施形態では、通常光画像および特殊光画像は生体内を写した生体内画像であり、その生体内画像に含まれる特定の波長帯域は、蛍光物質が発する蛍光の波長帯域であってもよい。例えば、特定の波長帯域は、４９０ｎｍ〜６２５ｎｍの波長帯域であってもよい。

これにより、ＡＦＩ（Auto Fluorescence Imaging）と呼ばれる蛍光観察が可能となる。この蛍光観察では、励起光（３９０ｎｍ〜４７０ｎｍ）を照射することで、コラーゲンなどの蛍光物質からの自家蛍光（intrinsic fluorescence。４９０ｎｍ〜６２５ｎｍ）を観察することができる。このような観察では病変を正常粘膜とは異なった色調で強調表示することができ、病変部の見落としを抑止すること等が可能になる。なお４９０ｎｍ〜６２５ｎｍとは、上述の励起光を照射した際、コラーゲン等の蛍光物質が発する自家蛍光の波長帯域を示したものである。ただし、この場合の波長帯域はこれに限定されず、例えば蛍光物質が発する蛍光の波長帯域に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。また、ヘモグロビンに吸収される波長帯域（５４０ｎｍ〜５６０ｎｍ）を同時に照射し、擬似カラー画像を生成してもよい。

また、本実施形態では、生体内画像に含まれる特定の波長帯域は、赤外光の波長帯域であってもよい。例えば、特定の波長帯域は、７９０ｎｍ〜８２０ｎｍ、または９０５ｎｍ〜９７０ｎｍの波長帯域であってもよい。

これにより、ＩＲＩ（Infra Red Imaging）と呼ばれる赤外光観察が可能となる。この赤外光観察では、赤外光が吸収されやすい赤外指標薬剤であるＩＣＧ（インドシアニングリーン）を静脈注射した上で、上記波長帯域の赤外光を照射することで、人間の目では視認が難しい粘膜深部の血管や血流情報を強調表示することができ、胃癌の深達度診断や治療方針の判定などが可能になる。なお、７９０ｎｍ〜８２０ｎｍという数字は赤外指標薬剤の吸収がもっとも強いという特性から求められ、９０５ｎｍ〜９７０ｎｍという数字は赤外指標薬剤の吸収がもっとも弱いという特性から求められたものである。ただし、この場合の波長帯域はこれに限定されず、例えば赤外指標薬剤の吸収に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。

また、本実施形態では、取得された通常光画像に基づいて、特殊光画像を生成する特殊光画像取得部を含んでもよい。例えば、図１０に示す第２画像取得部２３５が図示しない特殊光画像取得部を含み、第２画像取得部２３５が通常光画像を取得し、特殊光画像取得部がその通常光画像から特殊光画像を生成してもよい。この場合、特殊光撮像素子２２６、Ａ／Ｄ変換部２３１ｂは、省略される。なお、本実施形態では、第１画像取得部２３３が図示しない特殊光画像取得部を含んでもよい。

具体的には、特殊光画像取得部は、取得された通常光画像から、白色の波長帯域における信号を抽出する信号抽出部を含む。そして、特殊光画像取得部は、抽出された白色光の波長帯域における信号に基づいて、特定の波長帯域における信号を含む特殊光画像を生成してもよい。例えば、信号抽出部は、通常光画像のＲＧＢ信号から１０ｎｍ刻みに被写体の分光反射率特性を推定し、特殊光画像取得部は、その推定された信号成分を上記特定の帯域で積算して特殊光画像を生成する。

より具体的には、特殊光画像取得部は、白色光の波長帯域における信号から、特定の波長帯域における信号を算出するためのマトリクスデータを設定するマトリクスデータ設定部を含んでもよい。そして、特殊光画像取得部は、設定されたマトリクスデータを用いて、白色の波長帯域における信号から特定の波長帯域における信号を算出して、特殊光画像を生成してもよい。例えば、マトリクスデータ設定部は、特定の波長帯域の照射光の分光特性が１０ｎｍ刻みに記述されたテーブルデータをマトリクスデータとして設定する。そして、このテーブルデータに記述された分光特性（係数）を、１０ｎｍ刻みに推定された被写体の分光反射率特性に乗算して積算し、特殊光画像を生成する。

これにより、通常光画像に基づいて特殊光画像を生成することができるため、通常光（白色光）を照射する１つの光源と、通常光を撮像する１つの撮像素子のみでもシステムを実現することが可能になる。そのため、カプセル型内視鏡や、スコープ型内視鏡の挿入部を小さくすることができ、また部品が少なくてすむためコストを下げる効果も期待できる。

また、本実施形態では、図１０に示すように、第２内視鏡装置２００は、第２画像側注目領域に関する情報（例えば尤度）が対応付けられた第２画像（第２通常光画像）を表示する表示部２４０を含む。具体的には、表示部２４０は、第２画像側注目領域に関する情報が重畳された（例えば尤度に応じた色に画素値が変換された）第２画像を表示する。

このようにすれば、第２画像側注目領域が表示部に表示されることで、注目領域の存在をユーザに対して警告できる。

７．第１内視鏡装置の第２の構成例
さて、上記実施形態では、第１内視鏡装置がカプセル型内視鏡である場合について説明したが、本実施形態では、第１内視鏡装置がスコープ型内視鏡であってもよい。すなわち、上記実施形態では、例えばカプセル型内視鏡による検査で異常所見があり、スコープ型内視鏡により再度精密検査を受ける場合を想定している。一方、本実施形態では、集団検診や人間ドックなどスコープ型内視鏡を用いた検査で要精密検査と判定され、再度スコープ型内視鏡による検査を受ける場合に適用されてもよい。

図１９に、この場合の第１内視鏡装置の第２の構成例を示す。この第１内視鏡装置は、光源部３１０、挿入部３２０、第１画像処理部３３０、表示部３４０、外部Ｉ／Ｆ部３５０を含む。なお、第２内視鏡装置２００は、上記実施形態と同様に構成できる。また、第１画像処理部３３０以外の構成要素は、図１０に示す第２内視鏡装置２００の光源部２１０、挿入部２２０、表示部２４０、外部Ｉ／Ｆ部２５０と同様に構成できる。

第１画像処理部３３０は、Ａ／Ｄ変換部３３１ａ，３３１ｂ、第１制御部３３２、第１画像取得部３３３、第１画像記録部３３４を含む。そして、Ａ／Ｄ変換部３３１ａ，３３１ｂは、第１画像取得部３３３に接続されている。第１制御部３３２は、第１画像取得部３３３と、第１画像記録部３３４に双方向に接続されており、これらを制御する。第１画像取得部３３３は、第１画像記録部３３４に接続されている。第１画像記録部３３４は、第２内視鏡装置２００に接続されている。

Ａ／Ｄ変換部３３１ａ，３３１ｂには、それぞれ白色光撮像素子３２５、特殊光撮像素子３２６からのアナログ画像信号が入力される。そして、Ａ／Ｄ変換３３１ａ，３３１ｂは、そのアナログ画像信号をデジタル画像信号に変換し、そのデジタル画像信号を第１画像取得部３３３に出力する。

第１画像取得部３３３は、入力されたデジタル画像信号に対して、例えば既知の画像処理により第１画像（第１白色光画像、第１特殊光画像）を生成し、その第１画像を第１画像記録部３３４に出力する。

第１画像記録部３３４は、入力された第１画像を１枚以上記録し、記録した第１画像を第２内視鏡装置２００に出力する。例えば、第１画像記録部３３４は、可搬情報記録媒体を介して第１画像を第２内視鏡装置２００に出力する。

８．部位別に基準特徴量を算出する場合の処理手法
上記実施形態では、複数の臓器を通過した一連の撮像画像全体から基準特徴量を算出する場合を例に説明したが、本実施形態では、臓器毎に基準特徴量を算出してもよい。

図２０に、この場合の基準特徴量算出部の第２の詳細な構成例を示す。この基準特徴量算出部２３４は、第１画像側注目領域検出部２３４１と、局所領域設定部２３４２と、基準算出部２３４３と、第１部位判別部２３４４を含む。そして、第１画像側注目領域検出部２３４１は、局所領域設定部２３４２に接続されている。局所領域設定部２３４２は、基準算出部２３４３に接続されている。第１部位判別部２３４４は、基準算出部２３４３に接続されている。基準算出部２３４３は、第２画像側注目領域検出部２３６に接続されている。

第１部位判別部２３４４には、第１画像取得部２３３からの第１画像が入力される。第１部位判別部２３４４は、例えば公知の生体部位判別技術（例えば、特開２００９−１４２５５２号公報）を利用して、第１画像がどの生体部位（消化管や組織の種別。例えば、胃や小腸、大腸等）を撮影したものかを判別する。第１部位判別部２３４４は、判別した生体部位情報（例えば、部位の種別）を基準算出部２３４３に出力する。

基準算出部２３４３は、第１画像取得部２３３からの第１画像と、局所領域設定部２３４２からの局所領域情報と、第１部位判別部２３４４からの生体部位情報に基づいて、生体部位毎の基準特徴量を算出する。基準算出部２３４３は、算出した生体部位毎の基準特徴量を、第２画像側注目領域検出部２３６に出力する。

なお、第１画像側注目領域検出部２３４１と局所領域設定部２３４２は、図１２等に示す第１画像側注目領域検出部２３４１と局所領域設定部２３４２と同様に構成される。

図２１に、第２画像側注目領域検出部２３６の第２の詳細な構成例を示す。この第２画像側注目領域検出部２３６は、尤度算出部２３６１と、表示態様設定部２３６２と、第２部位判別部２３６３を含む。そして、第２部位判別部２３６３は、尤度算出部２３６１に接続されている。尤度算出部２３６１は、表示態様設定部２３６２に接続されている。表示態様設定部２３６２は、表示部２４０に接続されている。

第２部位判別部２３６３には、第２画像取得部２３５からの第２画像が入力される。第２部位判別部２３６３は、公知の生体部位判別技術を利用して、第２画像がどの生体部位を撮影したものかを判別する。第２部位判別部２３６３は、判別した生体部位情報（例えば、部位の種別）を、尤度算出部２３６１に出力する。

尤度算出部２３６１は、第２画像取得部２３５からの第２画像と、基準特徴量算出部２３４からの生体部位毎の基準特徴量と、第２部位判別部２３６３からの生体部位情報に基づいて、第２画像の各画素の尤度を算出する。尤度算出部２３６１は、算出した尤度を表示態様設定部２３６２に出力する。

なお、表示態様設定部２３６２は、図１７等に示す表示態様設定部２３６２と同様に構成される。また、基準特徴量算出部２３４と第２画像側注目領域検出部２３６以外の構成要素は、上述の実施形態と同様に構成される。

９．第１内視鏡装置が基準特徴量を算出する場合の処理手法
上記実施形態では、第２内視鏡装置２００が基準特徴量を算出する場合について説明したが、本実施形態では、第１内視鏡装置１００が基準特徴量を算出してもよい。

図２２に、この場合の第１画像処理部１８０の第２の詳細な構成例を示す。この第１画像処理部１８０は、第１画像生成部１８１と、第１画像記録部１８２と、基準特徴量算出部１８３を含む。そして、第１画像生成部１８１は、第１画像記録部１８２に接続されている。第１画像記録部１８２は、基準特徴量算出部１８３に接続されている。基準特徴量算出部１８３は、第２画像処理部２３０に接続されている。

第１画像生成部１８１には、データ受信部１７０により受信されたデジタル画像信号と制御信号が入力される。第１画像生成部１８１は、デジタル画像信号と制御信号を画像処理して第１画像を生成し、その第１画像を第１画像記録部１８２に出力する。

第１画像記録部１８２は、第１画像記録部１８２からの第１画像を１枚以上記録し、記録した第１画像を基準特徴量算出部１８３に出力する。

基準特徴量算出部１８３は、第１画像記録部１８２からの１枚以上の第１画像から基準特徴量を算出し、その基準特徴量を第２画像処理部２３０に出力する。例えば、基準特徴量算出部１８３は、図１２に示す基準特徴量算出部２３４と同様に構成される。

図２３に、第２画像処理部の第２の詳細な構成例を示す。この第２画像処理部２３０は、Ａ／Ｄ変換部２３１ａ，２３１ｂと、第２制御部２３２と、第２画像取得部２３５と、第２画像側注目領域検出部２３６と、基準特徴量取得部２３７を含む。そして、Ａ／Ｄ変換部２３１ａ，２３１ｂは、第２画像取得部２３５に接続されている。第２画像取得部２３５は、第２画像側注目領域検出部２３６に接続されている。基準特徴量取得部２３７は、第２画像側注目領域検出部２３６に接続されている。第２画像側注目領域検出部２３６は、表示部２４０に接続されている。第２制御部２３２は、光源部２１０と、第２画像取得部２３５と、第２画像側注目領域検出部２３６と、表示部２４０と、外部Ｉ／Ｆ部２５０と双方向に接続されており、これらを制御する。

第２画像取得部２３５は、Ａ／Ｄ変換部２３１ａ，２３１ｂから出力されるデジタル画像信号に対して画像処理を行って第２画像を生成し、その第２画像を第２画像側注目領域検出部２３６に出力する。

基準特徴量取得部２３７は、第１画像処理部１８０により算出された基準特徴量を取得する。

第２画像側注目領域検出部２３６は、第２画像取得部２３５からの第２画像と、基準特徴量取得部２３７からの基準特徴量に基づいて、第２画像側注目領域を検出する。そして、第２画像側注目領域検出部２３６は、第２画像側注目領域を特定色に変換して出力画像を生成し、その出力画像を表示部２４０に出力する。

なお、Ａ／Ｄ変換部２３１ａ，２３１ｂは、図１０に示すＡ／Ｄ変換部２３１ａ，２３１ｂと同様である。また、第１画像処理部１８０と第２画像処理部２３０以外の構成要素は、上述の実施形態で説明した構成要素と同様に構成される。

さて、上記実施形態では、画像処理装置（第１画像処理部１８０、または第２画像処理部２３０）を構成する各部をハードウェアで構成することとしたが、本実施形態はこれに限定されず、ＣＰＵがプログラムを実行することによってソフトウェアとして実現してもよい。この場合、画像処理装置は、例えば図３３等で後述するコンピュータシステムにより実現される。

各部が行う処理の一部をソフトウェアで構成する場合の一例として、あらかじめ取得された画像に対して画像処理装置が行う処理をソフトウェアで実現する場合の処理手順を、図２４〜図２６に示すフローチャートを用いて説明する。例えば、あらかじめ取得された画像とは、Ａ／Ｄ変換部が出力するベイヤ配列の出力画像を、ＲＡＷファイルとして記録媒体に記録した画像である。

図２４に示すように、この処理が開始されると、基準特徴量を算出する処置を行い（ステップＳ１）、その基準特徴量を出力する（ステップＳ２）。次に、その基準特徴量を取得し（ステップＳ３）、第２画像を取得する（ステップＳ４）。次に、基準特徴量と第２画像を用いて第２画像側注目領域を検出する処理を行い（ステップＳ５）、出力画像を出力する（ステップＳ６）。処理対象の第２画像が残っている場合（ステップＳ７、Ｎｏ）、ステップＳ４〜Ｓ６を繰り返し、処理対象の第２画像が残っていない場合（ステップＳ７、Ｙｅｓ）、処理を終了する。

例えば、上記フローチャートのステップＳ１，Ｓ２は、第１画像処理部１８０により行われ、ステップＳ３〜Ｓ７は、第２画像処理部２３０により行われる。あるいは、第２内視鏡装置２００が基準特徴量を算出する場合には、ステップＳ１〜Ｓ７は、第２画像処理部２３０により行われる。

図２５に、上述の基準特徴量算出処理（ステップＳ１）の詳細なフローチャートを示す。この処理が開始されると、第１画像を取得し（ステップＳ１０）、その第１画像に対応する生体部位を判別する処理を行う（ステップＳ１１）。次に、第１画像から第１画像側注目領域を検出する処理を行い（ステップＳ１２）、その第１画像側注目領域に局所領域を設定する処理を行う（ステップＳ１３）。次に、各生体部位に対応する基準特徴量を算出する（ステップＳ１４）。処理対象の第１画像が残っている場合（ステップＳ１５、Ｎｏ）、ステップＳ１０〜Ｓ１４を繰り返し、処理対象の第１画像が残っていない場合（ステップＳ１５、Ｙｅｓ）、処理を終了する。

図２６に、上述の第２画像側注目領域検出処理（ステップＳ５）の詳細なフローチャートを示す。この処理が開始されると、第２画像に対応する生体部位を判別する処理を行う（ステップＳ２０）。次に、その生体部位に対応する基準特徴量を用いて尤度を算出する処理を行い（ステップＳ２１）、その尤度に応じた表示態様を設定し、出力画像を出力する（ステップＳ２２）。

本実施形態によれば、画像処理装置（第１画像処理部１８０）は、第１画像内の画素の画素値に基づいて基準特徴量を算出する基準特徴量算出部１８３と、第１の撮像素子（撮像素子１３０）により得られた第１画像を取得する第１画像取得部（第１画像生成部１８１）と、を含む。そして、基準特徴量算出部１８３は、第１画像内の画素の画素値に基づいて、第１画像から第１画像側注目領域を検出する第１画像側注目領域検出部を有する。基準特徴量算出部１８３は、第１画像側注目領域内の画素の画素値に基づいて基準特徴量を算出する。

また、本実施形態では、画像処理装置（第２画像処理部２３０）は、第２画像を取得する第２画像取得部２３５と、基準特徴量を取得する基準特徴量取得部２３７と、基準特徴量と第２画像内の画素の画素値とに基づいて、第２画像から第２画像側注目領域を検出する第２画像側注目領域検出部２３６と、を含む。

このようにすれば、第１内視鏡装置１００から取得した基準特徴量に基づいて病変検出を行うことができる。これにより、第２内視鏡装置２００が第１画像を読み込む必要や、基準特徴量を求める必要がなくなり、処理負荷を軽減できる。

１０．正常領域ついての基準特徴量を算出する場合の処理手法
上記実施形態では、第１画像側注目領域の画素値に基づいて基準特徴量を算出する場合について説明したが、本実施形態では、第１画像側正常領域（第２領域）を検出し、その第１画像側正常領域の画素値に基づいて基準特徴量を算出してもよい。

図２７に、この場合の基準特徴量算出部の第３の詳細な構成例を示す。この基準特徴量算出部２３４は、第１画像側正常領域検出部２３４６（第２領域検出部）と、基準算出部２３４３を備えている。そして、第１画像側正常領域検出部２３４６は、基準算出部２３４３に接続されている。基準算出部２３４３は、第２画像側注目領域検出部２３６に接続されている。なお、基準特徴量算出部２３４と、第２画像側注目領域検出部２３６以外の構成要素は、図１０等で上述の構成要素と同様である。

第１画像側正常領域検出部２３４６には、第１画像取得部２３３からの第１画像が入力される。第１画像側正常領域検出部２３４６は、第１画像から第１画像側正常領域（正常粘膜部）を検出し、その第１画像側正常領域の情報（例えば領域内の画素の座標）を基準算出部２３４３に出力する。

基準算出部２３４３は、第１画像側正常領域内の画素値ｆ（ｘ，ｙ）から、下式（１８）、（１９）により基準特徴量ＡＶＥ２，ＳＴＤ２を算出し、その基準特徴量ＡＶＥ２，ＳＴＤ２を第２画像側注目領域検出部２３６に出力する。ここで、ＲＳは、第１画像側正常領域を表す。

第２画像側注目領域検出部２３６は、基準特徴量ＡＶＥ２，ＳＴＤ２と、第２画像の画素値ｇ（ｘ，ｙ）から、第２画像側注目領域を検出する。具体的には、第２画像側注目領域検出部２３６は、上述の実施形態と同様に、尤度算出部２３６１と、表示態様設定部２３６２を含む。例えば、尤度算出部２３６１は、下式（２０）により距離Ｄ（ｘ，ｙ）を算出する。距離Ｄ（ｘ，ｙ）は、画素値ｇ（ｘ，ｙ）から、第１画像側正常領域が構成するクラスタまでの、特徴量空間における距離である。

次に、尤度算出部２３６１は、下式（２１）により距離Ｄ（ｘ，ｙ）から尤度Ｌ’（ｘ，ｙ）を算出する。ここで、Ｇ（Ｄ（ｘ，ｙ），σ）は、上式（１７）に示すＧ（α，σ）にα＝Ｄ（ｘ，ｙ）を代入した関数である。

例えば、第２画像の信号数がｔである場合、σ^２には、自由度（ｔ−１）のχ二乗分布の上側５％の値が設定される。この場合、５％の確率でα^２＞σ^２を満たし、１≧Ｌ’（ｘ，ｙ）＞（１−ｅ^−０．５）を満たす。例えば、（１−ｅ^−０．５）を注目領域検出の閾値とすれば、ｇ（ｘ，ｙ）がＡＶＥから遠く、α^２＞σ^２を満たす画素が注目領域と判定される。

尤度算出部２３６１は、算出した尤度Ｌ’（ｘ，ｙ）を表示態様設定部２３６２に出力する。表示態様設定部２３６２は、上述の実施形態と同様に、尤度Ｌ’（ｘ，ｙ）に基づいて表示態様を設定する。

図２８に、第１画像側正常領域検出部２３４６の詳細な構成例を示す。この第１画像側正常領域検出部２３４６は、第１画像側正常領域候補検出部２３４６１と、第１画像側正常領域特定部２３４６２を含む。そして、第１画像側正常領域候補検出部２３４６１は、第１画像側正常領域特定部２３４６２に接続される。第１画像側正常領域特定部２３４６２は、基準算出部２３４３に接続される。

第１画像側正常領域候補検出部２３４６１には、第１画像取得部２３３からの第１画像が入力される。第１画像側正常領域候補検出部２３４６１は、第１画像のうちの第１画像側注目領域以外の領域を第１画像側正常領域候補として検出する。例えば、第１画像側正常領域候補検出部２３４６１は、第１画像から第１画像側注目領域を検出し、その第１画像側注目領域を第１画像から除外した領域を、第１画像側正常領域候補に設定する。

第１画像側正常領域特定部２３４６２は、第１画像側正常領域候補から第１画像側正常領域を特定する。これは、第１画像側正常領域候補には、第１画像側正常領域以外の領域（例えば泡領域）が含まれているためである。例えば、第１画像側正常領域特定部２３４６２は、泡領域を検出し、その泡領域を第１画像側正常領域候補から除外した領域を第１画像側正常領域に設定する。例えば、泡領域の検出は、エッジ強度を算出し、泡画像の特徴から予め設定された泡モデルとエッジ強度の相関値を求め、その相関値から泡領域を検出する手法（特開２００７−３１３１１９号公報）により行われる。

なお、上記実施形態では、第１画像側正常領域の画素値から基準特徴量を算出する場合について説明したが、本実施形態では、第１画像全体の画素値から基準特徴量を算出してもよい。この場合、基準特徴量算出部２３４は、下式（２２）、（２３）により基準特徴量ＡＶＥ２，ＳＴＤ２を算出する。ここで、ＲＡは、第１画像全体の領域を表す。

次に、画像処理装置（例えば第２画像処理部２３０）の各部が行う処理の一部をソフトウェアで構成する場合の一例として、画像処理装置が行う処理をソフトウェアで実現する場合の処理手順を、フローチャートを用いて説明する。

図２９に、基準特徴量算出処理のフローチャートを示す。この処理が開始されると、第１画像を取得する（ステップＳ３０）。次に、第１画像から第１画像側正常領域候補を検出する処理を行い（ステップＳ３１）、第１画像側正常領域を特定する処理を行う（ステップＳ３２）。次に、第１画像側正常領域内の画素値から基準特徴量を算出する（ステップＳ３３）。処理対象の第１画像が残っている場合（ステップＳ３４、Ｎｏ）、ステップＳ３０〜Ｓ３３を繰り返し、処理対象の第１画像が残っていない場合（ステップＳ３４、Ｙｅｓ）、処理を終了する。なお、他の処理は、図２４等で上述の処理と同様である。

上記実施形態によれば、図２７に示すように、基準特徴量算出部２３４は、第１画像内の画素の画素値に基づいて、第１画像から第１画像側正常領域（正常粘膜部）を検出する第１画像側正常領域検出部２３４６を有する。そして、基準特徴量算出部２３４は、第１画像側正常領域内の画素の画素値ｆ（ｘ，ｙ）に基づいて、基準特徴量ＡＶＥ２，ＳＴＤ２を算出する。例えば、基準特徴量算出部２３４は、第１画像側正常領域内の画素の画素値ｆ（ｘ，ｙ）の平均値ＡＶＥ２を、基準特徴量として算出する。

このようにすれば、正常領域についての基準特徴量により患者の個人差に影響されない病変検出が可能になる。また、正常領域についての基準特徴量を用いることで、特徴量が異なる種々の病変部が混在する場合であっても、その種々の病変部を検出することが可能になる。これにより、検出精度を向上でき、医師が必要以上に注意深い観察を行う必要がなくなるため、内視鏡観察における医師の負担を軽減できる。

ここで、正常領域（第１画像側正常領域）とは、使用者にとって観察の優先順位が他の領域よりも相対的に低い領域であり、例えば、使用者が医者であり治療を希望した場合、異常粘膜部や病変部以外の正常粘膜部を写した領域を指す。また、他の例として、医者が観察したいと欲した対象が泡や便であれば、正常領域は、その泡部分や便部分以外を写した領域になる。逆に、このような優先順位が相対的に低い領域以外の領域に注目すれば、その領域は優先順位が相対的に高い領域と考えられるため、注目領域とみなすことができる。

また、上記実施形態では、第２画像側注目領域検出部２３６は、基準特徴量ＡＶＥ２，ＳＴＤ２と、第２画像内の画素の画素値ｇ（ｘ，ｙ）とに基づいて、第２画像側注目領域の注目度合いを表す尤度Ｌ’（ｘ，ｙ）を求める尤度算出部２３６１を有する。そして、尤度算出部２３６１は、画素値ｇ（ｘ，ｙ）が基準特徴量ＡＶＥ２，ＳＴＤ２から乖離しているほど、尤度Ｌ’（ｘ，ｙ）を大きくする。

このようにすれば、正常領域についての基準特徴量を用いて病変部を検出できる。すなわち、正常領域から乖離した特徴量を持つ画素の尤度を大きくすることで、尤度により病変らしさの度合いを表すことができる。

また、上記実施形態では、基準特徴量算出部２３４は、第１画像全体の画素の画素値に基づいて、正常度合いについての基準特徴量ＡＶＥ２，ＳＴＤ２を算出してもよい。

このようにすれば、正常領域であるか否かに依らず第１画像全体から基準特徴量を算出できる。病変部の画像上の面積は、それ以外の領域の面積と比べて小さいと考えられるため、第１画像全体から算出した基準特徴量は病変部の特徴量から乖離していると考えられる。そのため、第１画像全体から基準特徴量を正常領域の特徴量とみなすことができ、病変検出に用いることができる。これにより、第１画像側正常領域検出部を省略でき、処理コストを低減できる。一方、第１画像側正常領域検出部を用いた場合には、正常領域か否かを考慮したより高精度な病変検出が可能である。

なお、上記実施形態では、第２内視鏡装置２００が基準特徴量を求める場合について説明したが、本実施形態では、第１内視鏡装置１００が基準特徴量を求めてもよい。すなわち、画像処理装置（第１画像処理部１８０）が、正常度合いについての基準特徴量ＡＶＥ２，ＳＴＤ２を求める基準特徴量算出部２３４を含んでもよい。

１１．分光特性に応じた補正を行う場合の処理手法
さて、カプセル型内視鏡とスコープ型内視鏡で撮像部の分光特性が異なる場合がある。この場合、同じ被写体でも各内視鏡で色味が異なって見えるため、カプセル型内視鏡の撮像画像から求めた基準特徴量をそのままスコープ型内視鏡の撮像画像に適用して病変検出すると、検出精度が低下する可能性がある。そこで、本実施形態では、内視鏡の分光特性に基づいて撮像画像の画素値を補正し、その画素値から基準特徴量を算出する。

図３０に、この場合の基準特徴量算出部の第４の詳細な構成例を示す。この基準特徴量算出部２３４は、第１画像側注目領域検出部２３４１と、局所領域設定部２３４２と、基準算出部２３４３と、基準特徴量補正部２３４５を含む。そして、第１画像側注目領域検出部２３４１は、局所領域設定部２３４２に接続されている。局所領域設定部２３４２は、基準算出部２３４３に接続されている。基準特徴量補正部２３４５は、基準算出部２３４３に接続されている。基準算出部２３４３は、第２画像側注目領域検出部２３６に接続されている。なお、基準特徴量補正部２３４５以外の構成要素は、図１２等で上述した各構成要素と同様である。

基準特徴量補正部２３４５には、第１画像取得部２３３からの第１画像が入力される。基準特徴量補正部２３４５は、第１内視鏡装置１００と第２内視鏡装置２００の分光特性の違いに基づいて、第１画像の画素値を補正する。具体的には、基準特徴量補正部２３４５は、分光推定（例えば特開２０００−１１５５５３号公報の段落００５４〜００６５に記載の手法）を行って被写体の分光特性を推定する。そして、基準特徴量補正部２３４５は、あらかじめ計測された第１内視鏡装置１００と第２内視鏡装置２００の分光特性により第１画像の画素値を補正する。そして、基準算出部２３４３が、補正後の画素値から基準特徴量を算出する。

次に、第１画像の画素値を補正する手法について詳細に説明する。第１画像の画素値ｆ（ｘ，ｙ）と補正後の画素値ｆ’（ｘ，ｙ）は、下式（２４）、（２５）により表される。ここで、λは、光の波長を表し、Ｏ（λ，ｘ，ｙ）は、画像上の座標（ｘ，ｙ）における分光反射率特性を表す。また、Ｆ（λ）は、あらかじめ取得された第１内視鏡装置１００の色フィルタの分光透過特性を表し、Ｇ（λ）は、あらかじめ取得された第２内視鏡装置２００の色フィルタの分光透過特性を表す。

まず、基準特徴量補正部２３４５は、撮像された第１画像の画素値ｆ（ｘ，ｙ）に対して分光推定を行い、ｆ（ｘ，ｙ）の分光特性を求める。次に、基準特徴量補正部２３４５は、そのｆ（ｘ，ｙ）の分光特性と既知のＦ（λ）から、上式（２４）により分光反射率特性Ｏ（λ，ｘ，ｙ）を求める。例えば、基準特徴量補正部２３４５は、波長３８０ｎｍ〜７８０ｎｍまで１０ｎｍ刻みに被写体の分光反射率特性Ｏ（λ）を各画素について求め、その各画素の分光反射率特性Ｏ（λ）で構成される分光画像情報を取得する。そして、その分光反射率特性Ｏ（λ，ｘ，ｙ）と既知のＧ（λ）から、上式（２５）により補正後の画素値ｆ’（ｘ，ｙ）に変換する。

なお、第１画像の画素値から補正後の画素値への変換は、上式（２４）、（２５）を用いて行ってもよく、あらかじめ作成したルックアップテーブルを用いて行ってもよい。あるいは、色補正マトリクス（ＣＭＳマトリクス）を用いて行ってもよい。

次に、画像処理装置（例えば第２画像処理部２３０）の各部が行う処理の一部をソフトウェアで構成する場合の一例として、画像処理装置が行う処理をソフトウェアで実現する場合の処理手順を、フローチャートを用いて説明する。

図３１に、基準特徴量算出処理のフローチャートを示す。この処理が開始されると、第１画像を取得する（ステップＳ４０）。次に、第１画像から第１画像側注目領域を検出する処理を行い（ステップＳ４１）、その第１画像側注目領域に局所領域を設定する処理を行う（ステップＳ４２）。次に、第１画像の画素値を補正する処理を行い（ステップＳ４３）、その補正後の画素値から基準特徴量を算出する（ステップＳ４４）。処理対象の第１画像が残っている場合（ステップＳ４５、Ｎｏ）、ステップＳ４０〜Ｓ４４を繰り返し、処理対象の第１画像が残っていない場合（ステップＳ４５、Ｙｅｓ）、処理を終了する。なお、他の処理は、図２４等で上述の処理と同様である。

上記実施形態によれば、基準特徴量算出部２３４は、画素値補正部（基準特徴量補正部２３４５）を有する。画素値補正部は、第１の撮像素子（撮像素子１３０）が有する分光特性Ｆ（λ）と、第２の撮像素子（白色光撮像素子２２５、または特殊光撮像素子２２６）が有する分光特性Ｇ（λ）とに基づいて、第１画像内の画素の画素値ｆ（ｘ，ｙ）を補正する。そして、基準特徴量算出部２３４は、補正された画素値ｆ’（ｘ，ｙ）に基づいて基準特徴量ＡＶＥ，ＳＴＤを求める。ここで、分光特性Ｆ（λ），Ｇ（λ）は、異なる分光特性である。

このようにすれば、カプセル内視鏡とスコープ型内視鏡の撮像特性の違いに基づいて第１画像の画素値（特徴量）が補正され、補正された画素値から基準特徴量が算出される。これにより、内視鏡の撮像特性の違いに応じて基準特徴量を補正し、その補正された基準特徴量により病変検出を行うことができる。内視鏡の撮像特性の違いが反映されることで検出精度を向上でき、医師は必要以上に注意深い観察を行う必要がなくなり、内視鏡観察における医師の負担を軽減できる。

１２．分光特性に応じた補正を行う場合の第２の処理手法
上記補正手法では、補正した第１画像の画素値から基準特徴量を算出したが、本実施形態では、第１画像の画素値を補正せずに基準特徴量を算出し、その基準特徴量を分光特性に応じて補正してもよい。

図３２に、この場合の基準特徴量算出部の第５の詳細な構成例を示す。この基準特徴量算出部２３４は、第１画像側注目領域検出部２３４１と、局所領域設定部２３４２と、基準算出部２３４３と、基準特徴量補正部２３４５を含む。そして、第１画像側注目領域検出部２３４１は、局所領域設定部２３４２に接続されている。局所領域設定部２３４２は、基準算出部２３４３に接続されている。基準算出部２３４３は、基準特徴量補正部２３４５に接続されている。基準特徴量補正部２３４５は、第２画像側注目領域検出部２３６に接続されている。なお、基準算出部２３４３と基準特徴量補正部２３４５以外の構成要素は、図１２等で上述した各構成要素と同様である。

基準算出部２３４３には、第１画像取得部２３３からの第１画像が入力される。基準算出部２３４３は、第１画像の画素値と、局所領域設定部２３４２からの局所領域に基づいて基準特徴量ＡＶＥ，ＳＴＤを算出し、その基準特徴量ＡＶＥ，ＳＴＤを基準特徴量補正部２３４５に出力する。

基準特徴量補正部２３４５は、あらかじめ取得された第１内視鏡装置１００と第２内視鏡装置２００の分光反射率特性に基づいて、基準特徴量ＡＶＥ，ＳＴＤを補正し、補正後の基準特徴量ＡＶＥ’、ＳＴＤ’を第２画像側注目領域検出部２３６に出力する。具体的には、基準特徴量補正部２３４５は、下式（２６）〜（２９）により基準特徴量ＡＶＥ，ＳＴＤを補正する。ここで、Ｆは、第１内視鏡装置１００の分光特性を表す行列であり、各行に各λにおける分光特性が配列され、各列に各色信号における分光特性が配列される。また、Ｇは、第２内視鏡装置２００の分光特性を表す行列であり、各行に各λにおける分光特性が配列され、各列に各色信号における分光特性が配列される。また、Ｆ^＋はＦの一般逆行列を表す。

上記実施形態によれば、基準特徴量算出部２３４は、基準特徴量補正部２３４５を有する。基準特徴量補正部２３４５は、第１の撮像素子（撮像素子１３０）が有する分光特性Ｆ（λ）と、第２の撮像素子（白色光撮像素子２２５、または特殊光撮像素子２２６）が有する分光特性Ｇ（λ）とに基づいて、基準特徴量ＡＶＥ，ＳＴＤを補正する。そして、第２画像側注目領域検出部２３６は、補正された基準特徴量ＡＶＥ’，ＳＴＤ’と、第２画像内の画素の画素値ｇ（ｘ，ｙ）とに基づいて、第２画像側注目領域を検出する。

このようにすれば、各内視鏡装置の分光特性に基づいて基準特徴量を直接補正できる。これにより、第１画像の全画素を分光推定して画素値を補正する必要がなくなり、処理負荷を軽減できる。

１３．ソフトウェア
上記実施形態では、画像処理装置（第１画像処理部１８０、または第２画像処理部２３０）を構成する各部をハードウェアで構成することとしたが、これに限定されるものではない。例えば、カプセル内視鏡などの撮像装置を用いて予め取得された画像に対して、ＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。

撮像部を別体とし、画像処理装置の各部が行う処理をソフトウェアとして実現する場合には、ワークステーションやパソコン等の公知のコンピュータシステムを画像処理装置として用いることができる。そして、画像処理装置の各部が行う処理を実現するためのプログラム（画像処理プログラム）を予め用意し、この画像処理プログラムをコンピュータシステムのＣＰＵが実行することによって実現できる。

図３３は、本変形例におけるコンピュータシステム６００の構成を示すシステム構成図であり、図３４は、このコンピュータシステム６００における本体部６１０の構成を示すブロック図である。図３３に示すように、コンピュータシステム６００は、本体部６１０と、本体部６１０からの指示によって表示画面６２１に画像等の情報を表示するためのディスプレイ６２０と、このコンピュータシステム６００に種々の情報を入力するためのキーボード６３０と、ディスプレイ６２０の表示画面６２１上の任意の位置を指定するためのマウス６４０とを備える。

また、このコンピュータシステム６００における本体部６１０は、図３４に示すように、ＣＰＵ６１１と、ＲＡＭ６１２と、ＲＯＭ６１３と、ハードディスクドライブ（ＨＤＤ）６１４と、ＣＤ−ＲＯＭ６６０を受け入れるＣＤ−ＲＯＭドライブ６１５と、ＵＳＢメモリ６７０を着脱可能に接続するＵＳＢポート６１６と、ディスプレイ６２０、キーボード６３０およびマウス６４０を接続するＩ／Ｏインターフェース６１７と、ローカルエリアネットワークまたは広域エリアネットワーク（ＬＡＮ／ＷＡＮ）Ｎ１に接続するためのＬＡＮインターフェース６１８を備える。

さらに、このコンピュータシステム６００には、インターネット等の公衆回線Ｎ３に接続するためのモデム６５０が接続されるとともに、ＬＡＮインターフェース６１８およびローカルエリアネットワークまたは広域エリアネットワークＮ１を介して、他のコンピュータシステムであるパソコン（ＰＣ）６８１、サーバ６８２、プリンタ６８３等が接続される。

そして、このコンピュータシステム６００は、所定の記録媒体に記録された画像処理プログラム（例えば図２４〜図２６）を参照して、後述する処理手順を実現するための画像処理プログラムを読み出して実行することで画像処理装置を実現する。ここで、所定の記録媒体とは、ＣＤ−ＲＯＭ６６０やＵＳＢメモリ６７０の他、ＭＯディスクやＤＶＤディスク、フレキシブルディスク（ＦＤ）、光磁気ディスク、ＩＣカード等を含む「可搬用の物理媒体」、コンピュータシステム６００の内外に備えられるＨＤＤ６１４やＲＡＭ６１２、ＲＯＭ６１３等の「固定用の物理媒体」、モデム６５０を介して接続される公衆回線Ｎ３や、他のコンピュータシステム（ＰＣ）６８１またはサーバ６８２が接続されるローカルエリアネットワークまたは広域エリアネットワークＮ１等のように、プログラムの送信に際して短期にプログラムを記憶する「通信媒体」等、コンピュータシステム６００によって読み取り可能な画像処理プログラムを記録するあらゆる記録媒体を含む。

すなわち、画像処理プログラムは、「可搬用の物理媒体」「固定用の物理媒体」「通信媒体」等の記録媒体にコンピュータ読み取り可能に記録されるものであり、コンピュータシステム６００は、このような記録媒体から画像処理プログラムを読み出して実行することで画像処理装置を実現する。なお、画像処理プログラムは、コンピュータシステム６００によって実行されることに限定されるものではなく、他のコンピュータシステム（ＰＣ）６８１またはサーバ６８２が画像処理プログラムを実行する場合や、これらが協働して画像処理プログラムを実行するような場合にも、本発明を同様に適用することができる。

このような本実施形態の画像処理プログラムによれば、例えばカプセル型内視鏡などのように、まず画像データを蓄積し、その後、蓄積された画像データに対してＰＣ等のコンピュータシステムでソフトウェア的に処理を行うことが可能になる。

また本実施形態は、本実施形態の各部（第１画像取得部、基準特徴量算出部、第２画像取得部、第２画像側注目領域検出部等）を実現するプログラムコードが記録されたコンピュータプログラムプロダクトにも適用できる。

またコンピュータプログラムプロダクトは、例えば、プログラムコードが記録された情報記憶媒体（ＤＶＤ等の光ディスク媒体、ハードディスク媒体、メモリ媒体等）、プログラムコードが記録されたコンピュータ、プログラムコードが記録されたインターネットシステム（例えば、サーバとクライアント端末を含むシステム）など、プログラムコードが組み込まれた情報記憶媒体、装置、機器或いはシステム等である。この場合に、本実施形態の各構成要素や各処理プロセスは各モジュールにより実装され、これらの実装されたモジュールにより構成されるプログラムコードは、コンピュータプログラムプロダクトに記録される。

以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。

また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語（第１内視鏡装置、第２内視鏡装置、通常光画像等）と共に記載された用語（カプセル型内視鏡、スコープ型内視鏡、白色光画像等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

１００ 第１内視鏡装置、１１０ 光源部、１１１ 白色光発光素子、
１１２ 特殊光発光素子、１２０ 対物レンズ、１３０ 撮像素子、
１４０ 第１制御部、１５０ Ａ／Ｄ変換部、１６０ 送信アンテナ、
１７０ データ受信部、１７１ 受信アンテナ、１７２ データ記録部、
１７３ データ伝送部、１８０ 第１画像処理部、１８１ 第１画像生成部、
１８２ 第１画像記録部、１８３ 基準特徴量算出部、
２００ 第２内視鏡装置、２１０ 光源部、２１１ 白色光源、２１２ 集光レンズ、
２２０ 挿入部、２２１ ライトガイドファイバ、２２２ 照明レンズ、
２２３ 対物レンズ、２２４ ハーフミラー、２２５ 白色光撮像素子、
２２６ 特殊光撮像素子、２３０ 第２画像処理部
２３１ａ，２３１ｂ Ａ／Ｄ変換部、２３２ 第２制御部、２３３ 第１画像取得部、
２３４ 基準特徴量算出部、２３５ 第２画像取得部、
２３６ 第２画像側注目領域検出部、２３７ 基準特徴量取得部、２４０ 表示部、
２５０ 外部Ｉ／Ｆ部、
３１０ 光源部、３１１ 白色光源、３１２ 集光レンズ、３２０ 挿入部、
３２１ ライトガイドファイバ、３２２ 照明レンズ、３２３ 対物レンズ、
３２４ ハーフミラー、３２５ 白色光撮像素子、３２６ 特殊光撮像素子、
３３０ 第１画像処理部、３３１ａ，３３１ｂ Ａ／Ｄ変換部、３３２ 第１制御部、
３３３ 第１画像取得部、３３４ 第１画像記録部、３４０ 表示部、
３５０ 外部Ｉ／Ｆ部、
６００ コンピュータシステム、６１０ 本体部、６１１ ＣＰＵ、６１２ ＲＡＭ、
６１３ ＲＯＭ、６１４ ＨＤＤ、６１５ ＣＤ−ＲＯＭドライブ、
６１６ ＵＳＢポート、６１７ Ｉ／Ｏインターフェース、
６１８ ＬＡＮインターフェース、６２０ ディスプレイ、６２１ 表示画面、
６３０ キーボード、６４０ マウス、６５０ モデム、６６０ ＣＤ−ＲＯＭ、
６７０ ＵＳＢメモリ、６８１ ＰＣ、６８２ サーバ、６８３ プリンタ、
２３４１ 第１画像側注目領域検出部、２３４２ 局所領域設定部、
２３４３ 基準算出部、２３４４ 第１部位判別部、２３４５ 基準特徴量補正部、
２３４６ 第１画像側正常領域検出部、２３５１ 白色光画像生成部、
２３５２ 特殊光画像生成部、２３５３ 白色光画像記録部、
２３５４ 特殊光画像記録部、２３６１ 尤度算出部、２３６２ 表示様態設定部、
２３６３ 第２部位判別部、２３４６１ 画像側正常領域候補検出部、
２３４６２ 画像側正常領域特定部、
Ｃ_ｉ 局所領域、ＡＲＥＡ（Ｃ_ｉ） 局所領域の面積、
Ｗ（ＡＲＥＡ（Ｃ_ｉ）） 重み付け係数、ＡＶＥ_ｉ，ＳＴＤ_ｉ 局所領域の特徴量、
ＡＶＥ，ＳＴＤ，ＡＶＥ２，ＳＴＤ２ 基準特徴量、Ｌ（ｘ，ｙ） 尤度、
σ 標準偏差、Ｌｔｈ 尤度の閾値、Ｔｈ１〜Ｔｈ３ 面積の閾値、
ｒ，ｇ，ｂ，ｍ，ｇ２，ｂ２ 色フィルタ、ｔ 信号数、
ｆ（ｘ，ｙ） 第１画像の画素値、Ｆ（λ，ｘ，ｙ） 第１内視鏡装置の分光特性、
ｇ（ｘ，ｙ） 第２画像の画素値、Ｇ（λ，ｘ，ｙ） 第２内視鏡装置の分光特性、
Ｏ（λ，ｘ，ｙ） 被写体の分光反射率特性、λ 光の波長、
Ｒ，Ｇ，Ｂ カラー信号、Ｈ 色相、Ｓ 彩度値、Ｖ 明度、
Ｎ１ 広域エリアネットワーク、Ｎ３ 公衆回線

Claims (50)

1. 第１の撮像素子により得られた第１画像を取得する第１画像取得部と、
   第２の撮像素子により得られた第２画像を取得する第２画像取得部と、
   前記第１画像内の画素の画素値に基づいて、第２画像側注目領域の検出基準となる基準特徴量を算出する基準特徴量算出部と、
   前記基準特徴量と、前記第２画像内の画素の画素値とに基づいて、前記第２画像から前記第２画像側注目領域を検出する第２画像側注目領域検出部と、
   を含むことを特徴とする画像処理装置。
2. 請求項１において、
   前記基準特徴量算出部は、
   前記第１画像内の画素の画素値に基づいて、前記第１画像から第１画像側注目領域を検出する第１画像側注目領域検出部を有し、
   前記基準特徴量算出部は、
   前記第１画像側注目領域内の画素の画素値に基づいて、前記基準特徴量を算出することを特徴とする画像処理装置。
3. 請求項２において、
   前記基準特徴量算出部は、
   前記第１画像側注目領域内の画素の画素値の平均値を、前記基準特徴量として算出することを特徴とする画像処理装置。
4. 請求項２において、
   前記第１画像取得部は、
   複数の第１画像を取得し、
   前記基準特徴量算出部は、
   前記複数の第１画像から検出された前記第１画像側注目領域内の画素の画素値に基づいて、前記基準特徴量を算出することを特徴とする画像処理装置。
5. 請求項２において、
   前記基準特徴量算出部は、
   前記第１画像側注目領域に対して複数の局所領域を設定する局所領域設定部を有し、
   前記基準特徴量算出部は、
   各局所領域内の画素の画素値に基づいて前記各局所領域における特徴量を求め、前記各局所領域における特徴量に基づいて前記基準特徴量を求めることを特徴とする画像処理装置。
6. 請求項５において、
   前記基準特徴量算出部は、
   前記各局所領域内の画素の画素値の平均値を前記各局所領域における特徴量として求め、前記複数の局所領域の前記特徴量を重み付け加算して前記基準特徴量を求めることを特徴とする画像処理装置。
7. 請求項６において、
   前記基準特徴量算出部は、
   前記各局所領域の面積に応じた重み付け係数により前記重み付け加算を行うことを特徴とする画像処理装置。
8. 請求項５において、
   前記局所領域設定部は、
   前記第１画像側注目領域に含まれる画素のうち隣接する画素群を局所領域として設定することを特徴とする画像処理装置。
9. 請求項１において、
   前記第２画像側注目領域検出部は、
   前記基準特徴量と、前記第２画像内の画素の画素値とに基づいて、前記第２画像側注目領域の注目度合いを表す尤度を求める尤度算出部を有することを特徴とする画像処理装置。
10. 請求項２において、
    前記第２画像側注目領域検出部は、
    前記基準特徴量と、前記第２画像内の画素の画素値とに基づいて、前記第２画像側注目領域の注目度合いを表す尤度を求める尤度算出部を有し、
    前記尤度算出部は、
    前記第２画像内の画素の画素値が前記基準特徴量に近いほど、前記画素に対応する前記尤度を大きくすることを特徴とする画像処理装置。
11. 請求項９において、
    前記第２画像側注目領域検出部は、
    前記尤度に基づいて、前記第２画像側注目領域を表示する制御を行う表示態様設定部を有することを特徴とする画像処理装置。
12. 請求項１１において、
    前記表示態様設定部は、
    前記尤度の大きさに応じて前記第２画像側注目領域を強調処理し、強調処理された前記第２画像側注目領域を表示する制御を行うことを特徴とする画像処理装置。
13. 請求項１２において、
    前記表示態様設定部は、
    前記尤度が所定の閾値より大きい場合に、前記尤度の大きさに応じて前記第２画像側注目領域内の画素の色を変更する処理を、前記強調処理として行うことを特徴とする画像処理装置。
14. 請求項１において、
    前記基準特徴量算出部は、
    前記第１画像内の画素の画素値に基づいて、前記第１画像から第１画像側正常領域を検出する第１画像側正常領域検出部を有し、
    前記基準特徴量算出部は、
    前記第１画像側正常領域内の画素の画素値に基づいて、前記基準特徴量を算出することを特徴とする画像処理装置。
15. 請求項１４において、
    前記第２画像側注目領域検出部は、
    前記基準特徴量と、前記第２画像内の画素の画素値とに基づいて、前記第２画像側注目領域の注目度合いを表す尤度を求める尤度算出部を有し、
    前記尤度算出部は、
    前記第２画像内の画素の画素値が前記基準特徴量から乖離しているほど、前記画素に対応する前記尤度を大きくすることを特徴とする画像処理装置。
16. 請求項１４において、
    前記基準特徴量算出部は、
    前記第１画像側正常領域内の画素の画素値の平均値を、前記基準特徴量として算出することを特徴とする画像処理装置。
17. 請求項１において、
    前記基準特徴量算出部は、
    前記第１画像全体の画素の画素値に基づいて、正常度合いについての前記基準特徴量を算出することを特徴とする画像処理装置。
18. 請求項１７において、
    前記第２画像側注目領域検出部は、
    前記基準特徴量と、前記第２画像内の画素の画素値とに基づいて、前記第２画像側注目領域の注目度合いを表す尤度を求める尤度算出部を有し、
    前記尤度算出部は、
    前記第２画像内の画素の画素値が前記基準特徴量から乖離しているほど、前記画素に対応する前記尤度を大きくすることを特徴とする画像処理装置。
19. 請求項１７において、
    前記基準特徴量算出部は、
    前記第１画像全体の画素の画素値の平均値を、前記基準特徴量として算出することを特徴とする画像処理装置。
20. 請求項１において、
    前記基準特徴量算出部は、
    前記第１の撮像素子が有する分光特性と、前記第２の撮像素子が有する分光特性とに基づいて、前記第１画像内の画素の画素値を補正する画素値補正部を有し、
    前記基準特徴量算出部は、
    前記補正された画素値に基づいて前記基準特徴量を求めることを特徴とする画像処理装置。
21. 請求項２０において、
    前記補正に用いられる前記第１の撮像素子が有する分光特性と前記第２の撮像素子が有する分光特性は、異なる分光特性であることを特徴とする画像処理装置。
22. 請求項１において、
    前記基準特徴量算出部は、
    前記第１の撮像素子が有する分光特性と、前記第２の撮像素子が有する分光特性とに基づいて、前記基準特徴量を補正する基準特徴量補正部を有し、
    前記第２画像側注目領域検出部は、
    前記補正された基準特徴量と、前記第２画像内の画素の画素値とに基づいて、前記第２画像側注目領域を検出することを特徴とする画像処理装置。
23. 請求項１において、
    前記第１の撮像素子は、
    カプセル型内視鏡装置に含まれる撮像素子であり、
    前記第２の撮像素子は、
    スコープ型内視鏡装置に含まれる撮像素子であることを特徴とする画像処理装置。
24. 請求項１において、
    前記基準特徴量は、
    前記第１画像内の画素の原色画素値または補色画素値に関する特徴量であることを特徴とする画像処理装置。
25. 請求項１において、
    前記基準特徴量は、
    前記第１画像内の画素の色相値または彩度値または明度値に関する特徴量であることを特徴とする画像処理装置。
26. 請求項１において、
    前記第２画像側注目領域は、
    病変部を表す領域であることを特徴とする画像処理装置。
27. 請求項２において、
    前記第１画像側注目領域は、
    病変部を表す領域であることを特徴とする画像処理装置。
28. 請求項１４において、
    前記第１画像側正常領域は、
    正常粘膜部を表す領域であることを特徴とする画像処理装置。
29. 請求項１において、
    前記第１画像取得部は、
    白色の波長帯域における情報を有した被写体像を含む通常光画像である第１通常光画像及び、前記第１通常光画像に対応する、特定の波長帯域における情報を有した被写体像を含む特殊光画像である第１特殊光画像の少なくとも一方の画像を、前記第１画像として取得し、
    前記第２画像取得部は、
    前記通常光画像である第２通常光画像及び、前記第２通常光画像に対応する、前記特殊光画像である第２特殊光画像の少なくとも一方の画像を、前記第２画像として取得することを特徴とする画像処理装置。
30. 請求項２９において、
    前記第１画像取得部は、
    前記第１通常光画像及び前記第１特殊光画像を、前記第１画像として取得し、
    前記第２画像取得部は、
    前記第２通常光画像及び前記第２特殊光画像を、前記第２画像として取得することを特徴とする画像処理装置。
31. 請求項２９において、
    前記特定の波長帯域は、
    前記白色の波長帯域よりも狭い帯域であることを特徴とする画像処理装置。
32. 請求項３１において、
    前記通常光画像および前記特殊光画像は生体内を写した生体内画像であり、
    前記生体内画像に含まれる前記特定の波長帯域は、血液中のヘモグロビンに吸収される波長の波長帯域であることを特徴とする画像処理装置。
33. 請求項３２において、
    前記特定の波長帯域は、３９０ｎｍ〜４４５ｎｍ、または５３０ｎｍ〜５５０ｎｍであることを特徴とする画像処理装置。
34. 請求項２９において、
    前記通常光画像および前記特殊光画像は生体内を写した生体内画像であり、
    前記生体内画像に含まれる前記特定の波長帯域は、蛍光物質が発する蛍光の波長帯域であることを特徴とする画像処理装置。
35. 請求項３４において、
    前記特定の波長帯域は、４９０ｎｍ〜６２５ｎｍの波長帯域であることを特徴とする画像処理装置。
36. 請求項２９において、
    前記通常光画像および前記特殊光画像は生体内を写した生体内画像であり、
    前記生体内画像に含まれる前記特定の波長帯域は、赤外光の波長帯域であることを特徴とする画像処理装置。
37. 請求項３６において、
    前記特定の波長帯域は、７９０ｎｍ〜８２０ｎｍ、または９０５ｎｍ〜９７０ｎｍの波長帯域であることを特徴とする画像処理装置。
38. 請求項２９において、
    前記第２画像取得部は、
    前記通常光画像に基づいて、前記特殊光画像を取得する特殊光画像取得部を有することを特徴とする画像処理装置。
39. 請求項３８において、
    前記特殊光画像取得部は、
    取得された前記通常光画像から、前記白色の波長帯域における信号を抽出する信号抽出部を有し、
    前記特殊光画像取得部は、
    抽出された前記白色の波長帯域における信号に基づいて、前記特定の波長帯域における信号を含む前記特殊光画像を生成することを特徴とする画像処理装置。
40. 請求項３９において、
    前記特殊光画像取得部は、
    前記白色の波長帯域における信号から、前記特定の波長帯域における信号を算出するためのマトリクスデータを設定するマトリクスデータ設定部を有し、
    前記特殊光画像取得部は、
    設定された前記マトリクスデータを用いて、前記白色の波長帯域における信号から前記特定の波長帯域における信号を算出して、前記特殊光画像を生成することを特徴とする画像処理装置。
41. 第１内視鏡装置により得られた第１画像を取得する第１画像取得部と、
    第２内視鏡装置により得られた第２画像を取得する第２画像取得部と、
    前記第１画像内の画素の画素値に基づいて、第２画像側注目領域の検出基準となる基準特徴量を算出する基準特徴量算出部と、
    前記基準特徴量と、前記第２画像内の画素の画素値とに基づいて、前記第２画像から前記第２画像側注目領域を検出する第２画像側注目領域検出部と、
    を含むことを特徴とする画像処理装置。
42. 請求項１乃至４１のいずれかに記載の画像処理装置を含むことを特徴とする内視鏡装置。
43. 請求項４２において、
    前記第２画像側注目領域に関する情報が対応付けられた前記第２画像を表示する表示部を含むことを特徴とする内視鏡装置。
44. 請求項４３において、
    前記表示部は、
    前記第２画像側注目領域に関する情報が重畳された前記第２画像を表示することを特徴とする内視鏡装置。
45. 第１内視鏡装置と第２内視鏡装置を含む内視鏡システムであって、
    第１の撮像素子により得られた第１画像を取得する第１画像取得部と、
    第２の撮像素子により得られた第２画像を取得する第２画像取得部と、
    前記第１画像内の画素の画素値に基づいて、第２画像側注目領域の検出基準となる基準特徴量を算出する基準特徴量算出部と、
    前記基準特徴量と、前記第２画像内の画素の画素値とに基づいて、前記第２画像から前記第２画像側注目領域を検出する第２画像側注目領域検出部と、
    を含むことを特徴とする内視鏡システム。
46. 第１の撮像素子により得られた第１画像を取得する第１画像取得部と、
    第２の撮像素子により得られた第２画像を取得する第２画像取得部と、
    前記第１画像内の画素の画素値に基づいて、第２画像側注目領域の検出基準となる基準特徴量を算出する基準特徴量算出部と、
    前記基準特徴量と、前記第２画像内の画素の画素値とに基づいて、前記第２画像から前記第２画像側注目領域を検出する第２画像側注目領域検出部として、
    コンピュータを機能させることを特徴とするプログラム。
47. 第１の撮像素子により得られた第１画像を取得し、
    第２の撮像素子により得られた第２画像を取得し、
    前記第１画像内の画素の画素値に基づいて、第２画像側注目領域の検出基準となる基準特徴量を算出し、
    前記基準特徴量と、前記第２画像内の画素の画素値とに基づいて、前記第２画像から前記第２画像側注目領域を検出することを特徴とする画像処理方法。
48. 第２の撮像素子により得られた第２画像を取得する第２画像取得部と、
    第１の撮像素子により得られた第１画像内の画素の画素値に基づいて算出された、第２画像側注目領域の検出基準となる基準特徴量を取得する基準特徴量取得部と、
    前記基準特徴量と、前記第２画像内の画素の画素値とに基づいて、前記第２画像から前記第２画像側注目領域を検出する第２画像側注目領域検出部と、
    を含むことを特徴とする画像処理装置。
49. 第１の撮像素子により得られた第１画像を取得する第１画像取得部と、
    前記第１画像内の画素の画素値に基づいて、第２画像側注目領域の検出基準となる基準特徴量を算出する基準特徴量算出部と、
    を含み、
    前記基準特徴量算出部は、
    前記第１画像内の画素の画素値に基づいて、前記第１画像から第１画像側注目領域を検出する第１画像側注目領域検出部を有し、
    前記基準特徴量算出部は、
    前記第１画像側注目領域内の画素の画素値に基づいて、前記基準特徴量を算出することを特徴とする画像処理装置。
50. 第１の撮像素子により得られた第１画像を取得する第１画像取得部と、
    前記第１画像内の画素の画素値に基づいて、第２画像側注目領域の検出基準となる基準特徴量を算出する基準特徴量算出部と、
    を含み、
    前記基準特徴量算出部は、
    前記第１画像内の画素の画素値に基づいて、前記第１画像から第１画像側正常領域を検出する第１画像側正常領域検出部を有し、
    前記基準特徴量算出部は、
    前記第１画像側正常領域内の画素の画素値に基づいて、前記基準特徴量を算出することを特徴とする画像処理装置。

Images