JP5326064B2 - 画像処理装置 - Google Patents

Description

本発明は、診断等に利用し易いように医用画像に対して画像処理を行う画像処理装置に関する。

近年、医療分野において、内視鏡は検査、診断等を行うために広く用いられるようになっている。
また、患者体内における管腔内に内視鏡を挿入して、その内視鏡により撮像された医用画像に対して、コンピュータを用いた診断支援システムにより、術者が診断等により有効に利用し易いように、粘膜下の血管や、粘膜表面の微細構造のパターンを利用して画像処理する方法が提唱されている。
この場合、上記パターンを定量化することが必要となる。

例えば第１の従来例としての日本国特開２００５−３４２１１号公報においては、画像データから注目部分画像を抽出し、抽出された注目部分画像の単位画素群の各画素について濃度分布パターン記憶手段に記憶されている濃度分布パターンのいずれに類似するかを判定し、各濃度分布パターンが注目部分画像中に出現する出現頻度を各濃度分布パターン毎にカウントしてパターンヒストグラムを算出する。
そして、学習手段にパターンヒストグラムを繰り返し提示し、入力ノードと出力ノードとを結ぶ重みを学習させ、出力ノードと各入力ノードとを結ぶ学習された学習済重みベクトルを代表するパターンヒストグラムとして得る内容が開示されている。

第２の従来例としての日本国特開２００６−２３９２７０号公報においては、診断対象となる第１の胸部画像と第１の胸部画像の病変領域を判定するための基準となる第２の胸部画像との差分画像を取得し、差分画像上の肺野領域内に複数の関心領域ROIを設定する。
各関心領域ROIが間質性肺疾患であるか否かを表す疾患情報を取得して、間質性肺疾患であることを示す関心領域ROIが肺野領域内に現れる単位面積当りの頻度に応じて病変領域であるか否かを判定する内容が開示されている。

しかしながら、実際に得られる医用画像においては、様々な形状が連結した複雑なパターンを形成しているため、第１の従来例の場合においては、濃度分布パターンが多数必要になるとともに、画像処理量も増大する。また、適用しようとする対象画像に応じて濃度分布パターンを変更する等が必要になる。
また、第２の従来例においても、診断対象に応じて基準なる画像を変更することが必要になり、また得られる差分画像も診断対象の変更に伴って変化することが予想される。

このため、医用画像が複雑な構造又は形状のパターンを有し、その構造が変化した場合においても汎用性をもって適用でき、術者が診断する場合に参考とする定量化し易いデータを提供できるようにすることが望まれる。
つまり、複雑な構造又は形状のパターンの場合においても、基本形状（または原始形状）のパターンに分解（または対応付け）できるようにすれば、複雑な構造又は形状のパターンの場合においても、基本形状のパターンを用いて定量化したデータとして提供することが可能となり、診断する場合に有効利用し易いデータを提供できると考えられる。

本発明は上述した点に鑑みてなされたもので、複雑なパターンを形成する医用画像の場合においても、汎用性を有する複数の基本形状のパターンに対応付けでき、定量化し易くする画像処理装置を提供することを目的とする。

本発明による一態様の画像処理装置は、生体の粘膜表面を撮像して得られる複数の画素により構成される医用画像を入力する画像入力部と、前記医用画像における１つ以上の画素により構成される第１領域を設定する領域設定部と、前記領域設定部において設定された前記第１領域の輝度値と前記第1領域の周囲の領域の輝度値とに基づき、前記第１領域において線形状の特徴を有している程度をあらわす線状度合いと、前記第１領域において円形状の特徴を有している程度を表す円状度合いとを算出する特徴量算出部と、を有し、前記領域設定部は、さらに前記特徴量算出部において算出された前記線状度合いと前記円状度合いに基づいて前記第１領域の周辺部に１つ以上の画素により構成される第２領域を設定し、前記特徴量算出部は、さらに前記第２領域の輝度値に基づき、前記第２領域の線形状の特徴を有している程度を表す線状度合いと、前記円形状の特徴を有している程度を表す円状度合いとを算出し、前記特徴量算出部において算出された前記第１領域の線状度合いと円状度合いと、前記第２領域の線状度合いと円状度合いとの分布に基づき、前記第１領域を所定の形状に適用付ける基本形状適用部と、を有する。

図１は本発明の第１の実施形態の画像処理装置を備えた内視鏡システムの全体構成を示す図。 図２はＣＰＵにより構成される特徴量算出部等の処理機能を示すブロック図。 図３は本実施形態による処理手順を示すフローチャート。 図４は画像入力部を介して入力される医用画像を示す図。 図５は医用画像に対して注目画素を順次設定して特徴量の算出等を行う様子を示す動作説明図。 図６は特徴量算出部により各画素毎に特徴量を抽出した様子を示す図。 図７は図４の画像に対して抽出された構造領域を示す図。 図８は基本形状毎に分割した画像を示す図。 図９は本発明の第２の実施形態における処理手順を示すフローチャート。 図１０は第１領域を形成する第１画素が円状度合いの大きい特徴量の場合に、その周辺部に設定される第２領域の例を示す図。 図１１は第１領域を形成する第１画素が線状度合いの大きい特徴量の場合に、その周辺部に設定される第２領域の例を示す図。 図１２は第１の領域を形成する第１画素の周辺部に第２領域を選択的に設定し、それらの特徴量に基づいて第１画素に対して基本形状を対応付ける動作の説明図。 図１２における第１画素の代わりに第１領域を選択的に設定して、それらの特徴量に基づいて第１領域に対して基本形状を対応付ける動作の説明図。 図１４は分岐のために投票を適用した場合の動作の説明図。 図１５は図１０等とは異なる形状の第２領域の設定例を示す図。 図１６は候補領域からその特徴量に基づいて第２領域を設定する動作の説明図。 図１７は候補領域からその特徴量と第１画素の特徴量とに基づいて第２領域を設定する動作の説明図。 図１８は第２の実施形態の変形例におけるＣＰＵの処理機能の構成を示すブロック図。 図１９は第１領域と第２領域との少なくとも一方の特徴量を変えて第２領域を選択的に設定する処理手順の１例を示すフローチャート。 図２０は図１９の動作の説明図。

以下、図面を参照して本発明の実施形態を説明する。
（第１の実施形態）
図１に示す内視鏡システム１は、内視鏡観察装置２と、この内視鏡観察装置２により得られた医用画像としての内視鏡画像に対して画像処理を行うパーソナルコンピュータ等により構成される本実施形態の内視鏡画像処理装置（以下、単に画像処理装置と略記）３と、この画像処理装置３により画像処理された画像を表示する表示モニタ４とから構成される。
内視鏡観察装置２は、体腔内に挿入される内視鏡６と、この内視鏡６に照明光を供給する光源装置７と、内視鏡６の撮像手段に対する信号処理を行うカメラコントロールユニット（ＣＣＵと略記）８と、このＣＣＵ８から出力される映像信号が入力されることにより、撮像素子で撮影した内視鏡画像を表示するモニタ９とを有する。

内視鏡６は、体腔内に挿入される挿入部１１と、この挿入部１１の後端に設けられた操作部１２とを有する。また、挿入部１１内には照明光を伝送するライトガイド１３が挿通されている。
このライドガイド１３の後端は、光源装置７に接続される。そして、この光源装置７から供給される照明光をライトガイド１３により転送し、挿入部１１の先端部１４に設けた照明窓に取り付けられた先端面から（伝送した照明光を）出射し、患部等の被写体を照明する。
照明窓に隣接する観察窓に取り付けた対物レンズ１５と、この対物レンズ１５の結像位置に配置された固体撮像素子としての例えば電荷結合素子（ＣＣＤと略記）１６とによる撮像装置１７が設けてある。そして、このＣＣＤ１６の撮像面に結蔵された光学像は、このＣＣＤ１６により光電変換される。

このＣＣＤ１６は、信号線を介してＣＣＵ８と接続され、このＣＣＵ８からＣＣＤ駆動信号が印加されることにより、ＣＣＤ１６は光電変換した画像信号を出力する。この画像信号は、ＣＣＵ８内の映像処理回路により信号処理され、映像信号に変換される。この映像信号はモニタ９に出力され、モニタ９の表示面には、内視鏡画像が表示される。この映像信号は、画像処理装置３にも入力される。
この画像処理装置３は、内視鏡観察装置２から入力される内視鏡画像（以下、単に画像と略記）に対応する映像信号を入力する画像入力部２１と、この画像入力部２１から入力された画像データに対する画像処理を行う中央演算処理装置としてのＣＰＵ２２と、このＣＰＵ２２により画像処理を実行させる処理プログラム（制御プログラム）を記憶する処理プログラム記憶部２３とを有する。

また、この画像処理装置３は、画像入力部２１から入力される画像データ等を記憶する画像記憶部２４と、ＣＰＵ２２により処理された情報等を記憶する情報記憶部２５と、ＣＰＵ２２により処理された画像データ及び情報等を記憶装置インターフェース２６を介して記憶する記憶装置としてのハードディスク２７と、ＣＰＵ２２により処理された画像データ等を表示するための表示処理を行う表示処理部２８と、ユーザが画像処理のパラメータ等のデータ入力や指示操作を行うキーボード等からなる入力操作部２９とを有する。
そして、この表示処理部２８により生成された映像信号は、表示モニタ４に表示され、この表示モニタ４の表示面には画像処理された処理画像が表示される。

なお、画像入力部２１、ＣＰＵ２２、処理プログラム記憶部２３、画像記憶部２４、情報記憶部２５、記憶装置インターフェース２６、表示処理部２８、入力操作部２９は、データバス３０を介して互いに接続されている。
図２は、本実施形態におけるＣＰＵ２２により構成される主要な処理機能を示す。図２に示すようにＣＰＵ２２は、画像入力部２１から入力された医用画像における各画素または各領域に対して、所定の特徴量を算出する特徴量算出部３１の処理機能と、前記医用画像から所望の構造物を構造領域として抽出する構造領域抽出部３２の処理機能と、を備える。

上記特徴量算出部３１は、所定の特徴量として、処理対象の画素又は領域から局所的な変化の方向に関する第１の特徴量を算出する第１の特徴量算出部３１ａと、局所的な変化の大きさに関する第２の特徴量を算出する第２の特徴量算出部３１ｂと、局所的な形状に関する第３の特徴量を算出する第３の特徴量算出部３１ｃと、を有する。
また、このＣＰＵ２２は、特徴量算出部３１により算出された特徴量に基づいて前記構造領域内の各画素又は各領域に対して複数からなる所定の基本形状への対応付けを適用する基本形状適用部３３の処理機能と、この基本形状適用部３３の適用結果に基づいて前記構造物を前記所定の基本形状ごとに領域分割する構造物領域分割部３４の処理機能と、を備える。
なお、このＣＰＵ２２は、後述する第２の実施形態において説明するように、１以上の第１画素で構成される第１領域及びこの第１領域の周辺部における１以上の画素で構成される第２領域を選択的に設定する領域設定部（又は領域選択部）３５の処理機能を有する（図２において点線で示す）。特徴量算出部３１、構造領域抽出部３２、基本形状適用部３３、構造物領域分割部３４及び領域設定部３５をＣＰＵ２２により構成する場合に限定されるものでなく、専用の電子回路等をハードウェアを用いて構成しても良い。なお、後述する図１８のＣＰＵ２２等の場合にも、ＣＰＵ２２により実現した機能を専用の電子回路等を用いて構成しても良い。

このような構成の本実施形態の画像処理装置３は、生体の粘膜表面を撮像した医用画像を入力する画像入力手段としての画像入力部２１と、前記医用画像における各画素または各領域に対して、所定の特徴量を算出する特徴量算出手段としての特徴量算出部３１と、撮像された前記医用画像から所望の構造物を構造領域として抽出する構造領域抽出手段としての構造領域抽出部３２と、前記特徴量算出手段により算出された特徴量に基づいて前記構造領域内の各画素又は各領域に対して複数からなる所定の基本形状への対応付けを適用する基本形状適用手段としての基本形状適用部３３と、前記基本形状適用手段の適用結果に基づいて前記構造物を前記所定の基本形状ごとに領域分割する構造物領域分割手段としての構造物領域分割部３４と、を備えることを特徴とする。

次に図３に示す本実施形態における処理手順を参照して、本実施形態の作用を説明する。画像処理装置３が動作開始すると、最初のステップＳ１において画像入力部２１を経て内視鏡観察装置２側から画像処理装置３内に処理対象となる画像を入力する。入力された画像は、例えば画像記憶部２４に格納される。
図４（Ａ）は、画像処理装置３に入力される画像の一部を示す。また、図４（Ｂ）は、図４（Ａ）における一部の画像領域を拡大して示す。
ステップＳ２においてＣＰＵ２２の特徴量算出部３１は、入力された画像から局所的な特徴量を算出する。本実施形態においては、例えば図４（Ａ）の画像を構成する全画素を処理対象として、図５に示すように全画素における左上の画素から右下の画素までを順次、注目画素に設定して局所的な特徴量を算出する。

例えば、左上の画素を画素（１，１）とし、その右隣の画素を画素（１，２）のように水平方向にｉ番目、垂直方向にｊ番目の画素を画素（ｉ，ｊ）のように表し、左上の画素（１，１）の下の画素を画素（２，１）と表した場合には、画素（１，１）から画素（ｎ，ｎ）までの全画素を走査して 図６のように特徴量を算出する。なお、図５においては水平方向及び垂直方向の画素数をｎとしている。
特徴量を算出する場合、上記のように注目画素を１画素毎に設定しても良いし、１画素毎でなく、複数画素からなる領域毎に設定しても良い。
本実施形態における特徴量算出部３１は、局所的な特徴量を算出する場合、ステップＳ３に示すように注目画素（の輝度値又は画素値）の局所的な変化の方向に関する第１の特徴量と、局所的な変化の大きさに関する第２の特徴量と、変化の方向及び変化の大きさに基づいた形状に関する第３の特徴量とを算出する。

具体的には、ＣＰＵ２２の特徴量算出部３１は、各画素の輝度値に対して水平方向と垂直方向の位置による２階の偏微分に相当する２行２列のヘッセ行列を計算し、その固有値λ１，λ２（λ１≦λ２）と、固有値λ１，λ２に対応する固有ベクトルｅ１，ｅ２を求める。なお、固有ベクトルｅ１，ｅ２が第１の特徴量に対応し、固有値λ１，λ２が第２の特徴量に対応する。
また、第２の特徴量に対して、以下の演算を行い、注目画素が線形状の特徴を有している程度を表す線状度合い、注目画素が円形状の特徴を有している程度を表す円状度合いを算出する。
また、上記特徴量算出部３１は、特徴量算出により、ステップＳ３に示すように（λ２−λ１）／λ２の演算により、線状度合い（λ２−λ１）／λ２と、λ１／λ２の演算により円状度合いλ１／λ２とを算出する。

図７Ａは、図４（Ｂ）の画像の場合に対して算出した形状特徴量の例を示す。図７Ａにおいて、線状度合いの大きい部分（図７Ａにおいて線と表記）と、円状度合いの大きい部分（図７Ａにおいて円と表記）とが算出された様子を示している。
なお、上述した第１の特徴量として、勾配方向でも良い。また、第２の第１の特徴量として、勾配強度でも良い。また、第３の特徴量は、公知のShape Index でも良い。
図３に示すステップＳ４において、ＣＰＵ２２の構造領域抽出部３２は、処理対象の画像から、所望の構造物を構造領域として抽出する。
この場合、所望とする構造物を構造領域として抽出する手段、方法は特定のものに限定されないで、単純な２値化、Snakes、Level set、Graph Cut 等の領域分割手法を用いても良い。

上記の局所的な特徴量を算出し、その局所的な特徴量に基づいて構造物を構造領域として抽出しても良い。以下では、ステップＳ２による局所的な特徴量の算出を利用した場合で説明する。
ＣＰＵ２２の構造領域抽出部３２は、以下の４つの条件、
第２の特徴量がある閾値Ｔ１high以下、
第２の特徴量がある閾値Ｔ１low以上（但し、Ｔ１high＞Ｔ１low）、
第３の特徴量がある閾値Ｔ２high以下、
第３の特徴量がある閾値Ｔ２low以上（但し、Ｔ２high＞Ｔ２low）、
におけるいずれかの条件を満たす画素を、（抽出対象の）構造物である構造領域を形成する画素として抽出する。

このような閾値Ｔ１high、Ｔ１low、Ｔ２high、Ｔ２low の情報は、例えば情報記憶部２５に、予め記憶（格納）されており、構造領域抽出部３２は、構造物を構造領域として抽出する場合、情報記憶部２５に格納されている上記情報を用いる。
図７Ｂは、図４（Ａ）の画像の場合に対応して抽出された構造領域を抽出した画像を示す。
図３のステップＳ５に示すようにＣＰＵ２２の基本形状適用部３３は、このように抽出された構造領域における各画素又は各領域に対して、上記特徴量算出部３１により算出された特徴量に基づいて、複数からなる所定の基本形状への対応付けを適用する。

つまり、抽出された構造領域における各画素又は各領域が、複数からなる所定の基本形状におけるどの基本形状に該当するかを判定し、判定した基本形状と対応つける。

また、本実施形態においては、複数からなる所定の基本形状として、生体の粘膜表面の構造物を構成する微小な単位の部分的な形状となる円、直線、曲線、分岐の４種類の基本形状を用いる。
なお、基本形状としての円、直線、曲線、分岐の４種類のものは、上述した線状度合いと円状度合いの特徴量に基づき、下記の（ａ）−（ｄ）の判定により導出することができる。
ＣＰＵ２２の基本形状適用部３３は、例えば図６により抽出された特徴量に従って、構造領域としての構造物における各画素又は各領域に対して、以下のように円、直線、曲線、分岐の４種類の基本形状への対応付けを行う。

ＣＰＵ２２の基本形状適用部３３は、構造領域としての構造物における各画素又は各領域に対して
（ａ）線状度合いが多く、方向がある１方向に集中していると判定した場合には直線、
（ｂ）線状度合いが多く、方向が異なる２方向に集中していると判定した場合には曲線、
（ｃ）円状度合いが多く、方向がばらついていると判定した場合には円、
（ｄ）線状度合いと円状度合いが同じ程度であり、線状度合いを持つ画素からの方向が数方向にばらついていると判定した場合には分岐、
の各基本形状に対応させるように基本形状対応付けを行う。

例えば、上記の構造領域としての構造物における各画素（又は各領域）において、線状度合いが多く、方向がある１方向に集中していると判定した場合には、その各画素（又は各領域）は直線の基本形状を持つ（または直線の基本形状により形成される）と判定する。他の場合も同様の判定を行う。
本実施形態においては、上記の４種類の基本形状用いて行うが、この他に、太さ、大きさ、色等の特徴によってさらに細分化した基本形状を適用しても良い。
図３のステップＳ６においてＣＰＵ２２の構造物領域分割部３４は、ステップＳ５における所定の基本形状への対応付けされた構造領域（としての構造物）を、所定の基本形状毎に領域分割を行う。

このようにして、構造領域として抽出された構造物は、それぞれ基本形状の画素又は領域毎に分割された１つないしは複数の集合体として表すことができる状態となる。換言すると、複雑な形状を有する構造物は、複数の基本形状のパターンとしての基本形状パターンの分解物、または複数の基本形状パターンの集合体として基本形状または基本形状パターンによる分類ないしは類型化などの評価が可能になる。
ステップＳ６のように構造物を基本形状毎に領域分割を行った場合、さらにステップＳ７に示すように異なる基本形状毎に異なる色を割り当てて、処理対象の画像を表示するようにしても良い。

図８（Ａ）は、図４（Ａ）、図７（Ｂ）の画像に対して、ステップＳ６のように基本形状に対応付けし、抽出された構造物の各部分がそれぞれ基本形状毎に分割された画像を示す。また、図８（Ｂ）は、図４（Ｂ）、図７（Ａ）の画像に対して、抽出された構造物の各部分がそれぞれ基本形状毎に分割された画像を示す。
図８を表示する場合、図３のステップＳ７に示すように異なる基本形状毎に異なる色を割り当てて、擬似カラーで表示しても良い。
この擬似カラーで表示した場合、複雑な形状を有する構造物の場合においても、基本形状に対応付けした場合、基本形状が分布する様子を視覚的に把握し易くなる。

また、ステップＳ８に示すように術者等のユーザにより適宜に指定される指定領域に対して、ＣＰＵ２２はその指定領域内に含まれる各基本形状の画素数の分布またはヒストグラムを表示するようにしても良い。
このようにすると、術者に対して診断等を行う場合の定量的な参考データを提供できる。例えば、術者が病変部であるか否かを診断しようとする領域を第１の指定領域に設定し、かつ正常な領域を第２の指定領域に設定すると、各指定領域における基本形状の画素数の定量的分布が表示されるので、その比較結果から、術者は診断する場合の参考データとして利用することができる。
ステップＳ８の処理により、図３の画像処理は終了する。

このように動作する本実施形態は、処理対象の画像における任意の構造物を構成する画素又は領域を、複数からなる所定の基本形状に対応付けるようにしているので、処理対象の画像が複雑な形状をしている場合においても、汎用性を失うことなく同じ処理手順により基本形状のパターンによる評価が可能になる。
従って本実施形態によれば、複雑なパターンを形成する医用画像の場合においても、汎用性を有する複数の基本形状のパターンに対応付けでき、定量化し易くする画像処理装置を提供することができる。なお、図３におけるステップＳ５とＳ６とは合体して行うようにしても良い。

（第２の実施形態）
次に本発明の第２の実施形態を説明する。本発明の第２の実施形態は、第１の実施形態において、図２において点線で示した領域設定部３５又は領域選択部を設けた構成である。その他の構成は第１の実施形態と同様の構成である。そして、本実施形態は、第１の実施形態における基本的な処理に対して、以下のように追加的な処理を行うことにより、信頼性をより向上する処理結果を取得できるようにしている。
上記のように領域設定部３５は、１以上の画素で構成される第１領域及び当該第１領域の周辺部における少なくとも１以上の画素で構成される第２領域を選択的に設定する。そして、領域設定部３５により第１領域及び第２領域が設定された場合には、上記特徴量算出部３１は、第１領域及び第２領域における特徴量を算出する。また、基本形状適用部３３は、第１領域及び第２領域における特徴量に基づいて第１領域に対して、所定の基本形状の対応付けを行う。

本実施形態の処理手順を図９のフローチャートを参照して説明する。本実施形態の処理手順を示す図９のフローチャートは、図３のフローチャートにおいて、ステップＳ４とＳ５との間に、領域設定部３５による第１領域及び第２領域の設定を行うステップＳ１１の処理を行う。
術者等のユーザは、入力操作部２９から第１領域及び第２領域を選択的に設定する指示入力を行うことができる。この場合、ＣＰＵ２２の領域設定部３５は、指示入力により指示された２つの位置又は２つの領域に、第１領域及び第２領域を設定する。
また、ユーザは、入力操作部２９から第１領域を選択的に設定する指示入力を行い、ＣＰＵ２２の領域設定部３５が、指示入力された位置又は領域に第１領域を設定し、さらに設定された第１領域の特徴量に基づいて、第２領域を選択的に設定するようにしても良い。

また、第１領域として、処理対象の画像における全領域（の全画素）を順次設定し、各位置の第１領域の周辺部に第１領域の特徴量に基づいて、第２領域を設定するようにしても良い。
また、処理対象の画像における構造領域中に第１領域を順次設定し、各位置の第１領域の周辺部に第１領域の特徴量に基づいて、第２領域を設定するようにしても良い。
以下の例では、例えば構造領域中に第１領域の第１画素を順次設定する場合を主眼として説明する。
また、本実施形態では、以下に説明する第１領域の第１画素の周辺部の第２領域Ｒ２を投票領域に設定する。
領域設定部３５は、特徴量算出部３１により算出された第１領域の特徴量に基づいて以下のように第２領域を設定する。

図１０は第１領域を構成する第１画素Ｐ１が（ユーザにより）設定され、その第１画素Ｐ１が円状度合いが大きい特徴量を有する場合において設定される第２領域Ｒ２の例を示す。
なお、図１０に示す例では第１画素Ｐ１が円状度合いが大きい特徴量を有する場合には、その周囲に類似に第１画素Ｐ１の特徴量に近い形状の円形の第２領域Ｒ２を設定する。
第１画素Ｐ１は、円状度合いが大きい特徴量を有し、領域設定部３５は、その特徴量の形状に基づいて第１画素Ｐ１の周囲に、円状度合いの形状に類似した円形の第２領域Ｒ２を設定する。この場合の第２領域Ｒ２の領域範囲を決定するパラメータは半径ｒ_ｂであり、半径ｒ_ｂの大きさは例えば１０−１２画素程度に設定される。つまり、水平方向の画素位置ｉ、垂直方向の画素位置ｊを用いて、ｉ^２＋ｊ^２＜ｒ_ｂ ^２により第２領域Ｒ２が決定される。

図１１は第１画素Ｐ１が円状度合いでなく、線状度合いが大きい特徴量を有する場合において設定される第２領域Ｒ２の例を示す。
第１画素Ｐ１は、線状度合いが大きい特徴量を有し、領域設定部３５は、その特徴量の形状に基づいて第１画素Ｐ１の周囲に、線状度合いの特徴量としてその画素値の変化が最も小さい方向に延びる線状に近い形状（図１１では８形状）の第２領域Ｒ２を設定する。この場合の第２領域Ｒ２の領域範囲を決定するパラメータは水平画素の方向と角θ（及びθ＋π）をなす、画素値の変化が最も小さい第２主方向と、半径ｒ_ｓとになり、この半径ｒ_ｓは、例えば５−６画素程度に設定される。なお、この第２主方向と直交する方向が第１主方向となる。

また、θ、半径ｒ_ｓで表される第２領域Ｒ２の領域範囲は、（ｉ−ｒ_ｓcosθ）^２＋（ｉ−ｒ_ｓcosθ）^２＜ｒ_ｓ ^２ 又は（ｉ＋ｒ_ｓcosθ）^２＋（ｉ＋ｒ_ｓcosθ）^２＜ｒ_ｓ ^２のいずれかを満たす範囲となる。
なお、図１１においては２つの円形の領域で第２領域Ｒ２を形成する例を示しているが、扁平した形状の２つの円（例えば図１２においてその例を示している）により第２領域Ｒ２を形成しても良い。
このように第２領域Ｒ２を設定した後、図９のステップＳ１２に示すように第１領域Ｒ１を含む第２領域を投票範囲に設定して、投票を行う。
第２領域Ｒ２内の各画素に対応して設けられた（投票情報格納部を形成する）各メモリセルに第１画素Ｐ１の特徴量を格納する投票処理を、例えば構造領域を形成する第１画素全体に行う。

各メモリセルは、第１画素Ｐ１の特徴量の２次元的分布に対応した投票結果の情報を持つ状態となる。また、各メモリセルの情報は、その周辺部の第２領域の特徴量を持つと見なすことができる。
次のステップＳ１３において、投票された特徴量に基づいて、図３のステップＳ５に対応した所定の基本形状への対応付けの処理を行う。
図３の場合には、ステップＳ５において個々の第１画素Ｐ１の特徴量に基づいて、所定の基本形状への対応付けの処理を行っていた。
これに対して本実施形態におけるステップＳ１３においては、第１画素の特徴量を形成し、かつその周辺部での２次元分布に対応した投票結果の特徴量に基づいて、所定の基本形状への対応付けの処理を行う。

具体的には、ＣＰＵ２２の基本形状適用部３３は、構造領域としての構造物における各画素又は各領域に対して
（ａ）線状度合いが多く投票され、方向がある１方向に集中していると判定した場合には直線、
（ｂ）線状度合いが多く投票され、方向が異なる２方向に集中していると判定した場合には曲線、
（ｃ）円状度合いが多く投票され、方向がばらついていると判定した場合には円、
（ｄ）線状度合いと円状度合いが同じ程度で投票され、線状度合いを持つ画素からの方向が数方向にばらついていると判定した場合には分岐、
の各基本形状に対応させるように基本形状対応付けを行う。

図１２は、この場合の動作説明図を示す。図１２（Ａ）は、領域設定部３５により、第１領域における画素としての第１の画素Ｐ１の周囲に第２領域Ｒ２が設定された状態を示す。なお、図１２（Ａ）における画像は、上述した構造領域抽出部３２により構造領域Ｒｓが抽出された状態を示し、該構造領域Ｒｓに該当しない構造領域としての非構造領域をＲｎｓで示している。
そして、この場合には、第１領域及び第２領域Ｒ２において抽出した特徴量に基づいて、第１領域の画素Ｐ１に対して、基本形状の対応付けを行う。
第２の実施形態においては、第２領域Ｒ２を投票範囲に設定することにより、第１領域の第１画素Ｐ１は、第２領域Ｒ２の特徴量を反映した特徴量となり、その特徴量に対して基本形状への対応付けが行われる。

図１２（Ｂ）は、第１領域の画素Ｐ１に対して、基本形状の対応付けを行った様子を示し、図１２（Ｂ）の例では、第１画素Ｐ１が直線の基本形状に対応するとして直線の基本形状を持つと判定した様子を示している。
図１２（Ａ）及び図１２（Ｂ）は、第１領域の画素Ｐ１に対して、その周囲に第２領域Ｒ２を設定した場合を示しているが、図１３（Ａ）及び図１３（Ｂ）に示すように第１領域Ｒ１の周囲に第２領域Ｒ２を設定しても良い。図１３は、図１２の第１画素Ｐ１を第１領域Ｒ１に変更したのみ異なるため、その説明を省略する。また、第２領域Ｒ２は、複数の画素から構成される場合に限定されるものでなく、１つの画素から構成される場合も含む。

図９におけるステップＳ１３の後には、図３の場合と同様にステップＳ６の処理を行い、このステップＳ６以降の処理は図３の場合と同様である。
このように基本形状への対応付けを行うと、第１領域の画素Ｐ１のみから基本形状の対応付けを行う場合よりも、その周囲の画素の特徴量を考慮した基本形状の対応付けを行うことができる。このため、ノイズにより画素値が影響されるような場合において、ノイズの影響を低減した基本形状の対応付けが可能になる。
その他、本実施形態によれば、第１の実施形態と同様に複雑なパターンを形成する医用画像の場合においても、汎用性を有する複数の基本形状のパターンに対応付けでき、定量化し易くする画像処理装置を提供することができる。

なお、上述した説明において、投票範囲を設定して投票を行うような画像処理を行うことにより、第１画素Ｐ１又は第１領域Ｒ１が持つ特徴量として分岐の基本形状を含むような場合に（分岐の基本形状への対応付けに対して）有効に機能する。以下、図１４によりその理由を説明する。
第１画素Ｐ１（又はその近傍領域）が分岐の特徴量を持つ場合は、図１４に示すように円形度合いの特徴量を有する画素Ｐ１ａと、線状度合いの特徴量を有する画素Ｐ１ｂとの間の円状の第２領域Ｒ２ａと８字形状の第２領域Ｒ２ｂとが重なる領域Ｒ３に発生すると考えられる。

このような場合には、円形度合いの特徴量と線状度合いの特徴量とに応じた投票を行う投票範囲を設定することにより、両特徴量を持つ分岐の画素又は領域Ｒ３を抽出することができる。
なお、図１０−１１において示したような第２領域Ｒ２の場合の他に、図１５に示したように第２領域Ｒ２を設定しても良い。
図１５（Ａ）は、例えば第１の画像Ｐ１が特徴量が例えば円状度合いが大きい特徴量である場合には、図１５（Ｂ）に示すように、第１の画素Ｐ１の周囲に円形に近い形状で第２領域Ｒ２が設定される（図１０の場合よりは、小さい画素サイズで第２領域Ｒ２を設定した例を示す）。

また、図１５（Ａ）の第１の画素Ｐ１が線状度合いが大きい特徴量である場合には、図１５（Ｃ）に示すように第１画素Ｐ１の周辺部（周囲）に線状度合いの変化が小さい方向に延びるベルト形状の第２領域Ｒ２を設定しても良い。
また、第２領域Ｒ２を選択的に設定する場合、第２領域の候補となる候補領域の位置又は特徴量に基づいて選択するようにしても良い。
図１６は第１画素Ｐ１の周囲に候補領域Ｒ２ｈを設定し、この候補領域Ｒ２ｈの各候補画素Ｐｈの特徴量に応じて第２領域Ｒ２を選択的に設定する様子を示す。

図１６（Ａ）は第１画素Ｐ１の周囲に暫定的に設定した候補領域Ｒ２ｈを示し、図１６（Ｂ）に示すようにこの候補領域Ｒ２ｈの各候補画素Ｐｈを走査し、その際各候補画素Ｐｈに対して第２領域Ｒ２（の第２画素）にするか否かを各候補画素Ｐｈの特徴量に基づいて決定する。そして、図１６（Ｂ）の処理を候補領域Ｒ２ｈ全体に行った結果、例えば図１６（Ｃ）に示すように第２領域Ｒ２を決定する。
このようにした場合、例えば候補領域Ｒ２ｈから第２領域Ｒ２にふさわしく無い領域を排除するように絞りこんで、第１画素Ｐ１に対する基本形状への対応付けを行うようにすることができる。

なお、図１６においては、候補領域Ｒ２ｈの各画素の特徴量に基づいて、第２領域Ｒ２を設定する場合を説明したが、候補領域Ｒ２ｈの各画素の位置に基づいて、第２領域Ｒ２を設定しても良い。例えば第１画素Ｐ１に近い位置の画素を第２領域Ｒ２のものに設定しても良い。
また、図１６において第１画素Ｐ１の代わりに第１領域Ｒ１を設定し、その周囲に候補領域Ｒ２ｈを設定して、上述した場合と同様に第２領域Ｒ２を設定するようにしても良い。
また、図１６では、候補領域Ｒ２ｈを選択的に設定する場合、候補領域の位置又は特徴量に基づいて第２領域Ｒ２を設定する場合を説明したが、候補領域の位置又は特徴量と、第１の画素Ｐ１又は第１領域Ｒ１の位置又は特徴量とに基づいて選択的に設定するようにしても良い。図１７は、この場合の１つの例の説明図を示す。

図１６（Ａ）と同様に図１７（Ａ）は、第１画素Ｐ１の周囲に暫定的に設定した候補領域Ｒ２ｈを示す。図１７（Ｂ）は、候補領域Ｒ２ｈの各候補画素Ｐｈを走査し、その際各候補画素Ｐｈに対して第２領域Ｒ２（の第２画素）にするか否かを各候補画素Ｐｈの特徴量及び第１画素Ｐ１の特徴量に基づいて決定する。そして、図１７（Ｂ）の処理を候補領域Ｒ２ｈ全体に行った結果、例えば図１７（Ｃ）に示すように第２領域Ｒ２を決定する。
このようにした場合、例えば候補領域Ｒ２ｈから第１画素Ｐ１に関係しない領域を排除し、第１画素Ｐ１に関係する第２領域Ｒ２を絞り込むことができ、より信頼性が高い状態で第１画素Ｐ１に対する基本形状への対応付けが可能になる。

図１６に関して説明したように、図１７においては、候補領域Ｒ２ｈの各画素及び第１画素Ｐ１の特徴量に基づいて、第２領域Ｒ２を設定する場合を説明したが、候補領域Ｒ２ｈの各画素の位置と第１画素Ｐ１の位置又は特徴量に基づいて、第２領域Ｒ２を設定しても良い。
また、候補領域Ｒ２ｈの各画素の特徴量と第１画素Ｐ１の位置に基づいて、第２領域Ｒ２を設定しても良い。
また、図１７において第１画素Ｐ１の代わりに第１領域Ｒ１を設定し、その周囲に候補領域Ｒ２ｈを設定して、上述した場合と同様に第２領域Ｒ２を設定するようにしても良い。

図１８に示す変形例のように、ＣＰＵ２２に特徴量更新手段としての特徴量更新部３６を設けるようにしても良い。この特徴量更新部３６は、第１領域Ｒ１の特徴量または第２領域Ｒ２の特徴量に基づいて第１領域Ｒ１または第２領域Ｒ２のうちの少なくとも一方の特徴量を変化させて更新する。
また、領域設定部３５は、特徴量更新部３６の更新結果に基づいて第２領域の選択的な設定を行う。
図１９はこの場合の処理手順の１例を示す。図１９は図９におけるステップＳ４の次にステップＳ２１に示すように第１領域Ｒ１と第２領域Ｒ２とを設定する。

このステップＳ２１における第１領域Ｒ１と第２領域Ｒ２との設定は、上述した第２実施形態におけるいずれかの方法で設定することができる。但し、本変形例においてはステップＳ２１における設定は、以下の説明から分かるように暫定的な設定となる。
図２０（Ａ）は、ステップＳ２１において設定された第１領域Ｒ１と第２領域Ｒ２の１例を示している。
ユーザは、入力操作部２９から特徴量更新部３６に対して第１領域Ｒ１と第２領域Ｒ２とのいずれの特徴量を変化（更新）するか否かの指示入力を行う。

ステップＳ２２に示すように特徴量更新部３６は指示入力に応じていずれの特徴量を変化させるかの判定を行う。なお、初期設定時などにおいて、予めＣＰＵ２２に対して、いずれの特徴量を変化させるかをプログラム等により設定し、特徴量更新部３６はその設定に従って自動的に特徴量を変化させるようにしても良い。また、交互に特徴量を変化させるようにしても良い。
第１領域Ｒ１の特徴量を変化させる判定（設定）の場合には、ステップＳ２３に示すように第１領域Ｒ１の特徴量を変化させ、ステップＳ２５の処理に進む。
一方、第２領域Ｒ２の特徴量を変化させる判定（設定）の場合には、ステップＳ２４に示すように第２領域Ｒ２の特徴量を変化させ、ステップＳ２５の処理に進む。

なお、第１領域Ｒ１の特徴量又は第２領域Ｒ２の特徴量を変化させる場合、第１領域Ｒ１又は第２領域Ｒ２を構成する各画素でのノイズレベルに対応した閾値の範囲内で特徴量を変化させる。
ステップＳ２５において、領域設定部３５は第１領域Ｒ１の特徴量と第２領域Ｒ２の特徴量に基づいて第２領域Ｒ２を再設定し、Ｓ２６のステップに進む。
ステップＳ２６において、特徴量更新部３６は、特徴量を設定回数Ｊ（Ｊは自然数）だけ、変化させる処理を行ったか否かの判定を行い、設定回数Ｊに達していない判定の場合には、ステップＳ２２の処理に戻る。そして、ステップＳ２２−Ｓ２６の処理を繰り返す。

一方、設定回数Ｊに達した判定の場合には、ステップＳ２７の処理に進み、領域設定部３５は、第２領域Ｒ２を決定し、また特徴量更新部３６は第１領域Ｒ１及び第２領域Ｒ２の各特徴量を決定する。
領域設定部３５は、設定回数Ｊにおいて、上述した特徴量を変化させた場合、それぞれ再設定される第２領域Ｒ２の相対的な変化量を監視し、特徴量の変化に対する第２領域Ｒ２の相対的な変化量が最も小さくなる場合の第２領域Ｒ２を、ステップＳ２６において第２領域Ｒ２と決定する。
図２０（Ｂ）はステップＳ２６により決定された第１領域Ｒ１及び第２領域Ｒ２の様子を示す。

ステップＳ２６の処理の後、次のステップＳ１３において基本形状への対応付けの処理が行われる。ステップＳ１３以降は、図９と同様である。
図１９に示すような処理を行うことにより、個々の画素においてノイズにより影響され易い特徴量や、その特徴量に基づいて設定される第２領域Ｒ２を、ノイズの影響を緩和した特徴量や、第２領域Ｒ２に更新することができる。
その他、第２の実施形態とほぼ同様の効果を有する。
なお、上述した実施形態等の組み合わせを変更する等して構成される実施形態も本発明に属する。

本出願は、２０１１年７月１２日に日本国に出願された特願２０１１−１５４２１５号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されるものとする。

Claims (3)

1. 生体の粘膜表面を撮像して得られる複数の画素により構成される医用画像を入力する画像入力部と、
   前記医用画像における１つ以上の画素により構成される第１領域を設定する領域設定部と、
   前記領域設定部において設定された前記第１領域の輝度値と前記第１領域の周囲の領域の輝度値とに基づき、前記第１領域において線形状の特徴を有している程度をあらわす線状度合いと、前記第１領域において円形状の特徴を有している程度を表す円状度合いとを算出する特徴量算出部と、を有し、
   前記領域設定部は、さらに前記特徴量算出部において算出された前記線状度合いと前記円状度合いに基づいて前記第１領域の周辺部に１つ以上の画素により構成される第２領域を設定し、
   前記特徴量算出部は、さらに前記第２領域の輝度値に基づき、前記第２領域の線形状の特徴を有している程度を表す線状度合いと、前記円形状の特徴を有している程度を表す円状度合いとを算出し、
   前記特徴量算出部において算出された前記第１領域の線状度合いと円状度合いと、前記第２領域の線状度合いと円状度合いとの分布に基づき、前記第１領域を所定の形状に適用付ける基本形状適用部と、
   を有することを特徴とする画像処理装置。
2. さらに、前記医用画像から所望の構造物を構造領域として抽出する構造領域抽出部を有し、
   前記領域設定部は、前記構造領域抽出部により抽出された前記構造領域中に前記第１領域を設定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記特徴量算出部は、さらに、前記第１領域における輝度値の局所的な変化の方向に関する特徴量を算出し、
   前記基本形状適用部は、前記第１領域の線状度合いと円状度合いと、前記第２領域の線状度合いと第２の円状度合いとの分布と前記第１領域における輝度値の局所的な変化の方向に関する特徴量とに基づき前記第１領域を前記所定の形状に適用付ける
   ことを特徴とする請求項１に記載の画像処理装置。

Images