JP2018023602A - 眼底画像処理装置 - Google Patents
眼底画像処理装置 Download PDFInfo
- Publication number
- JP2018023602A JP2018023602A JP2016157402A JP2016157402A JP2018023602A JP 2018023602 A JP2018023602 A JP 2018023602A JP 2016157402 A JP2016157402 A JP 2016157402A JP 2016157402 A JP2016157402 A JP 2016157402A JP 2018023602 A JP2018023602 A JP 2018023602A
- Authority
- JP
- Japan
- Prior art keywords
- image
- value
- pixel
- fundus image
- blood vessel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Eye Examination Apparatus (AREA)
Abstract
【課題】 眼底画像から血管径などの血管微細形状を維持したまま血管領域を自動的に抽出可能な眼底画像処理装置を提供する。
【解決手段】 フルカラー眼底画像から単一の色成分を抽出し、血管候補領域が高い輝度になるようにネガポジ反転させたグレースケール眼底画像に変換するグレースケール変換手段10と、グレースケール眼底画像の各画素に対して、所定の範囲に含まれる近傍画素の画素値の平均値を用いて平坦化画像を作成する画像平坦化手段20と、平坦化画像に対して、所定の構造要素を用いてオープニング処理を行い全ての血管候補領域の輝度を一定以上に揃えた線状成分強調画像を作成する線状成分強調手段30と、線状成分強調画像において、所定の条件を満たさない画素値を最小値に置き換え、所定の条件を満たす画素値が、階調の最小値から最大値の範囲になるように画素の階調を補正し、血管強調画像を作成する画素階調変換手段40を有する。
【選択図】 図2
【解決手段】 フルカラー眼底画像から単一の色成分を抽出し、血管候補領域が高い輝度になるようにネガポジ反転させたグレースケール眼底画像に変換するグレースケール変換手段10と、グレースケール眼底画像の各画素に対して、所定の範囲に含まれる近傍画素の画素値の平均値を用いて平坦化画像を作成する画像平坦化手段20と、平坦化画像に対して、所定の構造要素を用いてオープニング処理を行い全ての血管候補領域の輝度を一定以上に揃えた線状成分強調画像を作成する線状成分強調手段30と、線状成分強調画像において、所定の条件を満たさない画素値を最小値に置き換え、所定の条件を満たす画素値が、階調の最小値から最大値の範囲になるように画素の階調を補正し、血管強調画像を作成する画素階調変換手段40を有する。
【選択図】 図2
Description
本発明は、眼底画像の処理技術に関し、特に、眼底画像を用いて血管領域を強調した画像を得るための技術に関する。
眼科疾患でポピュラーな近視の中に、眼球後極の組織が変性して眼軸が伸び、強度な近視の症状を呈し、場合により失明に至る重篤な疾患「強度近視」が知られている。
現状では、強度近視に対する根治術としては、まだ研究段階であり、実際には、薬物療法や外科治療により病態の症状や進行を抑える対症療法しかないのが現状である。従って、強度近視の治療にあたっては、早期発見が重要となり、基本的には、眼底カメラなどによる継続的な撮影画像に基づく診断がなされることになる。
強度近視は、20年以上の長期に渡るタイムスパンで病態が徐々に進行するため、眼底カメラ等を用いて長期経過の観察が行われることが望ましい。医療画像の進歩に伴い、20年前に撮影された画像と最近撮影された画像では、精度・撮影条件等が異なり、定量的な比較が難しかった。これを解決するため、出願人は、使用されたカメラの機種や撮影条件の異なる眼底画像を整合させ、各種部位の寸法比較等を可能にする画像解析技術を開発している(特許文献1参照)。
上記従来の技術では、カメラの機種や撮影条件の異なる眼底画像を整合させるにあたり、ヒトの網膜の主要血管の走行形態はたとえ種々の眼科疾患を患っても一生涯変化しないという前提のもと、視神経乳頭(以下、単に「乳頭」という)の中心と血管を基準に倍率・角度・位置の補正を行っていた。
しかしながら、ヒトの網膜の主要血管は、強度近視疾患など眼球形状の3次元的な変形に伴い、一部の血管走行が変化したり、病気の進行に伴い新生血管が出現したりすることもある。また、動脈硬化や糖尿病といった生活習慣病は血管の病気とも言われ、眼底血管を含む全身の血管に硬化が見られる。そのため、数あるヒトの血管の中で、唯一体表に露出している眼底血管の観察は、眼科疾患に限らず、全身の病気の診断において重要である。しかし、眼底画像から血管部分を特定することは容易ではないという問題がある。
そこで、本発明は、眼底画像から血管径などの血管微細形状を維持したまま血管領域を自動的に抽出することが可能な眼底画像処理装置を提供することを課題とする。
上記課題を解決するため、本発明第1の態様では、
カラー眼底画像を処理して血管領域を強調するための装置であって、
前記カラー眼底画像が有する色成分のうち少なくとも1つの色成分に基づいてグレースケール眼底画像を得るグレースケール変換手段と、
前記グレースケール眼底画像の各画素に対して、所定の範囲に含まれる近傍画素の画素値の平均値(Mean(x,y))を算出し、当該画素の画素値に所定の値(Mid)から前記平均値を減算した値を加算することにより、平坦化画像を作成する画像平坦化手段と、
前記平坦化画像に対して、所定の構造要素を用いてオープニング処理(収縮・膨張処理)を行い血管候補領域の輝度を一定以上に揃えた線状成分強調画像を作成する線状成分強調手段と、
前記線状成分強調画像において、所定の条件を満たさない画素値を、変換後の血管強調画像の階調の最小値になるように置き換え、前記所定の条件を満たす画素値が、階調の最小値付近の値から最大値の範囲になるように画素の階調を補正し、血管強調画像を作成する画素階調変換手段と、
を有することを特徴とする眼底画像処理装置を提供する。
カラー眼底画像を処理して血管領域を強調するための装置であって、
前記カラー眼底画像が有する色成分のうち少なくとも1つの色成分に基づいてグレースケール眼底画像を得るグレースケール変換手段と、
前記グレースケール眼底画像の各画素に対して、所定の範囲に含まれる近傍画素の画素値の平均値(Mean(x,y))を算出し、当該画素の画素値に所定の値(Mid)から前記平均値を減算した値を加算することにより、平坦化画像を作成する画像平坦化手段と、
前記平坦化画像に対して、所定の構造要素を用いてオープニング処理(収縮・膨張処理)を行い血管候補領域の輝度を一定以上に揃えた線状成分強調画像を作成する線状成分強調手段と、
前記線状成分強調画像において、所定の条件を満たさない画素値を、変換後の血管強調画像の階調の最小値になるように置き換え、前記所定の条件を満たす画素値が、階調の最小値付近の値から最大値の範囲になるように画素の階調を補正し、血管強調画像を作成する画素階調変換手段と、
を有することを特徴とする眼底画像処理装置を提供する。
本発明第1の態様によれば、カラー眼底画像が有する色成分のうち少なくとも1つの色成分に基づいてグレースケール眼底画像を得て、グレースケール眼底画像の各画素に対して、所定の範囲に含まれる近傍画素の画素値の平均値を算出し、当該画素の画素値に所定の値から前記平均値を減算した値を加算することにより、平坦化画像を作成し、平坦化画像に対して、所定の構造要素を用いてオープニング処理を行い、(好ましくは全ての)血管候補領域の輝度を一定以上に揃えた線状成分強調画像を作成し、線状成分強調画像において、所定の条件を満たさない画素値を、変換後の血管強調画像の階調の最小値になるように置き換え、所定の条件を満たす画素値が、階調の最小値付近の値から最大値の範囲になるように画素の階調を補正し、血管強調画像を作成するようにしたので、血管領域が抽出された画像として血管強調画像が得られ、眼底画像から血管径などの血管微細形状を維持したまま血管領域を自動的に抽出することが可能となる。特に、画像を平坦化した後、線状成分強調画像を作成するようにしているため、粒状成分を抑圧しながら照明ムラの影響を受けずに眼底全体に渡って血管領域を均一に抽出することが可能となる。
また、本発明第2の態様では、前記グレースケール変換手段は、RGB(赤緑青)3原色成分からなる前記カラー眼底画像のG(緑)成分を単一の色成分として抽出するものであり、当該値が0から255の値をとるとき、当該値を255から減算した値に変換して前記グレースケール眼底画像を得ることを特徴とする。
本発明第2の態様によれば、3原色成分からなるカラー眼底画像のG成分を単一の色成分として抽出するものであり、その値が0から255の値をとるとき、その値を255から減算した値に変換するようにしたので、眼底画像と反対に、非血管領域の輝度が低く血管領域の輝度が高くなり、グレースケール眼底画像の血管領域に対して疑似カラーで着色することができ、複数のグレースケール眼底画像を合成しても背景部が混ざり合わないため、血管領域の位置関係が把握しやすくなる。
また、本発明第3の態様では、前記画像平坦化手段は、前記グレースケール眼底画像の各画素(x,y)に対して、前記近傍画素として(x−h+1,y−h+1)から(x+h,y+h)までの2h×2h個の画素を用い(hは1以上の整数)、画素値が0〜255の値を取り得るとき、前記所定の値として128を用いることを特徴とする。
本発明第3の態様によれば、グレースケール眼底画像の各画素(x,y)に対して、近傍画素として(x−h+1,y−h+1)から(x+h,y+h)までの2h×2h個の画素を用い(hは1以上の整数)、画素値が0〜255の値を取り得るとき、所定の値として128を用いるようにしたので、粒状成分を抑圧しながら照明ムラの影響を受けずに眼底全体に渡って血管領域を均一に抽出することが可能となる。
また、本発明第4の態様では、前記画像平坦化手段は、画像のサイズがXs×Ysである前記グレースケール眼底画像に対して、あらかじめ(0,0)から(Xs−1,y−1)の範囲のXs×y個、および(0,y)から(x,y)の範囲のx+1個からなる全Xs×y+x+1個の画素値の総和を各画素(x,y)における累積値S(x,y)として算出する処理を行い、S(x+h,y+h)−S(x−h,y+h)−S(x+h,y−h)+S(x−h,y−h)の値を、2h×2hで除算した値を前記平均値とすることを特徴とする。
本発明第4の態様によれば、画像のサイズがXs×Ysであるグレースケール眼底画像に対して、あらかじめ(0,0)から(Xs−1,y−1)の範囲のXs×y個、および(0,y)から(x,y)の範囲のx+1個からなる全Xs×y+x+1個の画素値の総和を各画素(x,y)における累積値S(x,y)として算出する処理を行い、S(x+h,y+h)−S(x−h,y+h)−S(x+h,y−h)+S(x−h,y−h)の値を、2h×2hで除算した値を前記平均値とするようにしたので、少ない処理負荷で高速に平坦化画像の作成を行うことが可能となる。
また、本発明第5の態様では、前記線状成分強調手段は、前記平坦化画像に対して、方向が異なる線形の構造要素である線形構造要素を複数個用いてオープニング処理(収縮・膨張処理)を行い複数の線形オープニング画像を作成し、得られた複数の線形オープニング画像より画素ごとの最大値を画素値として与えることにより、前記線状成分強調画像を作成することを特徴とする。
本発明第5の態様によれば、平坦化画像に対して、方向が異なる線形の構造要素である線形構造要素を複数個用いてオープニング処理(収縮・膨張処理)を行い複数の線形オープニング画像を作成し、得られた複数の線形オープニング画像より画素ごとの最大値を画素値として与えるようにしたので、血管に特徴的な線状成分をより高精度に抽出することができ、過剰な粒状成分の抽出をより抑えることが可能となる。
また、本発明第6の態様では、前記線形構造要素は、オープニング処理の際に参照される参照画素が定義された(2R+1)×(2R+1)画素の2値画像で、半径Rの円形内部に参照画素が定義され、2R+1の長さで画素幅が1画素であって、22.5度間隔の直線の少なくとも近傍に配置されることにより、8方向を定義していることを特徴とする。
本発明第6の態様によれば、線形構造要素が、オープニング処理の際に参照される参照画素が定義された(2R+1)×(2R+1)画素の2値画像で、半径Rの円形内部に参照画素が定義され、2R+1の長さで画素幅が1画素であって、22.5度間隔の直線の少なくとも近傍に配置されることにより、8方向を定義するようにしたので、演算処理の負荷を抑えつつ、あらゆる方向をもつ線状成分を殆ど漏れなく抽出することが可能となる。
また、本発明第7の態様では、前記画素階調変換手段は、前記所定の条件を満たす画素値として所定のしきい値を超える画素値とし、前記線状成分強調画像に対して、画素値の度数分布を算出し、前記線状成分強調画像の最小画素値から数えて画素数の総和が前記線状成分強調画像の全画素数の所定の比率(α)を超える画素値のうち最小の画素値(vmin)を所定のしきい値に設定することを特徴とする。
本発明第7の態様によれば、画素階調変換の際の、所定の条件を満たす画素値として所定のしきい値を超える画素値とし、線状成分強調画像に対して、画素値の度数分布を算出し、最小画素値から数えて画素数の総和が線状成分強調画像の全画素数の所定の比率を超える最小の画素値を所定のしきい値に設定するようにしているので、与えられた画像に含まれる設定された比率の線状成分に相当する画素領域に対して画素値のコントラストを強調することが可能となる。
また、本発明第8の態様では、コンピュータを、請求項1から請求項7のいずれか一項に記載の眼底画像処理装置として機能させるためのプログラムを提供する。
本発明第8の態様によれば、プログラムを組み込むことにより、眼底画像処理装置を汎用のコンピュータにより実現することが可能となる。
本発明によれば、眼底画像から血管径などの血管微細形状を維持したまま血管領域を自動的に抽出することが可能となる。
以下、本発明の好適な実施形態について図面を参照して詳細に説明する。
<1.装置構成>
図1は、本発明の一実施形態に係る眼底画像処理装置のハードウェア構成図である。本実施形態に係る眼底画像処理装置100は、汎用のコンピュータで実現することができ、図1に示すように、CPU(Central Processing Unit)1と、コンピュータのメインメモリであるRAM(Random Access Memory)2と、CPU1が実行するプログラムやデータを記憶するためのハードディスク、フラッシュメモリ等の大容量の記憶装置3と、キーボード、マウス等のキー入力I/F(インターフェース)4と、データ記憶媒体等の外部装置とデータ通信するためのデータ入出力I/F(インターフェース)5と、液晶ディスプレイ等の表示デバイスである表示部6と、を備え、互いにバスを介して接続されている。
<1.装置構成>
図1は、本発明の一実施形態に係る眼底画像処理装置のハードウェア構成図である。本実施形態に係る眼底画像処理装置100は、汎用のコンピュータで実現することができ、図1に示すように、CPU(Central Processing Unit)1と、コンピュータのメインメモリであるRAM(Random Access Memory)2と、CPU1が実行するプログラムやデータを記憶するためのハードディスク、フラッシュメモリ等の大容量の記憶装置3と、キーボード、マウス等のキー入力I/F(インターフェース)4と、データ記憶媒体等の外部装置とデータ通信するためのデータ入出力I/F(インターフェース)5と、液晶ディスプレイ等の表示デバイスである表示部6と、を備え、互いにバスを介して接続されている。
図2は、本実施形態に係る眼底画像処理装置の構成を示す機能ブロック図である。図2において、10はグレースケール変換手段、20は画像平坦化手段、30は線状成分強調手段、40は画素階調変換手段、50は眼底画像記憶手段、60は血管強調画像記憶手段である。
グレースケール変換手段10は、フルカラー眼底画像に対し、RGB3原色成分に所定の演算を施し、血管候補領域が高い輝度になるようにネガポジ反転させたグレースケール眼底画像に変換する処理を行う。画像平坦化手段20は、グレースケール眼底画像の各画素に対して、所定の範囲に含まれる近傍画素の画素値(輝度値)の平均値を算出し、当該画素の画素値に所定の値から平均値を減算した値を加算することにより、平坦化画像を作成する。線状成分強調手段30は、平坦化画像に対して、所定の構造要素を用いてオープニング処理を行い全ての血管候補領域の輝度を一定以上に揃えた線状成分強調画像を作成する処理を行う。画素階調変換手段40は、線状成分強調画像において、所定の条件を満たさない画素値、即ち所定のしきい値以下の画素値を、変換後の血管強調画像の階調の最小値になるように置き換え、所定の条件を満たす画素の画素値、即ち所定のしきい値を超える画素値が、階調の最小値付近の値から最大値の範囲になるように画素の階調を補正し、血管強調画像(Tray)を作成する処理を行う。
グレースケール変換手段10、画像平坦化手段20、線状成分強調手段30、画素階調変換手段40は、CPU1が、記憶装置3に記憶されているプログラムを実行することにより実現される。眼底画像記憶手段50は、可視光・光源方式の眼底カメラを用いてフルカラーで撮影された、血管領域の抽出対象となるフルカラー眼底画像を記憶した記憶手段であり、記憶装置3により実現される。眼底画像処理装置にフルカラー眼底画像を読み込ませて、そのまま処理を行う場合は、RAM2が眼底画像記憶手段50としての役割を果たす。フルカラー眼底画像とは、RGBの3成分により記録された画像データであり、被験者の眼底が撮影されたものである。本実施形態では、RGB各色8ビット256階調で記録されたものを用いている。
血管強調画像記憶手段60は、画素階調変換手段40により血管領域が強調されたグレースケール眼底画像である血管強調画像を記憶する記憶手段であり、記憶装置3により実現される。血管強調画像は、血管領域が強調されて、血管の位置を特定可能な画像であり、8ビット256階調の形式のグレースケール形式で記録される。
図2に示した各構成手段は、現実には図1に示したように、コンピュータおよびその周辺機器等のハードウェアに専用のプログラムを搭載することにより実現される。すなわち、コンピュータが、専用のプログラムに従って各手段の内容を実行することになる。なお、本明細書において、コンピュータとは、CPU等の演算処理部を有し、データ処理が可能な装置を意味し、パーソナルコンピュータなどの汎用コンピュータだけでなく、タブレット等の携帯型端末も含む。
図1に示した記憶装置3には、CPU1を動作させ、コンピュータを、眼底画像処理装置として機能させるための専用のプログラムが実装されている。この専用のプログラムを実行することにより、CPU1は、グレースケール変換手段10、画像平坦化手段20、線状成分強調手段30、画素階調変換手段40としての機能を実現することになる。また、記憶装置3は、眼底画像記憶手段50、血管強調画像記憶手段60として機能するだけでなく、眼底画像処理装置としての処理に必要な様々なデータを記憶する。
<2.処理動作>
<2.1.前処理>
まず、処理対象とするフルカラー眼底画像を用意する。フルカラー眼底画像としては、デジタル方式の眼底カメラによりフルカラーで撮影した画像ファイルがあれば、そのまま使用できる。また、アナログ方式の眼底カメラにより写真媒体に記録された古いものであれば、保管されていたアナログのモノクロまたはカラーのネガ・ポジフィルム、印画紙、インスタント写真等をスキャナによりフルカラーで読み取る等してデジタルのフルカラー眼底画像ファイルを取得する。この時、たとえ原画がモノクロであっても、フルカラーで読み取る。一般には、可視光・光源方式の眼底カメラを用いてフルカラーで撮影することによりフルカラー眼底画像が得られる。取得したフルカラー眼底画像は、眼底画像処理装置の眼底画像記憶手段50に記憶させる。本実施形態では、フルカラー眼底画像としてR,G,B各成分8ビット256階調のカラー画像を用意する。
<2.1.前処理>
まず、処理対象とするフルカラー眼底画像を用意する。フルカラー眼底画像としては、デジタル方式の眼底カメラによりフルカラーで撮影した画像ファイルがあれば、そのまま使用できる。また、アナログ方式の眼底カメラにより写真媒体に記録された古いものであれば、保管されていたアナログのモノクロまたはカラーのネガ・ポジフィルム、印画紙、インスタント写真等をスキャナによりフルカラーで読み取る等してデジタルのフルカラー眼底画像ファイルを取得する。この時、たとえ原画がモノクロであっても、フルカラーで読み取る。一般には、可視光・光源方式の眼底カメラを用いてフルカラーで撮影することによりフルカラー眼底画像が得られる。取得したフルカラー眼底画像は、眼底画像処理装置の眼底画像記憶手段50に記憶させる。本実施形態では、フルカラー眼底画像としてR,G,B各成分8ビット256階調のカラー画像を用意する。
<2.2.処理概要>
次に、図1、図2に示した眼底画像処理装置の処理動作について説明する。図3は、本発明の一実施形態に係る眼底画像処理装置の処理概要を示すフローチャートである。まず、グレースケール変換手段10が、フルカラー眼底画像に対して、グレースケール変換を行い、グレースケール眼底画像を得る(ステップS100)。
次に、図1、図2に示した眼底画像処理装置の処理動作について説明する。図3は、本発明の一実施形態に係る眼底画像処理装置の処理概要を示すフローチャートである。まず、グレースケール変換手段10が、フルカラー眼底画像に対して、グレースケール変換を行い、グレースケール眼底画像を得る(ステップS100)。
上述のように、処理対象であるフルカラー眼底画像は、各色8ビット256階調の画像データである。したがって、x方向の画素数Xs、y方向の画素数Ysのフルカラー眼底画像は、色成分を示す変数c=0(Red),1(Green),2(Blue)とすると、Image(x,y,c)=0〜255(x=0,・・・,Xs−1;y=0,・・・,Ys−1;c=0,1,2)と定義される。
グレースケール変換手段10は、フルカラー眼底画像Image(x,y,c)に対して、以下の〔数式1〕に従った処理を実行することによりグレースケール変換する。
〔数式1〕
Gr(x,y)=Image(x,y,1)
Gr(x,y)=Image(x,y,1)
上記〔数式1〕において、Image(x,y,1)は、フルカラー眼底画像のうち、G(グリーン、緑)の成分を示している。したがって、上記〔数式1〕においては、各画素のG成分のみを抽出し、グレースケール形式の画像Gr(x,y)を得ている。一般に健常者の眼底画像は、主にG成分とB成分に血管像が現れる。一方、白内障の症状が進んだ患者の眼底画像は、B成分の血管像が健常者に比べてネガポジ反転したり(背景部のB成分の輝度が血管領域に対して向上する)、不鮮明になる。そのため、単一の色成分であるG成分を抽出することにより健常者、白内障患者の双方の血管成分を抽出し易くなる。
さらに、グレースケール変換手段10は、グレースケール形式の画像Gr(x,y)に対して、以下の〔数式2〕に従った処理を実行することによりネガポジ反転してグレースケール眼底画像Gray(x,y)を得る。ここで、眼底画像に対してネガポジ反転させる理由は、血管候補領域の輝度を高くし背景の非血管候補領域の輝度を低くすることにより、グレースケール眼底画像の血管候補領域に対して疑似カラーで着色することができ、複数のグレースケール眼底画像を合成しても背景部(非血管候補領域)が混ざり合わないため、血管候補領域の位置関係が把握しやすくなるためである。
〔数式2〕
Gray(x,y)=255−Gr(x,y)
Gray(x,y)=255−Gr(x,y)
上記〔数式2〕に従った処理を実行して、ネガポジ反転することにより、周囲に比べ輝度が低い血管領域の画素値が高い状態に変換される。ここで、ネガポジ反転とは、元の画素値の大きいもの程小さい値に変換する処理を意味する。
グレースケール眼底画像が得られたら、次に、画像平坦化手段20が、所定の範囲に含まれる近傍画素の画素値の平均値を算出し、その画素の画素値に所定の値から平均値を減算した値を加算することにより、平坦化画像を作成する(ステップS200)。具体的には、以下の〔数式3〕に従った処理を実行することにより、グレースケールの平坦化画像Gray´(x,y)を得る。
〔数式3〕
Mean(x,y)={Σj=y-h+1,y+hΣi=x-h+1,x+hGray(x,y)}/(4h2)
Gray´(x,y)=Gray(x,y)+Mid−Mean(x,y)
Mean(x,y)={Σj=y-h+1,y+hΣi=x-h+1,x+hGray(x,y)}/(4h2)
Gray´(x,y)=Gray(x,y)+Mid−Mean(x,y)
上記〔数式3〕において、hは1以上の整数であり、Σの添え字の“j=y−h+1,y+h” “i=x−h+1,x+h”は、jがy−h+1からy+hまで、およびiがx−h+1からx+hまでの4h2個の画素の総和を求めることを示している。すなわち、Mean(x,y)は、画素(x,y)からh画素以内の範囲に含まれる近傍画素の画素値の平均値を示している。近傍画素の画素数としては、画像の全画素の1/3000〜1/7000の範囲とすることが好ましい。本実施形態では、h=8として近傍画素を256(=4h2=2h×2h)個としている。これは、グレースケール眼底画像Gray(x,y)が1280×1024画素の場合、約1/5000に相当する。
この平均値Mean(x,y)を用いて、〔数式3〕の第2式により、各画素(x,y)の画素値Gray(x,y)に所定の値Midから平均値Mean(x,y)を減算した値を加算することにより、平坦化画像Gray´(x,y)が得られる。所定の値Midは、画素が取り得る階調の中央値である。本実施形態では、画像が0〜255の値を取り得るため、中央値としては、127、128の2つがあるが、便宜上Mid=128としている。
上記平均値Mean(x,y)を算出する際、上記〔数式3〕の第1式に示したように、直接近傍画素の画素値の総和を求めるようにしてもよいが、この手法だと、演算処理の負荷が高い。そのため、本実施形態では、画像平坦化手段20は、以下の〔数式4〕に従った処理を実行することにより、少ない処理負荷で高速に平均値Mean(x,y)を算出するようにしている。
〔数式4〕
S(i,j)=Σjj=0,j-1Σii=0,Xs-1Gray(ii,jj)+Σjj=0,iGray(ii,j)
Mean(x,y)={S(x+h,y+h)−S(x−h,y+h)−S(x+h,y−h)+S(x−h,y−h)}/(4h2)
S(i,j)=Σjj=0,j-1Σii=0,Xs-1Gray(ii,jj)+Σjj=0,iGray(ii,j)
Mean(x,y)={S(x+h,y+h)−S(x−h,y+h)−S(x+h,y−h)+S(x−h,y−h)}/(4h2)
上記〔数式4〕の第1式において、S(i,j)は、先頭の画素(画像の左上端x=0、y=0)から画素(i,j)までの画素値Gray(ii,jj)の全Xs×j+i+1個の累積値である。
図4は、グレースケール眼底画像上の画素(x,y)と平均値Mean(x,y)を算出するための近傍画素との関係を示す図である。大きな太枠で囲ったように、平均値Mean(x,y)を算出するために、左上方の画素(x−h+1,y−h+1)〜右下方の画素(x+h,y+h)の全2h×2h個の画素値を加算する必要がある。この際、画像の先頭の画素から画素(x,y)までの画素値の累積値S(x,y)を〔数式4〕の第1式を用いて算出しておく。すると、前記2h×2h個の近傍画素と、それらの左方に隣接する画素(x−h,y−h+1)〜画素(x−h,y+h)からなる2h個の画素、それらの上方に隣接する画素(x−h+1,y−h)〜画素(x+h,y−h)からなる2h個の画素、およびそれらの左上方に隣接する画素(x−h,y−h)を加えた各画素は、図4に示したような累積値をもつ。
そうすると、平均値Mean(x,y)は、〔数式4〕の第2式に示すように、4つの画素の累積値を加減算するだけの少ない処理負荷で高速に算出することができる。ここで、累積値を加算する4つの画素とは、図4に、小さい太枠で囲った(x+h,y+h)、(x−h,y+h)、(x+h,y−h)、(x−h,y−h)の4画素である。グレースケール眼底画像Gray(x,y)の各画素(x,y)に近傍画素の平均値Mean(x,y)を所定の値Midから減算した値を加算することにより、平坦化画像Gray´(x,y)が得られる。
結局、〔数式4〕に従った処理を実行することにより、画像平坦化手段20は、画像のサイズがXs×Ysである前記グレースケール眼底画像に対して、あらかじめ(0,0)から(Xs−1,y−1)の範囲のXs×y個、および(0,y)から(x,y)の範囲のx+1個からなる全Xs×y+x+1個の画素値の総和を各画素(x,y)における累積値S(x,y)として算出する処理を行い、S(x+h,y+h)−S(x−h,y+h)−S(x+h,y−h)+S(x−h,y−h)の値を、2h×2hで除算した値を平均値として算出している。各画素(x,y)における累積値S(x,y)を事前に算出する処理が余分に加わるが、この計算はXs×Ys回の加算演算だけで行える。これに対して、累積値S(x,y)を用いずに、各画素(x,y)における平均値Mean(x,y)を算出しようとすると、各画素ごとに2h×2h回の加算演算が必要となり、トータルXs×Ys×2h×2h回の加算演算が必要となる。これに対して、累積値S(x,y)を用いれば、各画素ごとに4回の加減算で済み、事前の画像全体の累積値計算を含めてトータルXs×Ys×5回の加減算で完結する。
平坦化画像が得られたら、次に、線状成分強調手段30が、平坦化画像に対して、オープニング処理(収縮・膨張処理)を行って線状成分の強調を行い、線状成分強調画像を得る(ステップS300)。図5は、ステップS300における線状成分強調の処理動作を示すフローチャートである。
まず、線状成分強調手段30は、画像平坦化手段20により得られた平坦化画像に対して、8種の線形構造要素によるオープニング処理を行う(ステップS301)。ステップS301のオープニング処理では、線形構造要素を複数個用いて、複数の線形オープニング画像を作成する。本実施形態では、指定構造要素として8個の線形構造要素を用いる。これは、方向が8方向に異なる線形の構造要素である線形構造要素である。図6は、本実施形態で用いる線形構造要素の一例を示す図である。
図6に示す線形構造要素は、マスクとしての役割を果たすものであるため、二値画像である。そのため、図6において、“0”と表記された画素の値は“0”であるが、“0”以外の数値が表記された画素の値は、8種類の各方向dに応じて“1”となり、他の方向のとき“0”である。図6における“0”以外の数字は方向を示している。“1”は水平方向(図面左右方向)であり、以後数字が1増えるに従って22.5度間隔で方向が変化する。“2” “4”“6”“8”については、画素の格子状配置の関係から、同一数字の列が直線上に配列することができないため、近傍の区画に配置されている。“234”や“678”などの3桁の数字は、それぞれ“2” “3”“4”の3方向、“6”“7”“8”の3方向のいずれかの方向の場合に、画素値が“1”となることを示している。なお、“9”は中心となる画素を示しており、中心となる画素の値は常に“1”である。
図6に示すように、線形構造要素は、円形構造要素の半径Rの2倍の長さで画素幅が1画素であって、22.5度間隔の直線の少なくとも近傍に配置され、8方向を定義したものとなる。実際には、各方向において画素値“1”が与えられる連続する画素は、直線となることが好ましいが、線形構造要素の全体画素数が少ない場合は、必ずしも直線にならない。そのため、図6の例では、“2” “4”“6”“8”で示す方向については、直線ではなく、画素値“1”となる画素は、22.5度間隔の直線の近傍に配置されることになる。
実際に用いる線形構造要素は、中心から半径7画素の条件を追加したものとなる。すなわち、図6に示した線形構造要素と、図7に示した円形構造要素の論理積(AND)をとったものとなる。図7は、本実施形態で用いる円形構造要素の一例を示す図である。図7に示すように、本実施形態では、半径7画素、すなわち中心から距離7画素以下を有効とした15×15のマスク画像の形態である円形構造要素を用いる。図7に示すように、15×15の画素のうち、中心から距離7画素以下の画素値は“1”、その他の中心から距離7を超える画素の画素値は“0”である。図6に示した線形構造要素と、図7に示した円形構造要素の論理積(AND)をとることにより、例えば、方向d=1の場合は、図8に示したような二値のマスク画像が得られる。また、方向d=2の場合は、図9に示したような二値のマスク画像が得られる。図8、図9において、“1”と示されている画素が参照画素である。すなわち、オープニング処理の際に参照される参照画素が定義された(2R+1)×(2R+1)画素の2値画像で、半径Rの円形内部に参照画素が定義され、2R+1の長さで画素幅が1画素であって、22.5度間隔の直線の少なくとも近傍に配置されることにより、8方向が定義されることになる。
図6に示した線形構造要素はM(d,u,v)={0,1}(d=1,・・・,8;u=−R,・・・,0,・・・,R;v=−R,・・・,0,・・・,R)と定義することができる。なお、Rは有効とする半径を示しており、図6の例では、R=7である。また、uは図6における横軸、vは図6における縦軸を、それぞれ示す。線状成分強調手段30は、線形構造要素M(d,u,v)を用いて、上記〔数式3〕に従った処理を実行して得られた平坦化画像Gray´(x,y)に対して、以下の〔数式5〕に従った処理を実行し、収縮画像Eray(x,y)を得る。
〔数式5〕
Eray(d,x,y)=MINu=-R,R;v=-R,R[(255−M(d,u,v)×254)×(Gray´(x+u,y+v)+1)−1]
Eray(d,x,y)=MINu=-R,R;v=-R,R[(255−M(d,u,v)×254)×(Gray´(x+u,y+v)+1)−1]
上記〔数式5〕において、MINは最小値をとることを示しており、MINの添え字の“u=−R,R;v=−R,R”は、u,vが−RからRの範囲における演算を行うことを示している。すなわち、“x=R,・・・,Xs−R−1;y=R,・・・,Ys−R−1“の各画素Gray´(x,y)に対して、“u=−R,R;v=−R,R”の隣接画素内でM(u,v)=1である画素値の最小値に変換を行っている。したがって、図6の例では、線形構造要素の(2R+1)×(2R+1)画素でR=7として225画素を用いて演算を行い、その最小値がEray(x,y)として与えられることになる。
上記〔数式5〕に従った処理を実行して収縮画像Eray(d,x,y)が得られたら、このEray(d,x,y)をGray´(x,y)に置き換えて、上記〔数式5〕に従った処理を繰り返し実行することもできる。繰り返しの回数は、適宜設定することが可能である。ただし、通常は画質劣化を抑えるため、1回に設定し繰り返しは行わない。8つの各方向dについて行うことにより、d=1〜8の8種の収縮画像Eray(d,x,y)が得られる。
収縮処理を繰り返し実行して8種の収縮画像Eray(d,x,y)が得られたら、次に、線状成分強調手段30は、収縮処理に用いた線形構造要素を指定構造要素として用いて膨張処理を行う。具体的には、線形構造要素M(d,u,v)を用いて、収縮画像Eray(d,x,y)に対して、以下の〔数式6〕に従った処理を実行し、膨張後の画像Dray(d,x,y)を得る。
〔数式6〕
Dray(d,x,y)=MAXu=-R,R;v=-R,R[M(d,u,v)×Eray(d,x+u,y+v)]
Dray(d,x,y)=MAXu=-R,R;v=-R,R[M(d,u,v)×Eray(d,x+u,y+v)]
上記〔数式6〕において、MAXは最大値をとることを示しており、MAXの添え字の“u=−R,R;v=−R,R”は、u,vが−RからRの範囲における演算を行うことを示している。すなわち、“x=R,・・・,Xs−R−1;y=R,・・・,Ys−R−1“の各画素Eray(d,x,y)に対して、“u=−R,R;v=−R,R”の隣接画素内でM(d,u,v)=1である画素値の最大値に変換を行っている。したがって、図6の例では、線形構造要素の(2R+1)×(2R+1)画素として225画素を用いて演算を行い、その最大値がDray(d,x,y)として与えられることになる。
上記〔数式6〕に従った処理を実行して膨張後の画像Dray(d,x,y)が得られたら、このDray(d,x,y)をEray(d,x,y)に置き換えて、上記〔数式6〕に従った処理を繰り返し実行することもできる。繰り返しの回数は、収縮処理の繰り返しの回数と同じ回数にする必要があり、通常は収縮処理とも1回に設定し繰り返しは行わない。8つの各方向dについて行うことにより、d=1〜8の8種の膨張後の画像Dray(d,x,y)が得られる。収縮および膨張を行った結果得られる画像は、線形オープニング画像Dray(d,x,y)として得られる。
次に、線状成分強調手段30は、8種の線形オープニング画像の最大値の画像を作成する処理を行う(ステップS302)。具体的には、以下の〔数式7〕に従った処理を実行し、最大値の画像である線状成分強調画像Lray(x,y)を得る。
〔数式7〕
Lray(x,y)=MAXd=1,8Dray(d,x,y)
Lray(x,y)=MAXd=1,8Dray(d,x,y)
上記〔数式7〕において、MAXは最大値をとることを示しており、MAXの添え字の“d=1,8”は、8種の全ての線形オープニング画像Dray(d,x,y)における演算を行うことを示している。すなわち、各画素(x,y)について、8種の線形オープニング画像Dray(d,x,y)の最大値を取得する処理を行っている。この結果、最大値の画像である線状成分強調画像Lray(x,y)が得られる。
線状成分強調画像が得られたら、次に、画素階調変換手段40が、線状成分強調画像に対して、階調変換(コントラスト補正)を行い、血管強調画像を得る(ステップS400)。具体的には、まず、画素階調変換手段40は、0〜255の値をもつ、線状成分強調画像Lray(x,y)のXs×Ys個の全画素について、画素値vの度数分布H(v)(v=0,・・・,255)を求める。そして、以下の〔数式8〕に示す条件を満たす最小値vminを求める。
〔数式8〕
Σv=0,vminH(v)≧(Xs×Ys)×α
Σv=0,vminH(v)≧(Xs×Ys)×α
上記〔数式8〕において、Σの添え字の“v=0,vmin”は、vが0からvminまでの総和を求めることを示している。したがって、上記〔数式8〕に示す条件とは、全画素数(Xs×Ys)のうち、およそ比率α×100%の画素が、画素値vmin以下の画素値となることを示している。比率αとしては、眼底画像中に含まれる血管以外の領域の比率を与える必要があり、この比率は取得された眼底画像ごとに変動するが、平均的には0.7〜0.9、典型的な例として0.8と設定することが好ましい。結局、〔数式8〕を用いることにより、線状成分強調画像に含まれる非血管候補領域と血管候補領域とを判別する画素値のしきい値として、線状成分強調画像の最小画素値v=0から数えて画素数の総和が線状成分強調画像の全画素数の所定の比率αを超える画素値のうち最小の画素値vminを特定することができる。
上記〔数式8〕に示す条件を満たす最小値vminが求められたら、次に、画素階調変換手段40は、x=0,・・・,Xs−1;y=0,・・・,Ys−1の全画素に対して、以下の〔数式9〕に従った処理を実行し、コントラスト補正を行い、血管強調画像Tray(x,y)を得る。
〔数式9〕
Tray(x,y)={Lray(x,y)−vmin}×255×β/(255−vmin)
Tray(x,y)={Lray(x,y)−vmin}×255×β/(255−vmin)
上記〔数式9〕において、βは輝度スケーリング値である。輝度スケーリング値βとしては、任意に設定することができるが、設定された比率αに依存するため、α=0.8に設定した場合、好ましくは70〜90、特に好ましい例として80とすることができる。すなわち、βはαの100倍程度に設定することが好ましい。
Tray(x,y)は画素値であるため、〔数式9〕の結果が負の値となった場合には、Tray(x,y)=0と置き換える。したがって、所定の条件Lray(x,y)>vminを満たさない画素は、最小値“0”に置き換えられ、所定の条件Lray(x,y)>vminを満たす画素は、最小値“0”より大きい値“1”から最大値の範囲になるようにTray(x,y)の画素値が設定される。Tray(x,y)においては、階調の最小値である“0”が血管候補領域外を示し、血管候補領域は“1”以上、“255”以下となる。血管候補領域の最小値は、階調の最小値付近の値が設定される。本実施形態では、階調の最小値付近の値として、階調の最小値+1を設定しているが、それ以上であってもよい。もちろん、血管領域のコントラストを高くするため、階調の最小値+1であることが好ましい。
所定の条件Lray(x,y)>vminを満たさない画素を最小値に設定する場合、上述のように“0”とすることが好ましいが、“0”以外の値であってもよい。眼底領域は一般に円形をしているため、矩形形状の眼底画像には非眼底領域も含まれるため、非眼底領域を“0”に設定し、眼底領域内の非血管候補領域を“1”に設定し、眼底領域内の血管候補領域を“2”〜“255”に設定することもできる。コントラストを高くすることが目的であるため、当然のことながら、血管候補領域における最小値は“0”に近い値にすることが好ましい。
本実施形態では、8種類の方向に従って8種の線形オープニング画像に対して処理を行うため、22.5度の均等間隔で変更させた各方向に均等に粒状成分の抽出を抑えることができる。作成する画像の数も方向に応じた8個だけであるため、演算処理の負荷を抑えることができる。
<3.画像変換事例>
図10〜図15を用いて画像変換事例について説明する。図10、図11は、症例1である。図10(a)は、健常者の眼底を撮影することにより得られたフルカラー眼底画像である。図10(b)、図10(c)、図10(d)、図11(a)は比較例、図11(b)は本発明による実施例である。図10(b)は、GBの相乗平均を反映させてグレースケール化(色変換)を行い、トップハット変換を行い、本願と同様な画素階調変換を行った比較例である。GBの相乗平均とは、フルカラー眼底画像の各画素のG成分とB成分を反転させた成分との積の平方根をとることである。トップハット変換とは、一般にオープニング処理により得られたオープニング画像を元画像から減じる処理を指すが、図10・12・14の例では、グレースケール変換した画像に対して、本願と同様に8種の線形構造要素を用いてオープニング処理を行い線状成分抽出画像を作成し、線状成分抽出画像に対して図7に示される円形構造要素を用いてオープニング処理を行い非線状成分平滑化画像を作成し、線状成分抽出画像から非線状成分平滑化画像を減算する処理を行ったものである。画素階調変換は本願と同様で輝度スケーリング値βを20に設定したものである。図10(c)は、本願と同様にG成分のみを反映させてグレースケール化を行い、トップハット変換を行い、画素階調変換を行った比較例である。画素階調変換は本願と同様で輝度スケーリング値βを20に設定したものである。健常者の眼底では、図10(c)に比べ図10(b)のようにGBの相乗平均を反映させてグレースケール化を行った方が、比較的良好に血管を抽出できることがわかる。図10(d)は、図10(b)と同様な処理を行い、画素階調変換の輝度スケーリング値βを80に上げた比較例である。図10(b)に比べ血管抽出率は向上しているが、併せて粒状成分も増大し不鮮明になっている。図11(a)は、G成分のみを反映させてグレースケール化を行い、画像平坦化を行い、輝度スケーリング値βを80にして画素階調変換を行った比較例である。図11(b)は、G成分のみを反映させてグレースケール化を行い、画像平坦化およびオープニング処理を行い、輝度スケーリング値βを80にして画素階調変換を行った本発明の実施例である。
図10〜図15を用いて画像変換事例について説明する。図10、図11は、症例1である。図10(a)は、健常者の眼底を撮影することにより得られたフルカラー眼底画像である。図10(b)、図10(c)、図10(d)、図11(a)は比較例、図11(b)は本発明による実施例である。図10(b)は、GBの相乗平均を反映させてグレースケール化(色変換)を行い、トップハット変換を行い、本願と同様な画素階調変換を行った比較例である。GBの相乗平均とは、フルカラー眼底画像の各画素のG成分とB成分を反転させた成分との積の平方根をとることである。トップハット変換とは、一般にオープニング処理により得られたオープニング画像を元画像から減じる処理を指すが、図10・12・14の例では、グレースケール変換した画像に対して、本願と同様に8種の線形構造要素を用いてオープニング処理を行い線状成分抽出画像を作成し、線状成分抽出画像に対して図7に示される円形構造要素を用いてオープニング処理を行い非線状成分平滑化画像を作成し、線状成分抽出画像から非線状成分平滑化画像を減算する処理を行ったものである。画素階調変換は本願と同様で輝度スケーリング値βを20に設定したものである。図10(c)は、本願と同様にG成分のみを反映させてグレースケール化を行い、トップハット変換を行い、画素階調変換を行った比較例である。画素階調変換は本願と同様で輝度スケーリング値βを20に設定したものである。健常者の眼底では、図10(c)に比べ図10(b)のようにGBの相乗平均を反映させてグレースケール化を行った方が、比較的良好に血管を抽出できることがわかる。図10(d)は、図10(b)と同様な処理を行い、画素階調変換の輝度スケーリング値βを80に上げた比較例である。図10(b)に比べ血管抽出率は向上しているが、併せて粒状成分も増大し不鮮明になっている。図11(a)は、G成分のみを反映させてグレースケール化を行い、画像平坦化を行い、輝度スケーリング値βを80にして画素階調変換を行った比較例である。図11(b)は、G成分のみを反映させてグレースケール化を行い、画像平坦化およびオープニング処理を行い、輝度スケーリング値βを80にして画素階調変換を行った本発明の実施例である。
図10(b)〜(d)の各比較例と比較すると、画像平坦化を行った図11(a)(b)の例では、眼底全体に渡って血管が均一に抽出されていることがわかる。特に、画像平坦化とオープニング処理を行った図11(b)に示す本発明の実施例では、図11(a)に示したオープニング処理を行わない比較例に比べて粒状成分を抑圧できることがわかる。
図12、図13は、症例2である。図12(a)は、白内障患者の眼底を撮影することにより得られたフルカラー眼底画像である。図12(b)、図12(c)、図12(d)、図13(a)は比較例、図13(b)は本発明による実施例である。図12(b)は、GBの相乗平均を反映させてグレースケール化(色変換)を行い、トップハット変換を行い、輝度スケーリング値βを20にして画素階調変換を行った比較例である。図12(c)は、G成分のみを反映させてグレースケール化を行い、トップハット変換を行い、輝度スケーリング値βを20にして画素階調変換を行った比較例である。白内障の眼底では、図12(b)に比べ図12(c)のようにG成分のみを反映させてグレースケール化を行った方が、比較的良好に血管を抽出できることがわかる。図12(d)は、図12(c)と同様な処理を行い、画素階調変換の輝度スケーリング値βを80に上げた比較例である。図12(c)に比べ血管抽出率は向上しているが、併せて粒状成分も増大し不鮮明になっている。図13(a)は、G成分のみを反映させてグレースケール化を行い、画像平坦化を行い、輝度スケーリング値βを80にして画素階調変換を行った比較例である。図13(b)は、G成分のみを反映させてグレースケール化を行い、画像平坦化およびオープニング処理を行い、輝度スケーリング値βを80にして画素階調変換を行った本発明の実施例である。
図12(b)〜(d)の各比較例と比較すると、画像平坦化を行った図13(a)(b)の例では、眼底全体に渡って血管が均一に抽出されていることがわかる。特に、画像平坦化とオープニング処理を行った図13(b)に示す本発明の実施例では、図13(a)に示したオープニング処理を行わない比較例に比べて粒状成分を抑圧できることがわかる。
図14、図15は、症例3である。図14(a)は、図12(a)よりもさらに進行した白内障患者の眼底を撮影することにより得られたフルカラー眼底画像である。図14(b)、図14(c)、図14(d)、図15(a)は比較例、図15(b)は本発明による実施例である。図14(b)は、GBの相乗平均を反映させてグレースケール化(色変換)を行い、トップハット変換を行い、輝度スケーリング値βを20にして画素階調変換を行った比較例である。図14(c)は、G成分のみを反映させてグレースケール化を行い、トップハット変換を行い、輝度スケーリング値βを20にして画素階調変換を行った比較例である。進行した白内障の眼底でも、図14(b)に比べ図14(c)のようにG成分のみを反映させてグレースケール化を行った方が、比較的良好に血管を抽出できることがわかる。図14(d)は、図14(c)と同様な処理を行い、画素階調変換の輝度スケーリング値βを80に上げた比較例である。図14(c)に比べ血管抽出率は向上しているが、併せて粒状成分も増大し不鮮明になっている。図15(a)は、G成分のみを反映させてグレースケール化を行い、画像平坦化を行い、輝度スケーリング値βを80にして画素階調変換を行った比較例である。図15(b)は、Gの成分みを反映させてグレースケール化を行い、画像平坦化およびオープニング処理を行い、輝度スケーリング値βを80にして画素階調変換を行った本発明の実施例である。
図14(b)〜(d)の各比較例と比較すると、画像平坦化を行った図15(a)(b)の例では、眼底全体に渡って血管が均一に抽出されていることがわかる。特に、画像平坦化とオープニング処理を行った図15(b)に示す本発明の実施例では、図15(a)に示したオープニング処理を行わない比較例に比べて粒状成分を抑圧できることがわかる。図10、図12、図14の比較例においては、トップハット変換と呼ばれる処理を行っている。トップハット変換は、撮影時の照明ムラ(光源ムラ)の均一化などに利用される。球体に近い眼球を撮影する際には、照明ムラの発生は避けて通れないものである。しかし、健常者と白内障の色成分の相違による影響を受け、前段でのグレースケール変換において、健常者ではGBの相乗平均を反映させる方法、白内障ではG成分のみを反映させる方法を使い分ける必要があった。本発明のように、画像平坦化とオープニング処理を組み合わせることにより、健常者と白内障の色成分の相違による影響を吸収することができ、前段でのグレースケール変換においては、健常者であるか白内障であるかを問わず、G成分のみを反映させる方法に固定化できる。
<4.変形例等>
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されず、種々の変形が可能である。例えば、上記実施形態では、線形構造要素においてd=1・・・8として8方向を設定したが、図6に示す線形構造要素の半径Rを6以下にし、方向の種類を7方向以下に削減するか、線形構造要素の半径Rを8以上にし、方向の種類を9方向以上に拡充し、より粗いまたは細かい角度ステップで線形オープニング画像を作成するようにしてもよい。
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されず、種々の変形が可能である。例えば、上記実施形態では、線形構造要素においてd=1・・・8として8方向を設定したが、図6に示す線形構造要素の半径Rを6以下にし、方向の種類を7方向以下に削減するか、線形構造要素の半径Rを8以上にし、方向の種類を9方向以上に拡充し、より粗いまたは細かい角度ステップで線形オープニング画像を作成するようにしてもよい。
また、上記実施形態では、撮影により得られた眼底画像としてフルカラー画像を用いたが、近年業務用のデジタルカメラの階調は10ビット以上に拡大しており、各色1024階調等のフルカラー画像を取得することも可能になっており、より階調数の多いカラー画像を用いてもよい。
また、上記実施形態では、グレースケール変換を行う際、カラー眼底画像から単一の色成分を抽出するようにしたが、上記実施形態に限定されず、公知の様々な手法を用いてグレースケール変換するようにしてもよい。例えば、各画素のG成分と、B成分をネガポジ反転したものの相乗平均値を求め、この値を反映させたグレースケール画像を得るようにしても良い。この場合、カラー眼底画像から1以上の色成分を抽出し、抽出した色成分のうち少なくとも1つの色成分が大きい程、画素値が小さくなるように変換してグレースケール眼底画像を得る。ただし、上記実施形態のように、単一の色成分としてG成分を用いたグレースケール変換を行うことにより、健常者、白内障患者の区別を行うことなく、的確な血管強調画像を得ることが可能となるため、単一の色成分としてG成分を用いることが好ましい。
また、上記実施形態では、グレースケール変換の際、ネガポジ反転することにより、グレースケール眼底画像を得るようにしたが、ネガポジ反転を行わない状態のものをグレースケール眼底画像としてもよい。ネガポジ反転を行わない状態のものをグレースケール眼底画像とした場合、ステップS400における血管強調の際、画素値の大小を逆転したものを用いる。すなわち、画素値の度数分布を算出し、線状成分強調画像の最大画素値から数えて画素数の総和が線状成分強調画像の全画素数の所定の比率を超える画素値のうち最大の画素値を、線状成分強調画像に含まれる非血管候補領域と血管候補領域とを判別する画素値のしきい値として設定し、前記しきい値以上の画素値が最大値になるように置き換え、線状成分強調画像においてこの条件にあてはばらない画素値が、階調の最大値付近の値から最小値の範囲になるように画素の階調を補正する。
1・・・CPU(Central Processing Unit)
2・・・RAM(Random Access Memory)
3・・・記憶装置
4・・・キー入力I/F
5・・・データ入出力I/F
6・・・表示部
10・・・グレースケール変換手段
20・・・画像平坦化手段
30・・・線状成分強調手段
40・・・画素階調変換手段
50・・・眼底画像記憶手段
60・・・血管強調画像記憶手段
100・・・眼底画像処理装置
2・・・RAM(Random Access Memory)
3・・・記憶装置
4・・・キー入力I/F
5・・・データ入出力I/F
6・・・表示部
10・・・グレースケール変換手段
20・・・画像平坦化手段
30・・・線状成分強調手段
40・・・画素階調変換手段
50・・・眼底画像記憶手段
60・・・血管強調画像記憶手段
100・・・眼底画像処理装置
Claims (8)
- カラー眼底画像を処理して血管領域を強調するための装置であって、
前記カラー眼底画像が有する色成分のうち少なくとも1つの色成分に基づいてグレースケール眼底画像を得るグレースケール変換手段と、
前記グレースケール眼底画像の各画素に対して、所定の範囲に含まれる近傍画素の画素値の平均値を算出し、当該画素の画素値に所定の値から前記平均値を減算した値を加算することにより、平坦化画像を作成する画像平坦化手段と、
前記平坦化画像に対して、所定の構造要素を用いてオープニング処理を行い血管候補領域の輝度を一定以上に揃えた線状成分強調画像を作成する線状成分強調手段と、
前記線状成分強調画像において、所定の条件を満たさない画素値を、変換後の血管強調画像の階調の最小値になるように置き換え、前記所定の条件を満たす画素値が、階調の最小値付近の値から最大値の範囲になるように画素の階調を補正し、血管強調画像を作成する画素階調変換手段と、
を有することを特徴とする眼底画像処理装置。 - 前記グレースケール変換手段は、RGB3原色成分からなる前記カラー眼底画像のG成分を単一の色成分として抽出するものであり、当該値が0から255の値をとるとき、当該値を255から減算した値に変換して前記グレースケール眼底画像を得ることを特徴とする請求項1に記載の眼底画像処理装置。
- 前記画像平坦化手段は、前記グレースケール眼底画像の各画素(x,y)に対して、前記近傍画素として(x−h+1,y−h+1)から(x+h,y+h)までの2h×2h個の画素を用い(hは1以上の整数)、画素値が0〜255の値を取り得るとき、前記所定の値として128を用いることを特徴とする請求項1または請求項2に記載の眼底画像処理装置。
- 前記画像平坦化手段は、画像のサイズがXs×Ysである前記グレースケール眼底画像に対して、あらかじめ(0,0)から(Xs−1,y−1)の範囲のXs×y個、および(0,y)から(x,y)の範囲のx+1個からなる全Xs×y+x+1個の画素値の総和を各画素(x,y)における累積値S(x,y)として算出する処理を行い、S(x+h,y+h)−S(x−h,y+h)−S(x+h,y−h)+S(x−h,y−h)の値を、2h×2hで除算した値を前記平均値とすることを特徴とする請求項3に記載の眼底画像処理装置。
- 前記線状成分強調手段は、前記平坦化画像に対して、方向が異なる線形の構造要素である線形構造要素を複数個用いてオープニング処理を行い複数の線形オープニング画像を作成し、得られた複数の線形オープニング画像より画素ごとの最大値を画素値として与えることにより、前記線状成分強調画像を作成することを特徴とする請求項1から請求項4のいずれか一項に記載の眼底画像処理装置。
- 前記線形構造要素は、オープニング処理の際に参照される参照画素が定義された(2R+1)×(2R+1)画素の2値画像で、半径Rの円形内部に参照画素が定義され、2R+1の長さで画素幅が1画素であって、22.5度間隔の直線の少なくとも近傍に配置されることにより、8方向を定義していることを特徴とする請求項5に記載の眼底画像処理装置。
- 前記画素階調変換手段は、
前記所定の条件を満たす画素値として所定のしきい値を超える画素値とし、前記線状成分強調画像に対して、画素値の度数分布を算出し、前記線状成分強調画像の最小画素値から数えて画素数の総和が前記線状成分強調画像の全画素数の所定の比率を超える画素値のうち最小の画素値を前記所定のしきい値に設定することを特徴とする請求項1から請求項6のいずれか一項に記載の眼底画像処理装置。 - コンピュータを、請求項1から請求項7のいずれか一項に記載の眼底画像処理装置として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016157402A JP2018023602A (ja) | 2016-08-10 | 2016-08-10 | 眼底画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016157402A JP2018023602A (ja) | 2016-08-10 | 2016-08-10 | 眼底画像処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018023602A true JP2018023602A (ja) | 2018-02-15 |
Family
ID=61193742
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016157402A Pending JP2018023602A (ja) | 2016-08-10 | 2016-08-10 | 眼底画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018023602A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111064861A (zh) * | 2018-10-17 | 2020-04-24 | 夏普株式会社 | 原稿读取装置及包括该原稿读取装置的图像形成装置 |
WO2022270291A1 (ja) * | 2021-06-21 | 2022-12-29 | パナソニックIpマネジメント株式会社 | 画像処理装置及び画像処理方法 |
JP2023501624A (ja) * | 2020-02-10 | 2023-01-18 | メディピクセル インコーポレイテッド | 血管映像に基づいた主要血管領域抽出方法及び装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0362179A (ja) * | 1989-07-28 | 1991-03-18 | Canon Inc | 画像処理装置 |
JP2010200940A (ja) * | 2009-03-03 | 2010-09-16 | Hoya Corp | 画像処理装置および内視鏡装置 |
JP2010279439A (ja) * | 2009-06-02 | 2010-12-16 | Canon Inc | 画像処理装置及びその制御方法、コンピュータプログラム |
JP2011248479A (ja) * | 2010-05-24 | 2011-12-08 | Canon Inc | 画像処理装置、画像処理方法、およびプログラム |
JP2016107097A (ja) * | 2014-12-05 | 2016-06-20 | 株式会社リコー | 網膜血管抽出のための方法、プログラム及びシステム |
JP2016140518A (ja) * | 2015-01-30 | 2016-08-08 | キヤノン株式会社 | 断層撮像装置、断層撮像方法、およびプログラム |
-
2016
- 2016-08-10 JP JP2016157402A patent/JP2018023602A/ja active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0362179A (ja) * | 1989-07-28 | 1991-03-18 | Canon Inc | 画像処理装置 |
JP2010200940A (ja) * | 2009-03-03 | 2010-09-16 | Hoya Corp | 画像処理装置および内視鏡装置 |
JP2010279439A (ja) * | 2009-06-02 | 2010-12-16 | Canon Inc | 画像処理装置及びその制御方法、コンピュータプログラム |
JP2011248479A (ja) * | 2010-05-24 | 2011-12-08 | Canon Inc | 画像処理装置、画像処理方法、およびプログラム |
JP2016107097A (ja) * | 2014-12-05 | 2016-06-20 | 株式会社リコー | 網膜血管抽出のための方法、プログラム及びシステム |
JP2016140518A (ja) * | 2015-01-30 | 2016-08-08 | キヤノン株式会社 | 断層撮像装置、断層撮像方法、およびプログラム |
Non-Patent Citations (2)
Title |
---|
MODEGI TOSHIO ET AL.: ""Comparative Analysis of Retinal Fundus Images with the Distant Past Images Using a Vessel Extractio", INNOVATION IN MEDICINE AND HEALTHCARE 2015, JPN6020019052, 12 August 2015 (2015-08-12), pages 565 - 574, ISSN: 0004405615 * |
SHAMI FOROOGH ET AL.: ""Better detection of retinal abnormalities by accurate detection of blood vessels in retina"", 2014 22ND IRANIAN CONFERENCE ON ELECTRICAL ENGINEERING (ICEE), JPN6020019053, 22 May 2014 (2014-05-22), pages 1493 - 1496, XP032699703, ISSN: 0004405616, DOI: 10.1109/IranianCEE.2014.6999770 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111064861A (zh) * | 2018-10-17 | 2020-04-24 | 夏普株式会社 | 原稿读取装置及包括该原稿读取装置的图像形成装置 |
CN111064861B (zh) * | 2018-10-17 | 2022-03-04 | 夏普株式会社 | 原稿读取装置及包括该原稿读取装置的图像形成装置 |
JP2023501624A (ja) * | 2020-02-10 | 2023-01-18 | メディピクセル インコーポレイテッド | 血管映像に基づいた主要血管領域抽出方法及び装置 |
US11756195B2 (en) | 2020-02-10 | 2023-09-12 | Medipixel, Inc. | Method and device for extracting major vessel region on basis of vessel image |
JP7362167B2 (ja) | 2020-02-10 | 2023-10-17 | メディピクセル インコーポレイテッド | 血管映像に基づいた主要血管領域抽出方法及び装置 |
WO2022270291A1 (ja) * | 2021-06-21 | 2022-12-29 | パナソニックIpマネジメント株式会社 | 画像処理装置及び画像処理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020199593A1 (zh) | 图像分割模型训练方法、图像分割方法、装置、设备及介质 | |
US9361667B2 (en) | Image processing apparatus and method | |
JP2018171177A (ja) | 眼底画像処理装置 | |
Odstrcilik et al. | Thickness related textural properties of retinal nerve fiber layer in color fundus images | |
Luo et al. | Dehaze of cataractous retinal images using an unpaired generative adversarial network | |
Hsu et al. | Medical image enhancement using modified color histogram equalization | |
CN109816666B (zh) | 对称全卷积神经网络模型构建方法、眼底图像血管分割方法、装置、计算机设备及存储介质 | |
US11887299B2 (en) | Image processing system and image processing method | |
JP2018114031A (ja) | 眼底画像処理装置 | |
CN113870270B (zh) | 一种统一框架下的眼底影像视杯、视盘分割方法 | |
JP2018023602A (ja) | 眼底画像処理装置 | |
CN109215039B (zh) | 一种基于神经网络的眼底图片的处理方法 | |
Gao et al. | An open-source deep learning network for reconstruction of high-resolution oct angiograms of retinal intermediate and deep capillary plexuses | |
Wan Mustapa et al. | Conversion of the retinal image using gray world technique | |
JP2008284005A (ja) | 画像処理装置、画像処理システム、画像処理方法 | |
JP2018102586A (ja) | 眼底画像処理装置 | |
Naveen et al. | Diabetic retinopathy detection using image processing | |
KR20200046775A (ko) | Ct 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치 및 방법 | |
Devi et al. | Dehazing buried tissues in retinal fundus images using a multiple radiance pre-processing with deep learning based multiple feature-fusion | |
CN117314872A (zh) | 一种视网膜图像的智能分割方法及装置 | |
JP2018201629A (ja) | 眼底画像処理装置 | |
JP2001344601A (ja) | 画像処理装置及び画像処理プログラム | |
CN115908274A (zh) | 一种病灶检测的装置、设备及介质 | |
CN110415231A (zh) | 一种基于注意力先验网络的cnv分割方法 | |
JP6439515B2 (ja) | 眼底画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190626 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200422 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200609 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20201215 |