JP2017018177A - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP2017018177A JP2017018177A JP2015136387A JP2015136387A JP2017018177A JP 2017018177 A JP2017018177 A JP 2017018177A JP 2015136387 A JP2015136387 A JP 2015136387A JP 2015136387 A JP2015136387 A JP 2015136387A JP 2017018177 A JP2017018177 A JP 2017018177A
- Authority
- JP
- Japan
- Prior art keywords
- blood vessel
- image
- vessel wall
- wall
- boundary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 138
- 238000003672 processing method Methods 0.000 title claims description 9
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 164
- 238000009499 grossing Methods 0.000 claims abstract description 97
- 238000000034 method Methods 0.000 claims description 108
- 230000008569 process Effects 0.000 claims description 57
- 239000012528 membrane Substances 0.000 claims description 33
- 230000004069 differentiation Effects 0.000 claims description 30
- 230000002792 vascular Effects 0.000 claims description 12
- 210000001210 retinal vessel Anatomy 0.000 description 29
- 230000003287 optical effect Effects 0.000 description 23
- 238000005259 measurement Methods 0.000 description 13
- 230000003044 adaptive effect Effects 0.000 description 11
- 210000001927 retinal artery Anatomy 0.000 description 10
- 230000004075 alteration Effects 0.000 description 9
- 210000004027 cell Anatomy 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 230000000877 morphologic effect Effects 0.000 description 7
- 210000001525 retina Anatomy 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 230000010365 information processing Effects 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 210000000608 photoreceptor cell Anatomy 0.000 description 4
- 206010020772 Hypertension Diseases 0.000 description 3
- 210000002565 arteriole Anatomy 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 210000004126 nerve fiber Anatomy 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 210000001367 artery Anatomy 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000035475 disorder Diseases 0.000 description 2
- 210000000624 ear auricle Anatomy 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- 210000000329 smooth muscle myocyte Anatomy 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- WBMKMLWMIQUJDP-STHHAXOLSA-N (4R,4aS,7aR,12bS)-4a,9-dihydroxy-3-prop-2-ynyl-2,4,5,6,7a,13-hexahydro-1H-4,12-methanobenzofuro[3,2-e]isoquinolin-7-one hydrochloride Chemical compound Cl.Oc1ccc2C[C@H]3N(CC#C)CC[C@@]45[C@@H](Oc1c24)C(=O)CC[C@@]35O WBMKMLWMIQUJDP-STHHAXOLSA-N 0.000 description 1
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 201000004569 Blindness Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 239000002220 antihypertensive agent Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 210000000601 blood cell Anatomy 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 210000002808 connective tissue Anatomy 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 210000000265 leukocyte Anatomy 0.000 description 1
- 238000007491 morphometric analysis Methods 0.000 description 1
- 210000003733 optic disk Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 210000002460 smooth muscle Anatomy 0.000 description 1
- 230000008719 thickening Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 230000004382 visual function Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/1025—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for confocal scanning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
- A61B3/1241—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes specially adapted for observation of ocular blood flow, e.g. by fluorescein angiography
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Ophthalmology & Optometry (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Vascular Medicine (AREA)
- Hematology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Signal Processing (AREA)
- Eye Examination Apparatus (AREA)
Abstract
【解決手段】 画像処理装置は、被検眼の眼底画像の血管領域を横断する少なくとも1つの方向における輝度分布に対して、第1のサイズ毎に第1の平滑化処理を行い、第1のサイズよりも小さな第2のサイズ毎に第2の平滑化処理を行う処理手段と、第1の平滑化処理を行って得た輝度分布に基づいて、眼底画像における血管壁の位置を特定する第1の特定手段と、第2の平滑化処理を行って得た輝度分布に基づいて、眼底画像における血管壁の内側境界の位置及び外側境界の位置を特定する第2の特定手段と、を有する。
【選択図】 図7
Description
被検眼の眼底画像の血管領域を横断する少なくとも1つの方向における輝度分布に対して、第1のサイズ毎に第1の平滑化処理を行い、前記第1のサイズよりも小さな第2のサイズ毎に第2の平滑化処理を行う処理手段と、
前記第1の平滑化処理を行って得た輝度分布に基づいて、前記眼底画像における血管壁の位置を特定する第1の特定手段と、
前記第2の平滑化処理を行って得た輝度分布に基づいて、前記眼底画像における前記血管壁の内側境界の位置及び外側境界の位置を特定する第2の特定手段と、を有する。
また、本発明に係る画像処理方法の一つは、
被検眼の眼底画像の血管領域を横断する少なくとも1つの方向における輝度分布に対して、第1のサイズ毎に第1の平滑化処理を行い、前記第1のサイズよりも小さな第2のサイズ毎に第2の平滑化処理を行う処理工程と、
前記第1の平滑化処理を行って得た輝度分布に基づいて、前記眼底画像における血管壁の位置を特定する第1の特定工程と、
前記第2の平滑化処理を行って得た輝度分布に基づいて、前記眼底画像における前記血管壁の内側境界の位置及び外側境界の位置を特定する第2の特定工程と、を有する。
以下、添付図面に従って本発明に係る画像処理装置、画像処理方法の好ましい実施形態について詳説する。ただし本発明はこれに限定されるものではない。
本実施形態に係る画像処理装置は、共焦点画像と非共焦点画像を取得するSLO装置を用いて撮影した網膜血管壁の画像を異なるスケール(サイズ)で平滑化微分した画像において、網膜血管を横断する方向で取得した輝度プロファイル(輝度分布)上の特徴点に基づき壁境界を特定する。
図2は本実施形態に係る画像処理装置10を含むシステムの構成図である。図2に示すように画像処理装置10は、SLO像撮像装置20やデータサーバ40、時相データ取得装置50と、光ファイバ、USBやIEEE1394等で構成されるローカル・エリア・ネットワーク(LAN)30を介して接続されている。なおこれらの機器との接続は、インターネット等の外部ネットワークを介して接続される構成であってもよいし、あるいは画像処理装置10と直接接続されている構成であってもよい。
画像取得部110はSLO像撮像装置20に対して高倍率画像(共焦点画像Dcj、非共焦点画像DnrkおよびDnlk)の取得を要求する。また、これらの画像に対応する固視標位置Fl、Fcnの取得を要求する。SLO像撮像装置20は該取得要求に応じて広画角画像Dl、共焦点画像Dcjや非共焦点画像Dnrk、Dnlk、対応する属性データ及び固視標位置Fl、Fcnを取得し送信する。画像取得部110はSLO像撮像装置20からLAN30を介して当該広画角画像Dl、共焦点画像Dcj、非共焦点画像Dnrk、Dnlk、固視標位置Fl、Fcnを受信し、記憶部120に格納する。
a)Rチャンネル画像とLチャンネル画像の加算平均画像Dnr+l(図6(g))
b)非共焦点画像に関する差分強調処理((L−R)/(R+L))を行ったSplit Detector画像Dns(図6(f))
のいずれかを用いて血管壁の観察や、血管壁に関する計測処理を行ってもよい。
画像処理部130は、取得された画像のフレーム間位置合わせを行う。次に、画像処理部130は、各フレームの輝度値やノイズ、基準フレームとの間の変位量に基づいて例外フレームを判定する。
i)画像処理部130は、位置合わせの基準となる基準フレームを設定する。本実施形態では、最もフレーム番号の小さいフレームを基準フレームとする。なお、基準フレームの設定法はこれに限るものではなく、任意の設定法を用いて良い。
ii)画像処理部130は、フレーム間の大まかな位置の対応付け(粗位置合わせ)を行う。任意の位置合わせ手法を利用できるが、本実施形態では、画像間類似度評価関数として相関係数、座標変換手法としてAffine変換を用いて粗位置合わせを行う。
iii)画像処理部130は、フレーム間の大まかな位置の対応関係のデータに基づいて精密位置合わせを行う。
第1の特定部の一例である概略特徴特定部1331が、以下の手順で血管壁の概略位置を特定する。
i)S520でフレーム間位置合わせ済みの非共焦点動画像を重ね合わせ処理した上で大小2種類のスケール(サイズ)で平滑化処理を行う。また、該平滑化処理を行って得た画像に対して微分処理を行うことで平滑化微分画像を生成する。なお、本実施形態では、画像全体に平滑化処理を行っているが、眼底画像の血管領域を横断する少なくとも1つの方向における輝度分布に対して平滑化処理が行われれば良い。また、眼底画像の互いに垂直な2つの方向に対して微分処理が行われれば良いが、血管領域を横断する方向における輝度分布に対して微分処理を行う際には、横断する方向に沿って微分処理を行えば良い。
ii)i)で生成して得た平滑化微分画像のうち、小さいスケールで平滑化して微分処理して得た平滑化微分画像に対してモルフォロジーフィルタを適用して網膜血管の中心線を検出する。
iii)i)で生成した平滑化微分画像のうち、第1のサイズである大きなスケール(大きなフィルタのサイズ、大きなフィルタ係数)で第1の平滑化処理を行い、該第1の平滑化処理を行って得た画像に対して第1の微分処理を行う。また、該第1の微分処理を行って得た平滑化微分画像における該血管中心線上の各位置で、該血管中心線に略垂直な線分上での輝度プロファイル(輝度分布)を取得する。
iv)iii)で生成した輝度プロファイル上で右方向に最大値、左方向に最小値検出を行い、壁の概略位置を特定する。さらに第1の血管壁・第2の血管壁の一例である左壁・右壁の概略位置候補点列を各々グルーピングした上で、各壁の概略位置候補点から血管中心線までの距離を算出する。各グループ内で該距離値に関して上位・下位の所定割合を外れ値とみなし、該外れ値を持つ壁の概略位置候補点を除去して残った壁の概略位置候補点列を壁の走行方向に補間する。なお、外れ値判定法は本実施形態のように中心線からの距離値に基づく手法に限定されるものではなく、任意の公知の外れ値判定法を用いてよい。
第2の特定部の一例である壁特徴特定部1332が、以下の手順で血管壁境界位置を特定する。
i)S530のi)で生成した平滑化微分画像のうち、第2のサイズである小さなスケール(小さなフィルタのサイズ、小さなフィルタ係数)で第2の平滑化処理を行い、該第2の平滑化処理を行って得た画像に対して第2の微分処理を行う。また、該第2の微分処理を行って得た微分画像における該血管中心線上の各位置で、該血管中心線に略垂直な線分上での輝度プロファイル(輝度分布)を取得する。また、S530のiv)で特定した壁の概略位置を取得する。
ii)i)で取得した輝度プロファイル上の右側の壁概略位置近傍において2極大点、左側の壁概略位置近傍において2極小点を検出して壁境界候補点とする。さらに各壁境界候補点を左壁の外側境界、左壁の内側境界、右壁の外側境界、右壁の内側境界にグルーピングした上で、各壁境界候補点に対して1次モーメント(中心線からの距離×輝度値)を算出する。ただし、ここでは輝度値として非共焦点画像(R+L画像)における輝度値を参照する。また外れ値判定法は本実施形態のように1次モーメントに基づく手法に限定されるものではなく、任意の公知の外れ値判定法を用いてよい。各グループ内で該モーメント値に関して上位・下位の所定割合を外れ値とみなし、該外れ値を持つ壁境界候補点を除去して残った壁境界候補点列を壁の走行方向に補間することで壁境界として特定する。
計測部135は、S540で特定された血管壁境界の位置に基づいて血管走行に沿った壁厚や壁厚に関する指標値の分布を計測する。
・血管走行方向から見て左側、右側の壁厚比
(血管壁の大部分を占める壁細胞はコイル状に走行していて壁厚異常が生じる場合は両側に生じやすいと考えられるため、壁厚計測値に関する信頼性の指標として用いる)
を算出してもよい。
表示制御部136が、取得された画像や検出された壁境界の位置、計測結果(壁厚や壁厚に関する指標値)をモニタ305に表示する。本実施形態では、
i)・非共焦点動画像(図9(a)のI1)
・脈波の特定の位相に対応するフレームを選択して重ね合わせ処理した画像(図9(a)のI2)
・血管の内腔を抽出した画像の並置表示(図9(a)のI3)
ii)壁境界の検出位置(図9(a)のBv)
iii)血管壁の走行に沿って計測された壁厚もしくは壁厚に関する指標値を示すグラフ(図9(a)のG1)
iv)小領域ごとに算出した壁厚もしくは壁厚に関する指標値の分布を示すマップ(図9(b))
をモニタ305に表示する。なお、iv)については算出した値とカラーバーを対応付けた上で、カラー表示する。
指示取得部140は、S510で取得した画像やS550で計測したデータ、すなわち非共焦点画像Dnkにおける壁境界位置や壁厚等の値をデータサーバ40へ保存するか否かの指示を外部から取得する。この指示は例えばキーボード306やマウス307を介して操作者により入力される。保存が指示された場合はS580へ、保存が指示されなかった場合はS590へと処理を進める。
画像処理部130は検査日時、披検眼を同定する情報と、S570で決定した保存対象の画像や計測結果に関するデータとを関連付けてデータサーバ40へ送信する。
指示取得部140は画像処理装置10による高倍率非共焦点画像Dnkに関する処理を終了するか否かの指示を外部から取得する。この指示はキーボード306やマウス307を介して操作者により入力される。処理終了の指示を取得した場合は処理を終了する。一方、処理継続の指示を取得した場合にはS510に処理を戻し、次の披検眼に対する処理(または同一披検眼に対する再処理を)行う。
平滑化微分処理部132がフレーム間位置合わせ済みの非共焦点動画像に対してマルチスケールでの平滑化処理を行う。任意の公知の平滑化処理を適用可能であるが、本実施形態ではフレーム間位置合わせ済みの非共焦点動画像Dr+lに対して重ね合わせ処理した後、フィルタサイズ4及び10で平均値フィルタを適用する。
平滑化微分処理部132がS810で平滑化した画像に対して微分処理を行う。任意の公知の微分処理を適用可能であるが、本実施形態では差分型のエッジ検出オペレータを適用する。生成される平滑化微分画像は、図6(i)に示すようにSplit Detector画像Dns(図6(f))を平滑化したものと類似した画像になる。
輝度分布取得部131がS810で生成した平滑化画像のうちフィルタサイズの小さい方の平滑化画像に対し、モルフォロジーフィルタを適用して網膜動脈の中心線を検出する。本実施形態ではトップハットフィルタを適用し、血柱反射に相当する幅の狭い高輝度領域を検出する。さらに該高輝度領域を細線化処理して血管中心線を検出する。なお、血管中心線の検出方法はこれに限らず任意の公知の検出方法を用いてよい。
次に輝度分布取得部131は、大きなスケールで平滑化後に微分した画像(図6(i))における該血管中心線上の各位置で該血管中心線に垂直な線分に沿った輝度プロファイルGpri1(図7(b)、i=0,1,2,...,N)を生成する。
画像処理部130は、S840で特定された各輝度プロファイル上での壁概略位置候補を
(i)左壁の概略位置候補群
(ii)右壁の概略位置候補群
の2つにグルーピングした上で、各概略位置候補群内で外れ値判定を行って外れ値除去を行う。本実施形態では、血管中心線からの距離に関して上位Tt1%、下位Tb1%を外れ値とみなし、該距離値を持つ概略位置候補を除去する。
連結部134が残った壁概略位置候補を血管走行方向へ補間処理した上で接続することにより、血管壁境界を特定する。補間及び接続方法は任意の公知の手法を適用可能であるが、本実施形態では自然スプライン補間法により補間して接続する。
小さいスケールで平滑化後に微分した画像における血管中心線上の各位置で該血管中心線に垂直な線分に沿った輝度プロファイルGpri2(図7(c)、i=0,1,2,...,N)と壁概略位置Gmin、Gmaxを取得する。
壁特徴特定部1332は、S811で取得した輝度プロファイルGpri2において、壁概略位置Gminの近傍における極小値2点と、壁概略位置Gmaxの近傍における極大値2点を選択することで壁境界候補位置を特定する。
画像処理部130は、S821で特定された各輝度プロファイル上での壁境界候補を以下の4つにグルーピングした上で、各境界候補群内で外れ値判定を行って外れ値除去を行う。
(i)左壁の外側境界候補群
(ii)左壁の内側境界候補群
(iii)右壁の外側境界候補群
(iv)右壁の内側境界候補群
本実施形態では各境界候補群で1次モーメント(輝度値×血管中心線からの距離)を算出した上で、上位Tt2%、下位Tb2%を外れ値とみなし、該モーメント値を持つ壁境界候補を除去する。ただし、ここでは輝度値として非共焦点画像(R+L画像)における輝度値を参照するものとする。
連結部134が残った壁境界候補点列を各境界候補群ごとに血管走行方向へ補間処理した上で接続することにより、血管壁境界を特定する。補間及び接続方法は任意の公知の手法を適用可能であるが、本実施形態では自然スプライン補間法により補間して接続する。
本実施形態に係る情報処理装置は、複数種類の非共焦点画像を取得するSLO装置で撮影した画像に対して以下の処理を行う。まず2種類の非共焦点画像を異なるスケールで平滑化する。さらに、大きなスケールで平滑化された異なる種類の非共焦点画像間での差分演算を実行することで、大きなスケールで平滑化されたSplit Detector画像を生成する。また、小さなスケールで平滑化された異なる種類の非共焦点画像間での差分演算を実行することで小さなスケールで平滑化されたSplit Detector画像を生成する。実施形態1と同様の手法で該大きなスケールで平滑化されたSplit Detector画像から血管壁の概略位置を特定し、小さなスケールで平滑化されたSplit Detector画像から血管壁境界を特定する場合について説明する。
概略特徴特定部1331が、以下の手順で血管壁の概略位置を特定する。
i)S520でフレーム間位置合わせ済みの非共焦点動画像を重ね合わせした後、大小2種類のスケールで平滑化する。
ii)大きなスケールで平滑化した異なる種類の非共焦点画像間での差分演算、及び小さなスケールで平滑化した異なる種類の非共焦点画像間での差分演算を実行することで平滑化スケールの異なる2枚のSplit Detector画像を生成する。
iii)i)で平滑化した画像のうち小さなスケールで平滑化した非共焦点画像に対してモルフォロジーフィルタを適用して網膜血管の中心線を検出する。
iv)ii)で生成した画像のうち大きなスケールで平滑化したSplit Detector画像における該血管中心線上の各位置で、該血管中心線に略垂直な線分上での輝度プロファイルを取得する。
v)iv)で生成した輝度プロファイル上で右方向に最大値、左方向に最小値検出を行い、壁の概略位置を特定する。さらに左壁・右壁の概略位置候補点列を各々グルーピングした上で、各壁の概略位置候補点から血管中心線までの距離を算出する。各グループ内で該距離値に関して上位・下位の所定割合を外れ値とみなし、該外れ値を持つ壁の概略位置候補点を除去して残った壁の概略位置候補点列を壁の走行方向に補間する。なお、外れ値判定法は任意の公知の手法を適用してよい。
平滑化部137がフレーム間位置合わせ済みの非共焦点動画像に対してマルチスケールでの平滑化処理を行う。任意の公知の平滑化処理を適用可能であるが、本実施形態ではフレーム間位置合わせ済みの非共焦点動画像Dnr、Dnlを重ね合わせ処理した後、フィルタサイズ4及び10でガウシアンフィルタを適用する。
非共焦点データ演算部138がS1110で平滑化した異なる種類の非共焦点画像間での差分演算を行う。本実施形態では同じスケールで平滑化したRチャンネル画像およびLチャンネル画像を用いて差分強調処理((L−R)/(R+L))を行い、平滑化したSplitDetector画像(図6(f))を生成する。ただし、これに限らず微分と同様の効果を持つ任意の公知の演算処理を適用してよい。なお、非共焦点データ演算部138は、上述した差分演算の代わりに、平滑化した異なる種類の非共焦点画像間での除算演算を行っても良い。
次に輝度分布取得部131は、大きなスケールで平滑化したSplit Detector画像(図6(f))における該血管中心線上の各位置で該血管中心線に垂直な線分に沿った輝度プロファイルSpri1(図7(d)、i=0,1,2,...,N)を生成する。
壁特徴特定部1332が、以下の手順で血管壁境界位置を特定する。
i)S530のi)で生成した小さなスケールで平滑化したSplit Detector画像における該血管中心線上の各位置で、該血管中心線に略垂直な線分上での輝度プロファイルSpri2(図7(e))を取得する。また、S530のv)で特定した壁の概略位置を取得する。
ii)i)で取得した輝度プロファイル上の右側の壁概略位置近傍において2極大点、左側の壁概略位置近傍において2極小点を検出して壁境界候補点とする。さらに各壁境界候補点を左壁の外側境界、左壁の内側境界、右壁の外側境界、右壁の内側境界にグルーピングした上で、各壁境界候補点に対して1次モーメント(中心線からの距離×輝度値)を算出する。ただし、ここでは輝度値として非共焦点画像(左壁境界候補についてはLチャンネル画像、右壁境界候補についてはRチャンネル画像)における輝度値を参照する。各グループ内で該モーメント値に関して上位・下位の所定割合を外れ値とみなし、該外れ値を持つ壁境界候補点を除去して残った壁境界候補点列を壁の走行方向に補間することで壁境界として特定する。なお、外れ値判定法は任意の公知の手法を適用してよい。
小さいスケールで平滑化したSplit Detector画像における血管中心線上の各位置で該血管中心線に垂直な線分に沿った輝度プロファイルSpri2(図7(e)、i=0,1,2,...,N)と壁概略位置Gmin、Gmaxを取得する。
壁特徴特定部1332は、S1111で取得した輝度プロファイルSpri2において、壁概略位置Gminの近傍における極小値2点と、壁概略位置Gmaxの近傍における極大値2点を選択することで壁境界候補位置を特定する。
画像処理部130は、S1121で特定された各輝度プロファイル上での壁境界候補を以下の4つにグルーピングした上で、各境界候補群内で外れ値判定を行って外れ値除去を行う。
(i)左壁の外側境界候補群
(ii)左壁の内側境界候補群
(iii)右壁の外側境界候補群
(iv)右壁の内側境界候補群
本実施形態では各境界候補群で1次モーメント(輝度値×血管中心線からの距離)を算出した上で、上位Tt2%、下位Tb2%を外れ値とみなし、該モーメント値を持つ壁境界候補を除去する。ただし、ここでは輝度値として非共焦点画像(左壁境界候補についてはLチャンネル画像、右壁境界候補についてはRチャンネル画像)における輝度値を参照するものとする。
本実施形態に係る画像処理装置は、複数種類の非共焦点画像を取得するSLO装置で撮影した網膜血管壁画像を異なるスケールで平滑化微分した画像に対し、血管を横断する方向で取得した輝度プロファイル上の特徴点に基づき血管の膜境界を特定するよう構成したものである。
概略特徴特定部1331が、以下の手順で血管壁の概略位置を特定する。
i)S521でフレーム間位置合わせ済みの非共焦点動画像を重ね合わせ処理した上で大小2種類のスケールで平滑化し、該平滑化した画像を微分処理する。
ii)i)で平滑化した画像のうち小さなスケールで平滑化した非共焦点画像に対してモルフォロジーフィルタを適用して網膜血管の中心線を検出する。
iii)i)で生成した平滑化微分画像のうち大きなスケールで平滑化した微分画像における該血管中心線上の各位置で、該血管中心線に略垂直な線分上での輝度プロファイルを取得する。
iv)iii)で生成した輝度プロファイル上でRチャンネル画像の場合は右方向に最大値、Lチャンネル画像の場合は左方向に最小値検出を行い、壁の概略位置を特定する。さらに左壁・右壁の概略位置候補点列を各々グルーピングした上で、各壁の概略位置候補点から血管中心線までの距離を算出する。各グループ内で該距離値に関して上位・下位の所定割合を外れ値とみなし、該外れ値を持つ壁の概略位置候補点を除去して残った壁の概略位置候補点列を壁の走行方向に補間する。なお、外れ値判定法は任意の公知の手法を適用してよい。
平滑化微分処理部132がフレーム間位置合わせ済みの非共焦点動画像(Rチャンネル画像・Lチャンネル画像)に対してマルチスケールでの平滑化処理を行う。任意の公知の平滑化処理を適用可能であるが、本実施形態ではフレーム間位置合わせ済みの非共焦点動画像Dnr、Dnlを重ね合わせ処理した後、フィルタサイズ4及び10で平均値フィルタを適用する。
平滑化微分処理部132がS1310で平滑化したRチャンネル画像及びLチャンネル画像に対して微分処理を行って平滑化微分画像を生成する。任意の公知の微分処理を適用可能であるが、本実施形態では差分型のエッジ検出オペレータを適用する。
次に輝度分布取得部131は、大きなスケールで平滑化後に微分したRチャンネル画像およびLチャンネル画像における該血管中心線上の各位置で該血管中心線に垂直な線分に沿った輝度プロファイルを生成する。図6(k)にLチャンネル画像の場合の輝度プロファイル生成位置Prli(i=0,1,2,...,N)の例を示す。また大きなスケールで平滑化微分したLチャンネル画像に対して、対応する位置で生成した輝度プロファイルを図7(g)に示す。
壁特徴特定部1332が、以下の手順で血管壁境界位置を特定する。
i)S531のi)で生成した平滑化微分画像のうち小さなスケールで平滑化した微分画像における該血管中心線上の各位置で、該血管中心線に略垂直な線分上での輝度プロファイルを取得する。また、S531のiv)で特定した壁の概略位置を取得する。
ii)i)で取得した輝度プロファイル上の右側の壁概略位置近傍において3極大点、左側の壁概略位置近傍において3極小点を検出して膜境界候補点とする。さらに各壁境界候補点を6グループに分類した上で、各膜境界候補点に対して1次モーメント(中心線からの距離×輝度値)を算出する。ただし、ここでは輝度値として右壁の膜境界候補の場合はRチャンネル画像、左壁の膜境界候補の場合はLチャンネル画像における輝度値を参照する。各グループ内で該モーメント値に関して上位・下位の所定割合を外れ値とみなし、該外れ値を持つ膜境界候補点を除去して残った膜境界候補点列を壁の走行方向に補間することで膜境界として特定する。なお、外れ値判定法は任意の公知の手法を適用してよい。
小さいスケールで平滑化後に微分した画像における血管中心線上の各位置で該血管中心線に垂直な線分に沿った輝度プロファイルと壁概略位置を取得する。図7(h)にLチャンネル画像を小さいスケールで平滑化微分した場合の輝度プロファイルGprli2(i=0,1,2,...,N)を示す。
膜特徴特定部1333は、S1311で取得した輝度プロファイルにおいて、壁概略位置の近傍における極値点3点を選択することにより膜境界候補位置を特定する。例えばLチャンネル画像の場合、図7(h)に示すGprli2において、壁概略位置Gminの近傍における極小値3点(Glmin_in及びGlmin_out、及び両者の間にある小さな極小値)を選択することで膜境界候補位置を特定する。例えば、血管径が100μm程度の動脈の場合にはGlmin_inから該小さな極小点までが内膜、該小さな極小点からGlmin_outまでが中膜に相当する。その場合、Glmin_inが左壁の内膜の内側境界候補、該小さな極小点が左壁の内膜と壁細胞が存在する膜との境界候補、Glmin_outが左壁の壁細胞が存在する膜の外側境界候補である。
画像処理部130は、S1321で特定された各輝度プロファイル上での膜境界候補を以下の6つにグルーピングした上で、各境界候補群内で外れ値判定を行って外れ値除去を行う。
(i)左壁の壁細胞が存在する膜の外側境界候補群
(ii)左壁の内膜と壁細胞が存在する膜との境界候補群
(iii)左壁の内膜の内側境界候補群
(iv)右壁の壁細胞が存在する膜の外側境界候補群
(v)右壁の内膜と壁細胞が存在する膜との境界候補群
(vi)右壁の内膜の内側境界候補群
本実施形態では各境界候補群で1次モーメント(輝度値×血管中心線からの距離)を算出した上で、上位Tt2%、下位Tb2%を外れ値とみなし、該モーメント値を持つ壁境界候補を除去する。ただし、ここでは輝度値として非共焦点画像(右壁を構成する膜境界候補の場合はRチャンネル画像、左壁を構成する膜境界候補の場合はLチャンネル画像)における輝度値を参照するものとする。
計測部135は、S541で特定された血管壁を構成する膜境界の位置に基づいて血管走行に沿った壁厚や膜厚、壁厚や膜厚に関する指標値の分布を計測する。
表示制御部136が、取得された画像や検出された膜境界の位置、計測結果(壁厚や膜厚、壁厚や壁厚に関する指標値)をモニタ305に表示する。本実施形態では、以下のi)からiv)をモニタ305に表示する。
i)・非共焦点動画像(図9(a)のI1)
・脈波の特定の位相に対応するフレームを選択して重ね合わせ処理した画像(図9(a)のI2)
・血管の内腔を抽出した画像の並置表示(図9(a)のI3)
ii)膜境界の検出位置
iii)血管壁の走行に沿って計測された壁厚や膜厚もしくは壁厚や膜厚に関する指標値を示すグラフ
iv)小領域ごとに算出した壁厚や膜厚、もしくは壁厚や膜厚に関する指標値の分布を示すマップ
なお、iv)については算出した値とカラーバーを対応付けた上で、カラー表示する。
上述の実施形態では画像取得部110に共焦点データ取得部111と非共焦点データ取得部112を両方とも含む場合について説明したが、非共焦点データを2種以上取得可能な構成であれば、画像取得部110に共焦点データ取得部111を含まなくてもよい。
Claims (16)
- 被検眼の眼底画像の血管領域を横断する少なくとも1つの方向における輝度分布に対して、第1のサイズ毎に第1の平滑化処理を行い、前記第1のサイズよりも小さな第2のサイズ毎に第2の平滑化処理を行う処理手段と、
前記第1の平滑化処理を行って得た輝度分布に基づいて、前記眼底画像における血管壁の位置を特定する第1の特定手段と、
前記第2の平滑化処理を行って得た輝度分布に基づいて、前記眼底画像における前記血管壁の内側境界の位置及び外側境界の位置を特定する第2の特定手段と、
を有することを特徴とする画像処理装置。 - 前記処理手段は、前記第1のサイズに相当するフィルタのサイズで平滑化処理して得た輝度分布に対する微分処理である第1の微分処理を行い、前記第2のサイズに相当するフィルタのサイズで平滑化処理して得た輝度分布に対する微分処理である第2の微分処理を行い、
前記第1の特定手段は、前記第1の微分処理を行って得た輝度分布における特徴点を前記血管壁の位置として特定し、
前記第2の特定手段は、前記第2の微分処理を行って得た輝度分布における複数の特徴点を、前記血管壁の内側境界の位置及び外側境界の位置として特定することを特徴とする請求項1に記載の画像処理装置。 - 前記処理手段は、前記眼底画像の血管領域を横断する方向で取得された輝度分布に対して、前記第1のサイズに相当する区間のサイズで第1の線形近似を行い、前記第2のサイズに相当する区間のサイズで第2の線形近似を行い、
前記第1の特定手段は、前記第1の線形近似を行って得た輝度分布における特徴点を前記血管壁の位置として特定し、
前記第2の特定手段は、前記第2の線形近似を行って得た輝度分布における複数の特徴点を、前記血管壁の内側境界の位置及び外側境界の位置として特定することを特徴とする請求項1に記載の画像処理装置。 - 被検眼の眼底画像の血管領域を横断する少なくとも1つの方向における輝度分布に対して、第1のサイズ及び前記第1のサイズよりも小さい第2のサイズで平滑化処理を行う処理手段と、
前記第1のサイズで平滑化処理して得た輝度分布における複数の特徴点を第1の血管壁及び第2の血管壁の位置として特定する第1の特定手段と、 前記第2のサイズで平滑化処理して得た輝度分布における前記特定された第1の血管壁及び第2の血管壁の位置の近傍の複数の特徴点を、前記第1の血管壁の内側境界及び外側境界と前記第2の血管壁の内側境界及び外側境界との位置として特定する第2の特定手段と、
を有することを特徴とする画像処理装置。 - 前記第2の特定手段は、前記第2のサイズで平滑化処理して得た輝度分布における前記第1の血管壁及び前記第2の血管壁の位置の近傍の極値点を、前記第1の血管壁の内側境界及び外側境界と前記第2の血管壁の内側境界及び外側境界との位置として特定することを特徴とする請求項4に記載の画像処理装置。
- 前記第2の特定手段は、前記第2のサイズで平滑化処理して得た輝度分布における複数の特徴点を、前記第1の血管壁及び前記第2の血管壁に関する内膜の内側境界と前記内膜と壁細胞が存在する膜との境界と前記壁細胞が存在する膜の外側境界との位置として特定することを特徴とする請求項4に記載の画像処理装置。
- 前記内膜の内側境界と前記内膜と壁細胞が存在する膜との境界と前記壁細胞が存在する膜の外側境界との少なくとも1つに基づいて、血管膜厚と血管壁厚と血管内径と血管外径との少なくとも1つを計測する計測手段を更に有することを特徴とする請求項6に記載の画像処理装置。
- 前記第1の血管壁の外側境界及び内側境界と前記第2の血管壁の外側境界及び内側境界との位置を用いて、血管壁厚と血管内径と血管外径との少なくとも1つを計測する計測手段を更に有することを特徴とする請求項4に記載の画像処理装置。
- 前記眼底画像から前記血管領域を特定するために、前記眼底画像において0.5mmX0.5mm以下の少なくとも1つの関心領域を設定する関心領域設定手段を更に有することを特徴とする請求項4乃至8のいずれか1項に記載の画像処理装置。
- 前記被検眼の眼底からの散乱光を分割して得た複数の光が受光されることにより得られた複数の種類の非共焦点画像であるRチャンネル画像及びLチャンネル画像を前記眼底画像として取得する画像取得手段を更に有し、
前記第2の特定手段は、前記Rチャンネル画像及び前記Lチャンネル画像の一方を用いて、前記第1の血管壁の内側境界及び外側境界の位置を特定し、前記Rチャンネル画像及び前記Lチャンネル画像の他方を用いて、前記第2の血管壁の内側境界及び外側境界の位置を特定することを特徴とする請求項4乃至9のいずれか1項に記載の画像処理装置。 - 前記被検眼の眼底からの散乱光を分割して得た複数の光が受光されることにより得られた複数の種類の非共焦点画像の間で差分演算または除算演算することで得られた画像を前記眼底画像として取得する画像取得手段を更に有することを特徴とする請求項1乃至9のいずれか1項に記載の画像処理装置。
- 被検眼の眼底画像の血管領域を横断する少なくとも1つの方向における輝度分布に基づいて、前記眼底画像における血管壁の位置を特定する第1の特定手段と、 前記輝度分布における前記特定された血管壁の位置の近傍の複数の特徴点を、前記眼底画像における前記血管壁の内側境界の位置及び外側境界の位置として特定する第2の特定手段と、
を有することを特徴とする画像処理装置。 - 被検眼の眼底画像の血管領域を横断する少なくとも1つの方向における輝度分布に対して、第1のサイズ毎に第1の平滑化処理を行い、前記第1のサイズよりも小さな第2のサイズ毎に第2の平滑化処理を行う処理工程と、
前記第1の平滑化処理を行って得た輝度分布に基づいて、前記眼底画像における血管壁の位置を特定する第1の特定工程と、
前記第2の平滑化処理を行って得た輝度分布に基づいて、前記眼底画像における前記血管壁の内側境界の位置及び外側境界の位置を特定する第2の特定工程と、
を有することを特徴とする画像処理方法。 - 被検眼の眼底画像の血管領域を横断する少なくとも1つの方向における輝度分布に対して、第1のサイズ及び前記第1のサイズよりも小さい第2のサイズで平滑化処理を行う処理工程と、
前記第1のサイズで平滑化処理して得た輝度分布における複数の特徴点を第1の血管壁及び第2の血管壁の位置として特定する第1の特定工程と、 前記第2のサイズで平滑化処理して得た輝度分布における前記特定された第1の血管壁及び第2の血管壁の位置の近傍の複数の特徴点を、前記第1の血管壁の内側境界及び外側境界と前記第2の血管壁の内側境界及び外側境界との位置として特定する第2の特定工程と、
を有することを特徴とする画像処理方法。 - 被検眼の眼底画像の血管領域を横断する少なくとも1つの方向における輝度分布に基づいて、前記眼底画像における血管壁の位置を特定する第1の特定工程と、 前記輝度分布における前記特定された血管壁の位置の近傍の複数の特徴点を、前記眼底画像における前記血管壁の内側境界の位置及び外側境界の位置として特定する第2の特定工程と、
を有することを特徴とする画像処理方法。 - 請求項13乃至15のいずれか1項に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015136387A JP6516597B2 (ja) | 2015-07-07 | 2015-07-07 | 画像処理装置及び画像処理方法 |
US15/202,233 US9980637B2 (en) | 2015-07-07 | 2016-07-05 | Image processing apparatus and image processing method |
US15/960,211 US10799106B2 (en) | 2015-07-07 | 2018-04-23 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015136387A JP6516597B2 (ja) | 2015-07-07 | 2015-07-07 | 画像処理装置及び画像処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017018177A true JP2017018177A (ja) | 2017-01-26 |
JP2017018177A5 JP2017018177A5 (ja) | 2018-05-17 |
JP6516597B2 JP6516597B2 (ja) | 2019-05-22 |
Family
ID=57730367
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015136387A Expired - Fee Related JP6516597B2 (ja) | 2015-07-07 | 2015-07-07 | 画像処理装置及び画像処理方法 |
Country Status (2)
Country | Link |
---|---|
US (2) | US9980637B2 (ja) |
JP (1) | JP6516597B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3245632B1 (en) * | 2015-01-16 | 2020-07-15 | Koninklijke Philips N.V. | Vessel lumen sub-resolution segmentation |
FR3056317B1 (fr) * | 2016-09-20 | 2018-10-12 | Inria Institut National De Recherche En Informatique Et En Automatique | Dispositif a affichage predictif |
EP3822687A1 (en) | 2019-11-15 | 2021-05-19 | Leica Microsystems CMS GmbH | Optical imaging device for a microscope |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0363030A (ja) * | 1989-07-31 | 1991-03-19 | Canon Inc | 眼科用計測装置 |
JPH0654810A (ja) * | 1992-08-10 | 1994-03-01 | Kowa Co | 眼科測定装置 |
JP2005013324A (ja) * | 2003-06-24 | 2005-01-20 | Shimadzu Corp | 超音波診断装置 |
WO2006057304A1 (ja) * | 2004-11-26 | 2006-06-01 | Kabushiki Kaisha Toshiba | X線ct装置及び画像処理装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7215802B2 (en) * | 2004-03-04 | 2007-05-08 | The Cleveland Clinic Foundation | System and method for vascular border detection |
JP4940070B2 (ja) * | 2007-09-10 | 2012-05-30 | 国立大学法人 東京大学 | 眼底観察装置、眼科画像処理装置及びプログラム |
-
2015
- 2015-07-07 JP JP2015136387A patent/JP6516597B2/ja not_active Expired - Fee Related
-
2016
- 2016-07-05 US US15/202,233 patent/US9980637B2/en not_active Expired - Fee Related
-
2018
- 2018-04-23 US US15/960,211 patent/US10799106B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0363030A (ja) * | 1989-07-31 | 1991-03-19 | Canon Inc | 眼科用計測装置 |
JPH0654810A (ja) * | 1992-08-10 | 1994-03-01 | Kowa Co | 眼科測定装置 |
JP2005013324A (ja) * | 2003-06-24 | 2005-01-20 | Shimadzu Corp | 超音波診断装置 |
WO2006057304A1 (ja) * | 2004-11-26 | 2006-06-01 | Kabushiki Kaisha Toshiba | X線ct装置及び画像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6516597B2 (ja) | 2019-05-22 |
US20180242835A1 (en) | 2018-08-30 |
US10799106B2 (en) | 2020-10-13 |
US20170007113A1 (en) | 2017-01-12 |
US9980637B2 (en) | 2018-05-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9320424B2 (en) | Image display apparatus, image display method and imaging system | |
JP6101048B2 (ja) | 画像処理装置及び画像処理方法 | |
US9820650B2 (en) | Image processing apparatus and image processing method | |
JP6198410B2 (ja) | 画像処理装置及び画像処理方法 | |
US9351650B2 (en) | Image processing apparatus and image processing method | |
JP2020089768A (ja) | 画像処理装置及び画像処理方法 | |
US10799106B2 (en) | Image processing apparatus and image processing method | |
US10383514B2 (en) | Ophthalmologic imaging apparatus, operation method thereof, and computer program | |
JP6468907B2 (ja) | 画像処理装置及び画像処理方法及びプログラム | |
JP6470604B2 (ja) | 画像処理装置及び画像処理方法及びプログラム | |
US10674902B2 (en) | Information processing apparatus, operation method thereof, and computer program | |
US10123688B2 (en) | Information processing apparatus, operation method thereof, and computer program | |
JP6602043B2 (ja) | 情報処理装置、その作動方法、及びコンピュータプログラム | |
JP2019000728A (ja) | 眼底画像処理装置及び眼底画像処理方法、撮影システム | |
JP6420859B2 (ja) | 画像表示装置及び画像表示方法、撮影システム | |
JP6711617B2 (ja) | 画像形成装置、画像形成方法及びそのプログラム | |
JP2022127783A (ja) | 血流解析装置、眼科装置、血流解析方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180216 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180329 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181211 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190204 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190319 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190416 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6516597 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |