JP6611593B2 - 情報処理装置、情報処理方法、及び、プログラム - Google Patents
情報処理装置、情報処理方法、及び、プログラム Download PDFInfo
- Publication number
- JP6611593B2 JP6611593B2 JP2015250026A JP2015250026A JP6611593B2 JP 6611593 B2 JP6611593 B2 JP 6611593B2 JP 2015250026 A JP2015250026 A JP 2015250026A JP 2015250026 A JP2015250026 A JP 2015250026A JP 6611593 B2 JP6611593 B2 JP 6611593B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- focus position
- confocal
- information processing
- eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000010365 information processing Effects 0.000 title claims description 134
- 238000003672 processing method Methods 0.000 title claims description 14
- 230000003287 optical effect Effects 0.000 claims description 57
- 238000012545 processing Methods 0.000 claims description 50
- 238000005259 measurement Methods 0.000 claims description 46
- 210000000608 photoreceptor cell Anatomy 0.000 claims description 26
- 210000001525 retina Anatomy 0.000 claims description 26
- 238000003384 imaging method Methods 0.000 claims description 20
- 210000004204 blood vessel Anatomy 0.000 claims description 10
- 230000007547 defect Effects 0.000 claims description 9
- 230000002207 retinal effect Effects 0.000 claims description 8
- 238000000034 method Methods 0.000 description 105
- 230000008569 process Effects 0.000 description 56
- 230000004075 alteration Effects 0.000 description 47
- 210000001210 retinal vessel Anatomy 0.000 description 38
- 230000003044 adaptive effect Effects 0.000 description 24
- 238000012937 correction Methods 0.000 description 22
- 238000007689 inspection Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 210000004126 nerve fiber Anatomy 0.000 description 7
- 239000013307 optical fiber Substances 0.000 description 7
- 108091008695 photoreceptors Proteins 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 239000000470 constituent Substances 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000000747 cardiac effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 210000000624 ear auricle Anatomy 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 210000004220 fundus oculi Anatomy 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 201000004569 Blindness Diseases 0.000 description 1
- 206010010071 Coma Diseases 0.000 description 1
- 206010025421 Macule Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 210000000601 blood cell Anatomy 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000011503 in vivo imaging Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000000265 leukocyte Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000003733 optic disk Anatomy 0.000 description 1
- 230000010412 perfusion Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 208000014733 refractive error Diseases 0.000 description 1
- 210000000964 retinal cone photoreceptor cell Anatomy 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 230000004382 visual function Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Landscapes
- Eye Examination Apparatus (AREA)
Description
また、本発明は、上述した情報処理装置による情報処理方法、及び、上述した情報処理装置の各手段としてコンピュータを機能させるためのプログラムを含む。
本実施形態に係る情報処理装置は、収差補正時に共焦点信号を用いて合焦した位置に所定の網膜形状に関する正常値を加算して概略の合焦位置を特定した上で、少なくとも非共焦点信号に基づいて網膜血管等に対する正確で詳細な合焦位置を特定するものである。ここで、以下の説明においては、共焦点信号とは、共焦点画像を含む、共焦点画像の上位概念に相当するものであり、共焦点画像のように2次元の情報に限らず、例えば1次元の情報であってもよい。同様に、非共焦点信号とは、非共焦点画像を含む、非共焦点画像の上位概念に相当するものであり、非共焦点画像のように2次元の情報に限らず、例えば1次元の情報であってもよい。
以下の本実施形態の説明では、被検眼の共焦点信号と非共焦点信号を略同時に得る装置を用いて被検眼の網膜血管等を撮影する場合に、収差補正時の合焦位置に視細胞と網膜血管との距離に関する正常値を加算することによって概略の合焦位置を特定し、当該概略の合焦位置と非共焦点信号によって網膜血管等に対する正確で詳細な合焦位置を特定する場合について説明する。
図1−1は、本発明の第1の実施形態に係る情報処理装置100を含む情報処理システム10−1の概略構成の一例を示す図である。情報処理システム10−1は、図1−1に示すように、情報処理装置100、SLO画像撮像装置200、LAN(ローカル・エリア・ネットワーク)300、データサーバ400、及び、時相データ取得装置500を有して構成されている。
図2は、本発明の第1の実施形態を示し、図1−1に示す情報処理装置100の機能構成の一例を示すブロック図である。ここで、図2においては、第1の実施形態に係る情報処理装置100を「情報処理装置100−1」として記載している。
図3−1は、図1に示すSLO画像撮像装置200の概略構成の一例を示す図である。図3−1において、図1に示す構成と同様の構成には同じ符号を付している。また、図3−1には、SLO画像撮像装置200に対する情報処理装置100による駆動制御を司るドライバ部280を図示している。
以下に、図3−1に示す補償光学SLO部295について説明する。
光源201−1から出射した光は、光カプラー231によって参照光205と測定光206−1とに分割される。測定光206−1は、シングルモード光ファイバ230−4、空間光変調器259、XYスキャナ219−1、ダイクロイックミラー270−2等を介して、観察対象(検査対象)である被検眼Eに導かれる。また、固視灯表示器256からの光束(不図示)は、被検眼Eの固視を促す役割を有する。
光源201−1は、例えば、代表的な低コヒーレント光源であるSLD(Super Luminescent Diode)である。光源201−1から出射される光の波長は830nm程度でバンド幅は50nm程度である。ここでは、光源201−1として、スペックルノイズの少ないSLO画像を取得するために低コヒーレント光源を選択している。また、光源201−1の種類としては、ここでは、SLDを選択したが、低コヒーレント光が出射できればよく、例えばASE(Amplified Spontaneous Emission)等を用いることも可能である。また、光源201−1から出射された光は、被検眼Eを測定することを鑑みると、近赤外光が適する。さらに、光源201−1から出射された光の波長は、得られるSLO画像の横方向の分解能に影響するため、なるべく短波長であることが望ましく、このため、ここでは830nm程度としている。なお、観察対象の測定部位によっては、他の波長を選んでもよい。光源201−1から出射された光は、シングルモード光ファイバ230−1と光カプラー231とを介して、参照光205と測定光206−1とに、例えば96:4の割合で分割される。また、光ファイバ230−1〜230−4には、それぞれ、偏光コントローラ253−1〜253−4が設けられている。
光カプラー231によって分割された参照光205は、光ファイバ230−2を介して、光量測定器264に入射される。光量測定器264は、参照光205の光量を測定することで、測定光206−1の光量をモニターする用途に用いられる。
光カプラー231によって分割された測定光206−1は、シングルモード光ファイバ230−4を介してレンズ235−4に導かれ、ビーム径が4mm程度の平行光になるように調節されている。測定光206−1は、ビームスプリッタ258−1を通過し、レンズ235−5〜235−6を通過し、空間光変調器259に入射する。ここで、空間光変調器259は、情報処理装置100からドライバ部280内の空間光変調器駆動ドライバ281を介して制御される。続いて、測定光206−1は、空間光変調器259において変調され、レンズ235−7〜235−8を通過し、XYスキャナ219−1のミラーに入射される。図3−1では簡略化のため、XYスキャナ219−1は1つのミラーとして記したが、実際にはXスキャナとYスキャナとの2枚のミラーが近接して配置され、眼底Er上を光軸に垂直な方向にラスタースキャンするものである。また、測定光206−1の中心は、XYスキャナ219−1のミラーの回転中心と一致するように調節されている。
補償光学SLO部295は、眼底Erからの戻り光208の強度から構成される補償光学SLO画像を取得できる。眼底Erにおいて反射や散乱された光である戻り光208は、レンズ235−4〜235−10、空間光変調器259、光カプラー231等を介して受光部238−1に入射され、光の強度が電圧に変換される。受光部238−1で得られた電圧信号は、情報処理装置100内のADボード405においてデジタル値に変換され、情報処理装置100においてXYスキャナ219−1の動作や駆動周波数と同期したデータ処理が行われ、SLO画像が形成される。ここで、ADボード405の取り込み速度は、例えば15MHz程度である。また、ビームスプリッタ258−1において分割される戻り光208の一部は、波面センサ255に入射され、戻り光208の収差が測定される。波面センサ255は、例えばシャックハルトマン方式の波面センサであり、測定レンジは−1D〜+1Dとなっており、測定レンジが狭く、測定精度が高い仕様となっている。得られた収差は、例えばツェルニケ多項式を用いて表現され、これは被検眼Eの収差を示している。ツェルニケ多項式は、チルト(傾き)の項、デフォーカス(defocus)の項、アスティグマ(非点収差)の項、コマの項、トリフォイルの項等からなる。
図3−2(a)は、図3−1に示す受光部238−1の概略構成の一例を示す図である。図3−2(a)において、戻り光208は、結像面に配置された遮光部238−1−0に入射する。遮光部238−1−0に入射した戻り光208のうちの一部の光は、遮光部238−1−0で反射して光センサ238−1−1に入射する。
遮光部238−1−0は、例えば図3−2(d)に示すように、透過領域238−1−5及び238−1−6、透過領域238−1−5と透過領域238−1−6との間の遮光領域、及び、反射領域238−1−4を有して形成されている。また、遮光部238−1−0は、その中心が、戻り光208の光軸中心に位置するように配置される。遮光部238−1−0は、戻り光208の光軸に対して斜めに配置されたときに、光軸方向から見て円形になるような楕円形状のパターンを持っている。
次に、図3−1に示す広画角SLO部296について説明する。
光源201−2から出射した光は、レンズ235−11〜235−12、XYスキャナ219−2、ダイクロイックミラー270−1等を介して、観察対象(検査対象)である被検眼Eに導かれる。
光源201−2は、補償光学SLO部295の光源201−1と同様にSLDである。光源201−2から出射される光の波長は910nm程度でバンド幅は10nm程度である。ここでは、補償光学SLO部295の光路と広画角SLO部296の光路とをダイクロイックミラー270−1を用いて分離するために、光源201−1の波長と光源201−2の波長とを異ならせている。
光源201−2から出射された測定光206−2は、レンズ235−2、XYスキャナ219−2、ダイクロイックミラー270−1等を介して、観察対象(検査対象)である被検眼Eに導かれる。ここで、XYスキャナ219−2の構成要素であるXスキャナは、測定光206−2を紙面に平行な方向に走査するスキャナであり、ここでは共振型スキャナを用いている。このXスキャナの駆動周波数は、約3.9kHzである。また、XYスキャナ219−2の構成要素であるYスキャナは、測定光206−2を紙面に垂直な方向に走査するスキャナであり、ここではガルバノスキャナを用いている。このYスキャナの駆動波形はのこぎり波であり、駆動周波数は約32Hz、デューティ比は81%程度である。このYスキャナの駆動周波数は、広画角SLO部296により撮像される、上述した広画角画像のフレームレートを決定する重要なパラメータである。XYスキャナ219−2は、情報処理装置100からドライバ部280内の光スキャナ駆動ドライバ286を介して制御される。
以下に、図3−1に示す本体電動ステージ部297について説明する。
本体電動ステージ部297は、それに固定された補償光学SLO部295と広画角SLO部296を、3個の電動モーターを用いてx方向、y方向及びz方向に移動することが可能に構成されている。また、本体電動ステージ部297は、ドライバ部280内の本体電動ステージ駆動ドライバ285に接続されている。本体電動ステージ部297は、被検眼Eに対する位置合せ、即ちアライメントを行うために、情報処理装置100から本体電動ステージ駆動ドライバ285を介して制御される。
次に、図1−1に示す情報処理装置100(更には、図2に示す情報処理装置100−1)のハードウェア構成について説明する。
図4は、本発明の実施形態を示し、図1−1に示す情報処理装置100のハードウェア構成の一例を示すブロック図である。
例えば、図4に示すCPU401及び外部記憶装置404に記憶されているプログラム、並びに、インターフェイス409から、図2に示すデータ取得部110が構成されている。また、例えば、図4に示すRAM402から、図2に示す記憶部120が構成されている。また、例えば、図4に示すCPU401及び外部記憶装置404に記憶されているプログラム、並びに、ADボード405から、図2に示す制御部130が構成されている。また、例えば、図4に示すCPU401及び外部記憶装置404に記憶されているプログラム、並びに、キーボード407及びマウス408またはインターフェイス409から、図2に示す指示取得部140が構成されている。また、例えば、図4に示すモニター406から、図2に示す表示部150が構成されている。
図5−1は、本発明の第1の実施形態に係る情報処理装置100による情報処理方法の処理手順の一例を示すフローチャートである。図5−1に示すフローチャートの説明においては、図2に示す情報処理装置100−1の機能構成を用いて説明を行う。
まず、図5−1(a)のステップS510において、収差データ取得部113は、波面センサ255によって検出された収差データを取得する。そして、収差補正部131は、ツェルニケ多項式のデフォーカス成分以外の収差を補正し、電動ステージ駆動部133に対してデフォーカス成分が所定値Td未満となるように電動ステージ217、即ちフォーカスレンズ235−10を光軸方向に移動させる。被検眼Eの黄斑部付近では、視細胞の内節と外節との境界(IS/OSライン)の反射強度が強いため、収差補正を行った場合には、IS/OSライン付近に合焦される。
図5−1(a)のステップS520に進むと、データ取得部110(具体的には共焦点データ取得部111及び非共焦点データ取得部112)は、ステップS510で特定された合焦位置での共焦点画像及び非共焦点画像を取得する。このステップS520の詳細な処理手順については、図5−1(c)を用いて後述する。
図5−1(a)のステップS530に進むと、演算部134が、ステップS520で取得された非共焦点画像間の演算処理を行った上で、表示制御部135は、取得された画像及び演算の結果生成された画像を表示部150に表示する。
本実施形態では、演算部134が非共焦点画像として、
i) Rチャンネル画像DnrとLチャンネル画像Dnlの加算平均画像((Dnr+Dnl)/2,図6(e))
ii) スプリット・ディテクタ(Split Detector)画像((Dnl−Dnr)/(Dnr+Dnl),図6(f))
を生成する。上述したi)及びii)の重ね合わせ画像を生成する際に心拍動による血管径の変化の影響を除去するため、制御部130は、取得・生成された各種の動画像の各フレームのうち、所定範囲の位相を持つ脈波信号に対応したフレームのみを選択してi)及びii)の重ね合わせ画像を生成する。制御部130は、ステップS520及びステップS530で取得・生成した共焦点画像及び非共焦点画像を、例えばデータサーバ400(或いは記憶部120)に保存する制御を行う。
図5−1(a)のステップS540に進むと、制御部130は、例えば指示取得部140で取得された指示に基づいて、本検査における画像取得が完了したか否かを判断する。この判断の結果、本検査における画像取得が完了していない場合には(S540/NO)、ステップS510に戻り、ステップS510以降の処理を行う。
次に、図5−1(a)のステップS510における詳細な処理手順について説明する。
図5−1(b)は、図5−1(a)のステップS510における詳細な処理手順の一例を示すフローチャートである。
まず、図5−1(b)のステップS511において、合焦位置特定部132は、収差補正時に共焦点信号を用いて合焦された位置に対し、視細胞層(図6(i)のB5〜B6)と神経線維層(図6(i)のB1〜B2)との間の距離に関する正常値データを加算することで、被検眼Eの網膜血管に対する概略の合焦位置を特定する。ここで、正常値データは、当該取得位置においては150μmが好適であるが、被検眼Eの眼底Er上の位置によって100μm〜200μm程度の範囲で変動しうるものであり、任意の値を設定してもよい。
図5−1(b)のステップS512に進むと、合焦位置特定部132は、まず、ステップS511で特定された網膜血管に対する概略の合焦位置を中心として光軸方向に所定の範囲で合焦位置を変えながら非共焦点画像Dnを取得する。合焦位置を変える手段には、フォーカスレンズを動かす方法と収差補正部131に与えるデフォーカス成分のオフセット値を変える方法があるが、ここでは収差補正部131を用いて合焦位置を変えるものとする。次いで、合焦位置特定部132は、取得した非共焦点画像Dnに基づいてコントラスト自動合焦処理を行い、網膜血管に対する正確で詳細な合焦位置を特定する。本実施形態では、被検眼Eの各深度位置で取得された非共焦点画像Dnのコントラストを算出し、当該コントラスト値が最大となる深度位置を網膜血管に対する正確で詳細な合焦位置とする。
次に、図5−1(a)のS520における詳細な処理手順について説明する。
図5−1(c)は、図5−1(a)のS520における詳細な処理手順の一例を示すフローチャートである。
まず、図5−1(c)のステップS521において、データ取得部110は、ステップS510で特定された網膜血管に対する合焦位置に基づき、少なくとも、非共焦点データ取得部112で非共焦点画像Dnkを取得し、時相データ取得部114で時相データを取得する。具体的に、本実施形態では、データ取得部110は、広画角画像Dl、共焦点画像Dcj、非共焦点画像Dnr及びDnl、時相データを取得する。
図5−1(c)のステップS522に進むと、制御部130は、取得された画像のフレーム間位置合わせを行う。次いで、制御部130は、各フレームの輝度値やノイズ、基準フレームとの間の変位量に基づいて例外フレームを判定する。
具体的なフレーム間位置合わせ法として、
i) 制御部130は、位置合わせの基準となる基準フレームを設定する。本実施形態では、最もフレーム番号の小さいフレームを基準フレームとする。なお、基準フレームの設定方法はこれに限定されるものではなく、任意の設定方法を用いてもよい。
ii) 制御部130は、フレーム間の大まかな位置の対応付け(粗位置合わせ)を行う。ここでは任意の位置合わせ手法を利用できるが、本実施形態では、画像間類似度評価関数として相関係数、座標変換手法としてAffine変換を用いて粗位置合わせを行う。
iii) 制御部130は、フレーム間の大まかな位置の対応関係のデータに基づいて精密位置合わせを行う。
本実施形態では、上述したii)で得られた粗位置合わせ済み動画像に対して、非剛***置合わせ手法の一種であるFFD(Free Form Deformation)法を用いてフレーム間の精密位置合わせを行う。なお、精密位置合わせの手法は、これに限らず、任意の位置合わせ手法を用いてもよい。
図5−1(c)のステップS523に進むと、制御部130は、画像の再取得が必要か否かを判断する。
まず、制御部130は、取得された動画像の各フレームに対して、
a) 動画像の基準フレームに対する並進移動量が閾値Ttr以上の場合
b) 各フレームの平均輝度値が閾値Tfi未満の場合
c) 各フレームのS/N(SN比)が閾値Tsn未満の場合
のいずれか1つを満たす場合に、当該フレームを例外フレームと判定する。
かかる構成によれば、被検眼の網膜血管等に対してロバスト且つ高精度に合焦を行うことが可能となる。
本実施形態に係る情報処理装置は、被検眼の共焦点信号と非共焦点信号を同時に得る装置を用いて以下の処理を行う。即ち、本実施形態に係る情報処理装置は、合焦位置を変えながら取得した共焦点信号のピーク位置に基づいて概略の合焦位置を特定した上で、少なくとも非共焦点信号に基づいてコントラスト自動合焦処理を行って正確で詳細な合焦位置を特定する。
第2の実施形態に係る情報処理装置100による情報処理方法の処理手順は、図5−1(a)に示す第1の実施形態に係る情報処理装置100による情報処理方法の処理手順と基本的には同じであるが、ステップS510の詳細な処理手順が異なっている。以下、第2の実施形態に係る情報処理装置100による、図5−1(a)のステップS510の処理について説明を行う。
まず、合焦位置特定部132は、合焦位置を深度方向に移動させながら共焦点画像を取得するよう指示し、共焦点データ取得部111が当該共焦点画像を取得する。次いで、合焦位置特定部132は、各共焦点画像(フレーム)の平均輝度値を各深度位置で算出して当該平均輝度値の極大値を値が大きい順に所定の数だけ取得し、最も網膜内層側の極大値に対応する深度位置を網膜血管に対する概略の合焦位置として特定する。さらに、合焦位置特定部132は、当該概略の合焦位置を中心として所定の深度範囲で取得した非共焦点信号によりコントラスト自動合焦処理を行い、網膜血管に対する詳細な合焦位置を特定する。以下、第2の実施形態における、図5−1(a)のS510における詳細な処理手順について説明する。
図5−2は、本発明の第2の実施形態を示し、図5−1(a)のステップS510における詳細な処理手順の一例を示すフローチャートである。
まず、図5−2のステップS513において、合焦位置特定部132は、共焦点データ取得部111に対して合焦位置を光軸方向(深度方向)に移動させながら共焦点画像を取得するように指示する。これを受けて、共焦点データ取得部111は、SLO画像撮像装置200に対して、当該深度方向に異なる位置での共焦点画像の取得を要求する。そして、SLO画像撮像装置200は、当該取得要求に応じた共焦点画像を取得して共焦点データ取得部111に送信し、共焦点データ取得部111は、受信した共焦点画像を記憶部120に保存する。この際、共焦点データ取得部111は、当該取得要求に基づいて深度方向の各位置における共焦点画像を取得して輝度平均値を算出する。なお、ここで取得する共焦点画像は、必ずしも撮影対象の画像と同一撮像条件である必要はない。
図5−2のステップS514に進むと、合焦位置特定部132は、光軸方向、即ち網膜の深度方向の各位置で取得した共焦点画像(共焦点信号)の輝度プロファイルに基づいて概略の合焦位置を特定する。
図5−2のステップS515に進むと、合焦位置特定部132は、取得した非共焦点信号に基づいてコントラスト自動合焦処理を行い、網膜血管に対する正確で詳細な合焦位置を特定する。具体的なコントラスト自動合焦処理の内容については、上述した第1の実施形態におけるステップS512の処理と同様であるため、その説明は省略する。
かかる構成によれば、被検眼の網膜血管等に対してロバスト且つ高精度に合焦を行うことが可能となる。
本実施形態に係る情報処理装置は、平面方向の異なる複数の位置で共焦点画像及び非共焦点画像を取得する場合に各画像取得位置で特定した合焦位置を保存する。また、概略の合焦時に取得した信号値に基づいて詳細な合焦処理の要否を判定し、必要と判定した場合には詳細な合焦処理時に用いる信号の種類を特定した上で、当該特定した種類の信号を用いて詳細な合焦位置を特定する。
以下、この例について説明を行う。
図1−2は、本発明の第3の実施形態に係る情報処理装置100を含む情報処理システム10−3の概略構成の一例を示す図である。情報処理システム10−3は、図1−2に示すように、情報処理装置100、SLO画像撮像装置200、LAN300、及び、データサーバ400を有して構成されている。即ち、第3の実施形態に係る情報処理システム10−3は、図1−1に示す第1の実施形態に係る情報処理システム10−1に対して、時相データ取得装置500が構成されていない点で異なっている。
図7は、本発明の第3の実施形態を示し、図1−2に示す情報処理装置100の機能構成の一例を示すブロック図である。ここで、図7においては、第3の実施形態に係る情報処理装置100を「情報処理装置100−3」として記載している。ここで、図7において、図2に示す構成と同様の構成については同じ符号を付している。
図8は、本発明の第3の実施形態に係る情報処理装置100による情報処理方法の処理手順の一例を示すフローチャートである。図8に示すフローチャートの説明においては、図7に示す情報処理装置100−3の機能構成を用いて説明を行う。
まず、図8(a)のステップS810において、収差データ取得部113は、波面センサ255によって検出された収差データを取得する。そして、収差補正部131は、ツェルニケ多項式のデフォーカス成分以外の収差を補正し、制御部130は、当該デフォーカス成分が略0になるように電動ステージ駆動部133に対して光軸方向への移動を指示する。これを受けて、電動ステージ駆動部133は、フォーカスレンズ235−10の位置を制御部130から指示された距離だけ光軸方向に移動させて、当該デフォーカス成分を略0にする。被検眼Eの黄斑部においては、視細胞の内節と外節との境界からの反射が最も強いことから、合焦位置特定部132は、本ステップでの処理によって設定されたフォーカスレンズ235−10の位置に基づいて視細胞層に対する概略の合焦位置を特定することになる。
図8(a)のステップS820に進むと、まず、制御部130は、共焦点データ取得部111に対して、当該(面内方向の)画像取得位置における共焦点画像を取得するように要求する。これを受けて、共焦点データ取得部111は、SLO画像撮像装置200から当該共焦点画像を取得する。
図8(a)のステップS830に進むと、合焦位置特定部132は、ステップS810で取得された概略の合焦位置を中心に所定の深度範囲で非共焦点画像によるコントラスト自動合焦処理を行って、視細胞層に対する正確で詳細な合焦位置を特定する。具体的な非共焦点画像によるコントラスト自動合焦処理は、第1の実施形態における図5−1(b)のステップS512の場合と同様であるため、その説明は省略する。
図8(a)のステップS840に進むと、合焦位置特定部132は、S820で不要と判断された場合にはS810で得られた合焦位置、S820で必要と判断された場合にはS830で得られた合焦位置での共焦点画像及び非共焦点画像の合焦度を算出する。ここで、本実施形態では、合焦度として画像のコントラストを算出する。また、コントラストとしては任意の式を用いて算出することができるが、本実施形態では、(最大輝度値−最小輝度値)/(最小輝度値+最大輝度値)の式を用いて算出するものとする。なお、この形態に限らず、例えば、(最大輝度値/最小輝度値)の式を用いて算出してもよい。また、合焦度としては、画像のコントラストに限らず、任意の公知の評価値、例えばエッジ強度を合焦度として設定してよい。
図8(a)のステップS850に進むと、制御部130は、合焦位置特定部132で特定された合焦位置で共焦点画像Dcj及び非共焦点画像Dnrk及びDnlkを取得する制御を行う。このステップS850の詳細な処理手順については、図8(b)を用いて後述する。
図8(a)のステップS860に進むと、制御部130は、当該検査において予定している全画像取得位置での合焦位置の特定処理及び画像取得処理が完了したか否かを判断する。この判断の結果、当該検査において予定している全画像取得位置での合焦位置の特定処理及び画像取得処理が完了していない場合には(S860/NO)、ステップS810に戻り、未だ処理が完了していない画像取得位置について、ステップS810以降の処理を行う。一方、ステップS860の判断の結果、当該検査において予定している全画像取得位置での合焦位置の特定処理及び画像取得処理が完了している場合には(S860/YES)、ステップS870に進む。
図8(a)のステップS870に進むと、合焦位置特定部132は、当該検査において予定している画像取得位置において合焦位置が未特定の位置があるか否かを判断する。この判断の結果、当該検査において予定している画像取得位置において合焦位置が未特定の位置がない場合には(S870/NO)、図8(a)に示すフローチャートの処理を終了する。一方、ステップS870の判断の結果、当該検査において予定している画像取得位置において合焦位置が未特定の位置がある場合には(S870/YES)、ステップS880に進む。
図8(a)のステップS880に進むと、制御部130は、ステップS870で合焦位置が未特定と判定された面内位置に対して、記憶部120から当該面内位置における近傍の画像取得位置において特定された合焦位置の情報を取得する。
図8(a)のステップS890に進むと、制御部130は、ステップS870で合焦位置が未特定とされた面内位置において、ステップS880で特定された合焦位置を用いて、共焦点画像Dcj並びに非共焦点画像Dnrk及びDnlkを取得する。このステップS890の詳細な処理手順については、図8(b)を用いて後述する。そして、ステップS890の処理が終了すると、図8(a)に示すフローチャートの処理を終了する。
次に、図8(a)のステップS850及びステップS890における詳細な処理手順について説明する。
図8(b)は、図8(a)のステップS850及びステップS890における詳細な処理手順の一例を示すフローチャートである。
まず、図8(b)のステップS851において、データ取得部110は、ステップS810もしくはステップS830、または、ステップS880で特定された合焦位置に基づき、少なくとも、共焦点画像Dcj及び非焦点画像Dnkを取得する。具体的に、本実施形態では、データ取得部110は、広画角画像Dlと共焦点画像Dcj、非共焦点画像Dnrk及びDnlkを取得する。
図8(b)のステップS852に進むと、制御部130は、取得された画像のフレーム間位置合わせを行う。次いで、制御部130は、各フレームの輝度値やS/N(SN比)、基準フレームとの間の変位量に基づいて例外フレームを判定する。次いで、制御部130は、広画角画像Dlと共焦点画像Dcjとの位置合わせを行い、広画角画像Dl上の共焦点画像Dcjの相対位置を求める。ここで、具体的なフレーム間位置合わせや画像貼り合わせ処理の内容については、上述した第1及び第2の実施形態の場合と同様であるため、説明は省略する。
図8(b)のステップS853に進むと、制御部130は、画像の再取得が必要か否かを判断する。ここで、具体的な画像の再取得要否判断の内容については、第1の実施形態における図5−1(c)のステップS523と同様であるため、説明は省略する。
図8(b)のステップS854に進むと、保存部136は、検査日時や被検眼Eを同定する情報と、ステップS851で取得された画像やステップS852で生成した画像(広画角画像Dl、共焦点画像Dc、非共焦点画像Dnr及びDnl)とを関連付けて保存する処理を行う。具体的に、保存部136は、これらの情報等を関連付けて保存するために、これらの情報等をデータサーバ400に送信する処理を行う。さらに、保存部136は、各画像の取得時に特定された合焦位置の情報を記憶部120に保存する処理を行うとともに、当該特定された合焦位置の情報をデータサーバ400に送信する処理を行う。
i) L≧T2の場合には、制御部130は詳細な合焦処理は不要と判断してステップS840に進み、収差補正時に特定した合焦位置で合焦位置を特定したと判断し、ステップS850に進む
ii) T1≦L<T2の場合には、制御部130は詳細な合焦処理が必要と判断してステップS830に進み、非共焦点信号を用いた合焦位置の探索を行う
iii) L<T1の場合には、制御部130は詳細な合焦処理は不要と判断してステップS840に進み、合焦位置の特定が難しいと判断した後、ステップS860に進む(当該面内位置では、近傍の取得位置における合焦位置の内挿によって合焦位置を特定する)
ように構成してもよい。
また、本実施形態では、概略の合焦時に取得した信号値に基づいて詳細な合焦処理の要否を判定する場合の基準として共焦点画像内の低輝度領域の面積を用いたが、信号値に基づく基準であれば任意の公知の基準を用いてよい。例えば、画像の輝度統計値(平均値、中央値、最低値等)を用いてもよいし、画像全体の面積に対する低輝度領域の面積の割合を用いてもよい。
かかる構成によれば、共焦点画像上で低輝度な視細胞欠損が生じている網膜外層等に対してロバスト且つ高精度に合焦を行うことが可能となる。
なお、上述した本発明の各実施形態では、共焦点画像と非共焦点画像を略同時に取得する装置を用いて合焦位置を特定する構成としたが、本発明はこれに限定されない。例えば、受光部238−1の内部の光センサにおける手前の開口部(ピンホール)の径や位置が可変なSLO画像撮像装置を用いて共焦点画像Dcを撮影したり、大きな径のピンホールを網膜血管走行に対して右側または左側に移動して非共焦点画像Dnを撮影したりすることで合焦位置を特定する場合も、本発明に含まれる。
また、上述した本発明の実施形態では、データ取得部110が取得した信号の値に基づいて合焦に用いる信号の種類を特定していたが、本発明はこれに限定されない。例えば、データ取得部110が取得した信号の撮像部位(眼底の面内方向の位置)に基づいて合焦に用いる信号の種類を特定してもよい。即ち、視神経乳頭部近傍では収差補正部131が収差補正した直後は網膜内層に合焦位置が設定されるため、詳細な合焦位置特定処理では非共焦点画像を用いる。一方、黄斑部では収差補正部131による収差補正直後は網膜外層に合焦されるため、詳細な合焦位置特定処理では共焦点画像を用いる、というようにして合焦に用いる信号の種類を特定する場合も本発明に含まれる。さらに、指示取得部140を通じて取得した合焦に用いる信号の種類に関するデータに基づいて合焦に用いる信号の種類を特定する場合も本発明に含まれる。さらに、上述した本発明の実施形態では、データ取得部110が取得した信号の値に基づいて詳細な合焦処理の要否を判定したが、本発明はこれに限定されない。例えば、上述した撮像部位に基づいて詳細な合焦処理の要否を判定する形態も、本発明に含まれる。
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体は、本発明に含まれる。
Claims (12)
- 測定光を照射された被検眼からの戻り光に基づいて撮影対象の共焦点信号および非共焦点信号を取得する取得手段と、
前記測定光の光軸方向に前記測定光の合焦位置を調整する調整手段と、
前記共焦点信号および前記非共焦点信号に基づいて、前記被検眼の合焦位置を特定する特定手段と、
を有し、
前記特定手段は、前記共焦点信号に基づいて前記測定光の概略の合焦位置を特定した後、前記非共焦点信号に基づいて前記測定光の詳細な合焦位置を特定することを特徴とする情報処理装置。 - 前記特定手段は、前記被検眼の網膜内層における血管または前記被検眼の網膜における血管の合焦位置を特定することを特徴とする請求項1に記載の情報処理装置。
- 前記特定手段は、前記被検眼の、視細胞欠損が生じている網膜外層の合焦位置を特定することを特徴とする請求項1に記載の情報処理装置。
- 前記特定手段は、前記共焦点信号および前記被検眼に係る正常値データに基づいて前記被検眼の概略の合焦位置を特定した上で、前記非共焦点信号に基づいて前記被検眼の詳細な合焦位置を特定することを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。
- 前記特定手段によって過去に特定された合焦位置を保存する保存手段を更に有し、
前記特定手段は、前記保存手段に保存されている合焦位置に基づいて前記被検眼の概略の合焦位置を特定した上で、前記非共焦点信号に基づいて前記被検眼の詳細な合焦位置を特定することを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。 - 前記特定手段によって特定された、前記被検眼の各画像取得位置における合焦位置を保存する保存手段を更に有し、
前記特定手段は、処理対象の画像取得位置における合焦位置を特定することが難しい場合に、前記保存手段によって保存されている合焦位置であって当該処理対象の画像取得位置に対して近傍に位置する画像取得位置における合焦位置に基づいて、当該処理対象の画像取得位置における合焦位置を特定することを特徴とする請求項1乃至5のいずれか1項に記載の情報処理装置。 - 前記特定手段は、前記取得手段が取得した信号の値もしくは撮像部位に基づいて詳細な合焦処理の要否を判定し、当該判定が要の場合には詳細な合焦処理に用いる信号の種類を特定して当該特定した種類の信号に基づき前記被検眼の合焦位置を特定することを特徴とする請求項1乃至6のいずれか1項に記載の情報処理装置。
- 合焦位置の特定に用いる信号の種類を指示する指示手段を更に有し、
前記特定手段は、前記指示手段が指示した種類の信号に基づいて前記被検眼の合焦位置を特定することを特徴とする請求項1乃至6のいずれか1項に記載の情報処理装置。 - 前記共焦点信号および前記非共焦点信号は、略同時に取得されたものであることを特徴とする請求項1乃至8のいずれか1項に記載の情報処理装置。
- 前記取得手段は、前記被検眼を撮像する撮像装置において前記被検眼からの光を受光する光センサの付近に設けられた開口部の位置および形状のうちの少なくとも一方を調節することにより得られた前記共焦点信号および前記非共焦点信号を取得することを特徴とする請求項1乃至9のいずれか1項に記載の情報処理装置。
- 測定光を照射された被検眼からの戻り光に基づいて撮影対象の共焦点信号および非共焦点信号を取得する取得ステップと、
前記測定光の光軸方向に前記測定光の合焦位置を調整する調整ステップと、
前記共焦点信号および前記非共焦点信号に基づいて、前記被検眼の合焦位置を特定する特定ステップと、
を有し、
前記特定ステップは、前記共焦点信号に基づいて前記測定光の概略の合焦位置を特定した後、前記非共焦点信号に基づいて前記測定光の詳細な合焦位置を特定することを特徴とする情報処理方法。 - コンピュータを、請求項1乃至10のいずれか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/132,985 US10470652B2 (en) | 2015-04-23 | 2016-04-19 | Information processing apparatus and information processing method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015088679 | 2015-04-23 | ||
JP2015088679 | 2015-04-23 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016202880A JP2016202880A (ja) | 2016-12-08 |
JP2016202880A5 JP2016202880A5 (ja) | 2019-01-17 |
JP6611593B2 true JP6611593B2 (ja) | 2019-11-27 |
Family
ID=57488377
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015250026A Expired - Fee Related JP6611593B2 (ja) | 2015-04-23 | 2015-12-22 | 情報処理装置、情報処理方法、及び、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6611593B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020213085A1 (ja) * | 2019-04-17 | 2020-10-22 | 株式会社ニコン | 動画処理装置、動画処理方法、および動画処理プログラム |
JP7421062B2 (ja) * | 2019-09-04 | 2024-01-24 | 株式会社ニデック | 眼底撮影装置 |
JP2021050059A (ja) * | 2019-09-24 | 2021-04-01 | ニューデルタ工業株式会社 | 作業台車 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10104522A (ja) * | 1996-10-01 | 1998-04-24 | Olympus Optical Co Ltd | 共焦点走査型光学顕微鏡 |
US8057039B2 (en) * | 2007-09-29 | 2011-11-15 | Nidek Co., Ltd. | Fundus imaging apparatus |
JP5269396B2 (ja) * | 2007-09-29 | 2013-08-21 | 株式会社ニデック | 眼底撮影装置 |
JP5179265B2 (ja) * | 2008-06-02 | 2013-04-10 | 株式会社ニデック | 眼科撮影装置 |
JP5818458B2 (ja) * | 2011-02-25 | 2015-11-18 | キヤノン株式会社 | 画像処理装置、撮影システム、画像処理方法及びプログラム |
JP5936368B2 (ja) * | 2012-01-20 | 2016-06-22 | キヤノン株式会社 | 光干渉断層撮影装置及びその作動方法 |
-
2015
- 2015-12-22 JP JP2015250026A patent/JP6611593B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2016202880A (ja) | 2016-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5818458B2 (ja) | 画像処理装置、撮影システム、画像処理方法及びプログラム | |
JP5843542B2 (ja) | 画像処理装置、眼科撮影装置、画像処理方法及びプログラム | |
JP3706940B2 (ja) | 眼特性測定装置 | |
JP2012176094A (ja) | 画像処理装置、画像処理方法、画像処理システム、slo装置、およびプログラム | |
JP5847510B2 (ja) | 画像処理装置及び画像処理方法 | |
KR20130096184A (ko) | 촬상 장치 | |
JP7050588B2 (ja) | 眼科装置、その制御方法、プログラム、及び記録媒体 | |
JP6108811B2 (ja) | 撮像装置 | |
JP7348374B2 (ja) | 眼科情報処理装置、眼科撮影装置、眼科情報処理方法、及びプログラム | |
JP6611593B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
CN115334953A (zh) | 多模态视网膜成像平台 | |
JP2016168257A (ja) | 眼科装置及びその制御方法、並びに、プログラム | |
JP2017042602A (ja) | 血流計測装置 | |
JP6639262B2 (ja) | 眼底撮像装置及びその制御方法、並びに、プログラム | |
WO2019239707A1 (ja) | 眼科装置、その制御方法、プログラム、及び記録媒体 | |
JP6995504B2 (ja) | 検査装置の制御方法、制御装置及びプログラム | |
JP6853690B2 (ja) | 眼科撮影装置 | |
JP2017018177A (ja) | 画像処理装置及び画像処理方法 | |
JP2016209133A (ja) | 眼科撮像装置、その作動方法、及びコンピュータプログラム | |
JP6468907B2 (ja) | 画像処理装置及び画像処理方法及びプログラム | |
JP6470604B2 (ja) | 画像処理装置及び画像処理方法及びプログラム | |
JP2016150090A (ja) | 撮像装置及びその制御方法 | |
US10470652B2 (en) | Information processing apparatus and information processing method | |
JP6590513B2 (ja) | 情報処理装置、その作動方法、及びコンピュータプログラム | |
JP6001149B2 (ja) | 画像処理装置、撮影システム、画像処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181122 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181122 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190829 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191001 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191029 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6611593 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |