JP7091778B2

JP7091778B2 - 眼底画像処理装置および眼底画像処理プログラム

Info

Publication number: JP7091778B2
Application number: JP2018067820A
Authority: JP
Inventors: 祐輔坂下; 直人本多; 佳紀熊谷; 涼介柴
Original assignee: Nidek Co Ltd
Current assignee: Nidek Co Ltd
Priority date: 2018-03-30
Filing date: 2018-03-30
Publication date: 2022-06-28
Anticipated expiration: 2038-03-30
Also published as: JP2019176961A

Description

本開示は、被検眼の眼底の画像を処理する眼底画像処理装置、および、眼底画像処理装置において実行される眼底画像処理プログラムに関する。

従来、被検眼の眼底を観察するための種々の技術が提案されている。例えば、近年では、レーザ走査型検眼装置（所謂「ＳＬＯ装置」）等によって撮影可能な眼底の範囲を、従来に比べて広くする試みも行われている。特許文献１に開示されているレーザ走査型検眼装置は、収差による歪みとノイズ光の映り込みを軽減しつつ、撮影画角の大きい眼底画像を撮影するための広角レンズアタッチメントを備える。

特開２００９－１１３８１号公報

撮影範囲を広くすることで、ユーザ（例えば医師等）は、１枚の画像で眼底の広範囲を確認することができる。一方で、撮影範囲が広がると、撮影される眼底上の単位面積に対する解像度の大きさが低下する。その結果、ユーザが眼底の一部の状態を局所的に確認することが困難になり得る。

本開示は、被検眼の眼底の状態をより適切にユーザ確認させるための眼底画像処理装置および眼底画像処理プログラムを提供することである。

本開示における典型的な実施形態が提供する眼底画像処理装置は、被検眼の眼底画像を処理する眼底画像処理装置であって、前記眼底画像処理装置の制御部は、侵襲性のある造影検査を経ずに被検眼の眼底上で光を走査し、前記眼底からの反射光を受光することで作成された、前記眼底の正面画像である第１正面画像を取得し、侵襲性のある造影検査を経ずに同一の前記眼底上で光を走査し、前記眼底からの反射光を受光することで作成された、同一の前記被検眼の前記眼底の正面画像であり、撮影範囲が前記第１正面画像の撮影範囲内に含まれると共に、解像度が前記第１正面画像の解像度よりも高い画像である第２正面画像を取得し、前記第１正面画像のうち前記第２正面画像と撮影範囲が重複する位置に、前記第２正面画像を合成する。

本開示における典型的な実施形態が提供する眼底画像処理プログラムは、被検眼の眼底画像を処理する眼底画像処理装置によって実行される眼底画像処理プログラムであって、前記眼底画像処理プログラムが前記眼底画像処理装置の制御部によって実行されることで、侵襲性のある造影検査を経ずに被検眼の眼底上で光を走査し、前記眼底からの反射光を受光することで作成された、前記眼底の正面画像である第１正面画像を取得する第１画像取得ステップと、侵襲性のある造影検査を経ずに同一の前記眼底上で光を走査し、前記眼底からの反射光を受光することで作成された、同一の前記被検眼の前記眼底の正面画像であり、撮影範囲が前記第１正面画像の撮影範囲内に含まれると共に、解像度が前記第１正面画像の解像度よりも高い画像である第２正面画像を取得する第２画像取得ステップと、前記第１正面画像のうち前記第２正面画像と撮影範囲が重複する位置に、前記第２正面画像を合成する合成ステップと、を前記眼底画像処理装置に実行させる。

本開示に係る眼底画像処理装置および眼底画像処理プログラムによると、被検眼の眼底の状態がより適切に確認される。

ＰＣ１の電気的構成を示すブロック図である。ＳＬＯ装置２０の光学系の概略構成を示す図である。ＯＣＴ装置５０の光学系の概略構成を示す図である。ＰＣ１が実行する眼底画像処理のフローチャートである。第１正面画像６０の一例を示す図である。第２正面画像７０の一例を示す図である。コントラスト強調処理およびノイズ除去処理が行われた第１正面画像６０Ａの一例を示す図である。コントラスト強調処理、ノイズ除去処理、輝度調整処理、およびネガポジ反転処理が行われた第２正面画像７０Ａの一例を示す図である。第２正面画像７０Ａの形状を変換する処理の一例を説明するための説明図である。合成画像８０の一例を示す図である。線強調処理が行われた合成画像８０Ａの一例を示す図である。二値化処理が行われた合成画像８０Ｂの一例を示す図である。

＜概要＞
本開示で例示する眼底画像処理装置の制御部は、第１正面画像と第２正面画像を取得する。第１正面画像は、被検眼の眼底上で第１の光を走査し、眼底からの反射光を受光することで作成される。第２正面画像は、第１の光とは異なる第２の光の眼底からの反射光と、第２の光に対応する参照光との干渉光から得られるＯＣＴデータに基づいて作成される。第２正面画像の撮影範囲は、第１正面画像の撮影範囲内に含まれる。つまり、第１正面画像の撮影範囲は、第２正面画像の撮影範囲よりも広い。また、第２正面画像の解像度（つまり、画像に写り込んでいる組織上の単位面積当たりの画素数）は、第１正面画像の解像度よりも高い。制御部は、第１正面画像のうち第２正面画像と撮影範囲が重複する位置に、第２正面画像を合成する。

第１正面画像を撮影するＳＬＯ装置等は、ＯＣＴ装置に比べて眼底の広い範囲を撮影することができる。一方で、ＯＣＴ装置は、第１正面画像の撮影範囲よりも狭い範囲を高い解像度で撮影することができる。従って、本開示の眼底画像処理装置によって作成された第１正面画像と第２正面画像の合成画像（以下、単に「合成画像」という）によると、ユーザは、眼底の広範囲を確認することができ、且つ、眼底の一部の状態を詳細に確認することも可能である。よって、ユーザは、被検眼の眼底の状態を適切に確認することができる。なお、「眼底の正面画像」とは、画像を撮影する光の光軸に沿う方向から眼底を見た場合の二次元画像である。

また、ＯＣＴデータに基づいて作成される第２正面画像（ＯＣＴ正面画像）の具体的な態様は、適宜選択できる。例えば、ＯＣＴ正面画像は、眼底の三次元ＯＣＴデータに基づいて作成される正面画像（所謂「Ｅｎｆａｃｅ画像」）であってもよい。また、ＯＣＴ正面画像は、同一位置から異なる時間に取得された複数のＯＣＴデータを処理することで得られるモーションコントラストデータから作成される画像（所謂「モーションコントラスト画像」）であってもよい。

第１正面画像と第２正面画像は、共に、眼底における網膜表層よりも深部に位置する組織のうち、同一の深さに位置する組織の情報を含む画像であってもよい。この場合、ユーザは、網膜表層よりも深部の組織のうち、特定の深さに位置する組織の状態を、作成された合成画像によって適切に把握することができる。

ただし、第１正面画像に写る組織の深さと、第２正面画像に写る組織の深さが異なっていてもよい。また、第１正面画像と第２正面画像は、共に、網膜表層が写り込んだ画像であってもよい。

第１正面画像は、赤色光または赤外光によって眼底における脈絡膜を含む組織が撮影された画像であってもよい。赤色光または赤外光が用いられることで、第１正面画像には脈絡膜が適切に写り込むが、画質はぼけやすくなる。これに対し、本開示に係る眼底画像処理装置は、第１正面画像に、解像度が高い第２正面画像を合成することができる。従って、ユーザは、脈絡膜の組織（例えば、脈絡膜の血管）の状態を、合成画像によって適切に把握することができる。合成画像は、侵襲性のある造影検査を経ずに得られる第１正面画像と第２正面画像から形成されるので、被検者の負担が増加することを抑制しつつ、適切に脈絡膜の状態が把握される。

なお、第１正面画像を撮影する第１の光の波長を変更することによって、深さ方向に関して脈絡膜とは異なる位置の組織が撮影されてもよい。

第２正面画像は、眼底の三次元ＯＣＴデータのうち、眼底における脈絡膜を含む組織のデータに基づいて作成されてもよい。この場合、ユーザは、脈絡膜の組織（例えば、脈絡膜の血管）の状態を、合成画像によって適切に把握することができる。

なお、第２正面画像は、モーションコントラストデータから作成された、脈絡膜の血管の情報を含む正面画像であってもよい。この場合でも、ユーザは、脈絡膜の血管の状態を合成画像によって適切に把握することが可能である。

また、第２正面画像は、ＯＣＴ正面画像以外の画像（例えば、レーザ走査型検眼装置によって撮影されたＳＬＯ画像等）であってもよい。つまり、本開示における他の態様の眼底画像処理装置は、第１正面画像と第２正面画像を取得する。第１正面画像は、被検眼の眼底上で光を走査し、眼底からの反射光を受光することで作成される。第２正面画像は、第１正面画像が撮影された眼底と同一の眼底上で光を走査することで作成された眼底の正面画像（例えばＳＬＯ画像等）である。第２正面画像の撮影範囲は、第１正面画像の撮影範囲内に含まれる。また、第２正面画像の解像度（つまり、画像に写り込んでいる組織上の単位面積当たりの画素数）は、第１正面画像の解像度よりも高い。第１正面画像と第２正面画像は、共に、眼底における網膜表層よりも深部に位置する組織のうち、同一の深さに位置する組織の情報を含む。制御部は、第１正面画像のうち第２正面画像と撮影範囲が重複する位置に、第２正面画像を合成する。この場合、ユーザは、網膜表層よりも深部の組織のうち、特定の深さに位置する組織の状態を、作成された合成画像によって適切に把握することができる。

なお、第２正面画像にＯＣＴ画像以外の画像（例えばＳＬＯ画像等）を採用する場合、第１正面画像および第２正面画像の各々は、赤色光または赤外光によって眼底における脈絡膜を含む組織が撮影された画像であってもよい。この場合、ユーザは、脈絡膜の組織（例えば、脈絡膜の血管）の状態を、合成画像によって適切に把握することができる。合成画像は、侵襲性のある造影検査を経ずに得られる第１正面画像と第２正面画像から形成されるので、被検者の負担も増加し難い。

制御部は、第２正面画像の形状を変換することで、第２正面画像と第１正面画像に共通して写っている組織の形状を一致させる処理を行ってもよい。制御部は、形状を変換した第２正面画像を第１正面画像に合成してもよい。この場合、合成画像がより適切に形成される。

なお、第２正面画像の形状を変換するための具体的な処理は適宜選択できる。例えば、第２正面画像と第１正面画像の各々に対し、写っている組織上の複数の共通箇所に対応点が付与されてもよい。この場合、制御部は、ユーザからの操作指示に応じて、各々の画像上に複数の対応点を付与してもよい。また、制御部は、特徴点抽出法（例えば、Ｓｃａｌｅ－ＩｎｖａｒｉａｎｔＦｅａｔｕｒｅＴｒａｎｓｆｏｒｍ（ＳＩＦＴ）、またはＳｐｅｅｄ－ＵｐＲｏｂｕｓｔＦｅａｔｕｒｅｓ（ＳＵＲＦ）等）に基づいて、各々の画像上に自動で複数の対応点を付与してもよい。また、対応点は、コントラスト強調処理等が行われる前の画像上に付与されてもよいし、コントラスト強調処理等が行われた画像上に付与されてもよい。制御部は、各々の画像上に付与された複数の対応点の位置に基づいて、第２正面画像の形状を変換してもよい。対応点の位置に基づく第２正面画像の形状の変換方法には、例えば、射影変換（ホモグラフィ）等が用いられてもよい。また、第１正面画像および第２正面画像の撮影中に被検眼が動いてしまい、画像が歪む場合等もあり得る。従って、制御部は、非剛体の位置合わせを行うことで、画像の歪みの影響を低下させてもよい。

制御部は、第１正面画像および第２正面画像の少なくともいずれかに対し、輝度調整処理およびネガポジ反転処理の少なくともいずれかを行うことで、第１正面画像と第２正面画像の各々の輝度を近似させてもよい。制御部は、輝度を近似させた第１正面画像と第２正面画像を合成してもよい。この場合、より違和感が少ない合成画像が作成される。

制御部は、作成した合成画像に対して線強調処理を行ってもよい。この場合、ユーザは、線構造（例えば血管等）が強調された状態で、眼底の広範囲を確認することができ、且つ、眼底の一部の状態を詳細に確認することも可能である。よって、より適切に被検眼の眼底の状態が確認される。

なお、線強調処理の具体的な方法は適宜選択できる。例えば、制御部は、ヘッセ行列を利用した線強調フィルタによって線強調処理を行ってもよい。

また、制御部は、線強調処理が行われた合成画像に対して二値化処理を行ってもよい。この場合、合成画像から血管が適切に抽出される。なお、二値化処理は、線強調処理が行われる前の合成画像に対して実行されてもよい。

また、制御部は、線強調処理とは別に、または線強調処理と共に、他の処理を合成画像に対して実行してもよい。例えば、制御部は、合成画像に対して疾患部位を抽出する処理を実行してもよい。

制御部は、取得した第１正面画像に対してコントラスト強調処理を行うと共に、コントラスト強調処理が行われた第１正面画像に第２正面画像を合成してもよい。また、制御部は、第１正面画像に対してノイズ除去処理を行うと共に、ノイズ除去処理が行われた第１正面画像に第２正面画像を合成してもよい。この場合、より鮮明な合成画像が作成される。

制御部は、取得した第２正面画像に対してコントラスト強調処理を行うと共に、コントラスト強調処理が行われた第２正面画像を第１正面画像に合成してもよい。また、制御部は、第２正面画像に対してノイズ除去処理を行うと共に、ノイズ除去処理が行われた第２正面画像を第１正面画像に合成してもよい。この場合も、より鮮明な合成画像が作成される。

なお、コントラスト強調処理の具体的な処理内容は適宜選択できる。例えば、コントラスト制限付き適応的ヒストグラム平坦化（ＣＬＡＨＥ）等を、コントラスト強調処理として採用してもよい。同様に、ノイズ除去処理の具体的な処理内容も適宜選択できる。例えば、ＮｏｎＬｏｃａｌＭｅａｎｓ（ＮＬ－Ｍｅａｎｓ）フィルタによるノイズ除去処理等を採用してもよい。

制御部は、第１正面画像に写っている組織の単位面積当たりの大きさと、第２正面画像に写っている組織の単位面積当たりの大きさが同一となるように、第１正面画像および第２正面画像の少なくともいずれかを、拡大または縮小させてもよい。この場合、合成画像が適切に作成される。

＜実施形態＞
以下、本開示に係る典型的な実施形態の１つについて説明する。一例として、本実施形態では、パーソナルコンピュータ（以下、「ＰＣ」という）１が、他のデバイス（本実施形態では、ＳＬＯ装置２０およびＯＣＴ装置５０）から眼底の第１正面画像（ＳＬＯ正面画像）および第２正面画像（ＯＣＴ正面画像）を取得し、取得した画像に対して各種処理を行う。つまり、本実施形態では、ＰＣ１が画像処理装置として機能する。しかし、画像処理装置として機能するデバイスは、ＰＣ１に限定されない。例えば、ＳＬＯ装置２０またはＯＣＴ装置５０が画像処理装置として機能してもよい。また、複数のデバイスの制御部（例えば、ＰＣ１のＣＰＵ１１とＯＣＴ装置５０の制御部）が協働して各種画像処理を行ってもよい。

ＰＣ１の概略構成について説明する。ＰＣ１は、ＣＰＵ１１、ＲＡＭ１２、ＲＯＭ１３、およびＮＶＭ１４を備える。後述する眼底画像処理（図４参照）を実行するための眼底画像処理プログラムは、ＮＶＭ１４に記憶されていてもよい。また、ＰＣ１には、モニタ１６および操作部１７が接続されている。モニタ１６は、各種画像を表示する表示部の一例である。操作部１７は、ユーザが各種操作指示をＰＣ１に入力するために、ユーザによって操作される。操作部１７には、マウス、キーボード、タッチパネル等の種々のデバイスを用いることができる。また、マイクに音が入力されることで、各種操作指示がＰＣ１に入力されてもよい。

ＰＣ１は、ＳＬＯ装置２０およびＯＣＴ装置５０から各種データを取得することができる。一例として、本実施形態のＰＣ１は、ＳＬＯ装置２０から眼底の第１正面画像のデータ（以下、単に「第１正面画像」という場合もある）を取得すると共に、ＯＣＴ装置５０から眼底の第２正面画像のデータ（以下、単に「第２正面画像」という場合もある）を取得することができる。各種データは、例えば、有線通信、無線通信、および着脱可能な記憶装置（例えばＵＳＢメモリ）等の少なくともいずれかによって取得されればよい。

図２を参照して、ＳＬＯ装置２０の光学系の構成について説明する。ＳＬＯ装置２０は、所謂レーザ走査型検眼装置（ＳｃａｎｎｉｎｇＬａｓｅｒＯｐｈｔｈａｌｍｏｓｃｏｐｅ）である。ＳＬＯ装置２０は、被検眼Ｅの眼底Ｅｒ上でレーザ光（第１の光）を走査し、眼底Ｅｒからのレーザ光の戻り光を受光することで、眼底Ｅｒの正面画像を作成（撮影）する。なお、本実施形態では、観察面上でスポット状に集光されるレーザ光を二次元的に走査することで、第１正面画像を撮影する場合について例示する。しかし、第１正面画像の撮影方法を変更することも可能である。例えば、ＳＬＯ装置２０は、所謂ラインスキャンタイプの装置であってもよい。この場合、ライン状の光束が観察面上で走査される。また、ＳＬＯ装置２０の代わりに、レーザ光以外の光（例えば、ＬＥＤから出射された光）を走査させることで眼底の正面画像を撮影する装置が用いられてもよい。ＳＬＯ装置２０は、照射光学系３０と受光光学系４０を有する。

照射光学系３０は、レーザ光源３１、コリメーティングレンズ３２、穴開きミラー３３、レンズ３４、レンズ３５、走査部３６、および対物光学部３７を備える。本実施形態のレーザ光源１１が出射するレーザ光の波長には、赤の波長および赤外域の波長の少なくともいずれかが含まれる。ＳＬＯ装置２０は、撮影に用いる光の波長に応じて、眼底Ｅｒにおいて深さ方向に積層されている層状の組織のうち、撮影対象とする組織を変えることができる。一例として、本実施形態では、赤色光または赤外光によって眼底Ｅｒが撮影されることで、眼底Ｅｒにおいて深さ方向に積層されている層状の組織のうち、脈絡膜を含む組織が第１正面画像に写り込む。

レーザ光源３１から出射されたレーザ光は、コリメーティングレンズ３２を経て穴開きミラー３３に形成された開口部を通り、レンズ３４およびレンズ３５を介した後、走査部３６に向かう。走査部３６によって反射されたレーザ光は、対物光学部３７を通過した後、被検眼Ｅの眼底Ｅｒに照射される。

走査部３６は、レーザ光源３１から出射されたレーザ光を、眼底Ｅｒ上で走査させる。本実施形態の走査部３６は、主走査用（例えば、光軸に交差するＸ方向への走査用）の光スキャナ３６Ａと、副走査用（例えば、光軸とＸ方向に共に交差するＹ方向への走査用）の光スキャナ３６Ｂを含む。一例として、本実施形態では、主走査用の光スキャナ３６Ａはレゾナントスキャナであり、副走査用の光スキャナ３６Ｂはガルバノミラーである。ただし、走査部３６の具体的な構成を変更することも可能である。例えば、ポリゴンミラー、ＭＥＭＳ、音響光学素子（ＡＯＭ）等が走査部３６に用いられてもよい。

対物光学部３７は、走査部３６によって走査されるレーザ光を被検眼Ｅの眼底Ｅｒに導く。レーザ光は、対物光学部３７を通過することによって、旋回点Ｐを経て眼底Ｅｒに照射される。つまり、レーザ光は、走査部３６の動作に伴って旋回点Ｐを中心に旋回される。また、本実施形態では、対物光学部３７にレンズアタッチメント３８が着脱されることで、撮影画角が変更される。一例として、本実施形態では、レンズアタッチメント３８が取り外された状態の、瞳孔中心を基準とした撮影画角は、４５度～６０度となる。また、レンズアタッチメント３８が装着された状態の撮影画角は、９０度～１５０度となる。従って、レンズアタッチメント３８が装着されると、被検眼Ｅの眼底Ｅｒが広画角で撮影される。後述する第１正面画像６０，６０Ａ（図５および図７等参照）は、レンズアタッチメント３８が装着された状態で、眼底Ｅｒが広画角で撮影された画像である。

受光光学系４０は、穴開きミラー３３の反射光路に、レンズ４１、ピンホール板４３、レンズ４５、および受光素子４６を備える。ピンホール板４３は、眼底共役面に配置されており、ＳＬＯ装置２０における共焦点絞りとして機能する。眼底Ｅｒからの光は、ピンホール板４３およびレンズ４５を通過し、受光素子４６によって受光される。なお、ＳＬＯ装置２０はＣＰＵ等を備えた制御ユニットを備えるが、この説明は省略する。

図３を参照して、ＯＣＴ装置５０の光学系の構成について説明する。ＯＣＴ装置５０は、被検眼Ｅの眼底Ｅｒの組織のＯＣＴデータを取得して処理することができる。ＯＣＴデータとは、光コヒーレンストモグラフィ（ＯＣＴ）の原理に基づいて取得されるデータである。ＯＣＴデータには、例えば、組織における二次元の情報を含む二次元ＯＣＴデータ、組織における三次元の情報を含む三次元ＯＣＴデータ、およびモーションコントラストデータ等がある。ＯＣＴ装置５０は、ＯＣＴ光源５１、カップラー（光分割器）５２、測定光学系５３、参照光学系５７、受光素子５８、および正面観察光学系５９を備える。

ＯＣＴ光源５１は、ＯＣＴデータを取得するための光（ＯＣＴ光）を出射する。カップラー５２は、ＯＣＴ光源５１から出射されたＯＣＴ光を、測定光と参照光に分割する。また、本実施形態のカップラー５２は、被検体（本実施形態では患者眼Ｅの眼底Ｅｒ）によって反射された測定光と、参照光学系５７によって生成された参照光を合波して干渉させる。つまり、本実施形態のカップラー５２は、ＯＣＴ光を測定光と参照光に分岐する分岐光学素子と、測定光の反射光と参照光を合波する合波光学素子を兼ねる。なお、分岐光学素子および合波光学素子の少なくともいずれかの構成を変更することも可能である。例えば、カップラー以外の素子（例えば、サーキュレータ、ビームスプリッタ等）が使用されてもよい。

測定光学系５３は、カップラー５２によって分割された測定光を被検体に導くと共に、被検体によって反射された測定光をカップラー５２に戻す。測定光学系５３は、走査部５４と照射光学系５６を備える。走査部５４は、駆動部５５によって駆動されることで、測定光の光軸に交差する二次元方向に測定光を走査（偏向）させることができる。本実施形態では、互いに異なる方向に測定光を偏向させることが可能な２つのガルバノミラーが、走査部５４として用いられている。しかし、光を偏向させる別のデバイス（例えば、ポリゴンミラー、レゾナントスキャナ、音響光学素子等の少なくともいずれか）が走査部５４として用いられてもよい。照射光学系５６は、走査部５４よりも光路の下流側（つまり被検体側）に設けられており、測定光を被検体の組織に照射する。

参照光学系５７は、参照光を生成してカップラー５２に戻す。本実施形態の参照光学系５７は、カップラー５２によって分割された参照光を反射光学系（例えば、参照ミラー）によって反射させることで、参照光を生成する。しかし、参照光学系５７の構成も変更できる。例えば、参照光学系５７は、カップラー５２から入射した光を反射させずに透過させて、カップラー５２に戻してもよい。また、参照光学系５７は、測定光と参照光の光路長差を変更する光路長差調整部を備える。なお、光路長差を変更するための構成は、測定光学系５３の光路中に設けられていてもよい。

受光素子５８は、カップラー５２によって生成された測定光と参照光の干渉光を受光することで、干渉信号を検出する。本実施形態では、フーリエドメインＯＣＴの原理が採用されている。フーリエドメインＯＣＴでは、干渉光のスペクトル強度（スペクトル干渉信号）が受光素子５８によって検出され、スペクトル強度データに対するフーリエ変換によって複素ＯＣＴ信号が取得される。フーリエドメインＯＣＴの一例として、Ｓｐｅｃｔｒａｌ－ｄｏｍａｉｎ－ＯＣＴ（ＳＤ－ＯＣＴ）、Ｓｗｅｐｔ－ｓｏｕｒｃｅ－ＯＣＴ（ＳＳ－ＯＣＴ）等を採用できる。また、例えば、Ｔｉｍｅ－ｄｏｍａｉｎ－ＯＣＴ（ＴＤ－ＯＣＴ）等を採用することも可能である。

本実施形態では、ＳＤ－ＯＣＴが採用されている。ＳＤ－ＯＣＴの場合、例えば、ＯＣＴ光源５１として低コヒーレント光源（広帯域光源）が用いられると共に、干渉光の光路における受光素子５８の近傍には、干渉光を各周波数成分（各波長成分）に分光する分光光学系（スペクトロメータ）が設けられる。ＳＳ－ＯＣＴの場合、例えば、ＯＣＴ光源５１として、出射波長を時間的に高速で変化させる波長走査型光源（波長可変光源）が用いられる。この場合、ＯＣＴ光源５１は、光源、ファイバーリング共振器、および波長選択フィルタを備えていてもよい。波長選択フィルタには、例えば、回折格子とポリゴンミラーを組み合わせたフィルタ、および、ファブリー・ペローエタロンを用いたフィルタ等がある。

また、本実施形態では、測定光のスポットが、走査部５４によって二次元の測定領域内で走査されることで、三次元ＯＣＴデータおよびモーションコントラストデータの少なくともいずれかが取得される。しかし、ＯＣＴデータを取得する原理を変更することも可能である。例えば、ラインフィールドＯＣＴ（以下、「ＬＦ－ＯＣＴ」という）の原理によってＯＣＴデータが取得されてもよい。ＬＦ－ＯＣＴでは、組織において一次元方向に延びる照射ライン上に測定光が同時に照射され、測定光の反射光と参照光の干渉光が、一次元受光素子（例えばラインセンサ）または二次元受光素子によって受光される。二次元の測定領域内において、照射ラインに交差する方向に測定光が走査されることで、ＯＣＴデータが取得される。また、フルフィールドＯＣＴ（以下、「ＦＦ－ＯＣＴ」という）の原理によってＯＣＴデータが取得されてもよい。ＦＦ－ＯＣＴでは、組織上の二次元の測定領域に測定光が照射されると共に、測定光の反射光と参照光の干渉光が、二次元受光素子によって受光される。この場合、ＯＣＴ装置１は、走査部５４を備えていなくてもよい。

正面観察光学系５９は、被検体の組織（本実施形態では患者眼Ｅの眼底Ｅｒ）の二次元正面画像を取得するために設けられている。本実施形態における二次元正面画像とは、ＯＣＴの測定光の光軸に沿う方向（正面方向）から組織を見た場合の二次元の画像である。正面観察光学系５９の構成には、例えば、前述したレーザ走査型検眼装置（ＳＬＯ）、眼底カメラ、および、二次元の撮影範囲に赤外光を一括照射して正面画像を撮影する赤外カメラ等の少なくともいずれかの構成を採用できる。ＯＣＴ装置５０の正面観察光学系５９にＳＬＯ等の構成が採用されている場合、ＰＣ１は、ＯＣＴ装置５０の正面観察光学系５９によって撮影された正面画像を第１正面画像として取得してもよい。なお、ＯＣＴ装置５０はＣＰＵ等を備えた制御ユニットを備えるが、この説明は省略する。

図４から図１２を参照して、ＰＣ１が実行する眼底画像処理について説明する。ＰＣ１のＣＰＵ１１は、ＮＶＭ１４に記憶された眼底画像処理プログラムに従って、図４に示す眼底画像処理を実行する。

まず、ＣＰＵ１１は、被検眼Ｅの眼底Ｅｒの第１正面画像６０を取得する（Ｓ１）。図５に、後述するコントラスト強調処理等が行われる前の状態の第１正面画像６０（つまり、第１正面画像の生画像）の一例を示す。ＳＬＯ装置２０は、９０度～１５０度の広画角で眼底Ｅｒを撮影する。その結果、図５に示すように、本実施形態の第１正面画像６０には、視神経乳頭および黄斑を含む眼底の広い範囲が写り込んでいる。また、ＳＬＯ装置２０は、赤色光または赤外光によって眼底Ｅｒを撮影する。その結果、図５に示すように、本実施形態の第１正面画像６０には、眼底Ｅｒにおける網膜表層よりも深部に位置する組織のうち、脈絡膜（特に、脈絡膜の血管）を含む組織が写り込んでいる。第１正面画像６０では、血管の色は白色となる。

次いで、ＣＰＵ１１は、被検眼Ｅの眼底Ｅｒの第２正面画像７０を取得する（Ｓ２）。図６に、後述するコントラスト強調処理等が行われる前の状態の第２正面画像７０（つまり、第２正面画像の生画像）の一例を示す。第１正面画像６０と第２正面画像７０は、同一の被検眼Ｅの眼底Ｅｒの画像である。また、第２正面画像７０の撮影範囲は、第１正面画像６０の撮影範囲内に含まれる。つまり、第２正面画像７０の撮影範囲は、第１正面画像６０の撮影範囲の一部と重複する。また、第２正面画像７０の解像度は、第１正面画像６０の解像度よりも高い。つまり、画像に写り込んでいる組織上の単位面積当たりの画素数（ポイント数）は、第１正面画像よりも第２正面画像の方が多い。

また、本実施形態では、第１正面画像６０と第２正面画像７０は、共に、眼底Ｅｒにおける網膜表層よりも深部に位置する組織のうち、同一の深さに位置する組織の情報を含む。詳細には、前述した通り、本実施形態の第１正面画像６０は、脈絡膜を含む組織の情報を含む。従って、第２正面画像７０も、少なくとも脈絡膜を含む組織の情報を含むように形成される。

本実施形態の第２正面画像７０は、一例として、ＯＣＴ装置５０によって取得されたＯＣＴデータから形成される。ＯＣＴデータから第２正面画像７０を形成する方法は、適宜選択できる。本実施形態では、ＣＰＵ１１は、ＯＣＴ装置５０から取得した眼底Ｅｒの三次元ＯＣＴデータに基づいて、測定光の光軸に沿う方向（正面方向）から組織を見た場合の画像（所謂「Ｅｎｆａｃｅ画像」）を作成する。一般的には、Ｅｎｆａｃｅ画像のデータは、例えば、ＸＹ方向の各位置で深さ方向（Ｚ方向）に輝度値が積算された積算画像データ、ＸＹ方向の各位置でのスペクトルデータの積算値、ある一定の深さ方向におけるＸＹ方向の各位置での輝度データ、網膜のいずれかの層におけるＸＹ方向の各位置での輝度データ等である。本実施形態では、ＣＰＵ１１は、三次元ＯＣＴデータを解析し、眼底Ｅｒにおける脈絡膜を含む組織の情報を三次元ＯＣＴデータから抽出することで、第２正面画像７０を作成する。図６に示すように、三次元ＯＣＴデータに基づいて作成されたＥｎｆａｃｅ画像では、血管の色は黒色となる。なお、第２正面画像７０は、ＯＣＴ装置５０の制御部によって作成されてもよい。この場合、ＣＰＵ１１は、ＯＣＴ装置５０によって作成された第２正面画像７０のデータを取得すればよい。

なお、ＣＰＵ１１は、ＯＣＴデータとしてモーションコントラストデータを取得し、取得したモーションコントラストデータに基づいて第２正面画像７０を形成してもよい。モーションコントラストデータは、被検体の組織（本実施形態では眼底Ｅｒ）の同一位置に関して時間的に異なる複数のＯＣＴデータを処理することで得られるデータである。モーションコントラストデータには、組織における動きを示す情報が含まれる。従って、モーションコントラストデータに基づいて作成された第２正面画像７０（モーションコントラスト画像）には、脈絡膜の血流（血管）が写り込む。モーションコントラスト画像は、ＯＣＴ装置５０の制御部によって作成されてもよい。

なお、モーションコントラスト画像では、眼底における地図状萎縮等の影響で脈絡膜からのＯＣＴ信号が得られると、血管の色は白色となる。従って、萎縮等が存在する領域とその他の領域で、血管の色が異なる場合がある。よって、ＣＰＵ１１は、萎縮等が存在する領域を、画像処理等の種々の方法で検出すると共に、萎縮等が存在する領域およびその他の領域の少なくともいずれかの血管の色を調整することで、モーションコントラスト画像全体における血管の色を同一としてもよい。

次いで、ＣＰＵ１１は、第１正面画像６０に対し、コントラスト強調処理およびノイズ除去処理を実行する（Ｓ３）。その結果、より鮮明な合成画像が作成される。図７に、コントラスト強調処理およびノイズ除去処理が行われた後の第１正面画像６０Ａの一例を示す。

一例として、本実施形態では、コントラスト強調処理として、コントラスト制限付き適応的ヒストグラム平坦化（ＣＬＡＨＥ）が採用されている。詳細には、ＣＰＵ１１は、画像領域を複数の局所領域に分割すると共に、それぞれの局所領域内のコントラストを上げた後にヒストグラム平坦化を実行する。その結果、ノイズが強調されてしまう不具合が抑制される。また、本実施形態では、ノイズ除去処理として、ＮＬ－Ｍｅａｎｓフィルタによるノイズ除去処理が採用されている。詳細には、ＣＰＵ１１は、複数の局所領域間の類似度を用いた重みづけによって、画素値を平均化する。

なお、コントラスト強調処理およびノイズ除去処理の具体的な方法を変更することも可能である。また、コントラスト強調処理およびノイズ除去処理の少なくとも一方を省略してもよい。

次いで、ＣＰＵ１１は、第２正面画像７０に合わせて第１正面画像６０Ａを拡大する（Ｓ４）。詳細には、本実施形態では、ＣＰＵ１１は、第１正面画像６０Ａに写っている組織の単位面積当たりの大きさと、第２正面画像７０に写っている組織の単位面積当たりの大きさが同一となるように、第１正面画像６０Ａを拡大する。その結果、第２正面画像７０の解像度が高い解像度で維持されたまま、各々の画像に写っている組織の大きさが同一となる。

次いで、ＣＰＵ１１は、第２正面画像７０に対し、コントラスト強調処理およびノイズ除去処理を実行する（Ｓ５）。本実施形態のＳ５の処理では、一例として、前述したＣＬＡＨＥおよびＮＬ－Ｍｅａｎｓが採用されている。ただし、Ｓ３の処理と同様に、Ｓ５の具体的な方法を変更してもよいし、コントラスト強調処理およびノイズ除去処理の少なくとも一方を省略してもよい。

次いで、ＣＰＵ１１は、ネガポジ反転処理および輝度調整処理を実行する。前述したように、第１正面画像６０では血管の色は白色となるのに対し（図５および図７参照）、Ｅｎｆａｃｅ画像である第２正面画像７０では血管の色は黒色となる（図６参照）。従って、ＣＰＵ１１は、第１正面画像６０および第２正面画像７０の一方（本実施形態では第２正面画像７０）に対してネガポジ反転処理を行うことで、両画像の血管の色を同一にする。なお、例えば第２正面画像７０としてモーションコントラスト画像が用いられている場合等には、ネガポジ反転処理を省略してもよい。また、ＣＰＵ１１は、第１正面画像６０および第２正面画像７０の少なくとも一方の輝度を調整することで、両画像の輝度を近似させる。ただし、輝度調整処理を省略することも可能である。図８に、コントラスト強調処理、ノイズ除去処理、ネガポジ反転処理、および輝度調整処理が行われた後の第２正面画像７０Ａの一例を示す。

次いで、ＣＰＵ１１は、第１正面画像６０Ａと第２正面画像７０Ａに共通して写っている組織の形状を一致させるために、第２正面画像７０Ａの形状を変換する処理を実行する（Ｓ７，Ｓ８）。

第２正面画像７０Ａの形状を変換するための具体的な方法も、適宜選択できる。一例として、本実施形態のＣＰＵ１１は、第１正面画像６０Ａ（第１正面画像６０でもよい）と、第２正面画像７０Ａ（第２正面画像７０でもよい）の各々に対し、写っている組織上の複数の共通箇所に、対応点を付与する（Ｓ７）。図９に示す例では、第１正面画像６０Ａに写っている組織上の５つの箇所に、対応点Ｐ１～Ｐ５が付与されている。また、第２正面画像７０Ａに写っている組織のうち、第１正面画像６０Ａにおいて対応点Ｐ１～Ｐ５が付与された箇所と同一の５つの箇所に、対応点ｐ１～ｐ５が付与されている。ＣＰＵ１１は、ユーザからの操作指示に応じて対応点を付与してもよい。また、ＣＰＵ１１は、特徴点抽出法（例えば、ＳＩＦＴまたはＳＵＲＦ等）に基づいて対応点を付与してもよい。また、ＣＰＵ１１は、機械学習等を利用して対応点を付与してもよい。

本実施形態のＣＰＵ１１は、第１正面画像６０Ａ（第１正面画像６０でもよい）および第２正面画像７０Ａ（第２正面画像７０でもよい）の各々に付与した対応点の位置に基づいて、第２正面画像７０Ａの形状を変換することで、第１正面画像６０Ａと第２正面画像７０Ａに共通して写っている組織の形状を一致させる（Ｓ８）。図９に、形状変換後の第２正面画像７０Ｂの一例を示す。対応点の位置に基づく第２正面画像７０Ａの形状の具体的な変換方法は、適宜選択できる。一例として、本実施形態のＣＰＵ１１は、ホモグラフィ行列を推定し、第２正面画像７０Ａの組織の形状が第１正面画像６０Ａの組織の形状に一致するように、第２正面画像７０Ａを射影変換する。

次いで、第１正面画像６０Ａのうち第２正面画像７０Ｂと撮影範囲が重複する位置（同一の組織が写っている位置）に、形状変換後の第２正面画像７０Ｂを合成する（Ｓ９）。図１０に、Ｓ９で作成された合成画像８０の一例を示す。合成画像８０（後述する合成画像８０Ａおよび合成画像８０Ｂも同様）によると、ユーザは、眼底Ｅｒの広範囲を確認することができ、且つ、眼底Ｅｒの一部（本実施形態では、視神経乳頭および黄斑の近傍）の状態を詳細に確認することも可能である。なお、本実施形態では、第１正面画像６０Ａと第２正面画像７０Ｂの位置合わせを行ったうえで、第２正面画像７０Ｂを第１正面画像６０Ａに合成する。しかし、第１正面画像６０Ａの撮影位置（スキャン位置）に対する第２正面画像７０Ｂの撮影位置（スキャン位置）が予め設定されている場合等には、予め判明している撮影位置の関係に基づいて画像が合成されてもよい。

なお、本実施形態では、合成画像８０が作成される場合、第１正面画像６０Ａのうち、第２正面画像７０Ｂと撮影範囲が重複する位置の画像が、第２正面画像７０Ｂに置き換えられる。従って、合成画像８０のうち、第２正面画像７０Ｂが合成された位置では、組織が高い解像度で表される。ただし、画像を合成する具体的な方法を変更することも可能である。例えば、第１正面画像６０Ａ上に第２正面画像７０Ｂが重畳されてもよい。

次いで、ＣＰＵ１１は、合成画像８０に対する線強調処理を実行する（Ｓ１０）。図１１に、線強調処理が行われた後の合成画像８０Ａの一例を示す。合成画像８０Ａによると、ユーザは、線構造（図１１に示す例では血管の線構造）が強調された状態で、眼底Ｅｒの広範囲を確認することができ、且つ眼底Ｅｒの一部の状態を詳細に確認することも可能である。線強調処理の具体的な方法も適宜選択できる。一例として、本実施形態のＣＰＵ１１は、ヘッセ行列を利用した線強調フィルタを用いて線強調処理を行う。

次いで、ＣＰＵ１１は、合成画像８０または合成画像８０Ａに対する二値化処理を実行する（Ｓ１１）。図１２に、二値化処理が行われた後の合成画像８０Ｂの一例を示す。二値化処理が行われた合成画像８０Ｂでは、眼底Ｅｒにおける血管がより鮮明に抽出される。

上記実施形態で開示された技術は一例に過ぎない。従って、上記実施形態で例示された技術を変更することも可能である。例えば、図４で例示した複数の処理の順番は一例である。従って、図４で例示した複数の処理の一部の順番を変更してもよい。また、図４で例示した複数の処理の一部を省略することも可能である。

また、上記実施形態のＳ２では、第２正面画像として、ＯＣＴデータに基づいて生成される第２正面画像（ＯＣＴ正面画像）７０が取得される。ＣＰＵ１１は、第２正面画像６０に対して各種処理（例えば、Ｓ５～Ｓ８等）を行った後、第１正面画像６０Ａに第２正面画像７０Ｂを合成する（Ｓ９）。しかし、第２正面画像７０も、第１正面画像６０と同様に、レーザ走査型検眼装置（例えばＳＬＯ装置２０等）、または、レーザ光以外の光を走査させることで画像を撮影する装置等によって撮影された画像（例えばＳＬＯ画像等）であってもよい。この場合、第２正面画像７０の撮影範囲は、第１正面画像６０の撮影範囲内に含まれていてもよい。また、第２正面画像７０の解像度は、第１正面画像６０の解像度よりも高い。一例として、レンズアタッチメント３８が装着された状態でＳＬＯ装置２０によって広画角で撮影された画像が、第１正面画像６０として取得されると共に、レンズアタッチメント３８が使用されない状態でＳＬＯ装置２０によって通常画角で撮影された画像が、第２正面画像７０として取得されてもよい。また、第１正面画像６０を撮影する装置と、第２正面画像７０を撮影する装置は異なっていてもよい。なお、第２正面画像７０としてＯＣＴ正面画像以外の画像が用いられる場合でも、上記実施形態におけるＳ３～Ｓ１１（図４参照）の少なくとも一部を、上記実施形態と同様に実行することが可能である。

なお、図４のＳ１で第１正面画像を取得する処理は、「第１画像取得ステップ」の一例である。図４のＳ２で第２正面画像を取得する処理は、「第２画像取得ステップ」の一例である。図４のＳ９で合成画像を生成する処理は、「合成ステップ」の一例である。図４のＳ３，Ｓ５におけるコントラスト強調処理およびノイズ除去処理は、「コントラスト強調ステップ」および「ノイズ除去ステップ」の一例である。図４のＳ４で第１正面画像を拡大する処理は、「第１画像拡大ステップ」の一例である。図４のＳ６におけるネガポジ反転処理および輝度調整処理は、「ネガポジ反転ステップ」および「輝度調整ステップ」の一例である。図４のＳ７，Ｓ８で第２正面画像の形状を変換する処理は、「形状変換ステップ」の一例である。図４のＳ１０における線強調処理は、「線強調ステップ」の一例である。図４のＳ１１における二値化処理は、「二値化ステップ」の一例である。

１ＰＣ
１１ＣＰＵ
１４ＮＶＭ
２０ＳＬＯ装置
５０ＯＣＴ装置
６０，６０Ａ第１正面画像
７０，７０Ａ，７０Ｂ第２正面画像
８０，８０Ａ，８０Ｂ合成画像

Claims

被検眼の眼底画像を処理する眼底画像処理装置であって、前記眼底画像処理装置の制御部は、侵襲性のある造影検査を経ずに被検眼の眼底上で光を走査し、前記眼底からの反射光を受光することで作成された、前記眼底の正面画像である第１正面画像を取得し、侵襲性のある造影検査を経ずに同一の前記眼底上で光を走査し、前記眼底からの反射光を受光することで作成された、同一の前記被検眼の前記眼底の正面画像であり、撮影範囲が前記第１正面画像の撮影範囲内に含まれると共に、解像度が前記第１正面画像の解像度よりも高い画像である第２正面画像を取得し、前記第１正面画像のうち前記第２正面画像と撮影範囲が重複する位置に、前記第２正面画像を合成することを特徴とする眼底画像処理装置。
請求項１に記載の眼底画像処理装置であって、前記第１正面画像と前記第２正面画像は、共に、前記眼底における網膜表層よりも深部に位置する組織のうち、同一の深さに位置する組織の情報を含む画像であることを特徴とする眼底画像処理装置。
請求項１または２に記載の眼底画像処理装置であって、前記第１正面画像および前記第２正面画像は、共に、レーザ走査型検眼装置によって撮影されたＳＬＯ画像であることを特徴とする眼底画像処理装置。
被検眼の眼底画像を処理する眼底画像処理装置によって実行される眼底画像処理プログラムであって、前記眼底画像処理プログラムが前記眼底画像処理装置の制御部によって実行されることで、侵襲性のある造影検査を経ずに被検眼の眼底上で光を走査し、前記眼底からの反射光を受光することで作成された、前記眼底の正面画像である第１正面画像を取得する第１画像取得ステップと、侵襲性のある造影検査を経ずに同一の前記眼底上で光を走査し、前記眼底からの反射光を受光することで作成された、同一の前記被検眼の前記眼底の正面画像であり、撮影範囲が前記第１正面画像の撮影範囲内に含まれると共に、解像度が前記第１正面画像の解像度よりも高い画像である第２正面画像を取得する第２画像取得ステップと、前記第１正面画像のうち前記第２正面画像と撮影範囲が重複する位置に、前記第２正面画像を合成する合成ステップと、を前記眼底画像処理装置に実行させることを特徴とする眼底画像処理プログラム。