JP2023076025A - 眼科装置、眼科装置の制御方法、及びプログラム - Google Patents

眼科装置、眼科装置の制御方法、及びプログラム Download PDF

Info

Publication number
JP2023076025A
JP2023076025A JP2021189166A JP2021189166A JP2023076025A JP 2023076025 A JP2023076025 A JP 2023076025A JP 2021189166 A JP2021189166 A JP 2021189166A JP 2021189166 A JP2021189166 A JP 2021189166A JP 2023076025 A JP2023076025 A JP 2023076025A
Authority
JP
Japan
Prior art keywords
unit
image
subject
eye
pupil
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021189166A
Other languages
English (en)
Inventor
航 坂川
Wataru Sakagawa
好彦 岩瀬
Yoshihiko Iwase
朋之 池上
Tomoyuki Ikegami
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2021189166A priority Critical patent/JP2023076025A/ja
Priority to PCT/JP2022/038661 priority patent/WO2023090023A1/ja
Publication of JP2023076025A publication Critical patent/JP2023076025A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • A61B3/15Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

【課題】検者による手動操作の負荷を軽減することができる眼科装置を提供する。【解決手段】被検眼を撮影するヘッド部と、被検者の顔を支える支持部と、ヘッド部と支持部とのうち少なくとも一方を移動可能な移動部と、ヘッド部の側から支持部の側に向かって撮影する観察部と、瞳孔を含む被検眼の画像と瞳孔を含まない画像とを含む画像群を入力として学習した学習済モデルを用いて、被検者が支持部に顔を乗せているか否かに関する情報と被検眼の位置に関する情報とのうち少なくとも一方を推定する推定部と、観察部によって撮影して得た画像を学習済モデルへの入力として用いて推定部によって推定された結果に基づいて、移動部を制御する制御部とを備える、眼科装置。【選択図】図7

Description

本発明は、眼科装置、眼科装置の制御方法、及びプログラムに関する。
近年、低コヒーレンス光による干渉を利用して断層画像を取得する光干渉断層撮影法(OCT:Optical Coherence Tomography)を用いる装置(OCT装置)が実用化されている。このOCT装置は、被検査物に入射する光の波長程度の分解能で断層画像を取得できるため、被検査物の断層画像を高分解能で得ることができる。
OCT装置は、特に、眼底に位置する網膜の断層画像を得るための眼科装置として有用である。さらに、他の眼科装置として眼底カメラ(眼底の2次元画像を撮影するための装置)や、走査型レーザー検眼鏡(SLO:Scanning Laser Ophthalmoscope)も有用な装置である。また、リフラクトメータ(眼屈折力測定装置)及びトノメータ(眼圧計)等も眼科装置として有用な装置である。また、これらの複合装置も有用な装置である。
このような眼科装置においては、検査すべき被検眼を撮影するために装置の撮影部(主には測定光学系)を被検眼へ精度よくアライメント(位置合わせ)することが重要である。特許文献1には、被検眼の角膜にアライメント指標を投影し、その反射光を分割して観察光学系を通して撮像素子で撮像し、分割されたアライメント指標像の位置から装置と被検眼との相対位置を検出し、自動でアライメントを行う眼科装置が記載されている。このような技術において、必要なアライメント精度を達成するためには、被検眼を高精細に観察できる観察光学系が必要である。被検眼を高精細に観察するためには1画素あたりの画界を小さくする必要があるため、これらの装置における観察光学系の観察範囲は被検眼及びその周辺に限られることが多い。
特開2010-162424号公報
しかしながら、顔の大きさには個人差があるため、被検者が装置の顔支持部等に顔を乗せたときに観察光学系の観察範囲から被検者の眼が外れてしまうことがある。このような場合、検者は、装置の顔支持部や測定光学系を移動させて被検眼が観察範囲に入ってから、自動アライメントを開始させる必要がある。また、従来の自動アライメントの技術では、自動アライメント開始時に被検者が装置の顔支持部に顔を乗せていることが前提となっている。したがって、検者は被検者が顔支持部に顔を乗せたことを確認してから自動アライメントを開始させる必要がある。自動アライメントの前のこのような手動操作は検者にとって負荷となることがある。
本発明の一実施態様は、上記状況に鑑み、検者による手動操作の負荷を軽減することができる眼科装置、眼科装置の制御方法、及びプログラムを提供することを目的の一つとする。
本発明の一実施態様に係る眼科装置は、被検眼を撮影するヘッド部と、被検者の顔を支える支持部と、前記ヘッド部と前記支持部とのうち少なくとも一方を移動可能な移動部と、前記ヘッド部の側から前記支持部の側に向かって撮影する観察部と、瞳孔を含む被検眼の画像と瞳孔を含まない画像とを含む画像群を入力として学習した学習済モデルを用いて、被検者が支持部に顔を乗せているか否かに関する情報と被検眼の位置に関する情報とのうち少なくとも一方を推定する推定部と、前記観察部によって撮影して得た画像を前記学習済モデルへの入力として用いて前記推定部によって推定された結果に基づいて、前記移動部を制御する制御部とを備える、眼科装置。
本発明の一実施態様によれば、検者による手動操作の負荷を軽減することできる。
実施例1に係るOCT装置の概略的な構成の一例を示す。 実施例1に係る撮影部の概略的な光学構成の一例を示す。 前眼観察用画像、眼底正面画像、及び断層画像の表示の一例を示す。 実施例1に係る制御部の一例を示すブロック図である。 前眼観察用画像の複数の例を示す。 ニューラルネットワークモデルの概略図である。 検査の一連の処理を示すフローチャートである。 イメージスプリットプリズムを有するプリズム付きレンズの一例と、プリズム付きレンズを用いて得た前眼観察用画像の例を示す。 変形例1に係る検査の一連の処理を示すフローチャートである。
以下、本発明を実施するための例示的な実施例を、図面を参照して詳細に説明する。ただし、以下の実施例で説明する寸法、材料、形状、及び構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。
なお、以下において、眼底に関する画像とは、眼底の情報を含む画像をいう。例えば、眼底に関する画像には、眼底の断面画像である断層画像及び3次元の断層画像、眼底の2次元画像である眼底正面画像、リング像を含む画像、並びに後述するEn-Face画像やOCTA正面画像、OCTA断層画像等が含まれる。また、前眼観察用画像とは、後述する前眼観察用の赤外線CCD112で取得した画像をいう。
さらに、機械学習モデルとは、機械学習アルゴリズムによる学習モデルをいう。機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、及びサポートベクターマシンなどが挙げられる。また、ニューラルネットワークを利用して、学習するための特徴量や結合重み付け係数を自ら生成する深層学習(ディープラーニング)も挙げられる。適宜、上記アルゴリズムのうち利用できるものを用いて以下の実施例及び変形例に適用することができる。また、教師データとは、学習データのことをいい、入力データ及び出力データのペアで構成される。また、正解データとは、学習データ(教師データ)の出力データのことをいう。
なお、学習済モデルとは、任意の機械学習アルゴリズムによる機械学習モデルに対して、事前に適切な学習データを用いてトレーニングすることで得られた(学習を行った)モデルである。ただし、学習済モデルは、事前に適切な学習データを用いて得ているが、それ以上の学習を行わないものではなく、追加学習を行うこともできる。追加学習は、装置が使用先に設置された後も行われることができる。
(実施例1)
以下、本発明の実施例1に係る眼科装置及びその制御方法の一例として眼科撮影装置及びその制御方法について説明する。本実施例に係る眼科撮影装置は、被検眼の眼底を撮影する眼科撮影装置であって、特に被検眼の眼底の2次元画像である眼底正面画像及び断層画像を取得するために用いられるものに関する。本実施例では、眼科撮影装置の例として、学習済モデルを用いて、前眼観察用画像に基づいて、被検眼に対する装置のアライメントを行う光干渉断層撮影装置(OCT装置)について説明する。
(装置の概略構成)
本実施例に係るOCT装置の概略構成について、図1を用いて説明する。図1は、OCT装置1の概略的な構成の一例を示す側面図である。OCT装置1には、撮影部10、制御部20、表示部40、及び入力部50が設けられている。撮影部10には、光学ヘッド部100、ステージ部150、後述の分光器を内蔵するベース部190、及び顔受け部160が設けられている。
光学ヘッド部100は、被検眼に光を照射し且つ被検眼からの戻り光を検出し、前眼観察用画像、眼底正面画像及び断層画像を撮影するための測定光学系を含む。ステージ部150は、不図示のモータを用いて光学ヘッド部100を図中xyz方向に移動可能な移動部の一例である。顔受け部160は、被検者の顎と額とを固定することで、被検者の眼(被検眼)の固定を促すことができる顎台である。また、顔受け部160は、不図示のモータ等の駆動部材を備え、当該駆動部材は図中y方向に顔受け部160を移動可能な移動部の一例として機能する。
制御部20は、撮影部10、表示部40、及び入力部50に接続されており、これらを制御することができる。制御部20は、例えば、ステージ部150の移動を制御し、被検眼に対する光学ヘッド部100のアライメントを行うことができる。また、制御部20は、撮影部10により取得されたデータに基づいて、前眼観察用画像や、眼底正面画像、断層画像等の生成を行うこともできる。
制御部20は、プロセッサーやメモリを含む一般的なコンピュータを用いて構成することができるが、OCT装置1の専用のコンピュータとして構成されてもよい。なお、制御部20は、撮影部10が通信可能に接続された別体(外部)のコンピュータだけでなく、撮影部10の内蔵(内部)のコンピュータであってもよい。また、制御部20は、例えば、パーソナルコンピュータであってもよく、デスクトップPC、ノート型PC、又はタブレット型PC(携帯型の情報端末)等が用いられてもよい。
表示部40は任意のモニタにより構成され、制御部20の制御に従って、被検者情報などの各種情報や各種画像、入力部50の操作に従ったマウスカーソル等を表示する。入力部50は、制御部20への指示を行う入力装置であり、具体的にはキーボードやマウスを含む。なお、表示部40がタッチパネル式のディスプレイであってもよく、この場合には表示部40は入力部50として兼用される。
なお、本実施例においては、撮影部10、制御部20、表示部40、及び入力部50はそれぞれ別個に構成されているが、これらは一部又は全部が一体として構成されてもよい。また、制御部20には不図示の他の撮影装置や記憶装置等が接続されてもよい。
(測定光学系及び分光器の構成)
次に、図2を参照して、本実施例の測定光学系及び分光器の構成例について説明する。図2は、撮影部10の概略的な光学構成の一例を示す。まず、光学ヘッド部100の内部の構成について説明する。
光学ヘッド部100では、被検眼Eに対向して対物レンズ101-1が配置され、その光軸上に第1の光路分離手段として第1ダイクロイックミラー102が配置される。対物レンズ101-1からの光路は、第1ダイクロイックミラー102によって、OCT光学系の測定光路L1並びに眼底観察及び固視灯用の光路L2に至る光路と、前眼の観察光路L3とに光線の波長帯域毎に分岐される。また、第1ダイクロイックミラー102の反射方向には第2の光路分離手段として第2ダイクロイックミラー103が配置される。第1ダイクロイックミラー102の反射方向における光路は、第2ダイクロイックミラー103によって、OCT光学系の測定光路L1と、眼底観察及び固視灯用の光路L2とに光線の波長帯域毎に分岐される。
なお、本実施例に係る構成では、第1ダイクロイックミラー102の透過方向に前眼の観察光路L3、反射方向にOCT光学系の測定光路L1並びに眼底観察及び固視灯用の光路L2に至る光路が配置される。また、第2ダイクロイックミラー103の透過方向にOCT光学系の測定光路L1、反射方向に眼底観察及び固視灯用の光路L2が配置される。しかしながら、各ダイクロイックミラーの透過方向及び反射方向に設けられる光路は互いに逆であってもよい。
眼底観察及び内部固視灯用の光路L2には、第2ダイクロイックミラー103から順に、レンズ101-2,108,107、及び第3ダイクロイックミラー104が配置される。眼底観察及び内部固視灯用の光路L2は、第3の光路分離手段である第3ダイクロイックミラー104によって眼底観察用のCCD105への光路と及び固視灯106への光路に光線の波長帯域毎に分岐される。本実施例では、第3ダイクロイックミラー104の透過方向に固視灯106、反射方向に眼底観察用のCCD105が配置されている。なお、第3ダイクロイックミラー104の透過方向にCCD105、反射方向に固視灯106が配置されてもよい。
レンズ107はフォーカスレンズであり、固視灯及び眼底観察用の光路L2に関する合焦調整のために用いられる。レンズ107は、制御部20によって制御される不図示のモータ等によって、光軸方向に駆動されることができる。
CCD105は、不図示の眼底観察用照明光源から発せられる光の波長、具体的には780nm付近に感度を有する。一方、固視灯106は、可視光を発生して被検者の固視を促すものである。制御部20は、CCD105から出力される信号に基づいて、被検眼Eの眼底の2次元画像である眼底正面画像を生成することができる。
前眼の観察光路L3には、第1ダイクロイックミラー102から順に、レンズ109,110,111、及び前眼観察用の赤外線CCD112が設けられている。また、前眼観察用光源122が図のx方向に対物レンズ101-1を挟むように2つ設けられている。
赤外線CCD112は、レンズ109,110,111を介して、光学ヘッド部100の前方、言い換えると被検者が配置される方向を撮影する観察部の一例である。赤外線CCD112は、特に、被検眼が光学ヘッド部100に対して適正な位置にあるとき、被検眼の前眼部を撮影する。赤外線CCD112は、前眼観察用光源122の波長、具体的には970nm付近に感度を有する。制御部20は、赤外線CCD112から出力される信号に基づいて、前眼観察用画像を含む、光学ヘッド部100の前方の画像を生成する。なお、前眼観察用光源122は、前眼観察用画像に角膜輝点が現れるように、被検眼に指標を投影することができる。
OCT光学系の測定光路L1には、OCT光学系を構成する光学部材が配置されており、OCT光学系は、被検眼Eの眼底の断層像を撮影するための構成を有している。より具体的には、OCT光学系は、断層画像を形成するための干渉信号を得るために用いられる。
測定光路L1には、第2ダイクロイックミラー103から順に、レンズ101-3、ミラー113、光を被検眼Eの眼底上で走査するためのXスキャナ114-1及びYスキャナ114-2、並びにレンズ115,116が配置されている。
Xスキャナ114-1及びYスキャナ114-2は、OCTの測定光の走査手段の一例であり、測定光を被検眼Eの眼底上で走査するために配置されている。Xスキャナ114-1は測定光をx方向に走査するために用いられ、Yスキャナ114-2は測定光をy方向に走査するために用いられる。本実施例では、Xスキャナ114-1及びYスキャナ114-2は、ガルバノミラーによって構成されるが、Xスキャナ114-1及びYスキャナ114-2は所望の構成に応じて任意の偏向手段を用いて構成されてよい。また、測定光の走査手段は、例えばMEMSミラー等の一枚のミラーで2次元方向に光を偏向できる偏向手段により構成されてもよい。
レンズ115は、フォーカスレンズであり、光カプラー117に接続されている光ファイバー117-2から出射する光源118からの光を眼底上に合焦調整するために用いられる。レンズ115は、制御部20によって制御される不図示のモータ等によって、光軸方向に駆動されることができる。この合焦調整によって、眼底からの戻り光は光ファイバー117-2の先端にスポット状に結像されて入射されることとなる。
次に、光源118からの光路、参照光学系、及び分光器の構成について説明する。光源118は代表的な低コヒーレント光源であるSLD(Super Luminescent Diode)である。本実施例では、光源118として中心波長は855nm、波長バンド幅は約100nmであるSLDを用いた。なお、光源118として、本実施例ではSLDを選択したが、低コヒーレント光が出射できればよく、ASE(Amplified Spontaneous Emission)等を用いることもできる。
光源118は、光ファイバー117-1を介して光カプラー117に接続される。光カプラー117には、シングルモードの光ファイバー117-1~4が接続されて一体化されている。光源118から出射された光は光カプラー117にて測定光及び参照光に分割され、測定光は光ファイバー117-2を介して測定光路L1に、参照光は光ファイバー117-3を介して参照光学系に導かれる。測定光は測定光路L1を通じ、被検眼Eの眼底に照射され、網膜による反射や散乱により同じ光路を通じて光カプラー117に到達する。
一方、光カプラー117で分割され、光ファイバー117-3により導かれた参照光は、参照光学系に出射される。参照光学系には、光ファイバー117-3の出射端部より順に、レンズ121、分散補償ガラス120、及びミラー119(参照ミラー)が配置されている。
光ファイバー117-3の出射端より出射された参照光は、レンズ121及び分散補償ガラス120を介してミラー119に到達し反射される。分散補償ガラス120は、測定光と参照光の分散を合わせるために光路中に挿入されている。ミラー119により反射された参照光は同じ光路を戻り、光カプラー117に到達する。ミラー119は、制御部20により制御される不図示のモータ等によって、図中矢印で示される光軸方向に駆動されることができる。
被検眼Eから戻った測定光の戻り光とミラー119から反射された参照光とは、光カプラー117によって合波され干渉光となる。ここで、測定光の光路長と参照光の光路長がほぼ同一となったときに干渉が生じる。そのため、前述のモータ等によりミラー119を光軸方向に移動させ、被検眼Eによって変わる測定光の光路長に対して、参照光の光路長を合わせることで、測定光と参照光による干渉光を生じさせることができる。干渉光は光ファイバー117-4を介して分光器180に導かれる。
分光器180には、干渉光を検出する検出部の一例である。分光器180には、レンズ181,183、回折格子182、及びラインセンサ184が設けられている。光ファイバー117-4から出射された干渉光は、レンズ181を介して略平行光となった後、回折格子182で分光され、レンズ183によってラインセンサ184に結像される。
検出器であるラインセンサ184によって取得された信号における輝度分布に関する情報は、制御部20に干渉信号として出力される。制御部20は、ラインセンサ184から出力された干渉信号に基づいて断層画像を生成することができる。
ここで、被検眼Eの一点から断層の情報を取得することをAスキャンという。また、x方向のある位置で得られるラインセンサ184上の輝度分布を高速フーリエ変換(FFT:Fast Fourier Transform)し、得られた線状の輝度分布を濃度又はカラー情報に変換したものをAスキャン画像と呼ぶ。さらに、この複数のAスキャン画像を並べた2次元の画像をBスキャン画像(断層画像)と呼ぶ。
また、1つのBスキャン画像を構築するための複数のAスキャン画像を撮影した後、y方向のスキャン位置を移動させて再びx方向のスキャンを行うことにより、複数のBスキャン画像を得ることができる。複数のBスキャン画像をy方向に並べることで、3次元の断層画像を構築することができる。制御部20が、複数のBスキャン画像、又は複数のBスキャン画像から構築した3次元の断層画像を表示部40に表示させることで、検者はこれら画像を被検眼Eの診断に用いることができる。
本実施例では、測定光路L1に配置される各部材で構成される測定光学系、参照光学系及び分光器光学系により、マイケルソン干渉計が構成される。これに対し、干渉計としてマッハツェンダー干渉計を用いてもよい。
図3は、表示部40に表示された前眼観察用画像300、眼底正面画像301、及び断層画像であるBスキャン画像302の一例を示す。前眼観察用画像300は、赤外線CCD112の出力を処理して生成された画像であり、眼底正面画像301はCCD105の出力を処理して生成された画像であり、Bスキャン画像302はラインセンサ184の出力を前述のように処理して生成した画像である。
(制御部の構成)
次に、図4を参照して、制御部20の構成について説明する。図4は、制御部20の構成の一例を示すブロック図である。制御部20には、取得部21、駆動制御部22、画像生成部23、位置ずれ推定部24、及び記憶部25が設けられている。
取得部21は、CCD105、赤外線CCD112、及びラインセンサ184から出力される各種信号を取得することができる。また、取得部21は、入力部50を介した操作者からの指示を取得することができる。さらに、取得部21は、記憶部25に記憶されている被検者情報等の各種情報や断層画像等の各種画像、及び画像生成部23で生成された各種画像等を取得することができる。
駆動制御部22は、撮影部10内の各種構成要素の駆動を制御する。具体的には、駆動制御部22は、例えば、ステージ部150、顔受け部160、レンズ107、Xスキャナ114-1、Yスキャナ114-2、レンズ115、及びミラー119等の駆動を制御することができる移動制御手段の一例である。また、駆動制御部22は、前眼観察用光源122、不図示の眼底照明用光源、固視灯106、及び光源118の点灯や消灯の制御を行うこともできる。また、駆動制御部22は、後述する位置ずれ推定部24による推定結果に基づいて、被検眼Eに対する光学ヘッド部100のxyz方向におけるアライメントのために移動部を制御する。駆動制御部22による、アライメントのための移動部の制御については後述する。
画像生成部23は、取得部21が取得したCCD105の出力信号に基づいて眼底正面画像を生成し、赤外線CCD112の出力信号に基づいて前眼観察用画像を生成し、ラインセンサ184から出力された干渉信号に基づいて断層画像を生成することができる。なお、被検眼Eの断層に関するデータや眼底に関するデータ等の眼科情報から断層画像や眼底正面画像等の眼科医用画像を生成する方法は、公知の任意の方法を採用してよい。
位置ずれ推定部24は、画像生成部23が生成した画像と後述する学習済モデルに基づいて、被検者が顔受け部160に顔を乗せているか否かに関する情報及び被検眼Eの位置に関する情報の少なくとも一方を推定する推定部の一例である。本実施例では、位置ずれ推定部24は、前眼観察用画像を学習済モデルへの入力として用いて、被検者の存在確率及び光学ヘッド部100と被検眼Eの瞳孔中心の位置ずれを推定する。位置ずれ推定部24による推定処理の詳細については後述する。
記憶部25は、生成された各種情報や各種画像を記憶することができる。また、記憶部25は、被検者の識別情報等を記憶することができる。さらに、記憶部25は、撮影用のプログラム等を記憶することができる。
制御部20の記憶部25以外の各構成要素は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等のプロセッサーによって実行されるソフトウェアモジュールにより構成されてよい。なお、プロセッサーは、例えば、GPU(Graphical Processing Unit)やFPGA(Field-Programmable Gate Array)等であってもよい。また、当該各構成要素は、ASIC等の特定の機能を果たす回路等によって構成されてもよい。記憶部25は、例えば、ハードディスク等の光学ディスクやメモリ等の任意の記憶媒体によって構成されてよい。
(前眼観察用画像)
次に、図5(a)乃至図5(g)を用いて、前眼観察用画像について説明する。
図5(a)は、光学ヘッド部100と被検眼Eの瞳孔中心の位置関係が合っている状態の前眼観察用画像の例を示す。この例では、被検眼Eの瞳孔が画像の略中央に存在する。また、前眼観察用光源122からの光の角膜による正反射である角膜輝点が瞳孔の両脇に存在する。
図5(b)は、光学ヘッド部100と被検眼Eがz方向に離れているときの例を示す。この例では、被検眼Eが赤外線CCD112の焦点面から離れているため、画像がぼけている。また、図5(b)に示される画像では、被検眼Eが光学ヘッド部100から遠いため、被検眼Eは図5(a)に示された画像における被検眼Eよりも小さく写っている。また、図5(b)に示される画像では、前眼観察用光源122からの光の角膜による正反射の角度が異なるため、角膜輝点の間隔が図5(a)に示された画像における角膜輝点の間隔よりも狭くなっている。
図5(c)は、被検眼Eが、光学ヘッド部100から見てy方向における下側にずれている場合の例を示す。この例では、被検眼Eの瞳孔の他に眉が写っている。図5(d)は、被検眼Eがさらにy方向における下側にずれている場合の例を示す。この例では、被検眼Eの瞳孔が画像に存在しない。また、前髪が画像に表れている。なお、図5(d)に示される画像は一例であり、髪型は被検者ごとの差が大きいため前髪が表れない場合も想定される。
図5(e)は、被検眼Eが光学ヘッド部100から見てxy方向における右上にずれている場合の例である。この例では、被検眼Eの瞳孔が画像の端に一部だけ存在する他に被検者の耳が画像に表れている。図5(f)は、被検眼Eが光学ヘッド部100から見て更にxy方向における右上にずれている場合の例である。この例では、被検眼Eの瞳孔が画像に存在せず、被検者の耳がより画像中央に近い位置に写っている。
図5(g)は、被検者が顔受け部160に顔を乗せていない場合の例を示している。この例では、OCT装置1が設置された部屋の様子が写っている。また、被検者が顔受け部160に顔を乗せていない場合には、光学ヘッド部100から被検者までの距離が遠いため、被検者の顔が図5(a)よりも小さく且つぼけて写っているような画像も想定される。
以上のように、光学ヘッド部100と被検者の位置関係によって、前眼観察用画像には異なる特徴が見られる。これらの特徴は、後述する学習済モデルを精度よく構築する上で重要な特徴である。なお、ここで示した図は主に被検者の右眼に関する画像の例を示すが、左眼に関する画像では右眼と左右対称の特徴が見られる。
(学習済モデルの構成)
ここで、後述のアライメント処理に用いる学習済モデルについて詳細に説明する。本実施例に係るアライメント処理では、前眼観察用画像の認識処理を、深層学習(ディープラーニング)による機械学習プロセスで学習したニューラルネットワークを用いて実装する。図6(a)及び図6(b)は、本実施例に係るニューラルネットワークモデル概略図の一例を示している。本実施例の学習済モデルは以下の2つのニューラルネットワークモデルを含む。
図6(a)は、前眼観察用画像の2次元ピクセル列データを入力とし、顔受け部160に被検者が顔を乗せている確率を表す値である被検者の存在確率Pを出力とするニューラルネットワークモデルの一例を示す。存在確率Pは0から1の値である。本実施例に係る被検者の存在確率Pを出力とする学習済モデルは、被検者が顔受け部160に顔を乗せた状態と乗せていない状態でそれぞれ取得した様々な前眼観察用画像を学習データとして学習している。
顔を乗せていない状態の学習データの入力データには、OCT装置が設置され得る様々な検査室で、照明の強さや、OCT装置の向き、什器の配置などを変えながら取得した前眼観察用画像が含まれる。さらに、当該学習データの入力データには、被検者は写っているが、顔を顔受け部160に乗せていない画像も含まれることができる。例えば、被検者の顔以外の部位が写っている画像や、顔受け部160周辺よりも遠くに被検者が写っている画像が含まれることができる。これらの画像に対する正解データ(学習データの出力データ)としては、存在確率P=0を与える。
顔を乗せた状態の学習データの入力データには、年齢や、性別、人種、髪型、マスク着用有無など様々な条件の被検者に対して、光学ヘッド部100を様々な位置関係に配置した状態で取得した前眼観察用画像が含まれる。この中には、被検者の眼が画像の中に存在しないほどに被検眼Eと光学ヘッド部100の位置関係がずれ、眼以外の顔の一部のみが写っている画像も含まれることができる。これらの画像に対する正解データとしては、存在確率P=1を与える。
図6(b)は、前眼観察用画像の2次元ピクセル列データを入力とし、光学ヘッド部100の座標系において適切なアライメント位置からの被検眼Eのずれ量を出力とするニューラルネットワークモデルの一例を示す。なお、ずれ量としては、3次元位置の情報(Δx,Δy,Δz)が出力される。ずれ量Δx,Δy,Δzは、前眼観察用画像における被検眼Eの瞳孔の中心位置と、光学ヘッド部100により最も好適にOCT断層画像を撮影できる最適な位置との相対距離である。なお、当該最適な位置は、予め設計で決められた光学ヘッド部100に対する被検眼Eの瞳孔中心の相対位置とすることができる。
図6(b)に示されるモデルの学習データの入力データとしては、図6(a)に示されるモデルの学習データの入力データに用いた画像のうち、被検者が顔を乗せた状態の画像を用いることができる。このような画像を準備する場合には、光学ヘッド部100を被検眼に対してずらしながら画像を取得する際に、被検眼Eの瞳孔と光学ヘッド部100の位置を正確に記録しておくことで、正解データとなるずれ量Δx,Δy,Δzを精度よく与えることができる。
以上の基本仕様に係るニューラルネットワークは、例えば入力層の後の中間層を畳み込み層とプーリング層の組み合わせで構成することで、柔軟なパターンの認識を行うことができる畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)として構成できる。また、例えば、出力層の直近を最適値演算に適した全結合層(特に図示せず)で構成することもできる。
これらモデルの学習は、上述のような学習データを用いて、各ニューラルネットワークの入力層と出力層の間の関係性が成立するように、各ノード同士をつなぐ各エッジの重み係数を調整する、バックプロパゲーション法(誤差逆伝播法)により行うことができる。
具体的には、まず、学習モデルの入力層に入力される入力データに応じてニューラルネットワークの出力層から出力される出力データと、正解データとの誤差を得る。なお、損失関数を用いて、ニューラルネットワークからの出力データと正解データとの誤差を計算するようにしてもよい。次に、得られた誤差に基づいて、その誤差が小さくなるように、誤差逆伝播法を用いて、ニューラルネットワークのノード間の結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。なお、このような誤差逆伝播法の他にも、いわゆる積層オートエンコーダ、ドロップアウト、ノイズ付加、及びスパース正則化などの公知の多様な学習手法を併用して処理精度を向上させてもよい。
このような学習データを用いて学習を行った学習済モデルにデータを入力すると、学習済モデルの設計及び学習データを用いてトレーニングされた傾向に従って、入力されたデータに対応する可能性の高いデータが出力される。本実施例では、上述した学習データを用いて学習した学習済モデルに前眼観察用画像を入力すると、被検者が顔受け部160に顔を乗せている確率(被検者の存在確率P)や、光学ヘッド部100と被検眼Eの瞳孔中心との相対距離(ずれ量Δx,Δy,Δz)が出力される。
ここでは2つのモデルを含む学習済モデルを説明したが、本実施例に係る学習済モデル必ずしも2つのモデルに分けなくてもよい。1つのモデルで推定を行う場合、モデルの出力を前述の被検者の存在確率P、及びずれ量Δx,Δy,Δzの4つのパラメータとする方法が考えられる。このとき、被検者がいない画像に対してはずれ量が定義できないため、例えば、ずれ量の正解データを極端に大きな値とする方法が考えられる。このような場合には、位置ずれ推定部24は、ずれ量Δx,Δy,Δzを無視して、存在確率Pに基づいて被検者が顔受け部160に顔を乗せていないと判断してよい。
また、被検者の存在確率Pを出力パラメータとした学習済モデルを用意せずに、ずれ量Δx,Δy,Δzを出力としたパラメータとした学習済モデルからの出力に基づいて、被検者が顔受け部160に顔を乗せているか否かが判断されてもよい。このとき、被検者がいない画像に対してはずれ量が定義できないため、例えば、ずれ量の正解データを極端に大きな値とする方法が考えられる。この場合には、位置ずれ推定部24は、学習済モデルから出力されるずれ量Δx,Δy,Δzが一定値(閾値)よりも大きい場合に、被検者が顔受け部160に顔を乗せていないと判断することができる。
ここでは、ずれ量Δx、Δy、Δzとして、光学ヘッド部100に対する被検眼の相対距離を出力するモデルについて説明した。しかしながら、ずれ量として、相対距離ではなく、光学ヘッド部100に対して被検眼が位置する方向を出力するモデルを本実施例に適用してもよい。
特に、被検者の眼が画像に存在しない程に光学ヘッド部100と被検眼の位置関係がずれている場合においては、これらの相対距離を正確に推定するのは困難である。また、本実施例では、光学ヘッド部100と被検眼の位置関係がずれている場合には、後述するように光学ヘッド部100を被検眼Eに近づけてから再度ずれ量を推定するため、これらの位置関係が大きくずれている場合に相対距離を正確に推定する必要はない。したがって、光学ヘッド部100に対する被検眼の瞳孔中心の方向を出力するモデルとしてもよい。この場合、x方向、y方向、z方向の3つのパラメータを出力とし、それぞれのパラメータに関して瞳孔の方向に応じて+1又は-1を正解データとして学習させる方法が考えられる。なお、学習データの入力データは上述したものと同様のデータであってよい。
また、上下左右前後のそれぞれの優先度を示す6つのパラメータをモデルの出力とすることもできる。この場合には、正解データは、光学ヘッド部100を最も優先的に動かすべき方向のみ1として残りは0とすればよい。このようなモデルを用いることで、光学ヘッド部100を最も優先度が高いと推定された方向に移動させることができる。
さらに、位置合わせが完了している状態を示すパラメータを加えた7つのパラメータをモデルの出力としてもよい。この場合には、位置合わせが完了している状態を示す正解データは、位置合わせが完了している状態を1として示し、位置合わせが完了していない状態を0として示せばよい。さらに、前述のように、1つのモデルで推定を行う場合には、被検者が顔受け部160に顔を乗せていないことを示す被検者不在フラグを8つ目のパラメータとしてもよい。この場合には、被検者不在フラグを示す正解データは、例えば、前述の被検者の存在確率Pが一定値以上のときに0、一定値未満のときに1となるような2値の情報であってよい。この例では、パラメータが1になるケースが排他的であるため、被検者が存在しないときに未定義となるパラメータがない。
また、モデルの出力や対応する正解データは、瞳孔の位置に関する情報ではなく、光学ヘッド部100及び顔受け部160を移動するための制御情報でもよい。この場合、例えば、光学ヘッド部100の駆動による騒音や、光学ヘッド部100の移動に対する被検者の恐怖感を考慮した最適な制御の順番や速度を出力としてもよい。
また、モデルの出力や正解データのパラメータをさらに追加してもよい。例えば、眼鏡やサングラスを装着しているかどうか示すパラメータを追加のパラメータとして出力するようにしてもよい。この場合、駆動制御部22は、当該パラメータに基づく位置ずれ推定部24の出力に従って、眼鏡やサングラスを装着している被検者に対して、例えば、光学ヘッド部100と顔受け部160の移動を行わないようにステージ部150等の移動部を制御することができる。また、制御部20は、撮影の前に眼鏡やサングラスを外すよう警告メッセージを表示部40に表示させることができる。この場合には、学習の際に眼鏡やサングラスを装着した画像及び眼鏡やサングラスの装着有無の情報を学習データの入力データ及び出力データとして与えればよい。
同様に、モデルは、眼を開けているかどうかを示すパラメータを追加のパラメータとして出力してもよい。駆動制御部22は、当該パラメータに基づく位置ずれ推定部24の出力に従って、目を閉じている被検者に対して、例えば、光学ヘッド部100及び顔受け部160の移動を行わないようにステージ部150等の移動部を制御することができる。また、制御部20は、眼を開けるよう促す音声を不図示のスピーカ等により出力させることができる。この場合も同様に、眼を閉じた画像及び眼の開閉状態の情報を学習データの入力データ及び出力データとして与えればよい。
さらに、モデルは、右眼の推定瞳孔位置と左眼の推定瞳孔位置を別々に両方出力してもよい。このような構成では、光学ヘッド部100が右眼側に位置している場合であっても、左眼の瞳孔へ最短距離で移動させる制御を行うことができる。この場合には、学習の際に、右眼の推定瞳孔位置及び左眼の推定瞳孔位置を学習データの出力データとして与えればよい。なお、モデルは上述したパラメータ以外のパラメータを出力してもよい。
また、ここでは前眼観察用画像を特別加工せずにモデルの入力データとして用いているが、何らかの加工や解析を行った結果を入力データとして用いてもよい。例えば、輝度やコントラストの調整を行った画像、エッジを検出した画像、又はルールベースの画像処理で何らかの特徴点を抽出した画像(2次元座標に対応するデータを含む)を入力データとして用いてもよい。ここで、ルールベースの処理とは既知の規則性、例えば網膜の形状の規則性等の既知の規則性を利用した処理をいう。
さらに、画像に関連した情報以外の情報を入力データとして加えてもよい。例えば、現在の光学ヘッド部100の移動方向と移動速度を入力データに加えることで、画像取得時刻よりも後の、実際に光学ヘッド部100の移動に反映するタイミングにおける瞳孔のずれ量を予測することができる。
また、被検眼に散瞳剤を点しているかどうかを入力データに加えてもよい。散瞳剤を点した被検眼では瞳孔が拡大するため、このような被検眼を撮影した場合には、前眼観察用画像として異なる特徴を有する画像が得られる。そのため、学習済モデルを構築する際に散瞳剤を点しているかの情報を入力として加えると、より精度の高いモデルを構築できる可能性がある。また、ここで挙げていない他のパラメータを入力データとして加えてもよい。
なお、処理アルゴリズムは、図示したニューラルネットワークを用いた深層学習(ディープラーニング)によるもの以外にも、例えばサポートベクターマシンやベイジアンネットワーク等を利用した他の処理アルゴリズムを適用してもよい。また、前眼観察用画像は連続で取得することが想定される動画像であるため、時系列のデータの扱いに適したRNN(Recurrent Neural Network)を用いてもよい。RNNの入力には以前の画像フレームの情報を用いるため、RNNを用いることで、より経時変化を踏まえた推定を行うことができる。
この場合、例えば、被検者が顔を乗せた画像が複数フレーム連続で入力されたときに、より高い被検者の存在確率Pを出力するモデルの構築が可能である。また、瞳孔の推定相対位置の情報(ずれ量Δx,Δy,Δz)の値が急激に大きく変化することがないようなモデルの構築が可能であり、瞳孔の位置の誤推定を防止できる可能性がある。
(断層画像の撮影フロー)
次に、図7を参照して、本実施例に係る検査に関する画像撮影のフローをステップ順に説明する。図7は、本実施例に係る検査の一連の処理を示すフローチャートである。
まず、ステップS701では、検者が入力部50によって被検者情報を制御部20に入力する。ここでは、当該操作により検査が開始される構成とする。
次にステップS702では、駆動制御部22が顔受け部160及び光学ヘッド部100を所定の位置に移動させる。当該所定の位置は、例えば、最も標準的な大きさの顔の被検者に合わせて予め設計で決められた位置であってよい。
次にステップS703において、画像生成部23が前眼観察用画像を生成する。より具体的には、駆動制御部22が前眼観察用光源122を点灯させ、画像生成部23が赤外線CCD112から出力される信号に基づいて前眼観察用画像を生成する。
次にステップS704では、位置ずれ推定部24が、学習済モデルを用いて被検者の存在確率P及び光学ヘッド部100に対する被検眼の瞳孔のずれ量Δx,Δy,Δzを含む瞳孔情報を推定する。具体的には、位置ずれ推定部24は、前述の学習済モデルにステップS703で取得した前眼観察用画像を入力として与え、得られた出力を用いてこれらの情報を推定する。
次にステップS705では、位置ずれ推定部24が、顔受け部160に被検者が顔を乗せているかどうかを判断(推定)する。具体的には、位置ずれ推定部24は、ステップS704で推定した被検者の存在確率Pの値が一定以上であれば、被検者が顔を乗せていると判断する。位置ずれ推定部24が、ステップS705で被検者が顔を乗せていないと判断した場合には、まだアライメントを開始できないと判断し、処理がステップS703に戻る。一方で、位置ずれ推定部24が、ステップS705で被検者が顔を乗せていると判断した場合、処理はステップS706に移行する。
ステップS706では、位置ずれ推定部24は装置のアライメント状態を判断する。具体的には、位置ずれ推定部24は、ステップS704で推定したずれ量Δx,Δy,Δzに基づいて、装置のアライメント情報の判断を行う。位置ずれ推定部24は、例えば、ずれ量Δx,Δy,Δzと閾値Tx,Ty,Tzを比較することによって当該判断を行う。閾値は、OCT断層画像を好適に撮影できるように予め設計で決められた値とすることができる。
位置ずれ推定部24は、アライメント完了条件である|Δx|<Tx、|Δy|<Ty、且つ|Δz|<Tzが満たされるとき、アライメント状態が適正であると判断(推定)する。一方で、当該アライメント完了条件が満たされない場合には、位置ずれ推定部24はアライメント状態が不適正であると判断(推定)する。なお、位置ずれ推定部24は、被検眼Eと光学ヘッド部100の位置関係が安定してからアライメント状態が適正であると判断するために、上記アライメント完了条件を複数回連続で満たされた場合にのみ、アライメント状態が適正であると判断してもよい。
ステップS706でアライメント状態が不適正であると判断された場合には、処理はステップS707に移行する。ステップS707では、駆動制御部22が、顔受け部160の駆動部材及びステージ部150を制御して、顔受け部160及び光学ヘッド部100の少なくとも一方を瞳孔推定位置に基づいて移動させる。
具体的には、位置ずれ推定部24は、ステップS704で推定した瞳孔の相対位置の情報(ずれ量Δx,Δy,Δz)を駆動制御部22に送る。駆動制御部22はステージ部150等の移動部を制御して、|Δy|が所定値より大きい場合には顔受け部160を、所定値以下の場合には光学ヘッド部100を移動させる。ここで、顔受け部160を移動させる場合には、駆動制御部22は、情報Δyの符号に基づいて|Δy|が小さくなる方向を顔受け部160の移動方向とし、顔受け部160の駆動部材を制御して、Δyに対応する距離だけ顔受け部160移動させることができる。なお、xz方向のずれに関しては、駆動制御部22はステージ部150を制御して光学ヘッド部100を移動させる。また、光学ヘッド部100の移動距離は、ずれ量Δx,Δy,Δzに対応する距離とすることができる。
ここで、顔受け部160及び光学ヘッド部100の移動には時間がかかるため、移動中に被検眼Eが動いてしまうことが考えられる。そのため、制御部20は、ステップS707において顔受け部160及び光学ヘッド部100の移動を開始したすぐ後に、処理をステップS703に戻して新しい画像を取得し、ステップS706でアライメント状態が適正であると判断されるまで上記制御を繰り返す。
ステップS706でアライメント状態が適正であると判断された場合には、処理はステップS708に移行する。ステップS708では、制御部20がOCT撮影を行う。具体的には、駆動制御部22が光源118、Xスキャナ114-1、Yスキャナ114-2、及びレンズ115等の駆動を制御し、画像生成部23がラインセンサ184から出力される干渉信号に基づいてOCT断層画像を生成する。これにより、制御部20は、適正な位置でOCT断層画像を得ることができる。なお、ステップS708において、制御部20は、眼底観察用のCCD105を用いて取得した眼底観察画像等を用いてより詳細なアライメントを行った上で、OCT撮影を行ってもよい。ステップS708でのOCT撮影処理が終了すると、ステップS709において検査が完了する。
ここでは片眼のみの検査フローを説明したが、両眼続けてOCT撮影を行う検査フローとしてもよい。その場合、右眼と左眼それぞれについて上記フローを実行すればよい。
本実施例では、ステップS701の被検者情報の入力は、検査の開始を示す役割を兼ねている。しかしながら、検査の開始方法はこれに限るものではない。例えば、OCT装置1の電源を入れる操作等を検査の開始としてもよい。あるいは、被検者情報とは異なる検査開始を示す専用の入力を入力部50によって与えることを検査の開始としてもよい。また、前の検査が終わったことを次の検査の開始としてもよい。
また、ステップS702における初期位置への移動は簡略化してもよい。すなわち、初期位置への到着を待たずにステップS703へ進んでもよい。初期位置への到着を待たずにステップS703へ進む場合には、次のような効果が得られる。最初から被検者が顔受け部160に顔を乗せていた場合、光学ヘッド部100が初期位置へ到達する前に推定された被検眼Eの瞳孔の相対位置(ずれ量Δx,Δy,Δz)への移動に切り替えることができ、検査時間を短縮することができる。特に、両眼について続けてOCT撮影を行う検査フローにおいては、この制御によって検査時間を大きく短縮できる。すなわち、一方の眼の検査の後、他方の眼の検査の初期位置へ移動している間に当該他方の瞳孔位置を推定して最短距離で当該他方の眼に向かうことができる。
さらに、ステップS704で学習済モデルを用いて推定する情報は被検者の存在確率P及び瞳孔のずれ量Δx,Δy,Δzの全てである必要はなく、一部でもよい。この場合、学習済モデルを用いて推定しない情報は、ルールベースなど他の手段を用いて推定するか、あるいは予め決められた制御のみを行う構成とすることが考えられる。
例えば、被検者の存在確率Pのみを学習済モデルで推定する場合、瞳孔のずれ量はルールベースの画像解析で推定することができる。ルールベースの画像解析としては、例えば前眼観察用画像を二値化して、瞳孔、眉、及び鼻などの顔の特徴を認識して、瞳孔のずれ量Δx,Δyを推定する処理を行うことができる。さらに、画像から2つの角膜輝点を検出し、その間隔から瞳孔のずれ量Δzを推定することができる。なお、瞳孔のずれ量Δx,Δy,Δzに関する3軸のうち一部の軸に関する位置情報のみ学習済モデルを用いて推定する構成の場合でも、残りの軸に関する位置情報は同様の画像処理を用いて求めることができる。
また、瞳孔のずれ量のみを学習済モデルで推定する場合、被検者の存在確率Pは判断せず、常に被検者が顔受け部160に顔を乗せているという前提で制御してもよい。検査を開始してから被検者が顔受け部160に顔を乗せるまでの時間が短い又はゼロであれば、常に被検者が顔を乗せているという前提で制御しても支障がない。あるいは、顔受け部160にセンサを設け、被検者が顔を乗せたことをそのセンサで検知する制御としてもよい。
また、前述したようにステップS704で被検眼Eの瞳孔位置を推定する代わりに、瞳孔が位置する方向のみを推定してもよい。推定した方向にステップS707で光学ヘッド部100を所定量だけ移動させ、それを繰り返すことで光学ヘッド部100を瞳孔中心に段階的に近づけていくことができる。この場合、ステップS706においてアライメント状態が適正かどうかを判断する際には、位置ずれ推定部24は、例えば上述したルールベースの画像解析を用いることができる。あるいは、位置ずれ推定部24は、移動方向が一定以上の頻度で切り替わったときに光学ヘッド部100が瞳孔中心に十分近くなったと判断してもよい。
さらに、ステップS705で顔受け部160に被検者が顔を乗せていないと判断された場合、上記フローでは処理をステップS703に戻すとしている。これに対し、ステップS705で顔受け部160に被検者が顔を乗せていないと判断された場合、処理をステップS702に戻し、駆動制御部22が、顔受け部160及び光学ヘッド部100を所定の位置に移動させるとしてもよい。あるいは、通常は処理をステップS703に戻す制御とし、被検者が顔を乗せていないという判断が一定回数連続した場合のみ、処理をステップS702に戻す制御としてもよい。例えば、顔受け部160に被検者が顔を乗せていない状態で一時的に被検者が顔を乗せていると誤って判断して顔受け部160又は光学ヘッド部100を移動させてしまった場合を仮定する。上記制御では、このような場合であっても、その後被検者が顔を乗せていないと正しく判断されたときに顔受け部160と光学ヘッド部100を検査開始時の位置に戻すことができる。
あるいは、顔受け部160に被検者が顔を乗せていないと判断されたときに、駆動制御部22が、その時点で光学ヘッド部100及び顔受け部160の移動を停止させる(静止させる)処理を行ってもよい。また、光学ヘッド部100及び顔受け部160が移動していない場合に、顔受け部160に被検者が顔を乗せていないと判断されたときには、駆動制御部22は、光学ヘッド部100及び顔受け部160を移動させない処理を行ってもよい。
また、ステップS705では、位置ずれ推定部24は、被検者の存在確率Pが一定以上であれば、顔受け部160に被検者が顔を乗せていると判断しているが、他の方法により被検者が顔を乗せているか否かを判断してもよい。例えば、顔受け部160に被検者が顔を乗せた直後は、姿勢を直すなどの動きによってまだ顔の位置が安定していないことが多いため、顔の位置がある程度安定したと判断してから被検者が顔を乗せたと判断するようにしてもよい。
具体的には、位置ずれ推定部24は、被検者の存在確率Pが一定以上となる結果が複数回連続で続いたときのみ、顔受け部160に被検者が顔を乗せていると判断してもよい。さらに、位置ずれ推定部24は、被検者の存在確率Pが一定以上であり、且つ、推定された瞳孔の相対位置(ずれ量Δx,Δy,Δz)の複数回の値の変化が一定より小さくなったときのみ、顔受け部160に被検者が顔を乗せていると判断してもよい。あるいは、位置ずれ推定部24は、被検者の存在確率Pが一定以上であり、且つ、画像の変化量が一定より小さくなったときに被検者が顔を乗せていると判断してもよい。画像の変化量は、例えば前のフレームの画像との差分を計算する処理によって得ることができる。
また、ステップS706にエラー処理を追加してもよい。具体的には、一定時間経ってもアライメント状態が適正とならない場合には、制御部20が表示部40にメッセージを表示させる制御を追加してもよいし、駆動制御部22が光学ヘッド部100及び顔受け部160を初期位置に戻すような制御を追加してもよい。
さらに、ステップS707の制御対象には顔受け部160と光学ヘッド部100が両方含まれるが、片方のみでもよい。また、駆動制御部22は、顔受け部160と光学ヘッド部100を同時に移動させてもよい。
なお、顔受け部160は被検者に直接接する部分であるため、顔受け部160を移動させるときに特別な制御を行ってもよい。例えば、顔受け部160を移動させると制御部20が判断したときに、一度警告メッセージを表示部40に表示させる処理や、検者の入力を待つ処理等を追加してもよい。それにより、顔受け部160が突然移動したことによって被検者が驚くおそれを低減できる。
また、本実施例では、ステップS708のOCT撮影の間は光学ヘッド部100を移動させていないが、これに限るものではない。一度アライメント状態が適正であると判断された場合であっても、OCT撮影中に被検眼Eが動いてしまい、好適なOCT断層画像を取得できない可能性も考えられる。そのため、OCT撮影中もステップS703からステップS707によるアライメント制御を行い続ける構成としてもよい。
また、プレビュー画面に表示される前眼観察用画像の動画像を用いて、アライメント処理を行う場合には、これらの処理は動画像の1フレーム毎に行われてもよいし、動画像の所定のフレーム数毎に行われてもよい。
なお、ステップS708におけるOCT撮影では、断層画像や眼底正面画像とともに、又はこれらに代えて、En-Face画像やOCTA正面画像等の画像が撮影されてもよい。ここで、En-Face画像とは、光干渉を用いて得たボリュームデータ(三次元の断層画像)の少なくとも一部の深度範囲であって、2つの基準面に基づいて定められた深度範囲に対応するデータを二次元平面に投影又は積算して生成される正面画像をいう。
また、OCTA正面画像とは、複数のボリュームデータ間のモーションコントラストデータについて、上述の深度範囲に対応するデータを二次元平面に投影又は積算して生成したモーションコントラスト正面画像のことをいう。ここで、モーションコントラストデータとは、被検眼の同一領域(同一位置)において測定光が複数回走査されるように制御して得た複数のボリュームデータ間での変化を示すデータである。
ここで、上述したプレビュー画面において、眼底正面画像に代えて、所定の深度範囲に対応するEn-Face画像やOCTA正面画像が動画像として表示されてもよい。また、プレビュー画面において、断層画像に代えてOCTA断層画像が動画像として表示されてもよい。
上記のように、本実施例に係るOCT装置1は、光学ヘッド部100と、顔受け部160と、ステージ部150及び顔受け部160の駆動部材と、赤外線CCD112と、位置ずれ推定部24とを備える。光学ヘッド部100は、被検眼を撮影するヘッド部の一例として機能する。顔受け部160は、被検者の顔を支える支持部の一例として機能する。ステージ部150、及び顔受け部160の駆動部材は、光学ヘッド部100及び顔受け部160とのうちの少なくとも一方を移動可能な移動部の一例として機能する。赤外線CCD112は、光学ヘッド部100側から顔受け部160側に向かって撮影する観察部の一例として機能する。本実施例では、赤外線CCD112は、光学ヘッド部100の前方、言い換えると被検者を配置する方向の前眼観察用画像を撮影する。
位置ずれ推定部24は、学習済モデルを用いて、被検者が顔受け部160に顔を乗せているか否かに関する情報と被検眼の位置に関する情報とのうち少なくとも一方を推定する推定部の一例として機能する。本実施例で用いる学習済モデルは、瞳孔を含む被検眼の画像と瞳孔を含まない画像とを含む画像群を入力として学習した学習済モデルである。また、位置ずれ推定部24によって推定される被検眼の位置に関する情報は、被検眼の瞳孔の光学ヘッド部100に対する相対位置と光学ヘッド部100の位置を基準とした被検眼の瞳孔の位置の方向とのうち少なくとも一方を含む。
駆動制御部22は、赤外線CCD112によって撮影して得た画像を学習済モデルへの入力として用いて推定された結果に基づいて、移動部を制御する制御部の一例として機能する。本実施例では、駆動制御部22は、位置ずれ推定部24によって推定された相対位置と方向とのうち少なくとも一方に基づいて、光学ヘッド部100又は顔受け部160を移動させるように移動部を制御する。より具体的には、駆動制御部22は、位置ずれ推定部24によって被検者が顔受け部160に顔を乗せていることを示す情報が推定されたときに、前述の相対位置と方向とのうち少なくとも一方に基づいて、光学ヘッド部100と顔受け部160とのうち少なくとも一方を移動させるように移動部を制御する。
また、駆動制御部22は、位置ずれ推定部24によって被検者が顔受け部160に顔を乗せていないことを示す情報が推定されたときに光学ヘッド部100と顔受け部160とのうち少なくとも一方を静止させる又は移動させないように移動部を制御する。なお、駆動制御部22は、位置ずれ推定部24によって被検者が顔受け部160に顔を乗せていないことを示す情報が推定されたときに光学ヘッド部100と顔受け部160とのうち少なくとも一方を所定の位置に移動させるように移動部を制御してもよい。
このような構成によれば、検者が顔受け部160に顔を乗せた段階で自動的に検査が開始され、被検者の顔の大きさに関わらずアライメントが自動で行われる。そのため、被検者が顔受け部160に顔を乗せたことを確認してから検査開始操作を行う必要がなく、また、被検者の瞳孔が観察範囲に入るまで手動で装置を制御する必要がない。従って、本実施例に係るOCT装置1を用いることで、検者による手動操作の負荷を減少させることができる。
なお、本実施例では、赤外線CCD112を、被検眼の前眼部の画像を撮影する前眼観察部の一例として用いる。このため、アライメント用に別個のカメラ等を設ける必要がなくなるため、コストを低減するとともに装置を小型化することができる。
また、駆動制御部22は、位置ずれ推定部24によって被検者が顔受け部160に顔を乗せていることを示す情報が推定された推定結果が一定時間続いたときに、前述の相対位置及び方向の少なくとも一方に基づいて、光学ヘッド部100と顔受け部160とのうち少なくとも一方を移動させるように移動部を制御してもよい。この場合には、顔の位置がある程度安定したと判断してから被検者が顔を乗せたと判断することができる。
なお、本実施例では、学習済モデルは、被検者が支持部に顔を乗せているか否かに関する情報を出力として学習した学習済モデルと、被検眼の位置に関する情報を出力として学習した学習済モデルとを含む。そのため、位置ずれ推定部24は、それぞれの学習済モデルからの出力を用いて、被検者が顔受け部160に顔を乗せているか否かに関する情報と被検眼の位置に関する情報とを推定する。
これに対して、位置ずれ推定部24は、被検眼の瞳孔の光学ヘッド部100に対する相対位置を含む被検眼の位置に関する情報を出力として学習した学習済モデルのみを用いて、顔を乗せているか否かに関する情報と被検眼の位置に関する情報とを推定してもよい。この場合には、位置ずれ推定部24は、学習済モデルから出力された被検眼の位置に関する情報に基づいて、被検者が顔受け部160に顔を乗せているか否かに関する情報を推定することができる。例えば、位置ずれ推定部24は、学習済モデルから出力されたずれ量Δx,Δy,Δzが閾値よりも大きいときに、被検者が顔受け部160に顔を乗せていないと推定することができる。
また、学習済モデルは、被検者が支持部に顔を乗せているか否かに関する情報と被検眼の位置に関する情報とを出力として学習した1つの学習済モデルであってもよい。この場合、位置ずれ推定部24は、当該1つの学習済モデルからの出力を用いて、被検者が顔受け部160に顔を乗せているか否かに関する情報と被検眼の位置に関する情報とを推定することができる。
なお、OCT装置1は、検者の入力を受け付ける入力部50を更に備えることができる。この場合、位置ずれ推定部24は、入力部50によって検者の入力を受け付けたときに推定処理を開始してもよい。このような構成によれば、被検者が顔受け部160に顔を乗せたこと等を確認した上で、検者が上述の自動のアライメントの開始を指示することができる。
また、OCT装置1は、被検眼に指標を投影する投影部の一例として機能する前眼観察用光源122を更に備えることができる。この場合には、赤外線CCD112は、前眼観察用光源122によって被検眼に投影された指標の画像を含む画像を撮影することができる。位置ずれ推定部24は、前眼観察用画像に現れる指標に基づいて、ルールベースの処理により被検眼と光学ヘッド部100との位置関係を算出することができる。
さらに、学習済モデルが学習する画像群は、被検者が眼鏡を装着している画像と眼鏡を装着していない画像を含んでもよい。この場合、位置ずれ推定部24は、赤外線CCD112によって撮影して得た画像を学習済モデルへの入力として用いて、被検者が眼鏡を装着しているか否かに関する情報を更に推定することができる。この場合には、位置ずれ推定部24によって被検者が眼鏡を装着していることを示す情報が推定されたときには、光学ヘッド部100と顔受け部160とのうち少なくとも一方を移動させないように移動部を制御するように駆動制御部22を構成することができる。このような構成によれば、撮影の前に眼鏡を外すように被検者に注意を促すこと等を支援することができる。
また、学習済モデルが学習する画像群は、被検者が眼を開けている画像と眼を閉じている画像を含んでもよい。この場合、位置ずれ推定部24は、赤外線CCD112によって撮影して得た画像を学習済モデルへの入力として用いて、被検者が眼を開けているか否かに関する情報を更に推定することができる。この場合には、位置ずれ推定部24によって被検者が眼を閉じていることを示す情報が推定されたときには、光学ヘッド部100と顔受け部160とのうち少なくとも一方を移動させないように移動部を制御するように駆動制御部22を構成することができる。このような構成によれば、被検者が目をつぶってしまった際に取得された画像に基づくアライメントの誤作動等を防止することができる。
なお、本実施例はOCT装置以外の眼科装置にも適用可能である。例えば、眼底カメラやSLO装置、眼屈折力測定装置、眼圧計など様々な眼科装置に本実施例に係るアライメント処理を適用可能である。その場合、図7のステップS708はその眼科機器に応じた撮影や測定となる。
また、本実施例に係るアライメント処理は、前眼正面画像の撮影や、前眼部OCTの撮影を行う装置にも適用可能である。特に眼底と前眼部の両方を撮影可能な装置においては、眼底撮影時と前眼部撮影時で作動距離(被検眼Eと光学ヘッド部100とのz方向の距離)が異なることが多い。その場合、共通の学習済モデルに対して、眼底撮影と前眼部撮影で異なるz方向のオフセット距離を加えて撮影する検査フローが考えられる。あるいは、眼底撮影と前眼部撮影のそれぞれで最適なz方向位置にアライメントするように、撮影の種類毎に別のモデルを学習させて用意してもよい。
(変形例1)
本変形例では、実施例1に記載のOCT装置を改良し、アライメント精度を向上させた例について説明する。具体的には、前眼に関して広域と狭域の2種類の画像を取得し、広域画像からは学習済モデルを用いて瞳孔の概略のずれ量を推定し、狭域画像からはルールベースの画像解析によって瞳孔の高精度なずれ量を推定する例を説明する。
まずアライメント精度の向上が求められる理由について説明する。OCT装置において、アライメントがずれているとOCT測定光束の一部が虹彩で遮蔽され、断層画像が暗くなるという問題がある。また、アライメントがずれていると角膜又は水晶体による眼底観察光の反射が撮像素子まで到達し、観察画像に不要な光が写り込むという問題がある。これらの問題は被検眼の瞳孔径や角膜形状にも依存するが、光学ヘッド部をより理想に近い位置にアライメントすることで影響を軽減させることができる。したがって、アライメント精度を向上させることがこれら問題の軽減に効果的である。
実施例1に記載のOCT装置では、図5に示される前眼観察用画像のように被検眼の周辺まで含んだ画像を取得する。これは、広い範囲が写っている画像の方が特徴を多く含むため、学習済モデルを構築する際に精度の高い学習済モデルが得られるからである。一方で、アライメント精度を向上させるためには分解能の高い画像、すなわち1画素当たりの画界が狭い画像を用いてより詳細な調整を行う必要がある。これは、前眼観察用画像のように広い範囲が写っている画像の代わりに、撮影範囲が狭い画像をアライメントに用いることを意味する。
また、例えば、図5に示される前眼観察用画像を用いてずれ量を求める場合、z方向のずれ量(Δz)を精度よく推定することは容易ではない。図5に示される前眼観察用画像は、画像のぼけ量や角膜輝点の間隔などz方向のずれ量に関する情報を含んだ画像である。しかしながら、ぼけ量ではずれ方向(前方又は後方)が分からないという問題があり、角膜輝点の間隔は角膜曲率に依存するため不正確さがあるという問題がある。このため、本変形例では、z方向ずれ量(Δz)を容易に推定可能で、高分解能な前眼観察用画像を用いる。
本変形例に係るOCT装置の概略構成及び光学レイアウトは、大部分が実施例1と同様であるため、図1、図2及び図4に示す構成を参照し、各構成について同じ参照符号を用いて説明を省略する。以下、本変形例に係るOCT装置について実施例1に係るOCT装置と異なる点を中心に説明する。
実施例1に係るOCT装置と異なる点として、まず、本変形例では、レンズ109,110,111の倍率が実施例1と異なり、赤外線CCD112によって得られる前眼観察用画像の撮影範囲が狭く分解能が高い。さらに、本変形例では、レンズ110にプリズムが装着されているという違いがある。以下、プリズム付きレンズ110とその効果について図8(a)及び図8(b)を用いて説明する。
プリズム付きレンズ110には、図8(a)に示されるように、フレネルプリズム110-1,110-2が設けられている。なお、プリズム付きレンズ110は、フレネルプリズム110-1,110-2が被検眼Eの前眼部と共役となる位置に配置されている。なお、本変形例では、フレネルプリズム110-1,110-2のプリズム効果により、プリズム付きレンズ110を通る光束による像が光学ヘッド部100と被検眼Eとの距離に応じて上下に分割されるように、プリズム付きレンズ110を配置している。しかしながら、プリズム効果による像の分割方向は所望の構成に応じて任意に設定されてよく、プリズム付きレンズ110もこれに応じて任意の向きで配置されてよい。
ここで、光学ヘッド部100と被検眼Eとの位置関係、つまりアライメント位置が理想位置にある場合について述べる。この場合には、被検眼Eの前眼部からの反射・散乱光の光束は、プリズム付きレンズ110のフレネルプリズム110-1,110-2上に一度結像し、フレネルプリズム110-1,110-2のプリズム効果により、像が分割(イメージスプリット)される。しかしながら、赤外線CCD112の撮影面もフレネルプリズム110-1,110-2と共役なため、赤外線CCD112を用いて撮影された前眼観察用画像は、図8(b)の前眼観察用画像801のようになる。前眼観察用画像801では、前眼部像は画像の中心にあり、瞳孔像の上半分と下半分が合致している。
これに対し、アライメント位置がxy方向において理想位置にない場合には、前眼観察用画像は、図8(b)の前眼観察用画像802のようになる。前眼観察用画像802では、前眼部像が画像の中心からずれた位置にあるが、z方向の位置は理想位置にあるため瞳孔像の上半分と下半分が合致している。
次に、アライメント位置がxy方向では理想位置にあり、z方向では理想位置よりも遠い(光学ヘッド部100と被検眼Eとの距離が理想距離より長い)場合には、前眼観察用画像は、図8(b)の前眼観察用画像803のようになる。前眼観察用画像803では、前眼部像は画像の中心にあるものの、瞳孔像の上半部と下半分がずれている。
同様に、アライメント位置がxyz方向(又はxz方向若しくはyz方向)において理想位置にない場合には、赤外線CCD112を用いて撮影された前眼観察用画像において前眼部像は画像の中心からずれ、瞳孔像の上半分と下半分もずれることになる。例えば、アライメント位置がx方向において理想位置になく、且つ、z方向において理想位置よりも近い(光学ヘッド部100と被検眼Eとの距離が理想距離より短い)場合には、前眼観察用画像は図8(b)の前眼観察用画像804のようになる。前眼観察用画像804では、前眼観察用画像802では、前眼部像が画像の中心から横方向にずれた位置にあり、瞳孔像の上半部と下半分がずれている。なお、前眼観察用画像804では、瞳孔像の上半部と下半分のずれ方向が、前眼観察用画像803での瞳孔像の上半部と下半分のずれ方向と逆向きであり、それぞれの画像に対応するアライメント位置のz方向のずれ方向が逆になっていることが分かる。
このような前眼観察用画像を用いる場合には、位置ずれ推定部24は、画像に瞳孔が写っていればルールベースの画像解析によって瞳孔のずれ量Δx,Δy,Δzを求めることができる。具体的には、位置ずれ推定部24は、まず、前眼観察用画像を適切な閾値で二値化することで、瞳孔領域のみを検出する。位置ずれ推定部24は、検出した瞳孔領域の重心と画像の中心の相対距離に既定の係数をかけることで瞳孔のずれ量Δx,Δyを得ることができる。なお、当該規定の係数は、1ピクセルあたりの前眼部における距離に対応し、設計に応じて定められる設計値である。さらに、位置ずれ推定部24は、検出した瞳孔領域をプリズムの境界で上下に分離し、上下それぞれで重心を算出して重心同士の横方向の差からプリズムによる像のずれ量を求めることができる。位置ずれ推定部24は、求めたプリズムによる像のずれ量に対して、既定の係数をかけることにより瞳孔のずれ量Δzを求めることができる。当該規定の係数は、イメージスプリットに関する1ピクセルあたりのz方向の距離に対応する設計値である。
なお、瞳孔のずれ量Δx,Δy,Δzの求め方(検出方法)はこれに限るものではない。例えば、位置ずれ推定部24は、前眼観察用画像に対して二値化ではなく、エッジ検出や円近似など様々な手法を適用して瞳孔を検出してもよい。また、位置ずれ推定部24は、瞳孔ではなく角膜輝点を検出してもよい。さらに、赤外線CCD112とは異なる別のセンサ、例えば距離センサ等を設けて、位置ずれ推定部24は、当該別のセンサからの出力に基づいて瞳孔のずれ量Δx,Δy,Δzを検出してもよい。さらに、z方向のずれ量に関しては、イメージスプリットを用いずに角膜輝点や画像のぼけ量を用いて検出してもよい。
ところで、このような画像解析アルゴリズムは瞳孔が写っている画像に対してのみ有効である。画像に瞳孔が写っていない場合には、実施例1と同様の学習済モデルを用いることが考えられる。しかしながら、上述のように、本変形例に係るレンズ109,110,111の倍率は実施例1と異なり、赤外線CCD112によって得られる前眼観察用画像の撮影範囲が狭く分解能が高い。そのため、図8(b)に示すような本変形例に係る前眼観察用画像は撮影範囲が狭く、写っているものの情報が少ないため、本変形例に係る前眼観察用画像を瞳孔のずれ量の推定処理に用いた場合、瞳孔位置の推定が困難となる可能性がある。したがって、本変形例に係る前眼観察用画像は学習済モデルの構築に適さない可能性がある。また、本変形例に係る前眼観察用画像は、被検者の同じ部位であってもイメージスプリットによってz方向ごとに全く異なる画像となってしまうため、学習しづらいという問題もある。
このため、本変形例では、赤外線CCD112による前眼観察用画像を、ずれ量の推定処理のため学習済モデルの構築には用いない。代わりに、眼底観察用のCCD105により撮影した画像(前眼正面画像)を学習済モデルの構築に使用する。CCD105は被検眼の眼底を観察するためのものであるため、所定の作動距離で観察すると眼底画像が得られる。一方で、光学ヘッド部100をz方向に被検者から大きく離し、所定の作動距離よりも大きい作動距離とすることで、CCD105によって被検者の前眼部周辺の画像を得ることができる。このような画像は、赤外線CCD112によって得られる画像よりも撮影範囲が広く、またイメージスプリットも発生しないため、学習により適した画像である。具体的には、実施例1で説明した図5(a)乃至図5(g)に示される画像に類似した画像が得られる。なお、本変形例に係る学習データは、前眼観察画像の代わりに上述したようなCCD105により撮影した前眼正面画像を用いる点以外は、実施例1と同様に作成されてよい。
以下、図9を参照して、本変形例に係る検査フローについて説明する。まず、ステップS901で検者は検査を開始する。検査の開始方法については実施例1と同様である。次にステップS902において、制御部20は光学ヘッド部100及び顔受け部160を所定位置に移動する。この所定位置は、xy方向については実施例1と同じ位置であり、z方向についてはCCD105を用いて被検者の顔を撮影できるように被検者から離れた位置である。
次にステップS903において、制御部20は学習済モデルを用いてラフアライメントを行う。当該ラフアライメントは、実施例1に係るアライメント処理(ステップS703~ステップS707)と大部分は同様であるが、実施例1に係るアライメント処理とは以下の違いがある。まず、学習済モデルへの入力はCCD105で撮影した前眼正面画像である。また、光学ヘッド部100は被検者から離れた位置にあるため、xy方向のみアライメントを行う。また、アライメント状態が適正かどうかの判断もxy方向についてのみ行う。さらに、アライメント状態が適正であると判断するための閾値Tx,Tyは比較的大きい値であり、当該ラフアライメントの後に精密なアライメント(ファインアライメント)を行う。また、精密なアライメントを行う前に、z方向の位置を調整するため処理(ステップS904)を行う。
ステップS904では、駆動制御部22は、光学ヘッド部100をz方向の前側、すなわち被検者へ近づける方向へ移動する。光学ヘッド部100を移動させるz方向の位置は、実施例1のステップS702で光学ヘッド部100を移動させる際のz方向の位置と同じでよい。この段階で、xy方向のラフアライメントが既に完了しているため、赤外線CCD112を用いて取得される前眼観察用画像は、被検眼Eの瞳孔が画像の中央付近に存在する画像となっている。
次に、ステップS905において、制御部20は前述したルールベースの画像解析を用いてファインアライメントを行う。前述した通り、本変形例に係る赤外線CCD112を用いて取得される前眼観察用画像は分解能の高い画像であるため、前眼観察用画像を用いてファインアライメントを行うことで、実施例1に比べて高精度なアライメントを行うことができる。このため、ステップS905におけるアライメント完了条件は実施例1におけるアライメント完了条件よりも厳しい値とする、例えば、閾値Tx,Ty,Tzをより小さい値とすることができる。
より具体的には、まず、取得部21が、赤外線CCD112を用いて撮影された前眼観察用画像を取得する。位置ずれ推定部24は、前眼観察用画像に対して上述したルールベースの画像解析により瞳孔のずれ量Δx,Δy,Δzを求める。位置ずれ推定部24は、実施例1のステップS706と同様に、ずれ量Δx,Δy,Δzと閾値Tx,Ty,Tzを比較することによって装置のアライメント状態を判断する。アライメント状態が不適正であると判断された場合には、ステップS707と同様に、駆動制御部22がステージ部150等の移動部を制御し、顔受け部160及び光学ヘッド部100の少なくとも一方を瞳孔推定位置に基づいて移動させる。その後、前眼観察用画像を再度取得し、アライメント状態が適正であると判断されるまで上記制御を繰り返す。アライメント状態が適正であると判断された場合には、処理はステップS906に移行する。
ステップS906では、実施例1と同様に、制御部20がOCT撮影を行う。その後、ステップS907において検査が完了する。
ここでは片眼のみの検査フローを説明したが、両眼続けてOCT撮影を行う検査フローとしてもよい。その場合、右眼と左眼それぞれについて上記フローを実行すればよい。また、検査時間の短縮のため、最初の検査のみ上記フローを実行し、反対側の眼の検査ではラフアライメントすなわちステップS903と、ステップS904をスキップしてもよい。このとき、反対側の眼の位置は最初の検査の位置からおよそ推定可能であるため、最初の検査の位置から光学ヘッド部100を所定距離だけ移動させれば反対側の眼のファインアライメントに直接移行できる可能性が高い。このような処理によれば、検査時間を短縮することができる。
なお、ステップS902で光学ヘッド部100を被検眼から離れた位置へ移動する前に、ステップS905と同等のファインアライメントを1度試行してもよい。すなわち、被検眼の瞳孔が画像中央付近に既にあればそのままステップS905と同等のファインアライメントのみを実行し、瞳孔が画像中央付近になくファインアライメントが失敗したときに限りステップS902以降の処理を行ってもよい。この方法では、被検眼が既に好適な位置にいるときに光学ヘッド部100を一度被検眼から遠い方向へ移動する必要がなくなるため、検査時間を短縮できる。
上記のように、本変形例に係る位置ずれ推定部24は、被検眼の瞳孔の位置を検出する瞳孔検出部の一例として機能する。駆動制御部22は、位置ずれ推定部24によって推定した結果及び瞳孔の位置について検出した結果に基づいて、ステージ部150等の移動部を制御する。特に本変形例では、観察部は、被検眼の眼底の画像を撮影する眼底観察部の一例として機能するCCD105を備える。観察部は、赤外線CCD112を用いて第1の範囲の前眼観察用画像(第1の画像)を撮影し、被検眼Eと光学ヘッド部100とを離した状態でCCD105を用いて第1の範囲よりも広い範囲の前眼正面画像(第2の画像)を撮影する。位置ずれ推定部24は、前眼観察用画像に基づいて被検眼の瞳孔の位置を検出し、前眼正面画像を学習済モデルへの入力として用いて被検眼の位置に関する情報を推定する。
このような構成によれば、検者が顔受け部160に顔を乗せた段階で自動的に検査が開始され、被検者の顔の大きさに関わらずアライメントが自動で行うことができ、検者による手動操作の負荷を減少させることができる。また、制御部20は、撮影範囲が狭く分解能が高い画像を用いて高精度にアライメントを行うことができるため、本変形例に係るOCT装置1を用いれば好適なOCT断層像を得ることができる。
また、本変形例では、CCD105及び赤外線CCD112を、観察部の一例として用いる。このため、アライメント用に別個のカメラ等を設ける必要がなくなるため、コストを低減するとともに装置を小型化することができる。
なお、本変形例では、学習済モデルを用いたラフアライメントを行った後に、前眼部観察用画像を用いたファインアライメントを行った。これに対して、まず、制御部20は、位置ずれ推定部24によって推定した結果に基づいて、上述のルールベースの画像解析で検出した瞳孔の位置又は学習済モデルを用いて推定した瞳孔の位置に応じてアライメントを制御してもよい。
この場合には、制御部20は、学習済モデルを用いて推定された瞳孔の位置が理想的なアライメント位置に近ければ、上述のルールベースの画像解析で検出した瞳孔の位置を用いてアライメントを行う。一方で、学習済モデルを用いて推定された瞳孔の位置が理想的な位置から遠ければ、制御部20は、学習済モデルを用いて推定した瞳孔の位置を用いてアライメントを行う。このような場合には、学習済モデル用いて推定した瞳孔の位置が理想的なアライメント位置に近い場合に、ラフアライメントの処理を省略することができるため、検査時間を短縮することができる。なお、理想的なアライメント位置に近いか否かの判断は上記ラフアライメントのアライメント完了条件と同様の条件を用いて行ってよい。
また、制御部20は、位置ずれ推定部24によって瞳孔の位置が検出されたか否かによってラフアライメントを行うかファインアライメントを行うかを判断してもよい。このような構成では、制御部20は、位置ずれ推定部24によって瞳孔の位置が検出された場合には、検出された瞳孔の位置に基づいてファインアライメントを制御する。一方で、瞳孔の位置が検出されなかった場合には、制御部20は、学習済モデルを用いて推定した結果に基づいてラフアライメントを制御する。このような場合には、被検眼が既に好適な位置にいるときに光学ヘッド部100を一度被検眼から遠い方向へ移動する必要がなくなるため、検査時間を短縮できる。
なお、本変形例では、広域な画像で学習済モデルを用いた推定を行い、狭域な画像でルールベースの画像解析による瞳孔位置の検出を行った。しかしながら、これらの処理に用いられる画像はこの限りではない。例えば、本変形例とは逆に広域な画像でルールベースの画像解析による瞳孔位置の検出を行い、狭域な画像で学習済モデルを用いた推定を行ってもよい。また、両方の画像で学習済モデルによる推定を行ってもよい。
さらに、1つの撮像素子を用いた画像に対し、状況によって学習済モデルによる推定やルールベースの画像解析による推定、さらにそれらを組み合わせた推定を切り替えてもよい。特に、学習済モデルによる推定は光学ヘッド部100が瞳孔から離れているときに効果的であり、ルールベース画像解析による推定は光学ヘッド部100が瞳孔に近いときに効果的である。したがって、まず学習済モデルによる推定を行い、その結果光学ヘッド部100が瞳孔に近いと判断されたときにルールベースによる推定を行うようにするとよい。あるいは、まずルールベースによる推定を行い、推定結果が異常値である場合や瞳孔が見つからないと判断したときに学習済モデルによる推定を行うようにしてもよい。また、常に両方による推定を行い、両者の推定結果の平均をアライメントに用いてもよい。さらに、所定の判断基準を用いて両者の推定値の確からしさをそれぞれ算出し、より確からしさが高い方の推定値をアライメントに用いてもよい。
また、本変形例では、瞳孔の位置をルールベースの画像解析によって検出した。しかしながら、瞳孔の位置を検出する手法はルールベースの画像解析に限られず、例えば、位置ずれ推定部24は、距離センサなどからの所定の情報を用いてずれ量を求めてもよい。このような場合であっても、学習済モデルによる推定を少なくとも部分的に行っていれば本発明は適用可能である。また、本変形例も、実施例1と同様にOCT装置以外の眼科装置にも適用可能である。
なお、上述した実施例及び変形例では、赤外線CCD112やCCD105といった検査に用いられる撮像部材を用いて得た画像を学習済モデルへの入力として用いた。これに対して、光学ヘッド部100の撮影方向の画像を撮影するように光学ヘッド部100に別個設けられたアライメント用のカメラを用いて得た画像を学習済モデルへの入力として用いてもよい。
また、上述した実施例及び変形例に係る眼科装置における測定光学系の構成は一例であり、所望の構成に応じて任意に変更されてよい。さらに、各種学習済モデルの学習データは、実際の撮影を行う眼科装置自体を用いて得たデータに限られず、所望の構成に応じて、同型の眼科装置を用いて得たデータや、同種の眼科装置を用いて得たデータ等であってもよい。
また、上述した実施例及び変形例に係る学習済モデルでは、前眼観察用画像や前眼正面画像の輝度値の大小、明部と暗部の順番や傾き、位置、分布、連続性等を特徴量の一部として抽出して、推定処理に用いているものと考えらえる。また、RNN等を用いた学習済モデルでは、時系列のデータを用いて学習を行っているため、入力される連続する時系列のデータ値間の傾きも特徴量の一部として抽出し、推定処理に用いているものと考えられる。そのため、このような学習済モデルは、具体的な数値の時間的な変化による影響を推定処理に用いることで、精度のよい推定を行うことができると期待される。
なお、上述した実施例及び変形例に係る各種学習済モデルは制御部20に設けられることができる。学習済モデルは、例えば、CPUや、MPU、GPU、FPGA等のプロセッサーによって実行されるソフトウェアモジュール等で構成されてもよいし、ASIC等の特定の機能を果たす回路等によって構成されてもよい。また、学習済モデルは、制御部20と接続される別のサーバの装置等に設けられてもよい。この場合には、制御部20は、インターネット等の任意のネットワークを介して学習済モデルを備えるサーバ等に接続することで、学習済モデルを用いることができる。ここで、学習済モデルを備えるサーバは、例えば、クラウドサーバや、フォグサーバ、エッジサーバ等であってよい。なお、施設内や、施設が含まれる敷地内、複数の施設が含まれる地域内等のネットワークを無線通信可能に構成する場合には、例えば、施設や、敷地、地域等に限定で割り当てられた専用の波長帯域の電波を用いるように構成することで、ネットワークの信頼性を向上させてもよい。また、高速や、大容量、低遅延、多数同時接続が可能な無線通信によりネットワークが構成されてもよい。
(その他の実施例)
本発明は、上述の実施例及び変形例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータがプログラムを読出し実行する処理でも実現可能である。コンピュータは、1つ又は複数のプロセッサー若しくは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータ又は分離した複数のプロセッサー若しくは回路のネットワークを含みうる。
プロセッサー又は回路は、中央演算処理装置(CPU)、マイクロプロセッシングユニット(MPU)、グラフィクスプロセッシングユニット(GPU)、特定用途向け集積回路(ASIC)、又はフィールドプログラマブルゲートウェイ(FPGA)を含みうる。また、プロセッサー又は回路は、デジタルシグナルプロセッサ(DSP)、データフロープロセッサ(DFP)、又はニューラルプロセッシングユニット(NPU)を含みうる。
以上、実施例及び変形例を参照して本発明について説明したが、本発明は上記実施例及び変形例に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、及び本発明と均等な発明も本発明に含まれる。また、上述の実施例及び各変形例は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。
1:OCT装置(眼科装置)、22:駆動制御部(制御部)、24:位置ずれ推定部(推定部)、100:光学ヘッド部(ヘッド部)、112:赤外線CCD(観察部)、150:ステージ部(移動部)、160:顔受け部(支持部、移動部)

Claims (24)

  1. 被検眼を撮影するヘッド部と、
    被検者の顔を支える支持部と、
    前記ヘッド部と前記支持部とのうち少なくとも一方を移動可能な移動部と、
    前記ヘッド部の側から前記支持部の側に向かって撮影する観察部と、
    瞳孔を含む被検眼の画像と瞳孔を含まない画像とを含む画像群を入力として学習した学習済モデルを用いて、被検者が支持部に顔を乗せているか否かに関する情報と被検眼の位置に関する情報とのうち少なくとも一方を推定する推定部と、
    前記観察部によって撮影して得た画像を前記学習済モデルへの入力として用いて前記推定部によって推定された結果に基づいて、前記移動部を制御する制御部と、
    を備える、眼科装置。
  2. 前記推定部によって推定される被検眼の位置に関する情報は、被検眼の瞳孔のヘッド部に対する相対位置とヘッド部の位置を基準とした被検眼の瞳孔の位置の方向とのうち少なくとも一方を含む、請求項1に記載の眼科装置。
  3. 前記制御部は、前記相対位置及び前記方向の少なくとも一方に基づいて、前記ヘッド部と前記支持部とのうち少なくとも一方を移動させるように前記移動部を制御する、請求項2に記載の眼科装置。
  4. 前記制御部は、被検者が支持部に顔を乗せていることを示す情報が推定されたときに、前記相対位置と前記方向とのうち少なくとも一方に基づいて、前記ヘッド部と前記支持部とのうち少なくとも一方を移動させるように前記移動部を制御する、請求項3に記載の眼科装置。
  5. 前記制御部は、前記推定部によって被検者が支持部に顔を乗せていることを示す情報が推定された推定結果が一定時間続いたときに、前記相対位置と前記方向とのうち少なくとも一方に基づいて、前記ヘッド部と前記支持部とのうち少なくとも一方を移動させるように前記移動部を制御する、請求項4に記載の眼科装置。
  6. 前記制御部は、前記推定部によって被検者が支持部に顔を乗せていないことを示す情報が推定されたときに、前記ヘッド部と前記支持部とのうち少なくとも一方を静止させる又は移動させないように前記移動部を制御する、請求項1乃至5のいずれか一項に記載の眼科装置。
  7. 前記制御部は、前記推定部によって被検者が支持部に顔を乗せていないことを示す情報が推定されたときに、前記ヘッド部と前記支持部とのうち少なくとも一方を所定の位置に移動させるように前記移動部を制御する、請求項1乃至5のいずれか一項に記載の眼科装置。
  8. 前記学習済モデルは、被検者が支持部に顔を乗せているか否かに関する情報を出力として学習した学習済モデルと、被検眼の位置に関する情報を出力として学習した学習済モデルとを含む、請求項1乃至7のいずれか一項に記載の眼科装置。
  9. 前記学習済モデルは、被検眼の瞳孔のヘッド部に対する相対位置を含む被検眼の位置に関する情報を出力として学習した学習済モデルであり、
    前記推定部は、前記学習済モデルから出力された被検眼の位置に関する情報に基づいて、被検者が支持部に顔を乗せているか否かに関する情報を推定する、請求項1乃至7のいずれか一項に記載の眼科装置。
  10. 前記学習済モデルは、被検者が支持部に顔を乗せているか否かに関する情報と被検眼の位置に関する情報とを出力として学習した学習済モデルを含む、請求項1乃至7のいずれか一項に記載の眼科装置。
  11. 検者の入力を受け付ける入力部を更に備え、
    前記推定部は、前記入力部によって前記検者の入力を受け付けたときに前記推定を開始する、請求項1乃至10のいずれか一項に記載の眼科装置。
  12. 被検眼に指標を投影する投影部を更に備え、
    前記観察部は、前記投影部によって被検眼に投影された前記指標の画像を含む画像を撮影する、請求項1乃至11のいずれか一項に記載の眼科装置。
  13. 前記観察部は、被検眼の前眼部の画像を撮影する前眼観察部を備える、請求項1乃至12のいずれか一項に記載の眼科装置。
  14. 前記観察部は、被検眼が、前記ヘッド部と前記被検眼との距離に応じて分割された画像を含む画像を撮影する、請求項1乃至13のいずれか一項に記載の眼科装置。
  15. 前記観察部は、第1の範囲の第1の画像及び該第1の範囲よりも広い範囲の第2の画像を含む複数の画像を撮影する、請求項1乃至14のいずれか一項に記載の眼科装置。
  16. 前記観察部は、被検眼の眼底の画像を撮影する眼底観察部を備え、
    前記第2の画像は、被検眼と前記ヘッド部とを離した状態で前記眼底観察部によって撮影された画像である、請求項15に記載の眼科装置。
  17. 被検眼の瞳孔の位置を検出する瞳孔検出部を更に備え、
    前記制御部は、前記推定部によって推定した結果及び前記瞳孔検出部によって検出した結果に基づいて、前記移動部を制御する、請求項1乃至16のいずれか一項に記載の眼科装置。
  18. 前記制御部は、
    前記瞳孔検出部によって瞳孔の位置が検出された場合には、検出された前記瞳孔の位置に基づいて前記移動部を制御し、
    前記瞳孔検出部によって瞳孔の位置が検出されなかった場合には、前記推定部の推定結果に基づいて前記移動部を制御する、請求項17に記載の眼科装置。
  19. 前記制御部は、前記推定部によって推定した結果に基づいて、前記瞳孔検出部によって検出した前記瞳孔の位置又は前記推定部によって推定した被検眼の位置に関する情報に応じて前記移動部を制御する、請求項17に記載の眼科装置。
  20. 前記観察部は、第1の範囲の第1の画像及び該第1の範囲よりも広い範囲の第2の画像を含む複数の画像を撮影し、
    前記瞳孔検出部は前記第1の画像に基づいて前記瞳孔の位置を検出し、
    前記推定部は、前記第2の画像を前記学習済モデルへの入力として用いて被検眼の位置に関する情報を推定する、請求項17乃至19のいずれか一項に記載の眼科装置。
  21. 前記画像群は、被検者が眼鏡を装着している画像と眼鏡を装着していない画像とを含み、
    前記推定部は、前記観察部によって撮影して得た画像を前記学習済モデルへの入力として用いて、被検者が眼鏡を装着しているか否かに関する情報を更に推定し、
    前記制御部は、前記推定部によって被検者が眼鏡を装着していることを示す情報が推定されたときには、前記ヘッド部と前記支持部とのうち少なくとも一方を移動させないように前記移動部を制御する、請求項1乃至20のいずれか一項に記載の眼科装置。
  22. 前記画像群は、被検者が眼を開けている画像と眼を閉じている画像とを含み、
    前記推定部は、前記観察部によって撮影して得た画像を前記学習済モデルへの入力として用いて、被検者が目を開けているか否かに関する情報を更に推定し、
    前記制御部は、前記推定部によって被検者が目を閉じていることを示す情報が推定されたときには、前記ヘッド部と前記支持部とのうち少なくとも一方を移動させないように前記移動部を制御する、請求項1乃至21のいずれか一項に記載の眼科装置。
  23. 被検眼を撮影するヘッド部と、被検者の顔を支える支持部と、前記ヘッド部と前記支持部とのうち少なくとも一方を移動可能な移動部と、前記ヘッド部の側から前記支持部の側に向かって撮影する観察部と、を備える眼科装置の制御方法であって、該方法は、
    瞳孔を含む被検眼の画像と瞳孔を含まない画像とを含む画像群を入力として学習した学習済モデルを用いて、被検者が支持部に顔を乗せているか否かに関する情報と被検眼の位置に関する情報とのうち少なくとも一方を推定することと、
    前記観察部によって撮影して得た画像を前記学習済モデルへの入力として用いて推定された結果に基づいて、前記移動部を制御することと、
    を含む、眼科装置の制御方法。
  24. コンピュータによって実行されると、該コンピュータに請求項23に記載の眼科装置の制御方法の各工程を実行させる、プログラム。
JP2021189166A 2021-11-22 2021-11-22 眼科装置、眼科装置の制御方法、及びプログラム Pending JP2023076025A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021189166A JP2023076025A (ja) 2021-11-22 2021-11-22 眼科装置、眼科装置の制御方法、及びプログラム
PCT/JP2022/038661 WO2023090023A1 (ja) 2021-11-22 2022-10-18 眼科装置、眼科装置の制御方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021189166A JP2023076025A (ja) 2021-11-22 2021-11-22 眼科装置、眼科装置の制御方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2023076025A true JP2023076025A (ja) 2023-06-01

Family

ID=86396606

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021189166A Pending JP2023076025A (ja) 2021-11-22 2021-11-22 眼科装置、眼科装置の制御方法、及びプログラム

Country Status (2)

Country Link
JP (1) JP2023076025A (ja)
WO (1) WO2023090023A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116687339B (zh) * 2023-08-01 2023-10-31 杭州目乐医疗科技股份有限公司 基于眼底相机的图像拍摄方法、眼底相机、装置及介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6582604B2 (ja) * 2015-06-23 2019-10-02 富士通株式会社 瞳孔検出プログラム、瞳孔検出方法、瞳孔検出装置および視線検出システム
US11051693B2 (en) * 2017-12-27 2021-07-06 Eyenk, Inc. Systems and methods for automated end-to-end eye screening, monitoring and diagnosis
JP7194136B2 (ja) * 2019-08-09 2022-12-21 キヤノン株式会社 眼科装置、眼科装置の制御方法、及びプログラム
JP7297625B2 (ja) * 2019-09-26 2023-06-26 株式会社トプコン 眼科装置及び眼科システム
JP2021069415A (ja) * 2019-10-29 2021-05-06 株式会社トプコン 眼科装置及びその制御方法

Also Published As

Publication number Publication date
WO2023090023A1 (ja) 2023-05-25

Similar Documents

Publication Publication Date Title
US9468374B2 (en) Ophthalmologic apparatus and control method for the same
US9980643B2 (en) Ophthalmologic apparatus
KR101477591B1 (ko) 광학 단층촬영 화상 촬상장치 및 그 제어 방법
US9330299B2 (en) Fundus image acquiring apparatus and control method therefor
US9408532B2 (en) Image processing apparatus and image processing method
CN102670166B (zh) 摄像设备及其控制方法
US10660514B2 (en) Image processing apparatus and image processing method with generating motion contrast image using items of three-dimensional tomographic data
JP7057186B2 (ja) 眼科装置、及び眼科情報処理プログラム
JP2012196439A (ja) 撮像装置及び撮像方法
JP7478216B2 (ja) 眼科装置、眼科装置の制御方法、及びプログラム
WO2023090023A1 (ja) 眼科装置、眼科装置の制御方法、及びプログラム
JP2023120308A (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
JP2021101965A (ja) 制御装置、光干渉断層撮影装置、光干渉断層撮影装置の制御方法、及びプログラム
JP5858603B2 (ja) 眼科装置及びその制御方法
JP5653055B2 (ja) 眼科装置及びその制御方法
JP2021166817A (ja) 眼科装置
WO2011111851A1 (en) Ophthalmologic apparatus and control method for the same
JP2018015021A (ja) 眼科装置
JP2024022806A (ja) 眼科装置、制御装置、眼科装置の作動方法、及びプログラム
JP7271733B2 (ja) 眼科装置
JP2023006633A (ja) 光干渉断層撮影装置、光干渉断層撮影装置の制御方法、及びプログラム
JP2022095442A (ja) 光干渉断層撮影装置、光干渉断層撮影装置の制御方法、及びプログラム
JP2023066198A (ja) 情報出力装置、眼底画像撮影装置、情報出力方法、及び情報出力プログラム
JP2023123734A (ja) 画像処理方法
JP2021119973A (ja) 撮影装置、撮影方法、及びプログラム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20220630