JP7252144B2 - 眼科撮像の改良のためのシステムおよび方法 - Google Patents

眼科撮像の改良のためのシステムおよび方法 Download PDF

Info

Publication number
JP7252144B2
JP7252144B2 JP2019572210A JP2019572210A JP7252144B2 JP 7252144 B2 JP7252144 B2 JP 7252144B2 JP 2019572210 A JP2019572210 A JP 2019572210A JP 2019572210 A JP2019572210 A JP 2019572210A JP 7252144 B2 JP7252144 B2 JP 7252144B2
Authority
JP
Japan
Prior art keywords
image
user
images
icon
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019572210A
Other languages
English (en)
Other versions
JP2020529226A (ja
Inventor
アンダーソン、グレゴリー
アライン、ムザミル
ブロック、キース
チャン、スコット
ジェイ. エベレット、マシュー
カーン、ズビル
コリー、アルチャナー
クルカルニ、プリヤ
クォック、ベンジャミン
リーヒー、コナー
リー、ゲイリー
ルー、ジェニファー
マルバニア、プラナフ
ノーラン、デイビッド
オハラ、キース
ビルマーニ、サニー
オーロースキ、リチャード
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Meditec Inc
Original Assignee
Carl Zeiss Meditec Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Meditec Inc filed Critical Carl Zeiss Meditec Inc
Publication of JP2020529226A publication Critical patent/JP2020529226A/ja
Application granted granted Critical
Publication of JP7252144B2 publication Critical patent/JP7252144B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0083Apparatus for testing the eyes; Instruments for examining the eyes provided with means for patient positioning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • A61B3/15Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing
    • A61B3/152Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing for aligning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0008Apparatus for testing the eyes; Instruments for examining the eyes provided with illuminating means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0033Operational features thereof characterised by user input arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0041Operational features thereof characterised by display arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0041Operational features thereof characterised by display arrangements
    • A61B3/0058Operational features thereof characterised by display arrangements for multiple images
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0075Apparatus for testing the eyes; Instruments for examining the eyes provided with adjusting devices, e.g. operated by control lever
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0091Fixation targets for viewing direction
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/1025Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for confocal scanning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A61B3/1216Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes for diagnostics of the iris

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)

Description

本発明は、概して、眼科撮像システムの分野に関する。より詳しくは、眼科撮像システムのユーザ操作を容易にするための技術に関する。
検眼鏡、光干渉断層法(OCT:Optical Coherence Tomography)、および他の眼科撮像システムを含む、様々なタイプの眼科検査システムがある。眼科撮像の一例は、スリットスキャンまたはブロードライン眼底撮像であり(例えば、特許文献1、特許文献2、特許文献3、特許文献4、および特許文献5、それらのすべての内容は参照により本明細書に組み込まれる)、これは、人間の網膜の高解像度生体内撮像を達成するための有望な技術である。撮像アプローチは、共焦点撮像システムと広視野撮像システムとのハイブリッドである。スキャン中に網膜の狭いストリップを照明することにより、照明は観察経路から外れ、従来の眼底カメラで使用される環状リング照明よりもはるかに多くの網膜をより鮮明に見ることができる。
良好な画像を得るためには、照明ストリップが瞳孔を減退することなく通過して、眼底に到達することが望ましい。これには、眼の眼科撮像装置(または、他の眼科検査システム)との慎重な位置合わせが必要がある。その結果、このようなシステムを使用する際に高いレベルの能力を達成するためには、一般に、多くのトレーニングが必要である。
米国特許第4170398号明細書 米国特許第4732466号明細書 国際公開第2012/059236号 米国特許出願第2014/0232987号 米国特許出願公開第2015/0131050号明細書
本発明の目的は、眼の眼科検査システムとの位置合わせを容易にするツールを提供することにある。
本発明の別の目的は、眼科検査システムのユーザに眼科関連情報を伝達する様々な方法を提供することにある。
本発明のさらなる目的は、複数の眼科検査システムに亘って眼科関連情報を同期させるための方法/装置/システムを提供することにある。
本発明のさらなる目的は、眼科検査システム内のファイル管理を最適化するためのシステムおよび方法を提供することにある。
上記の目的は、眼科撮像システムを制御するためのシステムおよび方法、ならびに眼科撮像システムとインタフェースするためのグラフィカルユーザインタフェース(GUI)により達成される。
本明細書では、コンピュータ画面上にグラフィカルユーザインタフェース(GUI)を表示するシステムおよび方法が提示される。GUIは、複数の区画やビューポートに分割され得る情報表示領域を含む。いくつかの実施形態において、情報表示領域は、例えば、眼を撮像している間に、眼科撮像システムの1つまたは複数のカメラからのライブフィード(例えば、プレビュービデオ)を表示する。眼科撮像システムは、例えば、眼底撮像装置、光干渉断層法(OCT)、またはそれらの両方の組み合わせであり得る。システムと眼との位置合わせを支援するために、位置合わせの際に眼のターゲットビューを指定する位置合わせインジケータが情報表示領域に重ねられ得る。加えて、情報表示領域は、カメラと眼との間の位置合わせを向上するためにユーザによって操作可能な眼科撮像システムの手動コントローラを特定し得る。これは、人間のオペレータが、眼を位置合わせするために必要な制御をより迅速に識別するのに役立つ。
システムは、手動コントローラのグラフィック表示を使用して手動制御を特定し得る。さらに、システムは、位置合わせを向上するために手動コントローラを操作する方法に関する情報を提供し得る。この情報は、指示を描写するアニメーション、手動コントローラの動きを伝達する矢印、および/またはテキスト指示を使用して提供し得る。任意選択で、情報が音声で伝達され得る。
位置合わせインジケータは、様々な形式をとり得る。例えば、位置合わせインジケータは、位置合わせ時の眼の瞳孔の最小高さを示す部分的に透明なバー、位置合わせ時の眼の瞳孔の最小高さを示す2本の線、位置合わせ時の眼の中心位置を指定する十字線、位置合わせ時の眼の瞳孔の最小サイズを指定する輪郭を有する楕円であり得る。表示される最小高さまたは最小サイズの決定は、ライブフィードから少なくとも部分的に決定された眼の測定値に基づき得る。
オペレータをさらに支援するために、システムは、位置合わせインジケータとライブフィードとの比較に少なくとも部分的に基づいて、眼がシステムと位置合わせされているという決定に応答して、画像キャプチャシーケンスを自動的に起動し得る。前述したように、システムは、ライブフィードに基づいて眼の瞳孔のサイズを決定し得る。この場合、システムは、任意選択で、決定されたサイズに基づいて複数の撮像モダリティのうちの1つを自動的に選択し得る。異なるモダリティの例は、散瞳撮像モードと非散瞳撮像モードとを含む。
患者のプライバシーを保証するために、本システムは、コンピュータ画面上で患者情報を迅速に隠すための簡単な方法をも提供し得る。例えば、GUIは、少なくとも部分的に開かれたウィンドウシェードが付加されたコンピュータディスプレイを描写するプライバシーアイコンを含み得、システムは、(例えば、入力デバイスの使用による)このプライバシーアイコンのユーザ選択に対して、情報表示領域内に現在表示されている情報をビューから除去することによって、応答し得る。任意選択で、GUIは、プライバシーアイコンのユーザ選択に対して、ウィンドウシェードを少なくとも部分的に閉じることによって、応答し得、ウィンドウシェードを少なくとも部分的に閉じることは、プライバシーアイコンのコンピュータディスプレイ上を移動するウィンドウシェードの描写を含み得る。さらに、情報表示領域内の情報のビューから除去することは、情報表示領域上を移動し、かつ情報表示領域を覆うオーバーレイを含み得、オーバーレイの移動は、プライバシーアイコンのウィンドウシェードを閉じることを模倣する。
患者の眼科画像を検査するときに、医師が様々な特徴の注釈や測定を行うことがある。患者は複数の画像を有し得るため、本システムは、さらに、ある画像上のメモ/測定値を別の画像に迅速に複製する方法を提供する。例えば、GUIは、ソースアイコンおよび宛先アイコンを含み得る。システムは、少なくとも1つのユーザが選択したソースファイルをソースアイコンに関連付け、少なくとも1つのユーザが選択した宛先ファイルを宛先アイコンに関連付け得る。次に、入力デバイスの使用によるユーザ入力に応答して、システムは、ソースアイコンに関連付けられたソースファイル上のユーザ作成注釈を、宛先アイコンに関連付けられた宛先ファイルにコピーする。ソースファイル(単数または複数)および宛先ファイル(単数または複数)は画像ファイルであり得ることを理解されたい。この場合、ソース画像ファイル上のユーザ作成注釈はソース画像ファイルのエリアを規定し、ユーザ作成注釈は宛先画像ファイルの一致するエリアにコピーされる。
GUIは、情報表示領域に表示される眼科情報が患者の左眼または右眼からのものであるかどうかを指定し、かつ指定された左右性が患者の視点からのものか、または医師の点からのものかを示す左右性アイコンを含み得る。任意選択で、左右性アイコンのユーザ選択により、医師の視点と患者の視点との間で左右性が切り替わる。
情報表示領域は、少なくとも2つの眼底画像で構成されるモンタージュ画像をも表示し得る。GUIは、モンタージュ画像の外周形状を描写するモンタージュアイコンを含み得る。モンタージュアイコンはさらにセクタに分割され得、各セクタは、眼底画像の別個の1つに対応し、かつモンタージュ画像内の眼底画像の境界を示す。
システムは、固視方向を患者に伝達する固視灯を含み得る。この場合、GUIは、固視灯に関連付けられた点滅アイコンを含み得、点滅アイコンのユーザ選択は、固視灯を一時的にストロボ点灯させ得る。
網膜の撮像をさらに複雑にする問題は、異なる眼が異なる色素沈着した網膜を有することである。これにより、キャプチャされた画像が飽和したように見え得る(例えば、明るすぎる)。従って、本システムは、網膜(または眼底)カメラのゲインを自動的に制御するメカニズム/方法を提供する。これにより、例えば、淡色色素沈着網膜のゲインを低下させ、暗色素沈着網膜のゲインを増加させることができる。このメカニズムは、眼底の画像をキャプチャし、続いて、網膜の少なくとも一部(または撮像される他のターゲット対象)がキャプチャ画像内にあるかどうかを判定する。次に、システムは、網膜がキャプチャ画像内にあると判定された場合にキャプチャ画像を有効として指定し、網膜がキャプチャ画像内にないと判定された場合にキャプチャ画像を無効として指定する。これにより、患者がまばたきしたり、動いたり、それ以外に、システムとの位置合わせがずれたりしたときに撮影された画像を考慮することが回避される。次いで、システムは、所定の数の連続した有効な画像の照度を評価し、評価された照度に少なくとも部分的に基づいてカメラ(例えば、網膜/眼底カメラの)のゲイン値を調整する。
キャプチャされた画像(例えば、網膜画像)が有効かどうかを判定するには、別のカメラおよび/または別の画像を使用し得る。例えば、虹彩カメラは、眼の外側の写真を撮って、患者がまばたきした、動いた、または位置合わせがずれたときを判定し得る。この虹彩カメラの結果は、キャプチャされた眼底画像を無効または疑わしいものとして指定する時期についてシステムに通知し得る。例えば、キャプチャされた眼底画像が第1の画像とする場合、網膜の少なくとも一部が第1の画像内にあるかどうかの判定は、眼底を除く第2の画像(例えば、眼の外側の画像)をキャプチャすることを含み得る。第1の画像における網膜の存在は、眼のまばたき、動き、位置合わせずれ、または網膜の良好な画像をキャプチャする眼底カメラを妨げ得る他の要因を特定する第2の画像に少なくとも部分的に基づくものであり得る。
情報表示領域は、ユーザが選択し得る画像の選択をも表示し得る。画像の選択内でのターゲット画像のユーザ選択に応じて、システムは、固視角、画像キャプチャモダリティ、診断された病理、および患者名のうちの少なくとも1つを含むターゲット画像の取得パラメータを特定し、画像データベースにアクセスし、ターゲット画像の特定された取得パラメータに一致する取得パラメータを有する少なくとも1つの二次画像を識別し、少なくとも1つの二次画像を表示し得る。
情報表示領域は、複数のユーザ選択可能オプションを有する患者記録アクセスポータルをも表示し得、ここで、少なくとも1つのユーザ選択可能オプションは、1つまたは複数の画像に関連付けられたターゲットオプションである。例えば、ユーザが選択可能なオプションは、患者名、画像が撮影された時間枠、選択する画像のリスト(テキストおよび/またはサムネイル)などであり得る。ターゲットオプションのユーザ選択に応じて、システムは、ユーザがターゲットオプションに関連付けられた画像の表示を選択したかどうかに関係なく、ターゲットオプションに関連付けられた画像のローディングを開始し得る。これにより、プリフェッチ処理が効果的に提供される。メモリ要件を低減するために、システムは、ローディングされた画像ごとに、ローディングされた画像の複数のコピーを作成する(任意選択的に、最初にローディングされた画像は破棄され得る)。システムは、ローディングされた画像のコピーに画像補正および他の前処理ルーチンを適用し得る。コピーは、解像度が低下し、画像キャッシュに格納され得る。次に、システムは、ユーザが、第1の解像度のビューポート内でターゲットオプションに関連付けられた特定の画像をビューイングすることを選択したことに対して、画像キャッシュから、ビューポートの第1の解像度に最も近いが、第1の解像度よりも高い解像度を有する特定の画像の低解像度のコピーを表示することによって、応答し得る。
ユーザが特定の画像をビューイングすることを選択したことに応答することは、表示されるコピーのエリアをクロッピングすること(cropping)をも含む。クロッピングされたエリアはビューポートに対応し、例えば、クロッピングされたエリアは、同様の形状および位置を有する。クロッピングされたエリアは、ビューポートの解像度に一致するようにサイズ変更され得る。サイズ変更されたクロッピングエリアは、続いてビューポートに表示される。
このアプローチでは、システムは、ズーム選択を指定するビューポートに対して、現在表示されているコピーの解像度がビューポートのズーム選択よりも大きい場合、コピーに倍率を適用することなく、現在表示されているコピーをクロッピングして、ズーム選択を表示し、そうでない場合、現在表示されているコピーを、ビューポートのズーム選択の解像度に最も近いが、その解像度よりも高い解像度を有する別のコピーに置き換え得ることによって、応答し得る。
また、このアプローチでは、システムは、ビューポートのパンニング動作に対して、現在表示されているコピーのクロッピングされたエリアを規定することによって、応答し得る。クロッピングされたエリアはビューポートよりも大きいものであり得、パンニング動作は、クロッピングされたエリア内に完全に含まれている場合、クロッピングされたエリア内で実行され得る。システムは、現在のクロッピングされたエリアの境界から所定の距離内にあるパンニング動作に対して、現在のクロッピングされたエリアを、現在のクロッピングされたエリアと同様のサイズで、現在のクロッピングされたエリアからシフトした新たなクロッピングされたエリアに置き換え得ることによって、さらに応答し得る。
コンピュータネットワーク上の複数の眼科システムにわたる患者データの管理を可能にするために、システムは、コンピュータネットワークへのアクセスを得たことに応答して、その存在をコンピュータネットワーク上の他のコンピューティングシステムに通知し得る。システムは、必要な患者記録を有するネットワーク上の少なくとも1つの他のコンピューティングシステムを自動的に識別し、コンピューティングネットワークを介して、必要な患者記録を、少なくとも1つの他のコンピューティングシステムから取得し得、その際、取得される必要な患者記録に関連付けられた画像が除かれる。必要に応じて、画像は後で取得され得る。例えば、取得した患者記録に関連付けられたターゲットオプションのユーザ選択に応答して、システムは、ユーザがターゲットオプションに関連付けられた画像をビューイングすることを選択したかどうかに関係なく、ターゲットオプションに関連付けられた画像の取得を開始し得る。
本発明のより完全な理解とともに他の目的および達成は、添付の図面と併せて以下の説明および特許請求の範囲を参照することによって明らかになり、認識されるであろう。
本明細書に開示された実施形態は例に過ぎず、本開示の範囲はそれらに限定されない。本発明による実施形態は、方法、記憶媒体、システム、装置、および/またはコンピュータプログラム製品を対象とする添付の特許請求の範囲に開示されており、例えば、方法のカテゴリーで特許請求されている任意の特徴は、例えば、システムのカテゴリーでも同様に特許請求することができる。添付の特許請求の範囲における従属性または引用は、形式的な理由のためにのみ選択されている。しかしながら、先行する請求項を意図的に引用した結果生じる主題事項も同様に特許請求できるため、請求項とその特徴の任意の組み合わせが開示され、添付の請求項において選択された従属性に関係なく特許請求することができる。
図面において、同様の参照記号/文字は同様の構成要素を参照する。
スリットスキャン眼科システムの一例を示す図である。 図1の光学システム用のエンクロージャシステムの一例を示す図である。 ユーザが患者記録を検索、編集、および/または追加することができるポータルを提供する患者情報画面、例えば、患者情報に焦点を当てたユーザインタフェースウィンドウの一例を示す図である。 プライバシーアイコンを起動する一例を示す図である。 患者画像を取得(例えば、キャプチャ)するために使用される取得ウィンドウ/画面の一例を示す図である。 収集された画像を表示し、ユーザがさらなる分析のために画像を選択できるようにする、本明細書ではプルーフシートディスプレイ/画面とも呼ばれる例示的なユーザインタフェースを示す図である。 図3cのプルーフシート画面から選択された画像データを分析するために表示することができるレビュー画面の一実施形態を示す図である。 画像間の注釈(および/または測定値)のコピーを可能にする一実施形態を示す図である。 「ソース」画像および「宛先」画像の指定におけるエラーを描写する一例を示す図である。 眼科撮像機器/装置と患者との間の位置合わせを可能にするための眼用(または接眼)レンズへの複数の虹彩カメラの取り付けを示す図である。 図4aの0°または180°の虹彩カメラから収集された画像を示す図である。 270°に配置された図4aの虹彩カメラから収集された画像を示す図である。 図4aのサイドカメラ(例えば、0°または180°に配置されている)のうちの1つによって撮像された瞳孔と、基準最小瞳孔サイズとの比較(例えば、位置合わせのため)を示す図である。 両方向(例えば、楕円の長軸と短軸の両方)における最小瞳孔直径要件を示す楕円、および図4aのサイドカメラから得られた画像に重ねられ得る基準中心破線を示す図である。 図4aの下部虹彩カメラ(例えば、270°に配置された)から得られた画像上の両方向の最小瞳孔直径要件を示す楕円を示す図である。 本発明によるカメラの自動輝度調整方法の例示的な実施形態を示す図である。 眼底の曲率を表し得る概念的な3次元(3D)球体(または部分球体)を示す図である。 より大きな視野を提供するためにつなぎ合わせる(例えば、モンタージュされる)ことができる複数の画像を収集するための2つの取得パターンの例を示す図である。 平面の特定のサブセットにおける点までの距離に基づいて平面を複数の領域に分割することである例示的なボロノイ図を示す図である。 個々の中心シード位置に十字線が付された2つのモンタージュ画像を表すボロノイ図を示す図である。 図8のボックスAに示すように、2つの画像モンタージュの場合における各画像からのピクセルの寄与を示す図である。 図8のボックスBに示すように、4つの画像モンタージュの場合における各画像からのピクセルの寄与を示す図である。 2つの画像の場合のモンタージュ画像を示す図である。 4つの画像の場合のモンタージュ画像を示す図である。 より高い解像度のローディングされた画像を横切るビューポートの最適化されていないパンニング処理を示す図である。 プリフェッチ(またはローディングされた)画像から画像ピラミッドを作成する一例を示す図である。 ズームなしの画像の表示を示す図である。 いくつかの実施形態によるズーム処理を示す図である。 本発明のいくつかの実施形態によるパンニング処理を示す図である。 2つの眼科診断装置/システムのソフトウェアおよびネットワーク構成要素を概略的に示す図である。 眼科撮像システムを制御するための例示的な方法Mthd_1を示す図である。 コンピュータシステムの一例を示す図である。
一般的なシステムについての考慮事項
図1は、スリットスキャン眼科システムの一例を示している。図示されているように、システム200は、1つまたは複数の光源201、好ましくは、エテンデュ(etendue)が適切に調整されたマルチカラーLEDシステムまたはレーザーシステムを含む。照明線幅を決定するために、光源201の前に調整可能なスリット202が配置されている。これは、スリットまたは開口とは独立した光源によって確立することもできる。図1に示される実施形態では、スリット202は、撮像中は静止したままであるが、特定のスキャンに関して、または反射抑制に使用するスキャン中に異なる共焦点レベルおよび異なる用途を可能にするために異なる幅に調整することができる。対物レンズ203は、スリットの瞳を形成する。対物レンズ203は、屈折レンズ、回折レンズ、反射レンズ、またはハイブリッドレンズ/システムを含むが、これらに限定されない、最先端のレンズのいずれかとすることができる。光は、瞳分割ミラー204を通過し、スキャナ205に向けられる。スキャン面と瞳面をできるだけ近づけて、システムの口径食を低減することが望ましい。2つのコンポーネントの画像間の光学距離を操作するために、オプションの光学系208が含まれ得る。分割ミラー204は、光源201からスキャナ205に照明ビームを通過させ、スキャナ205からの検出ビーム(例えば、眼209から戻る反射光)をカメラ210に向けて反射し得る。瞳分割ミラー(例えば、瞳スプリッタ)204の機能は、照明ビームと検出ビームを分割し、システム反射の抑制を支援することである。スキャナ205は、回転ガルボスキャナまたは他のタイプのスキャナ(例えば、ピエゾまたはボイスコイル、微小電気機械システム(MEMS)スキャナ、電気光学偏向器、および/または回転ポリゴンスキャナ)とすることができる。瞳分割がスキャナ205の前に行われるか後に行われるかに応じて、1つのスキャナが照明経路にあり、別のスキャナが検出経路にある2つのステップにスキャンを分割することができる。特定の瞳分割構成は、米国特許出願公開第2015/0131050号明細書に詳細に記載されており、その内容は参照により本明細書に組み込まれる)。
スキャナ205から、光は、1つまたは複数の光学系、この場合、スキャンレンズ(SL)206および眼用レンズまたは接眼レンズ(OL)207を通過して、眼209の瞳孔がシステムの画像瞳に結像されることを可能にする。これらの光学系の可能な構成の1つは、2つのレンズ間の距離がほぼテレセントリックな中間眼底画像(4-f構成)を生成するように選択されるケプラー型望遠鏡である。眼用レンズ207は、単一のレンズ、色消しレンズ、または異なるレンズの配列とすることができる。すべてのレンズは、当業者に公知であるように、屈折、回折、反射、またはハイブリッドにすることができる。眼用レンズ207、スキャンレンズ206の焦点距離、瞳分割ミラー204およびスキャナ205のサイズおよび/または形状は、所望の視野(FOV:field of view)に応じて異なり得、そのため、例えば、視野に応じて、光学系のフリップ、電動ホイール、または着脱可能な光学素子を使用することによって、複数の部品をビーム経路の内外に切り替えることができる構成を想定することができる。視野の変化により瞳孔上のビームサイズが異なるため、FOVの変更に合わせて瞳分割をも変更することができる。例えば、眼底カメラに関して、一般的な視野は45°~60°である。広線眼底撮像装置(BLFI:Broad-Line Fundus Imager)と光干渉断層法(OCT)などの他の撮像モダリティとの組み合わせに関しては、より高い視野(60°~120°)が望ましいこともある。視野の上限は、人間の眼の周りの生理学的条件と組み合わせたアクセス可能な作動距離によって決定される。典型的な人間の網膜は、FOVが水平140°および垂直80°~100°であるため、システム上で可能な限り高いFVOに関して非対称の視野を有することが望ましいこともある。
光は、眼の瞳孔209を通過し、網膜または眼底表面に向けられる。スキャナ205は、眼の横方向位置の範囲が照明されるように、網膜または眼底上の光の位置を調整する。反射光または散乱光(または、蛍光撮像の場合は放射光)は、照明と同じ経路に沿って戻る。瞳分割ミラー204で、反射光は照明光から分離され、カメラ210に向けられる。対物レンズ211は、眼底をカメラ210に結像するために検出経路に存在する。対物レンズ203の場合のように、対物レンズ211は、当業者に公知であるような任意のタイプの屈折レンズ、回折レンズ、反射レンズまたはハイブリッドレンズとすることができる。スキャンの追加の詳細、特に、画像内のアーチファクトを低減する方法は、国際公開番号WO2016/124644号に記載されており、その内容は参照により本明細書に組み込まれる。カメラは受信した画像をキャプチャする。例えば、カメラは、1つまたは複数のプロセッサによりさらに処理される画像ファイルを作成する。
ここで、カメラ210は、プロセッサ212およびディスプレイ213に接続されている。これらの処理および表示モジュールは、システム200自体の一部とされ得るか、またはケーブルまたはワイヤレスネットワークを含むネットワークを介してカメラ210からコンピュータシステムにデータが送信されるコンピュータシステムなどの、別個の専用処理および表示ユニットの一部とされ得る。ディスプレイおよびプロセッサは、一体型機器とすることができる。ディスプレイは、従来のディスプレイまたはタッチ画面タイプとすることができ、かつ機器のオペレータまたはユーザに情報を表示し、機器のオペレータまたはユーザから情報を受信するためのユーザインタフェースを含むことができる。ユーザは、マウス、ノブ、ボタン、およびタッチ画面を含むが、これらに限定されない、当業者に公知の任意のタイプのユーザ入力を使用してディスプレイとインタラクションすることができる。図1に示される光学システムは、通常、保護のために(例えば、プラスチックの)エンクロージャ内に収容され、かつ患者とインタフェースする部品を含む。
図2は、図1の光学システム用のエンクロージャ250の例を示している。エンクロージャ250(例えば、機器)は、表面258(例えば、調節可能なテーブル)上に配置され、かつ患者(または被験者)257を支持するためのヘッドレスト251および/または顎当て252を含む患者インタフェース259と連結される。機器および/または患者インタフェースの様々な部分は、例えば、ジョイスティック253並びにノブ254および255などのハードウェア制御を使用して、撮像される被験者257と機器との位置合わせを可能にするために、互いに対して移動することができる。ディスプレイ(この図には示されていない)は、テーブル上に搭載することもできる。眼用レンズ207は、画像取得のための開口を提供する。
撮像が実行されている間、患者の視線は固定された状態に維持されることが望ましい。これを実現する1つの方法は、凝視するように患者を誘導することができる固視ターゲットを提供することである。固視ターゲットは、眼のどのエリアを撮像するかに応じて、機器の内部または外部に配置することができる。内部固視ターゲットの一実施形態を図1に示す。撮像に使用される一次光源201に加えて、レンズ216を使用して網膜に光パターンが結像されるように、1つまたは複数のLEDなどの第2のオプションの光源217を配置することができる。スキャン要素(固視スキャナ)215は、網膜上のパターンが所望の固視位置に応じて移動することができるように、システムの瞳面に位置するように配置することができる。固視位置は、システムにおいてプリセットされるか、またはユーザがカスタマイズすることができる。一実施形態では、システムは、固定数のプリセット位置を有することができる。プレビュー画像がユーザ(例えば、医師または技術者)に表示されると、ユーザは、マウスまたはタッチ画面またはその他の入力デバイスを使用して、画像上の固視を所望する場所を示すことができ、システムは、最も近いプリセット固視位置を選択し、それに応じて固視スキャナ215を調整する。さらに、カスタムの固視位置を所望する場合、ユーザは別の方法でこれを示すことができる。例えば、ユーザは、ボタン(物理画像またはアイコン画像)をダブルクリックまたはロングクリックすることにより、所望のカスタム固視位置を示し得る。この場合、システムは、ユーザが指定した場所に固視ターゲットを調整する。大半の眼科システムでは、固視ターゲットは調整中はオフされるが、被験者の注意を固視ターゲットに向けるなど、再配置される際に照明したままにしておくことが有益であり得る。さらに、被験者に固視ターゲットに注意を向けさせるために、固視ターゲットを一定時間点滅することができる。固視の調整は、複数の画像をモンタージュすることに関して特に重要である。これについては、「モンタージュについての考慮事項」と題するセクションでさらに詳細に説明する。
図1に示す構成では、眼209から戻る散乱光(例えば、収集ビーム)は、瞳分割ミラー204に向かう途中でスキャナ205によって「デスキャン」される。即ち、スキャナ205は瞳分割ミラー204からの照明ビームをスキャンして、眼209を横切るスキャン照明ビームを形成するが、同じスキャン位置で眼209からの戻り光も受け取るので、スキャナ205は、戻り光をデスキャンして(例えば、スキャン動作をキャンセルして)、瞳分割ミラー204に送られる非スキャン(例えば、定常または静止)収集ビームを形成するという効果があり、瞳分割ミラー204は、次に、収集ビームを210に向かって折り返す。従って、(スキャン照明ビームのすべてのスキャン位置からの)収集ビームは、カメラ210の同じセンサ領域に適用される。フルフレーム画像は、(スキャン照明ビームから生じる)個別にキャプチャされた収集ビームの合成から、モンタージュなどにより、(例えば、プロセッサ212において)構築され得る。しかしながら、照明ビームが眼209を横切ってスキャンされ、収集ビームがカメラの光センサアレイを横切ってスキャンされるものを含む他のスキャン構成も想定される。参照により本明細書に組み込まれる国際公開WO2012/059236および米国特許出願公開2015/0131050号明細書は、戻り光がカメラを横切って掃引される設計、戻り光がカメラを横切って掃引されない設計のような様々な設計を含むスリットスキャン検眼鏡のいくつかの実施形態を記載している。詳細な説明は、スリットスキャン検眼鏡に焦点を合わせているが、本明細書で説明するシステム要素の多く、特にユーザインタフェース要素は、他のタイプの眼科撮像および診断システムに適用され得る。
スリットスキャン検眼鏡システムは、使用する光源および波長選択フィルター要素に応じて、異なる撮像モードで動作することができる。一連のカラーLED(赤、青、緑)を用いて眼を撮像する場合に、トゥルーカラー反射率撮像(True color reflectance imaging)(手持ち型またはスリットランプ検眼鏡を使用して眼を検査するときに臨床医によって観察されるのと同様の撮像)を実現することができる。各カラーの画像は、各スキャン位置で各LEDをオンにした状態で段階的に構築するか、各カラー画像を個別に完全に撮影することができる。3つのカラー画像を組み合わせてトゥルーカラー画像を表示したり、個別に表示して、網膜の様々な特徴を強調することができる。赤いチャネルは、脈絡膜を最もよく強調し、緑のチャネルは網膜を強調し、青いチャネルは網膜前層を強調する。個々の色付きLEDを使用して、眼の異なる蛍光色素分子を励起し、励起波長をフィルタリングすることにより蛍光を検出することができる。例えば、眼底自発蛍光(FAF:fundus auto-fluorescence )撮像は、リポフスチンの自然蛍光を刺激し、モノクロ画像を生成する緑または青の励起により実行することができる。システムは、赤外線レーザーを使用するなどして、赤外線(IR)反射率画像を提供することができる。赤外線(IR)モードは、眼がIR波長に敏感ではないという利点がある。これにより、(例えば、プレビュー/位置合わせモードにおいて)眼の妨げとなることなく、ユーザが連続的に画像を取得することが可能となり、機器の位置合わせ中にユーザを支援し得る。また、IR波長は、組織への浸透率を増加させ、かつ脈絡膜構造の可視化を向上し得る。さらに、フルオレセイン血管造影(FA:fluorescein angiography)およびインドシアニングリーン血管造影(ICG:indocyanine green angiography)撮像は、蛍光色素が被験者の血流に注入された後に画像を収集することによって実現することができる。
システムは、眼の瞳孔において照明光と集光光を分割することに依存しているため、瞳孔は、この状態を許容するのに十分な大きさである必要がある。さらに、その内容全体が参照により本明細書に組み込まれる国際出願番号PCT/EP2018/058138に記載されているように、複数の照明経路を使用することが有益であり得る。眼の瞳孔を通る複数の照明経路を追加することは、初期照明開口と収集開口を同じに保つと仮定すると、より大きな瞳孔によって可能となる。瞳孔は散瞳薬を点眼することで拡大(拡張)するが、これは、人の視覚に短期的な影響を与えるため、必ずしも望ましいとは限らない。散瞳薬により拡張されていない瞳孔を介した撮像は、一般的に、散瞳薬が使用される場合のmyd撮像または散瞳撮像に対して、非散瞳撮像または非myd撮像と呼ばれる。瞳孔のサイズは人間によって異なるため、拡張前の初期の瞳孔のサイズでは、第2の照明経路を追加するには不十分となり得る。従って、スリットスキャン眼科撮像装置は、瞳孔上の単一照明エリアを規定する単一照明経路を使用する非散瞳撮像と、瞳孔上の複数の照明エリアを規定する複数照明経路を使用する散瞳撮像の2つのモードを有することが望ましい。
ユーザインタフェース要素
スリットスキャン検眼鏡システム、および眼科撮像診断システムは、概して、異なるビューポート(例えば、情報をビューイングするためのディスプレイ画面上のフレーム化エリア)と、患者情報の入力、取得パラメータの設定、データの確認、分析などを含むが、これに限定されない、撮像に関連するステップを介して機器のオペレータをガイドするためのディスプレイ要素およびアイコンとを有する多数のユーザインタフェース画面を有することができる。
図3aは、ユーザが患者記録を検索、編集、および/または追加することができるポータルを提供する患者情報画面350、例えば、患者情報に焦点を当てたユーザインタフェースウィンドウの例を示す。本明細書で使用される「画面」という用語は、コンピュータディスプレイ上にレンダリングされる情報表示領域を含み得、または状況から理解できるように、コンピュータディスプレイ自体を指し得る。本明細書で説明する他の表示領域、アイコン、ボタン、スクロールバー、スライドバー、メニュー、検索ウィンドウなどとともに、情報表示領域は、グラフィカルユーザインタフェース、GUIの一部であり得る。本発明のいくつかの実施形態は、眼科装置(またはシステム)の一部として描かれているが、本明細書で説明されるGUI要素は、眼科装置とは別個の画面に表示され得る。現在のGUI、およびそれらが提供する眼科情報の少なくともいくつかは、眼科装置から遠隔のコンピューティング装置の画面に表示され得る。このコンピューティングデバイスは、例えば、デスクトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、またはスマートフォンなどの他のポータブルコンピューティングデバイスであり、これらはすべて、眼科装置から、または眼科情報のローカルデータストアまたはリモートデータストアからローカルまたは広域コンピュータネットワーク(例えば、インターネット)を介してGUIに表示するための情報を取得することができる。
検索基準が入力される検索ウィンドウ351を設けることができる。例えば、ユーザは、患者名、患者識別番号、生年月日、または他の患者識別子(例えば、診療所訪問の最終日)を入力し得る。プロセッサ(コンピュータシステム)は、既存の患者記録のデータベースを検索して、一致する患者記録がデータベースに既に存在するかどうかを確認する。検索基準を満たす可能性のある患者341のリストは、検索ウィンドウ351の下にリスト形式で現れる。患者のリスト341は、「本日」、「日付」、「年齢範囲」、「性別」などの、複数のラベル付きのフィルターオプションボタンのうちの一つを使用してさらにフィルタリングすることができ、そのいずれもが、オプションのドロップダウンメニューをトリガすることができる。例えば、「本日」というラベルが付けられたディスプレイ要素(ボタン)353は、マウスまたは指タッチなどのユーザ入力デバイスを使用してユーザによって作動/選択されると、検索結果を本日予定されている予約のある患者に限定することができる。あるいは、「日付」フィルター(図示せず)を選択することにより、指定された日付の患者のリストをフィルタリングすることができる。さらに代替的に、「年齢範囲」フィルタ(図示せず)を選択すると、「子供」、「10代」、「20代」、「30代」などの年齢範囲オプションのドロップダウンメニューを提供して、選択された年齢範囲オプションで患者のリストをフィルタリングすることができる。患者データは、ネットワーク接続(例えば、インターネット)を介して電子医療記録(EMR:electronic medical record)データベースなどの別の(例えば、リモート)データベースから取得することもできる。より詳細な検索フィールドを備えた別のウィンドウをディスプレイ上に開く高度な検索ボタン310を設けることができる。特定のユーザが、暗色化または変更された色付けエリア355で示されるように、強調表示される場合、その患者に関する特定のデータが画面の別の部分、この場合は、患者情報画面350の右側に表示される。特定のデータは、履歴区画342を含み得る。履歴区画342には、患者に関して以前に収集されたすべてのスキャンまたは診断データが表示される。他のユーザインタフェース表示、この場合は「分析」(356)および「取得」(357)にエンターするために、患者情報画面350上に選択可能なボタンが設けられている。例えば、取得ボタン357を選択すると図3bに示すような取得画面345に移行し、分析ボタン356を選択すると図3cに示すようなプルーフシート表示330に移行することができる。健康記録の機密性とオペレータが監視なしで機器とともに患者を部屋に入れたままにする必要性とを考慮すると、標準のログアウト/ログイン手順に従わずに、データを迅速に隠す方法があることが望ましい。図3aに示されるユーザインタフェースでは、アイコン、この特定の場合では、ウィンドウシェード(プライバシーアイコン354)の画像が患者情報画面350のタイトルバーに表示される。
図3aaは、図3aのプライバシーアイコン354を作動させる例を示している。ユーザがユーザ入力デバイス(例えば、マウスまたはタッチ画面)を介してプライバシーアイコン354を選択すると、いつでも、患者情報画面350は、患者データが表示されないか、または患者データの選択部分が隠されるか、またはそれ以外に、ディスプレイから削除されるプライバシー画面に直ちに変更することができる。任意選択で、プライバシーアイコン354は、選択されることに対して、例えば、暗色化画面を即座に表現するか、または家の窓の上にウィンドウシェードを引き下ろすのと同様の方法で、点線88aで示されるように、そのウィンドウシェードの下向きの移動を示すことにより、応答し得る。患者情報画面350のプライバシー画面は、完全に空白にするか、またはプライバシー画面を削除してシステムを再開する方法に関するロゴまたは指示を表示することができる。プライバシー画面は、直ちに表示されるか、または、点線の矢印88bで示されるように、ロールまたはスライドするオーバーレイ89として表現されるように設計される。任意選択で、オーバーレイ89の下向きの移動88bは、プライバシーアイコン354のウィンドウシェードの下向きの移動88aを模倣してもよい。一実施形態では、ユーザは、プライバシー画面上の任意のエリアを選択する(例えば、マウスクリックまたは画面タッチにより)ことにより、プライバシー画面を終了することを所望することを示し得る。任意選択で、システムは、プライバシー画面を削除する前に、有効なパスワードの入力を求めることで応答するか、またはパスワードやその他のユーザ識別操作を必要とすることなく、プライバシー画面を直ちに削除することで応答することができる。このプライバシー画面は、患者情報ユーザインタフェース(例えば、患者情報画面350)の状況で説明されているが、システムのユーザインタフェース画面のいずれにも表示することができる。ウィンドウシェード(または、プライバシー)アイコン354を、簡単にアクセスできるように、システムのすべてのユーザインタフェース画面上の同じ場所(例えば、タイトルバーの同じ場所)に保持することが望ましい。
図3bは、患者画像を取得(例えば、キャプチャ)するために使用される取得ウィンドウ/画面345の例を示す。このウィンドウでは、取得する画像の種類を選択し、患者が機器に適切に位置合わせされるように、様々なディスプレイ要素およびアイコンが、機器のオペレータ(ユーザ)に対して表示される。現在選択されている患者の患者データ360は、取得画面345の上部に表示することができる。左右性は、例えば、左右性アイコン361を介して表示され、どの眼が撮像されているか(例えば、右眼(オキュラスデクスター(oculus dexter))ODまたは左眼(オキュラスシニスター(oculus sinister))OS)を強調表示する。左右性のグラフィカルレイアウトは、医師の視点または患者の視点から表示することができる。左右性エリア361上のマウスの1回クリックまたは指タッチにより、左右性の指定を、患者の視点から医師の視点に、またはその逆に切り替えることができる。任意選択で、左右性アイコン361は、現在表示されている左右性視点が医師(「D」)であるか患者(「P」)であるかを示す視点インジケータ346を含み得る。
取得画面345の1つの区画、この場合は区画/エリア362に、異なるスキャンオプションが表示される。スキャンオプションは、取得する1つまたは複数の撮像FOV(例えば、広視野(WF)-標準の単一画像操作、超広視野(UWF)-2つの画像のモンタージュ、自動モンタージュ(AutoMontage)-4つの画像を収集するプリセットモンタージュシーケンス、またはモンタージュ-画像のユーザ指定のモンタージュシーケンス)をユーザが選択するためのFOVボタン347を含み得る。スキャンオプションは、例えば、オプションカラー(例えば、赤、緑、および青の光成分を含むトゥルーカラー撮像)、IR(赤外光、例えば、IRレーザーを使用した撮像)、FAF-緑(緑色の励起による眼底自発蛍光)、およびFAF-青(青色の励起による眼底自発蛍光)の間で選択するためのスキャンタイプボタン349を含み得る。加えて、ユーザがステレオ撮像を実行することを望むか、および/または外部固視ターゲットを使用することを望むかを示すために、チェックボックス348を設けることができる。外部固視ターゲットを選択すると、撮像中にシステムの内部固視ターゲットが無効となる。
「位置合わせについての考慮事項」というタイトルのセクションでさらに詳細に説明するように、取得画面345は、位置合わせを支援するために、眼の瞳孔のライブ画像の1つまたは複数の瞳孔ストリーム363を表示する。瞳孔ストリーム363は、図2のジョイスティック253に対応するコントローラアイコン(またはコントローラアニメーション/イラスト)401および403を提供し、ユーザが適切な位置合わせを達成するのを支援するためにジョイスティック253に関する操作情報/指示を伝達し得る。
ユーザは、個々のモード369のボタンを選択することにより、散瞳(Myd)と非散瞳(非Myd)の撮像モードの間で選択することができる。以下でさらに詳細に説明するように、システムは、眼の状態に基づいて適切なモードを自動的に選択する(例えば、自動選択する)ことも可能である。
ライブプレビュー画像のストリーム363は、現在の撮像条件を示すために取得画面345の1つの区画に表示することができる。機器のユーザに現在の画像品質の表示を提供するために、位置合わせ調整が行われるときに、プレビュー画像363が継続的に更新される。
固視ターゲットを点滅させる(例えば、ストロボのオンおよびオフ)点滅アイコン344を設けることができる。点滅アイコン344を選択すると、システムは、プリセットされた時間の間、またはユーザが再び点滅アイコン344をアクティブにするまで、固視ターゲットを点滅させることができる。これは、患者の注意を固視ターゲットに引き付けるのに役立つ。
画像がキャプチャされると、画像は、取得画面345の1つの区画、この場合はキャプチャビンと呼ばれる区画/エリア365にサムネイル形式で表示することができる。ドロップダウンリスト366などのディスプレイ要素を使用して、キャプチャビン365に表示されるサムネイル(例えば、左右性、撮像モードなど)をリファインすることができる。図3aの患者情報画面350と同様に、他のユーザインタフェース画面に移行するために選択可能なディスプレイ要素を提供することができ、この場合、ボタン「患者」367および「分析」356を使用して、他の画面に移行することができる。例えば、「患者」ボタン367の選択により、図3aの患者情報画面350に移行し得、「分析」ボタン356の選択により、図3cのプルーフシート表示330に移行し得る。プライバシー画面アイコン354は、簡単にアクセスできるように、患者インタフェース画面350と同じように、取得画面345のタイトルバー上の同じ場所に配置されることに留意されたい。さらに、複数の画像の取得(例えば、UWF、オートモンタージュ)を必要とする撮像モードが選択される場合、キャプチャビン365には、キャプチャされるべき画像のプレースホルダを示すプレースホルダアイコン370(例えば、破線円)を予め配置することができ、撮像の状態をユーザに提供するために、複数の画像が取得されたときにプレースホルダアイコン370をキャプチャされた画像のサムネイルに置き換えることができる。
図3cは、収集された画像を表示し、ユーザがさらなる分析のために画像を選択することができるようにする、本明細書ではプルーフシートディスプレイ/画面330と呼ばれる例示的なユーザインタフェースを示している。取得画面345と同様に、この実施形態では、画面330の上部において、患者データ360をユーザに提供することができる。特定の患者に関して収集された画像は、当業者によって認識されるような何らかの方法で、画面330上の1つまたは複数のビューポートにサムネイルのリスト332としてグループ化され、かつ表示される。図3cに示される実施形態では、一次画像のグループ化は、左右性(OD/OS)によるものである。画像は、取得日でさらにグループ化することができる。大量のデータが存在する可能性があるため、スクロールバー374のマウスまたは指タッチにより画像をスクロールダウンする機能が設けられる。ユーザが何時でも表示される画像をさらにフィルタリングするために、ドロップダウンリストまたは選択ボタンなどのディスプレイ要素372が設けられる。1組のフィルターオプションは、ユーザ設定可能(331)であり、ユーザにとって最も代表的な、または好適な種類の画像をユーザが事前選択し、このドロップダウンリストが、ユーザがそれらから選択できるようにプルーフシート画面上に設けられる。この特定の実施形態では、ユーザは、シングルクリックによるさらなる分析のために(例えば、サムネイル332の中から)画像を選択することができ、その結果、選択された画像(単数または複数)382のサムネイルが画面330の右側の選択ビン371内に配置され、この特定の画像がさらなる分析のためにサムネイルリスト332から選択されたことをユーザに明確にするために、サムネイルリスト332内の選択された画像(単数または複数)379が何らかの方法で強調表示される(例えば、色付きフレームまたは明るいフレームのアウトライン)。ドラッグアンドドロップなどの他の選択手段も、当業者によって想定され得る。サムネイル332のサイズは、ドロップダウンメニュー373またはスライダーバーなどの他のユーザ入力要素によって、(より多くのサムネイルを表示する等のために)調整することができる。図3aの患者情報画面350および図3bの取得画面345と同様に、他のユーザインタフェース画面、この場合は「患者」367および「レビュー」368に移行する選択可能なディスプレイ要素を設けることができる。例えば、「患者」ボタン367の選択により図3aの患者情報画面350に移行し得、「レビュー」ボタン368の選択により図3dに示されるようなレビュー画面に移行し得る。プライバシー画面アイコン354は、簡易かつ一貫したアクセスのために他のユーザインタフェース画面と同じ場所に配置されている。
図3dは、プルーフシート画面330から選択された画像データを分析するために表示することができるレビュー画面335の一実施形態を示している。多数のビューポート(例えば、334a、334b、334c)をユーザに対して表示することができ、各ビューポートは、さらなる分析用の1つの画像を示す。正確な数のビューポートは、例えば、適切な番号ボタン381またはドロップダウンリスト(図示せず)を選択することにより、ユーザが選択することができる。ビューポートの数は、フィルタリングまたは撮像モードの選択に応じて制限することができる(例えば、ステレオ撮像モードが選択された場合、偶数のビューポートのみが利用可能であり、ステレオモードを示すアイコン(図示せず)が番号ボタン381(または選択番号ボタン381)上に重ね合わされ得る)。画面の一部において、プルーフシート表示330上で選択されたサムネイル382を表示して、ユーザがビューポートに表示される画像を選択できるようにすることが可能である。2つ以上の選択された画像を共にモンタージュするために、モンタージュ選択ボタン385を設けることができる。ユーザが画像(単数または複数)に対して注釈および/または測定を行うことができるように、アイコン383(例えば、文字の片側が定規の一側である文字のアイコン、または他の測定スティック)をユーザに対して表示することができる。一つの画像で行われた測定値または注釈が、他の類似画像(例えば、同じまたは他の指定された患者からの網膜の実質的に同じエリアの少なくとも一部を含む画像)に伝搬されることが望ましい。これが有用であると思われるケースは、病変の程度がモダリティ間でどのように異なるかを確認するために、トゥルーカラー画像上で同定された地図状萎縮の輪郭を、眼の同じエリアのFAF-青画像にコピーすることを含む。別のケースは、ワークフローの補助として、かつ変化を探索するための比較として、前の訪問の一つの画像の注釈を現在の訪問の別の画像にコピーすること(またはその逆)であり得る。図3aの患者情報画面350、図3bの取得画面345、図3cのプルーフシート画面330と同様に、他のユーザインタフェース画面、この場合は「患者」367および「プルーフ」387に移行する選択可能なディスプレイ要素を設けることができる。例えば、「患者」ボタン367の選択により図3aの患者情報画面350に移行し得、「プルーフ」ボタン387の選択により図3cのプルーフシート画面330に移行し得る。プライバシー画面アイコン354は、簡易かつ一貫したアクセスのために他のユーザインタフェース画面と同じ場所に配置されている。
図3eは、一つの画像から別の画像への注釈(および/または測定値)のコピーを可能にする実施形態を示している。ここでは、一連の画像(例えば、3つの画像)がコピーパネル389に表示される。ソースアイコン391(例えば、「起点(from)」アイコン)および宛先アイコン392(例えば、「到達点(to)」アイコン)は、どの画像からどの画像に注釈をコピーすべきかをそれぞれ示す。ソースアイコン391は、眼または眼底画像(例えば、円)を、ソースアイコン391から出る第1の矢印とともに描写する。宛先アイコン391は、眼または眼底画像(例えば、円)を、宛先アイコン391に入る第2の矢印とともに描写する。コピーパネル389内の各画像は、プレースホルダ(領域395)を含み、任意選択で、画像が右眼用か左眼用かを指定する左右性インジケータ(ODまたはOS)をも含む。「起点」アイコンまたは「到達点」アイコンのいずれかが画像にドラッグされると、対応するアイコンがそのプレースホルダ395に配置される。例えば、点線の矢印397は、コピーパネル389の左端の画像にドラッグされている「起点」アイコン391を示している。これにより、ソースアイコン391が、この左端の画像のプレースホルダ395に配置される。これは、その画像が、「起点」画像、「到達点」画像として指定されているか、またはどちらにも指定されていないかをユーザに示す。例えば、コピーパネル389における右端の画像のプレースホルダには、注釈/測定値がこの画像にコピーされることを示す、宛先アイコン392に一致する画像/アイコン396が配置されていることが示されている。
任意選択で、ソース画像ファイルのユーザ作成注釈(または測定値)は、ソース画像ファイルのエリア/領域を規定し、一致エリア/領域は、宛先画像ファイルにおいて識別される。宛先画像ファイル内の一致エリアは、例えば、ソースおよび宛先画像ファイルの画像登録、ソースおよび宛先画像ファイルの両方における対応する構造(例えば、中心窩、視神経乳頭、主要血管構造など)の識別、および/またはソースおよび宛先画像ファイルの所定のコーナー(または他のマーカー)からの直接マッピングによって識別することができる。一致エリア/領域が宛先画像ファイル内でどのように識別されるかに関係なく、任意選択で、ソース画像ファイルにおけるユーザ作成注釈を宛先画像ファイルにおける一致エリア/領域にコピーすることができる。このように、例えば、ある確定された構造の左上にある領域に注釈が作成された場合、その注釈は、宛先画像ファイル(単数または複数)内の類似構造の左上に位置する類似領域にコピーされる。
図3fは、「起点」画像および「到達点」画像を指定する際のエラーを描写する例を示している。図3eの要素に類似するすべての要素は、類似の参照文字を有し、かつ上記で説明されている。(既に第1の画像にドラッグされた後)ソースアイコン391または宛先アイコン392のいずれかが第2の画像にドラッグされると、第2の画像はドラッグされたアイコンを表示し、第1の画像は、未指定の「プレースホルダ」395の表示に戻り、注釈をコピーする目的で、一度に1つの画像のみを「起点」画像または「到達点」画像に指定できることを保証する。代替的に、複数の宛先、または「到達点」画像を指定することができる。その場合、「起点」画像の注釈(単数または複数)は、すべての指定された「到達点」画像にコピーされる。しかしながら、単一の「起点」画像および単一の対応する「到達点」画像を許可する図3fの本実施形態では、点線矢印399は、図3eにおける右端の画像がすでにドラッグされた後に、「到達点」アイコン392が中央の画像にドラッグされることを示す。その結果、右端の画像では、(図3eからの)アイコン396がプレースホルダ395に置き換えられる。通常、中央の画像は、その後、そのプレースホルダ395にアイコン392の画像を配置するが、中央の画像は現在指定されている「起点」画像(例えば、左端の画像)の左右性と一致しない。即ち、左端の画像は、ODの左右性(例えば、右眼)を有し、一方、中央の画像は、OSの左右性(例えば、左眼)を有する。結果として、中央の画像はエラーとして強調表示され(例えば、強調表示フレーム390の使用により)、コピーボタン393は無効化される。即ち、注釈をコピーする前に、適切な「到達点」画像および適切な「起点」画像が指定されたときにのみ使用することができる確認ボタン(例えば、「コピー」ボタン)393によって、ユーザは、再度プロンプトを受けて、正しい画像および注釈が選択されたことを確認することができる。画像は固視位置が異なり得るため、以下の「歪み補正」というタイトルのセクションでさらに詳しく説明するように、固視の違いを考慮した眼モデルを使用して、注釈および/または測定値を歪みに関して補正することが望ましい。
通常、同じ種類の画像を経時的に比較して、変化を探索することが望ましい。これを可能にするために、簡易または迅速な比較オプションを提供することが可能であり、ユーザが何らかの方法で単一の画像を選択すると、プロセッサは、その画像と同じ撮像条件を有する全ての画像について利用可能なデータを検索して、類似する収集画像を迅速に表示する。好ましい実施形態では、この動作は、特定の画像を右クリックし、オプションのリストからこの機能を選択することにより達成することができる。選択時に、撮像モード(カラー、IR、FAF-緑、FAF-青など)、左右性(OD/OS)、FOV(WF、UWF、モンタージュなど)に一致し、かつ/または固視位置(または方向/角度)に一致する同じ患者の画像が、プロセッサによって自動的に識別され、かつレビュー画面335に表示される。続いて、注釈をグループとしてソース画像から複数の宛先画像(例えば、ユーザが選択したもの)にコピーすることができる。システムは、デフォルトで、左側に最新の画像を表示し、その隣の1つまたは複数のビューポートに履歴画像を表示する。システムは、ボタン押下、スクロールホイール、自動化動画再生、または当業者によって認識されるであろう他の何らかのユーザ入力によって、時系列順に履歴画像を進めながら、1つのビューポート内に最新の画像を維持するようにさらに設計することができる。これにより、ユーザは経時的な変化を簡単に視覚化(例えば、視覚的に識別または認識)することができる。
位置合わせについての考慮事項
図4aは、眼科撮像システムの眼用(または接眼)レンズ207への複数の虹彩カメラ(例えば、Cam1、Cam2、およびCam3)の取り付けを示している。虹彩カメラは、虹彩を画像化するために配置される(例えば、眼の外側を画像化するために配置される)。これにより、被験者の眼の虹彩および瞳孔の画像の収集が可能になり、これらを使用して、眼科撮像機器/装置/システムと患者との間の位置合わせを可能にすることができる。図4aに示される実施形態では、虹彩カメラは、患者の視点から、眼用レンズ207に対して、眼用レンズ207の周りにほぼ0度、180度、および270度の位置に搭載される。虹彩カメラCam1、Cam2、Cam3は、主光路に干渉しないように軸外で動作することが望ましい。虹彩カメラは、患者の眼のライブ画像(例えば、図3bの取得画面345の瞳孔ストリーム363)をディスプレイ上に提供して、患者の微調整および取得を支援する。図4bは0°または180°の虹彩カメラ(例えば、Cam1またはCam2)から収集された画像を示し、図4cは270°に配置された虹彩カメラCam3から収集された画像を示している。ユーザに提示される虹彩カメラ画像は、患者の瞳孔中心の所望の位置と現在の位置との間のオフセットに関する情報を示す合成/統合画像とすることができる。オペレータは、この情報を使用して、瞳孔を中央に配置して、クロステーブルを介して患者の眼に対して正しい作動距離を設定することができる。例えば、図4bは、良好な画像取得のために瞳孔を配置することができる許容範囲を伝達するために、オーバーレイガイド(半透明バンド400)が画像上にどのように示されるのかを示している。さらに、アイコン(またはアニメーション)401は、所望の位置合わせ(適切な位置合わせ)、この場合には、図2のジョイスティック253のねじり(twist)を達成するために、どの(かつ、どのように)ハードウェア制御または調整(眼科装置上で)をシステムに対して行うべきであるかを表示する。同様に図4cでは、最適な撮像のための瞳孔の所望の位置を示すように破線の十字線402が表示され、アイコン(またはアニメーション)403は、患者に対する機器の最適な位置決めを実現するために、ジョイスティック253が移動されるべき(例えば、前方、後方、左、右、またはこれらの組み合わせ)であることを示す。
任意の時点で、3つの自由度(x,y,z)をすべてカバーするには、少なくとも2つの虹彩カメラが必要である。オフセット情報は、患者の瞳孔を検出し、瞳孔中心を特定し、特定された瞳孔中心を瞳孔中心の格納および較正された基準値と比較することにより抽出される。例えば、虹彩カメラCam3(270°の位置にある)は、患者の瞳孔中心のx座標を虹彩カメラ画像(ピクセルの行と列で構成される)の列座標にマッピングし、z座標はカメラ画像の行座標にマッピングされる。患者または機器が横方向に移動すると(例えば、右から左または左から右に)、画像が横方向に(例えば、右から左に)移動し、機器が患者に近づく、または患者から遠ざかるように移動すると、瞳孔の画像が上下に移動する。患者の瞳孔のy座標は、0°および180°(Cam1および/またはCam2)に配置された虹彩カメラの一方または両方によって抽出され、それらの虹彩カメラは、y座標を画像の異なる行にマッピングする。
このカメラジオメトリは、より直感的で有用な画像の組み合わせを提供し、より迅速でより正確な患者の位置合わせを可能にするという点で有益である。提案されたシステムは、瞳孔検出に基づいて検出された座標をフィードバックループで使用して自動患者位置合わせシステムを確立する上で非常に役立つ。利点は、カメラの中心と被験者を結ぶ線が1つの平面(非同一平面視線)で交差しない3台以上のカメラを有することは、良好なカバレッジを提供するとともに、瞳孔検出の良好な精度を提供するという事実による。視線が同一平面上にないカメラを有することは、虹彩カメラシステムを簡単に較正できるということも周知である。
さらに、個別の照明源を有する代わりに、統合照明を虹彩カメラの一部として使用することもできる。例えば、虹彩カメラCam1、Cam2、およびCam3の各々は、それらカメラの前面開口の周りに1つまたは複数のLED410を有し得る。任意選択で、統合虹彩照明光源(単数または複数)は、患者の気を散らさないようにするために、光を人間の眼に完全に透明/不可視にする赤外線波長領域(例えば、>780nm)で動作する。さらに、カメラセンサの前でロングパスフィルターを使用して、中間画像を取得するために使用される位置合わせ光の影響を除去することができる。統合照明はまた、オペレータによる患者の眼のより良い視界を可能にする小さなパッケージサイズを提供する。また、使用されている虹彩カメラシステムは、網膜を撮像するために使用される網膜カメラ(単数または複数)が露出されているときに、統合照明をオフにする機能を有することに留意されたい。従って、このシステムは、虹彩照明源410による網膜の後方照明を回避する。
この虹彩カメラアーキテクチャスキームの利点は、虹彩カメラ(Cam1、Cam2またはCam3)のいずれかを使用して最小瞳孔サイズを決定し、位置合わせがアーチファクトのない眼底画像を生成するのに十分正確であるかどうかをオペレータが判定できるという柔軟性にある。前述のように、機器は、例えば、患者の瞳孔が液滴によって散瞳されるか、または患者の瞳孔が自然に大きい場合の散瞳モード、瞳孔が収縮するか、そうでければ散瞳モードで使用するのに十分な大きさでない非散瞳モードなどの様々な構成で使用することができる。非散瞳処理の場合(例えば、瞳孔サイズが散瞳モードの最小サイズを下回る場合に使用)、機器は、フルパワー網膜(または眼底)照明、複数照明ビーム経路の場合における両方の/すべての照明ビームを使用せず、網膜照明ビームの形状を縮小または変更して、網膜照明ビームが瞳孔を通過するときに、網膜照明光のクリッピングなしに撮像できるようにする。従って、虹彩カメラから瞳孔サイズを決定することは、動作モードの選択から直接影響を受ける。同様に、瞳孔サイズを比較することにより、オペレータが手動で、または自動アルゴリズムにより、患者が十分に位置合わせされた時期をオペレータが決定することができる。これにより、オペレータに対する位置合わせ時間が短縮される。
図5a~図5cは、画像化された瞳孔が1つまたは複数の虹彩画像の基準最小瞳孔サイズとどのように比較されるかについての例示的な実施形態を示す。図5aは、図4aのサイドカメラCam1またはCam2(例えば、0°または180°に配置されている)のうちの1つによって撮像された瞳孔と、基準最小瞳孔サイズとの比較(例えば、位置合わせ目的のため)を示す。図5aにおいて、2本のライン(またはバー)501は、サイドカメラから得られた画像上で最適な撮像を行うために必要な最小瞳孔サイズを示している。適切な位置合わせの指標として、瞳孔はライン501内にある必要がある。視覚化を容易にするために、瞳孔の輪郭(例えば、楕円)503が提供されてもよい。図5bは、両方向(例えば、楕円505の長軸および短軸の両方)における最小瞳孔直径要件を示す楕円505、およびサイドカメラから得られた画像に重ねられ得る基準中心破線を表示している。例示のために、図5bは、サイドカメラから見た適切な瞳孔位置合わせを示している。図5cは、図4aの下部虹彩カメラ(例えば、270°に配置されたCam3)から得られた画像上の両方向の最小瞳孔直径要件を示す楕円507を示している。また、最適な撮像のための瞳孔の所望の位置を示すために使用される破線の十字線402も示されている。例示の目的で、図5cは、下部カメラから見た適切な瞳孔位置合わせを示している。
瞳孔楕円(503、505、507)の長軸と短軸の値および/またはバーまたはライン(501)の高さは、事前較正に基づいてプロセッサで決定され、ここで、ターゲット機器を使用して、サイズおよび形状、または機器による最小必要瞳孔要件と、虹彩カメラ(Cam1、Cam2、Cam3)から取得した画像との間のマッピングを決定することに留意されたい。また、そのような較正値の異なるセットが存在して、各虹彩カメラを個別に較正し、かつ機器の異なる撮像モード、例えば散瞳と非散瞳を考慮し得ることも留意されたい。
図5a~5cは、オペレータによってオーバーレイ画像が使用されて、眼科撮像システム、この場合には、スリットスキャン検眼鏡の特定の動作モードの最小瞳孔直径要件を満たすように、患者の瞳孔が位置合わせされたかどうかを判定するための実施形態を示す。上記で説明したように、オペレータは患者の位置合わせを調整して(例えば、ジョイスティック253または手動制御入力を使用して)、ライブフィードからの患者の眼の画像をオーバーレイ画像と一致させ得る。さらに、自動アルゴリズムを使用して、患者の瞳孔直径を抽出することもでき、この抽出された直径を、機器の最小瞳孔直径要件の既知の較正値と比較することができる。この場合、単純なバイナリ決定をオペレータに提供して、キャプチャを開始することができる。また、機器を自動モードにして、抽出された瞳孔径が機器の最小瞳孔サイズ要件よりも大きくなり、かつ/または十分な画像品質に関して瞳孔の位置が確認されると直ちに、眼底画像が自動的に取得されるようにすることもできる。さらに、瞳孔サイズの自動検出に基づいて、非散瞳モードと散瞳モードとの間でシステムを切り替えることができる。瞳孔サイズ要件が達成されると、システムは、散瞳モードに切り替えることができ、瞳孔が散瞳撮像には小さすぎることが検出されると、システムは、自動的に非散瞳モードに切り替えることができる。
輝度調整
人間の網膜は、淡色(lightly)色素沈着または暗色(darkly)色素沈着を呈する。暗色網膜と淡色網膜で、フラッシュの強度および露光量が等しい画像を撮影した場合、暗色色素沈着網膜では出力画像が暗すぎ、淡色色素沈着網膜では出力画像が飽和(例えば、過度に明るい)することがある。これらのシナリオでは、撮像装置のオペレータが患者を適切に位置合わせすることが困難となり、最適でない画像キャプチャが生じ得る。淡色色素沈着網膜または暗色色素沈着網膜が撮像されているかどうかについてのフィードバックを行うことにより、フラッシュ(例えば、網膜カメラの照明)を自動的に調整して、異なる色素沈着網膜全体で一貫して明るい画像を確保することができる。さらに、FA撮像中に、例えば、出血のエリアが飽和状態になることがある。同様に、ICG中、脈絡膜血管新生血管のエリアが飽和状態になることがある。網膜カメラからのライブフィードなどにおいて、臨床医がこれらのエリアの詳細を調べることに興味がある場合、この飽和は臨床医が見るときの妨げとなる。
例えば、携帯電話などの民生用カメラにも同様の問題が存在し、プレビュー中に画像を分析し、多数の以前の画像の輝度に基づいてカメラのゲインを自動的に調整することにより、問題に対処している。網膜撮像に関するこのアプローチの問題は、網膜カメラがある特定の方向(例えば、瞳孔を介して眼底の標的領域に)において画像に位置合わせされ、患者の動きにより網膜カメラが網膜でないアイテムを画像化することがあることにある。即ち、患者の網膜を撮像する際に網膜カメラのゲインを調整することのみが望ましく、瞼から反射する照明ビームにより明るい画像として表れる可能性がある眼のまばたき、または光が眼の内部に入るときに瞳孔でクリップされる照明ビームにより暗く見え得る、光が眼に入るのを妨げる眼球運動を考慮に入れないことが望ましい。換言すると、本システムの網膜カメラは、撮像対象の被写体(例えば、眼底)を把握しており、各キャプチャされた画像ごとに、対象被写体がキャプチャされた画像内にあるかどうか(例えば、キャプチャされた画像が有効であるかどうか)を判定し、カメラゲインを調整する目的で、対象被写体のキャプチャ画像のみを使用する。一貫して照明された画像を取得するという点で、従来の製品は、フラッシュを調整するためにオペレータが手動で使用できるフラッシュ制御を備えていた。これについての問題は、使用するフラッシュレベルをオペレータが決定していることであり、これにより、オペレータのばらつきによって引き起こされる画像の輝度のばらつきが生じる。ここでは、網膜カメラのゲインを調整する目的で、網膜内の関心のあるエリアまたは領域を連続的に撮像および分析する方法について説明する。撮像エリアを分析して、それが有効な撮像エリア、例えば、瞼とは対照的な網膜であるかどうかを判定して、それが有効な撮像エリアである場合、システムは画像の輝度に基づいて、膜カメラのアナログゲインを増加させるか減少させるかを決定する。任意選択で、画像の焦点が合っている場合にのみゲインを調整し得る。
図6は、本発明によるカメラの自動輝度調整方法の例示的な実施形態を示している。本実施形態は、スリットスキャン眼科システム内の網膜カメラの状況で説明されるが、本発明は、他のタイプの眼科撮像システムに拡張され得ることを理解されたい。上記で説明したように、スリットスキャン眼科システムでは、照明スリットが網膜(または眼底)全体にわたってスキャンされ、フルフレーム画像を構築するためにスリット画像が各スキャン位置において収集される。このスキャンプロセスは、ライブ撮像ストリームやビデオフィードなどの一連のフルフレーム画像を収集するために連続的に繰り返えされ得る。実施を容易にするために、網膜全体のスキャン掃引内のスキャン位置の1つは、ゲイン制御の基となる網膜の関心領域(ROI)(または関心のあるFOV)として指定され得る。例えば、網膜の中心において照明スリットによって覆われたエリアにほぼ対応する網膜の中心エリアがROIとして選択され得る。網膜上の任意の他のエリア、またはスリット位置が、関心領域として選択され得ることを理解されたい。特定のスリット位置を関心領域として選択することにより、各スキャン掃引中に(スキャン掃引間のスキャナのフライバック・シーケンス中に)、「ROI画像」(例えば、所与の照明における関心領域に対応するスリットスキャン位置からのデータを収集することができ、これは「照明画像」とも呼ばれる。)を得ることができる。有効なROI画像(例えば、照明データ)の数Nが、網膜上の所与の関心領域において継続方式で収集される。例えば、網膜カメラからのライブビデオフィードでは、ビデオフィード内の各ビデオフレームに対応するROI画像が収集され得る。収集されたROI画像は分析される。網膜(例えば、撮像されるべき対象被写体)の一部ではない収集されたROI画像は、「無効」として指定され、かつ自動ゲイン制御には使用されず、残りの(有効な)ROI画像が、網膜カメラのゲインを変更(例えば、増加または減少)する必要があるかどうか分析される。ワークフローは、以下のとおりである。
1. オペレータがスキャンを開始することを選択すると、網膜カメラのゲインが、所定の開始値に設定され、スキャンが開始される(ステップ601)。例えば、カメラゲインの開始値が、最大値に設定され得る。
2. N個のROI画像(網膜上の所与の関心領域に対応する照明ストリップデータ、例えば「照明画像」)を収集する(ステップ603)。このデータは、眼底画像キャプチャシーケンスを予測してそのゲインを調整するために、網膜カメラ(例えば、プレビューモード)からのライブフィード中に連続的に収集され得る。
3. 各ROI画像のビーム重心を見つける(ステップ605)。重心は、ROI画像の最も明るい領域(例えば、最強度の領域)に対応し得る。
4. 重心をビーム照明が網膜上のどこにあるかのガイドとして使用して、網膜上の平均ビーム照明を計算する(ステップ607)。
5. ステップ609で、このデータが撮像されるべき対象被写体(例えば、網膜)からのものであるかどうかを確認する。これは、データがオートフォーカス動作の最小条件を満たしているか、および/または最小信号対雑音(SNR)比を満たしているかを判定することにより実現され得る。例えば、眼が存在しない場合、データのSNRは最小しきい値を下回り、無効として指定される。データに十分なSNRがある場合、システムは、(例えば、重心を使用して)オートフォーカス動作を試みることができる。このオートフォーカス動作は、例えば、参照によりその全体が本明細書に組み込まれる国際出願番号PCT/EP2018/058138に概説されている方法を使用し得る。このアプローチは、重心を基準バーまたは別の重心信号と整合させるように試み得る。重心が整合を達成するほど十分に形成されていない場合、例えば、オートフォーカスが失敗した場合、データは、無効として指定され得る。代替的に、または付加的に、虹彩カメラを使用して、収集されたデータを無効として指定する時期を決定し得る。例えば、虹彩カメラが眼底のキャプチャを妨げ得る条件(例えば、まばたきした眼、既定のしきい値を超える眼の動き)を識別した場合、データは無効と指定され得る。データが無効であると指定された場合、データはゲイン制御には使用されず、処理はステップ603に戻る。
6. ステップ611において、(ステップ607からの)M個のこれらの平均照明が収集され、収集された平均照明の中央値が計算される。例えば、ステップ611は、(ステップ607からの)新たに決定された各平均照明が(M個の最新の平均照明の)中央値計算に組み込まれるランニング中央値計算であり得る。代替的に、システムは、中央値を決定するためにM個の平均照明を蓄積し得る。
7. ステップ613において、ステップ611からのこの中央値の照明が、上限強度閾値よりも大きい(かつ網膜カメラの最小ゲインよりも大きい)場合、網膜カメラのゲインは、ステップ615において減少される(例えば、第1の所定の離散ステップによって)。しかしながら、中央値の照明が上限強度閾値より大きくない場合、処理はステップ617に移行する。
8. ステップ617において、ステップ611からの中央値の照明がより低い強度閾値よりも小さい場合(および網膜カメラの最大ゲインよりも小さい場合)、ステップ619において網膜カメラのゲインが増加される(例えば、第2の所定の離散ステップにより)。しかしながら、中央値の照明がより低い強度閾値より小さくない場合、処理はステップ603に戻る。
9. ステップ615またはステップ619のいずれかでゲインの変更が行われた場合、ステップ621で、システムは、ステップ603に戻る前に、所定期間の間待機する(例えば、このゲインの変更が有効になるまでの間待機する)。
このワークフローは、患者が撮像される間に連続的に実行し得るが、所与の関心領域がユーザによって変更された場合、再開し得る。このようにして、網膜のプレビュー画像の強度(例えば、網膜画像のランニングストリーム)が連続的に調整される。
ユーザは、ライブ撮像ストリーム上の新たな関心領域をクリックすることにより、最適化された網膜のエリア(例えば、カメラのゲインが調整されるROI)を変更することができる。この情報は、ゲイン制御に関して処理するために、受信した画像内の場所(例えば、スキャン掃引におけるどのストリップ画像(単数または複数))に対する入力として使用される。ゲイン最適化のワークフローは上記と同じあるが、分析される撮像エリアが異なる。任意選択で、ライブ取得を可能な限り高速に保つために、ユーザが選択することができる画像のエリアは、フルフレーム画像またはビデオフレーム内のプリセット数のエリアゾーンに制限され得る。ユーザがこれらのゾーンのうちのいずれかをクリックすると、ゾーン全体が最適化に使用されるか、最適化が選択されたゾーン内の所定の領域(例えば、照明ストリップ)に制限され得る。
この自動輝度調整は、画像の取得前に完全な画像最適化を行ってキャプチャされた画像が一貫して最適であることを保証するために、国際出願番号PCT/EP2018/058138で説明されているオートフォーカス機能と組み合わせることができる。例えば、図3bを参照すると、領域420は、照明ビーム93のビーム重心91が実質的に基準バー92(例えば、較正により決定することができる)と整列するまでシステムの焦点が調整される焦点合わせツールを示す。あるいは、ROIが2つの照明ビームで照明されている場合、2つのビームの個々のビーム重心が整合するまで、焦点は調整され得る。ゲインは撮像の様々なフェーズ(例えば、ウォッシュインとウォッシュアウト)で連続的に変化する可能性があるため、自動輝度機能は、FAおよびICG撮像中に大きな価値を有する。また、ユーザが輝度を調整するオプションを選択できる場合、ユーザは、FAムービー中に飽和することなく網膜の特定の領域を監視することができる。
歪み補正
理解されるように、眼底は湾曲しているが、眼底画像は一般に、二次元(例えば、平坦な)画像である。眼底画像は曲面の平坦な表現であるため、投影を決定する際の歪みを考慮することが望ましい。このプロセス中に、ユーザに提示されるか、または登録およびモンタージュなどのさらなる処理に使用される歪み補正画像を生成するために、センサによって収集された生画像が処理される。当業者に公知であるように、これを達成する多くの方法がある。一実施形態では、モデルベースのアプローチが使用され、そのアプローチでは、2Dデータが眼の3Dモデルにマッピングされる。画像を投影する際に歪みを考慮することに加えて、測定を行う際、2つの画像間で測定値および注釈をコピーする際、および画像が同じ固視で撮像されていない場合に画像をモンタージュする際に、歪を考慮することも望ましい。
撮像処理に固有の歪みに関する画像の補正を可能にする最初のステップは、アンカーポイントを識別することである。これは、中心窩または視神経乳頭または任意の位置とすることができる。これは、中心窩を機器の固定位置として識別することにより可能となる。代替実施形態では、ユーザは、アンカーポイント、またはアンカーポイントとして使用することができる中心窩などの画像内の特徴を選択することができる。代替実施形態では、中心窩または視神経乳頭などの画像内の関心のある特徴を自動的に識別することにより、アンカーポイントを選択することができる。
図7は、眼底の曲率を表し得る概念的な3次元(3D)球体(または部分球体)を示している。アンカーポイントが特定された後、3D単位光線ベクトルを介して各画像ピクセルを記述する逆投影を使用して、画像を概念的な3D球体(図7に示すような)に投影することができる。このアプローチには、システムの光学的歪みに関する知識が必要である。一実施形態では、この歪みは、球対称多項式(radially-symmetric polynomial)で表すことができる。多くの場合、光線角度を単位ベクトル(例えば、(l,m,n)=(cosφsinθ、sinφsinθ、cosθ))として符号化することが便利である。これらの単位ベクトルは、ピクセルおよびその画像データを単位球に配置する。センサ上の座標(x、y)は、次の式
Figure 0007252144000001
で与えられる。
ここで、θは視野中心からの角度、νは視野の半角
Figure 0007252144000002
である。パラメータ「a」および「b」は、a=1.06およびb=-0.15として経験的に設定し得、これは、これらの値が、レンズの歪みを良好に近似しているからである。これが分かっていれば、眼の形状を説明するモデルを使用することもできる。画像は、相対的な固定位置に従って3Dで球体上に整列することができる。アルゴリズムの結果として、投影画像の2Dピクセル座標と3D逆投影空間における座標との間のマップが構築される。
解剖学的に正確な測定を可能にするために、眼科撮像システムは、眼科撮像システムがエクスポートする画像とともに投影を反転するデータを組み込み得る。この課題を克服する1つの方法は、元の2D画像の横に、元の画像の各点のx、y、z座標を含む3つの2D配列を格納することである。別の実施形態は、配列内に3D位置を2D画像内の各位置の2D座標とともに格納する。この方法は、医療におけるデジタル撮像および通信(DICOM:Digital Imaging and Communications in Medicine)標準の広視野眼科写真撮影画像モジュール(Wide Field Ophthalmic Photography Image Module)に含まれている。この方法は、格納および管理されるデータの量が多くなる可能性があるため、特に、高解像度撮像では、パフォーマンスの問題が発生する可能性がある。この問題を補償するための別の方法では、システムは、実行される測定値の座標のみを格納する。代替的に、または組み合わせにおいて、一組の任意の2D位置で実行して、関連する3D位置を生成することができるモデルが格納される。これは、データが収集されて、格納された後、または将来的に撮像された眼にカスタマイズされた後であっても、モデルを改良することを可能にするという付加的な利点がある。
モンタージュについての考慮事項
前述したように、システムの光学系は、システムの最大視野を決定する。スリットスキャン検眼鏡の一実施形態では、約30:1のアスペクト比を有する矩形照明線が、ISO標準10940による90°のFOVを有する単一の画像をキャプチャするために使用される。この視野を超えて拡張することが望ましい場合、機器に対する眼の回転を変更して、別の画像をキャプチャし、結果的に得られた画像をモンタージュすることが可能である。システムに対する眼の回転を調整する最も簡単な方法は、眼の固視を調整することである。これは、システム内の固視ターゲットの位置を調整することにより実現することができる。眼底画像のモンタージュは、網膜のより完全なビューを提供することにより、臨床医を支援することができる。眼底画像のモンタージュは、撮像された視野(FOV)を拡張するための一般的な手法であり、かつ眼底カメラの機能として提供されている。広視野の眼底画像をモンタージュする技術は、その内容が参照によりその全体が本明細書に組み込まれる米国特許出願公開第2017/0316565号明細書において説明されている。
図8は、より大きい視野を提供するためにつなぎ合わせる(例えば、モンタージュされる)ことができる複数の画像を収集するための2つの取得パターンの例を示している。図8のボックスAは、水平方向に135°の視野を達成するためにつなぎ合わされた2つの異なる画像80および81を示している。図8のボックスBは、水平方向と垂直方向の両方で135°の視野を達成する画像を生成するために収集された4つの画像82、83、84、および85を示している。最終的なモンタージュの外観は、画像間の遷移の適切な領域を選択し、オーバーラップの領域全体に亘ってではなく、これらの遷移における特定の継ぎ目の近傍でのみブレンドを実行することにより向上させることができる。継ぎ目発見アルゴリズムは、最良の外観のブレンドされたモンタージュを生成するために、オーバーラップ領域を通してカットを生成するように試みる。
オーバーラップエリアと遷移エリア(継ぎ目)を選択する方法は、複数ある。一例は、継ぎ目におけるスキャン間の差異を最小化する継ぎ目を特定すること、画像の幾何学的境界から選択することを含む。どの画像がモンタージュに寄与したかを示すことは、モンタージュ画像の上に線を描くことによって行われることがあるが、多くの場合、モンタージュは、構成要素が最終画像にどのように寄与したかを示すことなく提示される。エッジの1つではなく、中心窩または視神経頭などの重要な特徴を特定し、これらの主要な特徴をカットする境界を選択しない境界を見つけることが望ましい。プロセッサは、どの画像で主要な特徴が最良に視覚化されるかを識別することができ、従って、その画像のより多くをモンタージュのために使用することができる。別の実施形態では、ユーザは、モンタージュの目的のために、1つの画像を多く選択し、別の画像を少なく選択するように縫い目を調整するオプションを有することができる。
図9aは、例示的なボロノイ図(Voronoi diagram)を示しており、ボロノイ図は、平面の特定のサブセットにおける点までの距離に基づいて、平面を複数の領域に分割することである。一組の点(シード、サイト、またはジェネレータと呼ばれる)は、予め指定され、各シード毎に、他のどのシードよりもそのシードに近いすべての点で構成される対応する領域が存在する。これらの領域は、ボロノイセルと呼ばれる。モンタージュにボロノイ図を使用することが提案されている(例えば、ララキ(Laraqui)他、「ボロノイ図を使用した画像のモザイク処理(Image Mosaicing using Voronoi diagrams)」(DOI:10.1007/s11042-016-3478-z)を参照)。眼底画像をモンタージュする際におけるその使用が、本明細書で説明される。眼底画像のモンタージュに関して、シード点は、モンタージュされる各画像の中心点である。例えば、図9bは、個々の中心シード位置に十字線が付された2つのモンタージュ画像を表すボロノイ図を示している。中心点をシードとして用いて、最終的なモンタージュの各ピクセルに関して、中心が最も近い画像のピクセルが選択される。図9cは、図8のボックスAに示すように、2つの画像モンタージュの場合における各画像からのピクセルの寄与を示している。図9eは、2つの画像の場合におけるモンタージュ画像の一例を示している。図9dは、図8のボックスBに示すように、4つの画像モンタージュの場合における各画像からのピクセルの寄与を示している。図9fは、4つの画像の場合におけるモンタージュ画像の一例を示している。画像間の小さなオーバーラップが許容され、このオーバーラップ領域で画像のブレンドが実行される。ブレンディングは、構成画像のオーバーラップする部分間の照度および/または口径食の差異を緩和することによって、最終的なモンタージュの画像間に、より自然な外観の遷移を作成する。機器のユーザを支援するために、モンタージュ画像とともに、モンタージュ画像内のどこに継ぎ目が位置し、モンタージュ画像のどの部分にどのコンポーネント(画像)が寄与しているかを示す概略図(例えば、モンタージュアイコン901および902)が示される。一般に、モンタージュ画像の概略図またはアイコン(901および902)は、モンタージュ眼底画像を構成する部分的にオーバーラップする眼底画像の境界を示す。換言すれば、モンタージュアイコン(901および902)は、一般に、個々のモンタージュ画像の外周形状を描写し、かつ各セクタがモンタージュ画像の個々の(寄与)画像に対応するセクタに分割され、各セクタの形状は、一般に、モンタージュ画像に寄与する対応する画像の一部を描写する。
パフォーマンスの向上
眼科画像は、4K×4Kなどの高解像度画像であり得、そのような大きなファイルは、画像のローティングおよび画像処理(これには、上記したような歪み補正およびモンタージュ、並びにその他のより一般的な画像処理(輝度、コントラスト、彩度、ガンマ、シャープネス等の調整など)が含まれる)などのファイル操作処理に顕著な影響を与える可能性がある。一方、ローディングされた画像がレンダリング(表示)されるコンピュータ画面上のビューポートは、一般に、0.3Kx0.3Kのような非常に低い解像度である。この違いにより、ビューポートに画像をローディングしたり、ビューポートのズーミングおよびパンニングを行うなど、一般的な画像レンダリング処理では最適なパフォーマンスが得られない場合がある。例えば、画像は、通常、レビュー用に選択された場合にのみローディングされ、図3dに示すように、画像がビューポート内でレビュー用に呼び出される(例えば、レンダリングされる/表示される)まで、必要な画像処理は通常適用されない。この必要な画像処理は、例えば、歪み補正および/またはモンタージュを含む。通常、(フル解像度で)ローディングされた画像は、表示用のビューポート解像度にサイズ変更される(例えば、コンピュータのオペレーティングシステムまたは他の表示API(例えば、アプリケーションプログラミングインタフェース)により)。同様に、ズーミング処理では、ローディングされた画像(または画像の選択部分)は、ズーム係数に従って表示用にサイズ変更される。その結果、一般に、ローディングされた画像とコンピュータ画面上に表示される画像との間にピクセル間の相関がない。これにより、表示されたアイテムの画面上の測定が複雑になる。また、通常、任意の画像処理がローディングされた画像の全解像度で適用され、結果として処理された画像は、ビューポートに表示するために再スケーリングされることに留意されたい。さらに、現在ローディングされている画像がビューポートから削除されると(例えば、表示されなくなると)、現在ローディングされた画像はアクティブメモリから削除されるため、同じ画像が後で呼び出された場合には、表示のために同じローディング、処理、およびスケーリングプロセスを繰り返す必要がある。本明細書では、少ないメモリ消費で画像処理(例えば、輝度、コントラスト、彩度、ガンマ、シャープネス)に関してより良い応答時間を提供するパフォーマンスを向上するための新規な方式を提示する。また、この新たな方式の発展であり、パフォーマンスを最大化するように設計された新規なズーミングおよびパンニング機能をも提示する。
理解されるように、複数の大きなファイルのローディングにより、アクティブな(例えば、作業)メモリ容量に対する要求が高くなるが、そのような大きなファイルは、ローディングされた画像を横切ってビューポートをパン(または移動)する典型的なパンニング処理を可能にする。図10は、ビューポートよりも高い解像度のローディングされた画像を横切るビューポートの典型的な最適化されていないパンニング処理を示している。画像11は、最大解像度でローディングされ、長方形13a~13eは、画像11を横切るビューポート15のパンニング移動を表す。即ち、ビューポート15は、コンピュータ画面に表示されるものを示し、ビューポート15のサイズは長方形13a~13eのサイズを規定する。長方形13a~13eのうちの1つ内の画像11の一部は、ビューポート15を介してコンピュータ画面上に表示されるものを規定する。この例では、長方形13aはビューポート15の初期位置を表し、長方形13eはビューポート15の最終位置を表し、矢印17は、画像11を長方形13aから長方形13eへと横切るビューポート15のパンニング動作を表す。
以下は、上記のいくつかの問題を解決するためのパフォーマンスの向上について説明する。例えば、現在のパフォーマンスの向上により、初期画像のローディング時間が約80%減少し、メモリ容量の要件が約30%減少し、一部の画像処理時間がユーザが知覚できない程度まで減少し、表示された画像と作業メモリ内のローディングされた画像との間の1対1の解像度(またはピクセルからピクセルへの近似)の一致を実質的に維持することが分かっている。
最初に、本実施形態は、画像プリフェッチの種々の段階を実施し得る。例えば、本眼科用装置は、表示する画像が選択されているかどうかに関係なく、本日のリスト(例えば、図3aの患者情報画面350を参照)における画像用のバックグラウンドスレッドに画像を自動的にフェッチし得る。例えば、本日のリスト内の患者(例えば、選択された患者355)に関連する画像は、分析オプション(356)または取得オプション(357)が選択される前にバックグラウンドにローディングされ得る。任意選択で、画像が最新のものから最も古いものまでローディングされ得る。さらに任意選択で、このプリフェッチは、本日撮影された画像と、同じ患者による最新の以前の医師診察の所定の数(例えば、1つまたは2つ)のものとに制限され得る。取得段階でプリフェッチを適用し得る(図3bにおける例示的な取得画面345を参照)。例えば、領域365にリストされているように、各画像が取得される(例えば、キャプチャされる)と、取得された画像は、表示のためにプリフェッチ(例えば、ローディング)され、処理(例えば、画像補正)される。プリフェッチはレビュー段階においても適用され得る(例えば、図3cのプルーフシート表示330を参照)。上記で説明したように、プルーフシート表示330は、特定の患者に関して収集された画像のサムネイル370を示し、オペレータはこの収集からさらなる分析のために画像を選択する。各画像が選択されると、選択された画像のサムネイルが選択ビン371に配置される。任意選択で、オペレータがプルーフシート表示330に到達すると直ちに、ユーザがサムネイルを選択する前に、プリフェッチを開始することができる。即ち、本眼科装置は、最も新しいものから最も古いものまで、サムネイル370によって表される画像の収集全体に対してプリフェッチする(および歪み補正を適用する)ことができる。しかしながら、選択ビン371で識別されるような、ユーザが選択した画像には、ローディングおよび歪み補正に関してより高い優先度が割り当てられ得る。
以下のセクション「自動検出およびデータ同期」でより詳細に説明するように、本眼科装置は、複数の同様の眼科装置、異なる医療機器、データベースなどのネットワークの一部であり得る。さらに、個々の眼科装置は、その内部メモリ内にすべての患者のデータ(例えば、画像)を有していなくてもよい。従って、眼科装置は、このプリフェッチ処理の一部として、ネットワーク上の他の眼科装置から患者の画像のコピーを要求して取得し得る。
各画像がローディングされると、上記で説明したように、任意選択で歪み補正(または画像処理)され、画像ピラミッドのベースとなる。各画像ピラミッドは、解像度の低い順に、そのベース画像の複数のコピーを含む。元のローディングされた画像は破棄され得る。即ち、プリフェッチされた画像を格納するのではなく、各々プリフェッチされ、任意選択で歪み補正された画像の複数のコピーが、(眼科装置内の)対応する組として、様々な低減された解像度で画像キャッシュに格納される。各組の画像は、画像ピラミッドを構成し得る。
図11は、プリフェッチ(またはローディングされた)された画像22から画像ピラミッド21を作成する一例を示している。画像ピラミッド21は、ベース画像23aと、画像キャッシュに格納するためのベース画像23aの複数の低解像度コピー(例えば、23b~23e)を含む。画像キャッシュは、短期メモリ(例えば、DRAMまたはSRAMなどのアクティブメモリ)または長期メモリ(例えば、ハードドライブまたはソリッドステートドライブ)に保持され得る。任意選択で、ベース画像23a(例えば、画像ピラミッド21内の開始画像、または最高解像度画像)は、ローディングされた画像22の解像度と一致する解像度を有し得る。代替的に、ベース画像23aは、ローディングされた画像22の本来の解像度に関係なく、例えば、2K×2Kの実質的に所定の解像度(例えば、画像内のピクセル数)を有し得る。ベース画像23aが所定の解像度を有する場合、ローディングされた画像22は、所定の解像度にサイズ変更され得る。例えば、ローディングされた画像22が所定の解像度よりも高い解像度を有する場合(例えば、ローディングされた画像22が4K×4K、6K×6K、または8K×8Kである場合)、ローディングされた画像22は、ベース画像23aの所定の解像度に実質的に一致するようにサイズ変更され得る(例えば、ダウンサンプリングされ得る)。しかしながら、現在の好ましい実施形態では、図11に示されるように、ベース画像23aの解像度は、ローディングされた画像22の解像度によって規定される(例えば、等しくされる)。このようにして、ビューポートが最大ズームを表示するとき、利用可能な最高解像度の画像(例えば、ローディングされた画像22の解像度)を使用して、以下でさらに詳しく説明するように、最適なズーム解像度を提供する。いずれの場合も、必要な画像前処理(眼の曲率に関する歪み補正など)をローディングされた画像22に適用して、結果の補正画像を使用してベース画像23aを規定することができる。このようにして、ベース画像23aのみならず、すべての低解像度コピー23b~23eも歪み補正(例えば、前処理)されて、表示用に準備される。これにより、画像が表示のためにローディングされるたびに歪み補正を再適用する必要がなくなるため、画像ピラミッド21からローディングするときにビューポートに画像をローディングするのに必要な時間が短縮される。任意選択で、画像ピラミッド21における各解像度低減ステップにおいて、各画像コピーは、そのベース画像(または、その最も以前のステップの画像コピー)の解像度を、所定の割合、例えば、1/2または1/4だけ低減する。表示の準備のためにローディングされた画像22に典型的に適用される歪み補正(および他の画像前処理)を、代わりに画像ピラミッド21内の全ての画像23a~23eに適用することができ、歪み補正された画像ピラミッド21を後のアクセスのために画像キャッシュに格納することができる。ローディングされた画像22は破棄され得る。このようにして、ローディングされた各画像22は、対応する画像ピラミッド21に置き換えられる。
処理において、ユーザが所与の解像度のビューポートを介してレンダリングする画像を選択すると、ビューポートの解像度は、ユーザが選択した画像に対応する画像ピラミッド21の異なる解像度のコピーと比較される。ビューポートに最も近いがより高い解像度のコピーが、ビューポートにローディングするために選択される。格納された画像のコピーは上述したように既に歪みが補正されているため、通常の場合のように、歪み補正を適用する必要はない。さらに、画像をビューポートにローディングすることは、典型的には、ビューポートによって指定される追加の画像処理(例えば、輝度、コントラスト、彩度、ガンマ、シャープネスなど)を必要とするが、画像ピラミッドから選択された画像コピーは、おそらく、元のローディングされた画像22よりもはるかに低解像度であるため、この追加の画像処理は、典型的なものよりもはるかに短い時間で実現することができる。これらの機能により、画像をビューポートにローディングするのに必要な時間が大幅に短縮される。
図12は、ズームなしの画像の表示を示している。この例では、正方形31はビューポートを表し、画像33は、ビューポート31に最も近いがそれよりも高い解像度(例えば、サイズ)を有する画像ピラミッドから選択された画像である。フレーム35はビューポート31を表し、ビューポート31内でレンダリングされる画像33の一部を示す。実施形態では、ビューポート31内で画像をレンダリングする前に、ローディングされた画像33は、クロッピング段階を受けて、クロッピングされた画像37を形成する。フレーム35は画像33全体を含むため、クロッピングされた画像37は、画像33の完全なコピーである。続いて、クロッピングされた画像37は、レンダリングのためにビューポート31の解像度に一致するようにサイズ変更される。
図13は、いくつかの実施形態によるズーム処理を示している。この本例では、フレーム35は、ビューポート31内でレンダリングされる画像33の一部を再び示している。しかしながら、画像33はビューポート31よりも高い解像度であるため、ズーミング処理は、基本的にクロッピングされた画像37用のクロッピングエリアを規定する。ここでも、必要に応じて、クロッピングされた画像37の解像度は、レンダリングのためにビューポート31の解像度と一致するようにサイズ変更される。ユーザが画像33の解像度を超える点までさらにズームインする場合、画像33は、現在のズーム値に最も近いが、現在のズーム値よりも高い解像度を有する画像ピラミッドからの別の画像に置き換えられ、現在のレンダリングシーケンスが、新たにローディングされた画像に適用される。
図14は、本発明のいくつかの実施形態によるパンニング処理を示す。パンニング処理では、ビューポート45よりも大きいクロッピングされた画像43が作成される。この場合、クロッピングされた画像43内のフレーム41はビューポート45を表す。クロッピングされた画像43のより大きなサイズにより、フレーム41が移動し得るバッファゾーン47が形成される。例えば、長方形47は、矢印49で表されるように、パンニングの動きにおけるフレーム41の初期位置を表し得る。理解されるように、クロッピングされた画像43は、図10の画像11によって表されるように、元のローディングされた画像よりもはるかに小さいものであり得る。即ち、クロッピングされた画像43は、元の画像よりもより低い解像度の画像(例えば、上記で説明したように画像ピラミッドから選択された)からクロッピングされ、従って、システムに必要とされるメモリ容量がはるかに少なくなる。フレーム41がクロッピングされた画像43の境界を超えて移動した場合、フレーム41の移動を継続するために、クロッピングされた画像43は別のバッファゾーンを有する新たなクロッピングされた画像に置き換えられる。例えば、フレーム41がクロッピングされた画像43の境界から所定の距離閾値内に移動される場合、フレーム41がクロッピングされた画像43の境界を越えて移動することを予期して、新たなクロッピングされた画像をローディングして、クロッピングされた画像43を置き換えることができる。
自動検出およびデータ同期
多くの場合、臨床医は、患者の取扱件数に基づいて、1つ以上の同じ眼科用機器を必要とするか、1つのタイプの撮像機器からのデータを別のタイプの機器で確認することを望む場合がある。時間の経過に伴うデータ比較を可能にするために、機器は、別の機器で収集されたデータにアクセスすることができることが望ましい。これを達成するための1つの方法は、ポータブルストレージデバイス(例えば、サムドライブまたはフラッシュドライブ)を使用して、ある機器から別の機器にデータを手動でコピーすることである。明らかに、これは時間がかかり、機器の数が増加するにつれて面倒である。中央サーバは、ネットワーク上のすべての機器で収集されたデータを格納してアクセスすることができる診療所で使用される。これにより、診療所にコストがかかり、サーバがダウンしたり、ネットワークにアクセスできない場合、データが利用できなくなる可能性がある。電子医療記録(EMR)または画像アーカイブおよび通信システム(PACS:picture archiving and communication system)ソフトウェアを購入することができ、その場合、データは、サードパーティによってサーバ上またはクラウド内の中央リポジトリに格納される。この場合も、データはネットワークとサードパーティのサーバが稼働し、診療所に対してコストが付加されているときにのみ利用可能である。
本明細書では、複数の機器で患者データを非同期に更新するアプローチについて説明する。このアプローチにより、患者は、前回の訪問で撮影された画像にアクセスするために、前回の訪問で使用された機器が利用可能になるのを待つ必要がなくなる。患者データはすべての機器で更新されるため、将来の取得および分析は、どの機器でも利用可能である。本明細書で説明するアプローチは、2つ(または2つ以上)の同じタイプの眼科診断機器(例えば、2つのスリットスキャン眼底撮像装置)のまたは共通のソフトウェア要素を共有する2つの(または2つ以上)の異なる眼科機器(眼底撮像装置および光コヒーレンストモグラフィーシステムは、両方とも同じ製造業者によって製造され、かつ従って、共通のプロトコルを有する)。2つの機器は、同じ物理的な場所またはオフィスに配置することができ、また保健システム内の複数のオフィス間に分散されていてもよいが、ネットワークを介して接続することができる。
図15は、2つの眼科診断装置/システムのソフトウェアおよびネットワーク構成要素を概略的に示している。本実施形態では、各装置710および720は、それぞれ、初期化、データ管理、取得、レビューおよび分析を含む機器の基本的な動作および機能を担う異なるモジュールを含むアプリケーション特有のソフトウェア711および721を含む。各装置は、独自の画像のデータベース(712および722)または装置で収集される他のタイプの診断データを有する。さらに、各装置は、人口統計学、検査履歴、および画像注釈および注記を含むがこれらに限定されない患者情報を記憶することを担う患者データベース(713および723)、例えば、MySQLを有する。眼科装置は、同じモダリティであっても、または異なるモダリティ(例えば、眼底画像装置またはOCT)であってもよい。現在の状況において、モダリティとは、身体の画像を取得するために使用される機器の種類を指す。各システムは、ローカルエリアネットワーク(LAN)に接続されている。接続されると、各システムは、この特定の実施形態では、TCP/IP層を介してネットワークを介して信号(例えば、ネットワーク上に装置が存在することを示すハートビート信号)を送出させるソフトウェアを含み、これにより、各システムは、例えば、独自のブロードキャストメンバーシッププロトコルを使用して、他の装置の存在を自動的に識別することができる。すべてのオンライン眼科診断システムは、ローカルエリアネットワークにおいて利用可能な他のオンラインメンバーに関するデータ構造を構築することができる。一部のLAN環境では、TCP/IPを介したブロードキャストメッセージをブロックすることができる。この場合、装置が互いに通信することができるように、同地の手動設定を実行することができる。
装置がネットワーク上の他の装置の存在を認識すると、患者データの同期を実行するために、各装置の患者データベース713/723間のリンクを確立することができる。例えば、眼科診断装置のデータベース同期は、MySQLマルチマスターレプリケーションを使用することにより実現することができる。これは、例えば、変更を前後に自動的にコピーするなどにより、装置データベース間でデータの一貫性を確立するプロセスである。時間の経過に伴うデータのハーモナイゼーションは、継続的に実行される。これは、ソース(マスター)装置から宛先(スレーブ)装置へのデータ変更をプルおよび適用(例えば、プッシュ)するアクションを含む。データベースが相互に同期される2つ以上の装置は、同期グループと呼ばれる。すべての眼科診断装置は、マスター(他の装置にデータを提供またはプッシュする)およびスレーブ(他の装置から変更をプルする)の両方として機能する。データベースの同期はバックグラウンドで発生し、アプリケーションソフトウェア711/721はレプリケーションを認識する必要はない。本明細書で説明する実施形態では、画像データ712/722は、自動的にコピーされず、各個々の装置に残る。特定の患者データレコードがその患者の画像データを有していない機器でアクセスされた場合にのみ、ある装置から別の装置に画像データが転送され得る。画像データは、ネットワークの異なる層、例えば、HTTPまたはピアツーピアを介して送信され得る。代替実施形態では、データは、両方の機器または中央サーバに格納され得る。任意選択で、この機能を支援するために、データベース同期の一部として、同期グループ内の各装置は、どの画像が同期グループ内の他の装置にあるかを記録しておくことができる。
図16は、眼科撮像システムを制御するための例示的な方法Mthd_1を示している。本開示は、特定の順序で発生する特定のステップを説明および図示するが、本開示は、任意の適切な順序で発生する方法の任意の適切なステップを企図している。ステップStp_1において、グラフィカルユーザインタフェース(GUI)がコンピュータ画面またはその他の電子ディスプレイ上に表示される。GUIは、眼を撮像する眼科撮像システムの少なくとも1つのカメラからのライブフィードを表示する情報表示領域を含む。ステップStp_3において、眼が位置合わせされるときの眼のターゲットビューを指定する位置合わせインジケータが情報表示領域上に重ね合わされる。ステップStp_5において、眼科撮像システムの手動コントローラが情報表示領域上で特定される。特定された手動コントローラは、カメラと眼との間の位置合わせを向上させるためにユーザによって操作可能である。手動コントローラは、テキスト、視覚的描写、および/またはアニメーションの1つまたは複数によって特定され得る。眼をシステムとより良好に位置合わせするための(手動制御装置の)操作命令も、情報ディスプレイ上に伝達され得る。任意選択で、手動コントローラとその操作命令も音声で伝達し得る。
図17は、例示的なコンピュータシステム(またはコンピューティングデバイスまたはコンピュータデバイス)CS1を示している。いくつかの実施形態では、1つまたは複数のコンピュータシステムCS1は、本明細書で説明または図示される機能を提供し、本明細書で説明または図示される1つまたは複数の方法の1つまたは複数のステップを実行する。コンピュータシステムは、任意の適切な物理的形態を取り得る。例えば、コンピュータシステムは、組み込みコンピュータシステム、システムオンチップ(SOC)、シングルボードコンピュータシステム(SBC)(例えば、コンピュータオンモジュール(COM)やシステムオンモジュール(SOM)など)、デスクトップコンピュータシステム、ラップトップまたはノートブックコンピュータシステム、コンピュータシステムのメッシュ、携帯電話、パーソナルデジタルアシスタント(PDA)、サーバ、タブレットコンピュータシステム、拡張/仮想現実デバイス、またはこれらの2つ以上の組み合わせであり得る。必要に応じて、コンピュータシステムは、1つまたは複数のネットワーク内に1つまたは複数のクラウドコンポーネントを含むクラウド内に存在し得る。
いくつかの実施形態では、コンピュータシステムCS1は、プロセッサCmp1、メモリCmp2、ストレージCmp3、入出力(I/O)インタフェースCmp4、通信インタフェースCmp5、およびバスCmp6を含む。コンピュータシステムは、任意選択で、コンピュータモニタまたは画面などのディスプレイCmp7を含み得る。
プロセッサCmp1は、コンピュータプログラムを構成するなどの命令を実行するためのハードウェアを含む。例えば、プロセッサCmp1は、中央処理装置(CPU)またはグラフィックス処理装置(GPGPU)上の汎用コンピューティングであり得る。プロセッサCmp1は、内部レジスタ、内部キャッシュ、メモリCmp2、またはストレージCmp3から命令を取得(またはフェッチ)し、命令をデコードして実行し、1つまたは複数の結果を内部レジスタ、内部キャッシュ、メモリCmp2、またはストレージCmp3に書き込み得る。特定の実施形態では、プロセッサCmp1は、データ、命令、またはアドレス用の1つまたは複数の内部キャッシュを含み得る。プロセッサCmp1は、1つまたは複数の命令キャッシュ、データテーブルを保持するなどのための1つまたは複数のデータキャッシュを含み得る。命令キャッシュ内の命令は、メモリCmp2またはストレージCmp3内の命令のコピーであり得、命令キャッシュは、プロセッサCmp1によるそれらの命令の取得を高速化し得る。プロセッサCmp1は、任意の適切な数の内部レジスタを含み得、かつ1つまたは複数の算術論理ユニット(ALU)を含み得る。プロセッサCmp1は、マルチコアプロセッサであり得、また1つまたは複数のプロセッサCmp1を含み得る。この開示は、特定のプロセッサを説明および例示しているが、この開示は、任意の適切なプロセッサを企図している。
メモリCmp2は、プロセッサCmp1が処理中に中間データを実行または保持するための命令を格納するためのメインメモリを含み得る。例えば、コンピュータシステムCS1は、ストレージCmp3からまたは別のソース(別のコンピュータシステムCS1など)からメモリCmp2に命令またはデータ(例えば、データテーブル)をローディングし得る。プロセッサCmp1は、命令およびデータをメモリCmp2から1つまたは複数の内部レジスタまたは内部キャッシュにローディングし得る。命令を実行するために、プロセッサCmp1は、内部レジスタまたは内部キャッシュから命令を取得してデコードし得る。命令の実行中または実行後に、プロセッサCmp1は、(中間または最終結果であり得る)1つまたは複数の結果を内部レジスタ、内部キャッシュ、メモリCmp2またはストレージCmp3に書き込み得る。バスCmp6は、1つまたは複数のメモリバス(各々がアドレスバスおよびデータバスを含み得る)を含み得、かつプロセッサCmp1をメモリCmp2および/またはストレージCmp3に接続し得る。任意選択で、1つまたは複数のメモリ管理ユニット(MMU)機能は、プロセッサCmp1とメモリCmp2との間でデータを転送する。メモリCmp2(高速であり得る揮発性のメモリ)は、ダイナミックRAM(DRAM)やスタティックRAM(SRAM)などのランダムアクセスメモリ(RAM)を含み得る。ストレージCmp3は、データまたは命令用の長期または大容量ストレージを含み得る。ストレージCmp3は、コンピュータシステムCS1の内部または外部にあり得、かつ1つまたは複数のディスクドライブ(例えば、ハードディスクドライブ、HDD、またはソリッドステートドライブ、SSD)、フラッシュメモリ、ROM、EPROM、光ディスク、光磁気ディスク、磁気テープ、ユニバーサルシリアルバス(USB)アクセス可能なドライブ、またはその他の種類の不揮発性メモリを含む。
I/OインタフェースCmp4は、ソフトウェア、ハードウェア、またはソフトウェアおよびハードウェアの両方の組み合わせであり、かつ人(例えば、ユーザ)との通信を可能にし得る、I/Oデバイスとの通信用の1つまたは複数のインタフェース(例えば、シリアルまたはパラレル通信ポート)を含む。例えば、I/Oデバイスは、キーボード、キーパッド、マイク、モニタ、マウス、プリンタ、スキャナ、スピーカー、スチールカメラ、スタイラス、タブレット、タッチ画面、トラックボール、ビデオカメラ、別の適切なI/Oデバイス、またはこれらの2つ以上の組み合わせを含み得る。通信インタフェースCmp5は、他のシステムまたはネットワークと通信するためのネットワークインタフェースを提供し得る。通信インタフェースCmp5は、ブルートゥース(登録商標)インタフェースまたはその他のタイプのパケットベースの通信を含み得る。例えば、通信インタフェースCmp5は、ネットワークインタフェースコントローラ(NIC)および/または無線ネットワークと通信するための無線NICまたは無線アダプタを含み得る。通信インタフェースCmp5は、WI-FIネットワーク、アドホックネットワーク、パーソナルエリアネットワーク(PAN)、ワイヤレスPAN(例えば、ブルートゥースWPAN)、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、メトロポリタンエリアネットワーク(MAN)、携帯電話ネットワーク(例えば、グローバルシステムフォーモバイルコミュニケーションズ(GSM(登録商標))ネットワークなど)、インターネット、またはこれらの2つ以上の組み合わせとの通信を提供する。
バスCmp6は、コンピューティングシステムCS1の上記のコンポーネント間の通信リンクを提供する。例えば、バスCmp6は、アクセラレーテッドグラフィックスポート(AGP)または他のグラフィックスバス、エンハンストインダストリースタンダードアーキテクチャ(EISA)バス、フロントサイドバス(FSB)、ハイパートランスポート(HT)相互接続、インダストリスタンダードアーキテクチャ(ISA)バス、インフィニバンドバス、低ピン数(LPC)バス、メモリバス、マイクロチャネルアーキテクチャ(MCA)バス、ペリフェラルコンポーネントインターコネクト(PCI)バス、ピーシーアイエクスプレス(PCIe)バス、シリアルアドバンスドテクノロジーアタッチメント(SATA)バス、ビデオエレクトロニクススタンダーズアソシエーションローカル(VLB)バス、またはその他の適切なバス、またはこれらの2つ以上の組み合わせを含み得る。
本開示は、特定の装置における特定の数の特定の構成要素を有する特定のコンピュータシステムを説明および図示するが、本開示は、任意の適切な装置の任意の適切な数の任意の適切な構成要素を有する任意の適切なコンピュータシステムを企図する。
本明細書では、コンピュータ可読非一時的記憶媒体(単数または複数)は、1つまたは複数の半導体ベースまたは他の集積回路(IC)(例えば、フィールドプログラマブルゲートアレイ(FPGA)または特定用途向けIC(ASIC)など)、ハードディスクドライブ(HDD)、ハイブリッドハードドライブ(HHD)、光ディスク、光ディスクドライブ(ODD)、光磁気ディスク、光磁気ドライブ、フロッピーディスク(登録商標)、フロッピーディスク(登録商標)ドライブ(FDD)、磁気テープ、ソリッドステートドライブ(SSD)、RAMドライブ、セキュアデジタルカードまたはドライブ、その他の適切なコンピュータ読み取り可能な非一時的なストレージメディア、または必要に応じて、これらの2つ以上の任意の適切な組み合わせを含み得る。コンピュータ可読の非一時的記憶媒体は、必要に応じて、揮発性、不揮発性、または揮発性および不揮発性の組み合わせであり得る。
本主題の前述の実施形態は、例示および説明の目的で提示されている。これは、網羅的であること、または主題の本実施形態を開示された正確な形態に限定することは意図するものではない。上記の教示に照らして、多くの修正および変更が可能である。当業者に理解されるように、本主題は、その技術思想または本質的な特徴から逸脱することなく、他の特定の形態で具現化され得る。従って、本発明をいくつかの特定の実施形態に関連して説明したが、前述の説明に照らして多くのさらなる置換、修正、および変形が明白であることは当業者には明らかであり、本明細書に記載の本発明が、添付の特許請求の範囲の技術思想および範囲内に含まれ得るすべてのそのような代替、修正、適用、および変形を包含することを意図している。

Claims (22)

  1. 方法であって、
    グラフィカルユーザインタフェース(GUI)を画面上に表示するステップと、前記GUIは、眼を撮像する眼科撮像システムの少なくとも1つのカメラからのライブフィードを表示する情報表示領域を含んでおり、
    眼のターゲットビューを指定する位置合わせインジケータを、位置合わせの際に、前記情報表示領域上に重ねるステップと、
    ーザによって操作可能な眼科撮像システムの手動コントローラの画像を前記情報表示領域上に表示するステップとを含み、前記表示は、前記眼科撮像システムと眼の間の位置合わせを向上させるための前記手動コントローラの適切な操作を示す情報を含む、方法。
  2. 前記手動コントローラの適切な操作を示す前記情報は、前記手動コントローラのグラフィック表現をアニメーション化することを含む、請求項に記載の方法。
  3. 前記手動コントローラの適切な操作を示す前記情報は、前記手動コントローラの動きを伝達する矢印を含む、請求項に記載の方法。
  4. 前記位置合わせインジケータは、(a)位置合わせ時の眼の瞳孔の最小高さを示す部分的に透明なバー、(b)位置合わせ時の眼の瞳孔の最小高さを示す2本の線、(c)位置合わせ時の眼の中心位置を指定する十字線(d)位置合わせ時の眼の瞳孔の最小サイズを指定する輪郭を有する楕円のうちの少なくとも1を含み、
    最小高さまたは最小サイズの決定は、前記ライブフィードから少なくとも部分的に決定された眼の測定値に基づく、請求項1に記載の方法。
  5. 前記位置合わせインジケータと前記ライブフィードの比較に少なくとも部分的に基づいて、眼が位置合わせされているという決定に応答して、画像キャプチャシーケンスを自動的に起動するステップをさらに含む、請求項1に記載の方法。
  6. 前記ライブフィード内の眼の瞳孔のサイズを決定し、決定されたサイズに基づいて複数の撮像モダリティのうちの1つを自動的に選択するステップをさらに含む、請求項1に記載の方法。
  7. 前記複数の撮像モダリティが、散瞳撮像モードおよび非散瞳撮像モードを含む、請求項に記載の方法。
  8. 前記眼科撮像システムは、固視方向を患者に伝達する固視灯を含み、前記GUIは、前記固視灯に関連付けられた点滅アイコンを含み、
    前記点滅アイコンのユーザ選択に応答して、前記固視灯をストロボ点灯させるステップをさらに含む、請求項1に記載の方法。
  9. 眼底カメラを使用して眼の画像をキャプチャするステップと、
    眼の網膜がキャプチャ画像内にあるかどうかを判定し、網膜が前記キャプチャ画像内にあると判定された場合に前記キャプチャ画像を有効として指定し、網膜が前記キャプチャ画像内にないと判定された場合に前記キャプチャ画像を無効として指定するステップと、
    所定の数の連続した有効な画像の照度を評価するステップと、
    評価された照度に少なくとも部分的に基づいて前記眼底カメラのゲイン値を調整するステップとをさらに含む、請求項1に記載の方法。
  10. 前記眼底カメラからキャプチャされた画像は第1の画像であり、
    眼の網膜が前記キャプチャ画像内にあるかどうかを判定することは、
    第2のカメラを使用して、眼底を除く第2の画像をキャプチャすること、
    前記第2の画像に少なくとも部分的に基づいて、前記第1の画像における網膜の存在を決定することを含む、請求項に記載の方法。
  11. 前記GUIは、少なくとも部分的に開かれたウィンドウシェードが付加されたコンピュータディスプレイを描写するプライバシーアイコンを含み、方法は、
    入力デバイスによる前記プライバシーアイコンのユーザ選択に応答して、前記情報表示領域内に現在表示されている情報をビューから除去するステップをさらに含む、請求項1に記載の方法。
  12. 前記プライバシーアイコンのユーザ選択に応答して、前記プライバシーアイコンの前記ウィンドウシェードを少なくとも部分的に閉じるステップをさらに含み、前記ウィンドウシェードを閉じることは、前記プライバシーアイコンの前記コンピュータディスプレイ上を移動する前記ウィンドウシェードの描写を含み、
    前記情報表示領域内の情報のビューから除去することは、前記情報表示領域上を移動し、かつ前記情報表示領域を覆うオーバーレイを含み、前記オーバーレイの移動は、前記ウィンドウシェードを閉じることを模倣する、請求項11に記載の方法。
  13. 前記GUIがソースアイコンおよび宛先アイコンをさらに含み、方法は、
    少なくとも1つのソースファイルを前記ソースアイコンに関連付け、少なくとも1つの宛先ファイルを前記宛先アイコンに関連付けるステップと、
    入力デバイスによるユーザ入力に応答して、前記ソースアイコンに関連付けられたソースファイルのユーザ作成注釈を、前記宛先アイコンに関連付けられた宛先ファイルにコピーするステップとをさらに含む、請求項1に記載の方法。
  14. 前記少なくとも1つのソースファイルはソース画像ファイルであり、前記少なくとも1つの宛先ファイルは宛先画像ファイルであり、
    前記ソース画像ファイル上の前記ユーザ作成注釈は、前記ソース画像ファイルのエリアを規定し、
    前記ユーザ作成注釈は、前記宛先画像ファイルの一致するエリアにコピーされる、請求項13に記載の方法。
  15. 前記情報表示領域は、眼科情報を表示し、
    前記GUIは、前記情報表示領域に表示される前記眼科情報が患者の左眼または右眼からのものであるかどうかを指定し、かつ指定された左右性が患者の視点からのものか、または医師の視点からのものかを示す左右性アイコンを含み、
    前記左右性アイコンのユーザ選択により、医師の視点と患者の視点との間で左右性が切り替わる、請求項1に記載の方法。
  16. 前記情報表示領域は、少なくとも2つの眼底画像で構成されるモンタージュ画像をさらに表示し、
    前記GUIは、モンタージュ画像の外周形状を描写するモンタージュアイコンを含み、前記モンタージュアイコンは、セクタに分割され、各セクタは、眼底画像の個別の1つに対応し、かつ前記モンタージュ画像内の眼底画像の境界を示す、請求項1に記載の方法。
  17. 前記情報表示領域が画像の選択を表示し、方法が
    前記画像の選択内のターゲット画像のユーザ選択に応答して、
    (a)固視角、撮像モード、左右性、および視野(FOV)、患者IDの少なくとも1つを含むターゲット画像の取得パラメータを特定するステップと、
    (b)画像データベースにアクセスして、前記ターゲット画像の特定された前記取得パラメータと一致する取得パラメータを有する少なくとも1つの第2の画像を識別するステップと、
    (c)少なくとも1つの第2の画像を表示するステップとをさらに含む、請求項1に記載の方法。
  18. 前記情報表示領域は、複数のユーザ選択可能なオプションを有する患者記録アクセスポータルを表示し、少なくとも1つのユーザ選択可能なオプションは、1つまたは複数の画像に関連付けられたターゲットオプションであり、方法は、
    前記ターゲットオプションのユーザ選択に応答して、ユーザが前記ターゲットオプションに関連付けられた画像のビューイングを選択したかどうかに関係なく、前記ターゲットオプションに関連付けられた画像のローディングを開始するステップと、
    ローディングされた画像ごとに、前記ローディングされた画像の複数のコピーを作成するステップと、前記複数のコピーは、解像度が低下したものであり、かつ画像キャッシュに格納され、
    第1の解像度のビューポート内で前記ターゲットオプションに関連付けられた特定の画像をビューイングすることをユーザが選択したことに対して、前記画像キャッシュから、前記ビューポートの前記第1の解像度に最も近いが、前記第1の解像度よりも高い解像度を有する特定の画像の低解像度のコピーを表示することによって、応答するステップとをさらに含む、請求項1に記載の方法。
  19. ユーザが前記特定の画像をビューイングすることを選択したことに応答することは、
    表示されるコピーのエリアをクロッピングすること、クロッピングされたエリアは前記ビューポートに対応しており、
    前記ビューポートの解像度に一致するようにクロッピングされたエリアのサイズを変更し、サイズ変更されたクロッピングされたエリアを前記ビューポートに表示することをさらに含むことを特徴とする請求項18に記載の方法。
  20. ズーム選択を指定するビューポートに対して、現在表示されているコピーの解像度が前記ビューポートの前記ズーム選択よりも大きい場合、コピーに倍率を適用することなく、前記現在表示されているコピーをクロッピングして、前記ズーム選択を表示し、そうでない場合、前記現在表示されているコピーを、前記ビューポートの前記ズーム選択の解像度に最も近いが、その解像度よりも高い解像度を有する別のコピーに置き換えることによって、応答するステップをさらに含む、請求項18に記載の方法。
  21. 前記ビューポートのパンニング動作に対して、現在表示されているコピーのクロッピングされたエリアを規定することによって、応答し、前記クロッピングされたエリアは前記ビューポートよりも大きく、前記パンニング動作は、前記クロッピングされたエリア内に完全に含まれている場合、前記クロッピングされたエリア内で実行され、かつ現在のクロッピングされたエリアの境界から所定の距離内にあるパンニング動作に対して、前記現在のクロッピングされたエリアを、前記現在のクロッピングされたエリアからシフトした新たなクロッピングされたエリアに置き換えることによって、応答するステップをさらに含む、請求項18に記載の方法。
  22. 前記眼科撮像システムがコンピュータネットワークへのアクセスを得たことに応答して、その存在を前記コンピュータネットワーク上の他のコンピューティングシステムに通知し、必要な患者記録を有するネットワーク上の少なくとも1つの他のコンピューティングシステムを自動的に識別し、コンピューティングネットワークを介して、前記必要な患者記録を、前記少なくとも1つの他のコンピューティングシステムから取得するステップと、その際、取得される前記必要な患者記録に関連付けられた画像が除かれ、
    取得した患者記録に関連付けられたターゲットオプションのユーザ選択に応答して、ユーザが前記ターゲットオプションに関連付けられた画像をビューイングすることを選択したかどうかに関係なく、前記ターゲットオプションに関連付けられた画像の取得を開始するステップとをさらに含む、請求項1に記載の方法。
JP2019572210A 2017-08-11 2018-08-10 眼科撮像の改良のためのシステムおよび方法 Active JP7252144B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762544056P 2017-08-11 2017-08-11
US62/544,056 2017-08-11
PCT/EP2018/071744 WO2019030375A2 (en) 2017-08-11 2018-08-10 SYSTEMS AND METHODS FOR ENHANCED OPHTHALMOLOGIC IMAGING

Publications (2)

Publication Number Publication Date
JP2020529226A JP2020529226A (ja) 2020-10-08
JP7252144B2 true JP7252144B2 (ja) 2023-04-04

Family

ID=63407181

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019572210A Active JP7252144B2 (ja) 2017-08-11 2018-08-10 眼科撮像の改良のためのシステムおよび方法

Country Status (5)

Country Link
US (1) US11412928B2 (ja)
EP (1) EP3664689A2 (ja)
JP (1) JP7252144B2 (ja)
CN (1) CN110944571B (ja)
WO (1) WO2019030375A2 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7252144B2 (ja) 2017-08-11 2023-04-04 カール ツァイス メディテック インコーポレイテッド 眼科撮像の改良のためのシステムおよび方法
EP3668372B1 (en) * 2017-08-14 2022-01-12 Optos PLC Ophthalmic device
US11000187B2 (en) 2017-09-07 2021-05-11 Carl Zeiss Meditec, Inc. Systems and methods for improved montaging of ophthalmic imaging data
JP7375322B2 (ja) * 2019-03-29 2023-11-08 株式会社ニデック 眼底撮影装置
JP7273394B2 (ja) * 2019-02-18 2023-05-15 株式会社トーメーコーポレーション 眼科装置
USD938986S1 (en) * 2019-09-17 2021-12-21 Lombart Brothers, Inc. Display screen or portion thereof with graphical user interface
US11779202B2 (en) 2019-09-17 2023-10-10 Lombart Brothers, Inc. Systems and methods for automated subjective refractions
USD938485S1 (en) * 2019-09-17 2021-12-14 Lombart Brothers, Inc. Display screen or portion thereof with graphical user interface
EP4120888A4 (en) * 2020-03-19 2024-04-10 Digital Diagnostics Inc. DYNAMIC ADJUSTMENT OF FLASH INTENSITY BASED ON RETINAL PIGMENTATION
JP2022028197A (ja) * 2020-08-03 2022-02-16 株式会社トプコン スリットランプ顕微鏡
JP2022053081A (ja) * 2020-09-24 2022-04-05 株式会社トプコン 眼底カメラ及びその制御方法
WO2022117646A1 (en) * 2020-12-02 2022-06-09 Carl Zeiss Meditec, Inc. Alignment guidance user interface system
FI20206348A1 (en) * 2020-12-21 2022-06-22 Optomed Oyj Optical ophthalmic device and method for focusing retinal image
CN112617760B (zh) * 2020-12-31 2023-05-30 佛山科学技术学院 一种基于3d打印技术的多模态手持式oct***
CA3216583A1 (en) * 2021-05-11 2022-11-17 Neuroptek Corporation Inc. Eye examination apparatus with cameras and display
CN115969308A (zh) * 2022-12-23 2023-04-18 宁乡爱尔眼科医院有限公司 基于超广角眼底成像的远程眼检***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008212308A (ja) 2007-03-01 2008-09-18 Nidek Co Ltd 眼底カメラ
US20100094262A1 (en) 2008-10-10 2010-04-15 Ashok Burton Tripathi Real-time surgical reference indicium apparatus and methods for surgical applications
JP2014200680A (ja) 2013-04-03 2014-10-27 株式会社トプコン 眼科装置
JP2015192896A (ja) 2015-07-01 2015-11-05 株式会社ニデック 角膜内皮細胞撮影装置
JP2016505287A (ja) 2012-11-07 2016-02-25 クラリティ メディカル システムズ インコーポレイテッド 広ジオプトリー範囲のリアルタイムシーケンシャル波面センサーを操作するための装置および方法
JP2016055123A (ja) 2014-09-12 2016-04-21 株式会社ニデック 眼科撮影装置、眼科撮影システム、および眼科撮影プログラム

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4170398A (en) 1978-05-03 1979-10-09 Koester Charles J Scanning microscopic apparatus with three synchronously rotating reflecting surfaces
US4732466A (en) 1985-04-04 1988-03-22 Humphrey Instruments, Inc. Fundus camera
JP3606706B2 (ja) * 1996-06-28 2005-01-05 株式会社ニデック 眼科装置
US5993001A (en) * 1997-06-05 1999-11-30 Joslin Diabetes Center, Inc. Stereoscopic imaging system for retinal examination with remote examination unit
WO1999005988A2 (en) 1997-07-30 1999-02-11 Applied Science Laboratories An eye tracker using an off-axis, ring illumination source
DE19901438A1 (de) * 1998-11-16 2000-05-18 Hans Poesl Patientendatenfile-Managementsystem mit Zugriffsmöglichkeit durch den Patienten
AU763524B2 (en) * 1999-03-02 2003-07-24 Flexera Software Llc Data file synchronisation
US6322216B1 (en) 1999-10-07 2001-11-27 Visx, Inc Two camera off-axis eye tracker for laser eye surgery
US20030076353A1 (en) * 2001-10-23 2003-04-24 Blackstock Michael A. Graphical user interface for collaboration
JP2004041371A (ja) * 2002-07-10 2004-02-12 Canon Inc 眼科装置
US7369759B2 (en) * 2003-03-27 2008-05-06 Matsushita Electric Industrial Co., Ltd. Eye image pickup apparatus, iris authentication apparatus and portable terminal device having iris authentication function
JP4280563B2 (ja) * 2003-06-20 2009-06-17 キヤノン株式会社 眼科撮影装置
US7301644B2 (en) 2004-12-02 2007-11-27 University Of Miami Enhanced optical coherence tomography for anatomical mapping
WO2006108246A1 (en) * 2005-04-15 2006-10-19 Visiomed Group Limited An ophthalmoscope
US7580545B2 (en) 2005-10-03 2009-08-25 Avago Technologies General Ip (Singapore) Pte. Ltd. Method and system for determining gaze direction in a pupil detection system
US8919958B2 (en) * 2006-01-20 2014-12-30 Clarity Medical Systems, Inc. Apparatus and method for operating a real time large diopter range sequential wavefront sensor
DE102006034911B4 (de) 2006-07-28 2017-10-26 Carl Zeiss Meditec Ag Verfahren zur Erstellung von Panorama-Bildern des Augenhintergrundes
US8223143B2 (en) * 2006-10-27 2012-07-17 Carl Zeiss Meditec, Inc. User interface for efficiently displaying relevant OCT imaging data
US7575322B2 (en) * 2007-05-11 2009-08-18 Amo Development Llc. Auto-alignment and auto-focus system and method
US10398599B2 (en) * 2007-10-05 2019-09-03 Topcon Medical Laser Systems Inc. Semi-automated ophthalmic photocoagulation method and apparatus
JP5022452B2 (ja) 2008-01-24 2012-09-12 株式会社トプコン 眼科装置
US10646116B2 (en) * 2013-07-25 2020-05-12 Amo Development, Llc In situ determination of refractive index of materials
JP5224878B2 (ja) 2008-04-03 2013-07-03 キヤノン株式会社 眼科装置
US8807751B2 (en) * 2008-04-22 2014-08-19 Annidis Health Systems Corp. Retinal fundus surveillance method and apparatus
US8332016B2 (en) 2009-08-04 2012-12-11 Carl Zeiss Meditec, Inc. Non-linear projections of 3-D medical imaging data
US20130057828A1 (en) * 2009-08-31 2013-03-07 Marc De Smet Handheld portable fundus imaging system and method
MX2012010540A (es) 2010-03-23 2013-01-28 Steven Verdooner Aparato y metodo para formacion de imagen de ojo.
US20120059236A1 (en) 2010-09-08 2012-03-08 Juliana Castro Dourado Pinezi Implantable device for real-time monitoring of glycemia and dosage
DE102010050693A1 (de) 2010-11-06 2012-05-10 Carl Zeiss Meditec Ag Funduskamera mit streifenförmiger Pupillenteilung und Verfahren zur Aufzeichnung von Fundusaufnahmen
US9033510B2 (en) * 2011-03-30 2015-05-19 Carl Zeiss Meditec, Inc. Systems and methods for efficiently obtaining measurements of the human eye using tracking
US9055892B2 (en) * 2011-04-27 2015-06-16 Carl Zeiss Meditec, Inc. Systems and methods for improved ophthalmic imaging
US9177102B2 (en) * 2011-04-28 2015-11-03 Bioptigen, Inc. Database and imaging processing system and methods for analyzing images acquired using an image acquisition system
WO2013004801A1 (en) 2011-07-07 2013-01-10 Carl Zeiss Meditec Ag Improved data acquisition methods for reduced motion artifacts and applications in oct angiography
DE102011053880B4 (de) 2011-09-23 2023-11-09 Carl Zeiss Ag Vorrichtung und Verfahren zum Abbilden eines Augenhintergrunds
US9237967B2 (en) * 2011-10-21 2016-01-19 Optimedica Corporation Patient interface for ophthalmologic diagnostic and interventional procedures
JP2014045868A (ja) 2012-08-30 2014-03-17 Canon Inc インタラクティブ制御装置
US10292863B2 (en) * 2012-11-02 2019-05-21 Optimedica Corporation Interface force feedback in a laser eye surgery system
JP6112846B2 (ja) 2012-12-11 2017-04-12 株式会社トプコン 眼科装置
WO2014140070A2 (en) * 2013-03-14 2014-09-18 Ventana Medical Systems, Inc. Whole slide image registration and cross-image annotation devices, systems and methods
US9420945B2 (en) * 2013-03-14 2016-08-23 Carl Zeiss Meditec, Inc. User interface for acquisition, display and analysis of ophthalmic diagnostic data
US9456746B2 (en) 2013-03-15 2016-10-04 Carl Zeiss Meditec, Inc. Systems and methods for broad line fundus imaging
US10369053B2 (en) * 2013-04-17 2019-08-06 Optimedica Corporation Corneal topography measurements and fiducial mark incisions in laser surgical procedures
JP6549099B2 (ja) * 2013-04-17 2019-07-24 オプティメディカ コーポレイション 白内障手術における軸アラインメントのためのレーザ基準
JP6502322B2 (ja) * 2013-04-18 2019-04-17 オプティメディカ コーポレイション 角膜外科的処置の角膜トポグラフィー測定及びアラインメント
JP6143096B2 (ja) * 2013-08-07 2017-06-07 ソニー株式会社 眼底画像処理装置およびプログラム、並びに眼底画像撮影装置
US9778021B2 (en) 2013-08-29 2017-10-03 Carl Zeiss Meditec, Inc. Evaluation of optical coherence tomographic data prior to segmentation
DE102014200637A1 (de) * 2014-01-15 2015-07-16 Carl Zeiss Vision International Gmbh Anpassparameter-Bestimmung für ein Brillenglas in eine Brillenfassung
US10799111B2 (en) 2014-06-10 2020-10-13 Carl Zeiss Meditec, Inc. Frequency-domain interferometric based imaging systems and methods
CN106575439B (zh) * 2014-07-24 2019-05-31 国立研究开发法人科学技术振兴机构 图像位置对准装置、图像位置对准方法以及记录介质
US20160161404A1 (en) * 2014-12-05 2016-06-09 Bacterioscan Ltd System Using Laser-Scatter Measurement Instrument For Organism Identification And Related Network
US9700206B2 (en) 2015-02-05 2017-07-11 Carl Zeiss Meditec, Inc. Acquistion and analysis techniques for improved outcomes in optical coherence tomography angiography
JP6822965B2 (ja) 2015-02-05 2021-01-27 カール ツアイス メディテック アクチエンゲゼルシャフト ブロードライン眼底イメージングにおいて散乱光を低減するための方法および装置
JP6572596B2 (ja) * 2015-03-31 2019-09-11 株式会社ニデック 眼科装置および眼科装置制御プログラム
US10512395B2 (en) 2016-04-29 2019-12-24 Carl Zeiss Meditec, Inc. Montaging of wide-field fundus images
US11452442B2 (en) 2016-06-15 2022-09-27 Oregon Health & Science University Systems and methods for automated widefield optical coherence tomography angiography
JP6570552B2 (ja) * 2017-01-06 2019-09-04 キヤノン株式会社 インタラクティブ制御装置
US11395589B2 (en) 2017-03-31 2022-07-26 Carl Zeiss Meditec, Inc. Systems and methods for characterizing refraction with ophthalmic imaging systems
JP7252144B2 (ja) 2017-08-11 2023-04-04 カール ツァイス メディテック インコーポレイテッド 眼科撮像の改良のためのシステムおよび方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008212308A (ja) 2007-03-01 2008-09-18 Nidek Co Ltd 眼底カメラ
US20100094262A1 (en) 2008-10-10 2010-04-15 Ashok Burton Tripathi Real-time surgical reference indicium apparatus and methods for surgical applications
JP2016505287A (ja) 2012-11-07 2016-02-25 クラリティ メディカル システムズ インコーポレイテッド 広ジオプトリー範囲のリアルタイムシーケンシャル波面センサーを操作するための装置および方法
JP2014200680A (ja) 2013-04-03 2014-10-27 株式会社トプコン 眼科装置
JP2016055123A (ja) 2014-09-12 2016-04-21 株式会社ニデック 眼科撮影装置、眼科撮影システム、および眼科撮影プログラム
JP2015192896A (ja) 2015-07-01 2015-11-05 株式会社ニデック 角膜内皮細胞撮影装置

Also Published As

Publication number Publication date
JP2020529226A (ja) 2020-10-08
US11412928B2 (en) 2022-08-16
WO2019030375A2 (en) 2019-02-14
EP3664689A2 (en) 2020-06-17
US20200196863A1 (en) 2020-06-25
CN110944571A (zh) 2020-03-31
CN110944571B (zh) 2023-09-29
WO2019030375A3 (en) 2019-04-18

Similar Documents

Publication Publication Date Title
JP7252144B2 (ja) 眼科撮像の改良のためのシステムおよび方法
US8803964B2 (en) Imaging apparatus and imaging method, program, and recording medium
US9814385B2 (en) Ophthalmoscope
JP2007029460A (ja) 眼科画像処理装置及び眼科画像処理プログラム
JP2013208415A (ja) 眼底観察装置
WO2020202680A1 (ja) 情報処理装置及び情報処理方法
US11925415B2 (en) Slit-lamp microscope and ophthalmic system
US20230320584A1 (en) Image processing method, image processing program, image processing device, image display device, and image display method
US11950849B2 (en) Ophthalmic system, ophthalmic information processing apparatus, and recording medium
JP2022105634A (ja) スリットランプ顕微鏡及び眼科システム
JP2023120308A (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
Armstrong et al. Anterior segment imaging devices in ophthalmic telemedicine
JP7002239B2 (ja) 眼科システム
JP7344847B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7406901B2 (ja) 情報処理装置及び情報処理方法
US20230410306A1 (en) Alignment guidance user interface system
JP2023030184A (ja) 画像処理方法、プログラム、画像処理装置、及び眼科システム
JP7111832B2 (ja) 眼科装置
WO2021182235A1 (ja) 眼科観察システム、眼科観察方法、及びプログラム
WO2022157838A1 (ja) 画像処理方法、プログラム、画像処理装置、眼科システム
JP2022087264A (ja) 眼科システム、眼科情報処理装置、プログラム、及び記録媒体
Sigler et al. OsiriX: An Open-Source Multimodal Image Processing Platform for OCT Image Enhancement

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210719

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230323

R150 Certificate of patent or registration of utility model

Ref document number: 7252144

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150