JP7334621B2 - 眼科システム、画像処理方法、画像処理装置及びプログラム - Google Patents

眼科システム、画像処理方法、画像処理装置及びプログラム Download PDF

Info

Publication number
JP7334621B2
JP7334621B2 JP2019548246A JP2019548246A JP7334621B2 JP 7334621 B2 JP7334621 B2 JP 7334621B2 JP 2019548246 A JP2019548246 A JP 2019548246A JP 2019548246 A JP2019548246 A JP 2019548246A JP 7334621 B2 JP7334621 B2 JP 7334621B2
Authority
JP
Japan
Prior art keywords
eyeball
image
fundus image
dimensional
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019548246A
Other languages
English (en)
Other versions
JPWO2019074077A1 (ja
Inventor
真梨子 廣川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of JPWO2019074077A1 publication Critical patent/JPWO2019074077A1/ja
Priority to JP2023132632A priority Critical patent/JP2023164834A/ja
Application granted granted Critical
Publication of JP7334621B2 publication Critical patent/JP7334621B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013Medical image data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0041Operational features thereof characterised by display arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/1005Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring distances inside the eye, e.g. thickness of the cornea
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • A61B5/0066Optical coherence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1072Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring distances on the body, e.g. measuring length, height or thickness
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/10Eye inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4416Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to combined acquisition of different diagnostic modalities, e.g. combination of ultrasound and X-ray acquisitions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04803Split screen, i.e. subdividing the display area or the window area into separate subareas
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2004Aligning objects, relative positioning of parts

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computer Hardware Design (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Eye Examination Apparatus (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Processing Or Creating Images (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Description

本開示は、眼科システム、画像処理方法、画像処理装置及びプログラムに関する。
従来、眼底の複数の二次元画像から、眼底の三次元画像を生成する技術が知られている。例えば、特開2004-24739号公報は、眼球が正確な球面から変形している場合であっても、三次元の眼球モデルである眼球テンプレートを作成し、複数の二次元画像を眼球テンプレートに張り付けて眼底の三次元画像を生成し、ディスプレイ上に表示する技術を開示している。具体的には、特開2004-24739号公報では、眼球の大きさ(角膜表面から眼底までの奥行き)と眼底の曲率とを測定し、これらの測定値に基づいて眼球テンプレートを作成している。
本開示の技術に係る画像処理方法は、
被検眼を異なる固視位置で測定して得られた複数の眼軸長に基づいて、複数の異なる型の眼球モデルの中から一つを選択する工程と、
選択された眼球モデルに基づいて、被検眼の二次元眼底画像を変換し、三次元眼底画像を生成する工程と、前記三次元眼底画像を含む眼底画像表示画面を表示する工程と、
を含む。
本開示の技術に係る画像処理装置は、
被検眼を異なる固視位置で測定して得られた複数の眼軸長に基づいて、複数の異なる型の眼球モデルの中から一つを選択する眼球モデル選択部と、
選択された眼球モデルに基づいて、二次元眼底画像を変換し三次元眼底画像を生成する生成部と、
前記三次元眼底画像を含む眼底画像表示画面を表示する表示部と、
を含む。
本開示の技術に係るプログラムは、
コンピュータに、
被検眼を異なる固視位置で測定して得られた複数の眼軸長に基づいて、複数の異なる型の眼球モデルの中から一つを選択する手順と、
選択された眼球モデルに基づいて、二次元眼底画像を変換し三次元眼底画像を生成する手順と、
前記三次元眼底画像を含む眼底画像表示画面を表示する手順と、
を含む処理を実行させる。
本開示の技術に係る眼科システムは、
眼科撮影装置と、
被検眼を異なる固視位置で測定して得られた複数の眼軸長に基づいて、複数の異なる型の眼球モデルの中から一つを選択する手順と、
選択された眼球モデルに基づいて、前記眼科撮影装置により撮影されることで得られた二次元眼底画像を変換し三次元眼底画像を生成する手順と、
前記三次元眼底画像を含む眼底画像表示画面を表示する手順と、を含む処理を実行する画像処理装置と、
を含む。
本開示の第1の態様は、複数の異なる型の眼球モデルの中から一つを選択するための眼球モデル選択画面を表示させる第1画像信号を出力することと、選択された眼球モデルに基づいて、被検眼の二次元眼底画像を変換し、三次元眼底画像を生成することと、前記三次元眼底画像を含む眼底画像表示画面を表示させる第2画像信号を出力することと、を含む画像信号出力方法である。
本開示の第2の態様は、複数の異なる型の眼球モデルの中から一つを選択するための眼球モデル選択画面を表示させる第1画像信号を出力する第1出力部と、選択された眼球モデルに基づいて、二次元眼底画像を変換し三次元眼底画像を生成する生成部と、前記三次元眼底画像を含む眼底画像表示画面を表示させる第2画像信号を出力する第2出力部と、を含む画像信号出力装置である。
本開示の第3の態様は、複数の異なる型の眼球モデルの中から一つを選択するための眼球モデル選択画面を生成する第1画像生成部と、選択された眼球モデルに基づいて、二次元眼底画像を変換し三次元眼底画像を生成する三次元画像生成部と、前記三次元眼底画像を含む眼底画像表示画面を生成する第2画像生成部と、前記眼球モデル選択画面あるいは前記眼底画像表示画面に対応する画像信号を出力する画像信号出力部と、を含む画像信号出力装置である。
本開示の第4の態様は、コンピュータに、複数の異なる型の眼球モデルの中から一つを選択するための眼球モデル選択画面を表示させる第1画像信号を出力することと、選択された眼球モデルに基づいて、二次元眼底画像を変換し三次元眼底画像を生成することと、前記三次元眼底画像を含む眼底画像表示画面を表示させる第2画像信号を出力することと、を含む処理を実行させるためのプログラムである。
本開示の第5の態様は、コンピュータに、複数の異なる型の眼球モデルの中から一つを選択するための眼球モデル選択画面を生成することと、選択された眼球モデルに基づいて、二次元眼底画像を変換し三次元眼底画像を生成することと、前記三次元眼底画像を含む眼底画像表示画面を生成することと、前記眼球モデル選択画面あるいは前記眼底画像表示画面に対応する画像信号を出力することと、を含む処理を実行させるためのプログラムである。
本開示の第6の態様は、眼科撮影装置と、複数の異なる型の眼球モデルの中から一つを選択するための眼球モデル選択画面を表示させる第1画像信号を出力することと、選択された眼球モデルに基づいて、前記眼科撮影装置により撮影されることで得られた二次元眼底画像を変換し三次元眼底画像を生成することと、前記三次元眼底画像を含む眼底画像表示画面を表示させる第2画像信号を出力することと、を含む処理を実行する画像信号出力装置と、を含む眼科システムである。
本開示の第7の態様は、被検眼の眼球形状情報に基づいて、前記被検眼の眼球モデルを生成することと、前記被検眼の二次元眼底画像における複数の生物学的特徴点と、前記眼球モデルにおける複数の前記生物学的特徴点の位置とに基づいて、前記二次元眼底画像と前記眼球モデルとの位置合わせを行うことと、前記位置合わせに基づいて、前記二次元眼底画像を変換し、三次元眼底画像を生成することと、を含む三次元眼底画像生成方法である。
本開示の第8の態様は、MRI装置と、前記MRI装置で得られた三次元情報による被検眼の眼球形状情報に基づいて、前記被検眼の眼球モデルを生成することと、眼科撮影装置で撮影されることで得られた前記被検眼の二次元眼底画像における複数の生物学的特徴点と、前記眼球モデルにおける複数の前記生物学的特徴点の位置とに基づいて、前記二次元眼底画像と前記眼球モデルとの位置合わせを行うことと、前記位置合わせに基づいて、前記二次元眼底画像を変換し、三次元眼底画像を生成することと、を含む処理を実行する画像生成装置と、を含む眼科システム。
本開示の第1実施形態に係る眼底画像表示システムの概略構成の一例を示す図である。 第1実施形態に係る眼科撮影装置の全体構成の一例を示す図である。 眼科撮影装置に含まれる走査装置の概略構成の一例を示す図である。 第1実施形態に係る眼軸長測定装置の全体構成の一例を示す図である。 第1実施形態に係る画像ビューワの電気系の要部構成を示すブロック図である。 第1実施形態に係る画像ビューワの機能のブロック図である。 眼科撮影装置によって撮影された二次元眼底画像の一例を示す図である。 本開示における「眼球長」の定義を示す図である。 本開示における「眼球長」の測定の例を示す図である。図8Aは、被検眼の視軸が眼軸長測定装置からの測定光の軸と一致する固視位置の場合の図である。図8Bは、LCDが固視位置よりもXの正方向に位置する固視位置の場合の図である。図8Cは、LCDが固視位置よりもXの負方向に位置する固視位置の場合の図である。 本開示における「眼球長」の測定の他の例を示す図である。 第1実施形態に係る画像ビューワのCPUが実行するプログラムの一例を示すフローチャートである。 第1実施形態に係る眼球モデル生成サブルーチンの内容を示すフローチャートである。 5種類の眼球モデルを示す図である。 第1実施形態に係る眼球モデル選択画面の一例を示す図である。 第1実施形態に係る眼球モデル選択画面の他の一例を示す図である。 第1実施形態に係る位置決定サブルーチンの内容を示すフローチャートである。 第1実施形態に係る眼底画像表示画面の一例を示す図である。 第1実施形態に係る各装置間でのデータのやり取りを示すシーケンス図である。 第1実施形態の変形例に係る各装置間でのデータのやり取りを示すシーケンス図である。 第1実施形態の変形例に係る眼底画像比較表示画面の一例を示す図である。 本開示の第2実施形態に係る眼底画像表示システムの概略構成の一例を示す図である。 第2実施形態に係る画像ビューワのCPUが実行するプログラムの一例を示すフローチャートである。 第2実施形態に係る位置決定サブルーチンの内容を示すフローチャートである。 第2実施形態に係る眼球モデル上の特徴点検出の一例を示す図である。 第2実施形態に係る二次元眼底画像内の特徴点検出の一例を示す図である。 第2実施形態に係る眼底画像表示画面の一例を示す図である・
以下、図面を参照して、本開示の各実施形態の詳細を述べる。
<第1実施形態>
<システムの概要>
図1を参照して、眼底画像表示システム100の構成を説明する。図1に示すように、眼底画像表示システム100は、被検眼の眼底画像を撮影する眼科撮影装置110と、被検眼の眼軸長を測定する眼軸長測定装置120と、眼科撮影装置110から受信した眼底画像データと眼軸長測定装置120から受信した眼軸長データとを記憶する画像管理サーバ140と、画像管理サーバ140から取得した眼底画像及び眼軸長とを表示する画像ビューワ150と、を備えている。眼科撮影装置110、眼軸長測定装置120、画像管理サーバ140、画像ビューワ150は、ネットワーク130を介して、相互に接続されている。なお、画像ビューワ150は、本開示の画像信号出力装置の一例である。また、画像管理サーバ140は、本開示の画像信号出力装置あるいは画像生成装置の一例である。
次に、図2を参照して、眼科撮影装置110の構成の一例を説明する。図2に示すように、眼科撮影装置110は、被検眼の眼底を撮影する装置本体14および制御装置16を含む。制御装置16は、CPU、RAM、ROM、および入出力(I/O)ポートを備えたコンピュータで構成され、図示しない通信インターフェース(I/F)を介して、ネットワーク130に接続される。ここでは、単一のCPUを例示しているが、本開示の技術はこれに限らず、複数のCPUを適用してもよい。なお、以下の説明では、「撮影」とは、ユーザが眼科撮影装置110を用いて被写体を示す画像を取得することをいい、「撮像」と称する場合がある。装置本体14は、制御装置16の制御下で作動する。装置本体14は、SLOユニット18、走査装置19、およびOCTユニット20を含む。
走査装置19は、第1光学スキャナ22と、第2光学スキャナ24と、ダイクロイックミラー26と、第3光学スキャナ29を含む共通光学系28と、を備えている。
なお、以下の説明では、眼科撮影装置110が水平面に設置された場合の水平方向を「X方向」、水平面に対する垂直方向を「Y方向」とし、被検眼12の前眼部から眼球中心Oを介して眼底に向かう方向を「Z方向」とする。従って、Y方向およびZ方向の双方に対して垂直な方向が「X方向」となる。
第1実施形態に係る眼科撮影装置110は、眼科撮影装置110で実現可能な主要な機能の一例として、2つの機能を有している。第1機能は、眼科撮影装置110を走査型レーザ検眼鏡(Scanning Laser Ophthalmoscope。以下、「SLO」という。)として作動させ、SLOによる撮影を行う機能(以下、SLO撮影系機能という。)である。第2機能は、眼科撮影装置110を光干渉断層計(Optical Coherence Tomography。以下、「OCT」という。)として作動させ、OCTによる撮影を行う機能(以下、OCT撮影系機能という。)である。
SLO撮影系機能は、眼科撮影装置110の構成のうち、制御装置16、SLOユニット18および第1光学スキャナ22を含む走査装置19によって実現される。SLOユニット18は、光源、および検出素子等を含んで、被検眼12の眼底を撮像するように構成されている。つまり、眼科撮影装置110は、SLO撮影系機能として作動されることで、被検眼12の眼底(例えば撮影可能領域12A)が被写体として撮像される。具体的には、SLOユニット18からの光(以下、「SLO光」という。)が走査装置19によって被検眼12の瞳孔(具体的には、後述する瞳孔中心点27)を通して撮影可能領域12Aに対して、第1光学スキャナ22によるX方向(水平方向)、および第3光学スキャナ29によるY方向(鉛直方向)に走査され、その反射光による眼底画像がSLOユニット18で取得される。なお、SLO撮影系機能は、周知の機能であるため、詳細な説明は省略する。
OCT撮影系機能は、制御装置16、OCTユニット20および第2光学スキャナ24を含む走査装置19によって実現される。OCTユニット20は、光源、分光器、センサ、および参照光学系等を含んで、眼底の膜厚方向に複数の断層領域を撮像するように構成されている。つまり、眼科撮影装置110は、OCT撮影系機能として作動されることで、眼底(例えば撮影可能領域12A)の膜厚方向の領域である断層領域が撮像される。具体的には、OCTユニット20からの光(以下、「測定光」という。)が走査装置19によって被検眼12の瞳孔を通して撮影可能領域12Aに対して、第2光学スキャナ24によるX方向(水平方向)、および第3光学スキャナ29によるY方向(鉛直方向)に走査され、測定光の反射光と参照光とを干渉させて干渉光が生成される。OCTユニット20は、干渉光の各スペクトル成分を検出し、検出結果を用いて制御装置16が断層領域を示す物理量(例えば断層画像)を取得する。なお、OCT撮影系機能は、周知の機能であるため、詳細な説明は省略する。
以下の説明では、SLO光および測定光は共にX方向およびY方向に二次元的に走査される光であるので、SLO光および測定光を区別して説明する必要がない場合には、SLO光および測定光を総称して「走査光」という。
なお、第1実施形態では、走査光を用いた機能を含む眼科撮影装置110の一例を説明するが、走査光を用いた機能を含む眼科撮影装置に限定されるものではなく、被検眼12を観察可能な機能を有していればよい。例えば、走査光の照射に限らず、被検眼12の眼底へ向けて光を照射して被検眼12の眼底観察可能な機能を含む眼科撮影装置への適用が可能である。つまり、走査光を走査した際の被検眼12からの反射光を用いることに限定されず、単に光を照射して被検眼12を観察する機能を含むものである。また、被検眼12への光の照射にも限定されない。例えば、被検眼12に生じさせた蛍光などの光を用いて被検眼12を観察する機能を含むものである。このため、以下、被検眼12を観察する場合の光として、眼底からの反射光および眼底における発光を含む概念として、「被検眼12からの光」と称して説明する。
次に、図3を参照して、眼科撮影装置110に含まれる走査装置19の構成を説明する。図3に示すように、共通光学系28は、第3光学スキャナ29の他に、スリットミラー30および楕円鏡32を含む。なお、ダイクロイックミラー26、スリットミラー30、および楕円鏡32が側面視端面図で表されている。なお、共通光学系28は、スリットミラー30および楕円鏡32に代えて、複数のレンズ群を用いた構成でもよい。
スリットミラー30は、楕円状の第1反射面30Aを有する。第1反射面30Aは、第1焦点P1および第2焦点P2を有する。楕円鏡32も、楕円状の第2反射面32Aを有する。第2反射面32Aは、第1焦点P3および第2焦点P4を有する。
スリットミラー30、楕円鏡32、および第3光学スキャナ29は、第1焦点P3および第2焦点P2が第3光学スキャナ29で共通の位置になるように配置されている。また、スリットミラー30、楕円鏡32、および第3光学スキャナ29は、第2焦点P4が被検眼12の瞳孔の中心部に位置するように配置されている。更に、第1光学スキャナ22、第2光学スキャナ24、およびスリットミラー30は、第1焦点P1が第1光学スキャナ22および第2光学スキャナ24に位置するように配置されている。
つまり、第1光学スキャナ22、第2光学スキャナ24、および第3光学スキャナ29は、被検眼12の瞳孔の中心部と共役な位置に配置されている。
なお、走査装置19に係る基本構成は、特許第3490088号および特許第5330236号に開示されている構成と同一である。
本実施の形態では、図3に示す走査装置により、眼底の視野角(FOV:Field of View)を従来の技術より大きな角度とし、従来の技術より広範囲の眼底領域を観察できる。当該広範囲の眼底領域を、眼科撮影装置110による外部からの照射光についての外部照射角と、これにより照射させる被検眼の内部での照射角としての内部照射角とを区別して説明する。
外部照射角とは、眼科撮影装置110側から、すなわち被検眼12の外部からの光照射角である。つまり、被検眼12の眼底に対して照射光が被検眼12の瞳孔中心点27(すなわち、瞳孔の正対視中央点(図2も参照)へ向かう角度を外部照射角とする。この外部照射角はまた眼底から反射して瞳孔中心点27から被検眼12を射出して眼科撮影装置110へ向かう光の角度に等しい。
一方、内部照射角とは、被検眼12の眼球中心Oを基準位置として、被検眼12の眼底が走査光により照射されて実質的に撮影される光照射角を表している。外部照射角Aと内部照射角Bとは、対応関係にあるが、以下の説明では、眼科撮影装置としての説明であるため、眼底の視野角に対応する照射角として、外部照射角を用いる。
眼科撮影装置110は、外部照射角による被検眼12の眼底領域である撮影可能領域12A(図2も参照)内を撮像する。この撮影可能領域12Aは、例えば、走査装置19による走査光の走査可能な最大領域である。撮影可能領域12Aの一例には、外部照射角Aで、約120度の視野を提供する範囲が挙げられる。この場合の内部照射角は160度程度に対応する。
例えば、撮影可能領域12Aは、第1撮影可能領域12A1および第2撮影可能領域12A2に大別することができる。第1撮影可能領域12A1とは、被検眼12の瞳孔中心点27と中心Oとを通る視軸CL近傍の視野の範囲であり、第2撮影可能領域12A2とは、第1撮影可能領域12A1の周辺領域で、視軸CLから離れた周辺視野の範囲である。第1撮影可能領域12A1に対応する外部照射角の一例としては約30度(内部照射角は45度程度に相当)が挙げられ、第2撮影可能領域12A2に対応する外部照射角の一例として約120度(内部照射角160度程度に相当)が挙げられる。
眼科撮影装置110が被検眼12の撮影可能領域12Aを撮像して得た眼底画像は、従来の技術より広範であるので、以下、UWF(Ultra-Widefield:超広角)眼底画像という。
次に、図4を参照して、眼軸長測定装置120の一例を説明する。
図4に示すように、眼軸長測定装置120は、光干渉計42、光源44と、受光装置46、超音波プローブ48、ディスプレイ50、入力装置52、通信インターフェース(I/F)54及びこれらの装置(42~52)を制御する制御装置40を備えている。制御装置40は、図示しないCPU、ROM、RAM、及び2次記憶置等を備えてコンピュータにより構成される。ここでは、単一のCPUを例示しているが、本開示の技術はこれに限らず、複数のCPUを適用してもよい。超音波プローブ48は、ユーザに把持可能な構成を有し、制御装置40に図示しないケーブルを介して接続されている。
眼軸長測定装置120は、被検眼12の軸方向長さである眼軸長を測定する2つのモードを有する。第1モードは、光干渉計42、光源44と、及び受光装置46を用いて眼軸長を測定するモードである。具体的には、光干渉計42は、例えば、光源44からの光を被検眼12に導光した後、光路長を調整することにより眼底からの反射光と角膜からの反射光を干渉させる。光干渉計42は、干渉された光(干渉光)を受光装置46に受光させる。制御装置40は、受光装置46から出力される干渉信号に基づいて眼軸長を測定する。第2モードは、超音波プローブ48を用いて眼軸長を測定するモードである。超音波プローブ48の先端を被検眼12に接触させた状態で、超音波プローブ48から超音波を被検眼12に導き、超音波の送受信間の時間から眼軸長を測定する。第1モードと第2モードは、入力装置52からの入力により設定可能である。
眼軸長測定装置120は、第1モード又は第2モードにより測定された眼軸長を、通信インターフェース(I/F)54及びネットワーク130を介して画像管理サーバ140に送信する。第1モード及び第2モードにより眼軸長を測定してもよく、この場合には、双方のモードで測定された眼軸長の平均を眼軸長として画像管理サーバ140に送信する。
なお、眼軸長測定装置120は、特許第6094483号公報及び特開2010-184048号公報に記載されているように、周知である。
さらに眼軸長測定装置120には、図4には図示しないLCD(液晶ディスプレイ:Liquid Crystal Display)が内蔵されている。LCDは、眼軸長測定装置120によって眼軸長の測定が行われる際に被検眼の視線を特定の向きに固定させるための固視標を表示する。LCDからの光は、レンズ及びミラーを含む光学系58を経由して被検眼12に入射され、これにより、被検眼12の眼底に固視標が投影される。
被検眼12の方向の定義等は、眼科撮影装置110の場合と同じであるため、説明を省略する。
なお、本開示において眼軸長とは、瞳孔中心点27を通る直線上における、被検眼12の角膜前面から網膜面までの距離をいう。眼軸長測定装置120において光学式眼軸長測定を行う上述の第1モードの場合は、光源44からの測定光が被検眼12に入射する際に、測定光が入射する角膜前面上の位置、及び入射角度に依存して、眼底の異なる測定位置に基づく眼軸長が測定される(図7を参照)。
次に、図5Aを参照して、画像ビューワ150の電気系の構成を説明する。図5Aに示すように、画像ビューワ150は、CPU162、RAM166、ROM164、入出力(I/O)ポート168を備えて構成されたコンピュータ本体152を備えている。ここでは、単一のCPUを例示しているが、本開示の技術はこれに限らず、複数のCPUを適用してもよい。コンピュータ本体152の入出力(I/O)ポート168には、二次記憶装置154、ディスプレイ156、マウス155M、キーボード155K、および通信インターフェース(I/F)158が接続されている。コンピュータ本体152の入出力(I/O)ポート168は、通信インターフェース(I/F)158を介して、ネットワーク130に接続され、眼科撮影装置110および画像管理サーバ140と通信する事ができる。ROM164または二次記憶装置154には、後述する三次元眼底画像生成プログラムが記憶されている。なお、三次元眼底画像生成プログラムは、本開示の技術のプログラムの一例である。
次に、図5Bを参照して、画像ビューワ150のCPU162が実行する三次元眼底画像生成プログラムの機能の構成を説明する。図5Bに示すように、三次元眼底画像生成プログラムは、データ取得機能、モデル生成機能、画像生成機能、画像送信機能、を備えている。画像ビューワ150のCPU162がこれらの各機能を有する三次元眼底画像生成プログラムを実行することで、画像ビューワ150のCPU162は、データ取得部172、モデル生成部174、画像生成部176、及び画像送信部179として機能する。なお、モデル生成部174は本開示の第1出力部あるいは第1画像生成部の一例である。また、画像生成部176は、本開示の生成部、第2出力部、あるいは、第2画像生成部の一例である。また、画像送信部179は、本開示の画像信号出力部の一例である。
画像管理サーバ140の電気系の構成は、画像ビューワ150の電気系の構成と同様であるので、その説明を省略する。
<システム構成の変形例>
以上では、第1実施形態のシステム構成は4つの独立したハードウェアから成るものとして説明したが、システム構成はこれに限定されるものではない。例えば、眼科撮影装置110と眼軸長測定装置120とが一体であってもよい。この場合、眼科撮影装置110のOCT撮影により得られた角膜断層画像と網膜断層画像から被検眼12の眼軸長を測定する。また、眼科撮影装置110と眼軸長測定装置120と画像管理サーバ140とが一体であってもよい。
<三次元眼底画像の生成・記録プロセス>
以下、第1実施形態における眼底三次元画像の生成及び記録の詳細を説明する。
第1実施形態に係る眼底画像表示システム100においては、眼科撮影装置110は被検眼12の二次元眼底画像を撮影して眼底画像データを作成し、ネットワーク130を介して眼底画像データを画像管理サーバ140へ送信する。次に、眼軸長測定装置120は、被検眼12の複数の眼軸長を測定して眼軸長データを作成し、ネットワーク130を介して眼軸長データを画像管理サーバ140へ送信する。画像ビューワ150は、画像管理サーバ140から被検眼12の眼底画像データ及び眼軸長データを受信して、被検眼12の三次元眼底画像を生成する。
以下では、説明の便宜上、三次元眼底画像の生成及び記録の処理を(1)二次元眼底画像の撮影、(2)眼軸長の測定、(3)画像ビューワ150が実行する処理、の3つに分けて述べる。
[眼底画像の撮影]
一例として、第1実施形態における二次元眼底画像は、眼科撮影装置110のSLO撮影系機能によって撮影された、被検眼12の撮影可能領域12A内の一定の領域の二次元画像であるものとして説明する。
図6に、被検眼12の眼底の二次元画像の一例を模式的に示す。図6の画像は、眼科撮影装置110のSLO撮影系機能によって、被検眼12の撮影可能領域12A内の一定の領域を撮影したものである。上述のように眼科撮影装置110はUWF眼底画像を撮影することができ、UWF眼底画像を用いることにより被検眼12の生物学的特徴点の一例である網膜の血管V、視神経乳頭ONHおよび黄斑M、そして黄斑Mの中心の中心窩等を判別することができる。
なお、SLO撮影系機能を実行する眼科撮影装置110が被検眼12の撮影可能領域12A内の一定の領域について二次元画像を取得する際には、上述のようにSLO光が撮影可能領域12Aに対して、第1光学スキャナ22によるX方向(水平方向)、および第3光学スキャナ29によるY方向(鉛直方向)に走査される。そして、これらの2方向における走査において、撮影可能領域12A内の点は、2つの角度の組(φ,φ)と対応する。例えば瞳孔中心点27と眼球中心Oとを結ぶ直線を基準軸とすると、瞳孔中心点27に向かって被検眼12に入射したSLO光と基準軸とが成す水平方向の角度がφであり、鉛直方向の角度がφである。
2つの角度の組(φ,φ)の値を指定すると、これらの値に対応する撮影可能領域12A内の点が撮影される。第1実施形態に係る眼科撮影装置110は、SLO光が水平方向および鉛直方向に走査される際に、(φ,φ)の値を記憶していく。(φ,φ)の値は、一例として、制御装置16のRAMに記憶される。記憶された(φ,φ)の値は、後述する位置決定プロセスにおいて用いられる。
眼科撮影装置110の制御装置16は、ネットワーク130を介して、撮影したSLO眼底画像のデータを画像管理サーバ140へ送信する。画像管理サーバ140の図示しない制御装置は、受信したSLO眼底画像のデータを被検眼12に係る被検者のIDと紐付けて、図示しない二次記憶装置に記録する。
なお、SLO眼底画像内の各画素に対応する(φ,φ)の値は、眼底画像のデータと紐付けられて、眼科撮影装置110から画像管理サーバ140へ送信され、記録される。繰り返しを避けるため一々説明しないが、以降では、眼底画像データは眼底画像内の各画素に対応する(φ,φ)の値と紐付けられているものとする。
以上では、二次元眼底画像は、SLO画像であるものとして説明した。しかし、二次元眼底画像はSLO画像に限られるものではなく、眼科撮影装置110のOCT撮影系機能によって撮影された、OCTボリュームデータを用いて作った二次元平面画像(例えば、網膜の断層画像及び/又はenface画像)であってもよい。
[眼軸長の測定]
上述した通り、本開示において眼軸長とは、瞳孔中心点27を通る、被検眼12の角膜の前面から網膜面までの距離である。以下、一例として、眼軸長測定装置120が光学式眼軸長測定を行う第1モードで動作するものとして説明する。
図7に、第1実施形態における眼軸長の一例を示す。図7は、被検眼12について、眼軸長測定装置120からの測定光の軸と、測定光と角膜前面との交点である入射点P1と、測定光の網膜面との交点である反射点P2を示している。眼軸長Dは、入射点P1と反射点P2との距離として定義される。
第1実施形態における眼軸長は、入射点P1の位置と、入射点P1における測定光の網膜面への入射角度とによって定まる量であり、本開示において被検眼12の形状を表す形状情報の一つである。入射点P1の位置と入射点P1における測定光の入射角度とを変化させて、複数の眼軸長を測定することにより、被検眼12の形状を推定することができる。
特に第1実施形態では、後述するように、医学的知見に基づき、所定の5つの眼球モデル(図12参照)のいずれかによって被検眼12の形状が近似できることを仮定する。そのため、少なくとも3組の入射点P1と入射角度の組を適当に設定して眼軸長を測定すれば十分であると考えられる。
図8に、3組の入射点P及び入射角の組を用いた、被検眼12の3つの眼軸長の測定の一例を示す。図8は、被検眼12をX-Z平面で切断した断面図を示している。上述の座標系の定義においては座標軸の原点を特定していなかったが、図8及び以降の説明では、一例として、被検眼12の眼球中心OがY=0の平面上にあるものとする。しかし、原点の位置(つまり、眼軸長を測定する水平面)はこれに限られるものではなく、被検眼12の形状を推定するために適当な眼軸長を測定しうる断面であればよい。
図8には、被検眼12の眼底に固視標を投影するためのLCD60が示されている。LCD60からの光は被検眼12に入射され、これにより、被検眼12の眼底に固視標が投影される。なお、上述の通り図4においてはLCD60の図示を省略している。
LCD60は、図8A~図8Cに示された水平面(X-Z平面)上において、X方向に複数の固視位置を点灯することができるように構成されている。図8Aにおいて、LCD60は、被検眼12の視軸が眼軸長測定装置120からの測定光の軸Lと一致する固視位置である固視位置62を点灯させる。図8Aの設定の下で、眼軸長測定装置120によって測定される眼軸長を眼軸長D1とする。
図8Bにおいては、LCD60が固視位置62よりもXの正方向に位置する固視位置64を点灯させることにより、被検眼12の視軸は測定光の軸Lと角度θをなしている。一方、図8Cにおいては、LCD60が固視位置62よりXの負方向に位置する固視位置66を点灯させることにより、被検眼12の視軸は測定光の軸Lと角度-θをなしている。図8B及び図8Cの設定の下で、眼軸長測定装置120によって測定される眼軸長をそれぞれ眼軸長D2、D3とする。
なお、便宜上、X軸の正方向を向く方向を角度θの正方向としている。
以上のようにLCD60の点灯させる固視位置を変化させることにより、入射点P1の位置と、入射点P1における測定光の網膜面への入射角度θをX-Z平面上で変更した、3つの測定位置に基づく3つの眼軸長D1、D2、D3が得られる。なお、眼軸長D1、D2、D3は、本開示の眼球形状情報の一例である。
一例として、図9に示すように、θ=θ=θとなるように固視位置64及び66を定めてもよい。この場合、被検眼12の形状について、水平面上での対称性が分かり易くなる。後述する5つの眼球モデル(図12参照)の判別において、被検眼の水平面上での対称性に関する情報は有益だと考えられる。以下では、θ=θ=θであるものとして説明する。
なお、以上ではLCDの点灯させる固視位置をX-Z平面(水平面)上で変更することにより3つの眼軸長を同一水平面上で測定したが、第1実施形態における複数の眼軸長の測定方法はこれに限られるものではない。例えば、LCD60の点灯させる固視位置をY軸(つまり、鉛直方向)上で変更して、複数の眼軸長を測定してもよい。被検眼12が後述する5つの眼球モデルのうち何れに該当するかを推定するための補助となり得る眼軸長が測定できればよい。
眼軸長測定装置120の制御装置40は、ネットワーク130を介して、測定した3つの眼軸長に係る眼軸長データを画像管理サーバ140へ送信する。眼軸長データには、3つの眼軸長D1、D2、D3の値に加えて、角度θの値および被検者のIDが含まれている。画像管理サーバ140の図示しない制御装置は、受信した眼軸長データを被検眼12に係る被検者のIDと紐付けて、図示しない二次記憶装置に記録する。
また、眼軸長の測定方法はOCTを利用するものに限られない。眼軸長測定装置120が超音波信号を利用する第2モードで動作する場合には、超音波信号を利用して被検眼12の眼軸長を測定することが可能である。
また、眼軸長測定装置120が第1モードおよび第2モードの双方で動作する場合には、OCTと超音波信号を併用して被検眼12の眼軸長を測定することができる。
[画像ビューワ150が実行する処理]
第1実施形態では、三次元の眼球モデルは、眼底画像表示システム100の支援の下で、ユーザによって決定された結果として生成される。具体的には、画像ビューワ150は、画像管理サーバ140から受信した眼軸長測定装置120の眼軸長測定結果と、複数の眼球モデル候補とをディスプレイ156に同時に表示し、現在観察されている被検眼12にふさわしい1つの眼球モデル候補を選択するようユーザに促す。ユーザがディスプレイ156の表示内容を検討して適当と思われる眼球モデル候補を選択することにより、三次元眼球モデルが決定される。そして、画像ビューワ150のCPU162が三次元眼球モデルに眼科撮影装置110で撮影された二次元眼底画像を貼り付ける画像処理を行うことにより、三次元眼底画像が生成される。
なお三次元眼底画像とは、一例として、眼科撮影装置110のSLOユニットにより撮影された二次元眼底画像を三次元眼球モデルの表面に貼り付ける画像処理を行うことにより生成された、立体感のある画像をいう。ただし、三次元眼底画像はこれに限られるものではない。例えば、眼科撮影装置110のOCT撮影系機能により、被検眼12の眼底の一定の領域について得られたOCTボリュームデータを用いて、網膜の立体構造を表現した画像でもよい。さらに、OCTボリュームデータを用いて得られた網膜の立体構造を眼球モデルとして設定することができる。
図10、11、15は、第1実施形態において三次元眼底画像表示を行う処理プログラムの一例を示すフローチャートである。図10、11、15は、画像ビューワ150の実行する処理プログラムの一例を示している。
ここで、画像ビューワ150の実行する処理プログラムは、具体的にはデータ取得部172、モデル生成部174、画像生成部176、画像送信部179として機能する画像ビューワ150のCPU162によって実行される。また、画像ビューワ150と画像管理サーバ140との間の通信は、ネットワーク130を介して行われる。
被検者の被検眼12について、眼科撮影装置110による二次元眼底画像の撮影と眼軸長測定装置120による3つの眼軸長の測定とは既に終了しており、画像管理サーバ140の図示しない二次記憶装置には、二次元眼底画像データと眼軸長データとが記録されているとする。三次元眼底画像の生成および表示を希望するユーザは、その旨を、マウス155Mまたはキーボード155Kの操作により、画像ビューワ150に入力する。これにより、図10、11、15に示された画像ビューワ150の処理プログラムの実行が開始され、第1実施形態に係る三次元眼底画像表示を行う処理プロセスが開始される。図10は、当該処理プロセスの全体を示すフローチャートである。
以下では、説明の便宜上、三次元眼底画像表示処理の全体を(A)眼球モデルの決定、(B)位置決定、(C)三次元眼底画像の作成・表示、の3つに分けて述べる。
<A:眼球モデルの生成>
図10のステップS1002、S1004においては、データ取得部172が処理を実行する。また図10のステップS1006においては、モデル生成部174が処理を実行する。
ステップS1002において、データ取得部172は、画像ビューワ150に入力された被検者のIDなどを用いて、眼科医による診断対象となる被検眼12に係る二次元眼底画像データと眼軸長データとを取得するためのリクエストを画像管理サーバ140へ送信する。当該リクエストには、被検眼12に係る被検者のIDが含まれている。
画像管理サーバ140が画像ビューワ150から上記リクエストを受信すると、画像管理サーバ140の制御部は、IDに基づき被検者の被検眼12に対応するデータを特定する。そして画像管理サーバ140の制御部は、二次記憶装置に記録されている、IDに対応する二次元眼底画像データと眼軸長データとを読み出して、画像ビューワ150へ送信する。
画像ビューワ150が画像管理サーバ140から被検眼12に係る二次元眼底画像データと眼軸長データとを受信すると、ステップS1004においてデータ取得部172は、受信した二次元眼底画像データと眼軸長データとを二次記憶装置154に記録する。
お、上述した通り、二次元眼底画像データには、二次元眼底画像内の各画素に対応する(φ,φ)の値が紐付けられている。
次に、処理はステップS1006へ移行する。以下、モデル生成部174が処理を実行する。
第1実施形態における眼球モデル生成プロセスは、サブルーチンとして図11に示されている。図11は、モデル生成部174としての画像ビューワ150のCPU162が実行する処理プログラムの一例を示すサブルーチンである。
ステップS1102において、モデル生成部174は、二次記憶装置154から眼軸長データを読み出して、被検者の被検眼12に係る3つの眼軸長D1、D2、D3をディスプレイ156の表示画面に表示する。
この際に、モデル生成部174は、3つの眼軸長D1、D2、D3(図13及び14を参照)とともに、5つの眼球モデル候補をディスプレイ156の表示画面に表示する。
ここで、医学的知見に基づき、少なくとも日本人の眼球については、病的近視による眼球の変形は、以下の4つのタイプに分類可能であることが知られている。この点について説明する。
第1は、X-Z平面上の断面図で観察した場合に、Z軸に平行な中心軸について左右非対称であり、網膜が鼻の方向に向かって突出した鼻側突出型(鼻側偏位型ともいう)である。第2は、X-Z平面上の断面図で観察した場合に、Z軸に平行な中心軸について左右非対称で網膜が耳の方向に向かって突出した耳側突出型(耳側偏位型ともいう)である。第3は、X-Z平面上の断面図で観察した場合に、Z軸に平行な中心軸について左右対称であり、網膜の中心窩周辺が尖っている紡錘型(イチゴ型ともいう)である。第4は、X-Z平面上の断面図で観察した場合に、Z軸に平行な中心軸について左右対称であり、網膜の中心窩周辺が丸く突出している樽型である。
以上の4つの形状に、疫病等による変形が無い正常な眼球を加えると、眼球は5つのタイプに分類可能であることになる。図12はこれらの5つのタイプを示している。図12は被検者の左目の眼球をY軸の正方向(つまり、鉛直上方)から観察した図であり、Aが正常型、Bが鼻側突出型、Cが耳側突出型、Dが紡錘型、Eが樽型である。以下では、被検眼12は被検者の左目の眼球であるものとして説明する。
図11に示されたサブルーチンの説明に戻る。図13は、ステップS1102において、モデル生成部174がディスプレイ156の表示画面に表示させる選択画像70の一例を示している。図13の選択画像70は、眼軸長表示領域72と、眼球モデル候補表示領域74と含んでいる。なお、選択画像70は、本開示の眼球モデル選択画面の一例である。また、ディスプレイ156の表示画面に選択画像70を表示させるためにモデル生成部174が出力する信号は、本開示の第1画像信号の一例である。
図13の眼球モデル候補表示領域74は、図12に示された5つの眼球タイプを表示する。眼球モデル候補表示領域74は、さらに選択枠76を表示する。選択枠76は、眼球モデル候補表示領域74内で、眼球タイプの1つを選択して強調表示するものである。ユーザは、画像ビューワ150のマウス155Mまたはキーボード155Kを操作することにより選択枠76をディスプレイ156の表示画面上で上下に移動させて、眼球モデル候補表示領域74に表示された5つの眼球モデル候補から1つを選択することができる。
眼球モデル候補表示領域74には、5種類の眼球モデルを示す5つの図形を表示してもよいし、5種類の眼球モデルの名称(眼球モデル名)を示す文字列(正常型、鼻側突出型、耳側突出型、紡錘型、及び樽型)の表示、あるいは、図形と文字列とを組み合わせた表示を行ってもよい。
図13の眼軸長表示領域72は、眼球モデル候補表示領域74において選択枠76により強調表示されている眼球モデル候補を輪郭として、輪郭内に眼軸長測定装置120により測定した被検眼12の3つの眼軸長D1、D2、D3を配置した眼球画像を表示する。ここで眼軸長表示領域72に表示される輪郭は、眼球中心OがY=0の平面上にあるとした場合のX-Z平面で切断した断面図における被検眼12の眼球の輪郭に相当する。
具体的には、モデル生成部174は、眼軸長D1の大きさに基づいて、眼軸長表示領域72に表示する眼球画像の輪郭の大きさを決定する。一例として、眼軸長D1が眼球中心Oを通り、端点が角膜に対応する部分と網膜に対応する箇所に配置されるように(つまり、眼軸長D1がちょうど輪郭内に収まるように)、眼球画像の輪郭を決定する。そして、モデル生成部174は、二次記憶装置154に記憶されている眼軸長データに含まれている角度θを用いて、D1となす角度がそれぞれθ、-θとなるように、眼球画像の輪郭内に眼軸長D2及びD3を配置する。一例として、眼軸長D2及びD3の始点を輪郭の角膜に相当する箇所に設定して、眼軸長D2及びD3を配置する。
図13に示す例では、眼球モデル候補表示領域74において選択枠76により紡錘型モデルDが強調表示されている。そして、眼軸長表示領域72において、眼軸長D1の大きさに基づいて大きさが決定された紡錘型モデルDの輪郭と、輪郭内の3つの眼軸長D1、D2、D3とが表示されている。
ここで、図1の眼軸長表示領域72において、眼軸長D2の網膜側端点は眼球画像の輪郭の網膜に相当する箇所から突出していることに注意されたい。図1に示す眼軸長表示領域72を観察したユーザは、被検眼12は網膜が鼻の方向に向かって突出しており、紡錘型モデルDは適当ではないと推定することができる。
そこでユーザは、画像ビューワ150のマウス155Mまたはキーボード155Kを操作することにより選択枠76を眼球モデル候補表示領域74上で上下に移動させて、他の眼球モデル候補を強調表示させると考えられる。図14に示す例では、眼球モデル候補表示領域74において、鼻側突出型モデルBが選択枠76によって強調表示されている。
図14の眼軸長表示領域72では、眼軸長D1の大きさに基づいて大きさが決定された鼻側突出型モデルBの輪郭と、輪郭内の3つの眼軸長D1、D2、D3とが表示されている。ここで、図1に示す例と異なり、図13の眼軸長表示領域72においては眼軸長D2が眼球画像の輪郭内から突出せず、輪郭内に適当に収まっている。図14に示す眼軸長表示領域72を観察したユーザは、輪郭内に眼軸長D2及びD3が適当に収まっていることから、鼻側突出型モデルBは被検眼12の眼球モデルとしてふさわしいと推定することができる。
以上説明した方法により、画像ビューワ150のディスプレイ156の表示画面を見ているユーザは、マウス155Mまたはキーボード155Kを操作して選択枠76を眼球モデル候補表示領域74上で上下移動させつつ、眼軸長表示領域72における輪郭と眼軸長D2及びD3との位置関係を観察することにより、5つの眼球モデル候補のうちいずれが被検眼12の眼球モデルとしてふさわしいか決定することができる。
改めて、図11に即してモデル生成部174が実行する処理プログラムの一例を示すサブルーチンを説明する。
ステップS1102において、モデル生成部174は、二次記憶装置154から眼軸長データを読み出して、図13及び図14に示したように眼軸長表示領域72及び眼球モデル候補表示領域74を画像ビューワ150のディスプレイ156の表示画面に表示させる。一例として、サブルーチンの開始時点では、正常型モデルAが選択されているとする。つまり、サブルーチンの開始時点ではステップS1102において、眼球モデル候補表示領域74において正常型モデルAが選択枠76によって強調表示され、眼軸長表示領域72において眼軸長D1の大きさに基づいて大きさが決定された正常型モデルAの輪郭と、輪郭内の3つの眼軸長D1、D2、D3とが表示されている。
眼軸長表示領域72を観察したユーザは、マウス155Mまたはキーボード155Kを操作して、選択指示または決定指示を入力する。選択指示とは、現在選択されている(つまり、眼球モデル候補表示領域74において選択枠76によって強調表示されている)眼球モデル候補に代えて、他の眼球モデル候補を選択する指示である。例えば、正常型モデルAに代えて耳側突出型モデルCを選択する指示である。また決定指示とは、現在選択されている眼球モデル候補を、被検眼12にふさわしい眼球モデルとして決定する指示である。
例えばユーザは、マウス155Mを操作して、ディスプレイ156の表示画面に表示されているカーソルを選択する眼球モデル候補の位置に移動させ、マウス155Mを左クリックすることにより、選択指示を入力することができる。またユーザは、例えば、キーボード155KのRETURNキーを押すことにより、決定指示を入力することができる。
ユーザからいずれかの指示が入力されると、処理はステップS1104に移行する。ステップS1104において、モデル生成部174はユーザによって入力された指示を取得する。
ステップS1106において、モデル生成部174は、取得した指示が決定指示であるか否かについての判断を行う。ステップS1106の判断が否定判断である場合、図11の処理はステップS1110へ移行する。
ステップS1110において、モデル生成部174は、選択指示において指定された眼球モデル候補を、選択枠76により強調表示すべきものとして設定する。そして、図11の処理はS1102に戻り、再び画像ビューワ150のディスプレイ156の表示画面に眼軸長表示領域72及び眼球モデル候補表示領域74が表示される。この場合、選択されている眼球モデル候補は、サブルーチンの開始時点で選択されていた正常型モデルAから変更されている。例えば、選択指示において紡錘型モデルDが指定されていた場合には、眼球モデル候補表示領域74において紡錘型モデルDが強調表示され、眼軸長表示領域72において紡錘型モデルDの輪郭と、輪郭内の3つの眼軸長D1、D2、D3とが表示される。
一方、ステップS1106において肯定判断であった場合、図11の処理はステップS1108に移行する。ステップS1108において、モデル生成部174は、ユーザが選択した1つの眼球モデル候補を、被検眼12の三次元眼球モデルとして画像ビューワ150の二次記憶装置154へ記録する。そしてモデル生成部174は、眼球モデル生成サブルーチンを終了する(図11のRETURN)
なお、以上では、図11のサブルーチンの開始時点において選択されている(つまり、ステップS1102において、眼球モデル候補表示領域74において正常型モデルAが選択枠76によって強調表示され、眼軸長表示領域72によって輪郭が表示される)眼球モデル候補は、便宜上いずれか(例えば、正常型モデルA)に選択されるものとして説明した。しかしながら、モデル生成部174は、眼軸長データに含まれる眼軸長D1、D2、D3及び角度θの値に基づいて、最も適当と思われる輪郭に対応する眼球モデル候補を予測して、予測された眼球モデル候補を図11のサブルーチンの開始時点において設定するものとしてもよい。この場合、モデル生成部174は、機械学習を用いて予測をおこなってもよい。またモデル生成部174は、眼軸長データに含まれる被検者の個人情報、例えば性別、年齢、人種及び/又は病歴等を利用してふさわしい眼球モデル候補を予測してもよい。なお、性別、年齢、人種及び/又は病歴等の被検者の個人情報は、本開示の患者情報の一例である。
また以上では、眼軸長D1、D2、D3を被検眼12の形状情報として用いて、ユーザによる眼球モデル決定を支援した。しかしながら、被検眼の形状情報は、複数の眼軸長に限られるものではない。眼軸長測定装置120によって測定可能な被検眼12の形状を示す量であって、ユーザが5つの眼球モデル候補のうちいずれが被検眼12の眼球モデルとしてふさわしいか決定することを支援できるものであればよい。
<B:位置決定>
図10において、ステップS1008以降の処理は、画像生成部176および画像送信部179として機能する画像ビューワ150のCPU162によって実行される。
図10のステップS1008において、画像生成部176は位置決定を行う。本開示において位置決定とは、二次元眼底画像上の複数の点と三次元眼球モデル上の位置との対応関係を決定することをいう。
第1実施形態における位置決定プロセスは、サブルーチンとして図15に示されている。図15は、画像生成部176としての画像ビューワ150のCPU162が実行する処理プログラムの一例を示すサブルーチンである。
ステップS1502において、画像生成部176は、先行する図10のステップS1004において二次記憶装置154に記録されている二次元眼底画像データを読み出す。そして画像生成部176は、一例として二次元眼底画像内の3つの画素A1、A2、A3を指定する。個々で指定する画素の数は3に限られるものではなく、位置決定を実行する上で適切な数であればよい。
ステップS1504において、画像生成部176は、指定された3つの画素A1、A2、A3にそれぞれ対応する3組の角度の組(φ,φ)を二次記憶装置154から取得する。
ステップS1506において、画像生成部176は、先行する図11のステップS1108において二次記憶装置154に記録されている三次元眼球モデルを読み出す。そして画像生成部176は、三次元眼球モデルの網膜面上において、3組の角度の組(φ,φ)に対応する3つの位置B1、B2、B3を算出する。ここでB1、B2、B3は、三次元眼球モデルの瞳孔中心点27に向かって角度(φ,φ)から光が入射されたと仮定した場合に、三次元眼球モデルの網膜面上で入射光が反射される位置を表している。
ステップS1508において、画像生成部176は、二次元眼底画像内の画素A1、A2、A3と、三次元眼球モデルの網膜面上の位置B1、B2、B3とに基づいて、位置情報を算出する。ここで二次元眼底画像内の画素A1、A2、A3は被検眼12の撮影可能領域12Aの3点に対応するものであるから、画素A1、A2、A3がそれぞれ位置B1、B2、B3に一致するように二次元眼底画像と三次元眼球モデルの網膜面とを位置合わせすることで、二次元眼底画像と三次元眼球モデルとの対応関係を決定することができる。第1実施形態の位置情報は、上記の位置合わせを行うために十分な情報を含んでいるものとする。
ステップS1510において、画像生成部176は、生成された位置情報を画像ビューワ150の二次記憶装置154に記録する。そして画像生成部176は、位置決定サブルーチンを終了する(図15のRETURN)。
<C:三次元眼底画像の作成・表示>
図10のステップS1008が終了した時点で、画像ビューワ150の二次記憶装置154には、被検眼12について、ステップS1004で取得した二次元眼底画像データと、ステップS1006で生成した三次元眼球モデルと、ステップS1008で生成した位置情報とが記録されている。
ステップS1010において、画像生成部176は、画像ビューワ150の二次記憶装置154から二次元眼底画像データと、三次元眼球モデルと、位置情報とを読み出し、画像処理を行って被検眼12の三次元眼底画像を生成し、二次記憶装置154に記録する。具体的には、位置情報に基づいて二次元眼底画像上の複数の点の三次元眼球モデル上の位置を決定した上で、二次元眼底画像を三次元眼球モデルに貼り付ける画像処理を行うことにより、被検眼12の三次元眼底画像が生成される。また、前眼部領域と二次元画像でカバーしきれない眼球領域とに対しては、所定の画像でパッチするようにしてもよい。
次にステップS1012において、画像生成部176は、画像ビューワ150のディスプレイ156の表示画面に三次元眼底画像を含む眼底画像表示画面80を表示させるための画像信号を出力する。ディスプレイ156は、CPU162から出力された画像信号に基づいて、眼底画像表示画面80を表示する。この場合、眼底画像表示画面80には、二次元眼底画像を同時に表示してもよい。
図16に眼底画像表示画面80の一例を示す。図16の眼底画像表示画面80は、被検者情報表示領域82と、右眼/左眼の切替ボタン84と、二次元眼底画像表示領域86Aと第1ツールボタン86Bとを含む二次元画像表示領域86と、三次元眼底画像表示領域88Aと第2ツールボタン88Bとを含む三次元画像表示領域88とを含んでいる。
被検者情報表示領域82は、被検者のIDを始めとして、被検者を特定する情報を表示する。この情報は、一例として、生年月日、氏名、性別、病名、ユーザの一例としての眼科医のコメントを含む。
切替ボタン84は、眼底画像表示画面80の表示に係る被検眼12について、被検者の右眼/左眼を切り替えるためのものである。便宜上、上述の通り第1実施形態では被検眼12は被検者の左眼として説明しているため、切替ボタン84に関するこれ以上の説明は省略する。
二次元眼底画像表示領域86Aには、画像ビューワ150の二次記憶装置154に記録されている二次元眼底画像データに基づき、眼科撮影装置110により撮影された被検眼12の二次元眼底画像が表示される。第1ツールボタン86Bは、二次元眼底画像表示領域86Aの表示のサイズ変更、色調整などを行うためのものである。
三次元眼底画像表示領域88Aには、画像ビューワ150の二次記憶装置154に記録されている、ステップS1010で生成された被検眼12の三次元眼底画像が表示される。第2ツールボタン88Bは、三次元眼底画像表示領域88Aの表示のサイズ変更、色調整などを行うためのものである。
以上説明したように、図16の二次元眼底画像表示領域86Aと三次元眼底画像表示領域88Aとは、眼科撮影装置110により撮影された被検眼12の二次元眼底画像と、当該に次元眼底画像を三次元眼球モデルに貼り付けた三次元眼底画像とがそれぞれ表示される。ユーザである眼科医は、ステップS1012において画像ビューワ150のディスプレイ156の表示画面上の各表示領域を見ることにより、2つの画像を比較観察することができる。そして、ユーザである眼科医は観察した結果診断結果を被検者情報表示領域82のコメント欄に入力することができる。例えば、ユーザは、眼底画像の観察結果から推定した被検眼12に係る病名及び/又は症状等を、コメント欄に入力してもよい。
マウス155Mまたはキーボード155Kの操作によりユーザからの処理終了指示が画像ビューワ150に入力されると、処理はステップS1014に移行する。画像送信部179は、ステップS1014において、ステップS1010で生成された被検眼12の三次元眼底画像のデータを、被検者情報表示領域に表示された被検者を特定する情報と紐付けて、画像管理サーバ140へ送信する。これにより、図10に示された画像ビューワ150のCPU162が実行する処理プログラムは終了する(図10のEND)。
画像ビューワ150からデータを受信すると、画像管理サーバ140の制御部は受信したデータを画像管理サーバ140の二次記憶部に記録する。
以上に説明した本開示の第1実施形態に関し、図17に眼科撮影装置110、眼軸長測定装置120、画像管理サーバ140、画像ビューワ150の間での情報のやり取りを示すシーケンス図を示す。図17に示した各ステップは、図10中の各ステップに対応する。
本開示の第1実施形態によれば、被検眼の少数の眼軸長を測定し、所定の眼球モデル候補と適切に組み合わせて効果的な表示を行い、ユーザに選択を促すことで、被検眼にふさわしい三次元眼球モデルを容易に生成することができる。さらに、生成された三次元眼球モデルを用いて、三次元眼底画像を生成し、表示することができる。
また、眼底画像表示画面80に、眼科撮影装置110のOCTユニットにより得られたOCT断層画像あるいはOCT三次元画像を表示するOCT画像表示領域を設けてもよい。
<第1実施形態の変形例:経過観察>
本開示の第1実施形態の変形例として、第1実施形態に係る眼底画像表示システム100を眼底の特定部位の経過観察に利用することができる。以下で、第1実施形態と相違する点についてのみ説明する。
本変形例では、眼科撮影装置110により、被検眼12の特定部位を所定の期間を空けて複数回撮影し、複数の二次元眼底画像を作成する。一例として、複数回とは2回である。
まず、被検者の被検眼12について、第1実施形態に係る処理の全体を実行する(第1回目の処理)。一定の期間(例えば3ヶ月)が経過した後、再び同一の被検眼12について、第1実施形態に係る処理の全体を実行する(第2回目の処理)。この場合、それぞれの処理自体は第1実施形態と同様である。ただし、眼科撮影装置110によって撮影され、画像管理サーバに眼底画像データとして記録される眼底の部位は、第1回目と第2回目とで同じ部位であることに注意されたい。
また、第2回目の処理における図11のサブルーチンの開始時点では、第1回目の処理における図10のステップS1006で決定された眼球モデルが設定されている。これは、第1回目の処理で使用した眼球モデルを、第2回目の処理における眼球モデルの第1候補として設定することに対応する。
例えば、第1回目の処理において、鼻側突出型モデルBが被検眼12の眼球モデルとして決定されたとする。この場合には、第2回目の処理の眼球モデル生成サブルーチンが開始されると、ステップS1102において画像ビューワ150のディスプレイ156の表示画面には以下の表示が行われる。眼球モデル候補表示領域74において、5つの眼球モデル候補のうち、鼻側突出型モデルB(つまり、第1回目の処理で使用されたモデル)が選択枠76によって強調表示される。また眼軸長表示領域72において、鼻側突出型モデルBの輪郭と、輪郭内の3つの眼軸長D1、D2、D3とが表示される。
第2回目の処理における図11のステップS1108において、第1回目の処理で使用されたモデル(上述の例では鼻側突出型モデルB)とは異なるモデル候補が眼球モデルとして記録されたとする。これは、第1回目と第2回目との間の期間に、被検眼12の眼球形状が変化したことを意味する。ユーザは、この事実から被検眼12に何らかの疾病が生じたことを推定することができる。さらに、この場合、被検眼12について、図示しないMRI装置を用いて、MRIにより眼球形状の変化を評価し、その結果を画像ビューワ150の二次記憶装置154に記録してもよい。
さらに、第1回目の処理において眼科撮影装置110によって撮影された二次元眼底画像に、病変部位が含まれていたとする。この場合、画像ビューワ150のCPU162は、第2回目の処理において得られた三次元眼底画像と、第1回目の処理において得られた三次元眼底画像との間での当該病変部位の面積の変化を算出し、二次記憶装置154に記録してもよい。
第1実施形態の本変形例では、第2回目の処理において、眼球形状の変化の評価結果、及び/又は病変部位の面積の変化を示すデータとしての変化情報が得られる。第2回目の処理における図10のステップS1014において、画像送信部179は、被検者を特定する情報へ変化情報を追加した上で被検眼12の三次元眼底画像のデータと紐付けて、画像管理サーバ140へ送信してもよい。そして、画像ビューワ150のCPU162が実行する処理プログラムは終了する。(第2回目の処理における図10のEND)。
以上に説明した本開示の第1実施形態の変形例に関し、図18に眼科撮影装置110、眼軸長測定装置120、画像管理サーバ140、画像ビューワ150の間での情報のやり取りを示すシーケンス図を示す。
また、第2回目の処理における図10のステップS1012において、画像生成部176は、図16に示された眼底画像表示画面80に代えて、図19に示される眼底画像比較表示画面90を画像ビューワ150のディスプレイ156の表示画面に表示させるように画像信号を出力してもよい。
図19の眼底画像比較表示画面90は、被検者情報表示領域82と、過去二次元眼底画像表示領域96Aと、過去三次元眼底画像表示領域96Bと、新規二次元眼底画像表示領域98Aと、新規三次元眼底画像表示領域98Bとを含んでいる。過去二次元眼底画像表示領域96Aと、過去三次元眼底画像表示領域96Bは、それぞれ第1回目の処理に係る二次元眼底画像と三次元眼底画像とが表示される。また、新規二次元眼底画像表示領域98Aと、新規三次元眼底画像表示領域98Bは、それぞれ第2回目の処理に係る二次元眼底画像と三次元眼底画像とが表示される。
また図19には図示されていないが、眼底画像比較表示画面90は、図16に示された第1ツールボタン86B及び第2ツールボタン88Bに相当する、眼底画像の表示のサイズ変更、色調整などを行うためのツールボタンを含んでいてもよい。
なお、図19に示した例では、第1回目の処理で生成された眼球モデルは正常型モデルAであるのに対して、第2回目の処理で生成された眼球モデルは紡錘型モデルDであることに注意されたい。この場合、第1回目と第2回目との間の期間に被検眼12の眼球形状が変化しており、被検眼12に何らかの疾病が生じたことが推定される。
また、過去と新規の二つの異なる時点で撮影された二次元眼底画像による経過観察だけでなく、患者の来院時に撮影された、2以上の眼底画像を用いて経過観察をできるようにしてもよい。この場合、過去の二次元/三次元眼底画像を表示する2以上の表示領域と、今回の新規に得られた二次元/三次元眼底画像を表示する1つの表示領域を眼底画像比較表示画面90に設けてもよい。
さらに、過去三次元眼底画像表示領域96Bと新規三次元眼底画像表示領域98Bとについて、同じ大きさの表示領域ではなく、異なる大きさの表示領域としてもよい。また、上述の例に限らず、設計の範囲で様々な表示画面の仕様をとることができる。
また、眼科撮影装置110のOCTユニットにより得られたOCT断層画像あるいはOCT3次元画像を表示するOCT画像表示領域を、眼底画像比較表示画面90に設けてもよい。
本開示の第1実施形態の変形例によれば、被検眼の経過観察を効果的に行うことができる。
<第2実施形態>
次に、本開示の第2実施形態について説明する。なお、第1実施形態と同様の構成である部分については、同一符号を付して説明を省略する。
<システムの概要>
図20を参照して、第2実施形態に係る眼底画像表示システム200の構成を説明する。眼底画像表示システム200は、眼軸長測定装置120に代えて、MRI装置220を備える。また眼底画像表示システム200は、第1実施形態の画像ビューワ150に代えて、画像ビューワ250を備える。画像ビューワ250は、CPU162に代えて、CPU262を備えている。ここでは、単一のCPUを例示しているが、本開示の技術はこれに限らず、複数のCPUを適用してもよい。なお、画像ビューワ250は本開示の三次元眼底画像生成装置の一例である。
<三次元眼底画像の生成・記録プロセス>
以下、第2実施形態における眼底三次元画像の生成及び記録の詳細を説明する。
[眼底画像の撮影]
第1実施形態と同様であるため、説明を省略する。ただし、後述する位置決定との関係から、第2実施形態において眼科撮影装置110によって撮影される二次元眼底画像は、2つの生物学的特徴点を含んでいる必要がある。
[MRI撮影]
眼底画像表示システム200は、眼軸長測定装置120による眼軸長測定に代えて、被検眼12についてMRI装置220による三次元MRI撮影を行う。これにより、眼軸長にとどまらず、被検眼12の形状について詳細な情報が得られる。
MRI装置220の図示しない制御装置は、ネットワーク130を介して、三次元MRI撮影により取得した被検眼12の形状に係るMRI形状データ及び被検者のIDを画像管理サーバ140へ送信する。画像管理サーバ140の図示しない制御装置は、受信したMRI形状データを被検眼12に係る被検者のIDと紐付けて、図示しない二次記憶装置に記録する。
[画像ビューワ250が実行する処理]
第2実施形態では、三次元の眼球モデルは、MRI装置220により取得した被検眼12の形状に係るMRI形状データに基づき、モデル生成部274として機能する画像ビューワ250のCPU262によって決定される。そして、画像ビューワ250のCPU262が三次元眼球モデルに眼科撮影装置110で撮影された二次元眼底画像を貼り付けることにより、三次元眼底画像が生成される。
図21、22は、第2実施形態において三次元眼底画像表示を行う処理プログラムの一例を示すフローチャートである。図21、22は、画像ビューワ250の実行する処理プログラムの一例を示している。
ここで、画像ビューワ250の実行する処理プログラムは、具体的にはデータ取得部272、モデル生成部274、画像生成部276、及び画像送信部279として機能する画像ビューワ250のCPU262によって実行される。
被検者の被検眼12について、眼科撮影装置110による二次元眼底画像の撮影とMRI装置220による三次元MRI撮影とは既に終了しており、画像管理サーバ140の図示しない二次記憶装置には、二次元眼底画像データとMRI形状データとが記憶されているとする。三次元眼底画像の生成を希望するユーザは、その旨を、マウス155Mまたはキーボード155Kの操作により、画像ビューワ250に入力する。これにより、図21、22に示された画像ビューワ250の処理プログラムの実行が開始され、第2実施形態に係る三次元眼底画像表示を行う処理プロセスが開始される。図21は、当該処理プロセスの全体を示すフローチャートである。
<A:眼球モデルの生成>
図21のステップS2102、S2104においては、データ取得部272が処理を実行する。また図21のステップS2106においては、モデル生成部274が処理を実行する。
ステップS2102及びS2104は、第1実施形態の図10のステップS1002及びS1004に対して、送受信されるデータのうち眼軸長データがMRI形状データに代わっただけである。よって、詳しい説明は省略する。
次に、処理はステップS2106へ移行する。以下、モデル生成部274が処理を実行する。
ステップS2106において、モデル生成部274は、既知の三次元MRI技術を用いて、被検眼12のMRI形状データから被検眼12の三次元眼球モデルを生成し、画像ビューワ250の二次記憶装置154へ記録する。したがって、第2実施形態の眼球モデル生成には、第1実施形態での医学的知見に基づく5つのモデルの仮定、及びユーザの選択・決定というプロセスは存在しない。
<B:位置決定>
図21において、ステップS2108以降の処理は、画像生成部276および画像送信部279として機能する画像ビューワ250のCPU262によって実行される。
図21のステップS2108において、画像生成部276は位置決定を行う。
第2実施形態における位置決定プロセスは、サブルーチンとして図22に示されている。図22は、画像生成部276としての画像ビューワ250のCPU262が実行する処理プログラムの一例を示すサブルーチンである。
第2実施形態における位置決定は、眼底における2つの生物学的な特徴点の位置を用いて行われる。具体的には、三次元眼球モデルにおける第1特徴点及び第2特徴点の位置が、それぞれ二次元眼底画像における第1特徴点及び第2特徴点の位置に整合するように、位置決定を行う。
一例として、第2実施形態の眼科撮影装置110によって、眼底の中心付近の眼底画像が撮影されたとする。この場合、第1特徴点を中心窩、第2特徴点を視神経乳頭位置とすることができる。
ステップS2202において、画像生成部276は、三次元眼球モデルにおける視神経乳頭位置を検出する。(MRI装置220により取得され画像ビューワ250の二次記憶装置154に記録されている)MRI形状データには被検眼12の形状に関する詳細な情報が含まれているため、既知の三次元MRI技術を用いて、MRI形状データから三次元眼球モデルにおいて後眼部で眼球と視神経とが交わる点を検出し、これを三次元眼球モデルにおける視神経乳頭位置として特定する。
次にステップS2204において、画像生成部276は、三次元眼球モデルにおける中心窩を検出する。MRI形状データには被検眼12の形状に関する詳細な情報が含まれているため、既知の三次元MRI技術を用いて、MRI形状データから三次元眼球モデルにおける中心窩を検出することができる。
図23に、三次元眼球モデルにおける視神経乳頭位置と中心窩の検出の例を示す。眼球中心Oを通りZ軸に平行な眼軸が後眼部と交わる点を、中心窩として特定する。
次に、ステップS2206において、画像生成部276は、既知の画像処理技術によって、二次元平面画像内の中心窩及び視神経乳頭位置を検出する。
図24に、二次元平面画像における中心窩及び視神経乳頭位置の検出の例を示す。
なお、ステップS2202、S2204、S2206の順序は互いに交換可能である。
ステップS2208において、画像生成部276は、三次元眼球モデルにおける中心窩及び視神経乳頭位置が、それぞれ二次元眼底画像における中心窩及び視神経乳頭位置に整合するように、位置決定を行う。そして画像生成部276は、位置決定サブルーチンを終了する(図22のRETURN)。
<C:三次元眼底画像の作成・表示>
画像生成部276の処理は、図21のステップS1010に移行する。ステップS1010及びS1014は、図10に示された第1実施形態の処理と同様であるため、説明を省略する。
ただし、図21のステップS2112におけるディスプレイへの表示は、図16に示した第1実施形態の表示とは異なるので、この点について説明する。図25は、ステップS2012において画像生成部276が生成する画像信号に基づき、画像ビューワ250のディスプレイ156の表示画面に表示させる眼底画像表示画面280の一例を示す。
図25に示された眼底画像表示画面280は、二次元眼底画像表示領域286と、三次元眼底画像表示領域288と、眼球モデル表示領域290を含んでいる。図16に示された第1実施形態の眼底画像表示画面80と比較すると、第2実施形態の眼底画像表示画面280は、MRI装置220により取得したMRI形状データから生成した三次元眼球モデル自体を眼球モデル表示領域290に表示する点が異なる。
以上において、第2実施形態の位置決定に係る2つの生物学的な特徴点は、中心窩及び視神経乳頭であるものとして説明した。しかしながら生物学的な特徴点はこれらに限られるものでなく、眼科撮影装置110によって撮影される眼底領域に含まれており、位置決定に利用できるものであればよい。
本開示の第2実施形態によれば、三次元MRI撮影に基づく正確な三次元眼球モデルに対し、被検眼の眼底における複数の生物学的特徴点を利用して適切な位置決定をした上で二次元眼底画像を貼り付ける画像処理を行うことにより、現実により近い三次元眼底画像を得ることができる。
上記各実施形態で説明した処理プロセス、すなわち、図10、図11、図15、図21、及び図22に示す処理プロセス(以下、単に「処理プロセス」と称する)は、あくまでも一例である。従って、本開示の技術の主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
また、上記各実施形態では、コンピュータを利用したソフトウェア構成により処理プロセスが実現される場合を例示したが、本開示の技術はこれに限定されるものではない。例えば、コンピュータを利用したソフトウェア構成に代えて、FPGA(Field-Programmable Gate Array)又はASIC(Application Specific Integrated Circuit)等のハードウェア構成のみによって、処理プロセスが実行されるようにしてもよい。処理プロセスがソフトウェア構成とハードウェア構成との組み合わせた構成によって実行されるようにしてもよい。
処理プロセスを実行するハードウェア資源としては、例えば、プログラムを実行することで各種処理を実行するハードウェア資源として機能する汎用的なプロセッサであるCPUが挙げられる。また、他のハードウェア資源としては、例えば、専用に設計されたFPGA、PLD(Programmable Logic Device)、又はASICなどの回路構成を有するプロセッサである専用電気回路が挙げられる。また、これらのプロセッサのハードウェア的な構造としては、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。各種処理を実行するハードウェア資源は、上述した複数種類のプロセッサのうちの1つであってもよいし、同種または異種の2つ以上のプロセッサの組み合わせであってもよい。
以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、かつ、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
本明細書において、「A及び/又はB」は、「A及びBのうちの少なくとも1つ」と同義である。つまり、「A及び/又はB」は、Aだけであってもよいし、Bだけであってもよいし、A及びBの組み合わせであってもよい、という意味である。また、本明細書において、3つ以上の事柄を「及び/又は」で結び付けて表現する場合も、「A及び/又はB」と同様の考え方が適用される。
本出願は、2017年10月13日出願の日本出願である特願2017-199485の優先権を主張するものであり、この出願の全内容は参照により本明細書に取り込まれる。また、本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (6)

  1. 被検眼を異なる固視位置で測定して得られた複数の眼軸長を表示する眼軸長表示領域と、複数の異なる型の眼球モデルを表示する眼球モデル表示領域とを有する眼球モデル選択画面の表示を行い、ユーザの指示に基づいて、前記複数の異なる型の眼球モデルの中から一つを選択する工程と、
    選択された眼球モデルに基づいて、被検眼の二次元眼底画像を変換し、三次元眼底画像を生成する工程と、
    前記三次元眼底画像を含む眼底画像表示画面を表示する工程と、
    を含む画像処理方法。
  2. 前記眼球モデル表示領域には、
    前記眼球モデルを示す図形、前記眼球モデルの名称を示す文字列、あるいは、前記図形と前記文字列との組み合わせが表示される
    請求項に記載の画像処理方法。
  3. 前記眼底画像表示画面は、
    前記二次元眼底画像を表示する二次元眼底画像表示領域と、
    前記三次元眼底画像を表示する三次元眼底画像表示領域と、
    を含む請求項1又は請求項2に記載の画像処理方法。
  4. 被検眼を異なる固視位置で測定して得られた複数の眼軸長を表示する眼軸長表示領域と、複数の異なる型の眼球モデルを表示する眼球モデル表示領域とを有する眼球モデル選択画面の表示を行い、ユーザの指示に基づいて、前記複数の異なる型の眼球モデルの中から一つを選択する眼球モデル選択部と、
    選択された眼球モデルに基づいて、二次元眼底画像を変換し三次元眼底画像を生成する生成部と、
    前記三次元眼底画像を含む眼底画像表示画面を表示する表示部と、
    を含む画像処理装置。
  5. コンピュータに、
    被検眼を異なる固視位置で測定して得られた複数の眼軸長を表示する眼軸長表示領域と、複数の異なる型の眼球モデルを表示する眼球モデル表示領域とを有する眼球モデル選択画面の表示を行い、ユーザの指示に基づいて、前記複数の異なる型の眼球モデルの中から一つを選択する手順と、
    選択された眼球モデルに基づいて、二次元眼底画像を変換し三次元眼底画像を生成する手順と、
    前記三次元眼底画像を含む眼底画像表示画面を表示する手順と、
    を含む処理を実行させるためのプログラム。
  6. 眼科撮影装置と、
    被検眼を異なる固視位置で測定して得られた複数の眼軸長を表示する眼軸長表示領域と、複数の異なる型の眼球モデルを表示する眼球モデル表示領域とを有する眼球モデル選択画面の表示を行い、ユーザの指示に基づいて、前記複数の異なる型の眼球モデルの中から一つを選択する手順と、
    選択された眼球モデルに基づいて、前記眼科撮影装置により撮影されることで得られた二次元眼底画像を変換し三次元眼底画像を生成する手順と、
    前記三次元眼底画像を含む眼底画像表示画面を表示する手順と、を含む処理を実行する画像処理装置と、
    を含む眼科システム。
JP2019548246A 2017-10-13 2018-10-11 眼科システム、画像処理方法、画像処理装置及びプログラム Active JP7334621B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023132632A JP2023164834A (ja) 2017-10-13 2023-08-16 眼科システム、画像処理方法、画像処理装置及びプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017199485 2017-10-13
JP2017199485 2017-10-13
PCT/JP2018/037998 WO2019074077A1 (ja) 2017-10-13 2018-10-11 眼科システム、画像信号出力方法、画像信号出力装置、プログラム、及び三次元眼底画像生成方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023132632A Division JP2023164834A (ja) 2017-10-13 2023-08-16 眼科システム、画像処理方法、画像処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2019074077A1 JPWO2019074077A1 (ja) 2020-11-26
JP7334621B2 true JP7334621B2 (ja) 2023-08-29

Family

ID=66100916

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019548246A Active JP7334621B2 (ja) 2017-10-13 2018-10-11 眼科システム、画像処理方法、画像処理装置及びプログラム
JP2023132632A Pending JP2023164834A (ja) 2017-10-13 2023-08-16 眼科システム、画像処理方法、画像処理装置及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023132632A Pending JP2023164834A (ja) 2017-10-13 2023-08-16 眼科システム、画像処理方法、画像処理装置及びプログラム

Country Status (3)

Country Link
US (1) US11900533B2 (ja)
JP (2) JP7334621B2 (ja)
WO (1) WO2019074077A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019016319A1 (en) * 2017-07-19 2019-01-24 Charité Universitätsmedizin Berlin METHOD FOR ESTIMATING FAPEA SHAPE PARAMETERS BY OPTICAL COHERENCE TOMOGRAPHY
WO2019026861A1 (ja) * 2017-08-01 2019-02-07 株式会社ニコン 画像信号出力装置及び方法、画像データ変換装置及び方法、およびプログラム
US20230000337A1 (en) * 2019-10-25 2023-01-05 Nikon Corporation Image processing method, image processing device, and program
KR102464056B1 (ko) * 2021-09-10 2022-11-09 가톨릭대학교 산학협력단 Mri 영상과 oct 영상의 병합을 이용한 안구 및 시신경의 3차원 모델링 방법
SE2151198A1 (en) * 2021-09-30 2023-03-31 Tobii Ab Gaze defect compensation

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000210260A (ja) 1999-01-22 2000-08-02 Mitsubishi Electric Corp 眼底画像システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3625064B2 (ja) 2002-06-28 2005-03-02 独立行政法人理化学研究所 眼底の立体表示および座標計測装置
JP4527471B2 (ja) * 2004-08-24 2010-08-18 独立行政法人理化学研究所 3次元眼底画像の構築・表示装置
JP5601613B2 (ja) * 2010-07-05 2014-10-08 株式会社ニデック 眼底撮影装置
JP5794664B2 (ja) * 2011-01-20 2015-10-14 キヤノン株式会社 断層画像生成装置及び断層画像生成方法
JP5728302B2 (ja) * 2011-06-14 2015-06-03 キヤノン株式会社 眼科装置、眼科システム、眼科装置の制御方法、及び該制御方法のプログラム
JP5935146B2 (ja) * 2011-08-30 2016-06-15 大日本印刷株式会社 眼科疾患の画像解析装置、眼科用画像解析方法及び眼科用画像解析プログラム
US8992232B2 (en) * 2011-09-20 2015-03-31 Orca Health, Inc. Interactive and educational vision interfaces
GB201307990D0 (en) 2013-05-02 2013-06-12 Optos Plc Improvements in and relating to imaging of the eye
JP6444666B2 (ja) * 2014-09-08 2018-12-26 株式会社トプコン 眼科撮影装置および眼科情報処理装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000210260A (ja) 1999-01-22 2000-08-02 Mitsubishi Electric Corp 眼底画像システム

Also Published As

Publication number Publication date
JPWO2019074077A1 (ja) 2020-11-26
WO2019074077A1 (ja) 2019-04-18
US11900533B2 (en) 2024-02-13
US20200258295A1 (en) 2020-08-13
JP2023164834A (ja) 2023-11-14

Similar Documents

Publication Publication Date Title
JP7334621B2 (ja) 眼科システム、画像処理方法、画像処理装置及びプログラム
US9980643B2 (en) Ophthalmologic apparatus
JP5058627B2 (ja) 眼底観察装置
US7980697B2 (en) Fundus oculi observation device and ophthalmic image display device
JP4971872B2 (ja) 眼底観察装置及びそれを制御するプログラム
EP2786700B1 (en) Ophthalmologic apparatus
JP7057186B2 (ja) 眼科装置、及び眼科情報処理プログラム
JP2007275375A (ja) 眼科装置
US10561311B2 (en) Ophthalmic imaging apparatus and ophthalmic information processing apparatus
JP7466607B2 (ja) スリットランプ顕微鏡
JP7381671B2 (ja) スリットランプ顕微鏡
JP7321678B2 (ja) スリットランプ顕微鏡及び眼科システム
EP3430975B1 (en) Ophthalmic device
JP7154044B2 (ja) スリットランプ顕微鏡及び眼科システム
JP7345594B2 (ja) スリットランプ顕微鏡及び眼科システム
JP2022109721A (ja) 画像処理方法、画像処理装置、及びプログラム
WO2023090023A1 (ja) 眼科装置、眼科装置の制御方法、及びプログラム
JP2023033406A (ja) 眼科装置
JP2022060588A (ja) 眼科装置、及び眼科装置の制御方法
JP7163921B2 (ja) 画像信号出力装置及び方法、画像データ変換装置及び方法、およびプログラム
JP2018015020A (ja) 眼科装置
JP2018015019A (ja) 眼科装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200318

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220614

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220805

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221006

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230117

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230414

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230718

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230731

R150 Certificate of patent or registration of utility model

Ref document number: 7334621

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150