JP2022033344A - Oct網膜画像データレンダリング方法及びoct網膜画像データレンダリング装置 - Google Patents

Oct網膜画像データレンダリング方法及びoct網膜画像データレンダリング装置 Download PDF

Info

Publication number
JP2022033344A
JP2022033344A JP2022001438A JP2022001438A JP2022033344A JP 2022033344 A JP2022033344 A JP 2022033344A JP 2022001438 A JP2022001438 A JP 2022001438A JP 2022001438 A JP2022001438 A JP 2022001438A JP 2022033344 A JP2022033344 A JP 2022033344A
Authority
JP
Japan
Prior art keywords
oct
coordinate system
image data
coordinates
retinal image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022001438A
Other languages
English (en)
Other versions
JP7251028B2 (ja
Inventor
アラン ダンカン フレミング
Duncan Fleming Alan
ゴンザロ ムヨ
Muyo Gonzalo
マイケル フェルフーク
Verhoek Michael
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Optos PLC
Original Assignee
Optos PLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optos PLC filed Critical Optos PLC
Publication of JP2022033344A publication Critical patent/JP2022033344A/ja
Application granted granted Critical
Publication of JP7251028B2 publication Critical patent/JP7251028B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A61B3/1225Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes using coherent radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • A61B5/0066Optical coherence imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/005Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/18Image warping, e.g. rearranging pixels individually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10101Optical tomography; Optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Processing (AREA)

Abstract

【課題】視野の幅にかかわらず、またはスキャンの位置が網膜の中心であるか、または網膜の周辺であるかにかかわらず、網膜のOCT画像の幾何学的に正確なレンダリングを生成する。【解決手段】第1の座標系における座標から第2の座標系における座標への変換を用いて、受信されたOCT網膜画像における画素の第2の座標系における座標の値を決定し、第2の座標系における座標の決定された値の間で補間して、第1の座標系における画素アレイにおける画素の座標の値を計算し、第1の座標系における画素アレイにおける画素の座標の計算された値を使用して、受信されたOCT網膜画像データの画素の値の間で補間して、画素アレイにおける画素の値を計算する、ことで、受信されたOCT網膜画像データを使用して画素アレイを処理して、レンダリングされたOCT網膜画像データを生成する。【選択図】図1

Description

本発明は、画像処理の分野に関し、より詳細には、幾何学的歪みを低減するための網膜の光コヒーレンストモグラフィ画像のレンダリングに関する。
網膜の光コヒーレンストモグラフィ(OCT: Optical coherence tomography)は、網膜の(撮像平面内)2次元トモグラフィ又は3次元画像を生成することができる。このような画像は、網膜、視神経乳頭、及び眼の他の構造の内部構造を観察するために、臨床的に広く使用されている。
OCTスキャナは、網膜層の厚さの測定を行い、浮腫、網膜剥離、黄斑孔、及び腫瘍などの異常を観察するために使用することができる。OCTスキャナは、従来、ある範囲の偏向角にわたってレーザビームをスキャンすることによって、眼の領域にわたって画像を生成する。例えば、ビームを名目上水平方向及び垂直方向に偏向するように構成された2つのビーム偏向装置があってもよい。
レーザビームが網膜を貫通するときにレーザビームの瞬間的な位置で得られるデータは、Aスキャンとして知られている。このような装置からの画像は、従来、Aスキャンデータを整列させて2次元または3次元画像を生成することによって生成される。各Aスキャンのタイミングと、キャプチャされたデータがレンダリングされる画素座標との間には、従来、線形関係がある。
国際公開2014/053824 A1
上記で概説した従来の画像レンダリングは、(1)網膜上のレーザビームの入射角がスキャン処理中に変化し、(2)撮像デバイスの光学系に非線形性があり、かつ(3)眼の光学特性に空間的及び角度的変動があるので、実際の網膜の幾何学的に真の(すなわち、角度を保存して等角スケーリングされた)画像を生成しない。レンダリングされた位置とキャプチャ時間との間の線形関係でレンダリングされた画像は、いくらかの歪みを含むことになる。眼の後極で網膜の狭い視野を撮像する場合、そのような歪みは無視できるほど十分に小さいことがある。しかし、網膜のより広い視野、または後極から離れて変位した視野を撮像する場合、そのようなナイーブな画像レンダリングから生じる幾何学的歪みは、重大であり得る。
本発明の発明者らは、視野の幅にかかわらず、またはスキャンの位置が網膜の中心であるか、または網膜の周辺であるかにかかわらず、網膜のOCT画像の幾何学的に正確なレンダリングを生成する手段を考案した。
より詳細には、本発明者らは、スキャン位置の範囲にわたって眼の網膜をスキャンするOCTスキャナによって取得されたOCT網膜画像データをレンダリングする方法を考案し、スキャン位置のそれぞれは、第1の座標系(「キャプチャ座標系」)内のそれぞれの座標に関連付けられ、レンダリングされたOCT網膜画像データの各画素は、第1の座標系とは異なる第2の座標系(「レンダリング座標系」)内のそれぞれの座標に関連付けられる。この方法は、OCTスキャナによって取得されたOCT網膜画像データを受信し、第1の座標系における座標から第2の座標系における座標への変換を使用して、受信されたOCT網膜画像における画素の第2の座標系における座標の値を決定し、レンダリングされたOCT網膜画像データの画素の値を計算するために、第2の座標系における座標の決定された値における画素の値の間を補間する。
本発明者らはさらに、スキャン位置の範囲にわたって眼の網膜をスキャンするOCTスキャナによって取得されたOCT網膜画像データをレンダリングする方法を考案した。スキャン位置のそれぞれは、第1の座標系におけるそれぞれの座標に関連付けられ、レンダリングされたOCT網膜画像データの各画素は、第1の座標系とは異なる第2の座標系におけるそれぞれの座標に関連付けられる。この方法は、OCTスキャナによって取得されたOCT網膜画像データを受信し、第1の座標系における座標から第2の座標系における座標への変換を使用して受信されたOCT網膜画像における画素の第2の座標系における座標の値を決定し、第1の座標系における画素アレイにおける画素の座標の値を計算するために、第2の座標系における座標の決定された値の間を補間し、第1の座標系における画素アレイの画素の計算された座標値を使用して、画素アレイにおける画素の値を計算するために、受信されたOCT網膜画像データの画素の値の間を補間することで、受信されたOCT網膜画像データを使用して画素アレイを処理してレンダリングされたOCT網膜画像データを生成する。
本発明者らはさらに、スキャン位置の範囲にわたって眼の網膜をスキャンするOCTスキャナによって取得されたOCT網膜画像データをレンダリングする方法を考案した。スキャン位置のそれぞれは、第1の座標系におけるそれぞれの座標に関連付けられ、レンダリングされたOCT網膜画像データの各画素は、第1の座標系とは異なる第2の座標系におけるそれぞれの座標に関連付けられる。この方法は、OCTスキャナによって取得されたOCT網膜画像データを受信し(S10)、第2の座標系における座標から第1の座標系における座標への変換を使用して第1の座標系におけるそれぞれの座標を決定し、受信されたOCT網膜画像データの画素の値の間を補間するために第1の座標系における決定された座標を使用することによって画素アレイの画素の値を計算する、ことで、受信されたOCT網膜画像データを使用して画素アレイを処理して、レンダリングされたOCT網膜画像データを生成する。
本発明者らはさらに、コンピュータによって実行されると、コンピュータに上述の方法のうちの1つまたは複数を実行させる、非一時的コンピュータ可読記憶媒体またはコンピュータプログラム命令を搬送する信号を考案した。
本発明者らはさらに、スキャン位置の範囲にわたって眼の網膜をスキャンするOCTスキャナによって取得されたOCT網膜画像データをレンダリングするための装置を考案した。スキャン位置のそれぞれは、第1の座標系におけるそれぞれの座標に関連付けられ、レンダリングされたOCT網膜画像データの各画素は、第1の座標系とは異なる第2の座標系におけるそれぞれの座標に関連付けられる。この装置は、OCTスキャナによって取得されたOCT網膜画像データを受信するように構成された通信モジュールと、第1の座標系における座標から第2の座標系における座標への変換を使用して、受信されたOCT網膜画像における画素の第2の座標系における座標の値を決定するように構成された座標決定モジュールとを備える。装置は、レンダリングされたOCT網膜画像データの画素の値を計算するために、第2の座標系における決定された座標値における画素の値の間を補間するように構成された補間モジュールをさらに備える。
本発明者らはさらに、スキャン位置の範囲にわたって眼の網膜をスキャンするOCTスキャナによって取得されたOCT網膜画像データをレンダリングするための装置を考案した。スキャン位置のそれぞれは、第1の座標系におけるそれぞれの座標に関連付けられ、レンダリングされたOCT網膜画像データの各画素は、第1の座標系とは異なる第2の座標系におけるそれぞれの座標に関連付けられる。この装置は、OCTスキャナによって取得されたOCT網膜画像データを受信するように構成された通信モジュールと、第1の座標系における座標から第2の座標系における座標への変換を使用して、受信されたOCT網膜画像における画素の第2の座標系における座標の値を決定するように構成された座標決定モジュールとを備える。装置は、第1の座標系における画素アレイ内の画素の座標の値を計算するために第2の座標系における座標の決定された値の間で補間することと、画素アレイ内の画素の値を計算するために受信されたOCT網膜画像データの画素の値の間で補間するために第1の座標系における画素アレイ内の画素の座標の計算された値を使用することと、によって、レンダリングされたOCT網膜画像データを生成するために受信されたOCT網膜画像データを使用して画素アレイを処理するように構成された補間モジュールをさらに備える。
本発明者らはさらに、スキャン位置の範囲にわたって眼の網膜をスキャンするOCTスキャナによって取得されたOCT網膜画像データをレンダリングするための装置を考案した。スキャン位置のそれぞれは、第1の座標系におけるそれぞれの座標に関連付けられ、レンダリングされたOCT網膜画像データの各画素は、第1の座標系とは異なる第2の座標系におけるそれぞれの座標に関連付けられる。この装置は、OCTスキャナによって取得されたOCT網膜画像データを受信するように構成された通信モジュールと、レンダリングされたOCT網膜画像データを生成するように処理されるべき画素アレイの各画素について、第2の座標系における座標から第1の座標系における座標への変換を使用して、第1の座標系におけるそれぞれの座標を決定するように構成された座標決定モジュールとを備える。この装置は、第1の座標系において決定された座標を用いて画素アレイの画素の値間を補間することによって、画素アレイの画素の値を計算するように構成された補間モジュールをさらに備える。
本発明の第1の実施形態による、OCT網膜画像データをレンダリングするための装置の概略図である。 実施形態に係るOCT網膜画像データ描画装置のハードウェア構成の一例を示すブロック図である。 図3は、第1の実施形態によるOCT網膜画像データをレンダリングする方法を示す流れ図である。 図3の処理S20の詳細を示すフローチャートである。 第1の実施形態の変形例による、OCT網膜画像データをレンダリングするための装置の概略図である。 変形例によるOCT網膜画像データをレンダリングする方法を示す流れ図である。 本発明の第2の実施形態による、OCT網膜画像データをレンダリングするための装置の概略図である。 第2の実施形態によるOCT網膜画像データをレンダリングする方法を示す流れ図である。 本発明の第3の実施形態によるOCT網膜画像データをレンダリングするための装置の概略図である。 第3の実施形態によるOCT網膜画像データをレンダリングする方法を示す流れ図である。
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
以下の表記は、以下に提供される実施形態の説明において使用される。
本明細書で説明されるOCTスキャナの構成は、スキャンパラメータH、V、及びDによって定義され、H及びVは、水平及び垂直スキャン位置または制御信号であり、Dは、光路距離である。これらのパラメータに関するOCTスキャナの構成は、(H、V、D)で示される。
本明細書に記載のOCT網膜画像データをレンダリングするための装置によって受信されるキャプチャされた画像データはIcapと表され、キャプチャされた画像の画素座標系における画素座標は、(x、y、z)と表される。
レンダリング画像データをIrenとし、レンダリング画像の画素座標系における画素座標を(X、Y、Z)とする。
いくつかの実施形態でシステムモデリングに使用される実世界座標系は(A、B、C)で表され、画像レンダリングに使用される実世界座標系は(A’、B’、C’)で表され、デカルト座標系または球座標系を例にとる。
上記の座標系のそれぞれについて、下付き文字「cap」及び「ren」は、キャプチャされた(cap)またはレンダリングされた(ren)画素のそれぞれの座標系における座標の値を示すために、以下に提供される実施形態の説明において使用される。例えば、キャプチャ画像における画素の座標系(A’、B’、C’)を用いて表現される座標値を(A’cap,B’cap,C’cap)とする。また、レンダリングされた画像の画素座標系における画素座標(x、y、z)の値を(xren,yren,zren)とする。
[第1実施形態]
図1は、本発明の第1の実施形態による、OCT網膜画像データをレンダリングするための装置100-1の概略図である。装置100-1によって処理されるOCT網膜画像データは、当業者に知られている任意の適切なOCTスキャナによって取得することができ、OCTスキャナは、それが実行するOCTスキャンの過程中にOCT網膜画像データを取得し、スキャンは、患者の眼のスキャン位置の範囲をカバーする。
OCTスキャナは、例えば、特許文献1に記載されているように、スキャンレーザ検眼鏡(SLO: scanning laser ophthalmoscope)とOCTイメージングシステムとを組み合わせた形態で提供することができ、その内容は、その全体が参照により本明細書に組み込まれる。記載された広視野SLO-OCT撮像システムは、それぞれの回転軸の周りで独立して回転して、超発光ダイオード(SLD: superluminescent diode)などの光源からの平行光のサンプルビームを異なるスキャン軸に沿って偏向させて、網膜の表面及びその内部の「スライス」の2次元スキャンを実行することができる2つのスキャン要素を備える。スキャン軸は、一般的には直交しており、水平軸(H軸)及び垂直軸(V軸)を含む。光源から網膜までの光路距離Dの複数の値のそれぞれについて、OCTスキャナは、網膜からのサンプルビームの反射を参照ビームと干渉させ、スキャンによってカバーされる複数の2次元スキャン位置のそれぞれについて、干渉されたビームの強度を測定する。
これらのスキャン位置の各々は、それぞれのスキャン位置を示す対応するOCTスキャンパラメータ値に関連付けられる。より詳細には、例えば、H軸またはV軸に沿って1次元スキャンが実行される場合、H軸(または、場合によってはV軸)に沿った各スキャン位置は、H軸(または、場合によってはV軸)に沿ってサンプルビームをスキャンするスキャン要素の対応する偏向角などのスキャン位置を示すスキャンパラメータH(または、場合によってはV)の値、スキャン要素にそのような偏向角を達成させるための制御信号、またはOCTスキャナの同様の動作パラメータに関連付けられる。偏向角は、例えば、較正または光学システムモデリングから測定または決定することができる。拡張により、2次元スキャンがH軸及びV軸の両方に沿って実行される場合、各スキャン位置は、2つのスキャン要素の対応する偏向角(較正または光学システムモデリングから測定されるか、または決定される)、スキャン要素にそのような偏向角を達成させるための制御信号など、そのスキャン位置を示すスキャンパラメータ値のそれぞれの対に関連付けられる。
したがって、OCTスキャナは、H及びVのそれぞれの値によって表される各2次元スキャン位置について、網膜の深さ方向に(すなわち、ビームの方向に沿ったDの異なる値で)複数のOCT測定値を取得し、(Hの任意の所与の値及びVの任意の所与の値について取得された)OCT測定値の各セットは、上述のように、「Aスキャン」と広く呼ばれている。OCTスキャナは、2次元スキャン軸の1つに沿った点(例えば、指定されたH軸に沿った方向)で複数のAスキャンを取得することによって、広く「Bスキャン」と呼ばれているものを取得することができ、残りの2次元スキャン軸(この例では、指定されたV軸)に沿った点で複数のBスキャンを取得することによって、「Cスキャン」として知られているものを取得することができる。
以下に説明する画像処理動作は、OCTスキャナによって取得された各測定強度値(すなわち、画素値)と、スキャン中に測定が行われた位置を示すOCTスキャンパラメータ値の対応するセットとの間の既知の関係を利用する。すなわち、OCT網膜画像データ内の各画素値は、OCTスキャナの機械座標系内のそれぞれの座標に関連付けられ、この座標系は、Hの値及び/またはVの値と組み合わせたDの値によって定義され、画素値が測定されたときに、この値に従ってOCTスキャナが動作していたであろう。この関係がどのように決定され得るかの例は、以下に提供されるように決定され得る。
以下に説明する網膜画像処理動作は、Cスキャン(各データ要素が測定値及び3次元空間内の関連する点を含む)の取得中に取得される4次元データセットの形で提供されるOCT網膜画像データだけでなく、Bスキャン(各データ要素が測定値及び2次元空間内の関連する点を含む)に関連する3次元データセットの処理にも関する。Bスキャンの3次元データセットは、網膜を通るスライスの2次元画像を定義する画素の2次元アレイを表すと考えることができ、一方、Cスキャンデータの4次元データセットは、網膜の3次元画像を定義するボクセルの3次元アレイを表すと考えることができる。以下に説明する画像処理方法は、この生の2次元/3次元画像を幾何学的に真のレンダリングに変換することができ、このレンダリングから、より正確な測定を行うことができる。
装置100-1は、OCTスキャナによって取得されたOCT網膜画像データを受信するように動作可能な通信モジュール110を備える。OCT網膜画像データは、本実施形態のように、OCTスキャナによって取得された後、任意の適切な記憶媒体(例えば、CDまたはDVD、またはコンピュータハードディスクなど)に格納され、その後、コンピュータが記憶媒体からOCT網膜画像データを読み取るとき、またはその後、コンピュータなどから(直接、または、例えば、ローカルエリアネットワーク(LAN)またはインターネットなどのネットワークを介して)受信されてもよい。あるいは、OCT網膜画像データは、網膜スキャンの実行中に取得されるので、OCTスキャナから直接受信されてもよい。
以下でさらに説明するように、スキャン位置のそれぞれは、本実施形態のように(A、B、C)で示される第1の実世界座標系であってもよく、OCTスキャナ内の光の伝播をモデル化する際に使用される第1の座標系(本明細書では「キャプチャ座標系」とも呼ばれる)内の座標値によって定義されるそれぞれの点に関連付けられる。さらに、レンダリングされたOCT網膜画像データの各画素は、本実施形態のように、(A’、B’、C’)で示される別の実世界座標系である第2の座標系(ここでは「レンダリング座標系」とも呼ばれる)の座標値によって定義されるそれぞれの点に関連付けられてもよい。実世界座標系の例は、座標が従来(x、y、z)で表されるデカルト座標系、及び座標が従来(r、θ、φ)で表される球座標系である。
装置100-1は、第1の座標系における座標と第2の座標系における座標との間の変換を使用して、受信されたOCT網膜画像における画素の第2の座標系における座標の値を決定するように構成された座標決定モジュール120-1をさらに備える。座標決定モジュール120-1は、本実施形態のように、(i)OCT網膜画像データの取得中に使用されるOCTスキャンパラメータ値の少なくとも1つのセット(各OCTスキャンパラメータ値セットは、スキャン内のそれぞれの位置を示す)と、(ii)OCTスキャンパラメータ値の少なくとも1つのセットに対応する第1の座標系内の座標(複数可)との間のマッピングだけでなく、前記変換も使用して、受信されたOCT網膜画像内の画素の第2の座標系内の座標値を決定するように構成することができる。座標決定モジュール120-1が、そのような変換及びマッピングを使用して、受信されたOCT網膜画像内の画素の第2の座標系内の座標の値をどのように決定することができるかの例を、以下で説明する。
装置100-1は、レンダリングされたOCT網膜画像データ(一般的には、第2の座標系において規則的に離間され、点のグリッドを定義するように分散される)の画素の値を計算するために、座標決定モジュール120-1(一般的には、第2の座標系において不規則に離間される)によって決定される第2の座標系における座標の値における画素の値の間を補間するように構成される補間モジュール130-1をさらに備える。すなわち、補間モジュール130-1は、画素アレイの画素の値を計算するために座標決定モジュール120-1によって決定された第2の座標系における座標における画素の値の間を補間することによってレンダリングされたOCT網膜画像データを生成するために、受信されたOCT網膜画像データを使用して画素アレイを処理するように構成され、それによってレンダリングされたOCT網膜画像データを生成する。この補間処理のさらなる詳細もまた、以下で提供される。
図2は、装置100-1がプログラマブル信号処理ハードウェアにおいてどのように実装され得るかの例を示す。図2に示す信号処理装置200は、OCTスキャナにより取得されたOCT網膜画像データを受信し、信号処理装置や外部装置により表示又は処理されるように、レンダリングされたOCT網膜画像データを出力する通信インタフェース(I/F)210を備えている。信号処理装置200は、プロセッサ(CPU)220と、作業メモリ230(例えばランダムアクセスメモリ)と、コンピュータ可読命令を格納する命令ストア240とをさらに備え、コンピュータ可読命令は、プロセッサ220によって実行されると、プロセッサ220に、受信されたOCT網膜画像データをレンダリングするために(すなわち、受信されたOCTデータを処理して、OCTデータを生成するためにスキャンされた網膜の部分の2次元または3次元画像を表す画像データを生成するために)、以下で説明される処理動作をプロセッサ220に行わせる。命令ストア240は、コンピュータ可読命令が予めロードされたROM (例えば、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)またはフラッシュメモリの形態の)を備えることができる。あるいは、命令ストア240は、RAMまたは同様のタイプのメモリを備えることができ、コンピュータ可読命令は、CD-ROMなどのコンピュータ可読記憶媒体250、またはコンピュータ可読命令を搬送するコンピュータ可読信号260などのコンピュータプログラム製品から入力することができる。しかし、本明細書で説明される実施形態の装置は、代替的に、特定用途向け集積回路(ASIC)などの非プログラマブルハードウェアで実装されてもよいことに留意されたい。
本実施形態では、通信I/F 210は、図1に示す通信モジュール110の機能を実行するように構成され、一方、プロセッサ220、作業メモリ230、及び命令ストア240を含む図2に示すハードウェア構成要素の組合せ270は、座標決定モジュール120-1及び補間モジュール130-1の機能を実行するように構成され、これらについては、図3及び図4を参照して以下で詳細に説明する。
図3は、装置100-1がOCT網膜画像データをレンダリングして、網膜のスキャンされた部分の幾何学的に真の(すなわち、角度を保存して等角スケーリングされた)画像を生成する処理を示す流れ図である。
処理S10において、通信モジュール110は、OCTスキャナにより取得されたOCT網膜画像データを受信する。本実施形態では、受信データは、網膜から反射された干渉サンプル光がOCTスキャナの基準アームからの光と干渉することによって生成される干渉信号の強度を示す画素値を含む。
一例として、本実施形態では、OCTスキャナによってキャプチャされた2次元(Bスキャン) OCT画像Icapを表すOCT網膜画像データは、通信モジュール110によって受信される。しかし、上述したように、OCTスキャナによって取得された3次元(Cスキャン) OCT画像を表すOCT網膜画像データが、通信モジュール110によって受信されてもよい。受信されたOCT網膜画像データの各列は、Aスキャンに対応し、それぞれH及びVについて既知の一定値を有する。H及びVについてのこれらの値は、キャプチャされた画像Icapの関連する画素値と共に通信モジュール110によって受信されてもよく、これにより、装置100-1は、H及びVについてのそれぞれの受信された値に関連付けて受信された画素値を格納することができる。あるいは、通信モジュール110は、受信された画像データの画素座標系における画素の画素位置(これらの画素位置は、画素座標系における座標x、y及びzによって表される)と、OCT網膜画像データを取得したOCTスキャナに関する事前に格納された較正データとに基づいて、各画素のH値及びV値を決定する、以下で説明する画像レンダリングアルゴリズムを用いて、画素値だけを受信してもよい。この場合、較正データは、H値及びV値の各々と画像データの画素位置の各々とを関連付ける。座標zcは、レーザ光線の向きに対応する画像軸に沿った座標を表し、x及びyは、その画像軸に直交する軸に沿った座標を表す。
処理S20において、座標決定モジュール120-1は、第1の座標系における座標から第2の座標系における座標への変換を使用して、受信されたOCT網膜画像における画素の第2の座標系における座標の値を決定する。座標決定モジュール120-1は、本実施形態のように、この処理において、OCT網膜画像データの取得中に使用されるOCTスキャンパラメータ値の少なくとも1つのセットと、OCTスキャンパラメータ値の少なくとも1つのセットに対応する第1の座標系(A、B、C)内の座標(複数可)との間のマッピングを使用することもできる。
このマッピングは、OCTスキャナと仮定された眼モデルとの組み合わせモデルと共に、光学システムモデリングを使用して、レーザビームスキャン要素に対して設定された偏向角の範囲について、OCTスキャナから網膜までの光線の経路を見つけることによって導き出すことができる。仮定される眼モデルは、固定された幾何学的形状及び寸法の特定の理想化された眼、または眼科生体データから特定の眼についてパラメータが導出されるパラメータ化されたモデルなど、様々な方法で定義することができる。光学系モデリングの終点は、OCTスキャンパラメータH、V、及びDの値と、第1の(実世界)座標系(A、B、C)における座標の対応する値との間のマッピングである。光学システムモデリングは、OCTスキャナの光学構造の知識、及び/または人工ターゲットの構造の知識、及びOCTスキャナによって結像されるときに得られる画像に基づくことができる。
光学システムモデリングを使用して、パラメータH及びVの可能な値(すなわち、可能な光線)について、以下のデータを決定することができる。
1.光線が網膜に当たる現実世界座標の値。
2.眼の硝子体内の光線の、現実世界の座標におけるベクトルとしての方向。
3.光エミッタから光線と網膜との交点までの光路距離(D)として知られる距離。
しかしながら、上記のデータの全てが光学システムモデリングにおいて得られる必要はなく、光学システムモデリングの結果は、多くの異なる形態で表すことができることに留意されたい。
OCTスキャンパラメータDの値と、画素座標系における対応する座標zとの間のマッピングに関して、これは、以下のように決定することができる。
Dの値は、zの所与の値を有するすべての画素に対して一定であり、zcap方向における画素間の間隔は、実距離単位で知られている。したがって、D=(z-z1)*pであり、ここで、pは、z方向における画素間間隔に等しい既知の値であり、z1は、決定される必要があるオフセットである。z1の値は、多くの異なる方法のうちの1つで決定することができる。
例えば、受信したOCT網膜画像データ内の画素値を(例えば、コンピュータ画像解析によって)解析して網膜の層を検出することができ、網膜のこの層における画像列のサブセットのzの値を見つけることができる。この検出された層に沿った点において、Dの値は、光学システムモデリングの出力から既知であると仮定される。これにより、z1の推定値を決定することができる。
代替として、z1は、OCTスキャナの制御システムからの情報を使用することによって決定されてもよい。基準アーム内の光路長は、装置によって正確に制御され、したがって、位置制御パラメータとz1との間には既知の関係がある。この関係は、OCTスキャナの設計の知識から決定することができ、または較正から得ることができる。
しかし、z1は、上記(または他の)方法のいずれかによって明示的に決定される必要はなく、zcapのそれぞれの値に対するDの値の決定であり、したがって、OCTスキャンパラメータH、V、及びDの値と、好ましくは得られる対応する座標(x、y、z)との間の写像であることに留意されたい。
OCT網膜画像データ画素の座標を第1の座標系から第2の座標系に再投影するために、座標決定モジュール120-1は、図4を参照して以下に説明するように、OCTスキャンパラメータH、V及びDの値と対応する座標(x、y、z)との間の決定された第1のマッピングと、OCTスキャンパラメータH、V及びDの値と第1の実世界座標系(A、B、C)における対応する座標との間の決定された第2のマッピングとを使用する。
図4は、座標決定モジュール120-1が、受信されたOCT網膜画像データの画素の第2の座標系における座標値をどのように決定することができるかの一例を示す流れ図である。
処理S21で、受信したOCT網膜画像データの第1画素を選択する。次いで、処理S22で、座標決定モジュール120-1は、現在の反復において考慮されている第1の画素について、上述の第1のマッピングを使用して、OCTスキャンパラメータH、V、及びDの対応する値を決定する。処理S23で、これらのスキャンパラメータ値は、OCTスキャンパラメータの値と上述の第1の実世界座標系(A、B、C)における対応する座標との間の(第2の)マッピングを使用して、第1の実世界座標系(A、B、C)における座標の対応する値に変換される。すなわち、受信されたOCT網膜画像データ内の画素の実世界座標の値は、画像レンダリング処理のこの段階で決定される。
光学システムモデリングの出力で利用可能なデータに応じて、画素の実世界座標の計算を簡略化することができる。例えば、眼の硝子体内の光線の方向が実世界座標系におけるベクトルとして知られている実施形態の変形例では、上記の反復は、各画像列(Aスキャン)内の1つの画素のみに対して実行することができる。次に、第1の実世界座標系(Acap、Bcap、Ccap)における画素の座標値は、列内の画素にわたって繰り返し、画素間距離(既知)によってスケーリングされた光線の方向ベクトルを加算することによって、列内の残りの画素について計算することができる。
第2の実世界座標系(A’、B’、C’)は、OCT網膜画像データをレンダリングするために選択される。この選択は、様々な方法で知らされるか、または達成され得る。例えば、複数の画像キャプチャイベントにわたって一般的であるか、または別のキャプチャイベントで使用されるものと同じ、デカルト座標系または球座標系が選択され得る。これは、例えば、(a)現在の画像と別の画像とのユーザによる比較を容易にするために、または(b)現在の画像と別の画像とを使用する疾患変化検出または画像位置合わせのための自動システムによる比較を容易にするために、適切であり得る。あるいは、キャプチャされたデータと何らかの最適な方法で位置合わせされたデカルト座標系または球座標系を使用することができる。第2の座標系(A’、B’、C’)の軸のうちの1つ以上は、キャプチャされたデータの軸のうちの1つ以上と密接に整列されてもよい。例えば、デカルト座標系を使用する場合、1つの軸は、何らかの最適な方法で、スキャン方向Hと整列し、別の軸は、何らかの最適な方法で、スキャン方向Vと整列することができ、あるいは、球面座標系を使用する場合、半径方向軸は、Dが測定される光伝播方向と整列することができる。
第2の実世界座標系(A’、B’、C’)を決定するためにどのような方法が使用されようとも、第1及び第2の実世界座標系(A、B、C)と(A’、B’、C’)との間に既知の関係が存在しなければならず、その結果、座標値を一方から他方に変換するための変換(A、B、C)が存在する。例えば、このステップは、変換が行列乗算によって実行され得るように、均質化された行列Pの計算を必要とし得る。
(A’, B’, C’, 1) = P(A, B, C, 1)
画像レンダリングのために、レンダリングされた画像を生成するために処理されるべき画素配列内の画素の画素座標値(Xren、Yren、Zren)の範囲、及び第2の実世界座標系(A’、B’、C’)とレンダリングされた画素格子座標(X、Y、Z)との間の線形写像が選択される。画素座標の各セットは、単に、画素アレイ/グリッド内の画素の位置を識別するインデックスの(整数)値のセット、または任意の適切な1対1マッピングによって導出される値のセットであってもよい。範囲を選択する1つの方法は、第2の実世界座標系(A’、B’、C’)において、キャプチャされた画像データのそれぞれの軸において、座標min(A’cap)、max(A’cap)、min(B’cap)、max(B’cap)、min(C’cap)、max(C’cap)の最小値及び最大値を採ることである。上記の線形写像が、隣り合うキャプチャ画素に対応するXcap、Ycap、及びZcapの間の間隔の平均がそれぞれの次元においてほぼ一致するように選択される場合、キャプチャされた情報は、レンダリングされた画像において良好にレンダリングされることになる。
処理S24において、第1の実世界座標系(A, B, C)における画素の決定された座標値(Acap、Bcap、Ccap)は、上述の変換(A, B, C)←→(A’, B’, C’)を用いて、第2の実世界座標系(A’, B’, C’)における対応する座標値(A’cap, B’cap, C’cap)に変換される。
処理S25において、座標決定モジュール120-1は、受信した網膜画像データ内の画素のすべて(または指定された関心サブセット)が処理されたかどうかを決定する。そうでない場合、処理S26で次の画素が選択され、処理は処理S22にループバックする。一方、処理S25において、処理すべき画素が存在しないと判定された場合、S20の処理は終了し、処理は図3のS30に進む。このようにして、受信されたOCT網膜画像データの画素は、第1の実世界座標系におけるそれぞれの座標を決定するために反復的に処理され、次いで、これらの座標を第2の実世界座標系に再投影する。このようにして決定された第2の実世界座標系(A’, B’, C’)における座標(A’cap, B’cap, C’cap)の値は、概して、この座標系において不規則に離間される。
図3を再度参照すると、処理S30において、補間モジュール130-1は、第2の座標系(A’、B’、C’)における座標(A’cap,B’cap,C’cap)の決定された値における画素の値の間を補間して、レンダリングされたOCT網膜画像データを形成する画素の値(座標値(A’ren,B’ren,C’ren)を算出する。
すなわち、レンダリングされたOCT画像データ(便宜上、本明細書では単にレンダリングされたOCT網膜画像データの画素と呼ぶ)を生成するために処理されるべき画素配列の画素について、第2の実世界座標系における規則的に間隔を置いた座標(A’ren,B’ren,C’ren)におけるレンダリングされたOCT網膜画像データの画素の輝度値Irenは、第2の実世界座標系に投影された受信されたOCT網膜画像データIcapの画素の非規則的に間隔を置いた座標(A’cap,B’cap,C’cap)で既知の値の間を補間することで決定される。これを行うために、補間モジュール130-1は、散乱補間を実行する。規則的な間隔の位置で値が既知であり、その間の位置で値を見つけることが簡単である規則的な補間とは異なり、散乱補間の場合、値は、不規則な間隔の位置でのみ既知であり、これらから規則的な間隔の位置で値を見つけることは、より困難である。それにもかかわらず、そのようなデータに対して補間を実行する方法は周知であり、デローニー三角測量及び薄板スプラインに基づくような三角測量ネットワークを含む。
上述の実施形態の変形例では、Aスキャンの受信OCT網膜画像データ内の第2の実世界座標系内の画素の座標は、処理S20において、変換(A, B, C)←→(A’, B’, C’)と、Aスキャンの受信OCT網膜画像データ内の第1の画素の第2の実世界座標系内の座標を決定するための第1のマッピングとを使用することによって決定することができる。第1の画素は、OCTスキャンパラメータ値の第1のセットに関連付けられ、OCTスキャンパラメータ値にしたがってOCTスキャナが操作される場合の目の網膜内での光ビームの伝搬もしくは目の網膜への光ビームの入射の方向を示す第1の実世界座標系のベクトル及び変換(A, B, C)←→(A’, B’, C’)を使用して、Aスキャンの受信OCT網膜画像データの残りの画素の第2の実世界座標系の座標を決定する。
レンダリングされたOCT網膜画像データは、次に、通信モジュール110によって出力され、その結果、通信モジュール110は、任意の適切な表示装置(コンピュータ画面など)上に表示することができ、かつ/またはレンダリングされたOCT網膜画像データ内の1つまたは複数の関心のある特徴の寸法測定値を決定するために、自動的にまたはユーザガイダンスの下で処理することができる。
第1の実施形態の変形例によるOCT網膜画像データをレンダリングするための装置100-2について、図5及び図6を参照して説明する。
図5に概略的に示す変形例の装置100-2は、補間モジュール130-2の機能だけが第1の実施形態の装置100-1と異なる。信号処理ハードウェアにおける装置100-2の実装及びその残りの構成要素の機能は、第1の実施形態と同じであり、したがって、再度説明しない。次に、補間モジュール130-3の機能の違いについて、図6を参照して説明する。
図6は、装置100-2がOCT網膜画像データをレンダリングして網膜のスキャン部分の幾何学的に真の画像を生成する処理を示す流れ図である。処理S10、S20は、第1の実施の形態と同様である。しかしながら、変形例の補間モジュール130-2が、レンダリングされたOCT網膜画像データを生成するために、受信されたOCT網膜画像データを使用して画素アレイを処理する処理は、以下に説明されるように、第1の実施形態の補間モジュール130-1によって実行される処理とは異なる。
処理S40において、補間モジュール130-2は、受信したOCT網膜画像データの画素の第2の実世界座標系(A’, B’, C’)における座標間を補間し、第1の実世界座標系(A, B, C)における画素アレイの画素の座標を算出する。第2の実世界座標系(A’, B’, C’)における受信されたOCT網膜画像データの画素の座標は、一般に不規則な間隔をもつ。変形例の補間モジュール130-2は、第1の実世界座標系(A, B, C)における画素アレイの画素の座標を決定するために、例えば、デローニー三角測量または薄板スプラインに基づくような三角測量ネットワークを使用して、このデータに対して散乱補間を実行する。
処理S50において、補間モジュール130-2は、第1の実世界座標系(A, B, C)における画素アレイの画素の計算された座標を使用して、受信されたOCT網膜画像データの画素の値の間を補間し、画素アレイの画素の値を計算し、それによってレンダリングされたOCT網膜画像データを生成する。
[第2実施形態]
次に、本発明の第2の実施形態によるOCT網膜画像データをレンダリングする装置100-3について、図7及び図8を参照して説明する。
図7に概略的に示される本実施形態の装置100-3は、座標決定モジュール120-3の機能だけが第1の実施形態の装置100-1と異なる。信号処理ハードウェアにおける装置100-3の実装、その残りの構成要素の機能、及び装置に対して行うことができる可能な変形は、第1の実施形態と同じであり、したがって、再度説明しない。
次に、本実施形態の座標決定モジュール120-3が、図3に示す処理S20の代替である処理S20’において、受信したOCT網膜画像データ内の第2の画素座標系における座標を決定する処理について、図8を参照して説明する。
処理S21’において、座標決定モジュール120-3は、受信されたOCT網膜画像データ内の(画素位置の間で)実質的に均一に分布された、受信されたOCT網膜画像データ内の画素のサブセットを選択する。
処理S22’において、座標決定モジュール120-3は、画素のサブセットの各画素について、受信されたOCT網膜画像データの(第1の)座標系における座標(x, y, z)と、レンダリングされた画像を与えるために処理されるべき画素アレイの(第2の)座標系における座標(X, Y, Z)との間の変換を使用して、第2の座標系におけるそれぞれの座標を決定する。したがって、「理想的な」マッピングは、画素のサブセットを使用して得られる。
座標決定モジュール120-3は、本実施形態のように、第1の座標系から第1の実世界座標系(A, B, C)へ受信されたOCT画像データの画素の座標(x, y, z)を変換するための第1のマッピングと、第1の実世界座標系(A, B, C)における画素の座標を第2の実世界座標系(A’, B’, C’)における座標に変換するための第2のマッピングと、画素アレイにおける画素の座標(X, Y, Z)を第2の実世界座標系(A’, B’, C’)における対応する座標に変換するための第3のマッピングと、を使用して、画素のサブセットの各画素について、第2座標系の各座標を決定する。
処理S23’において、座標決定モジュール120-3は、第1の座標系における座標(x, y, z)と第2の座標系における座標(X, Y, Z)との間のパラメータ化マッピングのパラメータを決定するために、第2の座標系における画素のサブセットの決定された画素の座標を使用する。このマッピングのためのパラメータは、例えば、スプライン(区分多項式)をフィッティングすることによる、正確なフィッティングによって生成されてもよい。この場合、理想マッピングを適用した後の点のサブセットは、パラメータ化マッピングを適用した後のものと実質的に同じである。あるいは、回帰技法を使用して、理想マッピングを適用した後の点のサブセットとパラメータ化マッピングを適用した後の点のサブセットとの間の差に基づいて損失関数を最小化することができる。
最後に、処理S24’において、座標決定モジュール120-3は、決定されたパラメータを有するパラメータ化されたマッピングを使用して、受信されたOCT網膜画像データ内の画素の第2の座標系における座標(X, Y, Z)を決定する。
[第3実施形態]
次に、本発明の第3の実施形態によるOCT網膜画像データをレンダリングするための装置100-4について、図9及び図10を参照して説明する。
図9に概略的に示す本実施形態の装置100-4は、座標決定モジュール120-4及び補間モジュール130-4の機能だけが第1の実施形態の装置100-1と異なる。信号処理ハードウェアにおける装置100-4の実装及び通信モジュール110の機能は、第1の実施形態と同じであり、したがって、再度の説明は行わない。
図10は、装置100-4がOCT網膜画像データをレンダリングして網膜のスキャン部分の幾何学的に真の画像を生成する処理を示す流れ図である。処理S10は、第1の実施形態と同様である。しかしながら、座標決定モジュール120-4及び補間モジュール130-4によって行われる動作は、第1実施形態の座標決定モジュール120-1及び補間モジュール130-1によって行われる動作とは異なる。以下にこれらについて説明する。
処理S60において、座標決定モジュール120-4は、レンダリングされたOCT網膜画像データを生成するために処理されるべきレンダリング画素アレイの各画素について、レンダリングされたOCT網膜画像データの座標である第2の座標系における座標から第1の座標系における座標への変換を使用して、受信されたOCT網膜画像データの座標である第1の座標系におけるそれぞれの座標(x、y、z)を決定する。これにより、第2座標系における座標(Xren, Yren, Zren)は、第1座標系における対応する座標(xren, yren, zren)に変換される。この実施形態における第1及び第2の座標系は、任意の適切な方法で定義することができる。例えば、受信されたOCT網膜画像データの各画素は、第1の座標系において、受信されたOCT網膜画像データを構成する画素の2次元または3次元アレイまたはグリッドにおける画素の位置を表す整数値である画素座標を有することができ、整数値の各セットは、3次元アレイの場合にはOCTスキャンパラメータH、V及びD(または、例えば、2次元アレイの場合にはH及びD(あるいは、V及びD))のそれぞれの値に関連付けられる。
座標決定モジュール120-4は、本実施形態のように、(i)第2の座標系内の画素アレイの画素の座標値(Xren, Yren, Zren)を、上記の実世界座標系(A’, B’, C’)内の座標値(A’ren, B’ren, C’ren)に変換する第1のマッピングと、(ii)実世界座標系(A’, B’, C’)内の画素アレイの画素の座標値(A’ren, B’ren, C’ren)を、上記の他の実世界座標系(A, B, C)内の座標値(Aren, Bren, Cren)に変換する第2のマッピングと、(iii)実世界座標系(A, B, C)における画素アレイの画素の対応する座標値(Aren, Bren, Cren)を、OCTスキャナによって実行されるスキャン内の位置を示すOCTスキャンパラメータ値の対応するセット(Hren, Vren, Dren)に変換する第3のマッピングと、(iv)OCTスキャンパラメータ値のセットを、第1の座標系における画素アレイの画素の対応する座標値(xren, yren, zren)に変換する第4のマッピングと、を使用して、画素アレイデータの各画素について、第1座標系の各座標を決定してもよい。レンダリングされた画像によってカバーされるべき実世界座標の範囲は、本実施形態のように、キャプチャされたデータの関心領域(または、おそらく全ての関心領域)がレンダリングされた画像に現れるように選択されてもよい。キャプチャされたデータまたはその関心領域が概念的にデータ点の直方体であると仮定すると、レンダリングされたイメージによってカバーされる(A’, B’, C’)内の座標の範囲を得るための一方法は、キャプチャされたデータのこの概念的な直方体の8つのコーナーにおけるデータ点について(A’ren, B’ren, C’ren)を推定することである。(A’ren, B’ren, C’ren)のこれらの値の極値は、レンダリングされた画像によってカバーされるべき(A’, B’, C’)の範囲の極値に適した値である。
処理S70において、補間モジュール130-4は、処理S60において座標決定モジュール120-4によって決定された第1の座標系における画素アレイの画素の第1の実世界座標系(A, B, C)の座標または対応する座標(xren, yren, zren)を使用することによって画素アレイの画素の値を計算し、受信されたOCT網膜画像データの画素の値の間で補間し、それによってレンダリングされたOCT網膜画像データを生成する。
この実施形態で実行される補間は、ソースデータの規則的なグリッドに基づく。したがって、この実施形態は、ソースデータが不規則なグリッド上にある補間をそれぞれ含むので、上述の他の実施形態よりも効率的な実装を提供することができる。
以上、本発明の実施の形態について図面を参照して説明したが、実施の形態の具体的な構成はこれに限定されるものではなく、本発明の要旨を逸脱しない範囲での設計等を包含するものである。
本明細書において言及される全ての刊行物、特許出願、及び技術標準は、あたかも個々の刊行物、特許出願、または技術標準が、参照により組み込まれるように明確にかつ個々に示されたかのように、同じ程度まで、本明細書において参照により組み込まれる。
100-1 OCT網膜画像データレンダリング装置
120-1 座標決定モジュール
130-1 補間モジュール

Claims (13)

  1. スキャン位置の範囲にわたって眼の網膜をスキャンするOCTスキャナによって取得された、光コヒーレンストモグラフィ、OCT、網膜画像データをレンダリングする方法であって、
    前記スキャン位置の各々は、第1の座標系におけるそれぞれの座標に関連付けられ、
    レンダリングされたOCT網膜画像データの各画素は、前記第1の座標系とは異なる第2の座標系におけるそれぞれの座標に関連付けられ、
    前記方法は、
    前記OCTスキャナによって取得されたOCT網膜画像データを受信し、
    前記第1の座標系における座標から前記第2の座標系における座標への変換を用いて、受信されたOCT網膜画像における画素の前記第2の座標系における座標の値を決定し、
    前記第2の座標系における座標の決定された値の間で補間して、前記第1の座標系における画素アレイにおける画素の座標の値を計算し、
    前記第1の座標系における画素アレイにおける画素の座標の計算された値を使用して、受信されたOCT網膜画像データの画素の値の間で補間して、画素アレイにおける画素の値を計算する、
    ことで、受信されたOCT網膜画像データを使用して画素アレイを処理して、レンダリングされたOCT網膜画像データを生成する、
    ことを含む、方法。
  2. 前記受信されたOCT網膜画像における画素の前記第2の座標系における前記座標の値は、(i)前記OCT網膜画像データの取得中に使用されるOCTスキャンパラメータ値の少なくとも1つのセットであって、前記スキャン内のそれぞれの位置を示すOCTスキャンパラメータ値の各セットと、(ii)前記OCTスキャンパラメータ値の少なくとも1つのセットに対応する前記第1の座標系における座標と、の間のマッピングと前記変換とを使用して決定される、請求項1に記載の方法。
  3. 受信された前記OCT網膜画像データは、前記OCTスキャナによって実行される網膜のAスキャンのOCT網膜画像データを含み、
    前記変換及び前記マッピングを使用して、前記Aスキャンの受信したOCT網膜画像の第1の画素の第2の座標系における座標値を決定し、第1の画素は、第1のOCTスキャンパラメータ値の第1セットに関連付けられ、
    前記変換及び、OCTスキャナがOCTスキャンパラメータ値の前記第1セットに従って動作して、Aスキャンの受信された前記OCT網膜画像データにおける残りの画素の第2の座標系における座標値を決定するときに、眼の網膜に入射する又は網膜内を伝播する光ビームの方向を示す前記第1の座標系におけるベクトルを使用する、ことにより、Aスキャンの受信された前記OCT網膜画像データ内の画素の第2の座標系における座標の値を決定する、
    請求項2に記載の方法。
  4. スキャン位置の範囲にわたって眼の網膜をスキャンするOCTスキャナによって取得された、光コヒーレンストモグラフィ、OCT、網膜画像データをレンダリングする方法であって、
    スキャン位置の各々は、第1の座標系におけるそれぞれの座標に関連付けられ、
    レンダリングされたOCT網膜画像データの各画素は、前記第1の座標系とは異なる第2の座標系におけるそれぞれの座標に関連付けられ、
    前記OCTスキャナによって取得された前記OCT網膜画像データを受信し、
    画素アレイの各画素について、前記第2の座標系の座標から前記第1の座標系の座標への変換を使用して、前記第1の座標系のそれぞれの座標を決定し、
    前記第1の座標系の決定された座標を使用して、受信された前記OCT網膜画像データの画素の値の間を補間することによって、前記画素アレイの画素の値を計算する、
    ことにより、受信された前記OCT網膜画像データを使用して画素アレイを処理して、レンダリングされた前記OCT網膜画像データを生成する、
    方法。
  5. 前記第2の座標系における画素アレイの画素の座標を第1の実世界座標系における座標に変換する第1のマッピングと、
    前記第1の実世界座標系における画素アレイの画素の座標を第2の実世界座標系における座標に変換する第2のマッピングと、
    前記第2の実世界座標系における画素アレイの画素の座標を、前記OCTスキャナによって実行されるスキャン内の位置を示すOCTスキャンパラメータ値のセットに変換する第3のマッピングと、
    前記OCTスキャンパラメータ値のセットを、前記第1の座標系における画素アレイの画素の座標に変換する第4のマッピングと、
    を使用して、前記画素アレイの各画素に対する前記第1の座標系における前記それぞれの座標を決定する、
    請求項4に記載の方法。
  6. 前記OCTスキャナによって取得された複数のOCT網膜画像のOCT網膜画像データが、共通の第2の座標系を使用してレンダリングされる、請求項1~5のいずれか1項に記載の方法。
  7. コンピュータによって実行されると、コンピュータに、請求項1~6のいずれか1項に記載の方法を実行させるコンピュータプログラム命令を格納する、非一時的コンピュータ可読記憶媒体。
  8. スキャン位置の範囲にわたって眼の網膜をスキャンするOCTスキャナによって取得された、光コヒーレンストモグラフィ、OCT、網膜画像データをレンダリングする装置であって、
    スキャン位置の各々は、第1の座標系におけるそれぞれの座標に関連付けられ、
    レンダリングされたOCT網膜画像データのそれぞれの画素は、前記第1の座標系とは異なる第2の座標系におけるそれぞれの座標に関連付けられ、
    前記OCTスキャナによって取得された前記OCT網膜画像データを受信するように構成された通信モジュールと、
    前記第1の座標系の座標から前記第2の座標系の座標への変換を使用して、受信された前記OCT網膜画像データにおける画素の前記第2の座標系における座標の値を決定するように構成されている座標決定モジュールと、
    前記第2の座標系における座標の決定された値の間を補間して、前記第1の座標系における画素アレイにおける画素の座標の値を計算し、
    前記第1の座標系における画素アレイにおける画素の座標の計算された値を使用して、受信された前記OCT網膜画像データの画素の値の間を補間して、画素のアレイの画素の値を計算する、
    ことで、受信された前記OCT網膜画像データを使用して画素アレイを処理して、レンダリングされた前記OCT網膜画像データを生成するように構成されている補間モジュールと、
    を含む、装置。
  9. 前記座標決定モジュールは、(i)前記OCT網膜画像データの取得中に使用されるOCTスキャンパラメータ値の少なくとも1つのセットであって、OCTスキャンパラメータ値の各セットが、前記スキャン内のそれぞれの位置を示す、前記少なくとも1つのセットと、(ii)前記OCTスキャンパラメータ値の少なくとも1つのセットに対応する前記第1の座標系内の座標と、の間のマッピングと、前記変換とを使用して、前記受信されたOCT網膜画像内の画素の前記第2の座標系内の座標値を決定するように構成されている、
    請求項8に記載の装置。
  10. 前記通信モジュールは、前記OCTスキャナによって実行される網膜のAスキャンのOCT網膜画像データを受信するように構成され、
    前記変換及び前記マッピングを使用して、前記Aスキャンの受信された前記OCT網膜画像データの第1の画素の前記第2の座標系における座標値を決定し、
    前記第1の画素は、OCTスキャンパラメータ値の第1のセットに関連付けられ、
    OCTスキャンパラメータ値の前記第1のセットに従って前記OCTスキャナが動作して、前記Aスキャンの受信された前記OCT網膜画像データにおける残りの画素の前記第2の座標系における座標値を決定するときに、前記眼の網膜に入射する又は網膜内を伝播する光ビームの方向を示す前記第1の座標系におけるベクトル、及び、前記変換を使用する、
    ことで、前記座標決定モジュールは、Aスキャンの受信された前記OCT網膜画像データにおける画素の前記第2の座標系における座標値を決定するように構成されている、
    請求項9に記載の装置。
  11. スキャン位置の範囲にわたって眼の網膜をスキャンするOCTスキャナによって取得された、光コヒーレンストモグラフィ、OCT、網膜画像データをレンダリングする装置であって、
    前記スキャン位置の各々は、第1の座標系におけるそれぞれの座標に関連付けられ、
    レンダリングされたOCT網膜画像データのそれぞれの画素は、前記第1の座標系とは異なる第2の座標系におけるそれぞれの座標に関連付けられ、
    前記OCTスキャナによって取得された前記OCT網膜画像データを受信するように構成されている通信モジュールと、
    レンダリングされた前記OCT網膜画像データを生成するために処理されるべき画素アレイの各画素について、前記第2の座標系における座標から前記第1の座標系における座標への変換を使用して前記第1の座標系における座標のそれぞれの値を決定するように構成された座標決定モジュールと、
    前記画素アレイの画素の値の間を補間するために前記第1の座標系における座標の決定された値を使用することによって画素アレイの画素の値を計算するように構成された補間モジュールと、
    を含む、装置。
  12. 前記第2の座標系における画素アレイの画素の座標を第1の実世界座標系における座標に変換する第1のマッピングと、
    前記第1の実世界座標系における画素アレイの画素の座標を第2の実世界座標系における座標に変換する第2のマッピングと、
    前記第2の実世界座標系における画素アレイの画素の座標を、前記OCTスキャナによって実行されるスキャン内の位置を示すOCTスキャンパラメータ値のセットに変換する第3のマッピングと、
    前記OCTスキャンパラメータ値のセットを、前記第1の座標系における画素アレイの画素の座標に変換する第4のマッピングと、
    を使用して、
    前記座標決定モジュールは、前記画素アレイの各画素について前記第1の座標系における前記座標のそれぞれの値を決定するように構成されている、
    請求項11に記載の装置。
  13. 前記装置は、共通の第2の座標系を使用して前記OCTスキャナによって取得された複数のOCT網膜画像のOCT網膜画像データをレンダリングするように構成されている、
    請求項8~請求項12のいずれか1項に記載の装置。
JP2022001438A 2018-05-11 2022-01-07 Oct網膜画像データレンダリング方法及びoct網膜画像データレンダリング装置 Active JP7251028B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18171806.5 2018-05-11
EP18171806.5A EP3566637A1 (en) 2018-05-11 2018-05-11 Oct image processing
JP2021024435A JP2021079144A (ja) 2018-05-11 2021-02-18 Oct網膜画像データレンダリング方法及びoct網膜画像データレンダリング装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021024435A Division JP2021079144A (ja) 2018-05-11 2021-02-18 Oct網膜画像データレンダリング方法及びoct網膜画像データレンダリング装置

Publications (2)

Publication Number Publication Date
JP2022033344A true JP2022033344A (ja) 2022-02-28
JP7251028B2 JP7251028B2 (ja) 2023-04-04

Family

ID=62152436

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2019090481A Active JP6841863B2 (ja) 2018-05-11 2019-05-13 Oct網膜画像データレンダリング方法、oct網膜画像データレンダリングプログラムを記憶した記憶媒体、oct網膜画像データレンダリングプログラム及びoct網膜画像データレンダリング装置
JP2021024435A Ceased JP2021079144A (ja) 2018-05-11 2021-02-18 Oct網膜画像データレンダリング方法及びoct網膜画像データレンダリング装置
JP2022001438A Active JP7251028B2 (ja) 2018-05-11 2022-01-07 Oct網膜画像データレンダリング方法及びoct網膜画像データレンダリング装置

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2019090481A Active JP6841863B2 (ja) 2018-05-11 2019-05-13 Oct網膜画像データレンダリング方法、oct網膜画像データレンダリングプログラムを記憶した記憶媒体、oct網膜画像データレンダリングプログラム及びoct網膜画像データレンダリング装置
JP2021024435A Ceased JP2021079144A (ja) 2018-05-11 2021-02-18 Oct網膜画像データレンダリング方法及びoct網膜画像データレンダリング装置

Country Status (10)

Country Link
US (1) US10929963B2 (ja)
EP (2) EP4085819B1 (ja)
JP (3) JP6841863B2 (ja)
KR (1) KR102199134B1 (ja)
CN (1) CN110473265B (ja)
AU (1) AU2019202426B2 (ja)
CA (2) CA3091570C (ja)
DK (1) DK4085819T3 (ja)
ES (1) ES2969279T3 (ja)
FI (1) FI4085819T3 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220386875A1 (en) 2019-10-28 2022-12-08 Yoshihiro Oba Measuring apparatus and biological information measuring apparatus
CN111257282B (zh) * 2020-01-22 2022-11-15 杭州捷诺飞生物科技股份有限公司 Oct成像***、电子设备和机器可读存储介质
EP3889889A1 (en) * 2020-03-30 2021-10-06 Optos PLC Ocular image data processing
FI4000502T3 (fi) * 2020-11-12 2024-02-05 Optos Plc Volumetrisen OCT-kuvatiedon käsittely
CN112785640B (zh) * 2020-12-28 2022-08-09 宁波江丰生物信息技术有限公司 一种用于扫描仪内部切片位置检测的方法和***
KR102464056B1 (ko) * 2021-09-10 2022-11-09 가톨릭대학교 산학협력단 Mri 영상과 oct 영상의 병합을 이용한 안구 및 시신경의 3차원 모델링 방법
CN114184581B (zh) * 2021-10-25 2024-05-07 北京理工大学 基于oct***的图像优化方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030103212A1 (en) * 2001-08-03 2003-06-05 Volker Westphal Real-time imaging system and method
JP2010154920A (ja) * 2008-12-26 2010-07-15 Canon Inc 3次元形状データ処理装置、3次元形状データ処理方法及びプログラム
JP2012148003A (ja) * 2011-01-20 2012-08-09 Canon Inc 断層画像撮像装置
JP2013525035A (ja) * 2010-04-29 2013-06-20 マサチューセッツ インスティテュート オブ テクノロジー 光コヒーレンストモグラフィのための動き補正および画像改善の方法および装置
JP2013154121A (ja) * 2012-01-31 2013-08-15 Nidek Co Ltd 眼科画像処理装置及びプログラム
JP2015104582A (ja) * 2013-11-29 2015-06-08 株式会社ニデック 光断層像撮影装置、及び光断層像撮影プログラム
JP2017113146A (ja) * 2015-12-22 2017-06-29 株式会社トプコン 眼科撮影装置
JP2018051177A (ja) * 2016-09-30 2018-04-05 キヤノン株式会社 眼科撮影装置、及び眼科撮影装置の作動方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8693745B2 (en) 2009-05-04 2014-04-08 Duke University Methods and computer program products for quantitative three-dimensional image correction and clinical parameter computation in optical coherence tomography
ES2391510B1 (es) 2011-04-29 2013-11-11 Consejo Superior De Investigaciones Científicas (Csic) Procedimiento de calibracion y correccion de la distorsion de barrido de un sistema de tomografia de coherencia optica
GB201217538D0 (en) 2012-10-01 2012-11-14 Optos Plc Improvements in or relating to scanning laser ophthalmoscopes
US10568586B2 (en) * 2012-10-05 2020-02-25 Volcano Corporation Systems for indicating parameters in an imaging data set and methods of use
CN104958061B (zh) * 2015-07-28 2016-09-14 北京信息科技大学 双目立体视觉三维成像的眼底oct成像方法及其***
JP6808381B2 (ja) 2016-07-07 2021-01-06 キヤノン株式会社 保持装置、投影光学系、露光装置、および物品製造方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030103212A1 (en) * 2001-08-03 2003-06-05 Volker Westphal Real-time imaging system and method
JP2010154920A (ja) * 2008-12-26 2010-07-15 Canon Inc 3次元形状データ処理装置、3次元形状データ処理方法及びプログラム
JP2013525035A (ja) * 2010-04-29 2013-06-20 マサチューセッツ インスティテュート オブ テクノロジー 光コヒーレンストモグラフィのための動き補正および画像改善の方法および装置
JP2012148003A (ja) * 2011-01-20 2012-08-09 Canon Inc 断層画像撮像装置
JP2013154121A (ja) * 2012-01-31 2013-08-15 Nidek Co Ltd 眼科画像処理装置及びプログラム
JP2015104582A (ja) * 2013-11-29 2015-06-08 株式会社ニデック 光断層像撮影装置、及び光断層像撮影プログラム
JP2017113146A (ja) * 2015-12-22 2017-06-29 株式会社トプコン 眼科撮影装置
JP2018051177A (ja) * 2016-09-30 2018-04-05 キヤノン株式会社 眼科撮影装置、及び眼科撮影装置の作動方法

Also Published As

Publication number Publication date
EP4085819B1 (en) 2023-12-20
US10929963B2 (en) 2021-02-23
EP3566637A1 (en) 2019-11-13
CA3040403C (en) 2022-03-22
CA3091570A1 (en) 2019-11-11
CA3040403A1 (en) 2019-11-11
ES2969279T3 (es) 2024-05-17
CN110473265A (zh) 2019-11-19
AU2019202426A1 (en) 2019-11-28
KR20190129760A (ko) 2019-11-20
AU2019202426B2 (en) 2020-02-13
CA3091570C (en) 2023-07-18
FI4085819T3 (fi) 2024-01-17
JP2021079144A (ja) 2021-05-27
KR102199134B1 (ko) 2021-01-06
JP2019195636A (ja) 2019-11-14
EP4085819A1 (en) 2022-11-09
JP6841863B2 (ja) 2021-03-10
DK4085819T3 (da) 2024-01-22
CN110473265B (zh) 2023-06-16
US20190347774A1 (en) 2019-11-14
JP7251028B2 (ja) 2023-04-04

Similar Documents

Publication Publication Date Title
JP6841863B2 (ja) Oct網膜画像データレンダリング方法、oct網膜画像データレンダリングプログラムを記憶した記憶媒体、oct網膜画像データレンダリングプログラム及びoct網膜画像データレンダリング装置
JP7050131B2 (ja) 眼の網膜の距離の幾何学的測定値を判定する方法、非一時的なコンピュータ可読な記憶媒体、及び眼の網膜の距離の幾何学的測定値を判定する画像システム
JP2018514237A (ja) 歯科用3dスキャナ用のテクスチャマッピングの装置及び方法
JP7267337B2 (ja) 眼の画像データ処理
CA2836269C (en) Improvements in and relating to ophthalmoscopes
JP2005043083A (ja) 撮影誤差低減システム、撮影誤差低減方法、プログラム、及び記録媒体
JP7301581B2 (ja) 形状測定装置、放射線治療システム及び形状測定方法
Cunha et al. Calibration of Non-SVP Hyperbolic Catadioptric Robotic Vision Systems

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230228

R150 Certificate of patent or registration of utility model

Ref document number: 7251028

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150