JP6469838B2 - 生物組織の3次元ボリュームを表す画像データを分析する方法 - Google Patents

生物組織の3次元ボリュームを表す画像データを分析する方法 Download PDF

Info

Publication number
JP6469838B2
JP6469838B2 JP2017504211A JP2017504211A JP6469838B2 JP 6469838 B2 JP6469838 B2 JP 6469838B2 JP 2017504211 A JP2017504211 A JP 2017504211A JP 2017504211 A JP2017504211 A JP 2017504211A JP 6469838 B2 JP6469838 B2 JP 6469838B2
Authority
JP
Japan
Prior art keywords
subvolume
image data
growth
predetermined direction
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017504211A
Other languages
English (en)
Other versions
JP2017512626A (ja
Inventor
ケレク グウェノーレ
ケレク グウェノーレ
コヴァール イェンス
コヴァール イェンス
マロカ ペーター
マロカ ペーター
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mimo AG
Original Assignee
Mimo AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mimo AG filed Critical Mimo AG
Publication of JP2017512626A publication Critical patent/JP2017512626A/ja
Application granted granted Critical
Publication of JP6469838B2 publication Critical patent/JP6469838B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A61B3/1225Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes using coherent radiation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/008Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/18Image warping, e.g. rearranging pixels individually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10101Optical tomography; Optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、生物組織の3次元ボリュームを表す画像データを分析する方法であって、画像データは、第1の時点でのボリュームを表す第1の画像と、第1の時点とは異なる第2の時点でのボリュームを表す第2の画像とを含む。本発明はさらに、生物組織の3次元ボリュームを表す画像データを分析するためのコンピュータプログラムに関する。
加齢に関係した黄斑変性(AMD)、特に新生血管黄斑変性(nAMD)は、先進国の50歳以上の年齢の人々にとって失明の主たる原因となっている。血管透過性の増大は、網膜内もしくは網膜下への流体の異常収集をまねき、これが黄斑の中心に起こると視覚機能不全を引き起こす。これにより急速な悪化が生じ、色素上皮が傷ついて持続的な視覚の喪失又は失明にいたる。
しかし、ラニビズマブ(販売名Lucentis(登録商標)、スイス国バーゼル、ノバルティス社)を含めた血管新生阻害薬の硝子体内注射は、nAMDの進行を著しく速めることが判明している。硝子体内注射の負荷を軽減し、危険/利益特性を最適化するために、nAMD特徴の経過を光コヒーレンストモグラフィ(OCT)によって非侵襲で監視することができる。顕著なnAMD特徴には、網膜構造の厚さの増大が含まれる。こうした増大は、異なる時点ですなわち数日から数ヶ月の時間間隔で網膜の同じ領域を撮影した2枚のOCT画像を視覚的に比較した場合に識別可能である。
例えば、ラニビズマブを処方された患者は、通常は毎月OCT検査を受ける。nAMD特徴の大きな成長が観察される場合、治療の決定が指示される。すなわち、患者は、当日及び1月後及び2月後にラニビズマブ注射を受ける(治療フェーズ)。nAMD特徴が完全に減退しなかった場合には、1月後に再治療が指示されることもある。そうでない場合、患者はその日には注射を受けないが、定期的な維持注射を指示される(維持フェーズ)。
OCTの画像取得及び後続のOCT画像の分析は、通常、眼科医を含めた専門技術者が行っている。これは、監視される患者が、OCTを要するたびに診療医院又は病院の専門科を受診しなければならないことを意味する。このことは患者にとってかなりの負担である。なお、OCT画像取得の頻度(例えば1月1回)なるものが既に、一方でのnAMD経過の密な監視と他方での患者にかかるコスト及び負荷との一種の妥協点である。
基本的には、OCT画像取得の自動分析によってこれらの問題を緩和できる。近年では、多くのアルゴリズムが網膜のOCT画像の自動分析のために設計されており、例えばAbramoff MD, Garvin M., Sonka M., Retinal Imaging and Image Analysis, IEEE Rev Biomed Eng. 2010;3の第169頁から第208頁を参照されたい。これらのアルゴリズムの多くは、網膜層などの網膜の解剖学的構造のセグメンテーションに焦点を当てている。ただし、これらのアルゴリズムのいずれも、特に安価な小型のOCT装置で取得可能な疎なOCT情報に基づいて分析が行われる場合、撮像された生物組織の形態変化、特に層厚さの変化に関する情報を自動的に形成することについては充分に検討されていない。したがって、nAMDのさらなる治療の決定に有用な情報を提供できる自動化手法がなお求められている。
本発明の課題は、冒頭に言及した技術分野に属する画像データの分析方法であって、特に画像データが疎である場合にも、撮像された生物組織における形態変化についての情報を高い信頼性で形成できる方法を提供することである。
本発明の解決手段は、請求項1の特徴部分に規定されている。本発明によれば、この方法は、a)予め定められた方向に主延長部を有する第1の画像が表すボリュームの第1のサブボリュームと、予め定められた方向に主延長部を有する第2の画像が表すボリュームの第2のサブボリュームとを識別し、第1のサブボリュームと第2のサブボリュームとが3次元ボリュームの同一の領域を表すステップと、b)予め定められた方向の第1のサブボリュームの一連のボクセルの画像データと予め定められた方向の第2のサブボリュームの一連のボクセルの画像データとから距離マトリクスを形成するステップと、c)予め定められた方向に沿って、第1のサブボリューム及び第2のサブボリュームが表す生物組織の層の成長確率に対する少なくとも1つの局所的尺度を取得するために、距離マトリクスを分析するステップとを含む。
相応に、生物組織の3次元ボリュームを表す画像データを分析する本発明のコンピュータプログラムは、コンピュータ上で実行される際に、上述した各ステップを実行するのに適したコンピュータプログラムコードを含む。
生物組織の3次元ボリュームを、組織の単一のスライスを示す2次元画像(すなわちピクセルの2次元グリッド)によって表現できることに注意されたい。このケースでは、「ボクセル」は有意には1つのピクセルであって、組織のスライスの相応の位置を中心とした3次元ボリューム(例えば立体ボリューム)を表現するものと理解される。また、本発明の方法は、3次元ボクセルグリッドによって構成される画像データに特に良好に適する。
特に、予め定められた方向は、3次元画像データの軸線に一致する。これにより、画像データの処理が可能となる。第1の時点から第2の時点までの典型的な時間間隔は12時間から150日であり、特には5日から90日である。
第1のサブボリューム及び第2のサブボリュームが分析される生物組織の正確に同じ領域を表現することは要求されないが、双方のサブボリュームに覆われる領域が生じることに注意されたい。これは、後続の各ステップで学習される領域(又はその一部)である。
距離マトリクスは、ボクセル対(第1のサブボリュームの1つのボクセル及び第2のサブボリュームの1つのボクセル)の画像データに対する距離尺度(もしくは費用関数)の値を含む。最も簡単なケースでは距離マトリクスは2次元であり、又は、後述するようにより高次元であってもよい。通常は全マトリクスを設ける必要はなく、また、比較される画像間に実質的な変化がある場合にも、予め定められた方向に関してそれぞれ大きく異なる位置を有する第1のサブボリュームのボクセルと第2のサブボリュームのボクセルとが生物組織の同じ部分に対応しないときにはこれらを互いに比較する必要はないことに注意されたい。
上述した各ステップの結果は、第1のサブボリューム及び第2のサブボリュームが表現する生物組織内の1つの層の成長確率を表す局所的尺度であり、これは、第1の画像内に既に存在している層、又は、第2の画像内のみで識別された新たな層であってよい。ここでのコンテクストでは、「局所的」とは、互いに直角かつ予め定められた方向に対して直角な2つの軸によって実質的に定義される一平面上の所定位置に関することを意味する。
本発明の方法は、距離マトリクスに基づいて、生物組織の特定構造の寸法を求める後続のステップのためにその構造を識別しようとする従来の画像認識技術よりもローバストでありかつ大幅に単純であると判明している。距離マトリクスに基づいて、組織の層厚さにおける変化が自動的に高い信頼性で識別可能となる。
特に、画像データは、光コヒーレンストモグラフィ(OCT)画像データである。OCTスキャンの場合、第1のサブボリューム及び第2のサブボリュームのそれぞれは、所定位置での(超音波分野にいうところの)Aスキャンに対応する。予め定められた方向は、深さ軸、すなわち、Aスキャンを行う基準となる軸に対応する。以下では、当該深さ軸をy軸とし、このy軸に対して垂直な、対応するAスキャンの位置を表す2つの軸をそれぞれx軸及びz軸とする。特に3D‐OCT画像データはスペクトラルドメインOCTから取得される。
基本的には、本発明の方法は、アンギオグラフィ、コンピュータトモグラフィ、磁気共鳴イメージング(MRI)などの別の撮像技術から取得された3次元画像データにも適用可能である。
本発明の方法は、ヒトもしくは哺乳動物の網膜組織の検討に特に良好に適する。特に黄斑領域における網膜の個別層の成長を自動的に検討することができる。相応に、処理されたデータによりnAMD特徴の識別が可能となり、nAMDのさらなる治療についての決定にとって有用な情報を形成できる。したがって、本発明の方法は、硝子体内注射の必要性に関する診療医の評価を助ける決定支援ツールとして使用可能である。
本発明の方法は、全てのnAMD特徴、すなわち、網膜嚢胞、網膜下液、網膜浮腫、網膜色素上皮剥離及び網膜下組織を識別することを目的としているのではない。そうではなく、3D‐OCTボリュームの局所的な網膜成長を識別するのである。当該識別は、画像認識をベースとしたアプローチに比べて画像品質のばらつきに対して不感であり、よりローバストである。
本発明は網膜組織の検討に制限されない。本発明の方法を用いれば、特に、時間経過にしたがった生物組織層の厚さの変化(増大もしくは低下)が関心の対象となる場合に、他の生物組織も検討できる。例として、MRI画像で観察されるアルツハイマー病の進行度が挙げられる。
好ましくは、距離マトリクスを分析するステップは、距離マトリクスによって与えられる距離の和が、距離マトリクスの予め定められた始点を予め定められた終点に接続する経路に沿って最小となるよう、この経路に対応するワーピング関数を取得するサブステップを含む。最短距離は、例えば、ダイクストラアルゴリズムなどとして知られる経路発見アルゴリズムを用いて求めることができる。
当該アプローチは、例えば音声認識又は地震学などの領域において時間シーケンスの分析から公知の「ダイナミックタイムワーピング」法に着想を得ている。ワーピング関数は、第1のサブボリュームのボクセルと第2のサブボリュームのボクセルとの最適な適合に対応する。一般的に云えば、第1のサブボリュームの各ボクセルは第2のサブボリュームの1つずつのボクセルと対にされる。第1のサブボリュームの1つのボクセルが第2のサブボリュームの複数のボクセルと対にされる場合、これは、当該ボクセルに記録されている組織が2回の画像取得の間に成長したか、又は、当該ボクセルの直下もしくは直上に液体が生じたことを意味する。
相応に、画像データが表現している生物組織の個別層の厚さの変化は、ワーピング関数によって表される経路の特性の変化をもたらす。よって、ワーピング関数の分析から、予め定められた方向に沿った生物組織の層の成長確率を表す局所的尺度を取得するのに有用な情報が取得される。
網膜組織の検討のケースでは、予め定められた方向に沿った始点が、特に網膜内境界膜に対応し、終点が脈絡膜に対応する。
有利には、距離マトリクスを分析するステップがさらに、上記経路を基準経路と比較するサブステップを含み、成長確率に対する局所的尺度は、上記経路と基準経路との間の全体差に対応する。特に、基準経路は、第1のサブボリュームの一連のボクセルの画像データと第2のサブボリュームの一連のボクセルの画像データとを比較して変化がない状況に対応するように選定される。最も単純なケースでは、2次元の距離マトリクスが用いられ、基準経路は、始点と終点とをつないだ直線路となり、つまりワーピングを有さない。マトリクス列が基準サブボリューム(第1のサブボリューム)のy位置を示し、マトリクス行が現在サブボリューム(第2のサブボリューム)のy位置を示す場合、左上角(始点)から右下角(終点)へ対角線が延びることになる。ワーピング関数は、組織層の成長が識別されることを示す基準経路(対角線)の下方に経路を有する。したがって、基準経路とワーピング関数によって規定される経路との間の領域は、生物組織の層厚さの増大を表す尺度となる。
上記経路と基準経路との間の全体差を比較するための種々の尺度が適用可能である。最も好ましいのは、上記経路と基準経路とによって画定される領域の寸法に比例する尺度である。2次元の距離マトリクスの場合には、当該領域は単純に任意の単位で測定された通常の地理的領域であり、高次元の距離マトリクスの場合には、当該領域に対する高次面の尺度を使用しなければならない。局所的尺度は、決定された領域に、予め定められた比例定数を乗じたものとなる。
他の局所的尺度は、特に距離マトリクスの距離値のサブセットに応じた重みを含むことができる。さらに、上記経路と基準経路との間の領域に代えて、他の基準、例えば経路長さ又は上記経路と基準経路との長さの差などを用いることもできる。
好ましくは、予め定められた方向に対して垂直な平面の位置に依存する成長確率を表す局所的尺度によって構成された成長マップが取得される。(真の)3次元ボクセルグリッドによって構成された3次元画像データの場合、成長マップは2次元である。これは、x‐z平面における複数の点に対して局所的尺度が上述したように求められること、すなわち、全ての点に対して予め定められた方向に沿った成長確率の尺度が取得され、2次元成長マップに収集されることを意味する。画像データが2次元であれば、成長マップは1次元となる。成長マップはさらなる分析の基礎としてきわめて有用である。
特に、予め定められた方向に沿って、第1の画像及び第2の画像が表す生物組織の層の成長確率に対する大域的尺度が、機械学習アルゴリズムを成長マップに適用することにより取得される。機械学習アルゴリズムを用いることにより、それぞれの画像データを分析する該当の分野の専門医の知識を体系的に組み入れることができる。機械学習アルゴリズムを直接に成長マップすなわちマップ内に記憶されている局所的尺度に適用できるか、又は、機械学習アルゴリズムを適用する前に成長マップの値を前処理、例えばさらに連結できる。
好ましい実施形態では、本発明の方法は、成長マップから大域的成長特徴ベクトルを抽出し、サポートベクタマシンアルゴリズムを大域的成長特徴ベクトルに適用して大域的成長確率をクラス分類するステップを含む。基本的に、与えられた(x,z)座標で始まるラインに沿って成長確率を形成する局所的尺度とは異なって、大域的成長特徴ベクトルは、検討される生物組織のボリューム全体内での成長確率に関する。大域的成長特徴ベクトルの抽出は機械学習アルゴリズムのための前処理ステップであり、この機械学習アルゴリズムが大域的成長確率をクラス分類するための大域的成長特徴ベクトルに適用される。つまり、大域的成長特徴ベクトルがサポートベクタクラシフィケーションモデル(SVCモデル)によって最終の大域的成長確率にマッピングされる。可能なクラスは、単純に「成長なし」「成長あり」(2項)であってもよいし、又は、中間クラスが定義されてもよい。さらなる分析及び/又は治療に関する決定は、当該クラス分類に基づいて診療医が行うことができる。
好ましくは、大域的成長特徴ベクトルは、局所的尺度の少なくとも1つの平均と、局所的尺度の空間的な自動補正の少なくとも1つの尺度とを含む。「平均」なる語は広い意味で理解すべきであり、正規化は厳密には要求されないので、このコンテクストにおける「平均」は、単純に局所的尺度の値の和であってもよいし、又は、局所的尺度もしくは類似の量の2乗和であってもよい。適切な空間的自動補正尺度は、例えばMoran’s I,Geary’s Cなどである。後者は、(雑音に起因する可能性が高い)分散したもしくはランダムな局所的成長を、nAMD特徴が出現もしくは成長する際に典型的に観察される、クラスタ化された局所的尺度から区別できる。
平均と空間的自動補正尺度との組み合わせによって、機械学習アルゴリズムによる大域的成長確率の信頼性の高いクラス分類が可能となることが判明している。好ましい実施形態では、大域的成長特徴ベクトルは、
a)局所的成長の評点の和、
b)局所的成長の評点の2乗和、
c)Moran’s I、及び、
d)Geary’s C
の4つの量によって構成される。
大域的成長特徴ベクトルは、検討される生物組織の層の成長確率についての情報が提供されるように選択されるかぎり、他の量もしくは付加的な量を含むことができる。
好ましい実施形態では、第1のサブボリュームが、予め定められた方向に対して垂直な少なくとも1つの方向に、第2のサブボリュームの少なくとも1つの方向の延長部よりも大きな延長部を有する。相応に、距離マトリクスは、第2のサブボリュームの、予め定められた方向に沿った所定位置に関する第1の次元と、第1のサブボリュームの、予め定められた方向及びこれに対して垂直な少なくとも1つの方向に沿った所定位置に関する別の少なくとも2つの次元を含む、少なくとも3つの次元である。より好ましくは、距離マトリクスは、第2のサブボリュームの、予め定められた方向に沿った所定位置に関する第1の次元と、第1のサブボリュームの、予め定められた方向及びこれに対して垂直な2つの方向に沿った所定位置に関する別の3つの次元を含む、4つの次元である。
ワーピング関数が求められる場合、対応する経路が少なくとも1つの付加的な自由度を有する。ダイナミックタイムワーピングに基づくアルゴリズムの3D拡張バージョンを用いることにより、例えば、撮像装置に対する生物組織の配向変化に起因する所定のトラッキングの不正確性もしくは小さな歪みが引き起こす比較画像間の小さなずれもしくは傾きを補償することができる。超音波分野の用語で言えば、位置(x,z)での標的Aスキャン(第2のサブボリューム)は、基準画像(第1のサブボリューム)の位置(x,z)でのAスキャンに単純には適合しないが、例えば、最初に言及した(x,z)でのAスキャンの中心に位置する薄い筒状ボリュームに属する複数の近隣のAスキャンにも適合する。
このことは、2つのボリュームを近似的に位置合わせする必要があることを意味する。例えば、異なる複数のセッションで網膜のOCT画像が撮影される場合、これは今日の設備で達成可能である。例として、ハイデルベルクSLOベースのトラッキング装置を使用して、眼の光軸に対して垂直な一方向に充分に位置合わせされた2つのボリュームが得られる。残留する小さな位置合わせ誤差はワーピングアルゴリズムの3D拡張によって考慮される。
こうした技術を用いると、2つのボリュームの深さ位置すなわちy軸に沿った位置で位置合わせする必要がなくなる。この方向での位置合わせは、2つのボリュームの網膜内境界膜(ILM)をセグメント化することにより、例えばグラフカットベースのアルゴリズムを用いて、達成可能である。この場合、全てのAスキャンは、ILMをy=0座標に設定するために、y座標に沿ってシフトされる。
最も単純なケースでは、第1のボリューム及び第2のボリュームは予め定められた方向のみで展開される。つまりこれらのボリュームは一連の単独ボクセルに対応する。このことは2つの画像の位置合わせに関して或る程度の精度を要求する。さらに、残留する小さな位置合わせ誤差に起因する結果の劣化を回避するために、x方向及びz方向の解像能は近隣の(x,z)位置間の層ジオメトリの急激な変化を回避するのに充分なだけ精細でなければならない。
有利には、距離マトリクスを形成する前に、第1のサブボリューム及び第2のサブボリュームに関する画像データの輝度が正規化される。これは、画像データを構成するボクセルの強度(ルミナンス値)が距離マトリクスの形成に用いられる場合に特に重要である。正規化により、本発明の方法で相互に比較される2つの画像部分が、画像取得間の照度及び雑音のばらつきによる作用を受けずに、共通の基礎を有するようになることが保証される。撮像技術及び分析すべき生物組織に応じて、正規化は、距離マトリクスを形成するために、画像全体に1回適用されてもよいし、又は、使用される各サブボリュームの画像データに個別に適用されてもよい。適切な正規化手法として、メディアンフィルタの適用が挙げられる。
距離マトリクスの形成のために画像輝度の一定のシフトに対して不感な量が用いられる場合、又は、提供された画像データが画像取得及び前処理の作業枠で既に正規化されている場合には、正規化は不要とすることができる。
好ましい実施形態では、距離マトリクスが、予め定められた方向の第1のサブボリュームの一連のボクセルの画像データ及び第2のサブボリュームの一連のボクセルの画像データの輝度の局所的勾配に基づいて形成される。つまり、距離マトリクスを形成するのに用いられる距離尺度は、これらの局所的勾配の差に基づく。勾配のフィルタリングは、好ましくは上述したように正規化後に行われ、検討される生物組織の特徴の境界、例えば主網膜の特徴の境界(網膜の層の界面、nAMD特徴の境界など)を強調する。これにより、局所的勾配は、大域的なスケールの画像に作用する影響をほとんど受けず、ローバストな距離マトリクスを形成する基礎となる。可能な尺度として、y軸に沿った局所的な輝度勾配の絶対差を挙げることができる。
これに代えて、距離尺度は、別の量、特に、好ましくは正規化後の輝度そのものに基づいてもよい。可能な尺度として、正規化された輝度の絶対差が挙げられる。基本的に、重みづけ和による相応の距離マトリクスの結合により、2つ以上の異なる距離尺度を結合することもできる。
各特徴の別の有利な実施形態及び組み合わせは、以下の詳細な説明及び特許請求の範囲全体から得られる。
図面を用いて以下に各実施形態を説明する。
本発明の方法によって分析されるサブボリュームを含む、異なる2つの時点での画像データの生物組織のボリューム表現を示す概略図である。 a)強度勾配に対するボクセルごとの距離、b)ボクセルごとの距離に対応する最短距離経路、c)最短距離経路と基準経路との間の領域を示す図である。 深さ軸に対して垂直な平面の所定位置に依存する成長確率に対する局所的尺度を含む成長マップを示す概略図である。 本発明のバリエーションによる、分析すべきサブボリュームを含む、異なる2つの時点での画像データが表す生物組織のボリュームを示す概略図である。 本発明による方法のフローチャートである。
図中、同じ要素には同じ参照番号を付してある。
図1には、本発明の方法によって分析されるサブボリュームを含む、異なる2つの時点での画像データが表す生物組織のボリューム表現の概略図が示されている。以下では、ヒトの網膜の黄斑領域からスペクトラルドメインOCTによって取得された3D‐OCT画像の例に則して説明する。ただし、本発明の方法の基本的なステップは、同様の生物組織の他の3次元画像にも適用可能である。本発明の方法のフローチャートは図5に示されている。
まず、異なる複数の時点で、例えば30日間の時間間隔を置いて撮影された所定の組織のほぼ同じボリュームを表す2つの画像10,20が取得される(ステップ101)。画像は、規則的なグリッド状に配置された複数のボクセルから成り、グリッドに沿う方向をそれぞれx,y,zとする。2つの画像10,20は、眼の光軸に対して垂直な一方向、例えばx‐z平面で近似的に位置合わせされるが、これは、例えば(ハイデルベルクエンジニアリング社で開発された)眼底部SLOトラッキングを特徴とした今日のOCT画像取得装置によって達成できる。y軸は深さ軸であり、眼の光軸に対して平行に延在する。
ここでの例では、2つのボリュームは49×49×496ボクセルから成っており、比較的疎である。2つのボリュームは深さ軸すなわちy軸に沿っては必ずしも位置合わせされなくてよいことに注意されたい。したがって、網膜内境界膜(ILM)は、Dufour PA, Ceklic L, Abdillahi H et al., Graph-based multi-surface segmentation of OCT data using trained hard and soft constraints, IEEE Trans Med Imaging, 2013;32の第531頁−第543頁に説明されているグラフカットベースのアルゴリズムを用いて、双方のボリュームにおいてセグメント化される。他の公知のアルゴリズムも適用可能である。その場合、ILMをy=0の座標へ設定するために、全てのAスキャンがy軸に沿ってシフトされる。
連続した画像取得からの2つのAスキャンが位置合わせされる場合、ボクセル輝度の直接の比較は、画像取得間の照度及び雑音のばらつきのために信頼性が高くない。よって、第1の前処理ステップ102として、雑音を除去するために単位半径のメディアンフィルタが適用される。第2の前処理ステップ103として、主網膜特徴の境界(網膜層間の界面、nAMD特徴の境界など)を強調するための勾配フィルタが適用される。
3D画像はAスキャンごとに比較される。つまり、第1の画像10によって表現されるボリューム内の座標(x,z)でAスキャン11が取得され(ステップ104)、第2の画像20によって表現されるボリューム内の座標(x,z)でAスキャン21が取得される(ステップ105)。Aスキャン11,21は双方とも画像10,20によって表現されるボリュームのサブボリュームであり、座標(x,y,z)を有する一連の線状のボクセルから成る。ここで、x及びzは一定(互いに比較される各サブボリュームに対して同一)であり、Aスキャン11,21の主延長部すなわちサブボリュームの主延長部はy方向に延在する。この場合Aスキャン11,21が互いに比較される。
フィルタリングされた画像に基づき、それぞれの(x,z)座標のAスキャンの各ペアに対して、輝度勾配に対するボクセルごとの距離が求められる(ステップ106)。つまり、基準Aスキャン11の各ボクセルと標的Aスキャン21の各ボクセルとが、それぞれのy座標が過度に離れていないかぎり、比較される。得られる距離マトリクス30が図2a)に示されており、ここでは各軸が基準Aスキャン11に対するy座標(y軸12)と標的Aスキャン21のy座標(y軸22)とに沿って延在する。マトリクスの角の黒い三角形の領域31,32は、|y−y|が所定の閾値を上回る領域を除外することによって生じている。距離マトリクス30の明るい線33は網膜特徴の強調された境界に対応する。
次に、ダイナミックタイムワーピング(DTW)に類似した、信号処理におけるシーケンス整列ストラテジが、比較すべき2つのAスキャン11,21に適用される。ボクセルごとの距離マトリクス30に基づいて、2つのAスキャン11,21間の、ILM34(左下角)から脈絡膜35(上右角)までの最小歪み経路40が、周知のダイクストラアルゴリズムを用いて、ボクセルごとの距離マトリクス30に関連するグラフ内に発見される(ステップ107)。得られる経路40は、図2a)と同じ座標で図2b)に示されている。これは、経路に沿った距離マトリクス30によって与えられるボクセルごとの距離値の和が最小となる、ILM34から脈絡膜35までの経路である。
第1のAスキャンにおける1つのボクセルが第2のAスキャンにおける複数のボクセルとペアにされる場合、このことは、おそらくは、当該ボクセルに記録される組織が2回の画像取得間に成長したか、又は、液体がボクセルの直下もしくは直上に生じたことを意味する。図2b)から見て取れるように、この状況は経路40の領域41に生じている。勾配フィルタの利用によって最小歪み経路40に位置合わせされる主網膜層が強調されていることに注意されたい。
距離マトリクス30の対角線36に沿って延在する経路は、同一の画像(変化なしの画像)の状況に対応する。対角線36の上方を通っている最小歪み経路40は、網膜成長が識別されたことを表している。したがって、対角線36の上方かつ最小歪み経路40の下方の領域42は、図2c)に示されているように、局所的網膜成長評点として用いられる。なおここでも図2a),図2b)と同じ座標が用いられている(ステップ108)。
上述した各ステップは、全ての(x,z)座標が分析され終わるまで反復される(判別ステップ109)。
次に、各(x,z)に対する局所的な網膜成長評点に基づいて、上述した各ステップを反復することにより、成長マップ50が形成される(ステップ110)。成長マップ50は、基本的には、局所的網膜成長評点S(x,z)の値を、x座標及びz座標の関数として、すなわち、眼の光軸に対して垂直な平面における位置に依存して表す。図3には、成長マップ50が概略的に示されている。図示されている数値は単に例示のためのものにすぎず、通常、評点は整数でなく、先行ステップで決定された領域42を示す単独の値となることに注意されたい。
ついで、連続するボリュームに対する大域的成長確率が計算される(ステップ111)。このために、大域的成長特徴ベクトルが網膜成長マップ50から抽出される。当該特徴ベクトルは、
Figure 0006469838
として構成される。ここで、最初の2つの特徴は、和又は2乗和のいずれかを用いて(網膜成長マップによって与えられる)局所的成長評点s(x,z)の単純な平均である。残りの2つの特徴は、空間自動補正特徴、すなわち、Moran’s I及びGeary’s Cである。後者の2つによって、(雑音に起因する可能性が高い)分散したもしくはランダムな局所的成長を、nAMD特徴が生じたか又は成長した場合に典型的に観察されるクラスタ化された局所的成長から区別することができる。
さらに、当該大域的成長特徴ベクトルは、サポートベクタクラシフィケーションモデル(SVCモデル)を用いて、大域的成長確率へマッピングされる(ステップ112)。また、SVCモデルは、大域的成長確率についての最適なカットオフを行う。アルゴリズムはバイナリ出力として「成長」又は「非成長」を形成する。当該出力(ステップ113)が「成長」である場合には、診療医は付加的な検査を実行し、最終的に治療の決定を行わなければならない。
SVCアルゴリズムは、熟練の眼科医によって評価されたOCT画像の学習データセットを用いて学習を行っている。標準的な学習ストラテジはSVCモデルに対して採用されており、パラメータ値(最適ソフトマージンパラメータC、最適カーネル関数、及び、最適カーネル関数パラメータ)は2分割交差検証で発見されたものである。この場合クラシフィケータは、最適なパラメータセットを用いて学習セット全体において再学習を行う。学習セットの(x,z)位置と同じ数の学習サンプルが存在する。
図4には、本発明の方法のバリエーションによって分析されるサブボリュームを含む、異なる2つの時点での画像データが表す生物組織のボリューム表現の概略図が示されている。
眼の光軸に対して垂直な平面における小さな(残留)位置合わせ誤差に対処するために、第2の画像220の位置(x,z)での標的Aスキャン221は、先行のOCT画像210の位置(x,z)でのAスキャンに単純には適合せず、むしろ(x,z)でのAスキャンにセンタリングされている薄い擬似筒状ボリューム211に適合する。最小歪み距離の探索も、2次元マトリクスでなくボクセルごとの4次元のマトリクス(標的画像220からの1つの方向と先行画像210からの3つの方向)で動作する点以外は同様である。
本発明は上記の方法に制限されない。上述したように、本発明の方法の幾つかのステップは代替的なアルゴリズムによって置換可能である。さらに、本発明の方法は他の組織にも適用可能であり、画像データは他のイメージング技術に由来するものであってもよい。
まとめると、本発明は、撮像された生物組織における厚さの変化についての情報を高い信頼性で形成できる、画像データの分析方法を提供するものである。

Claims (14)

  1. 生物組織の3次元ボリュームを表す画像データを分析する方法であって、
    前記画像データは、第1の時点でのボリュームを表す第1の画像と、前記第1の時点とは異なる第2の時点でのボリュームを表す第2の画像と、を含み、
    前記方法は、
    a)予め定められた方向に主延長部を有する前記第1の画像が表す前記ボリュームの第1のサブボリュームと、前記予め定められた方向に主延長部を有する前記第2の画像が表す前記ボリュームの第2のサブボリュームと、を識別するステップであって、ただし、前記第1のサブボリュームと前記第2のサブボリュームとが前記3次元ボリュームの同一の領域を表すステップと、
    b)前記予め定められた方向の前記第1のサブボリュームの一連のボクセルの画像データと前記予め定められた方向の前記第2のサブボリュームの一連のボクセルの画像データとから、距離マトリクスを形成するステップと、
    c)前記予め定められた方向に沿って、前記第1のサブボリューム及び前記第2のサブボリュームが表す前記生物組織の層の成長確率に対する少なくとも1つの局所的尺度を取得するために、前記距離マトリクスを分析するステップと、
    を含む方法。
  2. 前記距離マトリクスを分析するステップは、前記距離マトリクスによって与えられる距離の和が、前記距離マトリクスの予め定められた始点を予め定められた終点に接続する経路に沿って最小となるよう、前記経路に対応するワーピング関数を取得するサブステップを含む、
    請求項1記載の方法。
  3. 前記距離マトリクスを分析するステップは、前記経路を基準経路と比較するさらなるサブステップを含み、
    前記成長確率に対する前記局所的尺度は、前記経路と前記基準経路との間の全体差に対応する、
    請求項2記載の方法。
  4. 前記成長確率に対する前記局所的尺度は、前記経路及び前記基準経路によって画定される領域の寸法に比例する、
    請求項3記載の方法。
  5. 前記予め定められた方向に対して垂直な平面の所定位置に依存する前記成長確率に対する前記局所的尺度によって構成される成長マップを取得する、
    請求項1から4までのいずれか1項記載の方法。
  6. 前記予め定められた方向に沿って、前記第1の画像及び前記第2の画像が表す前記生物組織の層の成長確率に対する大域的尺度を、機械学習アルゴリズムを前記成長マップに適用することにより取得する、
    請求項5記載の方法。
  7. 前記成長マップから大域的成長特徴ベクトルを抽出し、サポートベクタマシンアルゴリズムを前記大域的成長特徴ベクトルに適用して大域的成長確率をクラス分類するステップを含む、
    請求項6記載の方法。
  8. 前記大域的成長特徴ベクトルは、前記局所的尺度の少なくとも1つの平均と、前記局所的尺度の空間的自動補正の少なくとも1つの尺度と、を含む、
    請求項7記載の方法。
  9. 前記第1のサブボリュームは、前記予め定められた方向に対して垂直な少なくとも1つの方向に、前記第2のサブボリュームの前記少なくとも1つの方向の延長部よりも大きな延長部を有し、
    前記距離マトリクスは、前記第2のサブボリュームの、前記予め定められた方向に沿った所定位置に関する第1の次元と、前記第1のサブボリュームの、前記予め定められた方向及び前記予め定められた方向に対して垂直な前記少なくとも1つの方向に沿った所定位置に関する別の少なくとも2つの次元と、を含む、少なくとも3つの次元である、
    請求項1から8までのいずれか1項記載の方法。
  10. 前記距離マトリクスを形成する前に、前記第1のサブボリューム及び前記第2のサブボリュームに関する画像データの輝度を正規化する、
    請求項1から9までのいずれか1項記載の方法。
  11. 前記距離マトリクスを、前記予め定められた方向の前記第1のサブボリュームの一連のボクセルの画像データの輝度の局所的勾配と前記第2のサブボリュームの一連のボクセルの画像データの輝度の局所的勾配とに基づいて形成する、
    請求項1から10までのいずれか1項記載の方法。
  12. 前記画像データは、光コヒーレンストモグラフィ画像データである、
    請求項1から11までのいずれか1項記載の方法。
  13. 前記生物組織は、ヒトもしくは哺乳動物の網膜組織である、
    請求項1から12までのいずれか1項記載の方法。
  14. 生物組織の3次元ボリュームを表す画像データを分析するためのコンピュータプログラムであって、
    前記コンピュータプログラムは、コンピュータ上で実行される際に、請求項1から13までのいずれか1項記載の各ステップを実行するのに適したコンピュータプログラムコードを含む、
    コンピュータプログラム。
JP2017504211A 2014-04-07 2015-03-30 生物組織の3次元ボリュームを表す画像データを分析する方法 Expired - Fee Related JP6469838B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CH534/14 2014-04-07
CH5342014 2014-04-07
PCT/CH2015/000048 WO2015154199A1 (en) 2014-04-07 2015-03-30 Method for the analysis of image data representing a three-dimensional volume of biological tissue

Publications (2)

Publication Number Publication Date
JP2017512626A JP2017512626A (ja) 2017-05-25
JP6469838B2 true JP6469838B2 (ja) 2019-02-13

Family

ID=52991394

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017504211A Expired - Fee Related JP6469838B2 (ja) 2014-04-07 2015-03-30 生物組織の3次元ボリュームを表す画像データを分析する方法

Country Status (7)

Country Link
US (1) US10083507B2 (ja)
EP (1) EP3129956B1 (ja)
JP (1) JP6469838B2 (ja)
CN (1) CN106415661B (ja)
AU (1) AU2015245908B2 (ja)
CA (1) CA2945092A1 (ja)
WO (1) WO2015154199A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10142972B2 (en) * 2015-04-27 2018-11-27 Qualcomm Incorporated Methods and apparatus for multiple user uplink response rules
GB2576139A (en) * 2018-07-20 2020-02-12 Ophthalmic Surgical Services Ltd Ocular assessment

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6640124B2 (en) * 1998-01-30 2003-10-28 The Schepens Eye Research Institute Imaging apparatus and methods for near simultaneous observation of directly scattered light and multiply scattered light
US7042219B2 (en) * 2004-08-12 2006-05-09 Esaote S.P.A. Method for determining the condition of an object by magnetic resonance imaging
US7483572B2 (en) * 2004-08-25 2009-01-27 Mitsubishi Electric Research Laboratories, Inc. Recovering a non-linear warping function from images
EP1889111A2 (en) 2005-05-25 2008-02-20 Massachusetts Institute of Technology Multifocal imaging systems and methods
US8199994B2 (en) 2009-03-13 2012-06-12 International Business Machines Corporation Automatic analysis of cardiac M-mode views
US8332016B2 (en) * 2009-08-04 2012-12-11 Carl Zeiss Meditec, Inc. Non-linear projections of 3-D medical imaging data
US20110081055A1 (en) 2009-10-02 2011-04-07 Harris Corporation, Corporation Of The State Of Delaware Medical image analysis system using n-way belief propagation for anatomical images subject to deformation and related methods
JP5733962B2 (ja) 2010-02-17 2015-06-10 キヤノン株式会社 眼科装置、眼科装置の制御方法、及びプログラム
JP5631032B2 (ja) * 2010-03-19 2014-11-26 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、及び画像処理をコンピュータに実行させるためのプログラム
US8712505B2 (en) 2010-11-11 2014-04-29 University Of Pittsburgh-Of The Commonwealth System Of Higher Education Automated macular pathology diagnosis in three-dimensional (3D) spectral domain optical coherence tomography (SD-OCT) images
JP6038799B2 (ja) * 2010-11-17 2016-12-07 オプトビュー,インコーポレーテッド 光干渉断層法を用いた3d網膜分離検出
WO2012126070A1 (en) 2011-03-24 2012-09-27 Katholieke Universiteit Leuven Automatic volumetric analysis and 3d registration of cross sectional oct images of a stent in a body vessel
CN103858134A (zh) 2011-08-09 2014-06-11 光视有限公司 光学相干断层摄影术中对特征的运动校正和标准化
US9877646B2 (en) * 2011-10-11 2018-01-30 Carl Zeiss Meditec, Inc. Assessment of retinal disruption

Also Published As

Publication number Publication date
AU2015245908A1 (en) 2016-10-27
CN106415661A (zh) 2017-02-15
CA2945092A1 (en) 2015-10-15
US10083507B2 (en) 2018-09-25
AU2015245908B2 (en) 2019-04-11
JP2017512626A (ja) 2017-05-25
EP3129956B1 (en) 2020-01-01
WO2015154199A1 (en) 2015-10-15
EP3129956A1 (en) 2017-02-15
US20170032525A1 (en) 2017-02-02
CN106415661B (zh) 2019-08-09

Similar Documents

Publication Publication Date Title
CN109493954B (zh) 一种基于类别判别定位的sd-oct图像视网膜病变检测***
Abràmoff et al. Retinal imaging and image analysis
AU2021202217B2 (en) Methods and systems for ocular imaging, diagnosis and prognosis
Hassan et al. Automated retinal edema detection from fundus and optical coherence tomography scans
Nyúl Retinal image analysis for automated glaucoma risk evaluation
EP3724848A1 (en) Image processing method for glaucoma detection and computer program products thereof
US10573007B2 (en) Image processing apparatus, image processing method, and image processing program
Odstrčilík et al. Retinal nerve fiber layer analysis via markov random fields texture modelling
JP6469838B2 (ja) 生物組織の3次元ボリュームを表す画像データを分析する方法
EP3129955B1 (en) Method for the analysis of image data representing a three-dimensional volume of biological tissue
de Sisternes et al. A machine learning approach for device-independent automated segmentation of retinal cysts in spectral domain optical coherence tomography images
Golabbakhsh et al. Detection and registration of vessels of fundus and OCT images using curevelet analysis
Wong et al. Lee
US20180240240A1 (en) Image processing apparatus, image processing method, and image processing program
Wu et al. Automated vessel shadow segmentation of fovea-centered spectral-domain images from multiple OCT devices
BS Eminent Identification And Segmentation Of Optic Disk In Digital Fundus Images Using Marr-Hildreth Operator
Manoj et al. A Novel Strategy to Segment the Retinal Layers using Convolutional Neural Network
Joshi et al. Localization of optic disc in color fundus images
Patil et al. Detection of Diabetic Retinopathy by Iterative Vessel Segmentation from Fundus Images
Prentašic et al. Ensemble Based Optic Disc Detection Method
KADAM et al. A Survey on Retinal Area Detector From Scanning Laser Ophthalmoscope (SLO) Images for Diagnosing Retinal Diseases
Prentašić et al. Ensemble based optic disc detection method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180323

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181114

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181126

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190116

R150 Certificate of patent or registration of utility model

Ref document number: 6469838

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees