JP7027076B2 - 画像処理装置、位置合わせ方法及びプログラム - Google Patents
画像処理装置、位置合わせ方法及びプログラム Download PDFInfo
- Publication number
- JP7027076B2 JP7027076B2 JP2017172333A JP2017172333A JP7027076B2 JP 7027076 B2 JP7027076 B2 JP 7027076B2 JP 2017172333 A JP2017172333 A JP 2017172333A JP 2017172333 A JP2017172333 A JP 2017172333A JP 7027076 B2 JP7027076 B2 JP 7027076B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- alignment
- dimensional tomographic
- tomographic images
- depth direction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 70
- 238000000034 method Methods 0.000 title claims description 67
- 230000008569 process Effects 0.000 claims description 23
- 238000012935 Averaging Methods 0.000 claims description 18
- 238000011156 evaluation Methods 0.000 claims description 16
- 238000005259 measurement Methods 0.000 claims description 10
- FCKYPQBAHLOOJQ-UHFFFAOYSA-N Cyclohexane-1,2-diaminetetraacetic acid Chemical compound OC(=O)CN(CC(O)=O)C1CCCCC1N(CC(O)=O)CC(O)=O FCKYPQBAHLOOJQ-UHFFFAOYSA-N 0.000 claims description 7
- 210000001525 retina Anatomy 0.000 description 23
- 230000002207 retinal effect Effects 0.000 description 22
- 210000001508 eye Anatomy 0.000 description 20
- 238000001514 detection method Methods 0.000 description 16
- 238000012014 optical coherence tomography Methods 0.000 description 14
- 210000004204 blood vessel Anatomy 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 206010025421 Macule Diseases 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 210000000695 crystalline len Anatomy 0.000 description 5
- 230000001174 ascending effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 206010044565 Tremor Diseases 0.000 description 3
- 239000000654 additive Substances 0.000 description 3
- 230000000996 additive effect Effects 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 210000004127 vitreous body Anatomy 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 210000001775 bruch membrane Anatomy 0.000 description 2
- 210000004087 cornea Anatomy 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 210000004126 nerve fiber Anatomy 0.000 description 2
- 210000003733 optic disk Anatomy 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 208000003098 Ganglion Cysts Diseases 0.000 description 1
- 208000005400 Synovial Cyst Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 230000004323 axial length Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 210000003161 choroid Anatomy 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 210000005081 epithelial layer Anatomy 0.000 description 1
- 210000000873 fovea centralis Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 210000004379 membrane Anatomy 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000000608 photoreceptor cell Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000000790 retinal pigment Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 201000005142 transvestism Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Ophthalmology & Optometry (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Quality & Reliability (AREA)
- Eye Examination Apparatus (AREA)
Description
眼の同一位置を走査するように制御された測定光に基づいて得られた複数の2次元断層像の前記眼の深さ方向に交差する方向における位置合わせを、前記複数の2次元断層像に関する情報を用いて得た前記深さ方向への複数の投影画像の類似度を表す評価関数を用いて行うことにより、該位置合わせを第一の方法により行う第一位置合わせ手段と、
前記複数の2次元断層像の前記深さ方向における位置合わせを前記第一の方法とは異なる第二の方法により行う第二位置合わせ手段と、を備える。
以下、図面を参照しながら、本発明の第一の実施形態について説明する。なお、本実施形態に係る画像処理装置は、ノイズを低減した2次元断層画像を生成するにあたり、高速で正確に複数の断層画像の位置合わせをすると共に、加算平均を行うために位置合わせの基準となる断層画像を適切に選択することを特徴としている。なお、以降の実施例に示す数値は例示であり、開示の数値に限定されるものではない。
ステップS301では、不図示の被検眼情報取得部は、被検眼を同定する情報として被検者識別番号を外部から取得する。そして、被検者識別番号に基づいて、外部記憶部500が保持している当該被検眼に関する情報を取得して記憶部302に記憶する。
ステップS302では被検眼をスキャンして撮影を行う。被検眼のスキャンは、操作者が非図示のスキャン開始を選択すると、断層画像撮影装置200は、駆動制御部202を制御し、ガルバノミラー201を動作させて断層画像のスキャンを行う。ガルバノミラー201は、水平方向用のXスキャナと垂直方向用のYスキャナで構成される。そのため、これらのスキャナの向きをそれぞれ変更すると、装置座標系における水平方向(X)、垂直方向(Y)それぞれの方向に走査することが出来る。そして、これらのスキャナの向きを同時に変更させることで、水平方向と垂直方向とを合成した方向に走査することが出来るため、眼底平面上の任意の方向に走査することが可能となる。
ステップS303では、断層画像の生成を行う。断層画像生成部311は、それぞれの干渉信号に対して、一般的な再構成処理を行うことで、断層画像を生成する。
ステップS304では、画像処理部303が合成画像生成を行う。画像処理部303の処理について、図3(b)、図4、図5のフローチャートと、図6~図13を用いて説明をする。
ステップS341では、検出部331は、断層画像撮影装置200が撮影した複数の断層画像において網膜層の境界線を検出する。検出部331は、図2(b)の断層画像においてL1~L6の各境界のいずれかを検出する。処理の対象とする断層画像に対して、メディアンフィルタとSobelフィルタをそれぞれ適用して画像を作成する(以下、メディアン画像、Sobel画像とする)。次に、作成したメディアン画像とSobel画像から、Aスキャン毎にプロファイルを作成する。メディアン画像では輝度値のプロファイル、Sobel画像では勾配のプロファイルとなる。そして、Sobel画像から作成したプロファイル内のピークを検出する。検出したピークの前後やピーク間に対応するメディアン画像のプロファイルを参照することで、網膜層の各領域の境界を検出する。
ステップS342では、複数の断層画像間において網膜の横方向(x軸)の位置合わせと、網膜の深さ方向(z軸)の位置合わせをそれぞれ行う。なお、ここでの位置合わせは大局位置合わせとして説明をする。大局位置合わせS342の方法について、図4のフローチャートを用いて説明をする。
ステップS3421では、各断層画像をそれぞれ位置合わせした場合の位置合わせパラメータを保存するための2次元行列を初期化する。各行列の要素には、位置合わせ時の変形パラメータや画像類似度などの画像高画質化に必要な情報をまとめて保存する。
ステップS3422では、第一の位置合わせ部332は、ライン投影像を作成する。ライン投影像は、投影画像の一例である。ライン投影像とその作成方法について図6を用いて説明をする。図6(a)は1枚の断層画像の模式図を表す。断層画像において、L1~L4は境界線、ASはAスキャン、Vesselは血管を表す。なお、図6(a)において、血管は2本の縦線で囲まれた領域で示しており、浅層部の血管により、深層部の方は影が生じている様子を表している。ライン投影像とは、各Aスキャン単位で断層画像をZ軸方向に加算平均して作成した画像のことを意味する。図6(b)に1枚の断層画像から作成したライン投影像の模式図を示す。本実施形態においては、同一箇所を複数枚撮影した断層画像を用いて高画質化処理を行うため、断層画像は複数枚撮影する。そのため、同一箇所を複数枚撮影した断層画像群から作成したライン投影像の一例を図6(c)に示す。図6(c)において、横軸は断層画像と同じX、縦軸はtで時間軸を表す。断層画像において血管下部には影が出来るため周囲と比較して輝度値が低くなる。そのため、ライン投影像でみた場合に血管に相当する個所は輝度値が低くなる。
ステップS3423では、位置合わせ対象を選択する。本実施形態においては、全ての断層画像を基準画像に設定して残りの断層画像と位置合わせを行う。そのため、ステップS3423においては、Index0の断層画像を基準とする場合に、Index1~149とそれぞれ位置合わせを行う。次に、Index1の断層画像を基準とする場合には、Index2~149とそれぞれ位置合わせを行う。次に、Index2の断層画像を基準とする場合には、Index3~149とそれぞれ位置合わせを行う。これらの処理を繰り返す。繰り返しの判定は後述のステップS3428で行う。
ステップS3424では、第一の位置合わせ部332は、複数の断層画像間において網膜の横方向(x軸)の位置合わせを行う。ここで、横方向(水平方向)位置合わせには、ステップS3422で作成したライン投影像を用いる。ライン投影像を用いた位置合わせは第一の方法の位置合わせの一例に相当する。ライン投影像位置合わせについて図7を用いて説明をする。図7(a)は、同一箇所を複数枚撮影した断層画像群から作成したライン投影像の一例を示す。図7(a)において、血管部分に注目すると、撮影時に被検眼のトラッキングを行っていてもわずかにずれがあることが分かる。そのため、ここではその位置ずれを補正する。ここでは、画像データを用いているが、位置合わせ時の画像データは図7(b)に示すように1次元データとなる。図7(b)では、Index0とIndex1のライン投影像であり、画像サイズは1024×1である。Index0を基準としてIndex1のROIの範囲の画像を位置合わせする。ROIのサイズは、画像サイズよりも横方向を小さく、縦方向は同じサイズを設定する。例えば、ROIのサイズを1000×1とする。画像同士の位置合わせ処理としては、例えば、2つのライン投影像の類似度を表す評価関数を事前に定義しておき、ライン投影像位置をずらしながら評価値を計算し、評価値が最もよくなる場所を位置合わせ結果とする。すなわち、評価値が最もよくなる場所までの移動量をライン投影像間のズレ量として、位置合わせが行われる。評価関数としては、画素値で評価する方法が挙げられる(例えば、相関係数を用いて評価を行う方法が挙げられる)。
ステップS3425では、ステップS341で検出した境界線情報を取得する。なお、取得する境界線は、現在の位置合わせ対象の断層画像の境界線情報だけである。例えば、Index0とIndex1の境界線情報を取得する。
ステップS3426では、第二の位置合わせ部333は、網膜の深さ方向(z軸)の位置合わせを行う。ここで、深さ方向の位置合わせにおいては境界線情報を用いる。境界情報を用いた位置合わせは第一の方法の位置合わせとは異なる時刻に実行される第二の方法の位置合わせの一例に相当する。境界線情報位置合わせについて、図8を用いて説明をする。図8(a)は、位置合わせに用いる境界線の例を示している。本実施形態においては、境界線L1(ILM)と境界線L3(ISOS)を用いる場合について説明をする。
ステップS3427では、ステップS3421で初期化した位置合わせや画像類似度などの画像高画質化に必要なパラメータを保存するための2次元行列に対して値を保存する。例えば、基準画像をIndex0、対象画像をIndex1とする場合、2次元行列の要素(0、1)に横方向の位置合わせパラメータX、深さ方向の位置合わせパラメータZ、各領域での差分値の代表値D0~D11、globalDistance、画像類似度を保存する。これらの情報の他に、まばたき等により画像が暗く境界線があまり検出出来ていない画像には、境界線検出の結果としてfalseのフラグを保存しても良い。一方、層境界検出が成功した場合には、画像に対してtrueのフラグを対応付けて保存しても良い。さらに、本実施形態では説明をしないが、境界線位置合わせにおいて、境界線自体を回転させて位置合わせする場合、回転角度、回転軸の中心座標を保存しても良い。さらに倍率補正を行う場合には、倍率を保存しても良い。
ステップS3428では、全ての画像を基準画像として残りの対象画像と位置合わせを行ったか否かを判定する。全ての画像を基準として処理をしていない場合には、ステップS3423に戻る。そして、全ての画像を基準として処理をした場合には、ステップS3429に進む。
ステップS3429では、2次元行列の残りの要素を更新する。上記処理は、ステップS3423で説明したように、半分の組み合わせしか計算をしていない。そのため、計算をしていない要素にこれらの値をコピーする。例えば、2次元行列の要素(0、1)のパラメータは(1、0)の要素にコピーされる。すなわち、要素(i、j)を要素(j、i)にコピーする。この際、位置合わせパラメータX、Zと回転角度は逆になるため、負の値を掛けてコピーをする。なお、画像類似度などは逆にならないため、同じ値をそのままコピーする。
ステップS343では、画像選択部334が基準画像の選択を行う。ステップS342で行った大局位置合わせの結果に基づいて基準画像選択を行う。ステップS342において、2次元行列を作成しており、行列の各要素に高画質化画像生成に必要な情報が保存されている。そのため、その情報を用いることで基準画像選択を行う。基準画像選択において、境界線検出フラグが保存してある場合はその情報を用いると共に、横方向位置合わせで求めた画像類似度(投影画像間の比較結果の一例)と、深さ方向位置合わせで求めた各領域で求めた差分値の代表値D0~D11の値とを用いる。具体的には、Index0の場合において、2次元行列の要素(0、0)~(0、149)の範囲で、境界線検出フラグがTrueかつ、画像類似度が閾値以上、各領域で求めた差分値の代表値D0~D11が12領域中8領域以上において閾値以内となるものをカウントする。同様に、Index1の場合において、2次元行列の要素(1、0)~(1、149)の範囲で、境界線検出フラグがTrueかつ、画像類似度が閾値以上、各領域で求めた差分値の代表値D0~D11が12領域中8領域以上において閾値以内(所定閾値以下)となるものをカウントする。これらの処理を全ての画像において同様に行う。なお、横方向位置合わせで求めた画像類似度と、深さ方向位置合わせで求めた各領域で求めた差分値の代表値D0~D11の値とのいずれか一方のみを用いることとしてもよい。
ステップS344では、画像選択部334が加算画像の選択を行う。加算画像の選択では、ステップS343で求めた基準画像に対して、他の画像が条件を満たしているか否かで判定を行う。加算画像の選択においては、画像選択フラグを設定しておき、条件を満たす場合はTrue、満たさない場合はFalseに設定をする。加算画像選択の条件としては、例えば、ステップS343と同様に、境界線検出フラグがTrueかつ、画像類似度が閾値以上で、各領域で求めた差分値の代表値D0~D11が12領域中8領域以上において閾値以内となるものをカウントする。なお、加算画像選択と基準画像選択においては、それぞれの閾値を変更するようにしても良い。例えば、基準画像選択においては閾値の条件を厳しくし、加算画像選択では基準画像選択よりは条件を緩くするようにしても良い。あるいは、基準画像選択と加算画像選択の条件を同じにしてもよい。
ステップS345では、第三の位置合わせ部335は、基準画像と選択された複数の断層画像間において、断層画像内部の特徴がある部分に位置合わせのための領域を複数設定し、その領域単位で網膜の横方向(x軸)と深さ方向(z軸)の位置合わせを同時に行う。なお、ここでの位置合わせは局所位置合わせとして説明をする。第三の位置合わせ部335が行う局所位置合わせS345の方法について、図5のフローチャートを用いて説明をする。
ステップS3451では、ステップS344において選択済みの画像か否かで処理を分ける。画像選択フラグがTrueの場合は、ステップS3452に進み、画像選択フラグがFalseの場合は、ステップS3459に進む。
ステップS3452では、後述する加算平均処理のためにマスク画像を生成する。マスク画像は、例えば、全てのピクセルの値が1.0の画像とする。本実施形態においては全ての値を同じとして説明をするが、マスク画像はこれに限らない。場所に応じて重みをつけても良い。例えば、画像の上下左右の周辺部(数ピクセル程度)の値は1.0よりも小さくするようにしても良い。その場合は、一律で小さくするよりは、画像の中心から端に行くにつれ徐々に値を小さくする方が望ましい。
ステップS3453では、断層画像(Bスキャン)単位で画像変形を行う。これについて、図11を用いて説明をする。図11(a)は、基準画像と基準のマスク画像、図11(b)は、対象画像1と対象マスク画像1で右下方向にシフトした例を示している。図11に示すように、ここでは、ステップS342の大局位置合わせで求めた位置合わせパラメータXとZに基づいて、基準画像以外の断層画像を変形させる。図11(b)に示す黒い領域は、位置合わせの結果、画像をXZ方向にシフトさせたために生じる無効領域を示している。ここには画像データが存在しないため値は0となる。なお、断層画像だけではなく、マスク画像も同じパラメータで変形させておく。
ステップS3454では、ステップS341で検出した境界線情報を取得する。なお、取得する境界線は、現在の位置合わせ基準断層画像の境界線情報だけである。本実施形態においては取得する境界線はL1とL3とする。
ステップS3455では、対象画像の特徴領域を含むように位置合わせ用の領域を設定する。これについて、図12を用いて説明をする。
ステップS3456では、ROIを使って領域位置合わせを行う。領域位置合わせは画像で行う。そのため、ステップS3424で示したライン投影像位置合わせと同様に数1を用いて画像類似度に応じた位置合わせを行う。ただし、類似度の評価値はこれに限らず、SSD(Sum of Squared Difference)や、SAD(Sum of Absolute Difference)などでも良い。あるいは、POC(Phase Only Correlation)のような方法で、位置合わせを行っても良い。
ステップS3457では、ステップS3456で求めた位置合わせパラメータを補間する。これについて、図13を用いて説明をする。図13(a)は、初期設定した領域のROI1~ROI3を表している。C1~C3の下三角はROI1~ROI3の中心位置を表している。また、図13(b)は、ステップS3456での位置合わせ後のROIの移動例を示している。図13(b)においては、ROI1とROI3がそれぞれ右側に移動し、ROI2が移動しない場合の例である。そのため、ROIの中心C1とC3がそれぞれC1’とC3’に移動している。各ROIの移動量からAスキャンの移動量を算出するためには、隣接するROIとROIの中心位置の移動量に基づいて算出をする。例えば、ROI1の中心位置はC1からC1’に移動しており、ROI2の中心位置はC2のままである。ここで、変形前のC1からC2の間にある各AスキャンのX方向移動量を求める式を数3に示す。
ステップS3458では、ステップS3457で求めたAスキャン移動量を基に、Aスキャン毎にX方向とZ方向に移動させる。それにより、Aスキャン単位で変形した断層画像を生成することが出来る。なお、断層画像だけではなく、マスク画像も同じパラメータで変形させておく。
ステップS3459では、基準画像に対して全ての断層画像を局所位置合わせ行ったか否かを判定する。全ての画像を処理していない場合には、ステップS3451に戻る。そして、全ての画像を局所位置合わせした場合には、局所位置合わせの処理が終了する。
ステップS346では、画像合成部336は、画像選択部334が選択した基準となる断層画像と、複数の断層画像同士を加算平均する。加算平均処理では、ピクセル毎に、複数の断層画像とマスク画像の値を掛け算した値の合計値SUM_Aと、複数のマスク画像の値の合計値SUM_Bをそれぞれ保持しておく。マスク画像には位置合わせにより画像データが存在しない無効領域が0として保存されているため、マスク画像の合計値SUM_Bにはピクセル毎に異なる値が保持されている。通常、位置合わせにおいて上下左右に数10ピクセルの移動が想定されるため、重ね合わせに用いた画像枚数がN枚である場合、画像中心付近のSUM_Bのピクセル値はNであり、画像端部のSUM_Bのピクセル値は、Nよりも少ない値になる。
ステップS305では、ステップS304で作成した高画質な断層画像に対して、検出部331が境界線検出を行う。境界線検出は、例えば、ステップS341と同様の方法で行うことが出来る。
ステップS306では、加算平均して作成した高画質な断層画像の結果を表示部600に表示する。
ステップS307において、不図示の指示取得部は、画像処理システム100による断層画像の撮影を終了するか否かの指示を外部から取得する。この指示は、入力部700を用いて、操作者によって入力される。処理を終了する指示を取得した場合には、画像処理システム100はその処理を終了する。一方、処理を終了せずに、撮影を続ける場合には、ステップS302に処理を戻して撮影を続行する。以上によって、画像処理システム100の処理が行われる。
本実施形態において、第一の位置合わせ部332がライン投影像を作成し、ライン投影像の画像類似度を基にして網膜の横方向(x軸)の位置合わせを行う例を示した。しかし、横方向(x軸)位置合わせはこれに限らない。例えば、第一の位置合わせ部332は、ライン投影像からエッジを検出し、エッジ検出したラインエッジ画像を用いて位置合わせを行っても良い。あるいは、第一の位置合わせ部332は、SIFT(Scale-Invariant Feature Transform)や、AKAZE(Accelerated KAZE)のような方法を用いてライン投影像から特徴点を検出し、検出した特徴点を基にして位置合わせを行っても良い。
本実施形態において、第二の位置合わせ部333が境界線情報を用いて、網膜の深さ方向(z軸)の位置合わせを行う例を示した。しかし、深さ方向(z軸)位置合わせはこれに限らない。例えば、第二の位置合わせ部333は、複数のAスキャンをX軸方向に加算平均した横方向ライン投影像を生成し、それを基に深さ方向の位置合わせを行っても良い。なお、この場合の位置合わせは実施例1で説明した方法や変形例1で説明した方法を用いることが出来る。なお、横方向投影像を生成する場合には、撮影したままの断層画像を用いても良いが、撮影時の状態に応じて網膜層に傾きが生じるため、画像を補正することが望ましい。その場合の補正方法は、例えば、境界線L1(ILM)、あるいは境界線L3(ISOS)の形状をフラットにするように画像変形を行う。この場合の画像補正例を図14に示す。図14(a)の左側の図は変形前の断層画像で、右側の図は変形前の断層画像から生成した横方向ライン投影像を示している。図14(b)はL1をフラットにした場合の変形後の断層画像と横方向ライン投影像、図14(c)はL3をフラットにした場合の変形後の断層画像と横方向ライン投影像である。深さ方向の位置合わせを行うため、画像変形時には変形させる境界線の基準場所はそのままとし、他の場所を変形させる。なお、図14では画像中心(図の破線部分)の位置は変えずに、他の部分を変形させた例を示している。なお、基準場所は画像中心に限らない。例えば、第一の位置合わせ部332によって横方向位置合わせを行った後の画像に対して画像中心を基準としても良いし、画像の端を基準としても良い。第二の位置合わせを行う複数の画像同士で基準を揃えてあればよい。図14には、境界線を基準として網膜形状をフラットにする例を示したがこれに限らない。例えば、検出した網膜層に対して、2次曲線で近似を行い、その近似曲線を基準に網膜層をフラットに変形しても良い。
本実施形態において、第三の位置合わせ部335は、領域単位で網膜の横方向(x軸)と深さ方向(z軸)の位置合わせを同時に行う。その際の局所位置合わせ用のROIは、それぞれ重畳するように設定する例を示した。しかし、局所位置合わせ用のROIは必ずしも重畳しなくても良い。例えば、設定するROIの領域内に十分な画像特徴量が含まれる場合には、ROIは重複しないように設定しても良い。さらには、重複する場合と重複しない場合を1つの画像の中に同時に設定しても良い。画像特徴とは断層画像に対する解析結果の一例であり、例えば、血管や疾病、あるいは、網膜の形状が横にフラットではなく、形に変化がみられる場合を含む。血管や疾病の特徴検出は、断層画像かライン投影像から検出出来る。網膜形状は境界線L1(ILM)や、境界線L3(ISOS)を用いることで、把握することが出来る。なお、複数の断層画像は同じ場所を撮影した画像であるため、複数の断層画像全部において特徴を検出する必要はなく、代表的な1枚(例えば、基準画像)で検出をすればよい。
本実施形態において、画像合成部336が加算平均処理において無効領域を除去するために、局所位置合わせ時にマスク画像を生成する例について説明を行ったが、これに限らない。マスク画像を生成せずに断層画像から無効領域を検出し、無効領域部分を加算平均の計算に含めないようにしても良い。
本実施形態において、OCT画像の高画質化のための位置合わせについて説明を行ったが、対象はこれに限らない。例えば、OCTA(OCT Angiography)のための位置合わせに用いても良い。OCTAでは、血流部分を可視化するために、同一部分を複数回撮影して位置合わせを行った後に、断層画像間の変化部分を計算する。断層画像間の変化は、例えば脱相関などを計算することで算出することが出来る。脱相関を計算することで、動きのある部分(血液の流れ)だけが残り、それを可視化することでOCTA画像を生成する。このように、OCTA画像を生成する時の断層画像位置合わせに適用しても良い。
本実施形態において、撮影から表示までを一連の流れで示したがこれに限らない。例えば、既に撮影が済んでいるデータを用いて高画質画像生成処理を行ってもよい。その場合、撮影に関する処理をスキップし、その代わりに撮影済みの複数の断層画像を取得する。そして、ステップS304で高画質画像生成処理を行う。
上記のそれぞれの実施形態は、本発明を画像処理装置として実現したものである。しかしながら、本発明の実施形態は画像処理装置のみに限定されるものではない。本発明をコンピュータ上で動作するソフトウェアとして実現することも可能である。画像処理装置のCPUは、RAMやROMに格納されたコンピュータプログラムやデータを用いてコンピュータ全体の制御を行う。また、画像処理装置の各部に対応するソフトウェアの実行を制御して、各部の機能を実現する。また、ボタンなどのユーザーインターフェイスや表示のレイアウトは上記で示したものに限定されるものではない。
200 断層画像撮影装置
300 画像処理装置
301 画像取得部
303 画像処理部
305 表示制御部
311 断層画像生成部
331 検出部
332 第一の位置合わせ部
333 第二の位置合わせ部
334 画像選択部
335 第三の位置合わせ部
336 画像合成部
400 眼底画像撮影装置
500 外部記憶部
600 表示部
700 入力部
Claims (16)
- 眼の同一位置を走査するように制御された測定光に基づいて得られた複数の2次元断層像の前記眼の深さ方向に交差する方向における位置合わせを、前記複数の2次元断層像に関する情報を用いて得た前記深さ方向への複数の投影画像の類似度を表す評価関数を用いて行うことにより、該位置合わせを第一の方法により行う第一位置合わせ手段と、
前記複数の2次元断層像の前記深さ方向における位置合わせを前記第一の方法とは異なる第二の方法により行う第二位置合わせ手段と、
を備えることを特徴とする画像処理装置。 - 前記第二位置合わせ手段は、前記第二の方法として、前記複数の2次元断層像に関する情報を用いて得た層境界の比較により得た位置ずれ情報を用いて、前記複数の2次元断層像の前記深さ方向における位置合わせを行うことを特徴とする請求項1に記載の画像処理装置。
- 前記第二位置合わせ手段は、前記第二の方法として、前記2次元断層像を前記深さ方向に交差する方向に分割した複数の領域それぞれにおいて得られる前記層境界のズレ量に基づいて前記複数の2次元断層像の深さ方向における位置合わせを行うことを特徴とする請求項2に記載の画像処理装置。
- 前記第二位置合わせ手段は、前記第二の方法として、前記複数の領域における複数の前記層境界のズレ量のうち所定個数のズレ量を、前記所定個数の組み合わせにおける前記ズレ量のバラつきを示す値が最小となるように選択し、選択したズレ量の代表値に基づいて前記複数の2次元断層像の深さ方向における位置合わせを行うことを特徴とする請求項3に記載の画像処理装置。
- 前記バラつきを示す値は、分散または標準偏差を含み、
前記代表値は、平均値または中央値を含むことを特徴とする請求項4に記載の画像処理装置。 - 前記第一の方法と前記第二の方法とは、異なるタイミングで実行されることを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
- 眼の同一位置を走査するように制御された測定光に基づいて得られた複数の2次元断層像の前記眼の深さ方向に交差する方向における位置合わせを、前記2次元断層像に関する情報を用いて得た前記深さ方向への複数の投影画像の類似度を表す評価関数を用いて行う第一位置合わせ手段と、
前記複数の2次元断層像の前記深さ方向における位置合わせを、前記2次元断層像に関する情報を用いて得た前記複数の投影画像の比較により得た位置ずれ情報とは異なる位置ずれ情報を用いて行う第二位置合わせ手段と、
を備えることを特徴とする画像処理装置。 - 前記複数の2次元断層像から位置合わせの基準となる基準画像を選択する画像選択手段を更に備え、
前記画像選択手段は、前記複数の2次元断層像それぞれから得られる前記深さ方向への投影画像の比較結果および前記複数の2次元断層像それぞれから得られる層境界の比較結果の少なくとも一方に基づいて、前記基準画像を選択することを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。 - 前記複数の2次元断層像それぞれから得られる前記深さ方向への投影画像の比較結果は、前記投影画像の間の類似度を含み、
前記複数の2次元断層像それぞれから得られる層境界の比較結果は、前記層境界のズレ量を含むことを特徴とする請求項8に記載の画像処理装置。 - 前記画像選択手段は、前記複数の2次元断層像のうち、一つの2次元断層像と他の複数の2次元断層像とを比較した場合において、前記類似度が所定閾値以上であり且つ前記層境界のズレ量が所定閾値以下となる2次元断層像の数に関する情報、または前記2次元断層像を前記深さ方向に交差する方向に分割した複数の領域毎に得られる前記層境界のズレ量のうち所定閾値以下となる領域の数が所定個数以上となる2次元断層像の数に関する情報に基づいて、前記基準画像を選択することを特徴とする請求項9に記載の画像処理装置。
- 前記第一位置合わせ手段および前記第二位置合わせ手段により位置合わせされた前記複数の2次元断層像に対して、前記基準画像を基準として更なる位置合わせを行う第三位置合わせ手段を更に備え、
前記画像選択手段は、前記複数の2次元断層像から、前記第三位置合わせ手段による位置合わせの基準画像を選択することを特徴とする請求項8乃至10のいずれか1項に記載の画像処理装置。 - 前記第三位置合わせ手段により位置合わせされた前記複数の2次元断層像を加算平均することで加算平均画像を生成する生成手段を更に備えることを特徴とする請求項11に記載の画像処理装置。
- 前記第三位置合わせ手段により位置合わせされた前記複数の2次元断層像からOCTA画像を生成する生成手段を更に備えることを特徴とする請求項11に記載の画像処理装置。
- 眼の同一位置を走査するように制御された測定光に基づいて得られた複数の2次元断層像の前記眼の深さ方向に交差する方向における位置合わせを、前記複数の2次元断層像に関する情報を用いて得た前記深さ方向への複数の投影画像の類似度を表す評価関数を用いて行うことにより、該位置合わせを第一の方法により行う工程と、
前記複数の2次元断層像の前記深さ方向における位置合わせを前記第一の方法とは異なる第二の方法により行う工程と、
を含むことを特徴とする位置合わせ方法。 - 眼の同一位置を走査するように制御された測定光に基づいて得られた複数の2次元断層像の前記眼の深さ方向に交差する方向における位置合わせを、前記2次元断層像に関する情報を用いて得た前記深さ方向への複数の投影画像の類似度を表す評価関数を用いて行う工程と、
前記複数の2次元断層像の前記深さ方向における位置合わせを、前記2次元断層像に関する情報を用いて得た前記複数の投影画像の比較により得た位置ずれ情報とは異なる位置ずれ情報を用いて行う工程と、
を含むことを特徴とする位置合わせ方法。 - 請求項14または15に記載の位置合わせ方法に記載の各工程をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017172333A JP7027076B2 (ja) | 2017-09-07 | 2017-09-07 | 画像処理装置、位置合わせ方法及びプログラム |
US16/122,234 US10789721B2 (en) | 2017-09-07 | 2018-09-05 | Image processing apparatus, alignment method and storage medium |
EP18192977.9A EP3453314B1 (en) | 2017-09-07 | 2018-09-06 | Image processing apparatus, alignment method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017172333A JP7027076B2 (ja) | 2017-09-07 | 2017-09-07 | 画像処理装置、位置合わせ方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019047838A JP2019047838A (ja) | 2019-03-28 |
JP2019047838A5 JP2019047838A5 (ja) | 2020-09-10 |
JP7027076B2 true JP7027076B2 (ja) | 2022-03-01 |
Family
ID=63524169
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017172333A Active JP7027076B2 (ja) | 2017-09-07 | 2017-09-07 | 画像処理装置、位置合わせ方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10789721B2 (ja) |
EP (1) | EP3453314B1 (ja) |
JP (1) | JP7027076B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3599987A4 (en) * | 2017-03-23 | 2020-12-16 | Doheny Eye Institute | SYSTEMS, METHODS AND DEVICES FOR OPTICAL COHERENCE TOMOGRAPHY WITH MULTI-ENFACE ANGIOGRAPHY MEANS |
JP7077631B2 (ja) * | 2018-01-18 | 2022-05-31 | コニカミノルタ株式会社 | 画像検査装置および画像形成システム |
JP2020162886A (ja) * | 2019-03-29 | 2020-10-08 | 株式会社ニデック | 医療画像処理装置、oct装置、および医療画像処理プログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011254959A (ja) | 2010-06-08 | 2011-12-22 | Canon Inc | 画像処理装置、画像処理方法、及びプログラム |
JP2015084865A (ja) | 2013-10-29 | 2015-05-07 | 株式会社ニデック | 眼底解析装置及び眼底解析プログラム |
JP2017519569A (ja) | 2014-06-16 | 2017-07-20 | エージェンシー フォー サイエンス,テクノロジー アンド リサーチ | 光干渉断層撮影画像内のスペックルノイズの低減 |
JP2017127506A (ja) | 2016-01-21 | 2017-07-27 | キヤノン株式会社 | 画像形成方法及び装置 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8223143B2 (en) * | 2006-10-27 | 2012-07-17 | Carl Zeiss Meditec, Inc. | User interface for efficiently displaying relevant OCT imaging data |
JP5199031B2 (ja) | 2008-11-05 | 2013-05-15 | 株式会社ニデック | 眼科撮影装置 |
AU2011206927B2 (en) * | 2010-01-13 | 2015-12-03 | Fei Company | A computed tomography imaging process and system |
JP5511437B2 (ja) | 2010-02-25 | 2014-06-04 | 株式会社ニデック | 光断層像撮影装置 |
PL2563206T3 (pl) | 2010-04-29 | 2018-12-31 | Massachusetts Institute Of Technology | Sposób i urządzenie do korekcji ruchu i poprawy jakości obrazu w optycznej tomografii koherencyjnej |
WO2012018303A1 (en) * | 2010-08-03 | 2012-02-09 | Agency For Science, Technology And Research | Corneal graft evaluation based on optical coherence tomography image |
US9795292B2 (en) | 2012-02-29 | 2017-10-24 | Nidek Co., Ltd. | Method for taking tomographic image of eye |
EP2693397B1 (en) | 2012-07-30 | 2017-09-06 | Canon Kabushiki Kaisha | Method and apparatus for noise reduction in an imaging system |
JP6099903B2 (ja) | 2012-08-30 | 2017-03-22 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
JP6241040B2 (ja) | 2013-01-23 | 2017-12-06 | 株式会社ニデック | 眼科解析装置、及び眼科解析プログラム |
EP2865324B1 (en) * | 2013-09-27 | 2016-06-15 | Tomey Corporation | Anterior segment three-dimensional image processing apparatus, and anterior segment three-dimensional image processing method |
JP2015080679A (ja) | 2013-10-24 | 2015-04-27 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
EP3102090B1 (en) | 2014-02-04 | 2020-03-25 | University of Southern California | Optical coherence tomography (oct) system with phase-sensitive b-scan registration |
JP6731919B2 (ja) * | 2014-11-20 | 2020-07-29 | エージェンシー フォー サイエンス,テクノロジー アンド リサーチ | 光コヒーレンス断層撮影像におけるスペックル低減 |
WO2016108755A1 (en) * | 2014-12-30 | 2016-07-07 | Agency For Science, Technology And Research | Method and apparatus for aligning a two-dimensional image with a predefined axis |
-
2017
- 2017-09-07 JP JP2017172333A patent/JP7027076B2/ja active Active
-
2018
- 2018-09-05 US US16/122,234 patent/US10789721B2/en active Active
- 2018-09-06 EP EP18192977.9A patent/EP3453314B1/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011254959A (ja) | 2010-06-08 | 2011-12-22 | Canon Inc | 画像処理装置、画像処理方法、及びプログラム |
JP2015084865A (ja) | 2013-10-29 | 2015-05-07 | 株式会社ニデック | 眼底解析装置及び眼底解析プログラム |
JP2017519569A (ja) | 2014-06-16 | 2017-07-20 | エージェンシー フォー サイエンス,テクノロジー アンド リサーチ | 光干渉断層撮影画像内のスペックルノイズの低減 |
JP2017127506A (ja) | 2016-01-21 | 2017-07-27 | キヤノン株式会社 | 画像形成方法及び装置 |
Also Published As
Publication number | Publication date |
---|---|
EP3453314A1 (en) | 2019-03-13 |
EP3453314B1 (en) | 2020-04-01 |
US20190073779A1 (en) | 2019-03-07 |
JP2019047838A (ja) | 2019-03-28 |
US10789721B2 (en) | 2020-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9089280B2 (en) | Image processing apparatus, image processing method, and program storage medium | |
US10165939B2 (en) | Ophthalmologic apparatus and ophthalmologic apparatus control method | |
US11887288B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP7374615B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP7027076B2 (ja) | 画像処理装置、位置合わせ方法及びプログラム | |
US20190073780A1 (en) | Image processing apparatus, alignment method and storage medium | |
US10803568B2 (en) | Image processing apparatus, alignment method and storage medium | |
JP7102112B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2021122559A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP7005382B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2019150485A (ja) | 画像処理システム、画像処理方法及びプログラム | |
JP7297952B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2019063446A (ja) | 画像処理装置、画像処理方法及びプログラム | |
WO2020090439A1 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2022062620A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP7158860B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP7281872B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP7086708B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US20220110521A1 (en) | Image processing apparatus, image processing method, and storage medium | |
JP2020065811A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2022062619A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2019198384A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2019115827A (ja) | 画像処理システム、処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200717 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200717 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210521 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210629 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210816 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220118 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220216 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7027076 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |