JP7410481B2 - 画像処理方法、走査型イメージング方法、画像処理装置、その制御方法、走査型イメージング装置、その制御方法、プログラム、及び記録媒体 - Google Patents
画像処理方法、走査型イメージング方法、画像処理装置、その制御方法、走査型イメージング装置、その制御方法、プログラム、及び記録媒体 Download PDFInfo
- Publication number
- JP7410481B2 JP7410481B2 JP2019223138A JP2019223138A JP7410481B2 JP 7410481 B2 JP7410481 B2 JP 7410481B2 JP 2019223138 A JP2019223138 A JP 2019223138A JP 2019223138 A JP2019223138 A JP 2019223138A JP 7410481 B2 JP7410481 B2 JP 7410481B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel value
- mask
- value range
- mask image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 123
- 238000000034 method Methods 0.000 title claims description 88
- 238000003384 imaging method Methods 0.000 title claims description 73
- 238000003672 processing method Methods 0.000 title claims description 33
- 239000002131 composite material Substances 0.000 claims description 147
- 230000003287 optical effect Effects 0.000 claims description 107
- 238000005314 correlation function Methods 0.000 claims description 80
- 238000004364 calculation method Methods 0.000 claims description 63
- 238000010276 construction Methods 0.000 claims description 48
- 230000006870 function Effects 0.000 claims description 17
- 238000004891 communication Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 7
- 238000012014 optical coherence tomography Methods 0.000 description 72
- 230000033001 locomotion Effects 0.000 description 40
- 238000005259 measurement Methods 0.000 description 32
- 230000008569 process Effects 0.000 description 30
- 238000005286 illumination Methods 0.000 description 19
- 238000012937 correction Methods 0.000 description 17
- 238000002583 angiography Methods 0.000 description 13
- 239000013307 optical fiber Substances 0.000 description 12
- 230000007246 mechanism Effects 0.000 description 11
- 239000006185 dispersion Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000010606 normalization Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 239000000835 fiber Substances 0.000 description 7
- 238000001514 detection method Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000013480 data collection Methods 0.000 description 4
- 230000010287 polarization Effects 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 230000017531 blood circulation Effects 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000000149 argon plasma sintering Methods 0.000 description 2
- 230000004323 axial length Effects 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 206010020675 Hypermetropia Diseases 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000010230 functional analysis Methods 0.000 description 1
- 230000004305 hyperopia Effects 0.000 description 1
- 201000006318 hyperopia Diseases 0.000 description 1
- 238000005305 interferometry Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 208000001491 myopia Diseases 0.000 description 1
- 230000004379 myopia Effects 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 238000002577 ophthalmoscopy Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012916 structural analysis Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 210000004127 vitreous body Anatomy 0.000 description 1
Images
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
- Eye Examination Apparatus (AREA)
Description
図1に示す眼科装置1は、眼底カメラユニット2、OCTユニット100、及び演算制御ユニット200を含む。眼底カメラユニット2には、被検眼Eを正面から撮影するための要素群(光学要素、機構など)が設けられている。OCTユニット100には、被検眼EにOCTスキャンを適用するための要素群(光学要素、機構など)の一部が設けられている。OCTスキャンのための要素群の他の一部は、眼底カメラユニット2に設けられている。演算制御ユニット200は、各種の演算や制御を実行する1以上のプロセッサを含む。これらに加え、眼科装置1は、被検者の顔を支持するための要素や、OCTスキャンが適用される部位を切り替えるための要素を備えていてもよい。前者の要素の例として、顎受けや額当てがある。後者の要素の例として、OCTスキャン適用部位を眼底から前眼部に切り替えるために使用されるレンズユニットがある。
眼底カメラユニット2には、被検眼Eの眼底Efを撮影するための光学系が設けられている。取得される眼底Efの画像(眼底像、眼底写真等と呼ばれる)は、観察画像、撮影画像等の正面画像である。観察画像は、例えば近赤外光を用いた動画撮影により得られ、アライメント、フォーカシング、トラッキングなどに利用される。撮影画像は、例えば可視領域又は赤外領域のフラッシュ光を用いた静止画像である。
図2に例示するように、OCTユニット100には、スウェプトソースOCTを適用するための光学系が設けられている。この光学系は干渉光学系を含む。この干渉光学系は、波長可変光源(波長掃引型光源)からの光を測定光と参照光とに分割し、被検眼Eからの測定光の戻り光と参照光路を経由した参照光とを重ね合わせて干渉光を生成し、この干渉光を検出する。干渉光学系により得られたデータ(検出信号)は、干渉光のスペクトルを表す信号であり、演算制御ユニット200に送られる。
眼科装置1の制御系及び処理系の構成例を図3、図4A及び図4Bに示す。制御部210、画像構築部220、及びデータ処理部230は、例えば演算制御ユニット200に設けられる。眼科装置1は、外部装置との間でデータ通信を行うための通信デバイスを含んでいてもよい。眼科装置1は、記録媒体からのデータ読み出しと、記録媒体へのデータ書き込みとを行うためのドライブ装置(リーダ/ライタ)を含んでいてもよい。
制御部210は、各種の制御を実行する。制御部210は、主制御部211と記憶部212とを含む。また、図4Aに示すように、本実施形態において、主制御部211は走査制御部2111を含み、記憶部212は走査プロトコル2121を記憶している。
主制御部211は、プロセッサを含み、眼科装置1の各要素(図1~図4Bに示された要素を含む)を制御する。主制御部211は、プロセッサを含むハードウェアと、制御ソフトウェアとの協働によって実現される。走査制御部2111は、所定形状及び所定サイズの走査エリアに関するOCTスキャンの制御を行う。
記憶部212は各種のデータを記憶する。記憶部212に記憶されるデータとしては、OCT画像、眼底像、被検眼情報、制御情報などがある。被検眼情報は、患者IDや氏名などの被検者情報や、左眼/右眼の識別情報や、電子カルテ情報などを含む。制御情報は、特定の制御に関する情報である。本実施形態の制御情報は、走査プロトコル2121を含む。
走査制御部2111は、走査プロトコル2121に基づいて少なくとも光スキャナ44を制御する。走査制御部2111は、走査プロトコル2121に基づく光スキャナ44の制御と連係して光源ユニット101の制御を更に実行してもよい。走査制御部2111は、プロセッサを含むハードウェアと、走査プロトコル2121を含む走査制御ソフトウェアとの協働によって実現される。
画像構築部220は、プロセッサを含み、データ収集システム130から入力された信号(サンプリングデータ)に基づいて、眼底EfのOCT画像データを構築する。このOCT画像データ構築は、従来のフーリエドメインOCT(スウェプトソースOCT)と同様に、ノイズ除去(ノイズ低減)、フィルタリング、高速フーリエ変換(FFT)などを含む。他のタイプのOCT手法が採用される場合、画像構築部220は、そのタイプに応じた公知の処理を実行することによってOCT画像データを構築する。
データ処理部230は、プロセッサを含み、被検眼Eの画像に対して各種のデータ処理を適用する。例えば、データ処理部230は、プロセッサを含むハードウェアと、データ処理ソフトウェアとの協働によって実現される。
マスク画像生成部231は、基準ストリップに応じた基準マスク画像と、対象ストリップに応じた対象マスク画像とを生成する。マスク画像の幾つかの例を以下に説明するが、これらに限定されるものではない。
範囲調整部232は、基準マスク画像の画素値の範囲と、対象マスク画像の画素値の範囲とに基づいて、基準ストリップの画素値の範囲と、対象ストリップの画素値の範囲とを調整するように構成される。典型的には、範囲調整部232は、ストリップの画素値の範囲とマスク画像の画素値の範囲との間の差を小さくするように、基準ストリップの画素値の範囲及び対象ストリップの画素値の範囲の調整を行う。
範囲調整部232による画素値範囲調整が適用されたストリップ及びマスク画像について、合成画像生成部233は、基準ストリップ及び対象ストリップのそれぞれにマスク画像を合成して2つの合成画像を生成する。典型的には、合成画像生成部233は、基準ストリップに基準マスク画像を合成して基準合成画像を生成し、且つ、対象ストリップに対象マスク画像を合成して対象合成画像を生成する。
相互相関関数算出部234は、合成画像生成部233により生成された2つの合成画像に基づいて複数の相互相関関数を求める。相互相関関数の算出は、非特許文献1と同じ要領で実行される。例えば、相互相関関数算出部234は、基準ストリップ及び基準マスク画像から生成された基準合成画像と、対象ストリップ及び対象マスク画像から生成された対象合成画像とに基づいて、非特許文献1の式(33)に含まれる6個の相互相関関数(画像相互相関、image cross-correlation)を算出する。
相関係数算出部235は、相互相関関数算出部234により算出された複数の相互相関関数に基づいて相関係数を算出する。この演算は、非特許文献1の式(33)に従う。
レジストレーション部236は、相関係数算出部235により算出される相関係数に基づいて、xy方向(ラテラル方向)のレジストレーションが実行される。このレジストレーションは、非特許文献1の「rough lateral motion correction」(第1787頁)に相当する。
マージ処理部237は、レジストレーション部236により相対位置調整がなされた基準ストリップと対象ストリップとのマージ画像を構築する。この処理も非特許文献1に記載された手法と同じ要領で実行される。
ユーザーインターフェイス240は表示部241と操作部242とを含む。表示部241は表示装置3を含む。操作部242は各種の操作デバイスや入力デバイスを含む。ユーザーインターフェイス240は、例えばタッチパネルのような表示機能と操作機能とが一体となったデバイスを含んでいてもよい。ユーザーインターフェイス240の少なくとも一部を含まない実施形態を構築することも可能である。例えば、表示デバイスは、眼科装置1に接続された外部装置であってよい。
眼科装置1の動作について説明する。眼科装置1の動作の例を図6に示す。なお、患者IDの入力、走査モードの設定(リサージュスキャンの指定)、固視標の提示、アライメント、フォーカス調整、OCT光路長調整など、従来と同様の準備的な処理は、既になされたものとする。
所定の走査開始トリガー信号を受けて、走査制御部2111は、被検眼E(眼底Ef)に対するOCTスキャン(リサージュスキャン)の適用を開始する。
画像構築部220は、前述した要領で、ステップS1で収集されたデータに基づいて複数のストリップを構築する。構築された複数のストリップはデータ処理部230に送られる。
データ処理部230は、ステップS2で構築された複数のストリップを寸法(面積等)に従って順序付けする。本例では、ステップS2で構築された複数のストリップの個数をN個(Nは2以上の整数)であるとする。また、順序付けにより指定された順序に従って、これらN個のストリップを、第1のストリップ、第2のストリップ、・・・、第Nのストリップと呼ぶ。また、第1~第Nのストリップのうちの任意のストリップを第nのストリップと呼ぶことがある(n=1、2、・・・、N)。このように、第1のストリップは最も大きなストリップであり、第2のストリップは2番目に大きなストリップであり、第nのストリップはn番目に大きなストリップであり、第Nのストリップは最も小さなストリップである。
マスク画像生成部231は、基準ストリップに対応するマスク画像(基準マスク画像)と、対象ストリップに対応する対象マスク画像とを生成する。
範囲調整部232は、前述した要領で、ステップS3で設定された基準ストリップと対象ストリップに正規化を施す。ストリップの正規化は、マスク画像の画素値の範囲に応じて行われる。この段階においては、範囲調整部232は、第1のストリップ(基準ストリップ)及び第2のストリップ(対象ストリップ)に正規化を適用する。なお、範囲調整部232が実行する処理は正規化には限定されず、前述した範囲調整処理のいずれか又はそれに類する処理であってよい。
合成画像生成部233は、正規化されたストリップの埋め込み画像と、対応するマスク画像との合成画像を生成する。
相互相関関数算出部234は、ステップS6で生成された基準合成画像及び対象合成画像に基づいて複数の相互相関関数を算出する。本例では、相互相関関数算出部234は、ステップS6で生成された基準合成画像及び対象合成画像に基づいて、非特許文献1の式(33)に含まれる6個の相互相関関数を算出する。
相関係数算出部235は、ステップS7で算出された複数の相互相関関数に基づいて相関係数を算出する。本例では、相関係数算出部235は、非特許文献1の式(33)に従って、ステップS7で算出された複数の相互相関関数から相関係数(ρ(r´))を算出する。
基準ストリップ及び対象ストリップに対して、レジストレーション部236は、ステップS8で算出された相関係数に基づきxy方向のレジストレーション(rough lateral motion correction)を適用する。この段階では、第1のストリップf(r)と第2のストリップとの間のレジストレーションが行われる。
マージ処理部237は、ステップS9のレジストレーションにより相対位置調整がなされた基準ストリップと対象ストリップとのマージ画像を構築する。図7Cの画像330は、第1のストリップと第2のストリップとのマージ画像の例を示す。
ステップS2で得られたN個のストリップの全てに対し、前述した順序に従って逐次に、ステップS3~S10の一連の処理が実行される。
以上に説明した繰り返し処理により最終的に得られたマージ画像は、モーションアーティファクトが補正された画像であり、且つ、ステップS1のリサージュスキャンの適用範囲全体を表現した画像である。主制御部211は、この最終的なマージ画像を記憶部212(及び/又は、他の記憶装置)に保存する。
例示的な実施形態の幾つかの特徴について説明し、それらにより奏される幾つかの作用及び幾つかの効果について説明する。
サンプルの第1画像及び第2画像が準備される。例えば、通信回線や記録媒体を介してサンプルの第1画像及び第2画像が受け付けられる。或いは、サンプルに光走査を適用してデータが収集され、第1画像及び第2画像が構築される。第1画像及び第2画像のそれぞれは、一連のサイクルを含む2次元パターンに従う走査をサンプルに適用して収集されたデータに基づき構築される。例えば、第1画像及び第2画像のそれぞれは、リサージュ関数に基づき予め設定された走査プロトコルに基づく2次元パターンに従う走査をサンプルに適用して収集されたデータに基づき構築される。
マスク画像が準備される。例えば、通信回線や記録媒体を介してマスク画像が受け付けられる。或いは、(サンプルの画像に基づいて)マスク画像が生成される。マスク画像の画素値の範囲は閉区間[0,1]に含まれていてよい。典型的には、マスク画像は、画素値が0又は1の二値画像であってよい。例えば、マスク画像は、サンプルの画像の定義域に対応する領域内の画素の値が1であり、他の画素の値が0である二値画像であってよい。マスク画像は、第1マスク画像と第2マスク画像とを含んでいてよい。第1マスク画像及び第2マスク画像は、同じ寸法及び同じ形状を有していてよい。第1マスク画像は、サンプルの第1画像の定義域に対応する領域内の画素の値が1であり、他の画素の値が0である二値画像であってよく、且つ、第2マスク画像は、サンプルの第2画像の定義域に対応する領域内の画素の値が1であり、他の画素の値が0である二値画像であってよい。
第1画像の画素値の範囲と第2画像の画素値の範囲とマスク画像の画素値の範囲とが相対的に調整される。画素値の範囲の相対的な調整は、典型的には、サンプルの画像(第1画像、第2画像)の画素値の範囲とマスク画像の画素値の範囲との間の差を小さくするように行われる。例えば、画素値の範囲の相対的な調整は、サンプルの画像(第1画像、第2画像)及びマスク画像の一方の画素値の範囲を他方の画素値の範囲に一致させるように行われる。幾つかの例示的な態様において、画素値の範囲の相対的な調整は、マスク画像の画素値の範囲に応じてサンプルの画像(第1画像、第2画像)の画素値の範囲を正規化する処理を含んでいてよい。マスク画像の画素値の範囲が閉区間[0,1]に含まれる場合において、正規化は、サンプルの画像(第1画像、第2画像)の各画素の値を、当該画像における最大画素値で除算する処理を含んでいてよい。或いは、マスク画像の画素値の範囲が閉区間[0,1]に含まれる場合において、正規化は、サンプルの画像(第1画像、第2画像)の各画素の値を、当該画像の画素値の範囲の最大値で除算する処理を含んでいてよい。
画像値範囲調整工程の後、第1画像及び第2画像のそれぞれにマスク画像が合成されて第1合成画像及び第2合成画像が生成される。マスク画像が、第1マスク画像と第2マスク画像とを含む場合において、合成画像生成工程は、第1マスク画像を第1画像に合成して第1合成画像を生成する工程と、第2マスク画像を第2画像に合成して第2合成画像を生成する工程とを含んでいてよい。ここで、第1マスク画像及び第2マスク画像は、同じ寸法及び同じ形状を有していてもよい。また、第1マスク画像は、第1画像の定義域に対応する領域内の画素の値が1であり、他の画素の値が0である二値画像であってよく、且つ、第2マスク画像は、第2画像の定義域に対応する領域内の画素の値が1であり、他の画素の値が0である二値画像であってよい。
合成画像生成工程によって生成された第1合成画像及び第2合成画像に基づいて複数の相互相関関数が求められる。この工程は、典型的には、非特許文献1に記載された手法に従って行われるが、これに限定されるものではない。
相互相関関数算出工程において求められた複数の相互相関関数に基づいて相関係数が算出される。この工程は、典型的には、非特許文献1に記載された手法に従って行われるが、これに限定されるものではない。
相関係数算出工程において算出された相関係数に基づいてサンプルの第1画像と第2画像との間のレジストレーションが行われる。この工程は、典型的には、非特許文献1に記載された手法に従って行われるが、これに限定されるものではない。
一連のサイクルを含む2次元パターンに従う光走査がサンプルに適用され、データが収集される。典型的には、一連のサイクルのうちの任意の2つのサイクルは、少なくとも1点で互いに交差する。例えば、2次元パターンに従う光走査は、リサージュ関数に基づき予め設定された走査プロトコルに基づいて行われる。
走査工程で収集されたデータに基づいて第1画像及び第2画像が構築される。一連のサイクルのうちの任意の2つのサイクルが少なくとも1点で互いに交差する場合(例えば、リサージュ関数に基づき予め設定された走査プロトコルに基づいて2次元パターンに従う光走査が行われる場合)、一連のサイクルのうちの第1サイクル群に従う光走査で収集された第1データに基づいて第1画像が構築されてよく、且つ、一連のサイクルのうち第1サイクル群と異なる第2サイクル群に従う光走査で収集された第2データに基づいて第2画像が構築されてよい。
第1画像の画素値の範囲と第2画像の画素値の範囲とマスク画像の画素値の範囲とが相対的に調整される。
画像値範囲調整工程の後、第1画像及び第2画像のそれぞれにマスク画像が合成されて第1合成画像及び第2合成画像が生成される。
合成画像生成工程で生成された第1合成画像及び第2合成画像に基づいて複数の相互相関関数が求められる。
相互相関関数算出工程で求められた複数の相互相関関数に基づいて相関係数が算出される。
相関係数算出工程で算出された相関係数に基づいてサンプルの第1画像と第2画像との間のレジストレーションが行われる。
レジストレーションの結果に基づいてサンプルの第1画像と第2画像とのマージ画像が構築される。
44 光スキャナ
100 OCTユニット
211 主制御部
2111 走査制御部
212 記憶部
2121 走査プロトコル
220 画像構築部
230 データ処理部
231 マスク画像生成部
232 範囲調整部
233 合成画像生成部
234 相互相関関数算出部
235 相関係数算出部
236 レジストレーション部
237 マージ処理部
Claims (24)
- 通信回線若しくは記録媒体を介してサンプルの第1画像及び第2画像を受け付け、又は、サンプルに光走査を適用して収集されたデータに基づいて第1画像及び第2画像を構築し、
通信回線若しくは記録媒体を介してマスク画像を受け付け、又は、サンプルの画像に基づいてマスク画像を生成し、
前記第1画像の画素値の範囲及び前記第2画像の画素値の範囲と前記マスク画像の画素値の範囲との間の差を小さくするように、前記第1画像の画素値の範囲と前記第2画像の画素値の範囲と前記マスク画像の画素値の範囲とを相対的に調整し、
前記第1画像及び前記第2画像のそれぞれに前記マスク画像を合成して第1合成画像及び第2合成画像を生成し、
前記第1合成画像及び前記第2合成画像に基づいて複数の相互相関関数を求め、
前記複数の相互相関関数に基づいて相関係数を算出し、
前記相関係数に基づいて前記第1画像と前記第2画像とのレジストレーションを行う、
画像処理方法。 - 前記サンプルの画像及び前記マスク画像の一方の画素値の範囲を他方の画素値の範囲に一致させる、
請求項1の画像処理方法。 - 前記マスク画像の画素値の範囲に応じて前記サンプルの画像の画素値の範囲を正規化する、
請求項2の画像処理方法。 - 前記マスク画像の画素値の範囲は閉区間[0,1]に含まれ、
前記サンプルの画像の各画素の値を、当該画像における最大画素値で除算する、
請求項3の画像処理方法。 - 前記マスク画像の画素値の範囲は閉区間[0,1]に含まれ、
前記サンプルの画像の各画素の値を、当該画像の画素値の範囲の最大値で除算する、
請求項3の画像処理方法。 - 前記マスク画像は、画素値が0又は1の二値画像である、
請求項1~5のいずれかの画像処理方法。 - 前記マスク画像は、前記サンプルの画像の定義域に対応する領域内の画素の値が1であり、他の画素の値が0である二値画像である、
請求項6の画像処理方法。 - 前記マスク画像は、第1マスク画像と第2マスク画像とを含み、
前記第1マスク画像を前記第1画像に合成して前記第1合成画像を生成し、
前記第2マスク画像を前記第2画像に合成して前記第2合成画像を生成する、
請求項1~7のいずれかの画像処理方法。 - 前記第1マスク画像及び前記第2マスク画像は、同じ寸法及び同じ形状を有する、
請求項8の画像処理方法。 - 前記第1マスク画像は、前記第1画像の定義域に対応する領域内の画素の値が1であり、他の画素の値が0である二値画像であり、
前記第2マスク画像は、前記第2画像の定義域に対応する領域内の画素の値が1であり、他の画素の値が0である二値画像である、
請求項8又は9の画像処理方法。 - 前記第1画像及び前記第2画像のそれぞれは、一連のサイクルを含む2次元パターンに従う走査を前記サンプルに適用して収集されたデータに基づき構築される、
請求項1~10のいずれかの画像処理方法。 - 前記第1画像及び前記第2画像のそれぞれは、リサージュ関数に基づき予め設定された走査プロトコルに基づく2次元パターンに従う走査を前記サンプルに適用して収集されたデータに基づき構築される、
請求項11の画像処理方法。 - 一連のサイクルを含む2次元パターンに従う光走査をサンプルに適用してデータを収集し、
前記データに基づいて第1画像及び第2画像を構築し、
前記第1画像の画素値の範囲及び前記第2画像の画素値の範囲と前記マスク画像の画素値の範囲との間の差を小さくするように、前記第1画像の画素値の範囲と前記第2画像の画素値の範囲とマスク画像の画素値の範囲とを相対的に調整し、
前記第1画像及び前記第2画像のそれぞれに前記マスク画像を合成して第1合成画像及び第2合成画像を生成し、
前記第1合成画像及び前記第2合成画像に基づいて複数の相互相関関数を求め、
前記複数の相互相関関数に基づいて相関係数を算出し、
前記相関係数に基づいて前記第1画像と前記第2画像とのレジストレーションを行い、
前記レジストレーションの結果に基づいて前記第1画像と前記第2画像とのマージ画像を構築する、
走査型イメージング方法。 - 前記データに基づいて第3画像を構築し、
前記第3画像の画素値の範囲と前記マージ画像の画素値の範囲とマスク画像の画素値の範囲との間の差を小さくするように、前記第3画像の画素値の範囲と前記マージ画像の画素値の範囲とマスク画像の画素値の範囲とを相対的に調整し、
前記第3画像及び前記マージ画像のそれぞれに当該マスク画像を合成して第3合成画像及び第4合成画像を生成し、
前記第3合成画像及び前記第4合成画像に基づいて複数の相互相関関数を求め、
当該複数の相互相関関数に基づいて相関係数を算出し、
当該相関係数に基づいて前記第3画像と前記第4画像とのレジストレーションを行い、
前記レジストレーションの結果に基づいて前記第3画像と前記マージ画像とをマージする、
請求項13の走査型イメージング方法。 - 前記一連のサイクルのうちの任意の2つのサイクルは、少なくとも1点で互いに交差し、
前記一連のサイクルのうちの第1サイクル群に従う光走査で収集された第1データに基づいて前記第1画像を構築し、
前記一連のサイクルのうち前記第1サイクル群と異なる第2サイクル群に従う光走査で収集された第2データに基づいて前記第2画像を構築する、
請求項13又は14の走査型イメージング方法。 - リサージュ関数に基づき予め設定された走査プロトコルに基づいて前記2次元パターンに従う光走査を行う、
請求項15の走査型イメージング方法。 - サンプルの第1画像及び第2画像を記憶する記憶部と、
前記第1画像に応じた第1マスク画像と前記第2画像に応じた第2マスク画像とを生成するマスク画像生成部と、
前記第1マスク画像の画素値の範囲及び前記第2マスク画像の画素値の範囲に基づいて、前記第1画像の画素値の範囲及び前記第2画像の画素値の範囲と前記第1マスク画像の画素値の範囲及び前記第2マスク画像の画素値の範囲との間の差を小さくするように、前記第1画像の画素値の範囲及び前記第2画像の画素値の範囲を調整する範囲調整部と、
前記第1画像に前記第1マスク画像を合成して第1合成画像を生成し、且つ、前記第2画像に前記第2マスク画像を合成して第2合成画像を生成する合成画像生成部と、
前記第1合成画像及び前記第2合成画像に基づいて複数の相互相関関数を求める第1算出部と、
前記複数の相互相関関数に基づいて相関係数を算出する第2算出部と、
前記相関係数に基づいて前記第1画像と前記第2画像とのレジストレーションを行うレジストレーション部と
を含む、画像処理装置。 - 一連のサイクルを含む2次元パターンに従う光走査によりサンプルから収集されたデータを受け付けるデータ受付部と、
前記データに基づいて前記第1画像及び前記第2画像を構築する画像構築部と
を更に含む、
請求項17の画像処理装置。 - サンプルの第1画像及び第2画像を記憶する記憶部と、プロセッサとを含む画像処理装置を制御する方法であって、
前記プロセッサを、
前記第1画像に応じた第1マスク画像と前記第2画像に応じた第2マスク画像とを生成し、
前記第1マスク画像の画素値の範囲及び前記第2マスク画像の画素値の範囲に基づいて、前記第1画像の画素値の範囲及び前記第2画像の画素値の範囲と前記第1マスク画像の画素値の範囲及び前記第2マスク画像の画素値の範囲との間の差を小さくするように、前記第1画像の画素値の範囲及び前記第2画像の画素値の範囲を調整し、
前記第1画像に前記第1マスク画像を合成して第1合成画像を生成し、且つ、前記第2画像に前記第2マスク画像を合成して第2合成画像を生成し、
前記第1合成画像及び前記第2合成画像に基づいて複数の相互相関関数を求め、
前記複数の相互相関関数に基づいて相関係数を算出し、及び、
前記相関係数に基づいて前記第1画像と前記第2画像とのレジストレーションを行う
ように制御する、
画像処理装置の制御方法。 - 一連のサイクルを含む2次元パターンに従う光走査をサンプルに適用してデータを収集する走査部と、
前記データに基づいて第1画像及び第2画像を構築する画像構築部と、
前記第1画像に応じた第1マスク画像と前記第2画像に応じた第2マスク画像とを生成するマスク画像生成部と、
前記第1マスク画像の画素値の範囲及び前記第2マスク画像の画素値の範囲に基づいて、前記第1画像の画素値の範囲及び前記第2画像の画素値の範囲と前記第1マスク画像の画素値の範囲及び前記第2マスク画像の画素値の範囲との間の差を小さくするように、前記第1画像の画素値の範囲及び前記第2画像の画素値の範囲を調整する範囲調整部と、
前記第1画像に前記第1マスク画像を合成して第1合成画像を生成し、且つ、前記第2画像に前記第2マスク画像を合成して第2合成画像を生成する合成画像生成部と、
前記第1合成画像及び前記第2合成画像に基づいて複数の相互相関関数を求める第1算出部と、
前記複数の相互相関関数に基づいて相関係数を算出する第2算出部と、
前記相関係数に基づいて前記第1画像と前記第2画像とのレジストレーションを行うレジストレーション部と、
前記レジストレーションの結果に基づいて前記第1画像と前記第2画像とのマージ画像を構築するマージ処理部と
を含む、走査型イメージング装置。 - 前記走査部は、互いに異なる第1方向及び第2方向に光を偏向可能な偏向器を含み、前記第1方向に沿った偏向方向の変化を第1周期で繰り返しつつ前記第2方向に沿った偏向方向の変化を前記第1周期と異なる第2周期で繰り返すことにより前記2次元パターンに従う光走査を前記サンプルに適用する、
請求項20の走査型イメージング装置。 - サンプルに光走査を適用してデータを収集する走査部と、プロセッサとを含む走査型イメージング装置を制御する方法であって、
前記走査部を、一連のサイクルを含む2次元パターンに従う光走査をサンプルに適用してデータを収集するように制御し、
前記プロセッサを、
前記データに基づいて第1画像及び第2画像を構築し、
前記第1画像に応じた第1マスク画像と前記第2画像に応じた第2マスク画像とを生成し、
前記第1マスク画像の画素値の範囲及び前記第2マスク画像の画素値の範囲に基づいて、前記第1画像の画素値の範囲及び前記第2画像の画素値の範囲と前記第1マスク画像の画素値の範囲及び前記第2マスク画像の画素値の範囲との間の差を小さくするように、前記第1画像の画素値の範囲及び前記第2画像の画素値の範囲を調整し、
前記第1画像に前記第1マスク画像を合成して第1合成画像を生成し、且つ、前記第2画像に前記第2マスク画像を合成して第2合成画像を生成し、
前記第1合成画像及び前記第2合成画像に基づいて複数の相互相関関数を求め、
前記複数の相互相関関数に基づいて相関係数を算出し、
前記相関係数に基づいて前記第1画像と前記第2画像とのレジストレーションを行い、及び、
前記レジストレーションの結果に基づいて前記第1画像と前記第2画像とのマージ画像を構築する
ように制御する、
走査型イメージング装置の制御方法。 - 請求項1~16、19又は22の方法をコンピュータに実行させるプログラム。
- 請求項23のプログラムが記録されたコンピュータ可読な非一時的記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019223138A JP7410481B2 (ja) | 2019-12-10 | 2019-12-10 | 画像処理方法、走査型イメージング方法、画像処理装置、その制御方法、走査型イメージング装置、その制御方法、プログラム、及び記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019223138A JP7410481B2 (ja) | 2019-12-10 | 2019-12-10 | 画像処理方法、走査型イメージング方法、画像処理装置、その制御方法、走査型イメージング装置、その制御方法、プログラム、及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021090631A JP2021090631A (ja) | 2021-06-17 |
JP7410481B2 true JP7410481B2 (ja) | 2024-01-10 |
Family
ID=76311127
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019223138A Active JP7410481B2 (ja) | 2019-12-10 | 2019-12-10 | 画像処理方法、走査型イメージング方法、画像処理装置、その制御方法、走査型イメージング装置、その制御方法、プログラム、及び記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7410481B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023123245A (ja) * | 2022-02-24 | 2023-09-05 | 国立大学法人 筑波大学 | 走査型イメージング装置、情報処理装置、走査型イメージング装置の制御方法、情報処理装置の制御方法、情報処理方法、プログラム、及び記録媒体 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150324966A1 (en) | 2013-02-19 | 2015-11-12 | Optos Plc | Improvements in or relating to image processing |
US20180242839A1 (en) | 2017-02-28 | 2018-08-30 | Canon Kabushiki Kaisha | Imaging apparatus, control method for an imaging apparatus, and program |
JP2018140004A (ja) | 2017-02-28 | 2018-09-13 | キヤノン株式会社 | 撮像装置、撮像方法およびプログラム |
JP2018140049A (ja) | 2017-02-28 | 2018-09-13 | キヤノン株式会社 | 撮像装置、撮像方法およびプログラム |
-
2019
- 2019-12-10 JP JP2019223138A patent/JP7410481B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150324966A1 (en) | 2013-02-19 | 2015-11-12 | Optos Plc | Improvements in or relating to image processing |
JP2016514974A (ja) | 2013-02-19 | 2016-05-26 | オプトス ピーエルシー | 画像処理における改良または画像処理に関する改良 |
US20180242839A1 (en) | 2017-02-28 | 2018-08-30 | Canon Kabushiki Kaisha | Imaging apparatus, control method for an imaging apparatus, and program |
JP2018140004A (ja) | 2017-02-28 | 2018-09-13 | キヤノン株式会社 | 撮像装置、撮像方法およびプログラム |
JP2018140049A (ja) | 2017-02-28 | 2018-09-13 | キヤノン株式会社 | 撮像装置、撮像方法およびプログラム |
Non-Patent Citations (1)
Title |
---|
YIWEI Chen, et al.,Three-dimensional eye motion correction by Lissajous scan optical coherence tomography,Biomedical Optics EXPRESS,米国,Optical Society of America,2017年02月23日,Vol.8 No.3,1783-1802 |
Also Published As
Publication number | Publication date |
---|---|
JP2021090631A (ja) | 2021-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7368568B2 (ja) | 眼科装置 | |
JP7134324B2 (ja) | 眼科撮影装置、その制御方法、プログラム、及び記録媒体 | |
JP7384987B2 (ja) | 眼科装置 | |
JP2022040372A (ja) | 眼科装置 | |
JP2019154988A (ja) | 眼科撮影装置、その制御方法、プログラム、及び記録媒体 | |
JP7096116B2 (ja) | 血流計測装置 | |
WO2021153087A1 (ja) | 眼科装置、その制御方法、及び記録媒体 | |
JP7410481B2 (ja) | 画像処理方法、走査型イメージング方法、画像処理装置、その制御方法、走査型イメージング装置、その制御方法、プログラム、及び記録媒体 | |
JP2021092445A (ja) | 走査型イメージング装置、その制御方法、画像処理装置、その制御方法、走査型イメージング方法、画像処理方法、プログラム、及び記録媒体 | |
JP7378557B2 (ja) | 眼科撮影装置、その制御方法、プログラム、及び記録媒体 | |
JP7215862B2 (ja) | 眼科撮影装置、その制御方法、プログラム、及び記録媒体 | |
JP2023014190A (ja) | 眼科撮影装置 | |
WO2021153086A1 (ja) | 眼科装置、その制御方法、及び記録媒体 | |
JP2022132898A (ja) | 眼科データ処理方法、眼科データ処理装置、その制御方法、眼科検査装置、その制御方法、プログラム、及び記録媒体 | |
JP7050488B2 (ja) | 眼科撮影装置、その制御方法、プログラム、及び記録媒体 | |
JP7355331B2 (ja) | 走査型イメージング装置、その制御方法、画像処理装置、その制御方法、走査型イメージング方法、画像処理方法、プログラム、及び記録媒体 | |
JP7341422B2 (ja) | 走査型イメージング装置、その制御方法、走査型イメージング方法、プログラム、及び記録媒体 | |
WO2023162586A1 (ja) | 走査型イメージング装置、情報処理装置、走査型イメージング装置の制御方法、情報処理装置の制御方法、情報処理方法、プログラム、及び記録媒体 | |
JP7325675B2 (ja) | 眼科撮影装置 | |
WO2021176893A1 (ja) | 眼科装置、その制御方法、及び記録媒体 | |
JP2019054993A (ja) | 血流計測装置 | |
JP7236832B2 (ja) | 眼科撮影装置、その制御方法、プログラム、及び記録媒体 | |
WO2022085501A1 (ja) | 眼科装置、その制御方法、プログラム、及び記録媒体 | |
JP2023048318A (ja) | 走査型イメージング装置、情報処理装置、走査型イメージング装置の制御方法、情報処理装置の制御方法、情報処理方法、プログラム、及び記録媒体 | |
JP6942627B2 (ja) | 眼科撮影装置、その制御方法、プログラム、及び記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221124 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230629 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230725 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230922 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231128 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231212 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7410481 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |