JP6105852B2 - 画像処理装置及びその方法、プログラム - Google Patents
画像処理装置及びその方法、プログラム Download PDFInfo
- Publication number
- JP6105852B2 JP6105852B2 JP2012085896A JP2012085896A JP6105852B2 JP 6105852 B2 JP6105852 B2 JP 6105852B2 JP 2012085896 A JP2012085896 A JP 2012085896A JP 2012085896 A JP2012085896 A JP 2012085896A JP 6105852 B2 JP6105852 B2 JP 6105852B2
- Authority
- JP
- Japan
- Prior art keywords
- layer
- tomographic image
- image
- image processing
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 92
- 238000000034 method Methods 0.000 title description 75
- 238000011002 quantification Methods 0.000 claims description 112
- 108091008695 photoreceptors Proteins 0.000 claims description 60
- 238000003384 imaging method Methods 0.000 claims description 33
- 238000004458 analytical method Methods 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 15
- 210000003583 retinal pigment epithelium Anatomy 0.000 claims description 15
- 238000012937 correction Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 8
- 238000003672 processing method Methods 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 3
- 238000003325 tomography Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 2
- 238000005452 bending Methods 0.000 claims 1
- 230000002207 retinal effect Effects 0.000 description 43
- 230000008569 process Effects 0.000 description 32
- 238000012014 optical coherence tomography Methods 0.000 description 15
- 230000004304 visual acuity Effects 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 11
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 10
- 208000035475 disorder Diseases 0.000 description 6
- 239000006185 dispersion Substances 0.000 description 6
- 230000010287 polarization Effects 0.000 description 6
- 238000011282 treatment Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 206010012688 Diabetic retinal oedema Diseases 0.000 description 4
- 201000011190 diabetic macular edema Diseases 0.000 description 4
- 201000010099 disease Diseases 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000012887 quadratic function Methods 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 210000000608 photoreceptor cell Anatomy 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 206010025421 Macule Diseases 0.000 description 2
- 206010064930 age-related macular degeneration Diseases 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 208000002780 macular degeneration Diseases 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004660 morphological change Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000007493 shaping process Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000004382 visual function Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 201000004569 Blindness Diseases 0.000 description 1
- 206010061818 Disease progression Diseases 0.000 description 1
- 208000010412 Glaucoma Diseases 0.000 description 1
- 206010030113 Oedema Diseases 0.000 description 1
- 230000004323 axial length Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 210000003161 choroid Anatomy 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000005750 disease progression Effects 0.000 description 1
- 210000005081 epithelial layer Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000013532 laser treatment Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000011551 log transformation method Methods 0.000 description 1
- 210000004379 membrane Anatomy 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000000790 retinal pigment Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000004393 visual impairment Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0062—Arrangements for scanning
- A61B5/0066—Optical coherence imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B9/00—Measuring instruments characterised by the use of optical techniques
- G01B9/02—Interferometers
- G01B9/02015—Interferometers characterised by the beam path configuration
- G01B9/02029—Combination with non-interferometric systems, i.e. for measuring the object
- G01B9/0203—With imaging systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B9/00—Measuring instruments characterised by the use of optical techniques
- G01B9/02—Interferometers
- G01B9/02055—Reduction or prevention of errors; Testing; Calibration
- G01B9/02075—Reduction or prevention of errors; Testing; Calibration of particular errors
- G01B9/02082—Caused by speckles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B9/00—Measuring instruments characterised by the use of optical techniques
- G01B9/02—Interferometers
- G01B9/02083—Interferometers characterised by particular signal processing and presentation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B9/00—Measuring instruments characterised by the use of optical techniques
- G01B9/02—Interferometers
- G01B9/0209—Low-coherence interferometers
- G01B9/02091—Tomographic interferometers, e.g. based on optical coherence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/47—Scattering, i.e. diffuse reflection
- G01N21/4795—Scattering, i.e. diffuse reflection spatially resolved investigating of object in scattering medium
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Ophthalmology & Optometry (AREA)
- Signal Processing (AREA)
- Pathology (AREA)
- Eye Examination Apparatus (AREA)
Description
被検眼の黄斑部の断層画像における層を検出する検出手段と、
前記断層画像における前記黄斑部の位置を決定し、前記検出された層及び前記決定された位置に基づいて前記断層画像における一部の領域を決定する決定手段と、
前記決定された領域における視細胞層の深さ方向に対する位置のばらつきと、前記視細胞層の断続性とのうち少なくとも一方に関する値を取得することにより、前記視細胞層の壊れの度合いを定量化する定量化手段と、を備える。
以下、図面を参照しながら、本発明の第1実施形態について説明する。なお、本実施形態に係る画像処理装置を備える画像処理システムは、網膜の層構造の乱れ具合を定量化するものであり、特に中心窩付近の視細胞層に関して、その乱れ具合を定量化する。以下、本実施形態に係る画像処理装置を備える画像処理システムについて、詳細を説明する。
ステップS201では、画像処理装置300の被検眼情報取得部(不図示)は、被検眼を同定する情報として被検者識別番号を外部から取得する。被検眼情報取得部は入力部700を用いて構成されてもよい。そして、被検眼情報取得部は、被検者識別番号に基づいて、外部記憶部500が保持している当該被検眼に関する情報を取得して記憶部302に記憶する。
ステップS202では、指示部304からの指示により眼底画像撮影装置400による眼底画像の撮影と、断層画像撮影装置200による断層画像の取得が行なわれる。
ステップS203において、断層画像生成部311は、断層画像撮影装置200により撮影された断層画像の信号データを取得し、信号処理を行うことで断層画像を生成する。例えば、断層画像撮影装置200としてSS−OCTを用いた場合について説明する。まず、断層画像生成部311は、信号データから固定ノイズを除去する。次に、断層画像生成部311は、スペクトラルシェーピング、分散補償を行い、この信号データに離散フーリエ変換を施すことで、深さに対する強度データを得る。断層画像生成部311は、フーリエ変換後の強度データから任意の領域の切り出し処理を行い断層画像を生成する。
ステップS204において、定量化領域決定部331は、画像取得部301により取得された断層画像において中心窩付近の視細胞層に処理対象の領域(以下、定量化領域)を設定する。視細胞層に設定をする定量化領域を、図3を参照して説明する。図3は黄斑部の断層画像31と、定量化領域決定部331が決定した定量化領域32を示している。断層画像31には、外境界膜(ELM)、視細胞内節外節接合部(IS/OS)、網膜色素上皮層(RPE)を示している。糖尿病黄斑浮腫においては、中心窩厚が増大していたとしても、IS/OSが保存されていれば視力が良好であることが多く、逆にIS/OSが消失していると視力が不良となる。そのため、定量化領域決定部331は、視細胞のIS/OSを含むように定量化領域の深さ方向の位置を決定する。また、定量化領域決定部331は、中心窩を含むように定量化領域32の場所を設定する。定量化領域32のサイズは、例えば、縦を150μm、横を1mmとし、定量化領域32の傾きは、網膜層の傾きに合わせて回転させることで決定される。なお、中心窩に定量化領域32を設定する理由としては、中心窩が最も視力を反映している場所で重要であり、かつレーザー治療などの影響を受けない個所のためである。
ステップS205において、定量化部332は、定量化領域決定部331が決定した定量化領域32において処理を行う。この方法について、図2(b)ならびに、図4を参照して説明をする。
ステップS251において、定量化部332は、DoGフィルタ(Difference of Gaussian)を用いてノイズ除去、線分強調を行う。数1にDoGフィルタの式を示す。数1において、DはDoG画像、Gはガウス関数、Iは入力画像、σはスケール、kは増加率である。DoGフィルタは、計算時のσによって得られる画像が異なるため、断層画像のピクセルあたりの分解能と、検出したい層の厚みに適したサイズで計算を行う。図4(a)に処理結果のイメージを示す。
ステップS252において、定量化部332は、ステップS251でノイズ除去、線分強調を行った定量化領域32において、判別分析法を用いて二値化を行う。図4(b)に処理結果のイメージを示す。判別分析法は、定量化領域32において、断層画像の強度値ヒストグラムを作成し、その分布を閾値tで2つのクラスに分割した時に、2つのクラスが最もよく分離するように閾値tを決める方法である。
ステップS253において、定量化部332は、ステップS252で二値化を行った定量化領域32において、二値化画像から細線化処理を行い、層を線状構造に変換する。図4(c)に処理結果のイメージを示す。本実施形態では、8−連結として細線化処理を行う。これは、斜め方向の線分構造の情報も保持するためである。
ステップS254において、定量化部332は、ステップS253で細線化処理を行った定量化領域32において、線状構造の並行度を解析することで、層構造の定量化を行う。線状構造の並行度は、例えば、数2を用いて計算され得る。数2において、n0,n45,n90,n135は、細線化をした線状構造が、隣の画素と何度の角度でつながっているかについての頻度を表している。例えば、水平方向で隣接する画素が1組存在する場合、n0は1となる。垂直方向で隣接する画素が1組存在する場合、n90は1となる。すなわち、定量化領域32内の線状構造の画素全てにおいて、画素同士のつながりをカウントすることで、n0,n45,n90,n135をそれぞれ求めることができる。数2は、線状構造が完全にランダムな場合には0を、完全に並行な場合には1となるため、線状構造の乱れ具合を表現する。
図2に戻り、ステップS206において、表示制御部305は、画像取得部301で取得した断層画像と、ステップS245で求めた定量化の数値を表示部600に表示する。その表示例を図5に示す。図5はクロススキャンで撮影を行い、そのスキャンデータを定量化した場合の例を示している。図5において、510は断層画像観察画面、511−1は水平方向をスキャンした断層画像、511−2は垂直方向をスキャンした断層画像、32−1と32−2は、定量化領域を断層画像上に識別可能に重畳表示した例である。512は眼底画像撮影装置400により撮影された眼底画像、513は断層画像撮影装置200によるスキャンパターンを眼底画像512上に重畳表示したもの、514は定量化した数値を表示した例を示している。クロススキャンの場合は、それぞれのスキャンにおいて定量化した値と、その平均値を表示しているが、放射状スキャンのようにスキャン枚数が多くなる場合は、平均値のみを表示するようにしてもよい。なお、眼底画像撮影装置400により撮影された眼底画像512上へのスキャンパターンの重畳表示は、例えば、眼底画像撮影装置400による眼底における撮影位置の情報と、断層画像撮影装置200による眼底における撮影位置の情報とに基づいてなされる。
ステップS207において、不図示の指示取得部は、画像処理システム100による断層画像の撮影を終了するか否かの指示を外部から取得する。この指示は、入力部700を用いて、操作者によって入力される。処理を終了する指示を取得した場合には、画像処理システム100はその処理を終了する。一方、処理を終了せずに、撮影を続ける場合には、ステップS202に処理を戻して撮影を続行する。処理を別のステップに移動させる際に、ステップS204において、操作者によって、定量化領域32の位置や傾き修正が行われており、かつその結果を外部記憶部500に保存していない場合には、変更結果を外部記憶部500に保存するか否かの確認ダイアログを表示する。そして、操作者が保存する事を選択した場合には、操作者が変更したパラメータを外部記憶部500に保存する。操作者が保存しない事を選択した場合には、操作者が変更したパラメータを外部記憶部500に保存しない。
第1実施形態では、定量化部332が、定量化領域32内の層を細線化して、線の並行度を計算することで、層の乱れ具合を定量化する例を示した。第2実施形態では、その他の方法で層の乱れ具合を定量化する例として、フラクタル解析を用いる方法を示す。なお、本実施形態においては、図1の定量化部332における定量化に関する処理(図2のステップS205)が第1実施形態と異なる。その他の処理は第1実施形態と同じであるため説明を省略する。
第2実施形態では、テクスチャ特徴としてフラクタル解析を用いる方法を説明した。第3実施形態では、テクスチャの統計的特徴を解析する方法を示す。なお、本実施形態においては、図1の定量化部332における定量化に関する処理(図2のステップS205)が第1実施形態と異なる。その他の処理は第1実施形態と同じであるため説明を省略する。
テクスチャ特徴量として、定量化部332は、例えばランレングス行列を計算する。ランレングス行列は、画像内で、θの方向の強度値iの点がm個続く頻度Pθ(i,m)(i=0,1,2,…,n-1, m=1,2,…l)を要素とするランレングス行列を求め、その行列から数4、数5に示すような特徴量を計算する。数4は、短いランの発生頻度が高いほど大きな値をとり、数5は、長いランの発生頻度が高いほど大きな値をとる。すなわち、定量化領域32内の層構造が規則正しく整列している場合、数4の値が小さく、かつ数5の数値は大きくなる。定量化領域32内の層構造が乱れていたり、欠損したりしている場合、数4の値が大きく、かつ数5の数値は小さくなる。この場合の表示部600に表示する画面例を図6に示す。図6において、614は定量化した数値を表示した例を示している。614において、層の連続度合いには数5、層の欠損度合いには数4の値を表示する例である。なお、θとして、網膜層の方向である水平方向を前提として、層の連続度や層の欠損度を求めることで、層の断層性を知ることができるが、その他のθ(45度や90度)について層の連続度や欠損度を求めることにより、(断続している層における)視細胞層の深さ方向に対する位置のばらつき(分布)を求めることもできる。
テクスチャ特徴量として、例えば同時生起行列特徴を計算してもよい。同時生起行列は、画像の強度値iの点から角度θの方向にrだけ離れる一定の変位δ=(r、θ)だけ離れた点の強度値がjである確率を要素とする同時生起行列を求める。なお、行列の要素は頻度を含んでいるので、要素の総和が1になるように正規化しておく。そして、同時生起行列から数6に示すような特徴量を求める。数6は角2次モーメントを示している。数6において、例えば、変位δ=(1、0°)の特徴量計算を行う。数6の特徴量は、全体の均一さを示している。同時生起行列は数6に示す以外にも、コントラスト、分散、相関など複数の特徴量を計算できるため、下記に示した特徴量だけに限らなくてもよい。
更に、テクスチャ特徴量として、上記の画像空間における特徴量の他に、画像をフーリエ変換してその周波数成分の分布からテクスチャ特徴を求めてもよい。2次元フーリエ変換の結果F(u,v)を用いて、パワースペクトルp(u,v)、その極座標P(θ,r)を求めるとし、数7、数8に示すような特徴を計算する。数7は、画像での幅Δθをもつ、角度θ方向の周波数成分を抽出するもので、数8は幅Δrをもつ周波数rの成分を抽出するものである。数7の数値が大きいのは、θの方向に強度値の変化が大きいテクスチャパターンがあることを意味する。そのため、水平方向に層構造をなす網膜層においては、垂直方向の波の集まりとなる。病気により網膜層構造が乱れる場合には、不規則な波の集まりとして検出される。
その他のテクスチャ特徴量を用いた定量化の方法として、例えばSteerableフィルタのような画像の方向、空間周波数構造を利用する方法を用いてもよい。Steerableフィルタは、任意方向に指向性を持つフィルタである。Steerableフィルタの例として、ガウス関数の2階微分G2のSteerableフィルタG2 θを数9、G2とフィルタの周波数応答が等しく、位相が90°異なるH2のSteerableフィルタH2 θを数10に示す。数9、10において、Steerableフィルタは、3つの基底フィルタ(G2a, G2b, G2c, H2a, H2b, H2c)の線形結合と、その補間係数(ka, kb, kc, la,lb, lc)で表現される。これらの式を用いて、数11に示す方向エネルギーEθで画像の方向を検出することができる。数11において、gn θは、Gn θと画像Iとの畳み込み演算を表す。同様にhn θは、Hn θと画像Iとの畳み込み演算を表す。添え字nはガウス関数のn階微分を表す。数11が最大となる方向θで方向検出をすることができる。数11により、定量化領域32内の各画素の方向を求めることができ、これらの方向成分を用いて、ラインエッジ、ステップエッジを画像から求めることができる。ラインエッジにおける方向エネルギーの分散値や、ステップエッジにおける方向エネルギーの分散値などを求めることで、視細胞層の乱れ具合を定量化することができる。すなわち、水平方向に層構造をなす網膜層においては、分散値は小さくなり。病気により網膜層構造が乱れる場合には、分散値は大きくなる。
第1実施形態では、断層画像生成部311が、断層画像撮影装置200により撮影された断層画像の信号データを取得し、信号処理を行うことで断層画像を生成する処理について述べた。第4実施形態では、視細胞層の乱れ具合を定量化するのに、より好適な断層画像生成の方法について述べる。本実施形態の処理フローを図7(a)に示す。本実施形態においては、図1の断層画像撮影装置における撮影時のスキャンパラメータ(図7(a)のステップS702)と、断層画像生成部311における断層画像生成に関する処理(図7(a)のステップS703)が第1実施形態と異なる。その他の処理は第1実施形態、または第2実施形態と同じであるため説明を省略する。
ステップS702では、指示部304が撮影パラメータの設定を行って撮影を行う。具体的には、内部固視灯204の照明位置や、ガルバノミラー201のスキャンパターンなどの決定と、1枚の断層画像を構成するAスキャン本数を決定する。Aスキャン本数は、スペックルノイズを低減あるいは除去するために、オーバーサンプリングで撮影を行う。なお、本実施形態において、オーバーサンプリングとは、必要な解像度を得るためのサンプリング間隔よりも狭い間隔でサンプリングをすることである。例えば、最終的に1枚の断層画像を構成するAスキャンの本数が1024本だとした場合、2048本のAスキャンで撮影を行い、隣接するAスキャン同士を合成するものである。
ステップS703において、断層画像生成部311は、断層画像撮影装置200により撮影された断層画像の信号データを取得し、信号処理を行うことで断層画像を生成する。この処理フローを図7(b)に示す。
ステップS731において、断層画像生成部311は、撮影時にオーバーサンプリングで撮影を行った信号データにおいて、Aスキャン合成を行う。図8(a)は、オーバーサンプリングで撮影した断層画像81を示す図である。この断層画像81を演算処理することにより新たな断層画像が作成される。図8(b)は、オーバーサンプリングの断層画像81をAスキャン合成処理することによって生成された新たな断層画像82を示す図である。図8(a)において、A2j、A2j+1は、各Aスキャンを表している。そして、A2j+1は、A2jを撮影した1/f[s]後に撮影した走査線である。本実施形態において、オーバーサンプリングのAスキャン数を2048、最終的に得る断層画像のAスキャン数を1024とした場合、添え字のjはj=0,1,2,…,1023である。図8(b)は、各画素あたり、n個の画素を演算処理して作成した断層画像である。そして、図8(b)において、Ajは対応する走査線から演算処理をして求めた新たな走査線である。図8(a)から求める場合、Ajは、A2j、A2j+1の走査線を演算処理して求めた走査線である。演算処理の方法としては、平均値、中央値など任意の演算手法を用いて算出する。
ステップS732において、断層画像生成部311は、信号データから固定ノイズを除去する。
ステップS733において、断層画像生成部311は、信号データにゼロパディングを行うことにより深度方向のピクセル分解能を調整する。この処理について、図9を用いて説明をする。図9(a)はゼロパディング前のAスキャンの信号データ91で、図9(b)はゼロパディング後のAスキャンの信号データ92を表している。図9(b)の信号データ92において、92−1が実際の信号データ、92−2が挿入したゼロ値を示している。ゼロパディングでは、信号データの両端にゼロ値を挿入し、パラメータNzで指定された長さの信号データとして出力する。ここで、パラメータNzは2のべき乗とする。ゼロパディングにより、深度方向のピクセル分解能が向上し、屈折率が変わる境界の強度および、深さ方向の位置が正しく把握できるようになる。すなわち、ピクセル分解能を向上させることにより、隣接した網膜層の分離が良くなり、並行度の計算がより正確になる。ただし、ゼロパディングを行うと、これ以降の処理にそれぞれ時間が掛かるため、適切な数のゼロ値を挿入することが望ましい。
次に、断層画像生成部311は、スペクトラルシェーピング(S734)、分散補償(S735)を行い、この信号データに離散フーリエ変換を施すことで(S736)、深さに対する強度データを得る。断層画像生成部311は、フーリエ変換後の強度データから任意の領域の切り出し処理を行い(S737)断層画像を生成する。そして、断層画像生成部311は、フーリエ変換後の強度データに対してLog変換を行い(S738)、出力する断層画像のデータ精度に収まるように正規化を行う(S739)。断層画像生成時には、スペックルノイズを低減あるいは除去した高画質な断層画像を得るために、同一箇所を撮影した複数の断層画像で重ね合わせ処理を行い、1枚の断層画像を生成することが望ましい。したがって、同一箇所を撮影した複数の断層画像があれば、第1実施形態と同様に重ね合わせ部312は、複数の断層画像を位置合わせし、これら複数の断層画像から1枚の断層画像を生成するための重ね合わせ処理を行う(ステップS740、S741)。重ね合わせ処理については、第1実施形態で上述したとおりである。
第1実施形態では、表示制御部305が、断層画像と定量化の数値を表示部600に表示する例について述べた。第5実施形態では、定量化した数値を外部記憶部500に記憶している統計データベースと比較した結果、および、被検眼に関する他の検査結果の数値、を表示する例を示す。
第1実施形態では、定量化領域決定部331が決定した領域に対して定量化を行う方法について述べた。本実施形態では、定量化領域決定部331が領域を決定する前に、網膜層形状を補正(正規化)する例を示す。
上記のそれぞれの実施形態は、本発明を画像処理装置として実現したものである。しかしながら、本発明の実施形態は画像処理装置のみに限定されるものではない。たとえば、本発明は、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (31)
- 被検眼の黄斑部の断層画像における層を検出する検出手段と、
前記断層画像における前記黄斑部の位置を決定し、前記検出された層及び前記決定された位置に基づいて前記断層画像における一部の領域を決定する決定手段と、
前記決定された領域における視細胞層の深さ方向に対する位置のばらつきと、前記視細胞層の断続性とのうち少なくとも一方に関する値を取得することにより、前記視細胞層の壊れの度合いを定量化する定量化手段と、を備えることを特徴とする画像処理装置。 - 前記定量化手段は、前記決定された領域における層構造の並行度に基づいて、前記視細胞層の壊れの度合いを定量化することを特徴とする請求項1に記載の画像処理装置。
- 前記定量化手段は、前記決定された領域をフラクタル解析した結果に基づいて、前記視細胞層の壊れの度合いを定量化することを特徴とする請求項1または2に記載の画像処理装置。
- 前記定量化手段は、前記決定された領域のテクスチャの統計的特徴に基づいて、前記視細胞層の壊れの度合いを定量化することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
- 前記定量化手段は、前記決定された領域におけるランレングス行列を用いたテクスチャ特徴量に基づいて、前記視細胞層の壊れの度合いを定量化することを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
- 前記検出手段は、前記断層画像における網膜色素上皮層を検出し、
前記決定手段は、前記決定された位置に基づいて前記断層画像における前記検出された網膜色素上皮層を含む領域を決定することを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。 - 被検眼の黄斑部の断層画像における網膜色素上皮層を検出する検出手段と、
前記断層画像における前記黄斑部の位置を決定し、前記検出された網膜色素上皮層及び前記決定された位置に基づいて前記断層画像における一部の領域を決定する決定手段と、
前記決定された領域に含まれる層の深さ方向に対する位置のばらつきと、前記層の断続性とのうち少なくとも一方に関する値を取得することにより、前記層の壊れの度合いを定量化する定量化手段と、を備えることを特徴とする画像処理装置。 - 被検眼の黄斑部の断層画像における網膜色素上皮層を検出する検出手段と、
前記断層画像における前記黄斑部の位置を決定し、前記検出された網膜色素上皮層及び前記決定された位置に基づいて前記断層画像における視細胞層を含む領域を決定する決定手段と、
前記決定された領域における前記視細胞層の深さ方向に対する位置のばらつきと、前記視細胞層の断続性とのうち少なくとも一方に関する値を取得することにより、前記視細胞層の壊れの度合いを定量化する定量化手段と、を備えることを特徴とする画像処理装置。 - 前記決定手段は、前記黄斑部の撮影時の固視灯の位置に基づいて前記断層画像における前記黄斑部の位置を決定することを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。
- 前記決定手段は、さらに、中心窩付近の視細胞内節外節接合部を含む位置に前記領域を決定することを特徴とする請求項1乃至9のいずれか1項に記載の画像処理装置。
- 前記決定手段は、前記断層画像から網膜色素上皮層を検出して前記領域の深さ方向の位置を決定し、網膜色素上皮層に沿うように前記領域の傾きを決定することにより、前記領域に視細胞層が含まれるように該領域を決定することを特徴とする請求項1乃至10のいずれか1項に記載の画像処理装置。
- 前記決定手段により決定された領域の位置を修正あるいは指定するためのユーザ操作を受け付ける入力手段を更に備えることを特徴とする請求項1乃至11のいずれか1項に記載の画像処理装置。
- 前記決定手段で決定される前記領域の形状を、前記断層画像における層形状の湾曲の度合いに応じて湾曲させる形状補正手段を更に備えることを特徴とする請求項1乃至12のいずれか1項に記載の画像処理装置。
- 前記断層画像において、層形状の湾曲の度合いを低減するように補正する形状補正手段を更に備えることを特徴とする請求項1乃至12のいずれか1項に記載の画像処理装置。
- 被検眼の断層画像を取得する取得手段と、
前記断層画像における視細胞層の深さ方向に対する位置のばらつきと、前記視細胞層の断続性とのうち少なくとも一方に関する値を取得することにより、前記視細胞層の壊れの度合いを定量化する定量化手段と、を備えることを特徴とする画像処理装置。 - 前記被検眼の黄斑部の断層画像における層と前記断層画像における前記黄斑部の位置とに基づいて、前記断層画像における一部の領域を決定する決定手段を更に備え、
前記定量化手段は、前記決定された領域における前記視細胞層の深さ方向に対する位置のばらつきと、前記視細胞層の断続性とのうち少なくとも一方に関する値を取得することにより、前記視細胞層の壊れの度合いを定量化することを特徴とする請求項15に記載の画像処理装置。 - 前記断層画像についてスペックルノイズを低減する低減手段を更に備え、
前記定量化手段は、前記低減手段によりスペックルノイズが低減された断層画像における視細胞層の壊れの度合いを定量化することを特徴とする請求項1乃至16のいずれか1項に記載の画像処理装置。 - 前記断層画像の深度方向のピクセル分解能を調整する調整手段を更に備え、
前記定量化手段は、前記調整手段によりピクセル分解能が調整された断層画像における視細胞層の壊れの度合いを定量化することを特徴とする請求項1乃至17のいずれか1項に記載の画像処理装置。 - 前記調整手段は、中心窩付近における深度方向のピクセル分解能を他の部分よりも高くすることを特徴とする請求項18に記載の画像処理装置。
- 前記定量化手段が定量化した値を表示手段に表示させる表示制御手段を更に備えることを特徴とする請求項1乃至19のいずれか1項に記載の画像処理装置。
- 前記定量化手段が定量化した層構造の壊れの度合いの指標を生成する生成手段を更に備え、
前記表示制御手段は、前記断層画像と前記指標とを表示手段に表示させることを特徴とする請求項20に記載の画像処理装置。 - 前記表示制御手段は、前記定量化手段が処理の対象とした領域を識別可能に重畳表示させることを特徴とする請求項20または21に記載の画像処理装置。
- 前記被検眼に対して測定光を走査する走査手段を備え、光干渉を用いて前記被検眼の断層撮影を行う断層撮影装置と通信可能に接続されることを特徴とする請求項1乃至22のいずれか1項に記載の画像処理装置。
- 被検眼の黄斑部の断層画像における層を検出する検出工程と、
前記断層画像における前記黄斑部の位置を決定し、前記検出された層及び前記決定された位置に基づいて前記断層画像における一部の領域を決定する決定工程と、
前記決定された領域における視細胞層の深さ方向に対する位置のばらつきと、前記視細胞層の断続性とのうち少なくとも一方に関する値を取得することにより、前記視細胞層の壊れの度合いを定量化する定量化工程と、を有することを特徴とする画像処理方法。 - 前記検出工程では、前記断層画像における網膜色素上皮層を検出し、
前記決定工程では、前記決定された位置に基づいて前記断層画像における前記検出された網膜色素上皮層を含む領域を決定することを特徴とする請求項24に記載の画像処理方法。 - 被検眼の黄斑部の断層画像における網膜色素上皮層を検出する検出工程と、
前記断層画像における前記黄斑部の位置を決定し、前記検出された網膜色素上皮層及び前記決定された位置に基づいて前記断層画像における一部の領域を決定する決定工程と、
前記決定された領域に含まれる層の深さ方向に対する位置のばらつきと、前記層の断続性とのうち少なくとも一方に関する値を取得することにより、前記層の壊れの度合いを定量化する定量化工程と、を有することを特徴とする画像処理方法。 - 被検眼の黄斑部の断層画像における網膜色素上皮層を検出する検出工程と、
前記断層画像における前記黄斑部の位置を決定し、前記検出された網膜色素上皮層及び前記決定された位置に基づいて前記断層画像における視細胞層を含む領域を決定する決定工程と、
前記決定された領域における前記視細胞層の深さ方向に対する位置のばらつきと、前記視細胞層の断続性とのうち少なくとも一方に関する値を取得することにより、前記視細胞層の壊れの度合いを定量化する定量化工程と、を有することを特徴とする画像処理方法。 - 前記決定工程では、前記黄斑部の撮影時の固視灯の位置に基づいて前記断層画像における前記黄斑部の位置を決定することを特徴とする請求項24乃至27のいずれか1項に記載の画像処理方法。
- 被検眼の断層画像を取得する取得工程と、
前記断層画像における視細胞層の深さ方向に対する位置のばらつきと、前記視細胞層の断続性とのうち少なくとも一方に関する値を取得することにより、前記視細胞層の壊れの度合いを定量化する定量化工程と、を有することを特徴とする画像処理方法。 - 前記被検眼の黄斑部の断層画像における層と前記断層画像における前記黄斑部の位置とに基づいて、前記断層画像における一部の領域を決定する決定工程を更に有し、
前記定量化工程では、前記決定された領域における前記視細胞層の深さ方向に対する位置のばらつきと、前記視細胞層の断続性とのうち少なくとも一方に関する値を取得することにより、前記視細胞層の壊れの度合いを定量化することを特徴とする請求項29に記載の画像処理方法。 - 請求項24乃至30のいずれか1項に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012085896A JP6105852B2 (ja) | 2012-04-04 | 2012-04-04 | 画像処理装置及びその方法、プログラム |
US13/771,441 US9004685B2 (en) | 2012-04-04 | 2013-02-20 | Image processing apparatus and method thereof |
EP20130159353 EP2647332A1 (en) | 2012-04-04 | 2013-03-15 | Image processing apparatus and method thereof |
CN201310119869.3A CN103356162B (zh) | 2012-04-04 | 2013-04-08 | 图像处理设备和图像处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012085896A JP6105852B2 (ja) | 2012-04-04 | 2012-04-04 | 画像処理装置及びその方法、プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013215243A JP2013215243A (ja) | 2013-10-24 |
JP2013215243A5 JP2013215243A5 (ja) | 2015-05-07 |
JP6105852B2 true JP6105852B2 (ja) | 2017-03-29 |
Family
ID=48092676
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012085896A Expired - Fee Related JP6105852B2 (ja) | 2012-04-04 | 2012-04-04 | 画像処理装置及びその方法、プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US9004685B2 (ja) |
EP (1) | EP2647332A1 (ja) |
JP (1) | JP6105852B2 (ja) |
CN (1) | CN103356162B (ja) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6092659B2 (ja) | 2013-02-28 | 2017-03-08 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP6198410B2 (ja) | 2013-02-28 | 2017-09-20 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP6200168B2 (ja) | 2013-02-28 | 2017-09-20 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
EP4057215A1 (en) * | 2013-10-22 | 2022-09-14 | Eyenuk, Inc. | Systems and methods for automated analysis of retinal images |
CN103679198B (zh) * | 2013-12-10 | 2016-09-14 | 苏州大学 | 一种基于k近邻的视网膜内节/外节缺失自动检测方法 |
AU2014259527A1 (en) | 2014-11-06 | 2016-05-26 | Canon Kabushiki Kaisha | Robust segmentation of retinal pigment epithelium layer |
JP6552200B2 (ja) | 2015-01-09 | 2019-07-31 | キヤノン株式会社 | 光断層撮像装置、その制御方法、及びプログラム |
KR101683573B1 (ko) * | 2015-03-31 | 2016-12-07 | 연세대학교 산학협력단 | 안구 단층 촬영 영상에서의 시세포 층 정량화 검출 장치 및 그 방법 |
JP6552039B2 (ja) * | 2015-06-19 | 2019-07-31 | オリンパス株式会社 | 走査型顕微鏡、及び、画素データ生成方法 |
JP6748434B2 (ja) * | 2016-01-18 | 2020-09-02 | キヤノン株式会社 | 画像処理装置、推定方法、システム及びプログラム |
JP6779674B2 (ja) * | 2016-06-22 | 2020-11-04 | 株式会社トプコン | Oct装置 |
JP2018057828A (ja) * | 2016-10-05 | 2018-04-12 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
WO2018112979A1 (zh) * | 2016-12-24 | 2018-06-28 | 华为技术有限公司 | 一种图像处理方法、装置以及终端设备 |
US11055829B2 (en) | 2016-12-29 | 2021-07-06 | Huawei Technologies Co., Ltd. | Picture processing method and apparatus |
JP6946696B2 (ja) * | 2017-03-31 | 2021-10-06 | 株式会社ニデック | 眼底解析装置及び眼底解析プログラム |
CN107495923A (zh) * | 2017-08-03 | 2017-12-22 | 苏州大学 | 一种测量眼球视网膜形态的方法 |
US10973406B2 (en) | 2018-03-06 | 2021-04-13 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and non-transitory computer readable medium |
CN108827146A (zh) * | 2018-06-14 | 2018-11-16 | 苏州富莱智能科技有限公司 | Twain标准显微测量***及测量方法 |
JP7114358B2 (ja) | 2018-06-15 | 2022-08-08 | キヤノン株式会社 | 医用画像処理装置、医用画像処理方法及びプログラム |
WO2021023368A1 (de) * | 2019-08-05 | 2021-02-11 | Trumpf Laser Gmbh | Verfahren zum anzeigen eines oct-abgetasteten bereichs einer werkstückoberfläche und/oder zum vermessen von oberflächenmerkmalen sowie zugehöriges oct-system |
KR102463522B1 (ko) * | 2020-11-04 | 2022-11-04 | 전남대학교산학협력단 | 고차수 이미지 분해 필터를 활용한 영상 기반의 구조물 움직임 측정 방법. |
US11819275B2 (en) | 2020-12-16 | 2023-11-21 | Canon Kabushiki Kaisha | Optical coherence tomography apparatus, control method for optical coherence tomography apparatus, and computer-readable storage medium |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2412030A (en) | 2004-03-11 | 2005-09-14 | Oti Ophthalmic Technologies | Image correction in optical coherence tomography |
JP4810562B2 (ja) | 2008-10-17 | 2011-11-09 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
JP4466968B2 (ja) | 2008-11-10 | 2010-05-26 | キヤノン株式会社 | 画像処理装置、画象処理方法、プログラム、及びプログラム記憶媒体 |
JP5627260B2 (ja) | 2009-05-22 | 2014-11-19 | キヤノン株式会社 | 撮像装置および撮像方法 |
JP4909377B2 (ja) | 2009-06-02 | 2012-04-04 | キヤノン株式会社 | 画像処理装置及びその制御方法、コンピュータプログラム |
JP5590831B2 (ja) | 2009-07-13 | 2014-09-17 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP5436076B2 (ja) | 2009-07-14 | 2014-03-05 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP5474435B2 (ja) | 2009-07-30 | 2014-04-16 | 株式会社トプコン | 眼底解析装置及び眼底解析プログラム |
WO2011022488A2 (en) | 2009-08-18 | 2011-02-24 | University Of Memphis Research Foundation | Systems, methods, and computer-readable media for detecting and predicting a progression of retinal pathologies |
JP5025715B2 (ja) | 2009-12-08 | 2012-09-12 | キヤノン株式会社 | 断層画像撮影装置、画像処理装置、画像処理システム、画像処理装置の制御方法及びプログラム |
JP5582772B2 (ja) * | 2009-12-08 | 2014-09-03 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP5725706B2 (ja) * | 2009-12-16 | 2015-05-27 | キヤノン株式会社 | 眼科装置、画像生成方法およびプログラム。 |
JP6038799B2 (ja) | 2010-11-17 | 2016-12-07 | オプトビュー,インコーポレーテッド | 光干渉断層法を用いた3d網膜分離検出 |
JP5733960B2 (ja) | 2010-11-26 | 2015-06-10 | キヤノン株式会社 | 撮像方法および撮像装置 |
JP5822485B2 (ja) * | 2011-02-25 | 2015-11-24 | キヤノン株式会社 | 画像処理装置、画像処理方法、画像処理システム、slo装置、およびプログラム |
JP5836634B2 (ja) | 2011-05-10 | 2015-12-24 | キヤノン株式会社 | 画像処理装置及び方法 |
JP6025311B2 (ja) * | 2011-08-01 | 2016-11-16 | キヤノン株式会社 | 眼科診断支援装置および方法 |
JP5017486B2 (ja) * | 2011-08-12 | 2012-09-05 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
-
2012
- 2012-04-04 JP JP2012085896A patent/JP6105852B2/ja not_active Expired - Fee Related
-
2013
- 2013-02-20 US US13/771,441 patent/US9004685B2/en active Active
- 2013-03-15 EP EP20130159353 patent/EP2647332A1/en not_active Withdrawn
- 2013-04-08 CN CN201310119869.3A patent/CN103356162B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US9004685B2 (en) | 2015-04-14 |
EP2647332A1 (en) | 2013-10-09 |
US20130265543A1 (en) | 2013-10-10 |
CN103356162B (zh) | 2016-08-31 |
CN103356162A (zh) | 2013-10-23 |
JP2013215243A (ja) | 2013-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6105852B2 (ja) | 画像処理装置及びその方法、プログラム | |
US9418423B2 (en) | Motion correction and normalization of features in optical coherence tomography | |
US9918634B2 (en) | Systems and methods for improved ophthalmic imaging | |
US10076242B2 (en) | Systems and methods for automated classification of abnormalities in optical coherence tomography images of the eye | |
US9398846B2 (en) | Image processing apparatus, image processing system, image processing method, and image processing computer program | |
US9430825B2 (en) | Image processing apparatus, control method, and computer readable storage medium for analyzing retina layers of an eye | |
JP5955163B2 (ja) | 画像処理装置および画像処理方法 | |
US11653828B2 (en) | Systems and methods for improved anterior segment OCT imaging | |
JP2016002380A (ja) | 画像処理装置、その作動方法及びプログラム | |
JP5924955B2 (ja) | 画像処理装置、画像処理装置の制御方法、眼科装置およびプログラム | |
EP2779095B1 (en) | Optic disc image segmentation method | |
US20180260952A1 (en) | Methods for detection and enhanced visualization of pathologies in a human eye | |
JP2015160105A (ja) | 画像処理装置、画像処理方法及びプログラム | |
US20140029820A1 (en) | Differential geometric metrics characterizing optical coherence tomography data | |
JP6748434B2 (ja) | 画像処理装置、推定方法、システム及びプログラム | |
JP2020103579A (ja) | 画像処理装置、画像処理方法及びプログラム | |
US10916012B2 (en) | Image processing apparatus and image processing method | |
JP6243957B2 (ja) | 画像処理装置、眼科システム、画像処理装置の制御方法および画像処理プログラム | |
JP2018057828A (ja) | 画像処理装置及び画像処理方法 | |
JP6526154B2 (ja) | 画像処理装置、眼科システム、画像処理装置の制御方法及び画像処理プログラム | |
JP2019201718A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2018089304A (ja) | 画像処理装置、画像処理方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150319 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150319 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160405 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160905 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161102 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170203 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170303 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6105852 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |