JP2013239061A - 画像推定方法、プログラム、記録媒体、画像推定装置、ネットワーク機器および画像データの取得方法 - Google Patents
画像推定方法、プログラム、記録媒体、画像推定装置、ネットワーク機器および画像データの取得方法 Download PDFInfo
- Publication number
- JP2013239061A JP2013239061A JP2012112227A JP2012112227A JP2013239061A JP 2013239061 A JP2013239061 A JP 2013239061A JP 2012112227 A JP2012112227 A JP 2012112227A JP 2012112227 A JP2012112227 A JP 2012112227A JP 2013239061 A JP2013239061 A JP 2013239061A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- optical system
- subject
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 95
- 230000003287 optical effect Effects 0.000 claims abstract description 126
- 238000003384 imaging method Methods 0.000 claims abstract description 92
- 238000006243 chemical reaction Methods 0.000 claims abstract description 27
- 210000001747 pupil Anatomy 0.000 claims description 41
- 238000005286 illumination Methods 0.000 claims description 30
- 238000004364 calculation method Methods 0.000 claims description 25
- 238000004891 communication Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 21
- 238000001228 spectrum Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 13
- 238000004088 simulation Methods 0.000 description 13
- 230000010365 information processing Effects 0.000 description 9
- 230000001427 coherent effect Effects 0.000 description 8
- 238000013500 data storage Methods 0.000 description 7
- 239000000523 sample Substances 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000004075 alteration Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 239000012472 biological sample Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000006059 cover glass Substances 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000000206 photolithography Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000004171 remote diagnosis Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
【解決手段】Nを2以上の整数として、光学系104の光軸方向に間隔Δzで決定されたN点の異なる位置zj(1≦j≦N)において、光学系を有する撮像装置を用いて取得した被写体の画像データから、zjの最大値をzmax、zjの最小値をzminとして、N枚の画像データから光軸方向の位置z(zmin≦z≦zmax)での画像データを、演算手段を利用して推定する画像推定方法に関する。N枚の画像データに対して、光軸方向に周波数変換を行い、N枚の変換画像データを算出する画像変換ステップと、zmax及びzminから、N枚の変換画像データに対応する周波数fznを算出し、N枚の変換画像データに対してfzn及びzから定まる複素数を、N枚の変換画像データに乗算し、和をとる。
【選択図】図1
Description
Claims (24)
- Nを2以上の整数として、撮像光学系の光軸方向に間隔Δzで決定されたN点の異なる位置zj(1≦j≦N)において、前記撮像光学系を有する撮像装置を用いて取得した被写体の画像データから、zjの最大値をzmax、zjの最小値をzminとして、前記光軸方向の位置z(zmin≦z≦zmax)での画像データを、演算手段を利用して推定する画像推定方法であって、
N枚の画像データに対して、前記光軸方向に周波数変換を行い、N枚の変換画像データを算出する画像変換ステップと、
zmax、zmin、z及びΔzから前記N枚の変換画像データに対して定まる複素数を、前記N枚の変換画像データに乗算し、和をとる結合ステップを有すること、
を特徴とする画像推定方法。 - 前記周波数変換はフーリエ変換または逆フーリエ変換であり、
前記画像推定方法は、zmax、zmin及びΔzから、前記N枚の変換画像データに対応する周波数fznを算出する周波数算出ステップを含み、
前記周波数算出ステップは、前記周波数fznを次式に従って算出することを特徴とし、
前記複素数は虚数単位をiとしてexp(−2πifznz)またはexp(2πifznz)であること、
を特徴とする請求項1に記載の画像推定方法。
- 前記N枚の変換画像データに対して、zmax、zmin及びΔzから、前記N枚の変換画像データに対応する周波数fznを算出する周波数算出ステップと、
前記周波数fznの最大値よりも高周波領域に0値を付加し、前記周波数fznの最小値よりも低周波領域に0値を与えることで前記N枚の変換画像データを拡張するゼロパディングステップと、
を更に有し、
前記結合ステップが前記ゼロパディングステップで拡張された画像データに対して光軸方向に前記周波数変換に対応した逆周波数変換を行う逆周波数変換ステップである、
ことを特徴とする請求項1に記載の画像推定方法。 - 前記周波数変換はフーリエ変換または逆フーリエ変換であり、
前記周波数算出ステップは、前記周波数fznを次式に従って算出すること、
を特徴とする請求項3に記載の画像推定方法。
- 前記周波数変換が光軸と垂直方向に対する周波数変換を含み、
前記逆周波数変換が前記光軸と垂直方向に対して前記周波数変換に対応する逆周波数変換を含むこと、
を特徴とする請求項3または4に記載の画像推定方法。 - Nを2以上の整数として、撮像光学系の光軸方向に間隔Δzで決定されたN点の異なる位置zj(1≦j≦N)において、前記撮像光学系を有する撮像装置を用いて取得した被写体の画像データから、zjの最大値をzmax、zjの最小値をzminとして、前記光軸方向の位置z(zmin≦z≦zmax)での画像データを推定する画像推定方法であって、
N枚の画像データに、sinc((z−zj)/Δz)を乗算し、和をとること、
を特徴とする画像推定方法。 - 前記被写体からの光の波長をλ、前記撮像光学系の被写体側の開口数をNAとすると、Δzが次式で表されること、
を特徴とする請求項1乃至6のうちいずれか1項に画像推定方法。
- 前記被写体からの光の波長をλ、前記撮像光学系の被写体側の開口数をNAとすると、Δzが次式で表されること、
を特徴とする請求項1乃至6のうちいずれか1項に記載の画像推定方法。
- 前記周波数変換はコサイン変換であり、
前記画像推定方法はzmax、zmin及びΔzから、前記N枚の変換画像データに対応する周波数fznを算出する周波数算出ステップを含み、
前記周波数算出ステップは、前記周波数fznを次式に従って算出し、
前記複素数は次式によって定まる実数であること、
を特徴とする請求項1に記載の画像推定方法。
- 前記撮像光学系は瞳面の中心部近傍において光強度が周辺部に比べて低い領域を有すること、
を特徴とする請求項1乃至9のうちいずれか1項に記載の画像推定方法。 - 前記領域は円形であり、
前記撮像光学系の被写体側の開口数をNAとし、前記領域の半径を前記撮像光学系の瞳の半径のε倍とし、前記被写体からの光の波長をλとすると、Δzが次式で表されること、
を特徴とした請求項10に記載の画像推定方法。
- 前記領域は円形であることを特徴とし、
前記撮像光学系の被写体側の開口数をNAとし、前記領域の半径を前記撮像光学系の瞳の半径のε倍とし、前記被写体からの光の波長をλとすると、Δzが次式で表されること、
を特徴とした請求項10に記載の画像推定方法。
- 前記撮像装置は前記被写体を照明する照明光学系を有し、
前記照明光学系は瞳面の中心部近傍において光強度が周辺部に比べて低い領域を有することを特徴とする、
請求項1乃至8のうちいずれか1項に記載の画像推定方法。 - 前記領域は円形であり、
前記撮像光学系の被写体側の開口数をNAとし、前記領域の半径を前記撮像光学系の瞳の半径のε倍とし、前記被写体からの光の波長をλとすると、Δzが次式で表されること、
を特徴とした請求項13に記載の画像推定方法。
- 前記領域は円形であり、
前記撮像光学系の被写体側の開口数をNAとし、前記領域の半径を前記撮像光学系の瞳の半径のε倍とし、前記被写体からの光の波長をλとすると、Δzが次式で表されること、
を特徴とした請求項13に記載の画像推定方法。
- Nを2以上の整数として、撮像光学系の光軸方向に沿って間隔Δzで決定されたN点の異なる位置zj(1≦j≦N)において、前記撮像光学系を有する撮像装置を用いて取得した前記被写体のN枚の画像データから、zjの最大値をzmax、zjの最小値をzminとして、前記光軸方向の位置z(zmin≦z≦zmax)の画像データを、演算手段を利用して推定する画像推定方法であって、
前記位置zの前記画像データを表す輝度分布を前記光軸方向とそれに直交する2方向からなる3次元の関数で表したものをI(x,y,z)、前記被写体の前記N枚の画像データを表す輝度分布をI(x,y,zj)、前記光軸方向の離散的な空間周波数をfzn(fzn=n/(zmax−zmin+Δz))、nを−N/2≦n<N/2を満たす整数、前記撮像光学系の被写体側の開口数をNA、前記被写体からの光の波長をλ、次式を満たす最大のnをn0、前記撮像光学系の瞳面の中心に円形の遮蔽部があるとした場合の前記遮蔽部の半径が瞳の半径のε倍であるとし、前記遮蔽部がない場合はεが0であるとすると、
I(x,y,z)を−n0〜n0の範囲で複素形フーリエ級数展開することによって取得し、前記複素形フーリエ級数展開の複素フーリエ係数はI(x,y,zj)の離散フーリエ変換によって求まること、
を特徴とする画像推定方法。 - Nを2以上の整数として、撮像光学系の光軸方向に沿って間隔Δzで決定されたN点の異なる位置zj(1≦j≦N)において、前記撮像光学系を有する撮像装置を用いて取得した前記被写体のN枚の画像データから、zjの最大値をzmax、zjの最小値をzminとして、前記光軸方向の位置z(zmin≦z≦zmax)の画像データを、演算手段を利用して推定する画像推定方法であって、
前記位置zの前記画像データを表す輝度分布を前記光軸方向とそれに直交する2方向からなる3次元の関数で表したものをI(x,y,z)、前記被写体の前記N枚の画像データを表す輝度分布をI(x,y,zj)、前記光軸方向の離散的な空間周波数をfzn(fzn=n/(zmax−zmin+Δz))、nを0≦n<N−1を満たす整数、前記撮像光学系の被写体側の開口数をNA、前記被写体からの光の波長をλ、次式を満たす最大のnをn0、前記撮像光学系の瞳面の中心に円形の遮蔽部があるとした場合の前記遮蔽部の半径が瞳の半径のε倍であるとし、前記遮蔽部がない場合はεが0であるとすると、
I(x,y,z)を1からn0の範囲で級数展開することによって取得し、前記級数展開の係数はI(x,y,zj)の離散コサイン変換によって求まること、
を特徴とする画像推定方法。 - 請求項1乃至17のうちいずれか1項に記載の画像推定方法をコンピュータによって実行可能なプログラム。
- 請求項18に記載のプログラムを記録した記録媒体。
- 請求項1乃至17のうちいずれか1項に記載の画像推定方法を実行する演算手段を有する画像推定装置。
- 請求項20に記載の画像推定装置にネットワークを介して接続されたネットワーク機器であって、
前記画像推定装置が被写体の画像データを推定する位置を指定する指定手段と、
前記画像推定装置に前記位置の情報を送信し、前記画像推定装置から前記位置の前記画像データの情報を受信する通信手段と、
を有することを特徴とするネットワーク機器。 - 前記通信手段を介して受信した前記I(x,y,z)の情報に基づいて前記位置zの画像を表示する表示手段を更に有することを特徴とする請求項21に記載のネットワーク機器。
- 請求項20に記載の画像推定装置によって推定された被写体の画像データを取得する方法であって、
被写体のN枚の画像データおよび前記画像推定装置によって既に推定された画像データのうちの少なくとも1枚の画像データの光軸方向の位置を表示するステップと、
前記画像推定装置が推定すべき、前記被写体の前記画像データの前記光軸方向の位置を指定するステップと、
を有することを特徴とする方法。 - 請求項20に記載の画像推定装置にネットワークを介して接続されたネットワーク機器が前記方法を実行することを特徴とする請求項23に記載の方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012112227A JP6039236B2 (ja) | 2012-05-16 | 2012-05-16 | 画像推定方法、プログラム、記録媒体、画像推定装置、および画像データの取得方法 |
PCT/JP2013/064140 WO2013172477A1 (en) | 2012-05-16 | 2013-05-15 | Image estimating method, program, recording medium, image estimating apparatus, network device, and method of obtaining image data |
US14/391,900 US20150062325A1 (en) | 2012-05-16 | 2013-05-15 | Image estimating method, program, recording medium, image estimating apparatus, network device, and method of obtaining image data |
DE112013002529.9T DE112013002529T5 (de) | 2012-05-16 | 2013-05-15 | Bildschätzverfahren, Programm, Aufzeichnungsmedium, Bildschätzvorrichtung, Netzwerkeinrichtung und Verfahren zum Erhalten von Bilddaten |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012112227A JP6039236B2 (ja) | 2012-05-16 | 2012-05-16 | 画像推定方法、プログラム、記録媒体、画像推定装置、および画像データの取得方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013239061A true JP2013239061A (ja) | 2013-11-28 |
JP2013239061A5 JP2013239061A5 (ja) | 2015-07-02 |
JP6039236B2 JP6039236B2 (ja) | 2016-12-07 |
Family
ID=49583873
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012112227A Active JP6039236B2 (ja) | 2012-05-16 | 2012-05-16 | 画像推定方法、プログラム、記録媒体、画像推定装置、および画像データの取得方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20150062325A1 (ja) |
JP (1) | JP6039236B2 (ja) |
DE (1) | DE112013002529T5 (ja) |
WO (1) | WO2013172477A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150254862A1 (en) * | 2014-03-10 | 2015-09-10 | Canon Kabushiki Kaisha | Image estimating method, non-transitory computer readable medium, and image estimating apparatus |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001223874A (ja) * | 2000-02-04 | 2001-08-17 | Kiyoharu Aizawa | 任意焦点画像合成装置及びこれに用いる複数画像同時撮像型カメラ |
JP2005037902A (ja) * | 2003-07-01 | 2005-02-10 | Olympus Corp | 顕微鏡システム、顕微鏡画像表示システム、観察体画像表示方法、及びプログラム |
JP2005050037A (ja) * | 2003-07-31 | 2005-02-24 | Canon Inc | 画像処理方法および装置 |
JP2011150400A (ja) * | 2010-01-19 | 2011-08-04 | Sony Corp | 情報処理装置、情報処理方法、及びそのプログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110267485A1 (en) * | 2010-04-30 | 2011-11-03 | Kane Paul J | Range measurement using a coded aperture |
-
2012
- 2012-05-16 JP JP2012112227A patent/JP6039236B2/ja active Active
-
2013
- 2013-05-15 WO PCT/JP2013/064140 patent/WO2013172477A1/en active Application Filing
- 2013-05-15 US US14/391,900 patent/US20150062325A1/en not_active Abandoned
- 2013-05-15 DE DE112013002529.9T patent/DE112013002529T5/de not_active Withdrawn
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001223874A (ja) * | 2000-02-04 | 2001-08-17 | Kiyoharu Aizawa | 任意焦点画像合成装置及びこれに用いる複数画像同時撮像型カメラ |
JP2005037902A (ja) * | 2003-07-01 | 2005-02-10 | Olympus Corp | 顕微鏡システム、顕微鏡画像表示システム、観察体画像表示方法、及びプログラム |
JP2005050037A (ja) * | 2003-07-31 | 2005-02-24 | Canon Inc | 画像処理方法および装置 |
JP2011150400A (ja) * | 2010-01-19 | 2011-08-04 | Sony Corp | 情報処理装置、情報処理方法、及びそのプログラム |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150254862A1 (en) * | 2014-03-10 | 2015-09-10 | Canon Kabushiki Kaisha | Image estimating method, non-transitory computer readable medium, and image estimating apparatus |
JP2015169852A (ja) * | 2014-03-10 | 2015-09-28 | キヤノン株式会社 | 画像推定方法、プログラム、記録媒体および画像推定装置 |
US9769372B2 (en) * | 2014-03-10 | 2017-09-19 | Canon Kabushiki Kaisha | Image estimating method including calculating a transverse cutoff frequency, non-transitory computer readable medium, and image estimating apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP6039236B2 (ja) | 2016-12-07 |
DE112013002529T5 (de) | 2015-01-29 |
WO2013172477A1 (en) | 2013-11-21 |
US20150062325A1 (en) | 2015-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5705096B2 (ja) | 画像処理装置及び画像処理方法 | |
JP6752200B2 (ja) | 照明システム及びフーリエタイコグラフィイメージングの装置 | |
JP6039371B2 (ja) | 画像処理方法、プログラム、画像処理装置、および撮像装置 | |
Sevcenco et al. | A wavelet based method for image reconstruction from gradient data with applications | |
JP2015108837A (ja) | 画像処理装置及び画像処理方法 | |
JP2015052663A (ja) | 画像処理方法、画像処理装置、撮像装置およびプログラム | |
Huang et al. | Real-time reference A-line subtraction and saturation artifact removal using graphics processing unit for high-frame-rate Fourier-domain optical coherence tomography video imaging | |
JP6004875B2 (ja) | 医用画像表示装置、医用画像表示方法及びプログラム | |
Lecompagnon et al. | Thermographic detection of internal defects using 2D photothermal super resolution reconstruction with sequential laser heating | |
JP6039236B2 (ja) | 画像推定方法、プログラム、記録媒体、画像推定装置、および画像データの取得方法 | |
JP6249759B2 (ja) | 画像処理方法、画像処理プログラムおよび画像処理装置 | |
JP2013222245A (ja) | 画像鮮鋭度評価装置 | |
JP6661491B2 (ja) | 画像処理装置および画像処理方法 | |
Papanikolaou et al. | Colour digital image correlation method for monitoring of cultural heritage objects with natural texture | |
JP6362363B2 (ja) | 画像推定方法、プログラム、記録媒体および画像推定装置 | |
Lu | Brightness–preserving weighted subimages for contrast enhancement of gray–level images | |
JP2010210573A (ja) | 対象物体の厚さの推定方法 | |
Xie et al. | Blind deconvolution combined with level set method for correcting cupping artifacts in cone beam CT | |
Klein | Multispectral imaging and image processing | |
Ren et al. | Spatial frequency domain imaging technology based on Fourier single-pixel imaging | |
Pineda et al. | Reducing the number of reconstructions needed for estimating channelized observer performance | |
Arias et al. | Compressive sensing in reflectance confocal microscopy of skin images: a preliminary comparative study | |
Wang et al. | Three-dimensional reconstruction of microscopic images using different order intensity derivatives | |
JP2014002636A (ja) | 画像推定方法、画像推定プログラムおよび画像推定装置 | |
Leportier et al. | Compressive sensing with a block-strategy for fast image acquisitions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150513 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150513 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160712 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160909 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161004 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161104 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6039236 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |