JP2013215471A - 内視鏡システム、画像処理装置、画像処理方法、画像処理プログラム - Google Patents
内視鏡システム、画像処理装置、画像処理方法、画像処理プログラム Download PDFInfo
- Publication number
- JP2013215471A JP2013215471A JP2012090262A JP2012090262A JP2013215471A JP 2013215471 A JP2013215471 A JP 2013215471A JP 2012090262 A JP2012090262 A JP 2012090262A JP 2012090262 A JP2012090262 A JP 2012090262A JP 2013215471 A JP2013215471 A JP 2013215471A
- Authority
- JP
- Japan
- Prior art keywords
- image
- blue
- light
- oxygen saturation
- pseudo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Radiology & Medical Imaging (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Endoscopes (AREA)
Abstract
【解決手段】分光画像PB1〜PB3は、撮像タイミングが異なるため位置ズレが存在する。分光画像PB1に濃淡変換処理を施し、分光画像PB2と同様の濃度ヒストグラムを有する疑似分光画像PB2′及び、分光画像PB3と同様の濃度ヒストグラムを有する疑似分光画像PB3′を生成する。分光画像PB1、及び、分光画像PB1に対して位置ズレのない疑似分光画像PB2′PB3′を用いて酸素飽和度を算出する。
【選択図】図19
Description
図1に示すように、本発明の第1実施形態の内視鏡システム10は、被検体内の観察部位を撮像する内視鏡11と、撮像により得られた信号に基づいて観察部位の観察画像を生成するプロセッサ装置12と、観察部位を照射する光を供給する光源装置13と、観察画像を表示するモニタ14とを備えている。プロセッサ装置12には、キーボードやマウスなどの操作入力部であるコンソール15が設けられている。
上記第1実施形態では、白色光W(445nm〜700nm)、中心波長が473nmの狭帯域光N2、中心波長が405nmの狭帯域光N3の3種類の光を照射して撮像し、撮像によって得られた画像から血管深さと酸素飽和度とを算出する内視鏡システムに本発明を適用する例で説明をしたが、第1白色光W1(440nm〜700nm)と、第2白色光(460nm〜700nm)との2種類の光を照射して撮像し、撮像によって得られた画像から血液量と酸素飽和度を算出する内視鏡システムに本発明を適用することも可能である。
上記第1実施形態では、所望の波長域の照明光を発光する複数の光源を設け、各光源からの照明光を順次照射して撮像する例で説明をしたが、これに代えて、1つの白色光源(キセノンランプなど)を設け、この白色光源から所望の波長域の照明光を、例えば回転フィルタなどで分離し、分離後の光を順次照射して撮像を行ってもよい。以下、このような光源及び回転フィルタを用いた内視鏡システムに本発明を適用する例について、図23〜図27をもとに説明する。
14 モニタ
31 半導体光源ユニット
32、207 光源制御部
44、201 撮像素子
57 DSP
58 画像処理部
62、101 機能画像処理部
63 疑似分光画像生成部
67 血管深さ画像生成部
68 酸素飽和度画像生成部
90 ヒストグラム解析部
91 トーンカーブ生成部
203 白色光源ユニット
204 回転フィルタ
LD1〜LD3 レーザ光源
PB1〜PB3 分光画像
PB1′、PB2′、PB3′ 疑似分光画像
TCa、TCb、T1〜T3 トーンカーブ
HG1〜HG3 濃度ヒストグラム
Claims (16)
- 互いに異なる波長成分を有する第1及び第2照明光を、順次、被検体内に照射する照明手段と、
前記第1照明光の反射像を撮像することによって第1画像を取得するとともに、前記第2照明光の反射像を撮像することによって第2画像を取得する画像取得手段と、
前記第1及び第2画像の特徴量を求める特徴量算出手段と、
前記第1及び第2画像の特徴量に基づいて前記第1画像を階調変換することにより、前記第1画像と位置ズレがなく、かつ、前記第2画像と略同一の特徴量を有する疑似第2画像を生成する階調変換手段と、
前記第1画像と前記疑似第2画像に基づいて、前記血中ヘモグロビンの酸素飽和度を画像化した酸素飽和度画像を動画表示する動画表示手段とを備えることを特徴とする内視鏡システム。 - 前記特徴量算出手段は、前記第1画像と前記第2画像の濃度ヒストグラムを解析するヒストグラム解析部を有し、
前記階調変換手段は、前記第2画像の濃度ヒストグラムと略一致するように、前記第1画像を濃淡変換処理することによって、前記疑似第2画像を生成する疑似画像生成部を有することを特徴とする請求項1記載の内視鏡システム。 - 前記ヒストグラム解析部は、前記第1、第2画像の複数エリア毎に、前記濃度ヒストグラムの解析を行い、
前記疑似画像生成部は、前記第1画像及び前記第2画像の各エリア間で濃度ヒストグラムが略一致するように、前記第1画像の各エリアに対して前記濃度変換処理を行うことを特徴とする請求項2記載の内視鏡システム。 - 前記濃度変換処理では、前記第1画像と前記第2画像の濃度ヒストグラムの比較演算により生成されるトーンカーブが用いられることを特徴とする請求項2または3記載の内視鏡システム。
- 前記照明手段は、前記第1照明光を発光する第1半導体光源と、前記第2照明光を発光する第2半導体光源とからなることを特徴とする請求項1ないし4いずれか1項記載の内視鏡システム。
- 前記照明手段は、前記第1照明光の波長域の光、及び、前記第2照明光の波長域の光を含む広帯域光を発光する光源と、前記光源からの広帯域光を波長分離することによって前記第1照明光、及び、前記第2照明光を生成する波長分離部とを備えることを特徴とする請求項1ないし4いずれか1項記載の内視鏡システム。
- 前記照明手段は、前記第1照明光として波長域が特定の青色領域に制限された第1青色狭帯域光を含む広帯域の広帯域光と、前記第2照明光として波長域が特定の青色領域に制限された第2青色狭帯域光とを、順次、被検体内に照射し、
前記画像取得手段は、前記第1照明光の反射像をカラーの撮像素子で撮像することにより第1青色画像を含む複数色の画像を取得するとともに、前記第2照明光の反射像をカラーの撮像素子で撮像することにより第2青色画像を含む複数色の画像を取得し、
前記特徴量算出手段は、前記第1、第2青色画像の特徴量を求め、
前記階調変換手段は、前記第1、第2青色画像の特徴量に基づいて前記第1青色画像を階調変換することにより、前記第1青色画像と位置ズレがなく、かつ、前記第2青色画像と略同一の特徴量を有する疑似第2青色画像を生成し、
前記動画表示手段は、前記第1青色画像、及び、前記疑似第2青色画像に基づいて、前記血中ヘモグロビンの酸素飽和度を画像化した酸素飽和度画像を動画表示することを特徴とする請求項1ないし6いずれか1項記載の内視鏡システム。 - 前記第1照明光は、波長域が440±10nmに制限された前記第1青色狭帯域光と、前記第1青色狭帯域光を波長変換部材で波長変換した蛍光を含む白色光であり、
前記第2青色狭帯域光は、波長域が470±10nmに制限された光であることを特徴とする請求項7記載の内視鏡システム。 - 前記照明手段は、前記第1、第2照明光に加え、波長域が特定の青色領域に制限された第3青色狭帯域光を含む第3照明光を、順次、被検体内に照射し、
前記画像取得手段は、前記第1、第2青色画像に加え、前記第3照明光の反射像をカラーの撮像素子で撮像することにより第3青色画像を含む複数色の画像を取得し、
前記特徴量算出手段は、前記第1、第2青色画像に加え、前記第3青色画像の特徴量を求め、
前記階調変換手段は、前記疑似第2青色画像に加え、前記第1、第3青色画像の特徴量に基づいて前記第1青色画像を階調変換することにより、前記第1青色画像と位置ズレがなく、かつ、前記第3青色画像と略同一の特徴量を有する疑似第3青色画像を生成し、
前記動画表示手段は、前記第1青色画像、及び、前記疑似第2青色画像に加え、前記疑似第3青色画像に基づいて、前記血中ヘモグロビンの酸素飽和度を画像化した酸素飽和度画像を動画表示することを特徴とする請求項7または8記載の内視鏡システム。 - 前記第3青色狭帯域光は、波長域が440±10nmに制限された光であることを特徴とする請求項9記載の内視鏡システム。
- 前記第3青色狭帯域光は、波長域が400±10nmに制限された光であることを特徴とする請求項9記載の内視鏡システム。
- 前記照明手段は、前記第1照明光として波長域が特定の青色領域に制限された第1青色狭帯域光を含む広帯域の広帯域光と、前記第2照明光として波長域が特定の青色領域に制限された第2青色狭帯域光を含む広帯域の広帯域光とを、順次、被検体内に照射し、
前記画像取得手段は、前記第1照明光の反射像をカラーの撮像素子で撮像することにより第1青色画像、第1緑色画像、及び第1赤色画像を取得するとともに、前記第2照明光の反射像をカラーの撮像素子で撮像することにより第2青色画像を含む複数色の画像を取得し、
前記特徴量算出手段は、前記第1、第2青色画像の特徴量を求め、
前記階調変換手段は、前記第1、第2青色画像の特徴量に基づいて前記第1青色画像を階調変換することにより、前記第1青色画像と位置ズレがなく、かつ、前記第2青色画像と略同一の特徴量を有する疑似第2青色画像を生成し、
前記動画表示手段は、前記第1緑色画像、前記第1赤色画像、及び前記疑似第2青色画像に基づいて、前記血中ヘモグロビンの酸素飽和度を画像化した酸素飽和度画像を動画表示することを特徴とする請求項7ないし12いずれか1項記載の内視鏡システム。 - 前記第1照明光は、波長域が440±10nmに制限された前記第1青色狭帯域光と、前記第1青色狭帯域光を波長変換部材で波長変換した蛍光を含む第1白色光であり、
前記第2照明光は、波長域が470±10nmに制限された前記第2青色狭帯域光と、前記第2青色狭帯域光を波長変換部材で波長変換した蛍光を含む第2白色光であることを特徴とする請求項12記載の内視鏡システム。 - 第1照明光が照射された被検体像を撮像して得られる第1画像と、前記第1照明光と異なる前記第2照明光が照射された被検体像を、前記第1画像と異なるフレームで撮像することによって得られる第2画像を含む複数の画像を処理する画像処理装置において、
前記第1及び第2画像の特徴量を求める特徴量算出手段と、
前記第1及び第2画像の特徴量に基づいて前記第1画像を階調変換することにより、フレーム間の位置ズレを補正した第2画像に相当する疑似第2画像を生成する階調変換手段と、
前記第1画像と前記疑似第2画像に基づいて、前記血中ヘモグロビンの酸素飽和度を画像化した酸素飽和度画像を表示手段に動画表示するための表示制御手段とを備えることを特徴とする画像処理装置。 - 第1照明光が照射された被検体像を撮像して得られる第1画像と、前記第1照明光と異なる前記第2照明光が照射された被検体像を、前記第1画像と異なるフレームで撮像することによって得られる第2画像を含む複数の画像を処理する画像処理方法において、
前記第1及び第2画像の特徴量を求めるステップと、
前記第1及び第2画像の特徴量に基づいて前記第1画像を階調変換することにより、前記第1画像と位置ズレがなく、かつ、前記第2画像と略同一の特徴量を有する疑似第2画像を生成するステップと、
前記第1画像と前記疑似第2画像に基づいて、前記血中ヘモグロビンの酸素飽和度を画像化した酸素飽和度画像を表示手段に動画表示するための表示制御を行うステップとを有することを特徴とする画像処理方法。 - 第1照明光が照射された被検体像を撮像して得られる第1画像と、前記第1照明光と異なる前記第2照明光が照射された被検体像を、前記第1画像と異なるフレームで撮像することによって得られる第2画像を含む複数の画像を処理する画像処理プログラムにおいて、
コンピュータを、
前記第1及び第2画像の特徴量を求める特徴量算出手段、
前記第1及び第2画像の特徴量に基づいて前記第1画像を階調変換することにより、前記第1画像と位置ズレがなく、かつ、前記第2画像と略同一の特徴量を有する疑似第2画像を生成する階調変換手段、及び
前記第1画像と前記疑似第2画像に基づいて、前記血中ヘモグロビンの酸素飽和度を画像化した酸素飽和度画像を表示手段に動画表示するための表示制御手段として機能させるための画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012090262A JP5829568B2 (ja) | 2012-04-11 | 2012-04-11 | 内視鏡システム、画像処理装置、画像処理装置の作動方法、及び画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012090262A JP5829568B2 (ja) | 2012-04-11 | 2012-04-11 | 内視鏡システム、画像処理装置、画像処理装置の作動方法、及び画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013215471A true JP2013215471A (ja) | 2013-10-24 |
JP5829568B2 JP5829568B2 (ja) | 2015-12-09 |
Family
ID=49588347
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012090262A Active JP5829568B2 (ja) | 2012-04-11 | 2012-04-11 | 内視鏡システム、画像処理装置、画像処理装置の作動方法、及び画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5829568B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016055110A (ja) * | 2014-09-12 | 2016-04-21 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
JP2016093210A (ja) * | 2014-11-12 | 2016-05-26 | ソニー株式会社 | 画像処理装置、画像処理方法、並びにプログラム |
EP3395227A4 (en) * | 2015-12-22 | 2019-01-09 | Fujifilm Corporation | ENDOSCOPY SYSTEM AND OPERATING PROCEDURES FOR THE ENDOSCOPE SYSTEM |
WO2019044082A1 (ja) * | 2017-08-28 | 2019-03-07 | 富士フイルム株式会社 | 医用画像処理装置、方法およびプログラム |
-
2012
- 2012-04-11 JP JP2012090262A patent/JP5829568B2/ja active Active
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016055110A (ja) * | 2014-09-12 | 2016-04-21 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
JP2016093210A (ja) * | 2014-11-12 | 2016-05-26 | ソニー株式会社 | 画像処理装置、画像処理方法、並びにプログラム |
US10799101B2 (en) | 2014-11-12 | 2020-10-13 | Sony Corporation | Image processing apparatus, image processing method, and program |
US11766167B2 (en) | 2014-11-12 | 2023-09-26 | Sony Corporation | Image processing apparatus, image processing method, and program |
EP3395227A4 (en) * | 2015-12-22 | 2019-01-09 | Fujifilm Corporation | ENDOSCOPY SYSTEM AND OPERATING PROCEDURES FOR THE ENDOSCOPE SYSTEM |
US11399751B2 (en) | 2015-12-22 | 2022-08-02 | Fujifilm Corporation | Endoscope system and method of operating endoscope system |
WO2019044082A1 (ja) * | 2017-08-28 | 2019-03-07 | 富士フイルム株式会社 | 医用画像処理装置、方法およびプログラム |
JPWO2019044082A1 (ja) * | 2017-08-28 | 2020-05-28 | 富士フイルム株式会社 | 医用画像処理装置、方法およびプログラム |
US11164296B2 (en) | 2017-08-28 | 2021-11-02 | Fujifilm Corporation | Medical image processing apparatus, medical image processing method, and medical image processing program |
Also Published As
Publication number | Publication date |
---|---|
JP5829568B2 (ja) | 2015-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5303012B2 (ja) | 内視鏡システム、内視鏡システムのプロセッサ装置及び内視鏡システムの作動方法 | |
JP5393554B2 (ja) | 電子内視鏡システム | |
US10335014B2 (en) | Endoscope system, processor device, and method for operating endoscope system | |
US9675238B2 (en) | Endoscopic device | |
JP5753105B2 (ja) | 電子内視鏡システム、画像処理装置及び画像処理装置の作動方法 | |
JP5452300B2 (ja) | 電子内視鏡システム、電子内視鏡用のプロセッサ装置、電子内視鏡システムの作動方法、病理観察装置および病理顕微鏡装置 | |
JP5395725B2 (ja) | 電子内視鏡システム | |
JP5623348B2 (ja) | 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法 | |
US9028396B2 (en) | Endoscope system, processing unit therefor, and image processing method | |
JP5457247B2 (ja) | 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法 | |
JP5634755B2 (ja) | 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法 | |
JP5623469B2 (ja) | 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡用制御プログラム | |
JP5774531B2 (ja) | 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、及び画像処理プログラム | |
US9629527B2 (en) | Endoscope system, processor device of endoscope system, and image processing method | |
JP5757891B2 (ja) | 電子内視鏡システム、画像処理装置、画像処理装置の作動方法及び画像処理プログラム | |
JP5623470B2 (ja) | 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡用制御プログラム | |
JP6100674B2 (ja) | 内視鏡用光源装置及び内視鏡システム | |
US20170296034A1 (en) | Image processing apparatus, method for operating image processing apparatus, computer-readable recording medium, and endoscope device | |
JP6839773B2 (ja) | 内視鏡システム、内視鏡システムの作動方法及びプロセッサ | |
JP5829568B2 (ja) | 内視鏡システム、画像処理装置、画像処理装置の作動方法、及び画像処理プログラム | |
JP2016174976A (ja) | 内視鏡システム | |
WO2014156604A1 (ja) | 内視鏡システム及びその作動方法並びにプロセッサ装置 | |
JP2012125402A (ja) | 内視鏡システム、内視鏡システムのプロセッサ装置及び機能情報取得方法 | |
JP5844447B2 (ja) | 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法 | |
JP6325707B2 (ja) | 内視鏡用光源装置及び内視鏡システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141031 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150722 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150902 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150915 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151007 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151022 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5829568 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |