JP6168802B2 - 処理装置、処理方法、及びプログラム - Google Patents
処理装置、処理方法、及びプログラム Download PDFInfo
- Publication number
- JP6168802B2 JP6168802B2 JP2013050556A JP2013050556A JP6168802B2 JP 6168802 B2 JP6168802 B2 JP 6168802B2 JP 2013050556 A JP2013050556 A JP 2013050556A JP 2013050556 A JP2013050556 A JP 2013050556A JP 6168802 B2 JP6168802 B2 JP 6168802B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- photoacoustic wave
- signal
- matrix
- photoacoustic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
- G01N29/04—Analysing solids
- G01N29/06—Visualisation of the interior, e.g. acoustic microscopy
- G01N29/0654—Imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0093—Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy
- A61B5/0095—Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy by applying light and detecting acoustic waves, i.e. photoacoustic measurements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
- A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
- G01N29/22—Details, e.g. general constructional or apparatus details
- G01N29/24—Probes
- G01N29/2418—Probes using optoacoustic interaction with the material, e.g. laser radiation, photoacoustics
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/40—Imaging
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- General Physics & Mathematics (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Immunology (AREA)
- Chemical & Material Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Optics & Photonics (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Description
まず、図1を参照しながら本実施形態にかかる被検体情報取得装置の基本的構成を説明する。本実施形態の被検体情報取得装置は、被検体の内部の光学特性情報を取得するものである。本実施形態に係る光学特性情報とは、光音響効果により発生した光音響波の初期音圧、初期音圧から導かれる光エネルギー吸収密度、吸収係数、組織を構成する物質の濃度等などである。ここで、物質の濃度とは、酸素飽和度、オキシヘモグロビン濃度、デオキシヘモグロビン濃度、および総ヘモグロビン濃度などである。総ヘモグロビン濃度とは、オキシヘモグロビン濃度およびデオキシヘモグロビン濃度の和である。
また、被検体の周囲に設けられた部材としては、例えば被検体としての***の全周を保持するお椀状の保持部材などが挙げられる。
p(rd,t)=a(rd,r,t)・p0(r) ・・・式(2)
ここで、a(rd,r,t)は、位置rで発生する単位初期音圧を有する光音響波が、外部から影響を受けずに位置rdで検出されて検出信号に変換されるまでを示す被演算子である。すなわち、a(rd,r,t)は、部材による光音響波の応答を考慮していない被演算子である。
Pd=A・P0 ・・・式(3)
ここで、Pdは、部材に由来する影響を受けた光音響波を複数の音響波検出素子が検出して得られた時系列の検出信号を行列で表現したベクトルである。また、Aは、部材に由来する光音響波の応答を考慮していない被演算子を行列で表現したベクトルである。また、P0は空間の離散化した初期音圧を行列で表現したベクトルである。
Pd=B・P0 ・・・式(7)
ここで、Bは、被検体の外部に設けられた保持部材140を考慮した被演算子bを行列で表現したものである。
次に、図1を用いて、信号処理装置190が行う被検体情報処理方法を説明する。本実施形態では、光音響波122が被検体120と複数の音響波検出素子131との間に設けられた保持部材140により多重反射された後に、複数の音響波検出素子131で検出される場合を考える。下記の番号は図5における処理の番号と一致する。
この工程では、光源111から発せられたパルス光112が、例えば、レンズ、ミラー、光ファイバ、拡散板などの光学系113により所望の光分布形状に加工されながら導かれ、被検体120に照射される。そして、被検体120の内部を伝播した光のエネルギーの一部が血管などの光吸収体(音源)121に吸収されると、その光吸収体121の熱膨張により光音響波122が発生する。
この工程では、複数の音響波検出素子131が、被検体120と複数の音響波検出素子131との間に設けられた保持部材140で多重反射した光音響波122を検出して、時系列の検出信号を出力する。ここで、時系列の検出信号は、行列Pdとして、信号処理装置190内の記憶部192に格納される。
この工程では、演算部191が、計算または実験により、繰り返し再構成法に用いる保持部材140を考慮した被演算子を取得する。ただし、部材を考慮した被演算子が予め取得され、記憶部192等に格納されている場合は、本工程を行う必要はない。
計算による方法では、演算部191が、仮想音源、仮想音響波検出素子、仮想部材などを設定して光音響波の伝搬シミュレーションを行うことにより得られる仮想検出信号から、部材を考慮した被演算子を取得する。
この工程では、演算部191が、仮想音源621の位置、複数の仮想音響波検出素子631の位置、被検体に対応する仮想被検体620の外部に設けられた仮想部材640の位置を設定する。このとき、光音響波を検出時の被検体情報取得装置の構成を考慮して、それぞれの位置を設定することが好ましい。なお、本実施形態において、仮想部材640は、仮想被検体620と複数の仮想音響波検出素子631との間に位置している。また、本実施形態において、仮想音源621は、仮想被検体620を微小空間に分割したときのある微小空間に設定する。
この工程では、複数の仮想音響波検出素子631が、仮想音源621から発生した仮想光音響波622を検出して、仮想検出信号を取得する。
この工程では、演算部191が、S312で取得した仮想検出信号に基づき、部材を考慮した被演算子を取得する。
この工程では、被演算子取得用の光吸収体721が配置されたファントム720に被演算子取得用の光が照射される。なお、被演算子取得用の光を発する光源は、S100で用いた光源111と同様の構成であることが好ましい。また、被演算子取得用の光源として、S100で用いた光源111を用いてもよい。
この工程では、光吸収体721に被演算子取得用の光源からの光を照射することにより発生した被演算子取得用の光音響波722を、被演算子取得用の音響波検出素子731で検出して、被演算子取得用の検出信号を取得する。このとき、ファントム720と被演算子取得用の音響波検出素子731との間には、被演算子取得用の保持部材740が設けられている。
この工程では、演算部191が、S322で取得した被演算子取得用の検出信号に基づき、部材を考慮した被演算子を取得する。
この工程では、信号処理装置190の演算部191が、S200で取得した検出信号と、S300で取得した部材を考慮した被演算子とに基づいた繰り返し再構成法による画像再構成を行うことにより、被検体内部の光学特性情報を取得する。
P0=B−1・Pd ・・・式(8)
ここで、B−1はBの逆行列である。この式から分かるように、保持部材140を考慮した被演算子の行列Bの逆行列を、検出信号の行列Pdに掛けることで、初期音圧の行列P0を求めることができる。
一方、図10(c)では、矢印で示した位置における初期音圧が、図10(b)と比べて小さくなっている。すなわち、保持部材840において多重反射した光音響波の検出信号によるアーティファクトが抑えられている。
光源111は被検体に光を照射し、光音響波を発生させる。被検体が被検体の場合、光源111からは被検体を構成する成分のうち特定の成分に吸収される特定の波長の光を照射することが好ましい。光源は、本実施形態の光音響イメージング装置と一体として設けられていてもよいし、光源を分離して別体として設けられていてもよい。
光源111から出射されたパルス光112は、典型的にはレンズやミラーなどの光学部品により、所望の光分布形状に加工されながら被検体に導かれるが、光ファイバなどの光導波路などを用いて伝搬させることも可能である。光学系113は、例えば、光を反射するミラーや、光を集光したり拡大したり形状を変化させるレンズ、光を拡散させる拡散板などである。このような光学部品は、光源から出射されたパルス光112が被検体120に所望の形状で照射されれば、どのようなものを用いてもかまわない。なお、光はレンズで集光させるより、ある程度の面積に広げる方が被検体への安全性ならびに診断領域を広げられるという観点で好ましい。
これらは本発明の被検体情報取得装置の一部を構成するものではないが、以下に説明する。本発明の被検体情報取得装置は、人や動物の悪性腫瘍や血管疾患などの診断や化学治療の経過観察などを主な目的とする。よって、被検体120としては、具体的には人体や動物の***や指、手足などの診断の対象部位が想定される。
音響波検出器130は、被検体で発生した光音響波を検出して、アナログ信号である電気信号に変換する音響波検出素子131や、音響波検出素子131を囲む筐体などから構成されている。音響波検出器130は、単に探触子あるいはトランスデューサということもある。圧電現象を用いたトランスデューサ、光の共振を用いたトランスデューサ、容量の変化を用いたトランスデューサなど光音響波を検出できるものであれば、どのような音響波検出器を用いてもよい。
信号処理装置190には典型的にはワークステーションなどが用いられ、画像再構成処理などがあらかじめプログラミングされたソフトウェアにより行われる。
表示装置180は、信号処理装置190から出力される光学特性情報を表示する装置であり、典型的には液晶ディスプレイなどが利用される。なお、本発明の被検体情報取得装置とは別に提供されていてもよい。
部材は、被検体120の外部に設けられた部材である。前述したように、ここで、被検体の外部に設けられた部材は、被検体と音響波検出素子との間に設けられた部材や被検体の周囲に設けられた部材などを含む。
被検体を模したファントム720としては、水槽などに入れられた水が簡便で好ましいが、生体同様に音響波を伝搬できればどのようなものを用いてもかまわない。また、イントラリピッドやインクなどを混ぜて、光学定数を生体に近づけてもよい。
光吸収体721としては、例えば、光ファイバの出射部である先端を着色したものや、光を吸収するシートなどを用いることができる。
Claims (17)
- 被検体に光が照射されることにより発生した光音響波を検出することにより得られる信号を取得する第1の取得手段と、
前記信号に対して、前記被検体の外部に配置された部材に由来する光音響波の反射を考慮した繰り返し再構成を行うことにより被検体情報を取得する第2の取得手段と、
を有することを特徴とする処理装置。 - 前記第2の取得手段は、
前記部材に由来する光音響波の反射を考慮した、光音響波から信号へ変換を表すモデル行列を取得し、
前記信号及び前記モデル行列を用いた前記繰り返し再構成を行うことにより、前記被検体情報を取得する
ことを特徴とする請求項1に記載の処理装置。 - 前記第2の取得手段は、前記反射として前記部材内での光音響波の多重反射を考慮した前記繰り返し再構成を行うことにより、前記被検体情報を取得する
ことを特徴とする請求項1または2に記載の処理装置。 - 前記第2の取得手段は、光音響波を検出することにより前記信号を出力する探触子と前記被検体との間に配置される前記部材に由来する光音響波の反射を考慮した前記繰り返し再構成を行うことにより、前記被検体情報を取得する
ことを特徴とする請求項1から3のいずれか1項に記載の処理装置。 - 前記第2の取得手段は、前記部材の音響インピーダンスを決定できる情報を用いて、前記部材に由来する光音響波の反射を考慮した前記繰り返し再構成を行うことにより、前記被検体情報を取得する
ことを特徴とする請求項1から4のいずれか1項に記載の処理装置。 - 前記第2の取得手段は、光音響波を検出することにより前記信号を出力する探触子の位置と、前記光音響波の発生位置と、前記部材の形状、前記部材の音響インピーダンスを決定できる情報と、前記部材内での光音響波の減衰係数とを示す情報を用いて、前記部材に由来する光音響波の反射を考慮した前記繰り返し再構成を行う
ことを特徴とする請求項1から4のいずれか1項に記載の処理装置。 - 前記部材の音響インピーダンスを決定できる情報は、前記部材の密度及び前記部材内での音速である
ことを特徴とする請求項5または6に記載の処理装置。 - 前記第2の取得手段は、仮定した光学特性情報を設定し、
前記信号、前記モデル行列、および前記仮定した光学特性情報を用いた最小二乗法により、前記被検体情報を取得する
ことを特徴とする請求項2に記載の処理装置。 - 光音響波が外部からの影響を受けないと仮定した場合の光音響波から信号への変換を表す第1の行列と、前記部材に由来した光音響波の反射を表す第2の行列とを保存する記憶手段を更に有し、
前記第2の取得手段は、前記記憶手段に保存された前記第1の行列と前記第2の行列とをコンボリューションすることにより、前記モデル行列を取得することを特徴とする請求項2または8に記載の処理装置。 - 前記第2の取得手段は、仮想光音響波を発生させる仮想音源の位置と、前記仮想光音響波を検出する仮想探触子の位置と、仮想被検体の外部に配置される仮想部材の位置と、を設定し、
前記仮想光音響波を前記仮想探触子が検出したときに得られる仮想検出信号を用いて、前記モデル行列を取得することを特徴とする請求項2または8に記載の処理装置。 - 前記部材および前記探触子の位置を示す情報を取得する第3の取得手段を更に有し、
前記第2の取得手段は、前記位置を示す情報に基づいて、前記仮想部材および前記仮想探触子の位置を設定することを特徴とする請求項10に記載の処理装置。 - 前記第2の取得手段は、外部に部材が配置されたファントムに光が照射されることにより発生した光音響波を検出することに得られた信号に基づいて、前記モデル行列を取得することを特徴とする請求項2または8に記載の処理装置。
- 被検体に光が照射されることにより発生した光音響波を検出することにより得られる信号を取得する第1の取得手段と、
前記信号を用いて被検体情報を取得する第2の取得手段と、
を有し、
前記第2の取得手段は、
前記被検体の外部に配置された部材に由来する反射を考慮した、光音響波から信号へ変換を表すモデル行列を取得し、
行列で表された前記信号と前記モデル行列の逆行列または疑似逆行列と掛けることにより、前記被検体情報を取得する
ことを特徴とする処理装置。 - 請求項1から13のいずれか1項に記載の処理装置と、
光を発する光源と、
前記被検体に光が照射されることにより発生した光音響波を検出することにより前記信号を出力する探触子と、
を有することを特徴とする光音響装置。 - 被検体に光が照射されることにより発生した光音響波を検出することにより得られる信号を取得する工程と、
前記信号に対して、前記被検体の外部に配置された部材に由来する光音響波の反射を考慮した繰り返し再構成を行うことにより被検体情報を取得する工程と、を有する
ことを特徴とする処理方法。 - 被検体に光が照射されることにより発生した光音響波を検出することにより得られる信号を取得する工程と、
前記被検体の外部に配置された部材に由来する反射を考慮した、光音響波から信号へ変換を表すモデル行列を取得する工程と、
行列で表された前記信号と前記モデル行列の逆行列または疑似逆行列とを掛けることにより、被検体情報を取得する工程と、
を有することを特徴とする処理方法。 - コンピュータに、請求項15または16に記載の処理方法を実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013050556A JP6168802B2 (ja) | 2012-04-12 | 2013-03-13 | 処理装置、処理方法、及びプログラム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012091280 | 2012-04-12 | ||
JP2012091280 | 2012-04-12 | ||
JP2013050556A JP6168802B2 (ja) | 2012-04-12 | 2013-03-13 | 処理装置、処理方法、及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013233414A JP2013233414A (ja) | 2013-11-21 |
JP2013233414A5 JP2013233414A5 (ja) | 2016-04-28 |
JP6168802B2 true JP6168802B2 (ja) | 2017-07-26 |
Family
ID=48428580
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013050556A Active JP6168802B2 (ja) | 2012-04-12 | 2013-03-13 | 処理装置、処理方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US9594060B2 (ja) |
JP (1) | JP6168802B2 (ja) |
WO (1) | WO2013154116A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6168802B2 (ja) * | 2012-04-12 | 2017-07-26 | キヤノン株式会社 | 処理装置、処理方法、及びプログラム |
JP6391249B2 (ja) * | 2014-02-10 | 2018-09-19 | キヤノン株式会社 | 被検体情報取得装置および信号処理方法 |
JP6366356B2 (ja) * | 2014-05-14 | 2018-08-01 | キヤノン株式会社 | 光音響装置、信号処理方法、及びプログラム |
JP2016022253A (ja) * | 2014-07-23 | 2016-02-08 | キヤノン株式会社 | 被検体情報取得装置の校正用ファントムおよびその製造方法 |
CN104586363B (zh) * | 2015-01-14 | 2017-11-10 | 复旦大学 | 基于图像块稀疏系数的快速光声成像图像重建方法 |
FR3084166B1 (fr) * | 2018-07-19 | 2020-10-16 | Centre Nat Rech Scient | Procedes et systemes de caracterisation ultrasonore non invasive d'un milieu heterogene |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2444078A (en) * | 2006-11-24 | 2008-05-28 | Ucl Business Plc | Ultrasonic sensor which detects direct and reflected signals emanating from sample being imaged |
US20100208965A1 (en) * | 2007-07-17 | 2010-08-19 | University Of Florida Research Foundation, Inc. | Method and Apparatus for Tomographic Imaging of Absolute Optical Absorption Coefficient in Turbid Media Using Combined Photoacoustic and Diffusing Light Measurements |
US8203911B2 (en) * | 2007-10-23 | 2012-06-19 | Kevin Kremeyer | Acoustic and optical illumination technique for underwater characterization of objects/environment |
JP4900979B2 (ja) * | 2008-08-27 | 2012-03-21 | キヤノン株式会社 | 光音響装置および光音響波を受信するための探触子 |
JP5641723B2 (ja) * | 2008-12-25 | 2014-12-17 | キヤノン株式会社 | 被検体情報取得装置 |
JP5489624B2 (ja) * | 2009-10-01 | 2014-05-14 | キヤノン株式会社 | 測定装置 |
JP5451414B2 (ja) * | 2010-01-18 | 2014-03-26 | キヤノン株式会社 | 被検体情報処理装置および被検体情報処理方法 |
JP5441781B2 (ja) | 2010-03-25 | 2014-03-12 | キヤノン株式会社 | 光音響イメージング装置、光音響イメージング方法及びプログラム |
JP5761935B2 (ja) * | 2010-07-22 | 2015-08-12 | キヤノン株式会社 | 被検体情報取得装置、被検体情報取得方法および被検体情報取得プログラム |
JP6168802B2 (ja) * | 2012-04-12 | 2017-07-26 | キヤノン株式会社 | 処理装置、処理方法、及びプログラム |
-
2013
- 2013-03-13 JP JP2013050556A patent/JP6168802B2/ja active Active
- 2013-04-03 US US14/390,319 patent/US9594060B2/en active Active
- 2013-04-03 WO PCT/JP2013/060767 patent/WO2013154116A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2013154116A1 (en) | 2013-10-17 |
US9594060B2 (en) | 2017-03-14 |
US20150049581A1 (en) | 2015-02-19 |
JP2013233414A (ja) | 2013-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5837115B2 (ja) | 被検体情報取得装置 | |
JP5783779B2 (ja) | 被検体情報取得装置及び被検体情報取得方法 | |
JP5675142B2 (ja) | 被検体情報取得装置、被検体情報取得方法、および被検体情報取得方法を実行するためのプログラム | |
JP5777358B2 (ja) | 被検体情報取得装置及び信号処理方法 | |
JP5586977B2 (ja) | 被検体情報取得装置及び被検体情報取得方法 | |
JP6168802B2 (ja) | 処理装置、処理方法、及びプログラム | |
JP2010088627A5 (ja) | ||
JP2010088627A (ja) | 生体情報処理装置および生体情報処理方法 | |
JP6238539B2 (ja) | 処理装置、被検体情報取得装置、および、処理方法 | |
JP5773578B2 (ja) | 被検体情報取得装置、被検体情報取得装置の制御方法およびプログラム | |
JP2011005042A (ja) | 光音響イメージング装置及び光音響イメージング方法 | |
US9883807B2 (en) | Object information acquiring apparatus and control method therefor | |
RU2602718C2 (ru) | Устройство для получения информации о субъекте и способ получения информации в отношении субъекта | |
JP2013255585A (ja) | 被検体情報取得装置、および、光音響プローブ | |
JP2013055988A (ja) | 被検体情報取得装置及び被検体情報取得方法 | |
JP2017164198A (ja) | 情報処理システムおよび表示制御方法 | |
JP6238736B2 (ja) | 光音響装置、信号処理方法、およびプログラム | |
JP2017113095A (ja) | 光音響装置、情報取得装置、情報取得方法、およびプログラム | |
EP3142543B1 (en) | Photoacoustic apparatus | |
JP2017060771A (ja) | 光音響装置、情報処理方法、プログラム | |
JP2013188489A (ja) | 被検体情報処理装置およびその作動方法 | |
JP6016881B2 (ja) | 光音響イメージング装置、光音響イメージング方法および光音響イメージング方法を実行するためのプログラム | |
JP2017012692A (ja) | 光音響装置、情報取得装置、情報取得方法、およびプログラム | |
JP2017094169A (ja) | 被検体情報取得装置及び被検体情報取得方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160311 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160311 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170314 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170512 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170530 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170627 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6168802 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |