JP5829008B2 - 超音波診断装置 - Google Patents

超音波診断装置 Download PDF

Info

Publication number
JP5829008B2
JP5829008B2 JP2010099576A JP2010099576A JP5829008B2 JP 5829008 B2 JP5829008 B2 JP 5829008B2 JP 2010099576 A JP2010099576 A JP 2010099576A JP 2010099576 A JP2010099576 A JP 2010099576A JP 5829008 B2 JP5829008 B2 JP 5829008B2
Authority
JP
Japan
Prior art keywords
data
ultrasonic
processing
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010099576A
Other languages
English (en)
Other versions
JP2011229547A (ja
Inventor
晴二 船矢
晴二 船矢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GE Medical Systems Global Technology Co LLC
Original Assignee
GE Medical Systems Global Technology Co LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GE Medical Systems Global Technology Co LLC filed Critical GE Medical Systems Global Technology Co LLC
Priority to JP2010099576A priority Critical patent/JP5829008B2/ja
Publication of JP2011229547A publication Critical patent/JP2011229547A/ja
Application granted granted Critical
Publication of JP5829008B2 publication Critical patent/JP5829008B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Ultra Sonic Daignosis Equipment (AREA)

Description

本発明は、複数フレーム分のエコーデータの位置合わせを行なう超音波診断装置に関する。
超音波診断装置では、被検体の体表面に超音波プローブを当接して被検体内に超音波を送信し、得られたエコーデータに基づいて超音波画像を作成する。このような超音波診断装置において、複数のフレームデータにおける対応する画素のエコーデータについて所定のデータ処理を行なって得られたデータに基づく超音波画像を表示する場合がある。例えば、特許文献1には、被検体の同一位置における異なる時相の二つの画像データを合成して得られた超音波画像を表示する超音波診断装置が開示されている。
ところで、超音波の送受信を行なっている間に超音波プローブの位置がずれて各フレームデータの取得位置が異なる場合もある。従って、上述のように複数のフレームデータにおける対応画素のエコーデータについて所定のデータ処理を行なって超音波画像を作成するにあたっては、複数のフレームデータの位置合わせを行って対応画素を特定する必要がある。位置合わせの手法としては、例えば特許文献2、3などに開示されているように、二つのフレームデータから作成される画像データの相関を求めて移動量を求める手法がある(マッチング)。
特開2009−183360号公報 特開2004−351039号公報 特開2008−125692号公報
しかし、画像データの相関を求めて位置合わせをする手法では、ずれが大きすぎる場合には、演算量が多くなり、また正確な位置合わせが困難となっていた。
上述の課題を解決するためになされた第1の観点の発明は、被検体に対して超音波を送信してエコーを受信する超音波プローブと、該超音波プローブの位置を検出するための位置センサと、該位置センサの検出情報に基づいて、エコーデータの位置を算出する位置算出部と、前記エコーデータの位置情報と複数フレーム分のエコーデータの相関とに基づいて、複数フレーム分のエコーデータの位置合わせ処理を行なう位置合わせ処理部と、を備えることを特徴とする超音波診断装置である。
第2の観点の発明は、第1の観点の発明において、前記位置合わせ処理部による位置合わせ処理後のエコーデータに基づいて超音波画像を作成する画像作成部を備えることを特徴とする超音波診断装置である。
第3の観点の発明は、第2の観点の発明において、前記画像作成部は、前記位置合わせ処理後に複数のフレームデータにおける対応画素のエコーデータについてデータ処理を行なって得られたデータに基づく超音波画像を作成する超音波診断装置である。
第4の観点の発明は、第1〜3のいずれか一の観点の発明において、前記位置合わせ処理部は、前記位置情報を参照して複数フレーム分のエコーデータの相関を演算することによって前記位置合わせ処理を行なうことを特徴とする超音波診断装置である。
第5の観点の発明は、第4の観点の発明において、前記位置合わせ処理部は、前記エコーデータの相関を演算してマッチングを行なうことを特徴とする超音波診断装置である。
第6の観点の発明は、第3〜5のいずれか一の観点の発明において、前記画像作成部は、前記エコーデータを走査変換して超音波画像データを作成するスキャンコンバータを含んで構成されることを特徴とする超音波診断装置である。
第7の観点の発明は、第6の観点の発明において、前記画像作成部は、前記スキャンコンバータによる走査変換前の前記エコーデータについて前記データ処理を行なうことを特徴とする超音波診断装置である。
第8の観点の発明は、第6の観点の発明において、前記画像作成部は、前記スキャンコンバータによる走査変換後の前記超音波画像データについて前記データ処理を行なうことを特徴とする超音波診断装置である。
上記観点の発明によれば、前記超音波プローブの位置情報に基づいて算出されたエコーデータの位置情報と、エコーデータの相関とに基づいて、複数フレーム分のエコーデータの位置合わせ処理を行なうので、少ない演算量でしかも正確な位置合わせを行なうことができる。
本発明に係る超音波診断装置の実施形態の概略構成の一例を示すブロック図である。 図1に示す超音波診断装置における表示制御部の構成を示すブロック図である。 実施形態の超音波診断装置における処理を示すフローチャートである。
以下、本発明の実施形態について、図1〜図3に基づいて詳細に説明する。図1に示す超音波診断装置1は、超音波プローブ2、送受信部3、エコーデータ処理部4、表示制御部5、表示部6、操作部7、制御部8、記憶部9、磁気発生部10及び磁気センサ11を備える。
前記超音波プローブ2は、アレイ状に配置された複数の超音波振動子(図示省略)を有して構成され、この超音波振動子によって被検体に対して超音波を送信し、そのエコー信号を受信する。
前記超音波プローブ2には、磁気検出コイルで構成される前記磁気センサ11が設けられている。この磁気センサ11により、磁気発生コイルで構成される前記磁気発生部10から発生する磁気が検出されるようになっている。前記磁気センサ11における検出信号は、前記表示制御部5へ入力されるようになっている。前記磁気センサ11における検出信号は、図示しないケーブルを介して前記表示制御部5へ入力されてもよいし、無線で前記表示制御部5へ入力されてもよい。前記磁気発生部10及び前記磁気センサ11は、本発明における位置センサの実施の形態の一例である。
前記送受信部3は、前記超音波プローブ2を所定の送信条件で駆動させ、スキャン面を超音波ビームによって音線順次で走査させる。前記送受信部3は前記制御部8からの制御信号によって前記超音波プローブ2を駆動させる。
また、前記送受信部3は、前記超音波プローブ2で得られたエコー信号について、整相加算処理等の信号処理を行ない、信号処理後のエコーデータを前記エコーデータ処理部4へ出力する。
前記エコーデータ処理部4は、前記送受信部3から出力されたエコーデータに対し、対数圧縮処理、包絡線検波処理等の所定の処理を行う。後述するように、造影剤が注入された被検体に対して超音波の送受信を行なう場合、前記所定の処理は、造影剤からのエコー信号を含むデータに基づいて超音波画像を作成するために必要な公知の処理を含む。
前記表示制御部5は、図2に示すように、位置算出部51、位置合わせ処理部52及び画像作成部53を有する。前記位置算出部51は、前記磁気センサ11からの磁気検出信号に基づいて、前記磁気発生部10を原点とする三次元空間における前記超音波プローブ2の位置及び傾きの情報(以下、「プローブ位置情報」と云う)を算出する。さらに、前記位置算出部51は、前記プローブ位置情報に基づいてエコーデータの前記三次元空間における位置情報を算出する。前記位置算出部51は、各画素について位置情報の算出を行なう。前記位置算出部51は、本発明における位置算出部の実施の形態の一例である。
前記位置合わせ処理部52は、前記位置算出部51で得られたエコーデータの位置情報と複数フレーム分のエコーデータの相関とに基づいて、前記複数フレーム分のエコーデータの位置合わせ処理を行なう。詳細は後述する。前記位置合わせ処理部52は、本発明における位置合わせ処理部の実施の形態の一例である。
前記画像作成部53は、スキャンコンバータ(Scan Converter)を含んで構成され、前記エコーデータ処理部4から出力されたエコーデータを前記表示部6に表示される超音波画像データに走査変換する。そして、前記画像作成部53は、この超音波画像データに基づく超音波画像を前記表示部6に表示する。この超音波画像は例えばBモード画像である。
ちなみに、特に図示しないが、本例の超音波診断装置1は、RAM(Random Access Memory)やROM(Read Only Memory)などの半導体メモリ(Memory)を有している。この半導体メモリには、前記エコーデータ処理部4から出力されて前記画像作成部53において前記超音波画像データに変換される前のエコーデータが記憶される。このエコーデータは、前記位置算出部51で得られた位置情報とともに記憶される。前記超音波画像データに変換される前のエコーデータを、ローデータ(Raw Data)と云うものとする。
なお、前記ローデータは、HDD(Hard Disk Drive)などで構成される前記記憶部9に位置情報とともに記憶されるようになっていてもよい。
また、前記画像作成部53は、前記エコーデータ処理部4から出力されたエコーデータについて所定のデータ処理を行なうことによって処理後データを作成する。このデータ処理は、前記位置合わせ処理部52による位置合わせ処理後に行なわれる。処理の詳細については後述する。そして、前記画像作成部53は、前記処理後データを走査変換して超音波画像データを作成し、この超音波画像データに基づく超音波画像を前記表示部6に表示する。前記画像作成部53は、本発明における画像作成部の実施の形態の一例である。
前記表示部6は、LCD(Liquid Crystal Display)やCRT(Cathode Ray Tube)などで構成される。前記操作部7は、操作者が指示や情報を入力するためのキーボード及びポインティングデバイス(図示省略)などを含んで構成されている。
前記制御部8は、CPU(CentRal Processing Unit)を有して構成される。この制御部8は、前記記憶部9に記憶された制御プログラムを読み出し、前記超音波診断装置1の各部における機能を実行させる。
さて、本例の超音波診断装置1の作用について図3のフローチャートに基づいて説明する。ここでは、先ず、ステップS1では、前記超音波プローブ2によって被検体に対して超音波を送信してエコーを受信し、リアルタイムの超音波画像を表示する。本例では、造影剤が注入された被検体に対する超音波の送受信を行なって造影剤からのエコーを含むエコーデータに基づく超音波画像を作成し表示する。
次に、ステップS2では、前記画像作成部53は、データ処理のタイミングであるか否かを判定する。例えば、前記画像作成部53は、前記操作部7においてデータ処理の指示入力があった場合、データ処理のタイミングであると判定する。また、後述するように被検体への造影剤注入後における造影早期相と造影後期相のエコーデータを対象にしてデータ処理を行なう場合、前記画像作成部53は、造影後期相になった時をデータ処理のタイミングであると判定してもよい。なお、データ処理の内容については後述する。
ステップS2においてデータ処理のタイミングではないと判定された場合、ステップS1の処理を繰り返す。一方、ステップS2においてデータ処理のタイミングであると判定された場合、ステップS3の処理へ移行する。
ステップS3では、所定の二フレームのエコーデータについてデータ処理を行ない、得られた処理後データに基づく超音波画像を表示する。データ処理の対象となるフレームのエコーデータを、フレームデータFD1,FD2とする。このフレームデータFD1,FD2は被検体における同一断面のデータである。このフレームデータFD1,FD2は、例えばデータ処理の指示入力がされた時点のフレームデータと、このデータ処理の指示入力がされた時点から予め設定された時間分さかのぼったフレームデータである。また、前記フレームデータFD1,FD2は、造影早期相における所定のフレームデータと造影後期相における所定のフレームデータであってもよい。ただし、これらは一例である。
データ処理について具体的に説明する。本例において、二つのフレームデータFD1,FD2のデータ処理は、二つのフレームデータFD1,FD2における対応画素のエコーデータについてデータ処理を行なうことを意味する。ここで、超音波の送受信を行なっている間に、前記超音波プローブ2の位置がずれて前期フレームデータFD1,FD2の取得位置がずれている場合がある。従って、先ず、二つのフレームデータFD1,FD2の位置合わせ処理を行なう。
二つのフレームデータ(画像)の位置合わせ処理としては、前記特許文献2,3に記載されているように、二つのフレームデータの相関を演算してマッチングを行なう手法が公知である。このマッチングによる手法は、二つのフレームデータの相関を演算してその位置ずれ量(平行移動量と回転移動量)を演算する手法である。
しかし、従来のマッチングによる手法では、前記フレームデータFD1,FD2の取得位置のずれ、すなわち前記磁気発生部10を原点とする座標系における前記フレームデータFD1,FD2の位置ずれが大きいと、演算量が増え、また正確な位置合わせが困難となる。ここで、本例では、前記フレームデータFD1,FD2を構成する各画素のエコーデータは、前記磁気発生部10を原点とする座標系の位置情報を有している。そこで、本例では、フレームデータFD1,FD2を構成する各画素のエコーデータの位置情報を参照して前記フレームデータFD1,FD2の相関を演算し、位置合わせを行なう。すなわち、前記フレームデータFD1,FD2の相関を演算してマッチングを行なう際に、エコーデータの位置情報に基づいて位置ずれ量を求める。このように、前記フレームデータFD1,FD2の相関を演算する際に前記エコーデータの位置情報を参照することによって、演算量を大幅に減らすことができる。
一方、前記エコーデータの位置情報のみを用いて位置合わせを行ないデータ処理を行なうことも考えられる。すなわち、前記エコーデータの位置情報において同一座標のエコーデータについてデータ処理を行なうことも考えられる。しかし、エコーデータの位置情報は、前記磁気センサ11の誤差などが原因で若干不正確な場合がある。そこで、上述のように、エコーデータの位置情報を参照して前記フレームデータFD1,FD2の相関を演算し位置合わせを行なうことにより、正確な位置合わせを行なうことができる。
上述のようにエコーデータの位置情報のみで位置合わせをする手法は、正確な位置合わせができない場合がある。一方、マッチングによる手法のみでは、演算量が多くなる。そこで、エコーデータの位置情報とマッチングによる手法とを用いることにより、互いの欠点を補い合った位置合わせを行なうことができる。すなわち、エコーデータの位置情報を用いることによって二つのフレームデータの位置がほぼ一致し、その上でマッチングを行なうことで、演算量を抑制しつつ正確な位置合わせをおこなうことができる。
位置合わせ処理が終了すると、フレームデータFD1,FD2において対応する画素のエコーデータについてデータ処理を行い処理後データを作成する。データ処理としては、例えば対応する画素のエコーデータについて重み付け加算を行なったり、差分演算を行なったりすることが挙げられる。そして、これら重み付け加算や差分演算などを行なって得られた処理後データに基づいて画像データを作成し、この画像データに基づく超音波画像を表示する。
以上、本発明を前記実施形態によって説明したが、本発明はその主旨を変更しない範囲で種々変更実施可能なことはもちろんである。例えば、上記実施形態では、リアルタイムで、すなわち超音波の送受信を行ないながら超音波画像を表示している場合において、データ処理を行なって得られた超音波画像を表示するようになっているが、リアルタイムではなく、前記記憶部9や前記半導体メモリなどに予め記憶されているエコーデータに基づく超音波画像を表示する場合に、データ処理を行なって得られた超音波画像を表示するようにしてもよい。すなわち、前記記憶部9や半導体メモリに予め記憶されている二つのフレームデータについて位置合わせ処理を行なって前記所定のデータ処理を行ない、超音波画像を作成するようにしてもよい。
また、前記超音波プローブ2によって三次元領域をスキャンして取得されたボリュームデータが位置情報とともに前記記憶部9や前記半導体メモリに予め記憶されている場合において、このボリュームデータにおける所定断面のフレームデータと、前記所定断面についてリアルタイムに取得される二次元のフレームデータとでデータ処理を行なってもよい。
また、データ処理の対象となるフレームデータの数は、上記実施形態のように二つに限られるものではない。また、上記実施形態におけるデータ処理は一例であり、複数のフレームデータを対象にして重み付け加算等のデータ処理を行なうものに限られない。例えば、所定の閾値以上の輝度になった画素について、閾値以上の輝度になっている累積時間の長さに応じて異なる色相を付すデータ処理のように、最新のフレームデータについて色相を付すデータ処理を行なうものであるが、以前のフレームデータとの間で位置合わせが必要となるようなデータ処理を行なう場合にも同様に適用できる。このように、本発明は、複数のフレームデータについて位置合わせを行なう必要があるデータ処理に適用される。
さらに、上記実施形態では、超音波画像データに変換される前のフレームデータ(ローデータ)がデータ処理の対象になっているが、超音波画像データがデータ処理の対象になっていてもよい。すなわち、超音波画像データについて重み付け加算処理や差分演算処理などのデータ処理を行なう場合にも、上述と同様に位置合わせ処理を行なってデータ処理を行なうようにしてもよい。
1 超音波診断装置
2 超音波プローブ
10 磁気発生部
11 磁気センサ
51 位置算出部
52 位置合わせ処理部
53 画像作成部

Claims (5)

  1. 被検体に対して超音波を送信してエコーを受信する超音波プローブと、
    該超音波プローブの位置を検出するための位置センサと、
    該位置センサの検出情報に基づいて、前記超音波プローブによって受信されたエコーに基づくローデータの位置を算出する位置算出部と、
    前記ローデータの位置情報を参照して複数フレーム分のローデータの相関を演算することによって、前記複数フレーム分のローデータの位置合わせ処理を行なう位置合わせ処理部と、
    を備えることを特徴とする超音波診断装置。
  2. 前記位置合わせ処理部による位置合わせ処理後のローデータに基づいて超音波画像を作成する画像作成部を備えることを特徴とする請求項1に記載の超音波診断装置。
  3. 前記画像作成部は、前記位置合わせ処理後に複数のフレームにおける対応画素のローデータについてデータ処理を行なって得られたデータに基づく超音波画像を作成する請求項2に記載の超音波診断装置。
  4. 前記画像作成部は、前記ローデータを走査変換して超音波画像データを作成するスキャンコンバータを含んで構成されることを特徴とする請求項3に記載の超音波診断装置。
  5. 前記画像作成部は、前記スキャンコンバータによる走査変換前の前記ローデータについて前記データ処理を行なうことを特徴とする請求項4に記載の超音波診断装置。
JP2010099576A 2010-04-23 2010-04-23 超音波診断装置 Active JP5829008B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010099576A JP5829008B2 (ja) 2010-04-23 2010-04-23 超音波診断装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010099576A JP5829008B2 (ja) 2010-04-23 2010-04-23 超音波診断装置

Publications (2)

Publication Number Publication Date
JP2011229547A JP2011229547A (ja) 2011-11-17
JP5829008B2 true JP5829008B2 (ja) 2015-12-09

Family

ID=45319539

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010099576A Active JP5829008B2 (ja) 2010-04-23 2010-04-23 超音波診断装置

Country Status (1)

Country Link
JP (1) JP5829008B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5908790B2 (ja) * 2012-05-28 2016-04-26 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 超音波画像表示装置及びその制御プログラム
JP5843748B2 (ja) 2012-12-04 2016-01-13 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 超音波画像表示装置及びその制御プログラム
JP6653544B2 (ja) * 2015-09-25 2020-02-26 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 超音波診断装置及びその制御プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03121058A (ja) * 1989-10-03 1991-05-23 Hitachi Medical Corp 超音波診断装置
JP3702187B2 (ja) * 2001-02-05 2005-10-05 アロカ株式会社 超音波診断装置
JP4179596B2 (ja) * 2002-08-30 2008-11-12 株式会社日立メディコ 超音波診断装置
JP4314069B2 (ja) * 2003-05-30 2009-08-12 アロカ株式会社 超音波診断装置
JP2006255083A (ja) * 2005-03-16 2006-09-28 Ge Medical Systems Global Technology Co Llc 超音波画像生成方法および超音波診断装置
JP5296975B2 (ja) * 2006-11-20 2013-09-25 日立アロカメディカル株式会社 超音波診断装置
RU2468435C2 (ru) * 2007-11-14 2012-11-27 Конинклейке Филипс Электроникс, Н.В. Система и способ количественного трехмерного исследования ceus
US20110144500A1 (en) * 2008-07-22 2011-06-16 Hitachi Medical Corporation Ultrasonic diagnostic apparatus and method for calculating coordinates of scanned surface thereof

Also Published As

Publication number Publication date
JP2011229547A (ja) 2011-11-17

Similar Documents

Publication Publication Date Title
US11439368B2 (en) Acoustic wave processing device, signal processing method for acoustic wave processing device, and program
US20220175343A1 (en) Ultrasonic diagnostic device and ultrasonic image generation method
JP5717543B2 (ja) 超音波診断装置及びその制御プログラム
KR20060100283A (ko) 초음파 화상 생성 방법 및 초음파 진단 장치
JP6307460B2 (ja) 超音波診断装置及びその制御プログラム
US20140031687A1 (en) Ultrasonic diagnostic apparatus
JP2009131420A (ja) 超音波画像診断装置
JP2016022297A (ja) 超音波診断装置及びその制御プログラム
US10722217B2 (en) Ultrasonic diagnostic apparatus and medical image processing apparatus
JP5843748B2 (ja) 超音波画像表示装置及びその制御プログラム
JP5829008B2 (ja) 超音波診断装置
JP2014104246A (ja) 計測装置及びその制御プログラム
JP5663552B2 (ja) 超音波検査装置、超音波検査装置の信号処理方法およびプログラム
JP5820129B2 (ja) 超音波診断装置
JP2014161478A (ja) 超音波診断装置及びその制御プログラム
JP5851971B2 (ja) 計測装置及びその制御プログラム
JP2006296464A (ja) 超音波診断装置
WO2014050889A1 (ja) 超音波検査装置、超音波検査装置の信号処理方法およびプログラム
JP2009011449A (ja) 超音波診断装置
JP5645742B2 (ja) 超音波診断装置及びその制御プログラム
JP6382031B2 (ja) 超音波診断装置及びその制御プログラム
JP5653135B2 (ja) 超音波診断装置及びその制御プログラム
JP5786857B2 (ja) 超音波診断装置
JP5574822B2 (ja) 超音波診断装置及びその制御プログラム
JP6275960B2 (ja) 画像表示装置

Legal Events

Date Code Title Description
A625 Written request for application examination (by other person)

Free format text: JAPANESE INTERMEDIATE CODE: A625

Effective date: 20121228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140728

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20141028

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20141031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150113

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20150609

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20150616

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150929

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151021

R150 Certificate of patent or registration of utility model

Ref document number: 5829008

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250