JP2014050457A - 画像処理装置及び領域抽出方法 - Google Patents
画像処理装置及び領域抽出方法 Download PDFInfo
- Publication number
- JP2014050457A JP2014050457A JP2012195199A JP2012195199A JP2014050457A JP 2014050457 A JP2014050457 A JP 2014050457A JP 2012195199 A JP2012195199 A JP 2012195199A JP 2012195199 A JP2012195199 A JP 2012195199A JP 2014050457 A JP2014050457 A JP 2014050457A
- Authority
- JP
- Japan
- Prior art keywords
- image
- region
- sampling line
- area
- sampling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 193
- 238000005070 sampling Methods 0.000 claims abstract description 240
- 238000012545 processing Methods 0.000 claims abstract description 95
- 239000000284 extract Substances 0.000 claims abstract description 9
- 210000000056 organ Anatomy 0.000 claims description 68
- 238000000034 method Methods 0.000 claims description 43
- 238000005520 cutting process Methods 0.000 claims description 35
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 11
- 238000003860 storage Methods 0.000 description 11
- 238000002591 computed tomography Methods 0.000 description 8
- 238000012217 deletion Methods 0.000 description 5
- 230000037430 deletion Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 210000004185 liver Anatomy 0.000 description 5
- 210000000496 pancreas Anatomy 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 230000003187 abdominal effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 210000004003 subcutaneous fat Anatomy 0.000 description 1
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
Abstract
【解決手段】操作者がマウス等の操作によって2次元画像上に線(サンプリング線)を描画すると、画像処理装置100はサンプリング線の位置における複数画素の画素値をサンプリングし、サンプリングデータに基づいて領域抽出条件を算出し、算出した領域抽出条件に基づいて画像から特定領域を抽出する。また、複数スライスからなる断層像群を連続的に処理する場合は、ある断層像で抽出された領域内の代表点を結んで得た代表曲線を、次のスライスの断層像の対応する領域におけるサンプリング線として設定し、サンプリング線に基づく領域抽出を行う。
【選択図】図3
Description
まず、図1を参照して、本発明の画像処理装置100を適用した画像処理システム1の構成について説明する。
画像処理装置100は、図1に示すように、CPU(Central Processing Unit)101、主メモリ102、記憶装置103、通信インタフェース(通信I/F)104、表示メモリ105、マウス108等の外部機器とのインタフェース(I/F)106を備え、各部はバス113を介して接続されている。
サンプリング線とは、画素値のサンプリングを行う位置を点でなく線で指定するために設定される直線または曲線である。すなわち、後述する領域抽出処理では、CPU101は2次元画像上に設定された上述のサンプリング線の位置にある複数の画素の画素値をサンプリングし、サンプリングした画素値(以下、サンプリングデータという)に基づいて、領域の抽出条件を算出する。領域の抽出条件とは、二値化処理、或いは領域拡張の際に用いる濃度値の閾値範囲条件等である。
サンプリング線の設定、領域抽出条件の算出、及び領域抽出の詳細については後述する。
I/F106は、周辺機器を接続させるためのポートであり、周辺機器とのデータの送受信を行う。例えば、マウス108やスタイラスペン等のポインティングデバイスをI/F106を介して接続させるようにしてもよい。
画像処理装置100のCPU101は、主メモリ102から図2の領域抽出処理に関するプログラム及びデータを読み出し、このプログラム及びデータに基づいて処理を実行する。
処理対象とする画像データは、例えば、対象領域を異なるスライス位置で断続的に撮影した一連の断層像群とする。例えば、図3に示すように腹部の断層像群が処理対象の画像データとして読み込まれるものとする。また、画像データの好適な例として、CT画像、またはMR画像等が挙げられる。なお、対象領域は腹部に限定されるものではなく、他の部位としてもよい。
なお、後述するステップS104の領域抽出処理では、その抽出手法として、画像全体を二値化した後に特定の領域を残す方法と、領域拡張法(リージョングローイング法)を用い、サンプリング線上の複数点を始点として領域拡張し、二値化画像または多値化画像を生成する方法とのいずれの方法を用いてもよい。
具体例としては、以下の式(1)、(2)から閾値t1、t2を求める。t1は閾値範囲の下限値であり、t2は上限値である。
t1=平均値−標準偏差×R1 ・・・ (2)
t1=最小値−標準偏差×R1 ・・・ (4)
このようにサンプリング線毎に領域抽出条件を決定することで、サンプリング線が描画された位置の画素値に基づいて領域抽出条件が算出され、画素値の差が微差である複数の領域を、それぞれきめ細かい領域抽出条件で精度よく抽出できるようになる。また、まったく異なる画素値を示す複数の臓器を一度の操作で抽出できるようになる。
図3(a)に示すように、サンプリング線22がマウス等によって描画されると、CPU101は、サンプリング線22が描画された画素の画素値をサンプリングし、サンプリングデータから、上述の式(1)、(2)または式(3)、(4)に基づいて、領域抽出条件を算出する。
また、領域抽出条件に基づいて画像全体が図3(b)に示すように二値化され、その後、二値化により分割された各領域のうち、サンプリング線を最も多く含む領域が抽出される。CPU101は、抽出した領域を示す領域抽出曲線24を元の画像21上に重ねて描画する。
図4(a)は処理対象とする画像31にサンプリング線32が描画された状態、図4(b)は図2のステップS103の処理によって二値化された画像33及び抽出領域34を示す図、図4(c)は切断線30によって不要な領域を削除した後に残った領域35を元の画像31に重ねて描画した図である。
図5のフローチャートに示すように、まずCPU101は、操作者に切断線30(図4(c)参照)を描画させる(ステップS201)。切断線30とは、抽出されている領域を分割する位置を指定するための曲線または直線である。なお切断線30とサンプリング線32とはCPU101が区別できるように入力する必要がある。このため、例えば、サンプリング線32は、マウス108の左ボタンを押しながらドラッグ、切断線30はマウス108の右ボタンを押しながらドラッグ、のように、描画方法によって区別してもよい。或いは、キーボードの特定のキーを押しながら線を描画することによりサンプリング線32と切断線30とを区別するようにしてもよい。または、操作画面40(図6参照)でサンプリング線32または切断線30のいずれを入力するかを予め指定した上で、線を描画するようにしてもよい。或いは、便宜的に、1本目に入力させた線はサンプリング線32、2本目以降に入力させた線は切断線30であるとして処理を行うコンピュータプログラムを作成してもよい。
(a)前の画像において抽出された領域に対応する領域を一方向(x方向またはy方向)に走る複数の線分の集合とした場合、各線分の中点を通る1本の曲線、
(b)前の画像において抽出された領域に対応する領域を一方向(x方向またはy方向)に走る複数の線分の集合とした場合、各線分をN等分する(N−1)点をそれぞれ通る(N−1)本の曲線、
(c)前の画像において抽出された領域に対応する領域内にランダムに配置された2点以上の点を滑らかに結んだ曲線、
のいずれかとすればよい。
(a)、(c)の場合は、1本のサンプリング線が新たに設定され、(b)の場合は(N−1)本のサンプリング線が新たに設定される。
図5のステップS206において、終了ボタンが押下されると(ステップS206;Yes)、処理を終了する。
また、ステップS201〜ステップS202のように、領域抽出後に、操作者が入力する任意の切断線を用いて不要な領域を削除するステップを設けることにより、連続した断層像を自動で処理する場合にも、不要な領域が次スライスの画像に伝搬し、不要領域が徐々に拡大してしまうという不具合を減らすことができる。
領域抽出処理において画像処理装置100は、例えば、図6に示すような操作画面40を表示装置107に表示する。
操作画面40には、画像表示エリア41、サンプリング線ボタン42、削除ボタン43、追加ボタン44、抽出ボタン45、終了ボタン46、画像更新ボタン(戻りボタン47、送りボタン48)、モード選択ラジオボタン49、50(複数臓器抽出モード、一臓器抽出モード)等の各種ボタンと、閾値を算出する際のパラメータR1、R2を入力する各パラメータ入力欄51、52等が設けられる。
終了ボタン46は、操作画面40を閉じ、領域抽出処理を終了する際に操作されるボタンである。
操作画面40の画像表示エリア41には、操作者が選択した断層像のうち1枚目の断層像が表示されているものとする(ステップS301)。
サンプリング線ボタン42が押下されると(ステップS302;Yes)、CPU101は、描画ツールを起動する。すなわち、マウス108によって画像表示エリア41内の画像上に任意のサンプリング線を描画できる状態とする(ステップS303)。
追加ボタン44が押下されると(ステップS308;Yes)、CPU101は、描画ツールを起動する。すなわち、マウスによって画像表示エリア41内の画像上に追加のサンプリング線を描画できる状態とする(ステップS309)。
画像更新ボタン(戻りボタン47、送りボタン48)が押下されると(ステップS310;Yes)、CPU101は画像表示エリア41に表示する画像を更新表示する(ステップS311)。すなわち、送りボタン48が操作されると、一連の断層像のうち、次スライスの断層像を表示し、戻りボタン47が操作されると、一連の断層像のうち、前のスライスの断層像を表示する。
終了ボタン46が押下されると(ステップS312)、CPU101は、操作画面40を閉じ、領域抽出処理を終了する。
このように、領域抽出条件を決定するためのサンプリングデータを、抽出しようとする領域の一部から線の情報(すなわち、複数点の情報)として取得する。このため、抽出しようとする領域毎に適切な領域抽出条件を設定することができる。これにより領域抽出の精度が向上する。
また、連続した断層像を処理する場合に、ある断層像における抽出領域から所定の代表曲線を算出し、算出した代表曲線を次スライスの断層像のサンプリング線として用いることができるため、連続する断層像を自動で処理できるようになる。このため、各画像に対してそれぞれサンプリング線を入力する必要がなく、短時間に処理できるようになる。
次に、複数のサンプリング線が入力された場合の処理について説明する。
すなわち、
(a)複数のサンプリング線を用いて複数の臓器をそれぞれ別の臓器領域として抽出する「複数臓器抽出モード」、
(b)複数のサンプリング線を用いて一つの臓器を抽出する「一臓器抽出モード」、
を設ける。一臓器抽出モードは、臓器領域内の濃度値分布が複雑で一つの領域抽出条件(サンプリング線)では抽出しにくい場合等に使用される。
図10に示すように、拡張領域メモリ55には、各サンプリング線の描画された画素位置(X座標とY座標)と、後の領域拡張処理(ステップS406)で抽出された画素位置が格納される。例えば、図10に示す拡張領域メモリ55の1行目に示すように、まず第1曲線(始めに処理するサンプリング線)が描画された画素の座標が格納される。サンプリング線が描画された画素の座標が(X11、Y11)、(X21、Y21)、(X31、Y31)の場合は、(X11、Y11、X21、Y21、X31、Y31)のように画素位置情報が格納される。
なお、領域拡張処理の始点とする点は、必ずしもサンプリング線上のすべての点としなくてもよく、M点(Mは正整数)おきとしてもよい。
CPU101は、次に処理するサンプリング線を指定する(ステップS408)。
すなわち、CPU101は、2番目に処理するサンプリング線(第2曲線)を指定し、第2曲線とその近傍の位置における画素値をサンプリングし、サンプリングデータに基づいて領域抽出条件を算出し、第2曲線の各点(またはM点おき)を始点として領域拡張処理を実行する。第2曲線により抽出された画素には「2」の曲線番号が記録される。また、図10に示すように、拡張領域メモリ55の第2曲線の記憶領域(2行目)には、第2曲線によって抽出された画素の位置が格納される。
複数臓器抽出モードが選択されている場合(ステップS410;No)は、図5の抽出領域削除処理へ進む。2本のサンプリング線から拡張された各領域は、それぞれ別の臓器領域として抽出された状態である。
その後、図5の抽出領域切断処理へ移行する。2本のサンプリング線から拡張された各領域は、同一の臓器領域として抽出されたこととなる。
このように、臓器内の画素値分布が複雑な場合は、複数のサンプリング線を設定して細かく領域抽出条件を設定して領域抽出できる。更に、抽出領域を結合することができる。
次の第3の実施の形態に係る画像処理装置100について説明する。
第3の実施の形態に係る画像処理装置100は、サンプリング線の長さや形状に応じてサンプリングする範囲を変更し、これにより、領域抽出の精度を更に向上させるものである。
サンプリング線の始点から終点までの距離が所定値より大きい場合は(ステップS512;Yes)、ステップS509の処理へ進み、サンプリング線上の各画素から画素値をサンプリングし、サンプリングデータに基づいて領域抽出条件を算出し、サンプリング線上の任意の1点以上の点を始点として領域拡張処理を実行する(ステップS509〜ステップS511)。
図14(a)は、サンプリング線の広がりの最大距離が、始点から終点までの距離と等しい例を示している。この場合は、ステップS508では、「No」と判定され、ステップS509〜ステップS511の処理を行う。
CPU101は、次に処理するサンプリング線を指定する(ステップS517)。
すなわち、CPU101は、2番目に処理するサンプリング線(第2曲線)を指定し、第2曲線の点の数やサンプリング線の広がりや形状から、サンプリングする画素を決定し、決定した画素の画素値をサンプリングし、サンプリングデータに基づいて拡張条件を算出して、領域拡張処理を実行する。
すべてのサンプリング線について処理が終了した場合は(ステップS518;Yes)、図5の抽出領域削除処理へ移行する。
したがって、描画したサンプリング線のみならず、周辺の画素値も参照して領域抽出条件を算出することができるため、領域抽出の精度が向上する。特に閉曲線に近い形状がサンプリング線として描画された場合には、描画された線から閉曲線を自動生成して内部の画素値データに基づいて領域拡張条件を算出する。このため、簡単な操作でサンプリング点数を増やすことができる。
100・・・・・画像処理装置
101・・・・・CPU
102・・・・・主メモリ
103・・・・・記憶装置
104・・・・・通信I/F
105・・・・・表示メモリ
106・・・・・I/F
107・・・・・表示装置
108・・・・・マウス
109・・・・・入力装置
110・・・・・ネットワーク
111・・・・・画像データベース
113・・・・・画像撮影装置
22、32、61、62、71、72・・・・・・サンプリング線
23・・・・・・二値化画像
24、34、35、63、64、73、74・・・・・・抽出領域
30・・・・・・切断線
40・・・・・・操作画面
49、50・・・モード選択ラジオボタン
55・・・・・・拡張領域メモリ
Claims (13)
- 画像上に任意のサンプリング線を設定するサンプリング線設定手段と、
前記サンプリング線設定手段により設定されたサンプリング線の位置における前記画像の複数の画素値に基づいて領域抽出条件を設定する領域抽出条件設定手段と、
前記領域抽出条件設定手段により設定された領域抽出条件に基づいて前記画像から特定領域を抽出する領域抽出手段と、
を備えることを特徴とする画像処理装置。 - 前記領域抽出条件は、前記画像を二値化するための閾値であり、
前記領域抽出手段は、前記閾値に基づいて前記画像を二値化し、二値化した画像のうち、前記サンプリング線の割合が大きい領域を前記特定領域として抽出することを特徴とする請求項1に記載の画像処理装置。 - 前記領域抽出条件は、前記画像を複数の領域に区分するための多値化条件であり、
前記領域抽出手段は、前記多値化条件に基づいて前記サンプリング線を領域拡張することにより、前記特定領域を複数抽出することを特徴とする請求項1に記載の画像処理装置。 - 前記領域抽出条件設定手段は、
前記サンプリング線の位置における複数の画素の画素値をサンプリングし、サンプリングした画素値の平均値、標準偏差値、及び所定の係数に基づいて前記領域抽出条件を決定することを特徴とする請求項1から請求項3のいずれかに記載の画像処理装置。 - 前記画像が連続するスライスの断層像群のうちの1つの断層像である場合、
前記サンプリング線設定手段は、前記領域抽出手段により抽出された特定領域に基づいて、算出した代表曲線を前記次スライスの断層像についてのサンプリング線とすることを特徴とする請求項1から請求項4のいずれかに記載の画像処理装置。 - 前記代表曲線は、
前記領域抽出手段により抽出された特定領域を、一方向に走る複数の線分の集合とした場合、各線分の中点を通る曲線、または各線分をN等分する(N−1)点をそれぞれ通る(N−1)本の曲線、或いは、前記特定領域内に含まれる任意の複数点を滑らかに結ぶ曲線のいずれかであることを特徴とすることを特徴とする請求項5に記載の画像処理装置。 - 前記画像を表示する表示手段と、
前記表示手段により表示されている画像上に、任意の直線または曲線を入力する入力手段と、を更に備え、
前記サンプリング線設定手段は、前記入力手段により入力された直線または曲線を前記サンプリング線とすることを特徴とする請求項1から請求項4のいずれかに記載の画像処理装置。 - 前記領域抽出手段により抽出された特定領域を複数に分割するための切断線を入力する切断線入力手段と、
前記切断線入力手段により入力された切断線により分割された各分割領域のうち、前記サンプリング線を含む割合が、最も大きい分割領域または所定の値より大きい分割領域を前記特定領域として抽出し、他の分割領域を削除する分割領域削除手段と、
を更に備えることを特徴とする請求項1から請求項7のいずれかに記載の画像処理装置。 - 前記サンプリング線が複数である場合に、一臓器抽出モードまたは複数臓器抽出モードのいずれかを選択するモード選択手段を更に備え、
前記領域抽出手段は、
一臓器抽出モードが選択されている場合は、前記領域抽出条件に基づいて抽出した複数の特定領域を、結合して1つの臓器領域として抽出することを特徴とする請求項1から請求項8のいずれかに記載の画像処理装置。 - 前記サンプリング線が複数である場合に、一臓器抽出モードまたは複数臓器抽出モードのいずれかを選択するモード選択手段を更に備え、
前記領域抽出手段は、
複数臓器抽出モードが選択されている場合は、前記領域抽出条件に基づいて抽出した複数の特定領域を、別の臓器領域として抽出することを特徴とする請求項1から請求項9のいずれかに記載の画像処理装置。 - 前記領域抽出条件設定手段は、
前記サンプリング線上の画素数が所定の画素数より少ない場合は、
前記サンプリング線の位置と近傍の画素とを含む複数の画素の画素値をサンプリングし、サンプリングした画素値に基づいて前記領域抽出条件を算出することを特徴とする請求項1から請求項10のいずれかに記載の画像処理装置。 - 前記領域抽出条件設定手段は、前記サンプリング線設定手段により設定されたサンプリング線の広がりの最大値と、前記サンプリング線の始点から終点までの距離とを比較し、前記サンプリング線の広がりの最大値の方が大きい場合であって、かつ前記サンプリング線の始点から終点までの距離が所定値以下である場合は、前記サンプリング線の始点と終点とを結んで得られる閉曲線の内部の各点の画素値をサンプリングし、サンプリングした画素値に基づいて前記領域抽出条件を算出することを特徴とする請求項1から請求項10のいずれかに記載の画像処理装置。
- コンピュータを用いて、画像から特定領域を抽出する領域抽出方法であって、
コンピュータを用いて画像上に任意のサンプリング線を設定するサンプリング線設定ステップと、
コンピュータが、前記サンプリング線の位置における前記画像の複数の画素値に基づいて領域抽出条件を設定する領域抽出条件設定ステップと、
コンピュータが、前記領域抽出条件に基づいて前記画像から特定領域を抽出する領域抽出ステップと、
を含むことを特徴とする領域抽出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012195199A JP6068883B2 (ja) | 2012-09-05 | 2012-09-05 | 画像処理装置及び領域抽出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012195199A JP6068883B2 (ja) | 2012-09-05 | 2012-09-05 | 画像処理装置及び領域抽出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014050457A true JP2014050457A (ja) | 2014-03-20 |
JP6068883B2 JP6068883B2 (ja) | 2017-01-25 |
Family
ID=50609539
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012195199A Active JP6068883B2 (ja) | 2012-09-05 | 2012-09-05 | 画像処理装置及び領域抽出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6068883B2 (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000172829A (ja) * | 1998-12-07 | 2000-06-23 | Hitachi Ltd | 領域抽出手法 |
-
2012
- 2012-09-05 JP JP2012195199A patent/JP6068883B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000172829A (ja) * | 1998-12-07 | 2000-06-23 | Hitachi Ltd | 領域抽出手法 |
Also Published As
Publication number | Publication date |
---|---|
JP6068883B2 (ja) | 2017-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6722857B2 (ja) | 制御方法及びプログラム | |
JP6960612B2 (ja) | 制御方法及びプログラム | |
US10222954B2 (en) | Image display apparatus, display control apparatus and display control method using thumbnail images | |
US8929627B2 (en) | Examination information display device and method | |
US8170328B2 (en) | Image display method, apparatus, and program | |
EP2695138B1 (en) | Measurement system for medical images | |
JP6353827B2 (ja) | 画像処理装置 | |
US10930385B2 (en) | Report generation support apparatus and report reading apparatus | |
US10181187B2 (en) | Information processing apparatus, method thereof, information processing system, and computer-readable storage medium that display a medical image with comment information | |
JP2017051591A (ja) | 情報処理装置及びその方法、情報処理システム、コンピュータプログラム | |
CN106557648B (zh) | 信息处理装置、信息处理方法及信息处理*** | |
JP6407718B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2010162340A (ja) | 画像処理装置および方法並びにプログラム | |
US9443303B2 (en) | Image display of a centerline of tubular structure | |
JP2009000153A (ja) | 画像診断支援装置、方法及びプログラム | |
JP2010042065A (ja) | 医用画像処理装置、処理方法 | |
US20080300482A1 (en) | Method and a System for Interactive Probing and Annotating Medical Images Using Profile Flags | |
JP2012230528A (ja) | 画像処理装置および画像処理装置の制御方法 | |
JP6440386B2 (ja) | 情報処理装置及びプログラム | |
JP2018077667A (ja) | 画像処理装置、画像処理方法、画像処理システム及びプログラム | |
JP6327966B2 (ja) | 医用画像表示装置、表示制御装置および表示制御方法、プログラム | |
US20130332868A1 (en) | Facilitating user-interactive navigation of medical image data | |
JP6068883B2 (ja) | 画像処理装置及び領域抽出方法 | |
JP7332362B2 (ja) | 医用画像処理装置、医用画像処理システム、及び、医用画像処理方法 | |
JP6797858B2 (ja) | 医用画像表示装置、表示制御装置および表示制御方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150807 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20160509 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160624 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160628 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160822 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161226 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6068883 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |