JP5146145B2 - 画像処理装置、画像処理方法、コンピュータプログラム、及び、情報記録媒体 - Google Patents
画像処理装置、画像処理方法、コンピュータプログラム、及び、情報記録媒体 Download PDFInfo
- Publication number
- JP5146145B2 JP5146145B2 JP2008164766A JP2008164766A JP5146145B2 JP 5146145 B2 JP5146145 B2 JP 5146145B2 JP 2008164766 A JP2008164766 A JP 2008164766A JP 2008164766 A JP2008164766 A JP 2008164766A JP 5146145 B2 JP5146145 B2 JP 5146145B2
- Authority
- JP
- Japan
- Prior art keywords
- display position
- image
- display
- code
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Of Band Width Or Redundancy In Fax (AREA)
Description
〔本発明の実施の形態〕
本発明の実施の形態の説明に先んじて、本発明の理解を容易にするために、従来の画像検索における画像の提示方法とその課題、及び、一のコードストリームで複数の階層の画像品質の復号画像を再生させることができる画像符号化方式について説明する。
現在の画像検索の例として、画像とテキストデータとが対応づけられている場合に、そのテキストデータを検索キーとして、キーワード検索を行うことがある。しかし、画像にテキストデータが対応づけられていない場合や、対応づけられたテキストデータが検索キーに適していない場合には、画像のサムネールが一覧表示された画面から、操作者が目視により所望の画像を探すことがある。
図4から図17は、本実施の形態に係る画像処理装置によって処理される画像データの例、及び、その画像データがサーバから画像処理装置に送信される際の階層構造を説明する図である。図4から図17は、JPEG2000規格及びJPIP規格に基づく説明である。
なお、JPEG2000規格は、2001年に国際標準になった、JPEG後継の画像圧縮伸長方式であり、ISO/IEC15444−1である。
図4は、JPEG2000規格による符号化処理を説明する図である。図4のステップS11では、画像が矩形のタイルに分割される。分割数は、(分割数≧1)である。ステップS11では、さらに、各タイルが、輝度・色差等のコンポ−ネントへ色変換される。
ステップS12に続いてステップS13に進み、サブバンド毎に量子化が行われる。なお、ステップS13の量子化は省略されてもよい。
プリシンクトを矩形に分割することにより、コードブロックが生成される。図5は、タイル、サブバンド、プリシンクト、及び、コードブロックを説明する図である。図5では、最低解像度に対応するデコンポジションレベルを除く他のデコンポジションレベル毎に、3つのサブバンドがあり、各サブバンドは、プリシンクトに分割され、プリシンクトは、コードブロックに分割されている。図5では、物理的な大きさの序列は、
画像≧タイル>サブバンド≧プリシンクト≧コードブロック
である。
図6は、デコンポジションレベルと解像度レベルとの対応を説明する図である。図6において、1HHは、デコンポジションレベル1のHHサブバンドを表す。すなわち、図6では、デコンポジションレベルは1から3までの3レベルである。すなわち、ウェーブレット変換が3回行われている。また図6において、解像度レベルは、解像度レベル0から解像度レベル3までの4レベルである。
図7は、デコンポジションレベル=2、プリシンクトサイズ=サブバンドサイズとしたときのレイヤの例を示す図である。また、図8は、図7のレイヤの例において生成されるパケットの例を説明する図である。パケットは、プリシンクトを単位とするものであるから、プリシンクト=サブバンドとした場合、HL〜HHサブバンドをまたいだものとなる。図8では、いくつかのパケットを太線で囲んで例示している。
パケットは、
どのコンポ−ネント(記号C)に属するか、
どの解像度レベル(記号R)に属するか、
どのプリシンクト(“場所”)(記号P)に属するか、
どのレイヤ(記号L)に属するか、
という4つの属性を有する(以下、この属性を「プログレッション属性」という)。
エンコーダがプログレッションオーダ順にパケットを並べる手順、及び、デコーダがプログレッションオーダ順にパケットの属性を解釈することについて、説明する。
すなわち、処理手順は以下のようになる。
for (レイヤ){
for (解像度){
for (コンポ−ネント){
for (プリシンクト){
エンコード時:パケットを配置
デコード時:パケットの属性を解釈
}
}
}
}
・そのパケットが空かどうか
・そのパケットにどのコードブロックが含まれるか
・そのパケットに含まれる各コードブロックのゼロビットプレーン数
・そのパケットに含まれる各コードブロック符号のコーディングパス数(ビットプレーン数)
・そのパケットに含まれる各コードブロックの符号長
図10は、解像度レベルがforループの最も外にある解像度プログレッション符号の概念図である。解像度レベルが最も外側にある符号は、例えば、RLCPプログレッションオーダの符号である。図11は、画像サイズ100画素×100画素、解像度レベが3レベル、コンポーネント数が3個、プリシンクトサイズ32×32のRPCLプログレッションの場合の36個のパケットの配列例を示したものである。
各タイルを構成する符号は、パケットの切れ目でさらに複数に分割することができる。「タイルを構成する符号を分割したもの」をタイルパートという。各タイルパートは、タイルパートヘッダを有する。タイルパートヘッダは、SOT(start of tile−part)マーカセグメントで始まり、SOD(start of data)マーカで終わる。図12及び図13は、タイルパートヘッダの内のSOTマーカセグメントの詳細を示したものである。なお、マーカセグメントとは、マーカとそのマーカに関連するパラメータとで構成される部分である。
JPEG2000の符号はパケット単位でのアクセス、あるいはより簡易にはタイルパート単位でのアクセスが可能である。したがって、原符号から必要な符号だけを抜き出して、新たな符号を生成することができる。またさらに、原符号から、必要に応じて部分的な符号だけを復号することができる。
JPTシステムにおいて、画像を構成するタイルパートの中から、指定された領域を包含するタイルパートを抽出する手順について、以下説明する。
このリクエストのように「表示画素数以上の、最も近い解像度」を選択することを、JPIPではRoundUPという。
図16は、本実施の形態に係る画像処理装置の機能構成の例を説明するブロック図である。図16の画像処理装置100は、ネットワーク等を介してサーバ800と接続され、また、表示装置200に対し、表示する画像を出力する。位置分類手段110、品質決定手段120、符号要求手段130、符号取得手段140、復号手段150、及び、出力手段160を有する。
位置分類手段110は、また例えば、表示画面の所定の位置から近い順に所定数の表示位置を、第一の表示位置群に属するとしてもよい。
図17は、本実施の形態に係る画像処理装置を実現する装置構成の例を説明する図である。図17の装置は、CPU1、RAM2、HDD3、及び、クライアントPC9が、データバスを介して接続されている。CPU1、RAM2、HDD3はサーバPCに設けられている。
(1) HDD3上に記録された原画像の符号が、CPU1からの命令によってRAM2上に読み込まれる。
(2) CPU1はRAM2上の符号を読み込む。
(3) 原画像から所望の符号をRAM上に抽出する。
(4) CPU1からの命令によって所望の符号のタイルパートがクライアントPCに送信される。
なお、本実施の形態では、複数の表示位置に画像を表示するため、上記の(1)〜(4)の処理は、表示に要する画像の数だけ行われる。
図18は、本実施の形態に係る画像処理装置によって制御される表示画面における表示位置の例を説明する図である。図18の表示画面は、例えば、1280×1024ドットの解像度のモニタであり、左上(0,0)〜右下(1280,1024)の表示用の座標系を持つ。図17のモニタ上に配置される各表示位置は重心座標Gと、表示時の横のサイズwと縦のサイズhのパラメータを有する。点Oは座標(0,0)の定点、点Cは座標(640,512)の定点である。
図19は、初期状態の表示画面における各表示位置を示す図である。
JPIPクライアントからJPIPサーバへ送信されるJPIPリクエストの書式は、例えば、
“fsiz“ “=“ x方向のサイズ “,“ y方向のサイズ [“,“ “closest“]
“rsiz“ “=“ x方向の表示ウィンドゥサイズ “,“ x方向の表示ウィンドゥサイズ
の様に表現される。
fsiz = wi,hi & rsiz = wi,hi
というパラメータが設定される。
図20は、第一の表示位置群と第二の表示位置群とに分類された表示画面を説明する図である。図20の太点線で囲まれた領域は、縦横が表示画面全体の半分の長さであり、その領域の中心は表示画面の中心と一致する。図20の例では、太点線で囲まれた領域内に少なくともその一部が含まれる表示領域iを第一の表示位置群とし、グレーで示している。また、図20の太点線で囲まれた領域内に全くかからない表示領域を、第二の表示領域群とする。
第一の表示位置群
fsiz = wi,hi & rsiz = wi,hi・・・・・・・(1)
第二の表示位置群
fsiz = wi/2,hi/2 & rsiz = wi,hi・・・(2)
図21から図32は、表示画面に含まれる表示位置毎に、2つの表示位置群の何れに属するかを判別して分類することにより、それぞれの表示位置群に対応する画像品質の復号画像を表示する処理を説明する図である。なお、図21から図32では、画像品質として、解像度と表示サイズを例に説明するが、本発明の実施の形態はこの例に限らない。復号される符号がSNRスケーラビリティに対応している場合には、復号画像のSNRを異ならせることにより、表示位置群毎に対応する画像品質を実現してもよい。より詳細には、例えば、JPEG2000規格による符号を扱う場合には、復号させるレイヤ数を異ならせることにより、復号画像の画像品質を異ならせるとよい。
図21は、表示画面に含まれる表示位置を分類し、画像品質を決定して表示する処理を示すフロー図である。図21のステップS101では、位置分類手段110が、初期設定を取得する。例えば、DHTMLが、個々のビューアに対する、表示位置、表示サイズ、及び、表示する画像の情報の初期値を取得する。表示する画像の情報は、例えば、URLによって表される。
式(3)から式(5)によって得られた、新たな表示位置により、位置分類手段110が、各ビューに対する表示位置群を判別するフラグを更新する。
図22は、表示位置群を判別する処理の例を示す図である。図22の処理は、図21のステップS102において実行される。図22のステップS201において、重心位置G、幅w、高さhの表示位置iの、少なくとも一部分が所定の領域内に存在するか否かについての判断がなされる。なお、所定の領域とは、例えば、ポインティングデバイスのカーソル位置若しくは軌跡から所定の範囲の領域、表示画面の中心から所定の範囲の領域、表示画面に表示されている領域等である。
図23から図28は、第一の表示位置群と第二の表示位置群とに分類された表示位置を説明する図である。
図29は、表示位置の前後関係による表示位置群の分類を示すフロー図である。図29の処理により、図28で説明した表示位置群の分類が行われる。図29のステップS301では、重心位置G、幅w、高さhを有する表示位置iの少なくとも一部分が、他の表示位置よりも背面に位置するように、表示されるか否かの判断がなされる。他の表示位置よりも背面に位置する場合には、ステップS302に進み、そうではない場合には、ステップS303に進む。
図30は、所定数の表示位置を、第一の表示位置群に属するとして分類して復号画像の表示を行うことを説明するフロー図である。
要求解像度モードを“低”に設定する。“低”とは、例えば、“通常”の半分の解像度である。
図31は、受信する符号量の総和が所定量以下の場合に、それらの表示位置を第一の表示位置群に属するとして、復号画像の画像品質を決定して表示する処理を示すフロー図である。図31のステップS501では、位置分類手段110が、表示位置毎の初期設定を取得する。より詳細には、例えば、Webページを表現しているDHTMLが、画像を表示する個々のビューアに対する表示位置と表示サイズの初期値、及び、表示画像のURLを設定ファイルから読み込む。
図32は、階層的に解像度を異ならせる符号化方式を用いた符号において、要求された表示サイズに対応する解像度レベルを算出する処理を説明する処理を示すフロー図である。図32の処理は、例えば、JPEG2000規格による符号化方式によって符号化された符号に対して適用され、対応する解像度レベルのパケットが選択される。
図32のステップS601では、JPIPクライアントから、パラメータfsizに含まれるfx及びfyが入力される。
fx≦Xsiz/2^d・・・(6)
fy≦Ysiz/2^d・・・(7)
式(6)及び(7)を満たす場合には、ステップS605に進み、満たさない場合には、ステップS606に進む。
ステップS604に続くステップS605では、符号から取得する解像度レベルrを次式(8)により計算する。
r=d−min[log2(Xsiz/fx), log2(Ysiz/fy)]・・(8)
なお、min[a,b]とは、a,bの内で大きくない方を与える関数であり、log2()とは2がlogの底であることを示している。
一方、ステップS604に続くステップS606では、次式(9)により、解像度レベルrを決定する。
r=0・・・(9)
すなわち、解像度が最小の解像度レベルを用いる。
ステップS605又はステップS606の処理により、解像度レベルを決定する処理が終了する。
なお、本発明の実施の形態に係る画像処理装置は、例えばパーソナルコンピュータ(PC)等で実現されてもよい。また、本発明の実施形態に係る画像処理方法は、例えば、CPUがROMやハードディスク装置等に記憶されたプログラムに従い、RAM等のメインメモリをワークエリアとして使用し、実行されるとよい。
2 RAM
3 HDD
9 クライアントPC
100 画像処理装置
110 位置分類手段
120 品質決定手段
130 符号要求手段
140 符号取得手段
150 復号手段
160 出力手段
200 表示装置
800 サーバ
900 記憶装置
Claims (12)
- 複数の復号画像が一の表示画面に表示される際の前記復号画像毎の表示位置を、第一の表示位置群と第二の表示位置群とに分類する位置分類手段と、
前記第一の表示位置群と前記第二の表示位置群とに対し、互いに異なる復号画像の画像品質を決定する品質決定手段と、
複数の画像品質に対応する画像符号を格納するサーバに対し、前記表示位置毎に対応する復号画像の前記品質決定手段により決定された画像品質に対応する画像符号を要求する符号要求手段と、
前記画像品質に対応する画像符号を取得する符号取得手段と、
を有し、
前記位置分類手段は、前記表示画面の所定の範囲の内に位置する表示位置を、前記第一の表示位置群に属するとし、前記所定の範囲の外に位置する表示位置を、前記第二の表示位置群に属するとして分類し、
前記所定の範囲は、前記表示画面の中心部から所定の範囲、前記表示画面におけるポインティングデバイスのカーソル位置から所定の範囲、前記表示画面におけるポインティングデバイスの軌跡から所定の範囲、又は、前記表示画面の中、の何れか一である、
画像処理装置。 - 前記第一の表示位置群の表示位置に表示される復号画像と、前記第二の表示位置群の表示位置に表示される復号画像と、は、互いに、解像度、画素数、又は、画質が異なる請求項1記載の画像処理装置。
- 前記第一の表示位置群の各表示位置に表示される復号画像の画像品質は、前記第二の表示位置群の各表示位置に表示される復号画像の画像品質より高く、前記画像品質は、解像度、画素数、又は、画質により表される請求項1又は2記載の画像処理装置。
- 複数の復号画像が一の表示画面に表示される際の前記復号画像毎の表示位置を、第一の表示位置群と第二の表示位置群とに分類する位置分類手段と、
前記第一の表示位置群と前記第二の表示位置群とに対し、互いに異なる復号画像の画像品質を決定する品質決定手段と、
複数の画像品質に対応する画像符号を格納するサーバに対し、前記表示位置毎に対応する復号画像の前記品質決定手段により決定された画像品質に対応する画像符号を要求する符号要求手段と、
前記画像品質に対応する画像符号を取得する符号取得手段と、
を有し、
前記位置分類手段は、所定の位置から近い表示位置の順に、前記表示位置に表示される画像に対応する符号の符号量を積算し、該符号量が所定の値を超えるまでの表示位置を、前記第一の表示位置群に属するとし、前記第一の表示位置群に属さない表示位置を、前記第二の表示位置群に属するとして分類する、
画像処理装置。 - 前記所定の位置は、前記表示画面の中心部、前記表示画面におけるポインティングデバイスのカーソル位置、又は、前記表示画面におけるポインティングデバイスの軌跡の何れか一である請求項4記載の画像処理装置。
- 複数の復号画像が一の表示画面に表示される際の前記復号画像毎の表示位置を、第一の表示位置群と第二の表示位置群とに分類する位置分類ステップと、
前記第一の表示位置群と前記第二の表示位置群とに対し、互いに異なる復号画像の画像品質を決定する品質決定ステップと、
複数の画像品質に対応する画像符号を格納するサーバに対し、前記表示位置毎に対応する復号画像の前記品質決定ステップにおいて決定された画像品質に対応する画像符号を要求する符号要求ステップと、
前記画像品質に対応する画像符号を取得する符号取得ステップと、
を有し、
前記位置分類ステップにおいて、前記表示画面の所定の範囲の内に位置する表示位置を、前記第一の表示位置群に属するとし、前記所定の範囲の外に位置する表示位置を、前記第二の表示位置群に属するとして分類し、
前記所定の範囲は、前記表示画面の中心部から所定の範囲、前記表示画面におけるポインティングデバイスのカーソル位置から所定の範囲、前記表示画面におけるポインティングデバイスの軌跡から所定の範囲、又は、前記表示画面の中、の何れか一である、
画像処理方法。 - 前記第一の表示位置群の表示位置に表示される復号画像と、前記第二の表示位置群の表示位置に表示される復号画像と、は、互いに、解像度、画素数、又は、画質が異なる請求項6記載の画像処理方法。
- 前記第一の表示位置群の各表示位置に表示される復号画像の画像品質は、前記第二の表示位置群の各表示位置に表示される復号画像の画像品質より高く、前記画像品質は、解像度、画素数、又は、画質により表される請求項6又は7記載の画像処理方法。
- 複数の復号画像が一の表示画面に表示される際の前記復号画像毎の表示位置を、第一の表示位置群と第二の表示位置群とに分類する位置分類ステップと、
前記第一の表示位置群と前記第二の表示位置群とに対し、互いに異なる復号画像の画像品質を決定する品質決定ステップと、
複数の画像品質に対応する画像符号を格納するサーバに対し、前記表示位置毎に対応する復号画像の前記品質決定ステップにおいて決定された画像品質に対応する画像符号を要求する符号要求ステップと、
前記画像品質に対応する画像符号を取得する符号取得ステップと、
を有し、
前記位置分類ステップにおいて、所定の位置から近い表示位置の順に、前記表示位置に表示される画像に対応する符号の符号量を積算し、該符号量が所定の値を超えるまでの表示位置を、前記第一の表示位置群に属するとし、前記第一の表示位置群に属さない表示位置を、前記第二の表示位置群に属するとして分類する、
画像処理方法。 - 前記所定の位置は、前記表示画面の中心部、前記表示画面におけるポインティングデバイスのカーソル位置、又は、前記表示画面におけるポインティングデバイスの軌跡の何れか一である請求項9記載の画像処理方法。
- コンピュータに、請求項6ないし10何れか一項に記載の画像処理方法を、実行させるコンピュータプログラム。
- 請求項11記載のコンピュータプログラムを記録したコンピュータ読み取り可能な情報記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008164766A JP5146145B2 (ja) | 2008-06-24 | 2008-06-24 | 画像処理装置、画像処理方法、コンピュータプログラム、及び、情報記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008164766A JP5146145B2 (ja) | 2008-06-24 | 2008-06-24 | 画像処理装置、画像処理方法、コンピュータプログラム、及び、情報記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010010802A JP2010010802A (ja) | 2010-01-14 |
JP5146145B2 true JP5146145B2 (ja) | 2013-02-20 |
Family
ID=41590822
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008164766A Expired - Fee Related JP5146145B2 (ja) | 2008-06-24 | 2008-06-24 | 画像処理装置、画像処理方法、コンピュータプログラム、及び、情報記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5146145B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5667841B2 (ja) * | 2010-11-08 | 2015-02-12 | 株式会社Nttドコモ | データダウンロード装置、データダウンロード方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11313301A (ja) * | 1998-02-27 | 1999-11-09 | Hitachi Ltd | 番組配信システム、番組配信装置、番組品質変換装置、及び番組受信装置 |
JP4392783B2 (ja) * | 2003-02-20 | 2010-01-06 | 株式会社リコー | 動画再生システム、動画送信装置、動画送信方法、プログラム、及び、記録媒体 |
JP4208122B2 (ja) * | 2003-03-20 | 2009-01-14 | 株式会社リコー | データ処理装置及びデータ処理方法 |
JP2005115011A (ja) * | 2003-10-08 | 2005-04-28 | Ricoh Co Ltd | 画像表示装置、画像表示方法、画像表示プログラムおよびこのプログラムを記録した記録媒体 |
US8773494B2 (en) * | 2006-08-29 | 2014-07-08 | Microsoft Corporation | Techniques for managing visual compositions for a multimedia conference call |
-
2008
- 2008-06-24 JP JP2008164766A patent/JP5146145B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010010802A (ja) | 2010-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4377103B2 (ja) | サーバクライアント環境におけるjpeg2000のための画像処理 | |
US8122379B2 (en) | Zooming operations and magnification for groups of images | |
US7206804B1 (en) | Methods and systems for transmitting digital images | |
JP5194776B2 (ja) | 情報表示システム、情報表示方法およびプログラム | |
US7646927B2 (en) | Image processing and display scheme for rendering an image at high speed | |
JP2009009334A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
US8081827B2 (en) | Compressed data image object feature extraction, ordering, and delivery | |
JP4111926B2 (ja) | 画像処理装置、プログラム、記憶媒体及び画像送信方法 | |
US7529420B2 (en) | Method of displaying a thumbnail image, server computer, and client computer | |
US20080134070A1 (en) | Image processing apparatus and image processing method | |
JP2006101482A (ja) | 画像通信システムおよびサーバ装置、および画像通信方法 | |
JP2008258994A (ja) | 画像処理装置 | |
CN101150645A (zh) | 一种图像处理的方法及图像处理装置 | |
JP4789192B2 (ja) | 符号処理装置、プログラム及び情報記録媒体 | |
US8463062B2 (en) | Image transmission apparatus, method, recording medium, image output apparatus and image transmission system including pattern determination unit | |
JP5146145B2 (ja) | 画像処理装置、画像処理方法、コンピュータプログラム、及び、情報記録媒体 | |
JP2009182933A (ja) | 画像処理システム及び画像処理方法 | |
JP4743613B2 (ja) | 符号生成装置、ファイル生成装置、符号処理装置、プログラム、情報記録媒体 | |
JP4748672B2 (ja) | 符号処理装置、プログラム及び情報記録媒体 | |
JP3958198B2 (ja) | 画像処理方法 | |
JP2008147893A (ja) | クライアントサーバシステム及び遠隔操作システム | |
JP2009044595A (ja) | ディジタル・コンテンツ送信装置およびその動作制御方法 | |
JP2010009122A (ja) | 画像閲覧装置 | |
JP2008263589A (ja) | 符号化装置、符号変換装置、符号伸張装置、符号化方法、符号変換方法及び符号伸張方法 | |
JP2006050557A (ja) | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、コンピュータプログラム及び記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110311 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120124 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120316 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121030 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121112 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5146145 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151207 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |