JP2008042472A - 画像表示装置 - Google Patents

画像表示装置 Download PDF

Info

Publication number
JP2008042472A
JP2008042472A JP2006213423A JP2006213423A JP2008042472A JP 2008042472 A JP2008042472 A JP 2008042472A JP 2006213423 A JP2006213423 A JP 2006213423A JP 2006213423 A JP2006213423 A JP 2006213423A JP 2008042472 A JP2008042472 A JP 2008042472A
Authority
JP
Japan
Prior art keywords
image display
information
detection
remote control
display screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006213423A
Other languages
English (en)
Other versions
JP2008042472A5 (ja
JP4965930B2 (ja
Inventor
Ryosuke Mizuno
良亮 水野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2006213423A priority Critical patent/JP4965930B2/ja
Publication of JP2008042472A publication Critical patent/JP2008042472A/ja
Publication of JP2008042472A5 publication Critical patent/JP2008042472A5/ja
Application granted granted Critical
Publication of JP4965930B2 publication Critical patent/JP4965930B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Transforming Electric Information Into Light Information (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】表示画面の検出に対してユーザが意図的なリモコン操作を行なう必要が低減し、より自然なリモコン操作を通して検出を行ない、環境光を考慮した色と明るさの自動補正を行なうことを目的とする。
【解決手段】入力ボタンが押されたかどうかを判断し、ボタンが押された場合は、ステップS102にてどのボタンが押されたかを示す情報制御指示情報を読み込み、画像表示装置へ送信する(ステップS103)。制御指示情報毎に設定された検出待ち時間を読み出し、指定された時間が経過したかどうかを判断し(ステップS104)、経過した場合は表示画面の検出を行なう(ステップS105)。検出された検出情報から表示画面全体、又は一部の領域を識別し、識別した領域を切り出し、ステップS106にて、切り出された検出情報を画像表示装置へ送信する。
【選択図】図4

Description

本発明は、環境光の影響を考慮して画像を補正するための画像表示装置に関する。
画像表示装置は、環境光(表示画面周辺の明るさ、室内の照明光、日光等)によって、画像の色や明るさが変化するため、見え方が異なるという問題がある。
このため、環境光の影響を考慮した画像の色と明るさの補正を行なうために、キャリブレーション画像を表示し、それを色光センサによって測色することで目標色を再現できるように補正を行なう画像表示装置がある(例えば、特許文献1参照)。
一方で、センサの取り付け位置がユーザ(観測者)の観測地点から離れている場合、センサによる観測画像とユーザによる観測画像との間に差が生じることがあるため、正確な補正を行なうことが難しいという問題がある。
このような問題を解決するために、センサによる観測画像とユーザによる観測画像との間に生じる差を減少させるために、リモコンにセンサを取り付けた画像表示装置がある(例えば特許文献2、許文献3参照)。
特許文献2は、明るさの補正を行なう投影型の画像表示装置である。一般的に投影型の画像表示装置を使用する場合、リモコン装置はユーザが所持していることが多く、且つ発表者は投影されるスクリーンに近い位置にいる場合が多い。これらの点に着目し、外光量を検出するための検出センサをリモコン装置に取り付け、リモコン装置周辺の外光量を検出することで検出センサ位置での外光量とユーザ位置での外光量との間に生じる差を減少させ、正確な補正を行なうことを目的としている。
また特許文献3は、スクリーンを使用するプロジェクタ装置において、画像調整用の認識パターンをスクリーンに投影した後、センサを用いて反射した投影画像を検出し、フォーカス、ズーム、キーストン、照度調整を自動的に行なう装置である。この時、検出センサをリモコン装置に取り付けることでプロジェクタの設置場所や投影方法によらないフォーカス、ズーム、キーストン、照度の自動調整装置を提供している。
特開2003−280629号公報 特開2004−128961号公報 特開2004−297401号公報
特許文献2では外光量のみを検出し明るさ調整をしており、表示画面の検出は行なっていない。表示画面の検出を行なう場合、例えば従来手法である特許文献3では、ユーザがキャリブレーション画像や認識パターンを表示画面に表示した後、検出センサを表示画面に向けリモコン操作を行なうことで検出をしている。
フォーカス、ズーム、キーストンのようなプロジェクタ装置の調整は初期設定で行なうことが一般的で、頻繁に調整することは少ないが、環境光を考慮した色と明るさの自動補正を行なう場合は、環境光の変化に伴って何度も補正を行なう必要がある。
環境光を考慮した色と明るさの自動補正を行なう時に、従来手法のようなリモコン装置に取り付けられた検出センサによって表示画面上のキャリブレーション画像や認識パターンを検出する方法を用いることもできる。しかしながら、ユーザは環境光に変化が生じる度に表示画面の検出を目的とした意図的なリモコン操作を行なう必要があり、不便である。
本発明では、表示画面の検出に対してユーザが意図的なリモコン操作を行なう必要が低減し、より自然なリモコン操作を通して検出を行ない、環境光を考慮した色と明るさの自動補正を行なうことを目的とする。
本発明の画像表示装置は、リモコン装置を有する画像表示装置であって、前記リモコン装置は、前記画像表示装置の遠隔制御を行なう制御指示手段と、前記画像表示装置の表示画面を検出する検出手段と、前記制御指示手段の制御指示情報、及び前記検出手段の検出情報を送信する送信手段と、を備え、前記画像表示装置は、前記リモコン装置によって送信される制御指示情報、及び検出情報を受信する受信手段と、前記受信した検出情報と、前記画像表示装置が保持する目標画像情報と、に基づき、画像の色と明るさの補正を行なう補正手段と、を備え、前記検出手段は、前記画像表示装置の表示画面を検出するタイミングが前記制御指示情報毎に設定されていることを特徴とする。
本発明においては、画像表示装置の表示画面を検出するための検出センサをリモコン装置に取り付け、検出情報に基づいて環境光を考慮した色と明るさの自動補正を行なう場合に、表示画面の検出に対してユーザが意図的なリモコン操作を行なう必要が低減する。そして、より自然なリモコン操作を通して検出を行ない、環境光を考慮した色と明るさの自動補正を行なうことが可能となる。
以下、本発明の実施の形態について図面を用いて説明する。図1は、本発明の第1の実施形態である画像表示装置のリモコン装置100の外観例であり、符号101は送信機、符号102は検出センサ、符号103は入力ボタン群である。
リモコン装置100には、ユーザが画像表示装置の制御を指示するための入力ボタン群103と、画像表示装置の表示画面を検出するための検出センサ102が備え付けられている。
画像表示装置の制御を指示するための制御指示情報と、検出センサ102によって得られた検出情報は、同じくリモコン装置100に取り付けられた送信機101によって画像表示装置へと送信される。
一般的にリモコン装置を使用する場合、リモコン装置はユーザが所持しており、またリモコン装置を用いて制御指示情報を送信する際、赤外線通信を利用している点から、リモコン装置の送信部分を画像表示装置に向けて操作することが多い。
図1のリモコン装置100において、検出センサ102を送信機101の送信方向に向けて設置することで、ユーザが制御指示情報を送信する際に、自然と検出センサ102を画像表示装置の表示画面に向けることが可能である。
また、表示画面の検出に対してユーザが意図的なリモコン操作を行なう必要が低減する。
図2は、本発明の実施形態である画像表示装置のリモコン装置100の構成図である。
符号201はボタン入力部、符号202は画像処理部、符号203はメモリ部、符号204はリモコン制御部、符号205は送信機101が取り付けられた送信部、符号206は検出センサ102が取り付けられた検出部である。
ボタン入力部201は、入力ボタンが押されたかどうかを判断し、入力ボタンが押された場合は、どの入力ボタンが押されたかを示す制御指示情報をリモコン制御部204へ送る。
リモコン制御部204では、制御指示情報を判断し、送信手段に適した形式の信号を生成するために、メモリ部203から該当する信号を読み出し、送信部205から画像表示装置へ送信する。
また、リモコン制御部204では、制御指示情報毎にメモリ部203に格納された検出待ち時間を読み出し、指定された時間が経過した後、検出部206へ駆動信号を送る。
つまり、検出待ち時間を設定することで、表示画面を検出するタイミングの指定が可能となる。検出待ち時間は、画像表示装置の表示特性や制御指示内容に応じて個別に設定を行なうことができ、具体的な検出待ち時間の設定方法として以下の2つの例がある。
(1) 画像表示装置をテレビとして使用し、テレビチャンネルの変更指示を行なう場合は、表示画面が切り替わり、画像が安定するまでの時間を検出待ち時間として設定する。
(2) 画像表示装置をテレビとして使用し、音量の変更指示を行なう場合は、変更指示を行なうと同時、もしくは直後に表示画面の検出を行なっても、表示画面上の画像が十分安定していると考えられるので、特に検出待ち時間を設定しない。
メモリ部203には、送信手段に適した形式の信号を生成するための情報や検出待ち時間が格納されている他に、制御部の制御プログラムが格納されたROMや、演算用ワークエリア、各種データ記憶としてのRAM等が存在する。
検出部206では、リモコン制御部204からの駆動信号を受けて表示画面の検出を行ない、検出情報を画像処理部202へ送る。検出部206で検出された検出情報には、画像表示装置の表示画面全体の情報がすべて含まれているとは限らない。
また、表示画面以外の情報も含まれており、このため検出情報から画像表示装置の表示画面全体、又は一部の領域を識別し、識別した領域の情報を抽出する必要がある。これによって、識別した領域の情報から補正に必要とする領域の情報のみを抜粋することも可能となる。
画像処理部202では、検出情報から反射光を含む画像表示装置の表示画面全体、又は一部の領域を識別し、識別した領域を切り出す。具体的な表示画面領域の識別方法として以下の2つの例がある。
(1) 画面全体の輝度分布から表示画面領域を識別する。
(2) 画像表示装置をテレビとして使用し、テレビチャンネルの変更指示や音量の変更指示を行なう場合は、画面上に表示されるチャンネル番号や音量バーを基準に表示画面領域を識別する。
画像処理部202では、表示画面領域の識別と切り出しの他に、A/D変換や画像の圧縮処理を行なう。圧縮処理の有無、方式は任意であるが、一般的にはJPEG(Joint Photographic Experts Group)方式が挙げられる。
画像処理部202によって処理された検出情報は、リモコン制御部204へ送られ、送信手段に適した形式の信号が生成された後、送信部205から画像表示装置へ送られる。
送信部205における送信形式には、無線通信方式(電磁波通信、超音波通信、赤外線等の光通信)を用いる。
図3は、本発明の実施形態である画像表示装置の受信部と補正部を中心とした構成図である。符号301は受信部、符号302は補正部、符号303はメモリ書き込み信号生成部、符号304はメモリ部、符号305は補正値生成部、符号306は入力表示画像情報、符号307は出力表示画像情報である。
入力表示画像情報306は、例えば標準化団体であるDDWG(Digital Display Working Group)が標準化したDVI(Digital Visual Interface)規格などの画像の伝送方式であるTMDS(Transition Minimized Differential Signaling)方式の信号入力である。
出力表示画像情報307の出力先は、例えば液晶パネルの駆動回路であるが、その間にD/A変換やガンマ補正等の処理が施される。
受信部301は、リモコン装置100の送信部205から送られる制御指示情報と検出情報を受信し、制御指示情報は書き込み信号生成部303へ、検出情報は補正値生成部305へ送出する。
補正値生成部305では、まず検出情報から反射光を含む画像表示装置の表示画面全体、又は一部の領域を識別し、識別した領域を切り出す。
具体的な表示画面領域の識別方法は前述の通りであり、また、表示画面領域の識別と、識別した領域の切り出しは、補正値生成部305ではなく、リモコン装置100の画像処理部202のいずれ、又は両方で行なっても良い。
表示画面領域の識別と、識別した領域の切り出しが行なわれた後、補正値生成部305では、検出情報と目標画像情報との差分を算出し、色と明るさの補正値を生成する。目標画像情報には出力表示画像情報307を使用する。
メモリ書込み信号生成部303では、制御指示情報毎に設定された検出待ち時間に基づいてリモコン装置100による表示画面の検出がいつ行なわれるかを推測し、そのときの出力表示画像情報307をメモリ部304へ書き込むための書き込み信号を生成する。つまりメモリ部304に書き込まれた出力表示画像情報307が、目標画像情報として扱われる。
補正部302では、補正値生成部305によって生成された補正値を基に、入力表示画像情報306の色と明るさの補正を行なう。
図4は、本発明の実施形態である画像表示装置のリモコン装置における制御の処理フローである。
まずステップS101では、入力ボタンが押されたかどうかを判断し、ボタンが押された場合は、ステップS102にてどのボタンが押されたかを示す情報制御指示情報を読み込み、画像表示装置へ送信する(ステップS103)。
制御指示情報毎に設定された検出待ち時間を読み出し、指定された時間が経過したかどうかを判断し(ステップS104)、経過した場合は表示画面の検出を行なう(ステップS105)。
検出された検出情報から表示画面全体、又は一部の領域を識別し、識別した領域を切り出し、ステップS106にて、切り出された検出情報を画像表示装置へ送信する。
なお、具体例としてあげた検出待ち時間の設定方法と表示画面領域の識別方法、また表示画像情報の伝送方式など前記画像表示装置の構成については、上記実施の形態に限らない。
また、上記実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(又は記録媒体)を、システム又は装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
また、上記プログラムは、上述した実施の形態の機能をコンピュータで実現することができればよく、その形態は、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給されるスクリプトデータ等の形態を有するものでもよい。
プログラムを供給する記録媒体としては、例えば、RAM、NV−RAM、フロッピー(登録商標)ディスク、光ディスク、光磁気ディスクでよい。
また、CD−ROM、MO、CD−R、CD−RW、DVD(DVD−ROM、DVD−RAM、DVD−RW、DVD+RW)、磁気テープ、不揮発性のメモリカード、他のROM等の上記プログラムを記憶できるものであればよい。
或いは、上記プログラムは、インターネット、商用ネットワーク、若しくはローカルエリアネットワーク等に接続される不図示の他のコンピュータやデータベース等からダウンロードすることにより供給される。
以上、本発明の画像表示装置は、その表示画面を検出するための検出センサをリモコン装置に取り付け、検出情報に基づいて環境光を考慮した色と明るさの自動補正を行なう場合に、表示画面の検出に対してユーザが意図的なリモコン操作を行なう必要が低減する。
また、より自然なリモコン操作を通して検出を行ない、環境光を考慮した色と明るさの自動補正を行なうことが可能となる。
本発明の実施の形態に係る画像表示装置のリモコン装置の外観例を示す図である。 本発明の実施の形態に係る画像表示装置のリモコン装置の構成図である。 本発明の実施の形態に係る画像表示装置の受信部と補正部を中心とした構成図である。 本発明の実施の形態に係る画像表示装置のリモコン装置における制御の処理フローチャートである。
符号の説明
100 リモコン装置
101 送信機
102 検出センサ
103 入力ボタン群
201 ボタン入力部
202 画像処理部
203 メモリ部
204 リモコン制御部
205 送信部
206 検出部
300 画像表示装置
301 受信部
302 補正部
303 メモリ書き込み信号生成部
304 メモリ部
305 補正値生成部
306 入力表示画像情報
307 出力表示画像情報

Claims (3)

  1. リモコン装置を有する画像表示装置であって、
    前記リモコン装置は、前記画像表示装置の遠隔制御を行なう制御指示手段と、前記画像表示装置の表示画面を検出する検出手段と、前記制御指示手段の制御指示情報、及び前記検出手段の検出情報を送信する送信手段と、を備え、
    前記画像表示装置は、前記リモコン装置によって送信される制御指示情報、及び検出情報を受信する受信手段と、前記受信した検出情報と、前記画像表示装置が保持する目標画像情報と、に基づき、画像の色と明るさの補正を行なう補正手段と、を備え、
    前記検出手段は、前記画像表示装置の表示画面を検出するタイミングが前記制御指示情報毎に設定されていることを特徴とする画像表示装置。
  2. 前記検出手段は、前記検出情報から、反射光を含む前記画像表示装置の表示画面全体、又は一部の領域を識別し、識別した領域を切り出すことを特徴とする請求項1に記載の画像表示装置。
  3. 前記補正手段は、前記検出情報から、反射光を含む前記画像表示装置の表示画面全体、又は一部の領域を識別し、識別した領域を切り出すことを特徴とする請求項1に記載の画像表示装置。
JP2006213423A 2006-08-04 2006-08-04 画像表示装置、その制御方法およびプログラム Expired - Fee Related JP4965930B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006213423A JP4965930B2 (ja) 2006-08-04 2006-08-04 画像表示装置、その制御方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006213423A JP4965930B2 (ja) 2006-08-04 2006-08-04 画像表示装置、その制御方法およびプログラム

Publications (3)

Publication Number Publication Date
JP2008042472A true JP2008042472A (ja) 2008-02-21
JP2008042472A5 JP2008042472A5 (ja) 2009-09-17
JP4965930B2 JP4965930B2 (ja) 2012-07-04

Family

ID=39177021

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006213423A Expired - Fee Related JP4965930B2 (ja) 2006-08-04 2006-08-04 画像表示装置、その制御方法およびプログラム

Country Status (1)

Country Link
JP (1) JP4965930B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012053480A1 (ja) * 2010-10-22 2012-04-26 シャープ株式会社 画像表示装置
US8350787B2 (en) 2008-10-15 2013-01-08 Panasonic Corporation Brightness correction device and brightness correction method
CN115499692A (zh) * 2022-09-28 2022-12-20 中广(绍兴柯桥)有线信息网络有限公司 一种基于图像处理的数字电视智能控制方法及***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09197999A (ja) * 1996-01-19 1997-07-31 Canon Inc 画像表示システムおよびその表示方法
JP2001094892A (ja) * 1999-09-21 2001-04-06 Toshiba Corp チャンネル切り替え装置
JP2004128961A (ja) * 2002-10-03 2004-04-22 Canon Inc 投射型画像表示装置
JP2004297401A (ja) * 2003-03-26 2004-10-21 Sharp Corp プロジェクタの自動調整装置
JP2005236469A (ja) * 2004-02-18 2005-09-02 Agilent Technol Inc 色補正可能なディスプレイシステム
JP2006072255A (ja) * 2004-09-06 2006-03-16 Sony Corp 表示装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09197999A (ja) * 1996-01-19 1997-07-31 Canon Inc 画像表示システムおよびその表示方法
JP2001094892A (ja) * 1999-09-21 2001-04-06 Toshiba Corp チャンネル切り替え装置
JP2004128961A (ja) * 2002-10-03 2004-04-22 Canon Inc 投射型画像表示装置
JP2004297401A (ja) * 2003-03-26 2004-10-21 Sharp Corp プロジェクタの自動調整装置
JP2005236469A (ja) * 2004-02-18 2005-09-02 Agilent Technol Inc 色補正可能なディスプレイシステム
JP2006072255A (ja) * 2004-09-06 2006-03-16 Sony Corp 表示装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8350787B2 (en) 2008-10-15 2013-01-08 Panasonic Corporation Brightness correction device and brightness correction method
WO2012053480A1 (ja) * 2010-10-22 2012-04-26 シャープ株式会社 画像表示装置
CN115499692A (zh) * 2022-09-28 2022-12-20 中广(绍兴柯桥)有线信息网络有限公司 一种基于图像处理的数字电视智能控制方法及***

Also Published As

Publication number Publication date
JP4965930B2 (ja) 2012-07-04

Similar Documents

Publication Publication Date Title
JP3867205B2 (ja) 指示位置検出装置、及び指示位置検出システム、並びに指示位置検出方法
JP6275312B1 (ja) 投写装置およびその制御方法、プログラム
US11503260B2 (en) Projector and method for controlling projector
CN102004378B (zh) 一种投影画面调整方法及投影装置
US11006066B2 (en) Projector and method for controlling projector
US20110107222A1 (en) Presentation system and display device for use in the presentation system
US20110001701A1 (en) Projection apparatus
JP2006197443A (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP2010130225A (ja) 投写型表示装置および投写用調整方法
US9401129B2 (en) Image projection device
US10015457B2 (en) Projector and control method with a starting reference position in a lower part of a target image
JP2015158890A (ja) 位置検出装置、位置検出システム、及び、位置検出方法
JP2017009829A (ja) 画像投影装置、画像投影システムおよび映像供給装置
JP4965930B2 (ja) 画像表示装置、その制御方法およびプログラム
US20100110024A1 (en) Method for providing user interface using dmd and dlp display apparatus using the method
US20090207312A1 (en) Video processing apparatus and method for processing video signal
JP2007178534A (ja) 投影装置、投影方法及びプログラム
EP2879388A1 (en) Information processing apparatus , image projecting apparatus, and method for providing distortion correction instruction
JP2001339671A (ja) プロジェクター装置
CN111866307B (zh) 显示装置、显示装置的控制方法和存储介质
JP2015139181A (ja) 画像処理装置及びプログラム
CN115834846A (zh) 图像显示方法及投影仪
JP2019186690A (ja) 制御装置、プロジェクタ、プロジェクタの制御方法、プログラム
JP4180403B2 (ja) プロジェクタシステム、プロジェクタ装置、画像投射方法
JP2006287294A (ja) 表示装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090804

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090804

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120327

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120330

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150406

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees