JP4371749B2 - プロジェクタおよびそのテストパターン検出方法 - Google Patents

プロジェクタおよびそのテストパターン検出方法 Download PDF

Info

Publication number
JP4371749B2
JP4371749B2 JP2003327854A JP2003327854A JP4371749B2 JP 4371749 B2 JP4371749 B2 JP 4371749B2 JP 2003327854 A JP2003327854 A JP 2003327854A JP 2003327854 A JP2003327854 A JP 2003327854A JP 4371749 B2 JP4371749 B2 JP 4371749B2
Authority
JP
Japan
Prior art keywords
test pattern
image
projection
video
projector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003327854A
Other languages
English (en)
Other versions
JP2005094599A (ja
Inventor
陽一 田村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp NEC Display Solutions Ltd
Original Assignee
NEC Display Solutions Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Display Solutions Ltd filed Critical NEC Display Solutions Ltd
Priority to JP2003327854A priority Critical patent/JP4371749B2/ja
Publication of JP2005094599A publication Critical patent/JP2005094599A/ja
Application granted granted Critical
Publication of JP4371749B2 publication Critical patent/JP4371749B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明はプロジェクタおよびそのテストパターン検出方法に関し、特に入力信号によらずにテストパターンを抜き出すプロジェクタおよびそのテストパターン検出方法に関する。
従来のプロジェクタにおけるテストパターンの検出方法は、テストパターンを利用する際、入力信号とテストパターンの混在した状態で撮像素子に写ると、処理が煩雑になるため、これを避けている。すなわち、従来は、テストパターンのみを表示し、これを撮影することにより、台形歪みなどの補正を行っている。
また、カラーテレビジョン受像機のコンバージェンスや幾何学歪みあるいは輝度やフォーカスなど各種の補正を自動的に行う画像補正装置などにおいてもテスト信号が用いられている(特許文献1参照)。しかも、表示画面にテスト信号を重畳した上で撮像素子により撮影することも行われている(特許文献1参照)。
特開平6−303624号公報(第7,8頁、図22) 特開平6−327019号公報(第4頁、図1)
上述した従来のプロジェクタおよびそのテストパターン検出方法は、処理の煩雑さを招き、また特許文献1,2などの装置によれば、回路構成が複雑化すると共に、大がかりな装置を必要とするという欠点がある。
本発明の目的は、入力映像を表示したまま、テストパターンを使用しても、そのテストパターンの検出を簡単な回路構成および簡略化した手順により可能にすることのできるプロジェクタおよびそのテストパターン検出方法を提供することにある。
本発明のプロジェクタは、上述した課題を解決するために、釦の操作によりテストパターンを発生するテストパターン発生回路と、前記テストパターン発生回路よりテストパターンが発生された時には、投射映像に重畳又は反転重畳して出力する投射データ出力部と、前記投射データ出力部より出力された投射映像を外部の被投射体に対し拡大して投影する投射用レンズと、前記被投射体に投影された映像を撮影するための撮影用レンズおよび撮像素子と、前記投射データ出力部における前記投射映像のデータを記憶すると共に、前記撮像素子を介して得られた前記テストパターンを重畳した第1の撮影映像及び前記テスト
パターンを反転重畳した第2の撮影映像を記憶する記憶部と、前記記憶部に記憶された前第1の撮影映像と、前記第2の撮影映像の輝度レベルを白黒反転した映像に基いて加算演算を行い、前記投射映像が表示された状態でも前記テストパターンを抽出する演算部と、前記演算部で検出された前記テストパターンを出力するテストパターン出力部とをプロジェクタ本体に備えて構成される。
本発明のプロジェクタは、フォーカス釦を備え、釦が押されたときにテストパターン出力部の出力するデータに基づいてオートフォーカス動作を行うことができる。
また、本発明のプロジェクタのテストパターン検出方法は、入力映像にテストパターン
を重畳した第1の映像と、前記第1の映像において前記テストパターンのみの輝度レベル
を白黒反転させた第2の映像とをそれぞれ投射し、被投射体に表示された前記第1の映像及び第2の映像をそれぞれ撮影して記憶部に記憶させ、前記第1の映像の撮影映像と、前記第2の映像の撮影映像の輝度レベルを白黒反転させた映像を用いた加算演算を行うことにより、前記テストパターンを抽出することを特徴としている。
さらに、本発明のプロジェクタのテストパターン検出方法は、プロジェクタ本体より投
射映像を出力して表示する際、投射すべき入力信号にテストパターンを重畳して表示する
重畳表示ステップと、被投射体に表示される前記投射映像を撮影用レンズおよび撮像素子
を介し、撮影映像として記憶部に取り込む第1の記憶ステップと、前記テストパターンの
みを白黒反転し、前記入力信号に重畳して表示するパターン反転重畳表示ステップと、前
記被投射体に表示されたパターン反転投射映像を前記撮影用レンズおよび前記撮像素子を
介し、パターン反転撮影映像として前記記憶部に取り込む第2の記憶ステップと、前記第2の記憶ステップで前記記憶部に記憶された前記パターン反転投射映像の輝度レベルを反転した映像と、前記第1のステップで記憶されている前記撮影映像を演算部で加算する演算ステップと含み、テストパターンを抽出して出力することを特徴としている。
このテストパターン検出方法における前記プロジェクタ本体は、オートフォーカス釦および前記オートフォーカス釦によって駆動されるテストパターン発生回路を備え、前記オートフォーカス釦が操作されたときにのみ、前記被投射体に表示させる前記投射映像に対し、前記テストパターンを重畳することができる。
また、このテストパターン検出方法における前記各種の撮影映像を前記演算部で加算演算して抽出される前記テストパターンは、前記撮影用レンズを通して得られる画面内にそのままのレベルで残る一方、前記テストパターン以外は輝度レベルを暗いグレーに下げた状態として出力することができる。
本発明のプロジェクタのテストパターン検出方法は、プロジェクタのテストパターンの検出にあたり、入力映像にテストパターンを重畳しても、そのテストパターンの検出を可能にできるという効果がある。
本発明のプロジェクタおよびそのテストパターン検出方法は、液晶パネルなどに代表される格子状表示装置を使用するプロジェクタ装置において、映像を投射するための投射レンズと、投射された映像を撮影するための撮像素子や撮影レンズを持ち、撮像素子により入力映像と共に投射されたテストパターンを撮影するものである。特に、入力信号にテストパターンを重ねて表示する際、テストパターンを正常に表示した場合と、白黒反転して表示した場合との2種類の映像を撮影し、演算処理を行うことにより、テストパターンを効率的に抜き出すことを特徴としている。
要するに、入力映像にテストパターンを重畳した第1の映像と、この第1の映像におい
てテストパターンのみの輝度レベルを白黒反転させた第2の映像をそれぞれ投射し、被投射体に表示された前記第1の映像及び第2の映像をそれぞれ撮影して記憶部に記憶させ、これら第1の映像の撮影映像と、第2の映像の撮影映像の輝度レベルを白黒反転させた映像の加算演算を行うことにより、テストパターンを抽出するものである。
図1は本発明の概要を説明するためのプロジェクタ本体と被投射体の関係を表わす模式図である。図1に示すように、本実施例におけるプロジェクタは、プロジェクタ本体1と、付属品(図示省略)とからなり、そのプロジェクタ本体1は投射用レンズ2および撮影用レンズ3を備えている。このプロジェクタ本体1における投射用レンズ2は、外部から供給される入力映像データもしくは本体内部に記憶された映像データにより、映像を壁4などの被投射体に投射するレンズである。また、撮影用レンズ3は、壁4などの被投射体に投射された映像を撮影するためのレンズであり、通常投射用レンズ2の直ぐ上の位置に配置される。なお、この撮影用レンズ3は、実際に撮影する撮像素子を一体化して組み込むことができる。
かかるプロジェクタにおいて、投射用レンズ2から壁4に投射された映像の台形歪みやフォーカスなどを補正する場合、テストパターンを用いる。ここでは、投射用レンズ2から入力映像と共にテストパターンを壁4に投射し、その映像を撮影用レンズ3で撮影することにより、投射状態がプロジェクタ本体1に取り込まれる。すなわち、このテストパターンは、投射レンズ、被写体、撮像素子の位置の違いを利用した三角測量の原理を用い、台形歪みの補正やオートフォーカスの機能の実現が可能になる。
図2は図1に示すプロジェクタ本体の主要ブロック構成図である。図2に示すように、
プロジェクタ本体1は、各種の微調整のための操作釦を備えているが、ここでは代表して台形歪やオートフォーカスを実行するためのフォーカス釦11を備えた例を示している。
このプロジェクタ本体1は、上述したフォーカス釦11の操作によりテストパターンを発生するテストパターン発生回路10と、このテストパターン発生回路10よりテストパターンが発生された時には、投射映像に重畳して出力する投射データ出力部5と、この投射データ出力部5より出力された投射映像を壁4などの被投射体に対し拡大して投影する投射用レンズ2とを備えている。このフォーカス釦11が押下されないときは、入力映像のみが壁4などの被投射体に投射される。また、この投射データ出力部5は、ディジタルデータをアナログ信号に変換するためのD/A変換機などを含んで構成される。
また、プロジェクタ本体1は、これらの他に、壁4などの被投射体に投影された映像を撮影するための撮影用レンズ2および撮像素子6と、上述した投射データ出力部5における投射映像のデータを記憶すると共に、撮像素子6を介して得られた撮影データを記憶する記憶部7と、この記憶部7に記憶された各種の映像データに基いて加算演算を行い、投射映像が表示された状態でも、テストパターンを抽出する演算部8と、この演算部8で検出されたテストパターンを出力するテストパターン出力部9とを備えている。演算部8で抽出されたテストパターンは、プロジェクタ本体1または外部において、台形歪みなどの補正に用いられるが、ここでは説明を簡略化するために、台形歪みそのものについての説明は省略する。また、記憶部7から投射データ出力部5に供給される映像データは、直接外部より供給することもできる。
以下、テストパターン検出処理の具体的手順について、図3および図4を参照して説明する。
図3は図1および図2において、テストパターンを重畳した際のプロジェクタ本体の処理ステップ図である。図3に示すように、テストパターンの抽出処理にあたっては、プロジェクタ本体1より投射映像を壁4に表示する。その際には、投射すべき入力信号にテストパターンを重畳して表示する重畳表示ステップS1と、壁4などの被投射体に表示される投射映像を撮影用レンズ3および撮像素子6を介し、撮影映像Aとして記憶部7に取り込む第1の記憶ステップS2と、上述したテストパターンのみを白黒反転し、入力信号に重畳して表示するパターン反転重畳表示ステップS3と、壁4などの被投射体に表示されたパターン反転投射映像Bを撮影用レンズ3および撮像素子6を介し、パターン反転撮影映像Bとして記憶部7に取り込む第2の記憶ステップS4と、この第2の記憶ステップS4で記憶部7に記憶されたパターン反転投射映像Bの輝度レベルを反転し、記憶部7に取り込む第3の記憶ステップS5と、記憶部7に記憶されている撮影映像Aおよびパターン反転撮影映像Bの輝度レベル反転映像B´を演算部8で加算する演算ステップと含んでいる。これらの撮影映像は、演算部8で加算を行うことにより、テストパターンのみが強調され、台形歪み補正のためのテストパターンとして出力される。
図4は図3におけるテストパターンの抽出ステップをより具体的に説明するための撮影映像画面の模式図である。図4に示すように、この模式図は、上述したテストパターンの抽出ステップにおいて、撮影映像A,B,B´および加算演算と最終結果だけを示したものである。すなわち、右端に示す最終結果は、各種の撮影映像を演算部8で加算演算して抽出されるテストパターンが、撮影用レンズ3を通して得られる画面内にそのままのレベルで残り、またテストパターン以外のデータ(映像)は輝度レベルを暗いグレーに下げた状態、例えば25%の輝度レベルとして出力することになる。
要するに、入力信号にテストパターンを重ねて表示し、その映像を取り込んで撮影映像Aとする。その後、テストパターンを白黒反転(輝度レベル反転)したものを入力信号に重ねて表示し、その映像を取り込んで撮影映像Bとする。さらに、取り込まれた映像の輝度レベル反転したものを撮影映像B´とする。最後に、撮影映像AおよびB´を足し合わせると、上述した右端に示すように、テストパターンが強調され、また入力信号が除去される。
このようにすることで、クロスハッチなどのテストパターンを通常映像に重ねて表示しても、常にテストパターンのみを選択的に抽出することができる。
本発明は、インターネットを使用した会議システム装置や社内外のプレゼンテーション用プロジェクタ(投射装置)に用いられ、特にその台形歪みなどを自動的に補正したり、あるいはオートフォーカス(自動焦点)調節を行うような場合に、適用することができる。
本発明の概要を説明するためのプロジェクタ本体と被投射体の関係を表わす模式図である。 図1に示すプロジェクタ本体の主要ブロック構成図である。 図1および図2において、テストパターンを重畳した際のプロジェクタ本体の処理ステップ図である。 図3におけるテストパターンの抽出ステップをより具体的に説明するための撮影映像画面の模式図である。
符号の説明
1 プロジェクタ本体
2 投射用レンズ
3 撮影用レンズ
5 投射データ出力部
6 撮像素子
7 記憶部
8 演算部
9 テストパターン出力部
10 テストパターン発生回路
11 オートフォーカス釦
S1〜S7 処理ステップ

Claims (5)

  1. の操作によりテストパターンを発生するテストパターン発生回路と、
    前記テストパターン発生回路よりテストパターンが発生された時には、投射映像に
    重畳又は反転重畳して出力する投射データ出力部と、
    前記投射データ出力部より出力された投射映像を外部の被投射体に対し拡大して投
    影する投射用レンズと、
    前記被投射体に投影された映像を撮影するための撮影用レンズおよび撮像素子と、
    前記投射データ出力部における前記投射映像のデータを記憶すると共に、前記撮像
    素子を介して得られた前記テストパターンを重畳した第1の撮影映像及び前記
    テストパターンを反転重畳した第2の撮影映像を記憶する記憶部と、
    前記記憶部に記憶された前記第1の撮影映像と、前記第2の撮影映像の輝度レベルを
    白黒反転した映像に基いて加算演算を行い、前記投射映像が表示された状態でも前記
    テストパターンを抽出する演算部と、
    前記演算部で検出された前記テストパターンを出力するテストパターン出力部とを備
    えたことを特徴とするプロジェクタ。
  2. 入力映像にテストパターンを重畳した第1の映像と、前記第1の映像において前記テス
    トパターンのみの輝度レベルを白黒反転させた第2の映像とをそれぞれ投射し、被投射体に表示された前記第1の映像及び第2の映像をそれぞれ撮影して記憶部に記憶させ、
    前記第1の映像の撮影映像と、前記第2の映像の撮影映像の輝度レベルを白黒反転させた映像を用いた加算演算を行うことにより、前記テストパターンを抽出することを特徴とするプロジェクタのテストパターン検出方法。
  3. プロジェクタ本体より投射映像を出力して表示する際、投射すべき入力信号にテストパ
    ターンを重畳して表示する重畳表示ステップと、被投射体に表示される前記投射映像を撮
    影用レンズおよび撮像素子を介し、撮影映像として記憶部に取り込む第1の記憶ステップ
    と、
    前記テストパターンのみを白黒反転し、前記入力信号に重畳して表示するパターン反転重畳表示ステップと、前記被投射体に表示されたパターン反転投射映像を前記撮影用レンズおよび前記撮像素子を介し、パターン反転撮影映像として前記記憶部に取り込む第2の記憶ステップと、
    前記第2の記憶ステップで前記記憶部に記憶された前記パターン反転投射映像の輝度レベルを反転した映像と、前記第1のステップで記憶されている前記撮影映像を演算部で加算する演算ステップと含み、
    テストパターンを抽出して出力することを特徴とするプロジェクタのテストパターン検出方法。
  4. 前記プロジェクタ本体は、オートフォーカス釦および前記オートフォーカス釦によって
    駆動されるテストパターン発生回路を備え、前記オートフォーカス釦が操作されたときに
    のみ、前記被投射体に表示させる前記投射映像に対し、前記テストパターンを重畳するこ
    とを特徴とする請求項記載のプロジェクタのテストパターン検出方法。
  5. 前記抽出したテストパターンは、前記撮影用レンズを通して得られる画面内にそのままのレベルで残る一方、前記テストパターン以外は輝度レベルを暗いグレーに下げた状態として出力することを特徴とする請求項記載のプロジェクタのテストパターン検出方法。
JP2003327854A 2003-09-19 2003-09-19 プロジェクタおよびそのテストパターン検出方法 Expired - Fee Related JP4371749B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003327854A JP4371749B2 (ja) 2003-09-19 2003-09-19 プロジェクタおよびそのテストパターン検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003327854A JP4371749B2 (ja) 2003-09-19 2003-09-19 プロジェクタおよびそのテストパターン検出方法

Publications (2)

Publication Number Publication Date
JP2005094599A JP2005094599A (ja) 2005-04-07
JP4371749B2 true JP4371749B2 (ja) 2009-11-25

Family

ID=34457603

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003327854A Expired - Fee Related JP4371749B2 (ja) 2003-09-19 2003-09-19 プロジェクタおよびそのテストパターン検出方法

Country Status (1)

Country Link
JP (1) JP4371749B2 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4655564B2 (ja) * 2004-09-21 2011-03-23 株式会社ニコン プロジェクタ装置、携帯電話、カメラ
US20080259289A1 (en) 2004-09-21 2008-10-23 Nikon Corporation Projector Device, Portable Telephone and Camera
JP4655565B2 (ja) * 2004-09-21 2011-03-23 株式会社ニコン プロジェクタ装置、携帯電話、カメラ
JP4655563B2 (ja) * 2004-09-21 2011-03-23 株式会社ニコン プロジェクタ装置、携帯電話、カメラ
JP5292678B2 (ja) * 2006-07-10 2013-09-18 カシオ計算機株式会社 投影装置、ポインタ表示処理方法およびプログラム
JP4978152B2 (ja) * 2006-10-25 2012-07-18 セイコーエプソン株式会社 プロジェクタ、プログラムおよび情報記憶媒体
US7561979B2 (en) * 2007-05-10 2009-07-14 Mediatek Inc. Device and method for calibrating data processing apparatus by tuning firmware trim value
JP5431312B2 (ja) 2008-05-21 2014-03-05 パナソニック株式会社 プロジェクタ
JP5493340B2 (ja) * 2008-11-26 2014-05-14 セイコーエプソン株式会社 投写型表示装置および配置関係検出方法
JP5386956B2 (ja) * 2008-12-04 2014-01-15 セイコーエプソン株式会社 プロジェクタ、表示調整方法、表示調整プログラム及び記録媒体
JP5652596B2 (ja) 2009-06-11 2015-01-14 セイコーエプソン株式会社 プロジェクター、プログラム、情報記憶媒体および画像投写方法
JP5428600B2 (ja) 2009-07-09 2014-02-26 セイコーエプソン株式会社 プロジェクター、画像投写システムおよび画像投写方法
JP5625490B2 (ja) * 2010-05-25 2014-11-19 セイコーエプソン株式会社 プロジェクター、投射状態調整方法及び投射状態調整プログラム
JP2013038626A (ja) 2011-08-09 2013-02-21 Seiko Epson Corp 撮像装置およびプロジェクター
US9298072B2 (en) 2012-12-19 2016-03-29 Seiko Epson Corporation Projector having inclination detection section for detecting inclination of projector enclosure and method for controlling the same
JP5664725B2 (ja) * 2013-08-22 2015-02-04 セイコーエプソン株式会社 プロジェクター、画像投写システムおよび画像投写方法
JP6307235B2 (ja) * 2013-09-26 2018-04-04 矢崎総業株式会社 表示制御装置
JP6609098B2 (ja) 2014-10-30 2019-11-20 キヤノン株式会社 表示制御装置、表示制御方法、及びコンピュータプログラム
JP2015053734A (ja) * 2014-12-05 2015-03-19 セイコーエプソン株式会社 プロジェクター、画像投写システムおよび画像投写方法
FR3048099B1 (fr) * 2016-02-18 2018-03-23 Airbus Operations Systeme de controle permettant la comparaison de deux chaines de caracteres et procede d'installation d'une nouvelle configuration dans un aeronef
EP3429194B1 (en) * 2016-03-11 2021-03-31 Sony Corporation Image processing device and method

Also Published As

Publication number Publication date
JP2005094599A (ja) 2005-04-07

Similar Documents

Publication Publication Date Title
JP4371749B2 (ja) プロジェクタおよびそのテストパターン検出方法
JP4232042B2 (ja) 投写制御システム、プロジェクタ、プログラム、情報記憶媒体および投写制御方法
JP4487191B2 (ja) 画像処理装置および画像処理プログラム
US8823812B2 (en) Image capturing apparatus and method for displaying a subject of image capturing and indicating motion of the image capturing apparatus during the image capturing
US20070285521A1 (en) Image sensing apparatus, and control method, program, and storage medium of image sensing apparatus
JP2009124340A (ja) 撮像装置、撮影支援方法、及び撮影支援プログラム
KR20090022710A (ko) 디지털 촬영장치, 그 제어방법 및 이를 실행시키기 위한프로그램을 저장한 기록매체
JP2008236672A (ja) カメラ、および画像補正値算出方法
JP2010147661A (ja) 電子カメラ
JP3937924B2 (ja) 撮像装置及びその制御方法
JP4893330B2 (ja) 撮像装置
JP2018159838A (ja) 画像投影装置とその制御方法、プログラム及び記憶媒体
JP2000081593A (ja) 投射型表示装置及びそれを用いた映像システム
JP2010146328A (ja) プロジェクタ、その制御方法、及びその制御プログラム
JP2006054824A (ja) 投射型映像表示装置
KR20100019605A (ko) 후방 카메라 디스플레이 시스템
JP2007124273A (ja) 撮像装置
JP5162855B2 (ja) 画像処理装置、遠隔画像処理システム及び画像処理方法
JP2004312549A (ja) パノラマ画像撮影装置及びパノラマ画像撮影方法
JP6157274B2 (ja) 撮像装置、情報処理方法及びプログラム
JP2007065541A (ja) 画像表示装置
JP2001169151A (ja) 電子カメラ
JP2010130481A (ja) 画像投射装置
JP2020053960A (ja) 撮像装置、該撮像装置の制御方法、及びプログラム
JP5200759B2 (ja) 投写型表示装置および画像の補正方法

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20050322

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060615

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20070126

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20080617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090407

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20090522

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090605

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090825

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090901

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120911

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120911

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120911

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees