JP2007116635A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2007116635A
JP2007116635A JP2005308835A JP2005308835A JP2007116635A JP 2007116635 A JP2007116635 A JP 2007116635A JP 2005308835 A JP2005308835 A JP 2005308835A JP 2005308835 A JP2005308835 A JP 2005308835A JP 2007116635 A JP2007116635 A JP 2007116635A
Authority
JP
Japan
Prior art keywords
unit
special effect
compression
image
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005308835A
Other languages
English (en)
Other versions
JP4582648B2 (ja
JP2007116635A5 (ja
Inventor
Hirofumi Takei
浩文 竹井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2005308835A priority Critical patent/JP4582648B2/ja
Publication of JP2007116635A publication Critical patent/JP2007116635A/ja
Publication of JP2007116635A5 publication Critical patent/JP2007116635A5/ja
Application granted granted Critical
Publication of JP4582648B2 publication Critical patent/JP4582648B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

【課題】
特殊効果の効果を高めつつ、より効率的に記録媒体を使用する。
【解決手段】
フィルムグレイン処理に対して、システム制御回路18は、撮像部12の撮影フレームレートを24フレーム/秒に設定し、圧縮部14の圧縮率を低圧縮率に設定する。モザイク処理に対しては、システム制御回路18は、撮像部12の撮影フレームレートをデフォルトの30フレーム/秒に設定し、圧縮部14の圧縮率を高圧縮率に設定する。
【選択図】
図1

Description

本発明は、撮像装置に関し、より具体的には、再生時の特殊効果を設定可能な撮像装置に関する。
従来、MPEG又はMotion JPEG等の圧縮方式を利用し、圧縮画像データを記録媒体に記録するビデオカメラが知られている。また、撮影時に、特殊効果を示す付加情報を画像データと一緒に記録媒体に記録し、再生時には、この付加情報に基づき、再生画像に特殊効果を施して出力するビデオカメラも知られている(特許文献1参照)。
また、画像に施す特殊効果として、画像にフィルム特有の細かな粒子状のノイズを付加し、あたかも映画用フィルムカメラで撮影したかのような画像処理が知られている(特許文献2)。この画像処理は、一般にフィルムグレイン処理と呼ばれる。フィルムグレイン処理で画像に付加されるフィルム特有の細かな粒子状のノイズ成分は、フィルムグレイン成分と呼ばれる。
特開平11−205754号公報 特許第3110763号
画像データを圧縮記録する従来のビデオカメラでは、高圧縮率で画像データを記録すると、再生画像に妨害ノイズ(モスキートノイズ、ブロックノイズ)が多く発生してしまう。妨害ノイズが発生した再生画像にフィルムグレイン成分を付加すると、妨害ノイズ成分とフィルムグレイン成分が重なってしまい見苦しい画像になる場合があった。
これに対して、記録時の圧縮率を低くすると、妨害ノイズが少なくなり、フィルムグレイン処理の効果が顕著になるが、記録データ量が増し、記録媒体の記録容量を消費してしまう。
また、特殊効果として、画像を微小な矩形領域で平均化するモザイク処理がある。モザイク処理では、矩形領域内の高周波分が失われるので、その矩形領域に対して高圧縮率で画像を記録し、再生画像に妨害ノイズが出現したとしても、支障ない。即ち、モザイク処理が予定されている場合、記録時の圧縮率を高くすることができる。
さらに、これらの問題を避けるため、ユーザは、再生画像に施す特殊効果に応じて、記録時の圧縮率を手動で設定又は変更しており、撮影時の負担になっていた。
そこで、本発明は、上記のような問題点に鑑み、特殊効果に応じて記録条件を自動設定する撮像装置を提示することを目的とする。
上記の目的を達成するために、本発明に係る撮像装置は、被写体を撮影し画像データを出力する撮像手段と、当該撮像部からの画像データを圧縮する画像圧縮部と、特殊効果を指定する特殊効果指定手段と、当該画像圧縮部からの圧縮画像データと、当該特殊効果指定手段で指定される特殊効果を指定する特殊効果情報を記録媒体に記録する記録手段と、当該特殊効果指定手段で指定される特殊効果に応じて、当該撮像部の撮影フレームレート及び当該画像圧縮部の圧縮方法の少なくとも1つを制御する制御装置とを具備することを特徴とする。
本発明によれば、特殊効果情報に基づき、圧縮方法及びフレームレートの少なくとも一方を変更して、画像を記録するので、特殊効果の効果を高めつつ、より効率的に記録媒体を使用できる。
以下、図面を参照して、本発明の実施例を詳細に説明する。
図1は、本発明の一実施形態に係るビデオカメラの概略構成ブロック図である。図1において、ビデオカメラ10は、カムコーダ、デジタルカメラ又は民放用のカメラ等である。ビデオカメラ10は、撮像部12、圧縮部14、操作部16、システム制御回路18、記録再生部20、記録媒体22、伸長部24、特殊効果処理部26及び表示部28を具備する。表示部28の代わりに、外部の表示装置を使用してもよい。
撮像部12はCCDセンサまたはCMOSセンサを具備し、被写体の光学像を画像信号に変換する。圧縮部14はMPEG2等の動画圧縮方式により、撮像部12からの画像信号を圧縮し、圧縮画像データを生成する。
操作部16は、フィルムグレイン処理を指示するフィルムグレインスイッチ(不図示)、モザイク処理を行うモザイクスイッチ(不図示)、及びこれら以外の特殊効果処理を指示するスイッチを具備する。また、ユーザは、操作部16により、圧縮率の変更を、「高」、「低」又は数値でシステム制御回路18に指示できる。図示していないが、操作部16は、記録された動画像の再生を指示する再生スイッチ(不図示)、動画像の再生を停止する停止スイッチ(不図示)、動画像の記録/停止を指示する記録スイッチ(不図示)等も備えている。
システム制御回路18は、撮像部12のカメラ制御、圧縮部14の圧縮制御、特殊効果処理部26の特殊効果制御、及びビデオカメラ10全体の制御を司る。図1では、各制御信号を破線で図示し、画像データを実線で示している。
記録再生部20は、圧縮部14からの圧縮画像データを記録媒体22に転送する。また、記録再生部20は、システム制御回路18からの特殊効果に関する制御信号(特殊効果情報)を記録媒体22に転送する。すなわち、記録再生部20は、圧縮画像データと特殊効果情報を一体に記録媒体22に記録する。記録媒体22は、例えば、ハードディスク、光ディスク、光磁気ディスク、磁気テープ、又は不揮発性のメモリカード等である。
伸長部24は、記録媒体22から読み出された圧縮画像データを伸長し、元の画像データを復元する。特殊効果処理部26は、記録媒体22から読み出された特殊効果情報に従い、伸長部24で復元された画像信号に特殊効果を施す。施すべき特殊効果が無い場合、特殊効果処理部26は、伸長部24からの画像信号を表示部28にスルーする。表示部28は、特殊効果処理部26で特殊効果を施された再生画像、又はスルーされた再生画像を表示する。
次に、図2を用いて、本実施例の記録動作を説明する。図2は、本実施例の記録時の動作フローチャートである。
操作部16の記録スイッチが押下されると、システム制御回路18は、特殊効果処理の要求があったか否かを判別する(S10)。
フィルムグレインスイッチが押下されると(S11)、システム制御回路18は、圧縮部14に所定の低圧縮率を設定し(S12)、撮像部12のフレームレートをデフォルトの30フレーム/秒から24フレーム/秒に変更する(S13)。
また、特殊効果としてモザイク処理が選択された場合、具体的には、モザイクスイッチが押下されたか場合(S15)、システム制御回路18は、圧縮部14に所定の高圧縮率を設定し(S16)、撮像部12のフレームレートを30フレーム/秒に設定する(S17)。
特殊効果処理要求が無い場合には(S10)、ユーザは、任意の圧縮率を選択可能であり、システム制御回路18は、ユーザにより指定された圧縮率を圧縮部14に設定する(S18)。そして、システム制御回路18は、撮像部12のフレームレートを30フレーム/秒に設定する(S17)。
記録開始の指示に従い、撮像部12は、設定されたフレームレートで被写体を撮影し、圧縮部14は、設定された圧縮率で撮像部14からの画像データを圧縮する。記録再生部20は、圧縮部14からの圧縮画像データと、システム制御回路18からの特殊効果情報を、図3に示すような記録形式で一体に記録媒体22に記録する(S14)。特殊効果情報は、例えば、画像データのフレーム又はフィールド毎に付加情報として埋め込まれる。特殊効果処理要求が無い場合、特殊効果情報は、空白又はNULLである。
即ち、フィルムグレイン処理の場合、撮像部12は、24フレーム/秒で被写体を撮影し、圧縮部14は、設定された低圧縮率で撮像部14からの画像データを圧縮する。システム制御回路18は、フィルムグレイン処理を示す情報を特殊効果情報として記録再生部20に供給する。記録再生部20は、圧縮部14からの、24フレーム/秒で低圧縮率の圧縮画像データと、システム制御回路18からの特殊効果情報を、図3に示すような記録形式で一体に記録媒体22に記録する。
モザイク処理の場合、撮像部12は、30フレーム/秒で被写体を撮影し、圧縮部14は、設定された高圧縮率で撮像部14からの画像データを圧縮する。システム制御回路18は、モザイク処理を示す情報を特殊効果情報として記録再生部20に供給する。記録再生部20は、圧縮部14からの、30フレーム/秒で高圧縮率の圧縮画像データと、システム制御回路18からの特殊効果情報を、図3に示すような記録形式で一体に記録媒体22に記録する。
特殊効果処理の要求がない場合又はキャンセルされた場合、撮影条件又は記録条件は、ユーザの設定した圧縮率又はデフォルトの圧縮率で、30フレーム/秒での撮影になる。
次に、図4を用いて、再生動作を説明する。図4は、本実施例の再生動作のフローチャートである。
再生スイッチが押下されたか否かを判別する(S20)。再生スイッチが押下されないと(S20)、再生スイッチが押下されるまで待つ。再生スイッチが押下されると(S20)、システム制御回路18は、記録再生部20に指示して、記録媒体22から圧縮画像データを伸長部24に、特殊効果情報を特殊効果処理部26に読み出させる(S21)。
伸長部24は、記録再生部20からの圧縮画像データを伸長する。特殊効果処理部26は、読み出された特殊効果情報に基づき、伸長部24からの復元画像信号に特殊効果を施す。具体的には、フィルムグレイン処理の場合(S23)、特殊効果処理部26は、ランダムノイズ又はガウシアンノイズ等を伸長部24からの復元画像信号に重畳する(S24)。モザイク処理の場合(S26)、特殊効果処理部26は、復元画像信号の対象部分を微小な矩形領域で平均化する(S27)。フィルムグレイン処理でも、モザイク処理でもない場合、即ち、特殊効果が不要な場合に(S26)、特殊効果処理部26は、復元画像信号をスルーする(S28)。
ステップS24,S27,S28で処理された画像信号が表示部28に印加され、表示される(S25)。
なお、本実施例では、フィルムグレイン処理やモザイク処理を挙げて説明したが、特殊効果はこれに限らない。例えば、オートフェード(白フェード)があり、画像が徐々に白くなっていくオートフェード(白フェード)がある。このオートフェードに対しては、記録時に画像の圧縮率を高く設定する。また、オートフェードの他に、ワイプ、オーバーラップ等のフェーダー機能もある。
本実施例では、フィルムグレイン処理に対して圧縮率とフレームレートの両方を変更したが、どちらか一方だけを変更するようにしてもよい。
さらに、圧縮部14は、撮像部12からの24フレーム/秒の撮影画像を、2:3プルダウン方式(図5)又は2:3:3:2プルダウン方式(図6)で60フィールド/秒のNTSC信号に変換してから、圧縮してもよい。
他方、圧縮部14の圧縮方式としてH.264方式を用いる場合、H.264方式に備えられているデブロッキングフィルタをフィルムグレイン処理に利用できる。
圧縮部14以降の処理は、コンピュータで代替可能である。コンピュータ上で上記各機能を実現するソフトウエアのプログラムコードは、本発明の主要な一部を構成する。
このように、本実施例によれば、フィルムグレイン処理に対して撮影画像を低圧縮率で圧縮記録するので、画像中のブロックノイズ又はモスキートノイズを少なくすることができ、より効果的なフィルムグレイン処理が行える。モザイク処理に対しては、撮影画像の圧縮率を高く制御することで、より効果的に記録媒体22の容量を使用することができる。さらに、撮像部のフレームレートを24フレームレート/秒に制御することにより、フィルムグレインの効果を高めることができ、映画と同等の映像も楽しむことができる。
本発明の一実施例の概略構成ブロック図である。 本実施例の記録動作のフローチャートである。 特殊効果情報と圧縮画像データの記録フォーマットの模式図である。 本実施例の再生動作のフローチャートである。 2:3プルダウン方式のイメージ図である。 2:3:3:2プルダウン方式のイメージ図である。
符号の説明
10 ビデオカメラ
12 撮像部
14 圧縮部
16 操作部
18 システム制御回路
20 記録再生部
22 記録媒体
24 伸長部
26 特殊効果処理部
28 表示部

Claims (8)

  1. 被写体を撮影し画像データを出力する撮像手段(12)と、
    当該撮像部からの画像データを圧縮する画像圧縮部(14)と、
    特殊効果を指定する特殊効果指定手段(16)と、
    当該画像圧縮部からの圧縮画像データと、当該特殊効果指定手段で指定される特殊効果を指定する特殊効果情報を記録媒体(22)に記録する記録手段(20)と、
    当該特殊効果指定手段で指定される特殊効果に応じて、当該撮像部の撮影フレームレート及び当該画像圧縮部の圧縮方法の少なくとも1つを制御する制御装置(18)
    とを具備することを特徴とする撮像装置。
  2. 当該特殊効果が画像にグレインノイズを付加する処理であることを特徴とする請求項1に記載の撮像装置。
  3. 当該制御装置は、当該撮像部からの当該画像データの高周波成分を保持するように当該圧縮部の当該圧縮方法を制御することを特徴とする請求項2に記載の撮像装置。
  4. 当該制御装置は、当該圧縮部の当該圧縮率を低くすることを特徴とする請求項3に記載の撮像装置。
  5. 当該制御装置は、当該撮像部の撮影フレームレートを通常よりも低くすることを特徴とする請求項1乃至4に記載の撮像装置。
  6. 当該特殊効果が、画像を微小な矩形領域で平均化するモザイク処理であることを特徴とする請求項1に記載の撮像装置。
  7. 当該制御装置は、当該撮像部からの当該画像データの高周波成分を低減するように当該圧縮部の当該圧縮方法を制御することを特徴とする請求項7に記載の撮像装置。
  8. 当該制御装置は、当該圧縮部の当該圧縮率を高くすることを特徴とする請求項8に記載の撮像装置。
JP2005308835A 2005-10-24 2005-10-24 撮像装置 Expired - Fee Related JP4582648B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005308835A JP4582648B2 (ja) 2005-10-24 2005-10-24 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005308835A JP4582648B2 (ja) 2005-10-24 2005-10-24 撮像装置

Publications (3)

Publication Number Publication Date
JP2007116635A true JP2007116635A (ja) 2007-05-10
JP2007116635A5 JP2007116635A5 (ja) 2008-12-04
JP4582648B2 JP4582648B2 (ja) 2010-11-17

Family

ID=38098389

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005308835A Expired - Fee Related JP4582648B2 (ja) 2005-10-24 2005-10-24 撮像装置

Country Status (1)

Country Link
JP (1) JP4582648B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012119792A (ja) * 2010-11-29 2012-06-21 Olympus Imaging Corp 撮像装置および撮像プログラム
JP2012199835A (ja) * 2011-03-22 2012-10-18 Olympus Imaging Corp 撮像装置および撮像プログラム
US8593544B2 (en) 2010-11-11 2013-11-26 Olympus Imaging Corp. Imaging apparatus, imaging method, and computer-readable recording medium
JP2014112979A (ja) * 2014-03-27 2014-06-19 Olympus Imaging Corp 撮像装置、表示方法およびプログラム
US9241112B2 (en) 2010-09-03 2016-01-19 Olympus Corporation Imaging apparatus, imaging method and computer-readable recording medium

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07298112A (ja) * 1994-04-26 1995-11-10 Canon Inc 動画撮像システム
JPH09508507A (ja) * 1994-01-25 1997-08-26 グレン ビー プルジボルスキー フィルムのようなビデオを生成する装置及び方法
JPH11205754A (ja) * 1997-12-29 1999-07-30 Samsung Electron Co Ltd 特殊効果処理装置及びその方法
JP2002320203A (ja) * 2001-04-19 2002-10-31 Matsushita Electric Ind Co Ltd 映像信号記録装置および映像信号再生装置
JP2003069945A (ja) * 2001-08-27 2003-03-07 Olympus Optical Co Ltd 電子撮像機能を有するカメラ
JP2004135155A (ja) * 2002-10-11 2004-04-30 Canon Inc 撮像装置、画像信号処理装置、画像信号処理方法、記憶媒体およびプログラム
JP2004336705A (ja) * 2003-02-21 2004-11-25 Matsushita Electric Ind Co Ltd 動画像符号化方法、動画像復号化方法およびプログラム
JP2005079820A (ja) * 2003-08-29 2005-03-24 Canon Inc 画像処理装置、方法及びプログラム
JP2005191697A (ja) * 2003-12-24 2005-07-14 Casio Comput Co Ltd 動画撮影装置、動画記録方法、および、動画記録プログラム
JP2005229198A (ja) * 2004-02-10 2005-08-25 Sony Corp 画像処理装置および方法、並びに、プログラム
JP2005260504A (ja) * 2004-03-10 2005-09-22 Seiko Epson Corp ディジタルカメラ

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09508507A (ja) * 1994-01-25 1997-08-26 グレン ビー プルジボルスキー フィルムのようなビデオを生成する装置及び方法
JP3110763B2 (ja) * 1994-01-25 2000-11-20 グレン ビー プルジボルスキー フィルムのようなビデオを生成する装置及び方法
JPH07298112A (ja) * 1994-04-26 1995-11-10 Canon Inc 動画撮像システム
JPH11205754A (ja) * 1997-12-29 1999-07-30 Samsung Electron Co Ltd 特殊効果処理装置及びその方法
JP2002320203A (ja) * 2001-04-19 2002-10-31 Matsushita Electric Ind Co Ltd 映像信号記録装置および映像信号再生装置
JP2003069945A (ja) * 2001-08-27 2003-03-07 Olympus Optical Co Ltd 電子撮像機能を有するカメラ
JP2004135155A (ja) * 2002-10-11 2004-04-30 Canon Inc 撮像装置、画像信号処理装置、画像信号処理方法、記憶媒体およびプログラム
JP2004336705A (ja) * 2003-02-21 2004-11-25 Matsushita Electric Ind Co Ltd 動画像符号化方法、動画像復号化方法およびプログラム
JP2005079820A (ja) * 2003-08-29 2005-03-24 Canon Inc 画像処理装置、方法及びプログラム
JP2005191697A (ja) * 2003-12-24 2005-07-14 Casio Comput Co Ltd 動画撮影装置、動画記録方法、および、動画記録プログラム
JP2005229198A (ja) * 2004-02-10 2005-08-25 Sony Corp 画像処理装置および方法、並びに、プログラム
JP2005260504A (ja) * 2004-03-10 2005-09-22 Seiko Epson Corp ディジタルカメラ

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9241112B2 (en) 2010-09-03 2016-01-19 Olympus Corporation Imaging apparatus, imaging method and computer-readable recording medium
US8593544B2 (en) 2010-11-11 2013-11-26 Olympus Imaging Corp. Imaging apparatus, imaging method, and computer-readable recording medium
US8896726B2 (en) 2010-11-11 2014-11-25 Olympus Imaging Corp. Imaging apparatus and imaging method for generating electronic image data and performing special effect operations
JP2012119792A (ja) * 2010-11-29 2012-06-21 Olympus Imaging Corp 撮像装置および撮像プログラム
JP2012199835A (ja) * 2011-03-22 2012-10-18 Olympus Imaging Corp 撮像装置および撮像プログラム
JP2014112979A (ja) * 2014-03-27 2014-06-19 Olympus Imaging Corp 撮像装置、表示方法およびプログラム

Also Published As

Publication number Publication date
JP4582648B2 (ja) 2010-11-17

Similar Documents

Publication Publication Date Title
US7932935B2 (en) Imaging apparatus capable of reducing deterioration of an image even when the gain increased
US9769377B2 (en) Imaging apparatus and control method for handling a raw image of a moving image or a still image
US8743227B2 (en) Imaging apparatus and control method for reducing a load of writing image data on a recording medium
US8682134B2 (en) Apparatus and method for processing moving image data
US9918062B2 (en) Image capturing apparatus, control method of image capturing apparatus, and image processing method
EP3490250B1 (en) Image processing apparatus and image processing method
JP2007134880A (ja) 映像信号処理装置
US9396756B2 (en) Image processing apparatus and control method thereof
EP2974265B1 (en) Imaging apparatus and imaging apparatus control method
US20130236161A1 (en) Image processing device and image processing method
JP4582648B2 (ja) 撮像装置
US6968119B1 (en) Electronic camera with compression
US8379093B2 (en) Recording and reproduction apparatus and methods, and a recording medium storing a computer program for executing the methods
JP5600405B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4901673B2 (ja) 撮像装置、記録装置、再生装置、撮像方法、記録方法、再生方法及びプログラム
JP2009147743A (ja) 記録装置、再生装置、記録方法、再生方法及びプログラム
JP4280363B2 (ja) 画像処理装置
JP2010021710A (ja) 撮像装置、画像処理装置およびプログラム
JP5118465B2 (ja) 記録装置、再生装置、記録方法、再生方法及びプログラム
JP4027122B2 (ja) 撮像装置およびその制御方法
JP2001313906A (ja) デジタルカメラ
JP2007097146A (ja) 印刷要求タイミングに応じた静止画印刷方法及び装置
JP4147935B2 (ja) 撮像装置、画像再生装置及びプログラム
JP3789346B2 (ja) 動画像記録再生装置
JP5683127B2 (ja) 記録装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081020

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081020

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100611

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100825

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100826

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130910

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees