JP3971201B2 - デジタルカメラ - Google Patents

デジタルカメラ Download PDF

Info

Publication number
JP3971201B2
JP3971201B2 JP2002042548A JP2002042548A JP3971201B2 JP 3971201 B2 JP3971201 B2 JP 3971201B2 JP 2002042548 A JP2002042548 A JP 2002042548A JP 2002042548 A JP2002042548 A JP 2002042548A JP 3971201 B2 JP3971201 B2 JP 3971201B2
Authority
JP
Japan
Prior art keywords
image data
image
recording
digital
compressed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002042548A
Other languages
English (en)
Other versions
JP2003244507A (ja
Inventor
宏志 田中
克弥 牧岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2002042548A priority Critical patent/JP3971201B2/ja
Publication of JP2003244507A publication Critical patent/JP2003244507A/ja
Application granted granted Critical
Publication of JP3971201B2 publication Critical patent/JP3971201B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、固体撮像素子によって撮像し、光電変換してアナログ画像データを得る撮像機能と、前記アナログ画像データをアナログ−デジタル変換してデジタル画像データを作成し記録媒体に記録するデジタル画像データ記録機能と、を備えたデジタルカメラに関するものである。
【0002】
【従来の技術】
従来、デジタルカメラでは、CCD(Charge Coupled Device)を用い、静止画等を撮影すると、その画像データはアナログ−デジタル変換された後、予め設定された圧縮形式(例えば、JPEG)によって圧縮した状態でメモリカード等の記録媒体に記録して保存する。
【0003】
圧縮保存された画像データ(以下、JPEGデータという)は、デジタルカメラ上の液晶モニタへの再生時には伸長されて表示される。また、インデックス画像等を表示する場合には、予めJPEG圧縮画像とは別にサムネイル画像を準備しておき、これを読み出すことで、読出し処理時間の短縮化を図っている。
【0004】
デジタルカメラは、容易に外部制御装置(パソコン)との接続が可能であり、前記記録媒体に記録された画像データをパソコン上に取り込み、様々な加工を加えた状態で、プリントアウトしたりすることができるため、近年急速に普及している。
【0005】
ここで、特にプロユースとして、デジタルカメラで撮影した画像を業務として適用することも多くなってきている。この場合、高画質で撮影された画像が一度圧縮されると、圧縮率にもよるが、本来撮影したときの画像データに比べて画質等が低下する場合がある。
【0006】
そこで、従来では、前記圧縮画像記録制御機能とは別に、撮影した画像をそのまま、すなわち生画像データ(以下、CCD−rawデータ)を記録媒体に記録しておき、パソコン上にこのCCD−rawを取り込むことができるように、生画像記録制御機能を持ったデジタルカメラが提案されている(特開平6−90435号公報、特開平11−261933号公報参照)。
【0007】
上記先行技術で開示されているように、CCD−rawデータは、通常のJPEGデータと異なり、デジタルカメラの液晶モニタに再生表示する上で必要な処理がなされていないため、CCD−rawデータの再生時には補間AE、AWB、ガンマ調整等の必要な処理を全て行わなければならず、時間を要する。このため、デジタルカメラ上の再生、コマ送りが快適に行われなくなり、ユーザに不快感を与えることになる。
【0008】
これを解消するために、CCD−rawデータから専用のサムネイル画像を生成し、元のCCD−rawデータと共に記録媒体に記録しておくことが提案されているが、サイムネイルを生成するための処理がデジタルカメラの制御の複雑化を招き、他に処理速度が負担を強いられる結果となる。
【0009】
【発明が解決しようとする課題】
本発明は上記事実を考慮し、撮影した画像データを生画像データとして記録媒体に記録する生画像記録制御機能を適用したときに、併せて圧縮画像記録制御機能を適用して圧縮画像データを再生時の画像データ用として作成しておくことで、画像再生時の制御負担を軽減することができるデジタルカメラを得ることが目的である。
【0010】
【課題を解決するための手段】
請求項1に記載の発明は、固体撮像素子によって撮像し、光電変換してアナログ画像データを得る撮像機能と、前記アナログ画像データをアナログ−デジタル変換してデジタル画像データを作成し記録媒体に記録するデジタル画像データ記録機能と、を備えたデジタルカメラであって、前記デジタル画像データをJPEG形式で圧縮してJPEGファイル構造で前記記録媒体に記録する圧縮画像記録制御手段と、前記デジタル画像データを、前記デジタルカメラのモニタに再生表示する上で必要な処理がなされていない未処理状態で前記記録媒体に記録する生画像記録制御手段と、前記生画像記録制御手段を用いてデジタル画像データを前記未処理状態で前記記録媒体に記録する際に、併せて前記圧縮画像記録制御手段を用いて得られる前記JPEG形式で圧縮した圧縮画像データをモニタ再生専用として前記JPEGファイル構造で記録する再生画像記録制御手段と、を有している。
【0011】
請求項1記載の発明によれば、モニタ再生する場合に、未処理状態のデジタル画像データを用いると、モニタ再生するための処理(補間AE、AWB、ガンマ調整等)が必要となるが、この未処理状態のデジタル画像データと共に圧縮画像データをモニタ再生専用として記録しておけば、短時間で再生ができ、制御に負担をかけることがない。
【0012】
なお、ここでいう未処理状態のデジタル画像データとは、相関2重サンプリング後、アナログで色フィルタの感度補正して、A/D後記録したデータ、ダーク(黒)データを補正後記録したデータ、ホワイトバランス後色フィルタの配列状態のまま記録したデータの少なくとも1つを含む。
【0013】
請求項2に記載の発明は、前記請求項1に記載の発明において、前記再生画像記録制御手段で記録されたモニタ再生専用の圧縮画像データは、前記生画像記録制御手段を用いて作成された未処理状態のデジタル画像データを記録するために設定された領域内の一部に記録することを特徴している。
【0014】
請求項2に記載の発明によれば、記録媒体に画像データを記録する場合、それぞれの撮影画像毎に領域を設けるのが一般的である。このとき、モニタ再生専用の圧縮画像データを、未処理状態のデジタル画像データを記録するために設けた領域の一部に格納しておけば、別途ファイルとして構築する必要がなく、例えば、PC(パソコン)等に画像取り込む際に紛らわしくなったり、関連性を崩れたりするような不具合がない。
【0015】
請求項3に記載の発明は、前記請求項1又は請求項2に記載の発明において、前記モニタ再生専用の圧縮画像データは、最も解像度の低い画素数の圧縮を施すことを特徴としている。
【0016】
請求項3に記載の発明によれば、モニタ再生専用の圧縮画像データは、モニタ上で確認できればよく、また一般的にモニタサイズに小さいため、最も解像度の低い画素数の圧縮を施すことで、モニタでの視認性を損なうことなく、かつ制御の負担を軽減することができる。
【0017】
【発明の実施の形態】
図1に本実施の形態に係るデジタルカメラ10における制御系が示されている。デジタルメラ10には、撮像部18が配設されている。撮像部18は、レンズ18A、メカニカル・シャッタ及び絞り(図示省略)が配設され、レンズ18Aから入射した光を、メカニカル・シャッタが開放しているときに、絞りを介して、CCD18Bに入射させる構成である。
【0018】
また、デジタルカメラ10にはストロボ12が設けられ、必要に応じて、ストロボ制御部14の制御により、手動又は自動で発光するようになっている。
【0019】
デジタルカメラ10の前記撮像部18、ストロボ制御部14を含む各制御デバイスは、バス16によって接続され、CPU20によってその動作が制御されるようになっている。各制御デバイスは、バッテリ22からの電源が供給され、動作可能となっている。
【0020】
バス16には、制御デバイスとして、システムメモリ(RAMやROM)24、不揮発性メモリ26、タイマ機能部28、カレンダ/時計機能部30がそれぞれ接続されている。
【0021】
また、バス16には、I/Oポート32が接続され、このI/Oポート32には、デジタルカメラ10の筐体34(図2参照)に取り付けられる操作・表示系36からの信号の入出力がなされる。
【0022】
図2に示される如く、デジタルカメラ10の筐体34の裏面側(前記撮像部18が配設された側とは反対側)には、液晶モニタ(LCD)38が配設されている。このLCD38の上部は、前記操作・表示系の一部である、コマ番号表示部40が設けられ、例えば、7セグメント液晶表示によって、撮影コマ番号が表示されるようになっている。
【0023】
また、操作・表示系として、筐体34の裏面側におけるLCD38の右側には、前記LCD38上に表示される画像のコマ切り替え、項目選択等に適用される円形の上下左右キー42が配設されている。この円形の上下左右キー42の軸線を上下左右に傾斜することで、それぞれに傾斜させたときに異なるスイッチの接点が切り替わり、当該切り替え信号が前記I/O32(図1参照)に入力されるようになっている。
【0024】
この上下左右キー42の下部には、縦方向に上からメニューボタン44、実行ボタン46、取消ボタン48が配列されている。また、筐体34の上面には、レリーズボタン50とモード設定ダイヤル52とが設けられている。
【0025】
モード設定ダイヤル52とメニューボタン44とが操作されると、LCD38上には、例えば、図3に示される如く、各種設定を行うためのセットアップ画面54が表示されるようになっている。
【0026】
実行ボタン46は、上記セットアップ画面54上で、前記上下左右キー42による機能選択後の決定時に操作され、取消ボタン48は、当該決定した機能のキャンセルの際に操作される。
【0027】
図1に示される如く、バス16には、カードI/F56を介して、記録媒体としてのメモリカード58が着脱可能なメモリカードスロット60が接続されている。前記撮像部18で撮影された画像データは、このメモリカードスロット60に装填されたメモリカード58に記録されることになる。
【0028】
ここで、本実施の形態では、メモリカード58への画像データの記録モードとして、JPEG形式で圧縮されたJPEGデータを記録するJPEG記録制御機能と、圧縮を施さない生画像データ(CCD−rawデータ)を記録するCCD−raw記録制御機能とが設定されている。
【0029】
JPEG記録制御機能によってメモリカード58に記録されるファイル構造は、図4に示される如く、Tag情報領域62、サムネイル領域64、主画像領域66とに分類されている。なお、上記各領域は、一般的なJPEGファイル構造と同様であるので詳細な説明は省略する。
【0030】
これに対して、CCD−raw記録制御機能によってメモリカード58に記録されるファイル構造は、図5に示される如く、ヘッダブロック領域68、表示用画像ブロック領域70、CCD−raw画像ブロック領域74とに分類されている。
【0031】
ヘッダブロック領域68は、メーカー識別子格納部76、フォーマット識別子格納部78、フィーマットバージョン格納部80、互換性コード格納部82、機種識別子格納部84、機種バージョン格納部86、表示データオフセット格納部88、表示画像データ長格納部90、再生パラメータセットオフセット格納部92、再生パラメータセット長格納部94、CCD−rawデータオフセット格納部96、CCD−rawデータ長格納部98に分類されている。
【0032】
表示用画像ブロック領域70には、前記JPEGファイル構造がそのまま格納されており、その詳細は、Tag情報領域62、サムネイル領域64、表示画像領域66とに分類されている。
【0033】
すなわち、デジタルカメラ10のLCD38上で画像を再生表示する場合には、この表示用画像ブロック領域70に格納された、JPEG画像データ(この場合は、VGA(640×480画素))又はサムネイル画像データが読み出されるようになっている。また、CCD−raw画像ブロック領域74は、再生パラメータセット格納部100と、CCD−rawデータ格納部102とに分類されている。このCCD−rawデータ格納部102に格納された画像データが、撮影された生画像データとなる。
【0034】
前記撮像部18に入力された信号は、信号処理部104に送出され、相関2重サンプリング等のノイズ低減処理が施されると共に、ゲインコントロールがなされ、A/D変換部106へ送出される。
【0035】
A/D変換部106でA/D変換された画像データは、CPU20からの指示に応じて、圧縮/伸長部108へ送られて圧縮処理(JPEG)がなされるか或いはそのまままの状態でカードI/F56を介してメモリカードスロット60へ送られるようになっている。
【0036】
メモリカード58に記録された画像データは、CPU20からの再生表示指示に基づいて読み出され、フレームメモリ110に格納され、LCD制御部112の制御により、LCD12に表示される。なお、このとき、LCD112には、OSD(オンスクリーンディスプレイ部114によって制御される、当該画像データに基づく画像表示と共に文字やキャラクタデータ等が重ねて表示されるようになっている。
【0037】
なお、バス16には、外部I/F116が接続され、コネクタ118を介してパソコン等の外部制御装置(以下PC120という)と直接接続することが可能となっており、このPC120に前記メモリカード58に記録した画像データを伝送することができるようになっている。
【0038】
以下に本実施の形態の作用を説明する。
【0039】
デジタルカメラ10で撮影を行なう前に、モード設定ダイヤル52を操作してセットアップ画面54をLCD38に表示する。
【0040】
セットアップ画面により、撮影の条件を設定する。まず、上下左右キー42によって記録モードを選択(反転表示)し、実行ボタンを操作すると、記録モードの選択が可能となる。記録モードの項目では、図3に示される如く、JPEG/FINE、JPEG/BASIC及びCCD−rawというモードが設定されている。
【0041】
図3ではJPEG/FINE、JPEG/BASIC、CCD−rawが表示され、上下左右キー42によって選択するべき記録モードを選択(反転表示)し、実行ボタン46を操作する。
【0042】
同様に、JPEG画素数、シャープネス、ビープ音の項目を必要に応じて選択し、それぞれ設定する。
【0043】
撮影モードでは、LCD38上に撮像部18で撮影されているプレビューが表示され、所定の画角が決まるとレリーズボタン50が操作され、撮影が実行される。
【0044】
記録モードがJPEG/FINE又はJPEG/BASICの場合、撮像部18で撮像されたデータは、信号処理部104へ送出され、相関2ジュウサンプリングによるノイズ低減処理、ゲインコントロール等の処理がなされた後、A/D変換されて、デジタル画像データを生成する。
【0045】
その後、圧縮/伸長部108において、デジタル画像データを圧縮し、メモリカード58に記録する。
【0046】
一方、記録モードがCCD−rawの場合、撮像部18で撮像されたデータは、信号処理部104で相関2重サンプリング後、アナログで色フィルタの感度補正をしてA/D変換部106でのA/D変換のみがなされた状態、すなわち生画像データがメモリカード58に記録される。
【0047】
また、併せて、このCCD−rawの記録モードの場合には、前記JPEG/FINE、JPEG/BASICと同様の処理が実行され、LCD38に再生するための再生専用の画像データとして圧縮された画像データ(VGA)が生成され、CCD−rawの格納領域の一部に格納される(図5に示す表示用画像ブロック領域70参照)。
【0048】
再生モードでは、インデックスモードが選択された場合は、記録モードがいずれの場合であっても、メモリカード58に記録された各画像領域のサムネイル画像領域64からからサムネイル画像が読み出され、LCD上にインデックス画像として、マトリクス状に撮影済の画像が表示される。
【0049】
このとき、CCD−rawファイル形式においては、表示用画像ブロック領域70の一部として設けたサムネイル画像領域からサムネイル画像が読み出されることになる。
【0050】
また、1画像再生モードが選択された場合においても、JPEGファイル形式で記録されている場合には、主画像領域66から圧縮された画像データが読み出され、圧縮/伸長部108において伸長され、フレームメモリ110に展開した後に、LCD38に表示される。一方、CCD−rawファイル形式で記録されている場合には、前記表示用画像ブロック領域70の再生画像領域66から圧縮された画像データが読み出され、圧縮/伸長部108において伸長され、フレームメモリ110に展開した後に、LCD38に表示される。
【0051】
以上説明したように、本実施の形態では、記録モードをCCD−rawとして撮影したときに、CCD−rawファイル形式の一部の領域に、JPEGファイル形式でメモリカード58に記録する構造と同様の構造の表示用画像ブロック領域70を設け、LCD28への再生表示専用の画像データとして利用するようにしたため、LCD28へ再生表示する度に、CCD−rawデータ(生画像デー)読出し、信号処理部104で実行するような処理を行わう必要がなくなり、迅速に再生が可能となる。また、その分、制御の負担も軽くなる。
【0052】
【発明の効果】
以上説明した如く本発明では、撮影した画像データを生画像データとして記録媒体に記録する生画像記録制御機能を適用したときに、併せて圧縮画像記録制御機能を適用して圧縮画像データを再生時の画像データ用として作成しておくことで、画像再生時の制御負担を軽減することができるという優れた効果を有する。
【図面の簡単な説明】
【図1】本実施の形態に係るデジタルカメラの制御ブロック図である。
【図2】デジタルカメラの外観を背面側から見た斜視図である。
【図3】セットアップ画面正面図である。
【図4】JPEGデータのファイル構造を示す模式図である。
【図5】CCD−rawデータのファイルム構造を示す模式図である。
【符号の説明】
10 デジタルカメラ
16 バス
18 撮像部
18B CCD
20 CPU
38 LCD
54 セットアップ画面
58 メモリカード(記録媒体)
68 ヘッダブロック領域
70 表示用画像ブロック領域
74 CCD−raw画像ブロック領域
102 CCD−rawデータ格納部
104 信号処理部
106 A/D変換部
108 圧縮/伸長部

Claims (3)

  1. 固体撮像素子によって撮像し、光電変換してアナログ画像データを得る撮像機能と、前記アナログ画像データをアナログ−デジタル変換してデジタル画像データを作成し記録媒体に記録するデジタル画像データ記録機能と、を備えたデジタルカメラであって、
    前記デジタル画像データをJPEG形式で圧縮してJPEGファイル構造で前記記録媒体に記録する圧縮画像記録制御手段と、
    前記デジタル画像データを、前記デジタルカメラのモニタに再生表示する上で必要な処理がなされていない未処理状態で前記記録媒体に記録する生画像記録制御手段と、
    前記生画像記録制御手段を用いてデジタル画像データを前記未処理状態で前記記録媒体に記録する際に、併せて前記圧縮画像記録制御手段を用いて得られる前記JPEG形式で圧縮した圧縮画像データをモニタ再生専用として前記JPEGファイル構造で記録する再生画像記録制御手段と、
    を有するデジタルカメラ。
  2. 前記再生画像記録制御手段で記録されたモニタ再生専用の圧縮画像データは、前記生画像記録制御手段を用いて作成された未処理状態のデジタル画像データを記録するために設定された領域内の一部に記録することを特徴とする請求項1記載のデジタルカメラ。
  3. 前記モニタ再生専用の圧縮画像データは、最も解像度の低い画素数の圧縮を施すことを特徴とする請求項1又は請求項2記載のデジタルカメラ。
JP2002042548A 2002-02-20 2002-02-20 デジタルカメラ Expired - Fee Related JP3971201B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002042548A JP3971201B2 (ja) 2002-02-20 2002-02-20 デジタルカメラ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002042548A JP3971201B2 (ja) 2002-02-20 2002-02-20 デジタルカメラ

Publications (2)

Publication Number Publication Date
JP2003244507A JP2003244507A (ja) 2003-08-29
JP3971201B2 true JP3971201B2 (ja) 2007-09-05

Family

ID=27782597

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002042548A Expired - Fee Related JP3971201B2 (ja) 2002-02-20 2002-02-20 デジタルカメラ

Country Status (1)

Country Link
JP (1) JP3971201B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7480382B2 (en) 2003-09-30 2009-01-20 Microsoft Corporation Image file container
JP4466378B2 (ja) 2005-01-11 2010-05-26 株式会社ニコン 履歴付加装置、電子カメラ、および画像処理プログラム
JP4560422B2 (ja) * 2005-02-16 2010-10-13 キヤノン株式会社 撮像装置及びその制御方法
JP6278353B2 (ja) * 2014-02-25 2018-02-14 キヤノン株式会社 記録装置、記録方法、プログラム、ならびに撮像装置
JP6429588B2 (ja) * 2014-10-22 2018-11-28 キヤノン株式会社 画像処理装置及び画像処理方法
JP2020102660A (ja) * 2018-12-19 2020-07-02 パナソニックIpマネジメント株式会社 撮像装置

Also Published As

Publication number Publication date
JP2003244507A (ja) 2003-08-29

Similar Documents

Publication Publication Date Title
JP4357151B2 (ja) デジタルカメラ及び画像データ処理システム
US7728886B2 (en) Image recording apparatus and method
US20050024517A1 (en) Digital camera image template guide apparatus and method thereof
JP2008022240A (ja) 撮影装置,画像処理装置、及び画像ファイル生成方法,画像処理方法、並びに画像処理プログラム
JP2007053537A (ja) 撮像装置
JP3899497B2 (ja) 電子カメラ、電子カメラの制御方法、および、記録媒体
JP4795297B2 (ja) 撮像装置及びその制御方法
JP3971201B2 (ja) デジタルカメラ
JP3956431B2 (ja) 合成写真機能付き電子カメラ
US11622175B2 (en) Electronic apparatus and control method thereof
JP4985180B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び撮像装置
JP4570171B2 (ja) 情報処理装置および記録媒体
JP4045377B2 (ja) 情報処理装置および記録媒体
JP2008182499A (ja) 画像処理装置、および画像処理プログラム
KR101246296B1 (ko) 디지털 영상 처리 장치에서 영상 촬영 방법
JP2004242093A (ja) デジタルカメラ
JP2007036314A (ja) 撮影装置および方法、画像領域抽出装置および方法並びにプログラム
JP4449692B2 (ja) 電子カメラ
JP2681538B2 (ja) ディジタル電子スチル・カメラ
JP4423681B2 (ja) 情報処理装置および記録媒体
JPH10224690A (ja) 情報処理装置および記録媒体
JP4012471B2 (ja) デジタルカメラ
JP4437562B2 (ja) 情報処理装置および記憶媒体
JP4887775B2 (ja) 画像再生システム及びプログラム
JP4452430B2 (ja) 撮像装置及び画像表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040315

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060124

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061003

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061130

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20061212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070605

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070607

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 3971201

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100615

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110615

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110615

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120615

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120615

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130615

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees