JP3752931B2 - Digital camera and image data processing method - Google Patents
Digital camera and image data processing method Download PDFInfo
- Publication number
- JP3752931B2 JP3752931B2 JP33979599A JP33979599A JP3752931B2 JP 3752931 B2 JP3752931 B2 JP 3752931B2 JP 33979599 A JP33979599 A JP 33979599A JP 33979599 A JP33979599 A JP 33979599A JP 3752931 B2 JP3752931 B2 JP 3752931B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- parameter
- storage means
- file size
- characteristic value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、撮影対象からの光をデジタル信号に変換し圧縮して記録するデジタルカメラ及びデジタルカメラにおいて画像データを圧縮する処理方法に関するものである。
【0002】
【従来の技術】
従来、CCD(Charge Coupled Device)等の撮像手段により光を電気信号に変換し、その電気信号をデジタルデータに変換してフラッシュメモリ等の記録媒体に記録するデジタルカメラが知られている。デジタルカメラを用いると、パーソナルコンピュータ等を用いて画像データの保存や様々な加工を個人で手軽に行えるほか、プリンタに画像データを出力することによりフィルムの現像をすることなく写真を印刷することができる。近年はプリンタの印刷品質の向上により、銀塩写真とほとんど区別がつかないほど品質の高い写真も印刷できるようになってきている。
【0003】
上記のようなデジタルカメラでは、記録媒体の容量に制限があるため、例えばJPEG(Joint Photographic coding Experts Group)の規格に準拠した非可逆圧縮方法(以下、「JPEGの規格に準拠した非可逆圧縮方法」をJPEGという。)により画像データを圧縮して容量を小さくし、1つの記録媒体に記録できる撮影回数を多くすることが行われている。
【0004】
JPEGアルゴリズムの基本構成は、原画像データを8×8画素のブロックに分割し、このブロックごとにDCT演算を行い、DCT演算によって得られたDCT係数をDC成分及びAC成分で独立して量子化する。量子化に用いられる量子化テーブルは符号化画像データのファイルサイズと符号化画像データの再生画質を決める要因となる。例えば、ある特定の画像データについてスケールファクタを大きくすることによって量子化特性値を大きくすると、圧縮率が大きくなり記録時のファイルサイズを小さくすることができる一方、再生画像の画質の劣化が顕著になる。
【0005】
また、量子化特性値と符号化画像データのファイルサイズと再生画質との関係は、圧縮前の画像データの画像特性によって変化するため、画像データが異なれば、同じ量子化特性値を用いたとしても記録時のファイルサイズ及び再生画質は異なるものとなる。例えば、画像の輪郭を構成する高周波成分が多い画像データは量子化特性値を大きくしたときに再生画質の劣化が顕著であるのに対し、高周波成分が少ない画像データは量子化特性値を大きくしたときに再生画質の劣化が少ない。
【0006】
【発明が解決しようとする課題】
しかし、従来のデジタルカメラによると、基準となる量子化テーブルに基づいて量子化特性値を決めるスケールファクタは固定値であるか、或いは撮影前に設定するものであったため、撮影後に画像データの特性に応じて量子化特性値を変更することができなかった。したがって、量子化特性値を大きくしたときの再生画質の劣化が少ない画像データについては量子化特性値を大きくして圧縮率を上げて記録媒体に記録する等、撮影後に適宜量子化特性値を変更することによって記録媒体を効率良く使用することができないという問題があった。
【0007】
本発明はこのような問題を解決するためになされたものであって、圧縮前の画像データの特性に応じて量子化特性値を変更することのできるデジタルカメラ及び画像データ処理方法を提供することを目的とする。
【0008】
【課題を解決するための手段】
本発明の請求項1記載のデジタルカメラによると、記憶手段の画像データに基づいて符号化画像データのファイルサイズを表示する画像特性出力手段を備えているため、オペレータは画像データを圧縮したときのファイルサイズを撮影後圧縮前に知ることができる。ファイルサイズを表示するにあたっては、例えば、画像データのコピーをソフトウェアで実際に圧縮し、圧縮後のファイルサイズをデジタルカメラの背面ディスプレイに表示し、或いは圧縮専用のLSIチップの機能を用いてファイルサイズを表示することができる。また、ファイルサイズを表示するにあたっては、ディスプレイに表示する数字に限らず、ディスプレイに表示するグラフ、或いは点灯するLEDの数による表示等、様々な方法を採りうる。
【0009】
また、圧縮に用いる量子化特性値を量子化テーブルに基づいて決めるためのパラメータを変更する手段を備えているため、オペレータは表示されたファイルサイズを参考にしてパラメータを変更し、撮影して得られた画像データの特性に応じて量子化特性値を変更することができる。圧縮記録手段は、このようにして変更されたパラメータによって決まる量子化特性値を用いて記憶手段の画像データを圧縮して符号化画像データを生成し記録媒体に格納するため、記録媒体は効率的に運用されることとなる。
【0010】
本発明の請求項1記載のデジタルカメラによると、画像特性出力手段は、所定のパラメータによって決まる量子化特性値を用いて記憶手段の画像データを圧縮した場合に生成される符号化画像データのファイルサイズを圧縮記録手段に問い合わせ、記憶手段の画像データについてパラメータと符号化画像データのファイルサイズとの相関関係情報を表示するため、オペレータはパラメータをどの程度増減させることによって所望のファイルサイズに圧縮することができるかを知ることができる。すなわち、オペレータは、パラメータによって再生画質が変動することを考慮してファイルサイズと再生画質の折り合いをつけて記録媒体を効率的に運用することができる。
【0011】
尚、画像特性出力手段から問い合わせを受けたときに圧縮記録手段が返す値は、圧縮記録手段が所定のパラメータによって決まる量子化特性値を用いて算出するものであり、例えば、いくつかのパラメータを用いてファイルサイズを算出し、その結果を解析することによって連続的な相関関係情報を出力するか、或いは、ある特定のパラメータを1つ用いて圧縮した場合に圧縮率がいくらになるかを出力することができる。例えば、デフォルトのパラメータを決めておき、デフォルトのパラメータを用いて圧縮した場合の圧縮率を表示することによって、オペレータは撮影した画像データの画像特性が圧縮効果が高いものであるか低いものであるかを知ることができる。このように圧縮率を表示する場合、画質の劣化を好まない被写体を撮影した場合には、オペレータは圧縮効果が高い画像データであるとき量子化特性値が小さくなるようにパラメータを変更するなどして記録媒体を効率的に運用することができる。尚、圧縮率とは圧縮前のファイルサイズと圧縮後のファイルサイズとの比率をいうものとする。
【0012】
本発明の請求項2記載のデジタルカメラによると、画像特性出力手段は相関関係情報をグラフ表示するため、オペレータはパラメータと圧縮後のファイルサイズとの相関関係を容易に理解することができる。
【0013】
本発明の請求項3記載のデジタルカメラによると、変更されたパラメータによって決まる量子化特性値を用いて記憶手段の画像データを圧縮した符号化画像データを復号して表示する復号画像確認手段を備える。このため、オペレータはパラメータによってどのような再生画質を得ることができるかを知った上で、パラメータを入力することができる。例えば、現在設定されているパラメータとともにパラメータと圧縮後のファイルサイズとの相関関係情報がグラフ表示されている状態において特定キーが押されると現在設定されているパラメータを用いて圧縮して符号化画像データを生成し、その符号化画像データを復号してデジタルカメラの背面ディスプレイに再生画像を表示する場合、オペレータは所望の再生画質を得ることができるパラメータを容易に設定することができる。
【0014】
本発明の請求項4記載の画像データ処理方法によると、記憶手段の画像データに基づいて符号化画像データのファイルサイズを表示する画像特性出力ステップを含むため、オペレータは画像データを圧縮したときのファイルサイズを撮影後圧縮前に知ることができる。また、圧縮に用いる量子化特性値を量子化テーブルに基づいて決めるためのパラメータの変更を受け付ける入力受付ステップを含むため、オペレータは表示されたファイルサイズを参考にしてパラメータを変更し、撮影して得られた画像データの特性に応じて量子化特性値を変更することができる。圧縮記録ステップは、このようにして変更されたパラメータによって決まる量子化特性値を用いて記憶手段の画像データを圧縮して符号化画像データを生成し記録媒体に格納するため、記録媒体は効率的に運用されることとなる。
【0015】
本発明の請求項4記載の画像データ処理方法によると、画像特性出力ステップにおいて、量子化テーブルに所定のパラメータによって決まる量子化特性値を用いて記憶手段の画像データを圧縮した場合に生成される符号化画像データのファイルサイズを算出し、記憶手段の画像データについてパラメータと符号化画像データのファイルサイズとの相関関係情報を表示する。このため、オペレータはパラメータをどの程度増減させることによって所望のファイルサイズに圧縮することができるかを知ることができる。すなわち、オペレータは、パラメータによって再生画質が変動することを考慮してファイルサイズと再生画質の折り合いをつけて記録媒体を効率的に運用することができる。
【0016】
本発明の請求項5記載の画像データ処理方法によると、画像特性出力ステップにおいて相関関係情報をグラフ表示するため、オペレータはパラメータと圧縮後のファイルサイズの相関関係を容易に理解することができる。
【0017】
本発明の請求項6記載の画像データ処理方法によると、入力受付ステップにおいて変更されたパラメータによって決まる量子化特性値を用いて記憶手段の画像データを圧縮した符号化画像データを復号して表示する復号画像確認ステップを含むため、オペレータはパラメータによってどのような再生画質を得ることができるかを知った上で、パラメータを入力することができる。
【0018】
本発明の請求項7記載の記録媒体によると、記憶手段の画像データに基づいて符号化画像データのファイルサイズを表示するための画像特性出力手順が実行されるため、オペレータは画像データを圧縮したときのファイルサイズを撮影後圧縮前に知ることができる。また、圧縮に用いる量子化特性値を量子化テーブルに基づいて決めるためのパラメータの変更を受け付ける入力受付手順が実行されるため、オペレータは表示されたファイルサイズを参考にしてパラメータを変更し、撮影して得られた画像データの特性に応じて量子化特性値を変更することができる。記録手順が実行されると、このようにして変更されたパラメータによって決まる量子化特性値を用いて記憶手段の画像データを圧縮して符号化画像データを生成し記録媒体に格納するため、記録媒体は効率的に運用されることとなる。尚、プログラムをデジタルカメラにインストールするにあたっては、例えば、フラッシュメモリカード等にプログラムを格納し、デジタルカメラでフラッシュメモリカードに格納されたインストーラを実行してROMにインストールするか、或いはデジタルカメラをパソコンに接続し、パソコンからデジタルカメラのROMにインストールすることができる。
【0019】
本発明の請求項7記載の記録媒体によると、画像特性出力手順において、量子化テーブルに所定のパラメータによって決まる量子化特性値を用いて記憶手段の画像データを圧縮した場合に生成される符号化画像データのファイルサイズを算出し、記憶手段の画像データについてパラメータと符号化画像データのファイルサイズとの相関関係情報を表示する。このため、オペレータはパラメータをどの程度増減させることによって所望のファイルサイズに圧縮することができるかを知ることができる。すなわち、オペレータは、パラメータによって再生画質が変動することを考慮してファイルサイズと再生画質の折り合いをつけて記録媒体を効率的に運用することができる。
【0020】
本発明の請求項8記載の記録媒体によると、画像特性出力手順において相関関係情報をグラフ表示するため、オペレータはパラメータと圧縮後のファイルサイズの相関関係を容易に理解することができる。
【0021】
本発明の請求項9記載の記録媒体によると、入力受付手順において変更されたパラメータによって決まる量子化特性値を用いて記憶手段の画像データを圧縮した符号化画像データを復号して表示する復号画像確認手順が実行されるため、オペレータはパラメータによってどのような再生画質を得ることができるかを知った上で、パラメータを入力することができる。
【0022】
【発明の実施の形態】
以下、本発明の実施の形態を示す一実施例を図面に基づいて説明する。
図2は本発明の一実施例による画像データ処理方法を用いて画像データを記録するデジタルカメラ1の構成を説明するためのブロック図である。デジタルカメラ1は、光学系20、CCD30、A/D変換器40、画像データを一時的に記憶するRAM(Random Access Memory)50、JPEG圧縮処理を実行する圧縮専用LSI60、脱着可能なフラッシュメモリ80に画像データを記録するメモリカードインタフェイス70、表示装置100、これらの装置を制御する制御部90、制御部90に対してオペレータから処理を依頼するための入力装置110などから構成される。
【0023】
光学系20に集光レンズ21、光量を調節するための絞り121、並びに図示しない自動焦点装置及び自動露出装置が設けられている。
CCD30は、Cy(Cyan)、Mg(Magenta)、Ye(Yellow)、G(Green)の補色フィルタのいずれかを有する撮像素子が図4に示すようにマトリックス状に配置されている。補色フィルタとしてCy、Mg、Yeの3色を用いてもよい。またR(Red)、G(Green)、B(Blue)の原色フィルタを有するCCDを用いてもよい。
【0024】
A/D変換器40はCCD30から出力されるアナログ信号をデジタル信号に変換してRAM50に出力する装置である。
記憶装置としてのRAM50にはセルフリフレッシュ機能をもつDRAM(Dynamic RAM)が用いられる。
【0025】
圧縮専用LSI60は、JPEG圧縮のための専用チップであって、JPEG圧縮後のデータサイズを演算によって算出することができ、演算結果をCPUに出力するための端子を備えている。圧縮専用LSI60の構成を図3に示す。61は入力される画像データに対して8×8画素のブロックを単位とした2次元のDCT(Discrete Cosine Transform)を実行するDCT変換器である。62はDCT変換器61の出力を線形量子化する量子化器である。66はデフォルトの量子化特性値から構成される標準量子化テーブルである。この標準量子化テーブル66は、乗算器65を介して量子化器62に接続されている。12は乗算器65に入力されるスケールファクタが格納されるスケールファクタレジスタである。スケールファクタレジスタ12に格納されるスケールファクタは、特許請求の範囲に記載されたパラメータに相当するものであり、入力装置110が操作されると制御部90によって変更される。63は量子化器62の出力をハフマン符号化するハフマン符号化器である。67はハフマン符号化器63に接続され量子化器62の出力を符号化する際に参照される符号化テーブルである。
【0026】
メモリカードインタフェイス70は、圧縮専用LSI60から出力される符号化画像データをフラッシュメモリ80に記録する装置である。本実施例では圧縮専用LSI60及びメモリカードインタフェイス70によって特許請求の範囲に記載された圧縮記録手段が構成されている。
【0027】
フラッシュメモリ80は通電しなくても記録内容を保持することのできる書換え可能な記録媒体であり、デジタルカメラ1に内蔵されるものであってもよい。フラッシュメモリ80として例えばPCMCIA規格に準拠したメモリカード、またはPCMCIAカードアダプタに取付け可能なメモリカードを用いることにより、PCMCIAカード用スロットを有するパーソナルコンピュータでフラッシュメモリ16の内容を直接読み書きすることができる。フラッシュメモリ80は特許請求の範囲に記載された記録媒体を構成している。
【0028】
制御部90はデジタルカメラ1の様々な制御を行うためのプログラムが記録されたROM、このプログラムを実行するCPU等を備え、デジタルカメラ1に設けられる他の装置を制御する。1つの制御部90で全ての制御を行うほか、複数の制御部を設けてもよい。本実施例では、制御部90及び表示装置100によって特許請求の範囲に記載された画像特性出力手段が構成されている。
【0029】
入力装置110は、図5、図6に示すようにデジタルカメラ1の筐体に備えられる各種のスイッチ111〜116、図示しない処理装置等によって構成されている。スイッチ111〜116が操作されると制御部90に特定の処理が依頼される。
【0030】
表示装置100は、図示しない駆動回路、デジタルカメラ1の筐体の背面に設けられたLCD101等から構成されている。LCD101には制御部90から送信される描画命令に基づいて画像が表示される。
【0031】
以下、デジタルカメラ1の作動について説明する。
モード切替ダイヤル112が「View」の位置にあるとき、以下のようにしてLCD17をファインダーとして用いる撮影が行われる。
【0032】
(撮影モードの選択)
セレクトキー116を押すと、メニュー表示モードになり、LCD101に案内画面が表示され、第1の矢印キー114と第2の矢印キー115を操作することによって、撮影後圧縮前にスケールファクタを設定するか否かを選択できるようになる。このような機能は、第1の矢印キー114と第2の矢印キー115によって選択された撮影モードに応じて、シャッターボタン112が押下されたときに制御部90に実行される下位プログラムが異なるように上位プログラムを設計することによって実現することができる。以下、撮影後圧縮前にスケールファクタを設定する撮影モードが選択されているとして説明する。
【0033】
(被写体のLCD表示)
光学系20で捕らえられた被写体像は、光学系20によってCCD30に結像される。CCD30により光電変換された各色ごとの信号出力は、A/D変換器40によってデジタル信号に変換され、このデジタル信号出力は制御部90によって表示装置100へ描画命令とともに入力される。この結果、表示装置100はLCD101に被写体を動画として表示する。
【0034】
(被写体の撮影)
撮影時の露光は、CCD30から出力されるデータに基づいて、制御部90が光学系20の自動露出装置、並びにシャッタースピードすなわちCCD30の蓄積時間を制御することによって変更される。デジタルカメラ1のシャッターには物理的に外部からCCD30への光を遮るシャッターまたはCCD30の電子シャッター、あるいはその両方を用いることができる。
【0035】
使用者がデジタルカメラ1のシャッターボタン111を半押しすると、制御部90が自動焦点装置及び自動露出装置を制御してCCD30が認識する画像に適切な露光やフォーカスを設定し、シャッターボタン111が半押しの間、露光やフォーカスが固定される。
使用者がシャッターボタン111を全押しすると、図1に示す手順にしたがって画像の記録が開始される。
【0036】
(CCDによるデータの取り込み)
ステップS101では、CCD30に蓄積された電荷が一旦すべて放電され、光学系20によって被写体像がCCD30に結像されることによって、CCD30では光が光量に応じた電荷に変換される。CCD30から出力された電気信号は、A/D変換器40によりデジタル信号に変換される。A/D変換器40から出力されるデジタルデータはDMA(Direct Memory Access)により制御部90を介さずに直接RAM50に転送される。
【0037】
(色補完と色空間変換)
RAM50に格納されるデータは、図4に示すようなフィルタを透過した光の輝度を示すものであり、1画素について1色相当の情報しかもたない。このため、ステップS102では色補間処理を行うことにより、RAM50に記憶されたデータを例えば1280×960画素の画像データに変換する。
【0038】
本実施例では画像データをJPEGで圧縮して記録するため、注目画素の周囲の色情報と次の近似式を用いて圧縮するのに必要な情報を求める色空間変換を行っている。
画像の輝度成分Y成分:
Y={G+Mg+Ye+Cy}×1/4 = 1/4{2B+3G+2R}
クロマ(色差)成分:
R−Y={(Mg+Ye)−(G+Cy)}={2R−G}
B−Y={(Mg+Cy)−(G+Ye)}={2B−G}
【0039】
このようにして算出した輝度信号Yと色差信号(UV)のうち、輝度成分は1280×960の画素を計算し、色差成分は水平方向の画素を2画素単位で計算して640×960の画素として算出する。この方法は、いわゆるJPEGの4:2:2と言われる方法で色成分の情報を部分的に相加平均処理してデータの圧縮を図っている。以上の処理は制御部90が実行するプログラムによって行われ、1280×960画素のYデータと、640×960画素のU、Vデータとからなる画像データがRAM50に格納されると、制御部90はLCD101に画像特性を表示するためのプログラムに制御を移す。
【0040】
(画像特性の表示)
画像特性を表示するためのプログラムに制御が移ると、以下のようにしてLCD101に画像特性が表示される。
【0041】
制御部90は、圧縮専用LSI60のスケールファクタレジスタ64にデフォルトのスケールファクタを格納した後、RAM50から圧縮専用LSI60に画像データを入力する。圧縮専用LSI60は、入力された画像に対してJPEG圧縮処理を行った場合に生成される符号化画像データのファイルサイズを算出する機能を用いて、符号化画像データのファイルサイズを制御部90に通知する。
【0042】
制御部90は、圧縮専用LSI60からファイルサイズの通知を受け取ると、デフォルトのスケールファクタと受け取ったファイルサイズとから任意のスケールファクタと符号化画像データのファイルサイズとの連続的な相関関係を示す近似式を求め、LCD101に図7に示すようなグラフを表示するためのデータを算出し、このデータに基づいて表示装置100に描画命令を発行する。
【0043】
尚、圧縮専用LSI60にファイルサイズを通知させる処理を複数回実行し、処理ごとにスケールファクタを変更することにより、複数のスケールファクタと複数のファイルサイズとの相関関係から任意のスケールファクタと符号化画像データのファイルサイズとの連続的な相関関係を示す近似式を求めてもよい。
【0044】
制御部90から上述のように発行される描画命令に基づいてLCD101に表示されるグラフを図7に示す。(A)〜(E)の各グラフにおいて横軸はスケールファクタを示し、縦軸は符号化画像データのファイルサイズを示している。またオペレータがスケールファクタとファイルサイズの相関関係を理解しやすいように、横軸には「きれい」及び「あらい」の文字が表示され、縦軸には「大」「小」の文字が表示される。横軸に表示されている三角形は、その位置によってスケールファクタレジスタ64に格納されているスケールファクタの大きさを示している。この三角形から縦軸方向に点線が表示される。さらにこの点線とグラフとの交点から横軸方向に点線が表示される。これらの点線は三角形の移動に伴って平行移動し、横軸方向の点線と縦軸との交点が符号化画像データのファイルサイズを示している。
【0045】
図7(A)に示されるグラフはスケールファクタと符号化画像データのファイルサイズとの関係が標準的な画像特性を示すものとする。
【0046】
撮影された被写体に輪郭の要素が少ない場合、画像データに空間周波数の高い情報が少なく、圧縮によって削除される情報が少ないため、図7(B)に示すように曲線が座標平面の左上寄りに描かれる。このような画像特性を持つ画像データに対してデフォルトのスケールファクタを適用した場合には、標準的な場合に比べ圧縮後のファイルサイズが大きくなり、再生画質の劣化が少ないことは、このようなグラフ表示によってオペレータにおいて認識される。
【0047】
撮影された被写体に輪郭の要素が多い場合、画像データに空間周波数の高い情報が多く、圧縮によって削除される情報が多いため、図7(C)に示すように曲線が座標平面の右下寄りに描かれる。このような画像特性を持つ画像データに対してデフォルトのスケールファクタを適用した場合には、標準的な場合に比べ圧縮後のファイルサイズが小さくなり、再生画質の劣化が激しいことは、このようなグラフ表示によってオペレータにおいて認識される。
【0048】
(スケールファクタの変更)
図7に示すグラフがLCD101に表示されている状態において、第1の矢印キー114と第2の矢印キー115を操作することによって、圧縮に用いるスケールファクタを変更することができる。圧縮に用いるスケールファクタを変更する処理は、画像特性を表示するためのプログラムが第1の矢印キー114または第2の矢印キー115が操作されることによって入力装置110から通知を受け、スケールファクタの変更依頼が発生したことを知り、第1の矢印キー114または第2の矢印キー115の操作に応じてスケールファクタレジスタ64の値を書き換えることによって実現される。また、スケールファクタの変更依頼が発生すると、制御部90は、第1の矢印キー114または第2の矢印キー115の操作に応じて表示装置100に描画命令を発行し、図7(D)、図7(E)に示すように、グラフ上に表示された三角形、縦軸方向の点線、横軸方向の点線を移動させる。オペレータは三角形が横軸上を移動し、縦軸方向の点線と、横軸方向の点線が平行移動することによって、自らが指定したスケールファクタを用いて圧縮した場合のファイルサイズを認識し再生画質を推測することができる。
【0049】
また、グラフがLCD101に表示された状態でセレクトキー116が操作された場合に、その時点で選択されているスケールファクタを適用して画像データのコピーを圧縮し、さらにそれを復号化した復号化データをLCD101に表示する機能を実現することも可能である。このような機能を持たせた場合、オペレータは再生画質を実際に確認しつつ、再生画質とファイルサイズとに折り合いをつけながらスケールファクタを決めることができるようになる。このような機能は圧縮画像データを復号するプログラムによって実現される。そしてこのような機能を実現する場合、LCD101及び圧縮画像データを復号するプログラムを実行するCPUが特許請求の範囲に記載された復号画像確認手段を構成する。
【0050】
(圧縮処理)
グラフがLCD101に表示された状態でセレクトキー116が操作された場合、圧縮専用LSIによって圧縮処理が実行される。
【0051】
圧縮処理は次のように実行される。
DCT変換器61に入力された画像データとしてのデジタル信号は、DCT変換器61により水平・垂直方向とも直交変換効率から設定される所定の画素(N画素)から成る小画像ブロック(N×N)に分割される。このとき、Nの大きさはDCTの変換効率から8または16に設定される。この理由としては、Nが大きくなるほど変換効率は向上する一方、その向上の傾向は飽和傾向を示すとともに、演算規模の増大にしたがって装置規模が大きくなるためである。本実施例ではNを8に設定している。8×8画素から構成される小ブロックごとに二次元DCTが施され、DCT係数が求められる。
【0052】
求められたDCT係数出力を標準量子化テーブル66とスケールファクタを用いて量子化器62により線形量子化し、量子化係数を求める。標準量子化テーブル66の量子化特性値は、スケールファクタレジスタ64に格納されたスケールファクタと積算器65によって掛け合わされ、その積が線形量子化に直接用いられる。したがって、スケールファクタが変更されることによって、線形量子化に直接用いられる量子化特性値が変動する。
【0053】
量子化係数出力は符号化テーブル63を用いてハフマン符号化される。ハフマン符号化された符号化画像データは、メモリカードインタフェイス70に転送され、その出力はメモリカード80に記録される。
尚、上記一連の圧縮処理は制御部90によってソフトウェア的に行うことができる。
以上、デジタルカメラ1の作動について説明した。
【0054】
デジタルカメラ1によると、RAM50に格納された画像データが圧縮される前に、LCD101に圧縮後のファイルサイズとスケールファクタとの相関関係情報を表示し、スケールファクタを変更することによって量子化特性値を変更することができるため、撮影して得られた画像データの特性に応じて圧縮率を変更することができる。このようにして変更された量子化特性値が適用された量子化テーブルを用いて圧縮される符号化画像データをメモリカードに格納するため、効率的にメモリカードの記憶領域を運用することができる。
【図面の簡単な説明】
【図1】本発明の一実施例によるデジタルカメラによって画像データを記録する手順を示すフローチャートである。
【図2】本発明の一実施例によるデジタルカメラを示すブロック図である。
【図3】本発明の一実施例に係る圧縮専用LSIの構成を示すブロック図である。
【図4】本発明の一実施例に係るCCDに設けられるフィルタを示す模式図である。
【図5】本発明の一実施例によるデジタルカメラを示す平面図である。
【図6】本発明の一実施例によるデジタルカメラを示す背面図である。
【図7】本発明の一実施例における画像特性の表示状態を示す模式図である。
【符号の説明】
1 デジタルカメラ
50 RAM(記憶手段)
60 圧縮専用LSI(圧縮記録手段)
70 メモリカードインタフェイス(圧縮記録手段)
80 フラッシュメモリ(記録媒体)
90 制御部(画像特性出力手段)
100 表示装置(画像特性出力手段)
110 入力装置(入力手段)[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a digital camera that converts light from a subject to be photographed into a digital signal, compresses and records the image, and a processing method for compressing image data in the digital camera.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, there is known a digital camera that converts light into an electric signal by an imaging unit such as a CCD (Charge Coupled Device), converts the electric signal into digital data, and records the data on a recording medium such as a flash memory. Using a digital camera, you can easily save image data and perform various processing by using a personal computer, and print images without developing the film by outputting the image data to a printer. it can. In recent years, it has become possible to print high-quality photographs that are almost indistinguishable from silver-salt photographs due to improvements in the printing quality of printers.
[0003]
In the digital camera as described above, since the capacity of the recording medium is limited, for example, a lossy compression method conforming to the JPEG (Joint Photographic coding Experts Group) standard (hereinafter referred to as “lossy compression method conforming to the JPEG standard”). "JPEG") is used to compress the image data to reduce the capacity, and to increase the number of shots that can be recorded on one recording medium.
[0004]
The basic configuration of the JPEG algorithm is to divide the original image data into 8 × 8 pixel blocks, perform DCT operation for each block, and independently quantize the DCT coefficients obtained by DCT operation with DC and AC components. To do. The quantization table used for quantization is a factor that determines the file size of the encoded image data and the reproduction image quality of the encoded image data. For example, if the quantization characteristic value is increased by increasing the scale factor for specific image data, the compression rate increases and the file size at the time of recording can be reduced, while the degradation of the image quality of the reproduced image is significant. Become.
[0005]
In addition, since the relationship between the quantization characteristic value, the file size of the encoded image data, and the reproduction image quality changes depending on the image characteristic of the image data before compression, if the image data is different, the same quantization characteristic value is used. However, the file size and playback image quality at the time of recording are different. For example, image data with a lot of high-frequency components that make up the contour of the image has a noticeable deterioration in playback quality when the quantization characteristic value is increased, while image data with few high-frequency components has a larger quantization characteristic value. Sometimes there is little degradation of playback image quality.
[0006]
[Problems to be solved by the invention]
However, according to the conventional digital camera, the scale factor that determines the quantization characteristic value based on the reference quantization table is a fixed value or is set before shooting. The quantization characteristic value could not be changed according to the above. Therefore, for image data with little degradation in playback image quality when the quantization characteristic value is increased, the quantization characteristic value is appropriately changed after shooting, such as increasing the compression characteristic value and increasing the compression rate to record on the recording medium. As a result, the recording medium cannot be used efficiently.
[0007]
The present invention has been made to solve such a problem, and provides a digital camera and an image data processing method capable of changing a quantization characteristic value according to the characteristic of image data before compression. With the goal.
[0008]
[Means for Solving the Problems]
According to the digital camera of the first aspect of the present invention, since the image characteristic output means for displaying the file size of the encoded image data on the basis of the image data in the storage means is provided, the operator can obtain the image data when the image data is compressed. You can know the file size after shooting and before compression. When displaying the file size, for example, a copy of the image data is actually compressed with software, and the compressed file size is displayed on the back display of the digital camera, or the file size is displayed using the function of an LSI chip dedicated to compression. Can be displayed. Further, when displaying the file size, not only the number displayed on the display but also various methods such as a graph displayed on the display or a display based on the number of LEDs to be lit can be adopted.
[0009]
In addition, since a means for changing a parameter for determining the quantization characteristic value used for compression based on the quantization table is provided, the operator can change the parameter with reference to the displayed file size and obtain it by photographing. The quantization characteristic value can be changed according to the characteristic of the obtained image data. The compression recording means generates the encoded image data by compressing the image data in the storage means using the quantization characteristic value determined by the parameter thus changed, and stores it in the recording medium. Will be operated on.
[0010]
According to the digital camera of the first aspect of the present invention, the image characteristic output means is a file of encoded image data generated when the image data in the storage means is compressed using a quantization characteristic value determined by a predetermined parameter. Inquires the compression recording means for the size, and displays the correlation information between the parameter and the file size of the encoded image data for the image data in the storage means, so that the operator compresses to the desired file size by increasing or decreasing the parameter. You can know what you can do. That is, the operator can efficiently operate the recording medium by considering the file size and the reproduction image quality considering that the reproduction image quality varies depending on the parameters.
[0011]
The value returned by the compression recording means when receiving an inquiry from the image characteristic output means is calculated by using the quantization characteristic value determined by the compression recording means according to a predetermined parameter. Use it to calculate the file size and analyze the result to output continuous correlation information, or output how much the compression rate will be when compressed using one specific parameter can do. For example, by determining the default parameters and displaying the compression rate when compression is performed using the default parameters, the operator has a high or low compression effect on the image characteristics of the captured image data. Can know. When the compression rate is displayed in this way, when an object that does not like image quality degradation is photographed, the operator changes the parameter so that the quantization characteristic value becomes small when the image data has a high compression effect. Thus, the recording medium can be operated efficiently. The compression rate is the ratio between the file size before compression and the file size after compression.
[0012]
According to the digital camera of the second aspect of the present invention, since the image characteristic output means displays the correlation information in a graph, the operator can easily understand the correlation between the parameter and the file size after compression.
[0013]
According to a third aspect of the present invention, there is provided decoded image confirmation means for decoding and displaying the encoded image data obtained by compressing the image data in the storage means using the quantization characteristic value determined by the changed parameter. . Therefore, the operator can input the parameters after knowing what reproduction image quality can be obtained by the parameters. For example, when a specific key is pressed in a state where the correlation information between the parameter and the compressed file size is displayed in a graph together with the currently set parameter, the encoded image is compressed using the currently set parameter. When data is generated, the encoded image data is decoded, and a reproduced image is displayed on the rear display of the digital camera, the operator can easily set parameters capable of obtaining a desired reproduced image quality.
[0014]
According to the image data processing method of the fourth aspect of the present invention, the image data processing method includes the image characteristic output step of displaying the file size of the encoded image data based on the image data in the storage means. You can know the file size after shooting and before compression. In addition, since it includes an input reception step for accepting a parameter change for determining a quantization characteristic value to be used for compression based on the quantization table, the operator changes the parameter with reference to the displayed file size, shoots The quantization characteristic value can be changed according to the characteristics of the obtained image data. In the compression recording step, the image data in the storage means is compressed using the quantization characteristic value determined by the parameter thus changed, and the encoded image data is generated and stored in the recording medium. Will be operated on.
[0015]
According to the image data processing method of the present invention, it is generated when the image data in the storage means is compressed using the quantization characteristic value determined by the predetermined parameter in the quantization table in the image characteristic output step. The file size of the encoded image data is calculated, and correlation information between the parameter and the file size of the encoded image data is displayed for the image data in the storage means. For this reason, the operator can know how much the parameter can be compressed to a desired file size by increasing or decreasing the parameter. That is, the operator can efficiently operate the recording medium by considering the file size and the reproduction image quality considering that the reproduction image quality varies depending on the parameters.
[0016]
According to the image data processing method of the fifth aspect of the present invention, since the correlation information is displayed in a graph in the image characteristic output step, the operator can easily understand the correlation between the parameter and the file size after compression.
[0017]
According to the image data processing method of the sixth aspect of the present invention, the encoded image data obtained by compressing the image data in the storage means using the quantization characteristic value determined by the parameter changed in the input receiving step is decoded and displayed. Since the decoding image confirmation step is included, the operator can input parameters after knowing what reproduction image quality can be obtained by the parameters.
[0018]
According to the recording medium of the seventh aspect of the present invention, since the image characteristic output procedure for displaying the file size of the encoded image data is executed based on the image data in the storage means, the operator compresses the image data. You can know the file size at the time before shooting and before compression. In addition, since an input reception procedure for receiving a change in parameter for determining a quantization characteristic value used for compression based on the quantization table is executed, the operator changes the parameter with reference to the displayed file size, and performs shooting. The quantization characteristic value can be changed according to the characteristics of the image data obtained in this way. When the recording procedure is executed, the image data stored in the storage means is compressed using the quantization characteristic value determined by the parameter thus changed, and the encoded image data is generated and stored in the recording medium. Will be operated efficiently. When installing the program in the digital camera, for example, the program is stored in a flash memory card or the like, and the installer stored in the flash memory card is executed by the digital camera and installed in the ROM, or the digital camera is installed in the personal computer. Can be installed in the ROM of a digital camera from a personal computer.
[0019]
According to the recording medium of claim 7 of the present invention, in the image characteristic output procedure, the encoding generated when the image data in the storage means is compressed using the quantization characteristic value determined by the predetermined parameter in the quantization table. The file size of the image data is calculated, and the correlation information between the parameter and the file size of the encoded image data is displayed for the image data in the storage means. For this reason, the operator can know how much the parameter can be compressed to a desired file size by increasing or decreasing the parameter. That is, the operator can efficiently operate the recording medium by considering the file size and the reproduction image quality considering that the reproduction image quality varies depending on the parameters.
[0020]
According to the recording medium of the eighth aspect of the present invention, since the correlation information is displayed in a graph in the image characteristic output procedure, the operator can easily understand the correlation between the parameter and the file size after compression.
[0021]
According to the recording medium of the ninth aspect of the present invention, the decoded image for decoding and displaying the encoded image data obtained by compressing the image data in the storage means using the quantization characteristic value determined by the parameter changed in the input reception procedure. Since the confirmation procedure is executed, the operator can input parameters after knowing what reproduction image quality can be obtained by the parameters.
[0022]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an example showing an embodiment of the present invention will be described with reference to the drawings.
FIG. 2 is a block diagram for explaining the configuration of the
[0023]
The
In the CCD 30, imaging elements having any of complementary colors filters of Cy (Cyan), Mg (Magenta), Ye (Yellow), and G (Green) are arranged in a matrix as shown in FIG. 4. Three colors of Cy, Mg, and Ye may be used as complementary color filters. A CCD having primary color filters of R (Red), G (Green), and B (Blue) may be used.
[0024]
The A /
A DRAM (Dynamic RAM) having a self-refresh function is used for the
[0025]
The compression-dedicated
[0026]
The
[0027]
The
[0028]
The
[0029]
As shown in FIGS. 5 and 6, the
[0030]
The
[0031]
Hereinafter, the operation of the
When the
[0032]
(Select shooting mode)
When the
[0033]
(Subject LCD display)
The subject image captured by the
[0034]
(Subject shooting)
The exposure at the time of shooting is changed by controlling the automatic exposure device of the
[0035]
When the user presses the
When the user fully presses the
[0036]
(Data capture by CCD)
In step S101, all charges accumulated in the CCD 30 are once discharged, and a subject image is formed on the CCD 30 by the
[0037]
(Color completion and color space conversion)
The data stored in the
[0038]
In this embodiment, since image data is compressed by JPEG and recorded, color space conversion for obtaining information necessary for compression using color information around the pixel of interest and the following approximate expression is performed.
Luminance component Y component of image:
Y = {G + Mg + Ye + Cy} × 1/4 = ¼ {2B + 3G + 2R}
Chroma (color difference) component:
RY = {(Mg + Ye)-(G + Cy)} = {2R-G}
B−Y = {(Mg + Cy) − (G + Ye)} = {2B−G}
[0039]
Of the luminance signal Y and the color difference signal (UV) calculated in this way, the luminance component is calculated as 1280 × 960 pixels, and the color difference component is calculated as a pixel in the horizontal direction in units of two pixels to be 640 × 960 pixels. Calculate as In this method, information of color components is partially arithmetically averaged by a so-called JPEG 4: 2: 2 method to compress data. The above processing is performed by a program executed by the
[0040]
(Display image characteristics)
When control is transferred to a program for displaying image characteristics, the image characteristics are displayed on the
[0041]
The
[0042]
When the
[0043]
In addition, by executing the process for notifying the file size to the compression-dedicated LSI 60 a plurality of times and changing the scale factor for each process, an arbitrary scale factor and encoding can be performed from the correlation between the plurality of scale factors and the plurality of file sizes. An approximate expression indicating a continuous correlation with the file size of the image data may be obtained.
[0044]
FIG. 7 shows a graph displayed on the
[0045]
In the graph shown in FIG. 7A, the relationship between the scale factor and the file size of the encoded image data indicates standard image characteristics.
[0046]
When the photographed subject has few contour elements, the image data contains less information with high spatial frequency and less information is deleted by compression, so the curve is closer to the upper left of the coordinate plane as shown in FIG. be painted. When the default scale factor is applied to image data having such image characteristics, the file size after compression is larger than that in the standard case, and there is little deterioration in the reproduction image quality. Recognized by the operator by the graphical display.
[0047]
If the photographed subject has many contour elements, the image data contains a lot of information with a high spatial frequency and a lot of information is deleted by compression. Therefore, as shown in FIG. Drawn in. When the default scale factor is applied to image data having such image characteristics, the file size after compression is smaller than that in the standard case, and the deterioration in reproduction image quality is severe. Recognized by the operator by the graphical display.
[0048]
(Change of scale factor)
When the graph shown in FIG. 7 is displayed on the
[0049]
When the
[0050]
(Compression process)
When the
[0051]
The compression process is executed as follows.
A digital signal as image data input to the
[0052]
The obtained DCT coefficient output is linearly quantized by the
[0053]
The quantized coefficient output is Huffman encoded using the encoding table 63. The Huffman-encoded encoded image data is transferred to the
The series of compression processes can be performed by the
The operation of the
[0054]
According to the
[Brief description of the drawings]
FIG. 1 is a flowchart showing a procedure for recording image data by a digital camera according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating a digital camera according to an embodiment of the present invention.
FIG. 3 is a block diagram showing a configuration of a compression dedicated LSI according to an embodiment of the present invention.
FIG. 4 is a schematic diagram showing a filter provided in a CCD according to an embodiment of the present invention.
FIG. 5 is a plan view showing a digital camera according to an embodiment of the present invention.
FIG. 6 is a rear view showing a digital camera according to an embodiment of the present invention.
FIG. 7 is a schematic diagram showing a display state of image characteristics in an embodiment of the present invention.
[Explanation of symbols]
1 Digital camera
50 RAM (storage means)
60 Compression dedicated LSI (compression recording means)
70 Memory card interface (compression recording means)
80 Flash memory (recording medium)
90 control unit (image characteristic output means)
100 Display device (image characteristic output means)
110 Input device (input means)
Claims (9)
前記記憶手段の画像データに基づいて符号化画像データのファイルサイズを表示する画像特性出力手段と、
圧縮に用いる量子化特性値を前記量子化テーブルに基づいて決めるためのパラメータを変更する操作を受け付ける入力手段と、
前記パラメータを変更する操作に応じて前記パラメータを変更する手段と、
前記パラメータによって決まる量子化特性値を用いて前記記憶手段の画像データを圧縮して符号化画像データを生成し前記記録媒体に格納する圧縮記録手段と、を備え、
前記画像特性出力手段は、所定の前記パラメータによって決まる量子化特性値を用いて前記記憶手段の画像データを圧縮した場合に生成される符号化画像データのファイルサイズを前記圧縮記録手段に問い合わせ、前記記憶手段の画像データについて前記パラメータと符号化画像データのファイルサイズとの相関関係情報を表示する、
ことを特徴とするデジタルカメラ。A digital camera that converts light into image data and stores it in a storage means, and stores encoded image data obtained by compressing the image data in the storage means using a quantization table in a recording medium;
Image characteristic output means for displaying the file size of the encoded image data based on the image data of the storage means;
Input means for receiving an operation of changing a parameter for determining a quantization characteristic value used for compression based on the quantization table;
Means for changing the parameter in response to an operation for changing the parameter;
Compression recording means for compressing the image data of the storage means using a quantization characteristic value determined by the parameter to generate encoded image data and storing it in the recording medium,
The image characteristic output means inquires of the compression recording means about the file size of the encoded image data generated when the image data of the storage means is compressed using a quantization characteristic value determined by the predetermined parameter, Displaying correlation information between the parameters and the file size of the encoded image data for the image data in the storage means;
A digital camera characterized by that.
前記画像特性出力ステップにおいて、所定の前記パラメータによって決まる量子化特性値を用いて前記記憶手段の画像データを圧縮した場合に生成される符号化画像データのファイルサイズを算出し、前記記憶手段の画像データについて前記パラメータと符号化画像データのファイルサイズとの相関関係情報を表示する、
ことを特徴とする画像データ処理方法。This is an image data processing method used in a digital camera that converts light into image data and stores it in a storage means, and stores encoded image data obtained by compressing the image data in the storage means on a recording medium using a quantization table. An image characteristic output step for displaying a file size of the encoded image data based on the image data in the storage means, and a parameter change for determining a quantization characteristic value used for compression based on the quantization table. An input receiving step of receiving, and a compression recording step of compressing the image data of the storage means using a quantization characteristic value determined by the parameter to generate encoded image data and storing it in the recording medium,
In the image characteristic output step, the file size of the encoded image data generated when the image data of the storage unit is compressed using the quantization characteristic value determined by the predetermined parameter is calculated, and the image of the storage unit is calculated. Displaying correlation information between the parameter and the file size of the encoded image data for the data;
An image data processing method characterized by the above.
前記画像特性出力手順において、所定の前記パラメータによって決まる量子化特性値を用いて前記記憶手段の画像データを圧縮した場合に生成される符号化画像データのファイルサイズを算出し、前記記憶手段の画像データについて前記パラメータと符号化画像データのファイルサイズとの相関関係情報を表示する、
ことを特徴とするプログラムを記録したコンピュータ読み取り可能な記録媒体。A program for causing a digital camera processing apparatus to store encoded image data obtained by converting light into image data and storing it in a storage means and compressing the image data stored in the storage means using a quantization table. An image characteristic output procedure for displaying a file size of the encoded image data based on the image data of the storage means, and a quantization characteristic value used for compression An input reception procedure for accepting a parameter change to be determined based on a table and a quantization characteristic value determined by the parameter to generate encoded image data by compressing the image data in the storage means and store it in the recording medium A compression recording procedure to be executed by a digital camera processing device,
In the image characteristic output procedure, a file size of encoded image data generated when the image data of the storage unit is compressed using a quantization characteristic value determined by the predetermined parameter is calculated, and the image of the storage unit is calculated. Displaying correlation information between the parameter and the file size of the encoded image data for the data;
The computer-readable recording medium which recorded the program characterized by the above-mentioned.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP33979599A JP3752931B2 (en) | 1999-11-30 | 1999-11-30 | Digital camera and image data processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP33979599A JP3752931B2 (en) | 1999-11-30 | 1999-11-30 | Digital camera and image data processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001157164A JP2001157164A (en) | 2001-06-08 |
JP3752931B2 true JP3752931B2 (en) | 2006-03-08 |
Family
ID=18330891
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP33979599A Expired - Fee Related JP3752931B2 (en) | 1999-11-30 | 1999-11-30 | Digital camera and image data processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3752931B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030174228A1 (en) * | 2002-03-14 | 2003-09-18 | Brake Wilfred F. | System for user-selectable image pre-processing in a digital camera |
US20100146388A1 (en) * | 2008-12-05 | 2010-06-10 | Nokia Corporation | Method for defining content download parameters with simple gesture |
-
1999
- 1999-11-30 JP JP33979599A patent/JP3752931B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2001157164A (en) | 2001-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3085465B2 (en) | Image data encoding apparatus and encoding method | |
JP4350809B2 (en) | Digital camera | |
US8120671B2 (en) | Digital camera for recording a still image while shooting a moving image | |
US7388992B2 (en) | Digital photographic device for controlling compression parameter of image data and method of deciding compression parameter value of image data | |
KR100504649B1 (en) | Device for compressing image data | |
JP4359773B2 (en) | Image compression processing apparatus, image compression processing method, and image compression processing program | |
US6990240B2 (en) | Image processing apparatus | |
CN107509019A (en) | Picture pick-up device, image capture method and non-transient computer-readable media | |
JP3752931B2 (en) | Digital camera and image data processing method | |
JP2018082251A (en) | Imaging device, image processing method, and program | |
EP0998130B1 (en) | Digital camera and image processing method | |
JP3115912B2 (en) | Image recording device | |
JP2959831B2 (en) | Image data encoding device | |
JP4430731B2 (en) | Digital camera and photographing method | |
JPH0759069B2 (en) | Still picture digital recorder | |
JP2004104222A (en) | Imaging unit | |
JPH1066004A (en) | Picture file size controller | |
JP3915296B2 (en) | Digital camera | |
JP4337864B2 (en) | Digital camera | |
JPH0541806A (en) | Picture recorder | |
JP2994421B2 (en) | Digital electronic still camera | |
JP2003264777A (en) | Digital camera | |
JP2001251624A (en) | Image processor, image processing method and computer readable memory | |
JP2002325222A (en) | Data recorder, program, recording medium and digital camera | |
JPH0654295A (en) | Image pickup method and picture recording method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050829 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051028 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051122 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051205 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091222 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101222 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101222 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111222 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |