JP4040404B2 - Code string conversion apparatus and method, image processing apparatus, and image recording apparatus - Google Patents
Code string conversion apparatus and method, image processing apparatus, and image recording apparatus Download PDFInfo
- Publication number
- JP4040404B2 JP4040404B2 JP2002272586A JP2002272586A JP4040404B2 JP 4040404 B2 JP4040404 B2 JP 4040404B2 JP 2002272586 A JP2002272586 A JP 2002272586A JP 2002272586 A JP2002272586 A JP 2002272586A JP 4040404 B2 JP4040404 B2 JP 4040404B2
- Authority
- JP
- Japan
- Prior art keywords
- code
- subband
- code amount
- compression rate
- amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、符号列変換装置、それを備えた画像処理装置及び画像記録装置並びに符号列変換方法に関する。
【0002】
【従来の技術】
従来から、画像圧縮伸長アルゴリズムとして、動画像専用のMPEG1/MPEG2/MPEG4や、静止画像を連続したフレームとして扱うMotion JPEGが使用されている。また、最近、後者のMotion静止画像の符号化については、国際標準としてMotionJPEG2000という新しい方式が規格化されつつある。
【0003】
MPEG方式とMotion静止画像方式の違いは、後者がフレーム内符号化だけを行うのに対し、前者は同一フレーム内の画像ばかりではなく、異なるフレーム間画像においても相関をとり、より圧縮率を上げることができることにある。一方、各々のフレームを独立に扱う後者の方式は、前者に比較して、フレーム毎の編集が可能であり、また、通信時のエラーが他フレームに及ぶこともない。このように、MPEG方式、Motion静止画像方式は、各々特長を持っている。そして、アプリケーション毎に、適宜、方式が使い分けられている。
【0004】
Motion JPEG2000方式では変換方式として離散ウェーブレット変換を用いているが、この離散ウェーブレット変換を用いて画像データを圧縮符号化するようにしたものがある(例えば、特許文献1参照。)。
【0005】
【特許文献1】
特開2001−309381公報
【0006】
【発明が解決しようとする課題】
この特許文献1に開示の技術では、画素値を離散ウェーブレット変換して圧縮符号化するのみならず、異なるフレーム間の画像においても相関をとり、フレーム間で画像の動きがない場合の動画像データの冗長性も解消するようにしているので、よりデータの圧縮率を向上することができる。
【0007】
ところで、かかる従来技術においては、フレーム内の静止画像に対して最適化された「量子化」を行う処理とフレーム間のウェーブレット係数値の比較結果に基づいた「符号量削減」を行う処理とが各々独立に行われ、かつ、唯一の「量子化テーブル」に基づいてフレーム内の静止画像の量子化が行われていた。
【0008】
しかしながら、かかる従来技術においては、以下に述べるような課題がある。
【0009】
[課題1]
従来、Motion静止画像の圧縮は、フレーム内の静止画像に対して最適化された「量子化」だけに目が向けられ、動画像固有の視覚特性を考慮した「量子化」が行われていなかった。本来、フレーム間の動き量は画像領域毎に異なるのに、従来は、動き量が全画像領域に渡って均一であると仮定していた。その結果、静止画像の表示時には予想できなかった全く新たな画像品質の劣化が、動画像表示の時にしばしば現れていた。
【0010】
ここで、図25は従来の「量子化」の方法を示す説明図である。図25は、動き量を無視してサブバンド符号を一律に削減するようにした量子化方法を示したものである。ここで、縦軸は動き量を表し、現フレームとそれ以前のフレームとの間における各タイル・各サブバンド毎のウェーブレット係数値の差分から求められる相関係数値が使われている。また、横軸は、タイルの単位を表している。タイルは、フレーム内の原静止画像を分割して作成された矩形領域のことである。
【0011】
動き量について見ると、例えばタイルAは大きく、タイルCは小さいというように、タイル毎に異なっている。ところが、従来の方法では、図25に示すように、画像全体を一律な動き量に置換えていた。この例では、全てのタイルの動き量を「無し」として扱っている。従って、動き量の大小に関わらず、唯一の「量子化テーブル」が参照されていた。
【0012】
[課題2]
また、フレーム内静止画像の量子化も、圧縮率あるいはビットレートで一義的に定義された唯一の「量子化テーブル」を用いていたが、本来、サブバンドの符号量分布は画像領域毎に異なるはずなのに、従来は、そうしたことを全く考慮していなかった。その結果、高域成分の多い画像、低域成分の多い画像、高域から低域まで広く分布した画像等の原画像の性質によって、量子化された画像の画質が大きく変動していた。
【0013】
ここで、図26は従来の「量子化」の方法を示す説明図である。図26は、符号量の分布を無視して、サブバンド符号を一律に削減ようにした量子化方法を示したものである。ここで、縦軸は、最上位階層の(デコンポジション・レベル数が最大の)低域サブバンド符号量を「1」に規格化した時の相対符号量を表している。また、横軸は、サブバンド周波数帯域を表している。そして、タイル毎の符号量分布を示す曲線のうち細線の部分は、符号量の削除対象となるサブバンドを、一方、太線の部分は、符号量がそのまま保存されるサブバンドを各々表している。図26(a)は、符号量の削減対象となるサブバンドの数が多い場合、図26(b)は、符号量の削減対象となるサブバンドの数が少ない場合で、圧縮率の低い場合と高い場合に各々対応している。
【0014】
図26に示すように、タイルAとタイルDは高域にまで符号データを保持している。また、タイルBは中域に比較的多くの情報を保有し、タイルCは低域にほとんどの情報を保有している。このように、タイル毎にサブバンド符号量の異なる場合においても、従来の方法では、符号量分布に関係なく、サブバンド符号データを一律に削減していた。その結果、特に圧縮率の高い場合には、中域から高域のデータ量が相対的に多いタイルA,B,Dの画質は、低域にデータが集中しているタイルCの画質に比較して、劣化が顕著であった。
【0015】
ここで、上述した課題1及び課題2を具体的に説明するために、圧縮伸長アルゴリズムにMotion JPEG2000を使った場合に生ずる現象について、以下に詳しく観察結果を述べる。図27は動画像コンテンツから連続する三つのフレームを抜き出したものであり、図28は図27に示した各フレーム中の所定のタイルの動き量及び画素周波数を示すテーブルである。ここでは、これらの三つのフレームを例に説明する。図27に示す例は、動き量の大きなタイルと動き量の小さなタイルとの区別がし易いように、動き量の少ない景色を背景にして走る自転車を表わしたものであって、各タイルA,B,C,Dは、図25及び図26に示したタイルA,B,C,Dに対応する。
【0016】
上述したように、フレーム間の動き量及びサブバンドの符号量分布を考慮せずに従来の量子化によって符号化されたMotion静止画像を伸長表示させた場合には、以下に述べるような現象が現れる。
【0017】
[タイルA(自転車のスポーク)]
自転車は、撮影点から一番近い距離にあり、構造上の特徴(エッジが多くなる)から高域サブバンドの符号量分布が大きい。ところが、従来の「量子化」の方法によれば、圧縮率が高くなるに従って高域サブバンドの符号量が減らされることから、フレーム内の静止画像では、車輪のスポーク部分を一本一本判別するのが難しくなる。しかしながら、動く自転車のスポークの判別は、人間の持つ動体視力の限界以上なので、動画像に与える影響はそれ程大きくはない。
【0018】
[タイルB(葉)]
遠景と前景の自転車の中間に位置している樹の動き量は、ほとんど無い。葉の部分は、中域サブバンドの符号量分布が大きい。ところが、従来の「量子化」の方法によれば、圧縮率が高くなるに従ってフレーム内静止画像で葉の一枚一枚を区別することが難しくなる。但し、その傾向は、タイルAにおける自転車のスポークほど強くはない。
【0019】
[タイルC(背景)]
遠景には、低域サブバンドの符号量分布が大きいスカイラインが配置されている。圧縮率が高くなっても、符号量削減の影響を比較的受けにくい。但し、動き量がほとんど無いので、低域サブバンドのデータが僅かでも削られると、フレーム内静止画像全体にボケが広がってしまう。動画像で見ると、背景に「モヤモヤとした歪」が生じ、非常に目障りとなる。
【0020】
[タイルD(樹)]
画像領域内には、樹の輪郭部分が多く存在する。その結果、符号量の分布において、高域側のデータ量がやや多い点が、タイルCとは異なる。タイルCと画像を比較した時、フレーム内静止画像にはあまり差は現れない。しかし、動画像を表示させた時には、「モヤモヤとした歪」がより顕著に現れる。これは、削られた高域成分の量が多いためであると思われる。
【0021】
本発明の目的は、動き量の大小や画像周波数の高低に伴う画質劣化を抑えた量子化を行うことができる符号列変換装置、画像処理装置、画像記録装置、プログラム、記憶媒体および符号量削減方法を提供することである。
【0022】
本発明の目的は、動き量の大小に伴う画質劣化を抑えた量子化を行うことができる符号列変換装置、画像処理装置、画像記録装置、プログラム、記憶媒体および符号量削減方法を提供することである。
【0023】
本発明の目的は、画像周波数の高低に伴う画質劣化を抑えた量子化を行うことができる符号列変換装置、それを備えた画像処理装置及び画像記録装置並びに符号列変換方法を提供することである。
【0024】
【課題を解決するための手段】
請求項1記載の発明の符号列変換装置は、動画像データについてフレーム毎に1又は複数の矩形領域に分割し、前記矩形領域毎に画素値を直交変換し階層的に圧縮符号化して得られた符号列データのヘッダ部に記述されているデータを解析する構文解析手段と、前記構文解析手段の解析結果に基づいて、現フレームと以前のフレームとのパケット長のデータ量の相関係数値を求めて、現フレームと以前のフレームとの間の動き量を検出し、該動き量をあらかじめ定められた複数の動き量インデックス値のいずれかに設定する動き量検出手段と、前記構文解析手段の解析結果に基づいて、現フレーム内のサブバンド符号量分布を検出し、該サブバンド符号量分布をあらかじめ定められた複数のサブバンド符号量分布インデックス値のいずれかに設定するサブバンド符号量分布検出手段と、圧縮率の指定を受け付け、該圧縮率をあらかじめ定められた複数の圧縮率インデックス値のいずれかに設定する圧縮率指定手段と、複数の動き量インデックス値と複数のサブバンド符号量分布インデックス値と複数の圧縮率インデックス値との各値の組合せに係る複数の量子化テーブルを三次元マトリクス状に有する量子化テーブル群と、前記動き量検出手段で設定された動き量インデックス値と前記サブバンド符号量分布検出手段で設定されたサブバンド符号量分布インデックス値と前記圧縮率指定手段で設定された圧縮率インデックス値とに基づき、前記量子化テーブル群から所定の量子化テーブルを選択し、該選択した量子化テーブルにより前記符号列データの符号を量子化して、前記符号列データの符号量を矩形領域毎に削減する符号量削減手段とを備える。
【0025】
したがって、動画像データを矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データから検出された動き量とサブバンド符号量分布、およびユーザによって指定された圧縮率に応じ、符号列データの符号量が矩形領域毎に削減される。これにより、圧縮率のみならず動き量とサブバンド符号量分布とを考慮した量子化が行われることになるので、動き量の大小や画像周波数の高低に伴う画質劣化を抑えた量子化を行うことが可能になる。動き量は現フレームと以前のフレームとのパケット長のデータ量の相関係数値により検出されることにより、動き量を高速、かつ、正確に求めることが可能になる。
【0026】
請求項2記載の発明の符号列変換装置は、動画像データについてフレーム毎に1又は複数の矩形領域に分割し、前記矩形領域毎に画素値を直交変換し階層的に圧縮符号化して得られた符号列データのヘッダ部に記述されているデータを解析する構文解析手段と、前記構文解析手段の解析結果に基づいて、現フレームと以前のフレームとのパケット長のデータ量の相関係数値を求めて、現フレームと以前のフレームとの間の動き量を検出し、該動き量をあらかじめ定められた複数の動き量インデックス値のいずれかに設定する動き量検出手段と、圧縮率の指定を受け付け、該圧縮率をあらかじめ定められた複数の圧縮率インデックス値のいずれかに設定する圧縮率指定手段と、複数の動き量インデックス値と複数の圧縮率インデックス値との各値の組合せに係る複数の量子化テーブルを二次元マトリクス状に有する量子化テーブル群と、前記動き量検出手段で設定された動き量インデックス 値と前記圧縮率指定手段で設定された圧縮率インデックス値とに基づき、前記量子化テーブル群から所定の量子化テーブルを選択し、該選択した量子化テーブルにより前記符号列データの符号を量子化して、前記符号列データの符号量を矩形領域毎に削減する符号量削減手段とを備える。
【0027】
したがって、動画像データを矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データから検出された動き量、およびユーザによって指定された圧縮率に応じ、符号列データの符号量が矩形領域毎に削減される。これにより、圧縮率のみならず動き量を考慮した量子化が行われることになるので、動き量の大小に伴う画質劣化を抑えた量子化を行うことが可能になる。
【0028】
請求項3記載の発明の符号列変換装置は、動画像データについてフレーム毎に1又は複数の矩形領域に分割し、前記矩形領域毎に画素値を直交変換し階層的に圧縮符号化して得られた符号列データのヘッダ部に記述されているデータを解析する構文解析手段と、前記構文解析手段の解析結果に基づいて、現フレーム内のサブバンド符号量分布を検出し、該サブバンド符号量分布をあらかじめ定められた複数のサブバンド符号量分布インデックス値のいずれかに設定するサブバンド符号量分布検出手段と、圧縮率の指定を受け付け、該圧縮率をあらかじめ定められた複数の圧縮率インデックス値のいずれかに設定する圧縮率指定手段と、複数のサブバンド符号量分布インデックス値と複数の圧縮率インデックス値との各値の組合せに係る複数の量子化テーブルを二次元マトリクス状に有する量子化テーブル群と、前記サブバンド符号量分布検出手段で設定されたサブバンド符号量分布インデックス値と前記圧縮率指定手段で設定された圧縮率インデックス値とに基づき、前記量子化テーブル群から所定の量子化テーブルを選択し、該選択した量子化テーブルにより前記符号列データの符号を量子化して、前記符号列データの符号量を矩形領域毎に削減する符号量削減手段とを備える。
【0029】
したがって、動画像データを矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データから検出されたサブバンド符号量分布、およびユーザによって指定された圧縮率に応じ、符号列データの符号量が矩形領域毎に削減される。これにより、圧縮率のみならずサブバンド符号量分布を考慮した量子化が行われることになるので、画像周波数の高低に伴う画質劣化を抑えた量子化を行うことが可能になる。
【0030】
請求項4記載の発明の符号列変換装置は、静止画像データについて複数の矩形領域に分割し、前記矩形領域毎に画素値を直交変換し階層的に圧縮符号化して得られた符号列データのヘッダ部に記述されているデータを解析する構文解析手段と、前記構文解析手段の解析結果に基づいて、サブバンド符号量分布を検出し、該サブバンド符号量分布をあらかじめ定められた複数のサブバンド符号量分布インデックス値のいずれかに設定するサブバンド符号量分布検出手段と、圧縮率の指定を受け付け、該圧縮率をあらかじめ定められた複数の圧縮率インデックス値のいずれかに設定する圧縮率指定手段と、複数のサブバンド符号量分布インデックス値と複数の圧縮率インデックス値との各値の組合せに係る複数の量子化テーブルを二次元マトリクス状に有する量子化テーブル群と、前記サブバンド符号量分布検出手段で設定されたサブバンド符号量分布インデックス値と前記圧縮率指定手段で設定された圧縮率インデックス値とに基づき、前記量子化テーブル群から所定の量子化テーブルを選択し、該選択した量子化テーブルにより前記符号列データの符号を量子化して、前記符号列データの符号量を矩形領域毎に削減する符号量削減手段とを備える。
【0031】
したがって、静止画像データを矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データから検出されたサブバンド符号量分布、およびユーザによって指定された圧縮率に応じ、符号列データの符号量が矩形領域毎に削減される。これにより、圧縮率のみならずサブバンド符号量分布を考慮した量子化が行われることになるので、画像周波数の高低に伴う画質劣化を抑えた量子化を行うことが可能になる。
【0032】
請求項5記載の発明は、請求項1ないし4のいずれか1項に記載の符号列変換装置において、前記量子化テーブルは、符号量が削減されるサブバンドと、符号量が保存されるサブバンドとを指定する。したがって、符号列データの符号量を確実に削減することが可能になる。
【0033】
請求項6記載の発明は、請求項1あるいは2記載の符号列変換装置において、前記動き量検出手段により設定された動き量インデックス値を変更する手段を備える。また、請求項7記載の発明は、請求項1、3、4のいずれか1項に記載の符号列変換装置において、前記サブバンド符号量分布検出手段により設定されたサブバンド符号量分布インデックス値を変更する手段を備える。したがって、高い画像品質を維持したまま、原画像の符号化を行うことが可能になる。
【0034】
請求項8記載の発明は、請求項1ないし7のいずれか1項に記載の符号列変換装置において、前記符号量削減手段により矩形領域毎に符号量が削減された前記符号列データを標準形式の符号列データに整える符号列作成手段を備える。したがって、汎用のデコーダで、新たに生成した符号列データを伸長することが可能になる。
【0035】
請求項9記載の発明は、請求項1ないし8のいずれか1項に記載の符号列変換装置において、各手段の処理は、コンポーネント毎に実行される。したがって、YCbCrコンポーネントのY(輝度)成分や、RGBコンポーネントのG(緑)成分のみについて「動き量」や「サブバンド符号量分布」の検出を行うことにより、高速かつ低消費電力での符号化制御が可能になる。
【0036】
請求項10記載の発明は、請求項1ないし9のいずれか1項に記載の符号列変換装置において、前記矩形領域は、タイルである。したがって、直交変換として離散ウェーブレット変換を用いることが可能になる。
【0037】
請求項11記載の発明は、請求項1ないし9のいずれか1項に記載の符号列変換装置において、前記矩形領域は、プレシンクトである。したがって、タイル分割をしない場合(全画像領域=タイル)にも、タイル単位と同じように、画質劣化を抑える量子化を行うことが可能になる。また、検出単位をタイルよりも小さな画像領域にすることが可能になる。
【0038】
請求項12記載の発明は、請求項1ないし9のいずれか1項に記載の符号列変換装置において、前記矩形領域は、コード・ブロックである。したがって、タイル分割をしない場合(全画像領域=タイル)にも、タイル単位と同じように、画質劣化を抑える量子化を行うことが可能になる。また、検出単位をタイルよりも小さな画像領域にすることが可能になる。
【0039】
請求項13記載の発明の画像処理装置は、動画像データについてフレーム毎に1又は複数の矩形領域に分割し当該矩形領域毎に画素値を直交変換し階層的に圧縮符号化する画像圧縮装置と、請求項1,2,3記載の符号列変換装置と、を備える。
【0040】
請求項14記載の発明の画像処理装置は、静止画像データについて1又は複数の矩形領域に分割し当該矩形領域毎に画素値を直交変換し階層的に圧縮符号化する画像圧縮装置と、請求項4記載の符号列変換装置と、を備える。
【0041】
請求項15記載の発明の画像記録装置は、動画像データを撮像する画像入力装置と、この撮像した動画像データを処理する請求項13記載の画像処理装置と、を備える。
【0042】
請求項16記載の発明の画像記録装置は、静止画像データを撮像する画像入力装置と、この撮像した静止画像データを処理する請求項14記載の画像処理装置と、を備える。
【0043】
請求項17記載の発明の符号列変換方法は、動画像データについてフレーム毎に1又は複数の矩形領域に分割し、前記矩形領域毎に画素値を直交変換し階層的に圧縮符号化して得られた符号列データのヘッダ部に記述されているデータを解析する構文解析工程と、前記構文解析工程の解析結果に基づいて、現フレームと以前のフレームとのパケット長のデータ量の相関係数値を求めて、現フレームと以前のフレームとの間の動き量を検出し、該動き量をあらかじめ定められた複数の動き量インデックス値のいずれかに設定する動き量検出工程と、前記構文解析工程の解析結果に基づいて、現フレーム内のサブバンド符号量分布を検出し、該サブバンド符号量分布をあらかじめ定められた複数のサブバンド符号量分布インデックス値のいずれかに設定するサブバンド符号量分布検出工程と、圧縮率の指定を受け付け、該圧縮率をあらかじめ定められた複数の圧縮率インデックス値のいずれかに設定する圧縮率指定工程と、複数の動き量インデックス値と複数のサブバンド符号量分布インデックス値と複数の圧縮率インデックス値との各値の組合せに係る複数の量子化テーブルを三次元マトリクス状に有する量子化テーブル群を用いて、前記動き量検出工程で設定された動き量インデックス値と前記サブバンド符号量分布検出工程で設定されたサブバンド符号量分布インデックス値と前記圧縮率指定手段で設定された圧縮率インデックス値とに基づき、前記量子化テーブル群から所定の量子化テーブルを選択し、該選択した量子化テーブルにより前記符号列データの符号を量子化して、前記符号列データの符号量を矩形領域毎に削減する符号量削減工程を含む。
【0044】
請求項18記載の発明の符号列変換方法は、動画像データについてフレーム毎に1又は複数の矩形領域に分割し、前記矩形領域毎に画素値を直交変換し階層的に圧縮符号化して得られた符号列データのヘッダ部に記述されているデータを解析する構文解析工程と、前記構文解析工程の解析結果に基づいて、現フレームと以前のフレームとのパケット長のデータ量の相関係数値を求めて、現フレームと以前のフレームとの間の動き量を検出し、該動き量をあらかじめ定められた複数の動き量インデックス値のいずれかに設定する動き量検出工程と、圧縮率の指定を受け付け、該圧縮率をあらかじめ定められた複数の圧縮率インデックス値のいずれかに設定する圧縮率指定工程と、複数の動き量インデックス値と複数の圧縮率インデックス値との各値の組合せに係る複数の量子化テーブルを二次元マトリクス状に有する量子化テーブル群を用いて、前記動き量検出工程で設定された動き量インデックス値と前記圧縮率指定工程で設定された圧縮率インデックス値とに基づき、前記量子化テーブル群から所定の量子化テーブルを選択し、該選択した量子化テーブルにより前記符号列データの符号を量子化して、前記符号列データの符号量を矩形領域毎に削減する符号量削減工程とを含む。
【0045】
請求項19記載の発明の符号列変換方法は、動画像データについてフレーム毎に1又は複数の矩形領域に分割し、前記矩形領域毎に画素値を直交変換し階層的に圧縮符号化して得られた符号列データのヘッダ部に記述されているデータを解析する構文解析工程と、前記構文解析工程の解析結果に基づいて、現フレーム内のサブバンド符号量分布を検出し、該サブバンド符号量分布をあらかじめ定められた複数のサブバンド符号量分布インデックス値のいずれかに設定するサブバンド符号量分布検出工程と、圧縮率の指定を受け付け、該圧縮率をあらかじめ定められた複数の圧縮率インデックス値のいずれかに設定する圧縮率指定工程と、複数のサブバンド符号量分布インデックス値と複数の圧縮率インデックス値との各値の組合せに係る複数の量子化テーブルを二次元マトリクス状に有する量子化テーブル群を用いて、前記サブバンド符号量分布検出工程で設定されたサブバンド符号量分布インデックス値と前記圧縮率指定工程で設定された圧縮率インデックス値とに基づき、前記量子化テーブル群から所定の量子化テーブルを選択し、該選択した量子化テーブルにより前記符号列データの符号を量子化して、前記符号列データの符号量を矩形領域毎に削減する符号量削減工程とを含む。
【0046】
請求項20記載の発明の符号列変換方法は、静止画像データについて複数の矩形領域に分割し、前記矩形領域毎に画素値を直交変換し階層的に圧縮符号化して得られた符号列データのヘッダ部に記述されているデータを解析する構文解析工程と、前記構文解析工程の解析結果に基づいて、サブバンド符号量分布を検出し、該サブバンド符号量分布をあらかじめ定められた複数のサブバンド符号量分布インデックス値のいずれかに設定するサブバンド符号量分布検出工程と、圧縮率の指定を受け付け、該圧縮率をあらかじめ定められた複数の圧縮率インデックス値のいずれかに設定する圧縮率指定工程と、複数のサブバンド符号量分布インデックス値と複数の圧縮率インデックス値との各値の組合せに係る複数の量子化テーブルを二次元マトリクス状に有する量子化テーブル群を用いて、前記サブバンド符号量分布検出工程で設定されたサブバンド符号量分布インデックス値と前記圧縮率指定工程で設定された圧縮率インデックス値とに基づき、前記量子化テーブル群から所定の量子化テーブルを選択し、該選択した量子化テーブルにより前記符号列データの符号を量子化して、前記符号列データの符号量を矩形領域毎に削減する符号量削減工程とを含む。
【0047】
請求項17ないし20記載の発明の符号列変換方法によれば、請求項1ないし4と同様の作用を奏する。
【0048】
【発明の実施の形態】
本発明の第一の実施の形態を図1ないし図21に基づいて説明する。
【0049】
最初に、本発明の前提となる「階層符号化アルゴリズム」及び「JPEG2000アルゴリズム」の概要について説明する。
【0050】
図1は、JPEG2000方式の基本となる階層符号化アルゴリズムを実現するシステムの機能ブロック図である。このシステムは、色空間変換・逆変換部101、2次元ウェーブレット変換・逆変換部102、量子化・逆量子化部103、エントロピー符号化・復号化部104、タグ処理部105の各機能ブロックにより構成されている。
【0051】
このシステムが従来のJPEGアルゴリズムと比較して最も大きく異なる点の一つは変換方式である。JPEGでは離散コサイン変換(DCT:Discrete Cosine Transform)を用いているのに対し、この階層符号化アルゴリズムでは、2次元ウェーブレット変換・逆変換部102において、離散ウェーブレット変換(DWT:Discrete Wavelet Transform)を用いている。DWTはDCTに比べて、高圧縮領域における画質が良いという長所を有し、この点が、JPEGの後継アルゴリズムであるJPEG2000でDWTが採用された大きな理由の一つとなっている。
【0052】
また、他の大きな相違点は、この階層符号化アルゴリズムでは、システムの最終段に符号形成を行うために、タグ処理部105の機能ブロックが追加されていることである。このタグ処理部105で、画像の圧縮動作時には圧縮データが符号列データとして生成され、伸長動作時には伸長に必要な符号列データの解釈が行われる。そして、符号列データによって、JPEG2000は様々な便利な機能を実現できるようになった。例えば、ブロック・ベースでのDWTにおけるオクターブ分割に対応した任意の階層(デコンポジション・レベル)で、静止画像の圧縮伸長動作を自由に停止させることができるようになる(後述する図3参照)。
【0053】
原画像の入出力部分には、色空間変換・逆変換101が接続される場合が多い。例えば、原色系のR(赤)/G(緑)/B(青)の各コンポーネントからなるRGB表色系や、補色系のY(黄)/M(マゼンタ)/C(シアン)の各コンポーネントからなるYMC表色系から、YUVあるいはYCbCr表色系への変換又は逆変換を行う部分がこれに相当する。
【0054】
次に、JPEG2000アルゴリズムについて説明する。
【0055】
カラー画像は、一般に、図2に示すように、原画像の各コンポーネント111(ここではRGB原色系)が、矩形をした領域によって分割される。この分割された矩形領域は、一般にブロックあるいはタイルと呼ばれているものであるが、JPEG2000では、タイルと呼ぶことが一般的であるため、以下、このような分割された矩形領域をタイルと記述することにする(図2の例では、各コンポーネント111が縦横4×4、合計16個の矩形のタイル112に分割されている)。このような個々のタイル112(図2の例で、R00,R01,…,R15/G00,G01,…,G15/B00,B01,…,B15)が、画像データの圧縮伸長プロセスを実行する際の基本単位となる。従って、画像データの圧縮伸長動作は、コンポーネント毎、また、タイル112毎に、独立に行われる。
【0056】
画像データの符号化時には、各コンポーネント111の各タイル112のデータが、図1の色空間変換・逆変換部101に入力され、色空間変換を施された後、2次元ウェーブレット変換部102で2次元ウェーブレット変換(順変換)が施されて、周波数帯に空間分割される。
【0057】
図3には、デコンポジション・レベル数が3の場合の、各デコンポジション・レベルにおけるサブバンドを示している。すなわち、原画像のタイル分割によって得られたタイル原画像(0LL)(デコンポジション・レベル0)に対して、2次元ウェーブレット変換を施し、デコンポジション・レベル1に示すサブバンド(1LL,1HL,1LH,1HH)を分離する。そして引き続き、この階層における低周波成分1LLに対して、2次元ウェーブレット変換を施し、デコンポジション・レベル2に示すサブバンド(2LL,2HL,2LH,2HH)を分離する。順次同様に、低周波成分2LLに対しても、2次元ウェーブレット変換を施し、デコンポジション・レベル3に示すサブバンド(3LL,3HL,3LH,3HH)を分離する。図3では、各デコンポジション・レベルにおいて符号化の対象となるサブバンドを、網掛けで表してある。例えば、デコンポジション・レベル数を3としたとき、網掛けで示したサブバンド(3HL,3LH,3HH,2HL,2LH,2HH,1HL,1LH,1HH)が符号化対象となり、3LLサブバンドは符号化されない。
【0058】
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図1に示す量子化・逆量子化部103で対象ビット周辺のビットからコンテキストが生成される。
【0059】
この量子化の処理が終わったウェーブレット係数は、個々のサブバンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図4に示したように、一つのプレシンクトは、空間的に一致した3つの矩形領域からなっている。更に、個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分けられる。これは、エントロピー・コーディングを行う際の基本単位となる。
【0060】
ウェーブレット変換後の係数値は、そのまま量子化し符号化することも可能であるが、JPEG2000では符号化効率を上げるために、係数値を「ビットプレーン」単位に分解し、画素あるいはコード・ブロック毎に「ビットプレーン」に順位付けを行うことができる。
【0061】
ここで、図5はビットプレーンに順位付けする手順の一例を示す説明図である。図5に示すように、この例は、原画像(32×32画素)を16×16画素のタイル4つで分割した場合で、デコンポジション・レベル1のプレシンクトとコード・ブロックの大きさは、各々8×8画素と4×4画素としている。プレシンクトとコード・ブロックの番号は、ラスター順に付けられており、この例では、プレンシクトが番号0から3まで、コード・ブロックが番号0から3まで割り当てられている。タイル境界外に対する画素拡張にはミラーリング法を使い、可逆(5,3)フィルタでウェーブレット変換を行い、デコンポジション・レベル1のウェーブレット係数値を求めている。
【0062】
また、タイル0/プレシンクト3/コード・ブロック3について、代表的な「レイヤ」構成の概念の一例を示す説明図も図5に併せて示す。変換後のコード・ブロックは、サブバンド(1LL,1HL,1LH,1HH)に分割され、各サブバンドにはウェーブレット係数値が割り当てられている。
【0063】
レイヤの構造は、ウェーブレット係数値を横方向(ビットプレーン方向)から見ると理解し易い。1つのレイヤは任意の数のビットプレーンから構成される。この例では、レイヤ0,1,2,3は、各々、1,3,1,3のビットプレーンから成っている。そして、LSB(Least Significant Bit:最下位ビット)に近いビットプレーンを含むレイヤ程、先に量子化の対象となり、逆に、MSB(Most Significant Bit:最上位ビット)に近いレイヤは最後まで量子化されずに残ることになる。LSBに近いレイヤから破棄する方法はトランケーションと呼ばれ、量子化率を細かく制御することが可能である。
【0064】
図1に示すエントロピー符号化・復号化部104では、コンテキストと対象ビットから確率推定によって、各コンポーネント111のタイル112に対する符号化を行う。こうして、原画像の全てのコンポーネント111について、タイル112単位で符号化処理が行われる。最後にタグ処理部105は、エントロピー符号化・復号化部104からの全符号化データを1本の符号列データに結合するとともに、それにタグを付加する処理を行う。
【0065】
図6には、この符号列データの1フレーム分の概略構成を示している。この符号列データの先頭と各タイルの符号データ(bit stream)の先頭にはヘッダ(メインヘッダ(Main header)、タイル境界位置情報等であるタイルパートヘッダ(tile part header))と呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。なお、メインヘッダ(Main header)には、符号化パラメータや量子化パラメータが記述されている。そして、符号列データの終端には、再びタグ(end of codestream)が置かれる。
【0066】
一方、符号化データの復号化時には、画像データの符号化時とは逆に、各コンポーネント111の各タイル112の符号列データから画像データを生成する。この場合、タグ処理部105は、外部より入力した符号列データに付加されたタグ情報を解釈し、符号列データを各コンポーネント111の各タイル112の符号列データに分解し、その各コンポーネント111の各タイル112の符号列データ毎に復号化処理(伸長処理)を行う。このとき、符号列データ内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、量子化・逆量子化部103で、その対象ビット位置の周辺ビット(既に復号化を終えている)の並びからコンテキストが生成される。エントロピー符号化・復号化部104で、このコンテキストと符号列データから確率推定によって復号化を行い、対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを2次元ウェーブレット変換・逆変換部102で2次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間変換・逆変換部101によって元の表色系の画像データに変換される。
【0067】
以上が、「JPEG2000アルゴリズム」の概要であり、静止画像、すなわち単フレームに対する方式を複数フレームに拡張したものが、「Motion JPEG2000アルゴリズム」である。すなわち、「Motion JPEG2000」は、図7に示すように、1フレームのJPEG2000画像を所定のフレームレート(単位時間に再生するフレーム数)で連続して表示することにより、動画像にするものである。
【0068】
以下、本発明の第一の実施の形態について説明する。なお、ここでは、MotionJPEG2000を代表とする動画像圧縮伸長技術に関する例について説明するが、言うまでもなく、本発明は以下の説明の内容に限定されるものではない。
【0069】
図8は本発明が適用されるムービーカメラシステム1の概略構成を示すブロック図である。図8に示すように、本発明の動画像表示システムが適用されるムービーカメラシステム1は、ムービーカメラである画像記録装置1aとパーソナルコンピュータである動画像再生装置1bとをインターネットであるネットワーク1cを介して接続したものである。
【0070】
以下においては、本発明の特長的な機能を発揮する画像記録装置1aについて説明する。なお、動画像再生装置1bについては、Motion JPEG2000方式で圧縮した符号列データの伸長を行うことができる標準的なシステムであれば良いので、その詳細な説明は省略する。
【0071】
図8に示すように、画像記録装置1aは、動画像を撮影する画像入力装置2と、この撮影した画像データを圧縮符号化する画像圧縮装置3と、この圧縮符号化された符号列から別の符号列を作成する画像圧縮用の符号列変換装置4と、を備えている。画像圧縮装置3及び符号列変換装置4で動画像データの圧縮処理を行う本発明の画像処理装置を実施している。
【0072】
図9は、画像記録装置1aのハードウエア構成の一例を示すブロック図である。画像記録装置1aは、図9に示すように、コンピュータの主要部であって各部を集中的に制御するCPU(Central Processing Unit)11を備えており、このCPU11には、各種のROM(Read Only Memory)、RAM(Random Access Memory)からなる記憶媒体であるメモリ12と、ネットワーク1cと通信を行う所定の通信インターフェイス13と、ユーザから各種の操作を受け付ける操作パネル18とが、バス14を介して接続されている。
【0073】
画像記録装置1aにおいては、前述した画像入力装置2と画像圧縮装置3とに加え、論理回路19が、バス14を介してCPU11に接続されている。
【0074】
このような構成の画像記録装置1aのメモリ12(のROM)には、動画像を処理する動画処理プログラム等の制御プログラムがそれぞれ記憶されている。この動画処理プログラムは本発明のプログラムを実施するものである。そして、この動画処理プログラムに基づいてCPU11が実行する処理により、符号列変換装置4の機能を実現する。
【0075】
なお、メモリ12としては、CDやDVDなどの各種の光ディスク、各種光磁気ディスク、フレキシブルディスクなどの各種磁気ディスク、半導体メモリ等、各種方式のメディアを用いることもできる。また、ネットワーク1cからプログラムをダウンロードし、メモリ12にインストールするようにしてもよい。この場合に、送信側のサーバでプログラムを記憶している記憶装置も、この発明の記憶媒体である。なお、プログラムは、所定のOS(Operating System)上で動作するものであってもよいし、その場合に後述の各種処理の一部の実行をOSに肩代わりさせるものであってもよいし、所定のアプリケーションソフトやOSなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。
【0076】
ここで、画像記録装置1aの各部の動作について簡単に説明する。まず、画像記録装置1aの画像入力装置2は、CCD、MOSイメージセンサ等の光電変換デバイスを用いて動画像をフレーム単位でキャプチャし、動画像のデジタル画素値信号を画像圧縮装置3に出力する。画像圧縮装置3は、動画像のデジタル画素値信号を「Motion JPEG2000アルゴリズム」に従って圧縮符号化する。この画像圧縮装置3における処理により、元の動画像のR,G,Bの各コンポーネントの動画像データは、フレーム毎に1又は複数(通常は複数)のタイルに分割され、このタイル毎に階層的に圧縮符号化された符号化データとなる。
【0077】
符号列変換装置4では、画像圧縮装置3から出力される符号列データについて、符号量の削減を行う。タイル毎の符号データの削減を行って、よりデータ量の少ない符号列データに変換する。この符号列変換装置4は、図10に示すように、符号列の入力を受け付ける符号列入力手段41、構文解析手段42、符号列の符号量を削減する符号量削減手段43(量子化テーブル選択手段43a、パケット・スイッチ43bからなる)、符号列作成手段44、符号列を出力する符号列出力手段45、動き量検出手段46、サブバンド符号量分布検出手段47、ユーザによる圧縮率の入力を受け付ける圧縮率指定手段48の各種手段及び量子化テーブル群Tなどから構成される。これらの各種手段は、前述の動画処理プログラムにしたがってCPU11が行う処理により実現している。なお、リアルタイム性が重要視される場合には、処理を高速化する必要がある。そのためには、論理回路15の動作により、各種手段の機能を実現するようにするのが望ましい。
【0078】
次に、符号列変換装置4を構成する各部について説明する。
【0079】
構文解析手段42は、画像圧縮装置3から入力された符号列データの構文すなわちヘッダ部に記述されているデータを解読するものである。
【0080】
符号列作成手段44は、符号量削減手段43により符号量が削減された符号列を標準形式の符号列に整えるものである。こうすることにより、汎用のデコーダで、新たに生成した符号列を伸長することが可能となる。
【0081】
動き量検出手段46は、現フレームと以前のフレームとの間の動き量を検出するものである。動き量検出手段46が検出する現フレームと以前のフレームとの間の動き量には、現フレームとそれ以前のフレームとの間におけるパケット長の差分から求められる相関係数値が使われている。相関係数値が大きいことは、フレーム間の画像が似ていることを意味するので、動き量は小さいことに対応する。
【0082】
ここで、動き量検出手段46による動き量の検出について説明する。ここでは、ペイロード部のデータ量、すなわち、「パケット長」に基づいて動き量を検出する手法について説明する。図11に示すように、ペイロード部のデータ量、すなわち、「パケット長」は、ヘッダ部に記述されているので、その情報を構文解析手段42により読み取って、各フレームのパケット長を検出し(パケット長検出手段)、検出した各フレームのパケット長を記憶する(パケット長記憶手段)。動き量は、符号量の変化量、すなわち、パケット長の変化量に現れることから、現フレームとそれ以前のフレームとの間におけるパケット長の差分を求めることにより(差分検出手段)、動き量を検出することができる。このような手法によれば、動き量に僅かながら誤差が含まれる場合があるものの、画像処理装置の構成が単純で済み、かつ、高速で処理することができるという、大きなメリットを有している。なお、符号量の変化が予め設定されている閾値よりも小さい場合には、フレーム間で動きがなかったものとしても良い。
【0083】
なお、動き量の検出は、現フレームとそれ以前のフレームとの間におけるパケット長の差分から求められるものに限るものではない。例えば、現フレームとそれ以前のフレームとの間におけるウェーブレット係数値の差分から求めることもできる。この場合には、各サブバンド毎にペイロード・データを復号化し(復号化手段)、更に逆量子化して(逆量子化手段)、ウェーブレット係数値を直接求めた後、検出した各フレームのウェーブレット係数値を記憶する(ウェーブレット係数値記憶手段)。その後、こうして得られたウェーブレット係数値を使い、フレーム間で対応するビットを比較することにより(差分検出手段)、動き量を検出することができる。このような手法によれば、符号列変換装置の構成が複雑になり、かつ、処理時間が長くなるものの、動き量を正確に求めることができる。
【0084】
ここで、図12は動画像の「動き量」に応じて最適化された「量子化」を説明する説明図である。縦軸は動き量を表し、現フレームとそれ以前のフレームとの間における各タイル・各サブバンド毎のウェーブレット係数値の差分から求められる相関係数値が使われている。また、横軸は、タイルの単位を表している。タイルは、フレーム内の原静止画像を分割して作成された矩形領域のことである。各タイルA,B,C,Dは、図27に示したタイルA,B,C,Dに対応する。なお、図12は、ユーザが圧縮率指定手段48を介して圧縮率インデックス値kとしてk=pを選択した例である。この圧縮率インデックス値は、符号量の大きさを半定量的に大雑把に決めるときに使うものである。ユーザは、まず最初に、この圧縮率インデックス値を指定する。なお、k=0は、可逆符号化(ロスレス圧縮)を表わしている。
【0085】
図12に示すように、画像領域毎に異なる動き量を反映させるために、相関係数値には、複数の閾値が設けられ、各閾値間には対応する「動き量インデックス値」が割り当てられている。そして、各「動き量インデックス値」に対応して「量子化テーブル」が用意されている。ここで、図13は「動き量インデックス値」に対応する「量子化テーブル」の具体例を示す説明図である。図13に示すように、この「量子化テーブル」では、符号化データが削減されるサブバンドと、符号化データが保存されるサブバンドが、指定されている。つまり、各矩形画像領域の量子化においては、「符号量分布インデックス値」の設定により、注目したい動き量、無視する動き量、というように、目的とする動画像処理に合わせて、符号化データを保存するサブバンドと削減するサブバンドとを決定することが可能である。
【0086】
すなわち、図12に示すように、動き量の大きなタイルAは、動き量インデックス値としてi=9を、動き量の小さなタイルCは、動き量インデックス値としてi=1を、各々与えられており、各インデックス値に対応する「量子化テーブル」を使って量子化が行われる。
【0087】
このように動画像の「動き量」を量子化に反映させることにより、従来の方法で目障りであった、背景に現れる「モヤモヤとした歪」を、大幅に低減させることが可能である。
【0088】
サブバンド符号量分布検出手段47は、現フレーム内のサブバンド符号量分布を検出するものである。ここで、サブバンド符号量分布検出手段47によるサブバンド符号量分布の検出について説明する。ここでは、ペイロード部のサブバンド符号量、すなわち、「パケット長」に基づいてサブバンド符号量分布を検出する手法について説明する。前述したように、ペイロード部のサブバンド符号量、すなわち、「パケット長」は、ヘッダ部に記述されているので、その情報を構文解析手段42により読み取って、フレームのパケット長を検出し(パケット長検出手段)、この検出したフレームのパケット長に基づいてサブバンド符号量分布を検出することができる。
【0089】
ここで、図14は「サブバンド符号量分布」に応じて最適化された「量子化」を説明する説明図である。縦軸は、最上位階層の(デコンポジション・レベル数が最大の)低域サブバンド符号量を「1」に規格化した時の相対符号量を表している。また、横軸は、サブバンド周波数帯域を表している。そして、タイル毎の符号量分布を示す曲線のうち細線の部分は、符号量の削除対象となるサブバンドを、一方、太線の部分は、符号量がそのまま保存されるサブバンドを各々表している。各タイルA,B,C,Dは、図27に示したタイルA,B,C,Dに対応する。なお、図14(a)は、ユーザが圧縮率指定手段48を介して圧縮率インデックス値kとして低圧縮率であるk=pを選択した例であり、図14(b)は、ユーザが圧縮率指定手段48を介して圧縮率インデックス値kとして高圧縮率であるk=qを選択した例である。図14に示すように、タイルAとタイルDは高域にまで符号データを保持している。また、タイルBは中域に比較的多くの情報を、タイルCは低域にほとんどの情報を、各々保有している。このように、タイル毎にサブバンドの持つ符号化データ量の分布が異なるので、ここでは量子化処理にあたっては、サブバンド符号量分布に三種類の「符号量分布インデックス値」が割り当てられている。そして、個々の「符号量分布インデックス値」には、対応する「量子化テーブル」が用意されている。ここで、図15は「符号量分布インデックス値」に対応する「量子化テーブル」の具体例を示す説明図である。図15に示すように、この「量子化テーブル」では、「符号量分布インデックス値」に対応して符号量が削減されるサブバンド(斜線で示す部分)が設定されている。
【0090】
すなわち、図14に示すように、この「量子化テーブル」では、高域に符号データ量の分布の多いタイルAやタイルDには符号量分布インデックス値としてj=Hを、中域に分布の多いタイルBには符号量分布インデックス値としてj=Mを、低域に分布の多いタイルCには符号量分布インデックス値としてj=Lを、各々割り当てている。
【0091】
これにより、符号量分布インデックス値に応じてサブバンド符号データを削減することが可能になるので、図14(b)に示すように、高圧縮率の場合におけるタイルA,B,Dの画質劣化が改善され、タイルCと同等の画質を維持することが可能になる。
【0092】
また、図16は「サブバンド符号量分布」に応じて最適化された「量子化」を説明する別の説明図である。なお、図16(a)は、ユーザが圧縮率指定手段48を介して圧縮率インデックス値kとして低圧縮率であるk=pを選択した例であり、図16(b)は、ユーザが圧縮率指定手段48を介して圧縮率インデックス値kとして高圧縮率であるk=qを選択した例である。ここで、縦軸には全サブバンドの持つ符号量の和を、横軸にはタイル#を表している。画像情報が低域サブバンドに集まっているタイルは、全サブバンドの符号量和は小さく、反対に、高域に画像情報が集中しているタイルは、符号量和は大きい。そして、各タイルは、分類されたカテゴリに設けられている最低符号量和まで、符号量が削減される。
【0093】
このように、量子化前の符号量に応じて符号量を削減する割合が決められているので、量子化後の符号データを復号して画像として表示させたとき、高域から低域の全ての帯域に渡って、画質の劣化はあまり目立たない。なぜなら、従来のように、量子化前の符号量を考慮せず、一律に符号量を削減することがないからである。
【0094】
つまり、図17に示すように、本実施の形態の量子化テーブル群Tは、「動き量インデックス値(i=0,1,・・・,9)」と「符号量分布インデックス値(j=L,M,H)」と「圧縮率インデックス値(k=0,1,・・・,n)」とに係る量子化テーブルを三次元マトリクス(i,j,k)状に有したものである。
【0095】
量子化テーブル群Tについてより詳細に説明する。図18は、量子化テーブル群Tの「動き量インデックス値」と「圧縮率インデックス値」との関係について示したものである。前述したように、「動き量インデックス値」は、動き量と予め設定しておいた閾値によって分類されており、「圧縮率インデックス値」は、ユーザにより指定される。この例では、「動き量インデックス値」は9個のインデックス値に分類されており、「圧縮率インデックス値」はロスレス(k=0)から最高圧縮率(k=n)のインデックス値に分類されている。図18に示すように、「圧縮率インデックス値」の値としてk=pを選んだとき、タイルAの量子化テーブルは(9,p)、また、タイルBの量子化テーブルは(2,p)となる。
【0096】
また、図19は、量子化テーブル群Tの「符号量分布インデックス値」と「圧縮率インデックス値」との関係について示したものである。前述したように、「符号量分布インデックス値」は、矩形画像領域(タイル)毎の特徴に応じて数種類のパターンに分類されており、「圧縮率インデックス値」は、ユーザにより指定される。この例では、「符号量分布インデックス値」は3個のインデックス値に分類されており、「圧縮率インデックス値」はロスレス(k=0)から最高圧縮率(k=n)のインデックス値に分類されている。図19に示すように、「圧縮率インデックス値」の値としてk=pを選んだとき、タイルAの量子化インデックス値は(H,p)、また、タイルBの量子化インデックス値は(M,p)となる。
【0097】
すなわち、符号量削減手段43の量子化テーブル選択手段43aは、動き量検出手段46、サブバンド符号量分布検出手段47、圧縮率指定手段48により各矩形画像領域の特徴を分類して得た「インデックス値」(i,j,k)に従って量子化テーブル群Tを参照し、最適な量子化テーブルを選択する。例えば、図17に示すように、「圧縮率インデックス値」としてk=pを選んだとき、タイルAの量子化テーブルは(9,H,p)、また、タイルBの量子化テーブルは(2,M,p)となる。
【0098】
なお、量子化テーブル選択手段43aにより最適な量子化テーブルが選択された場合には、パケット・スイッチ43bをオフにして、符号量削減手段43により符号列の符号量の削減を行う。同時に、符号列作成手段44において、符号量削減手段43により符号量が削減された符号列のコード・ストリームのヘッダ・データを書き換えて標準形式の符号列に整える。こうして、作成された符号列が符号列出力手段45によりネットワーク1cに出力される。
【0099】
一方、量子化テーブル選択手段43aにより最適な量子化テーブルが選択されなかった場合には、パケット・スイッチ43bはオン状態のままとして、現フレームの符号列データは、符号量を削除されることなく符号列出力手段45によりネットワーク1cに出力される。
【0100】
なお、本実施の形態においては、「動き量インデックス値(i=0,1,・・・,9)」と「符号量分布インデックス値(j=L,M,H)」と「圧縮率インデックス値(k=0,1,・・・,n)」とに係る量子化テーブルを三次元マトリクス(i,j,k)状に有する量子化テーブル群Tを用いるようにしたが、これに限るものではない。例えば、「動き量インデックス値(i=0,1,・・・,9)」と「圧縮率インデックス値(k=0,1,・・・,n)」とに係る量子化テーブルを二次元マトリクス(i,k)状に有する量子化テーブル群を用いるようにしても良い。なお、この場合には、図20に示すように、符号列変換装置4にサブバンド符号量分布検出手段47は不要となる。このような場合には、三次元マトリクス(i,j,k)である量子化テーブル群Tを用いる場合に比べ、画質が若干落ちることになるが、処理の高速化を図ることが可能になる。
【0101】
また、「符号量分布インデックス値(j=L,M,H)」と「圧縮率インデックス値(k=0,1,・・・,n)」とに係る量子化テーブルを二次元マトリクス(j,k)状に有する量子化テーブル群を用いるようにしても良い。なお、この場合には、図21に示すように、符号列変換装置4に動き量検出手段46は不要となる。このような場合には、三次元マトリクス(i,j,k)である量子化テーブル群Tを用いる場合に比べ、画質が若干落ちることになるが、処理の高速化を図ることが可能になる。また、このような符号列変換装置4によれば、動き量の検出が不要となることから、動画像のみならず、静止画像についても適用することが可能である。
【0102】
ここに、動画像データを矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データから検出された動き量とサブバンド符号量分布、およびユーザによって指定された圧縮率に応じ、符号列データの符号量が矩形領域毎に削減される。これにより、圧縮率のみならず動き量とサブバンド符号量分布とを考慮した量子化が行われることになるので、動き量の大小や画像周波数の高低に伴う画質劣化を抑えた量子化を行うことが可能になる。
【0103】
なお、入力原画像が複数のコンポーネントで構成されている場合、システム全体の更なる高速化を図ることが可能である。すなわち、例えば入力符号列がYCbCr信号である場合、パケット長検出をY成分だけで行えば良い。CbおよびCr成分に対する量子化テーブルは、Y成分に対して求められた量子化テーブルに基づいて量子化テーブル群Tから容易に選択することができるからである。
【0104】
また、本実施の形態においては、圧縮率指定手段48を介してユーザが圧縮率を指定するようにしたが、これに限るものではない。例えば、圧縮率の代わりにビットレートを指定させるようにして、この指定されたビットレートに基づいて圧縮率インデックス値kが設定されるようにしても良い。
【0105】
次に、本発明の第二の実施の形態を図22ないし図24に基づいて説明する。なお、前述した第一の実施の形態と同じ部分は同じ符号で示し説明も省略する。
【0106】
第一の実施の形態で説明したように、「符号量分布インデックス値(j=L,M,H)」と「圧縮率インデックス値(k=0,1,・・・,n)」とに係る量子化テーブルを二次元マトリクス(j,k)状に有する量子化テーブル群を用いる場合には、符号列変換装置4に動き量検出手段46は不要となることから、動画像のみならず、静止画像についても適用することが可能である。
【0107】
ここで、図22は本実施の形態の符号列変換装置4の構成を示すブロック図である。図22に示すように、本実施の形態の符号列変換装置4は、図21に示した構成に加えて、インデックス値変更手段50を備えている。このインデックス値変更手段50は、サブバンド符号量分布検出手段47および圧縮率指定手段48で決められたインデックス値(j,k)は、(j*,k*)に変更するものである。
【0108】
ここで、インデックス値変更手段50について、具体例を挙げて説明する。図23は、サブバンド符号量分布を考慮した静止画像の符号化を説明するための画像例である。図23に示すように、タイルUは青空を、タイルWは高層ビルの窓枠の密集した正面側を、そして、タイルVは高層ビルと空の両方を、各々主たる画像としている。サブバンド符号量分布について見れば、タイルUは低域に、タイルWは高域に、タイルVは低域から高域までの全ての範囲に、画像情報が集まっている。ここで、タイルVはその画像情報が低域から高域の全ての範囲に広がっているため、タイルVの量子化に際しては、高域のビル正面側(タイルW)と、低域の空(タイルU)との両方の画質バランスを崩さないように行う必要がある。しかしながら、これは非常に難しいことで、従来より画質の劣化を招く原因となっていた。しかも、圧縮率が高くなるに従って、最適な解を見つけることがますます困難になっていく傾向がある。
【0109】
そこで、本実施の形態においては、インデックス値変更手段50を用いることにより、空とビルの境界にあたる矩形領域には、予め決められている圧縮率インデックス値よりも、より圧縮率の小さなインデックス値を割り当て直すようにしている。具体的には、図24に示すように、低圧縮率(圧縮率インデックス値k=p)ではロスレス圧縮(k=0)を、中圧縮率(圧縮率インデックス値k=q)ではより低圧縮率側のインデックス値(k=p−m)を、高圧縮率(圧縮率インデックス値k=r)ではより低圧縮率側のインデックス値k=r−n)を、各々用いるようにする。このように、インデックス値を変更することにより、高い画像品質を維持したまま、原画像の符号化を行うことが可能となる。
【0110】
なお、各実施の形態においては、原画像にタイル分割処理を施した場合について説明したが、これに限るものではない。原画像に対してタイル分割を行わない場合でも、プレシンクトやコード・ブロックを矩形領域として利用すれば、タイル分割を行った場合と同様に、「動き量」や「サブバンド符号量分布」を細かく検出し、画質劣化を抑えた量子化が可能である。
【0111】
また、前述の説明では、本発明の画像記録装置1aをムービーカメラに適用した例を説明したが、画像記録装置1aを携帯情報端末装置(PDA)、携帯電話などの情報端末装置に適用することもできる。
【0112】
【発明の効果】
本発明の符号列変換装置、それを備えた画像処理装置及び画像記録層、符号列変換方法によれば、以下のような効果が得られる。
(1)動画像データを矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データから検出された動き量とサブバンド符号量分布、およびユーザによって指定された圧縮率に応じ、符号列データの符号量を矩形領域毎に削減することにより、圧縮率のみならず動き量とサブバンド符号量分布とを考慮した量子化を行うことになるので、動き量の大小や画像周波数の高低に伴う画質劣化を抑えた量子化を行うことができる。
【0113】
(2)量子化テーブル群から最適な量子化テーブルを選択し、この選択された量子化テーブルに基づいて符号列データの符号量を矩形領域毎に削減することにより、きめの細かい画質制御を含んだ量子化を実行することができる。
【0114】
(3)動画像データを矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データから検出された動き量、およびユーザによって指定された圧縮率に応じ、符号列データの符号量を矩形領域毎に削減することにより、圧縮率のみならず動き量を考慮した量子化を行うことになるので、動き量の大小に伴う画質劣化を抑えた量子化を行うことができる。
【0115】
(4)動画像データを矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データから検出されたサブバンド符号量分布、およびユーザによって指定された圧縮率に応じ、符号列データの符号量を矩形領域毎に削減することにより、圧縮率のみならずサブバンド符号量分布を考慮した量子化を行うことになるので、画像周波数の高低に伴う画質劣化を抑えた量子化を行うことができる。
【0116】
(5)静止画像データを矩形領域毎に画素値を直交変換し階層的に圧縮符号化することにより作成した符号列データから検出されたサブバンド符号量分布、およびユーザによって指定された圧縮率に応じ、符号列データの符号量を矩形領域毎に削減することにより、圧縮率のみならずサブバンド符号量分布を考慮した量子化を行うことになるので、画像周波数の高低に伴う画質劣化を抑えた量子化を行うことができる。
【0117】
(6)量子化テーブルは、符号量が削減されるサブバンドと、符号量が保存されるサブバンドとを指定することにより、符号列データの符号量を確実に削減することができる。
【0118】
(7)設定された各種インデックス値を変更するインデックス値変更手段を備えることにより、高い画像品質を維持したまま、原画像の符号化を行うことができる。
【0119】
(8)矩形領域毎に符号量が削減された符号列データを標準形式の符号列データに整えることにより、汎用のデコーダで、新たに生成した符号列データを伸長することができる。
【0120】
(9)YCbCrコンポーネントのY(輝度)成分や、RGBコンポーネントのG(緑)成分のみについて「動き量」や「サブバンド符号量分布」の検出を行うことができるので、高速かつ低消費電力での符号化制御を行うことができる。
【0121】
(10)矩形領域は、タイルであることにより、直交変換として離散ウェーブレット変換を用いることができる。
【0122】
(11)矩形領域は、プレシンクトであることにより、タイル分割をしない場合(全画像領域=タイル)にも、タイル単位と同じように、画質劣化を抑える量子化を行うことができる。また、検出単位をタイルよりも小さな画像領域にすることができる。
【0123】
(12)矩形領域は、コード・ブロックであることにより、タイル分割をしない場合(全画像領域=タイル)にも、タイル単位と同じように、画質劣化を抑える量子化を行うことができる。また、検出単位をタイルよりも小さな画像領域にすることができる。
【図面の簡単な説明】
【図1】本発明の前提となるJPEG2000方式の基本となる階層符号化アルゴリズムを実現するシステムの機能ブロック図である。
【図2】原画像の各コンポーネントの分割された矩形領域を示す説明図である。
【図3】デコンポジション・レベル数が3の場合の、各デコンポジション・レベルにおけるサブバンドを示す説明図である。
【図4】プレシンクトを示す説明図である。
【図5】ビットプレーンに順位付けする手順の一例を示す説明図である。
【図6】符号列データの1フレーム分の概略構成を示す説明図である。
【図7】Motion JPEG2000の概念を示す説明図である。
【図8】本発明の第一の実施の形態のムービーカメラシステムの概略構成を示すブロック図である。
【図9】画像記録装置のハードウエア構成の一例を示すブロック図である。
【図10】符号列変換装置の構成を示すブロック図である。
【図11】構文解析手段によるパケット長の検出を示す説明図である。
【図12】動画像の「動き量」に応じて最適化された「量子化」を説明する説明図である。
【図13】「動き量インデックス値」に対応する「量子化テーブル」の具体例を示す説明図である。
【図14】「サブバンド符号量分布」に応じて最適化された「量子化」を説明する説明図である。
【図15】「符号量分布インデックス値」に対応する「量子化テーブル」の具体例を示す説明図である。
【図16】「サブバンド符号量分布」に応じて最適化された「量子化」を説明する別の説明図である。
【図17】動き量とサブバンド符号量分布の両方を考慮した量子化テーブル群を示す説明図である。
【図18】量子化テーブル群の「動き量インデックス値」と「圧縮率インデックス値」との関係について示す説明図である。
【図19】量子化テーブル群の「符号量分布インデックス値」と「圧縮率インデックス値」との関係について示す説明図である。
【図20】別の符号列変換装置の構成を示すブロック図である。
【図21】別の符号列変換装置の構成を示すブロック図である。
【図22】本発明の第二の実施の形態の符号列変換装置の構成を示すブロック図である。
【図23】サブバンド符号量分布を考慮した静止画像の符号化を説明するための画像例を示す説明図である。
【図24】インデックス値の変更例を示す説明図である。
【図25】従来の「量子化」の方法を示す説明図である。
【図26】従来の「量子化」の方法を示す説明図である。
【図27】動画像コンテンツから抜き出した連続する三つのフレームを示す説明図である。
【図28】図27に示した各フレーム中の所定のタイルの動き量及び画素周波数を示すテーブルを示す説明図である。
【符号の説明】
1a 画像記録装置
2 画像入力装置
3 画像圧縮装置
4 符号列変換装置
12 記憶媒体
42 構文解析手段
43 符号量削減手段
43a 量子化テーブル選択手段
44 符号列作成手段
46 動き量検出手段
47 サブバンド符号量分布検出手段
48 圧縮率指定手段
50 インデックス値変更手段
T 量子化テーブル群[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a code string converter,The present invention relates to an image processing apparatus, an image recording apparatus, and a code string conversion method including the same.
[0002]
[Prior art]
Conventionally, MPEG1 / MPEG2 / MPEG4 dedicated to moving images and Motion JPEG that handles still images as continuous frames are used as image compression / decompression algorithms. Recently, a new method called Motion JPEG2000 is being standardized as an international standard for encoding the latter motion still image.
[0003]
The difference between the MPEG system and the Motion still image system is that the latter performs only intra-frame coding, whereas the former performs correlation not only in images within the same frame but also between different frames, thereby increasing the compression rate. There is in being able to. On the other hand, in the latter method in which each frame is handled independently, editing for each frame is possible as compared with the former, and an error during communication does not reach other frames. As described above, the MPEG system and the Motion still image system have their respective features. The method is properly used for each application.
[0004]
In the Motion JPEG2000 system, discrete wavelet transform is used as a conversion system, but there is one in which image data is compressed and encoded using this discrete wavelet transform (see, for example, Patent Document 1).
[0005]
[Patent Document 1]
JP 2001-309281 A
[0006]
[Problems to be solved by the invention]
In the technique disclosed in
[0007]
By the way, in such a conventional technique, there is a process for performing “quantization” optimized for still images in a frame and a process for performing “code amount reduction” based on a comparison result of wavelet coefficient values between frames. Each is performed independently, and the still image in the frame is quantized based on a unique “quantization table”.
[0008]
However, such conventional techniques have the following problems.
[0009]
[Problem 1]
Conventionally, the compression of Motion still images has been focused only on “quantization” optimized for still images in a frame, and “quantization” has not been performed in consideration of the visual characteristics unique to moving images. It was. Originally, although the amount of motion between frames differs for each image region, conventionally, it has been assumed that the amount of motion is uniform over the entire image region. As a result, completely new image quality degradation that could not be expected when displaying a still image often appeared when displaying a moving image.
[0010]
FIG. 25 is an explanatory diagram showing a conventional “quantization” method. FIG. 25 shows a quantization method in which the amount of motion is ignored and the subband codes are uniformly reduced. Here, the vertical axis represents the amount of motion, and the correlation coefficient value obtained from the difference between the wavelet coefficient values for each tile and each subband between the current frame and the previous frame is used. The horizontal axis represents the unit of tile. A tile is a rectangular area created by dividing an original still image in a frame.
[0011]
Looking at the amount of motion, for example, the tile A is large and the tile C is small. However, in the conventional method, as shown in FIG. 25, the entire image is replaced with a uniform amount of motion. In this example, the movement amount of all tiles is handled as “none”. Therefore, the only “quantization table” is referenced regardless of the amount of motion.
[0012]
[Problem 2]
In addition, the quantization of still images within a frame uses only one “quantization table” that is uniquely defined by the compression rate or bit rate, but the code amount distribution of subbands is originally different for each image area. Although it should have been, it was not considered at all in the past. As a result, the image quality of the quantized image varies greatly depending on the properties of the original image, such as an image with many high-frequency components, an image with many low-frequency components, and an image widely distributed from high to low frequencies.
[0013]
FIG. 26 is an explanatory diagram showing a conventional “quantization” method. FIG. 26 shows a quantization method in which the distribution of the code amount is ignored and the subband codes are uniformly reduced. Here, the vertical axis represents the relative code amount when the low-frequency subband code amount in the highest layer (maximum number of decomposition levels) is normalized to “1”. The horizontal axis represents the subband frequency band. The thin line portion of the curve indicating the code amount distribution for each tile represents the subband from which the code amount is to be deleted, while the thick line portion represents the subband in which the code amount is stored as it is. . FIG. 26A shows a case where the number of subbands targeted for code amount reduction is large, and FIG. 26B shows a case where the number of subbands targeted for code amount reduction is small and the compression rate is low. It corresponds to the case of high.
[0014]
As shown in FIG. 26, the tile A and the tile D hold code data up to a high frequency range. In addition, the tile B has a relatively large amount of information in the middle range, and the tile C has most of the information in the low range. As described above, even when the subband code amount is different for each tile, the conventional method uniformly reduces the subband code data regardless of the code amount distribution. As a result, when the compression rate is particularly high, the image quality of tiles A, B, and D, which have a relatively large amount of data in the middle to high range, is compared with the image quality of tile C in which data is concentrated in the low range. As a result, the deterioration was remarkable.
[0015]
Here, in order to specifically explain the above-described
[0016]
As described above, when a motion still image encoded by conventional quantization is expanded and displayed without considering the motion amount between frames and the code amount distribution of subbands, the following phenomenon occurs. appear.
[0017]
[Tile A (bicycle spokes)]
The bicycle is closest to the shooting point, and the code amount distribution of the high-frequency subband is large due to structural features (the number of edges increases). However, according to the conventional “quantization” method, the code amount of the high frequency sub-band is reduced as the compression rate increases, so that the spoke part of the wheel is discriminated one by one in the still image in the frame. It becomes difficult to do. However, since the determination of spokes on a moving bicycle is beyond the limit of human visual acuity, the effect on moving images is not so great.
[0018]
[Tile B (leaf)]
There is almost no movement of the tree located in the middle of the foreground and foreground bicycles. The leaf portion has a large code amount distribution in the middle band. However, according to the conventional “quantization” method, as the compression rate increases, it becomes difficult to distinguish the leaves one by one from the still image in the frame. However, the tendency is not as strong as the bicycle spokes in tile A.
[0019]
[Tile C (background)]
In the distant view, a skyline having a large code amount distribution in the low frequency subband is arranged. Even if the compression rate increases, it is relatively difficult to be affected by the code amount reduction. However, since there is almost no amount of motion, if even a small amount of low-frequency sub-band data is deleted, the blur will spread over the entire still image in the frame. When viewed in a moving image, “smooth distortion” occurs in the background, which is very disturbing.
[0020]
[Tile D (Tree)]
In the image area, there are many contour portions of the tree. As a result, the code amount distribution is different from the tile C in that the data amount on the high frequency side is slightly larger. When the tile C is compared with the image, there is not much difference between the still images in the frame. However, when a moving image is displayed, “smooth distortion” appears more prominently. This seems to be because the amount of the high-frequency component that has been shaved is large.
[0021]
An object of the present invention is to provide a code string conversion device, an image processing device, an image recording device, a program, a storage medium, and a code amount reduction capable of performing quantization while suppressing deterioration in image quality due to the amount of motion and the level of image frequency. Is to provide a method.
[0022]
An object of the present invention is to provide a code string conversion device, an image processing device, an image recording device, a program, a storage medium, and a code amount reduction method capable of performing quantization while suppressing deterioration in image quality due to the amount of motion. It is.
[0023]
An object of the present invention is to provide a code string conversion device capable of performing quantization while suppressing image quality deterioration associated with high and low image frequencies.Image processing apparatus, image recording apparatus, and code string conversion method including the sameIs to provide.
[0024]
[Means for Solving the Problems]
The code string conversion device of the invention according to
[0025]
Therefore, motion amount and subband code amount distribution detected from code sequence data created by orthogonally transforming pixel values of moving image data for each rectangular area and hierarchically compressing and encoding, and compression specified by the user According to the rate, the code amount of the code string data is reduced for each rectangular area. As a result, quantization is performed in consideration of not only the compression rate but also the amount of motion and the subband code amount distribution, so that quantization is performed while suppressing deterioration in image quality due to the amount of motion and the level of image frequency. It becomes possible.By detecting the amount of motion based on the correlation coefficient value of the data amount of the packet length between the current frame and the previous frame, the amount of motion can be obtained at high speed and accurately.
[0026]
The code string conversion apparatus according to the second aspect of the present invention is obtained by dividing moving image data into one or a plurality of rectangular areas for each frame, orthogonally transforming pixel values for each rectangular area, and hierarchically compressing and encoding. A syntax analysis means for analyzing the data described in the header portion of the code string data, and a correlation coefficient value of the data amount of the packet length between the current frame and the previous frame based on the analysis result of the syntax analysis means. The motion amount detecting means for detecting the motion amount between the current frame and the previous frame and setting the motion amount to one of a plurality of predetermined motion amount index values, and specifying the compression rate A compression rate specifying means for accepting and setting the compression rate to one of a plurality of predetermined compression rate index values; and each of a plurality of motion amount index values and a plurality of compression rate index values Motion amount index set in the quantization table group having a plurality of quantization tables in a two-dimensional matrix according to the combination of the motion amount detecting means A predetermined quantization table is selected from the quantization table group based on the value and the compression ratio index value set by the compression ratio specifying means, and the code of the code string data is quantized by the selected quantization table Code amount reducing means for reducing the code amount of the code string data for each rectangular area;Is provided.
[0027]
Therefore, according to the amount of motion detected from code sequence data created by orthogonally transforming the pixel values of moving image data for each rectangular area and hierarchically compressing and encoding, and the compression rate specified by the user, The code amount of data is reduced for each rectangular area. As a result, not only the compression rate but also the amount of motion is taken into account for quantization, so that it is possible to perform quantization while suppressing image quality deterioration associated with the amount of motion.
[0028]
According to a third aspect of the present invention, there is provided a code string conversion device obtained by dividing moving image data into one or a plurality of rectangular areas for each frame, orthogonally transforming pixel values for each rectangular area, and hierarchically compressing and encoding. Syntactic analysis means for analyzing the data described in the header portion of the code string data, and a subband code amount distribution in the current frame is detected based on the analysis result of the syntax analysis means, and the subband code amount Subband code amount distribution detecting means for setting the distribution to one of a plurality of predetermined subband code amount distribution index values, and receiving a designation of compression rate, and a plurality of predetermined compression rate indexes A plurality of compression ratio designating means set to one of the values, a plurality of subband code amount distribution index values, and a plurality of compression ratio index values, A quantization table group having a child table in a two-dimensional matrix, a subband code amount distribution index value set by the subband code amount distribution detecting unit, and a compression rate index value set by the compression rate specifying unit; Based on the above, a predetermined quantization table is selected from the quantization table group, the code of the code string data is quantized by the selected quantization table, and the code amount of the code string data is reduced for each rectangular area Code amount reduction means andIs provided.
[0029]
Therefore, according to the subband code amount distribution detected from the code string data created by orthogonally transforming the moving image data for each rectangular area and hierarchically compressing and encoding, and the compression rate specified by the user The code amount of the code string data is reduced for each rectangular area. As a result, quantization is performed in consideration of not only the compression rate but also the subband code amount distribution. Therefore, it is possible to perform quantization while suppressing deterioration in image quality due to high and low image frequencies.
[0030]
According to a fourth aspect of the present invention, there is provided a code string conversion device that divides still image data into a plurality of rectangular areas, orthogonally transforms pixel values for each rectangular area, and hierarchically compresses and encodes code string data obtained. A syntactic analysis unit for analyzing data described in the header portion; and a subband code amount distribution is detected based on an analysis result of the syntactic analysis unit, and the subband code amount distribution is determined by a plurality of predetermined subbands. Subband code amount distribution detecting means to be set to one of the band code amount distribution index values, and a compression rate to accept the designation of the compression rate and set the compression rate to one of a plurality of predetermined compression rate index values A two-dimensional matrix of a plurality of quantization tables related to a combination of each of a specifying means and a plurality of subband code amount distribution index values and a plurality of compression ratio index values The quantization table group, a subband code amount distribution index value set by the subband code amount distribution detecting means, and a compression rate index value set by the compression rate specifying means. A code amount reducing unit that selects a predetermined quantization table from the group, quantizes the code of the code string data by the selected quantization table, and reduces the code amount of the code string data for each rectangular area;Is provided.
[0031]
Therefore, according to the subband code amount distribution detected from code string data created by orthogonally transforming still image data for each rectangular area and hierarchically compressing and encoding, and the compression rate specified by the user The code amount of the code string data is reduced for each rectangular area. As a result, quantization is performed in consideration of not only the compression rate but also the subband code amount distribution. Therefore, it is possible to perform quantization while suppressing deterioration in image quality due to high and low image frequencies.
[0032]
The invention according to
[0033]
Invention of
[0034]
Invention of
[0035]
Invention of
[0036]
Invention of Claim 10 is described in any one of
[0037]
Invention of
[0038]
Invention of
[0039]
Claim 13The image processing apparatus according to the invention described above is an image compression apparatus that divides moving image data into one or a plurality of rectangular areas for each frame, orthogonally transforms pixel values for each rectangular area, and hierarchically compresses and encodes the
[0040]
Claim 145. The image processing apparatus according to
[0041]
Claim 15The image recording apparatus according to the present invention includes an image input device that captures moving image data and processes the captured moving image data.Claim 13And the image processing apparatus described.
[0042]
Claim 16The image recording apparatus according to the present invention includes an image input device that captures still image data, and processes the captured still image data.Claim 14And the image processing apparatus described.
[0043]
According to a seventeenth aspect of the present invention, there is provided a code string conversion method obtained by dividing moving image data into one or a plurality of rectangular areas for each frame, orthogonally transforming pixel values for each rectangular area, and hierarchically compressing and encoding. A syntax analysis step for analyzing data described in the header portion of the code string data, and a correlation coefficient value of the data amount of the packet length between the current frame and the previous frame based on the analysis result of the syntax analysis step. A motion amount detecting step of detecting a motion amount between the current frame and the previous frame and setting the motion amount to one of a plurality of predetermined motion amount index values; and Based on the analysis result, a subband code amount distribution in the current frame is detected, and the subband code amount distribution is one of a plurality of predetermined subband code amount distribution index values. Subband code amount distribution detection step to be set, compression rate designation step of accepting designation of compression rate and setting the compression rate to one of a plurality of predetermined compression rate index values, and a plurality of motion amount index values The motion amount detecting step using a quantization table group having a plurality of quantization tables related to a combination of values of a plurality of subband code amount distribution index values and a plurality of compression rate index values in a three-dimensional matrix The quantization table based on the motion amount index value set in
[0044]
A code string conversion method according to an eighteenth aspect of the present invention is obtained by dividing moving image data into one or a plurality of rectangular areas for each frame, orthogonally transforming pixel values for each rectangular area, and hierarchically compressing and encoding. A syntax analysis step for analyzing data described in the header portion of the code string data, and a correlation coefficient value of the data amount of the packet length between the current frame and the previous frame based on the analysis result of the syntax analysis step. A motion amount detecting step for detecting a motion amount between the current frame and the previous frame, and setting the motion amount to one of a plurality of predetermined motion amount index values, and specifying a compression rate. Accepting and setting the compression rate to one of a plurality of predetermined compression rate index values, a plurality of motion amount index values, and a plurality of compression rate index values Using a quantization table group having a plurality of quantization tables related to a combination of values in a two-dimensional matrix, the motion amount index value set in the motion amount detection step and the compression rate set in the compression rate designation step Based on the index value, a predetermined quantization table is selected from the quantization table group, the code of the code string data is quantized by the selected quantization table, and the code amount of the code string data is set for each rectangular area. Code amount reduction process to reduceincluding.
[0045]
According to a nineteenth aspect of the present invention, there is provided a code string conversion method obtained by dividing moving image data into one or a plurality of rectangular regions for each frame, orthogonally transforming pixel values for each rectangular region, and hierarchically compressing and encoding. A syntactic analysis step for analyzing data described in the header portion of the code string data, and a subband code amount distribution in the current frame based on an analysis result of the syntax analysis step, and the subband code amount A subband code amount distribution detecting step for setting the distribution to one of a plurality of predetermined subband code amount distribution index values, and receiving a designation of a compression rate, and a plurality of predetermined compression rate indexes for the compression rate A plurality of compression ratio designating steps set to one of the values, and a plurality of combinations of values of a plurality of subband code amount distribution index values and a plurality of compression ratio index values Quantization table group having a quantization table in a two-dimensional matrixUsingA predetermined quantization table from the quantization table group based on the subband code amount distribution index value set in the subband code amount distribution detection step and the compression rate index value set in the compression rate designation step. And a code amount reduction step of quantizing the code of the code string data by the selected quantization table and reducing the code amount of the code string data for each rectangular area.
[0046]
According to a 20th aspect of the present invention, there is provided a code string conversion method that divides still image data into a plurality of rectangular areas, orthogonally transforms pixel values for each rectangular area, and hierarchically compresses and encodes code string data obtained. A syntax analysis step for analyzing data described in the header portion, and a subband code amount distribution is detected based on the analysis result of the syntax analysis step, and the subband code amount distribution is determined by a plurality of predetermined subbands. Sub-band code amount distribution detection step to be set to one of the band code amount distribution index values, and a compression rate to accept the designation of the compression rate and set the compression rate to one of a plurality of predetermined compression rate index values A two-dimensional matrix of a plurality of quantization tables relating to a combination of each value of a designation step and a plurality of subband code amount distribution index values and a plurality of compression ratio index values Quantization table group having a focalUsingA predetermined quantization table from the quantization table group based on the subband code amount distribution index value set in the subband code amount distribution detection step and the compression rate index value set in the compression rate designation step. And a code amount reduction step of quantizing the code of the code string data by the selected quantization table and reducing the code amount of the code string data for each rectangular area.
[0047]
According to the code string conversion method of the inventions of the seventeenth to twentieth aspects, the same operation as the first to fourth aspects is achieved.
[0048]
DETAILED DESCRIPTION OF THE INVENTION
A first embodiment of the present invention will be described with reference to FIGS.
[0049]
First, an outline of the “hierarchical encoding algorithm” and the “JPEG2000 algorithm” which are the premise of the present invention will be described.
[0050]
FIG. 1 is a functional block diagram of a system that realizes a hierarchical encoding algorithm that is the basis of the JPEG2000 system. This system includes color space transform /
[0051]
One of the biggest differences between this system and the conventional JPEG algorithm is the conversion method. While JPEG uses discrete cosine transform (DCT), this hierarchical encoding algorithm uses discrete wavelet transform (DWT: Discrete Wavelet Transform) in the two-dimensional wavelet transform / inverse transform unit. ing. DWT has the advantage that the image quality in the high compression region is better than DCT, and this is one of the major reasons why DWT is adopted in JPEG2000, which is a successor algorithm of JPEG.
[0052]
Another major difference is that in this hierarchical encoding algorithm, a functional block of the
[0053]
In many cases, color space conversion /
[0054]
Next, the JPEG2000 algorithm will be described.
[0055]
As shown in FIG. 2, in a color image, each component 111 (RGB primary color system here) of an original image is generally divided by a rectangular area. This divided rectangular area is generally called a block or a tile. In JPEG2000, it is generally called a tile. Therefore, such a divided rectangular area is hereinafter referred to as a tile. (In the example of FIG. 2, each component 111 is divided into a total of 16
[0056]
At the time of encoding image data, the data of each
[0057]
FIG. 3 shows subbands at each decomposition level when the number of decomposition levels is three. In other words, the tile original image (0LL) (decomposition level 0) obtained by tile division of the original image is subjected to two-dimensional wavelet transform, and the subbands (1LL, 1HL, 1LH shown in the decomposition level 1) , 1HH). Subsequently, the low-frequency component 1LL in this hierarchy is subjected to two-dimensional wavelet transformation to separate the subbands (2LL, 2HL, 2LH, 2HH) indicated by the
[0058]
Next, the bits to be encoded are determined in the specified encoding order, and the context is generated from the bits around the target bits by the quantization /
[0059]
The wavelet coefficients that have undergone the quantization process are divided into non-overlapping rectangles called “precincts” for each subband. This was introduced to use memory efficiently in implementation. As shown in FIG. 4, one precinct consists of three rectangular regions that are spatially coincident. Further, each precinct is divided into non-overlapping rectangular “code blocks”. This is the basic unit for entropy coding.
[0060]
The coefficient values after the wavelet transform can be quantized and encoded as they are, but in JPEG2000, in order to increase the encoding efficiency, the coefficient values are decomposed into “bit plane” units, and each pixel or code block is divided. Ranking can be performed on “bitplanes”.
[0061]
Here, FIG. 5 is an explanatory diagram showing an example of a procedure for ranking the bit planes. As shown in FIG. 5, this example is a case where the original image (32 × 32 pixels) is divided into four 16 × 16 pixel tiles, and the size of the precinct and code block at the
[0062]
An explanatory diagram showing an example of the concept of a typical “layer” configuration for
[0063]
The layer structure is easy to understand when the wavelet coefficient values are viewed from the horizontal direction (bit plane direction). One layer is composed of an arbitrary number of bit planes. In this example, layers 0, 1, 2, and 3 are made up of bit planes of 1, 3, 1, and 3, respectively. A layer including a bit plane closer to the LSB (Least Significant Bit) is first subjected to quantization, and conversely, a layer close to the MSB (Most Significant Bit: most significant bit) is quantized to the end. It will remain without being. A method of discarding from a layer close to the LSB is called truncation, and the quantization rate can be finely controlled.
[0064]
The entropy encoding /
[0065]
FIG. 6 shows a schematic configuration for one frame of the code string data. Tag information called a header (a main header (tile header) that is tile header position information) is provided at the head of the code string data and the head of the code data (bit stream) of each tile. Appended, followed by the encoded data for each tile. Note that the main header (Main header) describes coding parameters and quantization parameters. A tag (end of codestream) is placed again at the end of the code string data.
[0066]
On the other hand, when the encoded data is decoded, the image data is generated from the code string data of each
[0067]
The above is an outline of the “JPEG2000 algorithm”. A “motion JPEG2000 algorithm” is an extension of a still image, that is, a method for a single frame to a plurality of frames. That is, “Motion JPEG2000”, as shown in FIG. 7, is a moving image by continuously displaying a JPEG2000 image of one frame at a predetermined frame rate (the number of frames reproduced per unit time). .
[0068]
Hereinafter, a first embodiment of the present invention will be described. Here, an example relating to a moving image compression / decompression technique typified by Motion JPEG 2000 will be described, but it goes without saying that the present invention is not limited to the contents of the following description.
[0069]
FIG. 8 is a block diagram showing a schematic configuration of a
[0070]
In the following, an image recording apparatus 1a that exhibits the characteristic functions of the present invention will be described. The moving image playback apparatus 1b may be a standard system capable of decompressing code string data compressed by the Motion JPEG2000 method, and thus detailed description thereof is omitted.
[0071]
As shown in FIG. 8, the image recording apparatus 1a is separated from an
[0072]
FIG. 9 is a block diagram illustrating an example of a hardware configuration of the image recording apparatus 1a. As shown in FIG. 9, the image recording apparatus 1 a includes a CPU (Central Processing Unit) 11 that is a main part of a computer and controls each part centrally. The
[0073]
In the image recording apparatus 1 a, in addition to the
[0074]
Control programs such as a moving image processing program for processing moving images are stored in the memory 12 (ROM) of the image recording apparatus 1a having such a configuration. This moving image processing program implements the program of the present invention. And the function of the
[0075]
As the
[0076]
Here, the operation of each part of the image recording apparatus 1a will be briefly described. First, the
[0077]
In the code
[0078]
Next, each part which comprises the
[0079]
The syntax analysis means 42 decodes the syntax of the code string data input from the
[0080]
The code
[0081]
The motion amount detection means 46 detects the motion amount between the current frame and the previous frame. For the amount of motion between the current frame and the previous frame detected by the motion amount detection means 46, a correlation coefficient value obtained from the difference in packet length between the current frame and the previous frame is used. A large correlation coefficient value means that images between frames are similar, and therefore corresponds to a small amount of motion.
[0082]
Here, the detection of the motion amount by the motion amount detection means 46 will be described. Here, a method for detecting the amount of motion based on the data amount of the payload portion, that is, the “packet length” will be described. As shown in FIG. 11, since the data amount of the payload portion, that is, “packet length” is described in the header portion, the information is read by the syntax analysis means 42 to detect the packet length of each frame ( Packet length detection means), and stores the detected packet length of each frame (packet length storage means). Since the amount of motion appears in the amount of change in code amount, that is, the amount of change in packet length, the amount of motion is calculated by obtaining the difference in packet length between the current frame and the previous frame (difference detecting means). Can be detected. According to such a method, although there is a slight error in the amount of motion, the configuration of the image processing apparatus is simple and it has a great merit that it can be processed at high speed. . If the change in the code amount is smaller than a preset threshold value, it may be determined that there is no motion between frames.
[0083]
Note that the amount of motion detection is not limited to that obtained from the difference in packet length between the current frame and the previous frame. For example, it can be obtained from the difference of wavelet coefficient values between the current frame and the previous frame. In this case, the payload data is decoded for each subband (decoding means), further inversely quantized (inverse quantization means), the wavelet coefficient value is directly obtained, and then the wavelet coefficient of each detected frame is determined. Numerical values are stored (wavelet coefficient value storage means). Thereafter, by using the wavelet coefficient values obtained in this way and comparing corresponding bits between frames (difference detecting means), the amount of motion can be detected. According to such a method, the configuration of the code string conversion apparatus becomes complicated and the processing time becomes long, but the amount of motion can be obtained accurately.
[0084]
Here, FIG. 12 is an explanatory diagram for explaining “quantization” optimized in accordance with the “motion amount” of a moving image. The vertical axis represents the amount of motion, and the correlation coefficient value obtained from the difference between the wavelet coefficient values for each tile and each subband between the current frame and the previous frame is used. The horizontal axis represents the unit of tile. A tile is a rectangular area created by dividing an original still image in a frame. The tiles A, B, C, and D correspond to the tiles A, B, C, and D shown in FIG. FIG. 12 shows an example in which the user has selected k = p as the compression rate index value k via the compression
[0085]
As shown in FIG. 12, in order to reflect different motion amounts for each image area, a plurality of threshold values are provided for the correlation coefficient value, and corresponding “motion amount index values” are assigned between the threshold values. Yes. A “quantization table” is prepared for each “motion amount index value”. Here, FIG. 13 is an explanatory diagram showing a specific example of the “quantization table” corresponding to the “motion amount index value”. As shown in FIG. 13, in this “quantization table”, a subband in which encoded data is reduced and a subband in which encoded data is stored are designated. In other words, in the quantization of each rectangular image area, according to the setting of the “code amount distribution index value”, the encoded data is matched to the target moving image processing such as the amount of motion to be noticed and the amount of motion to be ignored. Can be determined and subbands to be reduced.
[0086]
That is, as shown in FIG. 12, a tile A with a large amount of motion is given i = 9 as a motion amount index value, and a tile C with a small amount of motion is given i = 1 as a motion amount index value. Quantization is performed using a “quantization table” corresponding to each index value.
[0087]
By reflecting the “motion amount” of the moving image in the quantization in this way, it is possible to significantly reduce the “distortion caused by the haze” that appears in the background, which is an obstacle in the conventional method.
[0088]
The subband code amount
[0089]
Here, FIG. 14 is an explanatory diagram for explaining “quantization” optimized according to “subband code amount distribution”. The vertical axis represents the relative code amount when the low-frequency subband code amount in the highest layer (the maximum number of decomposition levels) is normalized to “1”. The horizontal axis represents the subband frequency band. The thin line portion of the curve indicating the code amount distribution for each tile represents the subband from which the code amount is to be deleted, while the thick line portion represents the subband in which the code amount is stored as it is. . The tiles A, B, C, and D correspond to the tiles A, B, C, and D shown in FIG. 14A shows an example in which the user has selected k = p, which is a low compression rate, as the compression rate index value k via the compression
[0090]
That is, as shown in FIG. 14, in this “quantization table”, j = H is used as the code amount distribution index value for tile A and tile D with a large distribution of code data amount in the high region, and distribution in the middle region. J = M as the code amount distribution index value for many tiles B, and as the code amount distribution index value for tiles C with many distributions in the low bandj = LRespectively.
[0091]
As a result, the subband code data can be reduced according to the code amount distribution index value. Therefore, as shown in FIG. 14B, the image quality degradation of the tiles A, B, and D when the compression rate is high. Thus, the image quality equivalent to that of the tile C can be maintained.
[0092]
FIG. 16 is another explanatory diagram for explaining “quantization” optimized according to “subband code amount distribution”. FIG. 16A shows an example in which the user selects k = p, which is a low compression rate, as the compression rate index value k via the compression
[0093]
In this way, since the rate of reducing the code amount is determined according to the code amount before quantization, when the code data after quantization is decoded and displayed as an image, all of the high range to low range are displayed. The degradation of image quality is not so conspicuous over the bandwidth. This is because, unlike the prior art, the code amount before quantization is not taken into consideration, and the code amount is not reduced uniformly.
[0094]
That is, as shown in FIG. 17, the quantization table group T according to the present embodiment includes a “motion amount index value (i = 0, 1,..., 9)” and a “code amount distribution index value (j = L, M, H) ”and“ compression ratio index values (k = 0, 1,..., N) ”have quantization tables in a three-dimensional matrix (i, j, k). is there.
[0095]
The quantization table group T will be described in more detail. FIG. 18 shows the relationship between the “motion amount index value” and the “compression rate index value” of the quantization table group T. As described above, the “motion amount index value” is classified according to the motion amount and a preset threshold value, and the “compression rate index value” is designated by the user. In this example, the “motion amount index value” is classified into nine index values, and the “compression rate index value” is classified into index values from lossless (k = 0) to the highest compression rate (k = n). ing. As shown in FIG. 18, when k = p is selected as the value of the “compression ratio index value”, the quantization table for tile A is (9, p), and the quantization table for tile B is (2, p )
[0096]
FIG. 19 shows the relationship between the “code amount distribution index value” and the “compression rate index value” of the quantization table group T. As described above, the “code amount distribution index value” is classified into several types of patterns according to the characteristics of each rectangular image area (tile), and the “compression rate index value” is designated by the user. In this example, the “code amount distribution index value” is classified into three index values, and the “compression rate index value” is classified from the lossless (k = 0) to the highest compression rate (k = n) index value. Has been. As shown in FIG. 19, when k = p is selected as the value of “compression ratio index value”, the quantization index value of tile A is (H, p), and the quantization index value of tile B is (M , P).
[0097]
That is, the quantization
[0098]
When the optimum quantization table is selected by the quantization
[0099]
On the other hand, when the optimum quantization table is not selected by the quantization
[0100]
In the present embodiment, “motion amount index value (i = 0, 1,..., 9)”, “code amount distribution index value (j = L, M, H)”, and “compression rate index”. The quantization table group T having the quantization table relating to the value (k = 0, 1,..., N) ”in the form of a three-dimensional matrix (i, j, k) is used. It is not a thing. For example, the quantization table relating to “motion amount index value (i = 0, 1,..., 9)” and “compression ratio index value (k = 0, 1,..., N)” is two-dimensionally represented. A quantization table group having a matrix (i, k) shape may be used. In this case, as shown in FIG. 20, the subband code amount
[0101]
In addition, a quantization table related to “code amount distribution index value (j = L, M, H)” and “compression rate index value (k = 0, 1,..., N)” is represented as a two-dimensional matrix (j , K) may be used. In this case, as shown in FIG. 21, the motion amount detection means 46 is not required in the code
[0102]
Here, the motion amount and subband code amount distribution detected from code sequence data created by orthogonally transforming the pixel values of moving image data for each rectangular area and hierarchically compressing and coding, and specified by the user In accordance with the compression rate, the code amount of the code string data is reduced for each rectangular area. As a result, quantization is performed in consideration of not only the compression rate but also the amount of motion and the subband code amount distribution, so that quantization is performed while suppressing deterioration in image quality due to the amount of motion and the level of image frequency. It becomes possible.
[0103]
When the input original image is composed of a plurality of components, it is possible to further increase the speed of the entire system. That is, for example, when the input code string is a YCbCr signal, the packet length may be detected using only the Y component. This is because the quantization table for the Cb and Cr components can be easily selected from the quantization table group T based on the quantization table obtained for the Y component.
[0104]
In this embodiment, the user designates the compression rate via the compression rate designation means 48, but the present invention is not limited to this. For example, a bit rate may be designated instead of the compression rate, and the compression rate index value k may be set based on the designated bit rate.
[0105]
Next, a second embodiment of the present invention will be described with reference to FIGS. In addition, the same part as 1st Embodiment mentioned above is shown with the same code | symbol, and abbreviate | omits description.
[0106]
As described in the first embodiment, “code amount distribution index value (j = L, M, H)” and “compression ratio index value (k = 0, 1,..., N)” When a quantization table group having such a quantization table in a two-dimensional matrix (j, k) is used, the motion amount detection means 46 is not necessary in the code
[0107]
Here, FIG. 22 is a block diagram showing a configuration of the code
[0108]
Here, the index value changing unit 50 will be described with a specific example. FIG. 23 is an image example for describing encoding of a still image in consideration of the subband code amount distribution. As shown in FIG. 23, the tile U has a blue sky, the tile W has a dense front side of a high-rise building window frame, and the tile V has both a high-rise building and the sky as main images. As for the subband code amount distribution, the image information is gathered in the tile U for the low frequency, the tile W for the high frequency, and the tile V in the entire range from the low frequency to the high frequency. Here, since the image information of the tile V spreads over the entire range from the low frequency to the high frequency, when the tile V is quantized, the front side of the high frequency building (tile W) and the low frequency ( It is necessary to make sure that the image quality balance with both of the tiles U) is not lost. However, this is very difficult and has been a cause of image quality degradation. Moreover, as the compression ratio increases, finding an optimal solution tends to become increasingly difficult.
[0109]
Therefore, in the present embodiment, by using the index value changing means 50, an index value having a smaller compression rate than a predetermined compression rate index value is applied to the rectangular area corresponding to the boundary between the sky and the building. I try to reassign. Specifically, as shown in FIG. 24, lossless compression (k = 0) is performed at a low compression rate (compression rate index value k = p), and lower compression is performed at a medium compression rate (compression rate index value k = q). The index value (k = pm) on the rate side is used, and the index value k = rn on the lower compression rate side is used for the high compression rate (compression rate index value k = r). Thus, by changing the index value, it is possible to encode the original image while maintaining high image quality.
[0110]
In each of the embodiments, the case where the tile division process is performed on the original image has been described. Even when tile division is not performed on the original image, if the precinct or code block is used as a rectangular area, the “motion amount” and “subband code amount distribution” can be finely divided as in the case of tile division. It is possible to detect and quantize with reduced image quality degradation.
[0111]
In the above description, the image recording apparatus 1a of the present invention is applied to a movie camera. However, the image recording apparatus 1a is applied to an information terminal apparatus such as a personal digital assistant (PDA) or a mobile phone. You can also.
[0112]
【The invention's effect】
According to the code string conversion apparatus, the image processing apparatus including the code string conversion apparatus, the image recording layer, and the code string conversion method of the present invention, the following effects can be obtained.
(1)The motion amount and subband code amount distribution detected from code sequence data created by orthogonally transforming moving image data for each rectangular area and hierarchically compressing and encoding, and the compression rate specified by the user Accordingly, by reducing the code amount of the code string data for each rectangular area, quantization considering not only the compression rate but also the motion amount and the subband code amount distribution is performed. It is possible to perform quantization while suppressing image quality deterioration associated with high and low frequencies.
[0113]
(2)Quantization including fine-grained image quality control by selecting the optimum quantization table from the quantization table group and reducing the code amount of code string data for each rectangular area based on the selected quantization table Can be executed.
[0114]
(3)Depending on the amount of motion detected from the code string data created by orthogonally transforming the pixel values of the moving image data for each rectangular area and hierarchically compressing and coding, and the compression rate specified by the user, the code string data By reducing the code amount for each rectangular area, quantization is performed in consideration of not only the compression rate but also the amount of motion, so that it is possible to perform quantization while suppressing deterioration in image quality due to the amount of motion.
[0115]
(4)According to the subband code amount distribution detected from the code string data created by orthogonally transforming the pixel values of the moving image data for each rectangular area and hierarchically compressing and encoding, and the compression rate specified by the user By reducing the code amount of the column data for each rectangular area, quantization that takes into account not only the compression rate but also the subband code amount distribution is performed, so quantization that suppresses image quality degradation due to high and low image frequencies It can be performed.
[0116]
(5)Depending on the subband code amount distribution detected from the code string data created by orthogonally transforming the pixel values of the still image data for each rectangular area and hierarchically compressing and coding, and the compression rate specified by the user By reducing the code amount of the column data for each rectangular area, quantization that takes into account not only the compression rate but also the subband code amount distribution is performed, so quantization that suppresses image quality degradation due to high and low image frequencies It can be performed.
[0117]
(6)The quantization table can reliably reduce the code amount of the code string data by designating the subband in which the code amount is reduced and the subband in which the code amount is stored.
[0118]
(7)By providing index value changing means for changing various set index values, it is possible to encode the original image while maintaining high image quality.
[0119]
(8)By preparing the code string data in which the code amount is reduced for each rectangular area into the code string data in the standard format, the newly generated code string data can be expanded by a general-purpose decoder.
[0120]
(9)Since only the Y (luminance) component of the YCbCr component and the G (green) component of the RGB component can be detected, the “motion amount” and the “subband code amount distribution” can be detected, so that encoding is performed at high speed and with low power consumption. Control can be performed.
[0121]
(10)Since the rectangular area is a tile, discrete wavelet transform can be used as orthogonal transform.
[0122]
(11)Since the rectangular area is a precinct, even when tile division is not performed (all image areas = tiles), it is possible to perform quantization that suppresses image quality degradation in the same manner as in tile units. Further, the detection unit can be an image area smaller than the tile.
[0123]
(12)Since the rectangular area is a code block, even when tile division is not performed (all image areas = tiles), quantization that suppresses image quality degradation can be performed in the same manner as in tile units. Further, the detection unit can be an image area smaller than the tile.
[Brief description of the drawings]
FIG. 1 is a functional block diagram of a system that realizes a hierarchical encoding algorithm that is the basis of a JPEG2000 system that is a premise of the present invention.
FIG. 2 is an explanatory diagram showing a divided rectangular area of each component of the original image.
FIG. 3 is an explanatory diagram showing subbands at each decomposition level when the number of decomposition levels is 3. FIG.
FIG. 4 is an explanatory diagram showing a precinct.
FIG. 5 is an explanatory diagram showing an example of a procedure for ranking bit planes;
FIG. 6 is an explanatory diagram illustrating a schematic configuration of one frame of code string data.
FIG. 7 is an explanatory diagram showing the concept of Motion JPEG2000.
FIG. 8 is a block diagram showing a schematic configuration of the movie camera system according to the first embodiment of the present invention.
FIG. 9 is a block diagram illustrating an example of a hardware configuration of an image recording apparatus.
FIG. 10 is a block diagram illustrating a configuration of a code string conversion apparatus.
FIG. 11 is an explanatory diagram showing detection of a packet length by a syntax analysis unit.
FIG. 12 is an explanatory diagram for explaining “quantization” optimized according to “motion amount” of a moving image;
FIG. 13 is an explanatory diagram of a specific example of a “quantization table” corresponding to a “motion amount index value”.
FIG. 14 is an explanatory diagram for explaining “quantization” optimized according to “subband code amount distribution”;
FIG. 15 is an explanatory diagram illustrating a specific example of a “quantization table” corresponding to a “code amount distribution index value”;
FIG. 16 is another explanatory diagram illustrating “quantization” optimized according to “subband code amount distribution”;
FIG. 17 is an explanatory diagram showing a quantization table group considering both motion amount and subband code amount distribution;
FIG. 18 is an explanatory diagram showing a relationship between a “motion amount index value” and a “compression ratio index value” in a quantization table group.
FIG. 19 is an explanatory diagram illustrating a relationship between a “code amount distribution index value” and a “compression rate index value” in a quantization table group;
FIG. 20 is a block diagram illustrating a configuration of another code string converter.
FIG. 21 is a block diagram illustrating a configuration of another code string converter.
FIG. 22 is a block diagram showing a configuration of a code string conversion apparatus according to a second embodiment of the present invention.
FIG. 23 is an explanatory diagram illustrating an image example for describing encoding of a still image in consideration of a subband code amount distribution;
FIG. 24 is an explanatory diagram of an example of changing an index value.
FIG. 25 is an explanatory diagram showing a conventional “quantization” method;
FIG. 26 is an explanatory diagram showing a conventional “quantization” method;
FIG. 27 is an explanatory diagram showing three consecutive frames extracted from moving image content.
FIG. 28 is an explanatory diagram showing a table showing the motion amount and pixel frequency of a predetermined tile in each frame shown in FIG. 27;
[Explanation of symbols]
1a Image recording device
2 Image input device
3 Image compression device
4 Code string converter
12 storage media
42 Syntax analysis means
43 Code amount reduction means
43a Quantization table selection means
44 Code string creation means
46 Movement amount detection means
47 Subband code amount distribution detecting means
48 Compression rate designation means
50 Index value changing means
T quantization table group
Claims (20)
前記構文解析手段の解析結果に基づいて、現フレームと以前のフレームとのパケット長のデータ量の相関係数値を求めて、現フレームと以前のフレームとの間の動き量を検出し、該動き量をあらかじめ定められた複数の動き量インデックス値のいずれかに設定する動き量検出手段と、
前記構文解析手段の解析結果に基づいて、現フレーム内のサブバンド符号量分布を検出し、該サブバンド符号量分布をあらかじめ定められた複数のサブバンド符号量分布インデックス値のいずれかに設定するサブバンド符号量分布検出手段と、
圧縮率の指定を受け付け、該圧縮率をあらかじめ定められた複数の圧縮率インデックス値のいずれかに設定する圧縮率指定手段と、
複数の動き量インデックス値と複数のサブバンド符号量分布インデックス値と複数の圧縮率インデックス値との各値の組合せに係る複数の量子化テーブルを三次元マトリクス状に有する量子化テーブル群と、
前記動き量検出手段で設定された動き量インデックス値と前記サブバンド符号量分布検出手段で設定されたサブバンド符号量分布インデックス値と前記圧縮率指定手段で設定された圧縮率インデックス値とに基づき、前記量子化テーブル群から所定の量子化テーブルを選択し、該選択した量子化テーブルにより前記符号列データの符号を量子化して、前記符号列データの符号量を矩形領域毎に削減する符号量削減手段と、
を有することを特徴とする符号列変換装置。Data described in the header portion of code string data obtained by dividing moving image data into one or a plurality of rectangular areas for each frame, orthogonally transforming pixel values for each rectangular area, and hierarchically compressing and encoding. A parsing means for parsing
Based on the analysis result of the parsing means, a correlation coefficient value of the data amount of the packet length between the current frame and the previous frame is obtained, and a motion amount between the current frame and the previous frame is detected, and the motion A motion amount detection means for setting the amount to one of a plurality of predetermined motion amount index values;
Based on the analysis result of the parsing means, a subband code amount distribution in the current frame is detected, and the subband code amount distribution is set to one of a plurality of predetermined subband code amount distribution index values. Subband code amount distribution detecting means;
A compression rate designating unit that accepts designation of a compression rate and sets the compression rate to any one of a plurality of predetermined compression rate index values;
A quantization table group having a plurality of quantization tables according to combinations of values of a plurality of motion amount index values, a plurality of subband code amount distribution index values, and a plurality of compression rate index values in a three-dimensional matrix;
Based on the motion amount index value set by the motion amount detection unit, the subband code amount distribution index value set by the subband code amount distribution detection unit, and the compression rate index value set by the compression rate designating unit. A code amount for selecting a predetermined quantization table from the quantization table group, quantizing the code of the code string data by the selected quantization table, and reducing the code amount of the code string data for each rectangular area Reduction measures,
A code string conversion device comprising:
前記構文解析手段の解析結果に基づいて、現フレームと以前のフレームとのパケット長のデータ量の相関係数値を求めて、現フレームと以前のフレームとの間の動き量を検出し、該動き量をあらかじめ定められた複数の動き量インデックス値のいずれかに設定する動き量検出手段と、
圧縮率の指定を受け付け、該圧縮率をあらかじめ定められた複数の圧縮率インデックス値のいずれかに設定する圧縮率指定手段と、
複数の動き量インデックス値と複数の圧縮率インデックス値との各値の組合せに係る複数の量子化テーブルを二次元マトリクス状に有する量子化テーブル群と、
前記動き量検出手段で設定された動き量インデックス値と前記圧縮率指定手段で設定された圧縮率インデックス値とに基づき、前記量子化テーブル群から所定の量子化テーブルを選択し、該選択した量子化テーブルにより前記符号列データの符号を量子化して、前記符号列データの符号量を矩形領域毎に削減する符号量削減手段と、
を有することを特徴とする符号列変換装置。Data described in the header portion of code string data obtained by dividing moving image data into one or a plurality of rectangular areas for each frame, orthogonally transforming pixel values for each rectangular area, and hierarchically compressing and encoding. A parsing means for parsing
Based on the analysis result of the parsing means, a correlation coefficient value of the data amount of the packet length between the current frame and the previous frame is obtained, and a motion amount between the current frame and the previous frame is detected, and the motion A motion amount detection means for setting the amount to one of a plurality of predetermined motion amount index values;
A compression rate designating unit that accepts designation of a compression rate and sets the compression rate to any one of a plurality of predetermined compression rate index values;
A quantization table group having a plurality of quantization tables according to combinations of values of a plurality of motion amount index values and a plurality of compression ratio index values in a two-dimensional matrix;
Based on the motion amount index value set by the motion amount detection means and the compression rate index value set by the compression rate specifying means, a predetermined quantization table is selected from the quantization table group, and the selected quantum table is selected. A code amount reduction unit that quantizes the code of the code string data using a conversion table and reduces the code amount of the code string data for each rectangular area;
A code string conversion device comprising:
前記構文解析手段の解析結果に基づいて、現フレーム内のサブバンド符号量分布を検出し、該サブバンド符号量分布をあらかじめ定められた複数のサブバンド符号量分布インデックス値のいずれかに設定するサブバンド符号量分布検出手段と、
圧縮率の指定を受け付け、該圧縮率をあらかじめ定められた複数の圧縮率インデックス値のいずれかに設定する圧縮率指定手段と、
複数のサブバンド符号量分布インデックス値と複数の圧縮率インデックス値との各値の組合せに係る複数の量子化テーブルを二次元マトリクス状に有する量子化テーブル群と、
前記サブバンド符号量分布検出手段で設定されたサブバンド符号量分布インデックス値と前記圧縮率指定手段で設定された圧縮率インデックス値とに基づき、前記量子化テーブル群から所定の量子化テーブルを選択し、該選択した量子化テーブルにより前記符号列データの符号を量子化して、前記符号列データの符号量を矩形領域毎に削減する符号量削減手段と、
を有することを特徴とする符号列変換装置。Data described in the header portion of code string data obtained by dividing moving image data into one or a plurality of rectangular areas for each frame, orthogonally transforming pixel values for each rectangular area, and hierarchically compressing and encoding. A parsing means for parsing
Based on the analysis result of the parsing means, a subband code amount distribution in the current frame is detected, and the subband code amount distribution is set to one of a plurality of predetermined subband code amount distribution index values. Subband code amount distribution detecting means;
A compression rate designating unit that accepts designation of a compression rate and sets the compression rate to any one of a plurality of predetermined compression rate index values;
A quantization table group having a plurality of quantization tables according to combinations of values of a plurality of subband code amount distribution index values and a plurality of compression ratio index values in a two-dimensional matrix;
A predetermined quantization table is selected from the quantization table group based on the subband code amount distribution index value set by the subband code amount distribution detection unit and the compression rate index value set by the compression rate designation unit Code amount reduction means for quantizing the code of the code string data by the selected quantization table and reducing the code amount of the code string data for each rectangular area;
A code string conversion device comprising:
前記構文解析手段の解析結果に基づいて、サブバンド符号量分布を検出し、該サブバンド符号量分布をあらかじめ定められた複数のサブバンド符号量分布インデックス値のいずれかに設定するサブバンド符号量分布検出手段と、
圧縮率の指定を受け付け、該圧縮率をあらかじめ定められた複数の圧縮率インデックス値のいずれかに設定する圧縮率指定手段と、
複数のサブバンド符号量分布インデックス値と複数の圧縮率インデックス値との各値の組合せに係る複数の量子化テーブルを二次元マトリクス状に有する量子化テーブル群と、
前記サブバンド符号量分布検出手段で設定されたサブバンド符号量分布インデックス値と前記圧縮率指定手段で設定された圧縮率インデックス値とに基づき、前記量子化テーブル群から所定の量子化テーブルを選択し、該選択した量子化テーブルにより前記符号列データの符号を量子化して、前記符号列データの符号量を矩形領域毎に削減する符号量削減手段と、
を有することを特徴とする符号列変換装置。Parsing still image data into a plurality of rectangular areas, parsing the pixel values for each rectangular area and analyzing the data described in the header of the code string data obtained by hierarchical compression coding Means,
A subband code amount that detects a subband code amount distribution based on an analysis result of the parsing means and sets the subband code amount distribution to one of a plurality of predetermined subband code amount distribution index values Distribution detection means;
A compression rate designating unit that accepts designation of a compression rate and sets the compression rate to any one of a plurality of predetermined compression rate index values;
A quantization table group having a plurality of quantization tables according to combinations of values of a plurality of subband code amount distribution index values and a plurality of compression ratio index values in a two-dimensional matrix;
A predetermined quantization table is selected from the quantization table group based on the subband code amount distribution index value set by the subband code amount distribution detection unit and the compression rate index value set by the compression rate designation unit Code amount reduction means for quantizing the code of the code string data by the selected quantization table and reducing the code amount of the code string data for each rectangular area;
A code string conversion device comprising:
請求項1ないし3のいずれか1項に記載の符号列変換装置と、
を備える画像処理装置。An image compression device that divides moving image data into one or a plurality of rectangular regions for each frame, orthogonally transforms pixel values for each rectangular region, and hierarchically compresses and encodes the pixel values;
The code string conversion device according to any one of claims 1 to 3,
An image processing apparatus comprising:
請求項4記載の符号列変換装置と、
を備える画像処理装置。An image compression apparatus that divides still image data into one or a plurality of rectangular areas, orthogonally transforms pixel values for each rectangular area, and hierarchically compresses and encodes the pixel values;
A code string conversion device according to claim 4;
An image processing apparatus comprising:
この撮像した動画像データを処理する請求項13記載の画像処理装置と、
を備える画像記録装置。An image input device for capturing moving image data;
The image processing apparatus according to claim 13, which processes the captured moving image data;
An image recording apparatus comprising:
この撮像した静止画像データを処理する請求項14記載の画像処理装置と、
を備える画像記録装置。An image input device for capturing still image data;
The image processing device according to claim 14, which processes the captured still image data;
An image recording apparatus comprising:
前記構文解析工程の解析結果に基づいて、現フレームと以前のフレームとのパケット長のデータ量の相関係数値を求めて、現フレームと以前のフレームとの間の動き量を検出し、該動き量をあらかじめ定められた複数の動き量インデックス値のいずれかに設定する動き量検出工程と、
前記構文解析工程の解析結果に基づいて、現フレーム内のサブバンド符号量分布を検出し、該サブバンド符号量分布をあらかじめ定められた複数のサブバンド符号量分布インデックス値のいずれかに設定するサブバンド符号量分布検出工程と、
圧縮率の指定を受け付け、該圧縮率をあらかじめ定められた複数の圧縮率インデックス値のいずれかに設定する圧縮率指定工程と、
複数の動き量インデックス値と複数のサブバンド符号量分布インデックス値と複数の圧縮率インデックス値との各値の組合せに係る複数の量子化テーブルを三次元マトリクス状に有する量子化テーブル群を用いて、前記動き量検出工程で設定された動き量インデックス値と前記サブバンド符号量分布検出工程で設定されたサブバンド符号量分布インデックス値と前記圧縮率指定手段で設定された圧縮率インデックス値とに基づき、前記量子化テーブル群から所定の量子化テーブルを選択し、該選択した量子化テーブルにより前記符号列データの符号を量子化して、前記符号列データの符号量を矩形領域毎に削減する符号量削減工程と、
を有することを特徴とする符号列変換方法。Data described in the header portion of code string data obtained by dividing moving image data into one or a plurality of rectangular areas for each frame, orthogonally transforming pixel values for each rectangular area, and hierarchically compressing and encoding. A parsing process for parsing
Based on the analysis result of the parsing step, a correlation coefficient value of the data amount of the packet length between the current frame and the previous frame is obtained, and a motion amount between the current frame and the previous frame is detected, and the motion A motion amount detection step of setting the amount to one of a plurality of predetermined motion amount index values;
Based on the analysis result of the parsing process, a subband code amount distribution in the current frame is detected, and the subband code amount distribution is set to one of a plurality of predetermined subband code amount distribution index values. A subband code amount distribution detection step;
A compression ratio designating step of accepting designation of a compression ratio and setting the compression ratio to any one of a plurality of predetermined compression ratio index values;
By using a quantization table group having a plurality of quantization tables related to combinations of values of a plurality of motion amount index values, a plurality of subband code amount distribution index values, and a plurality of compression rate index values in a three-dimensional matrix form The motion amount index value set in the motion amount detection step, the subband code amount distribution index value set in the subband code amount distribution detection step, and the compression rate index value set in the compression rate specifying means A code that selects a predetermined quantization table from the quantization table group, quantizes the code of the code string data by the selected quantization table, and reduces the code amount of the code string data for each rectangular area Volume reduction process,
A code string conversion method comprising:
前記構文解析工程の解析結果に基づいて、現フレームと以前のフレームとのパケット長のデータ量の相関係数値を求めて、現フレームと以前のフレームとの間の動き量を検出し、該動き量をあらかじめ定められた複数の動き量インデックス値のいずれかに設定する動き量検出工程と、
圧縮率の指定を受け付け、該圧縮率をあらかじめ定められた複数の圧縮率インデックス値のいずれかに設定する圧縮率指定工程と、
複数の動き量インデックス値と複数の圧縮率インデックス値との各値の組合せに係る複数の量子化テーブルを二次元マトリクス状に有する量子化テーブル群を用いて、前記動き量検出工程で設定された動き量インデックス値と前記圧縮率指定工程で設定された圧縮率インデックス値とに基づき、前記量子化テーブル群から所定の量子化テーブルを選択し、該選択した量子化テーブルにより前記符号列データの符号を量子化して、前記符号列データの符号量を矩形領域毎に削減する符号量削減工程と、
を有することを特徴とする符号列変換方法。Data described in the header portion of code string data obtained by dividing moving image data into one or a plurality of rectangular areas for each frame, orthogonally transforming pixel values for each rectangular area, and hierarchically compressing and encoding. A parsing process for parsing
Based on the analysis result of the parsing step, a correlation coefficient value of the data amount of the packet length between the current frame and the previous frame is obtained, and a motion amount between the current frame and the previous frame is detected, and the motion A motion amount detection step of setting the amount to one of a plurality of predetermined motion amount index values;
A compression ratio designating step of accepting designation of a compression ratio and setting the compression ratio to any one of a plurality of predetermined compression ratio index values;
The quantization table group having a plurality of quantization tables related to a combination of each of a plurality of motion amount index values and a plurality of compression rate index values in a two-dimensional matrix form is set in the motion amount detection step. A predetermined quantization table is selected from the quantization table group based on the motion amount index value and the compression rate index value set in the compression rate designating step, and the code sequence data code is selected by the selected quantization table. And a code amount reduction step of reducing the code amount of the code string data for each rectangular area;
A code string conversion method comprising:
前記構文解析工程の解析結果に基づいて、現フレーム内のサブバンド符号量分布を検出し、該サブバンド符号量分布をあらかじめ定められた複数のサブバンド符号量分布インデックス値のいずれかに設定するサブバンド符号量分布検出工程と、
圧縮率の指定を受け付け、該圧縮率をあらかじめ定められた複数の圧縮率インデックス値のいずれかに設定する圧縮率指定工程と、
複数のサブバンド符号量分布インデックス値と複数の圧縮率インデックス値との各値の組合せに係る複数の量子化テーブルを二次元マトリクス状に有する量子化テーブル群を用いて、前記サブバンド符号量分布検出工程で設定されたサブバンド符号量分布インデックス値と前記圧縮率指定工程で設定された圧縮率インデックス値とに基づき、前記量子化テーブル群から所定の量子化テーブルを選択し、該選択した量子化テーブルにより前記符号列データの符号を量子化して、前記符号列データの符号量を矩形領域毎に削減する符号量削減工程と、
を有することを特徴とする符号列変換方法。Data described in the header portion of code string data obtained by dividing moving image data into one or a plurality of rectangular areas for each frame, orthogonally transforming pixel values for each rectangular area, and hierarchically compressing and encoding. A parsing process for parsing
Based on the analysis result of the parsing process, a subband code amount distribution in the current frame is detected, and the subband code amount distribution is set to one of a plurality of predetermined subband code amount distribution index values. A subband code amount distribution detection step;
A compression ratio designating step of accepting designation of a compression ratio and setting the compression ratio to any one of a plurality of predetermined compression ratio index values;
Using the quantization table group having a plurality of quantization tables related to a combination of values of a plurality of subband code amount distribution index values and a plurality of compression ratio index values in a two-dimensional matrix , the subband code amount distribution Based on the subband code amount distribution index value set in the detection step and the compression rate index value set in the compression rate designation step, a predetermined quantization table is selected from the quantization table group, and the selected quantum table A code amount reduction step of quantizing the code of the code string data by a conversion table and reducing the code amount of the code string data for each rectangular region;
A code string conversion method comprising:
前記構文解析工程の解析結果に基づいて、サブバンド符号量分布を検出し、該サブバンド符号量分布をあらかじめ定められた複数のサブバンド符号量分布インデックス値のいずれかに設定するサブバンド符号量分布検出工程と、
圧縮率の指定を受け付け、該圧縮率をあらかじめ定められた複数の圧縮率インデックス値のいずれかに設定する圧縮率指定工程と、
複数のサブバンド符号量分布インデックス値と複数の圧縮率インデックス値との各値の組合せに係る複数の量子化テーブルを二次元マトリクス状に有する量子化テーブル群を用いて、前記サブバンド符号量分布検出工程で設定されたサブバンド符号量分布インデックス値と前記圧縮率指定工程で設定された圧縮率インデックス値とに基づき、前記量子化テーブル群から所定の量子化テーブルを選択し、該選択した量子化テーブルにより前記符号列データの符号を量子化して、前記符号列データの符号量を矩形領域毎に削減する符号量削減工程と、
を有することを特徴とする符号列変換方法。Parsing still image data into a plurality of rectangular areas, parsing the pixel values for each rectangular area and analyzing the data described in the header of the code string data obtained by hierarchical compression coding Process,
A subband code amount that detects a subband code amount distribution based on the analysis result of the syntax analysis step and sets the subband code amount distribution to one of a plurality of predetermined subband code amount distribution index values A distribution detection step;
A compression ratio designating step of accepting designation of a compression ratio and setting the compression ratio to any one of a plurality of predetermined compression ratio index values;
Using the quantization table group having a plurality of quantization tables related to a combination of values of a plurality of subband code amount distribution index values and a plurality of compression ratio index values in a two-dimensional matrix , the subband code amount distribution Based on the subband code amount distribution index value set in the detection step and the compression rate index value set in the compression rate designation step, a predetermined quantization table is selected from the quantization table group, and the selected quantum table is selected. A code amount reduction step of quantizing the code of the code string data by a conversion table and reducing the code amount of the code string data for each rectangular region;
A code string conversion method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002272586A JP4040404B2 (en) | 2002-09-19 | 2002-09-19 | Code string conversion apparatus and method, image processing apparatus, and image recording apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002272586A JP4040404B2 (en) | 2002-09-19 | 2002-09-19 | Code string conversion apparatus and method, image processing apparatus, and image recording apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004112382A JP2004112382A (en) | 2004-04-08 |
JP4040404B2 true JP4040404B2 (en) | 2008-01-30 |
Family
ID=32269569
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002272586A Expired - Fee Related JP4040404B2 (en) | 2002-09-19 | 2002-09-19 | Code string conversion apparatus and method, image processing apparatus, and image recording apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4040404B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024047734A1 (en) * | 2022-08-30 | 2024-03-07 | 富士通株式会社 | Image processing device, encoding method, and encoding program |
CN117579819B (en) * | 2024-01-17 | 2024-03-29 | 哈尔滨学院 | Image communication digital media method and system |
-
2002
- 2002-09-19 JP JP2002272586A patent/JP4040404B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004112382A (en) | 2004-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4444790B2 (en) | Image compression method, image compression apparatus, image compression system, and program | |
US7330596B2 (en) | Image decoding technique for suppressing tile boundary distortion | |
US7095900B2 (en) | Method and apparatus for performing scalar quantization with a power of two step size | |
KR100971834B1 (en) | Image coding method and apparatus | |
US7113645B2 (en) | Image decompression apparatus and method | |
US6993199B2 (en) | Method and system for improving coding efficiency in image codecs | |
US20040208380A1 (en) | System for reproducing moving image from JPEG 2000 encoded data stream | |
JP4350342B2 (en) | Image processing apparatus, image recording apparatus, camera system, program, storage medium, and image processing method | |
JP3952459B2 (en) | Image processing apparatus, program, storage medium, and image processing method | |
US9264736B2 (en) | Encoding method, decoding method, encoding device, and decoding device | |
WO2006046550A1 (en) | Image encoding method and device, image decoding method, and device | |
JP4144749B2 (en) | Image compression / decompression system, image compression apparatus, image expansion apparatus, image compression method, and image expansion method | |
JP4040404B2 (en) | Code string conversion apparatus and method, image processing apparatus, and image recording apparatus | |
JP4124436B2 (en) | Motion estimation device, program, storage medium, and motion estimation method | |
JP4129913B2 (en) | Image processing apparatus and image processing method | |
JP4489474B2 (en) | Image processing apparatus, program, and recording medium | |
JP4145086B2 (en) | Image decoding apparatus, image processing apparatus, moving image display system, program, storage medium, and image decoding method | |
JP4361755B2 (en) | Moving image processing apparatus, program, storage medium, and moving image processing method | |
JP2004200959A (en) | Code sequence converting apparatus, image edit system, camera system, and program | |
JP2010135912A (en) | Compressing method of video data | |
US7787537B2 (en) | Method and apparatus for low-memory high-performance discrete cosine transform coefficient prediction | |
JP2004336405A (en) | Dynamic image processing apparatus, program, storage medium, and dynamic image processing method | |
JP2004112381A (en) | Motion amount detecting apparatus, code string converting apparatus, image processing apparatus, image recording apparatus, program, storage medium, and moving amount detecting method | |
JP2004236217A (en) | Device for removing unwanted portion, image processor, program, storage medium and method for removing unwanted portion | |
JP2004234564A (en) | Retrieval object restriction device, image processor, program, storage medium, and retrieval object restriction method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041007 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050425 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050510 |
|
RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20060925 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070522 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070606 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070806 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070829 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070921 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071106 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071107 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101116 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101116 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111116 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111116 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121116 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131116 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |