JP2007243399A - データ圧縮方式およびその関連技術 - Google Patents

データ圧縮方式およびその関連技術 Download PDF

Info

Publication number
JP2007243399A
JP2007243399A JP2006060864A JP2006060864A JP2007243399A JP 2007243399 A JP2007243399 A JP 2007243399A JP 2006060864 A JP2006060864 A JP 2006060864A JP 2006060864 A JP2006060864 A JP 2006060864A JP 2007243399 A JP2007243399 A JP 2007243399A
Authority
JP
Japan
Prior art keywords
component
inverse
data
orthogonal transform
transform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006060864A
Other languages
English (en)
Inventor
Yukihiro Sasagawa
幸宏 笹川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2006060864A priority Critical patent/JP2007243399A/ja
Priority to CN2007100803965A priority patent/CN101035286B/zh
Priority to CN2010102950941A priority patent/CN101945283A/zh
Priority to US11/714,835 priority patent/US8094950B2/en
Publication of JP2007243399A publication Critical patent/JP2007243399A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】2種類の直交変換を用いるような画像圧縮方式において、直交変換後に別の直交変換などの処理を行うことで、逆変換の処理順序の依存関係が発生するために処理効率が低下する。
【解決手段】離散コサイン変換処理部1の次段が、交流処理系と直流処理系とに分岐されている。交流処理系は、交流成分量子化処理部3A、交流成分逆量子化処理部5Aおよび逆離散コサイン変換処理部6の時系列構成となっている。直流処理系は、アダマール変換処理部2、直流成分量子化処理部3B、逆アダマール変換処理部4および直流成分逆量子化処理部5Bの時系列構成となっている。直交変換後の空間周波数分布における交流成分と直流成分の処理を分離し、交流成分と直流成分の演算を独立に行うことで逆変換に伴う依存関係を解消させる。
【選択図】図1

Description

本発明は、例えば中間調画像やカラー画像などの多値データに対するデータ圧縮方式にかかわり、特には、画像データの圧縮アルゴリズムとして、画像データの単位領域(ブロック)を直交変換し、さらに複数のブロックに対する直流成分を直交変換することで圧縮効率を高め、演算処理効率を向上するようにした技術に関する。
中間調画像やカラー画像などの多値画像を表す画像データはその情報量が膨大であるため、これらの画像データを蓄積したり伝送したりする際には、情報量の圧縮を行う必要がある。多値画像の画像データの特徴を損なうことなく情報量を圧縮する符号化方式として、直交変換である離散コサイン変換(DCT:Discrete Cosine Transform)を用いた方法が広く用いられている。さらに画像の高精度化に伴い、より符号化効率を高めるために、複数の直交変換を組み合わせた符号化方式が考案されている。特に、H.264/AVCと呼ばれている符号化方式では、離散コサイン変換に加え、直交変換であるアダマール変換(HAT:HadamardTransform)を組み合わせて符号化効率を高めている(例えば非特許文献1参照)。
図15にH.264/AVC符号化方式の処理構成を示し、図16、図17に処理概念を示す。
H.264/AVC符号化方式は、離散コサイン変換処理部41、アダマール変換処理部42、量子化処理部43、逆アダマール変換処理部44、逆量子化処理部45、逆離散コサイン変換処理部46、画像予測処理部47および予測画像誤差計算処理部48から構成されている。
符号化しようとする画像は、例えば4×4画素からなるブロック(図16(a)参照)に分割され、予測画像誤差計算処理部48でこれらの各ブロックに対応する予測画像誤差データD0′が生成され、離散コサイン変換処理部41に入力される。離散コサイン変換処理部41は、入力された予測画像誤差データD0′に対して2次元離散コサイン変換を行うことにより、各ブロックの予測画像誤差データD0′を直交変換する(図16(b)参照)。これにより、各ブロックの画像の空間周波数分布を表すDCT係数データD1′が4行4列の行列として生成される。これ以降は、直流成分の処理と交流成分の処理に分けて説明する。
〔直流成分の処理〕
DCT係数データD1′のうち直流成分D2′を処理単位(MB(マクロブロック):例えば8ブロック)分まとめて、8ブロックの画像の直流成分分布を表すDCT直流係数データD3′を生成し(図16(c)参照)、アダマール変換処理部42に入力する。アダマール変換処理部42は、入力されたDCT直流係数データD3′に対して2次元アダマール変換を行うことにより、DCT直流係数データD3′を直交変換する(図17(a)参照)。これにより、8ブロックの画像の直流成分に関する空間周波数分布を表すHAT係数データD4′が2行4列の行列として生成される。
〔交流成分の処理〕
一方、前述のDCT係数データD1′のうち直流成分D2′を除いた交流成分およびHAT係数データD4′が量子化処理部43に入力される。この量子化処理部43は、入力されたDCT係数データD1′の交流成分およびHAT係数データD4′を適当な量子化ステップに基づいて量子化する。この量子化ステップは各空間周波数に対する視覚の感度を調べた視覚実験の結果に基づいて決められたものであり、視覚上の画質劣化を最小限にし、かつ、符号化効率を高めるものとなっている。これにより、量子化後DCT係数データd5′および量子化後HAT係数データD5′が生成される(図16(b)および図17(a)参照)。これら量子化後データは符号化される。
さらに、符号化処理以外に量子化誤差の蓄積を防止するために、量子化結果を画像データに復元し、フィードバックを行うことが必要となる。そこで、量子化後HAT係数データD5′を逆アダマール変換処理部44に入力する。逆アダマール変換処理部44は、入力された量子化後HAT係数データD5′に対して2次元逆アダマール変換を行うことにより、量子化後HAT係数データD5′を直交変換する(図17(a)参照)。これにより8ブロックの画像に関する量子化後DCT係数データd5′の直流成分d4′に相当する量子化後DCT直流係数データD6′が得られる。
次に、この量子化後DCT直流係数データD6′を8ブロックの各々の直流成分D7′に分解し(図17(b)参照)、量子化後DCT係数データd5′の直流成分d4′に反映した後、量子化後DCT係数データd5′が逆量子化処理部45に入力される。逆量子化処理部45は、前述の量子化ステップに基づき、本来の空間周波数に逆量子化を行う。これにより各ブロックの画像の空間周波数分布を表すDCT係数データD1′が4行4列の行列として生成される(図16(b)参照)。
次に、DCT係数データD1′が逆離散コサイン変換処理部46に入力される。逆離散コサイン変換処理部46は、入力されたDCT係数データD1′に対して2次元逆離散コサイン変換を行うことにより、各ブロックのDCT係数データD1′を直交変換する。これにより、各ブロックの予測画像誤差データD0′が生成される(図16(b)参照)。
最後に、この予測画像誤差データD0′は画像予測処理部47に入力され、生成した予測画像を予測画像誤差計算処理部48に入力することで符号化処理が完結する。
このようにして生成される予測画像誤差データD0′は復号化処理と同一の演算結果となるため、これを次の符号化処理の予測画像誤差計算の参照画像に用いることで、量子化誤差の蓄積を防止することができる。
上記のように、離散コサイン変換(DCT)とアダマール変換(HAT)の2種類の直交変換により、各ブロックの画像の空間周波数分布および複数ブロックの画像の直流成分に関する空間周波数分布に対して量子化を行い、結果として、高い符号化効率を実現する。
H.264/AVC教科書(インプレス出版)P.131〜134
しかし、上記従来の方式では符号化処理が完結するまでの処理時間の増大という課題が存在する。図18に各処理の時系列動作を示す。離散コサイン変換(DCT)、アダマール変換(HAT)、量子化(Q)、逆アダマール変換(IHAT)、逆量子化(IQ)、逆離散コサイン変換(IDCT)および画像予測(Pred)の各処理がこの記載順の時系列で表されている。
上記のようにアダマール変換(HAT)の完了後に量子化(Q)を行うため、タイミングT41以降に量子化が開始される。この場合、1処理単位(MB)の最大割り当て時間T42としてかなり長い時間が必要となる。
ところで、図19は、上記の図15の方式よりも符号化効率が低い、DCTのみを用いたデータ圧縮方式の構成図である。アダマール変換処理部および逆アダマール変換処理部はない。
図20は図19の方式の各処理の時系列動作を示す。離散コサイン変換(DCT)、量子化(Q)、逆量子化(IQ)、逆離散コサイン変換(IDCT)および画像予測(Pred)の各処理がこの記載順の時系列で表されている。
この場合、離散コサイン変換(DCT)の完了後に量子化(Q)を行うため、タイミングT51以降に量子化が開始される。この場合の1処理単位(MB)の最大割り当て時間T52と比較して、図18で示した最大割り当て時間T42は2倍近くになってしまう。図18の場合は、第2の直交変換であるアダマール変換(HAT)を追加しているため、アダマール変換の完了を待たないと量子化(Q)を開始することができず、かつ、量子化の完了を待たないと逆アダマール変換(IHAT)を開始することができない。このことが、最大割り当て時間の増加を招く原因となっている。
この不都合に対して、回路の動作周波数を上げる、もしくは並列化するなどの対策が必要となり、結果としてチップ面積の増大、消費電流増加を招くことになる。
これらの問題の本質は、直交変換後に別の直交変換などの処理を行うことで、逆変換の処理順序の依存関係が発生するために処理効率が低下するということである。
上記問題に鑑み、本発明は、2種類の直交変換を用いるような画像圧縮方式、およびそれに類するデータ処理方式における演算処理の効率化を可能にし、性能劣化を防止することを課題とする。
上記の課題を解決するために本発明が講じた手段は、直交変換後の空間周波数分布における交流成分と直流成分の処理を分離し、交流成分と直流成分の演算を独立に行うことで逆変換に伴う依存関係を解消させるものである。
すなわち、本発明は、第1の直交変換と、前記第1の直交変換で得られた直流成分に対する変換と、復号化処理と等価な逆変換を含むデータ圧縮方式であって、前記第1の直交変換の後段の処理を交流成分の処理と直流成分の処理とに分離し、前記逆変換は、前記第1の直交変換に対応する第1の逆直交変換を含み、前記第1の逆直交変換は直流成分を零とした逆直交変換であることを特徴とする。
ここで、第1の直交変換としては、例えば、離散コサイン変換や修正離散コサイン変換などがある。また、第1の直交変換で得られた直流成分に対する変換としては、例えば、アダマール変換、第2の離散コサイン変換、ウェーブレット変換などがある。
本発明によると、直交変換後に別の直交変換などの処理を行うに際して、第1の直交変換の後段の処理を交流成分の処理と直流成分の処理とに分離し、それぞれの処理を互いに独立して実行するように構成することで、逆変換の処理順序の依存関係を解消し、演算処理の効率化を可能にし、性能劣化を防止することが可能となる。
前記第1の直交変換で得られた直流成分に対する変換については、これも直交変換とするのが好ましい。これを第2の直交変換とする。そして、前記逆変換については、前記第2の直交変換に対応する第2の逆直交変換を含むものとする。
また、本発明は、第1の直交変換と、前記第1の直交変換で得られた直流成分に対する第2の直交変換と、復号化処理と等価な逆変換を含むデータ圧縮方式であって、前記第1の直交変換の後段の処理を交流成分の処理と直流成分の処理とに分離し、前記逆変換は、前記第1の直交変換に対応する第1の逆直交変換と、前記第2の直交変換に対応する第2の逆直交変換を含み、前記第1の逆直交変換は直流成分を第1の値とした逆直交変換であり、前記第2の逆直交変換後の逆行列から得られる第2の値と、前記第1の値の差分を前記第1の逆直交変換後の逆行列の各要素に加算することを特徴とする。
上記において、前記直流成分および交流成分に対する量子化処理および逆量子化処理を含むものとする。
この場合に、前記直流成分および交流成分に対する量子化処理および逆量子化処理を時分割に実施するという態様がある。
また、前記第1の直交変換、前記第1の逆直交変換、前記第2の直交変換、前記第2の逆直交変換を時分割に実施するという態様がある。
量子化と逆量子化は独立したブロックで処理する必要は無く、例えば共有化したブロックを用いて量子化と逆量子化を時分割に処理しても本発明の効果は変わらない。このように共有化することで、回路規模の削減、消費電力の削減という効果が得られる。
また、上記のデータ圧縮方式において、前記データを画像データとし、前記第1の直交変換は離散コサイン変換、前記第1の逆直交変換は逆離散コサイン変換、前記第2の直交変換はアダマール変換、前記第2の逆直交変換は逆アダマール変換とする態様がある。
また、上記のデータ圧縮方式において、前記第2の直交変換および前記第2の逆直交変換は複数の直交変換方式を選択可能であって、前記複数の直交変換方式の選択は前記第1の直交変換の結果によって決定するという態様がある。
直交変換には、離散コサイン変換やアダマール変換などいくつかの種類があり、それぞれ一長一短がある。一般に、アダマール変換は単純な加減算で実現できる。また、離散コサイン変換は圧縮処理に最適な直交変換を実現できる。第1の直交変換の結果に基づいていずれの直交変換が適しているかを判定することにより、演算処理量、符号化効率のトレードオフが解消される。
また、上記のデータ圧縮方式において、前記データを画像データとし、前記直流成分に対する量子化処理は、画像の輝度または色差情報の直流成分に対する量子化処理であり、前記直流成分に対する量子化ステップは、前記第2の直交変換の結果によって決定するという態様がある。
また、上記のデータ圧縮方式において、前記直流成分に対する変換は画質または音質を決定するパラメータの変換であるという態様がある。
また、上記のデータ圧縮方式において、前記直流成分に対する画質または音質を決定するパラメータの変換処理を時分割に実施するという態様がある。
また、上記のデータ圧縮方式において、前記データを画像データとし、前記直流成分に対する画質を決定するパラメータの変換処理は、画像の輝度または色差情報の直流成分の最大値または最小値を所望の範囲に収める変換処理であり、前記所望の範囲は、前記第2の直交変換の結果によって決定するという態様がある。
また、上記のデータ圧縮方式において、前記データを音声データとし、前記第1の直交変換は修正離散コサイン変換、前記第1の逆直交変換は修正逆離散コサイン変換、前記第2の直交変換はウェーブレット変換、前記第2の逆直交変換は逆ウェーブレット変換とするという態様がある。
また、上記のデータ圧縮方式において、前記データを音声データとし、前記直流成分に対する量子化処理は、音声の振幅レベルに対する量子化処理であり、前記直流成分に対する量子化ステップは、前記第2の直交変換の結果によって決定するという態様がある。
また、上記のデータ圧縮方式において、前記データを音声データとし、前記直流成分に対する音質を決定するパラメータの変換処理は、音声の振幅レベルの直流成分の最大値または最小値を所望の範囲に収める変換処理であり、前記所望の範囲は、前記第2の直交変換の結果によって決定するという態様がある。
振幅に制限を与えることにより、直流成分に起因するダイナミックレンジを規定値以上に超えることが防止される。
また、上記のデータ圧縮方式において、前記データを画像データとし、前記直流成分に対する画質を決定するパラメータの変換処理は、画像の輝度または色差情報の直流成分を複数の輝度情報の直流成分の平均値にする変換処理であり、前記平均値は、前記第2の直交変換の結果によって決定するという態様がある。
また、上記のデータ圧縮方式において、前記データを音声データとし、前記直流成分に対する音質を決定するパラメータの変換処理は、音声の振幅レベルの直流成分を複数の振幅レベルの直流成分の平均値にする変換処理であり、前記平均値は、前記第2の直交変換の結果によって決定するという態様がある。
平均値とすることにより、直流成分のばらつきが削減される。
また、上記のデータ圧縮方式において、前記データを画像データとし、前記直流成分に対する画質を決定するパラメータの変換処理は、画像の複数の輝度または色差情報の直流成分の空間周波数成分における高周波成分を除去する変換処理であり、前記高周波成分の除去は、前記第2の直交変換の結果によって決定するという態様がある。
また、上記のデータ圧縮方式において、前記データを音声データとし、前記直流成分に対する音質を決定するパラメータの変換処理は、音声の振幅レベルの直流成分の空間周波数成分における高周波成分を除去する変換処理であり、前記高周波成分の除去は、前記第2の直交変換の結果によって決定するという態様がある。
高周波成分の除去により、直流成分の急激な変化が防止される。
また、上記のデータ圧縮方式において、前記データを画像データとし、前記直流成分に対する画質を決定するパラメータの変換処理は、画像の輝度または色差情報の直流成分を符号化効率の高い範囲に収める変換処理であり、前記符号化効率の高い範囲は、前記第2の直交変換の結果によって決定するという態様がある。
また、上記のデータ圧縮方式において、前記データを音声データとし、前記直流成分に対する音質を決定するパラメータの変換処理は、音声の振幅レベルの直流成分を符号化効率の高い範囲に収める変換処理であり、前記符号化効率の高い範囲は、前記第2の直交変換の結果によって決定するという態様がある。
また、上記のデータ圧縮方式に関連して、上記のようなデータ圧縮方式を有する半導体集積回路を備えた通信装置、情報再生装置、画像表示装置、電子装置なども有効である。
本発明によれば、直交変換後に別の直交変換などの処理を行うに際して、第1の直交変換の後段の処理を交流成分の処理と直流成分の処理とに分離し、それぞれの処理を互いに独立して実行するように構成することで、逆変換の処理順序の依存関係を解消し、演算処理の効率化を可能にし、性能劣化を防止することができる。
以下、本発明にかかわるデータ圧縮方式の実施の形態を図面に基づいて詳細に説明する。
(実施の形態1)
図1は、本発明の実施の形態1におけるデータ圧縮方式の構成を示すブロック図である。本実施の形態の符号化方式は、離散コサイン変換処理部1、アダマール変換処理部2、交流成分量子化処理部3A、直流成分量子化処理部3B、逆アダマール変換処理部4、交流成分逆量子化処理部5A、直流成分逆量子化処理部5B、逆離散コサイン変換処理部6、画像予測処理部7および予測画像誤差計算処理部8から構成されている。
離散コサイン変換処理部1の次段が、交流処理系と直流処理系とに分岐されている。交流処理系は、交流成分量子化処理部3A、交流成分逆量子化処理部5Aおよび逆離散コサイン変換処理部6の時系列構成となっている。また、直流処理系は、アダマール変換処理部2、直流成分量子化処理部3B、逆アダマール変換処理部4および直流成分逆量子化処理部5Bの時系列構成となっている。そして、逆離散コサイン変換処理部6の出力と直流成分逆量子化処理部5Bの出力とが画像予測処理部7に入力され、画像予測処理部7の出力が予測画像誤差計算処理部8に入力されている。
図1において、動作の概略を説明すると、次のようになる。予測画像誤差計算処理部8からの予測画像誤差データD0が離散コサイン変換処理部1に入力され、2次元離散コサイン変換の直交変換を受けてDCT係数データD1が生成される。このDCT係数データD1がこれ以降、2系統に分けられる。
離散コサイン変換処理部1の後段の各構成要素の動作開始順位は次のようになっている(図4参照)。
(1)交流成分量子化処理部(ACQ)3A
(2)交流成分逆量子化処理部(ACIQ)5A
(3)逆離散コサイン変換処理部(IDCT)6
(4)アダマール変換処理部(HAT)2
(5)直流成分量子化処理部(DCQ)3B
(6)逆アダマール変換処理部(IHAT)4
(7)直流成分逆量子化処理部(DCIQ)5B
〔交流処理系の動作〕
離散コサイン変換処理部1によるDCT係数データD1のうち直流成分D2を除いた交流成分が交流成分量子化処理部3Aに入力され、量子化によって量子化後DCT係数データd5が生成される。これは、次段に送られ符号化される。量子化誤差蓄積防止のためのフィードバックにおいて、量子化後DCT係数データd5は交流成分逆量子化処理部5Aにより逆量子化され、逆量子化後DCT交流係数データd7が生成される。逆量子化後DCT交流係数データd7は、逆離散コサイン変換処理部6による2次元逆離散コサイン変換の直交変換を受け、交流成分予測画像誤差データd9が生成される。この交流成分予測画像誤差データd9は画像予測処理部7に与えられる。逆離散コサイン変換処理部6において、直流成分は零とされている(DC=0)。
〔直流処理系の動作〕
一方、DCT係数データD1のうち直流成分D2が抜き取られ、複数分まとめられて直流成分分布を表すこととなるDCT直流係数データD3がアダマール変換処理部2に入力される。DCT直流係数データD3はアダマール変換処理部2によって2次元アダマール変換の直交変換を受け、直流成分に関する空間周波数分布を表すHAT係数データD4が生成される。HAT係数データD4は直流成分量子化処理部3Bによって量子化され、量子化後HAT係数データD5が生成される。これは、次段に送られ符号化される。量子化誤差蓄積防止のためのフィードバックにおいて、量子化後HAT係数データD5は逆アダマール変換処理部4に入力されて2次元逆アダマール変換の直交変換を受け、量子化後DCT係数データd5の直流成分d4に相当する量子化後DCT直流係数データD6が生成される。量子化後DCT直流係数データD6は直流成分逆量子化処理部5Bにより逆量子化され、DCT係数データD1の直流成分D2に相当する逆量子化後DCT直流係数データD7が生成される。この逆量子化後DCT直流係数データD7は画像予測処理部7に与えられる。
画像予測処理部7において、逆量子化後DCT直流係数データD7と交流成分予測画像誤差データd9から予測画像誤差データD0′と等価な予測画像誤差計算の参照画像が生成され、これが予測画像誤差計算処理部8に与えられて量子化誤差の蓄積を防止する。
動作をより具体的に説明すると、次のとおりである。
図2(a)に示すように、符号化しようとする画像は、例えば4×4画素からなるブロックに分割される。予測画像誤差計算処理部8でこれらの各ブロックに対応する予測画像誤差データD0が生成され、離散コサイン変換処理部1に入力される。離散コサイン変換処理部1は、図2(b)に示すように、入力された予測画像誤差データD0に対して2次元離散コサイン変換を行うことにより、各ブロックの予測画像誤差データD0を直交変換する。これにより、各ブロックの画像の空間周波数分布を表すDCT係数データD1が4行4列の行列として生成される。
〔交流処理系の動作〕
次に、前述のDCT係数データD1のうち直流成分D2を除いた交流成分が交流成分量子化処理部3Aに入力される。図2(b)に示すように、交流成分量子化処理部3Aは、入力されたDCT係数データD1の交流成分を適当な量子化ステップに基づいて量子化し、量子化後DCT係数データd5が生成される。この量子化ステップは前述したように各空間周波数に対する視覚の感度を調べた視覚実験の結果に基づいて決められたものであり、視覚上の画質劣化を最小限にし、かつ、符号化効率を高めるようになっている。この量子化後DCT係数データd5は符号化される。
さらに、符号化処理以外に量子化誤差の蓄積を防止するために、量子化結果を画像データに復元し、フィードバックを行うことが必要となる。そのため、量子化後DCT係数データd5が、交流成分逆量子化処理部5Aに入力される。交流成分逆量子化処理部5Aは、前述の量子化ステップに基づき、本来の空間周波数に逆量子化を行う。さらに直流成分に相当する要素d6を零にする。これにより各ブロックの画像の空間周波数分布を表す逆量子化後DCT交流係数データd7が4行4列の行列として生成される。
次に、逆量子化後DCT交流係数データd7が、逆離散コサイン変換処理部6に入力される。逆離散コサイン変換処理部6は、入力された逆量子化後DCT交流係数データd7に対して2次元逆離散コサイン変換を行うことにより、各ブロックの逆量子化後DCT交流係数データd7を直交変換する。これにより、各ブロックの交流成分予測画像誤差データd9が生成され、画像予測処理部7に与えられる。
〔直流処理系の動作〕
一方、図3(a)に示すように、離散コサイン変換処理部1によるDCT係数データD1のうち直流成分D2を処理単位(MB:例えば8ブロック)分まとめて、8ブロックの画像の直流成分分布を表すDCT直流係数データD3を生成し、アダマール変換処理部2に入力する。アダマール変換処理部2は、図3(b)に示すように、入力されたDCT直流係数データD3に対して2次元アダマール変換の直交変換を行う。これにより、8ブロックの画像の直流成分に関する空間周波数分布を表すHAT係数データD4が2行4列の行列として生成される。このHAT係数データD4が直流成分量子化処理部3Bに入力される。直流成分量子化処理部3Bは、入力されたDCT係数データD1の交流成分およびHAT係数データD4を適当な量子化ステップに基づいて量子化し、量子化後HAT係数データD5が生成される。この量子化ステップは前述したように各空間周波数に対する視覚の感度を調べた視覚実験の結果に基づいて決められたものであり、視覚上の画質劣化を最小限にし、かつ、符号化効率を高めるようになっている。なお、HAT係数データD4の値から得られる、8ブロックの画像の直流成分に関する空間周波数分布を基に視覚上の画質劣化を更に低減するように前記量子化ステップを決定しても良く、それによって符号化効率を更に高めることが可能となる。
次に、量子化後HAT係数データD5が、逆アダマール変換処理部4に入力される。逆アダマール変換処理部4は、入力された量子化後HAT係数データD5に対して2次元逆アダマール変換の直交変換を行う。これにより8ブロックの画像に関する量子化後DCT係数データd5の直流成分d4に相当する量子化後DCT直流係数データD6が得られる。
次に、この量子化後DCT直流係数データD6が直流成分逆量子化処理部5Bに入力される。直流成分逆量子化処理部5Bは、前述の量子化ステップに基づき、本来の空間周波数に逆量子化を行う。これにより各ブロックの画像に関するDCT係数データの直流成分に相当する逆量子化後DCT直流係数データD7が生成される。
次に、図3(c)に示すように、直流成分逆量子化処理部5Bは、この逆量子化後DCT直流係数データD7を8ブロックの各々の直流成分D8に分解し、全要素が直流成分D8と同一の値を持つ4行4列の行列を生成する。空間周波数における直流成分は予測画像誤差データにおけるバイアス成分に相当するため、前記生成された行列は、予測画像誤差データD0から交流成分予測画像誤差データd9を差し引いた差分である、各ブロックの直流成分予測画像誤差データD9と同一となる。
最後に、逆離散コサイン変換処理部6による交流成分予測画像誤差データd9と直流成分逆量子化処理部5Bによる直流成分予測画像誤差データD9とが画像予測処理部7に入力され、生成した予測画像を予測画像誤差計算処理部8に入力することで符号化処理が完結する。
このようにして生成される交流成分予測画像誤差データd9および直流成分予測画像誤差データD9の総和は、数学的に従来方法で得られる予測画像誤差データD0′と等価であるため、従来方法と同様に復号化処理と同一の演算結果であり、これを次の符号化処理の予測画像誤差計算の参照画像に用いることで、量子化誤差の蓄積を防止することができる。
上記のように、離散コサイン変換(DCT)とアダマール変換(HAT)との2種類の直交変換により、各ブロックの画像の空間周波数分布および複数ブロックの画像の直流成分に関する空間周波数分布に対して量子化を行うことによって高い符号化効率を実現する。
さらに、離散コサイン変換処理部1以降は交流成分と直流成分を分離して、各々独立に処理がなされるため、従来方式に存在していた逆変換の処理順序の依存関係が解消されるという効果を奏する。
図4に各処理の時系列動作を示す。離散コサイン変換(DCT)、交流成分量子化(ACQ)、交流成分逆量子化(ACIQ)、逆離散コサイン変換(IDCT)、アダマール変換(HAT)、直流成分量子化(DCQ)、逆アダマール変換(IHAT)、直流成分逆量子化(DCIQ)および画像予測(Pred)の各処理がこの記載順の時系列で表されている。
上記のように離散コサイン変換(DCT)の完了後に交流成分量子化(ACQ)を行うため、タイミングT1以降に交流成分量子化(ACQ)が開始され、以降の交流成分逆量子化(ACIQ)、逆離散コサイン変換(IDCT)が順次開始される。
また、1処理単位(MB)の最後のブロックに対する離散コサイン変換(DCT)と並列にアダマール変換(HAT)が開始されるため、それまでの間、交流成分に対する処理は先行的に処理可能となる。
そして、アダマール変換(HAT)の完了後に直流成分量子化(DCQ)を行うため、タイミングT2以降に直流成分量子化(DCQ)が開始される。
この場合の1処理単位(MB)の最大割り当て時間T3は、従来方式での処理時間T42と比較して半分近くになっており、演算処理の効率化が実現できていることがわかる。
この処理時間効率化の効果により、例えば符号化方式の規格上、従来方式の処理時間T42以内に処理が完了すれば良い場合は、残った処理時間の活用方法として処理回路の周波数を半分近くに削減し、消費電力の削減という効果を得ることができる。あるいは、残った処理時間の活用方法として高画質化のための追加処理を行い、符号化効率を更に高めるという効果を得ることができる。
なお、上記の離散コサイン変換およびアダマール変換は、直交変換方法として限定されるものではなく、ウェーブレット変換(WT)、修正離散コサイン変換(MDCT)などの直交変換を用いても本発明は有効である。
さらに、図4に記した量子化と逆量子化は独立したブロックで処理する必要は無く、例えば共有化したブロックを用いて量子化と逆量子化を時分割に処理しても本発明の効果は変わらない。これは、離散コサイン変換(DCT)と逆離散コサイン変換(IDCT)、あるいはアダマール変換(HAT)と逆アダマール変換(IHAT)についても同様である。上記のように共有化することで回路規模の削減、消費電力の削減という効果を得ることができる。
本発明によって得られる、具体的なH.264/AVC符号化LSIの仕様例および効果について説明する。
まず、処理の並列化という観点で、並列化可能性の有無、回路規模の影響を踏まえ、現実的に実装可能な並列化形態および回路規模の概算を説明する。
例えば、H.264/AVC符号化処理全体で並列化を考えた場合、直交した画像成分である輝度成分と色差成分を並列化することが望ましい。また、処理単位(MB)内で並列化を考えた場合、直交変換処理は行列要素を記憶する必要があるため並列化は望ましくなく、また、量子化、逆量子化処理は演算に乗算・シフトが存在するため、輝度成分における8×8要素の各行、あるいは各列を並列化(8並列)および色差成分における4×4要素の各行、あるいは各列を並列化(4並列)程度が望ましい。
このような観点で並列化した場合における符号化LSIの回路規模としては、4000万トランジスタ程度となる。一方で、例えば直交変換、量子化の並列数をさらに高めた場合、メモリやレジスタなどの記憶回路、演算器が追加されるため、1並列増加するたびに1割程度のトランジスタが追加される。トランジスタ数の増加はチップ面積に影響を与え、ひいては歩留まりの劣化につながるため、現実的に実装可能な回路規模としては4000万トランジスタが上限であると言える。
次に、当該並列化形態を踏まえた場合の処理単位当たりの必要サイクル数および対象とする画像サイズ、フレームレートを規定した場合におけるLSIの必要最低周波数を説明する。
例えば、H.264/AVC符号化における処理量が最大となる画像モードは、画像サイズ1920×1080、フレームレートが30Hzである。このモードにおける1画面内の処理単位(MB)数は、8160となる。ここで処理単位(MB)における必要サイクル数T3としては、前記並列化形態を踏まえると288サイクル程度であり、図5に示すように1画像単位(フレーム)が複数の処理単位(MB)で構成されていることから、1画像単位(フレーム)当りの必要サイクル数T4は、8160×288=2350080サイクルとなり、フレームレートが30Hzであることから、符号化処理に必要なLSIの必要周波数は2350080×30=70.5MHzとなる。
ここで処理単位における、アダマール変換(HAT)処理が完了するタイミングT2までのサイクル数は230サイクル程度であり、また前記並列化形態を踏まえた場合における、量子化処理から画像予測処理までのサイクル数は、230サイクル程度必要になるため、一方で例えば、図15の従来例で符号化処理を実装した場合、処理単位(MB)における必要サイクル数T42としては、288+230=518サイクル程度となり、1画像単位(フレーム)当たりの必要サイクル数は、8160×518=4226880サイクルとなる。同様にフレームレートが30Hzであることから、この場合のLSIの必要周波数は4226880×30=126.8MHzとなる。
以上のことから、H264/AVC符号化処理を実装したLSIで前記並列化形態(4000万トランジスタ以下の回路規模)の実装においては、本発明を適用しない場合には、100MHzを下回る周波数で、画像サイズ1920×1080、フレームレートが30Hzの画像モードを処理することは困難であり、本発明を適用することで、100MHzを下回る周波数で、前記画像モードを処理できることがわかる。
(実施の形態2)
直流成分に対する直交変換については、アダマール変換に限定する必要はない。本発明の実施の形態2は、直流成分に対する直交変換を、アダマール変換と離散コサイン変換から選択するものである。
図6は本発明の実施の形態2におけるデータ圧縮方式の構成を示すブロック図である。図6において、実施の形態1の図1におけるのと同じ符号は同一構成要素を指している。本実施の形態に特有の構成は、次のとおりである。離散コサイン変換処理部1の次段にアダマール変換処理部9Aと離散コサイン変換処理部9Bとを並列に接続し、これらの出力をセレクタ10で選択して直流成分量子化処理部3Bに入力するように構成するとともに、直流成分量子化処理部3Bの出力に逆アダマール変換処理部11Aと逆離散コサイン変換処理部11Bとを並列に接続し、これらの出力をセレクタ12で選択して直流成分逆量子化処理部5Bに入力するように構成している。そして、離散コサイン変換処理部1の結果に基づいて、直流成分に対する直交変換として、アダマール変換と離散コサイン変換のいずれを使用するのが良いかを判定して、セレクタ10,12を制御するように構成されている。その他の構成については、実施の形態1と同様であるので、説明を省略する。
一般にアダマール変換は単純な加減算で実現でき、離散コサイン変換は圧縮処理に最適な直交変換を実現できるという点が特徴である。離散コサイン変換処理部1の結果に基づいていずれの直交変換が適しているかを判定し、実施する符号化方式によって演算処理量、符号化効率のトレードオフを解消することができる。
さらに、離散コサイン変換処理部1以降は交流成分と直流成分を分離して、各々独立に処理がなされるため、従来方式に存在していた逆変換の処理順序の依存関係が解消されるという効果を奏する。
図7に各処理の時系列動作を示す。基本的には実施の形態1の場合の図2と同様であり、図2におけるアダマール変換(HAT)がアダマール変換(HAT)と第2の離散コサイン変換(DCT)との選択となり、また、図2における逆アダマール変換(IHAT)が逆アダマール変換(IHAT)と第2の逆離散コサイン変換(IDCT)との選択となっている。
上記のように離散コサイン変換(DCT)の完了後に交流成分量子化(ACQ)を行うため、タイミングT11以降に交流成分量子化(ACQ)が開始され、以降の交流成分逆量子化(ACIQ)、逆離散コサイン変換(IDCT)が順次開始される。
また、1処理単位(MB)の最後のブロックに対する離散コサイン変換(DCT)と並列にタイミングT12で直流成分に対する直交変換方式が決定され、アダマール変換(HAT)または離散コサイン変換(DCT)のいずれか一方が選択されて開始されるため、それまでの間、交流成分に対する処理は先行的に処理可能となる。そして、アダマール変換(HAT)または離散コサイン変換(DCT)の完了後に直流成分量子化(DCQ)を行うため、タイミングT13以降に直流成分量子化(DCQ)が開始され、1処理単位(MB)の最大割り当て時間T14は、従来方式での処理時間T42と比較して半分近くになっており、演算処理の効率化が実現できていることがわかる。
(実施の形態3)
また、前記実施の形態では直交変換後に別の直交変換などの処理を行う場合における解決方法として本発明を適用していたが、これに限定するものではなく、例えば図8に示すように、DCパラメータ調整処理部13を用いて、離散コサイン変換処理部1の結果から直流成分に対するパラメータ調整を実施するという符号化方式も有り得る。図8においては、図1のアダマール変換処理部2と逆アダマール変換処理部4がなく、代わりにDCパラメータ調整処理部13が設けられている。
ここで言うパラメータ調整とは、例えば図9(a)に示すように複数の変換前直流成分D10に対して、直流成分の上限値Th1、直流成分の下限値Th2の範囲に収めるための増減係数を決定し、変換後直流成分D11のように調整することを表す。この場合は、直流成分に起因するダイナミックレンジを規定値以上に超えることを防止するという効果を奏する。
また、例えば図9(b)に示すように複数の変換前直流成分D10に対して、直流成分の平均値Davを決定し、変換後直流成分D12のように平均値に変換することを表す。この場合は、直流成分のばらつきを削減するという効果を奏する。
また、例えば図10(a)に示すように複数の変換前直流成分D10に対して、直流成分の分布から高周波成分を除去、すなわち平滑処理を行った分布Disを決定し、変換後直流成分D13のように分布近傍の値に調整することを表す。この場合は、直流成分の急激な変化を防止するという効果を奏する。
また、例えば図10(b)に示すように複数の変換前直流成分D10に対して、符号化効率の高い直流成分範囲A1,A2を決定し、変換後直流成分D14のように範囲A1,A2に収まるように調整することを表す。この場合は、符号化効率を高めるという効果を奏する。
さらに、離散コサイン変換処理部1以降は交流成分と直流成分を分離して、各々独立に処理がなされるため、従来方式に存在していた逆変換の処理順序の依存関係が解消されるという効果を奏する。
図11に各処理の時系列動作を示す。基本的には実施の形態1の場合の図2と同様であり、図2におけるアダマール変換(HAT)がDCパラメータ調整(ADJ)となっている。
上記のように離散コサイン変換(DCT)の完了後に交流成分量子化(ACQ)を行うため、タイミングT21以降に交流成分量子化(ACQ)が開始され、以降の交流成分逆量子化(ACIQ)、逆離散コサイン変換(IDCT)が順次開始される。1処理単位(MB)の最後のブロックに対する離散コサイン変換(DCT)と並列にタイミングT22で直流成分に対するパラメータ調整内容が決定され、DCパラメータ調整(ADJ)が開始されるため、それまでの間、交流成分に対する処理は先行的に処理可能となる。そしてDCパラメータ調整(ADJ)の完了後に直流成分量子化(DCQ)を行うため、タイミングT23以降に直流成分量子化(DCQ)が開始され、1処理単位(MB)の最大割り当て時間T24は、従来方式での処理時間T42と比較して半分近くになっており、演算処理の効率化が実現できていることがわかる。
(実施の形態4)
上記した実施の形態では画像データに関する符号化方式へ適用していたが、本発明はこれに限定するものではなく、例えば音声データに関する符号化方式への適用も可能である。
図12に示すように、修正離散コサイン変換処理部21、ウェーブレット変換処理部22、交流成分量子化処理部23A、直流成分量子化処理部23B、逆ウェーブレット変換処理部24、交流成分逆量子化処理部25A、直流成分逆量子化処理部25B、逆修正離散コサイン変換処理部26、予測処理部27および予測誤差計算処理部28から構成されている。
一般に音声圧縮の直交変換では、離散コサイン変換の変形である修正離散コサイン変換(MDCT)を用いることで、圧縮に伴うひずみを低減する。また一般にウェーブレット変換は波形解析に適した直交変換とされており、直流成分の分布に対して実施することで符号化効率を高める効果を期待することができる。
さらに、修正離散コサイン変換処理部21以降は交流成分と直流成分を分離して、各々独立に処理がなされるため、従来方式に存在していた逆変換の処理順序の依存関係が解消されるという効果を奏する。
図13に各処理の時系列動作を示す。修正離散コサイン変換(MDCT)、交流成分量子化(ACQ)、交流成分逆量子化(ACIQ)、逆修正離散コサイン変換(IMDCT)、ウェーブレット変換(WT)、直流成分量子化(DCQ)、逆ウェーブレット変換(IWT)、直流成分逆量子化(DCIQ)および予測(Pred)の各処理がこの記載順の時系列で表されている。
上記のように修正離散コサイン変換(MDCT)の完了後に交流成分量子化(ACQ)を行うため、タイミングT31以降に交流成分量子化(ACQ)が開始され、以降の交流成分逆量子化(ACIQ)、逆修正離散コサイン変換(IMDCT)が順次開始される。1処理単位(MB)の最後のブロックに対する修正離散コサイン変換(MDCT)と並列にウェーブレット変換(WT)が開始されるため、それまでの間、交流成分に対する処理は先行的に処理可能となる。そしてウェーブレット変換(WT)の完了後に直流成分量子化(DCQ)を行うため、タイミングT32以降に直流成分量子化(DCQ)が開始され、1処理単位(MB)の最大割り当て時間T33が必要となる。これらの動作により、演算処理の効率化が同様に実現できる。
以上の実施の形態で述べたように、本発明は画像、音声、それぞれに関する符号化方式に適用可能であり、例えば画像符号化方式の場合は、輝度あるいは色差に対して各々の実施の形態に適用し、音声符号化方式の場合は音声の振幅レベルに対して各々の実施の形態に適用すれば良い。
また、図4、図7、図11、図13に示した各処理の時系列動作は並列処理あるいは時分割処理のいずれに適用しても良く、それによって例えば並列処理の場合は各処理時間が並列度に応じて削減でき、時分割処理の場合は時分割多重度に応じて回路資源が共通化できるという効果を得ることができる。
図14(a)は、本発明における符号化方式を備えた通信装置の概観を示す。携帯電話31はアプリケーションLSI32を備えている。アプリケーションLSI32は、本発明における符号化方式を有する半導体集積回路である。本発明における符号化方式は従来よりも少ない消費電力で動作可能であるため、アプリケーションLSI32並びにこれらを備えた携帯電話31についてもまた低電力動作が可能となる。さらに、携帯電話31が備えている半導体集積回路であってアプリケーションLSI32以外のものについても、当該半導体集積回路が備える論理回路を本発明における符号化方式とすることによって、上記と同様の効果を得ることができる。
なお、本発明における符号化方式を備えた通信装置は、携帯電話に限定されるべきではなく、これ以外にも、例えば、通信システムにおける送信機・受信機やデータ伝送を行うモデム装置などを含むものである。すなわち、本発明によって、有線・無線や光通信・電気通信の別を問わず、また、デジタル方式・アナログ方式の別を問わず、あらゆる通信装置について消費電力低減の効果を得ることができる。
図14(b)は、本発明における符号化方式を備えた情報再生装置の概観を示す。光ディスク装置33は、光ディスクから読み取った信号を処理するメディア信号処理LSI34を備えている。そして、メディア信号処理LSI34は、本発明における符号化方式を有する半導体集積回路である。本発明における符号化方式は従来よりも少ない消費電力で動作可能であるため、メディア信号処理LSI34並びにこれらを備えた光ディスク装置33もまた低電力動作が可能となる。さらに、光ディスク装置33が備えている半導体集積回路であってメディア信号処理LSI34以外のものについても、当該半導体集積回路が備える論理回路を本発明における符号化方式とすることによって、上記と同様の効果を得ることができる。
なお、本発明における符号化方式を備えた情報再生装置は、光ディスク装置に限定されるべきではなく、これ以外にも、例えば、磁気ディスクを内蔵した画像録画再生装置や半導体メモリを媒体とした情報記録再生装置などを含むものである。すなわち、本発明によって、情報が記録されたメディアの別を問わず、あらゆる情報再生装置(情報記録機能を含んでいてもよい)について消費電力低減の効果を得ることができる。
図14(c)は、本発明における符号化方式を備えた画像表示装置の概観を示す。テレビジョン受像機35は、画像信号や音声信号を処理する画像・音声処理LSI36を備えている。そして、画像・音声処理LSI36は、本発明における符号化方式を有する半導体集積回路である。本発明における符号化方式は従来よりも少ない消費電力で動作可能であるため、画像・音声処理LSI36並びにこれらを備えたテレビジョン受像機35もまた低電力動作が可能となる。さらに、テレビジョン受像機35が備えている半導体集積回路であって画像・音声処理LSI36以外のものについても、当該半導体集積回路が備える論理回路を本発明における符号化方式とすることによって、上記と同様の効果を得ることができる。
なお、本発明における符号化方式を備えた画像表示装置は、テレビジョン受像機に限定されるべきではなく、これ以外にも、例えば、電気通信回線を通じて配信されるストリーミングデータを表示する装置をも含むものである。すなわち、本発明によって、情報の伝送方法の別を問わず、あらゆる画像表示装置について消費電力低減の効果を得ることができる。
図14(d)は、本発明における符号化方式を備えた電子装置の概観を示す。デジタルカメラ37は、本発明における符号化方式を有する半導体集積回路である信号処理LSI38を備えている。本発明における符号化方式は従来よりも少ない消費電力で動作可能であるため、信号処理LSI38およびこれを備えたデジタルカメラ37もまた低電力動作が可能となる。さらに、デジタルカメラ37が備えている半導体集積回路であって信号処理LSI38以外のものについても、当該半導体集積回路が備える論理回路を本発明における符号化方式とすることによって、上記と同様の効果を得ることができる。
なお、本発明における符号化方式を備えた電子装置は、デジタルカメラに限定されるべきではなく、これ以外にも、例えば、各種AV機器など、およそ半導体集積回路を備えた装置全般を含むものである。そして、本発明によって、電子装置全般について消費電力低減の効果を得ることができる。
本発明にかかる画像、あるいは音声圧縮方式は、演算処理の効率化を可能にし、性能劣化を防止することが実現できるため、低消費電力、あるいは高品質な画像、あるいは音声が要求される用途への適用が可能となる。
本発明の実施の形態1におけるデータ圧縮方式の構成を示すブロック図 本発明の実施の形態1におけるデータ圧縮方式の処理概念説明図(その1) 本発明の実施の形態1におけるデータ圧縮方式の処理概念説明図(その2) 本発明の実施の形態1におけるデータ圧縮方式の時系列動作の説明図 本発明の実施の形態1におけるH.264/AVC符号化におけるデータ圧縮方式での1フレーム当たりの処理時間の説明図 本発明の実施の形態2におけるデータ圧縮方式の構成を示すブロック図 本発明の実施の形態2におけるデータ圧縮方式の時系列動作の説明図 本発明の実施の形態3におけるデータ圧縮方式の構成を示すブロック図 本発明の実施の形態3におけるデータ圧縮方式でのパラメータ調整の概念図(その1) 本発明の実施の形態3におけるデータ圧縮方式でのパラメータ調整の概念図(その2) 本発明の実施の形態3におけるデータ圧縮方式の時系列動作の説明図 本発明の実施の形態4におけるデータ圧縮方式の構成を示すブロック図 本発明の実施の形態4におけるデータ圧縮方式の時系列動作の説明図 本発明における符号化方式を備えた各種装置の概観図 従来の技術におけるデータ圧縮方式の構成を示すブロック図 従来の技術におけるデータ圧縮方式の処理概念説明図(その1) 従来の技術におけるデータ圧縮方式の処理概念説明図(その2) 従来の技術におけるデータ圧縮方式の時系列動作の説明図 別の従来の技術におけるデータ圧縮方式の構成を示すブロック図 別の従来の技術におけるデータ圧縮方式の時系列動作の説明図
符号の説明
1 離散コサイン変換処理部(DCT)
2 アダマール変換処理部(HAT)
3A 直流成分量子化処理部(DCQ)
3B 交流成分逆量子化処理部(ACIQ)
4 逆アダマール変換処理部(IHAT)
5A 交流成分逆量子化処理部(ACIQ)
5B 直流成分逆量子化処理部(DCIQ)
6 逆離散コサイン変換処理部(IDCT)
7 画像予測処理部(Pred)
8 予測誤差計算処理部
9A アダマール変換処理部(HAT)
9B 離散コサイン変換処理部(DCT)
10,12 セレクタ
13 DCパラメータ調整処理部(ADJ)
21 修正離散コサイン変換処理部(MDCT)
22 ウェーブレット変換処理部(WT)
23A 交流成分量子化処理部(ACQ)
23B 直流成分量子化処理部(DCQ)
24 逆ウェーブレット変換処理部(IWT)
26 逆修正離散コサイン変換処理部(IMDCT)
27 予測処理部(Pred)
28 予測誤差計算処理部
D0 予測誤差データ
D1 DCT係数データ
D2 直流成分
D3 DCT直流係数データ
D4 HAT係数データ
D5 量子化後HAT係数データ
D6 量子化後DCT直流係数データ
D7 DCT直流係数データ
D8 直流成分
D9 直流成分予測画像誤差データ
d4 直流成分
d5 量子化後DCT係数データ
d7 逆量子化後DCT交流係数データ
d9 交流成分予測画像誤差データ

Claims (26)

  1. 第1の直交変換と、前記第1の直交変換で得られた直流成分に対する変換と、復号化処理と等価な逆変換を含むデータ圧縮方式であって、
    前記第1の直交変換の後段の処理を交流成分の処理と直流成分の処理とに分離し、
    前記逆変換は、前記第1の直交変換に対応する第1の逆直交変換を含み、前記第1の逆直交変換は直流成分を零とした逆直交変換であることを特徴とするデータ圧縮方式。
  2. 前記直流成分に対する変換は第2の直交変換であり、前記逆変換は、前記第2の直交変換に対応する第2の逆直交変換を含む請求項1に記載のデータ圧縮方式。
  3. 第1の直交変換と、前記第1の直交変換で得られた直流成分に対する第2の直交変換と、復号化処理と等価な逆変換を含むデータ圧縮方式であって、
    前記第1の直交変換の後段の処理を交流成分の処理と直流成分の処理とに分離し、
    前記逆変換は、前記第1の直交変換に対応する第1の逆直交変換と、前記第2の直交変換に対応する第2の逆直交変換を含み、
    前記第1の逆直交変換は直流成分を第1の値とした逆直交変換であり、
    前記第2の逆直交変換後の逆行列から得られる第2の値と、前記第1の値の差分を前記第1の逆直交変換後の逆行列の各要素に加算することを特徴とするデータ圧縮方式。
  4. 前記直流成分および交流成分に対する量子化処理および逆量子化処理を含むことを特徴とする請求項2または請求項3に記載のデータ圧縮方式。
  5. 前記直流成分および交流成分に対する量子化処理および逆量子化処理を時分割に実施する請求項4に記載のデータ圧縮方式。
  6. 前記第1の直交変換、前記第1の逆直交変換、前記第2の直交変換、前記第2の逆直交変換を時分割に実施する請求項2または請求項3に記載のデータ圧縮方式。
  7. 前記データは画像データであり、
    前記第1の直交変換は離散コサイン変換であり、
    前記第1の逆直交変換は逆離散コサイン変換であり、
    前記第2の直交変換はアダマール変換であり、
    前記第2の逆直交変換は逆アダマール変換である請求項2または請求項3に記載のデータ圧縮方式。
  8. 前記第2の直交変換および前記第2の逆直交変換は複数の直交変換方式を選択可能であって、
    前記複数の直交変換方式の選択は前記第1の直交変換の結果によって決定する請求項2または請求項3に記載のデータ圧縮方式。
  9. 前記データは画像データであり、
    前記直流成分に対する量子化処理は、画像の輝度または色差情報の直流成分に対する量子化処理であり、
    前記直流成分に対する量子化ステップは、前記第2の直交変換の結果によって決定する請求項4に記載のデータ圧縮方式。
  10. 前記直流成分に対する変換は画質または音質を決定するパラメータの変換である請求項1に記載のデータ圧縮方式。
  11. 前記直流成分に対する画質または音質を決定するパラメータの変換処理を時分割に実施する請求項10に記載のデータ圧縮方式。
  12. 前記データは画像データであり、
    前記直流成分に対する画質を決定するパラメータの変換処理は、画像の輝度または色差情報の直流成分の最大値または最小値を所望の範囲に収める変換処理であり、
    前記所望の範囲は、前記第2の直交変換の結果によって決定する請求項10に記載のデータ圧縮方式。
  13. 前記データは音声データであり、
    前記第1の直交変換は修正離散コサイン変換であり、
    前記第1の逆直交変換は修正逆離散コサイン変換であり、
    前記第2の直交変換はウェーブレット変換であり、
    前記第2の逆直交変換は逆ウェーブレット変換である請求項2または請求項3に記載のデータ圧縮方式。
  14. 前記データは音声データであり、
    前記直流成分に対する量子化処理は、音声の振幅レベルに対する量子化処理であり、
    前記直流成分に対する量子化ステップは、前記第2の直交変換の結果によって決定する請求項4に記載のデータ圧縮方式。
  15. 前記データは音声データであり、
    前記直流成分に対する音質を決定するパラメータの変換処理は、音声の振幅レベルの直流成分の最大値または最小値を所望の範囲に収める変換処理であり、
    前記所望の範囲は、前記第2の直交変換の結果によって決定する請求項10に記載のデータ圧縮方式。
  16. 前記データは画像データであり、
    前記直流成分に対する画質を決定するパラメータの変換処理は、画像の輝度または色差情報の直流成分を複数の輝度情報の直流成分の平均値にする変換処理であり、
    前記平均値は、前記第2の直交変換の結果によって決定する請求項10に記載のデータ圧縮方式。
  17. 前記データは音声データであり、
    前記直流成分に対する音質を決定するパラメータの変換処理は、音声の振幅レベルの直流成分を複数の振幅レベルの直流成分の平均値にする変換処理であり、
    前記平均値は、前記第2の直交変換の結果によって決定する請求項10に記載のデータ圧縮方式。
  18. 前記データは画像データであり、
    前記直流成分に対する画質を決定するパラメータの変換処理は、画像の複数の輝度または色差情報の直流成分の空間周波数成分における高周波成分を除去する変換処理であり、
    前記高周波成分の除去は、前記第2の直交変換の結果によって決定する請求項10に記載のデータ圧縮方式。
  19. 前記データは音声データであり、
    前記直流成分に対する音質を決定するパラメータの変換処理は、音声の振幅レベルの直流成分の空間周波数成分における高周波成分を除去する変換処理であり、
    前記高周波成分の除去は、前記第2の直交変換の結果によって決定する請求項10に記載のデータ圧縮方式。
  20. 前記データは画像データであり、
    前記直流成分に対する画質を決定するパラメータの変換処理は、画像の輝度または色差情報の直流成分を符号化効率の高い範囲に収める変換処理であり、
    前記符号化効率の高い範囲は、前記第2の直交変換の結果によって決定する請求項10に記載のデータ圧縮方式。
  21. 前記データは音声データであり、
    前記直流成分に対する音質を決定するパラメータの変換処理は、音声の振幅レベルの直流成分を符号化効率の高い範囲に収める変換処理であり、
    前記符号化効率の高い範囲は、前記第2の直交変換の結果によって決定する請求項10に記載のデータ圧縮方式。
  22. 請求項1に記載のデータ圧縮方式を有する半導体集積回路を備えたことを特徴とする通信装置。
  23. 請求項1に記載のデータ圧縮方式を有する半導体集積回路を備えたことを特徴とする情報再生装置。
  24. 請求項1に記載のデータ圧縮方式を有する半導体集積回路を備えたことを特徴とする画像表示装置。
  25. 請求項1に記載のデータ圧縮方式を有する半導体集積回路を備えたことを特徴とする電子装置。
  26. H264/AVC符号化処理を実装したLSIであって、4000万トランジスタ以下の回路規模で、100MHz以下の周波数で画像サイズ1920×1080以上、フレームレートが30Hz以上の画像モードに対する符号化処理を実施することを特徴とするLSI。
JP2006060864A 2006-03-07 2006-03-07 データ圧縮方式およびその関連技術 Pending JP2007243399A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2006060864A JP2007243399A (ja) 2006-03-07 2006-03-07 データ圧縮方式およびその関連技術
CN2007100803965A CN101035286B (zh) 2006-03-07 2007-03-07 信号处理器
CN2010102950941A CN101945283A (zh) 2006-03-07 2007-03-07 信号处理器
US11/714,835 US8094950B2 (en) 2006-03-07 2007-03-07 Signal processor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006060864A JP2007243399A (ja) 2006-03-07 2006-03-07 データ圧縮方式およびその関連技術

Publications (1)

Publication Number Publication Date
JP2007243399A true JP2007243399A (ja) 2007-09-20

Family

ID=38478988

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006060864A Pending JP2007243399A (ja) 2006-03-07 2006-03-07 データ圧縮方式およびその関連技術

Country Status (3)

Country Link
US (1) US8094950B2 (ja)
JP (1) JP2007243399A (ja)
CN (2) CN101945283A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011049619A (ja) * 2009-08-25 2011-03-10 Fujitsu Ltd 画像処理回路および画像符号化装置

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2373031A1 (en) * 2008-08-12 2011-10-05 Lg Electronics Inc. Method of decoding a video signal
US9635368B2 (en) 2009-06-07 2017-04-25 Lg Electronics Inc. Method and apparatus for decoding a video signal
US9100648B2 (en) 2009-06-07 2015-08-04 Lg Electronics Inc. Method and apparatus for decoding a video signal
TW201136318A (en) * 2009-08-06 2011-10-16 Panasonic Corp Encoding method, decoding method, encoding device and decoding device
US20120127002A1 (en) * 2009-08-06 2012-05-24 Youji Shibahara Coding method, decoding method, coding apparatus, and decoding apparatus
KR20120046726A (ko) * 2009-08-06 2012-05-10 파나소닉 주식회사 부호화 방법, 복호 방법, 부호화 장치 및 복호 장치
US8638863B1 (en) * 2010-05-18 2014-01-28 Google Inc. Apparatus and method for filtering video using extended edge-detection
US9210442B2 (en) 2011-01-12 2015-12-08 Google Technology Holdings LLC Efficient transform unit representation
US9380319B2 (en) 2011-02-04 2016-06-28 Google Technology Holdings LLC Implicit transform unit representation
RU2509437C1 (ru) * 2012-07-17 2014-03-10 Федеральное государственное унитарное предприятие "Государственный научно-исследовательский институт авиационных систем" Способ формирования целочисленных ортогональных декоррелирующих матриц заданных размеров для прямого и обратного декоррелирующего преобразования видеоизображений и устройство для его осуществления
US9219915B1 (en) 2013-01-17 2015-12-22 Google Inc. Selection of transform size in video coding
US9544597B1 (en) 2013-02-11 2017-01-10 Google Inc. Hybrid transform in video encoding and decoding
US9967559B1 (en) 2013-02-11 2018-05-08 Google Llc Motion vector dependent spatial transformation in video coding
US9674530B1 (en) 2013-04-30 2017-06-06 Google Inc. Hybrid transforms in video coding
WO2015172337A1 (en) * 2014-05-14 2015-11-19 Mediatek Singapore Pte. Ltd. Alternative transforms for data compression
US9565451B1 (en) 2014-10-31 2017-02-07 Google Inc. Prediction dependent transform coding
US9769499B2 (en) 2015-08-11 2017-09-19 Google Inc. Super-transform video coding
US10277905B2 (en) 2015-09-14 2019-04-30 Google Llc Transform selection for non-baseband signal coding
US9807423B1 (en) 2015-11-24 2017-10-31 Google Inc. Hybrid transform scheme for video coding
CN105392013B (zh) * 2015-12-24 2018-07-17 福州瑞芯微电子股份有限公司 一种h.264编码的变换量化与反量化反变换处理方法与***
US11122297B2 (en) 2019-05-03 2021-09-14 Google Llc Using border-aligned block functions for image compression

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0644291A (ja) * 1992-07-22 1994-02-18 Kyocera Corp 離散コサイン変換器及び情報符号化器
JP2005039743A (ja) * 2003-07-18 2005-02-10 Sony Corp 画像情報符号化装置及び方法、並びに画像情報復号装置及び方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2143136T3 (es) * 1990-12-28 2000-05-01 Canon Kk Aparato para el proceso de imagenes.
US5845041A (en) * 1991-11-12 1998-12-01 Mitsubishi Denki Kabushiki Kaisha Video signal recording and reproducing apparatus with high efficiency encoding
DE69322713T2 (de) * 1992-08-31 1999-05-06 Victor Company Of Japan Vorrichtung zur orthogonalen Transformationskodierung und -dekodierung
JP3336754B2 (ja) * 1994-08-19 2002-10-21 ソニー株式会社 デジタルビデオ信号の記録方法及び記録装置
US5978514A (en) * 1994-11-10 1999-11-02 Kabushiki Kaisha Toshiba Image data coding and decoding system for efficiently compressing information using the shape and position of the image content
JP2630923B2 (ja) * 1994-12-05 1997-07-16 日本アイ・ビー・エム株式会社 画像認識方法及び装置
JP2000041248A (ja) * 1998-07-23 2000-02-08 Sony Corp 画像復号装置及び画像復号方法
US6934337B2 (en) * 2001-09-27 2005-08-23 Intel Corporation Video capture device and method of sending high quality video over a low data rate link
US7145948B2 (en) * 2002-05-29 2006-12-05 Koninklijke Philips Electronics N.V. Entropy constrained scalar quantizer for a Laplace-Markov source
CN2648738Y (zh) * 2003-10-17 2004-10-13 清华大学 带有视频水印的视频转码器
US20060140487A1 (en) * 2004-12-23 2006-06-29 Kabushiki Kaisha Toshiba Image compressing apparatus and image decoding apparatus and image converting apparatus and image processing method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0644291A (ja) * 1992-07-22 1994-02-18 Kyocera Corp 離散コサイン変換器及び情報符号化器
JP2005039743A (ja) * 2003-07-18 2005-02-10 Sony Corp 画像情報符号化装置及び方法、並びに画像情報復号装置及び方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011049619A (ja) * 2009-08-25 2011-03-10 Fujitsu Ltd 画像処理回路および画像符号化装置

Also Published As

Publication number Publication date
CN101035286B (zh) 2011-06-08
US8094950B2 (en) 2012-01-10
US20070211953A1 (en) 2007-09-13
CN101945283A (zh) 2011-01-12
CN101035286A (zh) 2007-09-12

Similar Documents

Publication Publication Date Title
JP2007243399A (ja) データ圧縮方式およびその関連技術
JP4425561B2 (ja) イメージおよびビデオ符号化のための2−d変換
US11375187B2 (en) Apparatus and method for filtering in video coding with look-up table selected based on bitstream information
KR100664932B1 (ko) 비디오 코딩 방법 및 장치
US20080123750A1 (en) Parallel deblocking filter for H.264 video codec
US9167271B2 (en) Image processing device, method, and program, dynamic image encoding device, method, and program, dynamic image decoding device, method, and program, and encoding/decoding system and method
WO2017183448A1 (ja) データ処理装置、データ処理方法、プログラム
KR20020030078A (ko) 데이터 처리 장치와 데이터 처리 방법, 및 기록 매체
KR100944928B1 (ko) 버터플라이 프로세서를 이용하여 이산 코사인 변환을인코딩하고 계산하는 장치 및 방법
JP6065613B2 (ja) 動画像符号化装置
JP2005039837A (ja) 映像雑音除去方法及び装置
JP2014007469A (ja) 画像符号化装置及び画像符号化方法
US8787686B2 (en) Image processing device and image processing method
KR100529540B1 (ko) 웨이블릿 변환을 이용한 영상압축방법
JP6792360B2 (ja) 画像符号化装置及び画像復号装置及びそれらの制御方法及びプログラム
US20060104521A1 (en) Image processing devices and methods
US8861880B2 (en) Image processing device and image processing method
Hussain et al. A pixel based method for image compression
JP2006217339A5 (ja)
US8254709B2 (en) Variable length encoding device of image compression system
JP6388476B2 (ja) 符号化装置及びプログラム
WO2014147679A1 (ja) 画像符号化装置および画像符号化方法
JP2017188768A (ja) 符号化装置、復号装置、符号化プログラム、及び復号プログラム
JP2002208860A (ja) データ圧縮装置とそのデータ圧縮方法及びデータ圧縮用プログラムを記録したコンピュータ読み取り可能な記録媒体、並びにデータ伸長装置とそのデータ伸長方法
JP2006318299A (ja) 画像信号変換方法、画像信号逆変換方法、画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム、及び、画像復号プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100817

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101018

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110726