JP3575508B2 - 符号化動画像再生装置 - Google Patents
符号化動画像再生装置 Download PDFInfo
- Publication number
- JP3575508B2 JP3575508B2 JP7094396A JP7094396A JP3575508B2 JP 3575508 B2 JP3575508 B2 JP 3575508B2 JP 7094396 A JP7094396 A JP 7094396A JP 7094396 A JP7094396 A JP 7094396A JP 3575508 B2 JP3575508 B2 JP 3575508B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- motion compensation
- frame memory
- pixel
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000007906 compression Methods 0.000 claims description 4
- 230000006835 compression Effects 0.000 claims description 4
- 238000013144 data compression Methods 0.000 claims 1
- 230000006837 decompression Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 24
- 238000013139 quantization Methods 0.000 description 16
- 238000000034 method Methods 0.000 description 15
- BXBVPYSHEOQGHP-UHFFFAOYSA-N Nordihydrocapsiate Chemical compound COC1=CC(COC(=O)CCCCCC(C)C)=CC=C1O BXBVPYSHEOQGHP-UHFFFAOYSA-N 0.000 description 6
- 230000015556 catabolic process Effects 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
- H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
- H04N19/428—Recompression, e.g. by spatial or temporal decimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は符号化動画像再生装置に関し、特に、ＭＰＥＧ２等により符号化された動画像を再生する際に、フレームメモリサイズを削減することが可能な符号化動画像再生装置に関する。
【０００２】
【従来の技術】
これまで、符号化動画像データの復号処理で、フレームメモリサイズを削減する方法としては、岩橋らの「低域ドリフトのないスケーラブル・デコーダ」（信学技報 ＤＳＰ９４−１０８）に示されているようなスケーラブルデコーダ（図２）がある。本来、スケーラブルデコーダは符号化データの一部を用いて復号する装置であるが、図の場合、次数の削減された逆ＤＣＴ（ＩＤＣＴ：Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ） を用いることによってフレームメモリサイズを削減することができる。
【０００３】
ＭＰＥＧ２ などで符号化された動画像データは可変長復号器１で可変長復号され、そこで得られた量子化ＤＣＴ 係数は逆量子化器２で逆量子化され、８ ｘ ８ ＤＣＴ 係数が得られる。８ ｘ ８ＤＣＴ係数の内４ ｘ ４ 係数のみを用いて、４ ｘ ４ ＩＤＣＴで２次元の逆ＤＣＴ 処理を行うと、もとの画像の縦横共に１／２の４ ｘ ４ 画素データが得られる。復号するブロックが動き補償ブロックの場合は、動き補償部８からの動き補償ブロックを加算して画像復元を行う。復元された画像はもとの画像に比べ縦横共に１／２に縮小されているため、拡大器１１で画面を拡大処理して、後段の図示しない表示用メモリに順次蓄積され、表示される。
【０００４】
更に、復元された画像データは、フレームメモリ６に蓄積される。この場合も、復元された画像が縦横ともに１／２であるため、必要となるフレームメモリサイズも元の１／４のサイズになる。また、動き補償も縮小された空間で行うため、動きベクトル変換器１２で動きベクトルを縦横１／２に変換してフレームメモリ６から該当するブロックを抽出する。また、２次元ＩＤＣＴを横方向のみ４ｘ４ ＩＤＣＴを用い、縦方向は８ｘ８ＩＤＣＴ を用いた場合、画像サイズおよびフレームメモリサイズは元の１／２になる。
【０００５】
【発明が解決しようとする課題】
前記したような従来の方式では、ＩＤＣＴのサイズを変更することによって、フレームメモリサイズを削減することが可能になるが、符号化側と復号側での予測画像の不一致によりドリフト雑音が生じ、画質劣化の原因になるという問題点があった。また、復元された画像の解像度も元の１／２、１／４になるため、復号画像の品質が劣化するという問題点もあった。
【０００６】
この発明は、前記問題点を解決し、符号化動画像データを復元する際に、ドリフト雑音を抑制し、かつ復号する解像度をなるべく削減させずに、フレームメモリサイズのみを削減することが可能な符号化動画像再生装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
この発明は、サブサンプリング、画素差分符号化等の手段により、復号された動画像データのデータ量を削減するデータ量削減手段と、データ量削減手段によって削減された動画像データを蓄積するフレームメモリと、蓄積手段から読み出されたデータのデータ量を復元するデータ量復元手段とを備えたことを特徴とする。
【０００８】
本発明はこのような構成によって、フレームメモリに入力される画素データを劣化させることなく、あるいはわずかな劣化で圧縮し、また、削減したブロックサイズのＩＤＣＴと組み合わせることによってフレームメモリサイズを削減するため、従来のフレームメモリ削減方式と比べてドリフト雑音や解像度劣化を抑制することができる。
【０００９】
【発明の実施の形態】
以下に、図面を参照して本発明を詳細に説明する。図１は、本発明の符号化動画像再生装置の第１の実施例の構成を示すブロック図である。 ＭＰＥＧ２などで符号化された動画像データは可変長復号器１で可変長復号され、そこで得られた量子化ＤＣＴ 係数は逆量子化器２で逆量子化され、Ｎ×ＮＤＣＴ 係数が得られる。なお、ＭＰＥＧ方式の場合Ｎ＝８である。そして、逆ＤＣＴ変換器３で逆ＤＣＴ処理によりＮ×Ｎの差分画素データが得られる。加算器４は、差分画素データとフレームメモリ６から読み出された画像データとを加算し、再生画像データを出力する。復号するブロックが動き補償ブロックの場合は、動き補償部８において、動き補償に必要なブロックをフレームメモリ６から読み出して画像復元を行う。なお、出力データは後段の図示しない表示用メモリに順次蓄積され、表示される。
【００１０】
復元された画像データは、更に圧縮器５で画素データが再度圧縮され、フレームメモリ６に蓄積される。圧縮された画素データは動き補償で必要となるブロックを抽出する際に、伸長器７で動き補償ブロック内の画素がすべて復号され、動き補償部８で動き補償処理される。以上のように、本発明はフレームメモリに入力される画素データを圧縮することにより、フレームメモリサイズを削減した点に特徴がある。
【００１１】
図３は、圧縮器５の構成を示すブロック図である。圧縮器５では、入力画素データは減算器２０に入力され、予測器２４から出力される予測値が減算されて、予測誤差Δが求められ、量子化器２１で量子化処理される。また、量子化されたデータは逆量子化器２５、加算器２３および予測器２４からなる局所復号器によって復号される。入力された画素データをＸ、予測された画素データをＰＸとすると、
Δ＝Ｘ−ＰＸ
となる。
【００１２】
ＰＸはいくつかの方法で求めることができる。図５は、予測値ＰＸの各種予測方法を示す説明図である。図５において横軸は画素の水平方向を示す。ここでは水平方向の予測を例にとって説明する。また、斜線を付した画素は予測を用いずに画素値そのものを符号化する画素であり、白丸の画素は予測して圧縮符号化する画素を示す。動き補償を行うためには、フレームメモリの任意の位置からブロックを読み出すランダムアクセスが必要であるが、所定の周期ごとに画素値そのものを記憶することによって、差分符号化を採用してもランダムアクセスが可能となる。
【００１３】
図５（ａ）は、左隣の画素を用いて予測する方式である。例えばＸ１に関する予測画素をＰＸ１とすると、
ＰＸ１＝Ｘ０、 Δ１＝Ｘ１−Ｘ０
としてΔ１を符号化する。Ｘ２については、符号化され、局所復元されたＸ１（ＲＸ１とする）を用いて予測する。従って、Ｘ２については予測画素をＰＸ２とすると、
ＰＸ２＝ＲＸ１、 Δ２＝Ｘ２ーＲＸ１
として、Δ２を符号化する。ただし、ＰＮ画素毎の画素は予測を用いず符号化する。ＰＮは２以上の整数で、無限大の場合は最初の画素のみを予測を用いずに符号化する。
【００１４】
図５（ｂ）は予測符号化を用いずに符号化する画素のみを用いて予測符号化を行う例で、図でＸ１、Ｘ２、Ｘ３はすべてＸ０から予測する。例えばＸ３については予測画素をＰＸ３とすると、
ＰＸ３＝Ｘ０、 Δ３＝Ｘ３−Ｘ０
として、Δ３を符号化する。ただし、ＰＮ画素毎の画素は予測を用いずに符号化する。
【００１５】
図５（ｃ）は、予測する画素に複数の復号された画素を用いて予測する方法の１例を示したものである。図で、例えばＸ１は水平方向に隣接するＸ０とＸ４を用いて予測する。この場合、予測画素ＰＸ１は、
ＰＸ１＝αＸ０＋βＸ４
となる。αとβは重み係数で、α＝β＝１／２として単純平均として用いたいり、画素間距離に応じて加重平均を取り、α＝３／４、β＝１／４とすることが可能である。
【００１６】
上記予測方法は水平方向のみならず、垂直方向でも同様に処理することが可能である。また、予測も垂直方向のみならず、対角線方向の予測も可能である。図６は、図５（ｃ）の予測を２次元空間に拡張した例を示す説明図である。ここで、Ｘ００、Ｘ０２、Ｘ２０、Ｘ２２は予測せずに符号化する画素である。予測方法については、Ｘ０１は同一水平上の画素Ｘ００、Ｘ０２を用いて予測する。また、Ｘ１０は垂直方向に位置するＸ００とＸ２０を用い、Ｘ１１は対角線方向に位置するＸ００とＸ２２を用いて予測することができる。
【００１７】
図７は、量子化器２１の特性例を示すグラフである。図７においては横軸が入力値で縦軸が出力値である。また、Ｑは量子化ステップサイズである。図７の点線で示す特性（ａ）は線形量子化器の特性を示している。例えば、入力値をＸ、出力値となる量子化代表値をＹとすると、（Ｑ／２）≦Ｘ＜（３Ｑ／２）では Ｙ＝Ｑとなる。また、実線で示す特性（ｂ）はＭＰＥＧ等で用いられているデッドゾーン付きの線形量子化器で、入力値が±Ｑの間は０が出力される。量子化器２１はこれらを含む線形量子化器の他に非線形量子化器を用いることも可能である。また、画素によって量子化方法を変更することも可能である。例えば、図４で示した予測を用いずに符号化する画素については、全く量子化の処理を行わず、直接入力値を出力することも可能である。
【００１８】
符号器２２については、固定長符号化器やＭＰＥＧで用いられているような可変長符号化器を利用することが可能である。固定長符号化器の場合、例えば６４個の量子化代表値が得られる場合、各データは６ビットで表現することができる。また、２の補数表現を用いて符号化情報量を削減することも可能である。例えば、画素データは８ビットで表され、予測誤差Δが−２５５〜＋２５５で量子化ステップＱが４の場合、図７（ａ）の量子化器を用いると−２５２、−２４８…０…２４８、２５２の１２７種類の量子化代表値が得られる。そして、１２７個のデータを表現するためには７ビット必要となる。
【００１９】
しかし、ある画素Ｘに対して予測誤差Δは必ず２５６個ダイナミックレンジに収まることを利用すると量子化代表値は６４個のデータで表現でき、６ビットで表現することができる。例えばＰ＝０の場合、Ｘの範囲は０から２５５の範囲なので、Δ＝Ｘ−Ｐの範囲は０から２５５となる。また、Ｐ＝２５５の場合、Δの場合は−２５５から０までの範囲となる。このようにΔは常に２５６個のダイナミックレンジに収まるため、量子化ステップＱが４の場合、量子化代表値も６４個のデータで表現できる。
【００２０】
図４は、伸長器７の構成を示すブロック図である。フレームメモリに蓄積された圧縮画素データは、まず復号器３０では、図３の符号器２２の逆の処理が行われ、固定長符号や可変長符号などの符号から量子化データが得られる。量子化データは逆量子化器３１において逆量子化処理が行われ、予測誤差Δが復元される。例えば図７（ａ）の量子化特性を用いた場合、量子化代表値は０、Ｑ、２Ｑ、…となり、量子化ステップＱが４、量子化データが０、１、…６３の場合、Δは０、４、８、１２、…２５２となる。
【００２１】
さらに、予測誤差Δは加算器３２で予測値Ｐと加算されて画素Ｘが復号される。即ち、Ｘ＝Ｐ＋Δとなる。なお、予測器３３については、図３の予測器２４と全く同一の装置を用いることが可能である。また、逆量子化処理については図７の線形量子化処理や非線形量子化処理の逆処理を用いることができる。
【００２２】
次に第２実施例について説明する。図８は、本発明の復号装置の第２実施例の構成を示すブロック図である。 ＭＰＥＧ２などで符号化された動画像データは可変長復号器１で可変長復号され、そこで得られた量子化ＤＣＴ 係数は逆量子化器２で逆量子化され、Ｎ×Ｎ ＤＣＴ係数が得られる。Ｋ×Ｍ逆ＤＣＴ変換器４０では、Ｎ×ＮＤＣＴ 係数の内、低周波成分のＫ×Ｍ部分（Ｋ，Ｍ ≦Ｎ）のみを水平方向にＫ×Ｋの逆ＤＣＴ処理、垂直方向にＭ×Ｍの逆ＤＣＴ処理を行って、Ｋ×Ｍの画素データを得る。復号するブロックが動き補償ブロックの場合は動き補償部８からの動き補償ブロックを加算器４で加算して画像復元する。
【００２３】
更に、復元された画像データは、圧縮器５で画素データが再度圧縮され、フレームメモリ６に蓄積される。圧縮された画素データは動き補償で必要となるブロックを抽出する際に、伸長器７で動き補償ブロック内の画素がすべて復号され、動き補償部８で動き補償処理される。ただし、動きベクトルについては、動きベクトル変換器１２によって、可変長復号器１から得られる動きベクトルＭＶを水平、垂直それぞれＫ／Ｎ、Ｍ／Ｎにスケーリングした動きベクトルＭＶ’を用いて動き補償を行う。また、復元された画像は拡大器４１で必要な画像サイズに変換する。例えば、符号化画像サイズと同一にするためには、垂直、水平それぞれＮ／Ｋ、Ｎ／Ｍ倍に拡大スケーリングする。
【００２４】
以上のように、本発明は削減したサイズのＩＤＣＴとフレームメモリに入力される画素データの圧縮の双方を用いることにより、フレームメモリサイズを削減した点に特徴がある。
【００２５】
ここでＫ×ＭＩＤＣＴについて図１０（ａ）を用いて説明する。図１０（ａ）はＮ×ＮＤＣＴ 係数を示したものである。Ｋ×ＭＩＤＣＴはこのＮ×Ｎ ＤＣＴ係数の内、低周波成分から水平方向にＫ個、垂直方向にＭラインの領域のＫ×Ｍ個のＤＣＴ 係数を用いてＩＤＣＴ処理を行う。このＩＤＣＴ処理は水平方向にＫ×ＫＩＤＣＴ、垂直方向にＭ×Ｍ ＩＤＣＴ を用いて処理し、Ｋ×Ｍの画素ブロックデータが得られる。
【００２６】
動きベクトル変換器１２では、動きベクトルＭＶを水平、垂直それぞれＫ／Ｎ 、Ｍ／Ｎ 倍してＭＶ’として出力する。従って、水平、垂直方向のＭＶ、ＭＶ’をそれぞれＭＶｘ 、ＭＶｘ ’、ＭＶｙ 、ＭＶｙ ’とすると、
ＭＶｘ ’＝ ＭＶｘ × Ｋ ／ Ｎ
ＭＶｙ ’＝ ＭＶｙ × Ｍ ／ Ｎ
となる。ただし、演算精度は整数精度の他、少数点精度で求めることができ、動き補償もＭＰＥＧで用いられているような小数点精度の動き補償を適用することができる。
【００２７】
拡大器４１は、復元された画像を必要な画像サイズに変換する。例えば、符号化画像サイズと同一にするためには、垂直、水平それぞれＮ／Ｋ、Ｎ／Ｍ倍に拡大スケーリングする。この処理は線形内挿により実現することができる。例えば３画素を４画素に変換する場合には、元の連続する画素値をＲ０， Ｒ１， Ｒ２、求める画素値をＱ０，Ｑ１，Ｑ２，Ｑ３ とすると、Ｑ０，Ｑ１，Ｑ２，Ｑ３ はＲ０，Ｒ１，Ｒ２の画素位置の距離比により以下のようにして求めることができる。
【００２８】
Ｑ０ ＝ Ｒ０ ， Ｑ１ ＝ １／３ Ｒ０ ＋ ２／３ Ｒ１
Ｑ２ ＝ ２／３ Ｒ１ ＋ １／３ Ｒ２ ， Ｑ３ ＝ Ｒ２ 。
【００２９】
図９は本発明の再生装置の第３実施例の構成を示すブロック図である。ＭＰＥＧ２ などで符号化された動画像データは可変長復号器１で可変長復号され、そこで得られた量子化ＤＣＴ 係数は逆量子化器２で逆量子化され、Ｎ×Ｎ ＤＣＴ係数が得られる。ゼロパッドＩＤＣＴ（０ Ｐａｄ ＩＤＣＴ）５０では、逆量子化器２から出力されたＮ×Ｎ ＤＣＴ係数の内、低周波成分のＫ×Ｍ部分以外は０で埋めて、Ｎ×Ｎの逆ＤＣＴ処理を行い、Ｎ×Ｎの画素データを得る。図１０（ｂ）は、ゼロパッドＩＤＣＴの説明図である。ゼロパッドＩＤＣＴ５０では、Ｎ×Ｎ ＤＣＴ係数の内、低周波側からＫ×Ｍ個の係数以外の係数を０とし、Ｎ×ＮのＩＤＣＴを行うことによりＮ×Ｎの画素データを得る。復号するブロックが動き補償ブロックの場合は、動き補償部８からの動き補償ブロックを加算器４で加算して画像復元する。
【００３０】
更に、復元された画像データは、圧縮器５で画素データが再度圧縮され、フレームメモリ６に蓄積される。圧縮された画素データは動き補償で必要となるブロックを抽出する際に、伸長器７で動き補償ブロック内の画素がすべて復号され、動き補償部８で動き補償処理される。以上のように、本実施例は、ある領域を０で埋めてＩＤＣＴを行い、フレームメモリに入力される画素データを圧縮することにより、フレームメモリサイズを削減した点に特徴がある。このような構成によって、逆ＤＣＴ変換器から出力される差分画像データの高周波成分を削減することにより、フレームメモリ６に記憶される画像データの精度に対して相性が良くなる。
【００３１】
図１１は、本発明の再生装置の第４の実施例の構成を示すブロック図である。ＭＰＥＧ２ などで符号化された動画像データは可変長復号器１で可変長復号され、そこで得られた量子化ＤＣＴ 係数は逆量子化器２で逆量子化され、Ｎ×Ｎ ＤＣＴ係数が得られる。ＩＤＣＴ３で逆ＤＣＴ処理によりＮ×Ｎの画素データが得られる。復号するブロックが動き補償ブロックの場合は動き補償部８からの動き補償ブロックを加算して画像復元を行う。
【００３２】
更に、復元された画像データは、ダウンサンプラ６０で画素データ数が削減され、フレームメモリ６に蓄積される。削減された画素データは動き補償で必要となるブロックを抽出する際に、アップサンプラ６１でブロック内の画素がすべて復元され動き補償部８で動き補償処理される。
【００３３】
ダウンサンプラ６０は、例えばＳＮ画素毎（ＳＮ＞０、ＳＮは整数）の画素のみをサンプルし、それ以外の画素は廃棄することにより、１：Ｎの割合で画素データ数を削減する。これにより、フレームメモリに記録する画素データ数は１／ＳＮになる。アップサンプラ６１は、例えば線形補間により廃棄された画素データを復元するものである。例えばＸ０とＸ３がフレームメモリ６に記録された画素データであるものとすると、Ｘ１、Ｘ２はＸ０とＸ３の距離比を用いてそれぞれ以下のように求めることができる。
【００３４】
Ｘ１ ＝ ２／３ Ｘ０ ＋ １／３ Ｘ３， Ｘ２ ＝ １／３ Ｘ０ ＋ ２／３ Ｘ３ 。
【００３５】
図１２、１３は、本発明の再生装置の第５の実施例の要部構成を示すブロック図である。第５の実施例は、図１に示す第１の実施例において、圧縮器５および伸長器７に、それぞれ図１２および図１３に示す構成を採用したものである。図１２は、第５実施例における圧縮器５の構成を示すブロック図である。Ｓ×Ｔアダマール変換器７０は、画素データをＳ×Ｔブロック（Ｓ、Ｔは正の整数）毎にアダマール変換し、周波数領域のデータに変換する。この出力データは量子化器２１により量子化され、符号器２２によって符号化される。量子化器２１、符号器２２については第１の実施例と同様の方式を用いることができ、量子化器２１については、ブロック内の係数の位置や大きさに応じて量子化ステップＱを変化させることも可能である。
【００３６】
図１３は第５実施例における伸長器７の構成を示すブロック図である。フレームメモリ６に蓄積された圧縮画像データは、まず復号器３０によって量子化データが復元され、該量子化データは逆量子化器３１によってＳ×Ｔブロック毎の周波数領域データに復元される。そして、周波数領域データはＳ×Ｔ逆アダマール変換器７１によって画像データに復元される。復号器３０や逆量子化器３１については、実施例１と同様の方式を用いることができる。なお、第５実施例においてはアダマール変換を用いる例を開示したが、アダマール変換の代わりにＤＣＴなどの他の直交変換を採用することも可能である。
【００３７】
以上、実施例を開示したが、更に以下に述べるような変形例も考えられる。変換符号化については、ＤＣＴ のみならず、ウェーブレット（Ｗａｖｅｌｅｔ ）変換などあらゆる変換符号化に適用することが可能である。
【００３８】
本実施例については、量子化器を使用する例を開示したが、量子化器を用いない構成も可能であり、この場合ロスレス（完全に復元可能な）符号化を行うことが可能である。
【００３９】
本発明の各機能ブロックは、例えばパソコンやワークステーション等のコンピュータによって全てソフトウェアにより処理を行うことが可能であり、また専用のＬＳＩ等により処理することも可能である。
【００４０】
【発明の効果】
以上述べたように、この発明によれば、フレームメモリに入力される画素データを圧縮したり、削減したブロックサイズのＩＤＣＴと組み合わせてフレームメモリサイズを削減するため、従来のフレームメモリ削減方式と比べてドリフト雑音や解像度劣化を抑制することができるという効果がある。
【００４１】
１例として、ＩＳＯ で用いているテスト用動画像（Ｆｌｏｗｅｒ Ｇａｒｄｅｎ ）シーケンスをＭＰＥＧ２ 方式で２Ｍｂｉｔ／ｓ から６Ｍｂｉｔ／ｓ で圧縮したデータを用いて、フレームメモリサイズを水平方向に半減する条件で復号特性を評価した所、第２実施例の場合、従来の方式に比較して、１．５ｄＢ から４．５ｄＢ のゲインを得ることができた。また、主観的にも解像度の劣化やドリフト雑音が大きく改善されていることが確認された。
【図面の簡単な説明】
【図１】本発明の再生装置の第１実施例の構成を示すブロック図である。
【図２】従来の再生装置の構成を示すブロック図である。
【図３】圧縮器５の構成を示すブロック図である。
【図４】伸長器７の構成を示すブロック図である。
【図５】予測値ＰＸの各種予測方法を示す説明図である。
【図６】図５ｃの予測を２次元空間に拡張した例を示す説明図である。
【図７】量子化器２１の特性例を示すグラフである。
【図８】本発明の再生装置の第２実施例の構成を示すブロック図である。
【図９】本発明の再生装置の第３実施例の構成を示すブロック図である。
【図１０】第２、第３実施例に関するＩＤＣＴの方式例を示す説明図である。
【図１１】再生装置の第４実施例の構成を示すブロック図である。
【図１２】第５実施例の圧縮器５の構成を示すブロック図である。
【図１３】第５実施例の伸長器７の構成を示すブロック図である。
【符号の説明】
１…可変長復号器、２…逆量子化器、３…逆ＤＣＴ変換器、４…加算器、５…圧縮器、６…フレームメモリ、７…伸長器、８…動き補償部、１０…４×４逆ＤＣＴ変換器、１１、４１…拡大器、１２…動きベクトル変換器、２０…減算器、２１…量子化器、２２…符号器、２３、３２…加算器、２４、３３…予測器、３０…復号器、３１…逆量子化器、４０…Ｋ×Ｍ逆ＤＣＴ変換器、５０…ゼロパッド逆ＤＣＴ変換器、６０…ダウンサンプラ、６１…アップサンプラ、７０…アダマール変換器、７１…逆アダマール変換器
【発明の属する技術分野】
この発明は符号化動画像再生装置に関し、特に、ＭＰＥＧ２等により符号化された動画像を再生する際に、フレームメモリサイズを削減することが可能な符号化動画像再生装置に関する。
【０００２】
【従来の技術】
これまで、符号化動画像データの復号処理で、フレームメモリサイズを削減する方法としては、岩橋らの「低域ドリフトのないスケーラブル・デコーダ」（信学技報 ＤＳＰ９４−１０８）に示されているようなスケーラブルデコーダ（図２）がある。本来、スケーラブルデコーダは符号化データの一部を用いて復号する装置であるが、図の場合、次数の削減された逆ＤＣＴ（ＩＤＣＴ：Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ） を用いることによってフレームメモリサイズを削減することができる。
【０００３】
ＭＰＥＧ２ などで符号化された動画像データは可変長復号器１で可変長復号され、そこで得られた量子化ＤＣＴ 係数は逆量子化器２で逆量子化され、８ ｘ ８ ＤＣＴ 係数が得られる。８ ｘ ８ＤＣＴ係数の内４ ｘ ４ 係数のみを用いて、４ ｘ ４ ＩＤＣＴで２次元の逆ＤＣＴ 処理を行うと、もとの画像の縦横共に１／２の４ ｘ ４ 画素データが得られる。復号するブロックが動き補償ブロックの場合は、動き補償部８からの動き補償ブロックを加算して画像復元を行う。復元された画像はもとの画像に比べ縦横共に１／２に縮小されているため、拡大器１１で画面を拡大処理して、後段の図示しない表示用メモリに順次蓄積され、表示される。
【０００４】
更に、復元された画像データは、フレームメモリ６に蓄積される。この場合も、復元された画像が縦横ともに１／２であるため、必要となるフレームメモリサイズも元の１／４のサイズになる。また、動き補償も縮小された空間で行うため、動きベクトル変換器１２で動きベクトルを縦横１／２に変換してフレームメモリ６から該当するブロックを抽出する。また、２次元ＩＤＣＴを横方向のみ４ｘ４ ＩＤＣＴを用い、縦方向は８ｘ８ＩＤＣＴ を用いた場合、画像サイズおよびフレームメモリサイズは元の１／２になる。
【０００５】
【発明が解決しようとする課題】
前記したような従来の方式では、ＩＤＣＴのサイズを変更することによって、フレームメモリサイズを削減することが可能になるが、符号化側と復号側での予測画像の不一致によりドリフト雑音が生じ、画質劣化の原因になるという問題点があった。また、復元された画像の解像度も元の１／２、１／４になるため、復号画像の品質が劣化するという問題点もあった。
【０００６】
この発明は、前記問題点を解決し、符号化動画像データを復元する際に、ドリフト雑音を抑制し、かつ復号する解像度をなるべく削減させずに、フレームメモリサイズのみを削減することが可能な符号化動画像再生装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
この発明は、サブサンプリング、画素差分符号化等の手段により、復号された動画像データのデータ量を削減するデータ量削減手段と、データ量削減手段によって削減された動画像データを蓄積するフレームメモリと、蓄積手段から読み出されたデータのデータ量を復元するデータ量復元手段とを備えたことを特徴とする。
【０００８】
本発明はこのような構成によって、フレームメモリに入力される画素データを劣化させることなく、あるいはわずかな劣化で圧縮し、また、削減したブロックサイズのＩＤＣＴと組み合わせることによってフレームメモリサイズを削減するため、従来のフレームメモリ削減方式と比べてドリフト雑音や解像度劣化を抑制することができる。
【０００９】
【発明の実施の形態】
以下に、図面を参照して本発明を詳細に説明する。図１は、本発明の符号化動画像再生装置の第１の実施例の構成を示すブロック図である。 ＭＰＥＧ２などで符号化された動画像データは可変長復号器１で可変長復号され、そこで得られた量子化ＤＣＴ 係数は逆量子化器２で逆量子化され、Ｎ×ＮＤＣＴ 係数が得られる。なお、ＭＰＥＧ方式の場合Ｎ＝８である。そして、逆ＤＣＴ変換器３で逆ＤＣＴ処理によりＮ×Ｎの差分画素データが得られる。加算器４は、差分画素データとフレームメモリ６から読み出された画像データとを加算し、再生画像データを出力する。復号するブロックが動き補償ブロックの場合は、動き補償部８において、動き補償に必要なブロックをフレームメモリ６から読み出して画像復元を行う。なお、出力データは後段の図示しない表示用メモリに順次蓄積され、表示される。
【００１０】
復元された画像データは、更に圧縮器５で画素データが再度圧縮され、フレームメモリ６に蓄積される。圧縮された画素データは動き補償で必要となるブロックを抽出する際に、伸長器７で動き補償ブロック内の画素がすべて復号され、動き補償部８で動き補償処理される。以上のように、本発明はフレームメモリに入力される画素データを圧縮することにより、フレームメモリサイズを削減した点に特徴がある。
【００１１】
図３は、圧縮器５の構成を示すブロック図である。圧縮器５では、入力画素データは減算器２０に入力され、予測器２４から出力される予測値が減算されて、予測誤差Δが求められ、量子化器２１で量子化処理される。また、量子化されたデータは逆量子化器２５、加算器２３および予測器２４からなる局所復号器によって復号される。入力された画素データをＸ、予測された画素データをＰＸとすると、
Δ＝Ｘ−ＰＸ
となる。
【００１２】
ＰＸはいくつかの方法で求めることができる。図５は、予測値ＰＸの各種予測方法を示す説明図である。図５において横軸は画素の水平方向を示す。ここでは水平方向の予測を例にとって説明する。また、斜線を付した画素は予測を用いずに画素値そのものを符号化する画素であり、白丸の画素は予測して圧縮符号化する画素を示す。動き補償を行うためには、フレームメモリの任意の位置からブロックを読み出すランダムアクセスが必要であるが、所定の周期ごとに画素値そのものを記憶することによって、差分符号化を採用してもランダムアクセスが可能となる。
【００１３】
図５（ａ）は、左隣の画素を用いて予測する方式である。例えばＸ１に関する予測画素をＰＸ１とすると、
ＰＸ１＝Ｘ０、 Δ１＝Ｘ１−Ｘ０
としてΔ１を符号化する。Ｘ２については、符号化され、局所復元されたＸ１（ＲＸ１とする）を用いて予測する。従って、Ｘ２については予測画素をＰＸ２とすると、
ＰＸ２＝ＲＸ１、 Δ２＝Ｘ２ーＲＸ１
として、Δ２を符号化する。ただし、ＰＮ画素毎の画素は予測を用いず符号化する。ＰＮは２以上の整数で、無限大の場合は最初の画素のみを予測を用いずに符号化する。
【００１４】
図５（ｂ）は予測符号化を用いずに符号化する画素のみを用いて予測符号化を行う例で、図でＸ１、Ｘ２、Ｘ３はすべてＸ０から予測する。例えばＸ３については予測画素をＰＸ３とすると、
ＰＸ３＝Ｘ０、 Δ３＝Ｘ３−Ｘ０
として、Δ３を符号化する。ただし、ＰＮ画素毎の画素は予測を用いずに符号化する。
【００１５】
図５（ｃ）は、予測する画素に複数の復号された画素を用いて予測する方法の１例を示したものである。図で、例えばＸ１は水平方向に隣接するＸ０とＸ４を用いて予測する。この場合、予測画素ＰＸ１は、
ＰＸ１＝αＸ０＋βＸ４
となる。αとβは重み係数で、α＝β＝１／２として単純平均として用いたいり、画素間距離に応じて加重平均を取り、α＝３／４、β＝１／４とすることが可能である。
【００１６】
上記予測方法は水平方向のみならず、垂直方向でも同様に処理することが可能である。また、予測も垂直方向のみならず、対角線方向の予測も可能である。図６は、図５（ｃ）の予測を２次元空間に拡張した例を示す説明図である。ここで、Ｘ００、Ｘ０２、Ｘ２０、Ｘ２２は予測せずに符号化する画素である。予測方法については、Ｘ０１は同一水平上の画素Ｘ００、Ｘ０２を用いて予測する。また、Ｘ１０は垂直方向に位置するＸ００とＸ２０を用い、Ｘ１１は対角線方向に位置するＸ００とＸ２２を用いて予測することができる。
【００１７】
図７は、量子化器２１の特性例を示すグラフである。図７においては横軸が入力値で縦軸が出力値である。また、Ｑは量子化ステップサイズである。図７の点線で示す特性（ａ）は線形量子化器の特性を示している。例えば、入力値をＸ、出力値となる量子化代表値をＹとすると、（Ｑ／２）≦Ｘ＜（３Ｑ／２）では Ｙ＝Ｑとなる。また、実線で示す特性（ｂ）はＭＰＥＧ等で用いられているデッドゾーン付きの線形量子化器で、入力値が±Ｑの間は０が出力される。量子化器２１はこれらを含む線形量子化器の他に非線形量子化器を用いることも可能である。また、画素によって量子化方法を変更することも可能である。例えば、図４で示した予測を用いずに符号化する画素については、全く量子化の処理を行わず、直接入力値を出力することも可能である。
【００１８】
符号器２２については、固定長符号化器やＭＰＥＧで用いられているような可変長符号化器を利用することが可能である。固定長符号化器の場合、例えば６４個の量子化代表値が得られる場合、各データは６ビットで表現することができる。また、２の補数表現を用いて符号化情報量を削減することも可能である。例えば、画素データは８ビットで表され、予測誤差Δが−２５５〜＋２５５で量子化ステップＱが４の場合、図７（ａ）の量子化器を用いると−２５２、−２４８…０…２４８、２５２の１２７種類の量子化代表値が得られる。そして、１２７個のデータを表現するためには７ビット必要となる。
【００１９】
しかし、ある画素Ｘに対して予測誤差Δは必ず２５６個ダイナミックレンジに収まることを利用すると量子化代表値は６４個のデータで表現でき、６ビットで表現することができる。例えばＰ＝０の場合、Ｘの範囲は０から２５５の範囲なので、Δ＝Ｘ−Ｐの範囲は０から２５５となる。また、Ｐ＝２５５の場合、Δの場合は−２５５から０までの範囲となる。このようにΔは常に２５６個のダイナミックレンジに収まるため、量子化ステップＱが４の場合、量子化代表値も６４個のデータで表現できる。
【００２０】
図４は、伸長器７の構成を示すブロック図である。フレームメモリに蓄積された圧縮画素データは、まず復号器３０では、図３の符号器２２の逆の処理が行われ、固定長符号や可変長符号などの符号から量子化データが得られる。量子化データは逆量子化器３１において逆量子化処理が行われ、予測誤差Δが復元される。例えば図７（ａ）の量子化特性を用いた場合、量子化代表値は０、Ｑ、２Ｑ、…となり、量子化ステップＱが４、量子化データが０、１、…６３の場合、Δは０、４、８、１２、…２５２となる。
【００２１】
さらに、予測誤差Δは加算器３２で予測値Ｐと加算されて画素Ｘが復号される。即ち、Ｘ＝Ｐ＋Δとなる。なお、予測器３３については、図３の予測器２４と全く同一の装置を用いることが可能である。また、逆量子化処理については図７の線形量子化処理や非線形量子化処理の逆処理を用いることができる。
【００２２】
次に第２実施例について説明する。図８は、本発明の復号装置の第２実施例の構成を示すブロック図である。 ＭＰＥＧ２などで符号化された動画像データは可変長復号器１で可変長復号され、そこで得られた量子化ＤＣＴ 係数は逆量子化器２で逆量子化され、Ｎ×Ｎ ＤＣＴ係数が得られる。Ｋ×Ｍ逆ＤＣＴ変換器４０では、Ｎ×ＮＤＣＴ 係数の内、低周波成分のＫ×Ｍ部分（Ｋ，Ｍ ≦Ｎ）のみを水平方向にＫ×Ｋの逆ＤＣＴ処理、垂直方向にＭ×Ｍの逆ＤＣＴ処理を行って、Ｋ×Ｍの画素データを得る。復号するブロックが動き補償ブロックの場合は動き補償部８からの動き補償ブロックを加算器４で加算して画像復元する。
【００２３】
更に、復元された画像データは、圧縮器５で画素データが再度圧縮され、フレームメモリ６に蓄積される。圧縮された画素データは動き補償で必要となるブロックを抽出する際に、伸長器７で動き補償ブロック内の画素がすべて復号され、動き補償部８で動き補償処理される。ただし、動きベクトルについては、動きベクトル変換器１２によって、可変長復号器１から得られる動きベクトルＭＶを水平、垂直それぞれＫ／Ｎ、Ｍ／Ｎにスケーリングした動きベクトルＭＶ’を用いて動き補償を行う。また、復元された画像は拡大器４１で必要な画像サイズに変換する。例えば、符号化画像サイズと同一にするためには、垂直、水平それぞれＮ／Ｋ、Ｎ／Ｍ倍に拡大スケーリングする。
【００２４】
以上のように、本発明は削減したサイズのＩＤＣＴとフレームメモリに入力される画素データの圧縮の双方を用いることにより、フレームメモリサイズを削減した点に特徴がある。
【００２５】
ここでＫ×ＭＩＤＣＴについて図１０（ａ）を用いて説明する。図１０（ａ）はＮ×ＮＤＣＴ 係数を示したものである。Ｋ×ＭＩＤＣＴはこのＮ×Ｎ ＤＣＴ係数の内、低周波成分から水平方向にＫ個、垂直方向にＭラインの領域のＫ×Ｍ個のＤＣＴ 係数を用いてＩＤＣＴ処理を行う。このＩＤＣＴ処理は水平方向にＫ×ＫＩＤＣＴ、垂直方向にＭ×Ｍ ＩＤＣＴ を用いて処理し、Ｋ×Ｍの画素ブロックデータが得られる。
【００２６】
動きベクトル変換器１２では、動きベクトルＭＶを水平、垂直それぞれＫ／Ｎ 、Ｍ／Ｎ 倍してＭＶ’として出力する。従って、水平、垂直方向のＭＶ、ＭＶ’をそれぞれＭＶｘ 、ＭＶｘ ’、ＭＶｙ 、ＭＶｙ ’とすると、
ＭＶｘ ’＝ ＭＶｘ × Ｋ ／ Ｎ
ＭＶｙ ’＝ ＭＶｙ × Ｍ ／ Ｎ
となる。ただし、演算精度は整数精度の他、少数点精度で求めることができ、動き補償もＭＰＥＧで用いられているような小数点精度の動き補償を適用することができる。
【００２７】
拡大器４１は、復元された画像を必要な画像サイズに変換する。例えば、符号化画像サイズと同一にするためには、垂直、水平それぞれＮ／Ｋ、Ｎ／Ｍ倍に拡大スケーリングする。この処理は線形内挿により実現することができる。例えば３画素を４画素に変換する場合には、元の連続する画素値をＲ０， Ｒ１， Ｒ２、求める画素値をＱ０，Ｑ１，Ｑ２，Ｑ３ とすると、Ｑ０，Ｑ１，Ｑ２，Ｑ３ はＲ０，Ｒ１，Ｒ２の画素位置の距離比により以下のようにして求めることができる。
【００２８】
Ｑ０ ＝ Ｒ０ ， Ｑ１ ＝ １／３ Ｒ０ ＋ ２／３ Ｒ１
Ｑ２ ＝ ２／３ Ｒ１ ＋ １／３ Ｒ２ ， Ｑ３ ＝ Ｒ２ 。
【００２９】
図９は本発明の再生装置の第３実施例の構成を示すブロック図である。ＭＰＥＧ２ などで符号化された動画像データは可変長復号器１で可変長復号され、そこで得られた量子化ＤＣＴ 係数は逆量子化器２で逆量子化され、Ｎ×Ｎ ＤＣＴ係数が得られる。ゼロパッドＩＤＣＴ（０ Ｐａｄ ＩＤＣＴ）５０では、逆量子化器２から出力されたＮ×Ｎ ＤＣＴ係数の内、低周波成分のＫ×Ｍ部分以外は０で埋めて、Ｎ×Ｎの逆ＤＣＴ処理を行い、Ｎ×Ｎの画素データを得る。図１０（ｂ）は、ゼロパッドＩＤＣＴの説明図である。ゼロパッドＩＤＣＴ５０では、Ｎ×Ｎ ＤＣＴ係数の内、低周波側からＫ×Ｍ個の係数以外の係数を０とし、Ｎ×ＮのＩＤＣＴを行うことによりＮ×Ｎの画素データを得る。復号するブロックが動き補償ブロックの場合は、動き補償部８からの動き補償ブロックを加算器４で加算して画像復元する。
【００３０】
更に、復元された画像データは、圧縮器５で画素データが再度圧縮され、フレームメモリ６に蓄積される。圧縮された画素データは動き補償で必要となるブロックを抽出する際に、伸長器７で動き補償ブロック内の画素がすべて復号され、動き補償部８で動き補償処理される。以上のように、本実施例は、ある領域を０で埋めてＩＤＣＴを行い、フレームメモリに入力される画素データを圧縮することにより、フレームメモリサイズを削減した点に特徴がある。このような構成によって、逆ＤＣＴ変換器から出力される差分画像データの高周波成分を削減することにより、フレームメモリ６に記憶される画像データの精度に対して相性が良くなる。
【００３１】
図１１は、本発明の再生装置の第４の実施例の構成を示すブロック図である。ＭＰＥＧ２ などで符号化された動画像データは可変長復号器１で可変長復号され、そこで得られた量子化ＤＣＴ 係数は逆量子化器２で逆量子化され、Ｎ×Ｎ ＤＣＴ係数が得られる。ＩＤＣＴ３で逆ＤＣＴ処理によりＮ×Ｎの画素データが得られる。復号するブロックが動き補償ブロックの場合は動き補償部８からの動き補償ブロックを加算して画像復元を行う。
【００３２】
更に、復元された画像データは、ダウンサンプラ６０で画素データ数が削減され、フレームメモリ６に蓄積される。削減された画素データは動き補償で必要となるブロックを抽出する際に、アップサンプラ６１でブロック内の画素がすべて復元され動き補償部８で動き補償処理される。
【００３３】
ダウンサンプラ６０は、例えばＳＮ画素毎（ＳＮ＞０、ＳＮは整数）の画素のみをサンプルし、それ以外の画素は廃棄することにより、１：Ｎの割合で画素データ数を削減する。これにより、フレームメモリに記録する画素データ数は１／ＳＮになる。アップサンプラ６１は、例えば線形補間により廃棄された画素データを復元するものである。例えばＸ０とＸ３がフレームメモリ６に記録された画素データであるものとすると、Ｘ１、Ｘ２はＸ０とＸ３の距離比を用いてそれぞれ以下のように求めることができる。
【００３４】
Ｘ１ ＝ ２／３ Ｘ０ ＋ １／３ Ｘ３， Ｘ２ ＝ １／３ Ｘ０ ＋ ２／３ Ｘ３ 。
【００３５】
図１２、１３は、本発明の再生装置の第５の実施例の要部構成を示すブロック図である。第５の実施例は、図１に示す第１の実施例において、圧縮器５および伸長器７に、それぞれ図１２および図１３に示す構成を採用したものである。図１２は、第５実施例における圧縮器５の構成を示すブロック図である。Ｓ×Ｔアダマール変換器７０は、画素データをＳ×Ｔブロック（Ｓ、Ｔは正の整数）毎にアダマール変換し、周波数領域のデータに変換する。この出力データは量子化器２１により量子化され、符号器２２によって符号化される。量子化器２１、符号器２２については第１の実施例と同様の方式を用いることができ、量子化器２１については、ブロック内の係数の位置や大きさに応じて量子化ステップＱを変化させることも可能である。
【００３６】
図１３は第５実施例における伸長器７の構成を示すブロック図である。フレームメモリ６に蓄積された圧縮画像データは、まず復号器３０によって量子化データが復元され、該量子化データは逆量子化器３１によってＳ×Ｔブロック毎の周波数領域データに復元される。そして、周波数領域データはＳ×Ｔ逆アダマール変換器７１によって画像データに復元される。復号器３０や逆量子化器３１については、実施例１と同様の方式を用いることができる。なお、第５実施例においてはアダマール変換を用いる例を開示したが、アダマール変換の代わりにＤＣＴなどの他の直交変換を採用することも可能である。
【００３７】
以上、実施例を開示したが、更に以下に述べるような変形例も考えられる。変換符号化については、ＤＣＴ のみならず、ウェーブレット（Ｗａｖｅｌｅｔ ）変換などあらゆる変換符号化に適用することが可能である。
【００３８】
本実施例については、量子化器を使用する例を開示したが、量子化器を用いない構成も可能であり、この場合ロスレス（完全に復元可能な）符号化を行うことが可能である。
【００３９】
本発明の各機能ブロックは、例えばパソコンやワークステーション等のコンピュータによって全てソフトウェアにより処理を行うことが可能であり、また専用のＬＳＩ等により処理することも可能である。
【００４０】
【発明の効果】
以上述べたように、この発明によれば、フレームメモリに入力される画素データを圧縮したり、削減したブロックサイズのＩＤＣＴと組み合わせてフレームメモリサイズを削減するため、従来のフレームメモリ削減方式と比べてドリフト雑音や解像度劣化を抑制することができるという効果がある。
【００４１】
１例として、ＩＳＯ で用いているテスト用動画像（Ｆｌｏｗｅｒ Ｇａｒｄｅｎ ）シーケンスをＭＰＥＧ２ 方式で２Ｍｂｉｔ／ｓ から６Ｍｂｉｔ／ｓ で圧縮したデータを用いて、フレームメモリサイズを水平方向に半減する条件で復号特性を評価した所、第２実施例の場合、従来の方式に比較して、１．５ｄＢ から４．５ｄＢ のゲインを得ることができた。また、主観的にも解像度の劣化やドリフト雑音が大きく改善されていることが確認された。
【図面の簡単な説明】
【図１】本発明の再生装置の第１実施例の構成を示すブロック図である。
【図２】従来の再生装置の構成を示すブロック図である。
【図３】圧縮器５の構成を示すブロック図である。
【図４】伸長器７の構成を示すブロック図である。
【図５】予測値ＰＸの各種予測方法を示す説明図である。
【図６】図５ｃの予測を２次元空間に拡張した例を示す説明図である。
【図７】量子化器２１の特性例を示すグラフである。
【図８】本発明の再生装置の第２実施例の構成を示すブロック図である。
【図９】本発明の再生装置の第３実施例の構成を示すブロック図である。
【図１０】第２、第３実施例に関するＩＤＣＴの方式例を示す説明図である。
【図１１】再生装置の第４実施例の構成を示すブロック図である。
【図１２】第５実施例の圧縮器５の構成を示すブロック図である。
【図１３】第５実施例の伸長器７の構成を示すブロック図である。
【符号の説明】
１…可変長復号器、２…逆量子化器、３…逆ＤＣＴ変換器、４…加算器、５…圧縮器、６…フレームメモリ、７…伸長器、８…動き補償部、１０…４×４逆ＤＣＴ変換器、１１、４１…拡大器、１２…動きベクトル変換器、２０…減算器、２１…量子化器、２２…符号器、２３、３２…加算器、２４、３３…予測器、３０…復号器、３１…逆量子化器、４０…Ｋ×Ｍ逆ＤＣＴ変換器、５０…ゼロパッド逆ＤＣＴ変換器、６０…ダウンサンプラ、６１…アップサンプラ、７０…アダマール変換器、７１…逆アダマール変換器
Claims (1)
- 入力してくる動画像データが動画像データ圧縮処理により作成された符号化データであり、該符号化データを逆量子化することにより得られた変換係数の低周波数成分以外に０を割り当てる０割当手段と、
前記符号化データの低周波数成分以外に０を割り当てられた逆変換データを復号する復号器と、
前記復号器によって復号された動画像データを圧縮する圧縮手段と、
該圧縮手段から出力されたデータを蓄積する蓄積手段と、
該蓄積手段から出力されたデータを伸張するデータ伸張手段と、
該データ伸張手段から出力された動画像データに対して動き補償する動き補償手段とを具備したことを特徴とする符号化動画像再生装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7094396A JP3575508B2 (ja) | 1996-03-04 | 1996-03-04 | 符号化動画像再生装置 |
| US08/798,433 US6243421B1 (en) | 1996-03-04 | 1997-02-10 | Apparatus for decoding coded video data with reduced memory size |
| EP19970301293 EP0794675A3 (en) | 1996-03-04 | 1997-02-27 | Apparatus for decoding coded video data |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7094396A JP3575508B2 (ja) | 1996-03-04 | 1996-03-04 | 符号化動画像再生装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004137273A Division JP4411131B2 (ja) | 2004-05-06 | 2004-05-06 | 符号化動画像再生装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09247673A JPH09247673A (ja) | 1997-09-19 |
| JP3575508B2 true JP3575508B2 (ja) | 2004-10-13 |
Family
ID=13446099
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7094396A Expired - Fee Related JP3575508B2 (ja) | 1996-03-04 | 1996-03-04 | 符号化動画像再生装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6243421B1 (ja) |
| EP (1) | EP0794675A3 (ja) |
| JP (1) | JP3575508B2 (ja) |
Families Citing this family (57)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5847762A (en) * | 1995-12-27 | 1998-12-08 | Thomson Consumer Electronics, Inc. | MPEG system which decompresses and then recompresses MPEG video data before storing said recompressed MPEG video data into memory |
| US6160918A (en) * | 1997-10-02 | 2000-12-12 | At&T Corp. | Method and apparatus for fast image compression |
| JPH11122624A (ja) | 1997-10-16 | 1999-04-30 | Matsushita Electric Ind Co Ltd | ビデオデコーダ処理量を低減する方法および装置 |
| US6130911A (en) * | 1997-11-21 | 2000-10-10 | Sharp Laboratories Of America, Inc. | Method and apparatus for compressing reference frames in an interframe video codec |
| US6272180B1 (en) | 1997-11-21 | 2001-08-07 | Sharp Laboratories Of America, Inc. | Compression and decompression of reference frames in a video decoder |
| US6198773B1 (en) | 1997-12-18 | 2001-03-06 | Zoran Corporation | Video memory management for MPEG video decode and display system |
| EP0926899A3 (en) | 1997-12-25 | 1999-12-15 | SANYO ELECTRIC Co., Ltd. | An apparatus and process for decoding motion pictures |
| JP4264571B2 (ja) * | 1998-04-09 | 2009-05-20 | ソニー株式会社 | ディジタル画像復号装置及び方法、並びに記録媒体 |
| JP3271585B2 (ja) | 1998-06-19 | 2002-04-02 | 日本電気株式会社 | 動画像復号装置 |
| JP4214562B2 (ja) * | 1998-06-26 | 2009-01-28 | ソニー株式会社 | 復号装置 |
| KR100565714B1 (ko) * | 1998-12-10 | 2006-05-25 | 엘지전자 주식회사 | 비디오 디코딩 장치 및 방법_ |
| EP1758403A3 (en) * | 1998-12-23 | 2007-09-26 | Zoran Corporation | Video memory management for MPEG video decode and display system |
| JP4486755B2 (ja) * | 1998-12-23 | 2010-06-23 | ゾラン コーポレイション | Ｍｐｅｇビデオ復号・表示システムのためのビデオメモリ管理 |
| JP2001103482A (ja) | 1999-10-01 | 2001-04-13 | Matsushita Electric Ind Co Ltd | 直交変換を用いたデジタルビデオ・ダウンコンバータ用の動き補償装置 |
| US6510178B1 (en) * | 1999-12-15 | 2003-01-21 | Zenith Electronics Corporation | Compensating for drift in the down conversion of high definition sequences to lower resolution sequences |
| JP2002094994A (ja) | 2000-09-19 | 2002-03-29 | Nec Corp | 動画再生処理装置および動画再生処理方法 |
| US20030069985A1 (en) * | 2000-10-02 | 2003-04-10 | Eduardo Perez | Computer readable media for storing video data |
| US6631163B1 (en) * | 2000-11-14 | 2003-10-07 | Koninklijke Philips Electronics N.V. | Dynamic adaptation of complexity in an MPEG-2 scalable decoder |
| US7227895B1 (en) * | 2000-12-12 | 2007-06-05 | Sony Corporation | System and method for generating decoded digital video image data |
| US6868124B2 (en) * | 2001-06-18 | 2005-03-15 | Webtv Networks Inc. (Microsoft) | Method and systems for compressing a video stream with minimal loss after subsampled decoding |
| US20030021347A1 (en) * | 2001-07-24 | 2003-01-30 | Koninklijke Philips Electronics N.V. | Reduced comlexity video decoding at full resolution using video embedded resizing |
| EP1298937A1 (en) * | 2001-09-26 | 2003-04-02 | Chih-Ta Star Sung | Video encoding or decoding using recompression of reference frames |
| US20030095603A1 (en) * | 2001-11-16 | 2003-05-22 | Koninklijke Philips Electronics N.V. | Reduced-complexity video decoding using larger pixel-grid motion compensation |
| US6937652B2 (en) * | 2002-04-19 | 2005-08-30 | Seiko Epson Corporation | Frame compression using radix approximation |
| US7006572B2 (en) * | 2002-05-09 | 2006-02-28 | Mitsubishi Electric Research Labs, Inc. | Method and apparatus for decoding video bitstreams to reduced spatial resolutions |
| JP3680845B2 (ja) | 2003-05-28 | 2005-08-10 | セイコーエプソン株式会社 | 圧縮動画像の伸張装置及びそれを用いた画像表示装置 |
| JP3680846B2 (ja) | 2003-05-28 | 2005-08-10 | セイコーエプソン株式会社 | 動画像の圧縮装置及びそれを用いた撮像装置 |
| US7676800B2 (en) * | 2004-02-20 | 2010-03-09 | Intel Corporation | Method and apparatus for reducing the storage overhead of portable executable (PE) images |
| US20070195882A1 (en) * | 2004-03-08 | 2007-08-23 | Koninklijke Philips Electronics N.V. A Corporation | Video decoder with scalable compression and buffer for storing and retrieving reference frame data |
| KR101132351B1 (ko) * | 2004-05-03 | 2012-04-05 | 톰슨 리서치 펀딩 코포레이션 | Ｄｓｌ 시스템에 대해 고속으로 채널 변경할 수 있게 하는 방법 및 장치 |
| JP4589709B2 (ja) * | 2004-12-10 | 2010-12-01 | パナソニック株式会社 | 映像再生装置 |
| JP5234241B2 (ja) * | 2004-12-28 | 2013-07-10 | 日本電気株式会社 | 動画像符号化方法、及びこれを用いた装置と、コンピュータプログラム |
| US8290057B2 (en) | 2005-02-18 | 2012-10-16 | Mediatek Incorporation | Method of decoding a digital video sequence and related apparatus |
| US20090052536A1 (en) * | 2006-02-09 | 2009-02-26 | Nec Corporation | Video Decoding Device, Decoded Image Recording Device, Their Method and Program |
| JP2007295023A (ja) * | 2006-04-20 | 2007-11-08 | Pioneer Electronic Corp | 動画像処理装置及び方法、並びにコンピュータプログラム |
| JP4973886B2 (ja) * | 2006-06-21 | 2012-07-11 | 日本電気株式会社 | 動画像復号装置、復号画像記録装置、それらの方法及びプログラム |
| WO2008023316A2 (en) * | 2006-08-21 | 2008-02-28 | Nxp B.V. | Motion-compensated processing of image signals |
| US8121195B2 (en) * | 2006-11-30 | 2012-02-21 | Lsi Corporation | Memory reduced H264/MPEG-4 AVC codec |
| GB2457262A (en) * | 2008-02-08 | 2009-08-12 | Linear Algebra Technologies | Compression / decompression of data blocks, applicable to video reference frames |
| JP5697301B2 (ja) * | 2008-10-01 | 2015-04-08 | 株式会社Ｎｔｔドコモ | 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム、及び動画像符号化・復号システム |
| JP5544996B2 (ja) * | 2010-04-09 | 2014-07-09 | ソニー株式会社 | 画像処理装置および方法 |
| US8767828B2 (en) | 2010-07-16 | 2014-07-01 | Sharp Laboratories Of America, Inc. | System for low resolution power reduction with compressed image |
| US9313523B2 (en) | 2010-07-16 | 2016-04-12 | Sharp Laboratories Of America, Inc. | System for low resolution power reduction using deblocking |
| US8548062B2 (en) | 2010-07-16 | 2013-10-01 | Sharp Laboratories Of America, Inc. | System for low resolution power reduction with deblocking flag |
| WO2012008616A1 (en) * | 2010-07-16 | 2012-01-19 | Sharp Kabushiki Kaisha | Video decoder for low resolution power reduction using low resolution data |
| JP5732125B2 (ja) * | 2010-07-16 | 2015-06-10 | シャープ株式会社 | 低解像度データを用いて低解像度時の電力を削減するビデオデコーダ |
| WO2012014472A1 (ja) * | 2010-07-29 | 2012-02-02 | パナソニック株式会社 | 動画像符号化方法、動画像符号化装置、動画像復号方法、及び動画像復号装置 |
| US20120163471A1 (en) * | 2010-12-23 | 2012-06-28 | Qualcomm Incorporated | Variable length coding of video block coefficients |
| US20120169856A1 (en) * | 2010-12-30 | 2012-07-05 | Evan Ahmed | System and method for tire registration |
| US9490839B2 (en) | 2011-01-03 | 2016-11-08 | Qualcomm Incorporated | Variable length coding of video block coefficients |
| CN103329527B (zh) * | 2011-01-12 | 2017-03-01 | 西门子公司 | 在视频编码器中参考图像的压缩和解压缩 |
| WO2012160614A1 (ja) * | 2011-05-25 | 2012-11-29 | パナソニック株式会社 | 動画像復号装置 |
| JP2013034163A (ja) | 2011-06-03 | 2013-02-14 | Sony Corp | 画像処理装置及び画像処理方法 |
| JP2013034162A (ja) * | 2011-06-03 | 2013-02-14 | Sony Corp | 画像処理装置及び画像処理方法 |
| US9516316B2 (en) | 2011-06-29 | 2016-12-06 | Qualcomm Incorporated | VLC coefficient coding for large chroma block |
| US9338456B2 (en) | 2011-07-11 | 2016-05-10 | Qualcomm Incorporated | Coding syntax elements using VLC codewords |
| JP5597175B2 (ja) * | 2011-09-26 | 2014-10-01 | 株式会社東芝 | 画像圧縮装置及び画像処理システム |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2103455A (en) * | 1981-07-22 | 1983-02-16 | Post Office | Method of transmitting an image and apparatus for carrying out the method |
| JP2925157B2 (ja) * | 1989-02-28 | 1999-07-28 | キヤノン株式会社 | データ記憶装置 |
| EP0535272A1 (en) * | 1991-10-02 | 1993-04-07 | Alcatel N.V. | Hybrid encoder arrangement for an image processing system |
| US5270813A (en) * | 1992-07-02 | 1993-12-14 | At&T Bell Laboratories | Spatially scalable video coding facilitating the derivation of variable-resolution images |
| US5253055A (en) * | 1992-07-02 | 1993-10-12 | At&T Bell Laboratories | Efficient frequency scalable video encoding with coefficient selection |
| US5614952A (en) * | 1994-10-11 | 1997-03-25 | Hitachi America, Ltd. | Digital video decoder for decoding digital high definition and/or digital standard definition television signals |
| KR970011859B1 (ko) | 1993-04-15 | 1997-07-18 | 삼성전자 주식회사 | 퍼지제어를 이용한 부호화 방법 및 그 장치 |
| JP3348917B2 (ja) | 1993-06-11 | 2002-11-20 | 富士写真フイルム株式会社 | 画像信号処理装置 |
| CA2126467A1 (en) * | 1993-07-13 | 1995-01-14 | Barin Geoffry Haskell | Scalable encoding and decoding of high-resolution progressive video |
| ATE246864T1 (de) * | 1994-06-06 | 2003-08-15 | Sci Worx Gmbh | Verfahren zur codierung/decodierung eines datenstroms |
| US5644361A (en) * | 1994-11-30 | 1997-07-01 | National Semiconductor Corporation | Subsampled frame storage technique for reduced memory size |
| US5742892A (en) * | 1995-04-18 | 1998-04-21 | Sun Microsystems, Inc. | Decoder for a software-implemented end-to-end scalable video delivery system |
| US5847762A (en) * | 1995-12-27 | 1998-12-08 | Thomson Consumer Electronics, Inc. | MPEG system which decompresses and then recompresses MPEG video data before storing said recompressed MPEG video data into memory |
| US5777677A (en) * | 1996-02-09 | 1998-07-07 | International Business Machines Corporation | Approximate MPEG decoder with compressed reference frames |
| US5708732A (en) * | 1996-03-06 | 1998-01-13 | Hewlett-Packard Company | Fast DCT domain downsampling and inverse motion compensation |
-
1996
- 1996-03-04 JP JP7094396A patent/JP3575508B2/ja not_active Expired - Fee Related
-
1997
- 1997-02-10 US US08/798,433 patent/US6243421B1/en not_active Expired - Fee Related
- 1997-02-27 EP EP19970301293 patent/EP0794675A3/en not_active Ceased
Also Published As
| Publication number | Publication date |
|---|---|
| EP0794675A3 (en) | 2000-09-20 |
| EP0794675A2 (en) | 1997-09-10 |
| JPH09247673A (ja) | 1997-09-19 |
| US6243421B1 (en) | 2001-06-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3575508B2 (ja) | 符号化動画像再生装置 | |
| JP3776920B2 (ja) | 画像符号化方法 | |
| JPH03139988A (ja) | イメージ回復方法及び装置 | |
| KR19980071541A (ko) | 화상 처리 장치와 화상 처리방법 | |
| JPH0779405A (ja) | 電子スチルカメラ及び画像再生装置 | |
| KR100359821B1 (ko) | 움직임 보상 적응형 영상 압축과 복원방법 및 그 장치와디코더 | |
| KR100510756B1 (ko) | 화상복호화장치와 그 방법 및 화상재생장치 | |
| JPH05219385A (ja) | 画像圧縮・伸張方法および装置 | |
| JPH08294125A (ja) | 動画像符号化装置および動画像復号化装置 | |
| KR20080067922A (ko) | 영상 축소 기능을 갖는 영상 복호화 방법 및 장치 | |
| JPH10224790A (ja) | 圧縮伸張された画像中のブロック状ノイズを除去するフィルタおよびフィルタ方法 | |
| JP4411131B2 (ja) | 符号化動画像再生装置 | |
| JP4448115B2 (ja) | 符号化動画像再生装置 | |
| JPH08242450A (ja) | 画像符号化装置及び画像復号化装置 | |
| KR100206924B1 (ko) | 영상 처리 시스템의 엔코더 및 디코더 | |
| KR100744442B1 (ko) | 디지털 비디오 및 이미지들에 대한 개선된 캐스케이드 압축 방법 및 시스템 | |
| Garg | MPEG Video Transcoding in Compress Domain: By Ankit Garg | |
| Leung et al. | Compression techniques for still image and motion video | |
| JP2860016B2 (ja) | 画像信号のフレーム間符号化方式 | |
| JPH11146403A (ja) | 映像信号符号化装置、映像信号符号化方法、および映像信号符号化プログラム記憶媒体 | |
| KR20040092522A (ko) | 차영상을 사용한 동영상 압축 및 복원 시스템 | |
| JPH05153571A (ja) | 予測符号化回路 | |
| JPH10145778A (ja) | 画像変換方法及び画像符号化方法 | |
| JP2000102011A (ja) | 画像復号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040506 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040629 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100716 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100716 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110716 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110716 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130716 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |