JP4209631B2 - 符号化装置、復号化装置、及び、圧縮伸長システム - Google Patents
符号化装置、復号化装置、及び、圧縮伸長システム Download PDFInfo
- Publication number
- JP4209631B2 JP4209631B2 JP2002149154A JP2002149154A JP4209631B2 JP 4209631 B2 JP4209631 B2 JP 4209631B2 JP 2002149154 A JP2002149154 A JP 2002149154A JP 2002149154 A JP2002149154 A JP 2002149154A JP 4209631 B2 JP4209631 B2 JP 4209631B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- frame
- compression
- storage
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【発明の属する技術分野】
本発明は、画像データを圧縮して、フレーム単位で記憶する符号化装置、復号化装置及びその関連技術に関する。
【0002】
【従来の技術】
国際標準であるMPEG−4あるいはH.263などの動画像圧縮符号化方式で、動画像データを符号化する際には、フレーム内の空間的相関を利用した圧縮の他に、フレーム間の時間的相関を利用した圧縮を行う。
【0003】
フレーム間の時間的相関を利用する場合、符号化対象フレームの直前に符号化したフレームを参照して動き補償を行い、動き補償により得た予測フレームと符号化対象フレームとの差分データを圧縮して符号化する。
【0004】
従って、上記した動画像圧縮符号化方式で動画像データの圧縮を行う動画像符号化装置、及び、上記した動画像圧縮符号化方式で圧縮された動画像データの復号を行う動画像復号化装置、においては、参照するフレームを記憶するためのフレームメモリが必要となる。
【0005】
また、このような、動画像符号化装置、及び、動画像復号化装置、において、Bピクチャ(Bidirectionally predictive−coded picture)と呼ばれる、前方フレームと後方フレームとの双方向から予測して動き補償を行うフレームを用いる場合には、入力される画像データと出力する画像データとでフレームの順番が異なる。このため、さらに並べ替えのためのフレームメモリが必要となる。
【0006】
一般に、画像のデータ量は大きく、このため、フレームメモリの容量も大きい。従って、フレームメモリの容量を削減できる様々な技術が提案されている。
【0007】
フレームメモリの容量を削減できる従来の復号化装置としては、例えば、特開平9−247673号公報に開示された動画像復号化装置、又は、特開平9−261635号公報に開示された動画像復号化装置、などがある。
【0008】
まず、特開平9−247673号公報に開示された動画像復号化装置について、図面を用いて説明する。
【0009】
図16は、従来の動画像復号化装置のブロック図である。図16に示すように、この従来の動画像復号化装置は、可変長復号化回路900、逆量子化回路910、逆直交変換回路920、加算器930、画像データ記憶部940、及び、動き補償回路950、を具備する。
【0010】
画像データ記憶部940は、圧縮回路941、フレームメモリ942、及び、伸長回路943、を含む。
【0011】
さて、次に、図16の従来の動画像復号化装置における処理の流れを説明する。可変長復号化回路900は、入力される動画像符号化データに対して可変長復号化処理を施して、逆量子化回路910に出力する。
【0012】
逆量子化回路910は、入力された画像データに対して逆量子化処理を施して、逆直交変換回路920に出力する。
【0013】
逆直交変換回路920は、入力された画像データがフレーム間圧縮された画像データである場合は、逆直交変換処理を施した画像データを、加算器930に出力する。
【0014】
一方、入力された画像データがフレーム間圧縮された画像データでない場合は、逆直交変換回路920は、逆直交変換処理を施した画像データを、復号した動画像データとして、外部及び画像データ記憶部940に出力する。
【0015】
さて、加算器930は、動き補償回路950から入力される動き補償済みの画像データと、逆直交変換回路920から入力される画像データである差分データと、を加算して、その加算結果を、復号化した動画像データとして、外部及び画像データ記憶部940に出力する。
【0016】
画像データ記憶部940は、逆直交変換回路920から入力された画像データ、及び、加算器930から入力された画像データ、を次のフレームの復号化処理における参照フレームの画像データとして記憶する。この点は、後で詳しく説明する。
【0017】
動き補償回路950は、可変長復号化回路900から復号して入力される動きベクトルと、画像データ記憶部940から入力される参照フレームの画像データと、を受け取り、動き補償を行い、加算器930に出力する。
【0018】
さて、次に、画像データ記憶部940の詳細を説明する。画像データ記憶部940では、圧縮回路941は、フレームメモリ942の記憶容量を削減するために、加算器930から入力される参照フレームの画像データ、及び、逆直交変換回路920から入力さる参照フレームの画像データ、を圧縮する。
【0019】
フレームメモリ942は、圧縮された参照フレームの画像データを記憶する。伸長回路943は、圧縮手段941により圧縮されて、フレームメモリ942に記憶された参照フレームの画像データを伸長して、動き補償回路950へ出力する。
【0020】
さて、次に、特開平9−261635号公報に開示された従来の動画像復号化装置について、簡単に説明する。
【0021】
この従来の動画像復号化装置は、復号した画像を圧縮して、フレームメモリに蓄積するデータ圧縮回路と、データ圧縮回路による圧縮データを伸長するデータ伸長回路と、を具備する。
【0022】
このようにして、参照画像の記憶と復号画像の並べ替えのために必要なフレームメモリの容量を削減できるようにしている。
【0023】
【発明が解決しようとする課題】
さて、現在、低ビットレート環境下においても高画質の動画像通信を可能とすることを目的としたH.26Lと呼ばれる動画像圧縮符号化方式の国際標準規格の策定が行われている。
【0024】
このH.26Lでは、前方向予測に用いる参照フレームとして、直前のフレームだけでなく、複数のフレームの中から1枚のフレームを選択して使用可能とすることが検討されている。
【0025】
このように、参照フレームとして複数のフレームを使用する動画像符号化装置又は動画像復号化装置においては、画像データ記憶部940のフレームメモリ942が記憶する参照フレームのデータ量がさらに大きくなる。
【0026】
このため、参照フレームとして1つのフレームを使用する場合よりも、画像データ記憶部940のフレームメモリ942の記憶容量の削減の必要性がより大きくなる。
【0027】
つまり、画像データ記憶部のフレームメモリの記憶容量を削減することを目的とした従来の動画像復号化装置よりも、より画像データ記憶部940のフレームメモリ942の記憶容量を削減できる技術が求められる。
【0028】
また、参照フレームとして複数のフレームを使用できる場合において、従来の動画像復号化装置の画像データ記憶部940を適用して、複数の参照フレームを一様に圧縮したのでは、圧縮及び伸長のための処理量が増加する。
【0029】
そこで、本発明は、処理量の増加の抑制を図りながらも、記憶容量の削減を図ることができる符号化装置、復号化装置及びその関連技術を提供することを目的とする。
【0030】
【0031】
【課題を解決するための手段】
本発明に係る符号化装置又は復号化装置に備えられる画像データ記憶装置では、画像データを圧縮する圧縮手段と、複数のフレームの圧縮されていない画像データをフレーム単位で記憶する第1の記憶手段と、圧縮手段に対応して設けられ、対応する圧縮手段により圧縮された画像データをフレーム単位で記憶する第2の記憶手段と、圧縮手段により圧縮されて、第2の記憶手段に記憶された画像データを伸長する画像データ伸長手段と、を備える。
【0032】
この構成によれば、画像処理の際に使用頻度が高いフレームの画像データは、圧縮せずに第1の記憶手段に記憶させ、使用頻度が低いフレームの画像データは、圧縮して第2の記憶手段に記憶させることができる。
【0033】
このため、記憶している画像データを伸長するための処理量の増加を抑制でき、また、記憶する画像データを圧縮するための処理量の増加を抑制できる。
【0034】
また、使用頻度が低いフレームの画像データは、圧縮して第2の記憶手段に記憶させることで、記憶容量の削減を図ることができる。
【0035】
以上のように、複数のフレームの画像データを記憶する画像データ記憶装置において、各フレームに対して、使用頻度を考慮した適切な記憶形態を選択できる。その他、画像データの使用目的に応じて、画像データの画質、記憶枚数、等を考慮した適切な記憶形態を選択できる。
【0036】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を図ることができる。
【0037】
本発明に係る符号化装置又は復号化装置に備えられる画像データ記憶装置では、画像データを圧縮する複数の圧縮手段と、単数又は複数のフレームの圧縮されていない画像データをフレーム単位で記憶する第1の記憶手段と、複数の圧縮手段に対応して設けられ、各々が、対応する圧縮手段により圧縮された画像データをフレーム単位で記憶する複数の第2の記憶手段と、圧縮手段により圧縮されて、第2の記憶手段に記憶された画像データを伸長する画像データ伸長手段と、を備え、圧縮手段の各々の圧縮率は、互いに異なる。
【0038】
この構成によれば、画像処理の際に使用頻度が高いフレームの画像データは、圧縮せずに第1の記憶手段に記憶させ、使用頻度が低いフレームの画像データは、圧縮して第2の記憶手段に記憶させることができる。
【0039】
このため、記憶している画像データを伸長するための処理量の増加を抑制でき、また、記憶する画像データを圧縮するための処理量の増加を抑制できる。
【0040】
また、画像処理の際の使用頻度が低くなるに従って、より大きい圧縮率の圧縮手段で画像データを圧縮して、対応する第2の記憶手段に記憶させることで、記憶容量の削減を一層効果的に図ることができる。
【0041】
以上のように、複数のフレームの画像データを記憶する画像データ記憶装置において、各フレームに対して、使用頻度を考慮した一層適切な記憶形態を選択できる。その他、画像データの使用目的に応じて、画像データの画質、記憶枚数、等を考慮した一層適切な記憶形態を選択できる。
【0042】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を一層効果的に図ることができる。
【0043】
本発明の符号化装置又は復号化装置に備えられる画像データ記憶装置では、画像データを圧縮する複数の圧縮手段と、単数又は複数のフレームの圧縮されていない画像データをフレーム単位で記憶する第1の記憶手段と、複数の圧縮手段に対応して設けられ、各々が、対応する圧縮手段により圧縮された画像データをフレーム単位で記憶する複数の第2の記憶手段と、圧縮手段により圧縮されて、第2の記憶手段に記憶された画像データを伸長する画像データ伸長手段と、を備え、圧縮手段の各々の圧縮方式は、互いに異なる。
【0044】
この構成によれば、ユーザは、画像データを、圧縮せずに記憶するのか、あるいは、圧縮して記憶するのか、さらに、圧縮して記憶する場合は、どの圧縮方式で圧縮して記憶するのか、をフレーム単位で任意に選択できる。
【0045】
その結果、ユーザの利便性の向上を図りながらも、記憶容量の削減を図ることができる。
【0046】
【発明の実施の形態】
第1の発明に係る符号化装置又は復号化装置に備えられる、画像データ記憶装置では、画像データを圧縮する圧縮手段と、複数のフレームの圧縮されていない画像データをフレーム単位で記憶する第1の記憶手段と、圧縮手段に対応して設けられ、対応する圧縮手段により圧縮された画像データをフレーム単位で記憶する第2の記憶手段と、圧縮手段により圧縮されて、第2の記憶手段に記憶された画像データを伸長する画像データ伸長手段と、を備える。
【0047】
この構成によれば、画像処理の際に使用頻度が高いフレームの画像データは、圧縮せずに第1の記憶手段に記憶させ、使用頻度が低いフレームの画像データは、圧縮して第2の記憶手段に記憶させることができる。
【0048】
このため、記憶している画像データを伸長するための処理量の増加を抑制でき、また、記憶する画像データを圧縮するための処理量の増加を抑制できる。
【0049】
また、使用頻度が低いフレームの画像データは、圧縮して第2の記憶手段に記憶させることで、記憶容量の削減を図ることができる。
【0050】
以上のように、複数のフレームの画像データを記憶する画像データ記憶装置において、各フレームに対して、使用頻度を考慮した適切な記憶形態を選択できる。その他、画像データの使用目的に応じて、画像データの画質、記憶枚数、等を考慮した適切な記憶形態を選択できる。
【0051】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を図ることができる。
【0052】
第2の発明に係る符号化装置又は復号化装置に備えられる、画像データ記憶装置では、画像データを圧縮する複数の圧縮手段と、単数又は複数のフレームの圧縮されていない画像データをフレーム単位で記憶する第1の記憶手段と、複数の圧縮手段に対応して設けられ、各々が、対応する圧縮手段により圧縮された画像データをフレーム単位で記憶する複数の第2の記憶手段と、圧縮手段により圧縮されて、第2の記憶手段に記憶された画像データを伸長する画像データ伸長手段と、を備え、圧縮手段の各々の圧縮率は、互いに異なる。
【0053】
この構成によれば、画像処理の際に使用頻度が高いフレームの画像データは、圧縮せずに第1の記憶手段に記憶させ、使用頻度が低いフレームの画像データは、圧縮して第2の記憶手段に記憶させることができる。
【0054】
このため、記憶している画像データを伸長するための処理量の増加を抑制でき、また、記憶する画像データを圧縮するための処理量の増加を抑制できる。
【0055】
また、画像処理の際の使用頻度が低くなるに従って、より大きい圧縮率の圧縮手段で画像データを圧縮して、対応する第2の記憶手段に記憶させることで、記憶容量の削減を一層効果的に図ることができる。
【0056】
以上のように、複数のフレームの画像データを記憶する画像データ記憶装置において、各フレームに対して、使用頻度を考慮した一層適切な記憶形態を選択できる。その他、画像データの使用目的に応じて、画像データの画質、記憶枚数、等を考慮した一層適切な記憶形態を選択できる。
【0057】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を一層効果的に図ることができる。
【0058】
第3の発明に係る符号化装置又は復号化装置に備えられる、画像データ記憶装置では、予め定められた単数又は複数の圧縮手段は、可逆圧縮を実行し、他の圧縮手段は、非可逆圧縮を実行する。
【0059】
この構成によれば、使用頻度が高い画像データは、圧縮せずに第1の記憶手段に記憶させ、使用頻度が低い画像データは、可逆圧縮して第2の画像データ記憶手段に記憶させ、さらに使用頻度が低い画像データは、非可逆圧縮して第2の記憶手段に記憶させることができる。
【0060】
あるいは、画像データの使用目的に応じて、画像データの画質、記憶枚数、等を考慮して決定した優先順位に従って、優先順位が高い画像データは、圧縮せずに第1の記憶手段に記憶させ、優先順位が低い画像データは、可逆圧縮して第2の画像データ記憶手段に記憶させ、さらに優先順位が低い画像データは、非可逆圧縮して第2の記憶手段に記憶させることができる。
【0061】
このように、複数のフレームの画像データを記憶する画像データ記憶装置において、より一層適切な記憶形態を選択することができるため、処理量の増加の抑制を考慮した記憶容量の削減をより一層効果的に図ることができる。
【0062】
第4の発明に係る符号化装置又は復号化装置に備えられる、画像データ記憶装置では、画像データ伸長手段は、複数の圧縮手段に対応して設けられる複数の伸長手段を含み、伸長手段は、対応する圧縮手段により圧縮されて、対応する第2の記憶手段に記憶された画像データを伸長する。
【0063】
この構成によれば、処理量の増加の抑制を図りながらも、記憶容量の削減を図ることができる。
【0064】
第5の発明に係る符号化装置又は復号化装置に備えられる、画像データ記憶装置では、圧縮手段は、画素データを間引くことによって、画像データを圧縮し、画像データ伸長手段は、画素データを補間することによって、圧縮手段により圧縮された画像データを伸長する。
【0065】
この構成によれば、画像データの圧縮処理及び伸長処理を高速に行うことができる。なぜなら、間引き処理及び補間処理は、比較的簡単な処理だからである。
【0066】
また、圧縮手段が複数設けられ、これに対応して、第2の記憶手段が複数設けられている場合において、ある第2の記憶手段に記憶された画像データを、記憶形態を変更して、他の第2の記憶手段に記憶させるときに、伸長処理を行うことなく、圧縮処理を行うことができる。なぜなら、第2の記憶手段には、間引きにより圧縮した画像データが記憶されているからである。
【0067】
従って、ある第2の記憶手段に記憶された画像データを、記憶形態を変更して、他の第2の記憶手段に記憶させる際の処理を高速に行うことができる。
【0068】
また、圧縮手段が複数設けられ、これに対応して、第2の記憶手段が複数設けられている場合において、画像データ伸長手段を、複数の第2の記憶手段で共有できる。なぜなら、圧縮処理は間引きにより行われ、これに応じて、伸長処理は補間により行われるからである。
従って、回路規模の削減を図ることができる。
【0069】
第6の発明に係る符号化装置又は復号化装置に備えられる、画像データ記憶装置では、圧縮手段は、画像データに対してウェーブレット変換を施すことによって得られた周波数領域成分からなる複数のブロックから、予め定められたブロックを削減することによって、画像データを圧縮し、画像データ伸長手段は、圧縮手段により圧縮された画像データに対して、圧縮により削除された予め定められたブロックを予め定められたデータで補間し、逆ウェーブレット変換を施すことによって、圧縮手段により圧縮された画像データを伸長する。
【0070】
この構成によれば、圧縮手段が複数設けられ、これに対応して、第2の記憶手段が複数設けられている場合において、ある第2の記憶手段に記憶された画像データを、記憶形態を変更して、他の第2の記憶手段に記憶させるときに、伸長処理を行うことなく、圧縮処理を行うことができる。なぜなら、第2の記憶手段には、ウェーブレット変換により得られた周波数領域成分からなるブロックが記憶されるからである。
【0071】
従って、ある第2の記憶手段に記憶された画像データを、記憶形態を変更して、他の第2の記憶手段に記憶させる際の処理を高速に行うことができる。
【0072】
また、圧縮手段が複数設けられ、これに対応して、第2の記憶手段が複数設けられている場合において、画像データ伸長手段を、複数の第2の記憶手段で共有できる。なぜなら、圧縮処理は、ウェーブレット変換、及び、周波数領域成分からなるブロックの削除、により行われ、これに応じて、伸長処理は、周波数領域成分からなるブロックの補間、及び、逆ウェーブレット変換、により行われるからである。
従って、回路規模の削減を図ることができる。
【0073】
また、人間の視覚にとっては、画像データの高周波領域成分よりも低周波領域成分が重要となるため、圧縮手段による圧縮の際に、高周波領域成分から削除することにすれば、人間の視覚に重要な低周波領域成分が残って、伸長後の画像データを使用した画像処理後の画像の画質の劣化を軽減できる。
【0074】
第7の発明に係る符号化装置又は復号化装置に備えられる、画像データ記憶装置では、第1の記憶手段、第2の記憶手段、圧縮手段、及び、画像データ伸長手段、に対して、第1の記憶手段及び第2の記憶手段が記憶している画像データの記憶形態を変更する指示を与える制御手段をさらに備える。
【0075】
この構成によれば、第1の記憶手段及び第2の記憶手段が記憶している画像データの更新が可能となる。
【0076】
第8の発明に係る符号化装置又は復号化装置に備えられる、画像データ記憶装置では、第1の記憶手段、第2の記憶手段、及び、圧縮手段、に対して、第1の記憶手段及び第2の記憶手段が記憶している画像データの記憶形態を変更する指示を与える制御手段をさらに備える。
【0077】
この構成によれば、第1の記憶手段及び第2の記憶手段が記憶している画像データの更新が可能となる。
【0078】
また、更新処理で画像データ伸長手段を使用しないため、更新処理の高速化が可能となる。
【0079】
第9の発明に係る符号化装置又は復号化装置に備えられる、画像データ記憶装置では、圧縮手段は、m×n(m、nは自然数)画素のブロック単位で圧縮を行い、画像データ伸長手段は、m×n(m、nは自然数)画素のブロック単位で伸長を行う。
【0080】
この構成によれば、フレーム単位の画像データを記憶する第1の記憶手段又は第2の記憶手段から、画像データを、m×n画素のブロック単位で読み出すことができる。
【0081】
第10の発明に係る符号化装置又は復号化装置に備えられる、画像データ記憶装置では、画像データを圧縮する複数の圧縮手段と、単数又は複数のフレームの圧縮されていない画像データをフレーム単位で記憶する第1の記憶手段と、複数の圧縮手段に対応して設けられ、各々が、対応する圧縮手段により圧縮された画像データをフレーム単位で記憶する複数の第2の記憶手段と、圧縮手段により圧縮されて、第2の記憶手段に記憶された画像データを伸長する画像データ伸長手段と、を備え、圧縮手段の各々の圧縮方式は、互いに異なる。
【0082】
この構成によれば、ユーザは、画像データを、圧縮せずに記憶するのか、あるいは、圧縮して記憶するのか、さらに、圧縮して記憶する場合は、どの圧縮方式で圧縮して記憶するのか、をフレーム単位で任意に選択できる。
【0083】
その結果、ユーザの利便性の向上を図りながらも、記憶容量の削減を図ることができる。
【0084】
第11の発明に係る符号化装置では、第1の発明に係る画像データ記憶装置を備え、画像データ記憶装置が記憶するフレームの画像データを参照フレームの画像データとして、画面間予測を用いた符号化を施す。
【0085】
この構成によれば、複数のフレームを符号化の際の参照フレームとするこができる場合において、各参照フレームに対して、使用頻度を考慮した適切な記憶形態を選択できる。
【0086】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を図ることができる。
【0087】
第12の発明に係る符号化装置では、現在の符号化対象であるフレームを基準として、時間的に連続した予め定められた数の過去のフレーム、及び、現在の符号化対象であるフレーム、からなるフレーム群において、現在から過去にわたって時間的に連続するように、各々が予め定められた数のフレームからなる複数のグループを構成し、過去のフレームは、画面間予測を実行する際の参照フレームであり、現在の符号化対象であるフレームを含むグループは、少なくとも1枚の参照フレームを含み、画像データ記憶装置の圧縮手段は、参照フレームのみからなるグループに対応して設けられ、対応するグループに属する参照フレームの画像データを圧縮し、画像データ記憶装置の第1の記憶手段は、現在の符号化対象であるフレームを含むグループに対応して設けられ、対応するグループに属するフレームの圧縮されていない画像データを記憶し、画像データ記憶装置の第2の記憶手段は、参照フレームのみからなるグループに対応して設けられ、対応する圧縮手段により圧縮された、対応するグループに属する参照フレームの画像データを記憶する。
【0088】
この構成によれば、現在の符号化対象であるフレームに時間的に近い参照フレームは圧縮せずに記憶され、現在の符号化対象であるフレームに時間的に遠い参照フレームは圧縮して記憶される。
【0089】
つまり、使用頻度が高い参照フレームの画像データは圧縮せずに記憶され、使用頻度が低い参照フレームの画像データは圧縮されて記憶される。
【0090】
従って、使用頻度が低い参照フレームには、少ない記憶領域を割り当てることができる。
【0091】
このように、複数のフレームを符号化の際の参照フレームとするこができる場合において、各参照フレームは、それぞれの使用頻度を考慮した適切な記憶形態で記憶される。
【0092】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を図ることができる。
【0093】
第13の発明に係る符号化装置では、第2の発明に係る画像データ記憶装置を備え、画像データ記憶装置が記憶するフレームの画像データを参照フレームの画像データとして、画面間予測を用いた符号化を施す。
【0094】
この構成によれば、複数のフレームを符号化の際の参照フレームとするこができる場合において、各フレームに対して、使用頻度を考慮した一層適切な記憶形態を選択できる。
【0095】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を一層効果的に図ることができる。
【0096】
第14の発明に係る符号化装置では、現在の符号化対象であるフレームを基準として、時間的に連続した予め定められた数の過去のフレーム、及び、現在の符号化対象であるフレーム、からなるフレーム群において、現在から過去にわたって時間的に連続するように、各々が予め定められた数のフレームからなる複数のグループを構成し、過去のフレームは、画面間予測を実行する際の参照フレームであり、現在の符号化対象であるフレームを含むグループは、現在の符号化対象であるフレームのみからなり、又は、現在の符号化対象であるフレーム及び参照フレームからなり、画像データ記憶装置の複数の圧縮手段は、参照フレームのみからなる複数のグループに対応して設けられ、圧縮手段は、対応するグループに属する参照フレームの画像データを圧縮し、画像データ記憶装置の第1の記憶手段は、現在の符号化対象であるフレームを含むグループに対応して設けられ、対応するグループに属するフレームの圧縮されていない画像データを記憶し、画像データ記憶装置の複数の第2の記憶手段は、参照フレームのみからなる複数のグループに対応して設けられ、第2の記憶手段の各々は、対応する圧縮手段により圧縮された、対応するグループに属する参照フレームの画像データを記憶し、圧縮手段の圧縮率は、その圧縮手段に対応するグループに属する参照フレームより、現在の符号化対象であるフレームに時間的に近い参照フレームを含むグループに対応する圧縮手段の圧縮率より大きい。
【0097】
この構成によれば、参照フレームについては、現在の符号化対象であるフレームに時間的に遠くなるに従って、高い圧縮率で圧縮されて記憶される。
【0098】
つまり、参照フレームについては、使用頻度が低くなるに従って、高い圧縮率で圧縮されて記憶される。
【0099】
従って、使用頻度が低くなるに従って、1枚の参照フレームに割り当てる記憶領域を、グループ単位で段階的に少なくすることができる。
【0100】
このように、複数のフレームを符号化の際の参照フレームとするこができる場合において、各参照フレームは、それぞれの使用頻度を考慮した一層適切な記憶形態で記憶される。
【0101】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を一層効果的に図ることができる。
【0102】
第15の発明に係る復号化装置では、第1の発明に係る画像データ記憶装置を備え、画像データ記憶装置が記憶するフレームの画像データを参照フレームの画像データとして、画面間予測を用いた復号化を実行する。
【0103】
この構成によれば、複数のフレームを復号化の際の参照フレームとするこができる場合において、各参照フレームに対して、使用頻度を考慮した適切な記憶形態を選択できる。
【0104】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を図ることができる。
【0105】
第16の発明に係る復号化装置では、現在の復号化対象であるフレームを基準として、時間的に連続した予め定められた数の過去のフレーム、及び、現在の復号化対象であるフレーム、からなるフレーム群において、現在から過去にわたって時間的に連続するように、各々が予め定められた数のフレームからなる複数のグループを構成し、過去のフレームは、画面間予測を実行する際の参照フレームであり、現在の復号化対象であるフレームを含むグループは、少なくとも1枚の参照フレームを含み、画像データ記憶装置の圧縮手段は、参照フレームのみからなるグループに対応して設けられ、対応するグループに属する参照フレームの画像データを圧縮し、画像データ記憶装置の第1の記憶手段は、現在の復号化対象であるフレームを含むグループに対応して設けられ、対応するグループに属するフレームの圧縮されていない画像データを記憶し、画像データ記憶装置の第2の記憶手段は、参照フレームのみからなるグループに対応して設けられ、対応する圧縮手段により圧縮された、対応するグループに属する参照フレームの画像データを記憶する。
【0106】
この構成によれば、現在の復号化対象であるフレームに時間的に近い参照フレームは圧縮せずに記憶され、現在の復号化対象であるフレームに時間的に遠い参照フレームは圧縮して記憶される。
【0107】
つまり、使用頻度が高い参照フレームの画像データは圧縮せずに記憶され、使用頻度が低い参照フレームの画像データは圧縮されて記憶される。
【0108】
従って、使用頻度が低い参照フレームには、少ない記憶領域を割り当てることができる。
【0109】
このように、複数のフレームを復号化の際の参照フレームとするこができる場合において、各参照フレームは、それぞれの使用頻度を考慮した適切な記憶形態で記憶される。
【0110】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を図ることができる。
【0111】
第17の発明に係る復号化装置では、第2の発明に係る画像データ記憶装置を備え、画像データ記憶装置が記憶するフレームの画像データを参照フレームの画像データとして、画面間予測を用いた復号化を実行する。
【0112】
この構成によれば、複数のフレームを復号化の際の参照フレームとするこができる場合において、各フレームに対して、使用頻度を考慮した一層適切な記憶形態を選択できる。
【0113】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を一層効果的に図ることができる。
【0114】
第18の発明に係る復号化装置では、現在の復号化対象であるフレームを基準として、時間的に連続した予め定められた数の過去のフレーム、及び、現在の復号化対象であるフレーム、からなるフレーム群において、現在から過去にわたって時間的に連続するように、各々が予め定められた数のフレームからなる複数のグループを構成し、過去のフレームは、画面間予測を実行する際の参照フレームであり、現在の復号化対象であるフレームを含むグループは、現在の復号化対象であるフレームのみからなり、又は、現在の復号化対象であるフレーム及び参照フレームからなり、画像データ記憶装置の複数の圧縮手段は、参照フレームのみからなる複数のグループに対応して設けられ、圧縮手段は、対応するグループに属する参照フレームの画像データを圧縮し、画像データ記憶装置の第1の記憶手段は、現在の復号化対象であるフレームを含むグループに対応して設けられ、対応するグループに属するフレームの圧縮されていない画像データを記憶し、画像データ記憶装置の複数の第2の記憶手段は、参照フレームのみからなる複数のグループに対応して設けられ、第2の記憶手段の各々は、対応する圧縮手段により圧縮された、対応するグループに属する参照フレームの画像データを記憶し、圧縮手段の圧縮率は、その圧縮手段に対応するグループに属する参照フレームより、現在の復号化対象であるフレームに時間的に近い参照フレームを含むグループに対応する圧縮手段の圧縮率より大きい。
【0115】
この構成によれば、参照フレームについては、現在の復号化の対象であるフレームに時間的に遠くなるに従って、高い圧縮率で圧縮されて記憶される。
【0116】
つまり、参照フレームについては、使用頻度が低くなるに従って、高い圧縮率で圧縮されて記憶される。
【0117】
従って、使用頻度が低くなるに従って、1枚の参照フレームに割り当てる記憶領域を、グループ単位で段階的に少なくすることができる。
【0118】
このように、複数のフレームを復号化の際の参照フレームとするこができる場合において、各参照フレームは、それぞれの使用頻度を考慮した一層適切な記憶形態で記憶される。
【0119】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を一層効果的に図ることができる。
【0120】
第19の発明に係る圧縮伸長システムでは、第11の発明に係る符号化装置と、第15 の発明に係る復号化装置と、を備え、符号化装置は、画像データ記憶装置による画像データの圧縮に関する情報と、符号化が施された画像データと、を多重化し、多重化データを生成する多重化手段をさらに備え、復号化装置は、受け取った多重化データを、圧縮に関する情報と、符号化された画像データと、に分離する分離手段をさらに備える。
【0121】
この構成によれば、復号化装置の画像データ記憶装置は、符号化装置の画像データ記憶装置で用いた圧縮に関する情報を用いて、圧縮及び伸長ができる。
【0122】
このため、復号化装置の画像データ記憶装置において、参照フレームを非可逆圧縮して記憶し伸長する場合でも、符号化装置と復号化装置とで参照フレームは同一となる。
【0123】
その結果、符号化装置と復号化装置との間での参照フレームの画像データの不一致に起因する画質の劣化を防止しながらも、符号化装置及び復号化装置の画像データ記憶装置の記憶容量の削減を行うことができる。
【0124】
第20の発明に係る圧縮伸長システムでは、第13の発明に係る符号化装置と、第17の発明に係る復号化装置と、を備え、符号化装置は、画像データ記憶装置による画像データの圧縮に関する情報と、符号化が施された画像データと、を多重化し、多重化データを生成する多重化手段をさらに備え、復号化装置は、受け取った多重化データを、圧縮に関する情報と、符号化された画像データと、に分離する分離手段をさらに備える。
【0125】
この構成によれば、復号化装置の画像データ記憶装置は、符号化装置の画像データ記憶装置で用いた圧縮に関する情報を用いて、圧縮及び伸長ができる。
【0126】
このため、復号化装置の画像データ記憶装置において、参照フレームを非可逆圧縮して記憶し伸長する場合でも、符号化装置と復号化装置とで参照フレームは同一となる。
【0127】
その結果、符号化装置と復号化装置との間での参照フレームの画像データの不一致に起因する画質の劣化を防止しながらも、符号化装置及び復号化装置の画像データ記憶装置の記憶容量の削減を行うことができる。
【0128】
以下、図面を参照して本発明の実施の形態を説明する。
(実施の形態1)
【0129】
図1は、本発明の実施の形態1における画像データ記憶装置のブロック図である。
【0130】
図1に示すように、この画像データ記憶装置は、画像データ圧縮手段1、画像データ記憶手段2、画像データ伸長手段3、及び、制御手段4、を具備する。
【0131】
画像データ圧縮手段1は、I個(「I」は1以上の整数)の圧縮回路A1、A2、…、AIを含む。
【0132】
ここで、圧縮回路A1、A2、…、AIを包括的に表現するときは、圧縮回路Aiとする。
【0133】
画像データ記憶手段2は、J個(「J」は1以上の整数)のフレームメモリM1、M2、…、MJを含む。
【0134】
ここで、フレームメモリM1、M2、…、MJを包括的に表現するときは、フレームメモリMjとする。
【0135】
画像データ伸長手段3は、I個(「I」は1以上の整数)の伸長回路B1、B2、…、BIを含む。この伸長回路B1、B2、…、BIは、圧縮回路A1、A2、…、AIに対応して設けられる。
【0136】
ここで、伸長回路B1、B2、…、BIを包括的に表現するときは、伸長回路Biとする。
【0137】
制御手段4は、メモリ制御手段41、及び、制御回路42、を含む。
【0138】
さて、まず、図1に示した画像データ記憶装置の動作を簡単に説明する。
データバス5は、画像データ記憶装置の外部またはデータバス8から入力される画像データを入力とする。
【0139】
そして、データバス5は、入力した画像データを、画像データ圧縮手段1の圧縮回路Aiまたはデータバス6へ出力する。
【0140】
画像データ圧縮手段1の圧縮回路Aiは、入力される画像データを圧縮する。データバス6は、データバス5または画像データ圧縮手段1の圧縮回路Aiが出力する画像データを入力とする。
【0141】
そして、データバス6は、入力された画像データを、画像データ記憶手段2のフレームメモリMjへ出力する。
【0142】
画像データ記憶手段3のフレームメモリMjは、データバス6から入力される画像データをフレーム単位で記憶する。
【0143】
データバス7は、画像データ記憶手段2のフレームメモリMjが出力する画像データを入力とする。
【0144】
そして、データバス7は、入力された画像データを、データバス8または画像データ伸長手段3の伸長回路Biへ出力する。
【0145】
画像データ伸長手段3の伸長回路Biは、入力される画像データを伸長する。データバス8は、画像データ伸長手段3の伸長回路Biまたはデータバス7が出力する画像データを入力とする。
【0146】
そして、データバス8は、入力された画像データを、画像データ記憶装置の外部またはデータバス5へ出力する。
【0147】
制御手段4は、画像データ記憶装置の外部から入力される制御信号Sに基づき、画像データ圧縮手段1、画像データ記憶手段2、及び、画像データ伸長手段3、を制御する。
【0148】
次に、図1の画像データ記憶装置の動作を詳細に説明する。
画像データが、16×16画素のマクロブロック単位で、画像データ記憶装置の外部からデータバス5に入力される。
【0149】
一方、画像データ記憶手段2に画像データを記憶する際の記憶形態が、制御手段4に対して、外部から入力される制御信号Sによって指定される。
【0150】
この記憶形態には、画像データを圧縮せずに記憶する形態、及び、画像データを圧縮して記憶する形態、がある。
【0151】
さらに、画像データを圧縮して記憶する形態には、圧縮回路A1で圧縮して記憶する形態、圧縮回路A2で圧縮して記憶する形態、…、圧縮回路AIで圧縮して記憶する形態、というI個の形態がある。
【0152】
なお、制御信号Sによる記憶形態の指定は、フレーム単位で行われる。
【0153】
さて、記憶形態が画像データを圧縮せずに記憶する形態である旨の制御信号Sを受けた制御手段4では、制御回路42が、データバス5を制御して、データバス5に入力された画像データを、データバス6へ与える。
【0154】
一方、圧縮回路Aiを指定して、記憶形態が画像データを圧縮して記憶する形態である旨の制御信号Sを受けた制御手段4では、制御回路42が、データバス5を制御して、データバス5に入力された画像データを、制御信号Sにより指定された圧縮回路Aiへ与える。
【0155】
そして、その圧縮回路Aiは、制御回路42の指示に従って、データバス5から入力された画像データを圧縮し、データバス6へ出力する。
【0156】
圧縮に際しては、圧縮回路Aiと制御回路42との間で、圧縮時におけるパラメータ(以下、「圧縮パラメータ」と呼ぶ。)、圧縮開始・終了等の制御信号、及び、符号ビット数等の圧縮情報、が取り交わされる。
【0157】
圧縮回路A1〜AIの各々は、圧縮した画像データの1フレーム当たりのデータ量が、圧縮回路Aiの相互間で異なるような、圧縮方式及び圧縮率を備えている。
【0158】
つまり、圧縮回路A1〜AIの各々の圧縮率は、互いに異なっている。なお、圧縮回路A1〜AIの各々の圧縮率が、互いに異なっていればよく、圧縮方式は、同じでも、異なっていてもよい。
【0159】
圧縮回路Aiが備える圧縮方式としては、例えば、画面内の空間的相関を利用して隣接画素の差分データをエントロピー符号化する方式、DCT(discrete cosine transform)等の直交変換を施して周波数変換し量子化後のデータをエントロピー符号化する方式、ウェーブレット変換等のサブバンド符号化方式、又は、一定の間隔でダウンサンプリングすることで間引きを行う方式、などがある。
【0160】
さて、データバス5から直接データバス6へ入力された圧縮されていない画像データ、及び、圧縮回路Aiからデータバス6に入力された圧縮された画像データ、はフレームメモリM1〜MJのうちのいずれかに書き込まれる。
【0161】
フレームメモリMjへの画像データの書き込みの際には、メモリ制御手段41は、画像データの書き込みを行うフレームメモリMjと、書き込みを行うフレームメモリMjにおけるアドレスと、を指定する。
【0162】
また、メモリ制御手段41は、画像データ記憶手段2に記憶されている画像データを、マクロブロック単位で任意に外部へ出力できるように、フレームメモリMjへの画像データの記憶に関する情報(以下、「記憶関連情報」と呼ぶ。)を保持する。
【0163】
図2は、メモリ制御手段41が保持する第1の記憶関連情報の説明図である。図2に示すように、第1の記憶関連情報は、フレームメモリM1〜MJの各々に対して、記憶しているフレームの番号、記憶形態、及び、伸長時に必要な圧縮パラメータ、を関連づけたものである。
【0164】
図2のフレームメモリの欄の「M1〜MJ」は、図1のフレームメモリM1〜MJに付した符号M1〜MJと対応している。
【0165】
フレーム番号の欄には、各フレームメモリM1〜MJが記憶ているフレームの識別番号を記載している。
【0166】
記憶形態の欄に示している「A0」は、記憶形態が圧縮せずに記憶する形態であることを示している。
【0167】
記憶形態の欄に示している「A1〜AI」は、図1の圧縮回路A1〜AIに付した符号A1〜AIと対応しており、例えば、記憶形態の欄の「A1」は、記憶形態が圧縮回路A1により圧縮して記憶する形態であることを示している。
【0168】
圧縮パラメータの欄には、各圧縮回路A1〜AIにおける圧縮パラメータ(圧縮時に用いたパラメータ)を記載している。
【0169】
図3は、メモリ制御手段41が保持する第2の記憶関連情報の説明図である。メモリ制御手段41は、図3に示すような第2の記憶関連情報を、フレームメモリM1〜MJごとに保持する。
【0170】
図3に示すように、第2の記憶関連情報は、記憶しているフレームのマクロブロックの番号に対して、そのマクロブロックの番号の画像データが記憶されている記憶領域の先頭アドレスを関連づけたものである。
【0171】
なお、図3のマクロブロックの番号の欄の「K」は、1フレームに含まれるマクロブロックの数を表す。
【0172】
ここまでは、画像データをフレームメモリMjに書き込む際の説明である。フレームメモリMjから画像データを読み出すときには、読み出すべきマクロブロックが属するフレームの番号を表す情報及び読み出すべきマクロブロックの番号を表す情報、が外部から制御手段4に制御信号Sとして与えられる。
【0173】
そして、メモリ制御手段41は、第1の記憶関連情報(図2)を参照して、読み出すべきマクロブロックが属するフレームの番号から、読み出すべきマクロブロックの属するフレームが記憶されているフレームメモリMjを特定する。
【0174】
さらに、メモリ制御手段41は、第2の記憶関連情報(図3)を参照して、読み出すべきマクロブロックの番号から、読み出すべきマクロブロックの画像データが記憶されている記憶領域の先頭アドレスを特定する。
【0175】
そして、メモリ制御手段41は、該当するフレームメモリMjに対して、該当する記憶領域から、読み出すべきマクロブロックの画像データをデータバス7に出力するように指示する。
【0176】
この指示を受けたフレームメモリMjは、該当する記憶領域から、読み出すべきマクロブロックの画像データをデータバス7に出力する。
【0177】
データバス7に入力された読み出すべきマクロブロックの画像データが圧縮されていない場合は、その画像データは、データバス8に直接出力される。
【0178】
一方、データバス7に入力された読み出すべきマクロブロックの画像データが圧縮されている場合は、メモリ制御手段41は、第1の記憶関連情報(図2)を参照して、読み出すべきマクロブロックが属するフレームの番号から、その画像データの記憶形態を特定する。
【0179】
さらに、メモリ制御手段41は、特定した記憶形態から、その画像データを圧縮した圧縮回路Aiを特定する。
【0180】
そして、制御回路42は、データバス7を制御して、メモリ制御手段41が特定した圧縮回路Aiに対応する伸長回路Biに対して、データバス7に入力された読み出すべきマクロブロックの画像データを出力する。
【0181】
メモリ制御手段41が特定した圧縮回路Aiに対応する伸長回路Biは、メモリ制御手段41から、第1の記憶関連情報の圧縮パラメータを受け取り、この圧縮パラメータに基づいて、データバス7から入力した読み出すべきマクロブロックの画像データを伸長する。伸長されたその画像データは、データバス8へ出力される。
【0182】
さて、データバス8に入力された読み出すべきマクロブロックの画像データは、順次外部へ出力される。
【0183】
なお、I個の伸長回路B1〜BIとI個の圧縮回路A1〜AIと、は1対1に対応しており、伸長回路Biは対応する圧縮回路Aiが圧縮した画像データを伸長する。
【0184】
つまり、伸長回路Biは、対応する圧縮回路Aiに対応する伸長方式を備える。
【0185】
さて、外部からの制御信号Sによって、制御手段4に対して、画像データ記憶手段2に記憶している画像データの記憶形態を変更する指示があった場合には、次のような処理が行われる。
【0186】
この場合、新たな記憶形態を表す情報、記憶形態を変更すべきマクロブロックが属するフレームの番号を表す情報及び記憶形態を変更すべきマクロブロックの番号を表す情報、が外部から制御手段4に制御信号Sとして与えられる。
【0187】
そして、メモリ制御手段41は、第1の記憶関連情報(図2)を参照して、記憶形態を変更すべきマクロブロックが属するフレームの番号から、記憶形態を変更すべきマクロブロックの属するフレームが記憶されているフレームメモリMjを特定する。
【0188】
さらに、メモリ制御手段41は、第2の記憶関連情報(図3)を参照して、記憶形態を変更すべきマクロブロックの番号から、記憶形態を変更すべきマクロブロックの画像データが記憶されている記憶領域の先頭アドレスを特定する。
【0189】
そして、メモリ制御手段41は、該当するフレームメモリMjに対して、該当する記憶領域から、記憶形態を変更すべきマクロブロックの画像データをデータバス7に出力するように指示する。
【0190】
この指示を受けたフレームメモリMjは、該当する記憶領域から、記憶形態を変更すべきマクロブロックの画像データをデータバス7に出力する。
【0191】
データバス7に入力された記憶形態を変更すべきマクロブロックの画像データが圧縮されていない場合は、その画像データは、データバス8に直接出力される。
【0192】
一方、データバス7に入力された記憶形態を変更すべきマクロブロックの画像データが圧縮されている場合は、メモリ制御手段41は、第1の記憶関連情報(図2)を参照して、記憶形態を変更すべきマクロブロックが属するフレームの番号から、その画像データの記憶形態を特定する。
【0193】
さらに、メモリ制御手段41は、特定した記憶形態から、その画像データを圧縮した圧縮回路Aiを特定する。
【0194】
そして、制御回路42は、データバス7を制御して、メモリ制御手段41が特定した圧縮回路Aiに対応する伸長回路Biに対して、データバス7に入力された記憶形態を変更すべきマクロブロックの画像データを出力する。
【0195】
メモリ制御手段41が特定した圧縮回路Aiに対応する伸長回路Biは、メモリ制御手段41から、第1の記憶関連情報の圧縮パラメータを受け取り、この圧縮パラメータに基づいて、データバス7から入力した記憶形態を変更すべきマクロブロックの画像データを伸長する。伸長されたその画像データは、データバス8へ出力される。
【0196】
さて、制御回路42は、データバス8へ入力された記憶形態を変更すべきマクロブロックの画像データをデータバス5へ出力する。
【0197】
さらに、制御回路42は、データバス5を制御して、データバス5に入力された記憶形態を変更すべきマクロブロックの画像データを、新たな記憶形態に対応する圧縮回路Aiへ与える。
【0198】
そして、その圧縮回路Aiは、制御回路42の指示に従って、データバス5から入力された記憶形態を変更すべきマクロブロックの画像データを圧縮し、データバス6へ出力する。
【0199】
制御回路42は、第1の記憶関連情報(図2)を参照して、新たな記憶形態に関する情報から、記憶形態を変更すべきマクロブロックの画像データを記憶するフレームメモリMjを特定する。
【0200】
そして、制御回路42は、データバス6を制御して、データバス6へ入力された記憶形態を変更すべきマクロブロックの画像データを、特定したフレームメモリMjに与える。
【0201】
そして、そのフレームメモリMjは、データバス6から入力された記憶形態を変更すべきマクロブロックの画像データを記憶する。以上のようにして、記憶形態の変更が実行される。
【0202】
さて、本実施の形態において、I(圧縮回路Ai及び伸長回路Biの数)=1、J(フレームメモリMjの数)=2、として、圧縮しない画像データを記憶するフレームメモリM1が、複数枚のフレームの画像データを記憶するとする。
【0203】
この場合は、画像処理の際に使用頻度が高いフレームの画像データは、圧縮せずにフレームメモリM1に記憶させ、使用頻度が低いフレームの画像データは、圧縮してフレームメモリM2に記憶させることができる。
【0204】
このため、記憶している画像データを伸長するための処理量の増加を抑制でき、また、記憶する画像データを圧縮するための処理量の増加を抑制できる。
【0205】
また、使用頻度が低いフレームの画像データは、圧縮してフレームメモリM2に記憶させることで、記憶容量の削減を図ることができる。
【0206】
以上のように、複数のフレームの画像データを記憶する画像データ記憶装置において、各フレームに対して、使用頻度を考慮した適切な記憶形態を選択できる。
【0207】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を図ることができる。
【0208】
さて、本実施の形態において、「I(圧縮回路Ai及び伸長回路Biの数)」を2以上、「J(フレームメモリMjの数)」を3以上、として、圧縮しない画像データを記憶するフレームメモリM1が、1枚又は複数枚のフレームの画像データを記憶するとする。
【0209】
この場合は、画像処理の際に使用頻度が高いフレームの画像データは、圧縮せずにフレームメモリM1に記憶させ、使用頻度が低いフレームの画像データは、圧縮してフレームメモリM2〜MJに記憶させることができる。
【0210】
このため、記憶している画像データを伸長するための処理量の増加を抑制でき、また、記憶する画像データを圧縮するための処理量の増加を抑制できる。
【0211】
また、画像処理の際の使用頻度が低くなるに従って、より大きい圧縮率の圧縮回路Aiで画像データを圧縮して、対応するフレームメモリMjに記憶させることで、記憶容量の削減を一層効果的に図ることができる。
【0212】
以上のように、複数のフレームの画像データを記憶する画像データ記憶装置において、各フレームに対して、使用頻度を考慮した一層適切な記憶形態を選択できる。
【0213】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を一層効果的に図ることができる。
【0214】
なお、本実施の形態では、フレームメモリMjへの蓄積処理、及び、フレームメモリMjからの出力処理、のデータ処理単位は、16×16画素のマクロブロック単位として説明した。
【0215】
ただし、データ処理単位は、マクロブロック単位に限定するものではない。例えば、8×8画素、8×16画素等、データ処理単位となるブロックサイズは、任意に決定できる。
【0216】
【0217】
【0218】
【0219】
また、上記した図1の画像データ記憶装置では、圧縮回路A1〜AIの各々の圧縮率は、互いに異なっていた。
【0220】
しかし、これに限定されるものではなく、例えば、圧縮回路A1〜AIの各々の圧縮方式を、互いに異なるようにすることもできる。この場合、圧縮回路A1〜AIの各々の圧縮率は、互いに同じにすることもできるし、異なるようにすることもできる。
【0221】
【0222】
【0223】
本発明の実施の形態1における動画像圧縮伸長システムは、動画像符号化装置及び動画像復号化装置、を備える。まず、この動画像符号化装置について説明する。
【0224】
図4は、本発明の実施の形態1における動画像符号化装置のブロック図である。
【0225】
図4に示すように、この動画像符号化装置は、減算器10、直交変換回路20、量子化回路30、可変長符号化回路40、逆量子化回路50、逆直交変換回路60、加算器70、画像データ記憶装置80、動き補償回路90、及び、動き検出回路100、を具備する、
【0226】
この動画像符号化装置は、H.263あるいはMPEG−4等の動画像符号化方式で用いられている動き補償と直交変換との組み合わせによるハイブリッド形式による符号化を実現する。
【0227】
また、画像データ記憶装置80は、図1に示した実施の形態1における画像データ記憶装置と同様のものである。
【0228】
この動画像符号化装置による符号化方式では、動き補償において参照できる画像(以下、「参照フレーム」と呼ぶ。)は、符号化対象フレームより以前に符号化を行った複数枚のフレームとする。
【0229】
なお、参照フレームは、符号化対象フレームより過去のフレームということになる。
【0230】
さて、次に、図4の動画像符号化装置における処理の流れを説明する。動画像符号化装置に動画像データが入力されると、まず、動き検出回路100において動きベクトルの検出が行われる。
【0231】
動き検出回路100は、動画像符号化装置の外部から入力された符号化対象となる動画像データと、画像データ記憶装置80から入力された参照フレームの画像データと、を用いて、動きベクトルを検出し、動き補償回路90に出力する。
【0232】
動き補償回路90は、動き検出回路100から入力された動きベクトルと、画像データ記憶装置80から入力された参照フレームの画像データと、を用いて、動き補償を行う。
【0233】
減算器10は、動き検出に用いた符号化対象となる動画像データから、動き補償回路90から入力される動き補償済みの画像データを減算し、差分データを求めて、直交変換回路20に出力する。
【0234】
なお、これまでの処理は、動き補償を行う場合についての処理であり、フレーム間で差分を取らず動き補償を行わない場合には、外部から入力される動画像データは、減算器10による処理を行わず、そのまま直交変換回路20に入力される。
【0235】
直交変換回路20は、入力された画像データに対して直交変換処理を施し、量子化回路30に出力する。
【0236】
量子化回路30は、入力された画像データに対して量子化処理を施し、可変長符号化回路40に出力する。
【0237】
可変長符号化回路40は、入力された画像データに対して可変長符号化処理を施し、動画像符号化データとして外部に出力する。
【0238】
一方、局所的復号化と呼ばれる処理が行われる。量子化回路30は、量子化した画像データを、可変長符号化回路40に出力すると同時に、逆量子化回路50に出力する。
【0239】
逆量子化回路50は、入力された画像データに対して、量子化回路30による量子化時と同じ量子化テーブルによる逆量子化処理を施し、逆直交変換回路60に出力する。
【0240】
逆直交変換回路60は、入力された画像データに対して、逆直交変換処理を施し、加算器70又は画像データ記憶装置80に出力する。
【0241】
この場合、逆直交変換回路60に入力された画像データが、動き補償を行ったものであるときは、逆直交変換処理が施された画像データは、加算器70に出力される。
【0242】
一方、逆直交変換回路60に入力された画像データが、動き補償を行ったものでないときは、逆直交変換処理が施された画像データは、復号された画像データとして、画像データ記憶装置80に出力される。
【0243】
さて、加算器70は、動き補償回路90から入力される動き補償済みの画像データと、逆直交変換回路60から入力される画像データである差分データと、を加算することにより、直交変換及び量子化された画像データを復号して、画像データ記憶装置80に出力する。
【0244】
画像データ記憶装置80は、逆直交変換回路60から入力された画像データ、及び、加算器70から入力された画像データ、を次のフレームの符号化処理における参照フレームの画像データとして記憶する。
【0245】
次に、実施の形態1における動画像復号化装置について説明する。
図5は、本発明の実施の形態1における動画像復号化装置のブロック図である。なお、図5において、図4と同様の部分については、同一の符号を付して説明を適宜省略する。
【0246】
図5に示すように、この動画像復号化装置は、可変長復号化回路110、逆量子化回路50、逆直交変換回路60、加算器70、画像データ記憶装置80、及び、動き補償回路90、を具備する。
【0247】
この動画像復号化装置による復号化方式においても、上記した動画像符号化装置と同様、動き補償において参照できる画像(参照フレーム)は、復号化対象フレームより以前に復号化を行った複数枚のフレームとする。
【0248】
なお、参照フレームは、復号化対象フレームより過去のフレームということになる。
【0249】
さて、次に、図5の動画像復号化装置における処理の流れを説明する。可変長復号化回路110は、入力される動画像符号化データに対して可変長復号化処理を施して、逆量子化回路50に出力する。
【0250】
逆量子化回路50は、入力された画像データに対して逆量子化処理を施して、逆直交変換回路60に出力する。
【0251】
逆直交変換回路60は、入力された画像データがフレーム間圧縮された画像データである場合は、逆直交変換処理を施した画像データを、加算器70に出力する。
【0252】
一方、逆直交変換回路50は、入力された画像データがフレーム間圧縮された画像データでない場合は、逆直交変換処理を施した画像データを、復号した動画像データとして、外部及び画像データ記憶装置80に出力する。
【0253】
さて、加算器70は、動き補償回路90から入力される動き補償済みの画像データと、逆直交変換回路60から入力される画像データである差分データと、を加算して、その加算結果を、復号化した動画像データとして、外部及び画像データ記憶装置80に出力する。
【0254】
画像データ記憶装置80は、逆直交変換回路60から入力された画像データ、及び、加算器70から入力された画像データ、を次のフレームの復号化処理における参照フレームの画像データとして記憶する。
【0255】
動き補償回路90は、可変長復号化回路110から復号して入力される動きベクトルと、画像データ記憶装置80から入力される参照フレームの画像データと、を受け取り、動き補償を行う。
【0256】
さて、次に、図5の動画像復号化装置における画像データ記憶装置80の詳細を説明する。
【0257】
図6は、図5の動画像復号化装置における画像データ記憶装置80のブロック図である。なお、図6において、図1と同様の部分については、同一の符号を付して説明を適宜省略する。
【0258】
図6に示すように、図5の画像データ記憶装置80は、画像データ圧縮手段1、画像データ記憶手段2、画像データ伸長手段3、及び、制御手段4、を含む。
【0259】
画像データ圧縮手段1は、圧縮回路A1、A2、A3を含む。
【0260】
画像データ記憶手段2は、フレームメモリM1、M2、M3、M4を含む。フレームメモリM1は、フレーム領域M1a、M1bを含む。フレームメモリM2は、フレーム領域M2a、M2bを含む。フレームメモリM3は、フレーム領域M3a、M3bを含む。フレームメモリM4は、フレーム領域M4a、M4b、M4c、M4dを含む。
【0261】
なお、フレームメモリM2〜M4は、それぞれ、圧縮回路A1〜A3に対応して設けられる。
【0262】
画像データ伸長手段3は、伸長回路B1、B2、B3を含む。なお、伸長回路B1〜B3は、それぞれ、圧縮回路A1〜A3に対応して設けられる。
【0263】
制御手段4は、メモリ制御手段41及び制御回路42を含む。メモリ制御手段41は、メモリ制御回路MC1、MC2、MC3、MC4を含む。
【0264】
なお、メモリ制御回路MC1〜MC4は、それぞれ、フレームメモリM1〜M4に対応して設けられる。
【0265】
さて、次に、図6の各構成の機能・動作を説明する。
まず、画像データ記憶手段2について説明する。
【0266】
フレームメモリM1は、復号化対象フレームと、復号化において参照できるフレーム(参照フレーム)と、を記憶する。具体的には、次の通りである。
【0267】
フレーム領域M1a、M1bは、フレームメモリM1のアドレス領域を2つに分けたものである。
【0268】
そして、フレーム領域M1a、M1bは、それぞれ、1フレーム分の画像データを記憶する。
【0269】
2つのフレーム領域M1a、M1bの一方は、復号化対象フレームを記憶し、他方は、参照フレームを記憶する。
【0270】
フレームメモリM2、M3は、それぞれ、2枚の参照フレームを記憶する。具体的には、次の通りである。
【0271】
フレーム領域M2a、M2bは、フレームメモリM2のアドレス領域を2つに分けたものであり、フレーム領域M3a、M3bは、フレームメモリM3のアドレス領域を2つに分けたものである。
【0272】
そして、フレーム領域M2a、M2b、M3a、M3bは、それぞれ、1フレーム分の画像データ(参照フレームの画像データ)を記憶する。
【0273】
フレームメモリM4は、4枚の参照フレームを記憶する。具体的には、次の通りである。
【0274】
フレーム領域M4a、M4b、M4c、M4dは、フレームメモリM4のアドレス領域を4つに分けたものである。
【0275】
そして、フレーム領域M4a、M4b、M4c、M4dは、それぞれ、1フレーム分の画像データ(参照フレームの画像データ)を記憶する。
【0276】
以上のことから分かるように、本実施の形態では、参照フレームの数は、9枚である。
【0277】
次に、画像データ圧縮手段1及び画像データ伸長手段3について説明する。
圧縮回路A1は、フレームメモリM1のフレーム領域M1a又はフレーム領域M1bに記憶された画像データを可逆圧縮符号化し、データ量を圧縮して、フレームメモリM2へ出力する。
【0278】
伸長回路B1は、圧縮回路Aで可逆圧縮符号化されて、フレームメモリM2のフレーム領域M2a又はフレーム領域M2bに記憶された画像データを復号し、元の画像データに伸長する。
【0279】
圧縮回路A2は、伸長回路B1で伸長された画像データを非可逆圧縮符号化し、データ量を圧縮して、フレームメモリM3へ出力する。
【0280】
伸長回路B2は、圧縮回路A2で圧縮符号化されて、フレームメモリM3のフレーム領域M3a又はフレーム領域M3bに記憶された画像データを復号し、元の画像データに伸長する。
【0281】
圧縮回路A3は、伸長回路B2で伸長された画像データを非可逆圧縮符号化し、データ量を圧縮して、フレームメモリM4へ出力する。
【0282】
伸長回路B3は、圧縮回路A3で圧縮符号化されて、フレームメモリM4のフレーム領域M4a、フレーム領域M4b、フレーム領域M4c、又は、フレーム領域M4dに記憶された画像データを復号し、元の画像データに伸長する。
【0283】
ここで、圧縮回路A1の圧縮率>圧縮回路A2の圧縮率>圧縮回路A3の圧縮率、である。
【0284】
なお、圧縮回路A1の圧縮符号化方式が、可逆圧縮符号化方式であり、圧縮回路A2、A3の圧縮符号化方式が、非可逆圧縮符号化方式であれば、圧縮回路A1〜A3における圧縮符号化方式は、実施の形態1における圧縮回路Aiと同様に、特定の圧縮符号化方式に限定されるものではない。
【0285】
次に、制御手段4について説明する。
メモリ制御回路MC1は、フレームメモリM1への画像データの書き込み時、及び、フレームメモリM1からの画像データの読み出し時、のアドレス生成及び管理を行う。
【0286】
同様に、メモリ制御回路MC2〜MC4は、対応するフレームメモリM2〜M4への画像データの書き込み時、及び、対応するフレームメモリM2〜M4からの画像データの読み出し時、のアドレス生成及び管理を行う。
【0287】
制御回路42は、メモリ制御回路MC1〜MC4、画像データ圧縮手段1、及び、画像データ伸長手段3、を制御する。
【0288】
さて、次に、画像データ記憶手段2への画像データの書き込みについて説明する。
【0289】
図6の画像データ記憶装置には、フレームが順次入力されるが、入力されたあるフレームを基準にして、先に入力されたフレームを、前のフレーム、と呼ぶ。
【0290】
なお、前のフレームを、基準となるフレームより過去のフレームと呼ぶこともある。
【0291】
フレームメモリM1のフレーム領域M1a及びフレーム領域M1bは、復号対象フレームの画像データ、及び、復号対象フレームを基準に1フレーム前の参照フレームの画像データを記憶する。
【0292】
フレームメモリM2のフレーム領域M2a及びフレーム領域M2bは、復号対象フレームを基準に2フレーム前及び3フレーム前の参照フレームの画像データを記憶する。
【0293】
フレームメモリM3のフレーム領域M3a及びフレーム領域M3bは、復号対象フレームを基準に4フレーム前及び5フレーム前の参照フレームの画像データを記憶する。
【0294】
フレームメモリM4のフレーム領域M4a、フレーム領域M4b、フレーム領域M4c、及び、フレーム領域M4dは、復号対象フレームを基準に6フレーム前、7フレーム前、8フレーム前、及び、9フレーム前の参照フレームの画像データを記憶する。
【0295】
ここで、フレームメモリM1での画像データの記憶形態は、画像データ記憶装置の外部から入力された画像データを圧縮せずに記憶する形態である。
【0296】
フレームメモリM2での画像データの記憶形態は、画像データを圧縮回路A1で可逆圧縮符号化して記憶する形態である。
【0297】
フレームメモリM3での画像データの記憶形態は、画像データを圧縮回路A2で非可逆圧縮符号化して記憶する形態である。
【0298】
フレームメモリM4での画像データの記憶形態は、画像データを圧縮回路A3で非可逆圧縮符号化して記憶する形態である。
【0299】
ただし、圧縮回路A3は、圧縮回路A2よりも大きい圧縮率で非可逆圧縮符号化を行う。
【0300】
以上のように、フレームメモリM2〜M4の各々は、画像データを圧縮して記憶する。
【0301】
このため、フレームメモリM2〜M4の各々では、画像データを圧縮せずに記憶するフレームメモリM1と比較して、1フレーム当たりの記憶容量を削減できる。
【0302】
また、フレームメモリM3、M4の各々は、画像データを非可逆圧縮符号化して記憶する。
【0303】
このため、フレームメモリM3、M4の各々では、画像データを可逆圧縮符号化して記憶するフレームメモリM2と比較して、1フレーム当たりの記憶容量を削減できる。
【0304】
また、フレームメモリM4は、画像データを、圧縮回路A2より圧縮率が大きい圧縮回路A3で圧縮して記憶する。
【0305】
このため、フレームメモリM4では、画像データを圧縮回路A2で圧縮して記憶するフレームメモリM3と比較して、1フレーム当たりの記憶容量を削減できる。
【0306】
以上のように、画像データ記憶手段2では、複数のフレームメモリM1〜M4を設けて、段階的に1フレーム当たりの記憶領域を少なくしている。
【0307】
さて、次に、画像データ記憶手段2からの画像データの読み出しについて説明する。
【0308】
画像データ記憶手段2から画像データを読み出す際には、制御信号Sによって、読み出すべきマクロブロックが制御回路42に指定される。
【0309】
そして、制御回路42は、指定されたマクロブロックを記憶しているフレームメモリM1〜M4の制御を行っているメモリ制御回路MC1〜MC4に対して、指定されたマクロブロックを読み出すように指示する。
【0310】
読み出すべきマクロブロックが、フレームメモリM1に記憶されている場合には、読み出すべきマクロブロックの画像データは圧縮符号化されていないので、画像データ記憶装置の外部へ直接出力される。
【0311】
読み出すべきマクロブロックが、フレームメモリM2〜M4に記憶されている場合には、対応する伸長回路B1〜B3により復号されて、画像データ記憶装置の外部へ出力される。
【0312】
なお、メモリ制御手段41は、実施の形態1におけるメモリ制御手段41と同様に、画像データ記憶手段2に記憶されたフレームの画像データをマクロブロック単位で任意に外部へ出力できるように、第1の記憶関連情報(図2参照)及び第2の記憶関連情報(図3参照)を保持する。
【0313】
このように、画像データ記憶装置から外部へ画像データを読み出す処理(画像データ伸長手段3による伸長復号化処理及び外部への出力)は、マクロブロック単位で行われる。
【0314】
同様に、画像データ記憶装置の外部から入力された画像データを書き込む処理(外部からの入力、及び、画像データ圧縮手段1による圧縮符号化処理)も、マクロブロック単位で行われる。
【0315】
マクロブロック単位での処理を行う際の各フレームメモリM1〜M4におけるアドレス制御は、対応するメモリ制御回路MC1〜MC4が行う。
【0316】
さて、次に、フレームメモリM1〜M4に記憶された画像データの更新時の動作を説明する。
【0317】
図7は、フレームメモリM1〜M4に記憶された画像データの更新時の動作の説明図である。
【0318】
図7では、状態1、状態2−1、状態2−2、状態2−3、及び、状態3において、フレームメモリM1〜M4のフレーム領域M1a、M1b、M2a、M2b、M3a、M3b、M4a〜M4dに、何番目のフレームが記憶されているかを示している。また、番号が小さくなるほど、前のフレーム(過去のフレーム)であるとする。
【0319】
さて、状態1は、s番目のフレームの復号が完了した時点でのフレームメモリM1〜M4の状態を表している。「s」は、10以上の整数である。
【0320】
つまり、状態1では、フレームメモリM1のフレーム領域M1aには、s番目のフレームが記憶され、フレーム領域M1bには、s−1番目のフレームが記憶され、フレームメモリM2のフレーム領域M2aには、s−2番目のフレームが記憶され、フレーム領域M2bには、s−3番目のフレームが記憶され、フレームメモリM3のフレーム領域M3aには、s−4番目のフレームが記憶され、フレーム領域M3bには、s−5番目のフレームが記憶され、フレームメモリM4のフレーム領域M4aには、s−6番目のフレームが記憶され、フレーム領域M4bには、s−7番目のフレームが記憶され、フレーム領域M4cには、s−8番目のフレームが記憶され、フレーム領域M4dには、s−9番目のフレームが記憶される。
【0321】
なお、状態1では、s番目のフレームが、復号対象フレームである。s−1番目のフレームが、復号対象フレームより1フレーム前の参照フレームであり、s−2番目のフレームが、復号対象フレームより2フレーム前の参照フレームであり、s−3番目のフレームが、復号対象フレームより3フレーム前の参照フレームであり、s−4番目のフレームが、復号対象フレームより4フレーム前の参照フレームであり、s−5番目のフレームが、復号対象フレームより5フレーム前の参照フレームであり、s−6番目のフレームが、復号対象フレームより6フレーム前の参照フレームであり、s−7番目のフレームが、復号対象フレームより7フレーム前の参照フレームであり、s−8番目のフレームが、復号対象フレームより8フレーム前の参照フレームであり、s−9番目のフレームが、復号対象フレームより9フレーム前の参照フレームである。
【0322】
さて、次のフレームであるs+1番目のフレームの復号処理に移る前に、参照フレームの更新を行わなければならない。
【0323】
参照フレームの更新の際は、各フレームメモリM1〜M4において、時間的に最も古い参照フレームを記憶しているフレーム領域に、新たに記憶する参照フレームの画像データが上書きされる。この点を詳しく説明する。
【0324】
状態2−1は、6〜9フレーム前の参照フレームを記憶するフレームメモリM4(状態1)に記憶された参照フレームを更新する際のフレームメモリM1〜M4の状態を表している。
【0325】
フレームメモリM4に記憶された参照フレームを更新する際の動作を、状態2−1を参照しながら説明する。
【0326】
s−6、s−7、及び、s−8番目の参照フレームを記憶するフレーム領域M4a〜M4cは、s+1番目のフレームの復号時における7〜9フレーム前の参照フレームとして、記憶している参照フレームをそのまま保持する。
【0327】
一方、状態1では5フレーム前の参照フレームであったs−5番目の参照フレームの画像データが、フレーム領域M3bから読み出されて、伸長回路B2で伸長され、圧縮回路A3で再圧縮される。
【0328】
そして、s+1番目のフレームの復号時には参照フレームとして必要のないs−9番目の参照フレームを記憶しているフレーム領域M4dに、再圧縮されたs−5番目の参照フレームの画像データが書き込まれる。
【0329】
フレーム領域M4dに書き込まれたs−5番目の参照フレームの画像データが、s+1番目のフレームの復号時における6フレーム前の参照フレームとなる。 状態2−2は、4、5フレーム前の参照フレームを記憶するフレームメモリM3(状態1)に記憶された参照フレームを更新する際のフレームメモリM1〜M4の状態を表している。
【0330】
フレームメモリM3に記憶された参照フレームを更新する際の動作を、状態2−2を参照しながら説明する。
【0331】
s−4番目の参照フレームを記憶するフレーム領域M3aは、s+1番目のフレームの復号時における5フレーム前の参照フレームとして、記憶している参照フレームをそのまま保持する。
【0332】
一方、状態1では3フレーム前の参照フレームであったs−3番目の参照フレームの画像データが、フレーム領域M2bから読み出されて、伸長回路B1で伸長され、圧縮回路A2で再圧縮される。
【0333】
そして、状態1ではs−5番目の参照フレームを記憶していたフレーム領域M3bに、再圧縮されたs−3番目の参照フレームの画像データが書き込まれる。
【0334】
フレーム領域M3bに書き込まれたs−3番目の参照フレームの画像データが、s+1番目のフレームの復号時における4フレーム前の参照フレームとなる。
【0335】
状態2−3は、2、3フレーム前の参照フレームを記憶するフレームメモリM2(状態1)に記憶された参照フレームを更新する際のフレームメモリM1〜M4の状態を表している。
【0336】
フレームメモリM2に記憶された参照フレームを更新する際の動作を、状態2−3を参照しながら説明する。
【0337】
s−2番目の参照フレームを記憶するフレーム領域M2aは、s+1番目のフレームの復号時における3フレーム前の参照フレームとして、記憶している参照フレームをそのまま保持する。
【0338】
一方、状態1では1フレーム前の参照フレームであったs−1番目の参照フレームの画像データが、フレーム領域M1bから読み出されて、圧縮回路A1で圧縮される。
【0339】
そして、状態1ではs−3番目の参照フレームを記憶していたフレーム領域M2bに、圧縮されたs−1番目の参照フレームの画像データが書き込まれる。
【0340】
フレーム領域M2bに書き込まれたs−1番目の参照フレームの画像データが、s+1番目のフレームの復号時における2フレーム前の参照フレームとなる。
【0341】
状態3は、s+1番目のフレームの復号開始時のフレームメモリM1〜M4の状態を表している。
【0342】
フレームメモリM1に記憶された参照フレームを更新する際の動作を、状態3を参照しながら説明する。
【0343】
s番目のフレームを記憶するフレーム領域M1aは、s+1番目のフレームの復号時における1フレーム前の参照フレームとして、記憶しているフレームをそのまま保持する。
【0344】
以上のようにして、フレームメモリM1〜M4に記憶された参照フレームが更新される。
【0345】
なお、マクロブロック単位でのデータの入出力が可能であるため、各フレームメモリM1〜M4における参照フレームの更新は、並列して行うことができる(並列処理可能)。よって、処理時間の短縮が図れる。
【0346】
さて、以上のように、本実施の形態では、フレームメモリM2〜M4には、圧縮符号化を行った画像データが記憶される。
【0347】
このため、フレームメモリM2〜M4の各々では、圧縮せずに画像データを記憶するフレームメモリM1と比較して、1フレーム当たりの記憶容量を削減できる。
【0348】
また、フレームメモリM3、M4には、非可逆圧縮符号化を行った画像データが記憶される。
【0349】
このため、フレームメモリM3、M4の各々では、可逆圧縮符号化を行った画像データを記憶するフレームメモリM2と比較して、記憶容量を削減できる。
【0350】
また、フレームメモリM4は、画像データを、圧縮回路A2より圧縮率が大きい圧縮回路A3で圧縮して記憶する。
【0351】
このため、フレームメモリM4では、画像データを圧縮回路A2で圧縮して記憶するフレームメモリM3と比較して、1フレーム当たりの記憶容量を削減できる。
【0352】
以上のように、本実施の形態では、復号対象フレームを基準にして、時間的に過去になるにしたがって、1フレームに割り当てる記憶領域が小さくなるため、画像データ記憶手段2の記憶容量の大幅な削減が可能となる。
【0353】
なお、非可逆圧縮符号化を行った場合には、復号の際に画像データの劣化が生じる。
【0354】
このため、非可逆圧縮された画像データを参照フレームとして用いた場合、復号した画像の画質が劣化し、以降イントラフレームが再生されるまで、誤差が蓄積される。
【0355】
しかし、動画像におけるフレーム間の相関を考えた場合、時間的に近い程相関が高く、遠い程相関が低い傾向が強く、参照フレームとして使用される頻度も時間的に近いものが使用される割合が高い。
【0356】
つまり、復号対象フレームを基準にして、1フレーム前の参照フレームを使用することが最も多く、次に、2、3フレーム前、次に、4、5フレーム前、次に、6〜9フレーム前の参照フレームという順になる。
【0357】
このように、非可逆圧縮符号化が行われる4〜9フレーム前の参照フレームを使用する頻度は低い。
【0358】
従って、非可逆圧縮符号化が施された参照フレームを使用することによる復号後の画像の画質の劣化は極力回避される。
【0359】
さて、圧縮された画像データを参照フレームとして使用する場合には、伸長回路B1〜B3で伸長しなければならい。
【0360】
このため、動画像復号化装置による復号処理時には、伸長回路B1〜B3による伸長処理のための時間を余計に要してしまう。
【0361】
しかし、使用頻度が最も高い1フレーム前の参照フレームの画像データは、圧縮せずに記憶しているため、伸長処理のための時間は必要がない。
【0362】
従って、本実施の形態では、動画像復号化装置による復号化処理において、伸長処理のための時間を大幅に削減できる。
【0363】
さて、これまで説明してきたように、本実施の形態では、参照フレームの時間的位置によって使用される頻度が異なる傾向に着目している。
【0364】
そして、画像データ記憶手段2のフレームメモリM1〜M4では、復号対象フレームに時間的に近く、使用頻度が高い参照フレームに、記憶領域を多く割り当て、時間的に遠く使用頻度が低い参照フレームには、記憶領域の割り当てを段階的に少なくしている。この場合、使用頻度が最も高い参照フレームは、圧縮せずに記憶する。
【0365】
こうすることで、圧縮処理及び伸長処理の増加による復号化処理時間の増加を抑制しながらも、画像データ記憶手段2の記憶容量の削減を可能としている。
【0366】
さて、上記では、図5の動画像復号化装置における画像データ記憶装置80について説明したが、図4の動画像符号化装置における画像データ記憶装置80も、図6に示した画像データ記憶装置と同様の構成を有し、同様の動作及び効果を有する。
【0367】
なお、本実施の形態では、参照フレームの数を9枚とした。ただし、参照フレームの数は、これに限定されるものではなく、任意の数とすることができる。
【0368】
また、本実施の形態では、フレームメモリM1〜M3の各々では、フレーム領域を2つとし、フレームメモリM4では、フレーム領域を4つとした。
【0369】
ただし、1つのフレームメモリ当たりのフレーム領域の数は、これに限定されるものではなく、任意の数のフレーム領域を設けることができる。
【0370】
また、本実施の形態では、画像データ記憶手段2における記憶形態は、4種類とし、4つのフレームメモリM1〜M4を設けた。
【0371】
ただし、画像データ記憶手段2における記憶形態の種類は、これに限定されるこのではなく、任意の種類の記憶形態を採用し、任意の数のフレームメモリを設けることができる。
【0372】
つまり、記憶形態の種類に応じて、圧縮回路及び伸長回路を適宜挿入または削除して、フレームメモリの数を変えることもできる。
【0373】
また、本実施の形態では、符号化対象フレームの1フレーム前の参照フレームは、圧縮せずに記憶したが、圧縮して記憶することもできる。
【0374】
ただし、使用頻度を考慮すると、圧縮せずに記憶することが好ましい。
【0375】
また、本実施の形態では、画像データ圧縮手段1による圧縮方式として、可逆圧縮及び非可逆圧縮を採用したが、各圧縮回路による圧縮率を異ならせ、可逆圧縮だけ、あるいは、非可逆圧縮だけ、を採用することもできる。
【0376】
また、本実施の形態では、画像データ圧縮手段1において、可逆圧縮を行う圧縮回路を1つ、非可逆圧縮を行う圧縮回路を2つとした。
【0377】
ただし、可逆圧縮を行う圧縮回路及び非可逆圧縮を行う圧縮回路の数は、これに限定されるものではない。
【0378】
また、本実施の形態では、フレームメモリMjへの蓄積処理、及び、フレームメモリMjからの出力処理、のデータ処理単位は、16×16画素のマクロブロック単位として説明した。
【0379】
ただし、データ処理単位は、マクロブロック単位に限定するものではない。例えば、8×8画素、8×16画素等、データ処理単位となるブロックサイズは、任意に決定できる。
【0380】
また、図4の動画像符号化装置及び図5の動画像復号化装置の画像データ記憶装置80として、図6の画像データ記憶装置のみならず、図1の画像データ記憶装置を使用できる。
【0381】
また、上記では、図4の動画像符号化装置と、図5の動画像復号化装置と、を組み合わせた動画像圧縮伸長システムを説明したが、必ずしも両者を組み合わせて使用する必要はなく、図4の動画像符号化装置と、一般的な動画像復号化装置と、を組み合わせて使用したり、また、一般的な動画像符号化装置と、図5の動画像復号化装置と、を組み合わせて使用することもできる。
【0382】
また、実施の形態1と同様に、上記した図6の画像データ記憶装置は、それ単体で使用することもできる。
【0383】
この場合、例えば、静止画像を記憶するために用いることができる。そして、画像データの使用目的に応じて、画像データの画質、記憶枚数、等を考慮した適切な記憶形態を選択できる。このため、この場合も、処理量の増加の抑制を図りながらも、記憶容量の削減を図ることができる。
【0384】
また、上記した図6の画像データ記憶装置では、圧縮回路A1〜A3の各々の圧縮率は、互いに異なっていた。
【0385】
しかし、これに限定されるものではなく、例えば、圧縮回路A1〜A3の各々の圧縮方式を、互いに異なるようにすることもできる。この場合、圧縮回路A1〜A3の各々の圧縮率は、互いに同じにすることもできるし、異なるようにすることもできる。
【0386】
これにより、ユーザは、画像データを、圧縮せずに記憶するのか、あるいは、圧縮して記憶するのか、さらに、圧縮して記憶する場合は、どの圧縮方式で圧縮して記憶するのか、をフレーム単位で任意に選択できる。
【0387】
その結果、ユーザの利便性の向上を図りながらも、記憶容量の削減を図ることができる。
【0388】
(実施の形態2)
本発明の実施の形態2における動画像圧縮伸長システムは、動画像符号化装置及び動画像復号化装置、を備える。
【0389】
この動画像符号化装置の全体構成は、図4の動画像符号化装置の全体構成と同様である。
【0390】
従って、実施の形態2では、図4の動画像符号化装置を、実施の形態2における動画像符号化装置として説明する。
【0391】
この動画像復号化装置の全体構成は、図5の動画像復号化装置の全体構成と同様である。
【0392】
従って、実施の形態2では、図5の動画像復号化装置を、実施の形態2における動画像復号化装置として説明する。
【0393】
実施の形態2における図5の動画像復号化装置の画像データ記憶装置80について説明する。
【0394】
実施の形態2における図5の動画像復号化装置の画像データ記憶装置80では、図6の画像データ圧縮手段1による圧縮方式を、間引きによる圧縮方式にし、図6の画像データ伸長手段3による伸長方式を、線形補間による伸長方式にしたものである。以下、具体的に説明する。
【0395】
図8は、実施の形態2における図5の画像データ記憶装置80のブロック図である。
【0396】
なお、図8において、図6と同様の部分については、同一の符号を付して、説明を適宜省略する。
【0397】
図8に示すように、この画像データ記憶装置は、画像データ圧縮手段1、画像データ記憶手段2、画像データ伸長手段3、及び、制御手段4、を具備する。
【0398】
画像データ圧縮手段1は、間引き回路C1、C2、C3を含む。なお、間引き回路C1、C2、C3は、それぞれ、図6の圧縮手段A1、A2、A3に相当する。
【0399】
画像データ伸長手段3は、補間回路31を含む。なお、補間回路31は、図6の伸長回路B1〜B3に相当する。
【0400】
画像データ記憶手段2及び制御手段4の構成は、それぞれ、図6の画像データ記憶手段2及び制御手段4と同様である。
【0401】
さて、次に、図8の画像データ記憶装置の動作を説明する。図8の画像データ記憶装置の動作は、圧縮及び伸長処理を除けば、図6の画像データ記憶装置の動作と同様である。従って、以下では、実施の形態1と異なる点を中心に説明する。
【0402】
間引き回路C1〜C3による間引き処理、及び、補間回路31による補間処理、について説明する。まず、間引き処理について説明する。
【0403】
図9は、縦方向に行う間引き処理の説明図である。図9(a)は、間引き前の画像データの例示図、図9(b)は、間引き後の画像データの例示図である。
【0404】
図9において、白い円及び黒い円の各々は、1つの画素データを表している。
【0405】
図9(a)に示すように、画像データが、8×8画素の画素ブロック200であり、この画素ブロックに対して、縦方向に間引き処理を行う場合を説明する。
【0406】
この場合、黒い円で表される画素データを取り除くことにより、縦方向の間引き処理が実行される。
【0407】
その結果、図9(b)に示すように、画素ブロック200と比較して、縦方向に1/2にデータ量が圧縮された画素ブロック210を得ることができる。
【0408】
図10は、横方向に行う間引き処理の説明図である。図10(a)は、間引き前の画像データの例示図、図10(b)は、間引き後の画像データの例示図である。
【0409】
図10において、白い円及び黒い円の各々は、1つの画素データを表している。
【0410】
図10(a)に示すように、画像データが、8×8画素の画素ブロック300であり、この画素ブロックに対して、横方向に間引き処理を行う場合を説明する。
【0411】
この場合、黒い円で表される画素データを取り除くことにより、横方向の間引き処理が実行される。
【0412】
その結果、図10(b)に示すように、画素ブロック300と比較して、横方向に1/2にデータ量が圧縮された画素ブロック310を得ることができる。
【0413】
次に、補間処理について説明する。補間処理は、間引き処理の逆の処理を行うものである。
【0414】
つまり、図9(b)の画素ブロック210における上下に隣接する画素データを利用した線形補間により、画素ブロック200における黒い円の画素データに相当する画素データを求め、求めた画素データを該当する位置に挿入することにより、縦方向の補間処理が実行される。
【0415】
また、図10(b)の画素ブロック310における左右に隣接する画素データを利用した線形補間により、画素ブロック300における黒い円の画素データに相当する画素データを求め、求めた画素データを該当する位置に挿入することにより、横方向の補間処理が実行される。
【0416】
さて、次に、図8の間引き回路C1〜C3及び補間回路31の動作を、フレームメモリM1〜M4との関連で具体的に説明する。
【0417】
図11は、フレームメモリM1〜M4に記憶される画像データの概念図である。図11(a)は、フレームメモリM1に記憶される画像データの概念図、図11(b)は、フレームメモリM2に記憶される画像データの概念図、図11(c)は、フレームメモリM3に記憶される画像データの概念図、図11(d)は、フレームメモリM4に記憶される画像データの概念図、である。
【0418】
フレームメモリM1の記憶形態は、画像データを圧縮せずに記憶する形態であるため、図11(a)に示すように、フレームメモリM1のフレーム領域M1a、M1bの各々には、間引き処理が施されないS×T画素の画素ブロック400が記憶される。
【0419】
従って、フレームメモリM1には、画像データが、画像データ記憶装置の外部から直接入力され、そして、記憶される。
なお、ここでは、1フレームは、S×T画素からなるとする。
【0420】
間引き回路C1、C3は、縦方向に間引き処理を行う回路であり、間引き回路C2は、横方向の間引き処理を行う回路である。
【0421】
従って、図11(b)に示すように、フレームメモリM2のフレーム領域M2a、M2bの各々には、間引き回路C1により縦方向に間引きされて、画素ブロック400と比較して、データ量が縦方向に1/2に圧縮された画素ブロック410が記憶される。
【0422】
また、図11(c)に示すように、フレームメモリM3のフレーム領域M3a、M3bの各々には、間引き回路C2により横方向に間引きされて、画素ブロック410と比較して、データ量が横方向に1/2に圧縮された画素ブロック420が記憶される。
【0423】
また、図11(d)に示すように、フレームメモリM4のフレーム領域M4a〜M4dの各々には、間引き回路C3により縦方向に間引きされて、画素ブロック420と比較して、データ量が縦方向に1/2に圧縮された画素ブロック430が記憶される。
【0424】
さて、補間回路31は、必要な回数の補間処理を繰り返して、間引き処理により間引いた画素を復元する。
【0425】
さて、本実施の形態では、画像データ記憶手段2に記憶された参照フレームの更新処理において、フレームメモリM2からフレームメモリM3へ記憶形態を変更して参照フレームを移す場合、及び、フレームメモリM3からフレームメモリM4へ記憶形態を変更して参照フレームを移す場合に、実施の形態1とは違って、伸長回路を経由せずに、間引き回路C2又は間引き回路C3により、直接、圧縮処理を行うことが可能である。加えて、間引き処理は、比較的簡単な処理である。
【0426】
このため、画像データ記憶手段2に記憶された参照フレームの更新処理を高速に行うことが可能である。
【0427】
また、本実施の形態では、画像データ記憶装置から外部へ画像データを読み出す処理(画像データ伸長手段3の補間回路31による補間処理及び外部への出力)は、任意のブロックサイズで行うことができる。
【0428】
また、画像データ記憶装置の外部から入力された画像データを書き込む処理(外部からの入力、及び、画像データ圧縮手段1の間引き回路C1〜C3による間引き処理)も、任意のブロックサイズで行うことができる。
【0429】
また、本実施の形態では、フレームメモリM2〜M4に記憶された画像データは、間引き回路C1〜C3による間引き処理により圧縮された画像データである。
【0430】
このため、フレームメモリM2〜M4に記憶された画像データの伸長処理は、線形補間により行うことができる。
【0431】
従って、3つのフレームメモリM2〜M4で、線形補間を行う補間回路31を共有でき、回路規模の削減を図ることができる。
【0432】
また、本実施の形態では、実施の形態1と同様に、各参照フレームは、使用頻度を考慮した適切な記憶形態で記憶される。
【0433】
その結果、本実施の形態では、実施の形態1と同様に、処理量の増加の抑制を図りながらも、記憶容量の削減を図ることができる。
【0434】
さて、上記では、図5の動画像復号化装置における画像データ記憶装置80について説明をしたが、図4の動画像符号化装置における画像データ記憶装置80も、図8に示した画像データ記憶装置と同様の構成を有し、同様の動作及び効果を有する。
【0435】
なお、本実施の形態では、1画素毎に画素データを間引くことにより、間引き処理を行ったが、間引きを行う画素の間隔は、これに限定されるものではない。
【0436】
また、本実施の形態では、縦方向、横方向、及び、縦方向、という順序で間引きを行ったが、間引きの方向の順番は、これに限定されるものではない。
【0437】
また、本実施の形態では、間引き回路C1では、縦方向だけ、間引き回路C2では、横方向だけ、間引き回路C3では、縦方向だけ、というように、各間引き回路C1〜C3による間引きの方向を一方向としたが、一度に横方向と縦方向との間引きを行うことも可能である。
【0438】
また、本実施の形態では、補間回路31は、上下に隣接する画素データを利用した線形補間、あるいは、左右に隣接する画素データを利用した線形補間、を行った。
【0439】
ただし、このような2画素を用いた線形補間に限定されるものではなく、近隣の4画素、近隣の8画素、等、任意の数の画素を用いた補間方法を採用することもできる。
【0440】
また、図4の動画像符号化装置及び図5の動画像復号化装置の画像データ記憶装置80として、図8の画像データ記憶装置のみならず、図1の画像データ記憶装置を使用できる。
【0441】
また、上記では、図4の動画像符号化装置と、図5の動画像復号化装置と、を組み合わせた動画像圧縮伸長システムを説明したが、必ずしも両者を組み合わせて使用する必要はなく、図4の動画像符号化装置と、一般的な動画像復号化装置と、を組み合わせて使用したり、また、一般的な動画像符号化装置と、図5の動画像復号化装置と、を組み合わせて使用することもできる。
【0442】
また、実施の形態1と同様に、上記した図8の画像データ記憶装置は、それ単体で使用することもできる。
【0443】
この場合、例えば、静止画像を記憶するために用いることができる。そして、画像データの使用目的に応じて、画像データの画質、記憶枚数、等を考慮した適切な記憶形態を選択できる。このため、この場合も、処理量の増加の抑制を図りながらも、記憶容量の削減を図ることができる。
【0444】
(実施の形態3)
本発明の実施の形態3における動画像圧縮伸長システムは、動画像符号化装置及び動画像復号化装置、を備える。
【0445】
この動画像符号化装置の全体構成は、図4の動画像符号化装置の全体構成と同様である。
【0446】
従って、実施の形態3では、図4の動画像符号化装置を、実施の形態3における動画像符号化装置として説明する。
【0447】
この動画像復号化装置の全体構成は、図5の動画像復号化装置の全体構成と同様である。
【0448】
従って、実施の形態3では、図5の動画像復号化装置を、実施の形態3における動画像復号化装置として説明する。
【0449】
実施の形態3における図5の動画像復号化装置の画像データ記憶装置80について説明する。
【0450】
実施の形態3における図5の動画像復号化装置の画像データ記憶装置80では、図6の画像データ圧縮手段1による圧縮方式を、ウェーブレット変換による圧縮方式にし、図6の画像データ伸長手段3による伸長方式を、逆ウェーブレット変換による伸長方式にしたものである。以下、具体的に説明する。
【0451】
図12は、実施の形態3における図5の画像データ記憶装置80のブロック図である。
【0452】
なお、図12において、図6と同様の部分については、同一の符号を付して、説明を適宜省略する。
【0453】
図12に示すように、この画像データ記憶装置は、画像データ圧縮手段1、画像データ記憶手段2、画像データ伸長手段3、及び、制御手段4、を具備する。
【0454】
画像データ圧縮手段1は、ウェーブレット変換回路D1、D2、及び、データ削減回路E1、E2、E3、を含む。
【0455】
なお、ウェーブレット変換回路D1及びデータ削減回路E1は、図6の圧縮手段A1に相当し、データ削減回路E2は、図6の圧縮手段A2に相当し、ウェーブレット変換回路D2及びデータ削減回路E3は、図6の圧縮手段A3に相当する。
【0456】
画像データ伸長手段3は、逆ウェーブレット変換回路32、及び、データ補間回路33、を含む。
【0457】
なお、逆ウェーブレット変換回路32、及び、データ補間回路33は、図6の伸長回路B1〜B3に相当する。
【0458】
画像データ記憶手段2及び制御手段4の構成は、それぞれ、図6の画像データ記憶手段2及び制御手段4と同様である。
【0459】
さて、次に、図12の画像データ記憶装置の動作を説明する。図12の画像データ記憶装置の動作は、圧縮及び伸長処理を除けば、図6の画像データ記憶装置の動作と同様である。従って、以下では、実施の形態1と異なる点を中心に説明する。
【0460】
ウェーブレット変換回路D1、D2によるウェーブレット変換、及び、逆ウェーブレット変換回路32による逆ウェーブレット変換、について説明する。まず、ウェーブレット変換について説明する。
【0461】
図13は、ウェーブレット変換の説明図である。図13(a)は、ウェーブレット変換前の画像データの概念図、図13(b)は、ウェーブレット変換後の画像データの概念図である。
【0462】
ウェーブレット変換は、画像データを低周波領域の成分と高周波領域の成分とに分割するフィルタ処理である。
【0463】
そして、画像データは、2次元データであるため、1回のウェーブレット変換処理では、縦方向及び横方向に2度のフィルタ処理を行うこととなる。
【0464】
図13(a)に示す画素ブロック500が、ウェーブレット変換を施す画像データとする。
【0465】
画素ブロック500に対して、ウェーブレット変換を施すと、図13(b)に示すように、4つのブロック510a、510b、510c、510dに4等分されたブロック510を得ることができる。
【0466】
ブロック510aは、横方向及び縦方向共に低周波領域成分の画像データからなるLL成分ブロックである。
【0467】
ブロック510bは、横方向は低周波領域成分、縦方向は高周波領域成分の画像データからなるLH成分ブロックである。
【0468】
ブロック510cは、横方向は高周波領域成分、縦方向は低周波領域成分の画像データからなるHL成分ブロックである。
【0469】
ブロック510dは、横方向及び縦方向共に高周波領域成分の画像データからなるHH成分ブロックである。
【0470】
次に、逆ウェーブレット変換について説明する。逆ウェーブレット変換は、ウェーブレット変換処理の逆フィルタ処理であり、ブロック510から画素ブロック500に変換する処理である。
【0471】
なお、ブロック510を構成する4つのブロック510a〜510dのうちの削減されたブロックについては、データ補間回路33が、削減されたブロックのウェーブレット変換係数の全てに「0」を補間し、その後、逆ウェーブレット変換回路32が、逆ウェーブレット変換処理を行う。
【0472】
さて、次に、図12の画像データ圧縮手段1及び画像データ伸長手段3の動作を、フレームメモリM1〜M4との関連で具体的に説明する。
【0473】
図14は、フレームメモリM1〜M4に記憶される画像データの概念図である。図14(a)は、フレームメモリM1に記憶される画像データの概念図、図14(b)は、フレームメモリM2に記憶される画像データの概念図、図14(c)は、フレームメモリM3に記憶される画像データの概念図、図14(d)は、フレームメモリM4に記憶される画像データの概念図、である。
【0474】
フレームメモリM1の記憶形態は、画像データを圧縮せずに記憶する形態であるため、図14(a)に示すように、フレームメモリM1のフレーム領域M1a、M1bの各々には、ウェーブレット変換が施されないS×T画素の画素ブロック600が記憶される。
【0475】
従って、フレームメモリM1には、画像データが、画像データ記憶装置の外部から直接入力され、そして、記憶される。
なお、ここでは、1フレームは、S×T画素からなるとする。
【0476】
さて、ウェーブレット変換回路D1は、フレームメモリM1から読み出した画素ブロック600に対して、ウェーブレット変換を施し、LL成分ブロック、LH成分ブロック、HL成分ブロック、及び、HH成分ブロック、からなるブロック(図13(b)参照)を生成する。
【0477】
そして、データ削減回路E1は、そのブロックから、HL成分ブロック、及び、HH成分ブロック、を削除し、LL成分ブロック、及び、LH成分ブロック、からなるブロックを、フレームメモリM2へ出力する。
【0478】
従って、図14(b)に示すように、フレームメモリM2のフレーム領域M2a、M2bの各々には、LL成分ブロック、及び、LH成分ブロック、からなるブロック610が記憶される。
【0479】
このブロック610のデータ量は、画素ブロック600と比較して、1/2である。
【0480】
さて、データ削減回路E2は、フレームメモリM2から読み出したブロック610から、LH成分ブロック、を削除し、LL成分ブロックのみからなるブロックを、フレームメモリM3へ出力する。
【0481】
従って、図14(c)に示すように、フレームメモリM3のフレーム領域M3a、M3bの各々には、LL成分ブロックのみからなるブロック620が記憶される。
【0482】
このブロック620のデータ量は、ブロック610と比較して、1/2である。
【0483】
さて、ウェーブレット変換回路D2は、フレームメモリM3から読み出したブロック620に対して、ウェーブレット変換を施し、LL成分ブロック、LH成分ブロック、HL成分ブロック、及び、HH成分ブロック、からなるブロックを生成する。
【0484】
ここで、LL成分ブロックのみからなるブロックに対して、ウェーブレット変換を施して、生成されるLL成分を、LL_LL成分と表現し、生成されるLH成分をLL_LH成分と表現し、生成されるHL成分を、LL_HL成分と表現し、生成されるHH成分をLL_HH成分と表現する。
【0485】
そうすると、データ削減回路E3は、LL_LL成分ブロック、LL_LH成分ブロック、LL_HL成分ブロック、及び、LL_HH成分ブロック、からなるブロックから、LL_HL成分ブロック及びLL_HH成分ブロックを削除し、LL_LL成分ブロック及びLL_LH成分ブロックからなるブロックを、フレームメモリM4へ出力する。
【0486】
従って、図14(d)に示すように、フレームメモリM4のフレーム領域M4a〜M4dの各々には、LL_LL成分ブロック及びLL_LH成分ブロックからなるブロック630が記憶される。
【0487】
このブロック630のデータ量は、ブロック620と比較して、1/2である。
【0488】
さて、フレームメモリM2〜M4に記憶された画像データを伸長する際は、データ補間回路33が、データ削減回路E1〜E3により削除されたブロックのウェーブレット変換係数を「0」で補間する。
【0489】
そして、逆ウェーブレット変換回路32は、削除されていないブロック及び補間により得たブロックからなるブロックに対して、逆フィルタ処理を施して、元の画素ブロックに復元する。
【0490】
さて、本実施の形態では、画像データ記憶手段2に記憶された参照フレームの更新処理において、フレームメモリM2からフレームメモリM3へ記憶形態を変更して参照フレームを移す場合、伸長処理を行う逆ウェーブレット変換回路32を経由せずに、データ削減回路E2による圧縮処理を行う。
【0491】
また、画像データ記憶手段2に記憶された参照フレームの更新処理において、フレームメモリM3からフレームメモリM4へ記憶形態を変更して参照フレームを移す場合に、伸長処理を行う逆ウェーブレット変換回路32を経由せずに、ウェーブレット変換回路D2及びデータ削減回路E3による圧縮処理を行う。
【0492】
以上のように、伸長処理を行う逆ウェーブレット変換回路32を経由しないため、画像データ記憶手段2に記憶された参照フレームの更新処理を高速に行うことが可能である。
【0493】
また、本実施の形態では、フレームメモリM2〜M4に記憶された画像データは、ウェーブレット変換回路D1、D2及びデータ削減回路E1〜E3より圧縮された画像データである。
【0494】
このため、フレームメモリM2〜M4に記憶された画像データの伸長処理は、補間及び逆ウェーブレット変換により行うことができる。
【0495】
従って、3つのフレームメモリM2〜M4で、補間を行うデータ補間回路33及び逆ウェーブレット変換を行う逆ウェーブレット変換回路32を共有でき、回路規模の削減を図ることができる。
【0496】
また、人間の視覚にとっては、画像データの高周波領域成分よりも低周波領域成分が重要となる。このため、画像データ圧縮手段1による圧縮の際は、高周波領域成分から削除している。
【0497】
本実施の形態では、データ削減回路E1は、HL成分ブロック及びHH成分ブロックを削除し、データ削減回路E2は、LH成分ブロックを削除し、データ削減回路E3は、LL_HL成分ブロック及びLL_HH成分ブロックを削除している。
【0498】
こうすることで、人間の視覚に重要となる低周波領域成分が残って、伸長後の画像データを参照フレームとして使用して復号した画像の画質の劣化を軽減できる。
【0499】
また、本実施の形態では、実施の形態1と同様に、各参照フレームは、使用頻度を考慮した適切な記憶形態で記憶される。
【0500】
その結果、本実施の形態では、実施の形態1と同様に、処理量の増加の抑制を図りながらも、記憶容量の削減を図ることができる。
【0501】
なお、本実施の形態では、説明の便宜のため、図14(a)に示す画素ブロック600が、1フレームの画像データであるとして説明した。
【0502】
ただし、1回のウェーブレット変換処理の画素ブロックのサイズは、これに限定されるものではない。
【0503】
1フレームの画素ブロックを複数の画素ブロックに分割して、分割した各画素ブロックに対してウェーブレット変換処理を行い、各周波数領域成分を集めて、1フレーム分の画像データとすることもできる。この点を、図14を参照しながら、具体例を挙げて説明する。
【0504】
1フレームの画素ブロックを、例えば、4等分して、1/4の画素ブロックがデータ処理単位とする。
【0505】
そして、この1/4の画素ブロックが、S×T画素からなるとする。そうすると、圧縮しない図14(a)に示す1/4の画素ブロック600を4つ集めて、1フレーム分の画像データとし、この1フレーム分の画像データが、フレームメモリM1のフレーム領域M1a、M1bの各々に記憶される。
【0506】
ウェーブレット変換回路D1は、フレームメモリM1から読み出した1/4の画素ブロック600に対して、ウェーブレット変換を施し、LL成分ブロック、LH成分ブロック、HL成分ブロック、及び、HH成分ブロック、からなるブロック(図13(b)参照)を生成する。
【0507】
そして、データ削減回路E1は、そのブロックから、HL成分ブロック、及び、HH成分ブロック、を削除し、LL成分ブロック、及び、LH成分ブロック、からなるブロックを、フレームメモリM2へ出力する。
【0508】
このような、LL成分ブロック、及び、LH成分ブロック、からなるブロックが、他の3つの1/4の画素ブロック600に対しても生成され、フレームメモリM2へ出力される。
【0509】
従って、図14(b)に示すように、LL成分ブロック、及び、LH成分ブロック、からなるブロック610を4つ集めて、1フレーム分の画像データとし、この1フレーム分の画像データが、フレームメモリM2のフレーム領域M2a、M2bの各々に記憶される。
【0510】
データ削減回路E2は、フレームメモリM2から読み出したブロック610から、LH成分ブロック、を削除し、LL成分ブロックのみからなるブロックを、フレームメモリM3へ出力する。
【0511】
このような、LL成分ブロックのみからなるブロックが、他の3つのブロック610に対しても生成され、フレームメモリM3へ出力される。
【0512】
従って、図14(c)に示すように、LL成分ブロックのみからなるブロッ620を4つ集めて、1フレーム分の画像データとし、この1フレーム分の画像データが、フレームメモリM3のフレーム領域M3a、M3bの各々に記憶される。
【0513】
ウェーブレット変換回路D2は、フレームメモリM3から読み出したブロック620に対して、ウェーブレット変換を施し、LL_LL成分ブロック、LL_LH成分ブロック、LL_HL成分ブロック、及び、LL_HH成分ブロック、からなるブロックを生成する。
【0514】
データ削減回路E3は、LL_LL成分ブロック、LL_LH成分ブロック、LL_HL成分ブロック、及び、LL_HH成分ブロック、からなるブロックから、LL_HL成分ブロック及びLL_HH成分ブロックを削除し、LL_LL成分ブロック及びLL_LH成分ブロックからなるブロックを、フレームメモリM4へ出力する。
【0515】
このような、LL_LL成分ブロック及びLL_LH成分ブロックからなるブロックが、他の3つのブロック620に対しても生成され、フレームメモリM4へ出力される。
【0516】
従って、図14(d)に示すように、LL_LL成分ブロック及びLL_LH成分ブロックからなるブロック630を4つ集めて、1フレーム分の画像データとし、この1フレーム分の画像データが、フレームメモリM4のフレーム領域M4a〜M4dの各々に記憶される。
【0517】
さて、上記では、図5の動画像復号化装置における画像データ記憶装置80について説明をしたが、図4の動画像符号化装置における画像データ記憶装置80も、図12に示した画像データ記憶装置と同様の構成を有し、同様の動作及び効果を有する。
【0518】
なお、図4の動画像符号化装置及び図5の動画像復号化装置の画像データ記憶装置80として、図12の画像データ記憶装置のみならず、図1の画像データ記憶装置を使用できる。
【0519】
また、上記では、図4の動画像符号化装置と、図5の動画像復号化装置と、を組み合わせた動画像圧縮伸長システムを説明したが、必ずしも両者を組み合わせて使用する必要はなく、図4の動画像符号化装置と、一般的な動画像復号化装置と、を組み合わせて使用したり、また、一般的な動画像符号化装置と、図5の動画像復号化装置と、を組み合わせて使用することもできる。
【0520】
また、実施の形態1と同様に、上記した図12の画像データ記憶装置は、それ単体で使用することもできる。
【0521】
この場合、例えば、静止画像を記憶するために用いることができる。そして、画像データの使用目的に応じて、画像データの画質、記憶枚数、等を考慮した適切な記憶形態を選択できる。このため、この場合も、処理量の増加の抑制を図りながらも、記憶容量の削減を図ることができる。
【0522】
(実施の形態4)
図15は、本発明の実施の形態4における動画像圧縮伸長システムのブロックである。なお、図15において、図4又は図5と同様の部分については同一の符号を付して説明を適宜省略する。
【0523】
図15に示すように、この動画像圧縮伸長システムの動画像符号化装置1000は、図4の動画像符号化装置の構成に、多重化回路1100を加えたものである。
【0524】
また、この動画像圧縮伸長システムの動画像復号化装置2000は、図5の動画像復号化装置の構成に、分離回路2100を加えたものである。
【0525】
なお、動画像符号化装置1000の画像データ記憶装置80と、動画像復号化装置2000の画像データ記憶装置80と、は同様のものである。
【0526】
さて、次に、図4及び図5と異なる点を中心に、動作を説明する。
多重化回路1100は、可変長符号化回路40から入力される動画像符号化データと、画像データ記憶装置80から入力される参照フレームの圧縮に関する情報と、の多重化を行い、多重化データとして、通信路1500に送出する。
【0527】
ここで、参照フレームの圧縮に関する情報とは、符号化対象フレームに用いた参照フレームを、動画像符号化装置1000の画像データ記憶装置80に記憶した際に用いた圧縮パラメータ(図2参照)の情報である。
【0528】
動画像復号化装置2000の分離回路2100は、多重化回路1100が送出した多重化データを、通信路1500から入力する。
【0529】
そして、分離回路2100は、多重化データを、動画像符号化データと、参照フレームの圧縮に関する情報と、に分離する。
【0530】
分離回路2100は、この動画像符号化データを可変長復号化回路110に出力し、この参照フレームの圧縮に関する情報を画像データ記憶装置80に出力する。
【0531】
そして、動画像復号化装置2000の画像データ記憶装置80は、動画像符号化装置1000の画像データ記憶装置80で用いた圧縮に関する情報を用いて、参照フレームの圧縮及び伸長を行う。
【0532】
このため、動画像復号化装置2000の画像データ記憶装置80が、参照フレームを非可逆圧縮して記憶し伸長する場合でも、動画像符号化装置1000で符号化の際に用いる参照フレームと、動画像復号化装置2000で復号化の際に用いる参照フレームと、が同一となる。
【0533】
このため、本実施の形態では、動画像符号化装置1000と動画像復号化装置2000との間での参照フレームの画像データの不一致に起因する画質の劣化を防止しながらも、動画像符号化装置1000及び動画像復号化装置2000の画像データ記憶装置80のフレームメモリの記憶容量の削減を行うことができる。
【0534】
なお、図15の動画像符号化装置1000及び動画像復号化装置2000の画像データ記憶装置80として、図6の画像データ記憶装置のみならず、図1、図8、又は、図12の画像データ記憶装置を使用できる。
【0535】
【発明の効果】
第1の発明に係る符号化装置又は復号化装置に備えられる、画像データ記憶装置では、複数のフレームの画像データを記憶する画像データ記憶装置において、各フレームに対して、使用頻度を考慮した適切な記憶形態を選択できる。その他、画像データの使用目的に応じて、画像データの画質、記憶枚数、等を考慮した適切な記憶形態を選択できる。
【0536】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を図ることができる。
【0537】
第2の発明に係る符号化装置又は復号化装置に備えられる、画像データ記憶装置では、複数のフレームの画像データを記憶する画像データ記憶装置において、各フレームに対して、使用頻度を考慮した一層適切な記憶形態を選択できる。その他、画像データの使用目的に応じて、画像データの画質、記憶枚数、等を考慮した一層適切な記憶形態を選択できる。
【0538】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を一層効果的に図ることができる。
【0539】
第3の発明に係る符号化装置又は復号化装置に備えられる、画像データ記憶装置では、複数のフレームの画像データを記憶する画像データ記憶装置において、より一層適切な記憶形態を選択することができるため、処理量の増加の抑制を考慮した記憶容量の削減をより一層効果的に図ることができる。
【0540】
第4の発明に係る符号化装置又は復号化装置に備えられる、画像データ記憶装置では、処理量の増加の抑制を図りながらも、記憶容量の削減を図ることができる。
【0541】
第5の発明に係る符号化装置又は復号化装置に備えられる、画像データ記憶装置では、画像データの圧縮処理及び伸長処理を高速に行うことができる。
【0542】
また、圧縮手段が複数設けられ、これに対応して、第2の記憶手段が複数設けられている場合において、ある第2の記憶手段に記憶された画像データを、記憶形態を変更して、他の第2の記憶手段に記憶させるときに、伸長処理を行うことなく、圧縮処理を行うことができる。
【0543】
従って、ある第2の記憶手段に記憶された画像データを、記憶形態を変更して、他の第2の記憶手段に記憶させる際の処理を高速に行うことができる。
【0544】
また、圧縮手段が複数設けられ、これに対応して、第2の記憶手段が複数設けられている場合において、画像データ伸長手段を、複数の第2の記憶手段で共有できる。従って、回路規模の削減を図ることができる。
【0545】
第6の発明に係る符号化装置又は復号化装置に備えられる、画像データ記憶装置では、圧縮手段が複数設けられ、これに対応して、第2の記憶手段が複数設けられている場合において、ある第2の記憶手段に記憶された画像データを、記憶形態を変更して、他の第2の記憶手段に記憶させるときに、伸長処理を行うことなく、圧縮処理を行うことができる。
【0546】
従って、ある第2の記憶手段に記憶された画像データを、記憶形態を変更して、他の第2の記憶手段に記憶させる際の処理を高速に行うことができる。
【0547】
また、圧縮手段が複数設けられ、これに対応して、第2の記憶手段が複数設けられている場合において、画像データ伸長手段を、複数の第2の記憶手段で共有できる。従って、回路規模の削減を図ることができる。
【0548】
また、人間の視覚にとっては、画像データの高周波領域成分よりも低周波領域成分が重要となるため、圧縮手段による圧縮の際に、高周波領域成分から削除することにすれば、人間の視覚に重要な低周波領域成分が残って、伸長後の画像データを使用した画像処理後の画像の画質の劣化を軽減できる。
【0549】
第7の発明に係る符号化装置又は復号化装置に備えられる、画像データ記憶装置では、第1の記憶手段及び第2の記憶手段が記憶している画像データの更新が可能となる。
【0550】
第8の発明に係る符号化装置又は復号化装置に備えられる、画像データ記憶装置では、第1の記憶手段及び第2の記憶手段が記憶している画像データの更新が可能となる。
【0551】
また、更新処理で画像データ伸長手段を使用しないため、更新処理の高速化が可能となる。
【0552】
第9の発明に係る符号化装置又は復号化装置に備えられる、画像データ記憶装置では、フレーム単位の画像データを記憶する第1の記憶手段又は第2の記憶手段から、画像データを、m×n画素のブロック単位で読み出すことができる。
【0553】
第10の発明に係る符号化装置又は復号化装置に備えられる、画像データ記憶装置では、ユーザは、画像データを、圧縮せずに記憶するのか、あるいは、圧縮して記憶するのか、さらに、圧縮して記憶する場合は、どの圧縮方式で圧縮して記憶するのか、をフレーム単位で任意に選択できる。
【0554】
その結果、ユーザの利便性の向上を図りながらも、記憶容量の削減を図ることができる。
【0555】
第11の発明に係る符号化装置では、複数のフレームを符号化の際の参照フレームとするこができる場合において、各参照フレームに対して、使用頻度を考慮した適切な記憶形態を選択できる。
【0556】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を図ることができる。
【0557】
第12の発明に係る符号化装置では、複数のフレームを符号化の際の参照フレームとするこができる場合において、各参照フレームは、それぞれの使用頻度を考慮した適切な記憶形態で記憶される。
【0558】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を図ることができる。
【0559】
第13の発明に係る符号化装置では、複数のフレームを符号化の際の参照フレームとするこができる場合において、各フレームに対して、使用頻度を考慮した一層適切な記憶形態を選択できる。
【0560】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を一層効果的に図ることができる。
【0561】
第14の発明に係る符号化装置では、複数のフレームを符号化の際の参照フレームとするこができる場合において、各参照フレームは、それぞれの使用頻度を考慮した一層適切な記憶形態で記憶される。
【0562】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を一層効果的に図ることができる。
【0563】
第15の発明に係る復号化装置では、複数のフレームを復号化の際の参照フレームとするこができる場合において、各参照フレームに対して、使用頻度を考慮した適切な記憶形態を選択できる。
【0564】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を図ることができる。
【0565】
第16の発明に係る復号化装置では、複数のフレームを復号化の際の参照フレームとするこができる場合において、各参照フレームは、それぞれの使用頻度を考慮した適切な記憶形態で記憶される。
【0566】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を図ることができる。
【0567】
第17の発明に係る復号化装置では、複数のフレームを復号化の際の参照フレームとするこができる場合において、各フレームに対して、使用頻度を考慮した一層適切な記憶形態を選択できる。
【0568】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を一層効果的に図ることができる。
【0569】
第18の発明に係る復号化装置では、複数のフレームを復号化の際の参照フレームとするこができる場合において、各参照フレームは、それぞれの使用頻度を考慮した一層適切な記憶形態で記憶される。
【0570】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を一層効果的に図ることができる。
【0571】
第19の発明に係る圧縮伸長システムでは、復号化装置の画像データ記憶装置において、参照フレームを非可逆圧縮して記憶し伸長する場合でも、符号化装置と復号化装置とで参照フレームは同一となる。
【0572】
その結果、符号化装置と復号化装置との間での参照フレームの画像データの不一致に起因する画質の劣化を防止しながらも、符号化装置及び復号化装置の画像データ記憶装置の記憶容量の削減を行うことができる。
【0573】
第20の発明に係る圧縮伸長システムでは、復号化装置の画像データ記憶装置において、参照フレームを非可逆圧縮して記憶し伸長する場合でも、符号化装置と復号化装置とで参照フレームは同一となる。
【0574】
その結果、符号化装置と復号化装置との間での参照フレームの画像データの不一致に起因する画質の劣化を防止しながらも、符号化装置及び復号化装置の画像データ記憶装置の記憶容量の削減を行うことができる。
【図面の簡単な説明】
【図1】 本発明の実施の形態1における画像データ記憶装置のブロック図
【図2】 同第1の記憶関連情報の説明図
【図3】 同第2の記憶関連情報の説明図
【図4】 本発明の実施の形態1における動画像圧縮伸長システムの動画像符号化装置のブロック図
【図5】 同動画像復号化装置のブロック図
【図6】 同動画像復号化装置の画像データ記憶装置のブロック図
【図7】 同画像データ記憶装置における更新処理の説明図
【図8】 本発明の実施の形態2における動画像圧縮伸長システムの動画像復号化装置の画像データ記憶装置のブロック図
【図9】 (a)同縦方向の間引き前の画像データの概念図
(b)同縦方向の間引き後の画像データの概念図
【図10】 (a)同横方向の間引き前の画像データの概念図
(b)同横方向の間引き後の画像データの概念図
【図11】 (a)同フレームメモリM1に記憶される画像データの概念図
(b)同フレームメモリM2に記憶される画像データの概念図
(c)同フレームメモリM3に記憶される画像データの概念図
(d)同フレームメモリM4に記憶される画像データの概念図
【図12】 本発明の実施の形態3における動画像圧縮伸長システムの動画像復号化装置の画像データ記憶装置のブロック図
【図13】 (a)同ウェーブレット変換前の画像データの概念図
(b)同ウェーブレット変換後の画像データの概念図
【図14】 (a)同フレームメモリM1に記憶される画像データの概念図
(b)同フレームメモリM2に記憶される画像データの概念図
(c)同フレームメモリM3に記憶される画像データの概念図
(d)同フレームメモリM4に記憶される画像データの概念図
【図15】 本発明の実施の形態4における動画像圧縮伸長システムのブロック図
【図16】 従来の動画像復号化装置のブロック図
【符号の説明】
1 画像データ圧縮手段
2 画像データ記憶手段
3 画像データ伸長手段
4 制御手段
5、6、7、8 データバス
10 減算器
20 直交変換回路
30 量子化回路
31 補間回路
32 逆ウェーブレット変換回路
33 データ補間回路
40 可変長符号化回路
41 メモリ制御手段
42 制御回路
50、910 逆量子化回路
60、920 逆直交変換回路
70、930 加算器
80 画像データ記憶装置
90、950 動き補償回路
100 動き検出回路
110、900 可変長復号化回路
200、210、300、310、400、410、420、430、500、600 画素ブロック
510、510a〜510d、610、620、630 ブロック
940 画像データ記憶部
1000 動画像符号化装置
1100 多重化回路
2000 動画像復号化装置
2100 分離回路
A1〜AI、941 圧縮回路
M1〜MJ、942 フレームメモリ
B1〜BI、943 伸長回路
MC1〜MC4 メモリ制御回路
M1a、M1b、M2a、M2b、M3a、M3b、M4a〜M4d フレーム領域
C1〜C3 間引き回路
D1、D2 ウェーブレット変換回路
E1〜E3 データ削減回路
Claims (9)
- 画像データ記憶装置を備え、前記画像データ記憶装置が記憶するフレームの画像データを参照フレームの画像データとして、画面間予測を用いた符号化を施す符号化装置であって、
前記画像データ記憶装置は、
画像データを圧縮する複数の圧縮手段と、
複数のフレームの圧縮されていない画像データをフレーム単位で記憶する第1の記憶手段と、
前記複数の圧縮手段に対応して設けられ、各々が、対応する前記圧縮手段により圧縮された画像データをフレーム単位で記憶する複数の第2の記憶手段と、
前記圧縮手段により圧縮されて、前記第2の記憶手段に記憶された画像データを伸長する画像データ伸長手段と、を備え、前記圧縮手段の各々の圧縮率は、互いに異なり、
現在の符号化対象であるフレームを基準として、時間的に連続した予め定められた数の過去のフレーム、及び、前記現在の符号化対象であるフレーム、からなるフレーム群において、現在から過去にわたって時間的に連続するように、各々が予め定められた数のフレームからなる複数のグループを構成し、
前記過去のフレームは、画面間予測を実行する際の参照フレームであり、
前記現在の符号化対象であるフレームを含むグループは、前記現在の符号化対象であるフレームのみからなり、又は、前記現在の符号化対象であるフレーム及び参照フレームからなり、
前記画像データ記憶装置の前記複数の圧縮手段は、参照フレームのみからなる複数のグループに対応して設けられ、前記圧縮手段は、対応するグループに属する参照フレームの画像データを圧縮し、
前記画像データ記憶装置の前記第1の記憶手段は、前記現在の符号化対象であるフレームを含むグループに対応して設けられ、対応するグループに属するフレームの圧縮されていない画像データを記憶し、
前記画像データ記憶装置の前記複数の第2の記憶手段は、参照フレームのみからなる複数のグループに対応して設けられ、前記第2の記憶手段の各々は、対応する前記圧縮手段により圧縮された、対応するグループに属する参照フレームの画像データを記憶し、
前記圧縮手段の圧縮率は、その圧縮手段に対応するグループに属する参照フレームより、前記現在の符号化対象であるフレームに時間的に近い参照フレームを含むグループに対応する前記圧縮手段の圧縮率より大きい、ことを特徴とする符号化装置。 - 画像データ記憶装置を備え、前記画像データ記憶装置が記憶するフレームの画像データを参照フレームの画像データとして、画面間予測を用いた復号化を施す復号化装置であって、
前記画像データ記憶装置は、
画像データを圧縮する複数の圧縮手段と、
単数又は複数のフレームの圧縮されていない画像データをフレーム単位で記憶する第1の記憶手段と、
前記複数の圧縮手段に対応して設けられ、各々が、対応する前記圧縮手段により圧縮された画像データをフレーム単位で記憶する複数の第2の記憶手段と、
前記複数の圧縮手段に対応して設けられる複数の伸長手段を含み、前記伸長手段は、対応する前記圧縮手段により圧縮されて、対応する前記第2の記憶手段に記憶された画像データを伸長する画像データ伸長手段と、を備え、前記圧縮手段の各々の圧縮率は、互いに異なり、
現在の復号化対象であるフレームを基準として、時間的に連続した予め定められた数の過去のフレーム、及び、前記現在の復号化対象であるフレーム、からなるフレーム群において、現在から過去にわたって時間的に連続するように、各々が予め定められた数のフレームからなる複数のグループを構成し、
前記過去のフレームは、画面間予測を実行する際の参照フレームであり、
前記現在の復号化対象であるフレームを含むグループは、前記現在の復号化対象であるフレームのみからなり、又は、前記現在の復号化対象であるフレーム及び参照フレームからなり、
前記画像データ記憶装置の前記複数の圧縮手段は、参照フレームのみからなる複数のグループに対応して設けられ、前記圧縮手段は、対応するグループに属する参照フレームの画像データを圧縮し、
前記画像データ記憶装置の前記第1の記憶手段は、前記現在の復号化対象であるフレームを含むグループに対応して設けられ、対応するグループに属するフレームの圧縮されていない画像データを記憶し、
前記画像データ記憶装置の前記複数の第2の記憶手段は、参照フレームのみからなる複数のグループに対応して設けられ、前記第2の記憶手段の各々は、対応する前記圧縮手段により圧縮された、対応するグループに属する参照フレームの画像データを記憶し、
前記圧縮手段の圧縮率は、その圧縮手段に対応するグループに属する参照フレームより、前記現在の復号化対象であるフレームに時間的に近い参照フレームを含むグループに対応する前記圧縮手段の圧縮率より大きい、ことを特徴とする復号化装置。 - 予め定められた単数又は複数の前記圧縮手段は、可逆圧縮を実行し、他の圧縮手段は、非可逆圧縮を実行する、ことを特徴とする請求項1記載の符号化装置。
- 予め定められた単数又は複数の前記圧縮手段は、可逆圧縮を実行し、他の圧縮手段は、非可逆圧縮を実行する、ことを特徴とする請求項2記載の復号化装置。
- 前記第1の記憶手段、前記第2の記憶手段、前記圧縮手段、及び、前記画像データ伸長手段、に対して、前記第1の記憶手段及び前記第2の記憶手段が記憶している画像データの記憶形態を変更する指示を与える制御手段をさらに備える、ことを特徴とする請求項1または3に記載の符号化装置。
- 前記第1の記憶手段、前記第2の記憶手段、前記圧縮手段、及び、前記画像データ伸長手段、に対して、前記第1の記憶手段及び前記第2の記憶手段が記憶している画像データの記憶形態を変更する指示を与える制御手段をさらに備える、ことを特徴とする請求項2または4に記載の復号化装置。
- 前記圧縮手段の各々の圧縮方式は、互いに異なる、ことを特徴とする請求項1記載の符号化装置。
- 前記圧縮手段の各々の圧縮方式は、互いに異なる、ことを特徴とする請求項2記載の復号化装置。
- 請求項1記載の符号化装置と、
請求項2記載の復号化装置と、を備え、
前記符号化装置は、前記画像データ記憶装置による画像データの圧縮に関する情報と、符号化が施された画像データと、を多重化し、多重化データを生成する多重化手段をさらに備え、
前記復号化装置は、受け取った前記多重化データを、前記圧縮に関する情報と、前記符号化された画像データと、に分離する分離手段をさらに備える、ことを特徴とする圧縮伸長システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002149154A JP4209631B2 (ja) | 2002-05-23 | 2002-05-23 | 符号化装置、復号化装置、及び、圧縮伸長システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002149154A JP4209631B2 (ja) | 2002-05-23 | 2002-05-23 | 符号化装置、復号化装置、及び、圧縮伸長システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003348592A JP2003348592A (ja) | 2003-12-05 |
JP4209631B2 true JP4209631B2 (ja) | 2009-01-14 |
Family
ID=29767412
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002149154A Expired - Fee Related JP4209631B2 (ja) | 2002-05-23 | 2002-05-23 | 符号化装置、復号化装置、及び、圧縮伸長システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4209631B2 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070195882A1 (en) * | 2004-03-08 | 2007-08-23 | Koninklijke Philips Electronics N.V. A Corporation | Video decoder with scalable compression and buffer for storing and retrieving reference frame data |
US8194736B2 (en) * | 2008-04-15 | 2012-06-05 | Sony Corporation | Video data compression with integrated lossy and lossless compression |
JP2009290389A (ja) * | 2008-05-28 | 2009-12-10 | Hitachi Ltd | 画像処理装置 |
WO2011138912A1 (ja) * | 2010-05-06 | 2011-11-10 | 日本電気株式会社 | 映像符号装置、映像復号装置、映像符号方法、映像復号方法及びプログラム |
WO2011148622A1 (ja) * | 2010-05-26 | 2011-12-01 | パナソニック株式会社 | 動画像符号化方法、動画像復号化方法、動画像符号化装置、および動画像復号化装置 |
WO2012005106A1 (ja) * | 2010-07-08 | 2012-01-12 | 日本電気株式会社 | 映像復号装置、映像符号化装置、映像復号方法、映像符号化方法及びプログラム |
WO2012014472A1 (ja) * | 2010-07-29 | 2012-02-02 | パナソニック株式会社 | 動画像符号化方法、動画像符号化装置、動画像復号方法、及び動画像復号装置 |
WO2012017945A1 (ja) * | 2010-08-03 | 2012-02-09 | 日本電気株式会社 | 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム |
JP5573516B2 (ja) * | 2010-09-06 | 2014-08-20 | 富士通株式会社 | 画像処理装置 |
WO2012035766A1 (ja) * | 2010-09-16 | 2012-03-22 | パナソニック株式会社 | 画像復号化方法、画像符号化方法、画像復号化装置、および画像符号化装置 |
JP5698382B2 (ja) * | 2011-01-12 | 2015-04-08 | シーメンス アクチエンゲゼルシヤフトSiemens Aktiengesellschaft | ビデオコーダにおける参照イメージの圧縮及び伸長方法 |
JP5845663B2 (ja) * | 2011-07-04 | 2016-01-20 | セイコーエプソン株式会社 | 画像処理装置、画像表示装置及びプロジェクター |
KR101834236B1 (ko) * | 2013-04-02 | 2018-03-06 | 주식회사 칩스앤미디어 | 동영상 처리 방법 및 장치 |
JP6390352B2 (ja) * | 2014-10-31 | 2018-09-19 | 富士通株式会社 | 動き探索処理プログラム、動き探索処理方法および動き探索処理装置 |
-
2002
- 2002-05-23 JP JP2002149154A patent/JP4209631B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003348592A (ja) | 2003-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4699685B2 (ja) | 信号処理装置及びそれを用いた電子機器 | |
US6571017B1 (en) | Method and apparatus for digital image coding and decoding, and data recording media | |
JP2506332B2 (ja) | 動画像信号の高能率符号化方式 | |
JP4734168B2 (ja) | 画像復号化装置及び画像復号化方法 | |
JP4356028B2 (ja) | 情報処理装置および方法 | |
JP4209631B2 (ja) | 符号化装置、復号化装置、及び、圧縮伸長システム | |
EP0665512B1 (en) | An image processing method and apparatus | |
JPH09247673A (ja) | 符号化動画像再生装置 | |
JP4350342B2 (ja) | 画像処理装置、画像記録装置、カメラシステム、プログラム、記憶媒体及び画像処理方法 | |
JPH1084524A (ja) | Mpeg伸長データを保存する前で、必要に応じてサブサンプリング・アルゴリズム後における、adpcm再圧縮によって減少したram容量によるmpegデコード方法及びそのデコーダ | |
JP4973886B2 (ja) | 動画像復号装置、復号画像記録装置、それらの方法及びプログラム | |
US7925120B2 (en) | Methods of image processing with reduced memory requirements for video encoder and decoder | |
JP2010098352A (ja) | 画像情報符号化装置 | |
JPH1098731A (ja) | ディジタル画像復号装置及びディジタル画像復号方法 | |
JPH10271516A (ja) | 圧縮符号化装置、符号化方法、復号化装置および復号化方法 | |
JP3696490B2 (ja) | デコーダのビデオメモリ条件を減少させる方法及びビデオデコーダ | |
US6278734B1 (en) | Process for decoding and coding a compressed video data stream with reduced memory requirements | |
KR20000012109A (ko) | 복호화 장치 및 방법 | |
JP2002152733A (ja) | 動画像符号化方法、動画像復号化方法、動画像符号化装置、動画像復号化装置、動画像符号化プログラムを記録した記録媒体、動画像復号化プログラムを記録した記録媒体、および動画像符号化データを記録した記録媒体 | |
JP2004357313A (ja) | 画像情報処理装置及び画像情報処理方法 | |
KR100734790B1 (ko) | 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 장치, 동화상 복호 장치, 및 프로그램을 수록한 컴퓨터 판독가능 기록매체 | |
JP2000165861A (ja) | 動画像復号装置 | |
JP3591025B2 (ja) | 画像情報処理装置 | |
JP4411131B2 (ja) | 符号化動画像再生装置 | |
JP2003125417A (ja) | 画像符号化装置及びその方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050520 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070801 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070810 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071009 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080716 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080903 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081001 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081023 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121031 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |