JP2009081622A

JP2009081622A - 動画像圧縮符号化装置

Info

Publication number: JP2009081622A
Application number: JP2007248874A
Authority: JP
Inventors: Yoshikazu Hayashi; 美和林
Original assignee: Oki Semiconductor Co Ltd
Current assignee: Lapis Semiconductor Co Ltd
Priority date: 2007-09-26
Filing date: 2007-09-26
Publication date: 2009-04-16

Abstract

【課題】動画像において画面全体が推移した場合においても、圧縮符号化データ量が少なく済む動画像符号化装置を提供する。
【解決手段】本発明による動画像符号化装置は、画面全体の推移方向及び推移量を表す推移ベクトルを記憶するレジスタと、過去画像を当該推移ベクトルが示す方向にシフトして過去推移画像を得る過去推移画像データ生成手段と、を含み、当該過去推移画像と入力画像とに基づいて動きベクトルを生成し、当該動きベクトルに基づいて当該過去推移画像に動き補償処理を施して予測画像を生成する。
【選択図】図１

Description

本発明は動画像データを圧縮符号化する動画像圧縮符号化装置に関する。

動画像の圧縮符号化技術としてＭＰＥＧ−４（Moving Picture Experts Group phase-4）が知られている。ＭＰＥＧ−４は一般に、携帯電話や電話回線などの通信速度の低い回線を通じた、低画質、高圧縮率の映像の配信に利用されている。ＭＰＥＧ−４における画像の主な圧縮符号化方法は次の２つである。１つは現在の対象画像の情報だけを使用して圧縮符号化するイントラ符号化である。もう１つは、過去画像（若しくは未来画像）と現在の対象画像との差分によって得られた予測差分画像を圧縮符号化するインター符号化である。動画像を構成する画像群の内、時間軸上で互いに連続する画像間の差分は小さいことが多く、当該差分を圧縮することにより、データ量を削減できる。通常、インター符号化により画像データを圧縮する場合には、画像を複数のブロックに分割し、ブロック毎に動き検出による動きベクトルの生成と当該動きベクトルに基づいた動き補償がなされる。

例えば、インター符号化を利用した映像信号符号化装置が特許文献１に開示されている。ここでは、対象とするフレームの映像信号を複数のブロックに分割し、当該フレーム及び前フレームの映像信号を用いて各ブロックの動きベクトルを検出する。検出対象ブロックの近傍ブロックにおける動きベクトルに基づいて、当該検出対象ブロックの動きベクトルを予測する。予測の動きベクトルが得られたブロックでは、その予測領域の近傍の動きベクトルを詳細に探索し、予測の動きベクトルが得られなかったブロックでは所定範囲の動きベクトルを大まかに探索する。これにより、動きベクトルの検出精度が向上し、演算回数が低減されるとしている。
特開平６−２２５２８９号公報

前述したように、インター符号化においては通常、ブロック毎に動きベクトルと動き補償を施す。この場合、動画像において画面の一部が推移したときには、当該一部に該当するブロックにおける現在の対象画像と過去画像との間の差分のみが大きく、他のブロックにおける同差分は小さい。その結果、全ブロックの差分データを圧縮符号化して得られる画面全体のデータ量も小さいものとなる。一方、画面全体が推移した場合には、全ブロックにおいて差分が大きくなるため、全ブロックの差分データを圧縮符号化して得られる画面全体のデータ量が膨大になるという問題点があった。

通常のネットワーク配信においては、例えば１ＭｂｉｔなどのＣＢＲ（Constant Bit Rate：固定ビットレート）を維持する必要がある。上記したように画面全体が推移した場合、設定されたビットレートを維持することが困難になる。圧縮データ量が設定されたビットレート以上になった場合、フレームを間引くことになるため、重要なフレームを見逃す可能性がある。また、フレームが間引かれた場合、フレームの間隔が大きくなり、更に圧縮符号化データ量が大きくなってしまう。

特許文献１に開示される映像信号符号化装置は、検出対象ブロックの近傍ブロックにおける動きベクトルに基づいて、当該検出対象ブロックの動きベクトルを予測しているため、画面全体が推移した場合には、検出対象及び近傍の両ブロックの差分が大きくなり、全ブロックの差分データを圧縮符号化して得られる画面全体のデータ量が膨大になってしまう。

本発明は上記した如き問題点に鑑みてなされたものであって、動画像において画面全体が推移した場合においても、圧縮符号化データ量が少なく済む動画像圧縮符号化装置を提供することを目的とする。

本発明による動画像圧縮符号化装置は、入力画像データを保持するバッファと、前記入力画像データと予測画像データとの差分を取って予測差分画像データを得る減算器と、前記予測差分画像データを圧縮して圧縮予測差分画像データを得る圧縮部と、前記圧縮予測差分画像データを復号して復号予測差分画像データを得る復号部と、前記復号予測差分画像データと前記予測画像データとを加算して過去画像データを得る加算器と、前記過去画像データを記憶するフレームメモリと、前記過去画像データと前記入力画像データとに基づいて動きベクトルを生成する動き検出部と、前記過去画像データに前記動きベクトルに基づく動き補償処理を施して前記予測画像データを生成する動き補償部と、前記圧縮予測差分画像データと前記動きベクトルとを可変長符号化する可変長符号化部と、を含む動画像圧縮符号化装置であって、画面全体の推移方向及び推移量を表す推移ベクトルを記憶するレジスタと、前記過去画像データに基づいて表される過去画像を前記推移ベクトルが示す方向に前記推移量の分だけシフトして得られた推移画像をデータ化して推移画像データを得る推移画像データ生成手段と、を含み、前記フレームメモリは、前記過去画像データに代えて前記推移画像データを記憶し、前記動き検出部は、前記過去画像データに代えて前記推移画像データと前記入力画像データとに基づいて前記動きベクトルを生成し、前記動き補償部は、前記過去画像データに代えて前記推移画像データに前記動きベクトルに基づく動き補償処理を施して前記予測画像データを生成することを特徴とする。

以下、本発明に係る実施例について添付の図面を参照しつつ詳細に説明する。
＜第１の実施例＞
図１は本発明による動画像圧縮符号化装置を表すブロック図である。

動画像圧縮符号化装置１００は、バッファ１１０と、減算器１２０と、圧縮部１３０と、復号部１４０と、加算器１５０と、レジスタ１６０と、ＶＯＰ動き検出部１６１と、加算器１７０と、フレームメモリ１７１と、動き検出部１８０と、動き補償部１８１と、可変長符号化部１９０と、を含む。

バッファ１１０は、入力画像データを保持する機能を有する。バッファ１１０は、例えば撮像部（図示せず）の撮像によって得られた画像データをビデオインターフェース（図示せず）を介して受け取り、これを入力画像データとして保持する。

減算器１２０は、バッファ１１０に保持されている入力画像データと動き補償部１８１からの予測画像データとの差分を取って予測差分画像データを得て、これを圧縮部１３０に与える。通常、動き補償処理を実施する場合、入力画像データは１６×１６画素のマクロブロック単位で扱われる。減算器１２０は、ＭＰＥＧ−４の規格に従って、１６×１６画素のマクロブロックを４分割した８×８画素のブロック毎に、予測差分画像データを生成する。

圧縮部１３０は、ＤＣＴ部１３１と、量子化部１３２と、からなり、減算器１２０からの予測差分画像データを圧縮して圧縮予測差分画像データを得る。ＤＣＴ(Discrete Cosine Transform)部１３１は、減算器１２０からの予測差分画像データに対してブロック毎に通常の離散コサイン変換処理を施して、ＤＣＴ変換係数を得る。量子化部１３２は、得られたＤＣＴ変換係数に対してブロック毎に通常の量子化処理を施して、量子化ＤＣＴ変換係数を得る。なお、前述の圧縮とは、離散コサイン変換処理及び量子化処理の総称であり、前述の圧縮予測差分画像データとは量子化ＤＣＴ変換係数に相当する。

上記した圧縮部１３０の処理は、インター符号化の場合であるが、イントラ符号化の場合は、以下の処理を行う。ＤＣＴ部１３１は、バッファ１１０に保持されている入力画像データを取り出し、これに対してブロック毎に通常の離散コサイン変換処理を施して、ＤＣＴ変換係数を得る。量子化部１３２は、得られたＤＣＴ変換係数に対してブロック毎に通常の量子化処理を施して、量子化ＤＣＴ変換係数を得る。

復号部１４０は、逆量子化部１４１と、逆ＤＣＴ部１４２と、からなり、圧縮予測差分画像データ、すなわち、量子化ＤＣＴ変換係数を復号して、予測差分画像データを得る。逆量子化部１４１は、量子化ＤＣＴ変換係数に対して逆量子化処理を施してＤＣＴ変換係数を得る。逆ＤＣＴ部１４２は得られたＤＣＴ変換係数に対して逆離散コサイン変換処理を施して予測差分画像データを得る。なお、前述の復号とは、逆量子化処理及び逆離散コサイン変換処理の総称である。

加算器１５０は、復号部１４０からの予測差分画像データと動き補償部１８１からの予測画像データとを加算して過去画像データを得る。

レジスタ１６０は、画面全体の推移方向及び推移量を表す推移ベクトル及び画面全体の回転角度を表す回転角度情報を予め記憶している。レジスタ１６０は、例えばＭＣＵ（Micro Controller Unit）（図示せず）からの推移ベクトル及び回転角度情報をＭＣＵインターフェース（図示せず）を介して受け取り、これを記憶する。推移ベクトルは、例えば、撮像部（図示せず）の撮像画面全体の推移方向及び推移量を表すベクトルである。また、回転角度情報は、例えば、撮像部の撮像画面全体の回転角度を表す情報である。

ここで例えば、撮像部が監視カメラであるとする。通常、監視カメラは、予め設定された方向に予め設定された量だけ、パンしたり（すなわちカメラを左右に振ったり）、チルトしたり（すなわちカメラを上下に振ったり）する。レジスタ１６０は、これらの方向及び量を推移ベクトルとして記憶できる。また、監視カメラは予め設定された角度だけ回転する場合もある。この場合も同様にレジスタ１６０は、これらの角度を回転角度情報として記憶できる。

ＶＯＰ動き検出部１６１は、加算器１７０をして推移画像データを生成せしめる。ＶＯＰ動き検出部１６１は、加算器１７０をして、加算器１５０からの過去画像データに基づいて表される過去画像を、レジスタ１６０に記憶されている推移ベクトルが示す方向に該推移ベクトルが示す推移量の分だけシフトせしめ、且つ、同じくレジスタ１６０に記憶されている回転角度情報が表す回転角度の分だけ回転せしめる。加算器１７０はこれらの処理によって得られた推移画像データをフレームメモリ１７１に与える。

フレームメモリ１７１は、加算器１７０からの推移画像データをフレーム単位で記憶する。また、ＶＯＰ動き検出部１６１及び加算器１７０による推移画像データの生成がなされない場合には、加算器１５０からの過去画像データを記憶する。

動き検出部１８０は、ＶＯＰ動き検出部１６１を経由して取得したバッファ１１０からの入力画像データとフレームメモリ１７１から取り出した推移画像データとに基づき、通常の動きベクトル生成処理に従って、動きベクトルを生成する。また、ＶＯＰ動き検出部１６１及び加算器１７０による推移画像データの生成がなされない場合には、動き検出部１８０は、入力画像データと過去画像データとに基づいて、動きベクトルを生成する。動き検出部１８０は、当該動きベクトルを動き補償部１８１に与える。

動き補償部１８１は、フレームメモリ１７１からの推移画像データに、動き検出部１８０から取得した動きベクトルに基づく通常の動き補償処理を施して予測画像データを生成する。また、ＶＯＰ動き検出部１６１及び加算器１７０による推移画像データの生成がなされない場合には、動き補償部１８１は、フレームメモリ１７１からの過去画像データに、通常の動き補償処理を施して予測画像データを生成する。動き補償部１８１は、当該予測画像データを減算器１２０及び加算器１５０に与える。

可変長符号化部１９０は、量子化ＤＣＴ変換係数（圧縮予測差分画像データ）、動きベクトル及び回転角度情報を可変長符号化する。当該可変長符号化により得られた可変長符号化データはＶＯＰ（Video Object Plane）である。ＶＯＰは、ＭＰＥＧ−４で扱う映像データの基本単位である。画像が矩形形状の場合、ＶＯＰはフレームまたはフィールドに相当する。以下、イントラ符号化によって得られたＶＯＰをＩ−ＶＯＰ（intra-VOP）、インター符号化によって得られたＰ−ＶＯＰ(Predicted VOP)と称する。可変長符号化部１９０は、可変長符号化データを例えばＭＣＵインターフェース（図示せず）を介してＭＣＵ（図示せず）などの外部の回路に供給する。

図２は、動画像圧縮符号化装置１００を撮像部２１０などと共に表すブロック図である。動画像圧縮符号化装置１００は、ビデオＩ／Ｆ２２０を介して撮像部２１０と接続されている。動画像圧縮符号化装置１００は、撮像部２１０の撮像によって得られた画像データをビデオＩ／Ｆ２２０を介して受け取る。画像データは動画像圧縮符号化装置１００内のバッファ（図１に図示されているバッファ１１０）に入力画像データとして保持される。動画像圧縮符号化装置１００は、当該バッファに一画像全体の入力画像データを格納したときに当該入力画像データの圧縮符号化を開始する。

動画像圧縮符号化装置１００は、ＭＵＣＩ／Ｆ２３０を介してＭＵＣ２４０と接続されている。動画像圧縮符号化装置１００は、推移ベクトル及び回転角度情報をＭＵＣ２４０から受け取り、これをレジスタ（図１に図示されているレジスタ１６０）に記憶する。動画像圧縮符号化装置１００は、ＭＵＣ２４０からの指示をＭＵＣＩ／Ｆ２３０を介して受け取り、当該指示に応じた動作をなすと共に、画像の圧縮符号化処理終了時にＭＵＣ２４０に割り込み信号を発し、ＭＵＣＩ／Ｆ２３０を介して可変長符号化データをＭＵＣ２４０に送信する。

図３は、動画像圧縮符号化装置１００によるエンコード処理ルーチンを表すフローチャートである。最初にバッファ１１０がビデオＩ／Ｆ２２０を介して撮像部２１０から入力画像を受け取り、これを格納する（ステップＳ３０１）。続いてレジスタ１６０は、ＭＵＣＩ／Ｆ２３０を介してＭＵＣ２４０から推移ベクトル及び回転角度情報を受け取り、これらを記憶する（Ｓ３０２）。バッファ１１０に一画像全体の入力画像データが格納されたら、動画像圧縮符号化装置１００は、当該入力画像データの圧縮符号化を開始する（Ｓ３０３）。

図４は、画像圧縮処理ルーチンを表すフローチャートである。図示せぬ制御部が以下の判断を行う。最初に、バッファ１１０に保持されている入力画像データをイントラ符号化すべきであるか否かを判断する（Ｓ４０１）。イントラ符号化すべき場合には、圧縮部１３０及び可変長符号化部１９０が当該入力画像データに対して通常のイントラ符号化処理を施し、Ｉ−ＶＯＰを生成する（Ｓ４０２）。バッファ１１０に保持されている入力画像データをイントラ符号化しない、すなわち、インター符号化する場合には、図示せぬ制御部は入力ベクトルが（０，０）であるか（Ｓ４０３）及び入力回転角度が０度であるか（Ｓ４０４）を判断する。入力ベクトルが（０，０）であり（Ｓ４０３）且つ入力回転角度が０度である（Ｓ４０４）場合、圧縮部１３０及び可変長符号化部１９０が当該入力画像データに対して通常のインター符号化処理を施し、Ｐ−ＶＯＰを生成する（Ｓ４０５）。そうでない場合には、ＶＯＰ動き検出処理ルーチンに移行する（Ｓ４０６）。

図５は、ＶＯＰ動き検出処理ルーチンを表すフローチャートである。図６は、ＶＯＰ動き検出処理後のインター符号化処理ルーチンを表すフローチャートである。図７は、各種画像及び動きベクトルを表す図である。以下、図５〜７を参照しつつ説明する。

先ず、図５に示されるＶＯＰ動き検出処理において、ＶＯＰ動き検出部１６１は、加算器１７０をして、加算器１５０からの過去画像６０１を、レジスタ１６０に記憶されている入力ベクトルと回転角度が示す方向にシフトせしめ、推移画像６０２を生成せしめる（Ｓ５０１）。ここでの推移ベクトルは、例えば（＋１０，０）などの右方向へのシフトを表すベクトルであるとする。また、ここでは動作説明を簡略化するために、回転角度を０度とする。推移ベクトル及び回転角度は、撮像部２１０の回転方向及び速度などから求められたものであり、過去画像６０１から入力画像６０３への画面全体の推移方向及び推移量に合致するように定められている。当該シフトにより、図６に示されるように、推移画像６０２は過去画像６０１を全体的に右方向に推移させた画像となっている。加算器１７０は推移画像６０２をフレームメモリ１７１に与える。

次に、図６に示されるインター符号化処理に移行する。当該処理において、動き検出部１８０は、ＶＯＰ動き検出部１６１を経由して取得したバッファ１１０からの入力画像６０３とフレームメモリ１７１から取り出した推移画像６０２とに基づき、通常の動きベクトル生成処理に従って、マクロブロック毎に動きベクトル６０４を生成する（Ｓ６０１）。図６に示されるように、入力画像６０３は、過去画像６０１が全体的に右方向に推移した画像となっている。ここでは、過去画像６０１から入力画像６０３への画面全体の推移量と、過去画像６０１から推移画像６０２への画面全体の推移量（すなわち、推移ベクトルの推移量）とが一致しているものとする。このとき得られる動きベクトル６０４は各マクロブロックで（０，０）となる。

動き補償部１８１は、フレームメモリ１７１からの推移画像６０２に、動き検出部１８０から取得した動きベクトル６０４に基づく通常の動き補償処理を施して予測画像６０５を生成する（Ｓ６０２）。上記したように、動きベクトル６０４は各マクロブロックで（０，０）となっているため、推移画像６０２の画面と予測画像６０５の画面とは同一である。

減算器１２０は、マクロブロック毎に、バッファ１１０に保持されている入力画像６０３と動き補償部１８１からの予測画像６０５との差分を取って予測差分画像６０６を得て、これを圧縮部１３０に与える（Ｓ６０３）。圧縮部１３０は、マクロブロック毎に、予測差分画像６０６に対して通常の離散コサイン変換処理及び量子化処理を施して量子化ＤＣＴ変換係数を得る（Ｓ６０４）。最後に可変長符号化部１９０は、量子化ＤＣＴ変換係数、動きベクトルに加えて、推移ベクトル及び回転角度情報も含めて可変長符号化してＰ−ＶＯＰを得る（Ｓ６０５）。上記したように、動きベクトル６０４は各マクロブロックで（０，０）となっているため、当該符号化に際して各マクロブロックの動きベクトルの圧縮データ量が削減される。

上記した如く本実施例による動画像圧縮符号化装置は、過去画像を、予め記憶してある推移ベクトル及び回転角度の方向にシフトして推移画像を生成し、当該推移画像と入力画像とに基づいて動きベクトルを生成する。推移ベクトルの推移方向及び量（過去画像から推移画像への画面全体の推移方向及び量）を、過去画像から入力画像への画面全体の推移方向及び量と一致するように予め設定しておくことにより、マクロブロック毎に得られる動きベクトルは（０，０）となる。あるいは、完全に一致しない場合でも動きベクトルを表す数値を小さくできる。そのため、各マクロブロックの動きベクトルの圧縮データ量を削減することができる。

本実施例による動画像圧縮符号化装置は、画面全体の推移方向及び量を表す推移ベクトル及び回転角度を量子化ＤＣＴ変換係数と共に符号化する。マクロブロック毎の全ての動きベクトル（各々が比較的、値の大きい動きベクトル）を圧縮符号化するよりも、本実施例の如く、各マクロブロックの動きベクトルの値を全体的に小さくし、画面全体の推移方向及び量を表す推移ベクトル及び回転角度を圧縮符号化した方が、当該圧縮符号化後のデータ量を削減できる。このように本実施例の動画像圧縮符号化装置によれば、動画像において画面全体が推移した場合においても、圧縮符号化データ量を少なくすることができる。
＜第２の実施例＞
本実施例による動画像圧縮符号化装置１００は、第１の実施例と同様に図１のブロック図で表される。

図８はＶＯＰ動き検出部１６１によるＶＯＰ動き検出処理ルーチンを表すフローチャートである。図９はＶＯＰ動き検出処理で生成される画像の一例を表す図である。以下に、図８及び９を参照しつつ、ＶＯＰ動き検出処理について説明する。

先ず、ＶＯＰ動き検出部１６１は、加算器１５０からの過去画像９００を、レジスタ１６０に記憶されている推移ベクトル及び回転角度が示す方向にシフトして、中央画像９０１を生成する（Ｓ８０１）。ＶＯＰ動き検出部１６１は、続いて中央画像９０１の画像品質を評価する。当該評価の方法としては、ＰＳＮＲ（Peak Signal to Noise Ratio）、ＳＳＩＭ（Structural Similarity）及びＶＱＭ（Video Quality Metric）が挙げられる。ここではＰＳＮＲで評価することとする。

ＰＳＮＲは動画像の評価で一般的に用いられる指標の一つであり、圧縮などの処理を施された画像が元の画像にどれくらい近いかを表す指標である。通常、単位はｄｂ（デシベル）が用いられる。５０ｄｂに近い程、元の画像に近く、一般的には４０ｄｂ程度あれば綺麗な画像であると言われている。ＶＯＰ動き検出部１６１は、中央画像のＰＳＮＲを算出し、これを保存する（Ｓ８０２）。

続いて、ＶＯＰ動き検出部１６１は、中央画像９０１を上下左右の各方向に所定画素分だけシフトして、４つの周辺画像９０２、９０３、９０４及び９０５を生成する（Ｓ８０３）。ＶＯＰ動き検出部１６１は、周辺画像９０２、９０３、９０４及び９０５の各々のＰＳＮＲを算出し、これを保存する（Ｓ８０４）。

ＶＯＰ動き検出部１６１は、中央画像９０１、周辺画像９０２、９０３、９０４及び９０５の各々のＰＳＮＲを比較して、中央画像９０１のＰＳＮＲ値が最も大きいか否かを判別する（Ｓ８０５）。ここでは、周辺画像９０３のＰＳＮＲ値が最も大きいとする。この場合、ＶＯＰ動き検出部１６１は、周辺画像９０３を中央画像９０３とする（Ｓ８０６）。

続いて、ＶＯＰ動き検出部１６１は、中央画像９０３を上下左右の各方向に所定画素分だけシフトして、４つの周辺画像９０６、９０７、９０８及び９０９を生成する（Ｓ８０３）。ＶＯＰ動き検出部１６１は、周辺画像９０６、９０７、９０８及び９０９の各々のＰＳＮＲを算出し、これを保存する（Ｓ８０４）。

ＶＯＰ動き検出部１６１は、中央画像９０３、周辺画像９０６、９０７、９０８及び９０９の各々のＰＳＮＲを比較して、中央画像９０３のＰＳＮＲ値が最も大きいか否かを判別する（Ｓ８０５）。ここでは、中央画像９０３のＰＳＮＲ値が最も大きいとする。この場合、ＶＯＰ動き検出部１６１は、中央画像９０３を推移画像９０３とする（Ｓ８０７）。

最後にＶＯＰ動き検出部１６１は、過去画像９００及び推移画像９０３に基づいてＶＯＰ推移ベクトル９１０を生成する（Ｓ８０８）。ＶＯＰ推移ベクトル９１０は、過去画像９００から推移画像９０３への画面全体のシフト方向及び量を表すベクトルである。ＶＯＰ動き検出部１６１は、ＶＯＰ推移ベクトル９１０をレジスタ１６０に設定すると共に、加算器１７０に与える。加算器１７０は、加算器１５０からの過去画像９００をＶＯＰ推移ベクトル９１０が示す方向に該ＶＯＰ推移ベクトル９１０が示す推移量の分だけシフトして、推移画像９０３を生成し、これをフレームメモリ１７１に与える。

推移画像９０３生成後の圧縮処理は第１の実施例と同様である。当該圧縮処理後、可変長符号化部１９０は、量子化ＤＣＴ変換係数、動きベクトルに加えて、ＶＯＰ推移ベクトル及び回転角度情報も含めて可変長符号化してＰ−ＶＯＰを得る。

上記したように本実施例による動画像圧縮符号化装置は、過去画像を推移ベクトル及び回転角度が示す方向にシフトして、中央画像を生成し、更に複数の周辺画像を作成する。続いて動画像圧縮符号化装置は中央画像及び周辺画像の画像品質を評価し、周辺画像の画像品質の方が中央画像よりも良ければ当該周辺画像を新たな中央画像とする。動画像圧縮符号化装置は中央画像の画像品質が最良となるまで上記処理を繰り返し、最良となった中央画像を推移画像とする。これにより、入力画像と推移画像との一致性が更に高まり、第１の実施例に比較して、各マクロブロックの動きベクトルの圧縮データ量をより削減することができる。

本実施例においては、このようにして生成した推移画像と過去画像とに基づいて、過去画像から推移画像への画面全体のシフト方向及び量を表すＶＯＰ推移ベクトルを生成する。動画像圧縮符号化装置が、量子化ＤＣＴ変換係数、動きベクトルに加えて、ＶＯＰ推移ベクトル及び回転角度情報も含めて可変長符号化してＰ−ＶＯＰを生成することにより、Ｐ−ＶＯＰを受け取る側の装置はこれを正しくデコードすることができる。

第１及び第２の実施例は、過去画像を使用して圧縮データを削減する例であるが、過去画像の代わりに未来画像を使用すれば、Ｂ−ＶＯＰ（Bi-directional predicted VOP）の圧縮データを削減することができる。

動画像圧縮符号化装置を表すブロック図である。動画像圧縮符号化装置を撮像部などと共に表すブロック図である。エンコード処理ルーチンを表すフローチャートである。画像圧縮処理ルーチンを表すフローチャートである。ＶＯＰ動き検出処理ルーチンを表すフローチャートである。ＶＯＰ動き検出処理後のインター符号化処理ルーチンを表すフローチャートである。各種画像及び動きベクトルを表す図である。ＶＯＰ動き検出処理ルーチンを表すフローチャートである。ＶＯＰ動き検出処理ルーチンで生成される画像の一例を表す図である。

符号の説明

１００動画像圧縮符号化装置
１１０バッファ
１２０減算器
１３０圧縮部
１３１ＤＣＴ部
１３２量子化部
１４０復号部
１４１逆量子化部
１４２逆ＤＣＴ部
１５０加算器
１６０レジスタ
１６１ＶＯＰ動き検出部
１７０加算器
１７１フレームメモリ
１８０動き検出部
１８１動き補償部
１９０可変長符号化部
２１０撮像部
２２０ビデオＩ／Ｆ
２３０ＭＵＣＩ／Ｆ
２４０ＭＵＣ

Claims

入力画像データを保持するバッファと、
前記入力画像データと予測画像データとの差分を取って予測差分画像データを得る減算器と、
前記予測差分画像データを圧縮して圧縮予測差分画像データを得る圧縮部と、
前記圧縮予測差分画像データを復号して復号予測差分画像データを得る復号部と、
前記復号予測差分画像データと前記予測画像データとを加算して過去画像データを得る加算器と、
前記過去画像データを記憶するフレームメモリと、
前記過去画像データと前記入力画像データとに基づいて動きベクトルを生成する動き検出部と、
前記過去画像データに前記動きベクトルに基づく動き補償処理を施して前記予測画像データを生成する動き補償部と、
前記圧縮予測差分画像データと前記動きベクトルとを可変長符号化する可変長符号化部と、を含む動画像圧縮符号化装置であって、
画面全体の推移方向及び推移量を表す推移ベクトルを記憶するレジスタと、
前記過去画像データに基づいて表される過去画像を前記推移ベクトルが示す方向に前記推移量の分だけシフトして得られた推移画像をデータ化して推移画像データを得る推移画像データ生成手段と、を含み、
前記フレームメモリは、前記過去画像データに代えて前記推移画像データを記憶し、
前記動き検出部は、前記過去画像データに代えて前記推移画像データと前記入力画像データとに基づいて前記動きベクトルを生成し、
前記動き補償部は、前記過去画像データに代えて前記推移画像データに前記動きベクトルに基づく動き補償処理を施して前記予測画像データを生成することを特徴とする動画像圧縮符号化装置。
前記レジスタは、画面全体の回転角度を表す回転角度情報を更に記憶し、
前記推移画像データ生成手段は、前記過去画像を更に前記回転角度情報が表す回転角度の分だけ回転して得られた推移画像をデータ化して前記推移画像データを得ることを特徴とする請求項1に記載の動画像圧縮符号化装置。
撮像して前記入力画像データを得る撮像部を更に含み、
前記推移ベクトルは、前記撮像部の撮像画面全体の推移方向及び推移量を表すことを特徴とする請求項1に記載の動画像圧縮符号化装置。
撮像して前記入力画像データを得る撮像部を更に含み、
前記回転角度情報は、前記撮像部の撮像画面全体の回転角度を表すことを特徴とする請求項２に記載の動画像圧縮符号化装置。
前記入力画像データを複数のブロックに分割する入力画像データ分割手段を含み、
前記推移画像データ生成手段は、前記ブロック毎に前記推移画像データを生成し、
前記動き検出部は、前記ブロック毎に前記動きベクトルを生成することを特徴とする請求項1に記載の動画像圧縮符号化装置。
前記過去画像データに基づいて表される過去画像を前記推移ベクトルが示す方向に前記推移量の分だけシフトして中央画像を得る中央画像生成手段と、
前記中央画像を上下左右の内の少なくとも１方向に所定画素分だけシフトして少なくとも１つの周辺画像を得る周辺画像生成手段と、
前記中央画像及び周辺画像の各々について画像品質を評価する画像品質評価手段と、
前記画像品質評価手段が評価した中央画像及び周辺画像の各々の中で前記画像品質が最も良好な画像を前記推移画像とする画像選択手段と、を含むことを特徴とする請求項1に記載の動画像圧縮符号化装置。
前記中央画像生成手段は、前記過去画像を更に所定回転角度の分だけ回転させて前記中央画像を生成することを特徴とする請求項６に記載の動画像圧縮符号化装置。
前記画像選択手段は、前記画像品質評価手段が評価した中央画像及び周辺画像の各々の中で前記画像品質が最も良好な画像が当該周辺画像であった場合にのみ当該周辺画像を新たな中央画像とし、
前記周辺画像生成手段は、前記新たな中央画像を上下左右の内の少なくとも１方向に所定画素分だけシフトして少なくとも１つの新たな周辺画像を生成し、
前記画像品質評価手段は、前記新たな中央画像及び周辺画像の各々について画像品質を評価することを特徴とする請求項６に記載の動画像圧縮符号化装置。
前記過去画像データに基づいて表される過去画像と前記画像品質評価手段によって得られた推移画像とに基づいて新たな推移ベクトルを生成する新規推移ベクトル生成手段と、
前記新たな推移ベクトルを可変長符号化する新規推移ベクトル可変長符号化手段を更に含むことを特徴とする請求項６に記載の動画像圧縮符号化装置。
前記画像品質評価手段は、ＰＳＮＲ評価、ＳＳＩＭ評価及びＶＱＭ評価のいずれかによって前記画像品質を評価することを特徴とする請求項６に記載の動画像圧縮符号化装置。