JP2004040446A - 映像符号化装置 - Google Patents

Abstract

【課題】より効率的で視覚上不具合のない符号化を行うことができる映像符号化装置を提供する。
【解決手段】参照画像生成部１３１は、複数の予測モードの参照画像を生成する。誤差評価値算出部１３２は、第１の誤差評価値を算出する。参照画像生成部１３４は、隣接マクロブロックの付帯情報を基にして参照画像を生成する。誤差評価値算出部１３５は、参照画像生成部１３４の参照画像と入力画像とを用いて第２の誤差評価値を算出する。予測モード判別部１３３，１３６は、第１，第２の誤差評価値に基づいて予測モードを判別する。判別された予測モードが、隣接マクロブロックの付帯情報を基にして参照画像を生成するモードであれば、現マクロブロックの付帯情報を隣接マクロブロックの付帯情報に置き換える。
【選択図】　　　図２

Description

【０００１】
【発明の属する技術分野】
本発明は、ＭＰＥＧ２によって映像信号を符号化する映像符号化装置に関する。
【０００２】
【従来の技術】
２０００年１２月から放送が開始されたＢＳデジタル放送では、ＭＰＥＧ２によって映像信号を圧縮して放送を行っている。２００３年に放送開始が予定されている地上波デジタル放送でも、ＭＰＥＧ２を用いた放送が行われる。ＭＰＥＧ２では、映像の時間的な相関性や空間的な相関性、人間の視覚的な特性を基にしてデータ圧縮を行う。
【０００３】
地上波デジタル放送では、周波数帯域の割り当ての制限によりＢＳデジタル放送よりも狭い周波数帯域で運用されるので、低ビットレートでの運用が想定されている。また、これからの放送方式としては、ＨＤＴＶを伝送したり複数のチャンネルを同時に伝送してチャンネル数を増やすことが、視聴者にとって魅力のある放送方式とするために必須である。
【０００４】
ところで、ＭＰＥＧ２で実際に規定されているのは、復号化の際のフォーマットのみであり、映像符号化装置は、ＭＰＥＧ２の規格に沿うよう符号化すればよい。従って、映像符号化装置による符号化方法（符号化アルゴリズム）には非常に高い自由度があり、符号化の際のデータ量と画質は映像符号化装置そのものの性能で決まることとなる。
【０００５】
映像符号化装置は、動きベクトル検出部と動き補償予測部とを備えることは周知である。従来の動き補償予測部は、図３のように構成される。図３に示すように、動き補償予測部は、各予測モードの参照画像を生成する参照画像生成部３１と、各予測モードの誤差評価値を算出する誤差評価値算出部３２と、モード判別部３３と、付帯情報保持部３８を備える。
【０００６】
参照画像生成部３１には、動きベクトル検出部（図示せず）より出力された動きベクトルと、局部復号画像が入力される。参照画像生成部３１は、入力された動きベクトルと局部復号画像とに基づいて各予測モード毎に参照画像を生成する。誤差評価値算出部３２は、入力された各予測モード毎の参照画像から予測ブロックを抜き出し、入力画像との差分を取りながら、誤差評価値を算出する。誤差評価値算出部３２で算出した各予測モード毎の誤差評価値は、モード判別部３３に入力される。
【０００７】
モード判別部３３は、誤差評価値算出部３２より入力された各予測モード毎の誤差評価値を基にして予測モードを判別する。モード判別部３３より出力された付帯情報は、付帯情報保持部３８に入力されて保持される。付帯情報保持部３８から出力された付帯情報は、図示していない可変長符号化部へと供給される。また、モード判別部３３は、予測モードに応じた予測画像を、入力画像との差分を取るための図示していない減算器に供給する。
【０００８】
このようにして、動き補償予測部は、入力された動きベクトルを使用するか否か、また、どのように使用するかを決定し、符号化に使用する動きベクトルと、予測モード，フレームマクロブロック／フィールドマクロブロックのタイプからなる付帯情報を可変長符号化部に供給する。
【０００９】
【発明が解決しようとする課題】
従来の映像符号化装置は、符号化データと付帯情報を多重化している。映像信号は空間上での相関があり、隣接するマクロブロック同士では全く同じ付帯情報を有する場合が多い。このような場合でも従来の符号化装置ではそれぞれのマクロブロック毎に付帯情報を生成して伝送するため、結果として符号化の効率が悪いという問題点があった。
【００１０】
本発明はこのような問題点に鑑みなされたものであり、より効率的で視覚上不具合のない符号化を行うことができる映像符号化装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明は、上述した従来の技術の課題を解決するため、動きベクトルを検出する動きベクトル検出部（１２）と、動き補償予測部（１３）とを有する映像符号化装置において、前記動き補償予測部は、動きベクトルと前記映像符号化装置内で符号化及び復号化した局部復号画像とを基にして、複数の予測モードの参照画像を生成する第１の参照画像生成部（１３１）と、前記複数の予測モードの参照画像と入力画像とを用いて第１の誤差評価値を算出する第１の誤差評価値算出部（１３２）と、現マクロブロックに隣接する隣接マクロブロックの付帯情報を基にして、参照画像を生成する第２の参照画像生成部（１３４）と、前記第２の参照画像生成部で生成された参照画像と入力画像とを用いて第２の誤差評価値を算出する第２の誤差評価値算出部（１３５）と、前記第１の誤差評価値と前記第２の誤差評価値に基づいて予測モードを判別する予測モード判別部（１３３，１３６）と、現マクロブロック及び隣接マクロブロックの付帯情報を記憶する付帯情報保持部（１３８）と、前記予測モード判別部で判別された予測モードが、隣接マクロブロックの付帯情報を基にして参照画像を生成するモードであった場合、現マクロブロックの付帯情報を隣接マクロブロックの付帯情報に置き換えて出力する付帯情報置換手段（１３７）とを備えることを特徴とする映像符号化装置を提供するものである。
【００１２】
【発明の実施の形態】
以下、本発明の映像符号化装置について、添付図面を参照して説明する。図１は本発明の映像符号化装置の全体構成例を示すブロック図、図２は本発明の映像符号化装置の要部の一実施形態を示すブロック図である。
【００１３】
まず、本発明の映像符号化装置の全体構成例について説明する。図１において、符号化の対象となっている映像信号は、バッファメモリ／プリプロセス部１に入力される。バッファメモリ／プリプロセス部１は、具体的には、フレームバッファの後段に、フィルタ処理やダウンサンプリング処理等を行うプリプロセス部を設けた構成である。
【００１４】
バッファメモリ／プリプロセス部１に一旦蓄積された第ｎフレームの映像信号は、マクロブロック毎に減算器２に入力される。マクロブロックは動き補償予測に用いられる単位で、ＭＰＥＧ２では１６×１６または１６×８の画素で構成されている。減算器２は、後述するフレームメモリ１１に蓄えられ、動き補償予測部１３によって動き補償予測された第ｎ−ｉまたは第ｎ＋ｊ（ｉ，ｊ≠０）フレームの局部復号されたデータとの差分をとる。これにより、時間的な冗長性が除去される。
【００１５】
減算器２の出力は、離散コサイン変換部（ＤＣＴ）３に入力されて周波数領域の信号に変換され、さらに、量子化部４に入力されて量子化（ビット変換）される。量子化部４の出力は、可変長符号化部５に入力される。
【００１６】
量子化部４の出力は逆量子化部８にも入力され、逆量子化される。そして、逆量子化部８の出力は逆離散コサイン変換部（ＩＤＣＴ）９に入力されて離散コサイン変換前の状態に戻される。逆離散コサイン変換部９の出力は加算器１０に入力される。加算器１０は、逆離散コサイン変換部９の出力と、動き補償予測部１３の出力である局部復号されたデータ（局部復号画像）とを加算し、加算結果をフレームメモリ１１に供給する。
【００１７】
動きベクトル検出部１２は、バッファメモリ／プリプロセス部１の出力とフレームメモリ１１の出力とを基にして動きベクトルを検出し、動き補償予測部１３に供給する。
【００１８】
動き補償予測部１３より出力された付帯情報と、量子化部４より出力された量子化信号は、可変長符号化部５に入力されて可変長符号化される。可変長符号化部５の出力はマルチプレクサ（ＭＵＸ）６に入力される。マルチプレクサ６は、可変長符号化部５の出力がＭＰＥＧ２の規格に合致したデータ構造になるように多重化を行う。また符号量制御部７は、マルチプレクサ６からの情報を基にして、符号化データの単位時間当たりのデータ量が適切な範囲に収まるよう、量子化部４における量子化に必要な係数を設定する。
【００１９】
次に、図２を用いて、動き補償部１３の具体的構成及び動作について説明する。図２に示すように、動き補償予測部１３は、各予測モードの参照画像を生成する参照画像生成部１３１と、各予測モードの誤差評価値を算出する誤差評価値算出部１３２と、モード判別部１３３と、隣接マクロブロックの付帯情報を基にして参照画像を生成する参照画像生成部１３４と、誤差評価値を算出する誤差評価値算出部１３５と、モード判別部１３６と、付帯情報更新部１３７と、付帯情報保持部１３８を備える。
【００２０】
参照画像生成部１３１には、動きベクトル検出部１２より出力された動きベクトルと、フレームメモリ１１より出力された局部復号画像とが入力される。参照画像生成部１３１は、入力された動きベクトルと局部復号画像とに基づいて各予測モード毎に参照画像を生成する。各予測モードとは以下に示す通りである。
【００２１】
Ｉピクチャの場合には、フレーム内符号化マクロブロック（Ｉｎｔｒａ　ＭＢ）であり、Ｐピクチャの場合には、Ｉｎｔｒａ　ＭＢ，順方向予測動き補償マクロブロック（Ｆｏｒｗａｒｄ　ＭＣ　ＭＢ），順方向フレーム間予測マクロブロック（Ｎｏ　ＭＣ　ＭＢ）である。Ｂピクチャの場合には、Ｉｎｔｒａ　ＭＢ，Ｆｏｒｗａｒｄ　ＭＣ　ＭＢ，逆方向予測動き補償マクロブロック（Ｂａｃｋｗａｒｄ　ＭＣ　ＭＢ），双方向予測動き補償マクロブロック（Ａｖｅｒａｇｅ　ＭＣ　ＭＢ）である。
【００２２】
誤差評価値算出部１３２は、入力された各予測モード毎の参照画像から予測ブロックを抜き出し、入力画像との差分を取りながら、誤差評価値を算出する。誤差評価値算出部１３２で算出した各予測モード毎の誤差評価値は、モード判別部１３３に入力される。モード判別部１３３は、誤差評価値算出部１３２より入力された各予測モード毎の誤差評価値を基にして予測モードを判別する。
【００２３】
参照画像生成部１３４には、付帯情報保持部１３８から隣接マクロブロックの付帯情報が入力される。隣接マクロブロックとは、最も好ましくは、現マクロブロックの左隣のマクロブロックである。参照画像生成部１３４は、入力された隣接マクロブロックの付帯情報（予測モード，動きベクトル，フレームマクロブロック／フィールドマクロブロックのタイプ）とフレームメモリ１１内の局部復号画像を基にして参照画像を生成する。
【００２４】
誤差評価値算出部１３５は、参照画像生成部１３４より出力された参照画像を基にして入力画像との差分を取りながら誤差評価値を算出する。誤差評価値算出部１３５で算出した誤差評価値は、モード判別部１３６に入力される。モード判別部１３６は、誤差評価値算出部１３５より入力された誤差評価値とモード判別部１３３から入力された予測モードを基にして予測モードを判別し、その予測モードの予測画像を減算器２へと供給する。
【００２５】
ここで、判別した予測モードが隣接マクロブロックと同じ予測モードであれば、付帯情報更新部１３７は、現マクロブロックの付帯情報を隣接マクロブロックの付帯情報に置き換える。付帯情報保持部１３８は、現マクロブロックの付帯情報と隣接マクロブロックの付帯情報とを記憶して保持する。付帯情報保持部１３８から出力された付帯情報は、可変長符号化部５へと供給される。
【００２６】
以上により、現マクロブロックの付帯情報が隣接マクロブロックの付帯情報と同じであり、かつ、ＤＣＴ部３及び量子化部４での処理の後の係数が全て０の場合、現マクロブロックは可変長符号化部５でスキップマクロブロックと判定されることとなる。スキップマクロブロックと判定された場合、可変長符号化部５ではマクロブロックの付帯情報を付加せずに出力する。
【００２７】
これにより、付帯情報の分の符号量を削減することができる。スキップマクロブロックと判定されない場合でも、動きベクトルの差分が０であるため、動きベクトルの分の符号量を削減することができ、可変長符号化部５での可変長符号化の効率がよくなる。また、ＭＰＥＧ２の規定により、復号装置において、付帯情報のないマクロブロックについては１つ前のマクロブロックの付帯情報をそのまま使うものとされており、前述のように付帯情報を付加せずに出力しても再生画像に影響はない。従って、限られたデータ量においても、より適切な符号化を行うことが可能となる。
【００２８】
【発明の効果】
以上詳細に説明したように、本発明の映像符号化装置は、動き補償予測部を、動きベクトルと映像符号化装置内で符号化及び復号化した局部復号画像とを基にして、複数の予測モードの参照画像を生成する第１の参照画像生成部と、複数の予測モードの参照画像と入力画像とを用いて第１の誤差評価値を算出する第１の誤差評価値算出部と、現マクロブロックに隣接する隣接マクロブロックの付帯情報を基にして、参照画像を生成する第２の参照画像生成部と、第２の参照画像生成部で生成された参照画像と入力画像とを用いて第２の誤差評価値を算出する第２の誤差評価値算出部と、第１の誤差評価値と第２の誤差評価値に基づいて予測モードを判別する予測モード判別部と、現マクロブロック及び隣接マクロブロックの付帯情報を記憶する付帯情報保持部と、予測モード判別部で判別された予測モードが、隣接マクロブロックの付帯情報を基にして参照画像を生成するモードであった場合、現マクロブロックの付帯情報を隣接マクロブロックの付帯情報に置き換えて出力する付帯情報置換手段とを備える構成としたので、より効率的で視覚上不具合のない符号化を行うことができる。
【図面の簡単な説明】
【図１】本発明の全体構成例を示すブロック図である。
【図２】本発明の要部の一実施形態を示すブロック図である。
【図３】従来例を示すブロック図である。
【符号の説明】
１　バッファメモリ／プリプロセス部
２　減算器
３　離散コサイン変換部
４　量子化部
５　可変長符号化部
６　マルチプレクサ
７　符号量制御部
８　逆量子化部
９　逆離散コサイン変換部
１０　加算器
１１　フレームメモリ
１２　動きベクトル検出部
１３　動き補償予測部
１３１，１３４　参照画像生成部
１３２，１３５　誤差評価値算出部
１３３，１３６　モード判別部
１３７　付帯情報更新部（付帯情報置換手段）
１３８　付帯情報保持部

Claims (1)

1. 動きベクトルを検出する動きベクトル検出部と、動き補償予測部とを有する映像符号化装置において、
   前記動き補償予測部は、
   動きベクトルと前記映像符号化装置内で符号化及び復号化した局部復号画像とを基にして、複数の予測モードの参照画像を生成する第１の参照画像生成部と、前記複数の予測モードの参照画像と入力画像とを用いて第１の誤差評価値を算出する第１の誤差評価値算出部と、
   現マクロブロックに隣接する隣接マクロブロックの付帯情報を基にして、参照画像を生成する第２の参照画像生成部と、
   前記第２の参照画像生成部で生成された参照画像と入力画像とを用いて第２の誤差評価値を算出する第２の誤差評価値算出部と、
   前記第１の誤差評価値と前記第２の誤差評価値に基づいて予測モードを判別する予測モード判別部と、
   現マクロブロック及び隣接マクロブロックの付帯情報を記憶する付帯情報保持部と、
   前記予測モード判別部で判別された予測モードが、隣接マクロブロックの付帯情報を基にして参照画像を生成するモードであった場合、現マクロブロックの付帯情報を隣接マクロブロックの付帯情報に置き換えて出力する付帯情報置換手段とを備えることを特徴とする映像符号化装置。

Images