JPH06350995A

JPH06350995A - 動画像処理方法

Info

Publication number: JPH06350995A
Application number: JP16608993A
Authority: JP
Inventors: Yoichi Murayama; 洋一村山
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 1993-06-10
Filing date: 1993-06-10
Publication date: 1994-12-22

Abstract

(57)【要約】【目的】ＧＯＰにおけるＢピクチャの動きベクトルの
数を削減し、処理速度の向上及び伝送・蓄積効率の向上
を図った動画像処理方法を提供することを目的とする。【構成】ＧＯＰのＢピクチャの検出対象のマクロブロ
ックｍを貫通し、当該マクロブロックｍに対して時間軸
の前後方向に位置するＩピクチャあるいはＰピクチャを
基点と終点とする動きベクトルｖ→を想定する。この動
きベクトルｖ→の基点位置と終点位置に位置するととも
に、検索対象のマクロブロックｍに対して最小誤差を有
するマクロブロックａ、ｂを検出し、動きベクトルｖ→
を決定する。そして、マクロブロックｍと同位置であっ
て時間軸の後方のＩピクチャあるいはＰピクチャのマク
ロブロックＰａから当該動きベクトルｖ→の指向するマ
クロブロックａまでの距離ｍｖを動きベクトルｖ→に関
する情報として検出し、この距離ｍｖの情報を符号化
し、伝送・蓄積する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像処理方法に関
し、詳細には、時間軸方向の予測を伴う動画像処理方法
に関する。

【０００２】

【従来の技術】〈背景〉動画像、特に、蓄積メディア用
の動画像符号化の国際標準としては、ＭＰＥＧ（Moving
Picture Expert Group ）がある。

【０００３】ＭＰＥＧは、ＭＰＥＧI 、ＭＰＥＧII、Ｍ
ＰＥＧIII の３レベルの規格案が検討されている。ＭＰ
ＥＧI では、１．５Ｍｂｐｓの通信回線で伝送できる動
画像圧縮を目的としており、おもにテレビ電話やテレビ
会議などで使用することが考えられている。ＭＰＥＧI
では、現行のＮＴＳＣ方式のビデオ画像を３２０×２４
０ピクセルの解像度として扱い、１フレームを構成する
２フィールドのうち１フィールドのみのデータを用い
る。ＭＰＥＧIIでは、１０Ｍｂｐｓの通信回線で伝送で
きる圧縮が目標で、ＩＳＤＮなどによる動画像伝送やデ
ィジタル・ビデオがターゲットとされている。そして、
ＭＰＥＧIII は、ハイビジョンなどによる次世代テレビ
が対象となっている。

【０００４】ＭＰＥＧの特徴は、静止画圧縮では不要で
あった「動き補償（ＭＣ：MotionCompensation）」を行
うこと、および動画像圧縮の前提条件としてフレームの
ランダム・アクセスができること、早送りによる再生や
巻戻し再生（逆方向）ができることがあげられている。

【０００５】すなわち、画像データは、一般に膨大であ
り、そのまま伝送したのでは、大きな帯域を必要とする
だけでなく、そのまま蓄積したのでは、膨大な記憶容量
を必要とする。一方、動画では、大体同じ形態が移動す
ることが多いので、この同じ形態の移動予測を行うこと
により、１コマ１コマを圧縮する必要が無くなり、伝送
や蓄積において有利となる。

【０００６】そこで、ＭＰＥＧでは、ＤＣＴ（Discrete
Cosine Transform ：離散コサイン変換）による静止画
像圧縮に加えて、時間軸方向の圧縮のための動き補償を
行っている。

【０００７】このようなＭＰＥＧのデータ構造は、図５
に示すように表される。

【０００８】すなわち、ＭＰＥＧのデータ構造は、下位
の層から、ブロック層、マクロブロック層、スライス
層、ピクチャ層、ＧＯＰ層及びビデオシーケンス層とな
っており、その内容は、以下のとおりである。

【０００９】ブロック層は、輝度または色差の隣り合っ
た８ライン×８画素の画素から構成され、ＤＣＴは、こ
の単位で実行される。

【００１０】マクロブロック層は、左右及び上下に隣り
合った４つの輝度ブロックＹ０、Ｙ１、Ｙ２、Ｙ３と、
画像上では同じ位置にあたるＣｂ、Ｃｒそれぞれの色差
ブロックの全部で６つのブロックで構成される。上記動
きベクトルは、このマクロブロック単位で取り扱われ
る。

【００１１】スライス層は、画像の走査順に連なる１つ
又は複数のマクロブロックで構成される。

【００１２】ピクチャ層は、上記少なくとも１つ又は複
数のスライスから構成され、その符号化される方式によ
り、上記Ｉピクチャ、Ｐピクチャ及びＢピクチャ等に分
類される。

【００１３】ＧＯＰ層は、１枚または複数枚のＩピクチ
ャと０枚または複数枚の非Ｉピクチャから構成される。

【００１４】ビデオシーケンス層は、画像サイズ、画像
レートなどが同じ１又は複数のＧＯＰから構成される。

【００１５】そして、ＭＰＥＧでは、上記マクロブロッ
ク毎に動きベクトルを用意して、時間軸方向の以前（過
去）の再生画像（予測画像）から動きベクトル分だけず
らして予測するフレーム間予測、すなわち動き補償（Ｍ
Ｃ）を行っている。

【００１６】この動き補償では、予測画像のマクロブロ
ックの座標に動きベクトルを加算することにより、入力
画像を予測しており、この動き補償は、１／２画素精度
で行なう。１／２画素精度の動き補償は、予測に用いる
参照フレーム上において画素単位でずらした位置を調べ
るのみならず、画素と画素の間の位置を補間によって生
成し、マッチングをとることによって行なう。

【００１７】また、ＭＰＥＧでは、上述のように、早送
り、巻き戻し、途中からの再生が基本となっているた
め、ある単位の動画像をまとめてＧＯＰ（Group of Pic
tures）を形成し、その単位での独立再生ができるよう
にしている。

【００１８】このＧＯＰでは、途中からの再生を可能に
するため、シーケンス・ヘッダ（ＳＨ）を付けることが
可能であり、シーケンス・ヘッダには、画像の大きさ、
画素縦横比など、データの再生に必要とする初期データ
が入っている。

【００１９】そして、ＭＰＥＧでは、上記ＧＯＰ内の画
面の予測構造としては、例えば、図６に示すようになっ
ている。なお、図６において、四角形は動画のフレーム
を意味する１枚１枚の画像（ピクチャ）を示し、フレー
ムから伸びる矢印は、矢印の根元のフレームが矢印の先
のフレームの予測に用いられることを示す。そして、図
６において、Ｉ、Ｂ、Ｐは、後述するピクチャのタイプ
を示している。

【００２０】上記ピクチャは、符号化される方式に従っ
て以下のタイプに分類される。

【００２１】Ｉピクチャ（Intra-coded picture：イ
ントラ符号化画像）符号化されるときその画像１枚の中だけで閉じた情報の
みを使う。換言すれば、復号化するときＩピクチャ自身
の情報のみで画像が再構成できる。実際には、他の画像
との差分をとらずそのままＤＣＴして符号化する。この
符号化方式は、一般に効率が悪いが、これを随所に入れ
てＩピクチャだけを復号すればランダムアクセスや高速
再生が可能となる。さらに、Ｉピクチャを復号してメモ
リに蓄え、逆方向に読み出すことを繰り返せば逆転再生
をも可能となる。

【００２２】Ｐピクチャ（Predictive-coded pictur
e：前方予測符号化画像）Ｐピクチャは、予測画像（差分をとる基準となる画像）
として、入力で時間的に前に位置し既に復号化されたＩ
ピクチャまたはＰピクチャを使う。すなわち、図５に示
すように過去から現在の一方向に予測されるフレームで
ある。実際には動き補償された予測画像との差を符号化
するか差分をとらずに符号化する（イントラ符号化）か
効率のよい方をマクロブロック単位で選択できる。

【００２３】Ｂピクチャ（Bidirectionally predicti
ve-coded picture：両方向予測符号化画像）Ｂピクチャは、予測画像として時間的に前に位置し既に
復号化されＩピクチャまたはＰピクチャ、時間的に後ろ
に位置するすでに復号化されたＩピクチャまたはＰピク
チャ、およびその両方から作られた補間画像の３種類を
使う。ここで、補間フレームの場合は両方向から予測を
行なうが、動き補償の予測モードは大きく分類して３つ
ある。過去から現在を予測する順方向動き補償、未来か
ら現在を予測する逆方向動き補償、過去と未来の両方か
ら現在を予測する補間動き補償である。上記順方向動き
補償と逆方向動き補償とは、一つの参照フレームから読
み出したブロックとマッチングをとるという点で、通常
の動き補償（ＭＣ）と同じ処理である。また、上記補間
動き補償は、２つの参照フレームから読み出したブロッ
クを、現在のフレームと参照フレームとの時間距離を考
慮した重みづけをして合成し、予測信号を得るものであ
る。

【００２４】上記３種類の動き補償後の差分の符号化と
イントラ符号化の中で一番効率のよいものをマクロブロ
ック単位に選択できる。

【００２５】そして、ＧＯＰにおいて、Ｂピクチャを符
号化または復号化するには、その予測画像となる時間的
には後方にあるＩピクチャまたはＰピクチャが先に符号
化されていなくてはならないため、ＧＯＰを構成するに
はＩピクチャ、Ｐピクチャ、Ｂピクチャは所定の順序が
必要であるが、Ｉピクチャの間隔、及びＰピクチャの間
隔は自由でＧＯＰの内部でも変わってもよい。

【００２６】〈従来技術〉従来の動画像処理方法におい
ては、上述のようなＭＰＥＧのＧＯＰにおいて、図７に
示すように、Ｂピクチャから時間軸の前方側のＩピクチ
ャあるいはＰピクチャへの動ベクトルおよびＢピクチャ
から時間軸の後方側のＩピクチャあるいはＰピクチャへ
の動ベクトルをそれぞれ別々に求めて、その動ベクトル
を符号化している。

【００２７】すなわち、対象となるＢピクチャのマクロ
ブロックに対して、ＩピクチャあるいはＰピクチャの近
似するマクロブロックを検出し、当該検出したマクロブ
ロックに対する動きベクトルを求めるという動きベクト
ル検出を、Ｂピクチャを中心として時間軸の前方および
後方にあるＩピクチャあるいはＰピクチャのそれぞれに
対して行って、各ＩピクチャあるいはＰピクチャに対す
る動きベクトルを求めている。そして、この求めたＢピ
クチャ１つ当たり２つの動きベクトルを符号化して、伝
送・蓄積している。すなわち、Ｂピクチャの１つのマク
ロブロックに対して、２つの動きベクトルを求め、伝送
・蓄積している。

【００２８】

【発明が解決しようとする課題】しかしながら、このよ
うな従来の動画像処理装置にあっては、Ｂピクチャの時
間軸の前後方向のそれぞれに対して別々に動きベクトル
を求め、Ｂピクチャの１つのマクロブロック当たり２つ
の動きベクトルを検出して符号化していたため、動きベ
クトルの検出処理に時間を要するとともに、符号化する
情報量が多く、処理速度の向上や記憶容量の削減を図る
上において問題があった。

【００２９】すなわち、動きベクトルの検出における計
算量は膨大なものであり、この動きベクトルの検出をＢ
ピクチャの各マクロブロックについて時間軸の前方側と
後方側のそれぞれについて行っていたのでは、処理速度
を向上させることができない。

【００３０】また、Ｂピクチャの各マクロブロックにつ
いて２つづつの動きベクトルを求めて符号化すると、動
きベクトルの分だけ符号化する情報量が増え、伝送速度
を向上させる上で問題であるだけでなく、記憶容量の削
減を図る上においても問題であった。

【００３１】特に、Ｂピクチャは、時間的に連続するも
のであり、動画像において、Ｂピクチャが連続する部分
では、その分だけ動きベクトルの数も増え、動きベクト
ルの検出処理もＢピクチャの数の２倍必要なだけでな
く、符号化する情報量も増加するという問題があった。

【００３２】そこで、本発明はＢピクチャの１つのマク
ロブロック当たりの動きベクトルの数を減らし、情報量
を削減することのできる動画像処理方法を提供すること
を目的としている。

【００３３】

【課題を解決するための手段】請求項１記載の発明は、
Ｉピクチャ、Ｐピクチャ及びＢピクチャが所定の間隔で
時間軸方向に所定の順序で並んだＧＯＰのＢピクチャの
各マクロブロックについて、時間軸の前後方向にあるＩ
ピクチャあるいはＰピクチャに対して当該Ｂピクチャの
マクロブロックと近似するマクロブロックを検出し、当
該検出したマクロブロックに対する動きベクトルを求
め、当該動きベクトルにより動き補償を行う動画像処理
方法において、前記Ｂピクチャのマクロブロックを貫通
して当該マクロブロックの時間軸の前後方向にあるＩピ
クチャあるいはＰピクチャを基点と終点とする動きベク
トルを想定し、当該動きベクトルの基点と終点の双方に
あるのマクロブロックのうち所定の範囲で当該Ｂピクチ
ャのマクロブロックと最も近似するマクロブロックを検
出して、当該動きベクトルを決定し、当該決定した動き
ベクトルに関する情報を動き補償に用いることにより、
上記目的を達成している。

【００３４】この場合、前記動きベクトルに関する情報
は、例えば、請求項２に記載するように、前記検出対象
のＢピクチャのマクロブロックと時間軸方向の一方にお
いて同位置にある前記ＩピクチャあるいはＰピクチャの
マクロブロックから当該ＩピクチャあるいはＰピクチャ
の前記決定された動きベクトルの位置するマクロブロッ
クまでの距離情報であってもよい。

【００３５】また、前記Ｂピクチャのマクロブロックと
最も近似するＩピクチャあるいはＰピクチャのマクロブ
ロックは、例えば、請求項３に記載するように、該Ｉピ
クチャあるいはＰピクチャのマクロブロックの平均と当
該Ｂピクチャのマクロブロックとを比較することにより
検出されるものであってもよい。

【００３６】

【作用】本発明によれば、Ｉピクチャ、Ｐピクチャ及び
Ｂピクチャが所定の間隔で時間軸方向に所定の順序で並
んだＧＯＰにおいて、Ｂピクチャのマクロブロックを貫
通して当該マクロブロックの時間軸の前後方向にあるＩ
ピクチャあるいはＰピクチャを基点と終点とする動きベ
クトルを想定する。そして、この動きベクトルの基点と
終点の双方にあるマクロブロックのうち所定の検索範囲
で当該Ｂピクチャのマクロブロックと最も近似するマク
ロブロックを検出して動きベクトルを決定し、当該決定
した動きベクトルに関する情報を動き補償に用いている
ので、従来Ｂピクチャの１つのマクロブロック当たり時
間軸方向の前後方向にそれぞれ必要としていた動きベク
トルを、Ｂピクチャのマクロブロック１つについて１つ
の動きベクトルとすることができ、動きベクトルの検出
時間を短縮して、処理速度を向上させることができると
ともに、動きベクトルの数を減らし、情報量を削減する
ことができる。

【００３７】

【実施例】以下、本発明を図面に基づいて説明する。

【００３８】図１〜図４は本発明に係る動画像処理方法
の一実施例を示す図である。

【００３９】先ず、構成を説明する。

【００４０】図１は動画像処理装置の符号化器のブロッ
ク構成図である。

【００４１】図１において、動画像処理装置の符号化器
１は、コントローラ２、レジスタ群２Ａ、画像メモリ
３、減算器４、ＤＣＴ演算部５、量子化部６、ビデオマ
ルチプレックス符号化部（ＶＬＣ）７、バッファ８及び
動きフレーム間予測部９等により構成されている。

【００４２】画像メモリ３は、データ圧縮すべき画像デ
ータが入力され、この画像データを記憶して、減算器４
及びコントローラ２に出力する。

【００４３】画像メモリ３から読み出された画像データ
は、減算器４に入力され、減算器４は、画像メモリ３か
ら入力される画像データから動きフレーム間予測部９で
の動き補償フレーム間予測処理による予測結果を減算し
て、その減算結果をコントローラ２及びＤＣＴ演算部５
に出力する。

【００４４】ＤＣＴ演算部５は、減算器４による減算結
果の画像データに対してＤＣＴ演算を行い、その演算結
果を量子化部６に出力する。

【００４５】量子化部６は、コントローラ２で決定され
た量子化幅に従ってＤＣＴ演算部５による演算データを
一定の誤差の範囲内で量子化し、動きフレーム間予測部
９及びビデオマルチプレックス符号化部（ＶＬＣ）７に
出力する。

【００４６】ビデオマルチプレックス符号化部（ＶＬ
Ｃ）７は、量子化部６により量子化された画像データに
対して可変長符号化を行う他、各種ブロック属性信号を
可変長符号化した後、定められたデータ構造の符号列に
多重化し、バッファ８に出力する。

【００４７】バッファ８は、変動する情報発生を一定レ
ートに平滑化して、コントローラ２に出力し、また画像
データを図外の記憶装置に出力する。この記憶装置に記
憶された画像データは、本動画像処理装置の後述する復
号器で復号化されたり、他の動画像処理装置に伝送され
る。

【００４８】動きフレーム間予測部９は、周期的なフレ
ーム内符号化フレームを基本とした動き補償予測を行う
もので、逆量子化部１０、ＩＤＣＴ演算部（ＩＤＣＴ）
１１、加算器１２、スイッチ１３、１４、１５及び予測
器１６、１７で構成されている。

【００４９】逆量子化部１０は、量子化部６により量子
化された画像データを逆量子化して、量子化前の画像デ
ータに戻し、ＩＤＣＴ演算部１１に出力する。

【００５０】ＩＤＣＴ演算部１１は、逆量子化部１０に
より量子化前の状態に戻された画像データに対して逆Ｄ
ＣＴ（ＩＤＣＴ）演算を施し、加算器１２に出力する。

【００５１】加算器１２は、ＩＤＣＴ演算部１１により
ＤＣＴ処理される前の状態に戻された画像データに動き
補償フレーム間処理による予測結果を加算して、スイッ
チ１３に出力する。

【００５２】スイッチ１３、１４、１５は、コントロー
ラ２からの画像モードと予測モードに従って信号経路を
切り換えるもので、スイッチ１３は、画像モードにより
オンされ、スイッチ１４、１５は、予測モードで、その
対応によりオン／オフされて、予測器１６、１７を減算
器４に接続する。

【００５３】予測器１６、１７は、コントローラ２で演
算処理された動きベクトルにより動き補償予測を行な
う。

【００５４】そして、コントローラ２には、上記画像メ
モリ３からの画像データ、バッファ８からの情報及び差
分値等が入力され、コントローラ２は、画像モード、予
測モード及び各種制御信号を出力して、システム全体を
制御するとともに、後述するように、動きベクトルを求
めて予測器１６、１７に出力する。

【００５５】レジスタ群２Ａは、後述するような各種レ
ジスタで構成されており、コントローラ２が上記制御に
おける制御において必要なデータを一時格納するのに使
用される。

【００５６】また、動画像処理装置は、図２に示すよう
な上記符号化器１とは逆の動作を行う復号器２０を備え
ており、バッファ２１、逆ビデオマルチプレックス符号
化部（ＶＬＣ^-1）２２、逆量子化部２３、ＩＤＣＴ演算
部２４、加算器２５、スイッチ２６、２７、２８及び予
測器２９、３０から構成されている。

【００５７】バッファ２１には、図外の記憶装置から圧
縮データが入力され、バッファ２１は、変動する情報発
生を一定レートに平滑して、画像データを記憶装置に出
力する。

【００５８】逆ビデオマルチプレックス復号化部（ＶＬ
Ｃ^-1）２２は、バッファ２１から入力される復号化すべ
き画像データを前記ビデオマルチプレックス符号化部
（ＶＬＣ）７の処理と逆の処理を行なって復号化し、逆
量子化部２３に出力する。

【００５９】逆量子化部２３は、逆ビデオマルチプレッ
クス復号化部（ＶＬＣ^-1）２２で決定された量子化幅に
従って逆ビデオマルチプレックス復号化部（ＶＬＣ^-1）
２２の出力する画像データに対して逆量子化し、ＩＤＣ
Ｔ演算部２４に出力する。

【００６０】ＩＤＣＴ演算部２４は、逆量子化部２３で
逆量子化されたデータに対して逆ＤＣＴ演算を施し、そ
の演算結果を加算器２５に出力する。

【００６１】加算器２５は、ＩＤＣＴ演算部２４の出力
に予測結果を加算して、予測器２９等に出力する。

【００６２】スイッチ２６、２７、２８は、逆ビデオマ
ルチプレックス復号化部（ＶＬＣ^-1）２２からの画像モ
ード、予測モードに従って信号経路を切り換える。

【００６３】上記予測器２９、３０は、逆ビデオマルチ
プレックス復号化部（ＶＬＣ^-1）２２で算出された動き
ベクトルにより動き補償予測を行なう。この予測器２
９、３０における動き補償予測において、後述する動き
ベクトルが使用される。

【００６４】次に、本実施例の動作を説明する。

【００６５】ＧＯＰでは、図６に示したように、Ｉピク
チャ、Ｐピクチャ及びＢピクチャが所定の順序で並んで
おり、Ｂピクチャの動き補償を、従来のように、前後の
ＩピクチャあるいはＰピクチャのそれぞれについての動
きベクトルを検出し、この動きベクトルに基づいて動き
補償を行うと、Ｂピクチャの１つのマクロブロックに対
して２つの動きベクトルを必要とする。

【００６６】そこで、本実施例では、図１に示したコン
トローラ２により、以下に説明する動画像処理を行うこ
とにより、Ｂピクチャの１つのマクロブロックに対して
１つの動きベクトルを決定し、この動きベクトルに関す
る情報を符号化して、伝送・蓄積するようにしている。

【００６７】すなわち、図３に示すように、Ｂピクチャ
の検出対象のマクロブロックｍを貫通して当該マクロブ
ロックｍの時間軸の前方にあるＩピクチャあるいはＰピ
クチャを基点とし、時間軸の後方側にあるＩピクチャあ
るいはＰピクチャを終点とする動きベクトルｖ→（ｖ→
は、ベクトルを表示する。）を想定し、この動きベクト
ルｖ→の基点と終点のマクロブロックａ、ｂのうち所定
の範囲にあるマクロブロックａ、ｂであって、当該Ｂピ
クチャのマクロブロックｍと上記双方のマクロブロック
ａ、ｂが最も近似するマクロブロックａ、ｂを検出す
る。

【００６８】具体的には、検出対象のＢピクチャのマク
ロブロックｍの画素の値と、動きベクトルｖ→の基点と
終点にあるマクロブロックａ、ｂの画素の平均値との誤
差が最小になるマクロブロックａ、ｂを検出する。そし
て、そのときのマクロブロックａ、ｂを基点と終点とす
る動きベクトルｖ→を決定し、当該動きベクトルｖ→に
関する情報を求める処理を行う。

【００６９】以下、上記処理を図４に示すフローチャー
トに基づいて説明する。

【００７０】コントローラ２は、まず、レジスタ群２Ａ
に形成され画素の最小誤差を格納するレジスタｇに予め
設定した画素の最小誤差の最大値Ｍａｘを格納し（ステ
ップＴ１）、Ｂピクチャの検出対象のマクロブロックｍ
と同位置にある時間軸の前方あるいは後方（本実施例で
は、図３に示すように、時間軸の後方）のＩピクチャあ
るいはＰピクチャのマクロブロックＰａから検索対象と
なっているマクロブロックａまでの距離ｍｖを格納する
レジスタｉ（レジスタ群２Ａに形成されている。）に検
索範囲のマイナス側（図３中下側）の最大値「−ＭＣ
Ｈ」を格納する（ステップＴ２）。

【００７１】次に、検索対象となっているマクロブロッ
ク内の各画素をカウントするためのレジスタｊ（レジス
タ群２Ａに形成されている。）に初期値「１」を格納す
る（ステップＴ３）。すなわち、上述のように、マクロ
ブロックは、通常、８×８の画素（１６×１６画素のも
のもある）で構成されており、このマクロブロックを構
成する各画素についてＢピクチャのマクロブロックｍと
最小誤差となるＩピクチャあるいはＰピクチャのマクロ
ブロックａ、ｂを検索する。このマクロブロックａ、ｂ
内の各画素をカウントするためのレジスタｊ（レジスタ
群２Ａに形成されている。）に初期値として「１」を設
定している。

【００７２】そして、画素の誤差を格納するためのレジ
スタＳｉ（レジスタ群２Ａに形成されている。）に初期
値「０」を格納し（ステップＴ４）、当該負の最大値の
位置のマクロブロックａとそのときの動きベクトルｖ→
の基点側にあるマクロブロックｂの画素の平均値を格納
するためのレジスタＣｊ（レジスタ群２Ａに形成されて
いる。）に格納する（ステップＴ５）。

【００７３】次に、Ｂピクチャのマクロブロックｍの画
素ｍｊの値からレジスタＣｊの値を減算し、その減算結
果の絶対値にレジスタＳｉの値を加算して、レジスタＳ
ｉに格納する（ステップＴ６）。いま、最初の処理であ
るから、レジスタＳｉには、「０」が格納されており、
ステップＴ６では、レジスタＳｉにマクロブロックｍの
画素ｍｊからレジスタＣｊの値を減算した減算結果の絶
対値が格納される。

【００７４】そして、レジスタｊの値を「１」だけイン
クリメントして（ステップＰ７）、レジスタｊの値がマ
クロブロックサイズＭＢ＿ＳＺの範囲内かどうかチェッ
クする（ステップＴ８）。

【００７５】ステップＴ８で、ＹＥＳのときには、検索
対象のマクロブロックａ、ｂの全ての画素について画素
の誤差を検出していないと判断して、ステップＴ５に戻
り、インクリメントしたレジスタｊの値に対応する画素
について、上記同様に、当該画素についての画素平均値
Ｃｊを求めて、その画素平均Ｃｊをマクロブロックｍの
該当画素ｍｊから減算した減算値の絶対値をレジスタＳ
ｉの値に加算した加算結果をレジスタＳｉに格納し、さ
らにレジスタｊをインクリメントする（ステップＴ５〜
ステップＴ７）。

【００７６】上記処理を検索対象のマクロブロックａ、
ｂについて全て処理し、ステップＴ８での判断がＮＯに
なると、レジスタＳｉの値がレジスタｇより小さいかど
うか、すなわち、上記ステップＴ５からステップＴ８で
検索したマクロブロックａ、ｂの平均誤差であるレジス
タＳｉの値が最小誤差ｇより小さいかどうかチェックす
る（ステップＴ９）。

【００７７】ステップＴ９で、ＹＥＳのときには、今回
検索したマクロブロックａ、ｂの平均誤差が今まで検索
したマクロブロックａ、ｂのうちで最小の誤差であると
判断して、レジスタＳｉの値をレジスタｇに格納し（ス
テップＴ１０）、レジスタｉの値をレジスタｍｖにセッ
トする（ステップＴ１１）。

【００７８】すなわち、今回検索したマクロブロック
ａ、ｂのマクロブロックｍに対する平均誤差Ｓｉが最小
誤差を格納するレジスタｇの値よりも小さいときには、
今回検索したマクロブロックａ、ｂの平均誤差Ｓｉを最
小誤差としてレジスタｇにセットし、そのときのマクロ
ブロック検出対象のマクロブロックｍと同位置で時間軸
方向に後方にあるＩピクチャあるいはＰピクチャのマク
ロブロックＰａからの距離を格納するレジスタｍｖにセ
ットしている。

【００７９】ステップＴ９で、ＮＯのときには、今回検
索したマクロブロックａ、ｂの平均誤差が今まで検索し
たマクロブロックａ、ｂのうちで最小の誤差ではないと
判断して、そのままステップＴ１２に移行する。

【００８０】そして、ステップＴ１２で、レジスタｉの
値を「１」だけインクリメントし、インクリメントした
レジスタｉの値が検索範囲の正の最大値ＭＣＨ以内であ
るかどうかチェックする（ステップＴ１３）。

【００８１】すなわち、検索範囲の負の最大値−ＭＣＨ
から正の最大値ＭＣＨまで検索したかどうかチェックし
ている。

【００８２】ステップＴ１３で、ＹＥＳのときには、検
索範囲全体を検索していないと判断して、ステップＴ３
に戻り、インクリメントしたレジスタｉの値に該当する
マクロブロックａ、ｂについて、上記同様に平均誤差Ｓ
ｉを検出し（ステップＴ３〜Ｔ８）、検出した平均誤差
Ｓｉが最小誤差ｇより小さいときには、最小誤差ｇを更
新するとともに、レジスタｍｖの値を更新して、検索範
囲全体の検索が完了したかどうかチェックする（ステッ
プＴ１０〜Ｔ１３）。

【００８３】ステップＴ１３で、ＮＯのときには、検索
範囲の正の最大値ＭＣＨまで検索して、検索範囲全体の
検索が完了したと判断して、レジスタｍｖの値を動きベ
クトルｖ→に関する情報として出力する（ステップＴ１
４）。

【００８４】なお、上記検索処理は、マクロブロック
ａ、ｂの空間方向の一方向、例えば、縦方向についての
み検索を行っているが、実際には、上記一方向に直角の
方向、例えば、左右方向についても検索を行って、最小
誤差ｇを検出し、当該最小誤差ｇのときのマクロブロッ
クａ、ｂを指向する動きベクトルｖ→を検出する。

【００８５】そして、このようにして検出した動きベク
トルｖ→に関する情報を符号化し、伝送・蓄積する。

【００８６】動画像処理装置の復号器２０は、この動き
ベクトルｖ→に基づいて画像の予測を行い、再生する。

【００８７】このように、本実施例では、Ｂピクチャの
検索対象のマクロブロックｍを貫通するとともに当該マ
クロブロックｍに対して時間軸の前後方向に位置するＩ
ピクチャあるいはＰピクチャを基点と終点とする動きベ
クトルｖ→を想定して、該動きベクトルｖ→の該基点位
置と終点位置に位置するとともに検索対象のマクロブロ
ックｍに対して最小誤差ｇを有するマクロブロックａ、
ｂを検出し、当該マクロブロックｍと同位置であって時
間軸の後方のＩピクチャあるいはＰピクチャのマクロブ
ロックＰａから当該動きベクトルｖ→の指向するマクロ
ブロックａまでの距離ｍｖ（図３参照）を当該動きベク
トルｖ→に関する情報として検出する。そして、この検
出した距離ｍｖの情報を符号化して、伝送・蓄積する。

【００８８】したがって、Ｂピクチャの１つのマクロブ
ロックｍに対して１つの動きベクトルｖ→を検索し、そ
の動きベクトルｖ→に関する情報を符号化して、伝送・
蓄積するだけでよいので、従来の方法に比べて、検索処
理を半分の量に削減することができるとともに、符号化
する情報量を半分の量に削減することができる。その結
果、処理速度を向上させることができるとともに、情報
量を削減して、伝送時間の短縮と蓄積容量の削減を行う
ことができる。

【００８９】また、動画像の場合、時間的に近接したＢ
ピクチャとＩピクチャあるいはＰピクチャとの間におい
ては、一般に、同じような形態のものが移動することが
多く、かつ隣接するＢピクチャとＩピクチャあるいはＰ
ピクチャとの時間経過量の点から、近似したマクロブロ
ックの空間的移動量は、それ程大きくない。このような
状況において、従来の動きベクトルの決定方法によれ
ば、本来の形態とは、異なる形態を最小誤差の画像とし
て検出するおそれがあったが、本実施例のように、動き
ベクトルをＢピクチャを貫通して相隣接する時間軸の前
後のＩピクチャあるいはＰピクチャをその基点と終点と
する１つの動きベクトルに基づいて最小誤差の画像を検
出すると、効果的に、かつ誤りの少ない確率で最小誤差
の画像を検出することができる。

【００９０】なお、上記実施例においては、動きベクト
ルｖ→の情報として、距離ｍｖを用いているが、距離情
報に限るものでないことは言うまでもない。また、この
距離情報としても、本実施例では、時間軸方向後方側の
ＩピクチャあるいはＰピクチャにおける距離ｍｖを採用
しているが、時間軸方向前方側のＩピクチャあるいはＰ
ピクチャにおける距離を採用してもよい。

【００９１】また、本実施例では、動きベクトルｖ→を
検査対象のＢピクチャの時間軸方向の前方側から後方側
に向いたベクトルを採用しているが、逆に、時間軸方向
の後方側から前方側に向いた動きベクトルｖ→を採用し
てもよい。

【００９２】さらに、本実施例では、Ｂピクチャの時間
軸方向の前方側のマクロブロックｂと後方側のマクロブ
ロックａの平均から最小誤差のマクロブロックａ、ｂを
検出しているが、最小誤差のマクロブロックａ、ｂの検
出は、上記検出方法に限るものでないことは言うまでも
ない。

【００９３】

【発明の効果】本発明によれば、従来Ｂピクチャのマク
ロブロック１つについて時間軸方向の前後方向にそれぞ
れ必要としていた動きベクトルを、Ｂピクチャのマクロ
ブロック１つ当たり１つの動きベクトルとすることがで
き、動きベクトルの検出処理と動きベクトル自体の数を
削減することができる。その結果、動きベクトルを検出
する処理時間を削減して、処理速度を向上させることが
できるとともに、符号化する情報量を削減することがで
き、伝送速度を向上させ、また、蓄積容量を削減するこ
とができる。

【図面の簡単な説明】

【図１】動画像処理装置の符号化器のブロック構成を示
す図である。

【図２】動画像処理装置の復号化器のブロック構成を示
す図である。

【図３】動きベクトルの検出動作の説明図。

【図４】動画像処理装置の動作を示すフローチャートで
ある。

【図５】ＭＰＥＧのデータ構造を示す図。

【図６】ＧＯＰの画面の予測構造を示す図。

【図７】動画像処理装置の動きベクトルの検出動作の説
明図。

【符号の説明】

１符号化器２コントローラ２Ａレジスタ群３画像メモリ４減算器５ＤＣＴ演算部６量子化部７ビデオマルチプレックス符号化部（ＶＬＣ）８バッファ９動きフレーム間予測部１０逆量子化部１１ＩＤＣＴ演算部１２加算器１３、１４、１５スイッチ１６、１７予測器２０復号化器２１バッファ２２逆ビデオマルチプレックス符号化部（ＶＬＣ^-1）２３逆量子化部２４ＩＤＣＴ演算部２５加算器２６、２７、２８スイッチ２９、３０予測器

Claims

【特許請求の範囲】

【請求項１】Ｉピクチャ、Ｐピクチャ及びＢピクチャが
所定の間隔で時間軸方向に所定の順序で並んだＧＯＰの
Ｂピクチャの各マクロブロックについて、時間軸の前後
方向にあるＩピクチャあるいはＰピクチャに対して当該
Ｂピクチャのマクロブロックと近似するマクロブロック
を検出し、当該検出したマクロブロックに対する動きベ
クトルを求め、当該動きベクトルにより動き補償を行う
動画像処理方法において、前記Ｂピクチャのマクロブロックを貫通して当該マクロ
ブロックの時間軸の前後方向にあるＩピクチャあるいは
Ｐピクチャを基点と終点とする動きベクトルを想定し、
当該動きベクトルの基点と終点の双方にあるマクロブロ
ックのうち所定の範囲で当該Ｂピクチャのマクロブロッ
クと最も近似するマクロブロックを検出して、当該動き
ベクトルを決定し、当該決定した動きベクトルに関する
情報を動き補償に用いることを特徴とする動画像処理方
法。
【請求項２】前記動きベクトルに関する情報は、前記検
出対象のＢピクチャのマクロブロックと時間軸方向の一
方において同位置にある前記ＩピクチャあるいはＰピク
チャのマクロブロックから当該ＩピクチャあるいはＰピ
クチャの前記決定された動きベクトルの位置するマクロ
ブロックまでの距離情報であることを特徴とする請求項
１記載の動画像処理方法。
【請求項３】前記Ｂピクチャのマクロブロックと最も近
似するＩピクチャあるいはＰピクチャのマクロブロック
は、該ＩピクチャあるいはＰピクチャのマクロブロック
の平均と当該Ｂピクチャのマクロブロックとを比較する
ことにより検出されることを特徴とする請求項１または
請求項２記載の動画像処理方法。