JP2006279917A - 動画像符号化装置、動画像復号装置及び動画像伝送システム - Google Patents

Abstract

【課題】動きベクトル推定のために必要な情報を入力ストリームから取り出すことで、改めて多くの演算を行わず、更に閾値処理を少なくしてもロバストにフレーム補間処理を行うことが出来る動画像符号化装置及び動画像復号装置を得ることを目的とする。
【解決手段】動画像復号装置２８は、可変長復号部２、逆量子化部７、逆直交変換部８、動き補償部１０、フレームメモリ１１、切替器９、加算部１３、フレーム補間処理部１７、動きベクトル保存用メモリ１８、符号化モード情報保存用メモリ１９、予測残差絶対値和保存用メモリ２０、切替器２４を有している。
【選択図】図１

Description

この発明は、電子情報化された動画像の品質改善、特に、動画像の時間解像度（フレーム数／秒）の改善を可能とする動画像符号化装置、動画像復号装置及び動画像伝送システムに関するものである。

従来、ＭＰＥＧやＩＴＵ−Ｔ Ｈ．２６ｘ等の国際標準映像符号化方式では、映像信号の各フレームについて、輝度信号１６×１６画素とそれに対応する色差信号８×８画素分をまとめたブロックデータ(以下、マクロブロック)を単位として、動き補償技術及び直交変換／変換係数量子化技術に基づいて圧縮する方法が採用されている。

動き補償技術とは、ビデオフレーム間に存在する高い相関を利用してマクロブロック毎に時間方向の信号の冗長度を削減する技術であり、過去に符号化済みの画像を参照画像としてメモリ内に蓄積しておき、参照画像中の所定の探索範囲内で、動き補償予測の対象となっている現マクロブロックと最も差分電力の小さいブロック領域を探索して、現マクロブロックの空間位置と探索結果ブロックの空間位置とのずれを動きベクトルとして符号化する技術である。

上記動きベクトルは、ビデオフレーム間の各ブロックにおける局所的な動きを表していることが多く、その動きベクトル情報を利用して補間フレームを生成する研究がなされている。最も単純なモデルでは、例えば、時間的に隣接するビデオフレーム同士の丁度中間位置に補間フレームを生成する場合、動きベクトルの値を半分にした値を補間フレームの動きベクトルとして採用し、前後のフレームから動き補償するという方法がある。これはビデオフレーム間の動きがリニアであることを仮定した場合のモデルであり、ビデオフレームの間隔が短いほど、また動きベクトルが小さい程その仮定が成り立つため、ある程度の補間フレームを生成することが可能である。

上記動きベクトルは、ビデオフレーム間の各ブロックにおける局所的な動きを表していることが多いものの、実際は最も差分電力の小さいブロック領域を探索して求められるものであり、局所的な動きを表さないこともある。そのような場合、補間フレームに乱れが発生し、非常に目立つことが多いため、そのような「動きを表していないベクトル」を如何に判定し、如何に処理するかが問題となっている。

上記動きベクトルの推定問題に関して、ベクトルの信頼性を判定するのに、フレーム内のイントラマクロブロックの割合や、隣接マクロブロックに対するベクトル同士の差や、フレーム内におけるベクトル差が大きいマクロブロックの個数や、フレーム内の動きベクトルの分散値等を用い、それら全ての閾値処理を行うことで、比較的少ない演算量でベクトルの信頼性の判定を行っている。演算量が少ないところは利点として強調できるものの、映像の内容により適切な閾値は各々敏感に変化する性質があるため、そのような固定値の閾値をもつ処理は、ロバストな設計が困難であった（例えば、非特許文献１参照）。

Ｈ．Ｓａｓａｉ，Ｓ．Ｋｏｎｄｏｈ ａｎｄ Ｓ．Ｋａｄｏｎｏ，"Ｆｒａｍｅ−ｒａｔｅ Ｕｐ−ｃｏｎｖｅｒｓｉｏｎ ｕｓｉｎｇ Ｒｅｌｉａｂｌｅ Ａｎａｌｙｓｉｓ ｏｆ Ｔｒａｎｓｍｉｔｔｅｄ Ｍｏｔｉｏｎ Ｉｎｆｏｒｍａｔｉｏｎ"． ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃｏｕｓｔｉｃ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＡＳＳＰ） ２００４，ＩＴＴ−Ｌ１．５，Ｍａｙ ２００４．

従来のフレーム補間処理は、以上のように行われていたので、動画像の時間解像度改善の問題に対し、少ない演算量で、ロバストにフレーム補間処理を行うことは困難であった。

この発明は上記のような課題を解消するためになされたもので、動きベクトル推定のために必要な情報を入力ストリーム（動画像符号化データ）から取り出すことで、改めて多くの演算を行わず、更に閾値処理を少なくしてもロバストにフレーム補間処理を行うことが出来る動画像符号化装置、動画像復号装置及び動画像伝送システムを得ることを目的とする。

この発明に係る動画像復号装置は、動画像符号化データを解析してブロック単位の符号化シンボルを抽出する解析手段と、前記符号化シンボルを用いて動画像の各フレームを復元して出力する復号手段と、前記符号化シンボルに基づいて、補間フレームの生成方法と補間フレームの動きベクトルとを推定して、前記補間フレームを生成する画像生成部と、前記復号手段からの動画像の出力と前記画像生成部からの補間フレームの出力とを所定のタイミングで切り替える切替器とを備えている。

この発明によれば、少ない処理で効率的かつロバストなフレーム補間処理を実現することができる。

実施の形態１．
以下、この発明の実施の形態１について説明する。実施の形態１では、映像の各フレームを用い、時間的に各フレームの間に存在する補間フレームを生成する動画像復号装置について説明する。動画像復号装置内部では、動画像符号化データを入力として、同データを復号／伸張した後、復号されたフレームを用いたフレーム補間処理を施して補間フレームを生成し、元からある映像の各フレームに生成された補間フレームを合わせた形で再生画像を得る処理を行っている。以下、このような処理に該当する画像生成処理を「フレーム補間処理」と呼ぶ。

実施の形態１に係る動画像復号装置の特徴は、補間フレームを生成するための各種情報を動画像符号化データから取り出すことが可能であり、改めて演算を必要としない点にある。図１は、実施の形態１に係る動画像復号装置の構成図である。図１において、動画像復号装置２８は、可変長復号部２、逆量子化部７、逆直交変換部８、動き補償部１０、フレームメモリ１１、切替器９、加算部１３、補間画像生成部１７、動きベクトル保存用メモリ１８、符号化モード情報保存用メモリ１９、予測残差絶対値和保存用メモリ２０、切替器２４を有している。

次に、図１の動画像復号装置２８の動作について説明する。図１の動画像復号装置２８では、外部から動画像符号化データ１を受け取ると、可変長復号部２（解析手段）にてエントロピー復号処理が行われ、動きベクトル３、符号化モード情報４、直交変換係数データ５、量子化ステップパラメータ６等が抽出される。これらの抽出データを“符号化シンボル”とする。
直交変換係数データ５、量子化ステップパラメータ６は、それぞれ逆直交変換部８、逆量子化部７（両者を併せて復号部とする）によって復号される。

また、切替器９は、符号化モード情報４が動き予測モードを示している場合は、動き補償部１０において、動きベクトル３と符号化モード情報４に基づいて、フレームメモリ１１中の参照画像から予測画像１２を生成して出力する一方、イントラモードを示している場合は、“０”を出力する。

動き予測モードでは、逆直交変換部８の出力は、動き補償予測結果の予測誤差信号であるので、動きベクトル３を用いて参照画像から符号化側（動画像符号化装置）で生成したものと同じ予測画像１２を生成し、加算部１３において逆直交変換部８の出力１５と加算することで復号画像１４を再現する。
イントラモードでは、参照画像を全く利用せずにフレーム内符号化される。また、この場合は前述のように切替器９の出力が“０”であるため、逆直交変換部８の出力１５がそのまま復号画像１４となる。
復号画像１４は、以降のフレームの予測画像生成に用いられるため、フレームメモリ１１に格納される。復号画像１４はまた、切替器２４のスイッチが上側にある時は、動画像復号装置２８の外部へ出力２７される。

それと同時に、動きベクトル３を動きベクトル保存用メモリ１８へ保存し、符号化モード情報４を符号化モード情報保存用メモリ１９へ保存し、逆直行変換部８の出力１５の絶対値和を取得して予測残差絶対値和保存メモリ２０へ保存し、補間画像生成部１７におけるフレーム補間処理に備える。

フレーム補間処理を行う時は、所定のタイミング２６により切替器２４のスイッチを下側へ切り替え、直後に補間画像生成部１７が動作する。フレーム補間処理が終わったところで補間フレームの画像出力２５を行い、切替器２４のスイッチを上側に戻すことにより、動画像符号化装置から外部へ出力２７される。

図２は、実施の形態１において、通常フレーム同士の時間的な中間位置に、補間フレームの生成を行う場合を示す図である。所定のタイミング２６とは、例えば、図２に示すような補間フレームの生成を行う場合、動画像復号装置２８の上位制御部が生成する補間フレームの表示時刻に基づくタイミングを用いる。

次に、補間画像生成部１７について詳細に説明する。図３は、図１の補間画像生成部１７の内部構成図である。図３に示すように、補間画像生成部１７は、動きベクトル推定部３０１と補間画像生成部３０２を有している。動きベクトル推定部３０１は、動きベクトル推定コア部３０５を備えている。補間画像生成部１７は、フレームをブロック分割し、ブロック単位で処理を行う。実施の形態１では、ブロックを８×８ピクセルとして説明を行う。

図４は、図３の補間画像生成部１７の処理フローを示したフローチャートである。
図４は、補間対象ブロックｘをフレーム補間処理する場合を示している。図４において、ｔは時間を、ｆ（ｘ，ｔ）はＦｒａｍｅ ｔのブロックｘの画素値を示す。ｄ_f（ｘ，ｔ）はブロックｘの推定動きベクトルＭＶ（ｆｏｒｗａｒｄ）、ｄ_b（ｘ，ｔ）は同推定動きベクトルＭＶ（ｂａｃｋｗａｒｄ）、ｍ（ｘ，ｔ＋１）は時刻“ｔ＋１”の補間対象直後フレームにおけるブロックｘの符号化モードを示す。補間画像生成部１７は、フレーム内全てのブロックに関して図４の処理を行い、補間フレームを生成する。

以下、図３の動きベクトル推定部３０１の動作について説明する。所定のタイミング２６により、図４の処理フローが開始される。処理フローが開始されると、動きベクトル推定部３０１は符号化モード情報保存用メモリ１９からの出力２２で計算対象ブロックの符号化モード情報を取得する。ステップＳＴ１０１で、符号化モードｍ（ｘ，ｔ＋１）が“ｓｋｉｐｐｅｄ”であるかどうかをチェックする。

図５は、図４のステップＳＴ１０２における、「片方向補間」を示す図である。図４のステップＳＴ１０１で“ｓｋｉｐｐｅｄ”の場合、補間対象ブロックｘの動きは極小であるため、次の補間画像生成部３０２にて図５に示すような「片方向補間」を実施する。従って、動きベクトル推定部３０１は、補間画像生成部３０２に対して、「片方向補間」の出力３０３、及び「動きベクトル（０，０）」の出力３０４を行う。

図６は、図４のステップＳＴ１０４における、「両方向補間」を示す図である。図４のステップＳＴ１０１で“ｓｋｉｐｐｅｄ”ではない場合、次の補間画像生成部３０２にて図６に示すような両方向補間を実施する。従って、動きベクトル推定部３０１は、補間画像生成部３０２に対して、「両方向補間」の出力３０３を行う。そして、動きベクトル推定コア部３０５にて、補間対象ブロックの動きベクトル値を推定し、補間画像生成部３０２に対して、「推定された動きベクトル値」の出力３０４を行う。動きベクトル推定コア部３０５における、動きベクトルの推定処理（ステップＳＴ１０３）については後述する。

以下、補間画像生成部３０２の動作について説明する。補間画像生成部３０２には、動きベクトル推定部３０１からの出力３０３で、「片方向補間」または「両方向補間」が入力される。また、出力３０４で動きベクトル値が入力される。出力３０３の入力データにより、補間画像生成部３０２の動作は以下の２種類に場合分けされる。

先ず、出力３０３が「片方向補間」の場合について説明する。Ｆｒａｍｅ ｔの補間対象ブロックｘに関し、図５に示す「片方向補間」を実施する。図５は、符号化されたＦｒａｍｅ ｔ−１及びＦｒａｍｅ ｔ＋１に対し、Ｆｒａｍｅ ｔを補間する場合の例である。「片方向補間」の場合は、出力３０４による動きベクトルが（０，０）であるため、図５に示すように、Ｆｒａｍｅ ｔ＋１の符号化画像において、ブロックｘと同じ位置のブロックの画像データを用いて補間を行う。

次に、出力３０３が「両方向補間」の場合について説明する。Ｆｒａｍｅ ｔの補間対象ブロックｘに関し、図６に示す「両方向補間」を実施する。図６は、符号化されたＦｒａｍｅ ｔ−１及びＦｒａｍｅ ｔ＋１に対し、時間的に中間位置にあるＦｒａｍｅ ｔを補間する場合の例である。ブロックｘに関し補間する式は、数式１で与えられる。

動きベクトルｄ_f（ｘ，ｔ）及びｄ_b（ｘ，ｔ）は、出力３０４により入力された動きベクトルを用いる。「両方向補間」は、Ｆｒａｍｅ ｔ−１とＦｒａｍｅ ｔ＋１の両方からＦｒａｍｅ ｔに対して補間を行う。Ｆｒａｍｅ ｔ−１は、補間対象ブロックと同位置からｄ_f（ｘ，ｔ）ずれた場所を補間に用いる。Ｆｒａｍｅ ｔ＋１は、Ｆｒａｍｅ ｔが時間的に中間位置にあることを利用すると、“ｄ_b（ｘ，ｔ）＝−ｄ_f（ｘ，ｔ）”が成り立つため、補間対象ブロックから−ｄ_f（ｘ，ｔ）ずれた場所を補間に用いる。

以上より、図６において、補間対象ブロックを求めるための式は、数式１に“ｄ_b（ｘ，ｔ）＝−ｄ_f（ｘ，ｔ）”を代入することで、数式２のようになる。

以下、動きベクトル推定コア部３０５の動作について説明する。図７は、図３の動きベクトル推定コア部３０５の動作を示した図である。動きベクトル推定コア部３０５は、前述の通り、動きベクトル推定部３０１にて、計算対象ブロックの符号化モードが“ｓｋｉｐｐｅｄ”ではない場合に動作し、補間フレーム上での動きベクトルの推定を行う（図４のステップＳＴ１０３参照）。
具体的には、図７のＦｒａｍｅ ｔ＋１における領域“Ｒ”で示すような、補間対象ブロックｘと同じ位置のブロック（計算対象ブロック）と、その周囲の８ブロックに関し、動きベクトル保存用メモリ１８からの出力２１で復号画像上の動きベクトルを参照する。また、符号化モード情報保存用メモリ１９からの出力２２で符号化モード情報を参照し、予測残差絶対値和保存用メモリ２０からの出力２３で予測残差絶対値和を参照する。
図７のように、符号化ベクトル（動きベクトル）をｄ（ｘ＋ｖ_i，ｔ＋１），０≦ｉ≦８，（ｖ₄＝０）、予測残差をｅ（ｘ＋ｖ_i，ｔ＋１），０≦ｉ≦８，（ｖ₄＝０）とした時、数式３の演算を行うことで、補間フレーム上での補間対象ブロックｘにおける、Ｆｒａｍｅ ｔ−１に対する動きベクトルｄ_f（ｘ，ｔ）の推定を行う。

であり、数式４の分母は、ｖ_iにおける予測残差絶対値和である。

予測残差絶対値和の逆数で動きベクトルを重み付けすることで、予測残差絶対値和の小さいブロックにおける動きベクトルに強い重みが与えられる。予測残差絶対値和が小さい程、動きベクトル自体の信頼性が高く、予測残差絶対値和が大きい程ベクトル自体の信頼性が低いという性質に基づく手法である。

また、実施の形態１では、図２のような時間的に丁度中間位置のフレームを補間する場合の例であるため、α＝１／２となり、また、Ｆｒａｍｅ ｔ＋１に対する動きベクトルｄ_b（ｘ，ｔ）は、“ｄ_b（ｘ，ｔ）＝−ｄ_f（ｘ，ｔ）”で与えられる。

但し、図７の領域Ｒで示す９つの計算対象ブロックのうち、イントラブロックは上記演算から除外する。“ｓｋｉｐｐｅｄ”のブロックは、符号化ベクトル（０，０）、予測残差をある固定値Ａとして上記演算を実施する。また、インターのブロックでも、ＤＣＴ係数がなく、予測残差絶対値和が“０”になる場合は、ある固定値Ｂとして上記演算を実施する。９つの計算対象ブロック全てがイントラブロックであった場合は、例外的に、“ｄ_f（ｘ，ｔ）＝（０，０）”とする。

上記のように動きベクトル推定コア部３０５で推定されたベクトルｄ_f（ｘ，ｔ）及びｄ_b（ｘ，ｔ）を、補間画像生成部３０２に出力する。

以上のようなフレーム補間処理を行うことにより、動きベクトル推定のために必要な情報を入力ストリーム（動画像符号化データ１）から取り出すことが可能であり、改めて演算を必要としない点、閾値処理がほとんどなくロバストに機能する点が、利点として挙げられる。

図８は、実施の形態１における任意の時刻におけるフレーム補間の様子を示した図である。実施の形態１では、図２のような時間的に丁度中間位置にあるフレームを補間する例で説明を行ってきたが、例えば図８のような補間を行い、コマ数を４倍にするといったことも可能である。図８に示すような相対値αの値を用い、時間的に任意の場所に補間フレームを生成することが可能である（スケーリング）。図８のような相対時間値０＜α＜１を定義した場合、図７のｄ_f（ｘ，ｔ）の推定式（数式３）において、α倍しているところを（α―１）倍とすると、ｄ_b（ｘ，ｔ）をその向きまで考慮した形で求めることが可能となる。

実施の形態１の動画像復号装置を用いたアプリケーション事例としては、携帯カメラ動画、ＤＶＤレコーダ高圧縮モードといったものが挙げられる。携帯カメラ動画やＤＶＤレコーダの高圧縮モードでは、コマ数を落とした形でデータ保存をしておき、再生する際に、実施の形態１の手法を用いてフレーム補間処理を行いながら再生することで、時間解像度の高い映像を閲覧することが可能となる。

図９は、従来の動画像復号装置と実施の形態１に係る動画像復号装置の比較例を示した図である。３０ｆｐｓの同じ映像ソースを入力する例を用いて比較を行っている。上側は従来の動画像復号装置を用いた動画像出力の例であり、下側が実施の形態１に係る動画像復号装置を用いた動画像出力の例を示している。従来例では、１５ｆｐｓにて符号化し、動画像復号装置に対して符号化データの出力を行うと、動画像復号装置では１５ｆｐｓの符号化データが蓄積され、１５ｆｐｓにて再生が行われる。

それに対して、実施の形態１では、動画像復号装置２８に対して出力を行うことを想定した動画像出力の例であり、動画像符号化装置で符号化する段階で、動画像復号装置２８にてフレーム補間を行うことを想定し、より高圧縮で符号化するためコマを落として７．５ｆｐｓで符号化を行い、出力を行う。動画像復号装置２８では、７．５ｆｐｓの符号化データが蓄積される。これにより、従来例と比較して伝送量や蓄積量が半分ですむ上、フレーム補間処理を行い、例えば４倍にコマを増やすことで３０ｆｐｓの再生が可能となる。

以上のように、この実施の形態１によれば、動画像復号装置２８を用いると、従来と比較して伝送量や蓄積量を削減することが可能であり、更に時間解像度の高い動画を再生し閲覧することが可能となる。

また、実施の形態１はＭＰＥＧ−２の片フィールド補間へも適用可能である。例えば片フィールドのみを符号化データとして保存し、残りの片フィールドを実施の形態１の手法を用いて補間を行うことで適用可能となる。以下に、図１０を用いて説明する。

図１０は、実施の形態１に係る動画像符号化装置及び動画像復号装置を、ＭＰＥＧ−２の片フィールド補間に適用した例を示す図である。図１０は、あるインターレース動画像の出力を行う場合の例であり、動画像符号化装置１２０１に入力する前段階でＦｉｅｌｄ抽出を行い、Ｔｏｐ Ｆｉｅｌｄのみを動画像符号化装置１２０１に入力し、順次符号化し出力を行う。動画像復号装置２８では、Ｔｏｐ Ｆｉｅｌｄの復号データからＢｏｔｔｏｍ Ｆｉｅｌｄを補間し、再生を行う。

また一方で、ＭＰＥＧ−４等の動画像符号化において、両方向予測による動き補償を利用するピクチャタイプの予測画像生成において、ＭＰＥＧ−４等で規定されている予測画像生成方式により生成された予測画像ではなく、実施の形態１により生成される補間フレームを予測画像として用いることで、圧縮率が向上できる。

実施の形態２．
以下、この発明の実施の形態２について説明する。実施の形態２では、動きベクトル推定コア部３０５（図３参照）が実施の形態１と別処理を行う。その他の構成は実施の形態１と同様であるので説明を省略する。図１１は、実施の形態２に係る動画像復号装置の動きベクトル推定コア部３０５の動作を示した図である。

下記の演算を行うことで、補間フレーム上での補間対象ブロックｘにおける、Ｆｒａｍｅ ｔ−１に対する動きベクトルｄ_f（ｘ，ｔ）の推定を行う。

ここで、φ_i（ｍ）、φ_i（ｎ）はそれぞれ数式６で表される。また、ｇ_i（ｍ）、ｇ_i（ｎ）はそれぞれ、数式７で表される。ｈ（ｘ）は実施の形態２では、ｘ^-1に依存する非線形関数とし、ｇ_i（ｍ）、ｇ_i（ｎ）は分散の逆数の意味を持つ。

この時、σｄ（ｍ）、σｄ（ｎ）は図１１における領域Ｒの分散の各成分を表しており、数式８のようになる。また、図２のように時間的に丁度中間位置のフレームを補間する場合は、α＝１／２となる。

実施の形態２は、実施の形態１と比較すると、領域Ｒのベクトルに関して、分散値の逆数をブロックｘと同位置の計算対象ブロックのみに強く重み付けすることで、領域Ｒの動きベクトルの分散が小さい場合に、計算対象ブロックのベクトルが強く重み付けされる。

実施の形態１では、領域Ｒのベクトルが全体的に小さい場合、領域Ｒのある特定の予測残差絶対値和が小さなブロックに対する重みが必要以上に大き過ぎ、そのような予測残差絶対値和が小さいブロックの動きベクトルはほとんどの場合（０，０）である。その結果、必要以上に推定動きベクトルがゼロベクトルとなるブロックが多発する場合がある。従って、実施の形態２では、分散値を使うアルゴリズムを導入している。

以上のように、この実施の形態２によれば、分散値を使うアルゴリズムの導入により、実施の形態１と比較して、元々の動き量が少ないために分散の小さい動きベクトルを有する領域であっても、必要以上にゼロベクトルに落とすことなく、その分散の度合いを推定動きベクトルに適切に反映させる効果がある。

実施の形態３．
以下、この発明の実施の形態３について説明する。図１２は、実施の形態３に係る動画像符号化装置から動画像復号装置へのデータ出力を示す図である。実施の形態３に係る動画像符号化装置１２０１は、実施の形態１、２に係る動画像復号装置２８が行うフレーム補間処理に対して補助を行う（以下、補間アシスト）。具体的には、動画像符号化装置１２０１が、通常の符号化データ１に加えて、フレーム補間処理を補助するための付加情報を出力する。この付加情報を生成する部分を付加情報生成部と呼ぶ。

第１の補間アシスト（フレーム補間処理における参照画像種別の出力）について説明する。動画像符号化装置１２０１は、動画像復号装置２８におけるフレーム補間処理に際して、「時間的に前方のフレームのみを参照して補間する方法」、「時間的に後方のフレームのみを参照して補間する方法」、「前後両方のフレームを参照して補間する方法」の３種類の補間方法のうち、最適な補間方法に関する情報（最適な参照画像を示す情報）を、フレーム内の全てのブロックに関して個別に生成し、付加情報として出力する。フレームが該当ブロックを含んでいることを示す識別フラグを、付加情報の前等に付加する。その付加情報を示すビット列を、例えば算術符号化等を用いて圧縮した形で動画像復号装置２８へ出力する。

図１３は、実施の形態３に係る動画像符号化装置の構成図である。なお、動画像符号化装置１３０１は、図１２の動画像符号化装置１２０１に相当する。図１３において、動画像符号化装置１３０１は、動画像符号化部１３０２、切替器１３０４、最適参照画像判定部１３０５、ビット列生成部１３０６を備えている。また、動画像符号化部１３０２は、メモリ１３０３を備える。最適参照画像判定部１３０５及びビット列生成部１３０６が付加情報生成部である。

次に、動画像符号化装置１３０１の動作について説明する。動画像符号化装置１３０１は、動画像符号化部１３０２への入力画像の入力１３０７により符号化を行った後、動画像復号装置２８へ出力１を行う。一方、最適参照画像判定部１３０５にも入力画像の入力１３０７を行い、メモリ１３０３を参照して符号化内容を把握し、上記３種類の補間方法による補間フレームを仮生成し、補間されたフレームと略同時刻の入力画像とをブロック毎に比較し、ブロック毎にどの補間方法が最適かを判定する。その判定結果を出力１３０９としてビット列生成部１３０６へ入力し、同時に出力１３０８で切替器１３０４のスイッチを下側に切り替える。ビット列生成部１３０６では、最適参照画像判定部１３０５からの出力１３０９で上記判定結果のデータを受け取り、そのデータに関して算術符号化等を行い、動画像復号装置２８へ出力する。出力が終わったところで、切替器１３０４のスイッチを上側に戻す。

以上のように、この実施の形態３によれば、動画像符号化装置１３０１には入力画像があるため、符号化を行ったデータを用いて補間フレームを仮生成し、入力画像との比較を行うことで最適な補間方法を判定することが可能であり、このような第１の補間アシストで最適な補間方法を動画像復号装置２８に出力することにより、フレーム補間処理された動画像の画質向上が期待できる効果がある。

実施の形態４．
以下、この発明の実施の形態４について説明する。実施の形態４では、図１２の動画像符号化装置１２０１が、第２の補間アシスト（予測残差の出力）を行う。符号化する際の動きベクトルがばらばらである場合に、動画像復号装置２８において通常のフレーム補間処理を行うと、画質の低いブロックを含む補間フレームが生成されてしまう。

実施の形態４では、上記の場合、動画像符号化装置１２０１が通常の動画像符号化データに加えて、補間フレーム上の該当ブロックにおける予測残差を出力する。フレームが該当ブロックを含んでいることを示す識別フラグを、予測残差データの前等に付加する。動画像復号装置２８は、先ず、フレーム単位で予測残差の出力の有無を判断する。予測残差データを出力する時は、該当ブロック位置と予測残差を符号化データの付加情報として出力する。その付加情報を示すビット列は、例えばＭＰＥＧ−４で用いられているＤＣＴや量子化、ＶＬＣ（可変長符号化）等を用い、圧縮した形で動画像復号装置２８へ出力する。

図１４は、実施の形態４に係る動画像符号化装置の構成図である。なお、図１４の動画像符号化装置１４０１は、図１２の動画像符号化装置１２０１に相当する。図１４において、動画像符号化装置１４０１は、動画像符号化部１３０２、切替器１３０４、予測残差伝送判定部１４０５、ビット列生成部１４０６を備えている。また、動画像符号化部１３０２は、メモリ１３０３を備える。予測残差伝送判定部１４０５及びビット列生成部１４０６が付加情報生成部である。

次に、動画像符号化装置１４０１の動作について説明する。動画像符号化装置１３０１は、動画像符号化部１３０２への入力画像の入力１３０７により符号化を行った後、動画像復号装置２８へ動画像符号化データ１を出力する。一方、予測残差伝送判定部１４０５にも入力画像の入力１３０７を行い、メモリ１３０３を参照して符号化内容を把握し、補間フレームを仮生成し、補間されたフレームと略同時刻の入力画像とをブロック毎に比較し、ブロック毎に予測残差を送る必要があるかどうかを判定する。その結果、１ブロックでも予測残差を送る必要があれば、出力１３０９でビット列生成部１４０６にブロック位置と予測残差を伝え、同時に出力１３０８経由で切替器１３０４のスイッチを下側に切り替える。ビット列生成部１４０６では、出力１３０９で予測残差伝送判定部１４０５からのデータ（ブロック位置と予測残差）を受け取り、そのデータに関して適切な圧縮等を行い、動画像復号装置２８へ出力する。出力が終わったところで、切替器１３０４のスイッチを上側に戻す。

以上のように、この実施の形態４によれば、動画像符号化装置には入力画像があるため、符号化を行ったデータを用いて補間フレームを仮生成して入力画像との比較を行うことで、著しく画質の低いブロックを含む補間フレームを調べることが可能であり、このような第２の補間アシストで補間フレーム上の該当ブロックにおける予測残差を動画像復号装置２８へ出力することにより、フレーム補間処理されたフレームの画質向上が期待できる効果がある。

実施の形態５．
以下、この発明の実施の形態５について説明する。実施の形態５では、図１２の動画像符号化装置１２０１が、第３の補間アシスト（補間フレーム上の動きベクトルの出力）を行う。符号化する際の動きベクトルがばらばらで、動画像復号装置１において実施の形態１や実施の形態２に示すような通常の動きベクトル推定コア部３０５の処理（図４のステップＳＴ１０３）を行うと、画質の低いブロックを含む補間フレームになってしまう。特にイントラブロックの場合は、元々符号化データの中に動きベクトル自体が存在しないため、そのような状態になり易い。

実施の形態５では、上記の場合、動画像符号化装置１２０１が、通常の符号化データに加え、補間フレーム上の該当ブロックにおける動きベクトルも付加情報として出力する。フレームが該当ブロックを含んでいることを示す識別フラグを、動きベクトルデータの前等に付加する。動画像復号装置２８は、先ずフレーム単位で動きベクトルの出力の有無を判断する。動きベクトルデータを出力する時は、該当ブロック位置と動きベクトルを付加情報として出力する。

図１５は、実施の形態５に係る動画像符号化装置の構成図である。なお、図１５の動画像符号化装置１５０１は、図１２の動画像符号化装置１２０１に相当する。図１５において、動画像符号化装置１５０１は、動画像符号化部１３０２、切替器１３０４、動きベクトル伝送判定部１５０５、ビット列生成部１５０６を備えている。また、動画像符号化部１３０２は、メモリ１３０３を備える。動きベクトル伝送判定部１５０５及びビット列生成部１５０６が付加情報生成部である。

次に、動画像符号化装置１５０１の動作について説明する。動画像符号化装置１３０１は、動画像符号化部１３０２への入力画像の入力１３０７により符号化を行った後、動画像復号装置２８へ動画像符号化データ１を出力する。一方、動きベクトル伝送判定部１５０５にも入力画像の入力１３０７を行い、メモリ１３０３を参照して符号化内容を把握し、補間フレームを仮生成し、補間されたフレームと略同時刻の入力画像とをブロック毎に比較し、著しく画質が落ちていないかどうか判定する。画質の落ちているブロックがあれば補間フレーム上の動きベクトルの変更により画質が改善されるかどうか判定を行うことで、動きベクトルを送る必要があるかどうかを判定する。その結果、１ブロックでも動きベクトルを送る必要があれば、出力１３０９でビット列生成部１５０６にブロック位置と伝送すべき動きベクトル値を伝え、同時に出力１３０８経由で切替器１３０４のスイッチを下側に切り替える。ビット列生成部１５０６では、１３０９経由で動きベクトル伝送判定部１５０５からのデータを受け、そのデータに関して適切な圧縮等を行い、動画像復号装置２８へ出力する。出力が終わったところで、切替器１３０４のスイッチを上側に戻す。

以上のように、この実施の形態５によれば、動画像符号化装置には入力画像があるため、符号化を行ったデータを用いて補間フレームを仮生成して入力画像との比較を行うことで、通常の動きベクトル推定コア部の処理では著しく画質の低いブロックを含む補間フレームを調べることが可能であるため、このような第３の補間アシストで補間フレーム上の該当ブロックにおける補間フレーム上の最適な動きベクトルを出力することにより、フレーム補間処理されたフレームの画質向上が期待できる効果がある。

実施の形態６．
以下、この発明の実施の形態６について説明する。実施の形態６では、図１２の動画像符号化装置１２０１が、第４の補間アシスト（予測残差絶対値和の出力）を行う。実映像を対象とした符号化においては、一般的に予測残差絶対値和がゼロになることはほとんどない。しかし、ＤＣＴ係数なしのブロックがあった場合、動画像復号装置２８において、そのブロックにおける予測残差絶対値和はゼロとなってしまう。

実施の形態６では、上記の場合、動画像符号化装置１２０１が、通常の符号化データに加え、該当ブロックのみ予測残差絶対値和も出力する。フレームが該当ブロックを含んでいることを示す識別フラグを、予測残差絶対値和データの前等に付加する。動画像復号装置２８は、先ずフレーム単位で予測残差絶対値和の出力の有無を判断する。予測残差絶対値和データを出力する時は、該当ブロック位置と予測残差絶対値和を付加情報として出力する。その付加情報を示すビット列は、例えば算術符号化等で圧縮し、ごく短い符号に変換した形で動画像復号装置２８へ出力する。

図１６は、実施の形態６に係る動画像符号化装置の構成図である。なお、図１６の動画像符号化装置１６０１は、図１２の動画像符号化装置１２０１に相当する。図１６において、動画像符号化装置１６０１は、動画像符号化部１３０２、切替器１３０４、予測残差絶対値和伝送判定部１６０５、ビット列生成部１６０６を備えている。また、動画像符号化部１３０２は、メモリ１３０３を備える。予測残差絶対値和伝送判定部１６０５、ビット列生成部１５０６が付加情報生成部である。

次に、動画像符号化装置１６０１の動作について説明する。動画像符号化装置１３０１は、動画像符号化部１３０２への入力画像の入力１３０７により符号化を行った後、動画像復号装置２８へ動画像符号化データ１を出力する。一方、予測残差絶対値和伝送判定部１６０５にも入力画像の入力１３０７を行い、メモリ１３０３を参照して符号化内容を把握し、補間フレームを仮生成し、補間されたフレームと略同時刻の入力画像とをブロック毎に比較し、著しく画質が落ちていないかどうか判定する。画質の落ちているブロックがあれば補間フレーム上の予測残差絶対値和の補正により画質が改善されるかどうか判定を行うことで、予測残差絶対値和を送る必要があるかどうかを判定する。その結果、１ブロックでも予測残差絶対値和を送る必要があれば、出力１３０９でビット列生成部１６０６にブロック位置と出力すべき動きベクトル値を伝え、同時に出力１３０８で切替機１３０４のスイッチを下側に切り替える。ビット列生成部１６０６では、出力１３０９で予測残差絶対値和伝送判定部１６０５からのデータを受け取り、そのデータに関して適切な圧縮等を行い、動画像復号装置２８へ出力する。出力が終わったところで、切替器１３０４のスイッチを上側に戻す。

以上のように、この実施の形態６によれば、動画像符号化装置１６０１には入力画像があるため、符号化を行ったデータを用いて補間フレームを仮生成して入力画像との比較を行うことで、通常の動きベクトル推定コア部の処理では著しく画質の低いブロックを含む補間フレームを調べることが可能であるため、このような第４の補間アシストで補間フレーム上の該当ブロックにおける予測残差絶対値和を出力することにより、フレーム補間処理されたフレームの画質向上が期待できる効果がある。

なお、上記実施の形態３〜６に示した第１〜第４の補間アシストを行う場合、付加情報の種別を示す種別フラグを付加情報の前等に付加することで、付加情報種別を出力する手段とする。

実施の形態７．
以下、この発明の実施の形態７について説明する。実施の形態７では、図１２の動画像符号化装置１２０１が第５の補間アシスト（符号化画像上の動きベクトルの制限）を行う。動画像符号化装置１２０１は、符号化する際、フレーム外を参照する動きベクトルを使用しないようにする。

図１７は、実施の形態７に係る動画像符号化装置の構成図である。なお、図１７の動画像符号化装置１７０１は、図１２の動画像符号化装置１２０１に相当する。図１７における動画像符号化装置１７０１は、動画像符号化部１７０２を備えている。また、動画像符号化部１７０２は動き探索部１７０３を備える。

次に、動画像符号化部１７０１の動作について説明する。動画像符号化装置１７０１は、動画像符号化部１７０２への入力画像の入力１３０７により符号化を行った後、動画像復号装置２８へ動画像符号化データ１を出力する。動画像符号化部１７０２における符号化処理において、動き探索部１７０３は、フレーム外を参照する動きベクトルを発生させないような動き探索を行い、動画像符号化データ１の生成を行う。

以上のように、この実施の形態７によれば、フレーム外を参照する動きベクトルを使用しないように符号化を行うことにより、フレーム補間処理における参照画像が、少なくとも前後どちらかは確保できるという効果がある。

実施の形態８．
以下、この発明の実施の形態８について説明する。実施の形態８では、実施の形態１及び実施の形態２における動きベクトル推定コア部３０５の別処理について述べる。その他の構成は実施の形態１と同様であるので説明を省略する。図１８、図１９にそれぞれ詳細を記載した。

先ず、実施の形態１における動きベクトル推定コア部３０５の処理と別処理（実施の形態８における処理）について述べる。図１８は、実施の形態８におけるＭＶＤを用いた重み推定の説明図１である。
図１８において、補間画像（補間フレーム）上での処理該当ブロックｘにおける、Ｆｒａｍｅ ｔ−１に対する参照ベクトルｄ_f（ｘ，ｔ）の計算式は、実施の形態１で示した数式３と同様である。数式３における重みφ_iの計算式が実施の形態１（数式４）とは異なり、下記の数式９のような計算式で計算を行う。

数式９の分母は数式４の分母と同様であり、ｖ_iにおける予測残差絶対値和を表す。分子の部分ｐ（ｋ_i）が数式４の分子と異なる部分であり、ｐ（ｘ）はｘ^-1に依存するような非線形関数であり、ｋ_iはＭＶＤ（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ：動きベクトル差分値）のベクトルの大きさである。ｐ（ｋ_i）の部分は全体としてはＭＶＤの大きさの逆数を表す。

ｐ（ｘ）はｘ^-1に依存するような非線形関数であるが、実際の応用においては割り算の演算量が大きい場合もあるので、ｘとｐ（ｘ）とを１対１に対応させたテーブルをルックアップすることで、ｘからｐ（ｘ）を算出することも考えられる。

ＭＶＤの大きさはベクトルの孤立度を表し、ＭＶＤが大きいほど孤立度が大きい可能性が高いので、重みφ_iの計算式（数式９）にＭＶＤの大きさの逆数を取り入れることにより、孤立したベクトルの重みを小さくできる効果がある。孤立したベクトルは信頼性が低い確率が高いという推定が根拠である。孤立したベクトルの重みを小さくすることにより、ベクトルの推定精度を向上させる効果がある。

また、ＭＶＤは、例えばＭＰＥＧ−４の場合は、符号化データに記述された値をそのまま用いることが可能であるため、演算量が少なくて済むという効果もある。

ここまでが実施の形態１における動きベクトル推定コア部３０５の別の処理についての記述である。
次に実施の形態２における動きベクトル推定コア部３０５の別処理（実施の形態８の処理）について述べる。図１９は、実施の形態８におけるＭＶＤを用いた重み推定の説明図２である。

図１９において、補間画像上での処理該当ブロックｘにおける、Ｆｒａｍｅ ｔ−１に対する参照ベクトルｄ_f（ｘ，ｔ）の計算式は、実施の形態２で示した数式５と同様である。更に、数式５における重みφ_i（ｍ），φ_i（ｎ）の計算式も、実施の形態２で示した数式６と同様である。数式６におけるｇ_i（ｍ），ｇ_i（ｎ）の計算式が実施の形態２（数式７）とは異なり、下記の数式１０のように行う。

数式１０におけるｈ（σ_d（ｍ）），ｈ（σ_d（ｎ））は実施の形態２と同じ意味であり、分散の逆数に依存するファクタである。ｐ（ｋ_i）は、数式９と同じ意味であり、ＭＶＤの大きさの逆数に依存するファクタである。実際の応用においては割り算の演算量が大きい場合もあるので、ｘとｈ（ｘ）とを１対１に対応させたテーブルをルックアップすることで、ｘからｈ（ｘ）を算出することも考えられるし、ｉの値に応じてテーブルを切り替える等して、同様に直接ｇ_i（ｘ）自体をテーブルルックアップすることも考えられる。

実施の形態２に更にＭＶＤのファクタを加味することにより、実施の形態１にＭＶＤのファクタを加味するよりも更に参照ベクトルｄ_f（ｘ，ｔ）の推定精度を向上させる効果がある。

以上のように、この実施の形態８によれば、実施の形態１または実施の形態２に対してＭＶＤのファクタを加味することにより、参照ベクトルｄ_f（ｘ，ｔ）の推定精度を更に向上させることができる。
また、ＭＶＤについては、採用する標準規格によっては符号化データ内の数値をそのまま利用できるため、演算量が減少するという効果がある。

実施の形態９．
以下、この発明の実施の形態９について説明する。実施の形態９では、実施の形態１及び実施の形態２における動きベクトル推定コア部３０５の別の処理について述べる。その他の構成は実施の形態１と同様であるので説明を省略する。図２０、図２１にそれぞれ詳細を記載した。

先ず、実施の形態１における動きベクトル推定コア部３０５の別の処理について述べる。図２０は、実施の形態９におけるラプラシアン値を用いた重み推定の説明図１である。
図２０において、補間画像上での処理該当ブロックにおける、Ｆｒａｍｅ ｔ−１に対する参照ベクトルｄ_f（ｘ，ｔ）の計算式は、実施の形態１で示した数式３と同様である。数式３における重みφ_iの計算式が実施の形態１（数式４）とは異なり、下記の数式１１のような計算式で計算を行う。

数式１１の分母は数式４の分母と同様であり、ｖ_iにおける予測残差絶対値和を表す。分子の部分ｚ（ｌ_i）が数式４の分子と異なる部分であり、ｚ（ｘ）はｘ^-1に依存するような非線形関数であり、ｌ_iは以下の数式１２で表される、ラプラシアン値の大きさである。ｚ（ｌ_i）の部分は全体としてはラプラシアン値の大きさの逆数を表す。

ｚ（ｘ）はｘ^-1に依存するような非線形関数であるが、実際の応用においては割り算の演算量が大きい場合もあるので、ｘとｚ（ｘ）とを１対１に対応させたテーブルをルックアップすることで、ｘからｚ（ｘ）を算出することも考えられる。

ラプラシアン値の大きさはベクトルの孤立度を表し、ラプラシアン値が大きいほど孤立度が大きいので、このように重みφ_iの計算式にラプラシアン値の大きさの逆数を取り入れることにより、孤立したベクトルの重みを小さくできる効果がある。孤立したベクトルは信頼性が低い確率が高いという推定が根拠である。孤立したベクトルの重みを小さくすることにより、ベクトルの推定精度を向上させる効果がある。

また、実施の形態８におけるＭＶＤと実施の形態９におけるラプラシアン値の違いとしては、ラプラシアン値は演算量がＭＶＤより大きくなってしまうが、ラプラシアン値の方がＭＶＤより推定精度向上が大きい効果がある。

ラプラシアン値の各成分であるｌ_i（ｍ），ｌ_i（ｎ）の計算方法に関しては、図２２に詳細を記述した。図２２は、実施の形態９におけるラプラシアン値の算出方法の説明図である。図２２の領域Ｒにおける中心ブロックのラプラシアン値であるｌ₄（ｍ），ｌ₄（ｎ）に関し、それぞれ数式１３のように計算を行う。

そして、画像内全ての領域Ｒに関し、この数式１３の計算を行うことにより、全てのブロックのラプラシアン値を算出することで、任意のＲにおけるｌ_i（ｍ），ｌ_i（ｎ）（０≦ｉ≦８）を算出できる。

ここまでが実施の形態１における動きベクトル推定コア部３０５の別の処理についての記述である。
次に実施の形態２における動きベクトル推定コア部３０５の別の処理について述べる。図２１は、実施の形態９におけるラプラシアン値を用いた重み推定の説明図１である。

図２１において、補間画像上での処理該当ブロックにおける、Ｆｒａｍｅ ｔ−１に対する参照ベクトルｄ_f（ｘ，ｔ）の計算式は、実施の形態２で示した数式５と同様である。更に、数式５における重みφ_i（ｍ），φ_i（ｎ）の計算式も、実施の形態２で示した数式６と同様である。数式６におけるｇ_i（ｍ），ｇ_i（ｎ）の計算式が実施の形態２（数式７）とは異なり、下記の数式１４や数式１５のように行う。

数式１４は分散を用いない場合であり、数式１５は分散を用いる場合である。数式１５におけるｈ（σ_d（ｍ）），ｈ（σ_d（ｎ））は実施の形態２と同じ意味であり、分散の逆数に依存するファクタである。ｚ（｜ｌ_i（ｍ）｜），ｚ（｜ｌ_i（ｎ）｜）は、数式１３のｚ（ｌ_i）と同じ意味であり、ラプラシアン値の大きさの逆数に依存するファクタである。実際の応用においては割り算の演算量が大きい場合もあるので、ｘとｈ（ｘ）とを１対１に対応させたテーブルをルックアップすることで、ｘからｈ（ｘ）を算出することも考えられるし、ｉの値に応じてテーブルを切り替える等して、同様に直接ｇ_i（ｘ）自体をテーブルルックアップすることも考えられる。

実施の形態２で示した分散も利用する方法に対し、更にラプラシアン値のファクタを加味する数式１５のような計算を行うことにより、実施の形態１のように分散を利用しない方法に対しラプラシアン値のファクタを加味するよりも更に参照ベクトルｄ_f（ｘ，ｔ）の推定精度を向上させる効果がある。

その他にも、各ブロックの複雑度により重み付け演算する方法も考えられる。ブロックの複雑度が高いほどベクトルの信頼性が大きいことに基づく方法である。複雑度は例えば、画素の輝度値の分散値とし、複雑度が大きいほど重みを重くする方法である。

以上のように、この実施の形態９によれば、実施の形態１または実施の形態２に対してラプラシアン値のファクタを加味することにより、参照ベクトルｄ_f（ｘ，ｔ）の推定精度を更に向上させることができる。

実施の形態１０．
以下、この発明の実施の形態１０について説明する。実施の形態１０では、実施の形態１、実施の形態２、実施の形態８、実施の形態９で計算された輝度ベクトル推定結果を用いて色差ベクトル推定を行う手法について述べる。図２３に詳細を記載した。図２３は、実施の形態１０における色差ベクトルの推定の説明図である。

図２３において、実施の形態１、実施の形態２、実施の形態８、実施の形態９で得られた、あるマクロブロックにおける、各ブロックの輝度ベクトルの推定結果をそれぞれｄ_f1〜ｄ_f4とし、その結果を用いて当該マクロブロックの色差ベクトルｄ_fcを数式１６のように計算する。

以上のように、この実施の形態１０によれば、輝度ベクトルの推定結果から色差ベクトルの推定を行うことにより、補間画像をカラー化することが可能となる効果がある。

実施の形態１１．
以下、この発明の実施の形態１１について説明する。実施の形態１１では、実施の形態１における図４のステップＳＴ１０４における別の処理について述べる。その他の構成は実施の形態１と同様であるので説明を省略する。図２４に詳細を記載した。図２４は、実施の形態１１における量子化係数値による補間重み付けの説明図である。

実施の形態１におけるステップＳＴ１０４の処理は、数式１や数式２で示される単純加算平均であったが、本実施の形態においては、復号画像における全マクロブロックの量子化係数の平均値を用いて重み付け加算する。Ｆｒａｍｅ ｔ−１における量子化係数の平均値をｑ（ｔ−１）、Ｆｒａｍｅ ｔ＋１における量子化係数の平均値をｑ（ｔ＋１）とし、数式１７のように、を求めるための重み付け計算を行う。

以上のように、この実施の形態１１によれば、数式１７のように重み付けの計算を行うことで、量子化係数の小さい画像、つまり画質のよい復号画像により大きな重みがかかるため、補間フレームとしても画質が向上する効果がある。

実施の形態１２．
以下、この発明の実施の形態１２について説明する。実施の形態１２では、補間フレームにおける端のブロックの処理に関して記述を行う。図２５に概要を記載する。図２５は、実施の形態１２における端に位置するブロックの処理方法の説明図である。

端のブロックは、推定された輝度ベクトル次第であるが、両方向補間を行うと片方のベクトルが画面外を指すことが多く、それが画質低下の原因になることがある。
片方のベクトルが画面外を指した場合は、画面内を指す推定ベクトルのみを用いて片方向補間を行う方法が考えられるが、画面内を指すベクトルが存在しない場合もある。

そこで、図２５に示すように、画面の端に位置するブロックの補間は行わず、表示直前の段階にて黒で埋める方法、或いは、端に位置するブロックそのものを表示しないようにする方法が考えられる。また、端に位置するブロックを表示しないようにした上で、ある所定の色で枠線を引く等の手段も考えられる。

以上のように、この実施の形態１２によれば、図２５のように端に位置するブロックを処理することで、実質的な解像度は小さくなるものの、画質は向上する効果がある。

実施の形態１３．
以下、この発明の実施の形態１３について説明する。実施の形態１３では、補間フレームを作成するか否かを予め動画像符号化データの情報から判断する方法と、補間しない場合の処理について記述する。図２６、図２７、図２８に詳細を記述した。

図２６は、実施の形態１３における補間画像を生成する場合としない場合の説明図である。図２６は、動画像符号化データ（入力ストリーム）の情報から判断して、補間画像を生成する場合と生成しない場合とを示している。

補間すると判断された場合は、図２６の左側に示す通り、実施の形態１、２、８、９のようなベクトル推定を行い、補間フレームの作成を行い、補間フレームの表示を行う。

一方、補間しないと判断された場合は、図２６の右側に示す通り、補間フレームを作成せず、Ｆｒａｍｅ ｔ−１の画像をそのままＦｒａｍｅ ｔとして表示するか、或いは、Ｆｒａｍｅ ｔ−１の画像をそのまま表示しておき、Ｆｒａｍｅ ｔ＋１まで表示を更新しない等の方法がある。

図２７は、実施の形態１３における補間画像を生成しない場合の判断材料の説明図である。図２７は、補間画像を生成しない場合の条件を示している。例えば、左の図にあるように、ベクトルの分散が大きい領域Ｒが画像内に一つでも存在する場合は、補間フレームのその領域付近の画質が著しく低下する可能性があり、補間を行わないと判断する。

また、予測差分絶対値和が大きいブロックが存在する場合は、符号化側で動き探索（ＭＥ）を行っているにもかかわらず予測差分絶対値和が大きいということになり、それはつまり該領域に似た画像が該領域近傍にないということになるので、該領域における画質が著しく低下する可能性があるため、補間を行わないと判断する。

また別の例としては、例えばシーンチェンジのような、復号画像内にイントラＭＢが多い場合や、Ｆｒａｍｅ ｔ＋１がＩ−ＶＯＰ（Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｐｌａｎｅ）である場合等に補間を行わないと判断する。

図２８は、実施の形態１３における、補間制御部を構成要素として追加した動画像復号装置のブロック図である。図２８のブロック図は、図１に示した動画像復号装置のブロック図に補間制御部１１２０１が追加された動画像復号装置である。図２７のような補間するか補間しないかの判断を、動きベクトル保存用メモリ１８や符号化モード情報保存メモリ１９や、予測残差絶対値和保存メモリ２０を参照しながら補間制御部１１２０１で行い、タイミング２６を制御して切り替え器２４の制御を行う。

以上のように、この実施の形態１３によれば、補間するか否かの判断をその都度行うことにより、補間しないと判断された場合には、補間を行った場合に著しく画質が低下する可能性のある補間フレームを表示しないので、結果としてトータルの画質を向上させる効果がある。

実施の形態１４．
以下、この発明の実施の形態１４について説明する。実施の形態１４では、可変フレームレートの動画像符号化データにおける補間方法を記述する。図２９に概要を記載した。図２９は、実施の形態１４における可変フレームレートの動画像符号化データにおける補間方法の説明図である。

一般の符号化装置の動作として、伝送帯域の制限等からデータ量を帯域に納めるために、可変フレームレートの動画像符号化データを作成することはよくあることである。そのような可変フレームレートの動画像符号化データに対して補間を行う方法として、予め図２９で示すＡの値（表示レート情報）を符号化側から復号側へ送出しておく方法がある。
また、Ａの値を符号化側と復号側を含めた全体システムとして予め決めておくことで、動画像符号化装置側と動画像復号装置側で共に既知としておき、その上で復号側はＡ ｆｐｓになるよう補間をするという方法がある。
或いは、Ａの値を符号化側と復号側で共有する別の方法としては、例えば動画像符号化データの中にあるｕｓｅｒ＿ｄａｔａ等の領域にＡの値を格納し、符号化側から復号側へＡの値を送出するという方法もある。
動画像符号化装置側では、必要に応じて、実際に符号化を行うフレーム画像を選択する符号化画像選択手段を備える。
動画像復号装置側では、必要に応じて、動画像符号化装置側からの表示レート情報を復号する表示レート復号手段を備えるものとする。

Ａの値は、符号化側で例えば通常のカメラ等を用いた場合、カメラから動画像符号化装置へ入力される全ての画像が符号化画像の候補となる場合であれば、Ａ＝３０となる。
また、例えば、もともと最大フレームレートをフレーム間隔固定の１０ｆｐｓとするシステムであれば、Ａ＝１０ということも考えられる。

補間方法としては実施の形態１の図８にて説明した形で、αの値を変化させて用いることで補間を行うことが可能である。

以上のように、この実施の形態１４によれば、可変フレームレートの動画像符号化データを固定フレームレートに補間することにより、単純にフレームの間を１枚補間するという方式と比較して、動きがより滑らかになるという効果がある。

実施の形態１に係る動画像復号装置の構成図である。 実施の形態１において、通常フレーム同士の時間的な中間位置に、補間フレームの生成を行う場合を示す図である。 図１の補間画像生成部の内部構成図である。 図３の補間画像生成部の処理フローを示したフローチャートである。 図４のステップＳＴ１０２における、「片方向補間」を示す図である。 図４のステップＳＴ１０４における、「両方向補間」を示す図である。 図３の動きベクトル推定コア部の動作を示した図である。 実施の形態１における任意の時刻におけるフレーム補間の様子を示した図である。 従来の動画像復号装置と実施の形態１に係る動画像復号装置の比較例を示した図である。 実施の形態１に係る動画像符号化装置及び動画像復号装置を、ＭＰＥＧ−２の片フィールド補間に適用した例を示す図である。 実施の形態２に係る動画像復号装置の動きベクトル推定コア部の動作を示した図である。 実施の形態３に係る動画像符号化装置から動画像復号装置へのデータ出力を示す図である。 実施の形態３に係る動画像符号化装置の構成図である。 実施の形態４に係る動画像符号化装置の構成図である。 実施の形態５に係る動画像符号化装置の構成図である。 実施の形態６に係る動画像符号化装置の構成図である。 実施の形態７に係る動画像符号化装置の構成図である。 実施の形態８におけるＭＶＤを用いた重み推定の説明図１である。 実施の形態８におけるＭＶＤを用いた重み推定の説明図２である。 実施の形態９におけるラプラシアン値を用いた重み推定の説明図１である。 実施の形態９におけるラプラシアン値を用いた重み推定の説明図２である。 実施の形態９におけるラプラシアン値の算出方法の説明図である。 実施の形態１０における色差ベクトルの推定の説明図である。 実施の形態１１における量子化係数値による補間重み付けの説明図である。 実施の形態１２における端に位置するブロックの処理方法の説明図である。 実施の形態１３における補間画像を生成する場合としない場合の説明図である。 実施の形態１３における補間画像を生成しない場合の判断材料の説明図である。 実施の形態１３における、補間制御部を構成要素として追加した動画像復号装置のブロック図である。 実施の形態１４における可変フレームレートの動画像符号化データにおける補間方法の説明図である。

符号の説明

１ 動画像符号化データ、２ 可変長復号部、３ 動きベクトル、４ 符号化モード情報、５ 直交変換係数データ、６ 量子化ステップパラメータ、７ 逆量子化部、８ 逆直交変換部、９ 切替器、１０ 動き補償部、１１ フレームメモリ、１２ 予測画像、１３ 加算部、１４ 復号画像、１５ 出力、１６ 出力、１７ 補間画像生成部、１８ 動きベクトル保存用メモリ、１９ 符号化モード情報保存用メモリ、２０ 予測残差絶対値和保存用メモリ、２１ 出力、２２ 出力、２３ 出力、２４ 切替器、２５ 画像出力、２６ タイミング、２７ 出力、２８ 動画像復号装置、３０１ 動きベクトル推定部、３０２ 補間画像生成部、３０３ 出力、３０４ 出力、３０５ 動きベクトル推定コア部、１３０１ 動画像符号化装置、１３０２ 動画像符号化部、１３０３ メモリ、１３０４ 切替器、１３０５ 最適参照画像判定部、１３０６ ビット列生成部、１３０７ 入力、１３０８ 出力、１３０９ 出力、１４０１ 動画像符号化装置、１４０５ 予測残差伝送判定部、１４０６ ビット列生成部、１５０１ 動画像符号化装置、１５０５ 動きベクトル伝送判定部、１５０６ ビット列生成部、１６０１ 動画像符号化装置、１６０５ 予測残差絶対値和伝送判定部、１６０６ ビット列生成部、１７０１ 動画像符号化装置、１７０２ 動画像符号化部、１７０３ 動き探索部、１１２０１ 補間制御部。

Claims (22)

1. 動画像符号化データを解析してブロック単位の符号化シンボルを抽出する解析手段と、
   前記符号化シンボルを用いて動画像の各フレームを復元して出力する復号手段と、
   前記符号化シンボルに基づいて、補間フレームの生成方法と補間フレームの動きベクトルとを推定して、前記補間フレームを生成する画像生成部と、
   前記復号手段からの動画像の出力と前記画像生成部からの補間フレームの出力とを所定の規則で切り替える切替器とを備えた動画像復号装置。
2. 前記符号化シンボルが動きベクトルと符号化モード情報と予測残差とを含み、
   前記画像生成部が、
   前記符号化モード情報に従って、前記復号手段から得られる動画像フレームのうち少なくとも１つ以上の動画像フレームを参照画像として選択する第１のステップと、
   前記参照画像上の計算対象ブロックとその周辺のブロックにおいて、予測残差の逆数を重みに用い、動きベクトルの各成分に関する重み付け加算平均計算を行ない、前記補間フレームの時間的位置に応じてスケーリングを行うことで、前記参照画像の参照位置を示す前記補間フレームの動きベクトルの推定を行なう第２のステップと、
   前記参照ベクトルにより、前記参照画像の参照位置にある画素を用いて前記補間フレームを生成する第３のステップとを備えることを特徴とする請求項１記載の動画像復号装置。
3. 前記第２のステップにおいて、
   前記参照画像上の計算対象ブロックとその周辺のブロックにおいて、動きベクトルの分散値を計算し、前記計算対象ブロックに関しては予測残差の逆数と前記分散値の逆数との積を重みに用い、前記周辺のブロックに関しては前記予測残差の逆数を重みに用い、前記動きベクトルの各成分に関する重み付け加算平均計算を行ない、前記補間フレームの時間的位置に応じてスケーリングを行うことで、前記参照画像の参照位置を示す前記補間フレームの動きベクトルの推定を行なうことを特徴とする請求項２記載の動画像復号装置。
4. 前記動きベクトルを保存する動きベクトル保存用メモリと、
   前記符号化モード情報を保存する符号化モード情報保存用メモリと、
   前記予測残差を保存する予測残差絶対値和保存用メモリとを備えることを特徴とする請求項２または請求項３記載の動画像復号装置。
5. 動画像符号化データを解析してブロック単位の符号化シンボルを抽出する第１の解析手段と、
   前記画像生成部を補助するための情報を含むデータを解析する第２の解析手段と、
   前記符号化シンボルを用いて動画像の各フレームを復元して出力する復号手段と、
   前記符号化シンボルに基づいて、補間フレームの生成方法と補間フレームの動きベクトルとを推定して、前記補間フレームを生成する画像生成部と、
   前記復号手段からの動画像の出力と前記画像生成部からの補間フレームの出力とを所定の規則で切り替える切替器とを備えた動画像復号装置。
6. 動画像を符号化して動画像符号化データを生成する動画像符号化部と、
   入力画像と仮生成した補間フレームとをブロック毎に比較し、フレーム補間処理を補助するための付加情報を生成する付加情報生成部とを備え、
   前記動画像符号化データと前記付加情報とを出力することを特徴とする動画像符号化装置。
7. 前記付加情報の有無を示す識別フラグを、前記付加情報に付加して出力することを特徴とする請求項６記載の動画像符号化装置。
8. 前記付加情報の種別を示す種別フラグを、前記付加情報に付加して出力することを特徴とする請求項６または請求項７記載の動画像符号化装置。
9. 前記付加情報は、補間フレームを生成する場合に最適な参照画像を示すデータを含むことを特徴とする請求項６から請求項８のうちのいずれか１項記載の動画像符号化装置。
10. 前記付加情報は、前記補間フレームにおけるブロックのブロック位置と予測残差とを示すデータを含むことを特徴とする請求項６から請求項８のうちのいずれか１項記載の動画像符号化装置。
11. 前記付加情報は、前記補間フレームにおけるブロックのブロック位置と動きベクトルとを示すデータを含むことを特徴とする請求項６から請求項８のうちのいずれか１項記載の動画像符号化装置。
12. 前記付加情報は、前記補間フレームにおけるブロックのブロック位置と予測残差絶対値和とを示すデータを含むことを特徴とする請求項６から請求項８のうちのいずれか１項記載の動画像符号化装置。
13. 前記動画像符号化部は、フレーム外を参照する動きベクトルを発生させないように動き探索を行う動き探索部を備えることを特徴とする請求項６から請求項１２のうちのいずれか１項記載の動画像符号化装置。
14. 請求項５記載の動画像復号装置と、
    請求項６記載の動画像符号化装置とを備え、
    前記動画像符号化装置は前記動画像符号化データに前記画像生成部を補助するための情報を付加して出力し、前記動画像復号装置は前記動画像符号化データと前記付加情報とを入力して前記第２の解析手段で前記付加情報を解析することにより、相互に連携した画像生成処理を行なうことを特徴とする動画像伝送システム。
15. 前記符号化シンボルは動きベクトル差分値を含み、
    前記第２のステップにおいて、
    前記参照画像上の計算対象ブロックとその周辺のブロックにおいて、動きベクトル差分値の逆数と予測残差の逆数との積を重みに用い、前記動きベクトルの各成分に関する重み付け加算平均計算を行ない、前記補間フレームの時間的位置に応じてスケーリングを行うことで、前記参照画像の参照位置を示す前記補間フレームの動きベクトルの推定を行うことを特徴とする請求項２記載の動画像復号装置。
16. 前記第２のステップにおいて、
    前記参照画像上の計算対象ブロックとその周辺のブロックにおいて、算出した動きベクトルのラプラシアン値の逆数と予測残差の逆数との積を重みに用い、前記動きベクトルの各成分に関する重み付け加算平均計算を行ない、前記補間フレームの時間的位置に応じてスケーリングを行うことで、前記参照画像の参照位置を示す前記補間フレームの動きベクトルの推定を行うことを特徴とする請求項２記載の動画像復号装置。
17. 前記第３のステップにおいて、
    前記参照画像の量子化係数の平均値を計算し、前記参照ベクトルにより、前記参照画像の参照位置にある画素を用い、前記量子化係数の平均値にて前記画素の重み付け加算を行うことにより、前記補間フレームを生成することを特徴とする請求項２記載の動画像復号装置。
18. 前記第３のステップにおいて、
    前記参照ベクトルにより、前記参照画像の参照位置にある画素を用いて前記補間フレームを計算し、計算した補間フレームの端に位置するブロック全てに関してある特定の色で塗りつぶしたものを補間フレームとして生成することを特徴とする請求項２記載の動画像復号装置。
19. 前記所定の規則を所定の時間間隔に依存する規則とし、
    前記復号手段からの動画像の出力と前記画像生成部からの補間フレームの出力とを切り替えることを特徴とする請求項１記載の動画像復号装置。
20. 前記所定の規則を前記符号化シンボルに依存する規則とし、
    前記符号化シンボルを用いて、前記復号手段からの動画像の出力と前記画像生成部からの補間フレームの出力との切り替えを決定する補間制御部を備えることを特徴とする請求項１記載の動画像復号装置。
21. 所定の表示レートに従って入力される動画像の各フレーム画像に対して、実際に符号化を行うフレーム画像を選択する符号化画像選択手段を備え、
    前記符号化画像選択手段にて選択されたフレーム画像に関してのみ、動画像符号化データを生成し、前記動画像符号化データに前記入力動画像信号の表示レート情報を多重化して送出することを特徴とする動画像符号化装置。
22. 前記動画像符号化データに含まれる表示レート情報を復号する表示レート復号手段を備え、
    前記表示レート復号手段で復号された前記表示レート情報に基づいて、前記復号手段からの動画像の出力と前記画像生成部からの補間フレームの出力とを切り替えることを特徴とする請求項１記載の動画像復号装置。
    

Images