JPH0865679A - 動画像符号化装置及び動画像復号装置 - Google Patents

Abstract

(57)【要約】 【目的】 復号装置側でフレームを内挿する時に、任意
形状の四角形領域に画像を分割して補間を行い、符号化
側で間引かれた画像を復号側で良好な画質で再生するよ
うにし、動画像の時間時解像度を向上させる。 【構成】 四角形領域検出／分割部１０４はフレームメ
モリに格納された参照フレーム上で四角形領域の格
子点の位置を検出して位置情報を作成し、画像を格子点
に囲まれた四角形領域に分割する。動きベクトル検出部
１０５は四角形領域検出／分割部１０４で作成した参照
フレームの四角形領域の各格子点に対応する別のフレ
ームメモリに格納された参照フレームにおける格子
点を検出し、対応する格子点間の動き量を計算する。補
間フレーム作成部１０７は参照フレーム，と、補間
フレームおよび参照フレーム，の格子点位置情報を
用いて、参照フレーム，の四角形領域を形状変換し
て補間フレーム上の四角形領域を合成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像符号化装置及び
動画像復号装置に関し、より詳細には、ディジタル画像
処理における画像データを高能率で符号化する動画像符
号化装置及び動画像復号装置に関する。

【０００２】

【従来の技術】従来より動画像符号化方式では、時間的
に相前後するフレームを適当な間隔で間引いて符号量を
低減する方法が採用されている。この時、復号側で滑ら
かな動きを再現するために、フレーム内挿の技術が重要
となる。このフレーム内挿に関する公知文献としては、
例えば、「両方向動きベクトルを用いた動画像のフレー
ム内挿方式」（1990年画像符号化シンポジウム8-3,pp.1
81-184）がある。

【０００３】図１１は、従来のフレーム内挿方式の一例
を示す図である。図１１では時間方向に四枚のフレーム
が並び、補間フレーム，は符号化側で間引かれたフ
レームである。復号側でこれらの間引かれたフレームを
補間する際には、参照フレームの各正方形あるいは長方
形格子（以後、ブロックと呼ぶ）がもつ動きベクトルを
利用する。例えば、補間フレームを作成するときに、
参照フレームから参照フレームへの動きベクトルＭ
Ｖ_PCを利用する。

【０００４】参照フレーム上のブロックＢ_Pの位置を
（Ｘ，Ｙ）、動きベクトルＭＶ_PC＝（Ｖ_x，Ｖ_y）とする
と、図１１の補間ブロックＢ_ilの位置（Ｘ_i，Ｙ_i）は、 Ｘ_i＝Ｘ＋ａＶ_x Ｙ_i＝Ｙ＋ａＶ_y …（１） と表すことができる。ここで、ａは二枚の参照フレーム
と参照フレームとを補間フレームに対してａ：１−
ａに内分する比である。補間ブロックＢ_il、参照フレー
ム上のブロックＢ_C、参照フレーム上のブロックＢ_P
内の対応する画素をα，β，γとすると、 α＝（１−ａ）γ＋αβ …（２） で表せる。

【０００５】従来の動画像の画像データ送受信装置につ
いて記載した公知文献としては、例えば、特開平５−２
６８５９８号公報がある。この公報のものは、少ない伝
送データ量で動きのスムーズな動画を表示するために、
画像データ生成手段は、複数のフレーム間隔にわたる２
つのフレーム間におけるブロックの動きベクトルと、先
のフレームの画像データとに基づいて後のフレームの画
像データを生成し、補間手段は、前記動きベクトルと前
記両フレームの少なくとも一方の画像データとに基づい
て両フレームの間のフレームの画像データを補間するも
のである。

【０００６】

【発明が解決しようとする課題】以上説明したように、
従来例では、図１１の参照フレームあるいは上のブ
ロックの位置をもとに、補間フレーム上で参照フレーム
上のブロックに対応する位置の画素を計算するものであ
る。従って、図１２に示すように、補間フレーム上で補
間されたブロックが互いに重なり合ったり、間隙が生じ
たりすることになり、視覚的に良好な補間フレームの作
成ができないという問題点があった。これは補間フレー
ムを作成する際にブロックの形状を変化させないために
生じるもので、各ブロックの動きベクトルが全て同一で
ない限り必ず生じる問題であった。

【０００７】本発明は、このような実情に鑑みてなされ
たもので、復号装置側でフレームを内挿する時に、任意
形状の四角形領域に画像を分割して補間を行い、符号化
側で間引かれた画像を復号側で良好な画質で再生するよ
うにし、動画像の時間的解像度を向上させるようにした
動画像符号化装置及び動画像復号装置を提供することを
目的としている。

【０００８】

【課題を解決するための手段】本発明は、上記課題を解
決するために、（１）第一および第二の復号フレームの
間に補間フレームを作成する動画像復号装置であって、
第一の復号フレームを格子点で囲まれる四角形領域に分
割する四角形領域検出／分割部と、前記各格子点に対応
する第二の復号フレーム上の格子点位置を求めて、前記
第一，第二の復号フレーム間の格子点動きベクトルを検
出する格子点動きベクトル検出部と、前記格子点動きベ
クトルをもとに前記補間フレームに対する格子点動きベ
クトルを算出し、前記補間フレーム上の格子点位置を求
める補間フレーム動きベクトル計算部と、前記補間フレ
ーム上の格子点で囲まれる各四角形領域について、前記
第一の復号フレームと前記第二の復号フレームの一方、
もしくは両者の対応する各四角形領域を形状変換して補
間フレーム上の四角形領域を合成する補間フレーム作成
部とを具備することにより、前記第一の復号フレームと
前記第二の復号フレームの一方、もしくは両方から前記
補間フレームを作成すること、更には、（２）前記第一
のフレームと前記補間フレームとの時間間隔と、前記第
二の復号フレームと前記補間フレームとの時間間隔との
差があらかじめ定められたしきた値より小さい場合に
は、前記第一および第二の復号フレームを用いて前記補
間フレームを作成し、それ以外の場合は、前記補間フレ
ームに時間的に近い側の前記復号フレームを用いて、前
記補間フレームを作成すること、更には、（３）前記
（１）又は（２）において、前記第一および第二の復号
フレームを用いて前記補間フレームを作成する際には、
前記第一の復号フレームを用いて第一の補間フレームを
作成し、前記第二の復号フレームを用いて第二の補間フ
レームを作成し、前記補間フレームと前記第一および第
二の復号フレームとの時間的間隔に応じて、前記第一お
よび第二の補間フレームを加重平均して前記補間フレー
ムを得ること、更には、（４）前記（１），（２）又は
（３）において、前記四角形領域の全て、あるいは一部
に対する前記格子点動きベクトルが符号化データに含ま
れる場合には、前記格子点動きベクトルを含む四角形領
域の補間については、前記格子点動きベクトル検出部を
用いず、符号化データに含まれる格子点動きベクトルを
利用し、前記符号化データに格子点動きベクトルを含ま
ない四角形領域の補間については、前記格子点動きベク
トル検出部で作られた格子点動きベクトルを利用するこ
と、或いは、（５）画像を複数個の四角形領域に分割
し、前記四角形領域の格子点の動きベクトルを用いて前
記四角形領域を形状変換して予測画像を作成し、前記予
測画像と原画像との予測誤差を符号化する動画像符号化
装置であって、特定のフレームを予測誤差を伝送せず、
復号側で参照フレームから合成する補間フレームとして
定める補間フレーム決定部と、前記補間フレームに対し
ては補間フレームであることを示す情報、および復号側
の補間で用いる参照フレームの位置があらかじめ定めら
れていない場合は、参照フレームの位置を示す情報とを
伝送する符号化部とを備えたこと、更には、（６）前記
（５）において、符号化側で前記補間フレームに対する
格子点動きベクトルを検出する補間フレーム格子点動き
ベクトル検出部と、前記格子点動きベクトル情報を伝送
する符号化部とを備えたこと、更には、（７）前記
（５）又は（６）において、前記補間フレームを構成す
る各四角形領域に対して原画像との誤差を計算する誤差
量計算部と、前記誤差があらかじめ定められたしきい値
を越える四角形領域に対しては、原画像上の該四角形領
域を符号化する符号化手段、もしくは該四角形領域にお
ける原画像と前記補間フレームとの予測誤差情報を符号
化する符号化手段とを備えたこと、更には、（８）請求
項５記載の動画像符号化装置で作成された符号化データ
を復号するために、符号化データに含まれる補間フレー
ムであることを示す情報と、復号側の補間で用いる参照
フレームの位置があらかじめ定められていない場合は参
照フレームの位置を示す情報とをもちいて、参照フレー
ムから補間フレームを作成する補間フレーム作成部を備
えたこと、更には、（９）前記（８）において、請求項
６記載の動画像符号化装置で作成された符号化データを
復号するために、符号化データに含まれる補間フレーム
に対する格子点動きベクトルの情報をもちいて、参照フ
レームから補間フレームを作成する補間フレーム作成部
を備えたこと、更には、（１０）前記（８）又は（９）
において、請求項７記載の動画像符号化装置で作成され
た符号化データを復号するために、符号化データに含ま
れる原画像と補間画像との予測誤差情報、もしくは原画
像情報をもちいて前記四角形領域を作成する作成手段と
を備えたことを特徴としたものである。

【０００９】

【作用】本発明では、画像を複数個の四角形領域に分割
し、各四角形領域の格子点動きベクトルを利用して画像
の補間を行うため、格子点の移動に伴って四角形領域が
変形するので、補間フレーム上での四角形領域の重なり
や隙間が生じることなく、補間フレームを作成すること
が可能である。 （１）請求項１記載の動画像復号装置では、復号装置側
で四角形領域の格子点のフレーム間における動きベクト
ルを検出するため、符号化方法にかかわらず、補間フレ
ーム上で四角形領域の重なりや隙間の生じない画像の作
成が可能である。 （２）請求項２記載の動画像復号装置では、復号装置側
で復号フレームと補間フレームとの時間間隔によって、
補間フレームを作成するのに用いる復号フレームを切り
替えることができるため、視覚的に良好な補間フレーム
の作成が可能である。

【００１０】（３）請求項３記載の動画像復号装置で
は、復号装置側で二枚の復号フレームを用いて補間フレ
ームを作成する際には、各々の復号フレームを用いて二
枚の補間フレームを作成し、補間フレームと二枚の復号
フレームとの時間的間隔に応じて、二枚の補間フレーム
を加重平均して補間フレームを得るため、視覚的に良好
な補間フレームの作成が可能である。 （４）請求項４記載の動画像復号装置では、復号装置側
で使用する格子点動きベクトルとして、符号化側で作成
した格子点動きベクトルを使用することができるので、
復号装置側に格子点動きベクトル検出のための回路が不
要である。また、参照フレームの四角形領域の全てある
いは一部が格子点動きベクトルをもたない場合は、復号
側で独自に各格子点の動きベクトルを検出できるので、
いかなるフレームにおいてもフレームとフレームとの間
に補間フレームを作成することが可能である。

【００１１】（５）請求項５，８記載の動画像符号化装
置および復号装置では、符号化側で補間フレームを定め
ることができ、また、補間フレームを作成するための参
照フレームを符号化側で選択することができるため、視
覚的に良好な画像の作成が可能である。 （６）請求項６，９記載の動画像符号化装置および復号
装置では、補間フレームを作成するので、四角形領域毎
に補間フレームの格子点動きベクトルの情報を符号化デ
ータにもつため、復号側で独立して格子点動きベクトル
を検出するのに比べて視覚的に良好な画像の作成が可能
である。 （７）請求項７，１０記載の動画像符号化装置および復
号装置では、各四角形領域において補間フレームの原画
像に対する誤差があるしきい値を越えた場合、補間フレ
ームであっても原画像の四角形領域の画素値あるいは原
画像と補間フレームとの予測誤差を符号化するため、視
覚的に良好な画像の作成が可能である。

【００１２】

【実施例】実施例について、図面を参照して以下に説明
する。図１は、本発明による動画像復号装置の一実施例
（請求項１）を説明するための構成図で、図中、１０１
は動画像復号部、１０２は第２のフレームメモリ、１０
３は第１のフレームメモリ、１０４は四角形領域検出／
分割部、１０５は格子詞動きベクトル検出部、１０６は
補間フレーム格子点動きベクトル計算部、１０７は補間
フレーム作成部、１０８はセレクタ、１０９は表示部で
ある。

【００１３】動画像復号部１０１は、例えば、可変長復
号部、逆量子化部、逆直交変換部、動き補償部などから
なる。第２のフレームメモリ１０２と第１のフレームメ
モリ１０３は、動画像復号部１０１で復号された復号フ
レームを格納するフレームメモリである。なお、第１の
フレームメモリ１０３と、第２のフレームメモリ１０２
に格納された復号フレームを、各々参照フレーム、参
照フレームと呼ぶことにする。

【００１４】補間フレームを作成するときには、参照フ
レームを図２に示すような変形格子によって複数個の四
角形領域に分割する方法をとる。この分割方法について
記載した公知文献としては、例えば、「Very Low Bitra
te Video Coder using Warping Prediction」（1993年
画像符号化シンポジウム8-7,pp.167-168）、及び「画像
の適応的可変ブロック形状ＫＬ変換符号化」（1991年画
像符号化シンポジウム8-14,pp.235-238）がある。

【００１５】この変形格子の各頂点を以後、格子点と呼
び、この格子点は、図２では、〇で表されている。四角
形領域検出／分割部１０４は、参照フレーム上で四角
形領域の格子点の位置を検出して位置情報を作成し、画
像を図２に示すような格子点に囲まれた四角形領域に分
割する。動きベクトル検出部１０５は、四角形領域検出
／分割部１０４で作成した参照フレームの四角形領域
の各格子点に対応する別の参照フレームにおける格子
点を検出し、対応する格子点間の動き量を計算する。

【００１６】補間フレーム格子点動きベクトル計算部１
０６は、参照フレームおよびの間の格子点動きベク
トルを参照フレームと補間フレームとの間の動きベクト
ルに計算し直す。補間フレーム作成部１０７は、参照フ
レーム，と、補間フレームおよび参照フレーム，
の格子点位置情報を用いて、参照フレーム，の四
角形領域を形状変換して補間フレーム上の四角形領域を
合成する。セレクタ１０８は、参照フレーム，と補
間フレーム作成部１０７で作られた補間フレームとを表
示時間の早い順番に選択する。表示部１０９は、参照フ
レームおよび補間フレームを表示する。

【００１７】次に、図１における四角形領域検出／分割
部について説明する。図３（ａ）〜（ｅ）は、四角形領
域の検出方法を示す説明図である。 図３（ａ）に示すように、画像をＮ画素×Ｍ画素の
大きさの一様な長方形ブロックに分割する。 図３（ａ）において、格子点Ｐを取り囲む４ブロッ
クＡ，Ｂ，Ｃ，Ｄの各々に対してブロック内分散ｄ_A，
ｄ_B，ｄ_C，ｄ_Dを計算する。 Ｄ１＝ｄ_A＋ｄ_B＋ｄ_C＋ｄ_Dを計算する。

【００１８】 格子点Ｐを上下左右に１画素づつ移動
させ、図３（ｂ）〜（ｅ）に示すように、新たにできた
四角形領域に対してもＤ２，Ｄ３，Ｄ４，Ｄ５を計算す
る。 Ｄ１〜Ｄ５の中で最小値を選択し、格子点Ｐを最小
値をとる位置に移動させる。 前記〜の処理を各格子点に対して一回ずつ行
う。 前記を画像全体に対して、四角形の形状が変化し
なくなるまで行う。

【００１９】次に、図１における格子点動きベクトル検
出部について説明する。格子点動きベクトル検出部１０
５では、参照フレームの格子点の位置を検出し、参照
フレームの格子点に対する動きベクトルを求める。こ
の方法は、“後方動き推定”と呼ばれるものであり、最
初に参照フレーム上の格子を決め、その後、参照フレ
ーム上の格子が決定される。これに対して、“前方動
き推定”という手法がとられることもある。これは最初
に参照フレーム上で格子（通常は一様格子）を定め、
その後、参照フレーム上の格子点が決定される。本発
明はどちらの場合も用いることができるが、以後は簡単
のため、“後方動き推定”を例にとって説明する。

【００２０】参照フレーム上の格子点が、参照フレー
ム上のどの位置に動いたかを検出する場合、参照フレ
ーム上の格子点とその近傍の画素からなる領域を取
り、この領域が参照フレーム上のどの領域と一致する
かを調べる方法が用いられる。具体的には、参照フレー
ム上の格子点を中心としたＭ画素×Ｎ画素の領域を考
え、参照フレーム上で同じ大きさの領域との一致度を
調べ、最も一致度のよい領域の中心を格子点の移動先と
する。領域の一致度としては領域内の画素値の誤差の絶
対値和や絶対値重みつき和が用いられる。

【００２１】次に、図１における補間フレーム格子点動
きベクトル計算部について説明する。補間フレーム格子
点動きベクトル計算部１０６では、格子点動きベクトル
検出部１０５から出力される格子点動きベクトルをもと
にして、参照フレームから補間フレームへの格子点動
きベクトルを計算する。例えば、図２において、ある格
子点の参照フレームから参照フレームへの動きベク
トルが（ｍＶ_x，ｍＶ_y）であり、補間フレームが参照フ
レームと参照フレームとを時間的に１−ａ：ａに内
分する位置にあったとすると、参照フレームから補間
フレームへの動きベクトル（ｍＶ_hx，ｍＶ_hy）は次式で
表せる。

【００２２】 ｍＶ_hx＝ａ＊ｍＶ_x …（３） ｍＶ_hy＝ａ＊ｍＶ_y …（４） この補間フレーム上の動きベクトル（ｍＶ_hx，ｍＶ_hy）
を使って補間フレーム作成部１０７で各四角形領域毎に
参照フレームからの補間画像を作成し、補間フレーム
の四角形領域の画像として出力する。

【００２３】次に、図１における補間フレーム作成部に
ついて説明する。図２に示すような参照フレームと補
間フレームとの格子点の対応関係を使って、補間フレー
ム作成部１０７では、補間フレームの四角形領域に含ま
れる各画素値を参照フレームから補間した値を計算す
る。すなわち、四角形領域を二つの三角形に分割し、参
照フレーム上の四角形領域の画素位置をアフィン変換
によって補間フレーム上の四角形領域の画素位置に対応
づけ、四角形領域の形状変換により補間フレームを作成
する。なお、ここでは参照フレームから参照フレーム
への動きベクトルを使って参照フレームから補間フ
レームを予測したが、参照フレームから参照フレーム
への動きベクトルを使って参照フレームから補間フ
レームを予測してもよい。

【００２４】図４（ａ）〜（ｃ）は、本発明による動画
像復号装置の他の実施例（請求項２）を説明するための
図である。二枚の参照フレームの間に数枚の補間フレー
ムを作成する（図４では、補間フレームは三枚である）
時、図４（ａ）に示すように、各フレーム間の時間間隔
をｔとする。従って、補間フレームに対して参照フレ
ームとの時間間隔はｔ、参照フレームとの時間間隔
は３ｔ、これらの時間間隔の差は３ｔ−ｔ＝２ｔであ
る。同様に、補間フレームに対して参照フレームと
の時間間隔は２ｔ、参照フレーム２との時間間隔は２
ｔ、これらの時間間隔の差は２ｔ−２ｔ＝０、補間フレ
ームに対して参照フレームとの時間間隔は３ｔ、参
照フレームとの時間間隔はｔ、これらの時間間隔の差
は３ｔ−ｔ＝２ｔである。

【００２５】あらかじめ定められたしきい値ＴＨが０.
５であるとすると、補間フレームの場合は、時間間隔
の差（０）がＴＨ（０.５）より小さいので、補間フレ
ームは、図４（ｃ）に示すように、参照フレーム，
の双方を用いて作成される。補間フレーム，の場
合は、時間間隔の差がＴＨ以上なので、図４（ｂ）に示
すように、時間的に近い参照フレームを用いて、補間フ
レームは参照フレームを用い、補間フレームは参
照フレームを用いて作成される。

【００２６】図５（ａ）〜（ｄ）は、本発明による動画
像復号装置の更に他の実施例（請求項３）を説明するた
めの図である。ここでは、二枚の参照フレームから一枚
の補間フレームを作成する方法について述べる。図５
（ａ）に示すように、参照フレームと補間フレームの
時間間隔がｔ、補間フレームとの時間間隔が２ｔであ
るとする。図５（ｂ）に示すように、補間フレームは
参照フレームから作成し、図５（ｃ）に示すように、
補間フレームは参照フレームから作成する。最終的
な補間フレームは、図５（ｄ）に示すように、補間フレ
ーム，の重みつき和を計算して求める。図５では参
照フレーム，と補間フレームとの時間間隔は１：２
なので、ここで使われる重みは、補間フレームに対し
て２／３、補間フレームに対して１／３となる。この
ようにして、参照フレームと補間フレームの時間間隔を
利用して、補間フレームを二枚の参照フレームの重みつ
き和で表すことができる。

【００２７】図６は、本発明による動画像復号装置の更
に他の実施例（請求項４）を説明するための構成図で、
図中、２０１は動画像復号部、２０２は第２のフレーム
メモリ、２０３は第１のフレームメモリ、２０４は四角
形領域検出／分割部、２０５は格子点動きベクトル検出
部、２０６は補間フレーム格子点動きベクトル計算部、
２０７は補間フレーム作成部、２０８はセレクタ、２０
９は表示部、２１０はスイッチである。

【００２８】本実施例は一部の四角形領域について、格
子点動きベクトル情報が含まれる場合を前提としてい
る。図６と図１の違いは、図６では符号化データに格子
点動きベクトルを含む四角形領域に対しては、動画像復
号部２０１で復号データから格子点動きベクトルを復号
し、符号化データに格子点動きベクトルを含まない四角
形領域に対しては、復号装置側で格子点動きベクトルを
検出する点である。このため格子点動きベクトルを選択
するための切り替えスイッチ２１０が付加されている。
従って、符号化側で作られた格子点動きベクトルをもつ
四角形領域と、格子点動きベクトルをもたない四角形領
域とで、使用する格子点動きベクトルを四角形領域毎に
切り替えることができる。

【００２９】図７は、請求項４の他の実施例を示す動画
像復号装置の構成図で、図中、３０１は動画像復号部、
３０２はフレームメモリ、３０４は四角形領域検出／分
割部、３０６は補間フレーム格子点動きベクトル計算
部、３０７は補間フレーム作成部、３０８はセレクタ、
３０９は表示部である。図７はフレーム内の全ての四角
形領域が符号化装置側で作成された格子点動きベクトル
をもつ場合の復号装置の構成例である。フレーム内の全
ての四角形領域について復号データに格子点動きベクト
ル情報を含むため、図６の格子点動きベクトル検出のた
めの第１のフレームメモリ２０３と、格子点動きベクト
ル検出部２０５及びスイッチ２１０は不要である。従っ
て、復号装置の回路規模を小さくできる。

【００３０】図８は、本発明による動画像符号化装置の
一実施例（請求項５）を説明するための構成図で、図
中、４０１は補間フレーム決定部、４０２は符号化フレ
ームメモリ、４０３は動画像符号化部、４０４は補間フ
レームメモリ、４０５は局部復号／予測画像作成部、４
０６は第２のフレームメモリ、４０７は第１のフレーム
メモリ、４０８は四角形領域検出／分割部、４０９は四
角形領域分割部、４１０は格子点動きベクトル検出部、
４１１は補間フレーム格子点動きベクトル計算部、４１
２は第２の補間フレーム作成部、４１３は第１の補間フ
レーム作成部、４１４は第２の誤差量計算部、４１５は
第１の誤差量計算部、４１６は比較器、４１７は符号作
成部である。

【００３１】補間フレーム決定部４０１は、入力画像が
符号化フレームであるか、補間フレームであるかを選択
し、符号化フレームと判断されれば、符号化フレームメ
モリ４０２に入力画像を格納し、補間フレームであると
判断されれば、補間フレームメモリ４０４に入力画像を
格納する。動画像符号化部４０３は、例えば、直交変換
部、量子化部などからなる。局部復号／予測画像作成部
４０５は、例えば、逆量子化部と逆直交変換部と動き補
償部からなる。第１のフレームメモリ４０７、第２のフ
レームメモリ４０６は、局部復号／予測画像作成部４０
５で作成された復号フレームを格納するフレームメモリ
である。

【００３２】なお、第１のフレームメモリ４０７、第２
のフレームメモリ４０６に格納されるフレームを、各々
参照フレーム、参照フレームと呼ぶことにする。参
照フレームは、四角形領域検出／分割部４０８で四角
形領域に分割され、格子点動きベクトル検出部４１０で
符号化対象フレームとの格子点動きベクトルを検出す
る。これを使って補間フレーム格子点動きベクトル計算
部４１１で補間フレームとの格子点動きベクトルを計算
する。第２の補間フレーム作成部４１２では、これらの
情報から参照フレームを使ったときの補間フレームを
作成し、第２の誤差量計算部４１４で原画像との誤差量
を計算する。

【００３３】一方、参照フレームは、格子点動きベク
トル検出部４１０で作成した格子点動きベクトルを用い
て、四角形領域分割部４０９で四角形領域に分割され、
第１の補間フレーム作成部４１３で補間フレームが作成
され、第１の誤差量計算部４１５では、この補間フレー
ムと補間フレームメモリ４０４に格納された原画像との
誤差量が計算される。

【００３４】比較器４１６では、各々四角形毎に参照フ
レームを使ったときの誤差量と、参照フレームを使
ったときの誤差量とを比較し、誤差量の小さいほうを選
択し、どちらを選択したかの情報を出力する。予測誤差
量としては、画素の二乗誤差和や差分絶対値和などがあ
る。符号作成部４１７は、参照フレームを示す情報、補
間フレームの位置情報及び動画像符号化部４０３からの
符号化データを合わせて出力データを作成する。

【００３５】このようにして間引フレームに対しても四
角形領域毎に、補間のために使用する参照フレームが、
参照フレームか参照フレームかを示す情報を付加す
ることによって、復号側で良好な補間フレームを作成す
ることができる。

【００３６】図９は、本発明による動画像符号化装置の
他の実施例（請求項６）を説明するための構成図で、図
中、５０１は補間フレーム決定部、５０２は符号化フレ
ームメモリ、５０３は動画像符号化部、５０４は補間フ
レームメモリ、５０５は局部復号／予測画像作成部、５
０６はフレームメモリ、５０７は四角形領域検出／分割
部、５０８は格子点動きベクトル検出部、５０９は格子
点動きベクトル検出部、５１０は符号作成部である。

【００３７】図９の補間フレーム決定部５０１、符号化
フレームメモリ５０２、動画像符号化部５０３、補間フ
レームメモリ５０４、局部復号／予測画像作成部５０
５、フレームメモリ５０６、四角形領域検出／分割部５
０７、格子点動きベクトル検出部５０８、符号作成部５
１０は、図８の構成要素と同じである。また、補間フレ
ーム格子点動きベクトル検出部５０９は、格子点動きベ
クトル検出部５０８と同様に構成される。図９の特徴
は、補間フレーム格子点動きベクトル検出部５０９で、
フレームメモリ５０６に格納された参照フレームから直
接補間フレームメモリ５０４に格納されている原画像の
格子点動きベクトルを検出し、補間フレームの格子点動
きベクトルを符号化することである。

【００３８】なお、図９の実施例は参照フレームが一枚
の場合についてであるが、図８の構成に補間フレーム格
子点動きベクトル検出部５０９を付加して、参照フレー
ムが二枚の場合にも補間フレームの各四角形領域の格子
点の動きベクトルを検出し、符号化することも可能であ
る。以上のようにして補間のための格子点動きベクトル
を使用することによって、さらに良好の画質の補間フレ
ームを作成することができる。

【００３９】図１０は、本発明による動画像符号化装置
の更に他の実施例を説明するための構成図で、図中、６
０１は補間フレーム決定部、６０２は符号化フレームメ
モリ、６０３は動画像符号化部、６０４は補間フレーム
メモリ、６０５は局部復号／予測画像作成部、６０６は
フレームメモリ、６０７は四角形領域検出／分割部、６
０８は格子点動きベクトル検出部、６０９は補間フレー
ム格子点動きベクトル計算部、６１０は補間フレーム作
成部、６１１は誤差量計算部、６１２は比較器、６１３
は符号作成部、６１４はスイッチである。

【００４０】図１０の補間フレーム決定部６０１、符号
化フレームメモリ６０２、動画像符号化部６０３、補間
フレームメモリ６０４、局部復号／予測画像作成部６０
５、フレームメモリ６０６、四角形領域検出／分割部６
０７、格子点動きベクトル検出部６０８、符号作成部６
１０は、図９の構成要素と同じである。また、補間フレ
ーム格子点動きベクトル計算部６０９、補間フレーム作
成部６１０、誤差量計算部６１１は、図８の構成要素と
同じである。比較器６１２は、各四角形領域毎に誤差量
計算部６１１で計算された補間フレームの原画像と予測
画像の誤差量と、あらかじめ定められたしきい値とを比
較する。このとき誤差量が大きい時のみスイッチ６１４
をＯＮにして、この四角形領域に対して画素値をフレー
ム内符号化する。

【００４１】なお、図１０は、補間フレームの四角形領
域の符号化を行う場合は、四角形領域の画素値をフレー
ム内符号化する例であるが、動画像符号化部６０３への
入力を誤差量計算部６１１で作られた原画像と補間フレ
ームとの誤差値として、四角形領域内の画素の誤差値を
符号化することも可能である。また、補間フレーム格子
点動きベクトル計算部６０９を、図９の補間フレーム格
子点動きベクトル検出部５０９に置き換えることによっ
て、補間フレームの格子点動きベクトルを符号化するこ
とも可能である。また、図８にスイッチ６１４を用いる
ことで、参照フレームを複数枚有するときにも、四角形
領域単位での画素値あるいは画素の誤差値の符号化が可
能である。

【００４２】以上のようにして補間のために四角形領域
の画素値あるいは画素の誤差値を符号化することによっ
て、さらに良好の画質の補間フレームを作成することが
できる。請求項５の実施例である図８の符号化装置で作
成された符号化データは、図１の実施例において、補間
フレーム作成部１０７に、符号化データの中から参照フ
レームあるいは参照フレームのどちらを選択するか
を示す情報を入力することによって、四角形領域毎に参
照フレームを適応的に切り替えることにより、復号が可
能である。

【００４３】請求項６の実施例である図９の符号化装置
で作成された符号化データは、符号化データに含まれる
補間フレーム格子点動きベクトルを、図７の実施例にお
いて、補間フレーム格子点動きベクトル計算部３０６の
処理を行わずに、直接補間フレーム作成部３０７に入力
することによって、四角形領域毎に符号化側で計算した
格子点動きベクトルを用いて補間フレームを作成するこ
とにより復号が可能である。

【００４４】請求項７の実施例である図１０の符号化装
置で作成された符号化データは、図１の実施例におい
て、補間フレーム作成部１０７で作られた補間画像と、
動画像復号部１０１で復号された復号画像を四角形領域
毎に適応的に切り替えることにより、復号が可能であ
る。以上のようにして符号化側で間引かれたフレームを
復号側で補間し、視覚的に良好な画像を得ることができ
る。なお、以上の説明において、“あらかじめ定められ
たしきい値”とは理論的あるいは経験的に求められた値
である。

【００４５】

【発明の効果】本発明の動画像符号化装置及び復号装置
は、以上説明したように構成されているので、以下に記
載されるような効果がある。 （１）符号化時にフレーム間引きされた画像を復号時に
補間再生するため、表示画像の時間的解像度を向上させ
ることができる。また、符号化時にフレーム間引きを行
わない場合であっても、復号時に復号画像間に補間画像
を挿入することにより、時間当たりの表示フレーム数を
増加させ、動きをより滑らかにすることも可能である。 （２）画像を複数個の四角形領域に分割し、各四角形領
域に格子点の動きベクトルを利用して画像の補間を行う
ため、四角形領域の格子点の移動に伴って四角形が変形
し、補間フレームを作成したときに、補間フレーム上で
四角形領域どうしが重なり合ったり、間隙ができたりし
ないため、良好な画質の補間フレームを作成することが
できる。 （３）復号装置側で四角形領域のフレーム間における格
子点の動きベクトルを検出することができるので、符号
化方法にかかわらず、補間フレーム上で四角形領域の重
なりや間隙の生じない補間画像の作成が可能である。 （４）復号装置側で復号フレームと補間フレームとの時
間間隔によって、補間フレーム作成に用いる復号フレー
ムを切り替えるため、視覚的に良好な補間フレームの作
成が可能である。 （５）復号装置側で二枚の復号フレームを用いて補間フ
レームを作成する際には、各々の復号フレームを用して
二枚の補間フレームを作成し、補間フレームと二枚の復
号フレームとの時間的間隔に応じて、前述の二枚の補間
フレームを加重平均して最終的な補間フレームを得るた
め、視覚的に良好な補間フレームの作成が可能である。 （６）復号装置側で使用する格子点動きベクトルとして
符号化装置側で作成した格子点動きベクトルを使用する
こともできる。格子点動きベクトルを用いる符号化方式
では、格子点動きベクトルを符号化して伝送するので、
この場合、復号装置側に格子点動きベクトル検出のため
の回路を必要とせず、回路規模を削減できる。 （７）参照フレームの四角形領域の全てあるいは一部が
格子点動きベクトルをもたない場合は、復号側で独自に
各格子点の動きベクトルを検出できるので、いかなるフ
レームにおいてもフレームとフレームとの間に補間フレ
ームを作成することが可能であり、動画像の滑らかな動
きを再現することができる。 （８）補間に用いる二枚の参照フレームを四角形領域毎
に適応的に切り替えることができるため、視覚的に良好
な補間フレームを作成することができる。 （９）四角形領域毎に補間フレームの格子点動きベクト
ルの情報をもたせることができるため、視覚的に良好な
画像の作成が可能である。 （１０）符号化側で参照フレームから作成した補間フレ
ームが対応する原画像に対して誤差が大きい場合は、補
間フレームであっても対応する原画像をフレーム内符号
化もしくはフレーム間符号化を行い、かつ、上記の処理
は四角形領域を単位として適応的に選択するため、視覚
的に良好な画像の作成が可能である。

【図面の簡単な説明】

【図１】本発明による動画像復号装置の一実施例（請求
項１）を説明するための構成図である。

【図２】本発明の四角形領域の一例を示す図である。

【図３】本発明の四角形領域の検出方法を示す説明図で
ある。

【図４】本発明による動画像復号装置の他の実施例（請
求項２）を示す説明図である。

【図５】本発明による動画像復号装置の更に他の実施例
（請求項３）を示すための説明図である。

【図６】本発明による動画像復号装置の更に他の実施例
（請求項４）を説明するための構成図である。

【図７】請求項４の他の実施例を説明するための構成図
である。

【図８】本発明による動画像符号化装置の一実施例（請
求項５）を説明するための構成図である。

【図９】本発明による動画像符号化装置の他の実施例
（請求項６）を説明するための構成図である。

【図１０】本発明による動画像符号化装置の更に他の実
施例を説明するための構成図である。

【図１１】従来の補間フレーム作成方法を示す説明図で
ある。

【図１２】従来の問題点を説明するための図である。

【符号の説明】

１０１，２０１，３０１…動画像復号部、１０２，１０
３，２０２，２０３，３０２，４０６，４０７，５０
６，６０６…フレームメモリ、１０４，２０４，３０
４，４０８，５０７，６０７…四角形領域検出／分割
部、１０５，２０５，４１０，５０８，６０８…格子点
動きベクトル検出部、１０６，２０６，３０６，４１
１，６０９…補間フレーム格子点動きベクトル計算部、
５０９…補間フレーム格子点動きベクトル検出部、４１
６，６１２…比較器、４１４，４１５，６１１…誤差量
計算部、１０７，２０７，３０７，４１２，４１３，６
１０…補間フレーム作成部、１０８，２０８，３０８…
セレクタ、１０９，２０９，３０９…表示部、２１０，
６１４…スイッチ、４０１，５０１，６０１…補間フレ
ーム決定部、４０２，５０２，６０２…符号化フレーム
メモリ、４０３，５０３，６０３…動画像符号化部、４
０４，５０４，６０４…補間フレームメモリ、４０５，
５０５，６０５…局部復号／予測画像作成部、４０９…
四角形領域分割部、４１７，５１０，６１３…符号作成
部。

Claims (10)

【特許請求の範囲】
1. 【請求項１】 第一および第二の復号フレームの間に補
   間フレームを作成する動画像復号装置であって、第一の
   復号フレームを格子点で囲まれる四角形領域に分割する
   四角形領域検出／分割部と、前記各格子点に対応する第
   二の復号フレーム上の格子点位置を求めて、前記第一，
   第二の復号フレーム間の格子点動きベクトルを検出する
   格子点動きベクトル検出部と、前記格子点動きベクトル
   をもとに前記補間フレームに対する格子点動きベクトル
   を算出し、前記補間フレーム上の格子点位置を求める補
   間フレーム動きベクトル計算部と、前記補間フレーム上
   の格子点で囲まれる各四角形領域について、前記第一の
   復号フレームと前記第二の復号フレームの一方、もしく
   は両者の対応する各四角形領域を形状変換して補間フレ
   ーム上の四角形領域を合成する補間フレーム作成部とを
   具備することにより、前記第一の復号フレームと前記第
   二の復号フレームの一方、もしくは両方から前記補間フ
   レームを作成することを特徴とする動画像復号装置。
2. 【請求項２】 前記第一のフレームと前記補間フレーム
   との時間間隔と、前記第二の復号フレームと前記補間フ
   レームとの時間間隔との差があらかじめ定められたしき
   た値より小さい場合には、前記第一および第二の復号フ
   レームを用いて前記補間フレームを作成し、それ以外の
   場合は、前記補間フレームに時間的に近い側の前記復号
   フレームを用いて、前記補間フレームを作成することを
   特徴とする請求項１記載の動画像復号装置。
3. 【請求項３】 前記第一および第二の復号フレームを用
   いて前記補間フレームを作成する際には、前記第一の復
   号フレームを用いて第一の補間フレームを作成し、前記
   第二の復号フレームを用いて第二の補間フレームを作成
   し、前記補間フレームと前記第一および第二の復号フレ
   ームとの時間的間隔に応じて、前記第一および第二の補
   間フレームを加重平均して前記補間フレームを得ること
   を特徴とする請求項１又は２記載の動画像復号装置。
4. 【請求項４】 前記四角形領域の全て、あるいは一部に
   対する前記格子点動きベクトルが符号化データに含まれ
   る場合には、前記格子点動きベクトルを含む四角形領域
   の補間については、前記格子点動きベクトル検出部を用
   いず、符号化データに含まれる格子点動きベクトルを利
   用し、前記符号化データに格子点動きベクトルを含まな
   い四角形領域の補間については、前記格子点動きベクト
   ル検出部で作られた格子点動きベクトルを利用すること
   を特徴とする請求項１,２又は３記載の動画像復号装
   置。
5. 【請求項５】 画像を複数個の四角形領域に分割し、前
   記四角形領域の格子点の動きベクトルを用いて前記四角
   形領域を形状変換して予測画像を作成し、前記予測画像
   と原画像との予測誤差を符号化する動画像符号化装置で
   あって、特定のフレームを予測誤差を伝送せず、復号側
   で参照フレームから合成する補間フレームとして定める
   補間フレーム決定部と、前記補間フレームに対しては補
   間フレームであることを示す情報、および復号側の補間
   で用いる参照フレームの位置があらかじめ定められてい
   ない場合は、参照フレームの位置を示す情報とを伝送す
   る符号化部とを備えたことを特徴とする動画像符号化装
   置。
6. 【請求項６】 符号化側で前記補間フレームに対する格
   子点動きベクトルを検出する補間フレーム格子点動きベ
   クトル検出部と、前記格子点動きベクトル情報を伝送す
   る符号化部とを備えたことを特徴とする請求項５記載の
   動画像符号化装置。
7. 【請求項７】 前記補間フレームを構成する各四角形領
   域に対して原画像との誤差を計算する誤差量計算部と、
   前記誤差があらかじめ定められたしきい値を越える四角
   形領域に対しては、原画像上の該四角形領域を符号化す
   る符号化手段、もしくは該四角形領域における原画像と
   前記補間フレームとの予測誤差情報を符号化する符号化
   手段とを備えたことを特徴とする請求項５又は６記載の
   動画像符号化装置。
8. 【請求項８】 請求項５記載の動画像符号化装置で作成
   された符号化データを復号するために、符号化データに
   含まれる補間フレームであることを示す情報と、復号側
   の補間で用いる参照フレームの位置があらかじめ定めら
   れていない場合は参照フレームの位置を示す情報とをも
   ちいて、参照フレームから補間フレームを作成する補間
   フレーム作成部を備えたことを特徴とする動画像復号装
   置。
9. 【請求項９】 請求項６記載の動画像符号化装置で作成
   された符号化データを復号するために、符号化データに
   含まれる補間フレームに対する格子点動きベクトルの情
   報をもちいて、参照フレームから補間フレームを作成す
   る補間フレーム作成部を備えたことを特徴とする請求項
   ８記載の動画像復号装置。
10. 【請求項１０】 請求項７記載の動画像符号化装置で作
    成された符号化データを復号するために、符号化データ
    に含まれる原画像と補間画像との予測誤差情報、もしく
    は原画像情報をもちいて前記四角形領域を作成する作成
    手段とを備えたことを特徴とする請求項８又は９記載の
    動画像復号装置。