JPH089386A - 動画像信号の復号化装置および動きベクトル算出方法ならびに動きベクトル推定方法 - Google Patents

Abstract

(57)【要約】 【目的】 伝送路などにおいてビットストリームの一部
が欠落し、動画像信号の復号化装置で前フレームと現フ
レームとの差分値および動きベクトルが画素ブロック単
位に復号が不可能になっても、前記画素ブロック部分で
の画質の劣化を目立たなくすることを可能にする。 【構成】 物体検出部111で検出された物体の動きベク
トルを、復号された画素ブロックごとの動きベクトルか
ら物体動きベクトル算出部110で検出し、動きベクトル
推定部109にて物体およびその動きベクトルから、欠落
した画素ブロックの動きベクトルを推定し、その画素ブ
ロックを前フレームの動き補償された画素ブロックで置
き換えることにより、入力信号のエラーによる画質劣化
を目立たなくする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、テレビ電話，テレビ会
議やデジタルビデオなどのデジタル画像処理装置に利用
される動画像信号の復号化装置、およびこの復号化装置
に利用される物体の動きベクトル算出方法，動きベクト
ル推定方法に関する。

【０００２】

【従来の技術】近年、テレビ電話やテレビ会議装置の急
速な発展につれ、特に、動画像信号の復号化装置で伝送
路等による画質劣化が目立たなくなるような方法が要望
されている。

【０００３】一般に動画像信号の符号化装置は、まずフ
レーム間の時間的な相関を除去するために入力フレーム
(現フレーム)の画素ブロック(例えば、16×16画素)単位
に動き補償予測を行い、前フレームとの差分を画素ブロ
ック単位に求める。この差分値の情報量は現フレームの
情報量より極めて少ない。次に、差分値と動き補償に用
いた動きベクトルを符号化し、動画像信号として符号を
出力する。

【０００４】一方、動画像信号の復号化装置は、符号化
装置より出力された符号の復号を行い、動き補償された
現フレームと前フレームとの差分値、および動き補償に
用いた動きベクトルを画素ブロック単位に得る。復号化
装置は、前フレームを格納するフレームメモリを備え、
動きベクトルによりフレームメモリの前フレームを画素
ブロック単位に動き補償し、これに差分値を加算するこ
とによって現フレームが再生される。再生された現フレ
ームはフレームメモリに格納される。

【０００５】このように復号化装置は、前フレームと現
フレームとの差分値、および動きベクトルのみで現フレ
ームを再生できるものである。

【０００６】以下、従来の動画像信号の復号化装置につ
いて図面を参照しながら説明する。

【０００７】図８に示すように従来の動画像信号の復号
化装置は、入力端子801，復号化部802，加算器803，動
き補償部804，フレームメモリ805および出力端子806か
ら構成されている。

【０００８】前記各構成要素の関係と動作について説明
する。

【０００９】まず、符号化装置からの符号が入力端子80
1より入力されると、復号化部802では前フレームと現フ
レームとの差分値、および前フレームの動き補償に用い
た動きベクトルを画素ブロック単位で復号する。次に動
き補償部804は、復号化部802から入力される動きベクト
ルを用いて、フレームメモリ805から読み出される前フ
レームを画素ブロック単位で動き補償する。加算器803
は、復号化部802から出力した前フレーム値を画素ブロ
ック単位に加算して、現フレームを再生する。再生され
た現フレームは出力端子806から出力されるのと同時
に、フレームメモリ805に格納されて、次フレームの復
号化に用いられる。

【００１０】したがって、前記従来例によれば、前フレ
ームと現フレームとの差分値と、動きベクトルの少ない
情報量から動画像を復号化できるので、効率良い動画像
伝送を行うことができる。

【００１１】

【発明が解決しようとする課題】しかしながら、上記従
来の復号化装置の構成では、何等かの原因で伝送路等に
おいてビットストリームの一部が欠落した場合、前フレ
ームと現フレームの差分値、および動きベクトルが画素
ブロック単位に復号不可能になり、欠落した画素ブロッ
ク部分では動き補償がなされない前フレームの画素が表
示されるので、特に、動きがある部分で画質が大きく劣
化するという問題を有していた。

【００１２】本発明は、このような従来の問題を解決す
るもので、圧縮符号列(ビットストリーム)の一部が欠落
し、一部の画素ブロックの復号が不可能になっても、そ
の画素ブロック部分での画質劣化を目立たなくできる動
画像信号の復号化装置を提供することを目的とするもの
である。

【００１３】また本発明は、復号化の際に、画像劣化を
最小限にするために、画像内の物体の動きベクトルを算
出する動きベクトル算出方法、および物体の動きベクト
ルから復号不可能な画素ブロックの動きベクトルを推定
する動きベクトル推定方法を提供することを目的とする
ものである。

【００１４】

【課題を解決するための手段】前記目的を達成するた
め、本発明の第１の動画像信号の復号化装置は、フレー
ムメモリ内の参照画像(前フレーム)の画像内の物体を検
出する物体検出部と、復号された画素ブロックの動きベ
クトルから画像内の物体の動きベクトルを算出する物体
動きベクトル算出部と、物体およびその動きベクトルか
ら復号不可能な画素ブロックの動きベクトルを推定する
動きベクトル推定部と、動きベクトルによって画素ブロ
ックの動き補償を行う動き補償部とを備えたものであ
る。

【００１５】また本発明の第２の動画像信号の復号化装
置は、前記第１の動画像信号の復号化装置と同様に、フ
レームメモリ内の前フレームの画像内の物体を検出する
物体検出部と、復号された画素ブロックの動きベクトル
から物体の動きベクトルを算出する物体動きベクトル算
出部、および算出された物体と動きベクトルから復号不
可能な画素ブロックの動き補償を行う動き補償部とを備
えたものである。

【００１６】また本発明の動きベクトル算出方法は、前
記第１および第２の動画像信号の復号化装置中の物体動
きベクトル算出部において、同一の物体に対して複数の
候補動きベクトルが生じた際に、画素ブロック内に含ま
れる物体の面積を評価値として動きベクトルを決定する
ものである。

【００１７】また本発明の第１の動きベクトル推定方法
は、前記第１の動画像信号の復号化装置中の動きベクト
ル推定部において、推定すべき動きベクトルに対応する
画素ブロック中に動き補償後に含まれる物体の面積を評
価値として動きベクトルを推定するものである。

【００１８】また本発明の第２の動きベクトル推定方法
は、前記評価値を算出する際に、物体の前後関係を検出
し、後方にある物体については前方に存在する物体によ
って隠される部分の面積を評価値から削除し、この評価
値の一番大なる物体の動きベクトルを推定動きベクトル
とするものである。

【００１９】

【作用】本発明に係る前記装置および方法では、伝送エ
ラー等によって欠落して復号不可能な画素ブロックを、
推定動きベクトル、または物体ごとの動きベクトルを用
いて、前フレームの画像から動き補償を行うことによ
り、画質劣化を目立たなくする。

【００２０】

【実施例】以下、本発明の実施例について図面を参照し
て説明する。

【００２１】図１は本発明の動画像信号の復号化装置の
第１実施例の構成を示すブロック図であり、本実施例
は、入力端子101，エラー検出部102，復号化部103，加
算器104，出力端子105，動き補償部106，フレームメモ
リ107，切り替え器108，動きベクトル推定部109，物体
動きベクトル算出部110，物体検出部111とで構成される
ものである。

【００２２】以下、前記第１実施例の動作について説明
する。

【００２３】入力端子101から入力されたビットストリ
ームはエラー検出部102に入力される。エラー検出部102
は、入力されたビットストリームを検査し、誤りや欠落
等のビットストリームのエラーを検出して復号不可能な
画素ブロックを特定する。ここで入力端子101より以前
のシステム(システムデコーダー等)でビットストリーム
のエラーが検出されている場合には、そのエラー情報を
受け取ることによってエラー検出部102を削除すること
が可能である。エラー検出部102は、エラー情報を切り
替え器108へ、またエラーを除いたビットストリームを
復号化部103へそれぞれ出力する。

【００２４】復号化部103は入力されたビットストリー
ムを復号し、予測残差信号を加算器104へ、また動きベ
クトルを切り替え器108および物体動きベクトル算出部1
10へそれぞれ出力する。切り替え器108は、動きベクト
ル推定部109および復号化部103から出力される動きベク
トルを、エラー検出部102からのエラー情報に従って切
り替え、動き補償部106へ出力する。すなわち切り替え
器108は、復号を行う画素ブロックにエラーがない場合
には復号化部103の出力を選択し、エラーがある場合に
は動きベクトル推定部109の出力を選択する。

【００２５】動き補償部106は、入力された動きベクト
ル(ビットストリーム中にエラーがある画素ブロック時
には推定動きベクトル)に従い、この動きベクトルに対
応する画像をフレームメモリ107から取り込んで加算器1
04へ出力する。加算器104は、復号された予測残差信号
(予測残差のビットストリーム中にエラーがある画素ブ
ロックはすべて０)と動き補償画素ブロックとを加算
し、再生画素ブロックを出力端子105を通して外部へ出
力する。また同時に次フレームの動き補償を行うために
フレームメモリ107に出力する。フレームメモリ107は加
算器104から出力された再生画素ブロックを次フレーム
の動き補償を行うために蓄える。また、このように蓄え
られた前フレームの画像を動き補償画素ブロックとして
動き補償部106へ出力する。さらに前フレーム中に存在
する物体を検出するために前フレームの画像を物体検出
部111に出力する。

【００２６】物体検出部111は、例えばエッジ強調フィ
ルタ等を用いて画像中の物体のエッジを検出し、画像中
の物体を検出する。物体検出部111で検出された物体お
よびその物体の領域情報は、物体動きベクトル算出部11
0へ出力される。物体動きベクトル算出部110は、得られ
た物体およびその領域と復号化部103で復号された画素
ブロックごとの動きベクトルから各物体の動きベクトル
を算出する。動きベクトル推定部109は、算出された物
体および動きベクトルから欠落した画素ブロックの動き
ベクトルを推定し、切り替え器108に出力する。

【００２７】次に本発明に係る物体の動きベクトル算出
方法の一実施例について図３を参照して説明する。

【００２８】現フレームの画素ブロックの動き補償と
は、動きベクトルで示された位置の前フレームの画像
(動き補償画素ブロック)を得ることである。言い換えれ
ば、動きベクトルは、動き補償画素ブロックの動きベク
トルであるということができる。したがって、前フレー
ム中の物体が含む動き補償画素ブロックを検出し、その
動き補償画素ブロックの動きベクトルをその物体の動き
ベクトルとすることができる。

【００２９】しかし、実際は図３の(a)に示すように同
一の物体301に対し、複数の動き補償画素ブロック302〜
305が検出され、それぞれ異なった動きベクトルが候補
となる場合がある。図３の(b)〜(e)に302〜305の動き補
償画素ブロックを示す。図中の網かけ部が動き補償画素
ブロック中の物体301を表し、ＭＶa〜ＭＶdがそれぞれ
の動き補償画素ブロックの動きベクトルを表している。

【００３０】この場合には、図３の(b)〜(e)の網かけ部
で示される物体の面積を算出し、その面積を評価値とし
て予め定められたしきい値を超えた最大の動き補償画素
ブロックを物体301が含む動き補償画素ブロックとす
る。図３の場合、評価値が最大の動き補償画素ブロック
はブロック303である。したがって、物体301の動きベク
トルはＭＶbとなる。また、しきい値以下の場合には動
きベクトルをゼロ・ベクトルとする。この方法により、
動きに一致する動きベクトルを算出することが可能とな
る。

【００３１】次に前記動きベクトル推定部における本発
明に係る動きベクトル推定方法の第１実施例について図
４および図５を用いて説明する。

【００３２】図４(a)は前記フレームメモリ107内に蓄え
られている前フレームの画像であり、401および402はそ
れぞれ検出された物体であって、ＭＶ1，ＭＶ2は、それ
ぞれ物体401，402の動きベクトルを表す。図４(b)は物
体401を動き補償した画像を表し、図中の403は動きベク
トルを推定する画素ブロック(復号不可能な画素ブロッ
ク)の位置の一例を表す。図４(c)は物体402を動き補償
した画像であり、同様に図中の404は動きベクトルを推
定する画素ブロックの位置の一例を表す。404および403
はフレーム中の同じ位置を表している。

【００３３】図５(a)，(b)に404および403の画像を拡大
して示す。それぞれの編みかけ部分は物体401および物
体402を示している。

【００３４】前フレームの物体は、それぞれの動きベク
トルに従って動き補償を行い、動き補償画像を生成す
る。すなわち、図４(a)の物体401を動きベクトルＭＶ1
だけ移動させた動き補償画像(図４(b))を得る。ここで
復号不可能な画素ブロックの位置が403である場合、そ
の領域に動き補償後含まれる物体とその面積を算出して
評価値Ｓiする。

【００３５】本実施例の場合は、図５(a)の網かけ部の
面積を算出する。通常、複数の物体が復号不可能な画素
ブロックの位置に含まれる場合が存在するので、それぞ
れの物体について同様に評価値Ｓを算出する。それら算
出された評価値Ｓと、しきい値Ｓthとを比較し、Ｓ＞Ｓ
thなる物体のうちの最大の物体を検出し、その動きベク
トルをその画素ブロックの動きベクトルと推定する。

【００３６】次に動きベクトル推定部における本発明に
係る動きベクトル推定方法の第２実施例について図６を
用いて説明する。

【００３７】図６(a)は物体401および402を共に動き補
償した画像である。ここで物体401と物体402の前後関係
を検出しておき、前方の物体402によって後方の物体401
はマスクされている。また501は動きベクトルを推定す
る画素ブロックの位置を表す。図６(b)は動きベクトル
を推定する画素ブロックの領域501を拡大したものであ
る。なお、図中の401，402はそれぞれの物体を示す。

【００３８】このように、それぞれの物体の前後関係が
検出される場合には、動きベクトル推定方法の前記第１
実施例において説明した評価値Ｓから前方の物体によっ
てマスクされる領域(面積)を削除した面積を評価値Ｓ′
とする(図６(b)で示される、それぞれの物体の網かけ
部)。この新しい評価値Ｓ′を用いて前記第１実施例の
動きベクトル推定方法と同じ動きベクトルの判定を行
う。

【００３９】図２は本発明の動画像信号の復号化装置の
第２実施例の構成を示すブロック図であり、本実施例
は、入力端子201，エラー検出部202，復号化部203，加
算器204，出力端子205，第１の動き補償部207，フレー
ムメモリ208，切り替え器206，第２の動き補償部209，
物体動きベクトル算出部210，物体検出部211とで構成さ
れるものである。

【００４０】以下、前記第２実施例の動作について説明
する。

【００４１】入力端子201から入力されたビットストリ
ームはエラー検出部202に入力される。エラー検出部202
は、前記動画像信号の復号化装置の第１実施例で示した
エラー検出部102と同様に、入力されたビットストリー
ムを検査し、誤りや欠落などのビットストリームのエラ
ーを検出して復号できない画素ブロックを特定する。さ
らにエラー検出部202は、エラー情報を切り替え器206
へ、またエラーを除いたビットストリームを復号化部20
3へそれぞれ出力する。復号化部203は、入力されたビッ
トストリームを復号し、動きベクトルを第１の動き補償
部207と物体動きベクトル算出部210へ、また予測残差信
号を加算器204へそれぞれ出力する。加算器204は、切り
替え器206から出力される動き補償画素ブロックと予測
残差信号を加算し、再生画素ブロックを生成する。生成
された再生画素ブロックは出力端子205を通して外部に
出力される。また同じに次フレームの動き補償予測に用
いるためにフレームメモリ208へ出力され、同フレーム
メモリ208に蓄えられる。

【００４２】フレームメモリ208に蓄えられた前フレー
ム画像は、第１の動き補償部207および第２の動き補償
部209へそれぞれ出力され、それぞれの動き補償部207，
209で動き補償ブロックが計算される。また、フレーム
メモリ208に蓄えられた前フレーム画像は、物体検出部2
11にも出力される。物体検出部211は入力された画像か
ら前記第１実施例の物体検出部111と同様の方法によっ
て、画像中の物体を検出する。検出された物体の領域お
よび位置情報は物体動きベクトル算出部210へ出力され
る。物体動きベクトル算出部210は、入力された物体の
位置および領域情報と復号化部203で復号された動きベ
クトルをもとに、前記動きベクトルの算出方法の第１実
施例と同様の方法によって物体の動きベクトルを算出す
る。

【００４３】物体動きベクトル算出部210で算出された
物体の情報と対応する動きベクトルは第２の動き補償部
209へ出力される。第２の動き補償部209は、入力された
物体情報および動きベクトルおよびフレームメモリ208
の前フレームからエラーなどによって欠落した画素ブロ
ックの動き補償ブロックを、切り替え器206へ出力す
る。切り替え器206はエラー検出部202からのエラー情報
に従って切り替えられる。すなわち、エラーが検出され
ない画素ブロックは、復号された動きベクトルによる動
き補償を行う第１の動き補償部207の出力を選択し、そ
の出力を加算器204へ出力する。またエラーが存在する
場合には切り替え器206は物体ごとの動き補償を行う第
２の動き補償部209の出力を選択し、加算器204へ出力す
る。

【００４４】次に前記第２の動き補償部209で行う物体
ごとの動き補償の方法を図７を参照して説明する。

【００４５】図７(a)は前フレームの画像であり、701お
よび702はそれぞれ検出された物体であって、ＭＶ１，
ＭＶ２はそれぞれ物体701，702の動きベクトルを表す。
物体ごとの動き補償による現フレームを生成するため
に、個々の物体を動きベクトルに従い移動させた画像が
図７(b)である。この図のように、全ての物体の動きベ
クトルの方向と大きさが等しくない場合、図７(b)のＡ
で示される部分のように２つ以上の物体が重なり合う部
分が生じる可能性が大きい。したがって、この場合、物
体701と物体702の前後関係を検出し、図７(c)で示され
るように後方の画像を前方の物体でマスクする必要があ
る。図７(c)では物体701が物体702より後方にある場合
を表している。また、図７(b)のＢで示される部分のよ
うに、物体が移動してしまったことによって補償されな
い画素は、画質劣化を最小限に抑えるために周辺画素の
平均値で埋める。これにより物体ごとの動き補償された
画像(図７(c))を得ることができる。

【００４６】

【発明の効果】以上説明したように、本発明の動画像信
号の復号化装置は、請求項１，２記載の構成によれば、
復号が不可能な画素ブロックを推定動きベクトル、また
は画像中の物体ごとの動きベクトルにより動き補償され
た前フレーム(参照画像)で置き換えることにより画質劣
化を目立たなくすることができる。

【００４７】また、本発明の動きベクトル算出方法は、
請求項３記載の方法によれば、画像中の物体の動きベク
トルを、画素ブロック内の物体の面積を評価値として決
定するために精度高く得られる。

【００４８】さらに、本発明の動きベクトル推定方法
は、請求項４，５記載の方法によれば、復号が不可能な
画素ブロックを物体ごとに動き補償された前フレームで
置き換えるために、画素ブロックごとの置き換えより画
質劣化を目立たなくすることができる。

【図面の簡単な説明】

【図１】本発明に係る動画像信号の復号化装置の第１実
施例の構成を示すブロック図である。

【図２】本発明に係る動画像信号の復号化装置の第２実
施例の構成を示すブロック図である。

【図３】本発明に係る動きベクトル算出方法の説明図で
ある。

【図４】動きベクトルによる動き補償画像の説明図であ
る。

【図５】本発明に係る動きベクトル推定方法の第１実施
例の動作の説明図である。

【図６】本発明に係る動きベクトル推定方法の第２実施
例の動作の説明図である。

【図７】物体ごとの動き補償方法の説明図である。

【図８】従来の動画像信号の復号装置の構成を示すブロ
ック図である。

【符号の説明】 101，201…入力端子、 102，202…エラー検出部、 10
3，203…復号化部、104，204…加算器、 105，205…出
力端子、 106，207，209…動き補償部、107，208…フ
レームメモリ、 108，206…切り替え器、 109…動き
ベクトル推定部、 110，210…物体動きベクトル算出
部、 111，211…物体検出部。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０３Ｍ 13/00 0836−5Ｋ Ｈ０４Ｎ 11/04 Ｂ 9185−5Ｃ

Claims (5)

【特許請求の範囲】
1. 【請求項１】 入力された動画像信号の圧縮符号列から
   画素ブロック単位の動きベクトルを復号する復号化部
   と、参照画像内の物体の検出を行う物体検出部と、前記
   画素ブロック単位の動きベクトルから参照画像内の物体
   の動きベクトルを算出する物体動きベクトル算出部と、
   伝送エラー等で欠落した画素ブロックの動きベクトルを
   物体の動きベクトルから推定する動きベクトル推定部
   と、推定された動きベクトルと前記復号化部にて復号さ
   れた動きベクトルとを切り替える切り替え部と、入力さ
   れた動きベクトルから画素ブロックの動き補償を行う動
   き補償部とを備えたことを特徴とする動画像信号の復号
   化装置。
2. 【請求項２】 入力された動画像信号の圧縮符号列から
   画素ブロック単位の動きベクトルを復号する復号化部
   と、参照画像内の物体の検出を行う物体検出部と、前記
   画素ブロック単位の動きベクトルから参照画像内の物体
   の動きベクトルを算出する物体動きベクトル算出部と、
   伝送エラー等で欠落した画素ブロックを物体とその動き
   ベクトルから動き補償する第１の動き補償部と、復号化
   部で復号された画素ブロックの動きベクトルから動き補
   償する第２の動き補償部と、前記２つの動き補償部の出
   力を圧縮符号列中のエラーの有無によって切り替える切
   り替え部とを備えたことを特徴とする動画像信号の復号
   化装置。
3. 【請求項３】 画素ブロック単位の動きベクトルから参
   照画像内の物体の動きベクトルを算出する動きベクトル
   算出方法において、同一物体に対し複数の候補ベクトル
   が生じた場合に、復号化された動きベクトルによって動
   き補償に用いられる参照画像の領域内に占める物体の面
   積をその動きベクトルの評価値とし、その評価値がある
   しきい値より大きく、かつ最大の動きベクトルを当該物
   体の動きベクトルとする動きベクトル算出方法。
4. 【請求項４】 伝送エラー等で欠落した画素ブロックの
   動きベクトルを物体の動きベクトルから推定する動きベ
   クトル推定方法において、動きベクトルを推定する画素
   ブロックに複数の物体が存在し、候補ベクトルが複数生
   じた場合に、当該画素ブロックの領域に存在する物体の
   面積を評価値とし、この評価値があるしきい値より大き
   く、かつ最大の候補ベクトルを推定動きベクトルとする
   ことを特徴とする動きベクトル推定方法。
5. 【請求項５】 現フレームの画素ブロックの領域に存在
   する物体の前後関係を検出し、後方に存在する物体の領
   域から前方にある物体によって隠れている領域を引いた
   ものを評価値とし、この評価値によって候補ベクトルの
   中から推定動きベクトルを設定することを特徴とする請
   求項４記載の動きベクトル推定方法。