JP3604290B2 - 動画像復号方法及び装置 - Google Patents
動画像復号方法及び装置 Download PDFInfo
- Publication number
- JP3604290B2 JP3604290B2 JP27109598A JP27109598A JP3604290B2 JP 3604290 B2 JP3604290 B2 JP 3604290B2 JP 27109598 A JP27109598 A JP 27109598A JP 27109598 A JP27109598 A JP 27109598A JP 3604290 B2 JP3604290 B2 JP 3604290B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- image
- candidate
- past
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
- H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は動画像復号方法及び装置に関し、例えば、ＩＴＵ−Ｔ（International Telecommunication Union - Telecommunication Standardization Sector ）で勧告されたＨ．２６３やＩＳＯ（International Organization for Standardization）で標準化されたＭＰＥＧ２で、符号化された動画像を復号する方法及び装置に適用して好適なものである。
【０００２】
【従来の技術】
文献１：『特開平９−２００７４３号公報』
ディジタル通信において、膨大な情報量を持つ動画像データを送信しようとする場合には、動画像データは情報圧縮が施されて冗長を削られる。一般に標準になっている動画像符号化方法において、その圧縮方法には、時間的に前のフレームとの差分を符号化（フレーム間符号化と呼ぶ）して時間方向の冗長度を削減する方法がある。
【０００３】
このような方法で圧縮された動画像データに誤りが生じたり、データが途中で無くなってしまった場合には、その時のフレームの画像が大きく歪むと共に、時間的に前のフレームとの差分を符号化しているために、後続するフレームに歪みが伝播していくことになる。
【０００４】
例えば、現在標準になっているＨ．２６３やＭＰＥＧ２の動画像符号化方式では、図２に示すように、フレームをある大きさ（16画素＊16画素）のブロック（このブロックを「マクロブロック」と呼ぶ）に区切って符号化し、符号化されたマクロブロックを１個又は複数個まとめ、このまとめたそれぞれの符号化データの間に同期をとるための可変長符号である同期符号語を挿入している。このようなマクロブロックのまとまりをＧＯＢ（Group Of Block）、スライス、ビデオパケット等と呼ぶが、ここでは、統一して「スライス」と呼ぶことにする。ここで、データが欠落したり、誤り検出されたりすると、同期符号語により次のスライスからは復号可能となるが、データ欠落又は誤りのあるスライスは復号することができなくなる。
【０００５】
そのため、上記文献１に開示された動画像復号方法には、データ欠落又は誤りのあったスライスに、そのスライスと同じ位置にある前のフレームの画像部分を挿入して、できるだけ誤りの少ない画像に近づける方法が示されている。この方法は、図３のように、動きの比較的少ないような動画像に対して有効である。
【０００６】
図４は、上記文献１に開示された動画像復号方法を実現する従来の動画像復号装置の構成を示すブロック図である。以下、従来の動画像復号方法について、図４を参照しながら説明する。
【０００７】
図４において、ビットストリーム復号部１００では、与えられたビットストリームから可変長符号等が復号されて解釈が行われ、その結果、このビットストリームが可変係数情報と動きベクトル情報とに分離される。ここで、可変長符号表に現れない符号語が出現したり、あり得ない場所に同期符号語が出現する等の場合には、誤りを検出したとして誤り検出信号が誤り検出情報通知部１０６に出力される。
【０００８】
予測誤差復号部１０１では、ビットストリーム復号部１００で分離された変換係数情報が復号されて、予測誤差が復元される。例えば、Ｈ．２６３やＭＰＥＧ２の符号化方式においては、予測誤差復号部１０１が図５に示す詳細構成を有するものであり、変換係数情報が逆量子化部１０７に入力されて逆量子化され、その後、逆変換部１０８で逆ＤＣＴ（Discrete Cosine Transform ）変換されることによって、予測誤差が復元される。ここで、逆量子化された時点で、変換係数のＤＣ（直交変換）値が所定値内に収まっていない場合、誤りを検出したとして誤り検出信号が誤り検出情報通知部１０６に出力される。
【０００９】
動きベクトル復号部１０２では、ビットストリーム復号部１００で分離された動きベクトル情報が復号されて、動きベクトルが復元される。ここで、動きベクトルがフレーム外の場所を示している等のあり得ないものであった場合には、誤りを検出したとして誤り検出信号が誤り検出情報通知部１０６に出力される。
【００１０】
予測画像構成部１０３では、復元画像記憶部１０５に記憶されている１つ前に復元したフレームの画像に、動きベクトル復号部１０２で復元された動きベクトルが加えられて、予測画像が構成される。
【００１１】
予測誤差加算部１０４では、予測画像構成部１０３で構成された予測画像に、予測誤差復号部１０１で復元された予測誤差が加算されて、画像が復元されることになる。ここで、復元された画像は、次のフレーム画像の復元に用いるために、復元画像記憶部１０５に保持される。なお、復元画像記憶部１０５は、１つ前の１フレーム分だけの画像情報を保持できる容量を持っている。
【００１２】
ここで、ビットストリーム復号部１００、予測誤差復号部１０１、又は動きベクトル復号部１０２で誤りが検出され、誤り検出通知部１０６に誤り検出信号が与えられた場合には、復元画像記憶部１０５で、その誤り検出されたスライスと同じ位置の前のフレームの画像部分が出力され、予測画像構成部１０３で、その画像部分が誤り検出されたスライスに挿入され、予測誤差加算部１０４でそのスライスに予測誤差が加算されないように、誤り検出通知部１０６が、予測画像構成部１０３と予測誤差加算部１０４と復元画像記憶部１０５とに通知する。その結果、復元された画像の誤りが検出されたスライスには、そのスライスと同じ位置にある１つ前のフレームの画像部分がそのまま挿入されることになる。
【００１３】
【発明が解決しようとする課題】
ところで、従来の動画像復号方法では、誤りが検出されたスライスに、そのスライスと同じ位置にある１つ前のフレームの画像部分がそのまま挿入されるので、誤りが検出されたスライスの画像部分の動きベクトル（時間的変化）が大きい場合には、誤りが検出されたスライスの画像部分がそれ以外の画像に対してずれてしまい、復元された画像が歪んでしまう。
【００１４】
ここで、従来の動画像復号方法では、１つ前に復元された画像に動きベクトルを加えて画像を復元するので、前に復元された画像が誤り検出によって歪んでしまった場合に、それ以降に復元される画像にも歪みが伝播してしまうという課題があった。
【００１５】
具体的に、図６を参照しながら説明すると、ｎフレーム目の動きベクトルの大きいスライス部分で誤りが検出され、その部分の画像が復元できない場合には、ｎ−１フレーム目の同じスライス部分の画像で置き換えられることになるが、置き換えられるスライス部分の動きベクトルが大きいために、そのスライス部分の画像がそれ以外の画像に対してずれてしまい、復元された画像が歪んでしまう。ここで、ｎ＋１フレームはｎフレームの画像に動きベクトルを加えて復元するので、ｎ＋１フレームにもｎフレームの歪みが伝播してしまうことになる。
【００１６】
そのため、誤り検出による画像の歪みが後続する画像に伝播しない動画像復号方法及び装置が求められていた。
【００１７】
【課題を解決するための手段】
かかる課題を解決するため、第１の本発明は、動き補償機能を有する予測画像符号化方式で符号化された動画像符号化データを復号する動画像復号方法において、（１）過去に復元した時刻が異なる複数の画像と、その各画像について、誤り検出された、符号化の際に動きベクトルを算出する単位である部分領域を指定する誤り領域指定情報とを記憶し、（２）現時刻の画像における復号しようとしている画素毎に、その復号対象画素が属する部分領域について到来した受信動きベクトルを参照用動きベクトル候補の初期値にすると共に、現時刻画像の直前の過去画像を参照用過去画像候補の初期値にし、参照用過去画像候補上で参照用動きベクトル候補で規定される、復号対象画素に対応する画素が、上記誤り領域指定情報に基づけば誤っているか否かの判別を、誤っていないという結果が得られるまで繰り返し、誤っていないという結果が得られた場合には、その時点の参照用過去画像候補及び参照用動きベクトル候補をそれぞれ、参照用過去画像及び参照用動きベクトルに決定し、一方、誤っているという結果が得られた場合には、参照用過去画像候補を、今のものより一つ過去のものに更新すると共に、上記受信動きベクトルを、更新された上記参照用過去画像候補の時刻と現時刻との時間差に応じて定まる整数倍したものに、上記参照用動きベクトル候補を更新し、（３）決定された参照用過去画像及び参照用動きベクトルを参照して、復号対象画素を復号することを特徴とする。
【００１８】
また、第２の本発明は、動き補償機能を有する予測画像符号化方式で符号化された動画像符号化データを復号する動画像復号方法において、（１）過去に復元した時刻が異なる複数の画像と、その各画像について、誤り検出された、符号化の際に動きベクトルを算出する単位である部分領域を指定する誤り領域指定情報と、過去に復元した各画像の構成要素である各部分領域について到来した過去受信動きベクトルとを記憶し、（２）現時刻の画像における復号しようとしている画素毎に、その復号対象画素が属する部分領域について到来した受信動きベクトルを参照用動きベクトル候補の初期値にすると共に、現時刻画像の直前の過去画像を参照用過去画像候補の初期値にし、参照用過去画像候補上で参照用動きベクトル候補で規定される、復号対象画素に対応する画素が、上記誤り領域指定情報に基づけば誤っているか否かの判別を、誤っていないという結果が得られるまで繰り返し、誤っていないという結果が得られた場合には、その時点の参照用過去画像候補及び参照用動きベクトル候補をそれぞれ、参照用過去画像及び参照用動きベクトルに決定し、一方、誤っているという結果が得られた場合には、参照用過去画像候補を、今のものより一つ過去のものに更新すると共に、上記参照用動きベクトル候補を、更新前後の参照用過去画像候補間に係る記憶されている過去受信動きベクトルを参照して更新し、（３）決定された参照用過去画像及び参照用動きベクトルを参照して、復号対象画素を復号することを特徴とする。
【００１９】
さらに、第３の本発明は、動き補償機能を有する予測画像符号化方式で符号化された動画像符号化データを復号する動画像復号装置において、（１）過去に復元した時刻が異なる複数の画像と、その各画像について、誤り検出された、符号化の際に動きベクトルを算出する単位である部分領域を指定する誤り領域指定情報とを記憶する記憶手段と、（２）現時刻の画像における復号しようとしている画素毎に、その復号対象画素が属する部分領域について到来した受信動きベクトルを参照用動きベクトル候補の初期値にすると共に、現時刻画像の直前の過去画像を参照用過去画像候補の初期値にし、参照用過去画像候補上で参照用動きベクトル候補で規定される、復号対象画素に対応する画素が、上記誤り領域指定情報に基づけば誤っているか否かの判別を、誤っていないという結果が得られるまで繰り返し、誤っていないという結果が得られた場合には、その時点の参照用過去画像候補及び参照用動きベクトル候補をそれぞれ、参照用過去画像及び参照用動きベクトルに決定 し、一方、誤っているという結果が得られた場合には、参照用過去画像候補を、今のものより一つ過去のものに更新すると共に、上記受信動きベクトルを、更新された上記参照用過去画像候補の時刻と現時刻との時間差に応じて定まる整数倍したものに、上記参照用動きベクトル候補を更新する復号時参照情報決定手段と、（３）決定された参照用過去画像及び参照用動きベクトルを参照して、復号対象画素を復号する画像復号手段とを有することを特徴とする。
【００２０】
さらにまた、第４の本発明は、動き補償機能を有する予測画像符号化方式で符号化された動画像符号化データを復号する動画像復号装置において、（１）過去に復元した時刻が異なる複数の画像と、その各画像について、誤り検出された、符号化の際に動きベクトルを算出する単位である部分領域を指定する誤り領域指定情報と、過去に復元した各画像の構成要素である各部分領域について到来した過去受信動きベクトルとを記憶する記憶手段と、（２）現時刻の画像における復号しようとしている画素毎に、その復号対象画素が属する部分領域について到来した受信動きベクトルを参照用動きベクトル候補の初期値にすると共に、現時刻画像の直前の過去画像を参照用過去画像候補の初期値にし、参照用過去画像候補上で参照用動きベクトル候補で規定される、復号対象画素に対応する画素が、上記誤り領域指定情報に基づけば誤っているか否かの判別を、誤っていないという結果が得られるまで繰り返し、誤っていないという結果が得られた場合には、その時点の参照用過去画像候補及び参照用動きベクトル候補をそれぞれ、参照用過去画像及び参照用動きベクトルに決定し、一方、誤っているという結果が得られた場合には、参照用過去画像候補を、今のものより一つ過去のものに更新すると共に、上記参照用動きベクトル候補を、更新前後の参照用過去画像候補間に係る記憶されている過去受信動きベクトルを参照して更新する復号時参照情報決定手段と、（３）決定された参照用過去画像及び参照用動きベクトルを参照して、復号対象画素を復号する画像復号手段とを有することを特徴とする。
【００２１】
【発明の実施の形態】
（Ａ） 第１の実施形態
以下、本発明による動画像復号方法及び装置を適用した第１の実施形態について、図面を参照しながら詳述する。
【００２２】
（Ａ−１） 構成の説明
図１は、第１の実施形態の動画像復号装置の構成を示すブロック図である。図１において、この実施形態の動画像復号装置は、ビットストリーム復号部２００と、予測誤差復号部２０１と、動きベクトル復号部２０２と、予測画像構成部２０３と、予測誤差加算部２０４と、復元画像記憶部２０５と、誤り検出情報通知部２０６と、動きベクトル計算部２０７と、誤り情報記憶部２０８とを有する。
【００２３】
まず、各構成要素について説明する。
【００２４】
ビットストリーム復号部２００は、与えられたビットストリームから可変長符号等を復号して解釈を行い、その結果、ビットストリームを可変係数情報と動きベクトル情報とに分離するものである。ここで、ビットストリーム中に、可変長符号表に現れない符号語が出現したり、あり得ない場所に同期符号語が出現する等の場合には、誤りが検出されたとして誤り検出信号を誤り検出情報通知部２０６に出力する。
【００２５】
予測誤差復号部２０１は、ビットストリーム復号部２００で分離された変換係数情報を復号して、予測誤差を復元するものである。ここで、変換係数の値が所定値内に収まっていない等のあり得ないものであった場合には、誤りが検出されたとして誤り検出信号を誤り検出情報通知部２０６に出力する。
【００２６】
動きベクトル復号部２０２は、ビットストリーム復号部２００で分離された動きベクトル情報を復号して、予測画像を構成するときに用いる動きベクトルを復元するものである。ここで、動きベクトルがフレーム外の場所を示している等のあり得ないものであった場合には、誤りを検出したとして誤り検出信号が誤り検出情報通知部２０６に出力される。
【００２７】
なお、与えられたビットストリームはマクロブロック単位で符号化されたものであるので、予測誤差復号部２０１及び動きベクトル復号部２０２で復元される予測誤差及び動きベクトルはマクロブロック単位で復元されることになる。
【００２８】
予測画像構成部２０３は、誤り検出情報通知部２０６から誤り検出信号が与えられた旨の通知がない場合で、誤り情報記憶部２０８から参照復元画像誤り信号が与えられないときには、動きベクトル復号部２０２で復元された動きベクトルのマクロブロックに対応する１つ前のフレームの画像部分を復元画像記憶部２０５から参照し、動きベクトル復号部１０２で復元された動きベクトルをこの参照画像部分に加えて、このマクロブロックの予測画像部分を生成し、各マクロブロックの予測画像部分を同様に生成することによって、予測画像を構成するものである。また、誤り情報記憶部２０８から参照復元画像誤り信号が与えられたときには、動きベクトル復号部２０２で復元された動きベクトルのマクロブロックに対応する、復元画像記憶部２０５から出力される所定の複数前のフレームの画像部分に、動きベクトル計算部２０７で計算された計算後動きベクトルを加えて、このマクロブロックの予測画像部分を生成するものである。一方、誤り検出情報通知部２０６から誤り検出信号が与えられた旨の通知があった場合には、その通知があったスライスと同じ位置ある１つ前のフレームの画像部分を復元画像記憶部２０５から参照し、その画像部分をそのままそのスライスに挿入して予測画像にするものである。
【００２９】
予測誤差加算部２０４は、予測画像構成部２０３で構成された予測画像に、予測誤差復号部２０１で復元された予測誤差を加算して、画像を復元するものである。ここで、誤り検出情報通知部２０６から誤り検出信号が与えられた旨の通知があった場合には、その通知があったスライスには予測誤差を加えないで、画像を復元するものである。なお、この復元された画像は、次のフレームの復元に用いるために、復元画像記憶部２０５に記憶されることになる。
【００３０】
復元画像記憶部２０５は、予測誤差加算部２０４で復元された画像を、１フレーム分だけの画像情報を記憶できるだけでなく、所定の複数フレーム分の画像情報を記憶でき、予測画像構成部２０３で参照される画像部分を出力するものである。ここで、図７は、復元画像記憶部２０５の詳細構成を示すブロック図である。図７において、復元画像記憶部２０５は、各フレームの画像を記憶するＮ＋１個のフレーム記憶部２０９−０〜２０９−Ｎと、空いているフレーム記憶部または一番古いフレームが格納されているフレーム記憶部を選定し、この選定したフレーム記憶部に予測誤差加算部２０４で復元した画像を記憶させると共に、その記憶させたフレーム記憶部の識別情報を誤り情報記憶部２０８に出力する記憶制御切替部２１０と、誤り検出情報通知部２０６又は誤り情報記憶部２０８からの信号に基づいて予測画像構成部２０３で参照されるフレームを記憶するフレーム記憶部を選定して予測画像構成部２０３に出力する出力切替部２１１と有する。なお、出力切替部２１１では、誤り検出通知部２０６から誤り検出信号が与えられた旨の通知があった場合には、その誤りスライスを、そのスライスと同じ位置の１つ前のフレームの画像部分で置き換えるため、１つ前に復元されたフレームが記憶されているフレーム記憶部が選定され、それ以外の場合で誤り情報記憶部２０８から参照復元画像誤り信号が与えられたときには、後述する図９に示すアルゴリズムに従ってフレーム記憶部が選定され、それ以外のときは１つ前に復元されたフレームが格納されているフレーム記憶部が選定されることになる。
【００３１】
誤り検出情報通知部２０６は、ビットストリーム復号部２００、予測誤差復号部２０１、又は動きベクトル復号部２０２で誤りが検出されて誤り検出信号が与えられた場合に、復元画像記憶部２０５で誤りが検出されたスライスと同じ位置の１つ前の画像部分が予測画像構成部２０３に出力され、予測画像構成部２０３で誤りが検出されたスライスにそのスライスと同じ位置の１つ前の画像部分が挿入されて予測画像が構成され、予測誤差加算部２０４でその構成した予測画像の誤りが検出されたスライスに予測誤差が加えられないように、予測画像構成部２０３と予測誤差加算部２０４と復元画像記憶部２０５とに通知するものである。また、誤り検出情報通知部２０６は、誤り検出信号が与えられた場合に、その誤りが検出されたスライスの位置情報と、そのスライスを有するフレーム番号情報と、そのフレームを記憶する復元画像記憶部２０５のフレーム記憶部の識別情報とから構成される復元画像誤り情報を、誤り情報記憶部２０８に記憶させるものである。なお、フレーム番号情報は、誤り検出されたフレームがどのフレームであるかを識別できるものであり、同時にそのフレームの時間情報をも知ることができる。すなわち、誤り情報記憶部２０８には、どのフレームのどの部分（スライス）で誤り検出され復号不可能であったかという情報が保持されていることになる。
【００３２】
動きベクトル計算部２０７は、誤り情報記憶部２０８から参照復元画像誤り信号が与えられた場合に、後述する図９に示すアルゴリズムに従って参照されるフレームと、本来参照されるべき１つ前のフレームとの時間差分を考慮して、動きベクトル復号部２０２で復元された動きベクトルを計算し直した動きベクトルを出力するものである。
【００３３】
誤り情報記憶部２０８は、誤り検出情報通知部２０６からの復元画像誤り情報を記憶すると共に、この復元画像誤り情報に基づいて復元画像記憶部２０５から予測画像構成２０３に出力されて参照される画像部分が誤りを検出したものである場合に、復元画像記憶部で後述する図９に示すアルゴリズムに従って参照するフレームの画像部分が出力され、動きベクトル計算部２０７でその選定された参照フレームに基づく動きベクトルが計算し直され、予測画像構成部２０３でこの参照フレームにこの計算後動きベクトルが加えられたものが予測画像部分になるように、予測画像構成部２０３と復元画像記憶部２０５と動きベクトル計算部２０７とに参照復元画像誤り信号を出力するものである。
【００３４】
（Ａ−２） 動作の説明
以上のような構成を有する動画像復号装置の動作について、従来とは異なる点を中心に説明する。
【００３５】
まず、概念的な動作について、図８を参照しながら説明する。図８において、ｎ＋１フレーム目の図示するマクロブロックを復号しようとする際に、参照するｎフレーム目の薄いグレーの部分（スライス）が誤って復号不可能であった場合、動きベクトルが示す部分に含まれる画像歪みがそのまま予測画像として用いられてしまう。これを避けるために、ｎフレーム目の薄いグレーの部分を参照する代わりに、動きベクトルを２倍の大きさにして、ｎ−１フレーム目を参照する（ｎ−１フレーム目の濃いグレーの部分）。このようにすると、ｎフレーム目の画像歪みをそのまま利用することなく予測画像を構成することができる。
【００３６】
なお、ここでは、ｎ−１フレームの参照する画像部分が誤っていない場合について説明したが、ｎ−１フレームが誤っている場合には、ｎ−２フレームさらにｎ−３フレーム…と誤っていないフレームが見つかるまで参照されることになる。また、この場合、動きベクトルの倍率をかえる必要があるが、その倍率を何倍にするかは後述する。
【００３７】
次に、この実施形態の予測画像構成の動作について、図１及び図７と図９のフローチャートとを参照しながら説明する。なお、図９のフローチャートは、画素毎に動作させるものである。
【００３８】
まず、動きベクトル復号部２０２から出力される動きベクトルＶを計算後動きベクトルＶｄに代入しておく（ステップＡ１）。ステップＡ２で、計算後動きベクトルＶｄから参照すべき復元画像の位置を求め、その復元画像が誤っていないかを誤り情報記憶部２０８の誤り情報から調べ、参照すべき復元画像が誤っている場合には、ステップＡ３に進む。参照すべき復元画像が誤っている場合とは、計算後動きベクトルＶｄの示す部分が図８のｎフレーム目の薄いグレーのスライスに含まれている場合である。参照すべき復元画像が誤っていない場合には、計算後動きベクトルＶｄと参照すべき復元画像から予測画像を構成する（ステップＡ６）。ステップＡ３では、参照すべき復元画像よりも時間的に１つ前に復元されたフレームが復元画像記憶部２０５のフレーム記憶部２０９−０〜Ｎのいずれに存在するか否かを調べる。ステップＡ３で偽である場合には、現在の計算後動きベクトルＶｄと選ばれている復元画像とから予測画像を構成することになる（ステップＡ６）。ステップＡ３で真である場合には、参照すべき復元画像よりも時間的１つ前に復元されたフレームを参照すべき復元画像とする（ステップＡ４）。そしてステップＡ５で参照すべき復元画像のフレーム番号、復元としている画像のフレーム番号、及び復元しようとしている画像の１つ前に復元された画像のフレーム番号から、計算後動きベクトルＶｄを計算し直す。計算後動きベクトルＶｄの計算方法は下記式１のようになる。
【００３９】
式１：Ｖｄ＝｛（ＴＲｄ−ＴＲｒ）／（ＴＲｄ−ＴＲｐ）｝ ＊ Ｖ
ここで、ＴＲｄは、復号しようとする画像のフレーム番号から計算される時間情報、ＴＲｒは、参照すべき画像のフレーム番号から計算される時間情報、ＴＲｐは、復号しようとする画像の１つ前に復元された画像のフレーム番号から計算される時間情報を表す。この実施形態の場合、フレーム番号がそのまま時間情報を表すとすると、下記式２のように、計算後動きベクトルＶｄの値は、動きベクトルＶの２倍となる。
【００４０】
計算後動きベクトルＶｄを計算した後、ステップＡ２に戻り、再び、計算後動きベクトルＶｄが示す参照すべき復元画像が誤っているか否かを調べる。ステップＡ２からステップＡ５を繰り返すことにより、誤り検出される復号不可能となっていない参照すべき復元画像を見つけだし、その復元画像から予測画像を構成することができる。
【００４１】
（Ａ−３） 効果の説明
以上のように、第１の実施形態によれば、（１）誤り検出信号が与えられた場合に、その誤りが検出されたスライスの位置情報と、そのスライスを有するフレーム番号情報と、そのフレームを記憶する復元画像記憶部２０５のフレーム記憶部の識別情報とから構成される復元画像誤り情報を、誤り情報記憶部２０８に記憶させる誤り検出情報通知部２０６と、（２）復元画像誤り情報に基づいて、予測画像構成２０３で参照される画像部分が誤りを検出したものである場合に、参照復元画像誤り信号を出力する誤り情報記憶部２０８と、（３）予測誤差加算部２０４で復元された画像を所定の複数フレーム分記憶し、誤り情報記憶部２０８から参照復元画像誤り信号が与えられた場合に、図９に示すアルゴリズムに従って参照するフレームの画像部分を出力する復元画像記憶部２０５と、（４）誤り情報記憶部２０８から参照復元画像誤り信号が与えられた場合に、図９に示すアルゴリズムに従って参照されるフレームと本来参照されるべき１つ前のフレームとの時間差分を考慮して、動きベクトル復号部２０２で復元された動きベクトルを計算し直した動きベクトルを出力する動きベクトル計算部２０７と、（５）復元画像記憶部２０５からの参照フレームの画像部分に、動きベクトル計算部２０７からの計算後動きベクトルを加えて予測画像を構成する予測画像構成部２０３とを有するので、１つ前に復元された画像が誤り検出によって歪んでしまった場合でも、それ以降に復元される画像に歪みが伝播することを防ぐことができる。
【００４２】
具体的に、図１０を参照しながら説明すると、動きのある部分で誤りがあった（ｎフレーム目）としても、その部分は予測画像として用いないで、代わりに、それよりも時間的に前に復元されたフレーム（ｎ−１フレーム目）を用いて予測画像を構成するように制御しているので、図１０のｎフレーム目の画像歪みがその後のフレーム（ｎ＋１フレーム目）に影響しないようになる。
【００４３】
（Ｂ） 第２の実施形態
以下、本発明による動画像復号方法及び装置を適用した第２の実施形態について、図面を参照しながら詳述する。
【００４４】
図１１は、第２の実施形態の動画像復号装置構成を示すブロック図である。図１１において、この実施形態の動画像復号装置は、ビットストリーム復号部３００と、予測誤差復号部３０１と、動きベクトル復号部３０２と、予測画像構成部３０３と、予測誤差加算部３０４と、復元画像記憶部３０５と、誤り検出情報通知部３０６と、動きベクトル計算部３０７と、誤り情報記憶部３０８と、動きベクトル記憶部３１２とを有する。
【００４５】
なお、図１１において、動きベクトル計算部３０７及び動きベクトル記憶部３１２以外の構成要素は、図１に示した第１の実施形態の同一名の構成要素と同様であり、説明を省略する。従って、以下、動きベクトル計算部３０７及び動きベクトル記憶部３１２の構成要素について説明する。
【００４６】
動きベクトル計算部３０７は、誤り情報記憶部３０８から参照復元画像誤り信号が与えられた場合に、後述する図１３に示すアルゴリズムに従って参照されるフレームの画像部分と本来参照されるべき１つ前のフレームの画像部分との間の動きベクトルが、動きベクトル記憶部３１２に記憶された復元された画像の動きベクトルに基づいて計算されて、さらにこの計算された動きベクトルと動きベクトル復号部３０２で復号された動きベクトルとを合成した動きベクトルを予測画像構成部３０３に出力するものである。
【００４７】
動きベクトル記憶部３１２は、動きベクトル復号部３０２で復元された動きベクトルを、復元画像記憶部３０５で記憶できるフレーム分記憶するものである。ここで、記憶されている動きベクトルは、誤り情報記憶部３０８から復元画像誤り信号を受け取ったときに、動きベクトル計算部３０７での動きベクトル計算に用いられることになり、動きベクトル記憶部３１２と動きベクトル計算部３０７とに接続されており、また、誤り情報記憶部３０８からの復元画像誤り信号を与えられるようになっている。
【００４８】
次に、このような構成を有する動画像復号装置の動作について、第１の実施形態とは異なる点を中心に説明する。
【００４９】
まず、概念的な動作について、図１２を参照しながら説明する。図１２において、ｎ＋１フレーム目の図示するマクロブロックを復号しようとする際に、参照するｎフレーム目の薄いグレーの部分（スライス）が誤って復号不可能であった場合、動きベクトルが示す部分に含まれる画像歪みがそのまま予測画像として用いられてしまう。これを避けるために、ｎフレーム目の薄いグレーの部分を参照する代わりに、動きベクトルを計算し直して、ｎ−１フレーム目を参照する。参照すべき復元画像が存在する部分は、動きベクトルＶを用いてｎフレーム目から予測画像を構成し復元画像が存在しない部分（濃いグレー部分）は、計算し直した動きベクトルＶｄを用いてｎ−１フレーム目から予測画像を構成する。
【００５０】
次に、動きベクトルの計算方法について、図１２を参照しながら説明する。まず、復号しようとするマクロブロックの動きベクトルＶが指し示す１つ前のフレームの画像部分（図１２ではｎフレーム目の太枠部分）のうち参照すべき復元画像の一部分だけでも存在するか否かを調べる。もし存在する場合には、対応する復元画像の動きベクトルが動きベクトル記憶部３１２に保持されているはずであるので、その動きベクトルを取り出す。図１２では、ｎフレーム目のＰとＱのマクロブロックは復号できるので、それらのマクロブロックに対する動きベクトルＶＰとＶＱを取り出す。Ｖｄは、下記式３に示すように、その動きベクトルを重み付けして和をとり、動きベクトルＶに足し込む。なお、重みａ及びｂは、動きベクトルＶが指し示す１つ前のフレームの画像部分（図１２ではｎフレーム目の太枠部分）で、マクロブロックＰ、Ｑがそれぞれ占めている面積の比を表している。また、Ｖｄの初期値はＶである。
【００５１】
式３：Ｖｄ＝Ｖｄ＋（ａ＊ＶＰ）＋（ｂ＊ＶＱ）
上記式３は、図１２に示すように、参照すべき復元画像が２つのみの場合であるが、３つ以上のマクロブロックにまたがっている場合には、下記式４のように計算する。なお、重みａ１、ａ２、…、ａｎは、動きベクトルＶが指し示す１つ前のフレームの画像部分で、それぞれのマクロブロックが占めている面積比を表す。また、Ｖｄの初期値はＶである。
【００５２】
式４：Ｖｄ＝Ｖｄ＋（ａ１＊Ｖ１）＋（ａ２＊Ｖ２）＋…＋（ａｎ＊Ｖｎ）
復号しようとするマクロブロックの動きベクトルＶが指し示す１つ前のフレームの画像部分（図１２ではｎフレーム目の太枠部分）のうち参照すべき復元画像が全く存在しない場合（参照すべき復元画像が誤りスライスに完全に含まれてしまう場合）は、第１の実施形態と同様に動きベクトルＶｄを計算する。このようにすると、ｎフレーム目の画像歪みをそのまま利用することなく予測画像を構成することができる。
【００５３】
次に、この実施形態の予測画像構成の動作について、図１１及び図１２と図１３のフローチャートとを参照しながら説明する。なお、図１３のフローチャートは、画素毎に動作させるものである。
まず、動きベクトル復号部３０２から出力される動きベクトルＶを計算後動きベクトルＶｄに代入しておく（ステップＢ１）。ステップＢ２で、計算後動きベクトルＶｄから参照すべき復元画像の位置を求め、その復元画像が誤っていないかを誤り情報記憶部３０８の誤り情報から調べ、参照すべき復元画像が誤っている場合には、ステップＢ３に進む。参照すべき復元画像が誤っている場合とは、計算後動きベクトルＶｄの示す部分が図１２のｎフレーム目の薄いグレーのスライスに含まれている場合である。参照すべき復元画像が誤っていない場合には、計算後動きベクトルＶｄと参照すべき復元画像から予測画像を構成する（ステップＢ８）。ステップＢ３では、参照すべき復元画像よりも時間的に１つ前に復元されたフレームが復元画像記憶部３０５のｎ＋１個のフレーム記憶部のいずれに存在するか否かを調べる。ステップＢ３で偽である場合には、現在の計算後動きベクトルＶｄと選ばれている復元画像とから予測画像を構成することになる（ステップＢ８）。ステップＢ３で真である場合には、参照すべき復元画像よりも時間的に１つ前に復元されたフレームを参照すべき復元画像とする（ステップＢ４）。そして、復号しようとするマクロブロックに対する参照すべき復元画像が一部分でも残っているか否かを判定する（ステップＢ５）。ステップＢ５で真である場合には、動きベクトル記憶部３１２で記憶されている動きベクトルを用いて上記式３又は式４のように計算後動きベクトルＶｄを計算し直し（ステップＢ６）、ステップＢ２に戻る。ステップＢ５で偽である場合には、ステップＢ７で参照すべき復元画像のフレーム番号、復号化しようとしている画像のフレーム番号、及び復号化しようとしている画像の１つ前に復元された画像のフレーム番号から動きベクトルＶｄを計算し直す。この計算後動きベクトルＶｄの計算方法は第１の実施形態で示した上記式１のように行う。そして、ステップＢ２に戻り、再び計算後動きベクトルＶｄが示す参照すべき復元画像が誤っているか否かを調べる。ステップＢ２からステップＢ６又はＢ７を繰り返すことにより、誤り検出される復号不可能となっていない参照すべき復元画像を見つけ出し、その復元画像から予測画像を構成することができる。
【００５４】
以上のように、第２の実施形態によれば、第１の実施形態と同様な効果が得られる。
【００５５】
また、第２の実施形態によれば、第１の実施形態では、動きベクトル計算部での動きベクトル計算は、フレームの時間間隔にのみ比例するので、画像内の物体の動きが等速度運動しているものに対してのみ有効であったが、第２の実施形態ではそれに加えて、過去に復号された動きベクトルをも用いて復号するので、画像内の物体の動きに加速度があっても対応することができる。
【００５６】
（Ｃ） 他の実施形態
上記各実施形態においては、誤り検出通知部が受け取る誤り検出信号は、ビットストリーム復号部、予測誤差復号部、及び動きベクトル復号部から受け取っていたが、動画像復号装置の外部に誤り検出機能を持つ場合には、その外部からの誤り検出信号を受け取るようにしても良い。
【００５７】
また、第２の実施形態では、動きベクトル計算部での動きベクトルの計算（上記式４に示す計算）は、動きベクトル記憶部に格納されている動きベクトルのみを用いているが、第１の実施形態の計算方法も考慮に入れ、下記式５のように計算することもできる。なお、重みａ１、ａ２、…、ａｎの比は、動きベクトルＶが指し示す１つ前のフレームの画像部分で、それぞれのマクロブロックが占めている面積の比を表す。また、Ｖｄの初期値はＶである。
【００５８】
式５：Ｖｄ＝ｂ１*{Ｖｄ＋(ａ１*Ｖ１)＋(ａ２*Ｖ２)＋…＋(ａｎ*Ｖｎ)} ＋ｂ２*[{(ＴＲｄ−ＴＲｒ)／(ＴＲｄ−ＴＲｐ)*Ｖ}]
さらに、第２の実施形態では、上記式４での重みａ１、ａ２、…、ａｎは、必ずしも、動きベクトルＶが指し示す１つ前のフレームの画像部分でそれぞれのマクロブロックが占めている面積の比である必要も無く、別の値にすることもできる。
【００５９】
さらにまた、第２の実施形態では、動きベクトル記憶部の容量は、復元画像記憶部に記憶されている復元画像分の動きベクトルを保持するための容量が必要であるように説明したが、それより少なくても良い。この場合、復元画像のみが記憶されていて、それに対応する動きベクトルが記憶されていない場合があるが、そのような場合には、上記式４又は式５のように動きベクトルを計算する代わりに、第１の実施形態のように式２で計算すれば動作可能である。
【００６０】
また、上記各実施形態では、図８及び図１２に示すように、復号するフレームの１つ（又は複数）前のフレームの画像部分において、復元画像がある部分は、動きベクトルを用いて予測画像部分を生成し、一方、復元画像がない部分は、さらに１つ前のフレームの画像部分から計算後動きベクトルを用いて予測画像部分を生成するものを示したが、１つ前のフレームの画像部分に復元画像がある部分においても、さらに１つ前のフレームの画像部分から計算後動きベクトルを用いて予測画像部分を生成するものであっても良い。
【００６１】
【発明の効果】
以上のように、本発明によれば、復号しようとする領域部分に対応する受信動きベクトルに係る過去画像の領域部分が誤り検出されて参照できない場合であっても、復号しようとする領域部分が参照できる参照用過去画像と参照用動きベクトルとを画素毎に決定し、この決定した参照用過去画像及び参照用動きベクトルによって復号しようとしている部分領域についての復元画像を得ることができ、誤り検出による画像の歪みが後続する画像に伝播することを防ぐことができる。
【図面の簡単な説明】
【図１】第１の実施形態の動画像復号装置の構成を示すブロック図である。
【図２】マクロブロックとスライスの説明図である。
【図３】従来の動画像復号方法において、動きの小さい部分に誤りを検出した場合の説明図である。
【図４】従来の動画像復号装置の構成を示すブロック図である。
【図５】従来の動画像復号装置の予測誤差復号部１０１の詳細構成を示すブロック図である。
【図６】従来の動画像復号方法において、動きの大きい部分に誤りを検出した場合の説明図である。
【図７】第１の実施形態の復元画像記憶部２０５の詳細構成を示すブロック図である。
【図８】第１の実施形態の動作概念の説明図である。
【図９】第１の実施形態の予測画像構成の動作を示すフローチャートである。
【図１０】第１の実施形態による効果の説明図である。
【図１１】第２の実施形態の動画像復号装置の構成を示すブロック図である。
【図１２】第２の実施形態の動作概念の説明図である。
【図１３】第２の実施形態の予測画像構成の動作を示すフローチャートである。
【符号の説明】
２０３…予測画像構成部、２０５…復元画像記憶部、２０７…動きベクトル計算部、２０８…誤り情報記憶部。
【発明の属する技術分野】
本発明は動画像復号方法及び装置に関し、例えば、ＩＴＵ−Ｔ（International Telecommunication Union - Telecommunication Standardization Sector ）で勧告されたＨ．２６３やＩＳＯ（International Organization for Standardization）で標準化されたＭＰＥＧ２で、符号化された動画像を復号する方法及び装置に適用して好適なものである。
【０００２】
【従来の技術】
文献１：『特開平９−２００７４３号公報』
ディジタル通信において、膨大な情報量を持つ動画像データを送信しようとする場合には、動画像データは情報圧縮が施されて冗長を削られる。一般に標準になっている動画像符号化方法において、その圧縮方法には、時間的に前のフレームとの差分を符号化（フレーム間符号化と呼ぶ）して時間方向の冗長度を削減する方法がある。
【０００３】
このような方法で圧縮された動画像データに誤りが生じたり、データが途中で無くなってしまった場合には、その時のフレームの画像が大きく歪むと共に、時間的に前のフレームとの差分を符号化しているために、後続するフレームに歪みが伝播していくことになる。
【０００４】
例えば、現在標準になっているＨ．２６３やＭＰＥＧ２の動画像符号化方式では、図２に示すように、フレームをある大きさ（16画素＊16画素）のブロック（このブロックを「マクロブロック」と呼ぶ）に区切って符号化し、符号化されたマクロブロックを１個又は複数個まとめ、このまとめたそれぞれの符号化データの間に同期をとるための可変長符号である同期符号語を挿入している。このようなマクロブロックのまとまりをＧＯＢ（Group Of Block）、スライス、ビデオパケット等と呼ぶが、ここでは、統一して「スライス」と呼ぶことにする。ここで、データが欠落したり、誤り検出されたりすると、同期符号語により次のスライスからは復号可能となるが、データ欠落又は誤りのあるスライスは復号することができなくなる。
【０００５】
そのため、上記文献１に開示された動画像復号方法には、データ欠落又は誤りのあったスライスに、そのスライスと同じ位置にある前のフレームの画像部分を挿入して、できるだけ誤りの少ない画像に近づける方法が示されている。この方法は、図３のように、動きの比較的少ないような動画像に対して有効である。
【０００６】
図４は、上記文献１に開示された動画像復号方法を実現する従来の動画像復号装置の構成を示すブロック図である。以下、従来の動画像復号方法について、図４を参照しながら説明する。
【０００７】
図４において、ビットストリーム復号部１００では、与えられたビットストリームから可変長符号等が復号されて解釈が行われ、その結果、このビットストリームが可変係数情報と動きベクトル情報とに分離される。ここで、可変長符号表に現れない符号語が出現したり、あり得ない場所に同期符号語が出現する等の場合には、誤りを検出したとして誤り検出信号が誤り検出情報通知部１０６に出力される。
【０００８】
予測誤差復号部１０１では、ビットストリーム復号部１００で分離された変換係数情報が復号されて、予測誤差が復元される。例えば、Ｈ．２６３やＭＰＥＧ２の符号化方式においては、予測誤差復号部１０１が図５に示す詳細構成を有するものであり、変換係数情報が逆量子化部１０７に入力されて逆量子化され、その後、逆変換部１０８で逆ＤＣＴ（Discrete Cosine Transform ）変換されることによって、予測誤差が復元される。ここで、逆量子化された時点で、変換係数のＤＣ（直交変換）値が所定値内に収まっていない場合、誤りを検出したとして誤り検出信号が誤り検出情報通知部１０６に出力される。
【０００９】
動きベクトル復号部１０２では、ビットストリーム復号部１００で分離された動きベクトル情報が復号されて、動きベクトルが復元される。ここで、動きベクトルがフレーム外の場所を示している等のあり得ないものであった場合には、誤りを検出したとして誤り検出信号が誤り検出情報通知部１０６に出力される。
【００１０】
予測画像構成部１０３では、復元画像記憶部１０５に記憶されている１つ前に復元したフレームの画像に、動きベクトル復号部１０２で復元された動きベクトルが加えられて、予測画像が構成される。
【００１１】
予測誤差加算部１０４では、予測画像構成部１０３で構成された予測画像に、予測誤差復号部１０１で復元された予測誤差が加算されて、画像が復元されることになる。ここで、復元された画像は、次のフレーム画像の復元に用いるために、復元画像記憶部１０５に保持される。なお、復元画像記憶部１０５は、１つ前の１フレーム分だけの画像情報を保持できる容量を持っている。
【００１２】
ここで、ビットストリーム復号部１００、予測誤差復号部１０１、又は動きベクトル復号部１０２で誤りが検出され、誤り検出通知部１０６に誤り検出信号が与えられた場合には、復元画像記憶部１０５で、その誤り検出されたスライスと同じ位置の前のフレームの画像部分が出力され、予測画像構成部１０３で、その画像部分が誤り検出されたスライスに挿入され、予測誤差加算部１０４でそのスライスに予測誤差が加算されないように、誤り検出通知部１０６が、予測画像構成部１０３と予測誤差加算部１０４と復元画像記憶部１０５とに通知する。その結果、復元された画像の誤りが検出されたスライスには、そのスライスと同じ位置にある１つ前のフレームの画像部分がそのまま挿入されることになる。
【００１３】
【発明が解決しようとする課題】
ところで、従来の動画像復号方法では、誤りが検出されたスライスに、そのスライスと同じ位置にある１つ前のフレームの画像部分がそのまま挿入されるので、誤りが検出されたスライスの画像部分の動きベクトル（時間的変化）が大きい場合には、誤りが検出されたスライスの画像部分がそれ以外の画像に対してずれてしまい、復元された画像が歪んでしまう。
【００１４】
ここで、従来の動画像復号方法では、１つ前に復元された画像に動きベクトルを加えて画像を復元するので、前に復元された画像が誤り検出によって歪んでしまった場合に、それ以降に復元される画像にも歪みが伝播してしまうという課題があった。
【００１５】
具体的に、図６を参照しながら説明すると、ｎフレーム目の動きベクトルの大きいスライス部分で誤りが検出され、その部分の画像が復元できない場合には、ｎ−１フレーム目の同じスライス部分の画像で置き換えられることになるが、置き換えられるスライス部分の動きベクトルが大きいために、そのスライス部分の画像がそれ以外の画像に対してずれてしまい、復元された画像が歪んでしまう。ここで、ｎ＋１フレームはｎフレームの画像に動きベクトルを加えて復元するので、ｎ＋１フレームにもｎフレームの歪みが伝播してしまうことになる。
【００１６】
そのため、誤り検出による画像の歪みが後続する画像に伝播しない動画像復号方法及び装置が求められていた。
【００１７】
【課題を解決するための手段】
かかる課題を解決するため、第１の本発明は、動き補償機能を有する予測画像符号化方式で符号化された動画像符号化データを復号する動画像復号方法において、（１）過去に復元した時刻が異なる複数の画像と、その各画像について、誤り検出された、符号化の際に動きベクトルを算出する単位である部分領域を指定する誤り領域指定情報とを記憶し、（２）現時刻の画像における復号しようとしている画素毎に、その復号対象画素が属する部分領域について到来した受信動きベクトルを参照用動きベクトル候補の初期値にすると共に、現時刻画像の直前の過去画像を参照用過去画像候補の初期値にし、参照用過去画像候補上で参照用動きベクトル候補で規定される、復号対象画素に対応する画素が、上記誤り領域指定情報に基づけば誤っているか否かの判別を、誤っていないという結果が得られるまで繰り返し、誤っていないという結果が得られた場合には、その時点の参照用過去画像候補及び参照用動きベクトル候補をそれぞれ、参照用過去画像及び参照用動きベクトルに決定し、一方、誤っているという結果が得られた場合には、参照用過去画像候補を、今のものより一つ過去のものに更新すると共に、上記受信動きベクトルを、更新された上記参照用過去画像候補の時刻と現時刻との時間差に応じて定まる整数倍したものに、上記参照用動きベクトル候補を更新し、（３）決定された参照用過去画像及び参照用動きベクトルを参照して、復号対象画素を復号することを特徴とする。
【００１８】
また、第２の本発明は、動き補償機能を有する予測画像符号化方式で符号化された動画像符号化データを復号する動画像復号方法において、（１）過去に復元した時刻が異なる複数の画像と、その各画像について、誤り検出された、符号化の際に動きベクトルを算出する単位である部分領域を指定する誤り領域指定情報と、過去に復元した各画像の構成要素である各部分領域について到来した過去受信動きベクトルとを記憶し、（２）現時刻の画像における復号しようとしている画素毎に、その復号対象画素が属する部分領域について到来した受信動きベクトルを参照用動きベクトル候補の初期値にすると共に、現時刻画像の直前の過去画像を参照用過去画像候補の初期値にし、参照用過去画像候補上で参照用動きベクトル候補で規定される、復号対象画素に対応する画素が、上記誤り領域指定情報に基づけば誤っているか否かの判別を、誤っていないという結果が得られるまで繰り返し、誤っていないという結果が得られた場合には、その時点の参照用過去画像候補及び参照用動きベクトル候補をそれぞれ、参照用過去画像及び参照用動きベクトルに決定し、一方、誤っているという結果が得られた場合には、参照用過去画像候補を、今のものより一つ過去のものに更新すると共に、上記参照用動きベクトル候補を、更新前後の参照用過去画像候補間に係る記憶されている過去受信動きベクトルを参照して更新し、（３）決定された参照用過去画像及び参照用動きベクトルを参照して、復号対象画素を復号することを特徴とする。
【００１９】
さらに、第３の本発明は、動き補償機能を有する予測画像符号化方式で符号化された動画像符号化データを復号する動画像復号装置において、（１）過去に復元した時刻が異なる複数の画像と、その各画像について、誤り検出された、符号化の際に動きベクトルを算出する単位である部分領域を指定する誤り領域指定情報とを記憶する記憶手段と、（２）現時刻の画像における復号しようとしている画素毎に、その復号対象画素が属する部分領域について到来した受信動きベクトルを参照用動きベクトル候補の初期値にすると共に、現時刻画像の直前の過去画像を参照用過去画像候補の初期値にし、参照用過去画像候補上で参照用動きベクトル候補で規定される、復号対象画素に対応する画素が、上記誤り領域指定情報に基づけば誤っているか否かの判別を、誤っていないという結果が得られるまで繰り返し、誤っていないという結果が得られた場合には、その時点の参照用過去画像候補及び参照用動きベクトル候補をそれぞれ、参照用過去画像及び参照用動きベクトルに決定 し、一方、誤っているという結果が得られた場合には、参照用過去画像候補を、今のものより一つ過去のものに更新すると共に、上記受信動きベクトルを、更新された上記参照用過去画像候補の時刻と現時刻との時間差に応じて定まる整数倍したものに、上記参照用動きベクトル候補を更新する復号時参照情報決定手段と、（３）決定された参照用過去画像及び参照用動きベクトルを参照して、復号対象画素を復号する画像復号手段とを有することを特徴とする。
【００２０】
さらにまた、第４の本発明は、動き補償機能を有する予測画像符号化方式で符号化された動画像符号化データを復号する動画像復号装置において、（１）過去に復元した時刻が異なる複数の画像と、その各画像について、誤り検出された、符号化の際に動きベクトルを算出する単位である部分領域を指定する誤り領域指定情報と、過去に復元した各画像の構成要素である各部分領域について到来した過去受信動きベクトルとを記憶する記憶手段と、（２）現時刻の画像における復号しようとしている画素毎に、その復号対象画素が属する部分領域について到来した受信動きベクトルを参照用動きベクトル候補の初期値にすると共に、現時刻画像の直前の過去画像を参照用過去画像候補の初期値にし、参照用過去画像候補上で参照用動きベクトル候補で規定される、復号対象画素に対応する画素が、上記誤り領域指定情報に基づけば誤っているか否かの判別を、誤っていないという結果が得られるまで繰り返し、誤っていないという結果が得られた場合には、その時点の参照用過去画像候補及び参照用動きベクトル候補をそれぞれ、参照用過去画像及び参照用動きベクトルに決定し、一方、誤っているという結果が得られた場合には、参照用過去画像候補を、今のものより一つ過去のものに更新すると共に、上記参照用動きベクトル候補を、更新前後の参照用過去画像候補間に係る記憶されている過去受信動きベクトルを参照して更新する復号時参照情報決定手段と、（３）決定された参照用過去画像及び参照用動きベクトルを参照して、復号対象画素を復号する画像復号手段とを有することを特徴とする。
【００２１】
【発明の実施の形態】
（Ａ） 第１の実施形態
以下、本発明による動画像復号方法及び装置を適用した第１の実施形態について、図面を参照しながら詳述する。
【００２２】
（Ａ−１） 構成の説明
図１は、第１の実施形態の動画像復号装置の構成を示すブロック図である。図１において、この実施形態の動画像復号装置は、ビットストリーム復号部２００と、予測誤差復号部２０１と、動きベクトル復号部２０２と、予測画像構成部２０３と、予測誤差加算部２０４と、復元画像記憶部２０５と、誤り検出情報通知部２０６と、動きベクトル計算部２０７と、誤り情報記憶部２０８とを有する。
【００２３】
まず、各構成要素について説明する。
【００２４】
ビットストリーム復号部２００は、与えられたビットストリームから可変長符号等を復号して解釈を行い、その結果、ビットストリームを可変係数情報と動きベクトル情報とに分離するものである。ここで、ビットストリーム中に、可変長符号表に現れない符号語が出現したり、あり得ない場所に同期符号語が出現する等の場合には、誤りが検出されたとして誤り検出信号を誤り検出情報通知部２０６に出力する。
【００２５】
予測誤差復号部２０１は、ビットストリーム復号部２００で分離された変換係数情報を復号して、予測誤差を復元するものである。ここで、変換係数の値が所定値内に収まっていない等のあり得ないものであった場合には、誤りが検出されたとして誤り検出信号を誤り検出情報通知部２０６に出力する。
【００２６】
動きベクトル復号部２０２は、ビットストリーム復号部２００で分離された動きベクトル情報を復号して、予測画像を構成するときに用いる動きベクトルを復元するものである。ここで、動きベクトルがフレーム外の場所を示している等のあり得ないものであった場合には、誤りを検出したとして誤り検出信号が誤り検出情報通知部２０６に出力される。
【００２７】
なお、与えられたビットストリームはマクロブロック単位で符号化されたものであるので、予測誤差復号部２０１及び動きベクトル復号部２０２で復元される予測誤差及び動きベクトルはマクロブロック単位で復元されることになる。
【００２８】
予測画像構成部２０３は、誤り検出情報通知部２０６から誤り検出信号が与えられた旨の通知がない場合で、誤り情報記憶部２０８から参照復元画像誤り信号が与えられないときには、動きベクトル復号部２０２で復元された動きベクトルのマクロブロックに対応する１つ前のフレームの画像部分を復元画像記憶部２０５から参照し、動きベクトル復号部１０２で復元された動きベクトルをこの参照画像部分に加えて、このマクロブロックの予測画像部分を生成し、各マクロブロックの予測画像部分を同様に生成することによって、予測画像を構成するものである。また、誤り情報記憶部２０８から参照復元画像誤り信号が与えられたときには、動きベクトル復号部２０２で復元された動きベクトルのマクロブロックに対応する、復元画像記憶部２０５から出力される所定の複数前のフレームの画像部分に、動きベクトル計算部２０７で計算された計算後動きベクトルを加えて、このマクロブロックの予測画像部分を生成するものである。一方、誤り検出情報通知部２０６から誤り検出信号が与えられた旨の通知があった場合には、その通知があったスライスと同じ位置ある１つ前のフレームの画像部分を復元画像記憶部２０５から参照し、その画像部分をそのままそのスライスに挿入して予測画像にするものである。
【００２９】
予測誤差加算部２０４は、予測画像構成部２０３で構成された予測画像に、予測誤差復号部２０１で復元された予測誤差を加算して、画像を復元するものである。ここで、誤り検出情報通知部２０６から誤り検出信号が与えられた旨の通知があった場合には、その通知があったスライスには予測誤差を加えないで、画像を復元するものである。なお、この復元された画像は、次のフレームの復元に用いるために、復元画像記憶部２０５に記憶されることになる。
【００３０】
復元画像記憶部２０５は、予測誤差加算部２０４で復元された画像を、１フレーム分だけの画像情報を記憶できるだけでなく、所定の複数フレーム分の画像情報を記憶でき、予測画像構成部２０３で参照される画像部分を出力するものである。ここで、図７は、復元画像記憶部２０５の詳細構成を示すブロック図である。図７において、復元画像記憶部２０５は、各フレームの画像を記憶するＮ＋１個のフレーム記憶部２０９−０〜２０９−Ｎと、空いているフレーム記憶部または一番古いフレームが格納されているフレーム記憶部を選定し、この選定したフレーム記憶部に予測誤差加算部２０４で復元した画像を記憶させると共に、その記憶させたフレーム記憶部の識別情報を誤り情報記憶部２０８に出力する記憶制御切替部２１０と、誤り検出情報通知部２０６又は誤り情報記憶部２０８からの信号に基づいて予測画像構成部２０３で参照されるフレームを記憶するフレーム記憶部を選定して予測画像構成部２０３に出力する出力切替部２１１と有する。なお、出力切替部２１１では、誤り検出通知部２０６から誤り検出信号が与えられた旨の通知があった場合には、その誤りスライスを、そのスライスと同じ位置の１つ前のフレームの画像部分で置き換えるため、１つ前に復元されたフレームが記憶されているフレーム記憶部が選定され、それ以外の場合で誤り情報記憶部２０８から参照復元画像誤り信号が与えられたときには、後述する図９に示すアルゴリズムに従ってフレーム記憶部が選定され、それ以外のときは１つ前に復元されたフレームが格納されているフレーム記憶部が選定されることになる。
【００３１】
誤り検出情報通知部２０６は、ビットストリーム復号部２００、予測誤差復号部２０１、又は動きベクトル復号部２０２で誤りが検出されて誤り検出信号が与えられた場合に、復元画像記憶部２０５で誤りが検出されたスライスと同じ位置の１つ前の画像部分が予測画像構成部２０３に出力され、予測画像構成部２０３で誤りが検出されたスライスにそのスライスと同じ位置の１つ前の画像部分が挿入されて予測画像が構成され、予測誤差加算部２０４でその構成した予測画像の誤りが検出されたスライスに予測誤差が加えられないように、予測画像構成部２０３と予測誤差加算部２０４と復元画像記憶部２０５とに通知するものである。また、誤り検出情報通知部２０６は、誤り検出信号が与えられた場合に、その誤りが検出されたスライスの位置情報と、そのスライスを有するフレーム番号情報と、そのフレームを記憶する復元画像記憶部２０５のフレーム記憶部の識別情報とから構成される復元画像誤り情報を、誤り情報記憶部２０８に記憶させるものである。なお、フレーム番号情報は、誤り検出されたフレームがどのフレームであるかを識別できるものであり、同時にそのフレームの時間情報をも知ることができる。すなわち、誤り情報記憶部２０８には、どのフレームのどの部分（スライス）で誤り検出され復号不可能であったかという情報が保持されていることになる。
【００３２】
動きベクトル計算部２０７は、誤り情報記憶部２０８から参照復元画像誤り信号が与えられた場合に、後述する図９に示すアルゴリズムに従って参照されるフレームと、本来参照されるべき１つ前のフレームとの時間差分を考慮して、動きベクトル復号部２０２で復元された動きベクトルを計算し直した動きベクトルを出力するものである。
【００３３】
誤り情報記憶部２０８は、誤り検出情報通知部２０６からの復元画像誤り情報を記憶すると共に、この復元画像誤り情報に基づいて復元画像記憶部２０５から予測画像構成２０３に出力されて参照される画像部分が誤りを検出したものである場合に、復元画像記憶部で後述する図９に示すアルゴリズムに従って参照するフレームの画像部分が出力され、動きベクトル計算部２０７でその選定された参照フレームに基づく動きベクトルが計算し直され、予測画像構成部２０３でこの参照フレームにこの計算後動きベクトルが加えられたものが予測画像部分になるように、予測画像構成部２０３と復元画像記憶部２０５と動きベクトル計算部２０７とに参照復元画像誤り信号を出力するものである。
【００３４】
（Ａ−２） 動作の説明
以上のような構成を有する動画像復号装置の動作について、従来とは異なる点を中心に説明する。
【００３５】
まず、概念的な動作について、図８を参照しながら説明する。図８において、ｎ＋１フレーム目の図示するマクロブロックを復号しようとする際に、参照するｎフレーム目の薄いグレーの部分（スライス）が誤って復号不可能であった場合、動きベクトルが示す部分に含まれる画像歪みがそのまま予測画像として用いられてしまう。これを避けるために、ｎフレーム目の薄いグレーの部分を参照する代わりに、動きベクトルを２倍の大きさにして、ｎ−１フレーム目を参照する（ｎ−１フレーム目の濃いグレーの部分）。このようにすると、ｎフレーム目の画像歪みをそのまま利用することなく予測画像を構成することができる。
【００３６】
なお、ここでは、ｎ−１フレームの参照する画像部分が誤っていない場合について説明したが、ｎ−１フレームが誤っている場合には、ｎ−２フレームさらにｎ−３フレーム…と誤っていないフレームが見つかるまで参照されることになる。また、この場合、動きベクトルの倍率をかえる必要があるが、その倍率を何倍にするかは後述する。
【００３７】
次に、この実施形態の予測画像構成の動作について、図１及び図７と図９のフローチャートとを参照しながら説明する。なお、図９のフローチャートは、画素毎に動作させるものである。
【００３８】
まず、動きベクトル復号部２０２から出力される動きベクトルＶを計算後動きベクトルＶｄに代入しておく（ステップＡ１）。ステップＡ２で、計算後動きベクトルＶｄから参照すべき復元画像の位置を求め、その復元画像が誤っていないかを誤り情報記憶部２０８の誤り情報から調べ、参照すべき復元画像が誤っている場合には、ステップＡ３に進む。参照すべき復元画像が誤っている場合とは、計算後動きベクトルＶｄの示す部分が図８のｎフレーム目の薄いグレーのスライスに含まれている場合である。参照すべき復元画像が誤っていない場合には、計算後動きベクトルＶｄと参照すべき復元画像から予測画像を構成する（ステップＡ６）。ステップＡ３では、参照すべき復元画像よりも時間的に１つ前に復元されたフレームが復元画像記憶部２０５のフレーム記憶部２０９−０〜Ｎのいずれに存在するか否かを調べる。ステップＡ３で偽である場合には、現在の計算後動きベクトルＶｄと選ばれている復元画像とから予測画像を構成することになる（ステップＡ６）。ステップＡ３で真である場合には、参照すべき復元画像よりも時間的１つ前に復元されたフレームを参照すべき復元画像とする（ステップＡ４）。そしてステップＡ５で参照すべき復元画像のフレーム番号、復元としている画像のフレーム番号、及び復元しようとしている画像の１つ前に復元された画像のフレーム番号から、計算後動きベクトルＶｄを計算し直す。計算後動きベクトルＶｄの計算方法は下記式１のようになる。
【００３９】
式１：Ｖｄ＝｛（ＴＲｄ−ＴＲｒ）／（ＴＲｄ−ＴＲｐ）｝ ＊ Ｖ
ここで、ＴＲｄは、復号しようとする画像のフレーム番号から計算される時間情報、ＴＲｒは、参照すべき画像のフレーム番号から計算される時間情報、ＴＲｐは、復号しようとする画像の１つ前に復元された画像のフレーム番号から計算される時間情報を表す。この実施形態の場合、フレーム番号がそのまま時間情報を表すとすると、下記式２のように、計算後動きベクトルＶｄの値は、動きベクトルＶの２倍となる。
【００４０】
【００４１】
（Ａ−３） 効果の説明
以上のように、第１の実施形態によれば、（１）誤り検出信号が与えられた場合に、その誤りが検出されたスライスの位置情報と、そのスライスを有するフレーム番号情報と、そのフレームを記憶する復元画像記憶部２０５のフレーム記憶部の識別情報とから構成される復元画像誤り情報を、誤り情報記憶部２０８に記憶させる誤り検出情報通知部２０６と、（２）復元画像誤り情報に基づいて、予測画像構成２０３で参照される画像部分が誤りを検出したものである場合に、参照復元画像誤り信号を出力する誤り情報記憶部２０８と、（３）予測誤差加算部２０４で復元された画像を所定の複数フレーム分記憶し、誤り情報記憶部２０８から参照復元画像誤り信号が与えられた場合に、図９に示すアルゴリズムに従って参照するフレームの画像部分を出力する復元画像記憶部２０５と、（４）誤り情報記憶部２０８から参照復元画像誤り信号が与えられた場合に、図９に示すアルゴリズムに従って参照されるフレームと本来参照されるべき１つ前のフレームとの時間差分を考慮して、動きベクトル復号部２０２で復元された動きベクトルを計算し直した動きベクトルを出力する動きベクトル計算部２０７と、（５）復元画像記憶部２０５からの参照フレームの画像部分に、動きベクトル計算部２０７からの計算後動きベクトルを加えて予測画像を構成する予測画像構成部２０３とを有するので、１つ前に復元された画像が誤り検出によって歪んでしまった場合でも、それ以降に復元される画像に歪みが伝播することを防ぐことができる。
【００４２】
具体的に、図１０を参照しながら説明すると、動きのある部分で誤りがあった（ｎフレーム目）としても、その部分は予測画像として用いないで、代わりに、それよりも時間的に前に復元されたフレーム（ｎ−１フレーム目）を用いて予測画像を構成するように制御しているので、図１０のｎフレーム目の画像歪みがその後のフレーム（ｎ＋１フレーム目）に影響しないようになる。
【００４３】
（Ｂ） 第２の実施形態
以下、本発明による動画像復号方法及び装置を適用した第２の実施形態について、図面を参照しながら詳述する。
【００４４】
図１１は、第２の実施形態の動画像復号装置構成を示すブロック図である。図１１において、この実施形態の動画像復号装置は、ビットストリーム復号部３００と、予測誤差復号部３０１と、動きベクトル復号部３０２と、予測画像構成部３０３と、予測誤差加算部３０４と、復元画像記憶部３０５と、誤り検出情報通知部３０６と、動きベクトル計算部３０７と、誤り情報記憶部３０８と、動きベクトル記憶部３１２とを有する。
【００４５】
なお、図１１において、動きベクトル計算部３０７及び動きベクトル記憶部３１２以外の構成要素は、図１に示した第１の実施形態の同一名の構成要素と同様であり、説明を省略する。従って、以下、動きベクトル計算部３０７及び動きベクトル記憶部３１２の構成要素について説明する。
【００４６】
動きベクトル計算部３０７は、誤り情報記憶部３０８から参照復元画像誤り信号が与えられた場合に、後述する図１３に示すアルゴリズムに従って参照されるフレームの画像部分と本来参照されるべき１つ前のフレームの画像部分との間の動きベクトルが、動きベクトル記憶部３１２に記憶された復元された画像の動きベクトルに基づいて計算されて、さらにこの計算された動きベクトルと動きベクトル復号部３０２で復号された動きベクトルとを合成した動きベクトルを予測画像構成部３０３に出力するものである。
【００４７】
動きベクトル記憶部３１２は、動きベクトル復号部３０２で復元された動きベクトルを、復元画像記憶部３０５で記憶できるフレーム分記憶するものである。ここで、記憶されている動きベクトルは、誤り情報記憶部３０８から復元画像誤り信号を受け取ったときに、動きベクトル計算部３０７での動きベクトル計算に用いられることになり、動きベクトル記憶部３１２と動きベクトル計算部３０７とに接続されており、また、誤り情報記憶部３０８からの復元画像誤り信号を与えられるようになっている。
【００４８】
次に、このような構成を有する動画像復号装置の動作について、第１の実施形態とは異なる点を中心に説明する。
【００４９】
まず、概念的な動作について、図１２を参照しながら説明する。図１２において、ｎ＋１フレーム目の図示するマクロブロックを復号しようとする際に、参照するｎフレーム目の薄いグレーの部分（スライス）が誤って復号不可能であった場合、動きベクトルが示す部分に含まれる画像歪みがそのまま予測画像として用いられてしまう。これを避けるために、ｎフレーム目の薄いグレーの部分を参照する代わりに、動きベクトルを計算し直して、ｎ−１フレーム目を参照する。参照すべき復元画像が存在する部分は、動きベクトルＶを用いてｎフレーム目から予測画像を構成し復元画像が存在しない部分（濃いグレー部分）は、計算し直した動きベクトルＶｄを用いてｎ−１フレーム目から予測画像を構成する。
【００５０】
次に、動きベクトルの計算方法について、図１２を参照しながら説明する。まず、復号しようとするマクロブロックの動きベクトルＶが指し示す１つ前のフレームの画像部分（図１２ではｎフレーム目の太枠部分）のうち参照すべき復元画像の一部分だけでも存在するか否かを調べる。もし存在する場合には、対応する復元画像の動きベクトルが動きベクトル記憶部３１２に保持されているはずであるので、その動きベクトルを取り出す。図１２では、ｎフレーム目のＰとＱのマクロブロックは復号できるので、それらのマクロブロックに対する動きベクトルＶＰとＶＱを取り出す。Ｖｄは、下記式３に示すように、その動きベクトルを重み付けして和をとり、動きベクトルＶに足し込む。なお、重みａ及びｂは、動きベクトルＶが指し示す１つ前のフレームの画像部分（図１２ではｎフレーム目の太枠部分）で、マクロブロックＰ、Ｑがそれぞれ占めている面積の比を表している。また、Ｖｄの初期値はＶである。
【００５１】
式３：Ｖｄ＝Ｖｄ＋（ａ＊ＶＰ）＋（ｂ＊ＶＱ）
上記式３は、図１２に示すように、参照すべき復元画像が２つのみの場合であるが、３つ以上のマクロブロックにまたがっている場合には、下記式４のように計算する。なお、重みａ１、ａ２、…、ａｎは、動きベクトルＶが指し示す１つ前のフレームの画像部分で、それぞれのマクロブロックが占めている面積比を表す。また、Ｖｄの初期値はＶである。
【００５２】
式４：Ｖｄ＝Ｖｄ＋（ａ１＊Ｖ１）＋（ａ２＊Ｖ２）＋…＋（ａｎ＊Ｖｎ）
復号しようとするマクロブロックの動きベクトルＶが指し示す１つ前のフレームの画像部分（図１２ではｎフレーム目の太枠部分）のうち参照すべき復元画像が全く存在しない場合（参照すべき復元画像が誤りスライスに完全に含まれてしまう場合）は、第１の実施形態と同様に動きベクトルＶｄを計算する。このようにすると、ｎフレーム目の画像歪みをそのまま利用することなく予測画像を構成することができる。
【００５３】
次に、この実施形態の予測画像構成の動作について、図１１及び図１２と図１３のフローチャートとを参照しながら説明する。なお、図１３のフローチャートは、画素毎に動作させるものである。
まず、動きベクトル復号部３０２から出力される動きベクトルＶを計算後動きベクトルＶｄに代入しておく（ステップＢ１）。ステップＢ２で、計算後動きベクトルＶｄから参照すべき復元画像の位置を求め、その復元画像が誤っていないかを誤り情報記憶部３０８の誤り情報から調べ、参照すべき復元画像が誤っている場合には、ステップＢ３に進む。参照すべき復元画像が誤っている場合とは、計算後動きベクトルＶｄの示す部分が図１２のｎフレーム目の薄いグレーのスライスに含まれている場合である。参照すべき復元画像が誤っていない場合には、計算後動きベクトルＶｄと参照すべき復元画像から予測画像を構成する（ステップＢ８）。ステップＢ３では、参照すべき復元画像よりも時間的に１つ前に復元されたフレームが復元画像記憶部３０５のｎ＋１個のフレーム記憶部のいずれに存在するか否かを調べる。ステップＢ３で偽である場合には、現在の計算後動きベクトルＶｄと選ばれている復元画像とから予測画像を構成することになる（ステップＢ８）。ステップＢ３で真である場合には、参照すべき復元画像よりも時間的に１つ前に復元されたフレームを参照すべき復元画像とする（ステップＢ４）。そして、復号しようとするマクロブロックに対する参照すべき復元画像が一部分でも残っているか否かを判定する（ステップＢ５）。ステップＢ５で真である場合には、動きベクトル記憶部３１２で記憶されている動きベクトルを用いて上記式３又は式４のように計算後動きベクトルＶｄを計算し直し（ステップＢ６）、ステップＢ２に戻る。ステップＢ５で偽である場合には、ステップＢ７で参照すべき復元画像のフレーム番号、復号化しようとしている画像のフレーム番号、及び復号化しようとしている画像の１つ前に復元された画像のフレーム番号から動きベクトルＶｄを計算し直す。この計算後動きベクトルＶｄの計算方法は第１の実施形態で示した上記式１のように行う。そして、ステップＢ２に戻り、再び計算後動きベクトルＶｄが示す参照すべき復元画像が誤っているか否かを調べる。ステップＢ２からステップＢ６又はＢ７を繰り返すことにより、誤り検出される復号不可能となっていない参照すべき復元画像を見つけ出し、その復元画像から予測画像を構成することができる。
【００５４】
以上のように、第２の実施形態によれば、第１の実施形態と同様な効果が得られる。
【００５５】
また、第２の実施形態によれば、第１の実施形態では、動きベクトル計算部での動きベクトル計算は、フレームの時間間隔にのみ比例するので、画像内の物体の動きが等速度運動しているものに対してのみ有効であったが、第２の実施形態ではそれに加えて、過去に復号された動きベクトルをも用いて復号するので、画像内の物体の動きに加速度があっても対応することができる。
【００５６】
（Ｃ） 他の実施形態
上記各実施形態においては、誤り検出通知部が受け取る誤り検出信号は、ビットストリーム復号部、予測誤差復号部、及び動きベクトル復号部から受け取っていたが、動画像復号装置の外部に誤り検出機能を持つ場合には、その外部からの誤り検出信号を受け取るようにしても良い。
【００５７】
また、第２の実施形態では、動きベクトル計算部での動きベクトルの計算（上記式４に示す計算）は、動きベクトル記憶部に格納されている動きベクトルのみを用いているが、第１の実施形態の計算方法も考慮に入れ、下記式５のように計算することもできる。なお、重みａ１、ａ２、…、ａｎの比は、動きベクトルＶが指し示す１つ前のフレームの画像部分で、それぞれのマクロブロックが占めている面積の比を表す。また、Ｖｄの初期値はＶである。
【００５８】
式５：Ｖｄ＝ｂ１*{Ｖｄ＋(ａ１*Ｖ１)＋(ａ２*Ｖ２)＋…＋(ａｎ*Ｖｎ)} ＋ｂ２*[{(ＴＲｄ−ＴＲｒ)／(ＴＲｄ−ＴＲｐ)*Ｖ}]
さらに、第２の実施形態では、上記式４での重みａ１、ａ２、…、ａｎは、必ずしも、動きベクトルＶが指し示す１つ前のフレームの画像部分でそれぞれのマクロブロックが占めている面積の比である必要も無く、別の値にすることもできる。
【００５９】
さらにまた、第２の実施形態では、動きベクトル記憶部の容量は、復元画像記憶部に記憶されている復元画像分の動きベクトルを保持するための容量が必要であるように説明したが、それより少なくても良い。この場合、復元画像のみが記憶されていて、それに対応する動きベクトルが記憶されていない場合があるが、そのような場合には、上記式４又は式５のように動きベクトルを計算する代わりに、第１の実施形態のように式２で計算すれば動作可能である。
【００６０】
また、上記各実施形態では、図８及び図１２に示すように、復号するフレームの１つ（又は複数）前のフレームの画像部分において、復元画像がある部分は、動きベクトルを用いて予測画像部分を生成し、一方、復元画像がない部分は、さらに１つ前のフレームの画像部分から計算後動きベクトルを用いて予測画像部分を生成するものを示したが、１つ前のフレームの画像部分に復元画像がある部分においても、さらに１つ前のフレームの画像部分から計算後動きベクトルを用いて予測画像部分を生成するものであっても良い。
【００６１】
【発明の効果】
以上のように、本発明によれば、復号しようとする領域部分に対応する受信動きベクトルに係る過去画像の領域部分が誤り検出されて参照できない場合であっても、復号しようとする領域部分が参照できる参照用過去画像と参照用動きベクトルとを画素毎に決定し、この決定した参照用過去画像及び参照用動きベクトルによって復号しようとしている部分領域についての復元画像を得ることができ、誤り検出による画像の歪みが後続する画像に伝播することを防ぐことができる。
【図面の簡単な説明】
【図１】第１の実施形態の動画像復号装置の構成を示すブロック図である。
【図２】マクロブロックとスライスの説明図である。
【図３】従来の動画像復号方法において、動きの小さい部分に誤りを検出した場合の説明図である。
【図４】従来の動画像復号装置の構成を示すブロック図である。
【図５】従来の動画像復号装置の予測誤差復号部１０１の詳細構成を示すブロック図である。
【図６】従来の動画像復号方法において、動きの大きい部分に誤りを検出した場合の説明図である。
【図７】第１の実施形態の復元画像記憶部２０５の詳細構成を示すブロック図である。
【図８】第１の実施形態の動作概念の説明図である。
【図９】第１の実施形態の予測画像構成の動作を示すフローチャートである。
【図１０】第１の実施形態による効果の説明図である。
【図１１】第２の実施形態の動画像復号装置の構成を示すブロック図である。
【図１２】第２の実施形態の動作概念の説明図である。
【図１３】第２の実施形態の予測画像構成の動作を示すフローチャートである。
【符号の説明】
２０３…予測画像構成部、２０５…復元画像記憶部、２０７…動きベクトル計算部、２０８…誤り情報記憶部。
Claims (8)
- 動き補償機能を有する予測画像符号化方式で符号化された動画像符号化データを復号する動画像復号方法において、
過去に復元した時刻が異なる複数の画像と、その各画像について、誤り検出された、符号化の際に動きベクトルを算出する単位である部分領域を指定する誤り領域指定情報とを記憶し、
現時刻の画像における復号しようとしている画素毎に、その復号対象画素が属する部分領域について到来した受信動きベクトルを参照用動きベクトル候補の初期値にすると共に、現時刻画像の直前の過去画像を参照用過去画像候補の初期値にし、参照用過去画像候補上で参照用動きベクトル候補で規定される、復号対象画素に対応する画素が、上記誤り領域指定情報に基づけば誤っているか否かの判別を、誤っていないという結果が得られるまで繰り返し、誤っていないという結果が得られた場合には、その時点の参照用過去画像候補及び参照用動きベクトル候補をそれぞれ、参照用過去画像及び参照用動きベクトルに決定し、一方、誤っているという結果が得られた場合には、参照用過去画像候補を、今のものより一つ過去のものに更新すると共に、上記受信動きベクトルを、更新された上記参照用過去画像候補の時刻と現時刻との時間差に応じて定まる整数倍したものに、上記参照用動きベクトル候補を更新し、
決定された参照用過去画像及び参照用動きベクトルを参照して、復号対象画素を復号する
ことを特徴とする動画像復号方法。 - 動き補償機能を有する予測画像符号化方式で符号化された動画像符号化データを復号する動画像復号方法において、
過去に復元した時刻が異なる複数の画像と、その各画像について、誤り検出された、符号化の際に動きベクトルを算出する単位である部分領域を指定する誤り領域指定情報と、過去に復元した各画像の構成要素である各部分領域について到来した過去受信動きベクトルとを記憶し、
現時刻の画像における復号しようとしている画素毎に、その復号対象画素が属する部分領域について到来した受信動きベクトルを参照用動きベクトル候補の初期値にすると共に、現時刻画像の直前の過去画像を参照用過去画像候補の初期値にし、参照用過去画像候補上で参照用動きベクトル候補で規定される、復号対象画素に対応する画素が、上記誤り領域指定情報に基づけば誤っているか否かの判別を、誤っていないという結果が得られるまで繰り返し、誤っていないという結果が得られた場合には、その時点の参照用過去画像候補及び参照用動きベクトル候補をそれぞれ、参照用過去画像及び参照用動きベクトルに決定し、一方、誤っているという結果が得られた場合には、参照用過去画像候補を、今のものより一つ過去のものに更新すると共に、上記参照用動きベクトル候補を、更新前後の参照用過去画像候補間に係る記憶されている過去受信動きベクトルを参照して更新し、
決定された参照用過去画像及び参照用動きベクトルを参照して、復号対象画素を復号する
ことを特徴とする動画像復号方法。 - 上記参照用動きベクトル候補の更新は、更新前後の参照用過去画像候補間に係る過去受信動きベクトルが記憶されている場合には、更新後の参照用過去画像候補において復号対象画素に対応する画素が属する部分領域に対応する、更新前の参照用過去画像候補における１又は複数の部分領域のそれぞれに対する過去受信動きベクトルを、対応面積比を重み付け値として重み付け加算し、さらに、更新前の上記参照用動きベクトル候補を足し込むことで行うことを特徴とする請求項２に記載の動画像復号方法。
- 上記参照用動きベクトル候補の更新は、更新前後の参照用過去画像候補間に係る過去受信動きベクトルが記憶されていない場合には、更新後の参照用動きベクトル候補を、上記受信動きベクトルを、更新された上記参照用過去画像候補の時刻と現時 刻との時間差に応じて定まる整数倍したものにすることで行うことを特徴とする請求項３に記載の動画像復号方法。
- 動き補償機能を有する予測画像符号化方式で符号化された動画像符号化データを復号する動画像復号装置において、
過去に復元した時刻が異なる複数の画像と、その各画像について、誤り検出された、符号化の際に動きベクトルを算出する単位である部分領域を指定する誤り領域指定情報とを記憶する記憶手段と、
現時刻の画像における復号しようとしている画素毎に、その復号対象画素が属する部分領域について到来した受信動きベクトルを参照用動きベクトル候補の初期値にすると共に、現時刻画像の直前の過去画像を参照用過去画像候補の初期値にし、参照用過去画像候補上で参照用動きベクトル候補で規定される、復号対象画素に対応する画素が、上記誤り領域指定情報に基づけば誤っているか否かの判別を、誤っていないという結果が得られるまで繰り返し、誤っていないという結果が得られた場合には、その時点の参照用過去画像候補及び参照用動きベクトル候補をそれぞれ、参照用過去画像及び参照用動きベクトルに決定し、一方、誤っているという結果が得られた場合には、参照用過去画像候補を、今のものより一つ過去のものに更新すると共に、上記受信動きベクトルを、更新された上記参照用過去画像候補の時刻と現時刻との時間差に応じて定まる整数倍したものに、上記参照用動きベクトル候補を更新する復号時参照情報決定手段と、
決定された参照用過去画像及び参照用動きベクトルを参照して、復号対象画素を復号する画像復号手段と
を有することを特徴とする動画像復号装置。 - 動き補償機能を有する予測画像符号化方式で符号化された動画像符号化データを復号する動画像復号装置において、
過去に復元した時刻が異なる複数の画像と、その各画像について、誤り検出された、符号化の際に動きベクトルを算出する単位である部分領域を指定する誤り領域指定情報と、過去に復元した各画像の構成要素である各部分領域について到来した過去受信動きベクトルとを記憶する記憶手段と、
現時刻の画像における復号しようとしている画素毎に、その復号対象画素が属する部分領域について到来した受信動きベクトルを参照用動きベクトル候補の初期値にすると共に、現時刻画像の直前の過去画像を参照用過去画像候補の初期値にし、参照用過去画像候補上で参照用動きベクトル候補で規定される、復号対象画素に対応する画素が、上記誤り領域指定情報に基づけば誤っているか否かの判別を、誤っていないという結果が得られるまで繰り返し、誤っていないという結果が得られた場合には、その時点の参照用過去画像候補及び参照用動きベクトル候補をそれぞれ、参照用過去画像及び参照用動きベクトルに決定し、一方、誤っているという結果が得られた場合には、参照用過去画像候補を、今のものより一つ過去のものに更新すると共に、上記参照用動きベクトル候補を、更新前後の参照用過去画像候補間に係る記憶されている過去受信動きベクトルを参照して更新する復号時参照情報決定手段と、
決定された参照用過去画像及び参照用動きベクトルを参照して、復号対象画素を復号する画像復号手段と
を有することを特徴とする動画像復号装置。 - 上記復号時参照情報決定手段は、上記参照用動きベクトル候補の更新を、更新前後の参照用過去画像候補間に係る過去受信動きベクトルが記憶されている場合には、更新後の参照用過去画像候補において復号対象画素に対応する画素が属する部分領域に対応する、更新前の参照用過去画像候補における１又は複数の部分領域のそれぞれに対する過去受信動きベクトルを、対応面積比を重み付け値として重み付け加算し、さらに、更新前の上記参照用動きベクトル候補を足し込むことで行うことを特徴とする請求項６に記載の動画像復号装置。
- 上記復号時参照情報決定手段は、上記参照用動きベクトル候補の更新は、更新前後の参照用過去画像候補間に係る過去受信動きベクトルが記憶されていない場 合には、更新後の参照用動きベクトル候補を、上記受信動きベクトルを、更新された上記参照用過去画像候補の時刻と現時刻との時間差に応じて定まる整数倍したものにすることで行うことを特徴とする請求項７に記載の動画像復号装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27109598A JP3604290B2 (ja) | 1998-09-25 | 1998-09-25 | 動画像復号方法及び装置 |
| US09/401,276 US6489996B1 (en) | 1998-09-25 | 1999-09-23 | Moving-picture decoding method and apparatus calculating motion vectors to reduce distortion caused by error propagation |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27109598A JP3604290B2 (ja) | 1998-09-25 | 1998-09-25 | 動画像復号方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000102018A JP2000102018A (ja) | 2000-04-07 |
| JP3604290B2 true JP3604290B2 (ja) | 2004-12-22 |
Family
ID=17495293
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27109598A Expired - Fee Related JP3604290B2 (ja) | 1998-09-25 | 1998-09-25 | 動画像復号方法及び装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6489996B1 (ja) |
| JP (1) | JP3604290B2 (ja) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3606306B2 (ja) * | 1998-10-08 | 2005-01-05 | 沖電気工業株式会社 | 画像符号化装置、画像復号化装置及び画像伝送システム |
| FI115946B (fi) * | 2000-05-05 | 2005-08-15 | Nokia Corp | Menetelmä virheiden havaitsemiseksi videoinformaatiosta |
| US6819715B2 (en) * | 2000-07-25 | 2004-11-16 | Matsushita Electric Industrial Co., Ltd. | Image decoding method, image decoding apparatus, and data storage medium |
| US6885651B1 (en) | 2000-08-29 | 2005-04-26 | Rockwell Collins | Maintaining an adaptive broadcast channel using both transmitter directed and receiver directed broadcasts |
| WO2002071639A1 (en) * | 2001-03-05 | 2002-09-12 | Intervideo, Inc. | Systems and methods for error resilient encoding |
| JP2003348594A (ja) * | 2002-05-27 | 2003-12-05 | Sony Corp | 画像復号装置及び方法 |
| KR100564967B1 (ko) * | 2002-10-02 | 2006-03-28 | 엘지전자 주식회사 | 동영상 디코더 및 이를 이용한 디코딩 방법 |
| MXPA05007854A (es) * | 2003-01-23 | 2005-10-18 | Thomson Licensing Sa | Metodo y aparato para evitar la propagacion de error en una secuencia de video. |
| AU2003282462A1 (en) * | 2003-10-09 | 2005-05-26 | Thomson Licensing | Direct mode derivation process for error concealment |
| US7403780B2 (en) | 2004-02-19 | 2008-07-22 | Rockwell Collins, Inc. | Hybrid open/closed loop filtering for link quality estimation |
| JP2006060813A (ja) * | 2004-08-20 | 2006-03-02 | Polycom Inc | ビデオデコーダにおける誤り隠蔽 |
| KR100677548B1 (ko) * | 2004-12-31 | 2007-02-02 | 삼성전자주식회사 | 복호된 영상의 오류 재은닉 방법 및 그 장치 |
| US8238442B2 (en) * | 2006-08-25 | 2012-08-07 | Sony Computer Entertainment Inc. | Methods and apparatus for concealing corrupted blocks of video data |
| EP2099227B1 (en) * | 2006-12-27 | 2019-11-13 | Panasonic Intellectual Property Management Co., Ltd. | Moving picture image decoding device |
| JP2008177907A (ja) * | 2007-01-19 | 2008-07-31 | Fujitsu Ltd | 動画データ復号装置、情報機器、動画データ復号方法および動画データ復号プログラム |
| WO2008114403A1 (ja) * | 2007-03-20 | 2008-09-25 | Fujitsu Limited | デコード方法、デコーダ及びデコード装置 |
| CN101543082B (zh) * | 2007-05-22 | 2011-07-20 | 松下电器产业株式会社 | 运动图像解码装置以及运动图像解码方法 |
| US7995858B2 (en) * | 2007-07-05 | 2011-08-09 | Motorola Solutions, Inc. | Method and apparatus to facilitate creating ancillary information regarding errored image content |
| FR2920632A1 (fr) * | 2007-08-31 | 2009-03-06 | Canon Kk | Procede et dispositif de decodage de sequences video avec masquage d'erreurs |
| EP2071851B1 (en) * | 2007-12-11 | 2011-09-28 | Alcatel Lucent | Process for delivering a video stream over a wireless channel |
| US8743970B2 (en) * | 2009-04-13 | 2014-06-03 | Freescale Semiconductor, Inc. | Video decoding with error detection and concealment |
| JP5115519B2 (ja) * | 2009-05-26 | 2013-01-09 | 富士通株式会社 | 動画像復号装置、動画像復号方法及び動画像復号用コンピュータプログラム |
| JP5675130B2 (ja) * | 2010-02-26 | 2015-02-25 | 三菱重工業株式会社 | 着陸ガイド装置および着陸ガイド方法 |
| US20110273555A1 (en) | 2010-05-04 | 2011-11-10 | Areva Inc. | Inspection video radiation filter |
| WO2011142221A1 (ja) * | 2010-05-11 | 2011-11-17 | シャープ株式会社 | 符号化装置、および、復号装置 |
| JP5590018B2 (ja) * | 2011-12-26 | 2014-09-17 | 富士通株式会社 | 動画データ復号装置、情報機器、動画データ復号方法、動画データ復号プログラム |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5400076A (en) * | 1991-11-30 | 1995-03-21 | Sony Corporation | Compressed motion picture signal expander with error concealment |
| US5737022A (en) * | 1993-02-26 | 1998-04-07 | Kabushiki Kaisha Toshiba | Motion picture error concealment using simplified motion compensation |
| US5442400A (en) * | 1993-04-29 | 1995-08-15 | Rca Thomson Licensing Corporation | Error concealment apparatus for MPEG-like video data |
| JP3428697B2 (ja) * | 1993-09-07 | 2003-07-22 | キヤノン株式会社 | 画像復号化方法 |
| JP3203172B2 (ja) | 1994-11-29 | 2001-08-27 | 三洋電機株式会社 | Ｍｐｅｇビデオデコーダ |
| US6078616A (en) * | 1997-03-13 | 2000-06-20 | Sony Corporation | Methods and apparatus for error concealment utilizing temporal domain motion vector estimation |
-
1998
- 1998-09-25 JP JP27109598A patent/JP3604290B2/ja not_active Expired - Fee Related
-
1999
- 1999-09-23 US US09/401,276 patent/US6489996B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000102018A (ja) | 2000-04-07 |
| US6489996B1 (en) | 2002-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3604290B2 (ja) | 動画像復号方法及び装置 | |
| RU2307478C2 (ru) | Компенсация глобального движения для видеоизображений | |
| EP0397402B1 (en) | Moving image signal encoding- and decoding apparatus | |
| KR100464995B1 (ko) | 운동의존예측을이용하여비디오정보를압축하는방법및장치 | |
| JP3419042B2 (ja) | 伝送システムにおける誤りマスキング方法 | |
| US6744924B1 (en) | Error concealment in a video signal | |
| JPH09121358A (ja) | 画像符号化及び復号化装置と方法 | |
| EP0095560B1 (en) | Method for processing image data | |
| JPH09182084A (ja) | 動画像符号化装置および動画像復号化装置 | |
| Feng et al. | Error concealment for MPEG video transmissions | |
| KR20060088461A (ko) | 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치 | |
| JP4985645B2 (ja) | 画像データ圧縮装置、圧縮方法及びプログラム並びに画像データ復元装置、復元方法及びプログラム | |
| US6795498B1 (en) | Decoding apparatus, decoding method, encoding apparatus, encoding method, image processing system, and image processing method | |
| EP1040646A2 (en) | System for detecting redundant images in a video sequence | |
| US20050259747A1 (en) | Context adaptive binary arithmetic code decoder for decoding macroblock adaptive field/frame coded video data | |
| JP4284265B2 (ja) | 動画像符号化装置、動画像符号化方法、動画像復号化装置および動画像復号化方法 | |
| US20060159181A1 (en) | Method for encoding and decoding video signal | |
| US6804299B2 (en) | Methods and systems for reducing requantization-originated generational error in predictive video streams using motion compensation | |
| KR20010082098A (ko) | 클래스-분류 적응식 처리를 사용하는 정보 처리 장치 | |
| JPH10215457A (ja) | 動画像復号方法及び動画像復号装置 | |
| US6545727B1 (en) | Method for recognizing a progressive or an interlaced content in a video sequence | |
| US20060133497A1 (en) | Method and apparatus for encoding/decoding video signal using motion vectors of pictures at different temporal decomposition level | |
| JP3948597B2 (ja) | 動画像圧縮符号化送信装置、受信装置および送受信装置 | |
| JP4154772B2 (ja) | 画像情報変換装置および変換方法 | |
| KR100240620B1 (ko) | 양방향의 반화소 움직임 추정을 위한 대칭 탐색 윈도우를 형성하는 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040629 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040827 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040928 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040928 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081008 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081008 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091008 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101008 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111008 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |