双予測では、類似する2つの予測信号の平均化による平滑化効果で予測信号に含まれるノイズを取り除くことが可能となる。ところが、このような平滑化効果の大きいブロックはテクスチャ領域やノイズを含む平坦領域であることが多く、参照画面内に類似信号が複数個存在する。
これらの領域の信号はランダム性が強いため、これらの領域にて対象ブロックに類似する2つの予測信号を複数の参照画面から探索すると、隣接するブロック間の動きベクトルがばらつくことがある。動きベクトルは、隣接ブロックの動きベクトルとの差で符号化するため、隣接ブロック間で動きベクトルがばらつくとその符号量が大きくなってしまう。
双予測の符号量を少なくする手法としては、従来例で示したように、隣接ブロックの状況に用いて2つの動きベクトルを復号側で導出する方法があるが、利用できる予測信号の制限が強すぎるため2つの予測信号の類似性を高めることが難しく、十分な平滑化効果が得られない。
上述の課題を解決するために、本発明では、対象ブロックと類似する予測信号を生成する1つの動きベクトルを符号化し、もう1つの動きベクトルを符号化済みの動き情報から選択的に求めることにより、2つの動きベクトルを符号化する双予測に対して少ない符号量で、効率良く予測信号のノイズを抑制する動画像予測復号装置及び動画像予測復号方法を提供することを目的とする。
本発明の一側面に係る動画像予測復号装置は、複数の領域に分割して符号化された圧縮データの中から復号対象となる復号対象領域の付加情報と残差信号の圧縮データとを復号する復号手段と、前記付加情報から前記対象領域の予測信号の生成に要する動きベクトルを復元する動き情報復元手段と、前記動きベクトルを保存する動き情報記録手段と、前記動きベクトルに基づいて前記対象領域の予測信号を生成する動き補償手段と、前記残差信号の圧縮データから前記対象領域の再生残差信号を復元する残差信号復元手段と、前記予測信号と前記再生残差信号とを加算することによって前記復号対象領域の画素信号を復元し、復元された画素信号を既再生画像として保存する画像記録手段と、を具備し、前記復号手段は、第0の付加情報と第1の付加情報とを復号し、前記第0の付加情報は、第0の差分動きベクトルと、前記動き情報記録手段に格納されている複数の動きベクトルから選択された1つを第0の予測動きベクトルとして識別するための第0の予測動き情報インデックスと、を含み、前記第1の付加情報は、前記動き情報記録手段に格納されている複数の動きベクトルから選択された1つを第1の予測動きベクトルとして識別する第1の予測動き情報インデックスを含み、前記動き情報復元手段が、前記第0の予測動き情報インデックスに基づいて前記動き情報記録手段に格納されている複数の動きベクトルから選択される動きベクトルを用いて第0の予測動きベクトルを生成し、生成した第0の予測動きベクトルと前記第0の差分動きベクトルとを加算して第0の動きベクトルを復元する第0の動き情報復元手段と、第1の差分動きベクトルのベクトル値を0に設定し、前記第1の予測動き情報インデックスに基づいて前記動き情報記録手段に格納されている複数の動きベクトルから選択される動きベクトルを用いて第1の予測動きベクトルを生成し、生成した第1の予測動きベクトルと前記第1の差分動きベクトルとを加算して第1の動きベクトルを復元する第1の動き情報復元手段と、を含み、前記動き補償手段は、前記第0の動きベクトルと第1の動きベクトルとに基づいて前記既再生画像からそれぞれ取得される2つの信号を合成して前記対象領域の予測信号を生成することを特徴とする。
本発明の一側面に係る動画像予測復号方法は、動画像予測復号装置により実行される動画像予測復号方法であって、複数の領域に分割して符号化された圧縮データの中から復号対象となる復号対象領域の付加情報と残差信号の圧縮データとを復号する復号ステップと、前記付加情報から前記対象領域の予測信号の生成に要する動きベクトルを復元する動き情報復元ステップと、前記動きベクトルを動き情報記録手段に保存する動き情報記録ステップと、前記動きベクトルに基づいて前記対象領域の予測信号を生成する動き補償ステップと、前記残差信号の圧縮データから前記対象領域の再生残差信号を復元する残差信号復元ステップと、前記予測信号と前記再生残差信号とを加算することによって前記復号対象領域の画素信号を復元し、復元された画素信号を既再生画像として保存する画像記録ステップと、を具備し、前記復号ステップにおいて、前記動画像予測復号装置は、第0の付加情報と第1の付加情報とを復号し、前記第0の付加情報は、第0の差分動きベクトルと、前記動き情報記録手段に格納されている複数の動きベクトルから選択された1つを第0の予測動きベクトルとして識別するための第0の予測動き情報インデックスと、を含み、前記第1の付加情報は、前記動き情報記録手段に格納されている複数の動きベクトルから選択された1つを第1の予測動きベクトルとして識別する第1の予測動き情報インデックスを含み、前記動き情報復元ステップが、前記第0の予測動き情報インデックスに基づいて前記動き情報記録手段に格納されている複数の動きベクトルから選択される動きベクトルを用いて第0の予測動きベクトルを生成し、生成した第0の予測動きベクトルと前記第0の差分動きベクトルとを加算して第0の動きベクトルを復元する第0の動き情報復元ステップと、第1の差分動きベクトルのベクトル値を0に設定し、前記第1の予測動き情報インデックスに基づいて前記動き情報記録手段に格納されている複数の動きベクトルから選択される動きベクトルを用いて第1の予測動きベクトルを生成し、生成した第1の予測動きベクトルと前記第1の差分動きベクトルとを加算して第1の動きベクトルを復元する第1の動き情報復元ステップと、を含み、前記動き補償ステップにおいて、前記動画像予測復号装置は、前記第0の動きベクトルと第1の動きベクトルとに基づいて前記既再生画像からそれぞれ取得される2つの信号を合成して前記対象領域の予測信号を生成することを特徴とする。
本発明の一側面に係る動画像予測復号方法は、動画像予測復号装置により実行される動画像予測復号方法であり、復号対象となる復号対象領域の付加情報に含まれた予測タイプとして、1つの既再生画像を参照して予測信号を生成する片予測、または、1つあるいは2つの既再生画像を参照して得られる2つの予測信号による双予測、を示す情報を復号し、予測タイプとして双予測を示す情報が復号された復号対象領域のみで所定の処理を行う動画像予測復号方法であって、前記所定の処理は、複数の領域に分割して符号化された圧縮データの中から前記復号対象領域の付加情報と残差信号の圧縮データとを復号する復号ステップと、前記付加情報から前記復号対象領域の予測信号の生成に要する動きベクトルを復元する動き情報復元ステップと、前記動きベクトルを動き情報記録手段に保存する動き情報記録ステップと、前記動きベクトルに基づいて前記復号対象領域の予測信号を生成する動き補償ステップと、前記残差信号の圧縮データから前記復号対象領域の再生残差信号を復元する残差信号復元ステップと、前記予測信号と前記再生残差信号とを加算することによって前記復号対象領域の画素信号を復元し、復元された画素信号を既再生画像として保存する画像記録ステップと、を具備し、前記復号ステップにおいて、前記動画像予測復号装置は、第0の付加情報と第1の付加情報とを復号し、前記第0の付加情報は、第0の差分動きベクトルと、前記動き情報記録手段に格納されている複数の動きベクトルから選択された1つを第0の予測動きベクトルとして識別するための第0の予測動き情報インデックスと、を含み、前記第1の付加情報は、前記動き情報記録手段に格納されている複数の動きベクトルから選択された1つを第1の予測動きベクトルとして識別する第1の予測動き情報インデックスを含み、前記動き情報復元ステップが、前記第0の予測動き情報インデックスに基づいて前記動き情報記録手段に格納されている複数の動きベクトルから選択される動きベクトルを用いて第0の予測動きベクトルを生成し、生成した第0の予測動きベクトルと前記第0の差分動きベクトルとを加算して第0の動きベクトルを復元する第0の動き情報復元ステップと、前記第1の予測動き情報インデックスに基づいて前記動き情報記録手段に格納されている複数の動きベクトルから選択される動きベクトルを用いて第1の予測動きベクトルを生成し、生成した第1の予測動きベクトルを第1の動きベクトルとして復元する第1の動き情報復元ステップと、を含み、前記動き補償ステップにおいて、前記動画像予測復号装置は、前記第0の動きベクトルと第1の動きベクトルとに基づいて前記既再生画像からそれぞれ取得される2つの信号を合成して前記復号対象領域の予測信号を生成し、前記復号ステップにおいて、前記動画像予測復号装置は、さらに、画面あるいはスライス毎に、前記第1の付加情報が差分動きベクトルを含むか否かを指示する指示情報を復号し、前記指示情報が、前記第1の付加情報が第1の差分動きベクトルを含まないことを示す場合には、前記動画像予測復号装置は、前記第1の付加情報として第1の予測動き情報インデックスを復号し、前記指示情報が、前記第1の付加情報が第1の差分動きベクトルを含むことを示す場合には、前記動画像予測復号装置は、前記第1の付加情報として差分動きベクトルと第1の予測動き情報インデックスとを復号し、前記第1の動き情報復元ステップにおいて、前記動画像予測復号装置は、前記指示情報が、第1の付加情報が第1の差分動きベクトルを含まないことを示すときは、前記第1の予測動き情報インデックスに基づいて前記動き情報記録手段に格納されている複数の動きベクトルから選択される動きベクトルを用いて第1の予測動きベクトルを生成し、生成した第1の予測動きベクトルを第1の動きベクトルとして復元し、前記指示情報が、第1の付加情報が第1の差分ベクトルを含むことを示すときは、前記第1の予測動き情報インデックスに基づいて第1の予測動きベクトルを生成し、生成した第1の予測動きベクトルと復号した差分動きベクトルとを加算して第1の動きベクトルを復元する、ことを特徴とする。
本発明の一側面に係る動画像予測復号装置は、復号対象となる復号対象領域の付加情報に含まれた予測タイプとして、1つの既再生画像を参照して予測信号を生成する片予測、または、1つあるいは2つの既再生画像を参照して得られる2つの予測信号による双予測、を示す情報を復号し、予測タイプとして双予測を示す情報が復号された復号対象領域のみで所定の処理を行う動画像予測復号装置であって、前記所定の処理を行うために、複数の領域に分割して符号化された圧縮データの中から前記復号対象領域の付加情報と残差信号の圧縮データとを復号する復号手段と、前記付加情報から前記復号対象領域の予測信号の生成に要する動きベクトルを復元する動き情報復元手段と、前記動きベクトルを保存する動き情報記録手段と、前記動きベクトルに基づいて前記復号対象領域の予測信号を生成する動き補償手段と、前記残差信号の圧縮データから前記復号対象領域の再生残差信号を復元する残差信号復元手段と、前記予測信号と前記再生残差信号とを加算することによって前記復号対象領域の画素信号を復元し、復元された画素信号を既再生画像として保存する画像記録手段と、を具備し、前記復号手段は、第0の付加情報と第1の付加情報とを復号し、前記第0の付加情報は、第0の差分動きベクトルと、前記動き情報記録手段に格納されている複数の動きベクトルから選択された1つを第0の予測動きベクトルとして識別するための第0の予測動き情報インデックスと、を含み、前記第1の付加情報は、前記動き情報記録手段に格納されている複数の動きベクトルから選択された1つを第1の予測動きベクトルとして識別する第1の予測動き情報インデックスを含み、前記動き情報復元手段が、前記第0の予測動き情報インデックスに基づいて前記動き情報記録手段に格納されている複数の動きベクトルから選択される動きベクトルを用いて第0の予測動きベクトルを生成し、生成した第0の予測動きベクトルと前記第0の差分動きベクトルとを加算して第0の動きベクトルを復元する第0の動き情報復元手段と、前記第1の予測動き情報インデックスに基づいて前記動き情報記録手段に格納されている複数の動きベクトルから選択される動きベクトルを用いて第1の予測動きベクトルを生成し、生成した第1の予測動きベクトルを第1の動きベクトルとして復元する第1の動き情報復元手段と、を含み、前記動き補償手段は、前記第0の動きベクトルと第1の動きベクトルとに基づいて前記既再生画像からそれぞれ取得される2つの信号を合成して前記復号対象領域の予測信号を生成し、前記復号手段は、さらに、画面あるいはスライス毎に、前記第1の付加情報が差分動きベクトルを含むか否かを指示する指示情報を復号し、前記指示情報が、前記第1の付加情報が第1の差分動きベクトルを含まないことを示す場合には、前記第1の付加情報として第1の予測動き情報インデックスを復号し、前記指示情報が、前記第1の付加情報が第1の差分動きベクトルを含むことを示す場合には、前記第1の付加情報として差分動きベクトルと第1の予測動き情報インデックスとを復号し、前記第1の動き情報復元手段は、前記指示情報が、第1の付加情報が第1の差分動きベクトルを含まないことを示すときは、前記第1の予測動き情報インデックスに基づいて前記動き情報記録手段に格納されている複数の動きベクトルから選択される動きベクトルを用いて第1の予測動きベクトルを生成し、生成した第1の予測動きベクトルを第1の動きベクトルとして復元し、前記指示情報が、第1の付加情報が第1の差分ベクトルを含むことを示すときは、前記第1の予測動き情報インデックスに基づいて第1の予測動きベクトルを生成し、生成した第1の予測動きベクトルと復号した差分動きベクトルとを加算して第1の動きベクトルを復元する、ことを特徴とする。
本発明の一側面に係る動画像予測符号化方法は、動画像予測符号化装置により実行される動画像予測符号化方法であり、符号化対象である対象領域についての予測タイプとして、1つの既再生画像を参照して予測信号を生成する片予測、または、1つあるいは2つの既再生画像を参照して得られる2つの予測信号による双予測を示す情報を、付加情報に含めて符号化し、予測タイプとして双予測を示す情報が符号化された対象領域のみで所定の処理を行う動画像予測符号化方法であって、前記所定の処理は、入力画像を複数の領域に分割する領域分割ステップと、前記領域分割ステップにより分割された領域のうち、前記対象領域との相関が高い信号を既再生画像から取得するための動きベクトルを決定する予測信号生成ステップと、前記動きベクトルを動き情報記録手段に保存する動き情報記録ステップと、前記対象領域の予測信号と前記対象領域の画素信号との残差信号を生成する残差信号生成ステップと、前記残差信号生成ステップにより生成された残差信号を圧縮する残差信号圧縮ステップと、前記残差信号の圧縮データを復元した再生残差信号を生成する残差信号復元ステップと、前記動き情報記録手段に保存された既再生の動きベクトルから選択された前記対象領域の動きベクトルに類似する予測動きベクトルと、前記対象領域の動きベクトルから決定される付加情報と、前記残差信号の圧縮データと、を符号化する符号化ステップと、前記予測信号と前記再生残差信号とを加算することによって前記対象領域の画素信号を復元し、復元された画素信号を前記既再生画像として画像記録手段に保存する画像記録ステップと、を具備し、前記動きベクトルは、第0の予測信号の生成に要する第0の動きベクトルと、第1の予測信号の生成に要する第1の動きベクトルと、を含んでおり、前記予測信号生成ステップが、前記第0の予測信号を取得するための第0の動きベクトルを推定すると共に、前記動き情報記録手段に保存されている複数の動きベクトルから選択される動きベクトルを用いて、前記推定した第0の動きベクトルと類似する第0の予測動きベクトルを生成し、生成した第0の予測動きベクトルを識別するための第0の予測動き情報インデックスと、前記第0の動きベクトル及び第0の予測動きベクトルから決定される差分動きベクトルと、を含む第0の付加情報を生成する第0の動き情報推定ステップと、前記動き情報記録手段に保存されている複数の動きベクトルから選択される動きベクトルを用いて、対象領域との相関が高い第1の予測信号を生成する第1の予測動きベクトルを生成し、生成した第1の予測動きベクトルを識別するための第1の予測動き情報インデックスを含む第1の付加情報を生成し、前記第1の予測動きベクトルを第1の動きベクトルに設定する第1の動き情報推定ステップと、前記第0の予測信号と前記第1の予測信号とを合成して対象領域の予測信号を生成する予測信号合成ステップと、を含み、前記第1の動き情報推定ステップにおいて、前記動画像予測符号化装置は、さらに、前記第1の予測信号を取得するための第2の動きベクトルを推定して、第2の動きベクトルを検出すると共に、推定した第2の動きベクトルと類似する第2の予測動きベクトルを前記動き情報記録手段に保存されている複数の動きベクトルから選択し、選択した前記予測動きベクトルを識別するための第2の予測動き情報インデックスと、前記第2の動きベクトル及び前記第2の予測動きベクトルから決定される差分動きベクトルと、を含む第2の付加情報を生成し、前記予測信号生成ステップにおいて、前記動画像予測符号化装置は、前記画像記録手段に保存された複数の既再生画像が表示順ですべて符号化対象画像より過去の画像の場合には、前記第1の動きベクトルにて前記第1の予測信号を生成し、前記画像記録手段に保存された複数の既再生画像に表示順で符号化対象画像より未来の画像が含まれる場合には、前記第2の動きベクトルにて前記第1の予測信号を生成し、前記符号化ステップにおいて、前記動画像予測符号化装置は、前記画像記録手段に保存された複数の既再生画像が表示順ですべて符号化対象画像より過去の画像の場合には、画面あるいはスライス毎に、前記第1の付加情報が符号化されることを指示する指示情報を符号化し、前記画像記録手段に保存された複数の既再生画像に表示順で符号化対象画像より未来の画像が含まれる場合には、画面あるいはスライス毎に、前記第2の付加情報が符号化されることを指示する指示情報を符号化し、前記第0の付加情報と、前記指示情報に基づいて第1の付加情報あるいは第2の付加情報のいずれか一方とを各対象領域の付加情報として符号化する、ことを特徴とする。
本発明の一側面に係る動画像予測符号化装置は、符号化対象である対象領域についての予測タイプとして、1つの既再生画像を参照して予測信号を生成する片予測、または、1つあるいは2つの既再生画像を参照して得られる2つの予測信号による双予測を示す情報を、付加情報に含めて符号化し、予測タイプとして双予測を示す情報が符号化された対象領域のみで所定の処理を行う動画像予測符号化装置であって、前記所定の処理を行うために、入力画像を複数の領域に分割する領域分割手段と、前記領域分割手段により分割された領域のうち、前記対象領域との相関が高い信号を既再生画像から取得するための動きベクトルを決定する予測信号生成手段と、前記動きベクトルを保存する動き情報記録手段と、前記対象領域の予測信号と前記対象領域の画素信号との残差信号を生成する残差信号生成手段と、前記残差信号生成手段により生成された残差信号を圧縮する残差信号圧縮手段と、前記残差信号の圧縮データを復元した再生残差信号を生成する残差信号復元手段と、前記動き情報記録手段に保存された既再生の動きベクトルから選択された前記対象領域の動きベクトルに類似する予測動きベクトルと、前記対象領域の動きベクトルから決定される付加情報と、前記残差信号の圧縮データと、を符号化する符号化手段と、前記予測信号と前記再生残差信号とを加算することによって前記対象領域の画素信号を復元し、復元された画素信号を前記既再生画像として保存する画像記録手段と、を具備し、前記動きベクトルは、第0の予測信号の生成に要する第0の動きベクトルと、第1の予測信号の生成に要する第1の動きベクトルと、を含んでおり、前記予測信号生成手段が、前記第0の予測信号を取得するための第0の動きベクトルを推定すると共に、前記動き情報記録手段に保存されている複数の動きベクトルから選択される動きベクトルを用いて、前記推定した第0の動きベクトルと類似する第0の予測動きベクトルを生成し、生成した第0の予測動きベクトルを識別するための第0の予測動き情報インデックスと、前記第0の動きベクトル及び第0の予測動きベクトルから決定される差分動きベクトルと、を含む第0の付加情報を生成する第0の動き情報推定手段と、前記動き情報記録手段に保存されている複数の動きベクトルから選択される動きベクトルを用いて、対象領域との相関が高い第1の予測信号を生成する第1の予測動きベクトルを生成し、生成した第1の予測動きベクトルを識別するための第1の予測動き情報インデックスを含む第1の付加情報を生成し、前記第1の予測動きベクトルを第1の動きベクトルに設定する第1の動き情報推定手段と、前記第0の予測信号と前記第1の予測信号とを合成して対象領域の予測信号を生成する予測信号合成手段と、を含み、前記第1の動き情報推定手段が、さらに、前記第1の予測信号を取得するための第2の動きベクトルを推定して、第2の動きベクトルを検出すると共に、推定した第2の動きベクトルと類似する第2の予測動きベクトルを前記動き情報記録手段に保存されている複数の動きベクトルから選択し、選択した前記予測動きベクトルを識別するための第2の予測動き情報インデックスと、前記第2の動きベクトル及び前記第2の予測動きベクトルから決定される差分動きベクトルと、を含む第2の付加情報を生成し、前記予測信号生成手段は、前記画像記録手段に保存された複数の既再生画像が表示順ですべて符号化対象画像より過去の画像の場合には、前記第1の動きベクトルにて前記第1の予測信号を生成し、前記画像記録手段に保存された複数の既再生画像に表示順で符号化対象画像より未来の画像が含まれる場合には、前記第2の動きベクトルにて前記第1の予測信号を生成し、前記符号化手段は、前記画像記録手段に保存された複数の既再生画像が表示順ですべて符号化対象画像より過去の画像の場合には、画面あるいはスライス毎に、前記第1の付加情報が符号化されることを指示する指示情報を符号化し、前記画像記録手段に保存された複数の既再生画像に表示順で符号化対象画像より未来の画像が含まれる場合には、画面あるいはスライス毎に、前記第2の付加情報が符号化されることを指示する指示情報を符号化し、前記第0の付加情報と、前記指示情報に基づいて第1の付加情報あるいは第2の付加情報のいずれか一方とを各対象領域の付加情報として符号化する、ことを特徴とする。
本発明の一側面に係る動画像予測符号化装置は、入力画像を複数の領域に分割する領域分割手段と、前記領域分割手段により分割された領域のうち、符号化対象である対象領域との相関が高い信号を既再生画像から取得するための動きベクトルを決定する予測信号生成手段と、前記動きベクトルを保存する動き情報記録手段と、前記対象領域の予測信号と前記対象領域の画素信号との残差信号を生成する残差信号生成手段と、前記残差信号生成手段により生成された残差信号を圧縮する残差信号圧縮手段と、前記残差信号の圧縮データを復元した再生残差信号を生成する残差信号復元手段と、前記動き情報記録手段に保存された既再生の動きベクトルから選択された前記対象領域の動きベクトルに類似する予測動きベクトルと、前記対象領域の動きベクトルから決定される付加情報と、前記残差信号の圧縮データと、を符号化する符号化手段と、前記予測信号と前記再生残差信号とを加算することによって前記対象領域の画素信号を復元し、復元された画素信号を前記既再生画像として保存する画像記録手段と、を具備し、前記動きベクトルは、第0の予測信号の生成に要する第0の動きベクトルと、第1の予測信号の生成に要する第1の動きベクトルと、を含んでおり、前記予測信号生成手段が、前記第0の予測信号を取得するための第0の動きベクトルを推定すると共に、推定した第0の動きベクトルと類似する第0の予測動きベクトルを前記動き情報記録手段に保存されている複数の動きベクトルから選択し、選択した前記第0の予測動きベクトルを識別するための第0の予測動き情報インデックスと、前記第0の動きベクトル及び第0の予測動きベクトルから決定される差分動きベクトルと、を含む第0の付加情報を生成する第0の動き情報推定手段と、前記動き情報記録手段に保存されている複数の動きベクトルから、対象領域との相関が高い第1の予測信号を生成する動きベクトルを選択し、選択した動きベクトルを第1の予測動きベクトルとして識別するための第1の予測動き情報インデックスを含む第1の付加情報を生成し、前記第1の予測動きベクトルを第1の動きベクトルに設定する第1の動き情報推定手段と、前記第0の予測信号と前記第1の予測信号とを合成して対象領域の予測信号を生成する予測信号合成手段と、を含み、前記第1の動き情報推定手段が、さらに、前記第1の予測信号を取得するための第2の動きベクトルを推定して、第2の動きベクトルを検出すると共に、推定した第2の動きベクトルと類似する第2の予測動きベクトルを前記動き情報記録手段に保存されている複数の動きベクトルから選択し、選択した前記第2の予測動きベクトルを識別するための第2の予測動き情報インデックスと、前記第2の動きベクトル及び前記第2の予測動きベクトルから決定される差分動きベクトルと、を含む第2の付加情報を生成し、前記予測信号生成手段は、前記画像記録手段に保存された複数の既再生画像が表示順ですべて符号化対象画像より過去の画像の場合には、前記第1の動きベクトルにて前記第1の予測信号を生成し、前記画像記録手段に保存された複数の既再生画像に表示順で符号化対象画像より未来の画像が含まれる場合には、前記第2の動きベクトルにて前記第1の予測信号を生成し、前記符号化手段は、前記画像記録手段に保存された複数の既再生画像が表示順ですべて符号化対象画像より過去の画像の場合には、画面あるいはスライス毎に、前記第1の付加情報が符号化されることを指示する指示情報を符号化し、前記画像記録手段に保存された複数の既再生画像に表示順で符号化対象画像より未来の画像が含まれる場合には、画面あるいはスライス毎に、前記第2の付加情報が符号化されることを指示する指示情報を符号化し、前記第0の付加情報と、前記指示情報に基づいて第1の付加情報あるいは第2の付加情報のいずれか一方とを各対象領域の付加情報として符号化する、ことを特徴とする。
本発明の一側面に係る動画像予測復号装置は、複数の領域に分割して符号化された圧縮データの中から復号対象となる復号対象領域の付加情報と残差信号の圧縮データとを復号する復号手段と、前記付加情報から前記対象領域の予測信号の生成に要する動きベクトルを復元する動き情報復元手段と、前記動きベクトルを保存する動き情報記録手段と、前記動きベクトルに基づいて前記対象領域の予測信号を生成する動き補償手段と、前記残差信号の圧縮データから前記対象領域の再生残差信号を復元する残差信号復元手段と、前記予測信号と前記再生残差信号とを加算することによって前記復号対象領域の画素信号を復元し、復元された画素信号を既再生画像として保存する画像記録手段と、を具備し、前記復号手段は、第0の付加情報と第1の付加情報とを復号し、前記第0の付加情報は、第0の差分動きベクトルと、前記動き情報記録手段に格納されている複数の動きベクトルから選択された1つを第0の予測動きベクトルとして識別するための第0の予測動き情報インデックスと、を含み、前記第1の付加情報は、前記動き情報記録手段に格納されている複数の動きベクトルから選択された1つを第1の予測動きベクトルとして識別する第1の予測動き情報インデックスを含み、前記動き情報復元手段が、前記第0の予測動き情報インデックスに基づいて第0の予測動きベクトルを生成し、生成した第0の予測動きベクトルと前記第0の差分動きベクトルとを加算して第0の動きベクトルを復元する第0の動き情報復元手段と、前記第1の予測動き情報インデックスに基づいて第1の予測動きベクトルを生成し、生成した第1の予測動きベクトルを第1の動きベクトルとして復元する第1の動き情報復元手段と、を含み、前記動き補償手段は、前記第0の動きベクトルと第1の動きベクトルとに基づいて前記既再生画像から取得される2つの信号を合成して前記対象領域の予測信号を生成し、前記復号手段は、さらに、画面あるいはスライス毎に、前記第1の付加情報が差分動きベクトルを含むか否かを指示する指示情報を復号し、前記指示情報が、前記第1の付加情報が第1の差分動きベクトルを含むことを示す場合には、前記第1の付加情報として差分動きベクトルを復号し、前記第1の動き情報復元手段は、前記指示情報が、第1の付加情報が第1の差分動きベクトルを含まないことを示すときは、前記第1の予測動き情報インデックスに基づいて第1の予測動きベクトルを生成し、生成した第1の予測動きベクトルを第1の動きベクトルとして復元し、前記指示情報が、第1の付加情報が差分ベクトルを含むことを示すときは、前記第1の予測動き情報インデックスに基づいて第1の予測動きベクトルを生成し、生成した第1の予測動きベクトルと復号した差分動きベクトルとを加算して第1の動きベクトルを生成して復元することを特徴とする。
本発明は、動画像予測符号化方法に係る発明、動画像予測復号方法に係る発明、動画像予測符号化プログラムに係る発明、動画像予測復号プログラムに係る発明として捉えることもでき、以下のように記述することができる。
本発明の一側面に係る動画像予測符号化方法は、動画像予測符号化装置により実行される動画像予測符号化方法であって、入力画像を複数の領域に分割する領域分割ステップと、前記領域分割ステップにより分割された領域のうち、符号化対象である対象領域との相関が高い信号を既再生画像から取得するための動きベクトルを決定する予測信号生成ステップと、前記動きベクトルを動き情報記録手段に保存する動き情報記録ステップと、前記対象領域の予測信号と前記対象領域の画素信号との残差信号を生成する残差信号生成ステップと、前記残差信号生成ステップにより生成された残差信号を圧縮する残差信号圧縮ステップと、前記残差信号の圧縮データを復元した再生残差信号を生成する残差信号復元ステップと、前記動き情報記録手段に保存された既再生の動きベクトルから選択された前記対象領域の動きベクトルに類似する予測動きベクトルと、前記対象領域の動きベクトルから決定される付加情報と、前記残差信号の圧縮データと、を符号化する符号化ステップと、前記予測信号と前記再生残差信号とを加算することによって前記対象領域の画素信号を復元し、復元された画素信号を前記既再生画像として画像記録手段に保存する画像記録ステップと、を具備し、前記動きベクトルは、第0の予測信号の生成に要する第0の動きベクトルと、第1の予測信号の生成に要する第1の動きベクトルと、を含んでおり、前記予測信号生成ステップが、前記第0の予測信号を取得するための第0の動きベクトルを推定すると共に、推定した第0の動きベクトルと類似する第0の予測動きベクトルを前記動き情報記録手段に保存されている複数の動きベクトルから選択し、選択した前記第0の予測動きベクトルを識別するための第0の予測動き情報インデックスと、前記第0の動きベクトル及び第0の予測動きベクトルから決定される差分動きベクトルと、を含む第0の付加情報を生成する第0の動き情報推定ステップと、前記動き情報記録手段に保存されている複数の動きベクトルから、対象領域との相関が高い第1の予測信号を生成する動きベクトルを選択し、選択した動きベクトルを第1の予測動きベクトルとして識別するための第1の予測動き情報インデックスを含む第1の付加情報を生成し、前記第1の予測動きベクトルを第1の動きベクトルに設定する第1の動き情報推定ステップと、前記第0の予測信号と前記第1の予測信号とを合成して対象領域の予測信号を生成する予測信号合成ステップと、を含み、前記第1の動き情報推定ステップにおいて、前記動画像予測符号化装置は、さらに、前記第1の予測信号を取得するための第2の動きベクトルを推定して、第2の動きベクトルを検出すると共に、推定した第2の動きベクトルと類似する第2の予測動きベクトルを前記動き情報記録手段に保存されている複数の動きベクトルから選択し、選択した前記第2の予測動きベクトルを識別するための第2の予測動き情報インデックスと、前記第2の動きベクトル及び前記第2の予測動きベクトルから決定される差分動きベクトルと、を含む第2の付加情報を生成し、前記予測信号生成ステップにおいて、前記動画像予測符号化装置は、前記画像記録手段に保存された複数の既再生画像が表示順ですべて符号化対象画像より過去の画像の場合には、前記第1の動きベクトルにて前記第1の予測信号を生成し、前記画像記録手段に保存された複数の既再生画像に表示順で符号化対象画像より未来の画像が含まれる場合には、前記第2の動きベクトルにて前記第1の予測信号を生成し、前記符号化ステップにおいて、前記動画像予測符号化装置は、前記画像記録手段に保存された複数の既再生画像が表示順ですべて符号化対象画像より過去の画像の場合には、画面あるいはスライス毎に、前記第1の付加情報が符号化されることを指示する指示情報を符号化し、前記画像記録手段に保存された複数の既再生画像に表示順で符号化対象画像より未来の画像が含まれる場合には、画面あるいはスライス毎に、前記第2の付加情報が符号化されることを指示する指示情報を符号化し、前記第0の付加情報と、前記指示情報に基づいて第1の付加情報あるいは第2の付加情報のいずれか一方とを各対象領域の付加情報として符号化する、ことを特徴とする。
本発明の一側面に係る動画像予測復号方法は、動画像予測復号装置により実行される動画像予測復号方法であって、複数の領域に分割して符号化された圧縮データの中から復号対象となる復号対象領域の付加情報と残差信号の圧縮データとを復号する復号ステップと、前記付加情報から前記対象領域の予測信号の生成に要する動きベクトルを復元する動き情報復元ステップと、前記動きベクトルを動き情報記録手段に保存する動き情報記録ステップと、前記動きベクトルに基づいて前記対象領域の予測信号を生成する動き補償ステップと、前記残差信号の圧縮データから前記対象領域の再生残差信号を復元する残差信号復元ステップと、前記予測信号と前記再生残差信号とを加算することによって前記復号対象領域の画素信号を復元し、復元された画素信号を既再生画像として保存する画像記録ステップと、を具備し、前記復号ステップにおいて、前記動画像予測復号装置は、第0の付加情報と第1の付加情報とを復号し、前記第0の付加情報は、第0の差分動きベクトルと、前記動き情報記録手段に格納されている複数の動きベクトルから選択された1つを第0の予測動きベクトルとして識別するための第0の予測動き情報インデックスと、を含み、前記第1の付加情報は、前記動き情報記録手段に格納されている複数の動きベクトルから選択された1つを第1の予測動きベクトルとして識別する第1の予測動き情報インデックスを含み、前記動き情報復元ステップが、前記第0の予測動き情報インデックスに基づいて第0の予測動きベクトルを生成し、生成した第0の予測動きベクトルと前記第0の差分動きベクトルとを加算して第0の動きベクトルを復元する第0の動き情報復元ステップと、前記第1の予測動き情報インデックスに基づいて第1の予測動きベクトルを生成し、生成した第1の予測動きベクトルを第1の動きベクトルとして復元する第1の動き情報復元ステップと、を含み、前記動き補償ステップにおいて、前記動画像予測復号装置は、前記第0の動きベクトルと第1の動きベクトルとに基づいて前記既再生画像から取得される2つの信号を合成して前記対象領域の予測信号を生成し、前記復号ステップにおいて、前記動画像予測復号装置は、さらに、画面あるいはスライス毎に、前記第1の付加情報が差分動きベクトルを含むか否かを指示する指示情報を復号し、前記指示情報が、前記第1の付加情報が第1の差分動きベクトルを含むことを示す場合には、前記動画像予測復号装置は、前記第1の付加情報として差分動きベクトルを復号し、前記第1の動き情報復元ステップにおいて、前記動画像予測復号装置は、前記指示情報が、第1の付加情報が第1の差分動きベクトルを含まないことを示すときは、前記第1の予測動き情報インデックスに基づいて第1の予測動きベクトルを生成し、生成した第1の予測動きベクトルを第1の動きベクトルとして復元し、前記指示情報が、第1の付加情報が差分ベクトルを含むことを示すときは、前記第1の予測動き情報インデックスに基づいて第1の予測動きベクトルを生成し、生成した第1の予測動きベクトルと復号した差分動きベクトルとを加算して第1の動きベクトルを生成して復元することを特徴とする。
本発明の一側面に係る動画像予測符号化プログラムは、コンピュータを、入力画像を複数の領域に分割する領域分割手段と、前記領域分割手段により分割された領域のうち、符号化対象である対象領域との相関が高い信号を既再生画像から取得するための動きベクトルを決定する予測信号生成手段と、前記動きベクトルを保存する動き情報記録手段と、前記対象領域の予測信号と前記対象領域の画素信号との残差信号を生成する残差信号生成手段と、前記残差信号生成手段により生成された残差信号を圧縮する残差信号圧縮手段と、前記残差信号の圧縮データを復元した再生残差信号を生成する残差信号復元手段と、前記動き情報記録手段に保存された既再生の動きベクトルから選択された前記対象領域の動きベクトルに類似する予測動きベクトルと、前記対象領域の動きベクトルから決定される付加情報と、前記残差信号の圧縮データと、を符号化する符号化手段と、前記予測信号と前記再生残差信号とを加算することによって前記対象領域の画素信号を復元し、復元された画素信号を前記既再生画像として保存する画像記録手段、として機能させるための動画像予測符号化プログラムであり、前記動きベクトルは、第0の予測信号の生成に要する第0の動きベクトルと、第1の予測信号の生成に要する第1の動きベクトルと、を含んでおり、前記予測信号生成手段が、前記第0の予測信号を取得するための第0の動きベクトルを推定すると共に、推定した第0の動きベクトルと類似する第0の予測動きベクトルを前記動き情報記録手段に保存されている複数の動きベクトルから選択し、選択した前記第0の予測動きベクトルを識別するための第0の予測動き情報インデックスと、前記第0の動きベクトル及び第0の予測動きベクトルから決定される差分動きベクトルと、を含む第0の付加情報を生成する第0の動き情報推定手段と、前記動き情報記録手段に保存されている複数の動きベクトルから、対象領域との相関が高い第1の予測信号を生成する動きベクトルを選択し、選択した動きベクトルを第1の予測動きベクトルとして識別するための第1の予測動き情報インデックスを含む第1の付加情報を生成し、前記第1の予測動きベクトルを第1の動きベクトルに設定する第1の動き情報推定手段と、前記第0の予測信号と前記第1の予測信号とを合成して対象領域の予測信号を生成する予測信号合成手段と、を含み、前記第1の動き情報推定手段が、さらに、前記第1の予測信号を取得するための第2の動きベクトルを推定して、第2の動きベクトルを検出すると共に、推定した第2の動きベクトルと類似する第2の予測動きベクトルを前記動き情報記録手段に保存されている複数の動きベクトルから選択し、選択した前記第2の予測動きベクトルを識別するための第2の予測動き情報インデックスと、前記第2の動きベクトル及び前記第2の予測動きベクトルから決定される差分動きベクトルと、を含む第2の付加情報を生成し、前記予測信号生成手段は、前記画像記録手段に保存された複数の既再生画像が表示順ですべて符号化対象画像より過去の画像の場合には、前記第1の動きベクトルにて前記第1の予測信号を生成し、前記画像記録手段に保存された複数の既再生画像に表示順で符号化対象画像より未来の画像が含まれる場合には、前記第2の動きベクトルにて前記第1の予測信号を生成し、前記符号化手段は、前記画像記録手段に保存された複数の既再生画像が表示順ですべて符号化対象画像より過去の画像の場合には、画面あるいはスライス毎に、前記第1の付加情報が符号化されることを指示する指示情報を符号化し、前記画像記録手段に保存された複数の既再生画像に表示順で符号化対象画像より未来の画像が含まれる場合には、画面あるいはスライス毎に、前記第2の付加情報が符号化されることを指示する指示情報を符号化し、前記第0の付加情報と、前記指示情報に基づいて第1の付加情報あるいは第2の付加情報のいずれか一方とを各対象領域の付加情報として符号化する、ことを特徴とする。
本発明の一側面に係る動画像予測復号プログラムは、コンピュータを、複数の領域に分割して符号化された圧縮データの中から復号対象となる復号対象領域の付加情報と残差信号の圧縮データとを復号する復号手段と、前記付加情報から前記対象領域の予測信号の生成に要する動きベクトルを復元する動き情報復元手段と、前記動きベクトルを保存する動き情報記録手段と、前記動きベクトルに基づいて前記対象領域の予測信号を生成する動き補償手段と、前記残差信号の圧縮データから前記対象領域の再生残差信号を復元する残差信号復元手段と、前記予測信号と前記再生残差信号とを加算することによって前記復号対象領域の画素信号を復元し、復元された画素信号を既再生画像として保存する画像記録手段、として機能させるための動画像予測復号プログラムであり、前記復号手段は、第0の付加情報と第1の付加情報とを復号し、前記第0の付加情報は、第0の差分動きベクトルと、前記動き情報記録手段に格納されている複数の動きベクトルから選択された1つを第0の予測動きベクトルとして識別するための第0の予測動き情報インデックスと、を含み、前記第1の付加情報は、前記動き情報記録手段に格納されている複数の動きベクトルから選択された1つを第1の予測動きベクトルとして識別する第1の予測動き情報インデックスを含み、前記動き情報復元手段が、前記第0の予測動き情報インデックスに基づいて第0の予測動きベクトルを生成し、生成した第0の予測動きベクトルと前記第0の差分動きベクトルとを加算して第0の動きベクトルを復元する第0の動き情報復元手段と、前記第1の予測動き情報インデックスに基づいて第1の予測動きベクトルを生成し、生成した第1の予測動きベクトルを第1の動きベクトルとして復元する第1の動き情報復元手段と、を含み、前記動き補償手段は、前記第0の動きベクトルと第1の動きベクトルとに基づいて前記既再生画像から取得される2つの信号を合成して前記対象領域の予測信号を生成し、前記復号手段は、さらに、画面あるいはスライス毎に、前記第1の付加情報が差分動きベクトルを含むか否かを指示する指示情報を復号し、前記指示情報が、前記第1の付加情報が第1の差分動きベクトルを含むことを示す場合には、前記第1の付加情報として差分動きベクトルを復号し、前記第1の動き情報復元手段は、前記指示情報が、第1の付加情報が第1の差分動きベクトルを含まないことを示すときは、前記第1の予測動き情報インデックスに基づいて第1の予測動きベクトルを生成し、生成した第1の予測動きベクトルを第1の動きベクトルとして復元し、前記指示情報が、第1の付加情報が差分ベクトルを含むことを示すときは、前記第1の予測動き情報インデックスに基づいて第1の予測動きベクトルを生成し、生成した第1の予測動きベクトルと復号した差分動きベクトルとを加算して第1の動きベクトルを生成して復元することを特徴とする。
別の態様として、動画像予測符号化装置は、入力画像を複数の領域に分割する領域分割手段と、前記領域分割手段により分割された領域のうち、符号化対象である対象領域との相関が高い信号を既再生画像から取得するための動きベクトルを決定する予測信号生成手段と、前記動きベクトルを保存する動き情報記録手段と、前記対象領域の予測信号と前記対象領域の画素信号との残差信号を生成する残差信号生成手段と、前記残差信号生成手段により生成された残差信号を圧縮する残差信号圧縮手段と、前記残差信号の圧縮データを復元した再生残差信号を生成する残差信号復元手段と、前記動き情報記録手段に保存された既再生の動きベクトルから選択された前記対象領域の動きベクトルに類似する予測動きベクトルと、前記対象領域の動きベクトルから決定される付加情報と、前記残差信号の圧縮データと、を符号化する符号化手段と、前記予測信号と前記再生残差信号とを加算することによって前記対象領域の画素信号を復元し、復元された画素信号を前記既再生画像として保存する画像記録手段と、を具備し、前記動きベクトルは、第0の予測信号の生成に要する第0の動きベクトルと、第1の予測信号の生成に要する第1の動きベクトルと、を含んでおり、前記予測信号生成手段が、前記第0の予測信号を取得するための第0の動きベクトルを推定すると共に、前記動き情報記録手段に保存されている複数の動きベクトルから選択される動きベクトルを用いて、前記推定した第0の動きベクトルと類似する第0の予測動きベクトルを生成し、生成した第0の予測動きベクトルを識別するための第0の予測動き情報インデックスと、前記第0の動きベクトル及び第0の予測動きベクトルから決定される差分動きベクトルと、を含む第0の付加情報を生成する第0の動き情報推定手段と、前記動き情報記録手段に保存されている複数の動きベクトルから選択される動きベクトルを用いて、対象領域との相関が高い第1の予測信号を生成する第1の予測動きベクトルを生成し、生成した第1の予測動きベクトルを識別するための第1の予測動き情報インデックスを含む第1の付加情報を生成し、前記第1の予測動きベクトルを第1の動きベクトルに設定する第1の動き情報推定手段と、前記第0の予測信号と前記第1の予測信号とを合成して対象領域の予測信号を生成する予測信号合成手段と、を含み、前記第1の動き情報推定手段が、さらに、前記第1の予測信号を取得するための第2の動きベクトルを推定して、第2の動きベクトルを検出すると共に、推定した第2の動きベクトルと類似する第2の予測動きベクトルを前記動き情報記録手段に保存されている複数の動きベクトルから選択し、選択した前記予測動きベクトルを識別するための第2の予測動き情報インデックスと、前記第2の動きベクトル及び前記第2の予測動きベクトルから決定される差分動きベクトルと、を含む第2の付加情報を生成し、前記予測信号生成手段は、前記画像記録手段に保存された複数の既再生画像が表示順ですべて符号化対象画像より過去の画像の場合には、前記第1の動きベクトルにて前記第1の予測信号を生成し、前記画像記録手段に保存された複数の既再生画像に表示順で符号化対象画像より未来の画像が含まれる場合には、前記第2の動きベクトルにて前記第1の予測信号を生成し、前記符号化手段は、前記画像記録手段に保存された複数の既再生画像が表示順ですべて符号化対象画像より過去の画像の場合には、画面あるいはスライス毎に、前記第1の付加情報が符号化されることを指示する指示情報を符号化し、前記画像記録手段に保存された複数の既再生画像に表示順で符号化対象画像より未来の画像が含まれる場合には、画面あるいはスライス毎に、前記第2の付加情報が符号化されることを指示する指示情報を符号化し、前記第0の付加情報と、前記指示情報に基づいて第1の付加情報あるいは第2の付加情報のいずれか一方とを各対象領域の付加情報として符号化してもよい。
なお、上記の符号化手段は、前記指示情報を画面あるいはスライスのヘッダに含めて符号化してもよい。
別の態様として、動画像予測復号装置は、複数の領域に分割して符号化された圧縮データの中から復号対象となる復号対象領域の付加情報と残差信号の圧縮データとを復号する復号手段と、前記付加情報から前記対象領域の予測信号の生成に要する動きベクトルを復元する動き情報復元手段と、前記動きベクトルを保存する動き情報記録手段と、前記動きベクトルに基づいて前記対象領域の予測信号を生成する動き補償手段と、前記残差信号の圧縮データから前記対象領域の再生残差信号を復元する残差信号復元手段と、前記予測信号と前記再生残差信号とを加算することによって前記復号対象領域の画素信号を復元し、復元された画素信号を既再生画像として保存する画像記録手段と、を具備し、前記復号手段は、第0の付加情報と第1の付加情報とを復号し、前記第0の付加情報は、第0の差分動きベクトルと、前記動き情報記録手段に格納されている複数の動きベクトルから選択された1つを第0の予測動きベクトルとして識別するための第0の予測動き情報インデックスと、を含み、前記第1の付加情報は、前記動き情報記録手段に格納されている複数の動きベクトルから選択された1つを第1の予測動きベクトルとして識別する第1の予測動き情報インデックスを含み、前記動き情報復元手段が、前記第0の予測動き情報インデックスに基づいて前記動き情報記録手段に格納されている複数の動きベクトルから選択される動きベクトルを用いて第0の予測動きベクトルを生成し、生成した第0の予測動きベクトルと前記第0の差分動きベクトルとを加算して第0の動きベクトルを復元する第0の動き情報復元手段と、前記第1の予測動き情報インデックスに基づいて前記動き情報記録手段に格納されている複数の動きベクトルから選択される動きベクトルを用いて第1の予測動きベクトルを生成し、生成した第1の予測動きベクトルを第1の動きベクトルとして復元する第1の動き情報復元手段と、を含み、前記動き補償手段は、前記第0の動きベクトルと第1の動きベクトルとに基づいて前記既再生画像からそれぞれ取得される2つの信号を合成して前記対象領域の予測信号を生成し、前記復号手段は、さらに、画面あるいはスライス毎に、前記第1の付加情報が差分動きベクトルを含むか否かを指示する指示情報を復号し、前記指示情報が、前記第1の付加情報が第1の差分動きベクトルを含まないことを示す場合には、前記第1の付加情報として第1の予測動き情報インデックスを復号し、前記指示情報が、前記第1の付加情報が第1の差分動きベクトルを含むことを示す場合には、前記第1の付加情報として差分動きベクトルと第1の予測動き情報インデックスとを復号し、前記第1の動き情報復元手段は、前記指示情報が、第1の付加情報が第1の差分動きベクトルを含まないことを示すときは、前記第1の予測動き情報インデックスに基づいて前記動き情報記録手段に格納されている複数の動きベクトルから選択される動きベクトルを用いて第1の予測動きベクトルを生成し、生成した第1の予測動きベクトルを第1の動きベクトルとして復元し、前記指示情報が、第1の付加情報が第1の差分ベクトルを含むことを示すときは、前記第1の予測動き情報インデックスに基づいて第1の予測動きベクトルを生成し、生成した第1の予測動きベクトルと復号した差分動きベクトルとを加算して第1の動きベクトルを復元してもよい。
なお、上記の復号手段は、画面あるいはスライスのヘッダに含まれる前記指示情報を復号してもよい。
別の態様として、動画像予測符号化方法は、動画像予測符号化装置により実行される動画像予測符号化方法であって、入力画像を複数の領域に分割する領域分割ステップと、前記領域分割ステップにより分割された領域のうち、符号化対象である対象領域との相関が高い信号を既再生画像から取得するための動きベクトルを決定する予測信号生成ステップと、前記動きベクトルを動き情報記録手段に保存する動き情報記録ステップと、前記対象領域の予測信号と前記対象領域の画素信号との残差信号を生成する残差信号生成ステップと、前記残差信号生成ステップにより生成された残差信号を圧縮する残差信号圧縮ステップと、前記残差信号の圧縮データを復元した再生残差信号を生成する残差信号復元ステップと、前記動き情報記録手段に保存された既再生の動きベクトルから選択された前記対象領域の動きベクトルに類似する予測動きベクトルと、前記対象領域の動きベクトルから決定される付加情報と、前記残差信号の圧縮データと、を符号化する符号化ステップと、前記予測信号と前記再生残差信号とを加算することによって前記対象領域の画素信号を復元し、復元された画素信号を前記既再生画像として画像記録手段に保存する画像記録ステップと、を具備し、前記動きベクトルは、第0の予測信号の生成に要する第0の動きベクトルと、第1の予測信号の生成に要する第1の動きベクトルと、を含んでおり、前記予測信号生成ステップが、前記第0の予測信号を取得するための第0の動きベクトルを推定すると共に、前記動き情報記録手段に保存されている複数の動きベクトルから選択される動きベクトルを用いて、前記推定した第0の動きベクトルと類似する第0の予測動きベクトルを生成し、生成した第0の予測動きベクトルを識別するための第0の予測動き情報インデックスと、前記第0の動きベクトル及び第0の予測動きベクトルから決定される差分動きベクトルと、を含む第0の付加情報を生成する第0の動き情報推定ステップと、前記動き情報記録手段に保存されている複数の動きベクトルから選択される動きベクトルを用いて、対象領域との相関が高い第1の予測信号を生成する第1の予測動きベクトルを生成し、生成した第1の予測動きベクトルを識別するための第1の予測動き情報インデックスを含む第1の付加情報を生成し、前記第1の予測動きベクトルを第1の動きベクトルに設定する第1の動き情報推定ステップと、前記第0の予測信号と前記第1の予測信号とを合成して対象領域の予測信号を生成する予測信号合成ステップと、を含み、前記第1の動き情報推定ステップにおいて、前記動画像予測符号化装置は、さらに、前記第1の予測信号を取得するための第2の動きベクトルを推定して、第2の動きベクトルを検出すると共に、推定した第2の動きベクトルと類似する第2の予測動きベクトルを前記動き情報記録手段に保存されている複数の動きベクトルから選択し、選択した前記予測動きベクトルを識別するための第2の予測動き情報インデックスと、前記第2の動きベクトル及び前記第2の予測動きベクトルから決定される差分動きベクトルと、を含む第2の付加情報を生成し、前記予測信号生成ステップにおいて、前記動画像予測符号化装置は、前記画像記録手段に保存された複数の既再生画像が表示順ですべて符号化対象画像より過去の画像の場合には、前記第1の動きベクトルにて前記第1の予測信号を生成し、前記画像記録手段に保存された複数の既再生画像に表示順で符号化対象画像より未来の画像が含まれる場合には、前記第2の動きベクトルにて前記第1の予測信号を生成し、前記符号化ステップにおいて、前記動画像予測符号化装置は、前記画像記録手段に保存された複数の既再生画像が表示順ですべて符号化対象画像より過去の画像の場合には、画面あるいはスライス毎に、前記第1の付加情報が符号化されることを指示する指示情報を符号化し、前記画像記録手段に保存された複数の既再生画像に表示順で符号化対象画像より未来の画像が含まれる場合には、画面あるいはスライス毎に、前記第2の付加情報が符号化されることを指示する指示情報を符号化し、前記第0の付加情報と、前記指示情報に基づいて第1の付加情報あるいは第2の付加情報のいずれか一方とを各対象領域の付加情報として符号化してもよい。
なお、上記の符号化ステップにおいて、前記動画像予測符号化装置は、前記指示情報を画面あるいはスライスのヘッダに含めて符号化してもよい。
別の態様として、動画像予測復号方法は、動画像予測復号装置により実行される動画像予測復号方法であって、複数の領域に分割して符号化された圧縮データの中から復号対象となる復号対象領域の付加情報と残差信号の圧縮データとを復号する復号ステップと、前記付加情報から前記対象領域の予測信号の生成に要する動きベクトルを復元する動き情報復元ステップと、前記動きベクトルを動き情報記録手段に保存する動き情報記録ステップと、前記動きベクトルに基づいて前記対象領域の予測信号を生成する動き補償ステップと、前記残差信号の圧縮データから前記対象領域の再生残差信号を復元する残差信号復元ステップと、前記予測信号と前記再生残差信号とを加算することによって前記復号対象領域の画素信号を復元し、復元された画素信号を既再生画像として保存する画像記録ステップと、を具備し、前記復号ステップにおいて、前記動画像予測復号装置は、第0の付加情報と第1の付加情報とを復号し、前記第0の付加情報は、第0の差分動きベクトルと、前記動き情報記録手段に格納されている複数の動きベクトルから選択された1つを第0の予測動きベクトルとして識別するための第0の予測動き情報インデックスと、を含み、前記第1の付加情報は、前記動き情報記録手段に格納されている複数の動きベクトルから選択された1つを第1の予測動きベクトルとして識別する第1の予測動き情報インデックスを含み、前記動き情報復元ステップが、前記第0の予測動き情報インデックスに基づいて前記動き情報記録手段に格納されている複数の動きベクトルから選択される動きベクトルを用いて第0の予測動きベクトルを生成し、生成した第0の予測動きベクトルと前記第0の差分動きベクトルとを加算して第0の動きベクトルを復元する第0の動き情報復元ステップと、前記第1の予測動き情報インデックスに基づいて前記動き情報記録手段に格納されている複数の動きベクトルから選択される動きベクトルを用いて第1の予測動きベクトルを生成し、生成した第1の予測動きベクトルを第1の動きベクトルとして復元する第1の動き情報復元ステップと、を含み、前記動き補償ステップにおいて、前記動画像予測復号装置は、前記第0の動きベクトルと第1の動きベクトルとに基づいて前記既再生画像からそれぞれ取得される2つの信号を合成して前記対象領域の予測信号を生成し、前記復号ステップにおいて、前記動画像予測復号装置は、さらに、画面あるいはスライス毎に、前記第1の付加情報が差分動きベクトルを含むか否かを指示する指示情報を復号し、前記指示情報が、前記第1の付加情報が第1の差分動きベクトルを含まないことを示す場合には、前記動画像予測復号装置は、前記第1の付加情報として第1の予測動き情報インデックスを復号し、前記指示情報が、前記第1の付加情報が第1の差分動きベクトルを含むことを示す場合には、前記動画像予測復号装置は、前記第1の付加情報として差分動きベクトルと第1の予測動き情報インデックスとを復号し、前記第1の動き情報復元ステップにおいて、前記動画像予測復号装置は、前記指示情報が、第1の付加情報が第1の差分動きベクトルを含まないことを示すときは、前記第1の予測動き情報インデックスに基づいて前記動き情報記録手段に格納されている複数の動きベクトルから選択される動きベクトルを用いて第1の予測動きベクトルを生成し、生成した第1の予測動きベクトルを第1の動きベクトルとして復元し、前記指示情報が、第1の付加情報が第1の差分ベクトルを含むことを示すときは、前記第1の予測動き情報インデックスに基づいて第1の予測動きベクトルを生成し、生成した第1の予測動きベクトルと復号した差分動きベクトルとを加算して第1の動きベクトルを復元してもよい。
なお、上記の復号ステップにおいて、前記動画像予測復号装置は、画面あるいはスライスのヘッダに含まれる前記指示情報を復号してもよい。
別の態様として、動画像予測符号化プログラムは、コンピュータを、入力画像を複数の領域に分割する領域分割手段と、前記領域分割手段により分割された領域のうち、符号化対象である対象領域との相関が高い信号を既再生画像から取得するための動きベクトルを決定する予測信号生成手段と、前記動きベクトルを保存する動き情報記録手段と、前記対象領域の予測信号と前記対象領域の画素信号との残差信号を生成する残差信号生成手段と、前記残差信号生成手段により生成された残差信号を圧縮する残差信号圧縮手段と、前記残差信号の圧縮データを復元した再生残差信号を生成する残差信号復元手段と、前記動き情報記録手段に保存された既再生の動きベクトルから選択された前記対象領域の動きベクトルに類似する予測動きベクトルと、前記対象領域の動きベクトルから決定される付加情報と、前記残差信号の圧縮データと、を符号化する符号化手段と、前記予測信号と前記再生残差信号とを加算することによって前記対象領域の画素信号を復元し、復元された画素信号を前記既再生画像として保存する画像記録手段、として機能させるための動画像予測符号化プログラムであり、前記動きベクトルは、第0の予測信号の生成に要する第0の動きベクトルと、第1の予測信号の生成に要する第1の動きベクトルと、を含んでおり、前記予測信号生成手段が、前記第0の予測信号を取得するための第0の動きベクトルを推定すると共に、前記動き情報記録手段に保存されている複数の動きベクトルから選択される動きベクトルを用いて、前記推定した第0の動きベクトルと類似する第0の予測動きベクトルを生成し、生成した第0の予測動きベクトルを識別するための第0の予測動き情報インデックスと、前記第0の動きベクトル及び第0の予測動きベクトルから決定される差分動きベクトルと、を含む第0の付加情報を生成する第0の動き情報推定手段と、前記動き情報記録手段に保存されている複数の動きベクトルから選択される動きベクトルを用いて、対象領域との相関が高い第1の予測信号を生成する第1の予測動きベクトルを生成し、生成した第1の予測動きベクトルを識別するための第1の予測動き情報インデックスを含む第1の付加情報を生成し、前記第1の予測動きベクトルを第1の動きベクトルに設定する第1の動き情報推定手段と、前記第0の予測信号と前記第1の予測信号とを合成して対象領域の予測信号を生成する予測信号合成手段と、を含み、前記第1の動き情報推定手段が、さらに、前記第1の予測信号を取得するための第2の動きベクトルを推定して、第2の動きベクトルを検出すると共に、推定した第2の動きベクトルと類似する第2の予測動きベクトルを前記動き情報記録手段に保存されている複数の動きベクトルから選択し、選択した前記予測動きベクトルを識別するための第2の予測動き情報インデックスと、前記第2の動きベクトル及び前記第2の予測動きベクトルから決定される差分動きベクトルと、を含む第2の付加情報を生成し、前記予測信号生成手段は、前記画像記録手段に保存された複数の既再生画像が表示順ですべて符号化対象画像より過去の画像の場合には、前記第1の動きベクトルにて前記第1の予測信号を生成し、前記画像記録手段に保存された複数の既再生画像に表示順で符号化対象画像より未来の画像が含まれる場合には、前記第2の動きベクトルにて前記第1の予測信号を生成し、前記符号化手段は、前記画像記録手段に保存された複数の既再生画像が表示順ですべて符号化対象画像より過去の画像の場合には、画面あるいはスライス毎に、前記第1の付加情報が符号化されることを指示する指示情報を符号化し、前記画像記録手段に保存された複数の既再生画像に表示順で符号化対象画像より未来の画像が含まれる場合には、画面あるいはスライス毎に、前記第2の付加情報が符号化されることを指示する指示情報を符号化し、前記第0の付加情報と、前記指示情報に基づいて第1の付加情報あるいは第2の付加情報のいずれか一方とを各対象領域の付加情報として符号化してもよい。
なお、上記の符号化手段は、前記指示情報を画面あるいはスライスのヘッダに含めて符号化してもよい。
別の態様として、動画像予測復号プログラムは、コンピュータを、複数の領域に分割して符号化された圧縮データの中から復号対象となる復号対象領域の付加情報と残差信号の圧縮データとを復号する復号手段と、前記付加情報から前記対象領域の予測信号の生成に要する動きベクトルを復元する動き情報復元手段と、前記動きベクトルを保存する動き情報記録手段と、前記動きベクトルに基づいて前記対象領域の予測信号を生成する動き補償手段と、前記残差信号の圧縮データから前記対象領域の再生残差信号を復元する残差信号復元手段と、前記予測信号と前記再生残差信号とを加算することによって前記復号対象領域の画素信号を復元し、復元された画素信号を既再生画像として保存する画像記録手段、として機能させるための動画像予測復号プログラムであり、前記復号手段は、第0の付加情報と第1の付加情報とを復号し、前記第0の付加情報は、第0の差分動きベクトルと、前記動き情報記録手段に格納されている複数の動きベクトルから選択された1つを第0の予測動きベクトルとして識別するための第0の予測動き情報インデックスと、を含み、前記第1の付加情報は、前記動き情報記録手段に格納されている複数の動きベクトルから選択された1つを第1の予測動きベクトルとして識別する第1の予測動き情報インデックスを含み、前記動き情報復元手段が、前記第0の予測動き情報インデックスに基づいて前記動き情報記録手段に格納されている複数の動きベクトルから選択される動きベクトルを用いて第0の予測動きベクトルを生成し、生成した第0の予測動きベクトルと前記第0の差分動きベクトルとを加算して第0の動きベクトルを復元する第0の動き情報復元手段と、前記第1の予測動き情報インデックスに基づいて前記動き情報記録手段に格納されている複数の動きベクトルから選択される動きベクトルを用いて第1の予測動きベクトルを生成し、生成した第1の予測動きベクトルを第1の動きベクトルとして復元する第1の動き情報復元手段と、を含み、前記動き補償手段は、前記第0の動きベクトルと第1の動きベクトルとに基づいて前記既再生画像からそれぞれ取得される2つの信号を合成して前記対象領域の予測信号を生成し、前記復号手段は、さらに、画面あるいはスライス毎に、前記第1の付加情報が差分動きベクトルを含むか否かを指示する指示情報を復号し、前記指示情報が、前記第1の付加情報が第1の差分動きベクトルを含まないことを示す場合には、前記第1の付加情報として第1の予測動き情報インデックスを復号し、前記指示情報が、前記第1の付加情報が第1の差分動きベクトルを含むことを示す場合には、前記第1の付加情報として差分動きベクトルと第1の予測動き情報インデックスとを復号し、前記第1の動き情報復元手段は、前記指示情報が、第1の付加情報が第1の差分動きベクトルを含まないことを示すときは、前記第1の予測動き情報インデックスに基づいて前記動き情報記録手段に格納されている複数の動きベクトルから選択される動きベクトルを用いて第1の予測動きベクトルを生成し、生成した第1の予測動きベクトルを第1の動きベクトルとして復元し、前記指示情報が、第1の付加情報が第1の差分ベクトルを含むことを示すときは、前記第1の予測動き情報インデックスに基づいて第1の予測動きベクトルを生成し、生成した第1の予測動きベクトルと復号した差分動きベクトルとを加算して第1の動きベクトルを復元してもよい。
なお、上記の復号手段は、画面あるいはスライスのヘッダに含まれる前記指示情報を復号してもよい。
別の態様として、動画像予測符号化装置は、入力画像を複数の領域に分割する領域分割手段と、前記領域分割手段により分割された領域のうち、符号化対象である対象領域との相関が高い信号を既再生画像から取得するための動きベクトルを決定する予測信号生成手段と、前記動きベクトルを保存する動き情報記録手段と、前記対象領域の予測信号と前記対象領域の画素信号との残差信号を生成する残差信号生成手段と、前記残差信号生成手段により生成された残差信号を圧縮する残差信号圧縮手段と、前記残差信号の圧縮データを復元した再生残差信号を生成する残差信号復元手段と、前記動き情報記録手段に保存された既再生の動きベクトルから選択された前記対象領域の動きベクトルに類似する予測動きベクトルと、前記対象領域の動きベクトルから決定される付加情報と、前記残差信号の圧縮データと、を符号化する符号化手段と、前記予測信号と前記再生残差信号とを加算することによって前記対象領域の画素信号を復元し、復元された画素信号を前記既再生画像として保存する画像記録手段と、を具備し、前記動きベクトルは、第0の予測信号の生成に要する第0の動きベクトルと、第1の予測信号の生成に要する第1の動きベクトルと、を含んでおり、前記予測信号生成手段が、前記第0の予測信号を取得するための第0の動きベクトルを推定すると共に、前記動き情報記録手段に保存されている複数の動きベクトルから選択される動きベクトルを用いて、前記推定した第0の動きベクトルと類似する第0の予測動きベクトルを生成し、生成した第0の予測動きベクトルを識別するための第0の予測動き情報インデックスと、前記第0の動きベクトル及び第0の予測動きベクトルから決定される差分動きベクトルと、を含む第0の付加情報を生成する第0の動き情報推定手段と、前記動き情報記録手段に保存されている複数の動きベクトルから選択される動きベクトルを用いて、対象領域との相関が高い第1の予測信号を生成する第1の予測動きベクトルを生成し、生成した第1の予測動きベクトルを識別するための第1の予測動き情報インデックスを含む第1の付加情報を生成し、前記第1の予測動きベクトルを第1の動きベクトルに設定する第1の動き情報推定手段と、前記第0の予測信号と前記第1の予測信号とを合成して対象領域の予測信号を生成する予測信号合成手段と、を含んでもよい。
ここで、前記第0の付加情報は、前記第0の予測信号の生成に係る参照画面を識別するための参照画面インデックス、をさらに含み、前記第1の付加情報は、前記第1の予測信号の生成に係る参照画面を識別するための参照画面インデックス、をさらに含み、前記動き情報記録手段は、前記第0の予測信号の生成に係る参照画面を識別するための参照画面インデックスと、前記第1の予測信号の生成に係る参照画面を識別するための参照画面インデックスとをさらに保存し、前記第0の予測動き情報インデックスは、さらに前記動き情報記録手段に保存されている複数の参照画面インデックスから第0の予測動きベクトルと共に第0の予測参照画面インデックスを識別し、前記第1の予測動き情報インデックスは、さらに前記動き情報記録手段に保存されている複数の参照画面インデックスから第1の予測動きベクトルと共に第1の予測参照画面インデックスを識別し、前記第0の動き情報復元手段は、前記第0の付加情報に含まれる参照画面インデックスと前記第0の予測参照画面インデックスとをさらに基礎として、前記第0の予測動き情報インデックスに基づいて前記動き情報記録手段から選択される動きベクトルを用いて前記第0の予測動きベクトルを生成し、前記第1の動き情報復元手段は、前記第1の付加情報に含まれる参照画面インデックスと前記第1の予測参照画面インデックスとをさらに基礎として、前記第1の予測動き情報インデックスに基づいて前記動き情報記録手段から選択される動きベクトルを用いて前記第1の予測動きベクトルを生成してもよい。
別の態様として、動画像予測復号装置は、複数の領域に分割して符号化された圧縮データの中から復号対象となる復号対象領域の付加情報と残差信号の圧縮データとを復号する復号手段と、前記付加情報から前記対象領域の予測信号の生成に要する動きベクトルを復元する動き情報復元手段と、前記動きベクトルを保存する動き情報記録手段と、前記動きベクトルに基づいて前記対象領域の予測信号を生成する動き補償手段と、前記残差信号の圧縮データから前記対象領域の再生残差信号を復元する残差信号復元手段と、前記予測信号と前記再生残差信号とを加算することによって前記復号対象領域の画素信号を復元し、復元された画素信号を既再生画像として保存する画像記録手段と、を具備し、前記復号手段は、第0の付加情報と第1の付加情報とを復号し、前記第0の付加情報は、第0の差分動きベクトルと、前記動き情報記録手段に格納されている複数の動きベクトルから選択された1つを第0の予測動きベクトルとして識別するための第0の予測動き情報インデックスと、を含み、前記第1の付加情報は、前記動き情報記録手段に格納されている複数の動きベクトルから選択された1つを第1の予測動きベクトルとして識別する第1の予測動き情報インデックスを含み、前記動き情報復元手段が、前記第0の予測動き情報インデックスに基づいて前記動き情報記録手段に格納されている複数の動きベクトルから選択される動きベクトルを用いて第0の予測動きベクトルを生成し、生成した第0の予測動きベクトルと前記第0の差分動きベクトルとを加算して第0の動きベクトルを復元する第0の動き情報復元手段と、前記第1の予測動き情報インデックスに基づいて前記動き情報記録手段に格納されている複数の動きベクトルから選択される動きベクトルを用いて第1の予測動きベクトルを生成し、生成した第1の予測動きベクトルを第1の動きベクトルとして復元する第1の動き情報復元手段と、を含み、前記動き補償手段は、前記第0の動きベクトルと第1の動きベクトルとに基づいて前記既再生画像からそれぞれ取得される2つの信号を合成して前記対象領域の予測信号を生成してもよい。
ここで、前記第0の付加情報は、第0の予測信号の生成に係る参照画面を識別するための参照画面インデックス、をさらに含み、前記第1の付加情報は、第1の予測信号の生成に係る参照画面を識別するための参照画面インデックス、をさらに含み、前記動き情報記録手段は、前記第0の予測信号の生成に係る参照画面を識別するための参照画面インデックスと、前記第1の予測信号の生成に係る参照画面を識別するための参照画面インデックスとをさらに保存し、前記第0の予測動き情報インデックスは、さらに前記動き情報記録手段に保存されている複数の参照画面インデックスから第0の予測動きベクトルと共に第0の予測参照画面インデックスを識別し、前記第1の予測動き情報インデックスは、さらに前記動き情報記録手段に保存されている複数の参照画面インデックスから第1の予測動きベクトルと共に第1の予測参照画面インデックスを識別し、前記第0の動き情報復元手段は、前記第0の付加情報に含まれる参照画面インデックスと前記第0の予測参照画面インデックスとをさらに基礎として、前記第0の予測動き情報インデックスに基づいて前記動き情報記録手段から選択される動きベクトルを用いて前記第0の予測動きベクトルを生成し、前記第1の動き情報復元手段は、前記第1の付加情報に含まれる参照画面インデックスと前記第1の予測参照画面インデックスとをさらに基礎として、前記第1の予測動き情報インデックスに基づいて前記動き情報記録手段から選択される動きベクトルを用いて前記第1の予測動きベクトルを生成してもよい。
別の態様として、動画像予測符号化方法は、動画像予測符号化装置により実行される動画像予測符号化方法であって、入力画像を複数の領域に分割する領域分割ステップと、前記領域分割ステップにより分割された領域のうち、符号化対象である対象領域との相関が高い信号を既再生画像から取得するための動きベクトルを決定する予測信号生成ステップと、前記動きベクトルを動き情報記録手段に保存する動き情報記録ステップと、前記対象領域の予測信号と前記対象領域の画素信号との残差信号を生成する残差信号生成ステップと、前記残差信号生成ステップにより生成された残差信号を圧縮する残差信号圧縮ステップと、前記残差信号の圧縮データを復元した再生残差信号を生成する残差信号復元ステップと、前記動き情報記録手段に保存された既再生の動きベクトルから選択された前記対象領域の動きベクトルに類似する予測動きベクトルと、前記対象領域の動きベクトルから決定される付加情報と、前記残差信号の圧縮データと、を符号化する符号化ステップと、前記予測信号と前記再生残差信号とを加算することによって前記対象領域の画素信号を復元し、復元された画素信号を前記既再生画像として画像記録手段に保存する画像記録ステップと、を具備し、前記動きベクトルは、第0の予測信号の生成に要する第0の動きベクトルと、第1の予測信号の生成に要する第1の動きベクトルと、を含んでおり、前記予測信号生成ステップが、前記第0の予測信号を取得するための第0の動きベクトルを推定すると共に、前記動き情報記録手段に保存されている複数の動きベクトルから選択される動きベクトルを用いて、前記推定した第0の動きベクトルと類似する第0の予測動きベクトルを生成し、生成した第0の予測動きベクトルを識別するための第0の予測動き情報インデックスと、前記第0の動きベクトル及び第0の予測動きベクトルから決定される差分動きベクトルと、を含む第0の付加情報を生成する第0の動き情報推定ステップと、前記動き情報記録手段に保存されている複数の動きベクトルから選択される動きベクトルを用いて、対象領域との相関が高い第1の予測信号を生成する第1の予測動きベクトルを生成し、生成した第1の予測動きベクトルを識別するための第1の予測動き情報インデックスを含む第1の付加情報を生成し、前記第1の予測動きベクトルを第1の動きベクトルに設定する第1の動き情報推定ステップと、前記第0の予測信号と前記第1の予測信号とを合成して対象領域の予測信号を生成する予測信号合成ステップと、を含んでもよい。
ここで、前記第0の動き情報推定ステップにおいて、前記動画像予測符号化装置は、前記第0の予測信号の生成に係る参照画面を識別するための参照画面インデックスをさらに含んだ前記第0の付加情報を生成し、前記第1の動き情報推定ステップにおいて、前記動画像予測符号化装置は、前記第1の予測信号の生成に係る参照画面を識別するための参照画面インデックスをさらに含んだ前記第1の付加情報を生成し、前記動き情報記録ステップにおいて、前記動画像予測符号化装置は、前記第0の予測信号の生成に係る参照画面を識別するための参照画面インデックスと、前記第1の予測信号の生成に係る参照画面を識別するための参照画面インデックスとをさらに前記動き情報記録手段に保存し、前記第0の予測動き情報インデックスは、さらに前記動き情報記録手段に保存されている複数の参照画面インデックスから第0の予測動きベクトルと共に第0の予測参照画面インデックスを識別し、前記第1の予測動き情報インデックスは、さらに前記動き情報記録手段に保存されている複数の参照画面インデックスから第1の予測動きベクトルと共に第1の予測参照画面インデックスを識別してもよい。
別の態様として、動画像予測復号方法は、動画像予測復号装置により実行される動画像予測復号方法であって、複数の領域に分割して符号化された圧縮データの中から復号対象となる復号対象領域の付加情報と残差信号の圧縮データとを復号する復号ステップと、前記付加情報から前記対象領域の予測信号の生成に要する動きベクトルを復元する動き情報復元ステップと、前記動きベクトルを動き情報記録手段に保存する動き情報記録ステップと、前記動きベクトルに基づいて前記対象領域の予測信号を生成する動き補償ステップと、前記残差信号の圧縮データから前記対象領域の再生残差信号を復元する残差信号復元ステップと、前記予測信号と前記再生残差信号とを加算することによって前記復号対象領域の画素信号を復元し、復元された画素信号を既再生画像として保存する画像記録ステップと、を具備し、前記復号ステップにおいて、前記動画像予測復号装置は、第0の付加情報と第1の付加情報とを復号し、前記第0の付加情報は、第0の差分動きベクトルと、前記動き情報記録手段に格納されている複数の動きベクトルから選択された1つを第0の予測動きベクトルとして識別するための第0の予測動き情報インデックスと、を含み、前記第1の付加情報は、前記動き情報記録手段に格納されている複数の動きベクトルから選択された1つを第1の予測動きベクトルとして識別する第1の予測動き情報インデックスを含み、前記動き情報復元ステップが、前記第0の予測動き情報インデックスに基づいて前記動き情報記録手段に格納されている複数の動きベクトルから選択される動きベクトルを用いて第0の予測動きベクトルを生成し、生成した第0の予測動きベクトルと前記第0の差分動きベクトルとを加算して第0の動きベクトルを復元する第0の動き情報復元ステップと、前記第1の予測動き情報インデックスに基づいて前記動き情報記録手段に格納されている複数の動きベクトルから選択される動きベクトルを用いて第1の予測動きベクトルを生成し、生成した第1の予測動きベクトルを第1の動きベクトルとして復元する第1の動き情報復元ステップと、を含み、前記動き補償ステップにおいて、前記動画像予測復号装置は、前記第0の動きベクトルと第1の動きベクトルとに基づいて前記既再生画像からそれぞれ取得される2つの信号を合成して前記対象領域の予測信号を生成してもよい。
ここで、前記第0の付加情報は、第0の予測信号の生成に係る参照画面を識別するための参照画面インデックス、をさらに含み、前記第1の付加情報は、第1の予測信号の生成に係る参照画面を識別するための参照画面インデックス、をさらに含み、前記動き情報記録ステップにおいて、前記動画像予測復号装置は、前記第0の予測信号の生成に係る参照画面を識別するための参照画面インデックスと、前記第1の予測信号の生成に係る参照画面を識別するための参照画面インデックスとをさらに前記動き情報記録手段に保存し、前記第0の予測動き情報インデックスは、さらに前記動き情報記録手段に保存されている複数の参照画面インデックスから第0の予測動きベクトルと共に第0の予測参照画面インデックスを識別し、前記第1の予測動き情報インデックスは、さらに前記動き情報記録手段に保存されている複数の参照画面インデックスから第1の予測動きベクトルと共に第1の予測参照画面インデックスを識別し、前記第0の動き情報復元ステップにおいて、前記動画像予測復号装置は、前記第0の付加情報に含まれる参照画面インデックスと前記第0の予測参照画面インデックスとをさらに基礎として、前記第0の予測動き情報インデックスに基づいて前記動き情報記録手段から選択される動きベクトルを用いて前記第0の予測動きベクトルを生成し、前記第1の動き情報復元ステップにおいて、前記動画像予測復号装置は、前記第1の付加情報に含まれる参照画面インデックスと前記第1の予測参照画面インデックスとをさらに基礎として、前記第1の予測動き情報インデックスに基づいて前記動き情報記録手段から選択される動きベクトルを用いて前記第1の予測動きベクトルを生成してもよい。
別の態様として、動画像予測符号化プログラムは、コンピュータを、入力画像を複数の領域に分割する領域分割手段と、前記領域分割手段により分割された領域のうち、符号化対象である対象領域との相関が高い信号を既再生画像から取得するための動きベクトルを決定する予測信号生成手段と、前記動きベクトルを保存する動き情報記録手段と、前記対象領域の予測信号と前記対象領域の画素信号との残差信号を生成する残差信号生成手段と、前記残差信号生成手段により生成された残差信号を圧縮する残差信号圧縮手段と、前記残差信号の圧縮データを復元した再生残差信号を生成する残差信号復元手段と、前記動き情報記録手段に保存された既再生の動きベクトルから選択された前記対象領域の動きベクトルに類似する予測動きベクトルと、前記対象領域の動きベクトルから決定される付加情報と、前記残差信号の圧縮データと、を符号化する符号化手段と、前記予測信号と前記再生残差信号とを加算することによって前記対象領域の画素信号を復元し、復元された画素信号を前記既再生画像として保存する画像記録手段、として機能させるための動画像予測符号化プログラムであり、前記動きベクトルは、第0の予測信号の生成に要する第0の動きベクトルと、第1の予測信号の生成に要する第1の動きベクトルと、を含んでおり、前記予測信号生成手段が、前記第0の予測信号を取得するための第0の動きベクトルを推定すると共に、前記動き情報記録手段に保存されている複数の動きベクトルから選択される動きベクトルを用いて、前記推定した第0の動きベクトルと類似する第0の予測動きベクトルを生成し、生成した第0の予測動きベクトルを識別するための第0の予測動き情報インデックスと、前記第0の動きベクトル及び第0の予測動きベクトルから決定される差分動きベクトルと、を含む第0の付加情報を生成する第0の動き情報推定手段と、前記動き情報記録手段に保存されている複数の動きベクトルから選択される動きベクトルを用いて、対象領域との相関が高い第1の予測信号を生成する第1の予測動きベクトルを生成し、生成した第1の予測動きベクトルを識別するための第1の予測動き情報インデックスを含む第1の付加情報を生成し、前記第1の予測動きベクトルを第1の動きベクトルに設定する第1の動き情報推定手段と、前記第0の予測信号と前記第1の予測信号とを合成して対象領域の予測信号を生成する予測信号合成手段と、を含んでもよい。
ここで、前記第0の付加情報は、前記第0の予測信号の生成に係る参照画面を識別するための参照画面インデックス、をさらに含み、前記第1の付加情報は、前記第1の予測信号の生成に係る参照画面を識別するための参照画面インデックス、をさらに含み、前記動き情報記録手段は、前記第0の予測信号の生成に係る参照画面を識別するための参照画面インデックスと、前記第1の予測信号の生成に係る参照画面を識別するための参照画面インデックスとをさらに保存し、前記第0の予測動き情報インデックスは、さらに前記動き情報記録手段に保存されている複数の参照画面インデックスから第0の予測動きベクトルと共に第0の予測参照画面インデックスを識別し、前記第1の予測動き情報インデックスは、さらに前記動き情報記録手段に保存されている複数の参照画面インデックスから第1の予測動きベクトルと共に第1の予測参照画面インデックスを識別し、前記第0の動き情報復元手段は、前記第0の付加情報に含まれる参照画面インデックスと前記第0の予測参照画面インデックスとをさらに基礎として、前記第0の予測動き情報インデックスに基づいて前記動き情報記録手段から選択される動きベクトルを用いて前記第0の予測動きベクトルを生成し、前記第1の動き情報復元手段は、前記第1の付加情報に含まれる参照画面インデックスと前記第1の予測参照画面インデックスとをさらに基礎として、前記第1の予測動き情報インデックスに基づいて前記動き情報記録手段から選択される動きベクトルを用いて前記第1の予測動きベクトルを生成してもよい。
別の態様として、動画像予測復号プログラムは、コンピュータを、複数の領域に分割して符号化された圧縮データの中から復号対象となる復号対象領域の付加情報と残差信号の圧縮データとを復号する復号手段と、前記付加情報から前記対象領域の予測信号の生成に要する動きベクトルを復元する動き情報復元手段と、前記動きベクトルを保存する動き情報記録手段と、前記動きベクトルに基づいて前記対象領域の予測信号を生成する動き補償手段と、前記残差信号の圧縮データから前記対象領域の再生残差信号を復元する残差信号復元手段と、前記予測信号と前記再生残差信号とを加算することによって前記復号対象領域の画素信号を復元し、復元された画素信号を既再生画像として保存する画像記録手段、として機能させるための動画像予測復号プログラムであり、前記復号手段は、第0の付加情報と第1の付加情報とを復号し、前記第0の付加情報は、第0の差分動きベクトルと、前記動き情報記録手段に格納されている複数の動きベクトルから選択された1つを第0の予測動きベクトルとして識別するための第0の予測動き情報インデックスと、を含み、前記第1の付加情報は、前記動き情報記録手段に格納されている複数の動きベクトルから選択された1つを第1の予測動きベクトルとして識別する第1の予測動き情報インデックスを含み、前記動き情報復元手段が、前記第0の予測動き情報インデックスに基づいて前記動き情報記録手段に格納されている複数の動きベクトルから選択される動きベクトルを用いて第0の予測動きベクトルを生成し、生成した第0の予測動きベクトルと前記第0の差分動きベクトルとを加算して第0の動きベクトルを復元する第0の動き情報復元手段と、前記第1の予測動き情報インデックスに基づいて前記動き情報記録手段に格納されている複数の動きベクトルから第1の予測動きベクトルを生成し、生成した第1の予測動きベクトルを第1の動きベクトルとして復元する第1の動き情報復元手段と、を含み、前記動き補償手段は、前記第0の動きベクトルと第1の動きベクトルとに基づいて前記既再生画像からそれぞれ取得される2つの信号を合成して前記対象領域の予測信号を生成してもよい。
ここで、前記第0の付加情報は、第0の予測信号の生成に係る参照画面を識別するための参照画面インデックス、をさらに含み、前記第1の付加情報は、第1の予測信号の生成に係る参照画面を識別するための参照画面インデックス、をさらに含み、前記動き情報記録手段は、前記第0の予測信号の生成に係る参照画面を識別するための参照画面インデックスと、前記第1の予測信号の生成に係る参照画面を識別するための参照画面インデックスとをさらに保存し、前記第0の予測動き情報インデックスは、さらに前記動き情報記録手段に保存されている複数の参照画面インデックスから第0の予測動きベクトルと共に第0の予測参照画面インデックスを識別し、前記第1の予測動き情報インデックスは、さらに前記動き情報記録手段に保存されている複数の参照画面インデックスから第1の予測動きベクトルと共に第1の予測参照画面インデックスを識別し、前記第0の動き情報復元手段は、前記第0の付加情報に含まれる参照画面インデックスと前記第0の予測参照画面インデックスとをさらに基礎として、前記第0の予測動き情報インデックスに基づいて前記動き情報記録手段から選択される動きベクトルを用いて前記第0の予測動きベクトルを生成し、前記第1の動き情報復元手段は、前記第1の付加情報に含まれる参照画面インデックスと前記第1の予測参照画面インデックスとをさらに基礎として、前記第1の予測動き情報インデックスに基づいて前記動き情報記録手段から選択される動きベクトルを用いて前記第1の予測動きベクトルを生成してもよい。
本発明の動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラムによれば、符号化済みの動き情報に基づいて双予測に有効な1つの動きベクトルを指示できるので、少ない符号量で双予測の性能を高める効果がある。
以下、添付図面を参照しながら本実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。また、動画像を構成する「フレーム」、「画面」、「画像」(図5の501から511)は本明細書内の説明では同じ意味とする。
図1は、本実施形態に係る動画像予測符号化装置100を示すブロック図である。この動画像予測符号化装置100は、入力端子101、ブロック分割器102、予測信号生成器103、フレームメモリ104、減算器105、変換器106、量子化器107、逆量子化器108、逆変換器109、加算器110、符号化器111、出力端子112、動き情報用メモリ113を備えている。変換器106及び量子化器107は残差信号圧縮手段として機能し、逆量子化器108及び逆変換器109は残差信号復元手段として機能し、動き情報用メモリは動き情報記録手段として機能する。また、動き情報用メモリ113は、予測信号生成器103に含まれてもよい。
入力端子101は、複数枚の画像からなる動画像の信号を入力する端子である。
ブロック分割器102は、入力端子101から入力された信号で表される、符号化の対象なる画像を複数の領域(対象ブロック、対象領域)に分割する。本実施形態では、8×8の画素からなるブロックに分割するが、それ以外のブロックの大きさ又は形に分割してもよい。また、画面内にサイズの異なるブロックが混在してもよい。
予測信号生成器103は、対象ブロック内の各予測ブロックの予測信号を生成するために必要な動き情報を検出すると共に、予測信号を生成する。また、復号装置にて動き情報の復元に必要となる付加情報を生成する。予測信号の生成方法は本発明では限定されないが、背景技術で説明したような画面間予測(片予測、双予測)や画面内予測(画面内予測については図示せず)が適用可能である。
本実施形態では、双予測にて予測信号を生成する。双予測の1つの動き情報は図19に示したブロックマッチングにて、L102経由で入力される対象ブロックの元の信号と双予測信号との絶対値誤差和が最小となるようにL104経由で取得される画像信号を用いて検出する。そして、もう1つの動き情報は、符号化済みの動き情報に基づいて生成する。
本実施形態では、双予測について説明するため、動き情報は、第0の動き情報と第1の動き情報で構成され、それぞれ、参照画面インデックス(ref_idx[0]またはref_idx[1])と動きベクトル(mv[0][0/1]またはmv[1][0/1])を含む。第0の動き情報の参照画面の候補は図6のList0、第1の動き情報の参照画面の候補は図6のList1にて指示される。ここで[0/1]はベクトルの水平成分と垂直成分を識別する情報である。以降、[0/1]の記述は省略する(図面でも同様に省略)。
なお、図6に示す参照画面リストに登録される再生画像は、予め定めておいたルールに従って自動的に決まってもよいし、フレーム単位やシーケンス単位で明示的に符号化してもよい。この際、各参照画面の識別には図5と図6に示すようにフレーム番号が利用できる。
予測信号生成器103にて生成された動き情報はL103bを経由して、動き情報用メモリ113に出力される。
動き情報用メモリ113は、入力された動き情報を保存する。保存した動き情報は、L113を経由して予測信号生成器に入力され、後続するブロックの動き情報の符号化に利用される。
予測信号生成器103にて生成された付加情報はL103cを経由して、符号化器111に出力される。
予測信号生成器103にて生成された予測信号は、L103a経由で減算器105と加算器110に出力される。
減算器105は、ラインL102を経由して入力されたブロック分割器102で分割して入力された対象ブロックの画素信号からラインL103aを経由して入力される対象ブロックに対する予測信号を減算して、残差信号を生成する。減算器105は、減算して得た残差信号を、ラインL105を経由して変換器106に出力する。
変換器106は、入力された残差信号を離散コサイン変換する部分である。また、量子化器107は、変換器106により離散コサイン変換された変換係数を量子化する部分である。
符号化器111は、予測信号生成器より入力された付加情報と量子化器107から入力された量子化変換係数をエントロピー符号化し、符号化データはL111を経由で出力端子112に出力される。エントロピー符号化の方法は限定されないが、算術符号化や可変長符号化などが適用できる。
出力端子112は、符号化器111から入力した情報をまとめて外部に出力する。
逆量子化器108は、量子化された変換係数を逆量子化する。逆変換器109は、逆離散コサイン変換により残差信号を復元する。加算器110は、復元された残差信号とL103a経由で入力される予測信号とを加算し、符号化対象ブロックの信号を再生し、フレームメモリ104に格納する。本実施形態では、変換器106と逆変換器109とを用いているが、これらの変換器に代わる他の変換処理を用いてもよい。また、変換器106及び逆変換器109は必須ではない。このように、後続の符号化対象ブロックの予測信号生成に用いるため、符号化された符号化対象ブロックの再生信号は、逆処理にて復元されフレームメモリ104に記憶される。
次に、予測信号生成器103について詳しく説明する。そこで、まず、動き情報、予測動き情報と付加情報について述べる。
上記で示したとおり、双予測における動き情報は、第0の動き情報と第1の動き情報で構成され、それぞれ、参照画面インデックス(ref_idx[0]またはref_idx[1])と動きベクトル(mv[0]またはmv[1])を含む。第0の動き情報の参照画面の候補は図6のList0、第1の動き情報の参照画面の候補は図6のList1にて指示される。
本実施形態の双予測では、予測信号生成器103にて、既に符号化済みの動き情報を予測動き情報として利用する。符号化済みの動き情報には、符号化済みの隣接ブロックに付随する動き情報や、対象領域の符号化済みの動き情報が含まれる。なお、隣接ブロックに付随する動き情報とは、隣接ブロックが符号化対象であったときに予測信号の生成に用いた動き情報を指しており、動き情報用メモリ113に保存されている。
予測動き情報も、第0の予測動き情報と第1の予測動き情報で構成され、それぞれ、参照画面インデックス(ref_idx[0]またはref_idx[1])と動きベクトル(mv[0]またはmv[1])を含む。第0の予測動き情報の参照画面の候補は図6のList0、第1の予測動き情報の参照画面の候補は図6のList1にて指示される。
予測動き情報の具体的な利用方法としては、List0の参照画面を参照してブロックマッチングにて検出した第0の動き情報の動きベクトルを差分符号化する際に、第0の予測動き情報に基づいて、予測動きベクトルを生成する。また、List1の参照画面を用いる第1の動き情報を第1の予測動き情報に基づいて生成する。
予測動き情報の例を図7にて説明する。図7に示すブロック400が対象ブロックであり、それに隣接するブロック401から404に付随する動き情報が予測動き情報の候補となる。隣接ブロックの動き情報はそれぞれ第0の動き情報と第1の動き情報を含んでいる。両方を予測動き情報の候補としてもよいし、一方に限定してもよい(第Nの動き情報を予測する場合には、隣接ブロックの第Nの動きベクトルのみを候補とする)。
また、ブロック410が、参照画面内でブロック400と空間的に同じ位置のブロック(co-located block)を示す。ブロック410とそれに隣接するブロック411から415に付随する動き情報が予測動き情報の候補となる。nは予測動き情報の候補を識別する番号を示しており、選択された候補は、予測動き情報インデックス(mvp_idx[0]またはmvp_idx[1])にて指示される。本実施形態では、第0の動き情報を先に符号化するため、第1の予測動き情報としては、ブロック400に付随する第0の動き情報を利用することも可能である(例ではn=4とする)。
なお、予測動き情報の候補の位置と番号は、符号化側と復号側で予め定められていればよく、本発明では限定されない。また、予測動き情報の候補の数は、符号化側と復号側で予め定められていてもよいし、符号化してもよい。
また、予測動き情報のref_idxにて識別される参照画面と対象ブロックのref_idxにて識別される参照画面が異なる場合には、符号化対象画面と2つの参照画面のフレーム番号に基づいて、予測動き情報に含まれる動きベクトルのスケーリング処理を行ってもよい。つまり、予測動き情報に含まれる動きベクトルをスケーリングして、対象ブロックにて識別される参照画面を指示する動きベクトルに変換し、変換した動きベクトルを予測動きベクトル(pmv[0][0/1]またはpmv[1][0/1])として用いる。この際、予測動き情報に含まれる参照画面インデックス(ref_idx[0]またはref_idx[1])は、対象ブロックの参照画面インデックス(ref_idx[0]またはref_idx[1])に更新される。ここで[0/1]はベクトルの水平成分と垂直成分を識別する情報である。以降、[0/1]の記述は省略する(図面でも同様に省略)。
付加情報は、第0の付加情報と第1の付加情報にて構成される。第0の付加情報は、ref_idx[0]と差分動きベクトル(mvd[0][0/1]=mv[0][0/1]−pmv[0][0/1])とmvp_idx[0]を含む。第1の付加情報は、ref_idx[1]とmvp_idx[1]を含む。本実施形態ではmv[1][0/1]=pmv[1][0/1]とするため、mvd[1][0/1]のベクトル値は常に0となる。mvd[1][0/1]は符号化しなくても復号側で復元できるため、第1の付加情報に含める必要がない。ここで[0/1]はベクトルの水平成分と垂直成分を識別する情報である。以降、[0/1]の記述は省略する(図面でも同様に省略)。
図2は、本実施形態に係る予測信号生成器103の構成を示すブロック図である。この予測信号生成器103は、第1の動き情報推定器121、第0の動き情報推定器122、予測信号合成器123を備えている。
第1の動き情報推定器121では、L104を経由して入力されるList1の参照画面を用いて、L113を経由して入力される複数の第1の予測動き情報の候補(参照画面インデックスに応じて動きベクトルをスケーリングして予測動きベクトルとする)からL102を経由して入力される対象ブロックの元の信号に最も類似する第1の予測信号を生成する1つの第1の予測動き情報の候補と参照画面インデックスの組を選択する。第1の予測信号をL121a経由で予測信号合成器123に出力し、選択された第1の予測動き情報と参照画面インデックスの組に基づいて生成される第1の動き情報を、L121bとL103b1を経由して第0の動き情報推定器122と動き情報用メモリ113にそれぞれ出力する。さらに、第1の付加情報を生成し、L103c1経由で符号化器111に出力する。
第0の動き情報推定器122では、L121bから入力される第1の動き情報とL104を経由して入力されるList1の参照画面を用いて、第1の予測信号を生成する。そして、L104を経由して入力されるList0の参照画面を探索し、第1の予測信号と探索した第0の予測信号の候補により生成される双予測信号とL102を経由して入力される対象ブロックの元の信号との絶対値差分和が最小となる第0の動き情報を検出する。検出した第0の動き情報により生成される第0の予測信号をL122経由で予測信号合成器123に出力する。また、第0の動き情報を、L103b2を経由して動き情報用メモリ113に出力する。さらに、第0の付加情報を生成し、L103c2経由で符号化器111に出力する。
なお、第0の動き情報推定器122による処理を先に実行して、第0の動き情報と第0の付加情報を第0の予測信号よりも先に求めても良い。この場合は、探索した第0の予測信号の候補により生成される予測信号とL102を経由して入力される対象ブロックの元の信号との絶対値差分和が最小となる第0の動き情報を検出する。そして、第0の予測信号を利用して、第1の動き情報推定器121を実行する。つまり、L104を経由して入力されるList1の参照画面を用いて、L113を経由して入力される複数の第1の予測動き情報の候補(参照画面インデックスに応じて動きベクトルをスケーリングして予測動きベクトルとする)から第1の予測信号の候補を生成し、第0の予測信号と第1の予測信号の候補により生成される双予測信号がL102を経由して入力される対象ブロックの元の信号に最も類似するように第1の予測動き情報の候補と参照画面インデックスの組を選択する。この変形は、第0の動き情報を第1の動き情報推定器121に入力することにより実施できる。
予測信号合成器123では、L121aとL122を経由して入力される第1の予測信号と第0の予測信号を平均化して、対象ブロックの予測信号を生成、L103a経由で減算器105と加算器110に出力される。
図3に第1の動き情報推定器121のフローチャートを示す。最初にステップS301にて対象ブロックの予測に用いるList1の参照画面の数をM(図6(A)や(C)ではM=4、図6(B)ではM=2)に設定するとともに、第1の動き情報に含まれるList1の参照画面インデックスref_idx[1]を0に設定し、List1の参照画面数のカウントmを0に初期化する。さらに、動きベクトル評価値DをMax値に設定する。次に、ステップS302にて、予測動きベクトルの候補数をN(図7ではN=11、但し、第1の動き情報推定器121を第0の動き情報推定器122よりも先に実施する場合には、ブロック400の第0の動き情報は決定していないためn=4はスキップする)に設定し、第1の付加情報に含まれる予測動き情報インデックスmvp_idx[1]を0に設定し、予測動き情報数のカウントnを0に初期化する。
次に、ステップS303にて、隣接ブロックの動きベクトルから予測動きベクトル候補nの動きベクトルを取得し、ステップS304にて、n番目の予測測動きベクトルpmv[1][m][n][0/1]を生成する(ここで[0/1]はベクトルの水平成分と垂直成分を識別する情報である。以降、[0/1]の記述は省略する。図面でも同様に省略する)。この際、隣接ブロックの動きベクトルを対象画面と参照画面の距離(参照画面インデックスにより識別されるフレーム番号)に応じてスケーリングして、予測動きベクトルとする。その後、ステップS305にて、第m番目の参照画面とn番目のスケーリング後の予測動きベクトル(pmv[1][m][n])に基づいて対象ブロックの予測信号を生成し、ステップS306にて、生成した予測信号と対象ブロックの元の信号との差分信号の絶対値和が動きベクトル評価値Dより小さいか否かを判定する。絶対値和が動きベクトル評価値D以上の場合には、ステップS308に進む。絶対値和が動きベクトル評価値Dより小さい場合には、ステップS307に進み、第1の付加情報に含まれる予測動き情報インデックスmvp_idx[1]をnに更新し、参照画面インデックスをref_idx[1]をmに更新し、動きベクトル評価値DをステップS306にて算出した予測信号と対象ブロックの元の信号との差分信号の絶対値和に更新する。さらに第1の動き情報に含まれる動きベクトルmv[1]を予測動きベクトルpmv[1][ref_idx[1]][mvp_idx[1]]に設定し、参照画面インデックスをref_idx[1]に設定する。その後、ステップS308に進む。
ステップS308では、nの値がNより小さいか否かを判定し、nがNより小さい場合には、ステップS309に進み、nがNに達した場合にはステップS310に進む。ステップS309では、nの値に1を加算し、ステップS303に戻る。その後、nがNに達するまでステップS303からステップS307を繰り返す。ステップS310では、mの値がMより小さいか否かを判定し、mがMより小さい場合には、ステップS311に進み、mの値に1を加算し、ステップS302に戻る。その後、mがMに達するまでステップS302からステップS309を繰り返す。mがMに達した場合には、ステップS312にて第1の付加情報(ref_idx[1]、mvp_idx[1])を符号化器111に出力すると共に、第1の動き情報(ref_idx[1]とmv[1])を動き情報用メモリ113に格納して、第0の動き情報推定器122に出力し、処理を終了する。
図4に第0の動き情報推定器122のフローチャートを示す。最初にステップS351にて、第1の動き情報に基づいて双予測における第1の予測信号を生成する。次に、ステップS352にて、対象ブロックの予測に用いるList0の参照画面の数をM(図6(A)や(C)ではM=4、図6(B)ではM=2))に設定するとともに、第0の動き情報に含まれるList0の参照画面インデックスref_idx[0]を0に設定し、List0の参照画面数のカウントmを0に初期化する。さらに、動きベクトル評価値DをMax値に設定する。次に、ステップS353にて、複数の候補から第0の動きベクトルを差分符号化する際に用いる予測動きベクトルを識別する予測動き情報インデックスmvp_idx[0]を決定する。選択方法は、例えば、図3のステップS303からS309に示す手法が利用できる。そして、予測動きベクトルの候補pmv[0][m][n]を生成する。この際、図3のステップS304にて説明したように、隣接ブロックの動きベクトルを対象画面と参照画面の距離(参照画面インデックスにより識別されるフレーム番号)に応じてスケーリングして予測動きベクトルとする。
次に、ステップS354にて、フレームメモリ104に格納されているref_idx[0]にて指示される参照画面を取得し、第1の予測信号とあわせて平均化することによって得られる双予測信号と元の信号との差分信号の絶対値和が最小となる第0の動きベクトルmv[0]を探索する。続いてステップS355では、第0の差分動きベクトルmvd[0](=mv[0]−pmv[0][m][n])を生成する。続いて、ステップS356にて、生成した双予測信号と対象ブロックの元の信号との差分信号の絶対値和と第0の付加情報(mvd[0]とmとn)の符号量評価値(λ(QP)×(mvd、m、nの符号量)、λは予測誤差信号を変換した変換係数を量子化する際の量子化精度を決めるパラメータQPにてきまる重み値)の和が動きベクトル評価値Dより小さいか否かを判定する。絶対値和+符号量評価値が動きベクトル評価値D以上の場合には、ステップS358に進む。絶対値和+符号量評価値が動きベクトル評価値Dより小さい場合には、ステップS357に進み、第0の付加情報に含まれる予測動き情報インデックスmvp_idx[0]をnに更新し、参照画面インデックスをref_idx[0]をmに更新し、差分動きベクトルmvd[0]を(mv[0]−pmv[0][ref_idx[1]][mvp_idx[1]])に更新し、DをステップS356にて算出した双予測信号と対象ブロックの元の信号との差分信号の絶対値和+符号量評価値に更新する。さらに第0の動き情報に含まれる動きベクトルmv[0]を更新する。その後、ステップS358に進む。
ステップS358では、mの値がMより小さいか否かを判定し、mがMより小さい場合には、ステップS359に進み、mの値に1を加算し、ステップS353に戻る。その後、mがMに達するまでステップS353からステップS359を繰り返す。mがMに達した場合には、ステップS360にて、第0の付加情報(ref_idx[0]、mvd[0]、mvp_idx[0])を符号化器111に出力すると共に、第0の動き情報(ref_idx[0]とmv[0])を動き情報用メモリ113に格納して、処理を終了する。
なお、第0の動き情報推定器122を先に実行して、第0の動き情報と第0の付加情報を第0の予測信号よりも先に求めても良い。この場合、図4のステップS351は省略され、ステップS356では、双予測信号ではなく、第0の予測信号と元の信号との差分信号の絶対値和を求める。図3では、図7のn=4で指示される第0の動き情報を予測動き情報の候補として活用することが可能となる。第0の動き情報に基づいて双予測における第0の予測信号を生成するステップを追加し、ステップS306で、生成した第1の予測信号と第0の予測信号を平均化することにより生成される双予測信号と元の予測信号との差分信号の絶対値和を算出するように変更することにより、この変形は実現できる。
このように、既に符号化済みの動き情報に基づいて双予測の第1の動きベクトルを生成し、動きベクトルの代わりに、図6と図7に示すような複数の候補から参照画面インデックスと予測動き情報を識別する識別情報を符号化することにより、少ない符号量で、ランダム性の高いテクスチャ領域やノイズを含む平坦領域の対象ブロックの信号に類似する1つの類似信号を生成できる。さらに、参照画面上を探索して、第2の類似信号を生成する第0の動きベクトルを検出して符号化することにより、2つの動きベクトルを共に符号化済みの動き情報から求める場合に比較して、双予測信号の平滑化効果を高める効果が期待できる。
図9は、本実施形態に係る動画像予測符号化装置100における動画像予測符号化方法の手順を示すフローチャートである。まず、ブロック分割器102にて入力画像を8×8の符号化ブロック(それ以外のブロックの大きさ又は形に分割してもよい。また、画面内にサイズの異なるブロックが混在してもよい。)に分割する。
まず、予測信号生成器103を構成する第1の動き情報推定器121がフレームメモリ104から得られるList1の参照画面と動き情報用メモリから得られる第1の予測動き情報の候補を用いて、対象ブロックに類似する第1の予測信号を生成すると共に、第1の予測信号の生成に必要となる第1の動き情報と第1の付加情報を生成する(ステップS100)。このステップの詳細については、図3にて説明済みである。次に、第0の動き情報推定器122がフレームメモリ104から得られるList0の参照画面と動き情報用メモリから得られる第0の予測動き情報の候補と、第1の動き情報推定器121から得られる第1の動き情報を用いて、対象ブロックに類似する第0の予測信号を生成すると共に、第0の予測信号の生成に必要となる第0の動き情報と第0の付加情報を生成する(ステップS150)。このステップの詳細については、図4にて説明済みである。
次に、第0の付加情報と第1の付加情報を符号化器111でエントロピー符号化すると共に、第0の動き情報と第1の動き情報を動き情報用メモリ113に格納する(ステップS101)。続いて、ステップS102では、予測信号生成器103を構成する予測信号合成器123にて、第0の予測信号と第1の予測信号を平均化して、対象ブロックの双予測信号を生成する。符号化対象ブロックの画素信号と予測信号との差分を示す残差信号は、変換器106、量子化器107及び符号化器111により変換符号化される(ステップS103)。付加情報と量子化変換係数の符号化データは出力端子112を介して出力される(ステップS104)。後続の符号化対象ブロックを予測符号化するため、これら処理の後に又はこれらの処理と並行して符号化された残差信号が逆量子化器108及び逆変換器109により復号される。そして、加算器110にて、復号された残差信号と予測信号とが加算され、符号化対象ブロックの信号が再生される。再生信号はフレームメモリ104に参照画面として記憶される(ステップS105)。そして、すべての符号化対象ブロックの処理が完了していない場合にはステップS100に戻り、次の符号化対象ブロックに対する処理が行われる。すべての符号化対象ブロックの処理が完了している場合には、処理を終了する(ステップS106)。
次に、本実施形態に係る動画像予測復号方法について説明する。図10は、本実施形態に係る動画像予測復号装置200を示すブロック図である。この動画像予測復号装置200は、入力端子201、復号器202、逆量子化器203、逆変換器204、加算器205、出力端子206、動き補償器207、動き情報復元器208、フレームメモリ104、動き情報用メモリ113を備えている。逆量子化器203、逆変換器204は、残差信号復元手段として機能し、動き情報用メモリ113は動き情報記録手段として機能する。逆量子化器203及び逆変換器204による復号手段は、これらのもの以外を用いて行ってもよい。また、逆変換器204はなくてもよい。
入力端子201は、上述した動画像予測符号化方法で圧縮符号化された圧縮データを入力する。この圧縮データには、複数に分割された符号化ブロックについて、誤差信号を変換量子化してエントロピー符号化した量子化変換係数の情報の符号化データと、ブロックの双予測信号を生成するための第0の付加情報と第1の付加情報の符号化データが含まれている。
復号器202は、入力端子201に入力された圧縮データを解析し、復号対象ブロックに関して、量子化変換係数の符号化データ、付加情報の符号化データに分離して、エントリピー復号し、L202a、L202b経由で、それぞれ、逆量子化器203、動き情報復元器208に出力する。
動き情報復元器208は、第0の付加情報(ref_idx[0]、mvd[0]、mvp_idx[0])と第1の付加情報(ref_idx[1]、mvp_idx[1])を、L202bを経由して入力し、L113経由で取得される復号済みの動き情報を利用して、第0の動き情報(ref_idx[0]、mv[0])と第1の動き情報(ref_idx[1]、mv[1])を復元する。復元された第0の動き情報と第1の動き情報はL208aとL208b経由で動き補償器207と動き情報用メモリ113にそれぞれ出力される。動き情報用メモリは動き情報を保存する。
動き補償器207は、2つの動き情報に基づいてフレームメモリ104から既再生信号を取得し、2つの予測信号を平均化して、復号対象ブロックの双予測信号を生成する。生成された予測信号はL126経由で加算器205に出力される。
復号器202にて復号された復号対象ブロックにおける残差信号の量子化変換係数は、L203経由で逆量子化器203に出力される。逆量子化器203は、復号対象ブロックにおける残差信号の量子化係数を逆量子化する。逆変換器204は、逆量子化したデータを逆離散コサイン変換して残差信号を生成する。
加算器205は、動き補償器207で生成された双予測信号を、逆量子化器203および逆変換器204により復元された残差信号に加算して、復号対象ブロックの再生画素信号をラインL205経由で出力端子206およびフレームメモリ104に出力する。出力端子206は、外部に(例えばディスプレイ)出力する。
フレームメモリ104は、つぎの復号処理のための参照用の再生画像として、加算器205から出力された再生画像を参照画面として記憶する。
図11は、本実施形態に係る動き情報復元器208の構成を示すブロック図である。この動き情報復元器208は、第1の動き情報復元器211、第0の動き情報復元器212を備えている。
これらの第1の動き情報復元器211と第0の動き情報復元器212は同時に動作することが可能である。
第0の動き情報復元器212は、第0の付加情報(ref_idx[0]、mvp_idx[0]、mvd[0])を入力として、L113経由で得られる隣接ブロックの動き情報から第0の予測動きベクトル(pmv[0][ref_idx[0]][mvp_idx[0]])を生成し、予測動きベクトルと付加情報に含まれる差分動きベクトル(mvd[0])を加算することにより、第0の動き情報に含まれる動きベクトルを生成することにより、第0の動き情報を復元する。同様に、ref_idxにて識別される参照画面と対象ブロックのref_idxにて識別される参照画面が異なる場合には、符号化対象画面と2つの参照画面のフレーム番号に基づいて、予測動き情報に含まれる動きベクトルのスケーリング処理を行ってもよい。
第1の動き情報復元器211は、第1の付加情報(ref_idx[1]、mvp_idx[1])を入力として、L113経由で得られる復号済みの動き情報から第1の予測動きベクトル(pmv[1][ref_idx[1]][mvp_idx[1]])を生成する。この予測動きベクトルを第1の動き情報に含まれる動きベクトル(mv[1]=pmv[1][ref_idx[1]][mvp_idx[1])とすることにより、第1の動き情報を復元する。このとき、差分動きベクトルmvd[1]をゼロベクトルに設定し、これを予測動きベクトルと加算して、第1の動きベクトルを復元するようにしてもよい。なお、この際、ref_idxにて識別される参照画面と対象ブロックのref_idxにて識別される参照画面が異なる場合には、符号化対象画面と2つの参照画面のフレーム番号に基づいて、予測動き情報に含まれる動きベクトルのスケーリング処理を行ってもよい。つまり、予測動き情報に含まれる動きベクトルをスケーリングして、対象ブロックにて識別される参照画面を指示する動きベクトルに変換し、変換した動きベクトルを予測動きベクトルとして用いる。
図13に第0の動き情報復元器212のフローチャートを示す。最初にステップS451にて第0の付加情報(ref_idx[0]とmvp_idx[0]とmvd[0])の復号データを入力する。次に、ステップS452にて、入力されたref_idx[0]とmvp_idx[0]に基づいて、図7に示すような隣接ブロックの動き情報(ブロック400の動き情報は未定のため含めない)から、mvp_idx[0]にて指示される動き情報を入力し、予測動きベクトル(pmv[0][ref_idx[0]][mvp_idx[0]])を導出する。このとき、ref_idxにて識別される参照画面と対象ブロックのref_idxにて識別される参照画面が異なる場合には、符号化対象画面と2つの参照画面のフレーム番号に基づいて、予測動き情報に含まれる動きベクトルのスケーリング処理を行ってもよい。その後、ステップS453にて、生成した予測動きベクトルと差分動きベクトルを加算して、第0の動きベクトルを復元する(mv[0]=pmv[0][ref_idx[0]][mvp_idx[0]]+mvd[0])。最後にステップS454にて第0の動き情報(ref_idx[0]とmv[0])を動き補償器207と動き情報用メモリ113に出力して、処理を終了する。
図12に第1の動き情報復元器211のフローチャートを示す。最初にステップS401にて第1の付加情報(ref_idx[1]とmvp_idx[1])の復号データを入力し、ステップS402にて差分動きベクトル(mvd[1])のベクトル値を0に設定する。次に、ステップS403にて、入力されたref_idx[1]とmvp_idx[1]に基づいて、図7に示すように復号済みの動き情報(n=4を含めることが可能)から、mvp_idx[1]にて指示される動き情報を入力し、予測動きベクトル(pmv[1][ref_idx[1]][mvp_idx[1]])を導出する。このとき、ref_idxにて識別される参照画面と対象ブロックのref_idxにて識別される参照画面が異なる場合には、符号化対象画面と2つの参照画面のフレーム番号に基づいて、予測動き情報に含まれる動きベクトルのスケーリング処理を行ってもよい。その後、ステップS404にて、生成した予測動きベクトルと差分動きベクトルを加算して、第1の動きベクトルを復元する(mv[1]=pmv[1][ref_idx[1]][mvp_idx[1]]+mvd[1])。最後にステップS405にて第1の動き情報(ref_idx[1]とmv[1])を動き補償器207と動き情報用メモリ113に出力して、処理を終了する。なお、mvd[1]のベクトル値は常に0となるため、ステップS402を省略し、ステップS404にて予測動きベクトルを動きベクトルに設定してもよい(mv[1]=pmv[1][ref_idx[1]][mvp_idx[1]])。
次に、図14を用いて、図10に示す動画像予測復号装置200における動画像予測復号方法を説明する。まず、入力端子201を介して、圧縮データが入力される(ステップS201)。そして、復号器202にて圧縮データのデータ解析し、エントロピー復号を行い、双予測信号の生成に必要となる第0の付加情報と第1の付加情報、ならびに量子化変換係数を復号する(ステップS202)。
次に、動き情報復元器208を構成する第0の動き情報復元器212にて、第0の付加情報と動き情報用メモリ113に保存されている隣接ブロックの動き情報を用いて、第0の動き情報を復元する(ステップS250)。このステップの詳細については、図13にて説明済みである。
続いて、動き情報復元器208を構成する第1の動き情報復元器211にて、第1の付加情報と動き情報用メモリ113に保存されている隣接ブロックの動き情報を用いて、第1の動き情報を復元する(ステップS200)。このステップの詳細については、図12にて説明済みである。
次に、復元された動き情報に基づいて、動き補償器207が復号対象ブロックの双予測信号を生成する共に、動き情報を動き情報用メモリ113に保存する(S207)。
復号器202にて復号された量子化変換係数は、逆量子化器203において逆量子化され、逆変換器204において逆変換が行われ、再生残差信号が生成される(S208)。そして、生成された双予測信号と再生残差信号とが加算されることで再生信号が生成され、この再生信号が次の復号対象ブロックを再生するためにフレームメモリ104に格納される(ステップS209)。次の圧縮データがある場合には、S202〜S209のプロセスを繰り返し(S210)、全てデータが最後まで処理される。
次に、本発明を含む複数の双予測方法を選択的に利用する手法について説明する。上記で説明した1本の差分動きベクトルのみを符号化する双予測(双予測タイプ2と呼ぶ)は、従来の2本の差分動きベクトルを符号化する双予測(双予測タイプ1と呼ぶ)ならびに片予測と適応的に組み合わせて利用できる。これらの予測方式は、画面単位、複数のブロックをまとめたスライス単位、あるいはブロック単位で切り替えて利用することが可能である。切り替え処理には、切り替え情報を符号化する方法や、参照画面のフレーム番号に基づいて復号側にて決定する方法が利用できる。
なお、双予測タイプ1と双予測タイプ2を切り替える処理は、図2の第1の動き情報推定器121に、ブロックマッチング機能と探索した動きベクトルから予測ベクトルを減算して差分動きベクトルを算出する機能を追加し、図11の第1の動き情報復元器に差分動きベクトルを復号器から取得する機能を追加することにより実現できる。下記に具体的な方法を説明する。
(画面/スライス単位切り替え、双予測タイプの切り替え情報符号化)
画面/スライス単位で双予測タイプ1と双予測タイプ2を切り替える場合には、双予測タイプの切り替え情報(例えば、BiPred_type)を、画面あるいはスライスのヘッダに含めて符号化する。
図5(A)のようにすべての参照画面の候補が、符号化対象画面より表示順で過去の画面の場合には、双予測タイプ2が有効となるため、符号化側で、双予測タイプ2の利用を選択する。そして、符号化装置は、画面あるいはスライスのヘッダ情報にて、双予測タイプ2を示す指示情報(例えば、BiPred_type=1)を符号化する。一方、図5(B)のように、表示順で符号化対象画面に対して未来の画面が参照画面の候補に含まれる場合には、符号化装置は、双予測タイプ1を選択し、画面あるいはスライスのヘッダ情報にて、双予測タイプ1を示す指示情報(例えば、BiPred_type=0)を符号化する。
双予測タイプ1を利用する場合には、画面内あるいはスライス内のブロックを符号化する際に、動きベクトルmv[1]を探索し。第0の付加情報(ref_idx[0]とmvd[0]とmvp_idx[0]を符号化)と同じく、第1の付加情報にmvd[1]を含め、ref_idx[1]とmvp_idx[1]と共に符号化する。双予測タイプ2を利用する場合には、第0の付加情報としてref_idx[0]とmvd[0]とmvp_idx[0]を符号化し、第1の付加情報としてref_idx[1]とmvp_idx[1]を符号化する。
復号側では、画面あるいはスライスのヘッダ情報にて復号した指示情報に基づいて、画面内あるいはスライス内の各ブロックを復号する際に、mvd[1]の復元方法を切り替える。つまり、双予測タイプ1を示す指示情報(例えば、BiPred_type=0)を復号した場合には、画面内あるいはスライス内の各ブロックを復号する際に、第1の付加情報にmvd[1]を含め、ref_idx[1]とmvp_idx[1]と共に復号する。双予測タイプ2を示す指示情報(例えば、BiPred_type=1)を復号した場合には、画面内あるいはスライス内の各ブロックを復号する際に、第1の付加情報としてref_idx[1]とmvp_idx[1]を復号し、mvd[1]の水平・垂直ベクトル値を0に設定する。第0の付加情報としては、指示情報の値に関わらず、ref_idx[0]とmvd[0]とmvp_idx[0]を復号する。
なお、符号化側における双予測タイプ1と双予測タイプ2の切り替え方法は、ここで示した方法に依存しない。例えば、すべての参照画面が表示順で符号化対象画面に対して未来の画面の場合に、双予測タイプ2を利用するようにしてもよい。また、実際に双予測タイプ1と双予測タイプ2を適用した場合の符号化効率(例えば、符号化誤差信号の2乗和+符号化ビット数を変換した評価値)を調査して、符号化効率が高いほうを選択する方法が採用できる。
さらに、図8に示すように複数のブロックサイズを適応的に用いる符号化方法では、画面あるいはスライスヘッダにて、異なるブロックサイズに対して、双予測タイプ1と双予測タイプ2を切り替える指示情報を個別に送るようにしてもよい。例えば、ブロックサイズが64×64、32×32、16×16、8×8の場合には、4個の指示情報を符号化する。
なお、ブロックの予測方法で片予測と双予測の両方を用いる場合には、予測タイプ(片予測または双予測)を符号化側にて選択し、付加情報に含めて符号化する。そして、双予測を選択したブロックのみで、双予測タイプ1と双予測タイプ2の切り替え処理を実施する。復号側では、予測タイプとして双予測を示す情報を復号したブロックのみで双予測タイプ1と双予測タイプ2の切り替え処理を実施する。
(画面/スライス単位切り替え、参照画面のフレーム番号に基づく決定)
図5(A)や図5(B)に示す参照画面の候補は、符号化側と復号側で同一である。そのため、参照画面の候補のフレーム番号と符号化対象画面のフレーム番号に基づいて、双予測タイプ1と双予測タイプ2のいずれを用いるかを決定できる。つまり、すべての参照画面の候補が、符号化対象画面より表示順で過去の画面の場合には、双予測タイプ2を利用し、表示順で符号化対象画面に対して未来の画面が参照画面の候補に含まれる場合には、双予測タイプ1を利用する。この方法では、指示情報を送る必要はない。
なお、すべての参照画面の候補が、符号化対象画面に対して表示順で未来の画面の場合には、双予測タイプ2を利用するようにしてもよい。
(ブロック単位切り替え、切り替え情報符号化)
ブロック単位で双予測タイプ1と双予測タイプ2を切り替える場合には、双予測タイプの切り替え情報(例えば、BiPred_block_type)を、ブロックの付加情報に含めて符号化する。
双予測の2つの参照画面が符号化対象画面より表示順で過去の画面の場合には双予測タイプ2が有効となるため、符号化側で、双予測タイプ2の利用を選択する。そして、符号化装置は、ブロックの付加情報に双予測タイプ2を示す指示情報(例えば、BiPred_block_type=1)を含め、第0の付加情報であるref_idx[0]、mvd[0]、mvp_idx[0]と、第1の付加情報であるref_idx[1]、mvp_idx[1]と共に符号化する。一方、双予測の2つの参照画面に表示順で符号化対象画面に対して未来の画面が含まれる場合には、双予測タイプ1を選択する。そして、符号化装置は、ブロックの付加情報に双予測タイプ1を示す指示情報(例えば、BiPred_block_type=0)を含め、第0の付加情報であるref_idx[0]、mvd[0]、mvp_idx[0]と、第1の付加情報であるref_idx[1]、mvd[1](第1の付加情報にmvd[1]を含める)、mvp_idx[1]と共に符号化する。
復号側では、ブロックの付加情報に双予測タイプの切り替え情報(例えば、BiPred_block_type)を含めて復号し、復号値に基づいてmvd[1]の復元方法を切り替える。つまり、ブロックの付加情報として、双予測タイプ1を示す指示情報(例えば、BiPred_block_type=0)を復号した場合には、第0の付加情報として、ref_idx[0]とmvd[0]とmvp_idx[0]を復号し、第1の付加情報として、ref_idx[1]とmvd[1]とmvp_idx[1]を復号する。一方、ブロックの付加情報として、双予測タイプ2を示す指示情報(例えば、BiPred_block_type=1)を復号した場合には、第0の付加情報としてref_idx[0]とmvd[0]とmvp_idx[0]を復号し、第1の付加情報としてref_idx[1]とmvp_idx[1]を復号し、mvd[1]の水平・垂直ベクトル値を0に設定する。
なお、符号化側における双予測タイプ1と双予測タイプ2の切り替え方法は、ここで示した方法に依存しない。例えば、2つの参照画面の両方が表示順で符号化対象画面に対して未来の画面の場合には、双予測タイプ2を利用するようにしてもよい。また、実際に双予測タイプ1と双予測タイプ2を適用した場合の符号化効率(例えば、符号化誤差信号の2乗和+符号化ビット数を変換した評価値)をブロック毎に調査して、符号化効率が高いほうを選択する方法が採用できる。
また、ブロックの予測方法で片予測と双予測の両方を用いる場合には、符号化側にて予測タイプ(片予測または双予測)を選択し、付加情報に含めて符号化する。そして、双予測を選択したブロックのみで、双予測タイプ1と双予測タイプ2の切り替え処理を実施する。復号側では、予測タイプとして双予測を示す情報を復号したブロックのみで双予測タイプ1と双予測タイプ2の切り替え処理を実施する。
(ブロック単位切り替え、参照画面のフレーム番号に基づく決定)
図5(A)や図5(B)に示す参照画面の候補は、符号化側と復号側で同一である。そのため、ブロックの付加情報として符号化/復号する双予測に用いる2つの参照画面のフレーム番号と符号化対象画面のフレーム番号に基づいて、双予測タイプ1と双予測タイプ2のいずれを用いるかを決定できる。つまり、双予測に用いる2つの参照画面が、いずれも符号化対象画面より表示順で過去の画面の場合には双予測タイプ2を利用し、2つの参照画面の一方か両方が表示順で符号化対象画面に対して未来の画面の場合には、双予測タイプ1を利用する。この方法では指示情報を送る必要はない。なお、2つの参照画面の両方が表示順で符号化対象画面に対して未来の画面の場合に、双予測タイプ2を利用するようにしてもよい。
(画面/スライス単位切り替えとブロック単位切り替えの組み合わせ)
画面/スライス単位で、双予測タイプの切り替えを画面/スライス単位で行うかブロック単位で行うかを示す指示情報を符号化/復号する。
双予測タイプの切り替えを画面/スライス単位で行う場合には、加えて、上記で説明したように、双予測タイプの切り替え情報(例えば、BiPred_type)を、画面あるいはスライスのヘッダに含めて符号化/復号する。この際、図8に示すように複数のブロックサイズを適応的に用いる符号化方法では、画面あるいはスライスヘッダにて、異なるブロックサイズに対して、双予測タイプ1と双予測タイプ2を切り替える指示情報を個別に送るようにしてもよい。例えば、ブロックサイズが64×64、32×32、16×16、8×8の場合には、4個の指示情報を符号化する。
双予測タイプの切り替えをブロック画面単位で行う場合には、加えて、上記で説明したように、ブロック単位で、双予測タイプの切り替え情報(例えば、BiPred_block_type)を、ブロックの付加情報に含めて符号化/復号する。この際、 さらに、図8に示すように複数のブロックサイズを適応的に用いる符号化方法では、画面あるいはスライスヘッダにて、異なるブロックサイズに対して、双予測タイプ1と双予測タイプ2の切り替え処理を行うか否かを指示する指示情報を個別に送るようにしてもよい。例えば、ブロックサイズが64×64、32×32、16×16、8×8の場合には、4個の指示情報を符号化する。
また、画面/スライス単位で、双予測タイプ1のみを利用するか、双予測タイプ2のみを利用するか、2つの双予測タイプを画面/スライス内の各ブロックで切り替えるか、を指示する指示情報を符号化/復号するようにしてもよい。この際、図8に示すように複数のブロックサイズを適応的に用いる符号化方法では、異なるブロックサイズに対して個別に指示情報を送るようにしてもよい。
あるいは、画面/スライス単位で、双予測タイプ2を利用するか否かを示す指示情報を符号化/復号する。双予測タイプ2を利用する画面/スライスでは、さらに、画面/スライス内の各ブロックで双予測タイプ1と双予測タイプ2を切り替えるか、画面/スライス内のすべてのブロックで双予測タイプ2を利用するか、を指示する指示情報を符号化/復号するようにしてもよい。この際、図8に示すように複数のブロックサイズを適応的に用いる符号化方法では、画面あるいはスライスヘッダにて、異なるブロックサイズに対して、これら指示情報を個別に送るようにしてもよい。
上記では、図7に示す第1の予測動きベクトルの候補に、対象ブロック400の第0の動き情報を含めていた。しかしながら、第0の動き情報を第1の予測動き情報とし、予測動き情報を第0の動き情報に含まれる第1の参照画面インデックスと第1の動き情報に含まれる第1の参照画面インデックスに基づいてスケーリングして第1の動き情報として利用する方法を双予測タイプ3として別に用意してもよい。つまり、第0の動き情報に含まれる動きベクトルが第1の動き情報の参照画面インデックスが指し示す参照画面の動きベクトルとなるようにスケーリングする。この場合には、双予測タイプ2における第1の予測動き情報の候補には、対象ブロックの第0の動き情報を含めなくても良い(図7のn=4を候補から除外する)。そして、双予測タイプ3を利用する場合には、第1の予測動き情報インデックスの符号化/復号は行わない。つまり、第1の付加情報を符号化/復号する際には、第1の参照画面インデックス(ref_idx[1])を含み、差分動きベクトル(mvd[1])と第1の予測動き情報インデックス(mvp_idx[1])を含まないようにする。
双予測タイプ3の利用方法としては、画面/スライス単位あるいはブロック単位で、双予測タイプ1と双予測タイプ2と双予測タイプ3を切り替える指示情報を符号化/復号するようにしてもよい。また、画面/スライス単位あるいはブロック単位で、双予測タイプ1と双予測タイプ3、あるいは、双予測タイプ2と双予測タイプ3を切り替える指示情報を符号化/復号するようにしてもよい。
また、上記にて双予測タイプ1の代用として使う方法も考えられる。つまり、複数の参照画面候補に表示順で符号化対象画面に対して未来の画面が含まれる場合には、双予測タイプ3を利用し、複数の参照画面候補が表示順ですべて符号化対象画面に対して過去の画面の場合には、双予測タイプ2を利用するようにしてもよい。
あるいは、第0の動き情報に含まれる参照画面インデックスが指示する参照画面が、第1の動き情報の参照画面インデックスが指示する参照画面と異なる場合には、双予測タイプ2の代わりに双予測タイプ3を利用し(第1の予測動き情報インデックスの符号化/復号は不要)、一方、第0の動き情報に含まれる参照画面インデックスが指示する参照画面が、第1の動き情報の参照画面インデックスが指示する参照画面と同じ場合には、双予測タイプ2を利用する(第1の予測動き情報インデックスを符号化/復号)ようにしてもよい。
なお、双予測タイプの切り替え情報は、BiPred_typeやBiPred_block_typeのような識別情報には限定されない。差分動きベクトルの符号化/復号を行うか否かを示す情報であればよい。例えば、mvd_list1_zero_flagやmvd_list0_zero_flagのように第1の付加情報や第0の付加情報にmvdが含まれるか否かを指示するフラグ情報を符号化/復号するようにしてもよい。双予測タイプ1、双予測タイプ2ならびに双予測タイプ3を画面/スライス単位あるいはブロック単位で切り替える場合には、双予測タイプ2か双予測タイプ3のいずれかを利用する場合に、付加情報にmvdを含まないことを指示するフラグを送る。双予測タイプ2と双予測タイプ3の切り替えは、上記のように参照画面インデックスに基づいて行ってもよいし(第0の動き情報に含まれる参照画面インデックスが指示する参照画面が、第1の動き情報の参照画面インデックスが指示する参照画面と同じ場合には、双予測タイプ2を利用する)、更に選択情報を符号化/復号してもよい。
図15は、動画像予測符号化方法を実行することができるプログラムのモジュールを示すブロック図である。図15(A)に示すように動画像予測符号化プログラムP100は、ブロック分割モジュールP101、予測信号生成モジュールP103、記憶モジュールP104、減算モジュールP105、変換モジュールP106、量子化モジュールP107、逆量子化モジュールP108、逆変換モジュールP109、加算モジュールP110、符号化モジュールP111及び動き情報記憶モジュールP113を備えている。さらに、図15(B)に示すように予測信号生成モジュールP103は、第1の動き情報推定モジュールP121、第0の動き情報推定モジュールP122及び予測信号合成モジュールP123を備えている。上記各モジュールが実行されることにより実現される機能は、上述した動画像予測符号化装置100の機能と同じである。すなわち、動画像予測符号化プログラムP100の各モジュールの機能は、ブロック分割器102、予測信号生成器103、フレームメモリ104、減算器105、変換器106、量子化器107、逆量子化器108、逆変換器109、加算器110、符号化器111、動き情報用メモリ113、第1の動き情報推定器121、第0の動き情報推定器122及び予測信号合成器123の機能と同様である。
また、図16は、動画像予測復号方法を実行することができるプログラムのモジュールを示すブロック図である。図16(A)に示すように動画像予測復号プログラムP200は、復号モジュールP201、動き情報復号モジュールP202、動き補償モジュールP203、動き情報記憶モジュールP204、逆量子化モジュールP205、逆変換モジュールP206、加算モジュールP207及び記憶モジュールP104を備えている。さらに、図16(B)に示すように動き情報復号モジュールP202は、第1の動き情報復元モジュールP211及び第0の動き情報復元モジュールP212を備えている。
上記各モジュールが実行されることにより実現される機能は、上述した動画像予測復号装置200の各構成要素と同じである。すなわち、動画像予測復号プログラムP200の各モジュールの機能は、復号器202、動き情報復元器208、動き補償器207、動き情報用メモリ113、逆量子化器203、逆変換器204、加算器205、フレームメモリ104、第1の動き情報復元器211及び第0の動き情報復元器212の機能と同様である。
このように構成された動画像予測符号化プログラムP100または動画像予測復号プログラムP200は、後述の図17及び図18に示す記録媒体10に記憶され、後述するコンピュータで実行される。
図17は、記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図18は、記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。なお、記録媒体に記憶されたプログラムを実行するものはコンピュータに限定されず、CPUを具備しソフトウエアによる処理や制御を行なうDVDプレーヤ、セットトップボックス、携帯電話などでもよい。
図17に示すように、コンピュータ30は、フレキシブルディスクドライブ装置、CD−ROMドライブ装置、DVDドライブ装置等の読取装置12と、オペレーティングシステムを常駐させた作業用メモリ(RAM)14と、記録媒体10に記憶されたプログラムを記憶するメモリ16と、ディスプレイといった表示装置18と、入力装置であるマウス20及びキーボード22と、データ等の送受を行うための通信装置24と、プログラムの実行を制御するCPU26とを備えている。コンピュータ30は、記録媒体10が読取装置12に挿入されると、読取装置12から記録媒体10に格納された動画像予測符号化・復号プログラムにアクセス可能になり、当該画像符号化・復号プログラムによって、本実施形態に係る動画像符号化装置または動画像復号装置として動作することが可能になる。
図18に示すように、動画像予測符号化プログラム及び動画像復号プログラムは、搬送波に重畳されたコンピュータデータ信号40としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ30は、通信装置24によって受信した動画像予測符号化プログラムもしくは動画像復号プログラをメモリ16に格納し、当該動画像予測符号化プログラムもしくは動画像予測復号プログラムを実行することができる。
本発明では、さらに下記の変形が可能である。
(1)第0の付加情報と第1の付加情報の関係
上記では、第1の付加情報がref_idx[1]とmvp_idx[1]を含み、第0の付加情報がref_idx[0]とmvd[0]とmvp_idx[0]を含んでいるが、この構成は逆であってもよい。つまり、第1の付加情報が、ref_idx[1]とmvd[1]とmvp_idx[1]を含み、第0の付加情報がref_idx[0]とmvp_idx[0]を含む。この場合、第0の予測動き情報を隣接ブロックの動き情報から生成すると共に第0の予測信号を生成し、続いて、双予測信号と対象ブロックの元の信号との絶対値和+付加情報の評価値が最小となる第1の動き情報を探索する。
また、第1の付加情報がref_idx[1]とmvp_idx[1]を含み、第0の付加情報がref_idx[0]とmvp_idx[0]を含むようにしてもよい。つまり、差分の動きベクトルは符号化されず、2つの差分動きベクトルの復号側で水平・垂直ベクトル値を0に設定する。または、第0の予測動きベクトルと第1の予測動きベクトルをそれぞれ第0の動きベクトルと第1の動きベクトルに設定する。
(2)参照画面
上記では、参照画面インデックスを第1の付加情報に含めて符号化/復号しているが、mvp_idxにて示される隣接ブロックの動き情報に付随する参照画面インデックスに基づいて決まるようにしてもよい(例えば、図7の隣接ブロック401から404については、付随するList1の参照画面インデックスをそのまま利用し、隣接ブロック410から415については、対象ブロックと隣接ブロックの参照画面インデックスが指示する参照画面の違いに基づいて、隣接ブロックに含まれる動きベクトルにスケーリング処理を施すようにする)。また、第1の動き情報の参照画面インデックスを予め決めておいても良い。これらの場合は、復号側にて一意に復元できるため、参照画面インデックスref_idxを第1の付加情報に含めて符号化する必要がない。
参照画面の選択とそのリストは図5と図6の例に限定されない。参照画面リストは画面/スライス単位で符号化しても良いし、参照画面の数は、図5のように4枚なく、他の任意の数であっても本発明は実施できる。
(3)予測動き情報
上記では、図7に示すように複数の符号化/復号済みの動き情報を予測動き情報の候補としているが、その数と利用する隣接ブロックの位置は限定されない。
第1の予測動きベクトルの候補に隣接ブロックの第0の動きベクトルを含めてもよいし、第0の予測動きベクトルの候補に隣接ブロックの第1の動きベクトルを含めても本発明の双予測は実施できる。第1の予測動き情報の候補に、先に符号化/復号されている第0の動き情報を加えても良い。
符号化/復号済みの動き情報に含まれる参照画面インデックスと対象ブロックに付随する動き情報に含まれる参照画面インデックスが異なる場合に、動きベクトルのスケーリング処理を行うか否かも本発明では限定されない。
なお、予測動きベクトルの候補が1つの場合には、予測動き情報インデックスmvp_idxを第1の付加情報に含めて符号化する必要がない。
予測動きベクトルの生成方法も本発明では限定されない。例えば、奇数個の予測動きベクトルの候補の中央値を、予測動きベクトルとして採用するようにしてもよい。この場合も、予測動きベクトルは復号側で一意に決まるため、予測動き情報インデックスmvp_idxを第1の付加情報に含めて符号化する必要がない。
図8に示すように、複数のブロックサイズを用いる符号化/復号方式の場合であっても、予測動き情報の候補を決定する方法が規定されていれば、本発明の双予測は実施できる。例えば、図8の例では、対象ブロック400に隣接するブロック421からブロック428を予測情報の候補としても良いし、隣接ブロックの番号付け方法を予め定めておき、画面単位やスライス単位で指示される数の隣接ブロックの動き情報を予測動きベクトルの候補に設定するにようにしてもよい。
(4)第0の動き情報と付加情報
なお、第0の動き情報と付加情報の構成については、本発明では限定されない参照画面インデックスや予測動き情報インデックスを符号化せずに固定値としてもよいし、予め定めた方法で導出するようにしてもよい。
また、第0の動き情報や付加情報についても、第1の動き情報や付加情報と同じように、mvd[0]を符号化せず、復号側にてmv[0]=pmv[0](あるいはmvd[0]=0)と設定するようにしてもよい。
(5)フレーム番号
上記では、参照画面や符号化対象画面の識別にフレーム番号(frame_num)を用いているが、参照画面を識別できる情報であれば、別の情報であっても、本発明の実施に影響はない。
(6)第1の差分動きベクトルmvd[1]の復元
上記で説明した本発明の双予測では、第1の差分動きベクトルmvd[1]のベクトル値は0となる。そのため、mvd[1]は符号化せず、復号側で、mvd[1]のベクトル値を0に設定するか、あるいは動きベクトルmv[1]をpmv[1]に設定している。別の実施形態として、mvd[1]=0を第1の付加情報に含め、0値を効率良くエントロピー符号化する方法も有効と言える。
エントロピー符号化に算術符号化を用いる場合には、例えば、第0の差分動きベクトルと第1の差分動きベクトルを異なる確率モデルで符号化/復号する。例えば、差分動きベクトルのベクトル値0の確率頻度が異なる2つの確率モデルを差分動きベクトルの符号化/復号用に用意する。そして、第1の差分動きベクトルを符号化/復号する場合には、差分動きベクトルのベクトル値0の頻度をより高く設定した第2の確率モデルを使用し、第0の差分動きベクトルを符号化/復号する場合には、別の第1の確率モデルを使用する。さらに、差分動きベクトルの水平と垂直方向ベクトル値用に個別に確率モデルを用意してもよい。
なお、双予測タイプ2を適用するブロックの第1の差分動きベクトルのみで第2の確率モデルを使用し、それ以外の差分動きベクトルの符号化/復号では、第1の確率モデルを使用するようにしてもよい。
可変長符号化を用いる場合には、第0の差分動きベクトルと第1の差分動きベクトルを異なる可変長テーブルを用いて符号化/復号する。例えば、差分動きベクトルのベクトル値0に割り当てる符号長が異なる2つの可変長テーブルを用意する。そして、第1の差分動きベクトルを符号化/復号する場合には、差分動きベクトルのベクトル値0に割り当てる符号長をより短く設定した第2の可変長テーブルを使用し、第0の差分動きベクトルを符号化/復号する場合には、別の第1の可変長テーブルを使用する。さらに、差分動きベクトルの水平と垂直方向ベクトル値用に個別に可変長テーブルを用意してもよい。
なお、双予測タイプ2を適用するブロックの第1の差分動きベクトルのみで第2の可変長テーブルを使用し、それ以外の差分動きベクトルの符号化/復号では、第1の可変長テーブル使用するようにしてもよい。
(7)N予測
上記では画面間予測の予測タイプを片予測と双予測としているが、3個以上の予測信号を合成する予測方法に対しても本発明は適用できる。3個以上の予測信号を合成して予測信号を生成する場合には、mvdを含まない付加情報の数は1つ以上であれば、いくつでもよい。
(8)変換器、逆変換器
残差信号の変換処理は、固定のブロックサイズで行っても良いし、部分領域にあわせて対象領域を再分割して変換処理を行っても良い。
(9)色信号
上記では、色フォーマットについては特に述べていないが、色信号あるいは色差信号についても、輝度信号と個別に予測信号の生成処理を行っても良い。また、輝度信号の処理と連動して行っても良い。
以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明はさらに上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。