JP3884472B2 - 動画像符号化方法および動画像復号化方法 - Google Patents

Description

本発明は、動画像を構成する各ピクチャをフレーム構造またはフィールド構造により符号化および復号化を行う動画像符号化方法および動画像復号化方法、動画像符号化装置、動画像復号化装置、およびそれをソフトウェアで実施するためのプログラムに関する。

動画像符号化においては、一般に動画像が有する空間方向および時間方向の冗長性を利用して情報量の圧縮を行う。ここで、時間方向の冗長性を利用する方法として、ピクチャ間予測符号化が用いられる。ピクチャ間予測符号化では、あるピクチャを符号化する際に、表示時間順で前方または後方にあるピクチャを参照ピクチャとする。そして、その参照ピクチャからの動き量を検出し、動き補償を行ったピクチャと符号化対象のピクチャとの差分値に対して空間方向の冗長度を取り除くことにより情報量の圧縮を行う。

現在標準化中のＨ．２６４と呼ばれる動画像符号化方式では、参照ピクチャを持たずに符号化対象ピクチャのみを用いてピクチャ内予測符号化を行うピクチャをＩピクチャと呼ぶ。ここでピクチャとは、フレームおよびフィールドの両者を包含する１つの符号化の単位を意味する。また、既に処理済みの１枚のピクチャを参照してピクチャ間予測符号化するピクチャをＰピクチャと呼び、既に処理済みの２枚のピクチャを同時に参照してピクチャ間予測符号化するピクチャをＢピクチャと呼ぶ。

図１７は、上記の動画像符号化方式における各ピクチャの予測関係を示す模式図である。図１７において、縦線は１枚のピクチャを示しており、各ピクチャの右下にピクチャタイプ（Ｉ、Ｐ、Ｂ）を示している。また図１７中の矢印は、矢印の始端にあるピクチャが、矢印の終端にあるピクチャを参照ピクチャとして用いてピクチャ間予測符号化することを示している。例えば、先頭から２枚目のＢピクチャは、先頭のＩピクチャと先頭から４枚目のＰピクチャを参照ピクチャとして用いることにより符号化する。

Ｈ．２６４方式では、Ｂピクチャの符号化において、ダイレクトモードという符号化モードを選択することができる。このダイレクトモードには、時間的方法と空間的方法との２種類の方法がある。時間的ダイレクトモードでは、符号化対象ブロック自体は動きベクトルを持たず、符号化済みの他のピクチャの動きベクトルを参照動きベクトルとして、ピクチャ間の表示時間的位置関係に基づいてスケーリング処理を行うことによって、符号化対象ブロックで用いる動きベクトルを予測して生成している（例えば、特許文献１参照）。

図１８は、時間的ダイレクトモードにおける動きベクトルの予測生成方法を示す模式図であり、ＰはＰピクチャ、ＢはＢピクチャを示し、ピクチャタイプに付している数字は各ピクチャの表示順を示している。また、各ピクチャＰ１、Ｂ２、Ｂ３、Ｐ４は、それぞれ表示順情報Ｔ１、Ｔ２、Ｔ３、Ｔ４を有している。ここでは、図１８に示すピクチャＢ３のブロックＢＬ０を時間的ダイレクトモードで符号化する場合について説明する。

この場合、ピクチャＢ３の表示時間的に近傍に位置する既に符号化済みピクチャであるピクチャＰ４中の、ブロックＢＬ０と同じ位置にあるブロックＢＬ１の動きベクトルＭＶ１を利用する。この動きベクトルＭＶ１は、ブロックＢＬ１が符号化された際に用いられた動きベクトルであり、ピクチャＰ１を参照している。この場合にブロックＢＬ０を符号化する際に用いる動きベクトルは、ピクチャＰ１に対しては動きベクトルＭＶ＿Ｆ、ピクチャＰ４に対しては動きベクトルＭＶ＿Ｂとなる。この際、動きベクトルＭＶ１の大きさをＭＶ、動きベクトルＭＶ＿Ｆの大きさをＭＶｆ、動きベクトルＭＶ＿Ｂの大きさをＭＶｂとすると、ＭＶｆ、ＭＶｂはそれぞれ式１ａ、式１ｂによって得られる。

ＭＶｆ＝（Ｔ３−Ｔ１）／（Ｔ４−Ｔ１）×ＭＶ … （式１ａ）
ＭＶｂ＝（Ｔ３−Ｔ４）／（Ｔ４−Ｔ１）×ＭＶ … （式１ｂ）

このように動きベクトルＭＶ１からスケーリング処理を行うことによって得られた動きベクトルＭＶ＿Ｆ、動きベクトルＭＶ＿Ｂを用いて、参照ピクチャであるピクチャＰ１とピクチャＰ４からブロックＢＬ０の動き補償を行う。

一方、空間的ダイレクトモードでは、時間的ダイレクトモードと同様に符号化対象ブロック自体は動きベクトルを持たず、符号化対象ブロックの空間的に周辺に位置する符号化済みブロックの持つ動きベクトルを参照し、それを用いて符号化を行っている。

図１９は、空間的ダイレクトモードにおける動きベクトルの予測生成方法を示す模式図であり、ＰはＰピクチャ、ＢはＢピクチャを示し、ピクチャタイプに付している数字は各ピクチャの表示順を示している。ここでは、図１９に示すピクチャＢ３のブロックＢＬ０を空間的ダイレクトモードで符号化する場合について説明する。

この場合、符号化対象であるブロックＢＬ０の周辺の３画素Ａ、Ｂ、Ｃを含む符号化済みのブロックのそれぞれの動きベクトルＭＶＡ１、ＭＶＢ１、ＭＶＣ１のうち、符号化対象ピクチャから表示時間的に最も近くにある既に符号化されたピクチャを参照した動きベクトルを、符号化対象ブロックの動きベクトルの候補として決定する。この決定した動きベクトルが３つである場合には、それらの中央値を符号化対象ブロックの動きベクトルとして選択する。また、２つである場合には、それらの平均値を求め、符号化対象ブロックの動きベクトルとする。また、１つだけである場合には、その動きベクトルを符号化対象ブロックの動きベクトルとする。図１９に示す例では、動きベクトルＭＶＡ１、ＭＶＣ１はピクチャＰ２を参照して求められ、動きベクトルＭＶＢ１はピクチャＰ１を参照して求められている。よって、符号化対象ピクチャから表示時間的に最も近くにある既に符号化されたピクチャであるピクチャＰ２を参照した動きベクトルＭＶＡ１、ＭＶＣ１の平均値を求め、符号化対象ブロックの１つめの動きベクトルであるＭＶ＿Ｆとする。２つめの動きベクトルであるＭＶ＿Ｂを求める場合も同様である。
特開平１１−７５１９１号公報

ところで、Ｈ．２６４の符号化方式では、プログレッシブ画像について、１枚のピクチャをフレームのままでフレーム符号化することに加えて、インターレース画像に対して使用される１枚のピクチャをトップフィールド、ボトムフィールドの２枚のフィールドに分けて符号化するフィールド符号化を使用することが許されている。

図２０は、インターレース画像およびプログレッシブ画像におけるフィールドが有する表示順情報を示す模式図であり、同じフレーム番号を有する２本の縦線はそれぞれフィールドを示している。インターレース画像では、図２０(ａ) に示すようにトップフィールドとボトムフィールドは等間隔になるように表示順情報が割り当てられる。一方、プログレッシブ画像では、図２０(ｂ) に示すように２枚のフィールドは同じ表示順情報を持たせることにより、正確な表示順関係を表現することが可能となる。以下では同じフレームに属する２枚のフィールドが同じ表示順情報をもつ画像をプログレッシブ画像、そうでない画像をインターレース画像と呼ぶが、これに限ったものでなく、どのような画像に対しても同じフレームに属する２枚のフィールドに同じ表示順情報を持たせることは可能である。

そこで、インターレース画像およびプログレッシブ画像でフィールド符号化を行った場合、時間的ダイレクトモードが選択されると、各フィールドが有する表示順情報を用いて背景技術で説明した方法を用いて動きベクトルをスケーリングすることになる。このとき、参照する２枚のピクチャが同じフレームに属するトップフィールドとボトムフィールドとなる場合が存在する。この場合について、インターレース画像およびプログレッシブ画像それぞれの場合に分けて、以下説明する。

図２１は、インターレース画像での時間的ダイレクトモードにおける動きベクトルの予測生成方法を示す模式図であり、ＰはＰピクチャ、ＢはＢピクチャを示し、ピクチャタイプに付している数字は各ピクチャの表示順を示している。ここでは、図２１に示すピクチャＢ２のブロックＢＬ０を時間的ダイレクトモードでフィールド符号化する場合について説明する。

この場合、ピクチャＢ２の後方参照ピクチャであるピクチャＰ３中の、ブロックＢＬ０と同じ位置にあるブロックＢＬ１の動きベクトルＭＶ１を利用する。この動きベクトルＭＶ１は、ブロックＢＬ１が符号化された際に用いられた動きベクトルであり、同じピクチャＰ３のトップフィールドを参照している。この場合にブロックＢＬ０を符号化する際に用いる動きベクトルＭＶ＿Ｆ、動きベクトルＭＶ＿Ｂは上記式１ａ、式１ｂによって以下のように求めることができる。

ＭＶｆ＝（４−５）／（６−５）×ＭＶ＝−ＭＶ
ＭＶｂ＝（４−６）／（６−５）×ＭＶ＝−２ＭＶ

図２２は、プログレッシブ画像での時間的ダイレクトモードにおける動きベクトルの予測生成方法を示す模式図であり、ＰはＰピクチャ、ＢはＢピクチャを示し、ピクチャタイプに付している数字は各ピクチャの表示順を示している。ここでは、図２２に示すピクチャＢ２のブロックＢＬ０を時間的ダイレクトモードでフィールド符号化する場合について説明する。

この場合、ピクチャＢ２の後方参照ピクチャであるピクチャＰ３中の、ブロックＢＬ０と同じ位置にあるブロックＢＬ１の動きベクトルＭＶ１を利用する。この動きベクトルＭＶ１は、ブロックＢＬ１が符号化された際に用いられた動きベクトルであり、同じピクチャＰ３のトップフィールドを参照している。この場合にブロックＢＬ０を符号化する際に用いる動きベクトルＭＶ＿Ｆ、動きベクトルＭＶ＿Ｂは上記式１ａ、式１ｂでは以下のように分母が０になってしまい、求めることができない。

ＭＶｆ＝（３−５）／（５−５）×ＭＶ 演算不可
ＭＶｂ＝（３−５）／（５−５）×ＭＶ 演算不可

このように、プログレッシブ画像でフィールド符号化を行った場合、時間的ダイレクトモードが選択され、参照する２枚のピクチャが同じフレームに属するトップフィールドとボトムフィールドであった場合には、スケーリング処理により動きベクトルを予測して生成することができない。

同様に、インターレース画像およびプログレッシブ画像でフィールド符号化を行った場合、空間的ダイレクトモードが選択されると、各フィールドが有する表示順情報を用いて上記のように符号化対象ピクチャから表示時間的に最も近くにある既に符号化されたピクチャを参照した動きベクトルを、符号化対象ブロックの動きベクトルの候補として決定することになる。このとき、動きベクトルが参照するピクチャが同じフレームに属するトップフィールドとボトムフィールドとなる場合が存在する。

図２３は、プログレッシブ画像での空間的ダイレクトモードにおける動きベクトルの予測生成方法を示す模式図であり、ＰはＰピクチャ、ＢはＢピクチャを示し、ピクチャタイプに付している数字は各ピクチャの表示順を示し、最後に付しているＴはトップフィールド、Ｂはボトムフィールドを示している。ここでは、図２３に示すピクチャＢ３＿ＴのブロックＢＬ０を空間的ダイレクトモードでフィールド符号化する場合について説明する。

この場合、符号化対象であるブロックＢＬ０の周辺の３画素Ａ、Ｂ、Ｃを含む符号化済みのブロックのそれぞれの動きベクトルＭＶＡ１、ＭＶＢ１、ＭＶＣ１はそれぞれフィールドＰ２＿Ｔ、Ｐ１＿Ｂ、Ｐ２＿Ｂを参照している。このうちフィールドＰ２＿Ｔ、Ｐ２＿Ｂは、同じフレームに属するトップフィールドとボトムフィールドであるので、同じ表示順情報を持っている。よって、フィールドＰ２＿Ｔ、Ｐ２＿Ｂのうちどちらが符号化対象ピクチャから表示時間的に最も近くにあるかを特定することができない。したがって、符号化対象ブロックの動きベクトルを予測して生成することができない。

そこで、本発明は上記の事情に鑑みてなされたものであり、動画像をフィールド符号化および復号化を行う場合に、ダイレクトモードが選択されても確実に動きベクトルを求めることができる動画像符号化方法および動画像復号化方法等を提供することを目的とする。

上記目的を達成するために、本発明に係る動画像符号化方法は、動画像を構成する各ピクチャをフレーム構造またはフィールド構造により符号化する方法であって、既に符号化されたピクチャを参照して、ピクチャを構成するブロックごとに動きベクトルを算出する動きベクトル算出ステップと、処理対象ブロックの符号化モードを決定するモード決定ステップと、前記モード決定ステップで決定された符号化モードが、表示時間的に近傍にある符号化済みピクチャの有する動きベクトルを参照動きベクトルとして、参照ピクチャ間の表示時間的位置関係に基づいて前記参照動きベクトルのスケーリング処理を行うことによって当該処理対象ブロックの動きベクトルを予測して生成する符号化モードである場合、当該処理対象ブロックの動きベクトルを予測して生成することができるか否かを判定するスケーリング判定ステップと、前記スケーリング判定ステップの判定結果に基づいて、前記モード決定ステップで決定された符号化モードをそのままもしくは更新して使用することにより動き補償を行う動き補償ステップとを含むことを特徴とする。

これによって、表示時間的に近傍にある符号化済みピクチャの有する動きベクトルを参照動きベクトルとして、参照ピクチャ間の表示時間的位置関係に基づいて参照動きベクトルのスケーリング処理を行うことによって処理対象ブロックの動きベクトルを予測して生成する時間的ダイレクトモードにより符号化を行う場合に、スケーリング処理が可能でなくても、符号化モードを変更する等の処理を行って処理対象ブロックを符号化することができる。

また、本発明に係る動画像符号化方法は、動画像を構成する各ピクチャをフレーム構造またはフィールド構造により符号化する方法であって、既に符号化されたピクチャを参照して、ピクチャを構成するブロックごとに動きベクトルを算出する動きベクトル算出ステップと、処理対象ブロックの空間的周辺に位置する既に符号化されたブロックの有する動きベクトルのうち、処理対象ピクチャから表示時間的に最も近くにある既に符号化されたピクチャを参照した動きベクトルに基づいて、当該処理対象ブロックの動きベクトルを予測生成して符号化する場合、当該処理対象ブロックの動きベクトルを予測して生成することができるか否かを判定する予測判定ステップと、前記予測判定ステップで前記動きベクトルを生成することができないと判定された場合に、当該処理対象ピクチャから最も近いとするピクチャを表示順情報以外の情報を用いて決定する最近ピクチャ決定ステップとを含むことを特徴とする。

これによって、処理対象ブロックの空間的周辺に位置する既に符号化されたブロックの有する動きベクトルのうち、処理対象ピクチャから表示時間的に最も近くにある既に符号化されたピクチャを参照した動きベクトルに基づいて、処理対象ブロックの動きベクトルを予測生成する空間的ダイレクトモードにより符号化を行う場合に、ピクチャの有する表示順情報に基づいて動きベクトルを予測して生成することが可能でなくても、符号化対象ピクチャから最も近くにあるピクチャを決定する処理を行って、動きベクトルを予測して生成し、処理対象ブロックを符号化することができる。

また、本発明に係る動画像復号化方法は、動画像を構成する各ピクチャをフレーム構造またはフィールド構造により復号化する方法であって、既に復号化されたピクチャを参照して、ピクチャを構成するブロックごとに動きベクトルを算出する動きベクトル算出ステップと、処理対象ブロックの復号化モードを抽出するモード抽出ステップと、前記モード抽出ステップで抽出された復号化モードが、表示時間的に近傍にある復号化済みピクチャの有する動きベクトルを参照動きベクトルとして、参照ピクチャ間の表示時間的位置関係に基づいて前記参照動きベクトルのスケーリング処理を行うことによって当該処理対象ブロックの動きベクトルを予測して生成する復号化モードである場合、当該処理対象ブロックの動きベクトルを予測して生成することができるか否かを判定するスケーリング判定ステップと、前記スケーリング判定ステップの判定結果に基づいて、前記モード抽出ステップで抽出された復号化モードをそのままもしくは更新して使用することにより動き補償を行う動き補償ステップとを含むことを特徴とする。

これによって、抽出した符号化時の符号化モードが時間的ダイレクトモードであるにもかかわらず、スケーリング処理が可能でない場合に、復号化モードを変更する等の処理を行って処理対象ブロックを復号化することができる。

また、本発明に係る動画像復号化方法は、動画像を構成する各ピクチャをフレーム構造またはフィールド構造により復号化する方法であって、既に復号化されたピクチャを参照して、ピクチャを構成するブロックごとに動きベクトルを算出する動きベクトル算出ステップと、処理対象ブロックの空間的周辺に位置する既に復号化されたブロックの有する動きベクトルのうち、処理対象ピクチャから表示時間的に最も近くにある既に復号化されたピクチャを参照した動きベクトルに基づいて、当該処理対象ブロックの動きベクトルを予測生成して復号化する場合、当該処理対象ブロックの動きベクトルを予測して生成することができるか否かを判定する予測判定ステップと、前記予測判定ステップで前記動きベクトルを生成することができないと判定された場合に、当該処理対象ピクチャから最も近いとするピクチャを表示順情報以外の情報を用いて決定する最近ピクチャ決定ステップとを含むことを特徴とする。

これによって、空間的ダイレクトモードにより復号化を行う場合に、ピクチャの有する表示順情報に基づいて動きベクトルを予測して生成することが可能でなくても、復号化対象ピクチャから最も近くにあるピクチャを決定する処理を行って、動きベクトルを予測して生成し、処理対象ブロックを復号化することができる。

さらに、本発明は、このような動画像符号化方法および動画像復号化方法として実現することができるだけでなく、このような動画像符号化方法および動画像復号化方法が含む特徴的なステップを手段として備える動画像符号化装置および動画像復号化装置として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

また、本発明の動画像符号化方法は、以下の（１）〜（１１）の何れかの構成とすることができる。

（１）動画像を構成する各ピクチャをフレーム構造またはフィールド構造により符号化する方法であって、既に符号化されたピクチャを参照して、ピクチャを構成するブロックごとに動きベクトルを算出する動きベクトル算出ステップと、処理対象ブロックの符号化モードを決定するモード決定ステップと、前記モード決定ステップで決定された符号化モードが、表示時間的に近傍にある符号化済みピクチャの有する動きベクトルを参照動きベクトルとして、参照ピクチャ間の表示時間的位置関係に基づいて前記参照動きベクトルのスケーリング処理を行うことによって当該処理対象ブロックの動きベクトルを予測して生成する符号化モードである場合、当該処理対象ブロックの動きベクトルを予測して生成することができるか否かを判定するスケーリング判定ステップと、前記スケーリング判定ステップの判定結果に基づいて、前記モード決定ステップで決定された符号化モードをそのままもしくは更新して使用することにより動き補償を行う動き補償ステップを有する。

（２）前記スケーリング判定ステップでは、前記スケーリング処理で参照する２つのピクチャが有する表示順情報が同じ場合に、前記スケーリング処理を行うことによって当該処理対象ブロックの動きベクトルを予測して生成することができないと判定する。

（３）前記スケーリング判定ステップでは、前記スケーリング処理で参照する２つのピクチャが、同一フレームに属するトップフィールドとボトムフィールドであり前記２つのフィールドが共に同じ表示順情報を有していた場合に、前記スケーリング処理を行うことによって当該処理対象ブロックの動きベクトルを予測して生成することができないと判定する。

（４）前記動き補償ステップでは、前記スケーリング判定ステップで前記動きベクトルを生成することができないと判定された場合に、前記動きベクトル算出ステップで算出した当該処理対象ブロックの動きベクトルを用いて符号化する符号化モードに変更して動き補償を行う。

（５）前記動き補償ステップでは、前記スケーリング判定ステップで前記動きベクトルを生成することができないと判定された場合に、前記スケーリング処理を行わずに、当該処理対象ブロックの前記予測して生成される動きベクトルをあらかじめ設定された所定の値のベクトルとして、前記モード決定ステップで決定された符号化モードを用いて動き補償を行う。

（６）前記所定のベクトルの少なくとも１つは０ベクトルであり、前記動き補償ステップでは、前記スケーリング判定ステップで前記動きベクトルを生成することができないと判定された場合に、前記スケーリング処理を行わずに、当該処理対象ブロックの前記予測して生成される動きベクトルの少なくとも１つを０ベクトルとして、前記モード決定ステップで決定された符号化モードを用いて動き補償を行う。

（７）前記動き補償ステップでは、前記スケーリング判定ステップで前記動きベクトルを生成することができないと判定された場合に、当該処理対象ブロックの空間的周辺に位置する既に符号化されたブロックの有する動きベクトルに基づいて、当該処理対象ブロックの動きベクトルを予測して生成し符号化する符号化モードに変更して動き補償を行う。

（８）動画像を構成する各ピクチャをフレーム構造またはフィールド構造により符号化する方法であって、既に符号化されたピクチャを参照して、ピクチャを構成するブロックごとに動きベクトルを算出する動きベクトル算出ステップと、処理対象ブロックの空間的周辺に位置する既に符号化されたブロックの有する動きベクトルのうち、処理対象ピクチャから表示時間的に最も近くにある既に符号化されたピクチャを参照した動きベクトルに基づいて、当該処理対象ブロックの動きベクトルを予測生成して符号化する場合、当該処理対象ブロックの動きベクトルを予測して生成することができるか否かを判定する予測判定ステップと、前記予測判定ステップで前記動きベクトルを生成することができないと判定された場合に、当該処理対象ピクチャから最も近いとするピクチャを表示順情報以外の情報を用いて決定する最近ピクチャ決定ステップとを有する。

（９）前記予測判定ステップでは、前記既に符号化されたブロックのそれぞれの動きベクトルのうち、当該処理対象ピクチャから表示時間的に最も近くにある既に符号化されたピクチャを参照した動きベクトルが複数存在し、かつ、その参照する複数のピクチャが同一フレームに属するトップフィールドとボトムフィールドであり、かつ、前記２つのフィールドが共に同じ表示順情報を有していた場合に、当該処理対象ブロックの動きベクトルを予測して生成することができないと判定する。

（１０）前記最近ピクチャ決定ステップでは、前記予測判定ステップで前記動きベクトルを生成することができないと判定された場合に、前記同一フレームに属し同じ表示順情報を有するトップフィールドとボトムフィールドのうち、当該処理対象フィールドと同じ属性であるフィールドを、当該処理対象フィールドから最も近くにあるフィールドと決定する。

（１１）前記最近ピクチャ決定ステップでは、前記予測判定ステップで前記動きベクトルを生成することができないと判定された場合に、前記同一フレームに属し同じ表示順情報を有するトップフィールドとボトムフィールドのうち、後で符号化されたフィールドを、当該処理対象フィールドから最も近くにあるフィールドと決定する。

また、本発明の動画像復号化方法は、以下の（１２）〜（２２）の何れかの構成とすることができる。

（１２）動画像を構成する各ピクチャをフレーム構造またはフィールド構造により復号化する方法であって、既に復号化されたピクチャを参照して、ピクチャを構成するブロックごとに動きベクトルを算出する動きベクトル算出ステップと、処理対象ブロックの復号化モードを抽出するモード抽出ステップと、前記モード抽出ステップで抽出された復号化モードが、表示時間的に近傍にある復号化済みピクチャの有する動きベクトルを参照動きベクトルとして、参照ピクチャ間の表示時間的位置関係に基づいて前記参照動きベクトルのスケーリング処理を行うことによって当該処理対象ブロックの動きベクトルを予測して生成する復号化モードである場合、当該処理対象ブロックの動きベクトルを予測して生成することができるか否かを判定するスケーリング判定ステップと、前記スケーリング判定ステップの判定結果に基づいて、前記モード抽出ステップで抽出された復号化モードをそのままもしくは更新して使用することにより動き補償を行う動き補償ステップとを有する。

（１３）前記スケーリング判定ステップでは、前記スケーリング処理で参照する２つのピクチャが有する表示順情報が同じ場合に、前記スケーリング処理を行うことによって当該処理対象ブロックの動きベクトルを予測して生成することができないと判定する。

（１４）前記スケーリング判定ステップでは、前記スケーリング処理で参照する２つのピクチャが、同一フレームに属するトップフィールドとボトムフィールドであり前記２つのフィールドが共に同じ表示順情報を有していた場合に、前記スケーリング処理を行うことによって当該処理対象ブロックの動きベクトルを予測して生成することができないと判定する。

（１５）前記動き補償ステップでは、前記スケーリング判定ステップで前記動きベクトルを生成することができないと判定された場合に、前記動きベクトル算出ステップで算出した当該処理対象ブロックの動きベクトルを用いて復号化する復号化モードに変更して動き補償を行う。

（１６）前記動き補償ステップでは、前記スケーリング判定ステップで前記動きベクトルを生成することができないと判定された場合に、前記スケーリング処理を行わずに、当該処理対象ブロックの前記予測して生成される動きベクトルをあらかじめ設定された所定の値のベクトルとして、前記モード抽出ステップで抽出された復号化モードを用いて動き補償を行う。

（１７）前記所定のベクトルの少なくとも１つは０ベクトルであり、前記動き補償ステップでは、前記スケーリング判定ステップで前記動きベクトルを生成することができないと判定された場合に、前記スケーリング処理を行わずに、当該処理対象ブロックの前記予測して生成される動きベクトルの少なくとも１つを０ベクトルとして、前記モード抽出ステップで抽出された復号化モードを用いて動き補償を行う。

（１８）前記動き補償ステップでは、前記スケーリング判定ステップで前記動きベクトルを生成することができないと判定された場合に、当該処理対象ブロックの空間的周辺に位置する既に復号化されたブロックの有する動きベクトルに基づいて、当該処理対象ブロックの動きベクトルを予測して生成し復号化する復号化モードに変更して動き補償を行う。

（１９）動画像を構成する各ピクチャをフレーム構造またはフィールド構造により復号化する方法であって、既に復号化されたピクチャを参照して、ピクチャを構成するブロックごとに動きベクトルを算出する動きベクトル算出ステップと、処理対象ブロックの空間的周辺に位置する既に復号化されたブロックの有する動きベクトルのうち、処理対象ピクチャから表示時間的に最も近くにある既に復号化されたピクチャを参照した動きベクトルに基づいて、当該処理対象ブロックの動きベクトルを予測生成して復号化する場合、当該処理対象ブロックの動きベクトルを予測して生成することができるか否かを判定する予測判定ステップと、前記予測判定ステップで前記動きベクトルを生成することができないと判定された場合に、当該処理対象ピクチャから最も近いとするピクチャを表示順情報以外の情報を用いて決定する最近ピクチャ決定ステップとを有する。

（２０）前記予測判定ステップでは、前記既に復号化されたブロックのそれぞれの動きベクトルのうち、当該処理対象ピクチャから表示時間的に最も近くにある既に復号化されたピクチャを参照した動きベクトルが複数存在し、かつ、その参照する複数のピクチャが同一フレームに属するトップフィールドとボトムフィールドであり、かつ、前記２つのフィールドが共に同じ表示順情報を有していた場合に、当該処理対象ブロックの動きベクトルを予測して生成することができないと判定する。

（２１）前記最近ピクチャ決定ステップでは、前記予測判定ステップで前記動きベクトルを生成することができないと判定された場合に、前記同一フレームに属し、同じ表示順情報を有するトップフィールドとボトムフィールドのうち、当該処理対象フィールドと同じ属性であるフィールドを、当該処理対象フィールドから最も近くにあるフィールドと決定する。

（２２）前記最近ピクチャ決定ステップでは、前記予測判定ステップで前記動きベクトルを生成することができないと判定された場合に、前記同一フレームに属し、同じ表示順情報を有するトップフィールドとボトムフィールドのうち、後で復号化されたフィールドを、当該処理対象フィールドから最も近くにあるフィールドと決定する。

以上の説明から明らかなように、本発明に係る動画像符号化方法によれば、時間的ダイレクトモードまたは空間的ダイレクトモードにより符号化を行う場合に、確実に動きベクトルを生成して処理対象ブロックを符号化することができる。

また、本発明に係る動画像復号化方法によれば、時間的ダイレクトモードまたは空間的ダイレクトモードにより復号化を行う場合に、確実に動きベクトルを生成して処理対象ブロックを復号化することができる。

本発明の実施の形態について、図面を参照して説明する。

（実施の形態１）
図１は、本発明に係る動画像符号化方法を用いた動画像符号化装置の一実施の形態の構成を示すブロック図である。

動画像符号化装置は、図１に示すようにピクチャメモリ１０１、予測残差符号化部１０２、符号列生成部１０３、予測残差復号化部１０４、ピクチャメモリ１０５、動きベクトル検出部１０６、動き補償符号化部１０７、動きベクトル記憶部１０８、ダイレクトモード可否判定部１０９、差分演算部１１０、加算演算部１１１、およびスイッチ１１２、１１３を備えている。

ピクチャメモリ１０１は、表示時間順にピクチャ単位で入力された動画像を格納する。動きベクトル検出部１０６は、符号化済みの再構築画像データを参照ピクチャとして用いて、そのピクチャ内の探索領域において最適と予測される位置を示す動きベクトルの検出を行う。動き補償符号化部１０７は、動きベクトル検出部１０６で検出された動きベクトルを用いてブロックの符号化モードを決定し、この符号化モードに基づいて予測画像データを生成する。この符号化モードとは、マクロブロックをどのような方法で符号化するかを示すものである。

動きベクトル記憶部１０８は、動きベクトル検出部１０６で検出された動きベクトルを記憶する。ダイレクトモード可否判定部１０９は、動き補償符号化部１０７により決定された符号化モードが時間的ダイレクトモードである場合に、スケーリング処理を行うことができるか否かの判定を行い、符号化モードの確定を行う。また、ダイレクトモード可否判定部１０９は、符号化モードが空間的ダイレクトモードである場合に、符号化対象ブロックで用いる動きベクトルを予測して生成することができるか否かの判定を行う。差分演算部１１０は、ピクチャメモリ１０１より読み出された画像データと、動き補償符号化部１０７より入力された予測画像データとの差分を演算し、予測残差画像データを生成する。

予測残差符号化部１０２は、入力された予測残差画像データに対して周波数変換や量子化等の符号化処理を行い、符号化データを生成する。符号列生成部１０３は、入力された符号化データに対して可変長符号化等を行い、さらに動き補償符号化部１０７から入力された動きベクトルの情報、および符号化モードの情報等を付加することにより符号列を生成する。

予測残差復号化部１０４は、入力された符号化データに対して逆量子化や逆周波数変換等の復号化処理を行い、復号化差分画像データを生成する。加算演算部１１１は、予測残差復号化部１０４より入力された復号化差分画像データと、動き補償符号化部１０７より入力された予測画像データとを加算し、再構築画像データを生成する。ピクチャメモリ１０５は、生成された再構築画像データを格納する。

次に、上記のように構成された動画像符号化装置の動作について説明する。
図２は、ピクチャメモリ１０１におけるピクチャの順序を示す説明図であり、(ａ) 入力された順序、(ｂ) 並び替えられた順序を示す説明図である。ここで、縦線はピクチャを示し、各ピクチャの右下に示す記号は１文字目のアルファベットがピクチャタイプ（Ｉ、Ｐ、またはＢ）を、２文字目以降の数字が表示時間順のピクチャ番号を示している。また、Ｐピクチャは、表示時間順で前方にある近傍のＩピクチャまたはＰピクチャを参照ピクチャとし、Ｂピクチャは、表示時間順で前方にある近傍のＩピクチャまたはＰピクチャと、表示時間順で後方にある近傍１枚のＩピクチャまたはＰピクチャとを参照ピクチャとして用いるものとしている。

入力画像は、例えば図２(ａ) に示すように表示時間順にピクチャ単位でピクチャメモリ１０１に入力される。ピクチャメモリ１０１に入力された各ピクチャは、符号化するピクチャタイプが決定されると、例えば図２(ｂ) に示すように符号化が行われる順に並び替えられる。この符号化順への並び替えは、ピクチャ間予測符号化における参照関係に基づいて行われ、参照ピクチャとして用いられるピクチャが、参照ピクチャとして用いるピクチャよりも先に符号化されるように並び替えられる。

ピクチャメモリ１０１で並び替えが行われた各ピクチャは、例えば水平１６×垂直１６画素のグループに分割されたマクロブロック単位で読み出される。また、動き補償および動きベクトルの検出は、例えば水平８×垂直８画素のグループに分割されたブロック単位で行っている。

以降の動作については、符号化対象のピクチャがＢピクチャである場合について説明する。

Ｂピクチャでは、２方向参照を用いたピクチャ間予測符号化を行っている。例えば、図２(ａ) に示す例でピクチャＢ１１の符号化処理を行う場合、表示時間順で前方にある参照ピクチャはピクチャＰ１０、Ｐ７、Ｐ４、表示時間順で後方にある参照ピクチャはピクチャＰ１３となる。ここでは、Ｂピクチャが他のピクチャの符号化時に、参照ピクチャとして用いられない場合を考える。

ピクチャメモリ１０１より読み出されたピクチャＢ１１のマクロブロックは、動きベクトル検出部１０６および差分演算部１１０に入力される。

動き補償符号化部１０７は、マクロブロック内の各ブロックをフレーム構造で符号化するか、またはフィールド構造で符号化するかを決定する。フレーム構造またはフィールド構造のいずれで符号化するかは、例えば、ブロック内の画素値の分散をフレーム構造とフィールド構造とで求め、分散の小さい方を選択する方法がある。なお、各ピクチャをピクチャ単位でフレーム構造またはフィールド構造のいずれかで符号化することもできる。

動きベクトル検出部１０６は、決定されたフレーム構造での符号化またはフィールド構造での符号化に応じて、ピクチャメモリ１０５に格納された参照ピクチャをフレーム単位またはフィールド単位として、マクロブロック内の各ブロックに対して、前方動きベクトルと後方動きベクトルとの検出を行う。ここでは、ピクチャメモリ１０５に格納されたピクチャＰ１０、Ｐ７、Ｐ４の再構築画像データを前方参照ピクチャとして、ピクチャＰ１３の再構築画像データを後方参照ピクチャとして用いることになる。動きベクトル検出部１０６は、検出した動きベクトルを動き補償符号化部１０７に対して出力する。

動き補償符号化部１０７は、動きベクトル検出部１０６で検出された動きベクトルを用いて、マクロブロックの符号化モードを決定する。ここで、Ｂピクチャの符号化モードは、例えばピクチャ内符号化、前方動きベクトルを用いたピクチャ間予測符号化、後方動きベクトルを用いたピクチャ間予測符号化、双方向動きベクトルを用いたピクチャ間予測符号化、ダイレクトモードの中から、いずれの方法で符号化するかを選択することができるものとする。また、ダイレクトモードについては、あらかじめ時間的ダイレクトモードまたは空間的ダイレクトモードが指定されているものとする。なお、符号化モードの決定においては、一般的には少ないビット量でより符号化誤差が小さくなる方法を選択する。

次に、ダイレクトモードで符号化することが選択された場合に行うダイレクトモード可否判定部１０９による符号化モードの確定の動作について説明する。この符号化モードの確定の動作は、以下に説明する方法１〜３のいずれかによって行うことができる。

（方法１）
図３は方法１による符号化モードの確定の動作を示すフロー図である。動き補償符号化部１０７は、ダイレクトモードで符号化することを選択すると、その旨をダイレクトモード可否判定部１０９に通知する。通知を受けたダイレクトモード可否判定部１０９は、まず、時間的ダイレクトモードが指定されているか否かを判定する（ステップＳ１０１）。この結果、時間的ダイレクトモードであると判定した場合、ダイレクトモード可否判定部１０９は、フィールド符号化が選択されているか否かを判定する（ステップＳ１０２）。この結果、フィールド符号化が選択されていないと判定した場合には、ダイレクトモード可否判定部１０９は、動き補償符号化部１０７に対して時間的ダイレクトモードでの符号化を指示する（ステップＳ１０３）。一方、フィールド符号化が選択されていると判定した場合には、ダイレクトモード可否判定部１０９は、スケーリング処理によって符号化対象ブロックで用いる動きベクトルを予測して生成することができるか否かを判定する（ステップＳ１０４）。すなわち、参照する２枚のピクチャが同じフレームに属し、同じ表示順情報を持つトップフィールドとボトムフィールドであるか否かを判定している。この結果、スケーリング処理が可能である場合（ステップS１０４の条件判定がＮＯの場合）、ダイレクトモード可否判定部１０９は、動き補償符号化部１０７に対して時間的ダイレクトモードでの符号化を指示する（ステップＳ１０３）。一方、スケーリング処理が可能でない場合（ステップS１０４の条件判定がＹＥＳの場合）、ダイレクトモード可否判定部１０９は、動き補償符号化部１０７に対してダイレクトモード以外での符号化を指示する（ステップＳ１０５）。

また、上記判定（ステップＳ１０１）の結果、時間的ダイレクトモードでない（すなわち、空間的ダイレクトモードである）と判定した場合も、ダイレクトモード可否判定部１０９は、フィールド符号化が選択されているか否かを判定する（ステップＳ１０６）。この結果、フィールド符号化が選択されていないと判定した場合には、ダイレクトモード可否判定部１０９は、動き補償符号化部１０７に対して空間的ダイレクトモードでの符号化を指示する（ステップＳ１０７）。

上記判定（ステップＳ１０６）の結果、フィールド符号化が選択されていると判定した場合には、ダイレクトモード可否判定部１０９は、空間的ダイレクトモードによりピクチャの有する表示順情報に基づいて、符号化対象ブロックで用いる動きベクトルを予測して生成することができるか否かを判定する（ステップＳ１０８）。すなわち、符号化対象であるブロックの周辺の３画素を含む符号化済みの３ブロックのそれぞれの動きベクトルのうち、符号化対象ピクチャ（フィールド）から表示時間的に最も近くにある既に符号化されたピクチャを参照した動きベクトルが複数存在し、かつ、その参照する複数のピクチャが同じフレームに属し、同じ表示順情報を持つトップフィールドとボトムフィールドであるか否かを判定している。このとき、上記条件を満たした場合に、動きベクトルを予測して生成することが可能でないと判定する。

上記判定（ステップＳ１０８）の結果、動きベクトルを予測して生成することが可能であると判定した場合（ステップS１０８の条件判定がＮＯの場合）、ダイレクトモード可否判定部１０９は、動き補償符号化部１０７に対して空間的ダイレクトモードでの符号化を指示する（ステップＳ１０７）。

一方、動きベクトルを予測して生成することが可能でないと判定した場合（ステップS１０８の条件判定がＹＥＳの場合）、ダイレクトモード可否判定部１０９は、同じ表示順情報を持つトップフィールドとボトムフィールドのうち、符号化対象フィールドと同じ属性であるフィールドを、符号化対象フィールドから表示時間的に最も近くにあるフィールドとするように、動き補償符号化部１０７に対して指示する（ステップＳ１０９）。ここで、同じ属性であるフィールドとは、符号化対象フィールドがトップフィールドであればトップフィールド、符号化対象フィールドがボトムフィールドであればボトムフィールドである。その上で、ダイレクトモード可否判定部１０９は、動き補償符号化部１０７に対して空間的ダイレクトモードでの符号化を指示する（ステップＳ１０７）。

（方法２）
図４は方法２による符号化モードの確定の動作を示すフロー図である。なお、フィールド符号化が選択されていると判定され、さらにスケーリング処理が可能でないと判定された場合の処理以外（ステップＳ２０１〜Ｓ２０４、Ｓ２０６〜Ｓ２０９）は、方法１と同様であるので説明を省略する。

フィールド符号化が選択されていると判定し、さらにスケーリング処理が可能でないと判定した場合、ダイレクトモード可否判定部１０９は、動き補償符号化部１０７に対して動きベクトルを「０」とした時間的ダイレクトモードでの符号化を指示する（ステップＳ２０５）。

（方法３）
図５は方法３による符号化モードの確定の動作を示すフロー図である。なお、フィールド符号化が選択されていると判定され、さらにスケーリング処理が可能でないと判定された場合の処理以外（ステップＳ３０１〜Ｓ３０６、Ｓ３０８）は、方法１と同様であるので説明を省略する。

フィールド符号化が選択されていると判定され、さらにスケーリング処理が可能でない場合、ダイレクトモード可否判定部１０９は、空間的ダイレクトモードにより符号化対象ブロックで用いる動きベクトルを予測して生成することができるか否かを判定する（ステップＳ３０７）。それ以降の動作に関しては方法１と同様である。

また、上記方法１〜３における、空間的ダイレクトモードで動きベクトルを予測して生成することが可能でないと判定された場合の上記処理（ステップＳ１０９、Ｓ２０９、Ｓ３０８）については、次のように処理を行って方法１’〜３’とすることもできる。図６は方法１’による符号化モードの確定の動作を示すフロー図である。なお、方法２’〜３’については、方法１’と同様であるので説明および図は省略する。

（方法１’）
ダイレクトモード可否判定部１０９は、同じ表示順情報を持つトップフィールドとボトムフィールドのうち、後で符号化されたフィールド（すなわち、符号化対象フィールドから時間的に最も近くに符号化されたフィールド）を、符号化対象フィールドから表示時間的に最も近くにあるフィールドとするように、動き補償符号化部１０７に対して指示する（図６、ステップＳ１１０）。

次に、動き補償符号化部１０７は、上記のようにダイレクトモード可否判定部１０９が確定した符号化モードにより、予測画像データを生成する。以下、この確定した符号化モード毎にそれぞれ動作について説明する。

（通常の時間的ダイレクトモードでの符号化）
この場合、動き補償符号化部１０７は、背景技術において図１８を用いて説明した時間的ダイレクトモードと全く同様の方法を用いて動き補償を行う。すなわち、符号化済みピクチャの中の、符号化対象のブロックと同じ位置にあるブロックの動きベクトルを参照動きベクトルとして利用し、動き補償符号化部１０７は、この参照動きベクトルを動きベクトル記憶部１０８より読み出し、この参照動きベクトルおよびピクチャ間の表示時間的位置関係に基づいてスケーリング処理を行って符号化対象ブロックで用いる動きベクトルを予測して生成する。そして、この動きベクトルを用いて、動き補償符号化部１０７は２枚の参照ピクチャから２方向予測を行って、予測画像データを生成する。

（動きベクトルを「０」とした時間的ダイレクトモードでの符号化）
動き補償符号化部１０７は、スケーリング処理による動きベクトルの予測生成を行わずに、直接動きベクトルとして「０」を用いて２枚の参照ピクチャから２方向予測を行って、予測画像データを生成する。

このとき使用する動きベクトルの値は「０」に限られたものではなく、スケーリングを必要としないで決定することのできる所定の値とすればよい。上記の例では、２枚の参照ピクチャに対する動きベクトルを２つとも「０」として説明しているが、これに限られるものではなく、２枚の参照ピクチャに対する動きベクトルの少なくとも１つを「０」としてもよい。

（ダイレクトモード以外での符号化）
動き補償符号化部１０７は、動きベクトル検出部１０６で検出された動きベクトルを用いて、２枚の参照ピクチャから２方向予測を行って、予測画像データを生成する。

（空間的ダイレクトモードでの符号化）
この場合、動き補償符号化部１０７は、背景技術において図１９を用いて説明した空間的ダイレクトモードと全く同様の方法を用いて動き補償を行う。すなわち、符号化対象であるブロックの周辺の３画素を含む符号化済みの３ブロックのそれぞれの動きベクトルのうち、符号化対象ピクチャから表示時間的に最も近くにある既に符号化されたピクチャを参照した動きベクトルを使用して、符号化対象ブロックで用いる動きベクトルを予測して生成する。

このとき、上記３ブロックのそれぞれの動きベクトルのうち、符号化対象ピクチャ（フィールド）から表示時間的に最も近くにある既に符号化されたピクチャを参照した動きベクトルが複数存在し、かつ、その参照する複数のピクチャが同じフレームに属し、同じ表示順情報を持つトップフィールドとボトムフィールドである場合、動き補償符号化部１０７は、ダイレクトモード可否判定部１０９からの指示に基づいて、同じ表示順情報を持つトップフィールドとボトムフィールドのうち１つを、符号化対象フィールドから表示時間的に最も近くにあるフィールドとする。

すなわち、ダイレクトモード可否判定部１０９からの指示が、上記方法１〜３に説明した指示である場合には、同じ表示順情報を持つトップフィールドとボトムフィールドのうち、符号化対象フィールドと同じ属性であるフィールドを、符号化対象フィールドから表示時間的に最も近くにあるフィールドとする。例えば、図２３に示す例では、同じ表示順情報を持っているフィールドＰ２＿Ｔ、Ｐ２＿Ｂのうち、符号化対象フィールドＢ３＿Ｔと同じトップフィールドであるフィールドＰ２＿Ｔを符号化対象フィールドから表示時間的に最も近くにあるフィールドとする。よって、フィールドＰ２＿Ｔを参照している動きベクトルＭＶＡ１を、符号化対象ブロックの１つめの動きベクトルの候補として決定する。

また、ダイレクトモード可否判定部１０９からの指示が、上記方法１’〜３’に説明した指示である場合には、同じ表示順情報を持つトップフィールドとボトムフィールドのうち、後で符号化されたフィールドを、符号化対象フィールドから表示時間的に最も近くにあるフィールドとする。例えば、図２３に示す例でフィールドＰ２＿Ｔ、Ｐ２＿ＢのうちフィールドＰ２＿Ｂが後で符号化されたとすると、同じ表示順情報を持っているフィールドＰ２＿Ｔ、Ｐ２＿Ｂのうち、後に符号化されたフィールドＰ２＿Ｂを符号化対象フィールドから表示時間的に最も近くにあるフィールドとする。よって、フィールドＰ２＿Ｂを参照している動きベクトルＭＶＣ１を、符号化対象ブロックの１つめの動きベクトルＭＶ＿Ｆの候補として決定する。２つめの動きベクトルであるＭＶ＿Ｂを求める場合も同様である。

このように決定した動きベクトルが３つである場合には、それらの中央値を符号化対象ブロックの動きベクトルとして選択する。また、２つである場合には、それらの平均値を求め、符号化対象ブロックの動きベクトルとする。また、１つだけである場合（図２３に示す例）には、その動きベクトルを符号化対象ブロックの動きベクトルとする。このようにして求めた動きベクトルを用いて、動き補償符号化部１０７は、参照ピクチャから動き補償を行って、予測画像データを生成する。

次に、動き補償符号化部１０７は、上記のように生成した予測画像データを差分演算部１１０と加算演算部１１１とに出力する。なお、動き補償符号化部１０７がピクチャ内符号化を選択した場合には、予測画像データは出力しない。また、動き補償符号化部１０７は、ピクチャ内符号化を選択した場合には、スイッチ１１２をピクチャメモリ１０１より直接信号が入力される側に接続し、ピクチャ間予測符号化を選択した場合には、スイッチ１１２を差分演算部１１０より信号が入力される側に接続するように制御する。また、動き補償符号化部１０７は、決定した符号化モードを符号列生成部１０３に対して出力する。

動き補償符号化部１０７より予測画像データが入力された差分演算部１１０は、この予測画像データと、ピクチャメモリ１０１より読み出されたピクチャＢ１１のマクロブロックの画像データとの差分を演算し、予測残差画像データを生成して予測残差符号化部１０２へ出力する。

予測残差画像データが入力された予測残差符号化部１０２は、この予測残差画像データに対して周波数変換や量子化等の符号化処理を行い、符号化データを生成して符号列生成部１０３へ出力する。符号化データが入力された符号列生成部１０３は、この符号化データに対して可変長符号化等を行い、さらに動き補償符号化部１０７から入力された動きベクトルの情報、符号化モードの情報等を付加することにより符号列を生成し、出力する。なお、ダイレクトモードで符号化されたマクロブロックについては、動きベクトルの情報は符号化列には付加しない。

以降同様の処理により、ピクチャＢ１１の残りのマクロブロックについても符号化処理を行う。

以上のように、フィールド符号化が選択されており、時間的ダイレクトモードにより符号化を行う場合に、スケーリング処理が可能であるか否かの判定を行っている。そして、スケーリング処理が可能でないと判定された場合に、符号化モードを変更する等の処理を行っているので、スケーリング処理ができずに符号化を行うことができないということがない。

また、フィールド符号化が選択されており、空間的ダイレクトモードにより符号化を行う場合に、ピクチャの有する表示順情報に基づいて符号化対象ブロックで用いる動きベクトルを予測して生成することができるか否かの判定を行っている。そして、動きベクトルを予測して生成することが可能でないと判定された場合に、同じ表示順情報を持つトップフィールドとボトムフィールドのうち、どちらのフィールドを符号化対象フィールドから表示時間的に最も近くにあるフィールドとするかを規定する処理を行っているので、動きベクトルを予測して生成することができずに符号化を行えないということがない。

図７は、本発明に係る動画像復号化方法を用いた動画像復号化装置の一実施の形態の構成を示すブロック図である。

動画像復号化装置は、符号列解析部２０１、予測残差復号化部２０２、ピクチャメモリ２０３、動き補償復号化部２０４、動きベクトル記憶部２０５、ダイレクトモード可否判定部２０６、加算演算部２０７、およびスイッチ２０８を備えている。

符号列解析部２０１は、入力された符号列より復号化モードの情報、および符号化時に用いられた動きベクトルの情報等の各種データの抽出を行う。予測残差復号化部２０２は、入力された予測残差符号化データの復号化を行い、予測残差画像データを生成する。動き補償復号化部２０４は、復号化モードの情報、および動きベクトルの情報等に基づいて、動き補償画像データを生成する。動きベクトル記憶部２０５は、符号列解析部２０１により抽出された動きベクトルを記憶する。

ダイレクトモード可否判定部２０６は、符号列解析部２０１で抽出された復号化モードが時間的ダイレクトモードである場合に、スケーリング処理を行うことができるか否かの判定を行い、復号化モードの確定を行う。また、ダイレクトモード可否判定部２０６は、復号化モードが空間的ダイレクトモードである場合に、復号化対象ブロックで用いる動きベクトルを予測して生成することができるか否かの判定を行う。加算演算部２０７は、予測残差復号化部２０２より入力された予測残差画像データと、動き補償復号化部２０４より入力された動き補償画像データとを加算し、復号化画像データを生成する。ピクチャメモリ２０３は、生成された復号化画像データを格納する。

次に、上記のように構成された動画像復号化装置の動作について説明する。なお、ピクチャの順序については図２を用いて説明する。ここで、Ｐピクチャは、表示時間順で前方にある近傍のＩピクチャまたはＰピクチャを参照ピクチャとし、Ｂピクチャは、表示時間順で前方にある近傍のＩピクチャまたはＰピクチャと、表示時間順で後方にある近傍１枚のＩピクチャまたはＰピクチャとを参照ピクチャとして用いて符号化されているものとする。

符号列は、図２(ｂ) に示すようなピクチャ順で符号列解析部２０１に入力される。符号列解析部２０１は、入力された符号列より復号化モードの情報、および動きベクトルの情報等の各種データの抽出を行う。符号列解析部２０１は、抽出した復号化モードの情報を動き補償復号化部２０４へ、動きベクトルの情報を動きベクトル記憶部２０５へ出力する。

また、符号列解析部２０１は、抽出した予測残差符号化データを予測残差復号化部２０２へ出力する。予測残差符号化データが入力された予測残差復号化部２０２は、この予測残差符号化データの復号化を行い、予測残差画像データを生成し、加算演算部２０７へ出力する。

以降の動作については、復号化対象のピクチャがＢピクチャであり、符号列解析部２０１で抽出された復号化モードがダイレクトモードである場合について説明する。

符号列解析部２０１より復号化モードの情報が入力された動き補償復号化部２０４は、復号化対象のブロックをダイレクトモードで復号化するかどうかを判定し、ダイレクトモードである場合にダイレクトモード可否判定部２０６に通知する。

次に、復号化モードがダイレクトモードである場合に行うダイレクトモード可否判定部２０６による復号化モードの確定の動作について説明する。この復号化モードの確定の動作は、以下に説明する方法１〜３のいずれかによって行うことができる。

（方法１）
図８は方法１による復号化モードの確定の動作を示すフロー図である。ダイレクトモード可否判定部２０６は、まず、時間的ダイレクトモードが指定されているか否かを判定する（ステップＳ４０１）。この結果、時間的ダイレクトモードであると判定した場合、ダイレクトモード可否判定部２０６は、フィールド符号化が行われているか否かを判定する（ステップＳ４０２）。この結果、フィールド符号化が行われていないと判定した場合には、ダイレクトモード可否判定部２０６は、動き補償復号化部２０４に対して時間的ダイレクトモードでの復号化を指示する（ステップＳ４０３）。一方、フィールド符号化が選択されていると判定した場合には、ダイレクトモード可否判定部２０６は、スケーリング処理によって復号化対象ブロックで用いる動きベクトルを予測して生成することができるか否かを判定する（ステップＳ４０４）。すなわち、参照する２枚のピクチャが同じフレームに属し、同じ表示順情報を持つトップフィールドとボトムフィールドであるか否かを判定している。この結果、スケーリング処理が可能である場合（ステップS４０４の条件判定がＮＯの場合）、ダイレクトモード可否判定部２０６は、動き補償復号化部２０４に対して時間的ダイレクトモードでの復号化を指示する（ステップＳ４０３）。一方、スケーリング処理が可能でない場合（ステップS４０４の条件判定がＹＥＳの場合）、ダイレクトモード可否判定部２０６は、動き補償復号化部２０４に対してダイレクトモード以外での復号化を指示する（ステップＳ４０５）。

また、上記判定（ステップＳ４０１）の結果、時間的ダイレクトモードでない（すなわち、空間的ダイレクトモードである）と判定した場合も、ダイレクトモード可否判定部２０６は、フィールド符号化が行われているか否かを判定する（ステップＳ４０６）。この結果、フィールド符号化が選択されていないと判定した場合には、ダイレクトモード可否判定部２０６は、動き補償復号化部２０４に対して空間的ダイレクトモードでの復号化を指示する（ステップＳ４０７）。

上記判定（ステップＳ４０６）の結果、フィールド符号化が選択されていると判定した場合には、ダイレクトモード可否判定部２０６は、空間的ダイレクトモードによりピクチャの有する表示順情報に基づいて、復号化対象ブロックで用いる動きベクトルを予測して生成することができるか否かを判定する（ステップＳ４０８）。すなわち、復号化対象であるブロックの周辺の３画素を含む復号化済みの３ブロックのそれぞれの動きベクトルのうち、復号化対象ピクチャ（フィールド）から表示時間的に最も近くにある既に復号化されたピクチャを参照した動きベクトルが複数存在し、かつ、その参照する複数のピクチャが同じフレームに属し、同じ表示順情報を持つトップフィールドとボトムフィールドであるか否かを判定している。このとき、上記条件を満たした場合に、動きベクトルを予測して生成することが可能でないと判定する。

上記判定（ステップＳ４０８）の結果、動きベクトルを予測して生成することが可能であると判定した場合（ステップＳ４０８の条件判定がＮＯの場合）、ダイレクトモード可否判定部２０６は、動き補償復号化部２０４に対して空間的ダイレクトモードでの復号化を指示する（ステップＳ４０７）。

一方、動きベクトルを予測して生成することが可能でないと判定した場合（ステップＳ４０８の条件判定がＹＥＳの場合）、ダイレクトモード可否判定部２０６は、同じ表示順情報を持つトップフィールドとボトムフィールドのうち、復号化対象フィールドと同じ属性であるフィールドを、復号化対象フィールドから表示時間的に最も近くにあるフィールドとするように、動き補償復号化部２０４に対して指示する（ステップＳ４０９）。ここで、同じ属性であるフィールドとは、復号化対象フィールドがトップフィールドであればトップフィールド、復号化対象フィールドがボトムフィールドであればボトムフィールドである。その上で、ダイレクトモード可否判定部２０６は、動き補償復号化部２０４に対して空間的ダイレクトモードでの復号化を指示する（ステップＳ４０７）。

（方法２）
図９は方法２による復号化モードの確定の動作を示すフロー図である。なお、フィールド符号化が選択されていると判定され、さらにスケーリング処理が可能でないと判定された場合の処理以外（ステップＳ５０１〜Ｓ５０４、Ｓ５０６〜Ｓ５０９）は、方法１と同様であるので説明を省略する。

フィールド符号化が選択されていると判定され、さらにスケーリング処理が可能でないと判定された場合、ダイレクトモード可否判定部２０６は、動き補償復号化部２０４に対して動きベクトルを「０」とした時間的ダイレクトモードでの復号化を指示する（ステップＳ５０５）。

（方法３）
図１０は方法３による復号化モードの確定の動作を示すフロー図である。なお、フィールド符号化が選択されていると判定され、さらにスケーリング処理が可能でないと判定された場合の処理以外（ステップＳ６０１〜Ｓ６０６、Ｓ６０８）は、方法１と同様であるので説明を省略する。

フィールド符号化が選択されていると判定され、さらにスケーリング処理が可能でない場合、ダイレクトモード可否判定部２０６は、空間的ダイレクトモードにより復号化対象ブロックで用いる動きベクトルを予測して生成することができるか否かを判定する（ステップＳ６０７）。それ以降の動作に関しては方法１と同様である。

また、上記方法１〜３における、空間的ダイレクトモードで動きベクトルを予測して生成することが可能でないと判定された場合の上記処理（ステップＳ４０９、Ｓ５０９、Ｓ６０８）については、次のように処理を行って方法１’〜３’とすることもできる。図１１は方法１’による復号化モードの確定の動作を示すフロー図である。なお、方法２’〜３’については、方法１’と同様であるので説明および図は省略する。

（方法１’）
ダイレクトモード可否判定部２０６は、同じ表示順情報を持つトップフィールドとボトムフィールドのうち、後で復号化されたフィールド（すなわち、復号化対象フィールドから時間的に最も近くに復号化されたフィールド）を、復号化対象フィールドから表示時間的に最も近くにあるフィールドとするように、動き補償復号化部２０４に対して指示する（図１１、ステップＳ４１０）。

次に、動き補償復号化部２０４は、上記のようにダイレクトモード可否判定部２０６が確定した復号化モードにより、動き補償画像データを生成する。以下、この確定した復号化モード毎にそれぞれ動作について説明する。

（通常の時間的ダイレクトモードでの復号化）
この場合、動き補償復号化部２０４は、背景技術において図１８を用いて説明した時間的ダイレクトモードと全く同様の方法を用いて動き補償を行う。すなわち、復号化済みピクチャの中の、復号化対象のブロックと同じ位置にあるブロックの動きベクトルを参照動きベクトルとして利用し、動き補償復号化部２０４は、この参照動きベクトルを動きベクトル記憶部２０５より読み出し、この参照動きベクトルおよびピクチャ間の表示時間的位置関係に基づいてスケーリング処理を行って復号化対象ブロックで用いる動きベクトルを予測して生成する。そして、この動きベクトルを用いて、動き補償復号化部２０４は２枚の参照ピクチャから２方向予測を行って、動き補償画像データを生成する。

（動きベクトルを「０」とした時間的ダイレクトモードでの復号化）
動き補償復号化部２０４は、スケーリング処理による動きベクトルの予測生成を行わずに、直接動きベクトルとして「０」を用いて２枚の参照ピクチャから２方向予測を行って、予測画像データを生成する。

このとき使用する動きベクトルの値は「０」に限られたものではなく、スケーリングを必要としないで決定することのできる所定の値とすればよい。上記の例では、２枚の参照ピクチャに対する動きベクトルを２つとも「０」として説明しているが、これに限られるものではなく、２枚の参照ピクチャに対する動きベクトルの少なくとも１つを「０」としてもよい。

（ダイレクトモード以外での復号化）
動き補償復号化部２０４は、動きベクトル記憶部２０５から符号化時に用いられた動きベクトルを読み出し、この動きベクトルを用いて２枚の参照ピクチャから２方向予測を行って、動き補償画像データを生成する。

（空間的ダイレクトモードでの復号化）
この場合、動き補償復号化部２０４は、背景技術において図１９を用いて説明した空間的ダイレクトモードと全く同様の方法を用いて動き補償を行う。すなわち、復号化対象であるブロックの周辺の３画素を含む復号化済みの３ブロックのそれぞれの動きベクトルのうち、復号化対象ピクチャから表示時間的に最も近くにある既に復号化されたピクチャを参照した動きベクトルを使用して、符号化対象ブロックで用いる動きベクトルを予測して生成する。

このとき、上記３ブロックのそれぞれの動きベクトルのうち、復号化対象ピクチャ（フィールド）から表示時間的に最も近くにある既に復号化されたピクチャを参照した動きベクトルが複数存在し、かつ、その参照する複数のピクチャが同じフレームに属し、同じ表示順情報を持つトップフィールドとボトムフィールドである場合、動き補償復号化部２０４は、ダイレクトモード可否判定部２０６からの指示に基づいて、同じ表示順情報を持つトップフィールドとボトムフィールドのうち１つを、復号化対象フィールドから表示時間的に最も近くにあるフィールドとする。

すなわち、ダイレクトモード可否判定部２０６からの指示が、上記方法１〜３に説明した指示である場合、同じ表示順情報を持つトップフィールドとボトムフィールドのうち、復号化対象フィールドと同じ属性であるフィールドを、復号化対象フィールドから表示時間的に最も近くにあるフィールドとする。例えば、図２３に示す例では、同じ表示順情報を持っているフィールドＰ２＿Ｔ、Ｐ２＿Ｂのうち、復号化対象フィールドＢ３＿Ｔと同じトップフィールドであるフィールドＰ２＿Ｔを復号化対象フィールドから表示時間的に最も近くにあるフィールドとする。よって、フィールドＰ２＿Ｔを参照している動きベクトルＭＶＡ１を、復号化対象ブロックの１つめの動きベクトルの候補として決定する。

また、ダイレクトモード可否判定部２０６からの指示が、上記方法１’〜３’に説明した指示である場合、同じ表示順情報を持つトップフィールドとボトムフィールドのうち、後で復号化されたフィールドを、復号化対象フィールドから表示時間的に最も近くにあるフィールドとする。例えば、図２３に示す例でフィールドＰ２＿Ｔ、Ｐ２＿ＢのうちフィールドＰ２＿Ｂが後で復号化されたとすると、同じ表示順情報を持っているフィールドＰ２＿Ｔ、Ｐ２＿Ｂのうち、後に復号化されたフィールドＰ２＿Ｂを復号化対象フィールドから表示時間的に最も近くにあるフィールドとする。よって、フィールドＰ２＿Ｂを参照している動きベクトルＭＶＣ１を、復号化対象ブロックの１つめの動きベクトルＭＶ＿Ｆの候補として決定する。２つめの動きベクトルであるＭＶ＿Ｂを求める場合も同様である。

このように決定した動きベクトルが３つである場合には、それらの中央値を復号化対象ブロックの動きベクトルとして選択する。また、２つである場合には、それらの平均値を求め、復号化対象ブロックの動きベクトルとする。また、１つだけである場合（図２３に示す例）には、その動きベクトルを復号化対象ブロックの動きベクトルとする。このようにして求めた動きベクトルを用いて、動き補償復号化部２０４は、参照ピクチャから動き補償を行って、動き補償画像データを生成する。

次に、動き補償復号化部２０４は、上記のように生成した動き補償画像データ（ブロック）を加算演算部２０７へ出力する。加算演算部２０７は、動き補償画像データと、予測残差復号化部２０２より入力された予測残差画像データとを加算し、復号化画像データを生成してピクチャメモリ２０３に格納する。

以降同様の処理により、ピクチャＢ１１の残りのマクロブロックについても復号化処理を行う。そして、図２(ｂ) に示す例では、ピクチャＢ１１のすべてのマクロブロックについて処理が終了すると、次にピクチャＢ１２の復号化処理を行う。以上のように復号化処理されたピクチャは、図２(ａ) に示すように順次出力画像としてピクチャメモリ２０３から出力される。

以上のように、フィールド符号化が選択されており、抽出した復号化モードが時間的ダイレクトモードである場合に、スケーリング処理が可能であるか否かの判定を行っている。そして、スケーリング処理が可能でないと判定された場合に、復号化モードを変更する等の処理を行っているので、スケーリング処理ができずに復号化を行うことができないということがない。

また、フィールド符号化が選択されており、抽出した復号化モードが空間的ダイレクトモードである場合に、ピクチャの有する表示順情報に基づいて符号化対象ブロックで用いる動きベクトルを予測して生成することができるか否かの判定を行っている。そして、動きベクトルを予測して生成することが可能でないと判定された場合に、同じ表示順情報を持つトップフィールドとボトムフィールドのうち、どちらのフィールドを復号化対象フィールドから表示時間的に最も近くにあるフィールドとするかを規定する処理を行っているので、動きベクトルを予測して生成することができずに復号化を行えないということがない。

なお、本実施の形態においては、空間的ダイレクトモードでの符号化時に、動き補償符号化部１０７は、符号化対象であるブロックの周辺の３画素を含む符号化済みの３ブロックのそれぞれの動きベクトルのうちから、符号化対象ブロックの動きベクトルの候補を決定する際に、符号化対象ピクチャから表示時間的に最も近くにある既に符号化されたピクチャを参照した動きベクトルを候補として決定しているが、これに限られるものではない。例えば、フィールド符号化時に、符号化対象フィールドと同じ属性であるフィールドのうちから、符号化対象フィールドから表示時間的に最も近くにあるフィールドを参照した動きベクトルを候補として決定しても構わない。この場合、本実施の形態がまず表示順情報に基づいて候補を決定しているのに対して、まず同じ属性であるフィールドであることを優先させて候補を決定していることになる。また、復号化時の動き補償復号化部２０４での動作についても、同様である。

また、本実施の形態においては、各ピクチャは、フレーム構造またはフィールド構造のいずれかを用いて適応的に符号化、復号化処理されるとして説明したが、これは例えばブロック単位でフレーム構造またはフィールド構造のいずれかを用いて適応的に符号化、復号化処理されるとしても、本発明と同様の処理により実施することが可能であり、同様の効果が得られる。

また、本実施の形態においては、Ｐピクチャは前方１方向のピクチャを参照して処理され、Ｂピクチャは前方および後方の２方向のピクチャを参照して処理されるピクチャとして説明したが、これらのＰピクチャは後方１方向のピクチャを参照して処理され、Ｂピクチャは前方２方向または後方２方向のピクチャを参照して処理されるとしても、同様の効果が得られる。

なお、本発明の実施の形態における表示順情報は、表示の順番に限定されるものではなく、実際の表示時間や、表示時間の値が大きくなるのに伴って値が大きくなる所定のピクチャを基準とした各ピクチャの相対順序であっても良い。

（実施の形態２）
さらに、上記実施の形態１で示した画像符号化方法または画像復号化方法の構成を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記実施の形態１で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図１２は、上記実施の形態１の画像符号化方法または画像復号化方法を格納したフレキシブルディスクを用いて、コンピュータシステムにより実施する場合の説明図である。

図１２（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１２（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムとしての画像符号化方法が記録されている。

また、図１２（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしての画像符号化方法または画像復号化方法をフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより上記画像符号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

さらにここで、上記実施の形態で示した動画像符号化方法や動画像復号化方法の応用例とそれを用いたシステムを説明する。

図１３は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０７〜ex１１０が設置されている。

このコンテンツ供給システムex１００は、例えば、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ex１０７〜ex１１０を介して、コンピュータex１１１、ＰＤＡ（personal digital assistant）ex１１２、カメラex１１３、携帯電話ex１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムex１００は図１３のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex１０７〜ex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。

カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。

また、ストリーミングサーバex１０３は、カメラex１１３から基地局ex１０９、電話網ex１０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラex１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex１０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。なお、動画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。

このコンテンツ供給システムex１００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバex１０３に送信する一方で、ストリーミングサーバex１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。

このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した動画像符号化装置あるいは動画像復号化装置を用いるようにすればよい。

その一例として携帯電話について説明する。
図１４は、上記実施の形態で説明した動画像符号化方法と動画像復号化方法を用いた携帯電話ex１１５を示す図である。携帯電話ex１１５は、基地局ex１１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex２０７、携帯電話ex１１５に記録メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記録メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ex１１５について図１５を用いて説明する。携帯電話ex１１５は表示部ex２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３１０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。

電源回路部ex３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex１１５を動作可能な状態に起動する。

携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってディジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話機ex１１５は、音声通話モード時にアンテナex２０１で受信した受信データを増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声データに変換した後、これを音声出力部ex２０８を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex１１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。

画像符号化部ex３１２は、本願発明で説明した動画像符号化装置を備えた構成であり、カメラ部ex２０３から供給された画像データを上記実施の形態で示した動画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話機ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してディジタルの音声データとして多重分離部ex３０８に送出する。

多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex１１０から受信した受信データを変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。

また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。

次に、画像復号化部ex３０９は、本願発明で説明した動画像復号化装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号化することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声データに変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図１６に示すようにディジタル放送用システムにも上記実施の形態の少なくとも動画像符号化装置または動画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex４０９では映像情報のビットストリームが電波を介して通信または放送衛星ex４１０に伝送される。これを受けた放送衛星ex４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置によりビットストリームを復号化してこれを再生する。また、記録媒体であるＣＤやＤＶＤ等の蓄積メディアex４０２に記録したビットストリームを読み取り、復号化する再生装置ex４０３にも上記実施の形態で示した動画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に動画像復号化装置を実装し、これをテレビのモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に動画像復号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で衛星ex４１０からまたは基地局ex１０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。

更に、画像信号を上記実施の形態で示した動画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、ＤＶＤディスクｅｘ４２１に画像信号を記録するＤＶＤレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅx４２０がある。更にＳＤカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した動画像復号化装置を備えていれば、ＤＶＤディスクｅｘ４２１やＳＤカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。

なお、カーナビゲーションex４１３の構成は例えば図１５に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ（受信機）ex４０１等でも考えられる。

また、上記携帯電話ex１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。

このように、上記実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。

また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

以上のように、本発明に係る動画像符号化方法および動画像復号化方法は、例えば携帯電話、ＤＶＤ装置、およびパーソナルコンピュータ等で、動画像を構成する各ピクチャを符号化して符号列を生成したり、生成された符号列を復号化したりするための方法として有用である。

本発明に係る動画像符号化装置の一実施の形態の構成を示すブロック図である。 ピクチャメモリにおけるピクチャの順序を示す説明図であり、(ａ) 入力された順序、(ｂ) 並び替えられた順序を示す説明図である。 ダイレクトモード可否判定部での方法１による符号化モードの確定の動作を示すフロー図である。 ダイレクトモード可否判定部での方法２による符号化モードの確定の動作を示すフロー図である。 ダイレクトモード可否判定部での方法３による符号化モードの確定の動作を示すフロー図である。 ダイレクトモード可否判定部での方法１’による符号化モードの確定の動作を示すフロー図である。 本発明に係る動画像復号化装置の一実施の形態の構成を示すブロック図である。 ダイレクトモード可否判定部での方法１による復号化モードの確定の動作を示すフロー図である。 ダイレクトモード可否判定部での方法２による復号化モードの確定の動作を示すフロー図である。 ダイレクトモード可否判定部での方法３による復号化モードの確定の動作を示すフロー図である。 ダイレクトモード可否判定部での方法１’による復号化モードの確定の動作を示すフロー図である。 実施の形態１の動画像符号化方法および動画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図であり、(ａ) 記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示した説明図、(ｂ) フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示した説明図、(ｃ) フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示した説明図である。 コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成を示すブロック図である。 携帯電話の一例を示す図である。 携帯電話の内部構成を示すブロック図である。 ディジタル放送用システムの全体構成を示すブロック図である。 従来の動画像符号化方式における各ピクチャの予測関係を示す模式図である。 時間的ダイレクトモードにおける動きベクトルの予測生成方法を示す模式図である。 空間的ダイレクトモードにおける動きベクトルの予測生成方法を示す模式図である。 インターレース画像およびプログレッシブ画像におけるフィールドが有する表示順情報を示す模式図である。 インターレース画像での時間的ダイレクトモードにおける動きベクトルの予測生成方法を示す模式図である。 プログレッシブ画像での時間的ダイレクトモードにおける動きベクトルの予測生成方法を示す模式図である。 プログレッシブ画像での空間的ダイレクトモードにおける動きベクトルの予測生成方法を示す模式図である。

符号の説明

１０１、１０５、２０３ ピクチャメモリ
１０２ 予測残差符号化部
１０３ 符号列生成部
１０４ 予測残差復号化部
１０６ 動きベクトル検出部
１０７ 動き補償符号化部
１０８ 動きベクトル記憶部
１０９ ダイレクトモード可否判定部
１１０ 差分演算部
１１１ 加算演算部
１１２、１１３、２０８ スイッチ
２０１ 符号列解析部
２０２ 予測残差復号化部
２０４ 動き補償復号化部
２０５ 動きベクトル記憶部
２０６ ダイレクトモード可否判定部
２０７ 加算演算部

Claims (6)

1. 画像を構成するピクチャを符号化する画像符号化方法であって、
   処理対象ブロックと同じ位置にある、既に符号化されたピクチャに含まれるブロックである同位置ブロックの動きベクトルを取得するステップと、
   前記同位置ブロックを含むピクチャの表示順情報と前記同位置ブロックが参照する参照ピクチャの表示順情報とが同じ場合に、前記動きベクトルのスケーリング処理を行うことができないと判定するスケーリング判定ステップと、
   前記スケーリング判定ステップにより、前記スケーリング処理ができないと判定された場合、前記スケーリング処理を行わずにあらかじめ設定された所定の値を前記処理対象ブロックの動きベクトルとして生成し、前記スケーリング処理ができると判定された場合、前記スケーリング処理を行うことによって、前記処理対象ブロックの動きベクトルを生成する動きベクトル生成ステップと、
   前記動きベクトル生成ステップにより生成された動きベクトルを用いて前記処理対象ブロックの動き補償を行う動き補償ステップと
   を含むことを特徴とする画像符号化方法。
2. 前記動きベクトル生成ステップでは、前記所定の値を０として前記処理対象ブロックの動きベクトルを生成する
   ことを特徴とする請求項１記載の画像符号化方法。
3. 画像を構成するピクチャを復号化する画像復号化方法であって、
   処理対象ブロックと同じ位置にある、既に復号化されたピクチャに含まれるブロックである同位置ブロックの動きベクトルを取得するステップと、
   前記同位置ブロックを含むピクチャの表示順情報と前記同位置ブロックが参照する参照ピクチャの表示順情報とが同じ場合に、前記動きベクトルのスケーリング処理を行うことができないと判定するスケーリング判定ステップと、
   前記スケーリング判定ステップにより、前記スケーリング処理ができないと判定された場合、前記スケーリング処理を行わずにあらかじめ設定された所定の値を前記処理対象ブロックの動きベクトルとして生成し、前記スケーリング処理ができると判定された場合、前記スケーリング処理を行うことによって、前記処理対象ブロックの動きベクトルを生成する動きベクトル生成ステップと、
   前記動きベクトル生成ステップにより生成された動きベクトルを用いて前記処理対象ブロックの動き補償を行う動き補償ステップと
   を含むことを特徴とする画像復号化方法。
4. 前記動きベクトル生成ステップでは、前記所定の値を０として前記処理対象ブロックの動きベクトルを生成する
   ことを特徴とする請求項３記載の画像復号化方法。
5. 画像を構成するピクチャを符号化する画像符号化装置であって、
   処理対象ブロックと同じ位置にある、既に符号化されたピクチャに含まれるブロックである同位置ブロックの動きベクトルを取得する手段と、
   前記同位置ブロックを含むピクチャの表示順情報と前記同位置ブロックが参照する参照ピクチャの表示順情報とが同じ場合に、前記動きベクトルのスケーリング処理を行うことができないと判定するスケーリング判定手段と、
   前記スケーリング判定手段により、前記スケーリング処理ができないと判定された場合、前記スケーリング処理を行わずにあらかじめ設定された所定の値を前記処理対象ブロックの動きベクトルとして生成し、前記スケーリング処理ができると判定された場合、前記スケーリング処理を行うことによって、前記処理対象ブロックの動きベクトルを生成する動きベクトル生成手段と、
   前記動きベクトル生成手段により生成された動きベクトルを用いて前記処理対象ブロックの動き補償を行う動き補償手段と
   を含むことを特徴とする画像符号化装置。
6. 画像を構成するピクチャを復号化する画像復号化装置であって、
   処理対象ブロックと同じ位置にある、既に復号化されたピクチャに含まれるブロックである同位置ブロックの動きベクトルを取得する手段と、
   前記同位置ブロックを含むピクチャの表示順情報と前記同位置ブロックが参照する参照ピクチャの表示順情報とが同じ場合に、前記動きベクトルのスケーリング処理を行うことができないと判定するスケーリング判定手段と、
   前記スケーリング判定手段により、前記スケーリング処理ができないと判定された場合、前記スケーリング処理を行わずにあらかじめ設定された所定の値を前記処理対象ブロックの動きベクトルとして生成し、前記スケーリング処理ができると判定された場合、前記スケーリング処理を行うことによって、前記処理対象ブロックの動きベクトルを生成する動きベクトル生成手段と、
   前記動きベクトル生成手段により生成された動きベクトルを用いて前記処理対象ブロックの動き補償を行う動き補償手段と
   を含むことを特徴とする画像復号化装置。

Images