JP2006054500A - 動画像復号方法、動画像復号プログラム、動画像復号装置、動画像符号化方法、動画像符号化プログラム及び動画像符号化装置 - Google Patents

Abstract

【課題】 符号化されたステレオ映像の左右画像を同時に出力する。
【解決手段】 動画像復号方法は、Top fieldとBottom fieldとを含む飛び越し走査画像の符号化データを復号する動画像復号方法であって、Top fieldとBottom fieldとがステレオ画像を構成する２枚の画像であるか否かを示すステレオ情報を符号化データから取得するステレオ情報取得ステップと、符号化データから互いに対応する２つのフィールドとを復号し、２つの復号フィールドを生成する復号ステップと、２つの復号フィールドとを出力する出力ステップとを含み、出力ステップにおいて、ステレオ情報を参照し２つの復号フィールドを同時に出力する。
【選択図】 図３

Description

本発明は、動画像復号方法、動画像復号プログラム、動画像復号装置、動画像符号化方法、動画像符号化プログラム及び動画像符号化装置に関する。

動画像符号化方式であるＨ．２６４拡張方式のドラフト規格では、ステレオ映像における左眼用に用意された画像（左目画像）及び右眼用に用意された画像（右目画像）各々をインタレース信号（飛び越し走査画像）における奇数ラインフィールド及び偶数ラインフィールドの何れかとして符号化することが可能である。また、符号化された動画像データがステレオ映像に係るものであるか否かを示す識別情報としてステレオビデオフィールドメッセージ（ステレオ情報）が定義されている。符号化された動画像データに含まれるステレオビデオフィールドメッセージのデータを参照することにより、動画像データを復号するデコーダは復号された各フィールドがステレオ映像の左眼あるいは右眼画像であることを認識できる（例えば、下記非特許文献１参照）。なお、ここでいうフィールドとは、動画像を構成する画像のことであり、１枚の画像たるフレームにおける奇数ラインの走査線により形成された画像（奇数ラインフィールド）及び偶数ラインの走査線により形成された画像（偶数ラインフィールド）の何れかを表す。

一方、Ｈ．２６４方式では、動画像の再生の単位である再生ピクチャ（ピクチャとはフレーム、フィールド及び２つのフィールドのペア（以下、２フィールドペアと呼ぶ）の総称である）の出力時刻の相対関係をPicture order count(POC)という情報で定義しており、更にTop fieldとBottom filedのPOCをTop POC、Bottom POCと定義している。なお、Top fieldとBottom fieldを同じフレームあるいは２フィールドペアとする場合（２つのフィールドに同じフレーム番号を与える）には、Top POCとBottom POCのうち小さい値をPOCと定義する。そのため、２つのフィールドのPOC値が同じ値となる。Top fieldとBottom fieldを個別のフィールドとする場合（２つのフィールドに異なるフレーム番号を与える）には、２フィールドのPOC値は異なる。この情報は、各ピクチャ間の時間方向の相対関係を示しており、画像間の予測処理などに用いられる。また、Ｈ．２６４方式では、再生ピクチャのタイムスタンプの符号化が規定されている。Ｈ．２６４方式の上記タイムスタンプの情報を保持するピクチャタイミングメッセージにおいては、ピクチャタイプ情報（picture_struct）にて、符号化するタイムスタンプの数（フレームは１個、フィールドは１個、２フィールドペアは２個など）が指定できる。なお、映像及び音声を統合するシステムデータにて時刻情報を定義する場合もある。
Text of ISO/IEC 14496-10:2003/FPDAM1 (AVC Professional Extensions)，２００４年３月

上記のように符号化された動画像データを再生するタイミングについて規定されているものの、上記の規格ではステレオ映像を含んで符号化された動画像データについてはステレオ映像として再生し出力されることが考慮されていない。従って、ステレオ映像を再生しようとすると、左右画像が異なる時刻でずれて出力され、ステレオ画像として見えなくなるという課題があった。

本発明は、上記課題を解決するために成されたものであり、符号化されたステレオ映像の左右画像を同時に出力することを可能とする動画像復号方法、動画像復号プログラム、動画像復号装置、動画像符号化方法、動画像符号化プログラム及び動画像符号化装置を提供することを目的とする。

上記目的を達成するために、本発明に係る動画像復号方法は、飛び越し走査画像の符号化データを復号する動画像復号方法であって、飛び越し走査画像に含まれるピクチャがステレオ画像を構成するものであるか否かを示すステレオ情報を取得するステレオ情報取得ステップと、符号化データからステレオ画像として互いに対応する第１のピクチャと第２のピクチャとを復号し、第１復号ピクチャと第２復号ピクチャとを生成する復号ステップと、復号ステップにおいて復号された第１復号ピクチャと第２復号ピクチャとを出力する出力ステップとを含み、出力ステップにおいて、ステレオ情報取得ステップにおいて取得されたステレオ情報を参照し第１復号ピクチャと第２復号ピクチャとがステレオ画像を構成するか否か判断し、ステレオ画像を構成すると判断した場合、第１復号ピクチャと第２復号ピクチャとをステレオ画像として対応させて出力することを特徴とする。

上記動画像復号方法によれば、取得したステレオ情報に基づき各ピクチャの出力を同時に行うことができるので、符号化されたステレオ映像の左右画像を同時に出力することができる。

また、動画像復号プログラムは、コンピュータに、飛び越し走査画像の符号化データを復号させる動画像復号プログラムであって、飛び越し走査画像に含まれるピクチャがステレオ画像を構成するものであるか否かを示すステレオ情報を符号化データから取得するステレオ情報取得処理と、符号化データからステレオ画像として互いに対応する第１のピクチャと第２のピクチャとを復号し、第１復号ピクチャと第２復号ピクチャとを生成する復号処理と、復号処理により復号された第１復号ピクチャと第２復号ピクチャとを出力する出力処理とを実行させ、出力処理は、ステレオ情報取得処理により取得されたステレオ情報を参照し第１復号ピクチャと第２復号ピクチャとがステレオ画像を構成するか否か判断し、ステレオ画像を構成すると判断した場合、第１復号ピクチャと第２復号ピクチャとをステレオ画像として対応させて出力することを特徴とする。

また、動画像復号装置は、飛び越し走査画像の符号化データを入力する入力手段と、飛び越し走査画像に含まれるピクチャがステレオ画像を構成するものであるか否かを示すステレオ情報を符号化データから取得するステレオ情報取得手段と、符号化データからステレオ画像として互いに対応する第１のピクチャと第２のピクチャとを復号し、第１復号ピクチャと第２復号ピクチャとを生成する復号手段と、復号手段により復号された第１復号ピクチャと第２復号ピクチャとを出力する出力処理とを備え、出力手段は、ステレオ情報取得手段により取得されたステレオ情報を参照し第１復号ピクチャと第２復号ピクチャとがステレオ画像を構成するか否か判断し、ステレオ画像を構成すると判断した場合、第１復号ピクチャと第２復号ピクチャとをステレオ画像として対応させて出力することを特徴とする。

また、動画像符号化方法は、飛び越し走査画像を符号化して符号化データを生成する動画像符号化方法であって、飛び越し走査画像に含まれるピクチャがステレオ画像を構成するものであるか否かを示すステレオ情報を符号化して、符号化データに付加するステレオ情報付加ステップと、ピクチャをステレオ画像として出力するタイミングに関する情報を保持した出力タイミング情報、又はピクチャをステレオ画像として出力する時刻に関する情報を保持した出力時刻情報を符号化して、符号化データに付加する出力情報付加ステップと、を含むことを特徴とする。

また、動画像符号化プログラムは、コンピュータに、飛び越し走査画像を符号化して符号化データを生成させる動画像符号化プログラムであって、飛び越し走査画像に含まれるピクチャがステレオ画像を構成するものであるか否かを示すステレオ情報を符号化して、符号化データに付加するステレオ情報付加処理と、ピクチャをステレオ画像として出力するタイミングに関する情報を保持した出力タイミング情報、又はピクチャをステレオ画像として出力する時刻に関する情報を保持した出力時刻情報を符号化して、符号化データに付加する出力情報付加処理と、を実行させることを特徴とする。

また、動画像符号化装置は、飛び越し走査画像を符号化して符号化データを生成する動画像符号化装置であって、飛び越し走査画像に含まれるピクチャがステレオ画像を構成するものであるか否かを示すステレオ情報を符号化して、符号化データに付加するステレオ情報付加手段と、ピクチャをステレオ画像として出力するタイミングに関する情報を保持した出力タイミング情報、又はピクチャをステレオ画像として出力する時刻に関する情報を保持した出力時刻情報を符号化して、符号化データに付加する出力情報付加手段と、を備えることを特徴とする。

上記目的を達成するために、本発明に係る動画像復号方法は、第１フィールドと第２フィールドとを含む飛び越し走査画像の符号化データを復号する動画像復号方法であって、第１フィールドと第２フィールドとがステレオ画像を構成する２枚の画像であるか否かを示すステレオ情報を符号化データから取得するステレオ情報取得ステップと、符号化データから互いに対応する第１フィールドと第２フィールドとを復号し、第１復号フィールドと第２復号フィールドとを生成する復号ステップと、復号ステップにおいて復号された第１復号フィールドと第２復号フィールドとを出力する出力ステップとを含み、出力ステップにおいて、ステレオ情報取得ステップにおいて取得されたステレオ情報を参照し第１フィールドと第２フィールドとがステレオ画像を構成するか否か判断し、ステレオ画像を構成すると判断した場合、第１復号フィールドと第２復号フィールドとを同時に出力することを特徴とする。なお、出力ステップにおける判断には、ステレオ情報取得ステップにおけるステレオ情報の取得において、ステレオ情報の取得がなされたか否かに基づいて、ステレオ画像を構成するか否かを判断することも含む。

上記動画像復号方法によれば、取得したステレオ情報に基づき各フィールドの出力を同時に行うことができるので、符号化されたステレオ映像の左右画像を同時に出力することができる。

また、動画像復号プログラムは、コンピュータに、第１フィールドと第２フィールドとからなる飛び越し走査画像の符号化データを復号させる動画像復号プログラムであって、第１フィールドと第２フィールドとがステレオ画像を構成する２枚の画像であるか否かを示すステレオ情報を符号化データから取得するステレオ情報取得処理と、符号化データから互いに対応する第１フィールドと第２フィールドとを復号し、第１復号フィールドと第２復号フィールドとを生成する復号処理と、復号処理により復号された第１復号フィールドと第２復号フィールドとを出力する出力処理とを実行させ、出力処理は、ステレオ情報取得処理により取得されたステレオ情報を参照し第１フィールドと第２フィールドとがステレオ画像を構成するか否か判断し、ステレオ画像を構成すると判断した場合、第１復号フィールドと第２復号フィールドとを同時に出力することを特徴とする。

また、動画像復号装置は、第１フィールドと第２フィールドとを含む飛び越し走査画像の符号化データを入力する入力手段と、第１フィールドと第２フィールドとがステレオ画像を構成する２枚の画像であるか否かを示すステレオ情報を符号化データから取得するステレオ情報取得手段と、符号化データから互いに対応する第１フィールドと第２フィールドとを復号し、第１復号フィールドと第２復号フィールドとを生成する復号手段と、復号手段により復号された第１復号フィールドと第２復号フィールドとを出力する出力手段とを備え、出力手段は、ステレオ情報取得手段により取得されたステレオ情報を参照し第１フィールドと第２フィールドとがステレオ画像を構成するか否か判断し、ステレオ画像を構成すると判断した場合、第１復号フィールドと第２復号フィールドとを同時に出力することを特徴とする。

また、出力ステップにおいて、第１フィールドと第２フィールドとがステレオ画像を構成しないと判断した場合、第１復号フィールドと第２復号フィールドとを異なる時刻に出力することとするのが望ましい。

また、動画像符号化方法は、第１フィールドと第２フィールドとを含む飛び越し走査画像を符号化して符号化データを生成する動画像符号化方法であって、第１フィールドと第２フィールドとがステレオ画像を構成する２枚の画像であるか否かを示すステレオ情報を符号化して、符号化データに付加するステレオ情報付加ステップと、第１フィールドと第２フィールドとを出力するタイミングに関する情報を保持した出力タイミング情報を符号化して、符号化データに付加する出力タイミング情報付加ステップと、を含むことを特徴とする。なお、「符号化データに付加する」ということには、符号化したフィールド等とステレオ情報とを多重化して符号化データを生成することをも含む。

また、動画像符号化方法は、第１フィールドと第２フィールドとを含む飛び越し走査画像を符号化して符号化データを生成する動画像符号化方法であって、第１フィールドと第２フィールドとがステレオ画像を構成する２枚の画像であるか否かを示すステレオ情報を符号化して、符号化データに付加するステレオ情報付加ステップと、第１フィールドと第２フィールドとを同時に出力する時刻に関する出力時刻情報を符号化して、符号化データに付加する出力時刻情報付加ステップと、を含むことを特徴とする。

また、動画像復号方法は、第１フィールドと第２フィールドとを出力するタイミングに関する情報を保持した出力タイミング情報を符号化データから復号して取得する出力タイミング情報取得ステップを更に含み、出力ステップにおいて、出力タイミング情報取得ステップにおいて取得された出力タイミング情報に基づき第１復号フィールドと第２復号フィールドとを出力することとするのが望ましい。

また、動画像復号方法は、第１フィールドと第２フィールドとを同時に出力する時刻に関する出力時刻情報を符号化データから復号して取得する出力時刻情報取得ステップを更に含み、出力ステップにおいて、出力時刻情報取得ステップにおいて取得された出力時刻情報に基づき第１復号フィールドと第２復号フィールドとを出力することが望ましい。

また、出力タイミング情報は、符号化データに含まれる、第１フィールド及び第２フィールドの何れかの出力時刻の情報に対応した時刻を出力時刻とする旨の情報であることが望ましい。

また、出力タイミング情報は、符号化データに含まれる、第１フィールド及び第２フィールドに割り当てられた出力順序を示す番号の大小関係を示す情報であることが望ましい。

また、動画像符号化プログラムは、コンピュータに、第１フィールドと第２フィールドとを含む飛び越し走査画像を符号化して符号化データを生成させる動画像符号化プログラムであって、第１フィールドと第２フィールドとがステレオ画像を構成する２枚の画像であるか否かを示すステレオ情報を符号化して、符号化データに付加するステレオ情報付加処理と、第１フィールドと第２フィールドとを出力するタイミングに関する情報を保持した出力タイミング情報を符号化して、符号化データに付加する出力タイミング情報付加処理と、を実行させることを特徴とする。

また、動画像符号化プログラムは、コンピュータに、第１フィールドと第２フィールドとを含む飛び越し走査画像を符号化して符号化データを生成させる動画像符号化プログラムであって、第１フィールドと第２フィールドとがステレオ画像を構成する２枚の画像であるか否かを示すステレオ情報を符号化して、符号化データに付加するステレオ情報付加処理と、第１フィールドと第２フィールドとを同時に出力する時刻に関する出力時刻情報を符号化して、符号化データに付加する出力時刻情報付加処理と、を実行させることを特徴とする。

また、動画像符号化装置は、第１フィールドと第２フィールドとを含む飛び越し走査画像を符号化して符号化データを生成する動画像符号化装置であって、第１フィールドと第２フィールドとがステレオ画像を構成する２枚の画像であるか否かを示すステレオ情報を符号化して、符号化データに付加するステレオ情報付加手段と、第１フィールドと第２フィールドとを出力するタイミングに関する情報を保持した出力タイミング情報を符号化して、符号化データに付加する出力タイミング情報付加手段と、を備えることを特徴とする。

また、動画像符号化装置は、第１フィールドと第２フィールドとを含む飛び越し走査画像を符号化して符号化データを生成する動画像符号化装置であって、第１フィールドと第２フィールドとがステレオ画像を構成する２枚の画像であるか否かを示すステレオ情報を符号化して、符号化データに付加するステレオ情報付加手段と、第１フィールドと第２フィールドとを同時に出力する時刻に関する出力時刻情報を符号化して、符号化データに付加する出力時刻情報付加手段と、を備えることを特徴とする。

また、動画像復号方法は、フレームを含む飛び越し走査画像の符号化データを復号する動画像復号方法であって、フレームがステレオ画像を構成するものであるか否かを示すステレオ情報を符号化データから取得するステレオ情報取得ステップと、符号化データからステレオ画像として互いに対応する第１のフレームと第２のフレームとを復号し、第１復号フレームと第２復号フレームとを生成する復号ステップと、復号ステップにおいて復号された第１復号フレームと第２復号フレームとを出力する出力ステップとを含み、出力ステップにおいて、ステレオ情報取得ステップにおいて取得されたステレオ情報を参照しフレームがステレオ画像を構成するものであるか否か判断し、ステレオ画像を構成すると判断した場合、第１復号フレームと第２復号フレームとをステレオ画像として対応させて出力することを特徴とする。

また、動画像復号方法は、符号化データに含まれるフレームのステレオ画像としての対応関係に関する対応関係情報を復号する対応情報復号ステップを更に含み、出力ステップにおいて、対応情報復号ステップにおいて復号された対応関係情報を参照して、第１復号フレームと第２復号フレームとをステレオ画像として対応させて出力する、こととするのが望ましい。

また、動画像復号プログラムは、コンピュータに、フレームを含む飛び越し走査画像の符号化データを復号させる動画像復号プログラムであって、フレームがステレオ画像を構成するものであるか否かを示すステレオ情報を符号化データから取得するステレオ情報取得処理と、符号化データからステレオ画像として互いに対応する第１のフレームと第２のフレームとを復号し、第１復号フレームと第２復号フレームとを生成する復号処理と、復号処理により復号された第１復号フレームと第２復号フレームとを出力する出力処理とを実行させ、出力処理は、ステレオ情報取得処理により取得されたステレオ情報を参照しフレームがステレオ画像を構成するものであるか否か判断し、ステレオ画像を構成すると判断した場合、第１復号フレームと第２復号フレームとをステレオ画像として対応させて出力することを特徴とする。

また、動画像復号装置は、フレームを含む飛び越し走査画像の符号化データを入力する入力手段と、フレームがステレオ画像を構成するものであるか否かを示すステレオ情報を符号化データから取得するステレオ情報取得手段と、符号化データからステレオ画像として互いに対応する第１のフレームと第２のフレームとを復号し、第１復号フレームと第２復号フレームとを生成する復号手段と、復号手段により復号された第１復号フレームと第２復号フレームとを出力する出力手段とを備え、出力手段は、ステレオ情報取得手段により取得されたステレオ情報を参照しフレームがステレオ画像を構成するものであるか否か判断し、ステレオ画像を構成すると判断した場合、第１復号フレームと第２復号フレームとをステレオ画像として対応させて出力することを特徴とする。

また、動画像符号化方法は、フレームを含む飛び越し走査画像を符号化して符号化データを生成する動画像符号化方法であって、飛び越し走査画像に含まれるフレームがステレオ画像を構成するものであるか否かを示すステレオ情報を符号化して、符号化データに付加するステレオ情報付加ステップと、フレームをステレオ画像として出力するタイミングに関する情報を保持した出力タイミング情報、又はフレームをステレオ画像として出力する時刻に関する情報を保持した出力時刻情報を符号化して、符号化データに付加する出力情報付加ステップと、を含むことを特徴とする。

また、動画像符号化方法は、フレームのステレオ画像としての対応関係に関する対応関係情報を符号化して、符号化データに付加する対応情報付加ステップを更に含むことが望ましい。

また、動画像符号化プログラムは、コンピュータに、フレームを含む飛び越し走査画像を符号化して符号化データを生成させる動画像符号化プログラムであって、飛び越し走査画像に含まれるフレームがステレオ画像を構成するものであるか否かを示すステレオ情報を符号化して、符号化データに付加するステレオ情報付加処理と、フレームをステレオ画像として出力するタイミングに関する情報を保持した出力タイミング情報、又はフレームをステレオ画像として出力する時刻に関する情報を保持した出力時刻情報を符号化して、符号化データに付加する出力情報付加処理と、を実行させることを特徴とする。

また、動画像符号化装置は、フレームを含む飛び越し走査画像を符号化して符号化データを生成する動画像符号化装置であって、飛び越し走査画像に含まれるフレームがステレオ画像を構成するものであるか否かを示すステレオ情報を符号化して、符号化データに付加するステレオ情報付加手段と、フレームをステレオ画像として出力するタイミングに関する情報を保持した出力タイミング情報、又はフレームをステレオ画像として出力する時刻に関する情報を保持した出力時刻情報を符号化して、符号化データに付加する出力情報付加手段と、を備えることを特徴とする。

本発明によれば、取得したステレオ情報に基づき各ピクチャ（フレームあるいはフィールド）の出力を同時に行うことができるので、符号化されたステレオ映像の左右画像を同時に出力することができる。

以下、図面を参照しながら、本発明の実施形態について説明する。

Ｈ．２６４拡張方式のデータ構造、すなわち、ステレオビデオフィールドメッセージ（以下ではステレオ情報）及びピクチャタイミングメッセージ（以下では時刻情報）とＨ．２６４拡張方式の符号化方法（フレーム／フィールド／フレーム・フィールド適応）をベースとした例で、本発明の出力タイミング情報、出力時刻情報の符号化及び復号処理ならびにそれを実現する符号化及び復号装置の構成について説明する。なお、出力タイミング情報とは、第１フィールドと第２フィールドとを出力するタイミングを保持した情報である。具体的には後述する。

［第１実施形態］
符号化及び復号処理の第１の実施形態として出力タイミング情報を用いたステレオ映像の符号化及び復号処理を説明する。本実施形態ではコンピュータによるプログラム処理を例として符号化及び復号処理を説明する。

図１に、出力タイミング情報を用いたステレオ映像の符号化処理のフローを示す。この実施形態では、左眼画像と右眼画像とに対応する２フィールドペアを出力処理するタイミングを２つのフィールドそれぞれの出力時刻から選択するための指示情報（出力タイミング情報）を用意する。この指示情報をステレオ映像に含めて符号化することとすれば、ステレオ情報の符号化手順のみの追加により、他の符号化処理を変更せずにステレオ映像の符号化が可能となる。

符号化処理開始プログラムが、動画像符号化装置で呼び出されること等により処理が開始される（Ｓ３０１）。符号化プログラムは、動画像符号化装置に対してメモリの確保等の符号化準備を行わせる（図示せず）と共に、ステレオ情報１１を生成させる（Ｓ３０２、ステレオ情報付加ステップ）。図２（ａ）に示すように、ステレオ情報１１は符号化されたデータ１０に含まれる情報である。図２（ｂ）にステレオ情報１１のフォーマットを示す。ステレオ情報タイプ２１はステレオ情報の開始を表すシグナリング情報であり、データ復号時にはこの情報の検出により、ステレオ情報の存在を認識できる。フィールド構成情報２２は、左眼画像と右眼画像を互いに対応するTop field（第１のフィールド）及びBottom field（第２のフィールド）のいずれのフィールドとして符号化しているかを示す情報である。制限情報２３は、Top fieldとBottom fieldの符号化方法に制限を与えるフラグであり、Top fieldとBottom field間の参照を禁止し、片眼画像を単独で復号することも可能とさせるものである。出力タイミング情報２４は、互いに対応する２つのフィールドを同時に出力処理するための情報である。復号処理では例えば、この情報が“Top field”を示す場合には互いに対応する２つのフィールドをTop fieldの出力時刻に同時に出力処理し（あるいはTop POCを基準として出力処理し）、“Bottom field”を示す場合には互いに対応する２つのフィールドはBottom filedの出力時刻に出力処理する（あるいはBottom POCを基準として出力処理する）こととする。本実施形態では、Ｓ３０２では、フィールド構成２２にて、左眼画像と右眼画像をそれぞれTop fieldとBottom fieldに割り当て、また出力タイミング情報２４にてTop fieldを出力タイミングに指定したことを仮定する（Top POCを出力時刻の基準値とする）。次に、符号化プログラムは、ステレオ画像１枚を入力させ（Ｓ３０３）、これを符号化対象の２つのフィールドに入力できるように変換させる（Ｓ３０４）。

さらに、符号化プログラムはフィールドの符号化方式を選択させる（Ｓ３０５）。Ｈ．２６４方式では、フレーム符号化、フィールド符号化、フレーム／フィールド適応符号化の３種類の符号化方式があるが、本願のポイントである時刻情報に関しては、フレーム符号化とフレーム／フィールド適応符号化では同様に処理されるため、本願ではフレーム符号化とフィールド符号化のみを考える。符号化方式の選択は、オペレータによりキーボードまたは予め用意された符号化条件のＧＵＩが用いられることにより行われる。また、選択手段を自動化することもできる。例えば、フィールドを２種類の方法で符号化し符号化効率の高い方法を選択する方法、フィールド間の統計的な相関を計算し閾値処理により選択する方法などがある。

次に、符号化プログラムは選択した符号化条件にて、各ピクチャを符号化させる。ここで、ピクチャとはフレームとフィールドの総称である。フィールド符号化では、符号化プログラムは、まず、Top fieldの出力時刻ｔ_Ｔを設定させ、これを符号化させる（Ｓ３１１、出力タイミング情報付加ステップ）。このように符号化された時刻情報は、各ピクチャデータに対応している。例えば、図２（ａ）に示すように、時刻情報１２はピクチャデータ１３に、時刻情報１４はピクチャデータ１５にそれぞれ対応している。図２（ｃ）に時刻情報のフォーマットを示す。時刻情報の開始を示すシグナリングする時刻情報タイプ３１から始まり、ピクチャタイプ３２、タイムスタンプ３３と続く。ピクチャタイプは、そのピクチャの構造を示す情報であり、その構造には、フレーム、フィールド（Top field／Bottom field）、フィールドペア（２つのフィールドをフレーム符号化あるいはフレーム／フィールド適応符号化にて処理）などがある。タイムスタンプは、出力時刻を示す情報であり、ピクチャタイプがフレームあるいはフィールドの場合は１個、フィールドペアの場合は２個（各フィールドの出力時刻）の出力時刻情報（タイムスタンプ）を符号化する。本実施例では、符号化プログラムは、ピクチャタイプ３２をフィールドとして符号化し、タイムスタンプの形式でｔ_Ｔを符号化する。

次に、符号化プログラムはTop fieldの符号化処理を実施させる（Ｓ３１２、出力タイミング情報付加ステップ）。同様に、符号化プログラムは、Bottom fieldの出力時刻ｔ_Ｂ（ｔ_Ｂ＝ｔ_Ｔ＋１／６０秒）の符号化（Ｓ３１３、出力タイミング情報付加ステップ）、及びBottom fieldの符号化処理を続いて行わせる（Ｓ３１４、出力タイミング情報付加ステップ）。なお、Ｈ．２６４では、この際、２つのフィールドに同じフレーム番号を与えておくと、POC値が同じ値となり、復号処理にとって有効である。POC値が同じ２つのフィールドの復号画像は、復号側では同じフレームのデータとして管理されるため、同時出力が容易となる。このように、２つのフィールドが同じフレームメモリに保存されるような仕組みをもつ符号化方式では、左右画像を構成する２つのフィールドが同じフレームメモリに保存されるように符号化データを生成することで、復号処理における同時出力処理が容易となる。本実施形態は、左右画像を構成する２つのフィールドが復号処理にて同じフレームメモリに保存されるように、２つのフィールドに同じピクチャ番号を与える符号化方法を含む。

一方、フレーム符号化では、符号プログラムは、まず、２つのフィールドの出力時刻ｔ_Ｔとｔ_Ｂを符号化させる（Ｓ３２１）。ピクチャタイプ３２をフレームとして、２個の出力時刻を２個のタイムスタンプ３３で符号化させる。そして、２フィールドペアをフレーム符号化する（Ｓ３２２）。

次に符号化プログラムは、符号化した各要素データを多重化してビットストリームを構成させる（Ｓ３０６、ステレオ情報付加ステップ、出力タイミング情報付加ステップ）。図２（ａ）はビットストリーム（符号化データ１０）の例を示す。ビットストリームは、シーケンスヘッダなどのシーケンス全体の特徴を示す情報から始まり（図示せず）、各ピクチャの情報が続く。ステレオ情報１１は、シーケンス全体に関わる情報であるため、ビットストリームの最初のピクチャよりも前に配置する。また、ビットストリームの途中から復号する場合なども考慮し、ランダムアクセス単位の先頭部にも随時配置する（図示せず）。時刻情報１２、１４は、基本的に各ピクチャデータ１３、１５の前に配置する。なお、ステレオ情報や時刻情報は、ビデオデータとオーディオデータを取りまとめるシステムデータとして定義されてもよい。その場合にも、復号順序の位置関係は同じである。以下、符号化プログラムは、Ｓ３０３からＳ３０６までの処理を繰り返し処理させ、入力ピクチャが終了した時点（Ｓ３０７）で、符号化処理を終了させる（Ｓ３０８）。

引き続いて、ステレオ映像の復号処理を説明する。図３に、本発明の出力タイミング情報を用いたステレオ映像の復号処理のフローを示す。復号処理開始プログラムが、動画像復号装置で呼び出されると（Ｓ４０１）、復号プログラムは、動画像復号装置に対し、入力符号化データの先頭部からシーケンス全体の処理に関わる情報を復号し、メモリの確保等の符号化準備を行う(図示せず)。この際にステレオ情報を取得し、参照させ（Ｓ４０２、ステレオ情報取得ステップ）、復号画像がステレオデータであるか否かを判断させる（Ｓ４０３、出力ステップ）。なお、Ｓ４０３における判断は、Ｓ４０２においてステレオ情報が取得された場合にはステレオ画像を構成する、Ｓ４０２においてステレオ情報が取得されなかった場合にはステレオ画像を構成しない、という判断でもよい。符号化データがステレオデータの場合には、ステレオ情報の要素データを復号し、復号した出力タイミング情報２４（図２（ｂ）参照）にて指定されるフェーズのフィールドを出力タイミング基準として設定させる（Ｓ４５０、出力タイミング情報取得ステップ）。本実施形態では、Top fieldの出力時刻と同時に２つのフィールドを出力させる旨の情報が出力タイミング情報２４には含まれており、そのように設定する（Top POCを出力時刻の基準値とする）。

次に、復号プログラムは、次に出力するピクチャの時刻情報を復号させ（Ｓ４０４）、ピクチャタイプによりフレームかフィールドかを判定させる（Ｓ４０５）。そして、ピクチャタイプがフレームの場合には、タイムスタンプとして復号した時刻ｔ_１とｔ_２と（数値は復号順）をそれぞれｔ_Ｔとｔ_Ｂとし（Ｓ４０８、出力ステップ）、対応するフレームデータを復号して復号フレームを取得させる（Ｓ４５２、出力ステップ）。ピクチャタイプがフィールドの場合には、タイムスタンプとして復号したｔをｔ_Ｔとした上で（Ｓ４０６、出力ステップ）、ピクチャデータを復号させ、復号Top field（復号フィールド）を取得させる（Ｓ４５１、復号ステップ）。さらに、時刻情報を復号させ（Ｓ４０４、出力ステップ）、タイムスタンプとして復号させたｔをｔ_Ｂとすると共に（Ｓ４０７、出力ステップ）、ピクチャデータを復号させて復号Bottom field（復号フィールド）を取得させる（Ｓ４５１、復号ステップ）。

次に、復号プログラムは、Ｓ４５０にて出力タイミングに設定したフィールドフェーズの情報に応じて、出力時刻を修正させる。具体的には、出力タイミング設定がTop fieldかBottom fieldかを判定し（Ｓ４５３、出力ステップ）、Top fieldの場合にはｔ_Ｂの値をｔ_Ｔに書き換え（Ｓ４５４、出力ステップ）、Bottom fieldの場合にはｔ_Ｂの値をｔ_Ｔに書き換えさせる（Ｓ４５５、出力ステップ）。本実施形態では、出力タイミングをtop fieldに設定しているので、ｔ_Ｂ＝ｔ_Ｔとなり、その結果、左眼画像と右眼画像とに対応する２つのフィールドの出力時刻設定が同時刻となる。その後、復号プログラムは、復号フレームと出力時刻（この実施例では、ｔ_Ｔ）とフィールド構成２２とを表示処理に受け渡させ、上記の時刻に基づき各フィールドを同時刻で出力させる。（Ｓ４１０、出力ステップ）。ここで、表示処理の具体例としては、左右画像を表示バッファ（表示装置に出力する前の表示画像を保存するバッファ）やプレゼンテーションバッファ（表示処理用のバッファ（ソフトウェア的に実現されるものも含む））に同時出力する方法が考えられる。Ｈ．２６４方式では、同じPOC値を持つ２つのフィールドは同じフレームメモリ（復号処理部内のバッファ）に記録される。そのため、符号化処理にて、左右画像を構成する２つのフィールドが同じPOC値を持つように、左右画像に対応する２つのフィールドに同じフレーム番号を与えておくと良い。また、別の具体例としては、左右画像をバッファに別々のタイミングで出力し、表示装置での実際の表示を行う際に左右画像を同時に表示させる方法が考えられる。以下、Ｓ４０４からＳ４１０までの処理を符号化データが終了するまで繰り返し（Ｓ４１１）、符号化データをすべて復号した時点で、復号処理を終了する。

一方、Ｓ４０３にて符号化データがステレオデータではないと判断される場合には、まず、復号プログラムは、次ピクチャの時刻情報を復号させ（Ｓ４０４）、ピクチャタイプがフレームかフィールドかを判定させる（Ｓ４０５）。そして、ピクチャタイプがフレームの場合には、タイムスタンプとして復号した時刻ｔ_１とｔ_２と（数値は復号順）をそれぞれｔ_Ｔとｔ_Ｂとさせる（Ｓ４０８）。ピクチャタイプがフィールドの場合には、さらにTop fieldかBottom fieldかをピクチャタイプにて判定させ（Ｓ４０５）、Top fieldの場合にはタイムスタンプとして復号したｔをｔ_Ｔとさせ（Ｓ４０６）、Bottom fieldの場合にはタイムスタンプとして復号したｔをｔ_Ｂとさせる（Ｓ４０７）。時刻情報の復号ならびに出力時刻の設定後、１枚のピクチャデータを復号させ、復号フレームあるいは復号フィールドを取得させる（Ｓ４０９）。その後、復号プログラムは、復号ピクチャと出力時刻とを表示処理に受け渡させる（Ｓ４１０）。以下、Ｓ４０４からＳ４１０までの処理を符号化データが終了するまで繰り返し（Ｓ４１１）、符号化データをすべて復号した時点で、復号処理を終了する。なお、符号化データがステレオデータではない場合は、Ｓ４０４から４１１までの処理がなくてもよい。または別の処理で置き換えてもよい。

上記の説明では、時刻情報を各ピクチャに付加しているが、毎ピクチャに必ず指定されているとは限らない。時刻情報の指定がないピクチャでは、時刻情報が付加されているピクチャのタイムリファレンス（Ｈ．２６４ではPOC）と時刻情報が付加されていないピクチャのタイムリファレンスとの関係から、入力画像のリフレッシュレートに基づいてタイムスタンプを決定する。本実施形態のような出力タイミング情報を利用したステレオ符号化の場合には、さらに互いに対応する２つのフィールドに対して１個の出力時刻情報を決定する必要がある。その場合には、ステレオ情報の出力タイミングを出力時刻の換算を行うための基準フィールドとして利用する。たとえば、基準フィールドがTop fieldの場合には、時刻情報ｔ_Ｔが付加されているTop fieldのTop POCと、時刻情報が付加されていないフィールドペアにおけるTop POCとの関係からｔ_Ｔを計算し、これをステレオ画像の出力時刻とすればよい。更に、POCのようなピクチャ番号と復号処理部のフレームバッファとを用いて表示処理を行う復号方法もある。この場合には、復号処理にて規定されるフレームバッファの管理法則に基づき、ピクチャ番号の順番にフレームバッファ内のフレームメモリのデータが表示バッファ（あるいはプレゼンテーションバッファ）に出力され表示処理される。この際、同じピクチャ番号を持つ２フィールドペアは、同じフレームメモリに記録されるため、同時に表示バッファに出力される。

上記のように本実施形態によれば、符号化されたステレオ映像の左右画像を同時に出力することができる。

［第２実施形態］
符号化及び復号処理の第２の実施形態として出力時刻情報を用いたステレオ映像の符号化及び復号処理を説明する。第１実施形態と同様、本実施形態ではコンピュータによるプログラム処理を例として符号化及び復号処理を説明する。

図４に、本実施形態の出力時刻情報を用いたステレオ映像の符号化処理のフローを示す。第１実施形態の出力タイミング情報を用いた方法との相違点は、符号化方法がフィールド符号化であるかフレーム符号化であるかにかかわらず、２つのフィールドのペア、すなわち左眼画像と右眼画像とを同時に出力処理する時刻として１個のタイムスタンプｔ_ＦＲを符号化する点である。本実施形態では、符号化及び復号方法における時刻情報の手順に変更を加える必要があるが、第１実施形態のフローと比較（図１と図４、図３と図５）すると分かるように、処理工数が第１実施形態よりも少ないという利点がある。以下、第１実施形態（図１）との相違点について説明する。本実施形態（図４）では、第１実施形態における、Ｓ３１１、Ｓ３１３及びＳ３２１の代わりに、判定分岐処理（Ｓ３０５）の前にＳ３０９を実施する。Ｓ３０９において、符号化プログラムは、両眼画像の時刻情報として、フレームを単位としたタイムスタンプｔ_ＦＲを符号化する。具体的には、ステレオ情報にてステレオデータであることを識別する場合についてのみ、時刻情報のピクチャタイプをフレームとし、１個のタイムスタンプを符号化できるものと規定する。この処理により、符号化処理において、タイムリファレンス（Ｈ．２６４ではTop POCやBottom POC）が異なる２つのフィールドを同時に出力処理するための出力時刻が指定できる。

なお、図４で示す符号化処理では、出力時刻情報の符号化（Ｓ３０９）を分岐判断（Ｓ３０５）の前で実施しているが、変形例として、これを各ピクチャの符号化（Ｓ３１２，Ｓ３１４，Ｓ３２２）の前でそれぞれ出力時刻情報の符号化（Ｓ３０９）を実施する場合が考えられる。この場合には、各ピクチャデータの前に必ず時刻情報が存在するため、復号処理後の表示処理において、左右画像を構成する２つのフィールドの関係がより明確となる。特に、Ｈ．２６４方式のように２つのフィールドに同じピクチャ番号（POC値）を割り当てることができる方式では、同じPOC値を持つ２つのフィールドを、復号処理後、同じフレームメモリに記録するように規定できる。そのため、左右画像を構成する２つのフィールドに同じPOC値を割り当て、さらに、２つのフィールドに同じ時刻情報を割り当てておくことにより、復号処理部は、同じフレームメモリに記録された左右画像を同時に表示処理部に出力できる。さらに、Ｈ．２６４のように２つのフィールドに同じピクチャ番号（POC値）を割り当てることができる方式では、左右画像を構成する２つのフィールドに同じフレーム番号を割り当てることで２つのフィールドのPOC値が同じ値となるため、時刻情報をピクチャデータ内のフレーム番号に置き換えて考えることも可能である。本実施形態においては、上記のフレーム番号のように実質的にフィールドを出力する時刻を特定する情報も出力時刻情報に含む。

図５は、本実施形態の出力時刻情報を用いたステレオ映像の復号処理のフローを示している。第１実施形態（図３）と同様に、復号処理開始プログラムが呼び出されると（Ｓ４０１）、復号プログラムは動画像復号装置に、入力符号化データの先頭部からシーケンス全体の処理に関わる情報を復号させ、メモリの確保等の符号化準備を行わせる（図示せず）。この際に、ステレオ情報を参照させ（Ｓ４０２）、復号画像がステレオデータであるか否かを判断させる（Ｓ４０３）。なお、Ｓ４０３における判断は、Ｓ４０２においてステレオ情報が取得された場合にはステレオ画像を構成する、Ｓ４０２においてステレオ情報が取得されなかった場合にはステレオ画像を構成しない、という判断でもよい。ステレオデータでない場合については、第１実施形態と同様の処理となるため、説明を割愛する。ステレオデータの場合には、ステレオ情報を復号し、復号した出力タイミング情報にて指定されているフェーズのフィールドを出力タイミング基準に設定する（Ｓ４５０）。この出力タイミングは、第１実施形態で説明したように、時刻情報を持たないフレーム（２つのフィールドのペア）の出力時刻を換算する際の基準フィールドとして利用する。次に、復号プログラムは、次フレームの時刻情報ｔを復号し（Ｓ４０４）、タイムスタンプとして復号したｔをｔ_ＦＲとすると共に（Ｓ４５６）、ピクチャデータを復号させる（Ｓ４０９）。そして、復号したピクチャがフレームかフィールドかを判定し（Ｓ４０５）、フィールドの場合には、さらに上記のＳ４０９にて復号したtop fieldと同時に出力するフィールドを同じくＳ４０９にて復号する。その後、復号プログラムは、復号フレームと出力時刻ｔ_ＦＲを表示処理に受け渡す（Ｓ４１０）。以下は第１実施形態と同様である。上記のように本実施形態によっても、符号化されたステレオ映像の左右画像を同時に出力することができる。

なお、第１実施形態と同様に、表示処理の具体例としては、左右画像を表示バッファ（表示装置に出力する前に表示データが保存されるバッファ）やプレゼンテーションバッファ（表示処理用のバッファ）に同時出力する場合が考えられる。Ｈ．２６４方式では、同じPOC値を持つ２つのフィールドは同じフレームメモリ（復号処理部内のバッファ）に記録される。従って、符号化処理にて、左右画像を構成する２つのフィールドが同じPOC値を持つように、左右画像に対応する２つのフィールドに同じフレーム番号を与えておくと良い。また、図５で示す復号処理では、出力時刻情報の復号及び設定（Ｓ４０４，Ｓ４５６）を最初のピクチャの復号（最初のＳ４０９）の前のみで実施しているが、上述した２つのフィールドに同じ時刻情報が割り当てられている場合には、第２の復号（第２のＳ４０９）の前でも、そのフィールドに対応した出力時刻情報の復号及び設定（Ｓ４０４，Ｓ４５６）が実施される。さらに上述した時刻情報をフレーム番号と置き換える場合には、Ｓ４０４及びＳ４５６の処理はＳ４０９の処理において取得されるフレーム番号を時刻情報に置き換えることで代替される。

［装置構成］
引き続いて、出力タイミング情報、出力時刻情報を用いてステレオ映像の符号化及び復号処理を実施する動画像符号化装置２００及び動画像復号装置１００の構成について説明する。処理については、符号化処理ならびに復号処理として説明済みのため、ここでは、装置を構成する各処理部の役割について述べる。

図６に動画像符号化装置２００の処理ブロック図を示す。まず、入力ステレオ画像がデータパス２０１を通してフレームメモリ２１１に一時保存される。入力デバイス２１２では、各実施形態にて説明したようなステレオ情報ならびに時刻情報を生成し、データパス２０４を通して、データ多重化部２１４に出力する。さらに入力デバイス２１２は、データパス２０５を通して入力ステレオ画像を読み込み、これを符号化処理部２１３が対象とする画像フォーマット（ここでは、図３等のＳ３０４に示した左右画像から２つのフィールドへの変換）の被符号化画像に変換した後、データパス２０２を通して符号化処理部２１３に出力する。この入力デバイスでの変換処理には、さらに入力ＲＧＢ信号からＹＵＶコンポーネント信号への変換や画像を符号化に適した雑音の少ない画像に変換するフィルタ処理なども含まれる。符号化処理部２１３（ステレオ情報付加手段、出力時刻情報付加手段）は、入力した被符号化画像を符号化し、ビデオデータを生成する。データ多重化部２１４（ステレオ情報付加手段、出力時刻情報付加手段）は、データパス２０３を通して取得したビデオデータとデータパス２０４を通して取得したステレオ情報や時刻情報などのコンフィギュレーションデータを合成し、符号化データを生成する。このように、入力デバイスとデータ多重化部にステレオ情報や時刻情報に対応した処理機能を追加することにより、符号化処理部を変更せずにステレオ画像の符号化に対応できる。

図７に動画像復号装置の処理ブロック図を示す。まず、データパス１０１を通してパーサ１１１（入力手段）に入力された符号化データを、コンフィギュレーションデータとビデオデータとに分離する。そして、ビデオデータはデータパス１０２を通してデコード処理部１１２（ステレオ情報取得手段、復号手段、出力手段）に、ステレオ情報や時刻情報はデータパス１０４を通して表示デバイスに渡される。デコード処理部１１２は、ビデオデータを復号してピクチャを再生し、データパス１０３を通して、フレームメモリ１１３に一時保存する（デコード処理部１１２は通常リングバッファにより複数の復号画像を管理するため、復号画像のフレームメモリ１１３もデコード処理部の内部に含まれる場合が多い）。表示デバイス１１４は、復号したステレオ情報と時刻情報を用いてデータパス１０５を通して入力される復号ピクチャを内部の表示バッファに保存し、これを表示装置１１５の形式に対応した表示画像に変換して、データパス１０６を通して表示装置１１５にて表示する。この表示デバイスでの変換処理には、ＹＵＶコンポーネント信号からＲＧＢ信号への変換や表示装置１１５のカラーフィルタなどに対応した映像整形処理が含まれる。このように、パーサと表示デバイスの処理にステレオ情報と時刻情報に対応した機能をのみの変更により、デコード処理部を変更せずにステレオ画像の復号処理が実施できる。より具体的には、表示デバイスは、左眼画像と右眼画像の復号画像を表示バッファに取り込み、２画像を表示装置のフォーマットに合成する。なおこの際、上述した左右画像を構成する２フィールドが同じPOC値を持つ場合には、左眼画像と右眼画像の復号画像を構成する２つのフィールドが同時に表示バッファに出力される。また一方、表示バッファに別々のタイミングで出力される場合は、表示装置での実際の表示を行う際に左右画像を同時に表示させる。合成画像の出力時刻は、出力タイミング情報と時刻情報とから各実施形態で説明した処理方法にて設定する。

［変形例］
上述した実施形態は以下のように変形して実施されてもよい。

上述した実施形態では、Ｈ．２６４方式をベースに説明しているが、本発明の出力タイミング情報や出力時刻情報はビデオデータと切り離して扱うことができるため、その適用は特定の符号化方式に限定されない。また、Ｈ．２６４のフレーム符号化、フィールド符号化、フレーム／フィールド適応符号化のいずれかが用意されていない符号化方式やさらなるフィールド画像の符号化方法が用意されている符号化方式においても、２つのフィールドを異なる時刻に出力する符号化方式であれば、本発明は適用できる。

本実施形態の出力タイミング情報は、左右画像に対応する２つのフィールドのうち、いずれのフィールドの出力タイミングで２つのフィールドを同時出力するかを指示するための情報である。従って、その目的を満たす形式であれば、図２のステレオ情報１１のフォーマットに限定されるものではない。上述した実施形態では、出力タイミング情報の要素をTop field、Bottom fieldとしているが、別の方法であっても選択する方法が規定されていれば出力時刻は一意に分かるため、これに限定されない。例えば、２つのフィールドを識別する値（たとえば、POC）の大小を出力タイミング情報の要素とする方法なども本発明に含まれる。

また、予め出力タイミングの要素を一つに決めておけば出力タイミング情報は必ずしも必要としない。但し、この場合には、ステレオ情報のセマンティックスにて予め定めた出力タイミングの情報を規定しておく必要がある。例えば、POC及びPOCに対応する出力時刻などが出力タイミングの情報として利用できる。図８を用いて説明する。Ｓ４２０にて復号されたピクチャはフレームメモリに保存される（Ｓ４２３）。フレームメモリに保存した復号ピクチャを表示装置に出力する際には、復号ピクチャがステレオ画像であるか否かをステレオ情報から判定し（Ｓ４０３）、ステレオデータの場合には、２つのフィールドを同時に表示装置に出力し（Ｓ４２１）、ステレオデータでない場合には、インタレース画像として、フィールド毎に表示装置に出力する（Ｓ４２２）。この場合にも、デコーダ（フレームメモリ）から出力されるステレオ画像の出力先は、表示装置ではなく表示デバイス内の表示バッファとしても良い。

上述した実施形態では、出力時刻の情報をピクチャデータとは別に符号化しているが、ピクチャデータ内で符号化する場合でも、第１及び第２実施形態に示す出力タイミング情報による出力時刻の指定処理は実現できる。但し、この場合には、時刻情報におけるピクチャタイプ情報３２は、ピクチャデータのピクチャヘッダにて符号化するため、通常は省略する。また、第２実施形態で説明した時刻情報も単純な符号化順序の入れ替えにてピクチャデータとして符号化することは可能であり、本発明に含まれる。

上述した実施形態では、時刻情報をビデオの符号化データ内にて扱っているが、音声の符号化データとビデオの符号化データを取りまとめるシステムデータの時刻情報でも同様のことができる。この際、時刻情報を符号化及び復号するためのピクチャタイプは、データとして明示しなくてもステレオ情報の有無にて示すことができるため、省略できる。なお、ステレオ情報も同様にシステムデータにて扱うことも可能である。

上述した実施形態では、時刻情報をタイムスタンプの形式としているが、本発明は時刻の表示形式には影響を受けないため、他の時刻表示形式の場合でも本発明に含まれる。

図６に示す動画像符号化装置２００では、フレームメモリ、入力デバイスならびにデータ多重化部を符号化処理部とは異なる処理要素としているが、その一部が符号化処理部に含まれた符号化装置も本発明の符号化処理方法が実現できる場合には本発明に含まれる。同じく、図７に示す動画像復号装置１００では、パーサ、フレームメモリならびに表示デバイスをデコード処理部とは異なる処理要素としているが、その一部がデコード処理部に含まれた復号装置も本発明の復号処理方法が実現できる場合には本発明に含まれる。

第２実施形態の説明では、ステレオ情報が存在するときの時刻情報のピクチャタイプをフレームとしているが、２つのフィールドに対してタイムスタンプを１個と規定することができればその限りではない。たとえば、ピクチャタイプの候補に符号化するタイムスタンプの数を１個と規定する「ステレオ」を追加する場合なども本発明に含まれる。

上述した実施形態では、Top fieldをBottom fieldよりも先に符号化及び復号処理する例を示しているが、本願の特徴はTop fieldとBottom fieldの符号化及び復号処理順序には影響しないため、Bottom fieldを先に符号化及び復号処理する場合も本発明に含まれる。また、ステレオ画像の左眼画像と右眼画像をTop fieldとBottom fieldのいずれに割り当てた場合においても本発明は適用できる。従って、この割り当てに関して本発明の権利範囲は限定されない。

上述した実施形態では、インタレース符号化を前提として説明したが、左右眼の画像を異なる時刻でプログレッシブ符号化する場合においても、本発明は適用できる。たとえば、左右眼の画像を交互にプログレッシブ符号化する場合には、左右眼画像の出力時刻が異なる。この場合、出力タイミング情報として、奇数フレームと偶数フレームのいずれかを出力時刻として設定する方法や、時刻情報のピクチャタイプに２つのフレームを同時に出力するタイプを設ける方法などが本願の応用として考えられる。

上述した実施形態では、左右２眼のステレオ画像のインタレース符号化を例に説明したが、Ｎ眼の場合に適用できる。同様にＮ眼画像を異なるフレームとしてプログレッシブ符号化する場合にも適用できる。ここで、Ｎ眼画像とは、例えば左右２眼だけでなく、上下２眼によっても立体視が可能なステレオ画像（この場合は、上下及び左右であるので４眼画像）、あるいは角度により異なる立体視が可能なステレオ画像等を指す。

この場合には、Ｎ眼画像を構成する復号フレームを連続してデコーダから表示バッファ（あるいはプレゼンテーションバッファ）に出力する。そのため、デコード処理部とフレームメモリは、連続するＮ眼画像の組み合わせを識別する必要がある。その方法の具体例としては、ピクチャ番号（Ｈ．２６４方式ではPOC）をＮで割ったとき、その小数点以下を切り捨てた除算値が同値となるフレームの組み合わせをＮ眼画像とする方法がある。また上記の演算で、ピクチャ番号からオフセット値（例えば、任意フレームのピクチャ番号）を引いた値をＮで割ることとしてもよい。また、Ｎ眼画像を構成するフレームの組み合わせを判断する方法は、上記の値を入力とした別の演算を用いたもの、あるいは符号化方式が定める基準値等を用いたものでもよい。組み合わせの識別はランダムアクセス可能なフレームから始める。Ｈ．２６４では、ランダムアクセス可能なデータ単位は２種類ある。第１には、予測参照関係を持たない特別なピクチャタイプを持つピクチャであり、このピクチャにてPOCのカウントは０にリセットされる。第２には、フレームメモリの管理をリセットしたピクチャである。ピクチャ間の予測関係が断ち切れるためランダムアクセスピクチャとして識別できる。なお、符号化方式で規定されていれば、任意のフレームから組み合わせの識別を行うことも可能である。また、Ｎの値は、例えば左右画像の２のように予め決めておけばステレオ情報の存在により規定できるが、Ｎの値を固定しない符号化方式では、その値を組み合わせ識別情報（対応関係情報の例）として図２のステレオ情報１１にて明示的に符号化する方法も考えられる。この組み合わせ識別情報も他のステレオ情報１１の要素データや時刻情報と同様に、別の通信手段にて伝送する場合やシステムデータとして扱うも考えられる。また、フレームがＮ眼画像を構成するどの画像に対応するかの復号処理における判断は、上述したフィールド構成をフレーム構成に置き換えることにより実現することができ、例えばその情報を図２（ｂ）に示すステレオ情報１１のフィールド構成２２に対応する部分に情報を保持させておくこととするのがよい。また、上述したように、Ｎフレームのピクチャデータの前に同じ時刻情報を符号化することで、デコーダならびにシステムはＮフレームの再生画像がＮ眼画像を構成するものとして表示バッファあるいはプレゼンテーションバッファに連続して出力され同じ時刻に表示されるべき画像であることを認識できる。

上述した実施形態では、ステレオ情報や時刻情報、組み合わせ識別情報等を符号化データとしているが、別の通信手段にて伝送する場合も、符号化及び復号処理は同じであるため本発明に含まれる。

ところで、上述した一連の処理を実行させるための動画像符号化プログラム及び動画像復号プログラムは以下のような構成をとる。図９に示すように、動画像符号化プログラム２４１は、動画像符号化装置２００内の記録媒体２４０に形成されたプログラム格納領域２４０ａ内に格納されている。また、図１０に示すように、動画像復号プログラム１４１は、動画像符号化装置１００内の記録媒体１４０に形成されたプログラム格納領域１４０ａ内に格納されている。

動画像符号化プログラム２４１は、動画像符号化処理を統括的に制御するメインモジュール２４１ａと、ステレオ情報を符号化して符号化データに付加するステレオ情報付加モジュール２４１ｂと、出力タイミング情報を符号化して符号化データに付加する出力タイミング情報付加モジュール２４１ｃとを備えて構成される。また、出力時刻情報が符号化データに付加される処理がなされる場合は、出力時刻情報付加モジュール２４１ｄ（図示せず）をも備える。これらのモジュールを実行することにより上述した処理がなされる。また、動画像復号プログラム１４１は、動画像復号処理を統括的に制御するメインモジュール１４１ａと、ステレオ情報を取得するステレオ情報取得モジュール１４１ｂと、各フィールドを復号する復号モジュール１４１ｃと、復号フィールドを出力する出力モジュール１４１ｄを備えて構成される。これらのモジュールを実行することにより上述した処理がなされる。また、出力タイミング情報を取得する処理がなされる場合は、出力タイミング情報取得モジュール１４１ｅ（図示せず）を、出力時刻情報が符号化データを取得する処理がなされる場合は、出力時刻情報取得モジュール１４１ｆ（図示せず）をも備える。

第１実施形態における動画像の符号化の処理を示したフローチャートである。 符号化された動画像（ステレオ映像）の構成を示す図である。 第１実施形態における動画像の復号の処理を示したフローチャートである。 第１実施形態における動画像の符号化の処理を示したフローチャートである。 第２実施形態における動画像の復号の処理を示したフローチャートである。 実施形態における動画像符号化装置の構成を示した図である。 実施形態における動画像復号装置の構成を示した図である。 実施形態における動画像の復号の処理の変形例を示したフローチャートである。 本発明に係る動画像符号化プログラムの構成を示す図である。 本発明に係る動画像復号プログラムの構成を示す図である。

符号の説明

１０…符号化データ、１１…ステレオ情報、１２，１４…時刻情報、１３，１５…ピクチャデータ、２１…ステレオ情報タイプ情報、２２…フィールド構成情報、２３…制限情報、２４…出力タイミング情報、３１…時刻情報タイプ情報、３２…ピクチャタイプ情報、３３…タイムスタンプ、１００…動画像復号装置、１１１…パーサ、１１２…デコード処理部、１１３…フレームメモリ、１１４…表示デバイス、１１５…表示装置、１４１…動画像復号プログラム、１４１ａ…メインモジュール、１４１ｂ…ステレオ情報取得モジュール、１４１ｃ…復号モジュール、１４１ｄ…出力モジュール、１４１ｅ…出力タイミング情報取得モジュール、２４１ｆ…出力時刻情報取得モジュール、２００…動画像符号化装置、２１１…フレームメモリ、２１２…入力デバイス、２１３…符号化処理部、２１４…データ多重化部、２４１…動画像符号化プログラム、２４１ａ…メインモジュール、２４１ｂ…ステレオ情報付加モジュール、２４１ｃ…出力タイミング情報付加モジュール、２４１ｄ…出力時刻情報付加モジュール。

Claims (30)

1. 飛び越し走査画像の符号化データを復号する動画像復号方法であって、
   前記飛び越し走査画像に含まれるピクチャがステレオ画像を構成するものであるか否かを示すステレオ情報を取得するステレオ情報取得ステップと、
   前記符号化データからステレオ画像として互いに対応する第１の前記ピクチャと第２の前記ピクチャとを復号し、第１復号ピクチャと第２復号ピクチャとを生成する復号ステップと、
   前記復号ステップにおいて復号された第１復号ピクチャと第２復号ピクチャとを出力する出力ステップとを含み、
   前記出力ステップにおいて、前記ステレオ情報取得ステップにおいて取得されたステレオ情報を参照し第１復号ピクチャと第２復号ピクチャとがステレオ画像を構成するか否か判断し、ステレオ画像を構成すると判断した場合、前記第１復号ピクチャと前記第２復号ピクチャとをステレオ画像として対応させて出力することを特徴とする動画像復号方法。
2. コンピュータに、飛び越し走査画像の符号化データを復号させる動画像復号プログラムであって、
   前記飛び越し走査画像に含まれるピクチャがステレオ画像を構成するものであるか否かを示すステレオ情報を前記符号化データから取得するステレオ情報取得処理と、
   前記符号化データからステレオ画像として互いに対応する第１の前記ピクチャと第２の前記ピクチャとを復号し、第１復号ピクチャと第２復号ピクチャとを生成する復号処理と、
   前記復号処理により復号された第１復号ピクチャと第２復号ピクチャとを出力する出力処理とを実行させ、
   前記出力処理は、前記ステレオ情報取得処理により取得されたステレオ情報を参照し第１復号ピクチャと第２復号ピクチャとがステレオ画像を構成するか否か判断し、ステレオ画像を構成すると判断した場合、前記第１復号ピクチャと前記第２復号ピクチャとをステレオ画像として対応させて出力することを特徴とする動画像復号プログラム。
3. 飛び越し走査画像の符号化データを入力する入力手段と、
   前記飛び越し走査画像に含まれるピクチャがステレオ画像を構成するものであるか否かを示すステレオ情報を前記符号化データから取得するステレオ情報取得手段と、
   前記符号化データからステレオ画像として互いに対応する第１の前記ピクチャと第２の前記ピクチャとを復号し、第１復号ピクチャと第２復号ピクチャとを生成する復号手段と、
   前記復号手段により復号された第１復号ピクチャと第２復号ピクチャとを出力する出力処理とを備え、
   前記出力手段は、前記ステレオ情報取得手段により取得されたステレオ情報を参照し第１復号ピクチャと第２復号ピクチャとがステレオ画像を構成するか否か判断し、ステレオ画像を構成すると判断した場合、前記第１復号ピクチャと前記第２復号ピクチャとをステレオ画像として対応させて出力することを特徴とする動画像復号装置。
4. 飛び越し走査画像を符号化して符号化データを生成する動画像符号化方法であって、
   前記飛び越し走査画像に含まれるピクチャがステレオ画像を構成するものであるか否かを示すステレオ情報を符号化して、前記符号化データに付加するステレオ情報付加ステップと、
   前記ピクチャをステレオ画像として出力するタイミングに関する情報を保持した出力タイミング情報、又は前記ピクチャをステレオ画像として出力する時刻に関する情報を保持した出力時刻情報を符号化して、前記符号化データに付加する出力情報付加ステップと、
   を含む動画像符号化方法。
5. コンピュータに、飛び越し走査画像を符号化して符号化データを生成させる動画像符号化プログラムであって、
   前記飛び越し走査画像に含まれるピクチャがステレオ画像を構成するものであるか否かを示すステレオ情報を符号化して、前記符号化データに付加するステレオ情報付加処理と、
   前記ピクチャをステレオ画像として出力するタイミングに関する情報を保持した出力タイミング情報、又は前記ピクチャをステレオ画像として出力する時刻に関する情報を保持した出力時刻情報を符号化して、前記符号化データに付加する出力情報付加処理と、
   を実行させる動画像符号化プログラム。
6. 飛び越し走査画像を符号化して符号化データを生成する動画像符号化装置であって、
   前記飛び越し走査画像に含まれるピクチャがステレオ画像を構成するものであるか否かを示すステレオ情報を符号化して、前記符号化データに付加するステレオ情報付加手段と、
   前記ピクチャをステレオ画像として出力するタイミングに関する情報を保持した出力タイミング情報、又は前記ピクチャをステレオ画像として出力する時刻に関する情報を保持した出力時刻情報を符号化して、前記符号化データに付加する出力情報付加手段と、
   を備える動画像符号化装置。
7. 第１フィールドと第２フィールドとを含む飛び越し走査画像の符号化データを復号する動画像復号方法であって、
   前記第１フィールドと前記第２フィールドとがステレオ画像を構成する２枚の画像であるか否かを示すステレオ情報を前記符号化データから取得するステレオ情報取得ステップと、
   前記符号化データから互いに対応する前記第１フィールドと前記第２フィールドとを復号し、第１復号フィールドと第２復号フィールドとを生成する復号ステップと、
   前記復号ステップにおいて復号された第１復号フィールドと第２復号フィールドとを出力する出力ステップとを含み、
   前記出力ステップにおいて、前記ステレオ情報取得ステップにおいて取得されたステレオ情報を参照し前記第１フィールドと前記第２フィールドとがステレオ画像を構成するか否か判断し、ステレオ画像を構成すると判断した場合、前記第１復号フィールドと前記第２復号フィールドとを同時に出力することを特徴とする動画像復号方法。
8. コンピュータに、第１フィールドと第２フィールドとからなる飛び越し走査画像の符号化データを復号させる動画像復号プログラムであって、
   前記第１フィールドと前記第２フィールドとがステレオ画像を構成する２枚の画像であるか否かを示すステレオ情報を前記符号化データから取得するステレオ情報取得処理と、
   前記符号化データから互いに対応する前記第１フィールドと前記第２フィールドとを復号し、第１復号フィールドと第２復号フィールドとを生成する復号処理と、
   前記復号処理により復号された第１復号フィールドと第２復号フィールドとを出力する出力処理とを実行させ、
   前記出力処理は、前記ステレオ情報取得処理により取得されたステレオ情報を参照し前記第１フィールドと前記第２フィールドとがステレオ画像を構成するか否か判断し、ステレオ画像を構成すると判断した場合、前記第１復号フィールドと前記第２復号フィールドとを同時に出力することを特徴とする動画像復号プログラム。
9. 第１フィールドと第２フィールドとを含む飛び越し走査画像の符号化データを入力する入力手段と、
   前記第１フィールドと前記第２フィールドとがステレオ画像を構成する２枚の画像であるか否かを示すステレオ情報を前記符号化データから取得するステレオ情報取得手段と、
   前記符号化データから互いに対応する前記第１フィールドと前記第２フィールドとを復号し、第１復号フィールドと第２復号フィールドとを生成する復号手段と、
   前記復号手段により復号された第１復号フィールドと第２復号フィールドとを出力する出力手段とを備え、
   前記出力手段は、前記ステレオ情報取得手段により取得されたステレオ情報を参照し前記第１フィールドと前記第２フィールドとがステレオ画像を構成するか否か判断し、ステレオ画像を構成すると判断した場合、前記第１復号フィールドと前記第２復号フィールドとを同時に出力することを特徴とする動画像復号装置。
10. 前記出力ステップにおいて、前記第１フィールドと前記第２フィールドとがステレオ画像を構成しないと判断した場合、前記第１復号フィールドと前記第２復号フィールドとを異なる時刻に出力することを特徴とする請求項１に記載の動画像復号方法。
11. 第１フィールドと第２フィールドとを含む飛び越し走査画像を符号化して符号化データを生成する動画像符号化方法であって、
    前記第１フィールドと前記第２フィールドとがステレオ画像を構成する２枚の画像であるか否かを示すステレオ情報を符号化して、前記符号化データに付加するステレオ情報付加ステップと、
    前記第１フィールドと前記第２フィールドとを出力するタイミングに関する情報を保持した出力タイミング情報を符号化して、前記符号化データに付加する出力タイミング情報付加ステップと、
    を含む動画像符号化方法。
12. 第１フィールドと第２フィールドとを含む飛び越し走査画像を符号化して符号化データを生成する動画像符号化方法であって、
    前記第１フィールドと前記第２フィールドとがステレオ画像を構成する２枚の画像であるか否かを示すステレオ情報を符号化して、前記符号化データに付加するステレオ情報付加ステップと、
    前記第１フィールドと前記第２フィールドとを同時に出力する時刻に関する出力時刻情報を符号化して、前記符号化データに付加する出力時刻情報付加ステップと、
    を含む動画像符号化方法。
13. 前記第１フィールドと前記第２フィールドとを出力するタイミングに関する情報を保持した出力タイミング情報を前記符号化データから復号して取得する出力タイミング情報取得ステップを更に含み、
    前記出力ステップにおいて、前記出力タイミング情報取得ステップにおいて取得された出力タイミング情報に基づき前記第１復号フィールドと前記第２復号フィールドとを出力することを特徴とする請求項７に記載の動画像復号方法。
14. 前記第１フィールドと前記第２フィールドとを同時に出力する時刻に関する出力時刻情報を前記符号化データから復号して取得する出力時刻情報取得ステップを更に含み、
    前記出力ステップにおいて、前記出力時刻情報取得ステップにおいて取得された出力時刻情報に基づき前記第１復号フィールドと前記第２復号フィールドとを出力することを特徴とする請求項７に記載の動画像復号方法。
15. 前記出力タイミング情報は、前記符号化データに含まれる、前記第１フィールド及び前記第２フィールドの何れかの出力時刻の情報に対応した時刻を出力時刻とする旨の情報であることを特徴とする請求項１１に記載の動画像符号化方法。
16. 前記出力タイミング情報は、前記符号化データに含まれる、前記第１フィールド及び前記第２フィールドに割り当てられた出力順序を示す番号の大小関係を示す情報であることを特徴とする請求項１１に記載の動画像符号化方法。
17. 前記出力タイミング情報は、前記符号化データに含まれる、前記第１フィールド及び前記第２フィールドの何れかの出力時刻の情報に対応した時刻を出力時刻とする旨の情報であることを特徴とする請求項１３に記載の動画像復号方法。
18. 前記出力タイミング情報は、前記符号化データに含まれる、前記第１フィールド及び前記第２フィールドに割り当てられた出力順序を示す番号の大小関係を示す情報であることを特徴とする請求項１３に記載の動画像復号方法。
19. コンピュータに、第１フィールドと第２フィールドとを含む飛び越し走査画像を符号化して符号化データを生成させる動画像符号化プログラムであって、
    前記第１フィールドと前記第２フィールドとがステレオ画像を構成する２枚の画像であるか否かを示すステレオ情報を符号化して、前記符号化データに付加するステレオ情報付加処理と、
    前記第１フィールドと前記第２フィールドとを出力するタイミングに関する情報を保持した出力タイミング情報を符号化して、前記符号化データに付加する出力タイミング情報付加処理と、
    を実行させる動画像符号化プログラム。
20. コンピュータに、第１フィールドと第２フィールドとを含む飛び越し走査画像を符号化して符号化データを生成させる動画像符号化プログラムであって、
    前記第１フィールドと前記第２フィールドとがステレオ画像を構成する２枚の画像であるか否かを示すステレオ情報を符号化して、前記符号化データに付加するステレオ情報付加処理と、
    前記第１フィールドと前記第２フィールドとを同時に出力する時刻に関する出力時刻情報を符号化して、前記符号化データに付加する出力時刻情報付加処理と、
    を実行させる動画像符号化プログラム。
21. 第１フィールドと第２フィールドとを含む飛び越し走査画像を符号化して符号化データを生成する動画像符号化装置であって、
    前記第１フィールドと前記第２フィールドとがステレオ画像を構成する２枚の画像であるか否かを示すステレオ情報を符号化して、前記符号化データに付加するステレオ情報付加手段と、
    前記第１フィールドと前記第２フィールドとを出力するタイミングに関する情報を保持した出力タイミング情報を符号化して、前記符号化データに付加する出力タイミング情報付加手段と、
    を備える動画像符号化装置。
22. 第１フィールドと第２フィールドとを含む飛び越し走査画像を符号化して符号化データを生成する動画像符号化装置であって、
    前記第１フィールドと前記第２フィールドとがステレオ画像を構成する２枚の画像であるか否かを示すステレオ情報を符号化して、前記符号化データに付加するステレオ情報付加手段と、
    前記第１フィールドと前記第２フィールドとを同時に出力する時刻に関する出力時刻情報を符号化して、前記符号化データに付加する出力時刻情報付加手段と、
    を備える動画像符号化装置。
23. フレームを含む飛び越し走査画像の符号化データを復号する動画像復号方法であって、
    前記フレームがステレオ画像を構成するものであるか否かを示すステレオ情報を前記符号化データから取得するステレオ情報取得ステップと、
    前記符号化データからステレオ画像として互いに対応する第１の前記フレームと第２の前記フレームとを復号し、第１復号フレームと第２復号フレームとを生成する復号ステップと、
    前記復号ステップにおいて復号された第１復号フレームと第２復号フレームとを出力する出力ステップとを含み、
    前記出力ステップにおいて、前記ステレオ情報取得ステップにおいて取得されたステレオ情報を参照し前記フレームがステレオ画像を構成するものであるか否か判断し、ステレオ画像を構成すると判断した場合、前記第１復号フレームと前記第２復号フレームとをステレオ画像として対応させて出力することを特徴とする動画像復号方法。
24. 前記符号化データに含まれる前記フレームのステレオ画像としての対応関係に関する対応関係情報を復号する対応情報復号ステップを更に含み、
    前記出力ステップにおいて、前記対応情報復号ステップにおいて復号された対応関係情報を参照して、前記第１復号フレームと前記第２復号フレームとをステレオ画像として対応させて出力する、
    ことを特徴とする請求項２３に記載の動画像復号方法。
25. コンピュータに、フレームを含む飛び越し走査画像の符号化データを復号させる動画像復号プログラムであって、
    前記フレームがステレオ画像を構成するものであるか否かを示すステレオ情報を前記符号化データから取得するステレオ情報取得処理と、
    前記符号化データからステレオ画像として互いに対応する第１の前記フレームと第２の前記フレームとを復号し、第１復号フレームと第２復号フレームとを生成する復号処理と、
    前記復号処理により復号された第１復号フレームと第２復号フレームとを出力する出力処理とを実行させ、
    前記出力処理は、前記ステレオ情報取得処理により取得されたステレオ情報を参照し前記フレームがステレオ画像を構成するものであるか否か判断し、ステレオ画像を構成すると判断した場合、前記第１復号フレームと前記第２復号フレームとをステレオ画像として対応させて出力することを特徴とする動画像復号プログラム。
26. フレームを含む飛び越し走査画像の符号化データを入力する入力手段と、
    前記フレームがステレオ画像を構成するものであるか否かを示すステレオ情報を前記符号化データから取得するステレオ情報取得手段と、
    前記符号化データからステレオ画像として互いに対応する第１の前記フレームと第２の前記フレームとを復号し、第１復号フレームと第２復号フレームとを生成する復号手段と、
    前記復号手段により復号された第１復号フレームと第２復号フレームとを出力する出力手段とを備え、
    前記出力手段は、前記ステレオ情報取得手段により取得されたステレオ情報を参照し前記フレームがステレオ画像を構成するものであるか否か判断し、ステレオ画像を構成すると判断した場合、前記第１復号フレームと前記第２復号フレームとをステレオ画像として対応させて出力することを特徴とする動画像復号装置。
27. フレームを含む飛び越し走査画像を符号化して符号化データを生成する動画像符号化方法であって、
    前記飛び越し走査画像に含まれるフレームがステレオ画像を構成するものであるか否かを示すステレオ情報を符号化して、前記符号化データに付加するステレオ情報付加ステップと、
    前記フレームをステレオ画像として出力するタイミングに関する情報を保持した出力タイミング情報、又は前記フレームをステレオ画像として出力する時刻に関する情報を保持した出力時刻情報を符号化して、前記符号化データに付加する出力情報付加ステップと、
    を含む動画像符号化方法。
28. 前記フレームのステレオ画像としての対応関係に関する対応関係情報を符号化して、前記符号化データに付加する対応情報付加ステップを更に含む請求項２７に記載の動画像符号化方法。
29. コンピュータに、フレームを含む飛び越し走査画像を符号化して符号化データを生成させる動画像符号化プログラムであって、
    前記飛び越し走査画像に含まれるフレームがステレオ画像を構成するものであるか否かを示すステレオ情報を符号化して、前記符号化データに付加するステレオ情報付加処理と、
    前記フレームをステレオ画像として出力するタイミングに関する情報を保持した出力タイミング情報、又は前記フレームをステレオ画像として出力する時刻に関する情報を保持した出力時刻情報を符号化して、前記符号化データに付加する出力情報付加処理と、
    を実行させる動画像符号化プログラム。
30. フレームを含む飛び越し走査画像を符号化して符号化データを生成する動画像符号化装置であって、
    前記飛び越し走査画像に含まれるフレームがステレオ画像を構成するものであるか否かを示すステレオ情報を符号化して、前記符号化データに付加するステレオ情報付加手段と、
    前記フレームをステレオ画像として出力するタイミングに関する情報を保持した出力タイミング情報、又は前記フレームをステレオ画像として出力する時刻に関する情報を保持した出力時刻情報を符号化して、前記符号化データに付加する出力情報付加手段と、
    を備える動画像符号化装置。
    

Images