以下に添付図面を参照して、本発明に係る符号化復号システム、符号化システムおよび復号システムの実施例を説明する。なお、以下では、実施例1で用いる主要な用語、実施例1に係る符号化復号システムの概要および特徴、実施例1に係る符号化復号システムの構成、実施例1に係る符号化復号システムによる処理の手順、実施例1の効果を順に説明し、続いて、他の実施例について説明する。
[用語の説明]
まず最初に、以下の実施例で用いる主要な用語を説明する。以下の実施例で用いる「符号化復号システム」とは、本来、動画像信号などの「画像データ」を、インターネットなどの伝送システムを介して伝送したり、記憶媒体に保存したりすることを目的とするシステムのことである。すなわち、HDTV(High Definition TeleVision)クラスやUDTV(Ultra Definition TeleVision)クラスの高解像度の動画像信号である「画像データ」は、そのデータ量が膨大であることから、そのままの状態では、伝送や保存の対象とすることが難しい。このため、「符号化復号システム」のうちの「符号化システム」が、「画像データ」のデータ量を圧縮する「符号化」を行い、データ量が圧縮された「画像データ」を、伝送や保存の対象とするのである。一方、「符号化復号システム」のうちの「復号システム」は、「符号化システム」によって「符号化」された「画像データ」を「復号」することで、高解像度の「画像データ」を再生する。
ところで、現在の「符号化」や「復号」の技術としては、例えば、H.264/MPEG−4 AVC(Advanced Video Coding)やH.264/AVCなどが代表的であるが、HDTVクラスやUDTVクラスの高解像度の「画像データ」を「符号化」や「復号」の対象とする場合、「符号化システム」や「復号システム」は、高性能かつ大規模なリソースを必要とすることになり、実現が容易ではない。そこで、本発明に係る「符号化復号システム」では、高解像度の「画像データ」をそのまま「符号化」や「復号」の対象とするのではなく、まず、高解像度の「画像データ」を複数の低解像度の「画像データ」に分割し、分割した複数の低解像度の「画像データ」を、低性能な「符号化システム」で符号化したり、低性能な「復号システム」で復号したりする手法を採用している。
より具体的に説明すると、本発明における「符号化システム」は、複数の低性能な「符号化装置」で構成されており、「1画面」の「画像データ」を「符号化装置」の数に分割し、分割した複数の「画像データ」を、複数の「符号化装置」で各々符号化する。一方、本発明における「復号システム」は、複数の「符号化装置」に1対1で対応づけられた複数の低性能な「復号装置」で構成されており、「符号化システム」で符号化された複数の「画像データ」を、複数の「復号装置」で各々復号して、「画像データ」を合成する合成部に出力する。
ここで問題となるのは、「復号システム」において「画像データ」を合成部に出力する際に、どのようにして表示時刻を一致させるか、という点である。すなわち、一般的な「符号化復号システム」では、「復号装置」が、「符号化装置」で「画像データ」がキャプチャされたときの時刻を表示時刻として再現し、復号した「画像データ」を再現した表示時刻に出力部などに出力することで、「1画面」の「画像データ」を正しく表示している。ところが、本発明に係る「符号化復号システム」のように、「符号化システム」において複数の「符号化装置」が利用される場合には、各々の「符号化装置」が内蔵する時計間で時刻がずれてしまうのが通常であることから、結果として、「復号装置」側では、複数の「画像データ」間で表示時刻の同期をとることができず、「画像データ」を正しく表示することができなくなると考えられる。
このため、本発明に係る「符号化復号システム」が、「符号化システム」において「符号化装置」の数に分割され、複数の「符号化装置」で各々符号化された「画像データ」を、「復号システム」において復号し、「1画面」の「画像データ」として表示するにあたり、どのようにして表示時刻を一致させるかが、重要な点になる。
[実施例1に係る符号化復号システムの概要および特徴]
続いて、図1を用いて、実施例1に係る符号化復号システムの概要および特徴を説明する。図1は、実施例1に係る符号化復号システムの概要および特徴を説明するための図である。
実施例1に係る符号化復号システムは、上記したように、複数の符号化装置で構成される符号化システムが、1画面の画像データから符号化装置の数に分割された複数の画像データを、複数の符号化装置で各々符号化して復号システムに伝送し、復号システムが伝送された画像データを復号して1画面の画像データを表示することを概要とし、高解像度の動画像信号を正しく表示することを主たる特徴とする。
この主たる特徴について簡単に説明すると、実施例1に係る符号化復号システムは、図1に示すように、符号化システムと復号システムとから構成されている。また、図1に示すように、符号化システムは、複数の符号化装置で構成されており、また、復号システムも、複数の復号装置で構成されており、符号化装置と復号装置とが1対1で対応づけられている。
また、図1に示すように、実施例1に係る符号化復号システムは、1つの符号化装置から1つの復号装置に対して1本のシステムストリームが伝送される方式であるので、結局、符号化システムから復号システムに対して、複数本のシステムストリームが伝送されることになる。言い替えると、実施例1に係る符号化復号システムでは、1画面の画像データを、符号化装置の数に相当する複数のピクチャに分割し、1ピクチャを1つの符号化装置で符号化し、1ピクチャを1つの復号装置で復号するといった手法を採用している。
このような構成のもと、実施例1における符号化システムは、符号化装置の各々において、分割された1ピクチャの画像データを符号化する(図1の(1)を参照)。例えば、図1に示すように、符号化装置の数が4つである場合には、1対1で対応づけられる復号装置の数も4つになり、符号化システムは、1画面の画像データを4ピクチャの画像データに分割する。また、符号化装置1は、左上の画像データである1ピクチャを符号化している。
次に、符号化システムは、符号化装置の各々において、分割された画像データを符号化装置でキャプチャした時刻を示すSTCカウンタの値に、符号化装置による符号化時に最大生じるであろう遅延時間として複数の符号化装置の間で共通に決定された符号化遅延時間を加算した値を、第一の時刻として算出する(図1の(2)を参照)。
例えば、図1に示すように、符号化装置1は、左上の画像データである1ピクチャをキャプチャした時刻「1:00」に、符号化装置1〜4の間で共通に決定された符号化遅延時間(図1では、「符号化遅延時間の最大値」)を加算した値を、第一の時刻として算出する。なお、図1では、説明の便宜上から、キャプチャした時刻として「1:00」を示す時計のイメージを表示しているが、実際は、符号化システムが備えるSTCカウンタの値のことである。また、符号化遅延時間は、通常、設計の過程で導出されるものである。
そして、符号化システムは、符号化装置の各々において、第一の時刻を含んで作成されたシステムストリームを、符号化装置に1対1で対応づけられた復号装置に伝送する(図1の(3)を参照)。例えば、符号化装置1は、1ピクチャを符号化したデータと第一の時刻とを含んで作成された1本のシステムストリームを、復号装置1に伝送する。
続いて、実施例1における復号システムは、復号装置の各々において、1本のシステムストリームに含まれた1ピクチャを符号化したデータから、画像データを復号する(図1の(4)を参照)。例えば、復号装置1は、1ピクチャを符号化したデータから、左上の画像データを復号する。
次に、復号システムは、復号装置の各々において、複数の符号化装置の各々によって符号化された画像データを複数の符号化装置の各々が出力する出力時間について、複数の符号化装置の間で生じている揺らぎであるストリーム揺らぎの値に、復号装置による復号時に生じる遅延時間である復号遅延時間を加算し、加算された値の最大であろう値として複数の復号装置の間で共通に決定された最大値に、伝送されたシステムストリームから抽出された第一の時刻を加算した値を、第二の時刻として算出する(図1の(5)を参照)。
例えば、図1に示すように、復号装置1は、符号化装置1〜4の間で生じているストリーム揺らぎと、復号装置1の復号遅延時間とを加算し、復号装置1〜4の間で共通に決定された値(図1では「(ストリーム揺らぎ+復号遅延時間)の最大値」)に、第一の時刻(図1では「第1の時刻」)を加算した値を、第二の時刻「4:00」として算出する。なお、図1では、説明の便宜上から、第二の時刻として「4:00」を示す時計のイメージを表示しているが、実際は、復号システムが備えるSTCカウンタの値のことである。また、ストリーム揺らぎは、通常、計測等によって取得されるものであり、復号遅延時間は、設計の過程で導出されるものである。
そして、復号システムは、復号装置の各々において、システムストリームから復号された画像データを、第二の時刻に、画像データを合成する合成部に出力する(図1の(6)を参照)。ここで、上記したように、復号装置1において算出された第二の時刻は「4:00」であり、また、復号装置2において算出された第二の時刻は「5:00」であり、復号装置3において算出された第二の時刻は「6:00」であり、復号装置4において算出された第二の時刻は「7:00」であり、各々異なる時刻であることから、果たして、復号装置の各々において、画像データを第二の時刻に出力したところで、表示時刻を一致させることができているのか否かが疑問となる。
しかしながら、本発明に係る符号化復号システムにおいては、各々の符号化装置が内蔵する時計間で時刻がずれてしまうことは当然のことと考えており、復号装置側で表示時刻を再現しても、その表示時刻の値自体が各復号装置でずれてしまうことも、当然のことであると考えている。本発明において重要であるのは、符号化装置で画像データをキャプチャした時刻と、この符号化装置に1対1で対応づけられた復号装置で画像データを出力する時刻との差が、複数の復号装置間で共通になることである(図1においては、復号装置1〜4のいずれも、キャプチャした時刻と出力する時刻との差が「3:00」である)。
すなわち、例えば、復号装置1が、1対1に対応づけられた符号化装置1に特化した符号化遅延だけを考慮しながらキャプチャした時刻からの差を決め、表示時刻を再現し、復号装置2が、1対1に対応づけられた符号化装置2に特化した符号化遅延だけを考慮しながらキャプチャした時刻からの差を決め、表示時刻を再現したりすると、復号装置1と復号装置2との間で、キャプチャした時刻と出力する時刻との差が異なることになり、結局、復号装置1が復号した画像の表示と、復号装置2が復号した画像の表示とが、同期できないことになる。
この点、本発明に係る符号化復号システムにおいては、各復号装置が各々任意に考慮しながらキャプチャした時刻から差を決め表示時刻を再現する手法ではなく、復号装置1〜4に共通の差を決める手法であるので、複数の復号装置全てが、画像データを同じ時刻に表示できることになる。しかも、この共通の差は、符号化装置による符号化時に最大生じるであろう遅延時間など、最大生じるであろう遅延等を考慮して決められた差であることから、符号化時や復号時の遅延の影響を受けた特定の復号装置が、この表示時刻に間に合わないといった事態が生じるおそれもない。
このようにして、実施例1に係る符号化復号システムは、表示時刻の同期をとることが可能になり、高解像度の動画像信号を正しく表示することが可能になる。
具体的に説明すると、復号装置の各々において、理想のPTS(Presentation Time Stamp、画像データを符号化装置でキャプチャした時刻)にオフセットA(複数の符号化装置の間で共通に決定された符号化遅延時間の最大値)を加算した第一の時刻に、オフセットB(ストリーム揺らぎと復号遅延時間とについて複数の復号装置の間で共通に決定された最大値)を加算した第二の時刻を算出し、復号した画像データを第二の時刻に合成部に出力することから、表示時刻の同期をとることが可能になり、高解像度の動画像信号を正しく表示することが可能になる。
[実施例1に係る符号化復号システムの構成]
次に、図2〜図6を用いて、実施例1に係る符号化復号システムの構成を説明する。図2は、実施例1に係る符号化復号システムの構成を示すブロック図であり、図3は、画像データの分割を説明するための図であり、図4は、符号化装置の多重化部を説明するための図であり、図5は、復号装置の分離部を説明するための図であり、図6は、表示時刻(PTS)の一致について説明するための図である。
まず、図2を用いて、実施例1に係る符号化復号システムの構成について説明すると、実施例1に係る符号化復号システムは、図2に示すように、符号化システム100と復号システム200とから構成されており、符号化システム100と復号システム200との間に、伝送システム300が存在する。伝送システム300は、符号化システム100からシステムストリームの入力を受け付け、フォーマットを変換して高速伝送を行い、フォーマットを再変換してから、復号システム200に向けてシステムストリームを出力する。伝送遅延は、後述する符号化装置10と復号装置20との組み合わせのいずれにおいても、一定であるとする。
また、図2に示すように、符号化システム100は、複数の符号化装置10(1〜n)で構成されており、また、復号システム200も、複数の復号装置20(1〜n)で構成されており、符号化装置1と復号装置1とが対応づけられ、符号化装置nと復号装置nとが対応づけられているというように、符号化装置10と復号装置20とが1対1で対応づけられている。以下では、まず、符号化システム100の構成について説明し、次に、復号システム200の構成について説明し、最後に、本発明の主たる特徴である表示時刻(特許請求の範囲に記載の「第二の時刻」に対応する)の一致について説明する。なお、図2に示された(1)〜(18)までの付番は、画像データが符号化復号システム全体の中でどのように流れていくかについて、その一例を示すものである。
[符号化システム100]
実施例1における符号化システム100は、高解像度の画像データの入力を受け付け、低解像度の画像データに分割し、複数の符号化装置で符号化し、システムストリーム(TSストリームやPSストリーム)を出力するシステムであって、本発明に特に密接に関連するものとして、符号化装置10と、画像分割装置110とを備える。
画像分割装置110は、高解像度の画像データの入力を受け付け、受け付けた高解像度の画像データを低解像度の画像データに分割し、分割した低解像度の画像データを符号化装置10(1〜n)に入力する(図2の(1)および(2)を参照)。
例えば、画像分割装置110は、図3に示すように、高解像度の画像データを、横方向に「p分割」し、縦方向に「q分割」するなどして、n個の低解像度の画像データに分割する。また、画像分割装置110は、分割された低解像度の画像データごとにCH番号を割り当て、分割された低解像度の画像データを、CHごとの符号化装置10(1〜n)の各々に入力する。
符号化装置10は、画像分割装置110によって分割された低解像度の画像データを符号化し、システムストリームを出力する。かかる符号化装置10は、本発明に特に密接に関連するものとして、キャプチャ部11と、符号化部12と、多重化部13とを備える。以下、CHごとの符号化装置10(1〜n)について説明する。なお、「符号化部12」は、特許請求の範囲に記載の「第一時刻算出手段」に対応する機能を備え、「多重化部13」は、特許請求の範囲に記載の「伝送手段」に対応する機能を備える。
キャプチャ部11は、分割された低解像度の画像データ(アナログ信号やSDI信号など)の入力を画像分割装置110から受け付け、受け付けた画像データをキャプチャし、キャプチャした画像データをメモリに格納すると、格納した画像データを符号化部12に向けて出力する(図2の(3)〜(5)を参照)。
符号化部12は、分割された低解像度の画像データの入力をキャプチャ部11から受け付け、受け付けた画像データを圧縮符号化(例えば、H.264符号化方式など。以下、符号化)し、符号化した画像データ(ESストリーム)を多重化部13に向けて出力する(図2の(5)、(6−1)、および(7−1)を参照)。また、符号化部12は、ESストリームビデオVBVバッファ占有量を計算し、符号化した画像データ(ESストリーム)を多重化部13に向けて出力するとともに、ESストリームビデオVBVバッファ占有量の計算結果を多重化部13に向けて出力する(図2の(6−1)および(7−2)を参照)。
また、符号化部12は、キャプチャ部11によって画像データがキャプチャされた時刻を示すSTCカウンタの値(PTS)の入力を多重化部13から受け付け、受け付けたSTCカウンタの値に、オフセットA(符号化装置10による符号化時に最大生じるであろう遅延時間として複数の符号化装置10の間で共通に決定された符号化遅延時間)を加算した値を、PTS/DTS(特許請求の範囲に記載の「第一の時刻」に対応する)として算出し、算出したPTS/DTSを多重化部13に向けて出力する(図2の(6−2)および(7−3)を参照)。
すなわち、「PTS/DTS=(キャプチャ部11によって画像データがキャプチャされた時刻を示すSTCカウンタの値)+(オフセットA)」で定義され、「オフセットA=(符号化装置10による符号化時に最大生じるであろう遅延時間として複数の符号化装置10の間で共通に決定された符号化遅延時間)」で定義される。なお、実施例1において、オフセットAは、符号化装置10の中で固定値として設定される。また、符号化部12が算出した「第一の時刻」が、本発明の主たる特徴である「表示時刻の一致」とどのように関係するかについては、後に詳述する。
多重化部13は、符号化した画像データ(ESストリーム)、ESストリームビデオVBVバッファ占有量の計算結果、およびPTS/DTSの入力を符号化部12から受け付け、受け付けたESストリームをPESストリームに変換し、変換したPESストリームをシステムストリームに変換する(図2の(7−1)〜(7−3)および(8)を参照)。
また、多重化部13は、図2に示すように、STCカウンタを内蔵し、キャプチャ部11によって画像データがキャプチャされた時刻を示すSTCカウンタの値(PTS)を、符号化部12に向けて出力する(図2の(8)を参照)。また、多重化部13は、STCカウンタの値が、多重化開始時刻を示すと、変換したシステムストリームを復号システム200に向けて(伝送システム300経由で)出力する(図2の(9)を参照)。
ここで、多重化部13について、図4を用いてより詳細に説明する。まず、多重化部13は、符号化した画像データ(ESストリーム)の入力を符号化部12から受け付け(図4の(1−1)を参照)、受け付けたESストリームをPESストリームに変換する(図4の(2−1)を参照)。
また、多重化部13は、上記と並行して、ESストリームビデオVBVバッファ占有量の計算結果の入力を符号化部12から受け付け(図4の(1−2)を参照)、また、PTS/DTSの入力を符号化部12から受け付け(図4の(1−3)を参照)、多重化開始時刻を算出する(図4の(2−2)を参照)。ここで、多重化開始時刻は、「多重化開始時刻=(DTS)−(ビデオVBVバッファ占有量/ビデオビットレート)」で定義される。
次に、多重化部13は、算出した多重化開始時刻と、STCカウンタの値とを比較し(図4の(3)を参照)、STCカウンタの値が多重化開始時刻に到達する直前に、PESストリームをシステムストリームに変換する(図4の(4)を参照)。最後に、多重化部13は、変換したシステムストリームを出力する(図4の(5)を参照)。
[復号システム200]
図2に戻ると、実施例1における復号システム200は、システムストリームの入力を受け付け、複数の復号装置で低解像度の画像データを復号し、復号した低解像度の画像データを合成して高解像度の画像データを出力するシステムであって、本発明に特に密接に関連するものとして、復号装置20と、画像合成装置210とを備える。
復号装置20は、システムストリームの入力を受け付け、受け付けたシステムストリームから抽出した画像データを復号し、低解像度の画像データを出力する。かかる復号装置20は、本発明に特に密接に関連するものとして、分離部21と、復号部22と、画像出力部23とを備える。なお、「復号部22」は、特許請求の範囲に記載の「第二時刻算出手段」に対応する機能を備え、「画像出力部23」は、特許請求の範囲に記載の「出力手段」に対応する機能を備える。
分離部21は、システムストリームの入力を符号化システム100から(伝送システム300経由で)受け付け、受け付けたシステムストリームをPESストリームに変換し、変換したPESストリームをESストリームに変換し、変換したESストリームを復号部22に向けて出力する(図2の(10)〜(13−1)を参照)。また、分離部21は、PESストリームからPTS/DTS(第一の時刻)を抽出し、抽出したPTS/DTSを復号部22に向けて出力する(図2の(12)および(13−2)を参照)。
また、分離部21は、図2に示すように、STCカウンタを内蔵し、システムストリームからシステム基準時刻(PCRやSCRなど)を抽出し、STCカウンタの再生を行い、STCカウンタの値として設定する(図2の(12)および(13−3)を参照)。また、分離部21は、VSYNC信号の入力のタイミングで、STCカウンタの値をラッチし、ラッチしたSTCカウンタの値を画像出力部23に向けて出力する(図2の(14−3)を参照)。
ここで、分離部21について、図5を用いてより詳細に説明する。まず、分離部21は、システムストリームの入力を符号化システム100から受け付け(図5の(1)を参照)、システムレイヤ解析により、PESストリームおよびシステム基準時刻を抽出する(図5の(2)、(3−1)および(3−2)を参照)。次に、分離部21は、PESレイヤ解析により、PESストリームからESストリーム(ピクチャデータ)およびPTSを抽出し、抽出したESストリームおよびPTSを復号部22に向けて出力する(図5の(6−1)および(6−2)を参照)。
また、分離部21は、上記と並行して、抽出したシステム基準時刻を元に、STCカウンタの再生を行う(図5の(4−2)を参照)。また、分離部21は、VSYNC信号の入力のタイミングで、STCカウンタの値をラッチし、ラッチしたSTCカウンタの値を画像出力部23に向けて出力する(図5の(5)および(6−3)を参照)。
図2に戻ると、復号部22は、ESストリームおよびPTS/DTSの入力を分離部21から受け付け、受け付けたESストリームを低解像度の画像データに復号し、復号した低解像度の画像データを画像出力部23に向けて出力する(図2の(13−1)、(13−2)、(14−1)および(15−1)を参照)。
また、復号部22は、PTS/DTSの入力を分離部21から受け付け、受け付けたPTS/DTS(第一の時刻)に、オフセットB(複数の符号化装置10の各々によって符号化された画像データを複数の符号化装置10の各々が出力する出力時間について、複数の符号化装置10の間で生じている揺らぎであるストリーム揺らぎの値に、復号装置20による復号時に生じる遅延時間である復号遅延時間を加算し、加算された値の最大であろう値として複数の復号装置20の間で共通に決定された最大値)を加算した値を、表示時刻(特許請求の範囲に記載の「第二の時刻」)として算出し、算出した表示時刻を画像出力部23に向けて出力する(図2の(13−2)、(14−2)および(15−2)を参照)。
すなわち、「表示時刻=(PTS)+(オフセットB)」で定義され、「オフセットB=(複数の符号化装置10の各々によって符号化された画像データを複数の符号化装置10の各々が出力する出力時間について、複数の符号化装置10の間で生じている揺らぎであるストリーム揺らぎの値に、復号装置20による復号時に生じる遅延時間である復号遅延時間を加算し、加算された値の最大であろう値として複数の復号装置20の間で共通に決定された最大値)」で定義される。なお、復号部22が算出した「第二の時刻」が、本発明の主たる特徴である「表示時刻の一致」とどのように関係するかについては、後に詳述する。
画像出力部23は、低解像度の画像データおよび表示時刻の入力を復号部22から受け付け、STCカウンタの値の入力を分離部21から受け付け、受け付けたSTCカウンタの値が表示時刻を示すと、受け付けた低解像度の画像データを、画像合成装置210に向けて出力する(図2の(15−1)、(15−2)、(16)および(17)を参照)。
画像合成装置210は、低解像度の画像データの入力を複数の復号装置20から受け付け、受け付けた低解像度の画像データを合成し、高解像度の画像データを出力する(図2の(18)を参照)。
[表示時刻の一致について]
続いて、本発明に係る符号化復号システムが、表示時刻の同期をとることができ、高解像度の画像データを正しく表示することできる仕組みについて、図6を用いて説明する。まず、図6における前提について説明すると、「VSYNC」は、ビデオ垂直同期信号のことであり、分割された画像データの区切りを示す信号のことである。実施例1における符号化システム100では、「VSYNC」は、図2に示すように、画像分割装置110から符号化装置10に入力される画像データとともに、符号化装置10に入力されるものである。また、実施例1における復号システム200では、「VSYNC」は、図2に示すように、外部から与えられるものである。なお、図6において、「VSYNC」は、STCカウンタの値で「100」の間隔で発行されている。
また、図6の「CH1」や「CH2」は、符号化システム100の符号化装置10に割り当てられたCH番号のことである。例えば、「CH1」は、符号化装置10(1)に割り当てられ、「CH2」は、符号化装置10(2)に割り当てられているものとする。以下では、「CH1」は、符号化装置10(1)または復号装置20(1)を意味するものとして用い、「CH2」は、符号化装置10(2)または復号装置20(2)を意味するものとして用いる。なお、また、図6においては、「CH1」のSTCカウンタの値と、「CH2」のSTCカウンタの値との間に、「1000」の差があり、「CH1」のSTCカウンタの値は「0」から開始され、「CH2」のSTCカウンタの値は「1000」から開始されるものとする。
また、図6においては、オフセットA(符号化装置10による符号化時に最大生じるであろう遅延時間として複数の符号化装置10の間で共通に設定された符号化遅延時間)を「300」であると仮定し、「CH1」の復号遅延時間を「350」であると仮定し、「CH2」の復号遅延時間を「200」であると仮定し、オフセットB(複数の符号化装置10の各々によって符号化された画像データを複数の符号化装置10の各々が出力する出力時間について、複数の符号化装置10の間で生じている揺らぎであるストリーム揺らぎの値に、復号装置20による復号時に生じる遅延時間である復号遅延時間を加算し、加算された値の最大であろう値として複数の復号装置20の間で共通に決定された最大値)を「500」であると仮定する。
このような前提のもと、まず、符号化装置10(1)のキャプチャ部11(「CH1」)による画像データ(1−1)のキャプチャと、符号化装置10(2)のキャプチャ部11(「CH2」)による画像データ(1−2)のキャプチャとが、同時に行われる。この時、符号化装置10(1)および符号化装置10(2)の符号化部12各々は、キャプチャ部11によって画像データ(1−1)や(1−2)がキャプチャされた時刻を示すSTCカウンタの値(PTS)をラッチする。ラッチしたSTCカウンタの値は、「CH1」が「PTS=0」であり、「CH2」が「PTS=1000」である。同様に、キャプチャ部11によって画像データ(2−1)や(2−2)がキャプチャされた時刻を示すSTCカウンタの値は、「CH1」が「PTS=100」であり、「CH2」が「PTS=1100」である。
次に、「CH1」および「CH2」のそれぞれで、画像データを符号化する。この時、PTSの値は、オフセットAが加算されているので、画像データ(1−1)については、「CH1」の「PTS=300」であり、画像データ(1−2)については、「CH2」の「PTS=1300」であり、画像データ(2−1)については、「CH1」の「PTS=400」であり、画像データ(2−2)については、「CH2」の「PTS=1400」である。また、画像データ(2−1)および(2−2)のストリーム出力のタイミングをみるとわかるように、画像データ(2−1)については画像データ(1−1)の出力が終了した時点からストリームの出力が開始され、画像データ(2−2)については画像データ(1−2)の出力が終了した時点からストリームの出力が開始される。また、オフセットBのストリーム揺らぎとは、図6に示すように、「CH1」と「CH2」とのビデオVBVバッファ占有量の違いによる出力時間の差である。
一方、復号装置20(1)の復号部22は、伝送システム300を経由して符号化システム200から伝送されたシステムストリームを受信して、画像データを復号する。実施例1においては、各CH間で伝送遅延が一定であると仮定するので、図6においては、「伝送遅延=0」としている。図6の(3)に示すように、本発明において算出される第二の時刻によらずに、復号された画像データの出力が行われるとすると、「CH1」と「CH2」との間で、復号が終了するタイミングが全く異なっていることがわかる。また、「CH2」の画像データ(1−2)の「PTS=1300」を「CH2」のSTCカウンタの値と比較すると、画像データ(1−2)の出力が間に合い(PTSがSTCカウンタの値に対して余裕があり)、画像データ(2−2)の「PTS=1400」を「CH2」のSTCカウンタの値と比較すると、画像データ(2−2)の出力が間に合う(PTSがSTCカウンタの値に対して余裕がある)ことがわかるが、反対に、「CH1」の画像データ(1−1)の「PTS=300」を「CH1」のSTCカウンタの値と比較すると、画像データ(1−1)の出力が間に合わず、画像データ(2−1)の「PTS=400」を「CH1」のSTCカウンタの値と比較すると、画像データ(2−1)の出力が間に合わないことがわかる。
そこで、本発明においては、図6の(4)に示すように、「500」と仮定したオフセットBをPTSに加算するので、結局、「CH1」の画像データ(1−1)の表示時刻は、「PTS=800」となり、「CH1」の画像データ(2−1)の表示時刻は、「PTS=900」となり、「CH2」の画像データ(1−2)の表示時刻は、「PTS=1800」となり、「CH2」の画像データ(2−2)の表示時刻は、「PTS=1900」となる。図6に示すように、これらの表示時刻に従うと、「CH1」と「CH2」との間で、表示時刻の同期をとることができ、高解像度の画像データを正しく表示することができることがわかる。
[実施例1に係る符号化復号システムによる処理の手順]
次に、図7および図8を用いて、実施例1に係る符号化復号システムによる処理の手順を説明する。図7は、実施例1における符号化装置による処理の手順を示すフローチャートであり、図8は、実施例1における復号装置による処理の手順を示すフローチャートである。
まず、図7に示すように、実施例1に係る符号化システムは、分割された画像データの入力を受け付けたか否かを判定する(ステップS701)。入力を受け付けていない場合には(ステップS701否定)、符号化システムは、分割された画像データの入力を受け付けたか否かを判定する処理に戻る。
一方、入力を受け付けた場合には(ステップS701肯定)、符号化システムは、符号化装置10のキャプチャ部11において、分割された画像データをキャプチャする(ステップS702)。
次に、符号化システムは、符号化装置10の符号化部12において、キャプチャした画像データを符号化するとともに(ステップS703)、第一の時刻を算出する(ステップS704)。具体的には、符号化システムは、符号化装置10の符号化部12において、キャプチャ部11によって画像データがキャプチャされた時刻を示すSTCカウンタの値(PTS)の入力を多重化部13から受け付け、受け付けたSTCカウンタの値に、オフセットA(符号化装置10による符号化時に最大生じるであろう遅延時間として複数の符号化装置10の間で共通に決定された符号化遅延時間)を加算した値を、第一の時刻として算出する。
そして、符号化システムは、符号化装置10の多重化部13において、第一の時刻を含んだシステムストリームを作成し(ステップS705)、復号システムを構成する複数の復号装置のうち、符号化装置に1対1で対応づけられた復号装置に伝送する(ステップS706)。
一方、図8に示すように、復号システムは、システムストリームの入力を受け付けたか否かを判定する(ステップS801)。入力を受け付けていない場合には(ステップS801否定)、復号システムは、システムストリームの入力を受け付けたか否かを判定する処理に戻る。
一方、入力を受け付けた場合には(ステップS801肯定)、復号システムは、復号装置20の分離部21において、システムストリームから、符号化された画像データおよび第一の時刻を抽出する(ステップS802)。
次に、復号システムは、復号装置20の復号部22において、符号化された画像データを復号するとともに(ステップS803)、第二の時刻を算出する(ステップS804)。具体的には、復号システムは、復号装置20の復号部22において、PTS/DTSの入力を分離部21から受け付け、受け付けたPTS/DTS(第一の時刻)に、オフセットB(複数の符号化装置10の各々によって符号化された画像データを複数の符号化装置10の各々が出力する出力時間について、複数の符号化装置10の間で生じている揺らぎであるストリーム揺らぎの値に、復号装置20による復号時に生じる遅延時間である復号遅延時間を加算し、加算された値の最大であろう値として複数の復号装置20の間で共通に決定された最大値)を加算した値を、第二の時刻として算出する。
そして、復号システムは、復号装置20の画像出力部23において、復号された画像データを、画像合成装置210に向けて第二の時刻に出力する(ステップS805)。
こうして、実施例1に係る符号化復号システムは、表示時刻の同期をとることが可能になり、高解像度の動画像信号を正しく表示することが可能になる。
[実施例1の効果]
上記してきたように、実施例1によれば、複数の符号化装置で構成される符号化システムが、1画面の画像データから符号化装置の数に分割された複数の画像データを複数の符号化装置で各々符号化して復号システムに伝送し、復号システムが伝送された画像データを復号して1画面の画像データを表示する符号化復号システムであって、複数の符号化装置の各々は、分割された画像データを符号化装置でキャプチャした時刻を示すSTCカウンタの値に、符号化装置による符号化時に最大生じるであろう遅延時間として複数の符号化装置の間で共通に決定された符号化遅延時間を加算した値を、第一の時刻として算出し、算出された第一の時刻を含んで作成されたシステムストリームを、復号システムを構成する複数の復号装置のうち符号化装置に1対1で対応づけられた復号装置に伝送し、複数の復号装置の各々は、複数の符号化装置の各々によって符号化された画像データを複数の符号化装置の各々が出力する出力時間について複数の符号化装置の間で生じている揺らぎであるストリーム揺らぎの値に、復号装置による復号時に生じる遅延時間である復号遅延時間を加算し、加算された値の最大であろう値として複数の復号装置の間で共通に決定された最大値に、伝送されたシステムストリームから抽出された第一の時刻を加算した値を、第二の時刻として算出し、システムストリームから復号された分割された画像データを、算出された第二の時刻に、画像データを合成する合成部に出力するので、表示時刻の同期をとることが可能になり、高解像度の動画像信号を正しく表示することが可能になる。
具体的に説明すると、復号装置の各々において、理想のPTS(Presentation Time Stamp、画像データを符号化装置でキャプチャした時刻)にオフセットA(複数の符号化装置の間で共通に決定された符号化遅延時間の最大値)を加算した第一の時刻に、オフセットB(ストリーム揺らぎと復号遅延時間とについて複数の復号装置の間で共通に決定された最大値)を加算した第二の時刻を算出し、復号した画像データを第二の時刻に合成部に出力することから、表示時刻の同期をとることが可能になり、高解像度の動画像信号を正しく表示することが可能になる。
また、実施例1によれば、符号化装置の各々において複雑な相互演算をする必要がないことから、符号化システムが1本のシステムストリームを出力する方式を適用する手法に比較して、より簡易に、高解像度の動画像信号を正しく表示することが可能になる。言い替えると、実施例1によれば、汎用的な低性能な符号化装置や復号装置を流用して符号化復号システムを構築できることから、符号化復号システムを短期間に開発することが可能になる。
ところで、これまで、実施例1として、複数の符号化装置で構成される符号化システムから、複数の復号装置で構成される復号システムに対して、複数本のシステムストリームが伝送される方式を本発明に適用した事例について説明したが、本発明はこれに限られるものではなく、複数の符号化装置で符号化された符号化データの各々が1ピクチャのスライスとなるように、1ピクチャの画像データを複数の符号化装置で符号化し、符号化システムが1本のシステムストリームを出力する符号化システムの方式や、1ピクチャが複数のスライスで構成されるビデオストリームを含む1本のシステムストリームを、複数の復号装置の各々でスライスごとに復号する復号システムの方式などにも、本発明を同様に適用することができる。そこで、以下では、実施例2として、符号化システムが1本のシステムストリームを出力する符号化システムの方式を本発明に適用した事例について説明する。
以下では、実施例2に係る符号化システムの概要および特徴、実施例2に係る符号化システムの構成、実施例2に係る符号化システムによる処理の手順、実施例2の効果を順に説明する。
[実施例2に係る符号化システムの概要および特徴]
まず、図9を用いて、実施例2に係る符号化システムの概要および特徴を説明する。図9は、実施例2に係る符号化システムの概要および特徴を説明するための図である。
実施例2に係る符号化システムは、複数の符号化装置で符号化された符号化データの各々が1ピクチャのスライスとなるように1ピクチャの画像データを複数の符号化装置で符号化することを概要とし、高解像度の動画像信号を正しく表示することを主たる特徴とする。
この主たる特徴について簡単に説明すると、実施例2に係る符号化システムは、図9に示すように、複数の符号化装置で構成されている(「符号化装置1」〜「符号化装置n」を参照)。また、実施例2に係る符号化システムは、複数の符号化装置とは別に、基準時刻分配部(特許請求の範囲に記載の「分配手段」に対応する)を備えている。また、実施例2に係る符号化システムは、多重化部にSTCカウンタ(特許請求の範囲に記載の「所定のSTCカウンタ」に対応する)を備えている。
なお、実施例2においては、符号化システムが、複数の符号化装置とは別に基準時刻分配部を備えている事例について説明するが、本発明はこれに限られるものではなく、複数の符号化装置のうちの一つの符号化装置が基準時刻分配部を備えている事例や、多重化部が基準時刻分配部を備えている事例などにも、本発明を同様に適用することができる。また、実施例2においては、多重化部にSTCカウンタを備えている事例について説明するが、本発明はこれに限られるものではなく、複数の符号化装置のうちの一つのSTCカウンタを、多重化部のSTCカウンタの替わりに利用する事例などにも、本発明を同様に適用することができる。
このような構成のもと、実施例2に係る符号化システムは、基準時刻分配部において、複数の符号化装置の各々において画像データのスライス分を符号化する際の基準となる基準時刻として、多重化部のSTCカウンタの値をVSYNC(ビデオ垂直同期信号)に同期するように取得する(図9の(1)を参照)。例えば、図9に示すように、基準時刻分配部は、基準時刻として、多重化部のSTCカウンタの値「STC=10000」を取得する。
次に、符号化システムは、取得したSTCカウンタの値にVSYNCの1周期分の値を加算した値を、複数の符号化装置の各々に分配する(図9の(2)を参照)。例えば、図9に示すように、基準時刻分配部は、取得した多重化部のSTCカウンタの値「STC=10000」に、VSYNCの1周期分の値「3000」を加算した値「STC=13000」を、複数の符号化装置の各々に分配する。
そして、複数の符号化装置の各々は、基準時刻分配部によって分配された値を受け取ると、値を符号化装置が備えるレジスタに保持する(図9の(3)を参照)。例えば、図9に示すように、複数の符号化装置の各々は、基準時刻分配部によって分配された値「STC=13000」を受け取ると、値「STC=13000」をレジスタに保持する。
続いて、複数の符号化装置の各々は、保持した後で最初に受け付けたVSYNCに同期するように、レジスタに保持した値を符号化装置が備えるSTCカウンタの値として設定する(図9の(4)を参照)。例えば、図9に示すように、複数の符号化装置の各々は、値「STC=13000」を符号化装置が備えるSTCカウンタの値として設定する。
このようにして、実施例2に係る符号化システムは、表示時刻の同期をとることが可能になり、高解像度の動画像信号を正しく表示することが可能になる。
具体的に説明すると、複数の符号化装置の間で、STCカウンタの値が完全に一致し、PTS(Presentation Time Stamp)が完全に一致するので、このようなシステムストリームを復号する復号システム側では、表示時刻の同期をとることが可能になり、高解像度の動画像信号を正しく表示することが可能になる。
[実施例2に係る符号化システムの構成]
次に、図10〜図13を用いて、実施例2に係る符号化システムの構成を説明する。図10は、実施例2に係る符号化システムの構成を示すブロック図であり、図11は、1ピクチャのスライスによる分割を説明するための図であり、図12は、符号化システムの多重化部を説明するための図であり、図13は、STCの分配について説明するための図である。
まず、図10を用いて、実施例2に係る符号化システムの構成について説明すると、実施例2に係る符号化システムは、高解像度の画像データの入力を受け付け、複数のスライスに分割し、複数の符号化装置でスライスごとに符号化し、1本のシステムストリーム(TSストリームやPSストリーム)を出力するシステムであって、本発明に密接に関連するものとして、複数の符号化装置30と、キャプチャ部40と、多重化部50と、基準時刻分配部52とを備える。なお、図10に示された(1)〜(7)までの付番は、画像データが符号化システム全体の中でどのように流れていくかについて、その一例を示すものである。
キャプチャ部40は、高解像度の画像データ(アナログ信号やSDI信号など)の入力を受け付け、受け付けた画像データをキャプチャし、キャプチャした画像データをメモリに格納すると、格納した画像データを、後述する符号化部31に向けて、その符号化部31が符号化を担当するスライス分出力する(図10の(1)〜(3−1)を参照)。例えば、キャプチャ部40は、図11に示すように、高解像度の画像データを、複数スライスに分割し(図11ではn分割)、符号化部31に向けて1スライス分を出力する。
また、キャプチャ部40は、高解像度の画像データとともに、VSYNC(ビデオ垂直同期信号)を符号化装置30に向けて出力する(図10の(3−2)を参照)。
符号化装置30は、キャプチャ部40から入力を受け付けた1スライス分の画像データを符号化し、ESストリームを出力する。かかる符号化装置30は、本発明に特に密接に関連するものとして、符号化部31とSTCカウンタ32とを備える。なお、「符号化部31」は、特許請求の範囲に記載の「設定手段」に対応する機能を備える。
符号化部31は、基準時刻分配部52から入力を受け付けた値を受け取ると、値を図示しないレジスタに保持し、保持した後で最初に受け付けたVSYNCに同期するように、レジスタに保持した値を符号化装置30が備えるSTCカウンタ32の値として設定する(図10の(3−3)を参照)。かかる符号化部31は、複数の符号化装置30の各々に備えられているが、実施例2においては、上記したような手法によってSTCカウンタ32の値を設定することで、複数の符号化装置30の間で、STCカウンタの値が完全に一致し、後述するPTSが完全に一致することになる。
次に、符号化部31は、1スライス分の画像データの入力をキャプチャ部40から受け付け、受け付けた1スライス分の画像データを圧縮符号化(例えば、H.264符号化方式など。以下、符号化)し、符号化した画像データ(ESストリーム)を多重化部50に向けて出力する(図10の(4−1)および(5−1)を参照)。また、符号化部31は、ESストリームのビデオVBVバッファ占有量を計算し、符号化した画像データ(ESストリーム)を多重化部50に向けて出力するとともに、ESストリームビデオVBVバッファ占有量の計算結果を多重化部50に向けて出力する(図10の(5−2)を参照)。
また、符号化部31は、上記と並行して、符号化部31で画像データがキャプチャされた時刻を示すSTCカウンタ32の値(PTS)を、STCカウンタ32からラッチし、ラッチしたSTCカウンタ32の値に、オフセット(符号化装置30による符号化時に最大生じるであろう遅延時間として決定された符号化遅延時間)を加算した値を、PTS/DTSとして算出し、算出したPTS/DTSを多重化部50に向けて出力する(図10の(4−2)および(5−3)を参照)。かかるオフセットが加算されるのは、多重化部50からの出力に際して、タイムアウトを起こさないことを目的とするものである。ここで、上記したように、実施例2においては、複数の符号化装置30の間で、STCカウンタの値が完全に一致していることから、符号化部31がSTCカウンタ32からラッチしたPTSも、複数の符号化装置30の間で、完全に一致することになる。
多重化部50は、符号化した画像データ(ESストリーム)、ESストリームビデオVBVバッファ占有量の計算結果、およびPTS/DTSの入力を符号化部31から受け付け、受け付けたESストリームをPESストリームに変換し、変換したPESストリームをシステムストリームに変換する(図10の(5−1)〜(5−3)、(6)、および(7)を参照)。
また、多重化部50は、図10に示すように、STCカウンタ51を内蔵し、VSYNCに同期するように、STCカウンタ51の値を基準時刻分配部52に向けて出力する(基準時刻分配部52が、VSYNCに同期するように、多重化部50のSTCカウンタ51の値を取得する)。
ここで、多重化部50について、図12を用いてより詳細に説明する。まず、多重化部50は、符号化した画像データ(ESストリーム)の入力を符号化部31(1〜n)から各々受け付け(図12の(1−1)を参照)、受け付けたESストリーム(スライスデータ)を統合して、1ピクチャのピクチャデータを作成し(図12の(2)を参照)、作成した1ピクチャのピクチャデータをPESストリームに変換する(図12の(3−1)を参照)。
また、多重化部50は、上記と並行して、ESストリームビデオVBVバッファ占有量の計算結果の入力を符号化部31(1〜n)から各々受け付け(図12の(1−2)を参照)、また、PTS/DTSの入力を符号化部31(1〜n)から各々受け付け(図12の(1−3)を参照)、多重化開始時刻を計算する(図12の(3−2)を参照)。ここで、多重化開始時刻は、「多重化開始時刻=(DTS)−(ビデオVBVバッファ占有量/ビデオビットレート)」で定義される。
次に、多重化部50は、算出した多重化開始時刻と、STCカウンタ51の値とを比較し(図12の(4)を参照)、STCカウンタ51の値が多重化開始時刻に到達する直前に、PESストリームをシステムストリームに変換する(図12の(5)を参照)。最後に、多重化部50は、変換したシステムストリームを出力する(図12の(6)を参照)。
図10に戻ると、基準時刻分配部52は、複数の符号化装置30の各々において画像データのスライス分を符号化する際の基準となる基準時刻として、多重化部50のSTCカウンタ51の値をVSYNCに同期するように取得する(図10の(3−3)を参照)。
ここで、基準時刻分配部52による基準時刻の分配について、図13を用いてより詳細に説明すると、まず、基準時刻分配部52が、基準時刻(複数の符号化装置30の各々において、画像データのスライス分を符号化する際の基準となる時刻)として、多重化部50のSTCカウンタ51の値をVSYNCに同期するように取得する(図13の(1)および(2)を参照)。
次に、基準時刻分配部52は、取得したSTCカウンタ51の値にVSYNCの1周期分の値を加算した値を、複数の符号化装置30(符号化部31)の各々に分配する(図13の(3)を参照)。
複数の符号化装置30の符号化部31の各々は、基準時刻分配部52によって分配された値を受け取ると、値を符号化装置30が備えるレジスタに保持し、保持した後で最初に受け付けたVSYNCに同期するように、レジスタに保持した値を符号化装置30(符号化部31)が備えるSTCカウンタ32の値として設定する(図13の(4)を参照)。
こうして、複数の符号化装置30の符号化部31において1スライス分の画像データがキャプチャされた時刻には、同一のPTSが付けられることになる。
[実施例2に係る符号化システムによる処理の手順]
次に、図14および図15を用いて、実施例2に係る符号化システムによる処理の手順を説明する。なお、以下では、実施例2に係る符号化システムによる処理の手順のうち、本発明の特徴に密接に関連する部分として、基準時刻分配部による処理の手順と、符号化部による処理の手順(符号化部による処理の手順のうち、STCカウンタの値の設定に関する処理の手順)とについてのみ説明する。図14は、実施例2における基準時刻分配部による処理の手順を示すフローチャートであり、図15は、実施例2における符号化部による処理の手順を示すフローチャートである。
まず、図14に示すように、実施例2に係る符号化システムは、画像データの入力を受け付けたか否かを判定する(ステップS1401)。画像データの入力を受け付けていない場合には(ステップS1401否定)、符号化システムは、画像データの入力を受け付けたか否かを判定する処理に戻る。
一方、画像データの入力を受け付けた場合には(ステップS1401肯定)、符号化システムは、基準時刻分配部52において、多重化部50のSTCカウンタ51の値を、VSYNC(ビデオ垂直同期信号)に同期するように取得する(ステップS1402)。
次に、符号化システムは、基準時刻分配部52において、取得したSTCカウンタ51の値に、VSYNCの1周期分の値を加算する(ステップS1403)。
すると、符号化システムは、VSYNCの1周期分の値を加算した値を、複数の符号化装置30(符号化部31)の各々に分配する(ステップS1404)。
続いて、図15に示すように、実施例2に係る符号化システムは、符号化装置30(符号化部31)の各々において、値を分配されたか否かを判定する(ステップS1501)。値を分配されていない場合には(ステップS1501否定)、符号化システムは、符号化部31の各々において、値を分配されたか否かを判定する処理に戻る。
一方、値を分配された場合には(ステップS1501肯定)、符号化システムは、符号化部31において、値をレジスタに保持する(ステップS1502)。
そして、符号化システムは、符号化部31において、VSYNCのタイミングか否かを判定する(ステップS1503)。VSYNCのタイミングでない場合には(ステップS1503否定)、符号化システムは、符号化部31において、VSYNCのタイミングか否かを判定する処理に戻る。
一方、VSYNCのタイミングである場合には(ステップS1503肯定)、レジスタに値を保持した後で最初に受け付けたVSYNCであるので、符号化システムは、符号化部31において、VSYNCに同期するように、レジスタに保持した値をSTCカウンタ32の値として設定する(ステップS1504)。
こうして、実施例2に係る符号化システムは、表示時刻の同期をとることが可能になり、高解像度の動画像信号を正しく表示することが可能になる。
[実施例2の効果]
上記してきたように、実施例2によれば、複数の符号化装置で符号化された符号化データの各々が1ピクチャのスライスとなるように1ピクチャの画像データを複数の符号化装置で符号化する符号化システムであって、複数の符号化装置の各々において画像データのスライス分を符号化する際の基準となる基準時刻として、所定のSTCカウンタの値をビデオ垂直同期信号に同期するように取得し、取得したSTCカウンタの値にビデオ垂直同期信号の1周期分の値を加算した値を複数の符号化装置の各々に分配し、複数の符号化装置の各々は、分配された値を受け取ると、値を符号化装置が備えるレジスタに保持し、保持した後で最初に受け付けたビデオ垂直同期信号に同期するようにレジスタに保持した値を符号化装置が備えるSTCカウンタの値として設定するので、表示時刻の同期をとることが可能になり、高解像度の動画像信号を正しく表示することが可能になる。
具体的に説明すると、複数の符号化装置の間で、STCカウンタの値が完全に一致し、PTSが完全に一致するので、このようなシステムストリームを復号する復号システム側では、表示時刻の同期をとることが可能になり、高解像度の動画像信号を正しく表示することが可能になる。
また、実施例2によれば、符号化システムが1本のシステムストリームを出力する方式であることから、復号システム側は、1本のシステムストリームを復号する一般的な方式であればよいことになり、組合せ可能な復号システムの対象が広がる。
ところで、これまで、実施例2として、複数の符号化装置で符号化された符号化データの各々が1ピクチャのスライスとなるように、1ピクチャの画像データを複数の符号化装置で符号化し、符号化システムが1本のシステムストリームを出力する符号化システムの方式を本発明に適用した事例について説明したが、本発明はこれに限られるものではなく、1ピクチャが複数のスライスで構成されるビデオストリームを含む1本のシステムストリームを、複数の復号装置の各々でスライスごとに復号する復号システムの方式にも、本発明を同様に適用することができる。そこで、以下では、実施例3として、1ピクチャが複数のスライスで構成されるビデオストリームを含む1本のシステムストリームを復号する復号システムの方式を本発明に適用した事例について説明する。
以下では、実施例3に係る復号システムの概要および特徴、実施例3に係る復号システムの構成、実施例3に係る復号システムによる処理の手順、実施例3の効果を順に説明する。
[実施例3に係る復号システムの概要および特徴]
まず、図16を用いて、実施例3に係る復号システムの概要および特徴を説明する。図16は、実施例3に係る復号システムの概要および特徴を説明するための図である。
実施例3に係る復号システムは、1ピクチャが複数のスライスで構成されるビデオストリームを含むシステムストリームを、複数の復号装置の各々でスライスごとに復号することを概要とし、高解像度の動画像信号を正しく表示することを主たる特徴とする。
この主たる特徴について簡単に説明すると、実施例3に係る復号システムは、図16に示すように、複数の復号装置で構成されている(「復号装置1」〜「復号装置n」を参照)。また、実施例3に係る復号システムは、複数の復号装置とは別に、基準時刻分配部(特許請求の範囲に記載の「分配手段」に対応する)を備えている。また、実施例3に係る復号システムは、分離部にSTCカウンタ(特許請求の範囲に記載の「所定のSTCカウンタ」に対応する)を備えている。
なお、実施例3においては、復号システムが、複数の復号装置とは別に基準時刻分配部を備えている事例について説明するが、本発明はこれに限られるものではなく、複数の復号装置のうちの一つの復号装置が基準時刻分配部を備えている事例や、分離部が基準時刻分配部を備えている事例などにも、本発明を同様に適用することができる。また、実施例3においては、分離部にSTCカウンタを備えている事例について説明するが、本発明はこれに限られるものではなく、複数の復号装置のうちの一つのSTCカウンタを分離部のSTCカウンタの替わりに利用する事例などにも、本発明を同様に適用することができる。
このような構成のもと、実施例3に係る復号システムは、基準時刻分配部において、複数の復号装置の各々においてシステムストリームのスライス分を復号する際の基準時刻として、分離部のSTCカウンタの値をVSYNC(ビデオ垂直同期信号)に同期するように取得する(図16の(1)を参照)。例えば、図16に示すように、基準時刻分配部は、基準時刻として、分離部のSTCカウンタの値「STC=11800」を取得する。
次に、復号システムは、取得したSTCカウンタの値にVSYNCの1周期分の値を加算した値を、複数の復号装置の各々に分配する(図16の(2)を参照)。例えば、図16に示すように、基準時刻分配部は、取得した分離部のSTCカウンタの値「STC=11800」に、VSYNCの1周期分の値「3000」を加算した値「STC=148000」を、複数の復号装置の各々に分配する。
そして、複数の復号装置の各々は、基準時刻分配部によって分配された値を受け取ると、値を復号装置が備えるレジスタに保持する(図16の(3)を参照)。例えば、図16に示すように、複数の復号装置の各々は、基準時刻分配部によって分配された値「STC=14800」を受け取ると、値「STC=14800」をレジスタに保持する。
続いて、複数の復号装置の各々は、保持した後で最初に受け付けたVSYNCに同期するように、レジスタに保持した値を復号装置が備えるSTCカウンタの値として設定する(図16の(4)を参照)。例えば、図16に示すように、複数の復号装置の各々は、値「STC=14800」を符号化装置が備えるSTCカウンタの値として設定する。
このようにして、実施例3に係る復号システムは、表示時刻の同期をとることが可能になり、高解像度の動画像信号を正しく表示することが可能になる。
具体的に説明すると、複数の復号装置の間で、STCカウンタの値が完全に一致するので、表示時刻の同期をとることが可能になり、高解像度の動画像信号を正しく表示することが可能になる。
[実施例3に係る復号システムの構成]
次に、図17〜図19を用いて、実施例3に係る復号システムの構成を説明する。図17は、実施例3に係る復号システムの構成を示すブロック図であり、図18は、復号システムの分離部を説明するための図であり、図19は、STCの分配について説明するための図である。
まず、図17を用いて、実施例3に係る復号システムの構成について説明すると、実施例3に係る復号システムは、システムストリームの入力を受け付け、複数の復号装置でスライスごとの低解像度の画像データを復号し、復号した画像データを合成して高解像度の画像データを出力するシステムであって、本発明に密接に関連するものとして、複数の復号装置60と、分離部70と、基準時刻分配部72と、画像合成部80とを備える。なお、図17に示された(1)〜(12)までの付番は、画像データが復号システム全体の中でどのように流れていくかについて、その一例を示すものである。
分離部70は、システムストリームの入力を受け付け、受け付けたシステムストリームをPESストリームに変換し、変換したPESストリームをスライスごとのESストリームに分離し、分離したスライスごとのESストリームを、複数の復号部61に向けて各々出力する(図17の(1)、(2)および(6−1)を参照)。
また、分離部70は、図17に示すように、STCカウンタ71を内蔵し、システムストリームからシステム基準時刻(PCRやSCRなど)を抽出し、STCカウンタ71の再生を行い、STCカウンタ71の値として設定する(図17の(3)および(4)を参照)。また、分離部70は、VSYNC信号の入力のタイミングで、STCカウンタ71の値をラッチし、ラッチしたSTCカウンタ71の値を基準時刻分配部72に向けて出力する(基準時刻分配部72が、VSYNCに同期するように、分離部70のSTCカウンタ71の値を取得する、図17の(5)を参照)。
ここで、分離部70について、図18を用いてより詳細に説明する。まず、分離部70は、システムストリームの入力を受け付け(図18の(1)を参照)、システムレイヤ解析により、PESストリームおよびシステム基準時刻を抽出する(図18の(2)、(3−1)および(3−2)を参照)。次に、分離部70は、PESレイヤ解析により、PESストリームからESストリーム(ピクチャデータ)およびPTSを抽出し、抽出したESストリームおよびPTSを復号部61に向けて出力する(図18の(5−1)および(5−2)を参照)。なお、分離部70は、ESストリーム(ピクチャデータ)を、スライスごとのESストリームに分離し、分離したスライスごとのESストリームを、複数の復号部61に向けて各々出力する(図18の(6)および(7−1)を参照)。
また、分離部70は、上記と並行して、抽出したシステム基準時刻を元に、STCカウンタ71の再生を行う(図18の(4−2)を参照)。また、分離部70は、VSYNCの入力のタイミングで、STCカウンタ71の値をラッチし、ラッチしたSTCカウンタ71の値を、基準時刻分配部72を介して復号部61に向けて出力する(図18の(5−3)および(7−2)を参照)。
図17に戻ると、復号装置60は、システムストリームの入力を受け付け、受け付けたシステムストリームから抽出した画像データを復号し、低解像度の画像データを出力する。かかる復号装置60は、本発明に特に密接に関連するものとして、復号部61と、STCカウンタ62と、画像出力部63とを備える。なお、「復号部61」は、特許請求の範囲に記載の「設定手段」に対応する機能を備える。
復号部61は、スライスごとのESストリームおよびPTS/DTSの入力を分離部70から受け付け、受け付けたスライスごとのESストリームを低解像度の画像データに復号し、復号した低解像度の画像データを画像出力部63に向けて出力する(図17の(6−1)、(7−1)および(8−1)を参照)。
また、復号部61は、PTS/DTSの入力を分離部70から受け付け、受け付けたPTS/DTSに、オフセット(復号装置60による復号時に生じる遅延時間である復号遅延時間について最大であろう値として決定された最大値)を加算した値を、表示時刻として算出し、算出した表示時刻を画像出力部63に向けて出力する(図17の(6−2)、(7−2)および(8−2)を参照)。
すなわち、「表示時刻=(PTS)+(オフセット)」で定義され、「オフセット=(復号装置60による復号時に生じる遅延時間である復号遅延時間の最大であろう値として決定された最大値)」で定義される。
また、復号部61は、基準時刻分配部72から入力を受け付けた値を受け取ると、値を図示しないレジスタに保持し、保持した後で最初に受け付けたVSYNCに同期するように、レジスタに保持した値を復号装置60が備えるSTCカウンタ62の値として設定する(図17の(6−3)を参照)。かかる復号部61は、複数の復号装置60の各々に備えられているが、実施例3においては、上記したような手法によってSTCカウンタ62の値を設定することで、複数の復号装置60の間で、STCカウンタの値が完全に一致することになる。
画像出力部63は、低解像度の画像データおよび表示時刻の入力を復号部61から受け付け、STCカウンタの値の入力をSTCカウンタ62から受け付け、受け付けたSTCカウンタ62の値が表示時刻を示すと、受け付けた低解像度の画像データを、画像合成部80に向けて出力する(図17の(8−3)、(9)および(10)を参照)。ここで、上記したように、実施例3においては、複数の復号装置60の間で、STCカウンタの値が完全に一致していることから、画像出力部63がSTCカウンタ62からラッチしたSTCカウンタの値も、複数の復号装置60の間で、完全に一致することになる。
画像合成部80は、低解像度の画像データの入力を複数の復号装置60から受け付け、受け付けた低解像度の画像データを合成し、高解像度の画像データを出力する(図17の(11)および(12)を参照)。
基準時刻分配部72は、複数の復号装置60の各々において画像データのスライス分を復号する際の基準となる基準時刻として、分離部70のSTCカウンタ71の値をVSYNCに同期するように取得する(図17の(5)を参照)。
ここで、基準時刻分配部72による基準時刻の分配について、図19を用いてより詳細に説明すると、まず、基準時刻分配部72が、基準時刻(複数の復号装置60の各々において、画像データのスライス分を復号する際の基準となる時刻)として、分離部70のSTCカウンタ71の値をVSYNCに同期するように取得する(図19の(1)および(2)を参照)。
次に、基準時刻分配部72は、取得したSTCカウンタの値にVSYNCの1周期分の値を加算した値を、複数の復号装置60の各々に分配する(図19の(3)を参照)。
複数の復号装置60の復号部61の各々は、基準時刻分配部72によって分配された値を受け取ると、値を復号装置60が備えるレジスタに保持し、保持した後で最初に受け付けたVSYNCに同期するように、レジスタに保持した値を符号化装置60が備えるSTCカウンタ62の値として設定する(図19の(4)を参照)。
こうして、複数の復号装置60の復号部61において各々復号された1スライス分の画像データの各々の表示時刻は、複数の復号装置60の間で完全に同期のとれたSTCカウンタの値に基づいて、複数の復号装置60の間で完全に同期することになる。
[実施例3に係る復号システムによる処理の手順]
次に、図20および図21を用いて、実施例3に係る復号システムによる処理の手順を説明する。なお、以下では、実施例3に係る復号システムによる処理の手順のうち、本発明の特徴に密接に関連する部分として、基準時刻分配部による処理の手順と、復号部による処理の手順(復号部による処理の手順のうち、STCカウンタの値の設定に関する処理の手順)とについてのみ説明する。図20は、実施例3における基準時刻分配部による処理の手順を示すフローチャートであり、図21は、実施例3における復号部による処理の手順を示すフローチャートである。
まず、図20に示すように、実施例3に係る復号システムは、システムストリームの入力を受け付けたか否かを判定する(ステップS2001)。システムストリームの入力を受け付けていない場合には(ステップS2001否定)、復号システムは、システムストリームの入力を受け付けたか否かを判定する処理に戻る。
一方、システムストリームの入力を受け付けた場合には(ステップS2001肯定)、復号システムは、基準時刻分配部72において、分離部70のSTCカウンタ71の値を、VSYNC(ビデオ垂直同期信号)に同期するように取得する(ステップS2002)。
次に、復号システムは、基準時刻分配部72において、取得したSTCカウンタ71の値に、VSYNCの1周期分の値を加算する(ステップS2003)。
すると、復号システムは、VSYNCの1周期分の値を加算した値を、複数の復号装置60(復号部61)の各々に分配する(ステップS2004)。
続いて、図21に示すように、実施例3に係る復号システムは、復号装置60(復号部61)の各々において、値を分配されたか否かを判定する(ステップS2101)。値を分配されていない場合には(ステップS2101否定)、復号システムは、復号部61の各々において、値を分配されたか否かを判定する処理に戻る。
一方、値を分配された場合には(ステップS2101肯定)、復号システムは、復号部61において、値をレジスタに保持する(ステップS2102)。
そして、復号システムは、復号部61において、VSYNCのタイミングか否かを判定する(ステップS2103)。VSYNCのタイミングでない場合には(ステップS2103否定)、復号システムは、復号部61において、VSYNCのタイミングか否かを判定する処理に戻る。
一方、VSYNCのタイミングである場合には(ステップS2103肯定)、レジスタに値を保持した後で最初に受け付けたVSYNCであるので、復号システムは、復号部61において、VSYNCに同期するように、レジスタに保持した値をSTCカウンタ62の値として設定する(ステップS2104)。
こうして、実施例3に係る符号化システムは、表示時刻の同期をとることが可能になり、高解像度の動画像信号を正しく表示することが可能になる。
[実施例3の効果]
上記してきたように、実施例3によれば、1ピクチャが複数のスライスで構成されるビデオストリームを含むシステムストリームを、複数の復号装置の各々でスライスごとに復号する復号システムであって、複数の復号装置の各々においてシステムストリームのスライス分を復号する際の基準となる基準時刻として、所定のSTCカウンタの値をビデオ垂直同期信号に同期するように取得し、取得したSTCカウンタの値にビデオ垂直同期信号の1周期分の値を加算した値を複数の復号装置の各々に分配し、複数の復号装置の各々は、分配された値を受け取ると、値を復号装置が備えるレジスタに保持し、保持した後で最初に受け付けたビデオ垂直同期信号に同期するようにレジスタに保持した値を復号装置が備えるSTCカウンタの値として設定するので、表示時刻の同期をとることが可能になり、高解像度の動画像信号を正しく表示することが可能になる。
具体的に説明すると、複数の復号装置の間で、STCカウンタの値が完全に一致するので、表示時刻の同期をとることが可能になり、高解像度の動画像信号を正しく表示することが可能になる。
また、実施例3によれば、復号システムが1本のシステムストリームを復号する方式であることから、符号化システム側は、1本のシステムストリームを出力する一般的な方式であればよいことになり、組合せ可能な符号化システムの対象が広がる。
さて、これまで本発明の実施例について説明したが、本発明は上記した実施例以外にも、種々の異なる形態にて実施されてよいものである。
[システム構成等]
本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理(例えば、符号化システム100で符号化されたデータが伝送システム300を介して復号システム200に伝送される処理)の全部または一部を手動的におこなうこともでき(例えば、符号化システム100で符合化されたデータを一時保存し、保存したデータを手動的に復号システム200に伝送するなど)、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示(例えば、図2、図10、図17など)の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
なお、本実施例で説明した符合化復号方法、符合化方法、および復号方法は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク(FD)、CD−ROM、MO、DVDなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
(付記1)複数の符号化装置で構成される符号化システムが、1画面の画像データから前記符号化装置の数に分割された複数の画像データを当該複数の符号化装置で各々符号化して復号システムに伝送し、当該復号システムが当該伝送された画像データを復号して前記1画面の画像データを表示する符号化復号システムであって、
前記複数の符号化装置の各々は、
分割された前記画像データを当該符号化装置でキャプチャした時刻を示すSTCカウンタの値に、当該符号化装置による符号化時に最大生じるであろう遅延時間として前記複数の符号化装置の間で共通に決定された符号化遅延時間を加算した値を、第一の時刻として算出する第一時刻算出手段と、
前記第一時刻算出手段によって算出された前記第一の時刻を含んで作成されたシステムストリームを、前記復号システムを構成する複数の復号装置のうち当該符号化装置に1対1で対応づけられた復号装置に伝送する伝送手段とを備え、
前記複数の復号装置の各々は、
前記複数の符号化装置の各々によって符号化された画像データを当該複数の符号化装置の各々が出力する出力時間について当該複数の符号化装置の間で生じている揺らぎであるストリーム揺らぎの値に、当該復号装置による復号時に生じる遅延時間である復号遅延時間を加算し、当該加算された値の最大であろう値として前記複数の復号装置の間で共通に決定された最大値に前記伝送手段によって伝送された前記システムストリームから抽出された前記第一の時刻を加算した値を、第二の時刻として算出する第二時刻算出手段と、
前記システムストリームから復号された前記分割された画像データを、前記第二時刻算出手段によって算出された前記第二の時刻に、当該画像データを合成する合成部に出力する出力手段と、
を備えたことを特徴とする符号化復号システム。
(付記2)複数の符号化装置で符号化された符号化データの各々が1ピクチャのスライスとなるように当該1ピクチャの画像データを当該複数の符号化装置で符号化する符号化システムであって、
前記複数の符号化装置の各々において前記画像データの前記スライス分を符号化する際の基準となる基準時刻として、所定のSTCカウンタの値をビデオ垂直同期信号に同期するように取得し、取得した当該STCカウンタの値に当該ビデオ垂直同期信号の1周期分の値を加算した値を当該複数の符号化装置の各々に分配する分配手段と、
前記複数の符号化装置の各々は、
前記分配手段によって分配された前記値を受け取ると、当該値を当該符号化装置が備えるレジスタに保持し、保持した後で最初に受け付けた前記ビデオ垂直同期信号に同期するように当該レジスタに保持した値を当該符号化装置が備えるSTCカウンタの値として設定する設定手段と、
を備えたことを特徴とする符号化システム。
(付記3)1ピクチャが複数のスライスで構成されるビデオストリームを含むシステムストリームを、複数の復号装置の各々で当該スライスごとに復号する復号システムであって、
前記複数の復号装置の各々において前記システムストリームの前記スライス分を復号する際の基準となる基準時刻として、所定のSTCカウンタの値をビデオ垂直同期信号に同期するように取得し、取得した当該STCカウンタの値に当該ビデオ垂直同期信号の1周期分の値を加算した値を当該複数の復号装置の各々に分配する分配手段と、
前記複数の復号装置の各々は、
前記分配手段によって分配された前記値を受け取ると、当該値を当該復号装置が備えるレジスタに保持し、保持した後で最初に受け付けた前記ビデオ垂直同期信号に同期するように当該レジスタに保持した値を当該復号装置が備えるSTCカウンタの値として設定する設定手段と、
を備えたことを特徴とする復号システム。
(付記4)複数の符号化装置で構成される符号化システムが、1画面の画像データから前記符号化装置の数に分割された複数の画像データを当該複数の符号化装置で各々符号化して復号システムに伝送し、当該復号システムが当該伝送された画像データを復号して前記1画面の画像データを表示する符号化復号方法を、当該符号化装置および/または当該復号装置としてのコンピュータに実行させる符号化復号プログラムであって、
分割された前記画像データを前記符号化装置でキャプチャした時刻を示すSTCカウンタの値に、当該符号化装置による符号化時に最大生じるであろう遅延時間として前記複数の符号化装置の間で共通に決定された符号化遅延時間を加算した値を、第一の時刻として算出する第一時刻算出手順と、
前記第一時刻算出手順によって算出された前記第一の時刻を含んで作成されたシステムストリームを、前記復号システムを構成する複数の復号装置のうち当該符号化装置に1対1で対応づけられた復号装置に伝送する伝送手順とを前記複数の符号化装置の各々としてのコンピュータに実行させ、
前記複数の符号化装置の各々によって符号化された画像データを当該複数の符号化装置の各々が出力する出力時間について当該複数の符号化装置の間で生じている揺らぎであるストリーム揺らぎの値に、前記復号装置による復号時に生じる遅延時間である復号遅延時間を加算し、当該加算された値の最大であろう値として前記複数の復号装置の間で共通に決定された最大値に前記伝送手順によって伝送された前記システムストリームから抽出された前記第一の時刻を加算した値を、第二の時刻として算出する第二時刻算出手順と、
前記システムストリームから復号された前記分割された画像データを、前記第二時刻算出手順によって算出された前記第二の時刻に、当該画像データを合成する合成部に出力する出力手順と、
を前記複数の復号装置の各々としてのコンピュータに実行させることを特徴とする符号化復号プログラム。
(付記5)複数の符号化装置で符号化された符号化データの各々が1ピクチャのスライスとなるように当該1ピクチャの画像データを当該複数の符号化装置で符号化する符号化方法をコンピュータに実行させる符号化プログラムであって、
前記複数の符号化装置の各々において前記画像データの前記スライス分を符号化する際の基準となる基準時刻として、所定のSTCカウンタの値をビデオ垂直同期信号に同期するように取得し、取得した当該STCカウンタの値に当該ビデオ垂直同期信号の1周期分の値を加算した値を当該複数の符号化装置の各々に分配する分配手順をコンピュータに実行させ、
前記分配手順によって分配された前記値を受け取ると、当該値を前記符号化装置が備えるレジスタに保持し、保持した後で最初に受け付けた前記ビデオ垂直同期信号に同期するように当該レジスタに保持した値を当該符号化装置が備えるSTCカウンタの値として設定する設定手順と、
を前記複数の符号化装置の各々としてのコンピュータに実行させることを特徴とする符号化プログラム。
(付記6)1ピクチャが複数のスライスで構成されるビデオストリームを含むシステムストリームを、複数の復号装置の各々で当該スライスごとに復号する復号方法をコンピュータに実行させる復号プログラムであって、
前記複数の復号装置の各々において前記システムストリームの前記スライス分を復号する際の基準となる基準時刻として、所定のSTCカウンタの値をビデオ垂直同期信号に同期するように取得し、取得した当該STCカウンタの値に当該ビデオ垂直同期信号の1周期分の値を加算した値を当該複数の復号装置の各々に分配する分配手順をコンピュータに実行させ、
前記分配手順によって分配された前記値を受け取ると、当該値を前記復号装置が備えるレジスタに保持し、保持した後で最初に受け付けた前記ビデオ垂直同期信号に同期するように当該レジスタに保持した値を当該復号装置が備えるSTCカウンタの値として設定する設定手順と、
を前記複数の復号装置の各々としてのコンピュータに実行させることを特徴とする復号プログラム。
(付記7)複数の符号化装置で構成される符号化システムが、1画面の画像データから前記符号化装置の数に分割された複数の画像データを当該複数の符号化装置で各々符号化して復号システムに伝送し、当該復号システムが当該伝送された画像データを復号して前記1画面の画像データを表示する符号化復号方法であって、
前記複数の符号化装置の各々は、
分割された前記画像データを当該符号化装置でキャプチャした時刻を示すSTCカウンタの値に、当該符号化装置による符号化時に最大生じるであろう遅延時間として前記複数の符号化装置の間で共通に決定された符号化遅延時間を加算した値を、第一の時刻として算出する第一時刻算出工程と、
前記第一時刻算出工程によって算出された前記第一の時刻を含んで作成されたシステムストリームを、前記復号システムを構成する複数の復号装置のうち当該符号化装置に1対1で対応づけられた復号装置に伝送する伝送工程とを含み、
前記複数の復号装置の各々は、
前記複数の符号化装置の各々によって符号化された画像データを当該複数の符号化装置の各々が出力する出力時間について当該複数の符号化装置の間で生じている揺らぎであるストリーム揺らぎの値に、当該復号装置による復号時に生じる遅延時間である復号遅延時間を加算し、当該加算された値の最大であろう値として前記複数の復号装置の間で共通に決定された最大値に前記伝送工程によって伝送された前記システムストリームから抽出された前記第一の時刻を加算した値を、第二の時刻として算出する第二時刻算出工程と、
前記システムストリームから復号された前記分割された画像データを、前記第二時刻算出工程によって算出された前記第二の時刻に、当該画像データを合成する合成部に出力する出力工程と、
を含んだことを特徴とする符号化復号方法。
(付記8)複数の符号化装置で符号化された符号化データの各々が1ピクチャのスライスとなるように当該1ピクチャの画像データを当該複数の符号化装置で符号化する符号化方法であって、
前記複数の符号化装置の各々において前記画像データの前記スライス分を符号化する際の基準となる基準時刻として、所定のSTCカウンタの値をビデオ垂直同期信号に同期するように取得し、取得した当該STCカウンタの値に当該ビデオ垂直同期信号の1周期分の値を加算した値を当該複数の符号化装置の各々に分配する分配工程と、
前記複数の符号化装置の各々は、
前記分配工程によって分配された前記値を受け取ると、当該値を当該符号化装置が備えるレジスタに保持し、保持した後で最初に受け付けた前記ビデオ垂直同期信号に同期するように当該レジスタに保持した値を当該符号化装置が備えるSTCカウンタの値として設定する設定工程と、
を含んだことを特徴とする符号化方法。
(付記9)1ピクチャが複数のスライスで構成されるビデオストリームを含むシステムストリームを、複数の復号装置の各々で当該スライスごとに復号する復号方法であって、
前記複数の復号装置の各々において前記システムストリームの前記スライス分を復号する際の基準となる基準時刻として、所定のSTCカウンタの値をビデオ垂直同期信号に同期するように取得し、取得した当該STCカウンタの値に当該ビデオ垂直同期信号の1周期分の値を加算した値を当該複数の復号装置の各々に分配する分配工程と、
前記複数の復号装置の各々は、
前記分配工程によって分配された前記値を受け取ると、当該値を当該復号装置が備えるレジスタに保持し、保持した後で最初に受け付けた前記ビデオ垂直同期信号に同期するように当該レジスタに保持した値を当該復号装置が備えるSTCカウンタの値として設定する設定工程と、
を含んだことを特徴とする復号方法。