JP2000069081A - データ多重化方法および装置とその関連方法および装置 - Google Patents
データ多重化方法および装置とその関連方法および装置Info
- Publication number
- JP2000069081A JP2000069081A JP23335398A JP23335398A JP2000069081A JP 2000069081 A JP2000069081 A JP 2000069081A JP 23335398 A JP23335398 A JP 23335398A JP 23335398 A JP23335398 A JP 23335398A JP 2000069081 A JP2000069081 A JP 2000069081A
- Authority
- JP
- Japan
- Prior art keywords
- data
- sound
- additional
- multiplexing
- packet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Television Systems (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
(57)【要約】
【課題】 マルチメディア通信システム等における画像
データ、音データおよび付加データのデータ多重化を低
遅延で行う。 【解決手段】 CPU107は、フレーム境界検出手段
104a、104b、104cとパケット境界検出手段
105a、105b、105cから通知を受けると、入
力されるデータのフレームおよびパケットの境界にヘッ
ダデータを挿入し、データのパケット化を行い、パケッ
ト化したデータをバッファメモリ110a、110b、
110cへバッファリングする。データの入力時点で、
パケット化を行うため、データ多重化の処理開始までの
時間を低遅延化できる。
データ、音データおよび付加データのデータ多重化を低
遅延で行う。 【解決手段】 CPU107は、フレーム境界検出手段
104a、104b、104cとパケット境界検出手段
105a、105b、105cから通知を受けると、入
力されるデータのフレームおよびパケットの境界にヘッ
ダデータを挿入し、データのパケット化を行い、パケッ
ト化したデータをバッファメモリ110a、110b、
110cへバッファリングする。データの入力時点で、
パケット化を行うため、データ多重化の処理開始までの
時間を低遅延化できる。
Description
【0001】
【発明の属する技術分野】本発明は、MPEGなどの方
式で情報量圧縮、符号化した映像データ、音データおよ
び字幕や制御信号等の付加データを多重化し、1本のビ
ットストリームであるトランスポートストリームを生成
するデータ多重化方法および装置ならびにその関連方法
および装置に関する。
式で情報量圧縮、符号化した映像データ、音データおよ
び字幕や制御信号等の付加データを多重化し、1本のビ
ットストリームであるトランスポートストリームを生成
するデータ多重化方法および装置ならびにその関連方法
および装置に関する。
【0002】
【従来の技術】近年、衛星を利用したディジタルテレビ
ジョン放送が実用化され、一般家庭に普及してきてい
る。また、光ファイバなどの専用回線を用いて動画像デ
ータや音(ここでいう音とは音声、音響などを意味す
る)データを双方向にやりとりするマルチメディア通信
システムも登場してきた。これらのデータ通信では、高
品質のディジタル画像データ、音データを扱っており、
画像データや音データとともに字幕や静止画、相手側端
末の制御信号などの付加データを伝送している。ディジ
タル画像データ、音データを伝送するためには情報量圧
縮と符号化が必要である。また、画像データ、音データ
および付加データといった複数のデータを1本のビット
ストリームとして伝送するためにはデータの時分割多重
が必要となる。これら情報量圧縮、符号化とデータ多重
の方式には国際標準規格であるMPEGが用いられてい
る。
ジョン放送が実用化され、一般家庭に普及してきてい
る。また、光ファイバなどの専用回線を用いて動画像デ
ータや音(ここでいう音とは音声、音響などを意味す
る)データを双方向にやりとりするマルチメディア通信
システムも登場してきた。これらのデータ通信では、高
品質のディジタル画像データ、音データを扱っており、
画像データや音データとともに字幕や静止画、相手側端
末の制御信号などの付加データを伝送している。ディジ
タル画像データ、音データを伝送するためには情報量圧
縮と符号化が必要である。また、画像データ、音データ
および付加データといった複数のデータを1本のビット
ストリームとして伝送するためにはデータの時分割多重
が必要となる。これら情報量圧縮、符号化とデータ多重
の方式には国際標準規格であるMPEGが用いられてい
る。
【0003】図13はストリームの構造および相互関係
を示している。具体的には、エレメンタリストリーム
(以下ES)、パケタイズドエレメンタリストリーム
(以下PES)、トランスポートストリーム(以下T
S)、TSパケットの構造および相互の関係を示してい
る。ESは画像情報、音情報および付加データをそれぞ
れ情報量圧縮、符号化したストリームで、符号化時のヘ
ッダ情報を含む複数のフレームによって構成されてい
る。画像データの場合は、フレームは画像1枚分の符号
化データである。PESは通常、1フレーム分のESに
PESパケットヘッダを付加したPESパケットによっ
て構成さるストリームである。TSはPES184バイ
トに対して4バイトのTSパケットヘッダを付加した計
188バイト単位のTSパケットから構成されるストリ
ームである。TSパケットはTSパケットヘッダとアダ
プテーションフィールド、ペイロードによって構成され
ている。PESパケットの境界がTSパケットのペイロ
ードに存在することが禁止されているため、184バイ
トに満たないPESパケットに対してはアダプテーショ
ンフィールドを挿入し、その中のスタッフィングバイト
によって足りないバイト数を補う。
を示している。具体的には、エレメンタリストリーム
(以下ES)、パケタイズドエレメンタリストリーム
(以下PES)、トランスポートストリーム(以下T
S)、TSパケットの構造および相互の関係を示してい
る。ESは画像情報、音情報および付加データをそれぞ
れ情報量圧縮、符号化したストリームで、符号化時のヘ
ッダ情報を含む複数のフレームによって構成されてい
る。画像データの場合は、フレームは画像1枚分の符号
化データである。PESは通常、1フレーム分のESに
PESパケットヘッダを付加したPESパケットによっ
て構成さるストリームである。TSはPES184バイ
トに対して4バイトのTSパケットヘッダを付加した計
188バイト単位のTSパケットから構成されるストリ
ームである。TSパケットはTSパケットヘッダとアダ
プテーションフィールド、ペイロードによって構成され
ている。PESパケットの境界がTSパケットのペイロ
ードに存在することが禁止されているため、184バイ
トに満たないPESパケットに対してはアダプテーショ
ンフィールドを挿入し、その中のスタッフィングバイト
によって足りないバイト数を補う。
【0004】情報量圧縮、符号化した映像データ、音デ
ータおよび付加データを多重化し、TSを生成するデー
タ多重化装置としては、特開平9-312625号公報に記載さ
れたものがある。図14に従来のデータ多重化装置のブ
ロック構成図を示し、動作の概略を説明する。ビデオエ
ンコーダ1120、オーディオエンコーダ1124、サ
ブタイトルエンコーダ1128は、それぞれ画像情報、
音情報、付加データの情報量圧縮、符号化を行う。FI
FOメモリ1132a、1132b、1132cは、情
報量圧縮、符号化された映像データ、音データおよび付
加データのESをバッファリングする。付加データのE
Sについては、イーサネットインタフェース回路114
20、シリアルインタフェース回路11422を介して
入力される場合もあり、入力されたESはRAM114
30に格納される。データサイズIF1130a、11
30b、1130cは、各ESのフレームごとのデータ
サイズを計数し、データサイズをCPUバスを介してC
PU11424に対して出力する。CPU11424
は、1フレーム分のデータサイズに基づいて、各ESの
多重化の順番、多重化のタイミング調整およびスケジュ
ーリングなどの多重化方法の計画を行い、計画した多重
化方法に従ってスイッチ回路1134、1136の多重
化動作をCPUバスを介して制御する。また、CPU1
1424は、制御データ用RAM11428に記憶され
た制御データを用いたスケジューリングに従って、ヘッ
ダデータを処理用RAM11426上に作成する。スイ
ッチ回路1134は、CPU11424の制御に従っ
て、FIFOメモリ1132a、1132b、1132
c、RAM11430から出力されるESを多重化し、
スイッチ回路1136は、CPU11424の制御に従
って、パケット単位にヘッダデータを多重することで、
TSを生成する。FIFOメモリ1138は生成された
TSをバッファリングし、通信回線などに対して出力す
る。
ータおよび付加データを多重化し、TSを生成するデー
タ多重化装置としては、特開平9-312625号公報に記載さ
れたものがある。図14に従来のデータ多重化装置のブ
ロック構成図を示し、動作の概略を説明する。ビデオエ
ンコーダ1120、オーディオエンコーダ1124、サ
ブタイトルエンコーダ1128は、それぞれ画像情報、
音情報、付加データの情報量圧縮、符号化を行う。FI
FOメモリ1132a、1132b、1132cは、情
報量圧縮、符号化された映像データ、音データおよび付
加データのESをバッファリングする。付加データのE
Sについては、イーサネットインタフェース回路114
20、シリアルインタフェース回路11422を介して
入力される場合もあり、入力されたESはRAM114
30に格納される。データサイズIF1130a、11
30b、1130cは、各ESのフレームごとのデータ
サイズを計数し、データサイズをCPUバスを介してC
PU11424に対して出力する。CPU11424
は、1フレーム分のデータサイズに基づいて、各ESの
多重化の順番、多重化のタイミング調整およびスケジュ
ーリングなどの多重化方法の計画を行い、計画した多重
化方法に従ってスイッチ回路1134、1136の多重
化動作をCPUバスを介して制御する。また、CPU1
1424は、制御データ用RAM11428に記憶され
た制御データを用いたスケジューリングに従って、ヘッ
ダデータを処理用RAM11426上に作成する。スイ
ッチ回路1134は、CPU11424の制御に従っ
て、FIFOメモリ1132a、1132b、1132
c、RAM11430から出力されるESを多重化し、
スイッチ回路1136は、CPU11424の制御に従
って、パケット単位にヘッダデータを多重することで、
TSを生成する。FIFOメモリ1138は生成された
TSをバッファリングし、通信回線などに対して出力す
る。
【0005】
【発明が解決しようとする課題】しかしながら、上記従
来の多重化装置には2つの課題がある。まず、1つめの
課題について説明する。従来のデータ多重化装置は入力
される画像データ、音データおよび付加データのESの
バイト数を1フレーム分計数し、CPUへ通知する。C
PUは1フレーム分のバイト数からそのフレームから構
成可能なTSパケット数を計算し、多重化方法の計画を
たて、FIFOメモリからESの読み出し制御を行う。
FIFOメモリからの読み出し制御において、CPUは
入力された1フレーム分のバイト数と読み出したデータ
のバイト数からフレームの境界を検知し、スタッフィン
グバイトの挿入、PESヘッダの挿入を制御する。この
ように、従来のデータ多重化装置は、1フレーム分のE
Sのバイト数を計数してから多重化計画を開始するた
め、少なくとも1フレーム分のデータ容量をもつFIF
Oメモリが必要となる。画像データの場合、この容量は
1.8Mビットである。また、データ多重化を開始する
までに1フレーム分のESがFIFOメモリに入力され
る時間の遅延が生じる。これは、マルチメディア通信シ
ステムにおいては符号化装置側の遅延となり、双方向通
信を行う場合に問題となる。従来のデータ多重化装置に
おいて、多重化処理開始までの遅延を短くするために、
入力されるESのバイト数を1フレームより短い単位で
計数し、CPUに通知し、多重化処理を計画しようとす
ると、フレームの境界を検出する計算を何度も行わなけ
ればならず、CPUの負荷が重くなってしまう。このこ
とは、CPUをデータ多重化装置以外の制御、例えば、
ビデオエンコーダの制御などにも利用しようとしたとき
に問題となる。
来の多重化装置には2つの課題がある。まず、1つめの
課題について説明する。従来のデータ多重化装置は入力
される画像データ、音データおよび付加データのESの
バイト数を1フレーム分計数し、CPUへ通知する。C
PUは1フレーム分のバイト数からそのフレームから構
成可能なTSパケット数を計算し、多重化方法の計画を
たて、FIFOメモリからESの読み出し制御を行う。
FIFOメモリからの読み出し制御において、CPUは
入力された1フレーム分のバイト数と読み出したデータ
のバイト数からフレームの境界を検知し、スタッフィン
グバイトの挿入、PESヘッダの挿入を制御する。この
ように、従来のデータ多重化装置は、1フレーム分のE
Sのバイト数を計数してから多重化計画を開始するた
め、少なくとも1フレーム分のデータ容量をもつFIF
Oメモリが必要となる。画像データの場合、この容量は
1.8Mビットである。また、データ多重化を開始する
までに1フレーム分のESがFIFOメモリに入力され
る時間の遅延が生じる。これは、マルチメディア通信シ
ステムにおいては符号化装置側の遅延となり、双方向通
信を行う場合に問題となる。従来のデータ多重化装置に
おいて、多重化処理開始までの遅延を短くするために、
入力されるESのバイト数を1フレームより短い単位で
計数し、CPUに通知し、多重化処理を計画しようとす
ると、フレームの境界を検出する計算を何度も行わなけ
ればならず、CPUの負荷が重くなってしまう。このこ
とは、CPUをデータ多重化装置以外の制御、例えば、
ビデオエンコーダの制御などにも利用しようとしたとき
に問題となる。
【0006】次に、2つめの課題について説明する。入
力されるESからPESパケット、TSパケットを生成
するためには、PESパケットヘッダ、TSパケットヘ
ッダの生成とESへの多重化が必要である。従来のデー
タ多重化装置では、計画した多重化順に従ってCPUが
各パケットごとにパケットヘッダを処理用RAMに作成
し、スイッチ回路を制御してESへ多重化している。こ
のパケットヘッダの作成と多重化制御は、CPUの負荷
を重くするものであり、各ESの符号化レートが高い場
合、パケットヘッダの生成、多重制御の処理回数が増大
し、データ多重化装置の符号出力レートを制限してしま
うという問題がある。
力されるESからPESパケット、TSパケットを生成
するためには、PESパケットヘッダ、TSパケットヘ
ッダの生成とESへの多重化が必要である。従来のデー
タ多重化装置では、計画した多重化順に従ってCPUが
各パケットごとにパケットヘッダを処理用RAMに作成
し、スイッチ回路を制御してESへ多重化している。こ
のパケットヘッダの作成と多重化制御は、CPUの負荷
を重くするものであり、各ESの符号化レートが高い場
合、パケットヘッダの生成、多重制御の処理回数が増大
し、データ多重化装置の符号出力レートを制限してしま
うという問題がある。
【0007】本発明は、このような従来の課題を解決す
るものであり、画像データ、音データおよび付加データ
のESをパケット化しTSを生成するデータ多重化装置
において、データ多重化処理を開始するまでデータをバ
ッファリングするためのFIFOメモリを削減し、多重
化処理開始までの遅延時間を低減することを目的とす
る。また、パケットヘッダの生成、多重化制御の回数を
削減しCPUの負荷を低減することを目的とする。
るものであり、画像データ、音データおよび付加データ
のESをパケット化しTSを生成するデータ多重化装置
において、データ多重化処理を開始するまでデータをバ
ッファリングするためのFIFOメモリを削減し、多重
化処理開始までの遅延時間を低減することを目的とす
る。また、パケットヘッダの生成、多重化制御の回数を
削減しCPUの負荷を低減することを目的とする。
【0008】
【課題を解決するための手段】上記目的を達成するため
に、本発明のデータ多重化方法および装置は、複数の入
力ラインを介して入力される映像データ、音データおよ
び付加データのそれぞれのフレームの境界とパケットの
境界を検出し、入力された映像データ、音データおよび
付加データをメモリに格納するとともに、検出したフレ
ームの境界とパケットの境界をCPUバスを通じて受
け、メモリ内の映像データ、音データおよび付加データ
に対して、CPUバスを通じてフレームの境界とパケッ
トの境界にヘッダデータを書き込み、パケットデータを
生成する処理と、パケット化した映像データ、音データ
および付加データをバッファリングし、生成したパケッ
ト数により映像データパケット、音データパケットおよ
び付加データパケットの多重化処理を計画し、多重化処
理の計画に従って映像データパケット、音データパケッ
トおよび付加データパケットを多重化し、出力ラインを
介して外部へ出力する処理とを含むものである。
に、本発明のデータ多重化方法および装置は、複数の入
力ラインを介して入力される映像データ、音データおよ
び付加データのそれぞれのフレームの境界とパケットの
境界を検出し、入力された映像データ、音データおよび
付加データをメモリに格納するとともに、検出したフレ
ームの境界とパケットの境界をCPUバスを通じて受
け、メモリ内の映像データ、音データおよび付加データ
に対して、CPUバスを通じてフレームの境界とパケッ
トの境界にヘッダデータを書き込み、パケットデータを
生成する処理と、パケット化した映像データ、音データ
および付加データをバッファリングし、生成したパケッ
ト数により映像データパケット、音データパケットおよ
び付加データパケットの多重化処理を計画し、多重化処
理の計画に従って映像データパケット、音データパケッ
トおよび付加データパケットを多重化し、出力ラインを
介して外部へ出力する処理とを含むものである。
【0009】本発明のデータ多重化方法および装置によ
ると、画像データ、音データおよび付加データのES入
力時にフレームの境界、TSパケットの境界を検出し、
その都度、メモリ上でパケットヘッダの多重化を行い、
TSパケットを生成するので、CPUによるフレームの
境界、TSパケットの境界検出のための計算が不要とな
り、1フレーム分のESのバイト数を計数する必要がな
い。従って、入力したESを1フレーム分格納するFI
FOメモリを削減することができる。また、本発明のデ
ータ多重化方法および装置によると、入力時に生成した
TSパケットは直ちにバッファリングされ多重化処理を
開始するので、ESが入力されてからデータ多重化処理
開始までの遅延時間を低減することができる。
ると、画像データ、音データおよび付加データのES入
力時にフレームの境界、TSパケットの境界を検出し、
その都度、メモリ上でパケットヘッダの多重化を行い、
TSパケットを生成するので、CPUによるフレームの
境界、TSパケットの境界検出のための計算が不要とな
り、1フレーム分のESのバイト数を計数する必要がな
い。従って、入力したESを1フレーム分格納するFI
FOメモリを削減することができる。また、本発明のデ
ータ多重化方法および装置によると、入力時に生成した
TSパケットは直ちにバッファリングされ多重化処理を
開始するので、ESが入力されてからデータ多重化処理
開始までの遅延時間を低減することができる。
【0010】また、本発明の別のデータ多重化方法およ
び装置は、複数の入力ラインを介して入力される映像デ
ータ、音データおよび付加データのそれぞれのフレーム
の境界を検出し、入力された映像データ、音データおよ
び付加データをメモリに格納するとともに、検出したフ
レームの境界をCPUバスを通じて受け、メモリ内の映
像データ、音データおよび付加データに対してCPUバ
スを通じてフレームの境界にヘッダデータを書き込むこ
とでパケットデータを生成する処理と、フレームの境界
以外のパケットのヘッダデータはパケット数のカウント
値のみを上書き多重し、更新する処理と、パケット化し
た映像データ、音データおよび付加データをバッファリ
ングし、CPUバスを通じてパケットカウント値を受
け、生成したパケット数により映像データパケット、音
データパケットおよび付加データパケットの多重化処理
を計画し、多重化処理の計画に従って映像データパケッ
ト、音データパケットおよび付加データパケットを多重
化し、出力ラインを介して外部へ出力する処理とを含む
ものである。
び装置は、複数の入力ラインを介して入力される映像デ
ータ、音データおよび付加データのそれぞれのフレーム
の境界を検出し、入力された映像データ、音データおよ
び付加データをメモリに格納するとともに、検出したフ
レームの境界をCPUバスを通じて受け、メモリ内の映
像データ、音データおよび付加データに対してCPUバ
スを通じてフレームの境界にヘッダデータを書き込むこ
とでパケットデータを生成する処理と、フレームの境界
以外のパケットのヘッダデータはパケット数のカウント
値のみを上書き多重し、更新する処理と、パケット化し
た映像データ、音データおよび付加データをバッファリ
ングし、CPUバスを通じてパケットカウント値を受
け、生成したパケット数により映像データパケット、音
データパケットおよび付加データパケットの多重化処理
を計画し、多重化処理の計画に従って映像データパケッ
ト、音データパケットおよび付加データパケットを多重
化し、出力ラインを介して外部へ出力する処理とを含む
ものである。
【0011】本発明の別のデータ多重化方法および装置
によれば、フレームの境界、すなわちPESの最終バイ
トを含むTSパケットとPESの先頭バイトを含むTS
パケットに対してのみ、CPUからメモリに対してスタ
ッフィングバイトの挿入、TSパケットヘッダの多重
化、PESパケットヘッダの多重化が行われ、フレーム
の境界以外のTSパケットヘッダについては、図13に
示したTSパケットヘッダ内の巡回カウンタ値のみを更
新し、この巡回カウンタの更新はパケットカウンタ値多
重化手段により生成した映像データパケット数、音デー
タパケット数、付加データパケット数のカウント値を巡
回カウンタ値として上書き多重することで行うので、C
PUによるパケットヘッダの生成、多重化制御は、フレ
ームの境界を検出した時のみ行われるため、CPUの負
荷を低減することができる。また、ESの符号化レート
が上昇しても、フレーム数が変化しなければCPUの負
荷が増大することがないので、高符号化レートのデータ
多重化処理が可能となる。
によれば、フレームの境界、すなわちPESの最終バイ
トを含むTSパケットとPESの先頭バイトを含むTS
パケットに対してのみ、CPUからメモリに対してスタ
ッフィングバイトの挿入、TSパケットヘッダの多重
化、PESパケットヘッダの多重化が行われ、フレーム
の境界以外のTSパケットヘッダについては、図13に
示したTSパケットヘッダ内の巡回カウンタ値のみを更
新し、この巡回カウンタの更新はパケットカウンタ値多
重化手段により生成した映像データパケット数、音デー
タパケット数、付加データパケット数のカウント値を巡
回カウンタ値として上書き多重することで行うので、C
PUによるパケットヘッダの生成、多重化制御は、フレ
ームの境界を検出した時のみ行われるため、CPUの負
荷を低減することができる。また、ESの符号化レート
が上昇しても、フレーム数が変化しなければCPUの負
荷が増大することがないので、高符号化レートのデータ
多重化処理が可能となる。
【0012】
【発明の実施の形態】本発明の請求項1に記載の発明
は、複数の入力ラインを介して入力される映像データ、
音データおよび付加データのそれぞれのフレームの境界
とパケットの境界を検出し、入力された映像データ、音
データおよび付加データをメモリに格納するとともに、
検出したフレームの境界とパケットの境界をCPUバス
を通じて受け、メモリ内の映像データ、音データおよび
付加データに対して、CPUバスを通じてフレームの境
界とパケットの境界にヘッダデータを書き込み、パケッ
トデータを生成する処理と、パケット化した映像デー
タ、音データおよび付加データをバッファリングし、生
成したパケット数により映像データパケット、音データ
パケットおよび付加データパケットの多重化処理を計画
し、多重化処理の計画に従って映像データパケット、音
データパケットおよび付加データパケットを多重化し、
出力ラインを介して外部へ出力する処理とを含むデータ
多重化方法であり、画像データ、音データおよび付加デ
ータの各ESについて、1フレーム分のデータを格納す
るためのメモリを削減することができる。また、ESが
入力されてから多重化処理開始までの遅延時間を短くで
きるという作用を有する。
は、複数の入力ラインを介して入力される映像データ、
音データおよび付加データのそれぞれのフレームの境界
とパケットの境界を検出し、入力された映像データ、音
データおよび付加データをメモリに格納するとともに、
検出したフレームの境界とパケットの境界をCPUバス
を通じて受け、メモリ内の映像データ、音データおよび
付加データに対して、CPUバスを通じてフレームの境
界とパケットの境界にヘッダデータを書き込み、パケッ
トデータを生成する処理と、パケット化した映像デー
タ、音データおよび付加データをバッファリングし、生
成したパケット数により映像データパケット、音データ
パケットおよび付加データパケットの多重化処理を計画
し、多重化処理の計画に従って映像データパケット、音
データパケットおよび付加データパケットを多重化し、
出力ラインを介して外部へ出力する処理とを含むデータ
多重化方法であり、画像データ、音データおよび付加デ
ータの各ESについて、1フレーム分のデータを格納す
るためのメモリを削減することができる。また、ESが
入力されてから多重化処理開始までの遅延時間を短くで
きるという作用を有する。
【0013】請求項2に記載の発明は、入力される映像
データ、音データおよび付加データのフレームの境界を
検出するフレーム境界検出手段と、映像データ、音デー
タおよび付加データのパケットの境界を検出するパケッ
ト境界検出手段と、映像データ、音データおよび付加デ
ータを格納するメモリと、フレームとパケットの境界を
通知し、映像データ、音データおよび付加データに対す
るヘッダデータを転送するためのCPUバスと、パケッ
ト化した映像データ、音データおよび付加データをバッ
ファリングするバッファリング手段と、バッファリング
した映像データ、音データおよび付加データのパケット
数に基づいて多重化処理を計画する多重化処理計画手段
と、多重化処理計画手段の計画に従って、バッファリン
グした映像データ、音データおよび付加データを多重化
処理する多重化処理手段と、入力された映像データ、音
データおよび付加データそれぞれを前記メモリに供給す
る複数の入力ラインと、多重化したデータストリームを
外部に出力する出力ラインとを備えたデータ多重化装置
であり、画像データ、音データおよび付加データの各E
Sについて、1フレーム分のデータを格納するためのF
IFOメモリを削減することができる。また、ESが入
力されてから多重化処理開始までの遅延時間を短くでき
るという作用を有する。
データ、音データおよび付加データのフレームの境界を
検出するフレーム境界検出手段と、映像データ、音デー
タおよび付加データのパケットの境界を検出するパケッ
ト境界検出手段と、映像データ、音データおよび付加デ
ータを格納するメモリと、フレームとパケットの境界を
通知し、映像データ、音データおよび付加データに対す
るヘッダデータを転送するためのCPUバスと、パケッ
ト化した映像データ、音データおよび付加データをバッ
ファリングするバッファリング手段と、バッファリング
した映像データ、音データおよび付加データのパケット
数に基づいて多重化処理を計画する多重化処理計画手段
と、多重化処理計画手段の計画に従って、バッファリン
グした映像データ、音データおよび付加データを多重化
処理する多重化処理手段と、入力された映像データ、音
データおよび付加データそれぞれを前記メモリに供給す
る複数の入力ラインと、多重化したデータストリームを
外部に出力する出力ラインとを備えたデータ多重化装置
であり、画像データ、音データおよび付加データの各E
Sについて、1フレーム分のデータを格納するためのF
IFOメモリを削減することができる。また、ESが入
力されてから多重化処理開始までの遅延時間を短くでき
るという作用を有する。
【0014】請求項3に記載の発明は、複数の入力ライ
ンを介して入力される映像データ、音データおよび付加
データのそれぞれのフレームの境界を検出し、入力され
た映像データ、音データおよび付加データをメモリに格
納するとともに、検出したフレームの境界をCPUバス
を通じて受け、メモリ内の映像データ、音データおよび
付加データに対してCPUバスを通じてフレームの境界
にヘッダデータを書き込むことでパケットデータを生成
する処理と、フレームの境界以外のパケットのヘッダデ
ータはパケット数のカウント値のみを上書き多重し、更
新する処理と、パケット化した映像データ、音データお
よび付加データをバッファリングし、CPUバスを通じ
てパケットカウント値を受け、生成したパケット数によ
り映像データパケット、音データパケットおよび付加デ
ータパケットの多重化処理を計画し、多重化処理の計画
に従って映像データパケット、音データパケットおよび
付加データパケットを多重化し、出力ラインを介して外
部へ出力する処理とを含むデータ多重化方法であり、画
像データ、音データおよび付加データの各ESについ
て、1フレーム分のデータを格納するためのメモリを削
減することができる。また、ESが入力されてから多重
化処理開始までの遅延時間を短くすることができる。ま
た、CPUが行うパケットヘッダの生成、多重化制御の
処理数を削減し、符号化レートの高いデータ多重化処理
が可能になるという作用を有する。
ンを介して入力される映像データ、音データおよび付加
データのそれぞれのフレームの境界を検出し、入力され
た映像データ、音データおよび付加データをメモリに格
納するとともに、検出したフレームの境界をCPUバス
を通じて受け、メモリ内の映像データ、音データおよび
付加データに対してCPUバスを通じてフレームの境界
にヘッダデータを書き込むことでパケットデータを生成
する処理と、フレームの境界以外のパケットのヘッダデ
ータはパケット数のカウント値のみを上書き多重し、更
新する処理と、パケット化した映像データ、音データお
よび付加データをバッファリングし、CPUバスを通じ
てパケットカウント値を受け、生成したパケット数によ
り映像データパケット、音データパケットおよび付加デ
ータパケットの多重化処理を計画し、多重化処理の計画
に従って映像データパケット、音データパケットおよび
付加データパケットを多重化し、出力ラインを介して外
部へ出力する処理とを含むデータ多重化方法であり、画
像データ、音データおよび付加データの各ESについ
て、1フレーム分のデータを格納するためのメモリを削
減することができる。また、ESが入力されてから多重
化処理開始までの遅延時間を短くすることができる。ま
た、CPUが行うパケットヘッダの生成、多重化制御の
処理数を削減し、符号化レートの高いデータ多重化処理
が可能になるという作用を有する。
【0015】請求項4に記載の発明は、入力される映像
データ、音データおよび付加データのフレームの境界を
検出するフレーム境界検出手段と、映像データ、音デー
タおよび付加データを格納するメモリと、フレームの境
界を通知し、映像データ、音データおよび付加データに
対するヘッダデータ、生成した映像データパケット数、
音データパケット数、付加データパケット数を転送する
ためのCPUバスと、生成した映像データパケット数、
音データパケット数、付加データパケット数のカウント
値をヘッダデータ中に多重化するパケットカウンタ値多
重化手段と、パケット化した映像データ、音データおよ
び付加データをバッファリングするバッファリング手段
と、バッファリングした映像データ、音データおよび付
加データのパケット数に基づいて多重化処理を計画する
多重化処理計画手段と、多重化処理計画手段の計画に従
って、バッファリングした映像データ、音データおよび
付加データを多重化処理する多重化処理手段と、入力さ
れた映像データ、音データおよび付加データそれぞれを
前記メモリに供給する複数の入力ラインと、多重化した
データストリームを外部に出力する出力ラインとを備え
たデータ多重化装置であり、画像データ、音データおよ
び付加データの各ESについて、1フレーム分のデータ
を格納するためのFIFOメモリを削減することができ
る。また、ESが入力されてから多重化処理開始までの
遅延時間を短くすることができる。また、CPUが行う
パケットヘッダの生成、多重化制御の処理数を削減し、
符号化レートの高いデータ多重化処理が可能になるとい
う作用を有する。
データ、音データおよび付加データのフレームの境界を
検出するフレーム境界検出手段と、映像データ、音デー
タおよび付加データを格納するメモリと、フレームの境
界を通知し、映像データ、音データおよび付加データに
対するヘッダデータ、生成した映像データパケット数、
音データパケット数、付加データパケット数を転送する
ためのCPUバスと、生成した映像データパケット数、
音データパケット数、付加データパケット数のカウント
値をヘッダデータ中に多重化するパケットカウンタ値多
重化手段と、パケット化した映像データ、音データおよ
び付加データをバッファリングするバッファリング手段
と、バッファリングした映像データ、音データおよび付
加データのパケット数に基づいて多重化処理を計画する
多重化処理計画手段と、多重化処理計画手段の計画に従
って、バッファリングした映像データ、音データおよび
付加データを多重化処理する多重化処理手段と、入力さ
れた映像データ、音データおよび付加データそれぞれを
前記メモリに供給する複数の入力ラインと、多重化した
データストリームを外部に出力する出力ラインとを備え
たデータ多重化装置であり、画像データ、音データおよ
び付加データの各ESについて、1フレーム分のデータ
を格納するためのFIFOメモリを削減することができ
る。また、ESが入力されてから多重化処理開始までの
遅延時間を短くすることができる。また、CPUが行う
パケットヘッダの生成、多重化制御の処理数を削減し、
符号化レートの高いデータ多重化処理が可能になるとい
う作用を有する。
【0016】請求項5に記載の発明は、入力される画像
情報の情報量を圧縮、符号化し、入力される音情報の情
報量を圧縮、符号化し、画像情報、音情報に付加するデ
ータを外部から受信するかまたは内部で生成し、符号化
した画像データ、音データおよび付加データを請求項1
記載の方法でデータ多重化し、符号を外部へ送出するデ
ータ符号化方法であり、画像データ、音データおよび付
加データのESをパケット化し多重化する処理を低遅延
化し、符号化の処理時間を短くできるという作用を有す
る。
情報の情報量を圧縮、符号化し、入力される音情報の情
報量を圧縮、符号化し、画像情報、音情報に付加するデ
ータを外部から受信するかまたは内部で生成し、符号化
した画像データ、音データおよび付加データを請求項1
記載の方法でデータ多重化し、符号を外部へ送出するデ
ータ符号化方法であり、画像データ、音データおよび付
加データのESをパケット化し多重化する処理を低遅延
化し、符号化の処理時間を短くできるという作用を有す
る。
【0017】請求項6に記載の発明は、入力される画像
情報を情報量圧縮、符号化する画像情報圧縮符号化手段
と、入力される音情報を情報量圧縮、符号化する音情報
圧縮符号化手段と、画像情報、音情報に付加するデータ
を受信、生成する付加データ生成手段と、請求項2記載
のデータ多重化装置とを備えたデータ符号化装置であ
り、画像データ、音データおよび付加データのESをパ
ケット化し多重化する処理を低遅延化し、符号化の処理
時間を短くできるという作用を有する。
情報を情報量圧縮、符号化する画像情報圧縮符号化手段
と、入力される音情報を情報量圧縮、符号化する音情報
圧縮符号化手段と、画像情報、音情報に付加するデータ
を受信、生成する付加データ生成手段と、請求項2記載
のデータ多重化装置とを備えたデータ符号化装置であ
り、画像データ、音データおよび付加データのESをパ
ケット化し多重化する処理を低遅延化し、符号化の処理
時間を短くできるという作用を有する。
【0018】請求項7に記載の発明は、入力される画像
情報の情報量を圧縮、符号化し、入力される音情報の情
報量を圧縮、符号化し、画像情報、音情報に付加するデ
ータを外部から受信するかまたは内部で生成し、符号化
した画像データ、音データおよび付加データを請求項3
記載の方法でデータ多重化し、符号を外部へ送出するデ
ータ符号化方法であり、画像データ、音データおよび付
加データのESをパケット化し多重化する処理を低遅延
化し、符号化の処理時間を短くできる。また、データ多
重化におけるCPUの負荷を低減し、符号化レートの高
いデータの送出が可能になるという作用を有する。
情報の情報量を圧縮、符号化し、入力される音情報の情
報量を圧縮、符号化し、画像情報、音情報に付加するデ
ータを外部から受信するかまたは内部で生成し、符号化
した画像データ、音データおよび付加データを請求項3
記載の方法でデータ多重化し、符号を外部へ送出するデ
ータ符号化方法であり、画像データ、音データおよび付
加データのESをパケット化し多重化する処理を低遅延
化し、符号化の処理時間を短くできる。また、データ多
重化におけるCPUの負荷を低減し、符号化レートの高
いデータの送出が可能になるという作用を有する。
【0019】請求項8に記載の発明は、入力される画像
情報を情報量圧縮、符号化する画像情報圧縮符号化手段
と、入力される音情報を情報量圧縮、符号化する音情報
圧縮符号化手段と、画像情報、音情報に付加するデータ
を受信、生成する付加データ生成手段と、請求項4記載
のデータ多重化装置を備えたデータ符号化装置であり
り、画像データ、音データおよび付加データのESをパ
ケット化し多重化する処理を低遅延化し、符号化の処理
時間を短くできる。また、データ多重化におけるCPU
の負荷を低減し、符号化レートの高いデータの送出が可
能になるという作用を有する。
情報を情報量圧縮、符号化する画像情報圧縮符号化手段
と、入力される音情報を情報量圧縮、符号化する音情報
圧縮符号化手段と、画像情報、音情報に付加するデータ
を受信、生成する付加データ生成手段と、請求項4記載
のデータ多重化装置を備えたデータ符号化装置であり
り、画像データ、音データおよび付加データのESをパ
ケット化し多重化する処理を低遅延化し、符号化の処理
時間を短くできる。また、データ多重化におけるCPU
の負荷を低減し、符号化レートの高いデータの送出が可
能になるという作用を有する。
【0020】請求項9に記載の発明は、画像データ、音
データおよび付加データが請求項1に記載の方法で多重
化されているデータストリームを受信し、受け取ったデ
ータストリームから画像データ、音データ、付加データ
を分離し、分離した画像データ、音データおよび付加デ
ータを復号し、再生するデータ復号化方法であり、請求
項1に記載の方法で多重化された画像データ、音データ
および付加データを分離し、それぞれを復号、再生する
という作用を有する。
データおよび付加データが請求項1に記載の方法で多重
化されているデータストリームを受信し、受け取ったデ
ータストリームから画像データ、音データ、付加データ
を分離し、分離した画像データ、音データおよび付加デ
ータを復号し、再生するデータ復号化方法であり、請求
項1に記載の方法で多重化された画像データ、音データ
および付加データを分離し、それぞれを復号、再生する
という作用を有する。
【0021】請求項10に記載の発明は、請求項1に記
載の方法で多重化された画像データ、音データおよび付
加データを分離するデータ分離手段と、分離された画像
データを復号、再生する画像データ復号手段と、分離さ
れた音データを復号、再生する音データ復号手段と、分
離された付加データを復号、再生する付加データ復号手
段とを備えたデータ復号化装置であり、請求項1に記載
の方法で多重化された画像データ、音データおよび付加
データを分離し、それぞれを復号、再生するという作用
を有する。
載の方法で多重化された画像データ、音データおよび付
加データを分離するデータ分離手段と、分離された画像
データを復号、再生する画像データ復号手段と、分離さ
れた音データを復号、再生する音データ復号手段と、分
離された付加データを復号、再生する付加データ復号手
段とを備えたデータ復号化装置であり、請求項1に記載
の方法で多重化された画像データ、音データおよび付加
データを分離し、それぞれを復号、再生するという作用
を有する。
【0022】請求項11に記載の発明は、画像データ、
音データおよび付加データが請求項3に記載の方法で多
重化されているデータストリームを受信し、受け取った
データストリームから画像データ、音データ、付加デー
タを分離し、分離した画像データ、音データおよび付加
データを復号し、再生するデータ復号化方法であり、請
求項3に記載の方法で多重化された画像データ、音デー
タおよび付加データを分離し、それぞれを復号、再生す
るという作用を有する。
音データおよび付加データが請求項3に記載の方法で多
重化されているデータストリームを受信し、受け取った
データストリームから画像データ、音データ、付加デー
タを分離し、分離した画像データ、音データおよび付加
データを復号し、再生するデータ復号化方法であり、請
求項3に記載の方法で多重化された画像データ、音デー
タおよび付加データを分離し、それぞれを復号、再生す
るという作用を有する。
【0023】請求項12に記載の発明は、請求項3に記
載の方法で多重化された画像データ、音データおよび付
加データを分離するデータ分離手段と、分離された画像
データを復号、再生する画像データ復号手段と、分離さ
れた音データを復号、再生する音データ復号手段と、分
離された付加データを復号、再生する付加データ復号手
段とを備えたデータ復号化装置であり、請求項3に記載
の方法で多重化された画像データ、音データおよび付加
データを分離し、それぞれを復号、再生するという作用
を有する。
載の方法で多重化された画像データ、音データおよび付
加データを分離するデータ分離手段と、分離された画像
データを復号、再生する画像データ復号手段と、分離さ
れた音データを復号、再生する音データ復号手段と、分
離された付加データを復号、再生する付加データ復号手
段とを備えたデータ復号化装置であり、請求項3に記載
の方法で多重化された画像データ、音データおよび付加
データを分離し、それぞれを復号、再生するという作用
を有する。
【0024】請求項13に記載の発明は、送信側は入力
される画像情報、音情報および付加データをそれぞれ情
報量圧縮、符号化し、請求項1に記載の方法で多重化し
て送出し、受信側は請求項1に記載の方法で多重化され
た画像データ、音データおよび符号化データを分離し、
それぞれを復号、再生するデータ通信方法であり、デー
タ符号化の遅延を少なくして、リアルタイム性の高いの
データ通信を可能にするという作用を有する。
される画像情報、音情報および付加データをそれぞれ情
報量圧縮、符号化し、請求項1に記載の方法で多重化し
て送出し、受信側は請求項1に記載の方法で多重化され
た画像データ、音データおよび符号化データを分離し、
それぞれを復号、再生するデータ通信方法であり、デー
タ符号化の遅延を少なくして、リアルタイム性の高いの
データ通信を可能にするという作用を有する。
【0025】請求項14に記載の発明は、入力される画
像情報、音情報および付加データをそれぞれ情報量圧
縮、符号化し、請求項1に記載の方法で多重化するデー
タ符号化手段と、請求項1に記載の方法で多重化された
画像データ、音データおよび付加データをそれぞれ分離
し、分離した画像データ、音データおよび付加データを
復号、再生するデータ復号化手段とを備えたデータ通信
装置であり、データ符号化の遅延を少なくして、リアル
タイム性の高いのデータ通信を可能にするという作用を
有する。
像情報、音情報および付加データをそれぞれ情報量圧
縮、符号化し、請求項1に記載の方法で多重化するデー
タ符号化手段と、請求項1に記載の方法で多重化された
画像データ、音データおよび付加データをそれぞれ分離
し、分離した画像データ、音データおよび付加データを
復号、再生するデータ復号化手段とを備えたデータ通信
装置であり、データ符号化の遅延を少なくして、リアル
タイム性の高いのデータ通信を可能にするという作用を
有する。
【0026】請求項15に記載の発明は、送信側は入力
される画像情報、音情報および付加データをそれぞれ情
報量圧縮、符号化し、請求項3に記載の方法で多重化し
て送出し、受信側は請求項3に記載の方法で多重化され
た画像データ、音データおよび符号化データを分離し、
それぞれを復号、再生するデータ通信方法であり、デー
タ符号化の遅延を少なくして、リアルタイム性の高いの
データ通信を可能にする。また、高符号化レートのデー
タ通信を可能にするという作用を有する。
される画像情報、音情報および付加データをそれぞれ情
報量圧縮、符号化し、請求項3に記載の方法で多重化し
て送出し、受信側は請求項3に記載の方法で多重化され
た画像データ、音データおよび符号化データを分離し、
それぞれを復号、再生するデータ通信方法であり、デー
タ符号化の遅延を少なくして、リアルタイム性の高いの
データ通信を可能にする。また、高符号化レートのデー
タ通信を可能にするという作用を有する。
【0027】請求項16に記載の発明は、入力される画
像情報、音情報および付加データをそれぞれ情報量圧
縮、符号化し、請求項3に記載の方法で多重化するデー
タ符号化手段と、請求項3に記載の方法で多重化された
画像データ、音データおよび付加データをそれぞれ分離
し、分離した画像データ、音データおよび付加データを
復号、再生するデータ復号化手段を備えたデータ通信装
置であり、データ符号化の遅延を少なくして、リアルタ
イム性の高いのデータ通信を可能にする。また、高符号
化レートのデータ通信を可能にするという作用を有す
る。
像情報、音情報および付加データをそれぞれ情報量圧
縮、符号化し、請求項3に記載の方法で多重化するデー
タ符号化手段と、請求項3に記載の方法で多重化された
画像データ、音データおよび付加データをそれぞれ分離
し、分離した画像データ、音データおよび付加データを
復号、再生するデータ復号化手段を備えたデータ通信装
置であり、データ符号化の遅延を少なくして、リアルタ
イム性の高いのデータ通信を可能にする。また、高符号
化レートのデータ通信を可能にするという作用を有す
る。
【0028】(実施の形態1)以下、本発明の実施の形
態を図面を参照して説明する。図1は、本発明の実施の
形態1におけるデータ多重化装置のブロック構成図であ
る。図1において、ビデオエンコーダ101は、ディジ
タル信号に変換された画像情報の情報量圧縮と符号化を
行い、ESを出力する。オーディオエンコーダ102
は、ディジタル信号に変換された音情報の情報量圧縮と
符号化を行い、ESを出力する。付加データ生成手段1
03は、外部からシリアル通信などによって受け取った
付加データをバッファリングしてESとして出力した
り、付加データ生成手段内部で映像情報、音情報に合わ
せたデータを生成し、ESとして出力する。フレーム境
界検出手段104a、104b、104cは、ESの内
部に含まれるフレームの境界を表すヘッダデータを検出
することによってCPU107に対してフレームの境界
を検出したことをCPUバスを介して通知する。また、
フレーム境界の検出は、予めフレーム境界検出手段10
4a、104b、104cにCPU107が設定してお
いたバイト数分のESがメモリへ書き込みまれたことを
検出することでも行える。バケット検出手段105a、
105b、105cは、TSパケットのバイト数188
バイトからTSパケットヘッダのバイト数4バイトを引
いた184バイトのバイト数カウンタであり、184バ
イト分のESがメモリに書き込まれたことをCPUバス
を介してCPU107へ通知する。
態を図面を参照して説明する。図1は、本発明の実施の
形態1におけるデータ多重化装置のブロック構成図であ
る。図1において、ビデオエンコーダ101は、ディジ
タル信号に変換された画像情報の情報量圧縮と符号化を
行い、ESを出力する。オーディオエンコーダ102
は、ディジタル信号に変換された音情報の情報量圧縮と
符号化を行い、ESを出力する。付加データ生成手段1
03は、外部からシリアル通信などによって受け取った
付加データをバッファリングしてESとして出力した
り、付加データ生成手段内部で映像情報、音情報に合わ
せたデータを生成し、ESとして出力する。フレーム境
界検出手段104a、104b、104cは、ESの内
部に含まれるフレームの境界を表すヘッダデータを検出
することによってCPU107に対してフレームの境界
を検出したことをCPUバスを介して通知する。また、
フレーム境界の検出は、予めフレーム境界検出手段10
4a、104b、104cにCPU107が設定してお
いたバイト数分のESがメモリへ書き込みまれたことを
検出することでも行える。バケット検出手段105a、
105b、105cは、TSパケットのバイト数188
バイトからTSパケットヘッダのバイト数4バイトを引
いた184バイトのバイト数カウンタであり、184バ
イト分のESがメモリに書き込まれたことをCPUバス
を介してCPU107へ通知する。
【0029】メモリ106a、106b、106cは、
ビデオエンコーダ101、オーディオエンコーダ10
2、付加データ生成手段103が出力するESとCPU
107が生成し、CPUバスを介して書き込まれるPE
Sパケットヘッダ、TSパケットヘッダ、スタッフィン
グバイトを格納し、メモリ106a、106b、106
cにTSパケットが生成される。CPU107は、フレ
ームの境界検出時にスタッフィングバイトとPESパケ
ットヘッダを生成し、メモリに書き込み、また、パケッ
トの境界検出時にTSパケットヘッダを生成し、メモリ
に書き込む。さらに、生成したTSパケット数を管理
し、予め設定されるデータ送出レートに従って、多重化
を行うTSパケットの種類と順番を決定し、スイッチ回
路111を制御する。ROM108は、CPU107の
プログラムを格納する。RAM109は、CPU107
の処理にかかわる制御用データを格納する。バッファメ
モリ110a、110b、110cは、生成したTSパ
ケットをバッファリングする。スイッチ回路111は、
CPU107が計画した多重化計画に従って、バッファ
メモリ110a、110b、110cから出力される画
像データ、音データおよび付加データの各TSパケット
を選択し、FIFOメモリ112に出力する。FIFO
メモリ112は通信回線などの外部からの要求に従って
TSを出力する。
ビデオエンコーダ101、オーディオエンコーダ10
2、付加データ生成手段103が出力するESとCPU
107が生成し、CPUバスを介して書き込まれるPE
Sパケットヘッダ、TSパケットヘッダ、スタッフィン
グバイトを格納し、メモリ106a、106b、106
cにTSパケットが生成される。CPU107は、フレ
ームの境界検出時にスタッフィングバイトとPESパケ
ットヘッダを生成し、メモリに書き込み、また、パケッ
トの境界検出時にTSパケットヘッダを生成し、メモリ
に書き込む。さらに、生成したTSパケット数を管理
し、予め設定されるデータ送出レートに従って、多重化
を行うTSパケットの種類と順番を決定し、スイッチ回
路111を制御する。ROM108は、CPU107の
プログラムを格納する。RAM109は、CPU107
の処理にかかわる制御用データを格納する。バッファメ
モリ110a、110b、110cは、生成したTSパ
ケットをバッファリングする。スイッチ回路111は、
CPU107が計画した多重化計画に従って、バッファ
メモリ110a、110b、110cから出力される画
像データ、音データおよび付加データの各TSパケット
を選択し、FIFOメモリ112に出力する。FIFO
メモリ112は通信回線などの外部からの要求に従って
TSを出力する。
【0030】次に、上記実施の形態1の動作について説
明する。ディジタル信号に変換された画像情報は、ビデ
オエンコーダ101で情報量圧縮、符号化が行われ、E
Sとして出力される。ディジタル信号に変換された音情
報は、オーディオエンコーダ102で情報量圧縮、符号
化が行われ、ESとして出力される。字幕データや静止
画データ、通信システムなどに用いられる相手側端末の
制御データなどは、装置外部で生成されたものを付加デ
ータ生成手段103がシリアル通信などにより受信し、
ESとして出力するか、付加データ生成手段103の内
部で生成し、ESとして出力する。画像データ、音デー
タおよび付加データの各ESは、メモリ106a、10
6b、106cへ書き込まれる。
明する。ディジタル信号に変換された画像情報は、ビデ
オエンコーダ101で情報量圧縮、符号化が行われ、E
Sとして出力される。ディジタル信号に変換された音情
報は、オーディオエンコーダ102で情報量圧縮、符号
化が行われ、ESとして出力される。字幕データや静止
画データ、通信システムなどに用いられる相手側端末の
制御データなどは、装置外部で生成されたものを付加デ
ータ生成手段103がシリアル通信などにより受信し、
ESとして出力するか、付加データ生成手段103の内
部で生成し、ESとして出力する。画像データ、音デー
タおよび付加データの各ESは、メモリ106a、10
6b、106cへ書き込まれる。
【0031】図11に本発明の実施の形態1におけるメ
モリ内のデータ構成を示す。図11(a)はPESの先
頭バイトを含むTSパケット、図11(b)はPESの
途中のバイトを含むTSパケット、図11(c)はPE
Sの最終バイトを含むTSパケットのメモリ格納状態を
示している。まず、メモリ106a、106b、106
cへ各ESが書き込まれるとき、フレーム境界検出手段
104a、104b、104cにおいてフレームの境界
を検出する。フレームの境界検出は、フレームヘッダの
検出により行い、CPU107へ通知する。フレームの
検出は、CPUが予め設定したバイト数によっても行う
ことが可能であり、メモリ106a、106b、106
cに対して、設定したバイト数のESの書き込みがあっ
た時点で、境界検出をCPU107へ通知する。
モリ内のデータ構成を示す。図11(a)はPESの先
頭バイトを含むTSパケット、図11(b)はPESの
途中のバイトを含むTSパケット、図11(c)はPE
Sの最終バイトを含むTSパケットのメモリ格納状態を
示している。まず、メモリ106a、106b、106
cへ各ESが書き込まれるとき、フレーム境界検出手段
104a、104b、104cにおいてフレームの境界
を検出する。フレームの境界検出は、フレームヘッダの
検出により行い、CPU107へ通知する。フレームの
検出は、CPUが予め設定したバイト数によっても行う
ことが可能であり、メモリ106a、106b、106
cに対して、設定したバイト数のESの書き込みがあっ
た時点で、境界検出をCPU107へ通知する。
【0032】次に、CPU107は、ESの先頭の処理
においてはそれ以前に入力されたデータがないので、図
11(a)に示すTSパケットを生成すべく、PESパ
ケットヘッダ生成し、メモリへの書き込みを行う。ES
の先頭以外の処理においては、図11(c)に示すよう
にPESの最終バイトを含むTSパケットを生成する。
184バイトに足りない分のスタッフィングバイトとT
Sパケットヘッダを生成し、メモリへの書き込みを行
う。そして、図11(a)に示すPESの先頭バイトを
含むTSパケットを生成するために、PESパケットヘ
ッダの書き込みを行う。生成が完了したPESの最終バ
イトを含むTSパケットは、直ちにバッファメモリ11
0a、110b、110cへ転送される。
においてはそれ以前に入力されたデータがないので、図
11(a)に示すTSパケットを生成すべく、PESパ
ケットヘッダ生成し、メモリへの書き込みを行う。ES
の先頭以外の処理においては、図11(c)に示すよう
にPESの最終バイトを含むTSパケットを生成する。
184バイトに足りない分のスタッフィングバイトとT
Sパケットヘッダを生成し、メモリへの書き込みを行
う。そして、図11(a)に示すPESの先頭バイトを
含むTSパケットを生成するために、PESパケットヘ
ッダの書き込みを行う。生成が完了したPESの最終バ
イトを含むTSパケットは、直ちにバッファメモリ11
0a、110b、110cへ転送される。
【0033】次に、TSパケットの境界検出手段105
a、105b、105cによってTSパケットの境界検
出が行われる。TSパケットの境界検出は、メモリに格
納されたバイト数がPESパケットヘッダとESを合わ
せて184バイトになったことを検出することで行わ
れ、CPU107によって、図11aのTSパケットを
生成すべく、TSパケットヘッダ生成とメモリへの書き
込みが行われる。生成が完了したPESの先頭バイトを
含むTSパケットは、直ちにバッファメモリ110a、
110b、110cへ転送される。
a、105b、105cによってTSパケットの境界検
出が行われる。TSパケットの境界検出は、メモリに格
納されたバイト数がPESパケットヘッダとESを合わ
せて184バイトになったことを検出することで行わ
れ、CPU107によって、図11aのTSパケットを
生成すべく、TSパケットヘッダ生成とメモリへの書き
込みが行われる。生成が完了したPESの先頭バイトを
含むTSパケットは、直ちにバッファメモリ110a、
110b、110cへ転送される。
【0034】次に、メモリへのESの書き込みが184
バイトに達したことでTSパケットの境界検出を行う。
CPU107は、図13(b)に示すPESパケットの
先頭および最終バイトを含まないTSパケットを生成す
べく、TSパケットヘッダの生成、メモリへの書き込み
を行う。生成が完了したTSパケットは、直ちに110
a、110b、110cへ転送される。
バイトに達したことでTSパケットの境界検出を行う。
CPU107は、図13(b)に示すPESパケットの
先頭および最終バイトを含まないTSパケットを生成す
べく、TSパケットヘッダの生成、メモリへの書き込み
を行う。生成が完了したTSパケットは、直ちに110
a、110b、110cへ転送される。
【0035】メモリがシングルポートかつシングルバン
ク構成である場合は、CPU107からメモリへの書き
込みが行われている間、ESの書き込みを停止する。メ
モリがデュアルポートまたは、ダブルバンク構成である
場合はESの書き込みは停止する必要はない。また、T
Sパケットのバッファメモリへの転送はCPU107の
制御により行い、生成したTSパケット数を管理する。
ク構成である場合は、CPU107からメモリへの書き
込みが行われている間、ESの書き込みを停止する。メ
モリがデュアルポートまたは、ダブルバンク構成である
場合はESの書き込みは停止する必要はない。また、T
Sパケットのバッファメモリへの転送はCPU107の
制御により行い、生成したTSパケット数を管理する。
【0036】CPU107は、外部から設定され予めR
AM109へ取り込んであるTS送出レートと、生成し
たTSパケット数により多重化するTSパケットの種類
と順番を計画する。CPU107は、多重化処理の計画
に従って、スイッチ回路111を制御し、バッファメモ
リ110a、110b、110cから出力されるTSパ
ケットの多重化を行い、FIFOメモリ112へ出力す
る。FIFOメモリ112は、通信回線などの外部から
の要求に従ってTSを出力する。
AM109へ取り込んであるTS送出レートと、生成し
たTSパケット数により多重化するTSパケットの種類
と順番を計画する。CPU107は、多重化処理の計画
に従って、スイッチ回路111を制御し、バッファメモ
リ110a、110b、110cから出力されるTSパ
ケットの多重化を行い、FIFOメモリ112へ出力す
る。FIFOメモリ112は、通信回線などの外部から
の要求に従ってTSを出力する。
【0037】以上のように、本発明の実施の形態1で
は、画像データ、音データおよび付加データの各ES
は、入力された時点でフレームの境界検出、TSパケッ
トの境界検出が行われ、順次TSパケット化されるた
め、各ESを1フレーム分、格納するためのメモリ容量
を削減することができる。削減できる1フレーム分のメ
モリ容量は最も多いビデオのESの場合で、約1.8M
ビットである。また、多重化処理を開始させるのに、E
Sが1フレーム分、入力されるのを待つ必要がなくなる
ため、ESが入力されてから多重化処理開始までの遅延
時間を短くすることが可能となる。
は、画像データ、音データおよび付加データの各ES
は、入力された時点でフレームの境界検出、TSパケッ
トの境界検出が行われ、順次TSパケット化されるた
め、各ESを1フレーム分、格納するためのメモリ容量
を削減することができる。削減できる1フレーム分のメ
モリ容量は最も多いビデオのESの場合で、約1.8M
ビットである。また、多重化処理を開始させるのに、E
Sが1フレーム分、入力されるのを待つ必要がなくなる
ため、ESが入力されてから多重化処理開始までの遅延
時間を短くすることが可能となる。
【0038】(実施の形態2)図2は、本発明の実施の
形態2のデータ多重化装置のブロック構成図である。図
2において、CPU207は、フレームの境界検出時の
みスタッフィングバイトとPESパケットヘッダ、TS
パケットヘッダを生成し、メモリに書き込み、生成した
TSパケット数を管理し、予め設定されるデータ送出レ
ートに従って、多重化を行うTSパケットの種類と順番
を決定し、スイッチ回路111を制御する。TSパケッ
トカウンタ値多重化手段205a、205b、205c
は、メモリ206a、206b、206c内で生成され
たTSパケットをバッファメモリ210a、210b、
210cへそれぞれ格納する際に、画像データ、音デー
タおよび付加データの各TSパケット数をカウントし、
カウンタ値をTSパケットヘッダ内の巡回カウンタ値に
上書き多重する。その他の構成要素は、実施の形態1に
記載したとおりである。
形態2のデータ多重化装置のブロック構成図である。図
2において、CPU207は、フレームの境界検出時の
みスタッフィングバイトとPESパケットヘッダ、TS
パケットヘッダを生成し、メモリに書き込み、生成した
TSパケット数を管理し、予め設定されるデータ送出レ
ートに従って、多重化を行うTSパケットの種類と順番
を決定し、スイッチ回路111を制御する。TSパケッ
トカウンタ値多重化手段205a、205b、205c
は、メモリ206a、206b、206c内で生成され
たTSパケットをバッファメモリ210a、210b、
210cへそれぞれ格納する際に、画像データ、音デー
タおよび付加データの各TSパケット数をカウントし、
カウンタ値をTSパケットヘッダ内の巡回カウンタ値に
上書き多重する。その他の構成要素は、実施の形態1に
記載したとおりである。
【0039】次に、上記実施の形態2の動作について説
明する。図12に本実施の形態2におけるメモリ内のデ
ータ領域を示す。データ多重化処理を開始する前に、C
PU207は、メモリ内のTSパケットヘッダ初期化領
域にPESの途中のバイトを含むTSパケットのヘッダ
データを書き込む。実施の形態1と同様に、画像デー
タ、音データおよび付加データの各ESは、メモリ20
6a、206b、206cへ書き込まれる。メモリ20
6a、206b、206cへ各ESが書き込まれると
き、フレーム境界検出手段204a、204b、204
cにおいてフレームの境界を検出し、CPU207へ通
知する。
明する。図12に本実施の形態2におけるメモリ内のデ
ータ領域を示す。データ多重化処理を開始する前に、C
PU207は、メモリ内のTSパケットヘッダ初期化領
域にPESの途中のバイトを含むTSパケットのヘッダ
データを書き込む。実施の形態1と同様に、画像デー
タ、音データおよび付加データの各ESは、メモリ20
6a、206b、206cへ書き込まれる。メモリ20
6a、206b、206cへ各ESが書き込まれると
き、フレーム境界検出手段204a、204b、204
cにおいてフレームの境界を検出し、CPU207へ通
知する。
【0040】CPU207は、フレームの境界検出の通
知を受けると、ESの先頭の処理においてはそれ以前に
入力されたデータがないので、図11(a)に示すTS
パケットを生成すべく、PESパケットヘッダを生成
し、メモリへの書き込みを行う。ESの先頭以外の処理
においては、図11(c)に示すように、184バイト
に足りない分のスタッフィングバイトとTSパケットヘ
ッダを生成し、メモリへの書き込みを行ってから、図1
1(a)に示すPESの先頭バイトを含むTSパケット
を生成するために、PESパケットヘッダの生成とメモ
リへの書き込みを行う。PESの最終バイトを含むTS
パケットヘッダの書き込みは、図12に示すTSパケッ
トヘッダ編集領域に対して行う。生成が完了したPES
の最終バイトを含むTSパケットは、直ちにバッファメ
モリ210a、210b、210cへ転送される。
知を受けると、ESの先頭の処理においてはそれ以前に
入力されたデータがないので、図11(a)に示すTS
パケットを生成すべく、PESパケットヘッダを生成
し、メモリへの書き込みを行う。ESの先頭以外の処理
においては、図11(c)に示すように、184バイト
に足りない分のスタッフィングバイトとTSパケットヘ
ッダを生成し、メモリへの書き込みを行ってから、図1
1(a)に示すPESの先頭バイトを含むTSパケット
を生成するために、PESパケットヘッダの生成とメモ
リへの書き込みを行う。PESの最終バイトを含むTS
パケットヘッダの書き込みは、図12に示すTSパケッ
トヘッダ編集領域に対して行う。生成が完了したPES
の最終バイトを含むTSパケットは、直ちにバッファメ
モリ210a、210b、210cへ転送される。
【0041】次に、フレーム境界検出手段204a、2
04b、204cは、メモリに格納されたバイト数がP
ESパケットヘッダとESを合わせて184バイトにな
ったことを検出し、CPU207に通知する。CPU2
07は、PESの先頭バイトを含むTSパケットを生成
すべく、TSパケットヘッダの生成とメモリへの書き込
みを行う。PESの先頭バイトを含むTSパケットヘッ
ダの書き込みは、図12に示すTSパケットヘッダ編集
領域に行う。
04b、204cは、メモリに格納されたバイト数がP
ESパケットヘッダとESを合わせて184バイトにな
ったことを検出し、CPU207に通知する。CPU2
07は、PESの先頭バイトを含むTSパケットを生成
すべく、TSパケットヘッダの生成とメモリへの書き込
みを行う。PESの先頭バイトを含むTSパケットヘッ
ダの書き込みは、図12に示すTSパケットヘッダ編集
領域に行う。
【0042】以降は、次のフレームの境界が検出される
まで、メモリへのESの書き込みが184バイトに達し
た時点で図11(b)に示すTSパケットを自動的にバ
ッファメモリ210a、210b、210cへ転送す
る。このとき転送されるTSパケットヘッダは予めTS
パケットヘッダ初期化領域に設定されたデータである。
つまり、CPU207は、PESの先頭バイトおよび最
終バイトを含むTSパケットが発生するときのみ、スタ
ッフィングバイト、PESパケットヘッダ、TSパケッ
トヘッダを生成し、メモリへの書き込みを行う。PES
の途中のバイトを含むTSパケットの生成は、CPU2
07を介さず自動的に行われる。
まで、メモリへのESの書き込みが184バイトに達し
た時点で図11(b)に示すTSパケットを自動的にバ
ッファメモリ210a、210b、210cへ転送す
る。このとき転送されるTSパケットヘッダは予めTS
パケットヘッダ初期化領域に設定されたデータである。
つまり、CPU207は、PESの先頭バイトおよび最
終バイトを含むTSパケットが発生するときのみ、スタ
ッフィングバイト、PESパケットヘッダ、TSパケッ
トヘッダを生成し、メモリへの書き込みを行う。PES
の途中のバイトを含むTSパケットの生成は、CPU2
07を介さず自動的に行われる。
【0043】TSパケットがバッファメモリに転送され
るとき、TSパケットカウンタ値多重化手段205a、
205b、205cは、転送される画像データ、音デー
タおよび付加データの各TSパケット数をカウントし、
カウンタ値をTSパケットヘッダ内の巡回カウンタ値を
更新すべく上書き多重する。TSパケットヘッダ内の巡
回カウンタ値の位置は図13に示した通りである。この
値は同じ種類のデータパケットの連続性を示すものであ
り、パケットが発生するごと必ず更新されるべき値であ
る。
るとき、TSパケットカウンタ値多重化手段205a、
205b、205cは、転送される画像データ、音デー
タおよび付加データの各TSパケット数をカウントし、
カウンタ値をTSパケットヘッダ内の巡回カウンタ値を
更新すべく上書き多重する。TSパケットヘッダ内の巡
回カウンタ値の位置は図13に示した通りである。この
値は同じ種類のデータパケットの連続性を示すものであ
り、パケットが発生するごと必ず更新されるべき値であ
る。
【0044】CPU207は、外部から設定され予めR
AM209へ取り込んであるTS送出レートと生成した
TSパケット数により多重化するTSパケットの種類と
順番を計画し、多重化処理の計画に従って、スイッチ回
路211を制御してTSパケットの多重化を行い、FI
FOメモリ212へ出力する。FIFOメモリ212は
通信回線などの外部からの要求に従ってTSを出力す
る。
AM209へ取り込んであるTS送出レートと生成した
TSパケット数により多重化するTSパケットの種類と
順番を計画し、多重化処理の計画に従って、スイッチ回
路211を制御してTSパケットの多重化を行い、FI
FOメモリ212へ出力する。FIFOメモリ212は
通信回線などの外部からの要求に従ってTSを出力す
る。
【0045】以上のように、本発明の実施の形態2で
は、画像データ、音データおよび付加データの各ESを
1フレーム分、格納するためのメモリ容量を削減するこ
とができる。また、ESが入力されてから多重化処理開
始までの遅延時間を短くすることが可能となる。さら
に、TSパケット生成におけるCPUの処理はフレーム
の境界検出時のみであり、フレームの境界以外の、PE
Sの途中のバイトを含むTSパケットの生成に対して
は、ヘッダの生成、多重化を行わない。このためESの
符号化レートが高くなっても、PESパケットの数が増
加しなければCPUの負荷は増加しないので、高符号化
レートのデータ多重化処理が可能になる。
は、画像データ、音データおよび付加データの各ESを
1フレーム分、格納するためのメモリ容量を削減するこ
とができる。また、ESが入力されてから多重化処理開
始までの遅延時間を短くすることが可能となる。さら
に、TSパケット生成におけるCPUの処理はフレーム
の境界検出時のみであり、フレームの境界以外の、PE
Sの途中のバイトを含むTSパケットの生成に対して
は、ヘッダの生成、多重化を行わない。このためESの
符号化レートが高くなっても、PESパケットの数が増
加しなければCPUの負荷は増加しないので、高符号化
レートのデータ多重化処理が可能になる。
【0046】(実施の形態3)図3は、本発明の実施の
形態3のデータ符号化装置のブロック構成図である。図
3において、画像信号入力部301は、例えばカメラな
どからの画像信号を入力する回路である。音信号入力部
302は、例えばマイクロホンなどからの音信号を入力
する回路である。シリアルインタフェース303は、例
えばRS―232Cなどのシリアルデータを受信し、信
号レベルの変換などを行う。A/D変換器304a、3
04bは、アナログの画像信号、音信号をディジタルデ
ータに変換する。
形態3のデータ符号化装置のブロック構成図である。図
3において、画像信号入力部301は、例えばカメラな
どからの画像信号を入力する回路である。音信号入力部
302は、例えばマイクロホンなどからの音信号を入力
する回路である。シリアルインタフェース303は、例
えばRS―232Cなどのシリアルデータを受信し、信
号レベルの変換などを行う。A/D変換器304a、3
04bは、アナログの画像信号、音信号をディジタルデ
ータに変換する。
【0047】ビデオエンコーダ305は、図4に示すよ
うに、加算回路401、DCT回路402、量子化回路
403、逆量子化回路404、逆DCT回路405、加
算回路406、フレームメモリ回路407、可変長符号
化回路408、ビットレート制御回路409、可変長バ
ッファ410から構成され、入力される画像データをM
PEG2方式により情報量圧縮、符号化し、ビデオES
を生成し、データ多重化部308へ出力する。
うに、加算回路401、DCT回路402、量子化回路
403、逆量子化回路404、逆DCT回路405、加
算回路406、フレームメモリ回路407、可変長符号
化回路408、ビットレート制御回路409、可変長バ
ッファ410から構成され、入力される画像データをM
PEG2方式により情報量圧縮、符号化し、ビデオES
を生成し、データ多重化部308へ出力する。
【0048】オーディオエンコーダ306は、図5に示
すように、サブバンド分析フィルタバンク501、線形
量子化回路502、ビット圧縮回路503、FFT(fa
st fourier trasfer)回路504、心理聴覚モデル50
5、動的ビット割り当て回路506、スケールファクタ
選択情報記憶回路507、スケールファクタ抽出回路5
08、サイド情報符号化回路509およびビットストリ
ーム生成回路510から構成され、入力される音データ
をMPEG2方式により情報量圧縮、符号化し、オーデ
ィオESを生成し、データ多重化部308へ出力する。
すように、サブバンド分析フィルタバンク501、線形
量子化回路502、ビット圧縮回路503、FFT(fa
st fourier trasfer)回路504、心理聴覚モデル50
5、動的ビット割り当て回路506、スケールファクタ
選択情報記憶回路507、スケールファクタ抽出回路5
08、サイド情報符号化回路509およびビットストリ
ーム生成回路510から構成され、入力される音データ
をMPEG2方式により情報量圧縮、符号化し、オーデ
ィオESを生成し、データ多重化部308へ出力する。
【0049】付加データ生成部307は、外部で生成さ
れ、シリアルインタフェース303を介して受信した付
加データをバッファリングし、付加データESとしてデ
ータ多重化部308へ出力する。また、付加データ生成
部307内部で生成したデータストリームを付加データ
ESとして出力する場合もある。
れ、シリアルインタフェース303を介して受信した付
加データをバッファリングし、付加データESとしてデ
ータ多重化部308へ出力する。また、付加データ生成
部307内部で生成したデータストリームを付加データ
ESとして出力する場合もある。
【0050】データ多重化部308は、実施の形態1ま
たは実施の形態2で示したように、画像データ、音デー
タおよび付加データの各ESをPESパケット化、TS
パケット化し、予め設定される送出ビットレートに従っ
てTSパケットを多重化し、通信回線などからの要求に
従ってTSを外部へ出力する。
たは実施の形態2で示したように、画像データ、音デー
タおよび付加データの各ESをPESパケット化、TS
パケット化し、予め設定される送出ビットレートに従っ
てTSパケットを多重化し、通信回線などからの要求に
従ってTSを外部へ出力する。
【0051】本発明の実施の形態3では、データ多重化
部を実施の形態1に記載した構成とすることにより、画
像データ、音データおよび付加データのESをパケット
化し多重化する処理を低遅延化し、符号化の処理時間の
短いデータ符号化装置を実現することができる。また、
データ多重化部を実施の形態2に記載した構成とするこ
とにより、符号化の処理時間が短く、かつ、符号化レー
トの高いデータの送出が可能なデータ符号化装置を実現
することができる。
部を実施の形態1に記載した構成とすることにより、画
像データ、音データおよび付加データのESをパケット
化し多重化する処理を低遅延化し、符号化の処理時間の
短いデータ符号化装置を実現することができる。また、
データ多重化部を実施の形態2に記載した構成とするこ
とにより、符号化の処理時間が短く、かつ、符号化レー
トの高いデータの送出が可能なデータ符号化装置を実現
することができる。
【0052】(実施の形態4)図6は、本発明の実施の
形態4のデータ復号化装置のブロック構成図である。図
6において、データ分離部601は、実施の形態1また
は実施の形態2に記載した方法で多重化されている画像
データ、音データおよび付加データを分離する。図7は
データ分離部601のブロック構成図を示す。PIDフ
ィルタ701は、TSパケットヘッダ内のPIDの値が
同じTSパケットを振り分けることにより、多重化され
ている画像データ、音データおよび付加データの各TS
パケットを分離する。データフォーマッタ702a、7
02b、702cは、分離されたTSパケットからES
を抽出する。ESバッファ703a、703b、703
cは、画像データ、音データおよび付加データのESを
バッファリングし、後段の各デコーダへ出力する。
形態4のデータ復号化装置のブロック構成図である。図
6において、データ分離部601は、実施の形態1また
は実施の形態2に記載した方法で多重化されている画像
データ、音データおよび付加データを分離する。図7は
データ分離部601のブロック構成図を示す。PIDフ
ィルタ701は、TSパケットヘッダ内のPIDの値が
同じTSパケットを振り分けることにより、多重化され
ている画像データ、音データおよび付加データの各TS
パケットを分離する。データフォーマッタ702a、7
02b、702cは、分離されたTSパケットからES
を抽出する。ESバッファ703a、703b、703
cは、画像データ、音データおよび付加データのESを
バッファリングし、後段の各デコーダへ出力する。
【0053】ビデオデコーダ602は、図8に示すよう
に、可変長復号バッファ(VLDバッファ)801、可
変長復号回路(VLD)802、逆量子化回路803、
逆DCT回路804、加算回路805、動き補償回路8
06、フレームメモリ807、フォーマット変換回路8
08から構成され、入力される画像データのESをMP
EG2方式により復号化し、画像データをD/A変換器
605aへ出力する。
に、可変長復号バッファ(VLDバッファ)801、可
変長復号回路(VLD)802、逆量子化回路803、
逆DCT回路804、加算回路805、動き補償回路8
06、フレームメモリ807、フォーマット変換回路8
08から構成され、入力される画像データのESをMP
EG2方式により復号化し、画像データをD/A変換器
605aへ出力する。
【0054】オーディオデコーダ603は、図9に示す
ように、ビットストリーム分解誤り検出回路901、逆
量子化回路902、サブバンド合成フィルタバンク90
3、サイド情報復号回路904から構成され、入力され
る音データのESをMPEG2方式により復号化し、音
データをD/A変換器605bへ出力する。
ように、ビットストリーム分解誤り検出回路901、逆
量子化回路902、サブバンド合成フィルタバンク90
3、サイド情報復号回路904から構成され、入力され
る音データのESをMPEG2方式により復号化し、音
データをD/A変換器605bへ出力する。
【0055】付加データデコーダ604は、入力される
付加データのESを復号化し、復号した画像データに加
算、または復号化せずにシリアルインタフェース608
へ出力する。
付加データのESを復号化し、復号した画像データに加
算、または復号化せずにシリアルインタフェース608
へ出力する。
【0056】D/A変換器605a、605bは、復号
化されたディジタルの画像データ、音データをアナログ
信号に変換する。画像出力部606は、例えばモニタな
どに対して画像信号を出力する。音信号出力部607
は、例えばスピーカなどに音信号を出力する。シリアル
インタフェース608は、送信データを例えばRS−2
32Cなどのシリアルデータに信号のレベル変換を行
い、送信する。
化されたディジタルの画像データ、音データをアナログ
信号に変換する。画像出力部606は、例えばモニタな
どに対して画像信号を出力する。音信号出力部607
は、例えばスピーカなどに音信号を出力する。シリアル
インタフェース608は、送信データを例えばRS−2
32Cなどのシリアルデータに信号のレベル変換を行
い、送信する。
【0057】本発明の実施の形態4では、実施の形態1
または実施の形態2に記載した方法でデータ多重化され
た画像データ、音データおよび付加データを分離するこ
とができるため、TSを受けて、画像データ、音データ
および付加データをそれぞれ復号、再生することが可能
なデータ復号化装置を実現できる。
または実施の形態2に記載した方法でデータ多重化され
た画像データ、音データおよび付加データを分離するこ
とができるため、TSを受けて、画像データ、音データ
および付加データをそれぞれ復号、再生することが可能
なデータ復号化装置を実現できる。
【0058】(実施の形態5)図10は、本発明の実施
の形態5のデータ通信装置のブロック構成図であり、実
施の形態3のデータ符号化装置と実施の形態4のデータ
復号化装置を応用したものである。図10において、カ
メラ1001は、画像信号を出力する。マイクロホン1
002は、音信号を出力する。文字データ生成装置10
03は、画像や音声に合わせた文字データを生成し、出
力する。データ符号化部1004は、実施の形態3に記
載したデータ符号化装置であり、入力される画像信号、
音信号、付加データとしての文字データを情報量圧縮、
符号化し、データ多重化を行い、TSを出力する。誤り
訂正符号化部1005は、伝送路上での誤りを受信側で
検出、訂正するための符号化回路である。伝送路符号化
部1006は、伝送フレームを構成する回路である。デ
ータ伝送部1007は、送信バッファなどで構成される
送信回路である。
の形態5のデータ通信装置のブロック構成図であり、実
施の形態3のデータ符号化装置と実施の形態4のデータ
復号化装置を応用したものである。図10において、カ
メラ1001は、画像信号を出力する。マイクロホン1
002は、音信号を出力する。文字データ生成装置10
03は、画像や音声に合わせた文字データを生成し、出
力する。データ符号化部1004は、実施の形態3に記
載したデータ符号化装置であり、入力される画像信号、
音信号、付加データとしての文字データを情報量圧縮、
符号化し、データ多重化を行い、TSを出力する。誤り
訂正符号化部1005は、伝送路上での誤りを受信側で
検出、訂正するための符号化回路である。伝送路符号化
部1006は、伝送フレームを構成する回路である。デ
ータ伝送部1007は、送信バッファなどで構成される
送信回路である。
【0059】伝送路1008は有線または無線の通信路
である。データ受信部1009は、受信バッファなどで
構成される受信回路である。伝送路復号化部1010
は、フレーム同期、データ抽出などを行う回路である。
誤り訂正復号化部1011は、伝送路上での誤りを検
出、訂正する回路である。データ復号化部1012は、
実施の形態4に記載したデータ復号化装置であり、多重
化されている画像データ、音データ、付加データとして
の文字データを分離し、それぞれを復号、再生し、出力
する。モニタ1013は、再生された画像を表示する。
スピーカ1014は、再生された音を出力する。
である。データ受信部1009は、受信バッファなどで
構成される受信回路である。伝送路復号化部1010
は、フレーム同期、データ抽出などを行う回路である。
誤り訂正復号化部1011は、伝送路上での誤りを検
出、訂正する回路である。データ復号化部1012は、
実施の形態4に記載したデータ復号化装置であり、多重
化されている画像データ、音データ、付加データとして
の文字データを分離し、それぞれを復号、再生し、出力
する。モニタ1013は、再生された画像を表示する。
スピーカ1014は、再生された音を出力する。
【0060】本発明の実施の形態5は、カメラやマイク
ロホン、データ生成装置などで生成する画像情報、音情
報および付加データを情報量圧縮、符号化し、実施の形
態1または、実施の形態2に記載した方法で多重化して
通信することにより、データ通信遅延が短く、かつ、高
符号化レートのデータ通信が可能となる。つまり、極め
てリアルタイム性の高い、高品質のマルチメディアデー
タ通信システムを実現できる。
ロホン、データ生成装置などで生成する画像情報、音情
報および付加データを情報量圧縮、符号化し、実施の形
態1または、実施の形態2に記載した方法で多重化して
通信することにより、データ通信遅延が短く、かつ、高
符号化レートのデータ通信が可能となる。つまり、極め
てリアルタイム性の高い、高品質のマルチメディアデー
タ通信システムを実現できる。
【0061】
【発明の効果】以上説明したように、本発明のデータ多
重化方法および装置によれば、入力される映像データ、
音データおよび付加データをメモリに格納するときに、
それぞれのフレームの境界とパケットの境界を検出し、
メモリ内のデータに対して、CPUバスを通じてフレー
ムの境界とパケットの境界にヘッダデータを書き込むこ
とでパケットデータを生成するとともに、パケット化し
た映像データ、音データおよび付加データをバッファリ
ングし、多重化処理の計画に従って映像データパケッ
ト、音データパケットおよび付加データパケットを多重
化して外部へ出力するので、1フレームに構成可能なパ
ケット数の計算とフレームの境界を検出するための計算
を行うための1フレーム分のESのバイト数を計数する
必要がなくなり、1フレーム分のESを格納するメモリ
を削減できる。また同時に、1フレーム分のデータ入力
を待たずにデータ多重化処理を開始でき、多重化処理開
始まで遅延時間を短くすることができるという効果が得
られる。
重化方法および装置によれば、入力される映像データ、
音データおよび付加データをメモリに格納するときに、
それぞれのフレームの境界とパケットの境界を検出し、
メモリ内のデータに対して、CPUバスを通じてフレー
ムの境界とパケットの境界にヘッダデータを書き込むこ
とでパケットデータを生成するとともに、パケット化し
た映像データ、音データおよび付加データをバッファリ
ングし、多重化処理の計画に従って映像データパケッ
ト、音データパケットおよび付加データパケットを多重
化して外部へ出力するので、1フレームに構成可能なパ
ケット数の計算とフレームの境界を検出するための計算
を行うための1フレーム分のESのバイト数を計数する
必要がなくなり、1フレーム分のESを格納するメモリ
を削減できる。また同時に、1フレーム分のデータ入力
を待たずにデータ多重化処理を開始でき、多重化処理開
始まで遅延時間を短くすることができるという効果が得
られる。
【0062】また、本発明の別のデータ多重化方法およ
び装置によれば、入力される映像データ、音データおよ
び付加データをメモリに格納するときに、それぞれのフ
レームの境界を検出し、メモリ内の映像データ、音デー
タおよび付加データに対してCPUバスを通じてフレー
ムの境界にヘッダデータを書き込むことでパケットデー
タを生成するとともに、フレームの境界以外のパケット
のヘッダデータは、パケット数のカウント値のみを更新
し、パケット化した映像データ、音データおよび付加デ
ータをバッファリングし、多重化処理の計画に従って映
像データパケット、音データパケットおよび付加データ
パケットを多重化して外部へ出力するので、CPUによ
るパケットヘッダの生成、パケットヘッダの多重化制御
がフレームの境界を検出したときのみ行われるため、C
PUの負荷を低減でき、従って、この構成においては、
上記効果に加え、さらに高符号化レートのデータ多重化
処理を行うことができるという効果を有する。
び装置によれば、入力される映像データ、音データおよ
び付加データをメモリに格納するときに、それぞれのフ
レームの境界を検出し、メモリ内の映像データ、音デー
タおよび付加データに対してCPUバスを通じてフレー
ムの境界にヘッダデータを書き込むことでパケットデー
タを生成するとともに、フレームの境界以外のパケット
のヘッダデータは、パケット数のカウント値のみを更新
し、パケット化した映像データ、音データおよび付加デ
ータをバッファリングし、多重化処理の計画に従って映
像データパケット、音データパケットおよび付加データ
パケットを多重化して外部へ出力するので、CPUによ
るパケットヘッダの生成、パケットヘッダの多重化制御
がフレームの境界を検出したときのみ行われるため、C
PUの負荷を低減でき、従って、この構成においては、
上記効果に加え、さらに高符号化レートのデータ多重化
処理を行うことができるという効果を有する。
【図1】本発明の実施の形態1のデータ多重化装置のブ
ロック構成図
ロック構成図
【図2】本発明の実施の形態2のデータ多重化装置のブ
ロック構成図
ロック構成図
【図3】本発明の実施の形態3のデータ符号化装置のブ
ロック構成図
ロック構成図
【図4】図3に示したビデオエンコーダのブロック構成
図
図
【図5】図3に示したオーディオエンコーダのブロック
構成図
構成図
【図6】本発明の実施の形態4のデータ復号化装置のブ
ロック構成図
ロック構成図
【図7】図6に示したデータ分離部のブロック構成図
【図8】図6に示したビデオデコーダのブロック構成図
【図9】図6に示したオーディオデコーダのブロック構
成図
成図
【図10】本発明の実施の形態5のデータ通信システム
のブロック構成図
のブロック構成図
【図11】本発明の実施の形態1におけるメモリ内のデ
ータ構成図
ータ構成図
【図12】本発明の実施の形態2におけるメモリ内のデ
ータ領域図
ータ領域図
【図13】ストリームの構造および相互関係を示すデー
タ構成図
タ構成図
【図14】従来のデータ多重化装置のブロック構成図
101 ビデオエンコーダ 102 オーディオエンコーダ 103 付加データ生成手段 104a フレーム境界検出手段 104b フレーム境界検出手段 104c フレーム境界検出手段 105a パケット境界検出手段 105b パケット境界検出手段 105c パケット境界検出手段 106a メモリ 106b メモリ 106c メモリ 107 CPU 108 ROM 109 RAM 110a バッファメモリ 110b バッファメモリ 110c バッファメモリ 111 スイッチ回路 112 FIFOメモリ 201 ビデオエンコーダ 202 オーディオエンコーダ 203 付加データ生成手段 204a フレーム境界検出手段 204b フレーム境界検出手段 204c フレーム境界検出手段 205a TSパケットカウンタ値多重化手段 205b TSパケットカウンタ値多重化手段 205c TSパケットカウンタ値多重化手段 206a メモリ 206b メモリ 206c メモリ 207 CPU 208 ROM 209 RAM 210a バッファメモリ 210b バッファメモリ 210c バッファメモリ 211 スイッチ回路 212 FIFOメモリ 301 画像信号入力部 302 音信号入力部 303 シリアルインタフェース 304a A/D変換器 304b A/D変換器 305 ビデオエンコーダ 306 オーディオエンコーダ 307 付加データ生成部 308 データ多重化部 601 データ分離部 602 ビデオデコーダ 603 オーディオデコーダ 604 付加データデコーダ 605a D/A変換器 605b D/A変換器 606 画像信号出力部 607 音信号出力部 608 シリアルインタフェース 1001 カメラ 1002 マイクロホン 1003 文字データ生成装置 1004 データ符号化部 1005 誤り訂正符号化部 1006 伝送路符号化部 1007 データ伝送部 1008 伝送路 1009 データ受信部 1010 伝送路復号化部 1011 誤り訂正復号化部 1012 データ復号化部 1013 モニタ 1014 スピーカ
Claims (16)
- 【請求項1】 複数の入力ラインを介して入力される映
像データ、音データおよび付加データのそれぞれのフレ
ームの境界とパケットの境界を検出し、入力された映像
データ、音データおよび付加データをメモリに格納する
とともに、検出したフレームの境界とパケットの境界を
CPUバスを通じて受け、メモリ内の映像データ、音デ
ータおよび付加データに対して、CPUバスを通じてフ
レームの境界とパケットの境界にヘッダデータを書き込
み、パケットデータを生成する処理と、パケット化した
映像データ、音データおよび付加データをバッファリン
グし、生成したパケット数により映像データパケット、
音データパケットおよび付加データパケットの多重化処
理を計画し、多重化処理の計画に従って映像データパケ
ット、音データパケットおよび付加データパケットを多
重化し、出力ラインを介して外部へ出力する処理とを含
むデータ多重化方法。 - 【請求項2】 入力される映像データ、音データおよび
付加データのフレームの境界を検出するフレーム境界検
出手段と、映像データ、音データおよび付加データのパ
ケットの境界を検出するパケット境界検出手段と、映像
データ、音データおよび付加データを格納するメモリ
と、フレームとパケットの境界を通知し、映像データ、
音データおよび付加データに対するヘッダデータを転送
するためのCPUバスと、パケット化した映像データ、
音データおよび付加データをバッファリングするバッフ
ァリング手段と、バッファリングした映像データ、音デ
ータおよび付加データのパケット数に基づいて多重化処
理を計画する多重化処理計画手段と、多重化処理計画手
段の計画に従って、バッファリングした映像データ、音
データおよび付加データを多重化処理する多重化処理手
段と、入力された映像データ、音データおよび付加デー
タそれぞれを前記メモリに供給する複数の入力ライン
と、多重化したデータストリームを外部に出力する出力
ラインとを備えたデータ多重化装置。 - 【請求項3】 複数の入力ラインを介して入力される映
像データ、音データおよび付加データのそれぞれのフレ
ームの境界を検出し、入力された映像データ、音データ
および付加データをメモリに格納するとともに、検出し
たフレームの境界をCPUバスを通じて受け、メモリ内
の映像データ、音データおよび付加データに対してCP
Uバスを通じてフレームの境界にヘッダデータを書き込
むことでパケットデータを生成する処理と、フレームの
境界以外のパケットのヘッダデータはパケット数のカウ
ント値のみを上書き多重し、更新する処理と、パケット
化した映像データ、音データおよび付加データをバッフ
ァリングし、CPUバスを通じてパケットカウント値を
受け、生成したパケット数により映像データパケット、
音データパケットおよび付加データパケットの多重化処
理を計画し、多重化処理の計画に従って映像データパケ
ット、音データパケットおよび付加データパケットを多
重化し、出力ラインを介して外部へ出力する処理とを含
むデータ多重化方法。 - 【請求項4】 入力される映像データ、音データおよび
付加データのフレームの境界を検出するフレーム境界検
出手段と、映像データ、音データおよび付加データを格
納するメモリと、フレームの境界を通知し、映像デー
タ、音データおよび付加データに対するヘッダデータ、
生成した映像データパケット数、音データパケット数、
付加データパケット数を転送するためのCPUバスと、
生成した映像データパケット数、音データパケット数、
付加データパケット数のカウント値をヘッダデータ中に
多重化するパケットカウンタ値多重化手段と、パケット
化した映像データ、音データおよび付加データをバッフ
ァリングするバッファリング手段と、バッファリングし
た映像データ、音データおよび付加データのパケット数
に基づいて多重化処理を計画する多重化処理計画手段
と、多重化処理計画手段の計画に従って、バッファリン
グした映像データ、音データおよび付加データを多重化
処理する多重化処理手段と、入力された映像データ、音
データおよび付加データそれぞれを前記メモリに供給す
る複数の入力ラインと、多重化したデータストリームを
外部に出力する出力ラインとを備えたデータ多重化装
置。 - 【請求項5】 入力される画像情報の情報量を圧縮、符
号化し、入力される音情報の情報量を圧縮、符号化し、
画像情報、音情報に付加するデータを外部から受信する
かまたは内部で生成し、符号化した画像データ、音デー
タおよび付加データを請求項1記載の方法でデータ多重
化し、符号を外部へ送出するデータ符号化方法。 - 【請求項6】 入力される画像情報を情報量圧縮、符号
化する画像情報圧縮符号化手段と、入力される音情報を
情報量圧縮、符号化する音情報圧縮符号化手段と、画像
情報、音情報に付加するデータを受信、生成する付加デ
ータ生成手段と、請求項2記載のデータ多重化装置とを
備えたデータ符号化装置。 - 【請求項7】 入力される画像情報の情報量を圧縮、符
号化し、入力される音情報の情報量を圧縮、符号化し、
画像情報、音情報に付加するデータを外部から受信する
かまたは内部で生成し、符号化した画像データ、音デー
タおよび付加データを請求項3記載の方法でデータ多重
化し、符号を外部へ送出するデータ符号化方法。 - 【請求項8】 入力される画像情報を情報量圧縮、符号
化する画像情報圧縮符号化手段と、入力される音情報を
情報量圧縮、符号化する音情報圧縮符号化手段と、画像
情報、音情報に付加するデータを受信、生成する付加デ
ータ生成手段と、請求項4記載のデータ多重化装置とを
備えたデータ符号化装置。 - 【請求項9】 画像データ、音データおよび付加データ
が請求項1に記載の方法で多重化されているデータスト
リームを受信し、受け取ったデータストリームから画像
データ、音データ、付加データを分離し、分離した画像
データ、音データおよび付加データを復号し、再生する
データ復号化方法。 - 【請求項10】 請求項1に記載の方法で多重化された
画像データ、音データおよび付加データを分離するデー
タ分離手段と、分離された画像データを復号、再生する
画像データ復号手段と、分離された音データを復号、再
生する音データ復号手段と、分離された付加データを復
号、再生する付加データ復号手段とを備えたデータ復号
化装置。 - 【請求項11】 画像データ、音データおよび付加デー
タが請求項3に記載の方法で多重化されているデータス
トリームを受信し、受け取ったデータストリームから画
像データ、音データ、付加データを分離し、分離した画
像データ、音データおよび付加データを復号し、再生す
るデータ復号化方法。 - 【請求項12】 請求項3に記載の方法で多重化された
画像データ、音データおよび付加データを分離するデー
タ分離手段と、分離された画像データを復号、再生する
画像データ復号手段と、分離された音データを復号、再
生する音データ復号手段と、分離された付加データを復
号、再生する付加データ復号手段とを備えたデータ復号
化装置。 - 【請求項13】 送信側は入力される画像情報、音情報
および付加データをそれぞれ情報量圧縮、符号化し、請
求項1に記載の方法で多重化して送出し、受信側は請求
項1に記載の方法で多重化された画像データ、音データ
および符号化データを分離し、それぞれを復号、再生す
るデータ通信方法。 - 【請求項14】 入力される画像情報、音情報および付
加データをそれぞれ情報量圧縮、符号化し、請求項1に
記載の方法で多重化するデータ符号化手段と、請求項2
に記載の装置で多重化された画像データ、音データおよ
び付加データをそれぞれ分離し、分離した画像データ、
音データおよび付加データを復号、再生するデータ復号
化手段とを備えたデータ通信装置。 - 【請求項15】 送信側は入力される画像情報、音情報
および付加データをそれぞれ情報量圧縮、符号化し、請
求項3に記載の方法で多重化して送出し、受信側は請求
項3に記載の方法で多重化された画像データ、音データ
および符号化データを分離し、それぞれを復号、再生す
るデータ通信方法。 - 【請求項16】 入力される画像情報、音情報および付
加データをそれぞれ情報量圧縮、符号化し、請求項3に
記載の方法で多重化するデータ符号化手段と、請求項3
に記載の方法で多重化された画像データ、音データおよ
び付加データをそれぞれ分離し、分離した画像データ、
音データおよび付加データを復号、再生するデータ復号
化手段とを備えたデータ通信装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23335398A JP2000069081A (ja) | 1998-08-19 | 1998-08-19 | データ多重化方法および装置とその関連方法および装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23335398A JP2000069081A (ja) | 1998-08-19 | 1998-08-19 | データ多重化方法および装置とその関連方法および装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2000069081A true JP2000069081A (ja) | 2000-03-03 |
Family
ID=16953829
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP23335398A Pending JP2000069081A (ja) | 1998-08-19 | 1998-08-19 | データ多重化方法および装置とその関連方法および装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2000069081A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100793766B1 (ko) * | 2001-06-11 | 2008-01-10 | 엘지전자 주식회사 | 디지털 전송 시스템 및 방법 |
JP2010233051A (ja) * | 2009-03-27 | 2010-10-14 | Mitsubishi Electric Corp | マルチメディア送信装置 |
-
1998
- 1998-08-19 JP JP23335398A patent/JP2000069081A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100793766B1 (ko) * | 2001-06-11 | 2008-01-10 | 엘지전자 주식회사 | 디지털 전송 시스템 및 방법 |
JP2010233051A (ja) * | 2009-03-27 | 2010-10-14 | Mitsubishi Electric Corp | マルチメディア送信装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP0634870B1 (en) | Synchronizing method for time division multiplexed video and audio signals | |
KR100226528B1 (ko) | 다중화 압축화상/음성데이타의 복호장치 | |
US6157674A (en) | Audio and video data transmitting apparatus, system, and method thereof | |
JP4038996B2 (ja) | 信号処理装置および信号処理方法 | |
JPH11340938A (ja) | データ多重化装置及び方法 | |
US5974223A (en) | Method of and apparatus for data recording, method of and apparatus for data reproduction, recording medium, and method of and apparatus for data transmission | |
US6754239B2 (en) | Multiplexing apparatus and method, transmitting apparatus and method, and recording medium | |
US5333137A (en) | Coding system having data controlling mechanism activated when error is detected | |
US10812789B2 (en) | Encoding/transmitting apparatus and encoding/transmitting method | |
JP3622451B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
US6665001B1 (en) | Multiplex and demultiplex controlling apparatus, multiplex and demultiplex controlling system, and method thereof | |
JP2000069081A (ja) | データ多重化方法および装置とその関連方法および装置 | |
JPH114260A (ja) | 符号化装置及び方法並びに符号化プログラムが記録されたコンピュータ可読記録媒体 | |
US6430221B1 (en) | Transmitter, receiver, transmitting method and receiving method | |
JPH08191434A (ja) | 動画/音声符号化データ多重化方法及び動画/音声符号化データ多重化装置 | |
JPH09312656A (ja) | 伝送装置およびその方法 | |
US6157770A (en) | Moving picture data reproduction controlling system and method for reproducing moving picture data having block elements and minimum elements each with headers | |
JPH07222131A (ja) | 多地点会議用画面合成システムおよび方法 | |
JP2823806B2 (ja) | 画像復号装置 | |
JP2648095B2 (ja) | 画像符号化および復号化装置 | |
JPH09130263A (ja) | データ通信装置、符号化装置及び復号化装置 | |
JP2010028642A (ja) | 画像伝送システム | |
JP3573171B2 (ja) | 複数の可変レート信号の伝送方法および伝送システム | |
JPH0832621A (ja) | 画像音声符号化データ伝送装置 | |
JP2002094995A (ja) | データ処理方法、データ処理装置及びデータ処理システム |