以下、図2乃至図19を参照して、本発明の第1の実施の形態について説明する。
図2は、本発明を適用した送受信システムの全体の構成例を示す図である。
この送受信システム40には、送信装置41と受信装置42が設けられている。送信装置41は、例えば、放送局などのように複数のTSパケットからなるストリームを送信する装置であり、受信装置42は、例えば、家庭内のセットトップボックスなどの、家庭内においてストリームを受信する装置である。
本実施の形態では、送信装置41でオーディオストリームが符号化されるとともに、TSパケット化されて送信され、受信装置42で、TSパケットが受信され、復号され、オーディオストリームが取得される。
図3は、図2の送信装置41の構成例を示すブロック図である。
送信装置41には、入力部71、オーディオエンコーダ72、基本バッファ73、拡張バッファ74−1乃至74−n、抽出情報付加部75、TSパケット化部76、および送信部77が設けられている。nは1以上の任意の自然数である。
入力部71には、送信するオーディオストリームが入力される。オーディオエンコーダ72は、オーディオストリームをエンコード(符号化)する。図3のオーディオエンコーダ72は、第n段の拡張オーディオストリームに対応したエンコーダである。すなわちオーディオエンコーダ72は、オーディオストリームを、基本ストリーム、並びに第1段から第n段までの複数段階の拡張オーディオストリームとしてエンコードすることができる。
本実施の形態では、段数nが大きい値であるほど、拡張性が高く、オーディオの再生品質が高くなったり、機能性が高くなる。オーディオエンコーダ72は、オーディオストリームを基本ストリームと第1乃至第nの拡張ストリームにエンコードし、それぞれ対応する基本バッファ73、並びに、対応する段数の拡張バッファ74−1乃至74−nにエンコードしたストリームを供給する。例えば、オーディオエンコーダ72は、エンコードした基本オーディオストリーム(BS)を基本バッファ73に供給し、エンコードした第1の拡張オーディオストリーム(Ext1)を拡張バッファ74−1に供給し、エンコードした第2の拡張オーディオストリーム(Ext2)を拡張バッファ74−2に供給し、同様に、エンコードした第nの拡張オーディオストリーム(ExtN)を拡張バッファ74−nに供給する。ここで、拡張オーディオストリームの段数とバッファの符号は対応している。なお、基本オーディオストリームをBSと記述し、第1乃至第nの拡張オーディオストリームを、それぞれExt1乃至ExtNと記述する。
なお、本実施の形態のオーディオエンコーダ72は、オーディオストリームを、基本ストリーム、並びに第1乃至第nの拡張オーディオストリームに分離した後、それぞれをエンコードするようにしてもよいし、オーディオストリームをエンコードした結果、基本ストリーム、並びに第1乃至第nの拡張オーディオストリームが出力されるようにしてもよい。
基本バッファ73は、基本オーディオストリームを格納(バッファリング)し、拡張バッファ74−1乃至74−nは、それぞれ第1乃至第nの拡張オーディオストリームを格納(バッファリング)する。そして、TSパケット化部76からの制御に基づいて、それぞれ基本バッファ73、拡張バッファ74−1乃至74−nに格納されているオーディオストリームを読み出す。
抽出情報付加部75は、基本オーディオストリーム、第1乃至第nの拡張オーディオストリームの中から、所望の段数の拡張オーディオストリームをデコード側で抽出するために、抽出情報であるテーブルを生成する。このテーブルには、基本オーディオストリーム、並びに第1乃至第nの拡張オーディオストリームのそれぞれを識別するID(第1の実施の形態においてはPID(Packet Identification))と、基本オーディオストリーム、並びに第1乃至第nの拡張オーディオストリームとを関連付ける情報が記述されている。具体的には、テーブルは、PAT(Program Association Table)とPMT(Program Map Table)により構成されている。なお、テーブルの詳細については、図7と図8を参照して後述する。抽出情報付加部75は、テーブルを、TSパケット化部76に供給する。
TSパケット化部76は、基本バッファ73、並びに拡張バッファ74−1乃至74−nを制御して基本オーディオストリーム、並びに第1乃至第nの拡張オーディオストリームを取得するとともに、抽出情報付加部75から供給されたテーブルを取得する。またTSパケット化部76は、テーブルをTSパケット化したり、テーブルに基づいて基本オーディオストリーム、並びに第1乃至第nの拡張オーディオストリームをそれぞれTSパケット化する(TSパケットを生成する)。このとき、TSパケット化部76は、ストリームの種類(基本オーディオストリーム、並びに第1乃至第nの拡張オーディオストリーム)を識別するPIDをテーブルに基づいて付加する。TSパケット化部76は、生成したTSパケットを送信部77に供給する。送信部77は、TSパケットを送信する。このとき、複数のTSパケットが連続して送信されるため、結果として(複数のTSパケットからなる)1つのストリームが送信されることになる。
この第1の実施の形態においては、PIDは、MPEGのTSを構成する各パケット(TSパケット(トランスポートストリームパケット))を識別するためのものであり、各パケットには、ユニークな値のPIDが付されるようになされている。すなわち、受信側の受信装置42で、所望の段数の拡張オーディオストリームのパケットを選択するためには、そのパケットに付されているPIDの値が必要となる。
次に、図4と図5を参照して、基本オーディオストリームと複数段階の拡張オーディオストリームを多重化したTS(トランスポートストリーム)の構造を説明する。
図4の例の場合、TSは、基本オーディオストリーム81、第1の拡張オーディオストリーム82−1乃至第nの拡張オーディオストリーム82−nにより構成されている。また、基本オーディオストリーム81と第1乃至第nの拡張オーディオストリーム82−1乃至82−nは、ともに、所定のオーディオサンプル数を1つの単位として符号化されており、それぞれの単位毎に括弧で示す添え字で区切って示している。具体的な例としては、基本オーディオストリーム81は、BS(1),BS(2),・・・,BS(n)というように、複数の単位に分離され、符号化されている。また、添え字の同じもの同士、例えば、BS(1),Ext1(1),Ext2(1)、・・・、ExtN(1)は、同期してオーディオエンコーダ72にエンコードされるとともに、同期して再生(デコード)される。
TSパケット化部76は、これらの基本オーディオストリーム81と第1乃至第nの拡張オーディオストリーム82−1乃至82−nを、図5に示されるように、それぞれ別々のPID(パケットID)のTSパケットで多重化する。1つのTSパケットには、例えば、188バイト長のデータが格納される。
図5のTSストリームには、PAT(Program Association Table)が記載されたテーブルのTSパケット90、PMT(Program Map Table)が記載されたテーブルのTSパケット91、PID=a0である基本オーディオストリーム(BS)のTSパケット92、PID=a1である第1の拡張オーディオストリーム(Ext1)のTSパケット93−1、PID=a2である第2の拡張オーディオストリーム(Ext2)のTSパケット93−2、・・・、PID=aNである第nの拡張オーディオストリーム(ExtN)のTSパケット93−nが含まれている。ここで、テーブルのTSパケット91は所定の周期毎に送信装置41によって送信されるものである。
本実施の形態では、再生側の受信装置42は、少なくとも、基本オーディオストリーム(BS)をデコードする能力を持つとする。また、再生側の受信装置42が、所定の第m段階(mは1以上の自然数であり、m≦nである)までの拡張オーディオストリームを再生可能な場合、受信装置42は、基本オーディオストリームと第1乃至第mまでの拡張オーディオストリームをデコードすることができる。基本オーディオストリームと拡張オーディオストリームの関係としては、例えば、nが大きな値の拡張オーディオストリームまでをデコードできるほど、オーディオの再生品質が高くなったり、また、機能性が高くなったりする。
次に、図6のフローチャートを参照して、図3の送信装置41における、TSパケット送信処理を説明する。なお、この処理は、送信装置41の電源がオンされ、入力部71にオーディオストリームが入力されたとき開始される。
ステップS11において、入力部71は、オーディオストリームの入力を受け付け、ステップS12において、受け付けたオーディオストリームをオーディオエンコーダ72に出力する。
ステップS13において、オーディオエンコーダ72は、基本オーディオストリーム、並びに第1乃至第nの拡張オーディオストリームをエンコードする。その結果、オーディオエンコーダ72からは、図4に示される基本オーディオストリーム、並びに、第1乃至第nの拡張オーディオストリームが、(縦に)同期して出力される。
ステップS14において、オーディオエンコーダ72は、エンコードしたオーディオストリームをレベル(ストリームの種類)ごとに分けてそれぞれ出力する。具体的には、オーディオエンコーダ72は、エンコードした基本オーディオストリームを基本バッファ73に出力し、エンコードした第1の拡張オーディオストリームを拡張バッファ74−1に出力し、エンコードした第2の拡張オーディオストリームを拡張バッファ74−2に出力し、エンコードした第nの拡張オーディオストリームを拡張バッファ74−nに出力する。
ステップS15において、基本バッファ73、並びに、第1乃至第nの拡張バッファ74−1乃至74−nは、エンコードされたオーディオストリームをそれぞれ格納する(バッファリングする)。
ステップS16において、基本バッファ73、並びに、第1乃至第nの拡張バッファ74−1乃至74−nは、それぞれ所定のタイミングでエンコードされたオーディオストリームを出力する。なお実際には、TSパケット化部76がそれぞれのバッファ(基本バッファ73、並びに第1乃至第nの拡張バッファ74−1乃至74−n)からオーディオストリームを読み出すよう制御している。
ステップS17において、抽出情報付加部75は、テーブルを生成し、TSパケット化部76に供給する。具体的には、抽出情報付加部75は、図7および図8に示されるようなテーブルを生成し、これをTSパケット化部76に供給する。
図7には、PAT(Program Association Table)が記述されている。具体的には、program-numberに対するPMT-PIDがそれぞれ記述されており、図7の例の場合、program-number1に対するPMT-PIDはXであり、program-number2に対するPMT-PIDはYである。このPMT-PIDの値は、図8のPMT(Program Map Table)で参照される。図8においては、PIDがXの場合のstream_entryが記述されている。具体的には、BASE_PID=a0、Ext1_PID=a1,Ext2_PID=a2,・・・、ExtN_PID=aNと記述されている。図7と図8によれば、基本オーディオストリーム(BS)のPIDがa0であり、第1の拡張オーディオストリームExt1のPIDがa1であり、第2の拡張オーディオストリームExt2のPIDがa2であり、同様に、第nの拡張オーディオストリームExtNのPIDがaNであることがわかる。これにより、図5に示されるように、エンコードレベルに対するPIDを識別することができる。
本実施の形態では、PATとPMTは、それぞれ異なるTSパケットで送信される。すなわち、図5に示されるように、PATが記載されたテーブルのTSパケット90と、PMTが記載されたテーブルのTSパケット91として送信される。
図6に戻って、ステップS18において、TSパケット化部76は、TSパケット生成処理を実行する。なお、この処理の詳細は、図9を参照して後述する。TSパケット化部76により生成されたTSパケットは、送信部77に出力される。
ステップS19において、送信部77は、TSパケット(複数のTSパケットからなるオーディオストリーム)を受信装置42に対して送信する。具体的には、テーブルのTSパケット90、91、基本オーディオストリームのTSパケット92、第1乃至第nの拡張オーディオストリームのTSパケット93−1乃至93−nを含むストリームが送信される。その後、処理は終了される。本実施の形態では、TSパケットを受信装置42に対して送信するようにしたが、図示せぬ各種の記録媒体に記録させるようにしてもよい。また、受信装置42にTSパケットを送信する場合に、一旦、記録媒体に記録して、その記録媒体を受信装置42に提供することで、間接的に送信するようにしてもよい。
次に、図6のステップS18のTSパケット生成処理の詳細を、図9のフローチャートを参照して説明する。
ステップS31において、TSパケット化部76は、テーブルを取得する。このテーブルは、図6のステップS17で生成された、図7および図8に示されるようなテーブルである。すなわち、テーブルには、基本オーディオストリーム、並びに第1乃至第nの拡張オーディオストリームのそれぞれを識別するPIDと、基本オーディオストリーム、並びに第1乃至第nの拡張オーディオストリームのそれぞれを識別する情報が記載された情報が含まれている。
ステップS32において、TSパケット化部76は、テーブルをTSパケット化して(テーブルに基づいてTSパケットを生成し)、送信部77に出力する(なお、送信部77はこれを受信装置42に送信する)。これにより、図5のPATが記述されたTSパケット90、PMTが記述されたTSパケット91が生成され、送信部77に出力される。なお、この処理では、1回だけTSパケットが送信されるようにしたが、実際には所定の時間毎にテーブルが記述されたTSパケットが送信される。これにより、ストリームの途中で受信装置42が受信し始めた場合においても、受信装置42は、テーブルを取得できるため確実にデコードすることができる。
ステップS33において、TSパケット化部76は、テーブルに基づいて、基本バッファ73、並びに第1乃至第nの拡張バッファ74−1乃至74−nからのオーディオストリームのそれぞれにPIDを付す。なお、テーブルはステップS31の処理でTSパケット化されて送信されたが、ここでは、TSパケット化部76が保持しているものとする。これにより、基本オーディオストリーム(BS)にPID=a0が付され、第1の拡張オーディオストリーム(Ext1)にPID=a1が付され、第2の拡張オーディオストリーム(Ext2)にPID=a2が付され、以下同様にして、第nの拡張オーディオストリーム(ExtN)にPID=aNが付される。
ステップS34において、TSパケット化部76は、基本バッファ73、並びに第1乃至第nの拡張バッファ74−1乃至74−nからのオーディオストリームに基づいて、それぞれTSパケットを生成する。図5に示されるように、これらの基本オーディオストリームと第1乃至第nの拡張オーディオストリームは、それぞれ別々のPID(パケットID)のTSパケットとして生成される。すなわち、ストリームの種類を判別するためのPIDがTSパケットに付される。
ステップS35において、TSパケット化部76は、生成したTSパケットを送信部77に出力する。その後、処理は図6のステップS18に戻る。
図6および図9の処理により、第nの拡張オーディオストリームをエンコード可能な送信装置41は、エンコードしたデータを、基本オーディオストリーム、並びに第1乃至第nの拡張オーディオストリームに分けるとともに、テーブルに基づいてPIDを付し、TSパケット化して送信するとともに、テーブルをTSパケット化して送信する。換言すると、ストリームの種類を識別するPIDが付された複数のTSパケットと、テーブルのTSパケットを含むオーディオストリームが受信装置42に対して送信される。
送信装置41が送信するストリームには、基本オーディオストリームを構成するTSパケット、第1乃至第nの拡張オーディオストリームを構成するTSパケット、これらのTSパケットを識別するPIDと基本オーディオストリーム、第1乃至第nの拡張オーディオストリームとを関連付ける情報が記載されたテーブルのTSパケットが含まれるとともに、基本オーディオストリームを構成するTSパケットおよび第1乃至第nの拡張オーディオストリームを構成するTSパケットには、オーディオストリームの種類を識別するためのPIDが付されているので、受信側では、自分の処理能力に合わせたデコードを行うことができる。以下に受信側の受信装置42について説明する。
図10は、図2の受信装置42の構成例を示すブロック図である。
受信装置42は、受信部121、オーディオストリーム処理部122、および出力部123により構成されている。受信部121は、TSパケットを受信し、オーディオストリーム処理部122は、オーディオストリームに関する処理を実行する。具体的には、オーディオストリーム処理部122は、受信したTSパケットをデコードするなどして、オーディオストリームを取り出す。出力部123は、オーディオストリーム処理部122により処理されたオーディオストリームを出力する。
このオーディオストリーム処理部122は、そのデコード能力によって、取り出すオーディオストリームが異なってくる。以下、このオーディオストリーム処理部122について説明する。
図11は、基本オーディオストリームだけを復号することができるオーディオデコーダを有するオーディオストリーム処理部122の構成例を示す図である。
図11のオーディオストリーム処理部122には、入力部151、フィルタ制御部152、PIDフィルタ153、基本バッファ154、およびオーディオデコーダ155が設けられている。
入力部151は、図10の受信部121から供給されるオーディオストリームのTSパケットの入力を受け付ける。入力部151は、オーディオストリームのTSパケットのうち、テーブル(図7、図8で説明したテーブル)のTSパケットをフィルタ制御部152に供給し、それ以外のTSパケット(例えば、図5のPIDが付された基本オーディオストリーム、並びに第1乃至第nの拡張オーディオストリームのTSパケット)をPIDフィルタ153に供給する。また、例えば、入力部151は、受信部121でビデオストリームとオーディオストリームのTSパケットが受信された場合、オーディオストリームのTSパケットのみを取得する。
フィルタ制御部152は、取得したテーブルに基づいて、PIDフィルタ153の動作を制御する。具体的には、フィルタ制御部152は、自分が処理できるストリームの種類を記憶しており、テーブルに基づいて、自分が処理できるストリームの種類を判断する。そして、フィルタ制御部152は、自分が処理できるストリームのPIDをテーブルから参照し、自分が処理できるストリームに関連付けられたPIDが付されたTSパケットを選択するようにPIDフィルタ153を制御する。例えば、フィルタ制御部152は、デコードできるストリームの種類に関連づけられたPIDの番号を、選択するPIDの番号としてフィルタ153に通知する。
PIDフィルタ153は、フィルタ制御部152からの制御に基づいて、TSパケットを選択する(取り出す)。具体的には、フィルタ制御部152から通知されたPIDに基づいて、同じPIDが付されたTSパケットを選択し、それぞれ対応するバッファに供給する。各バッファは、PIDフィルタ153により選択されたTSパケットを格納(バッファリング)する。オーディオデコーダ155は、各バッファに格納されているTSパケットを取得し、これをデコードする。
図11の例の場合、オーディオストリーム処理部122は、基本オーディオストリームに対応するオーディオデコーダ155のみを有し、第1乃至第nの拡張オーディオストリームをデコードできる能力がない。この場合、フィルタ制御部152は、自分が処理できるストリームの種類が基本オーディオストリームのみであることを記憶しており、テーブルから、基本オーディオストリームに対応するPIDを参照する。この場合、オーディオストリーム処理部122は、BASE_PIDが、自分が処理できるストリームの種類であると判断し、テーブルからPID=a0を参照する。そして、フィルタ制御部152は、デコードできるストリームのPIDが付されたTSパケットを選択するようにPIDフィルタ153を制御する。例えば、フィルタ制御部152は、デコードできるストリームのIDを通過させてよいPIDの番号をPIDフィルタ153に通知する。PIDフィルタ153は、フィルタ制御部152から通知されたPID、すなわちPID=a0に基づいて、PID=a0が付されたTSパケットを選択し、これを基本バッファ154に供給する。このとき、第1乃至第nの拡張オーディオストリームのTSパケットが供給されてきた場合、PIDフィルタ153は、そのパケットを選択しない。すなわち、PID=a0が付された基本オーディオストリームのTSパケットのみが供給されてきた場合に、PIDフィルタ153は、そのTSパケットを選択して、後段の基本バッファ154に供給する。
基本バッファ154は、PIDフィルタ153により選択され、供給された基本オーディオストリームのTSパケットを格納する。基本バッファ154は、受信側のTSパケットの同期を取り、また、オーディオデコーダ155に対する同期を取るために動作する。図11の例では、基本バッファ154を1つだけ設けるようにしたが、受信側のTSパケットの同期を取るためのバッファと、オーディオデコーダ155に対する同期を取るためのバッファを2つ直列に設けるようにしてもよい。オーディオデコーダ155は、基本オーディオストリームのTSパケットをデコードし、デコードした基本オーディオストリームを出力する。
次に、図12のフローチャートを参照して、図10の受信装置42におけるTSパケット受信処理を説明する。なお、この処理は、受信装置42にTSパケットを受信する指令がなされたとき開始される。
ステップS51において、受信装置42の受信部121は、TSパケット(複数のTSパケットからなるストリーム)を受信する。このTSパケットは、例えば、上述した図6のステップS19の処理で、送信装置41により送信されたTSパケットとされる。
ステップS52において、受信部121は、オーディオストリームのTSパケットを抽出し、オーディオストリーム処理部122に供給する。例えば、受信部121が受信したTSパケットにビデオストリームのTSパケットが含まれていた場合には、受信部121は、オーディオストリームのTSパケットのみを抽出して、オーディオストリーム処理部122に供給する。
ステップS53において、オーディオストリーム処理部122は、オーディオストリームのTSパケット(すなわち、複数のTSパケットからなるオーディオストリーム)をオーディオストリーム処理部122のデコード能力に応じてデコード処理するオーディオストリーム処理を実行する。この処理の詳細は、図13を参照して後述する。オーディオストリーム処理部122によりオーディオストリーム処理されたオーディオストリームは、出力部123に供給される。
ステップS54において、出力部123は、デコードされたオーディオストリームを出力する。例えば、図示せぬスピーカなどに出力する。その後、処理は終了される。
図12の処理により、TSパケットが受信され、オーディオストリームのTSパケットがオーディオストリーム処理(デコード)されて出力される。
次に、図13のフローチャートを参照して、図12のステップS53の一例である、基本オーディオストリーム処理を説明する。この処理は、図11のオーディオストリーム処理部122により実行される処理である。すなわち、基本オーディオストリームのみをデコードできるオーディオストリーム処理部122が実行する処理である。
ステップS71において、入力部151はオーディオストリームのTSパケット(複数のTSパケットからなるオーディオストリーム)の入力を受け付ける。ここで、オーディオストリームのTSパケットは、上述した図6のステップS19で送信装置41により送信された、テーブルのTSパケット、基本オーディオストリームのTSパケット、並びに第1乃至第nの拡張オーディオストリームのTSパケットを含むオーディオストリームのことを示している。
ステップS72において、入力部151は、テーブルのTSパケットをフィルタ制御部152に供給する。具体的には、オーディオストリームのTSパケットには、テーブルのTSパケット、基本オーディオストリームのTSパケット、並びに、第1乃至第nの拡張オーディオストリームのTSパケットが含まれているので、入力部151は、これらのTSパケットのうち、テーブルのTSパケットをフィルタ制御部152に供給する。
ステップS73において、入力部151は、PIDが付されているTSパケットをPIDフィルタ153に供給する。具体的には、図5において、PIDが付されている基本オーディオストリーム、並びに第1乃至第nの拡張オーディオストリームのTSパケットをPIDフィルタ153に供給する。
ステップS74において、フィルタ制御部152は、テーブルを参照して、オーディオデコーダ155が処理できるストリームの種類を判断する。具体的には、フィルタ制御部152は、自分が処理できるストリームの種類が基本オーディオストリームであることを記憶しており、テーブルに基づいて、自分が処理できるストリームの種類を判断する。そして、フィルタ制御部152は、自分が処理できるストリームのPIDをテーブルから参照し、自分が処理できる基本ストリームに関連付けられたPID=a0が付されたTSパケットを選択するようにPIDフィルタ153を制御する。
ステップS75において、PIDフィルタ153は、フィルタ制御部152からの制御(判断)に基づいて、対応するTSパケットを選択し、基本バッファ154に供給する。具体的には、フィルタ制御部152からの制御に基づいて、PIDフィルタ153は、PID=a0であるTSパケット、すなわち、基本オーディオストリームのTSパケットを選択し、これを基本バッファ154に供給する。
ステップS76において、基本バッファ154は、供給されたTSパケットを格納する。このとき格納されたTSパケットは、基本オーディオストリームのTSパケットである。
ステップS77において、基本バッファ154は、所定のタイミングでTSパケットをオーディオデコーダ155に出力する。
ステップS78において、オーディオデコーダ155は、供給された基本オーディオストリームのTSパケットをデコードし、ステップS79において、デコードしたオーディオストリームを出力する。
このように、TSパケットに、PIDが付されているとともに、テーブルにPIDとTSパケットの種類(基本オーディオストリーム、並びに第1乃至第nの拡張オーディオストリームのTSパケット)の関係が記載されているので、図11に示されるような基本オーディオストリームのみをデコード可能なオーディオストリーム処理部122(受信装置42)においても、基本オーディオストリームに対応するTSパケットのみを選択してデコードすることができる。すなわち、複数段階に拡張されたオーディオストリームが送信されてきた場合においても、図11のオーディオストリーム処理部122を備える受信装置42においては、基本オーディオストリームのみを取り出し、再生することができる。
次に、基本オーディオストリームと第1の拡張オーディオストリームを復号することができるオーディオデコーダを有するオーディオストリーム処理部122について、図14を参照して説明する。
図14は、基本オーディオストリームと第1の拡張オーディオストリームを復号することができるオーディオデコーダを有するオーディオストリーム処理部122の構成例を示す図である。図中、図11と対応する部分については、同様の符号を付してあり、説明は繰り返しになるので省略する。
図14のオーディオストリーム処理部122は、図11のオーディオストリーム処理部122に、第1の拡張バッファ202を加え、オーディオデコーダ203が基本オーディオストリームだけでなく、第1の拡張オーディオストリームをもデコード可能とするものである。また、PIDフィルタ153は、基本オーディオストリームだけでなく、第1の拡張オーディオストリームをも抽出可能とする。
図14のオーディオストリーム処理部122には、入力部151、フィルタ制御部152、PIDフィルタ201、基本バッファ154、第1の拡張バッファ202、並びにオーディオデコーダ203が設けられている。
フィルタ制御部152は、テーブルに基づいて、PIDフィルタ201の動作を制御する。具体的には、フィルタ制御部152は、自分が処理できるストリームの種類を記憶しており、テーブルに基づいて、自分が処理できるストリームの種類を判断する。そして、フィルタ制御部152は、自分が処理できるストリームのPIDをテーブルから参照し、自分が処理できるストリームに関連付けられたPIDが付されたTSパケットを選択するようにPIDフィルタ201を制御する。図14の例の場合、フィルタ制御部152は、PID=a0が付されたTSパケットを基本バッファ154に供給するよう制御するとともに、PID=a1が付されたTSパケットを第1の拡張バッファ202に供給するよう制御する。PIDフィルタ201は、フィルタ制御部152からの制御に基づいて、TSパケットを取り出す。すなわち、PIDフィルタ201は、PID=a0が付されたTSパケットを選択して基本バッファ154に供給し、PID=a1が付されたTSパケットを選択して第1の拡張バッファ202に供給する。
基本バッファ154は、PIDフィルタ201により取り出された基本オーディオストリームのTSパケットを格納(バッファリング)し、第1の拡張バッファ202は、PIDフィルタ201により取り出された第1の拡張オーディオストリームのTSパケットを格納する。オーディオデコーダ203は、基本バッファ154と第1の拡張バッファ202に格納されているTSパケットを取得し、これをデコードする。
図14の例の場合、オーディオストリーム処理部122は、基本オーディオストリームと第1の拡張オーディオストリームに対応するオーディオデコーダ203を有し、第2乃至第nの拡張オーディオストリームをデコードする能力がない。この場合、PIDフィルタ201は、フィルタ制御部152からの制御(フィルタ制御部152の判断)に基づいて、PID=a0のTSパケットと、PID=a1のTSパケットを取り出す。すなわち、第2乃至第nの拡張オーディオストリームのTSパケットが供給されてきた場合、PIDフィルタ201は、そのパケットを選択せず、PID=a0が付された基本オーディオストリームのTSパケットが供給されてきた場合、そのパケットを選択して、後段の基本バッファ154に供給し、PID=a1が付された第1の拡張オーディオストリームのTSパケットが供給されてきた場合、そのパケットを選択して、後段の第1の拡張バッファ202に供給する。
基本バッファ154は、PIDフィルタ201により選択され、供給された基本オーディオストリームのTSパケット(PID=a0)を格納する。基本バッファ154は、受信側のTSパケットの同期を取り、また、オーディオデコーダ203に対する同期を取るために動作する。第1の拡張バッファ202は、PIDフィルタ201により選択され、供給された第1の拡張オーディオストリームのTSパケット(PID=a1)を格納する。第1の拡張バッファ202は、受信側のTSパケットの同期を取り、また、オーディオデコーダ203に対する同期を取るために動作する。なお、図14の例では、基本バッファ154、拡張バッファ202を1つずつ設けるようにしたが、受信側のTSパケットの同期を取るためのバッファと、オーディオデコーダ203に対する同期を取るためのバッファをそれぞれ2つ直列に設けるようにしてもよい。オーディオデコーダ203は、基本オーディオストリームのTSパケットと、第1の拡張オーディオストリームのTSパケットをデコードし、デコードした基本オーディオストリームと第1の拡張オーディオストリームを出力する。
このように、基本オーディオストリームと第1の拡張オーディオストリームを復号(デコード)可能な受信装置42(図14のオーディオストリーム処理部122)においては、基本オーディオストリームと第1の拡張オーディオストリームだけを分離して再生することができる。
次に、基本オーディオストリーム、並びに第1および第2の拡張オーディオストリームを復号することができるオーディオデコーダを有するオーディオストリーム処理部122について、図15を参照して説明する。
図15は、基本オーディオストリームと第1、第2の拡張オーディオストリームを復号することができるオーディオデコーダを有するオーディオストリーム処理部122の構成例を示す図である。図中、図11および図14と対応する部分については、同様の符号を付してあり、説明は繰り返しになるので省略する。
図15のオーディオストリーム処理部122は、図14の第1の拡張バッファ202を第1の拡張バッファ202−1とし、第2の拡張バッファ202−2を加え、オーディオデコーダ232が基本オーディオストリームと第1の拡張オーディオストリームだけでなく、第2の拡張オーディオストリームをもデコード可能とするものである。また、PIDフィルタ231は、基本オーディオストリーム、並びに第1および第2の拡張オーディオストリームをも抽出可能なとする。
図15のオーディオストリーム処理部122には、入力部151、フィルタ制御部152、PIDフィルタ231、基本バッファ154、第1の拡張バッファ202−1、第2の拡張バッファ202−2、およびオーディオデコーダ232が設けられている。
フィルタ制御部152は、自分が処理できるストリームの種類を記憶しており、テーブルに基づいて、自分が処理できるストリームの種類を判断する。そして、フィルタ制御部152は、自分が処理できるストリームのPIDをテーブルから参照し、自分が処理できるストリームに関連付けられたPIDが付されたTSパケットを選択するようにPIDフィルタ231を制御する。図15の例の場合、フィルタ制御部152は、PID=a0が付されたTSパケットを基本バッファ154に供給するよう制御し、PID=a1が付されたTSパケットを第1の拡張バッファ202−1に供給するよう制御し、PID=a2が付されたTSパケットを第2の拡張バッファ202−2に供給するよう制御する。PIDフィルタ231は、フィルタ制御部152からの制御に基づいて、TSパケットを取り出す。すなわち、PIDフィルタ231は、PID=a0が付されたTSパケットを選択して基本バッファ154に供給し、PID=a1が付されたTSパケットを選択して第1の拡張バッファ202−1に供給し、PID=a2が付されたTSパケットを選択して第2の拡張バッファ202−2に供給する。
第2の拡張バッファ202−2は、PIDフィルタ231により選択された第2の拡張オーディオストリームのTSパケットを格納する。オーディオデコーダ232は、基本バッファ154、第1、第2の拡張バッファ202−1,202−2に格納されているTSパケットを取得し、これをデコードする。
図15の例の場合、オーディオストリーム処理部122は、基本オーディオストリーム、第1、第2の拡張オーディオストリームに対応するオーディオデコーダ232を有し、第3乃至第nの拡張オーディオストリームをデコードする能力がない。この場合、PIDフィルタ231は、フィルタ制御部152からの制御に基づいて、PID=a0のTSパケット、PID=a1のTSパケット、およびPID=a2のTSパケットを取り出す(選択する)。すなわち、第3乃至第nの拡張オーディオストリームのTSパケットが供給されてきた場合、PIDフィルタ231は、そのパケットを選択せず、PID=a0が付された基本オーディオストリームのTSパケットが供給されてきた場合、そのパケットを選択して、後段の基本バッファ154に供給し、PID=a1が付された第1の拡張オーディオストリームのTSパケットが供給されてきた場合、そのパケットを選択して、後段の第1の拡張バッファ202−1に供給し、PID=a2が付された第2の拡張オーディオストリームのTSパケットが供給されてきた場合、そのパケットを選択して、後段の第2の拡張バッファ202−2に供給する。
基本バッファ154は、PIDフィルタ231により選択され、供給された基本オーディオストリームのTSパケット(PID=a0)を格納する。基本バッファ154は、受信側のTSパケットの同期を取り、また、オーディオデコーダ232に対する同期を取るために動作する。第1の拡張バッファ202−1は、PIDフィルタ231により選択され、供給された第1の拡張オーディオストリームのTSパケット(PID=a1)を格納する。第1の拡張バッファ202−1は、受信側のTSパケットの同期を取り、また、オーディオデコーダ232に対する同期を取るために動作する。第2の拡張バッファ202−2は、PIDフィルタ231により選択され、供給された第2の拡張オーディオストリームのTSパケット(PID=a2)を格納する。第1の拡張バッファ202−2は、受信側のTSパケットの同期を取り、また、オーディオデコーダ232に対する同期を取るために動作する。
なお、図15の例では、基本バッファ154、拡張バッファ202−1、および202−2を1つずつ設けるようにしたが、受信側のTSパケットの同期を取るためのバッファと、オーディオデコーダ232に対する同期を取るためのバッファをそれぞれ2つ直列に設けるようにしてもよい。オーディオデコーダ232は、基本オーディオストリームのTSパケット、並びに第1、第2の拡張オーディオストリームのTSパケットをデコードし、デコードした基本オーディオストリーム、並びに第1、第2の拡張オーディオストリームを出力する。
このように、基本オーディオストリーム、並びに第1、第2の拡張オーディオストリームを復号(デコード)可能な受信装置42(図15のオーディオストリーム処理部122)においては、基本オーディオストリーム、並びに第1、第2の拡張オーディオストリームだけを分離して再生することができる。
次に、基本オーディオストリーム、並びに第1乃至第nの拡張オーディオストリームを復号することができるオーディオデコーダを有するオーディオストリーム処理部122について、図16を参照して説明する。
図16は、基本オーディオストリーム、並びに第1乃至第nの拡張オーディオストリームを復号することができるオーディオデコーダを有するオーディオストリーム処理部122の構成例を示す図である。図中、図15と対応する部分については、同様の符号を付してあり、説明は繰り返しになるので省略する。
図16のオーディオストリーム処理部122は、図15に第3乃至第nの拡張バッファ202−3乃至202−nを加え、オーディオデコーダ262が基本オーディオストリーム、第1、第2の拡張オーディオストリームだけでなく、第3乃至第nの拡張オーディオストリームをもデコード可能とするものである。また、PIDフィルタ261は、基本オーディオストリーム、並びに第1乃至第nの拡張オーディオストリームをも抽出可能とする。
図16のオーディオストリーム処理部122には、入力部151、フィルタ制御部152、PIDフィルタ261、基本バッファ154、第1乃至第nの拡張バッファ202−1乃至202−n、並びにオーディオデコーダ262が設けられている。
フィルタ制御部152は、自分が処理できるストリームの種類として基本オーディオストリーム、並びに第1乃至第nの拡張オーディオストリームを記憶しており、テーブルに基づいて、自分が処理できるストリームの種類を判断する。そして、フィルタ制御部152は、自分が処理できるストリームのPIDをテーブルから参照し、自分が処理できるストリームに関連付けられたPIDが付されたTSパケットを選択するようにPIDフィルタ261を制御する。図16の例の場合、フィルタ制御部152は、PID=a0が付されたTSパケットを基本バッファ154に供給するよう制御し、PID=a1が付されたTSパケットを第1の拡張バッファ202−1に供給するよう制御し、PID=a2が付されたTSパケットを第2の拡張バッファ202−2に供給するよう制御し、同様にして、PID=aNが付されたTSパケットを第nの拡張バッファ202−nに供給するよう制御する。PIDフィルタ261は、フィルタ制御部152からの制御に基づいて、TSパケットを取り出す。すなわち、PIDフィルタ261は、PID=a0が付されたTSパケットを選択して基本バッファ154に供給し、PID=a1が付されたTSパケットを選択して第1の拡張バッファ202−1に供給し、PID=a2が付されたTSパケットを選択して第2の拡張バッファ202−2に供給し、同様にして、PID=aNが付されたTSパケットを選択して第nの拡張バッファ202−nに供給する。
第3乃至第nの拡張バッファ202−3乃至202−nは、PIDフィルタ261により取り出された第3乃至第nの拡張オーディオストリームのTSパケットをそれぞれ格納する。オーディオデコーダ262は、基本バッファ154、第1乃至第nの拡張バッファ202−1乃至202−nに格納されているTSパケットを取得し、これをデコードする。
図16の例の場合、オーディオストリーム処理部122は、基本オーディオストリーム、第1乃至第nの拡張オーディオストリームに対応するオーディオデコーダ262を有している。すなわち、受信された第nまでの拡張オーディオストリームを全てデコードする能力を持つ。この場合、PIDフィルタ261は、フィルタ制御部152からの制御に基づいて、PID=a0乃至aNのTSパケットを取り出し、それぞれ対応するバッファ(基本バッファ154、並びに第1乃至第nの拡張バッファ202−1乃至202−n)に供給する。
基本バッファ154は、PIDフィルタ261により選択され、供給された基本オーディオストリームのTSパケット(PID=a0)を格納する。基本バッファ154は、受信側のTSパケットの同期を取り、また、オーディオデコーダ262に対する同期を取るために動作する。第1の拡張バッファ202−1は、PIDフィルタ261により選択され、供給された第1の拡張オーディオストリームのTSパケット(PID=a1)を格納する。第1の拡張バッファ202−1は、受信側のTSパケットの同期を取り、また、オーディオデコーダ262に対する同期を取るために動作する。第2の拡張バッファ202−2は、PIDフィルタ261により選択され、供給された第2の拡張オーディオストリームのTSパケット(PID=a2)を格納する。第2の拡張バッファ202−2は、受信側のTSパケットの同期を取り、また、オーディオデコーダ262に対する同期を取るために動作する。同様にして、第nの拡張バッファ202−nは、PIDフィルタ261により選択され、供給された第nの拡張オーディオストリームのTSパケット(PID=aN)を格納する。第nの拡張バッファ202−nは、受信側のTSパケットの同期を取り、また、オーディオデコーダ262に対する同期を取るために動作する。なお、図16の例では、基本バッファ154、拡張バッファ202−1乃至202−nを1つずつ設けるようにしたが、受信側のTSパケットの同期を取るためのバッファと、オーディオデコーダ262に対する同期を取るためのバッファをそれぞれ2つ直列に設けるようにしてもよい。オーディオデコーダ262は、基本オーディオストリームのTSパケット、並びに第1乃至第nの拡張オーディオストリームのTSパケットをデコードし、デコードした基本オーディオストリーム、並びに第1乃至第nの拡張オーディオストリームを出力する。
次に、図17のフローチャートを参照して、図12のステップS53の一例である、第n段の拡張オーディオストリーム処理を説明する。この処理は、図16のオーディオストリーム処理部122により実行される処理である。すなわち、基本オーディオストリームに加え、第1乃至第nの拡張オーディオストリームをデコードできるオーディオストリーム処理部122が実行する処理である。
ステップS91において、入力部151はオーディオストリームのTSパケットの入力(複数のTSパケットからなるオーディオストリーム)を受け付ける。このオーディオストリームのTSパケットは、上述した図6のステップS19で送信装置41により送信された、テーブルのTSパケット、基本オーディオストリームTSパケット、並びに第1乃至第nの拡張オーディオストリームのTSパケットを含むオーディオストリームである。
ステップS92において、入力部151は、テーブルのTSパケットをフィルタ制御部152に供給する。具体的には、オーディオストリームのTSパケットには、テーブルのTSパケット、基本オーディオストリームのTSパケット、並びに、第1乃至第nの拡張オーディオストリームのTSパケットが含まれているので、入力部151は、これらのTSパケットのうち、テーブルのTSパケットをフィルタ制御部152に供給する。
ステップS93において、入力部151は、PIDが付されているTSパケットをPIDフィルタ261に供給する。具体的には、図5において、PIDが付されている基本オーディオストリーム、並びに第1乃至第nの拡張オーディオストリームのTSパケットをPIDフィルタ261に供給する。
ステップS94において、フィルタ制御部152は、テーブルを参照して、オーディオデコーダ262が処理できるストリームの種類を判断する。具体的には、フィルタ制御部152は、自分が処理できるストリームの種類が、基本オーディオストリーム、並びに第1乃至第nの拡張オーディオストリームであることを記憶しており、テーブルに基づいて、自分が処理できるストリームの種類、すなわち、テーブルの中から基本オーディオストリーム、並びに第1乃至第nの拡張オーディオストリームを判断する。換言すると、フィルタ制御部152は、自分が処理できるストリームの種類を、テーブルを参照して判断し、そのストリームに関連付けられたPIDを、自分が処理できるストリームの種類と判断する。また、フィルタ制御部152は、基本ストリームに関連付けられたPID=a0が付されたTSパケット、第1乃至第nの拡張オーディオストリームに関連付けられたPID=a1乃至aNが付されたTSパケットを選択するようにPIDフィルタ261を制御する。
このように、フィルタ制御部152は、基本オーディオストリームのTSパケット、並びに、第1乃至第nの拡張オーディオストリームのTSパケットをそれぞれ基本バッファ154、並びに第1乃至第nの拡張バッファ202−1乃至202−nに供給するようPIDフィルタ261を制御する。図17の処理の場合、オーディオデコーダ262は、基本オーディオストリーム、並びに第1乃至第nの拡張オーディオストリームをデコードする能力を有しているため、フィルタ制御部152は、PID=a0,a1,a2,・・,aNが付されたTSパケットをそれぞれ対応するバッファに供給するよう、PIDフィルタ261を制御する。
ステップS95において、PIDフィルタ261は、フィルタ制御部152からの判断(自分が処理できると判断されたストリームの種類)に基づいて、スイッチを選択し、対応するTSパケットを後段のバッファに供給する。具体的には、PIDフィルタ261は、PID=a0であるTSパケット、すなわち、基本オーディオストリームのTSパケットを、スイッチで選択し、後段の基本バッファ154に供給する。また、PIDフィルタ261は、PID=a1乃至aNであるTSパケット、すなわち、第1乃至第nの拡張オーディオストリームのTSパケットをスイッチで選択し、後段の第1乃至第nの拡張バッファ202−1乃至202−nにそれぞれ供給する。
ステップS96において、基本バッファ154、並びに第1乃至第nの拡張バッファ202−1乃至202−nは、供給されたTSパケットをそれぞれ格納する。
ステップS97において、基本バッファ154、並びに第1乃至第nの拡張バッファ202−1乃至202−nは、所定のタイミングでTSパケットをオーディオデコーダ262に出力する。
ステップS98において、オーディオデコーダ262は、供給された基本オーディオストリームと第1乃至第nの拡張オーディオストリームのTSパケットをデコードし、ステップS99において、デコードしたオーディオストリームを出力する。
このように、受信するストリームには、基本オーディオストリームを構成するTSパケット、第1乃至第nの拡張オーディオストリームを構成するTSパケット、これらのTSパケットを識別するPIDと基本オーディオストリーム、第1乃至第nの拡張オーディオストリームとを関連付ける情報が記載されたテーブルのTSパケットが含まれるとともに、基本オーディオストリームを構成するTSパケットおよび第1乃至第nの拡張オーディオストリームを構成するTSパケットには、オーディオストリームの種類を識別するためのPIDが付されているので、図16に示されるような基本オーディオストリーム、第1乃至第nの拡張オーディオストリームをデコード可能なオーディオストリーム処理部122(受信装置42)においても、デコードを行うことができる。
なお、基本オーディオストリーム、並びに第1乃至第m(mは、1以上n以下の自然数である)の拡張オーディオストリームを復号(デコード)可能な受信装置42においては、基本オーディオストリーム、並びに第1乃至第mの拡張オーディオストリームを分離して再生することができる。
次に、基本オーディオストリーム、並びに第1乃至第nの拡張オーディオストリームを復号可能なオーディオストリーム処理部122を備えた受信装置42の他の構成例を説明する。図18は、基本オーディオストリーム、並びに第1乃至第nの拡張オーディオストリームを復号するオーディオストリーム処理部122の構成例を示す図である。
図18のオーディオストリーム処理部122では、TSの多重化方法に制限が加えられる。具体的には、TSの中で、基本オーディオストリーム、並びに、第1乃至第nの拡張オーディオストリームの順番に、同期して再生される符号化の単位が並んで符号化されていなければならない。すなわち、TSの中で、BS(1),Ext1(1), Ext2(1),・・・ExtN(1),BS(2),Ext1(2),Ext2(2),・・・ExtN(2)の順番に並んで符号化されていなければならない。換言すれば、受信装置42の受信部121により受信されたTSパケットは、図19に示されるように、BS(1),Ext1(1),Ext2(1),・・・ExtN(1),BS(2),Ext1(2),Ext2(2),・・・ExtN(2)の順に入力部151に入力され、入力部151は、BS(1),Ext1(1), Ext2(1),・・・ExtN(1),BS(2),Ext1(2),Ext2(2),・・・ExtN(2)の順にPIDフィルタ301にTSパケットを供給する。すなわち、全体のストリームに含まれる基本ストリームを構成するTSパケット、並びに、第1乃至第nの拡張ストリームのそれぞれを構成するTSパケットは、同時刻に再生されるTSパケットが連続して、かつ、基本ストリームを構成するTSパケット、並びに、第1乃至第nの拡張ストリームのそれぞれを構成するTSパケットの順に並べられている(エンコーダ側の送信装置41が、この順番に並べてTSパケットを出力している)。
なお、基本オーディオストリームのそれぞれの同期単位に対応する拡張オーディオストリームの同期単位は、必ずしも存在しなくても良い。例えば、全体のストリームが、基本オーディオストリームと第1の拡張ストリームから構成されるとき、基本オーディオストリームのそれぞれの同期単位に対応する拡張オーディオストリームの同期単位がすべて存在する場合は、BS(1),Ext1(1),BS(2),Ext1(2),BS(3),Ext1(3),・・・の並びになるように、TSパケットが並ぶが、例えば、BS(2)に対応するExt1(2)が存在しない場合は、図37に示されるように、BS(1),Ext1(1),BS(2),BS(3),Ext1(3),・・・の並びになるように、TSパケットが並ぶ。
すなわち、オーディオストリームには、少なくとも基本オーディオストリームを構成するTSパケットが含まれ、基本オーディオストリームのそれぞれの同期単位に対応する第1乃至第nの拡張オーディオストリームを構成するTSパケットの個数が可変長とされてさらに含まれる。換言すれば、1本のオーディオストリームには、基本オーディオストリームが少なくとも含まれるとともに、第1乃至第nの拡張オーディオストリームが含まれうるものとされる。また、基本オーディオストリームのそれぞれの同期単位(同じ時刻に再生される、所定の単位)に対応する第1乃至第nの拡張オーディオストリームのうちのいずれかの同期単位が存在する場合には、その同期単位において第1乃至第nの拡張オーディオストリームのうちの存在する拡張ストリームがエンコードされる。その結果、基本オーディオストリームは、オーディオストリーム全体にわたって含まれるが、拡張オーディオストリームを構成するTSパケットの数は可変長とされる(第1の拡張オーディオストリームに対応するTSパケットだけが含まれたり、第1乃至第3の拡張オーディオストリームに対応するそれぞれのTSパケットが含まれたりする)。
このような符号化方法は、オーディオストリームを可変ビットレートで符号化する場合において、オリジナルのオーディオ信号の情報量が少ない部分(時間区間)で、基本ストリームの情報だけで十分であり、拡張ストリームの情報が必要ない場合に用いられる。拡張ストリームの情報が存在しない時間区間のビットレートは小さく抑えられる。
図18のオーディオストリーム処理部122には、入力部151、フィルタ制御部152、PIDフィルタ301、バッファ302、およびオーディオデコーダ303が設けられている。
フィルタ制御部152は、PID=a0乃至aNが付されたTSパケットをバッファ302に供給するようPIDフィルタ301を制御する。PIDフィルタ301は、フィルタ制御部152からの制御に基づいて、TSパケットを取り出す。すなわち、PIDフィルタ301は、PID=a0乃至aNが付されたTSパケットを順次バッファ302に供給する。このとき、TSの中で、BS(1),Ext1(1), Ext2(1),・・・ExtN(1),BS(2),Ext1(2),Ext2(2),・・・ExtN(2)の順番に並んで符号化されているため、PIDフィルタ301は、TSの中で、BS(1),Ext1(1), Ext2(1),・・・ExtN(1),BS(2),Ext1(2),Ext2(2),・・・ExtN(2)の順番で、TSパケットをバッファ302に供給する。
バッファ302は、BS(1),Ext1(1),Ext2(1),・・・ExtN(1),BS(2),Ext1(2),Ext2(2),・・・,ExtN(2)の順番に並んで供給されたTSパケットを格納する。オーディオデコーダ303は、バッファ302に格納されているTSパケットを取得し、これをデコードする。
図18の例の場合、オーディオストリーム処理部122は、基本オーディオストリーム、第1乃至第nの拡張オーディオストリームに対応するオーディオデコーダ303を有している。すなわち、受信された基本オーディオストリーム、並びに第1乃至第nまでの拡張オーディオストリームを全てデコードする能力を持つ。この場合、PIDフィルタ301は、フィルタ制御部152からの制御に基づいて、PID=a0乃至aNのTSパケットを取り出し、バッファ302に供給する。
バッファ302は、PIDフィルタ301により順次選択され、供給されたオーディオストリームのTSパケット(PID=a0乃至aN)を格納する。バッファ302は、受信側のTSパケットの同期を取り、また、オーディオデコーダ303に対する同期を取るために動作する。なお、図18の例では、バッファ302を1つ設けるようにしたが、受信側のTSパケットの同期を取るためのバッファと、オーディオデコーダ303に対する同期を取るためのバッファを2つ直列に設けるようにしてもよい。オーディオデコーダ303は、基本オーディオストリームのTSパケット、並びに第1乃至第nの拡張オーディオストリームのTSパケットを順次デコードし、デコードした基本オーディオストリーム、並びに第1乃至第nの拡張オーディオストリームを出力する。
図18によれば、バッファの数を図16より少なくすることができ、もって低コストで実現することができる。また、図16では、図18に比べてバッファの数は多いが、符号化のTSパケットの順番に制限がないという利点がある。
以上の第1の実施の形態によれば、基本オーディオストリームと複数段階の拡張オーディオストリームの多重化ストリームからオーディオを再生する場合に、基本オーディオストリームだけの復号能力を持った受信装置42(例えば、図11のオーディオストリーム処理部122を有する受信装置42)では基本オーディオストリームだけを分離して再生でき、所定の段階nの拡張オーディオストリームまでの再生能力を持った再生装置42(例えば、図16のオーディオストリーム処理部122を有する受信装置42)では、基本とその段階nまでの拡張オーディオストリームを分離して再生できるようにするための、多重化ストリームの符号化および復号方法を提供することができる。
すなわち、基本オーディオストリームと複数段階の拡張オーディオストリームを含むストリームを受信側の処理能力に応じてデコードできるようにエンコードすることができる。換言すれば、受信側の装置は、基本オーディオストリームと複数段階の拡張オーディオストリームを含むストリームが送信されてきた場合に、自分が処理できるストリームの種類を判断し、自分が処理できるストリームのみをデコードして再生することができる。
また、各TSパケットにPIDを付すとともにテーブルを付加すればよいため、トランスポートストリームへ容易に適用することができる。
以上、本発明の第1の実施の形態では、MPEG-TSを構成する各パケット(TSパケット)を識別するためにPIDを用いるようにし、このPIDに基づいて、基本オーディオストリーム、並びに第1乃至第nの拡張オーディオストリームのそれぞれを識別するようにしたが、以下に、MPEG-TSを構成する各パケット(TSパケット)を識別するためにSub_idを用いるようにし、Sub_idに基づいて、基本オーディオストリーム、並びに第1乃至第nの拡張オーディオストリームのそれぞれを識別する場合の例を、図20乃至図35を用いて、本発明の第2の実施の形態として説明する。なお、第1の実施の形態と重複する実施の形態については、適宜、第1の実施の形態(図1乃至図19)を参照して説明する。
この第2の実施の形態の送受信システムは、上述した図2の送受信システム40と同様である。以下に、この実施の形態の送受信システム40を構成する、送信装置と受信装置の構成例について説明する。
図20は、本発明の第2の実施の形態における送信装置の構成例を示すブロック図である。
送信装置310には、入力部71、オーディオエンコーダ72、基本バッファ73、拡張バッファ74−1乃至74−n、および送信部77の他、抽出情報付加部311およびTSパケット化部312が設けられている。なお、nは1以上の任意の自然数(1以上の整数値)である。また、図中、図3と対応する部分については、同一の符号を付してあり、その詳細な説明は、繰り返しになるので省略する。すなわち、入力部71、オーディオエンコーダ72、基本バッファ73、および拡張バッファ74−1乃至74−n、および送信部77の各部は、上述した図3の各部と同様の機能を有する。
抽出情報付加部311は、デコード側で1本のオーディオストリームを抽出するために、抽出情報であるテーブル(PATとPMT)を生成する。ここで、1本のオーディオストリームの例としては、所定の映画(コンテンツ)の日本語音声であったり、英語音声であったりする。このテーブルでは、所定の種類のオーディオストリームを定義している。例えば、抽出情報付加部311は、上述した図7に示されるPATと、図21に示されるPMTを生成し、TSパケット化部312に供給する。
図21は、トランスポートストリーム(TS)のPMTの例を示す図である。上述した図8(第1の実施の形態)では、stream_entry()に、複数のPIDが記述(エントリ)されているが、図21の例では、オーディオストリームの符号化方式を示すAudio_stream_type(符号化タイプを示す情報)と、1つのPIDとが記述される。ここで、TSのPATは、図7と同様である。
具体的には、図7のPMT-PIDの値が、図21のPMTで参照される。図21においては、PIDがXの場合のstream_entryが記述されている。すなわち、Audio_stream_typeと、Audio_PID=a0とが記述されている。図7と図21によれば、同種のオーディオストリーム(1本のオーディオストリーム)を識別することができる。換言すれば、図7と図21のテーブル(PATとPMT)により、1つのコンテンツに対応する1本のオーディオストリームを識別することができる。
図20に戻って、TSパケット化部312には、Sub_id付加部313が設けられている。Sub_id付加部313には、Sub_idとTSパケットの種類とを関係付けた所定の条件があらかじめ設定されており、Sub_id付加部313は、その条件に従って、TSパケットのヘッダにSub_idを付加する。例えば、Sub_id付加部313は、基本バッファ73から供給されてきた基本オーディオストリーム(BS)にはSub_id=0を付加し、第1の拡張バッファ74−1から供給されてきた第1の拡張オーディオストリーム(Ext1)にはSub_id=1を付加し、第2の拡張バッファ74−2から供給されてきた第2の拡張オーディオストリーム(Ext2)にはSub_id=2を付加し、同様にして、第nの拡張バッファ74−nから供給されてきた第nの拡張オーディオストリーム(ExtN)にはSub_id=Nを付加する、といった条件が設定されている。なお、この条件と同様の条件が、後述する受信側(デコーダ側)にも設定されている。
TSパケット化部312は、基本バッファ73、並びに拡張バッファ74−1乃至74−nを制御して基本オーディオストリーム、並びに第1乃至第nの拡張オーディオストリームを取得するとともに、抽出情報付加部311から供給されたテーブル(図7と図21)を取得する。またTSパケット化部312は、テーブルをTSパケット化したり、Sub_id付加部313に設定されている所定の条件とテーブルとに従って、基本オーディオストリーム、並びに第1乃至第nの拡張オーディオストリームをそれぞれTSパケット化する(TSパケットを生成する)。このとき、TSパケット化部312は、1本のオーディオストリームに対して共通する識別情報であるPIDをTSパケットのヘッダ部に付加するとともに、TSパケット化部312のSub_id付加部313は、ストリームの種類(基本オーディオストリーム、並びに第1乃至第nの拡張オーディオストリーム)を識別するためのSub_idを、所定の条件に従ってTSパケットのヘッダ部に付加する。また、TSパケット化部312は、生成したTSパケットを送信部77に供給する。
送信部77は、TSパケットを送信する。このとき、複数のTSパケットが連続して送信されるため、結果として(複数のTSパケットからなる)1つのストリームが送信されることになる。
本発明の第2の実施の形態においては、PIDは、TSパケットのエンコードの種類の拡張性を示す情報ではなく、1本のオーディオストリームを識別するための情報であり、Sub_idは、TSパケットのエンコードの種類の拡張性を示す情報である。すなわち、Sub_idによれば、ストリームの種類(基本オーディオストリーム、並びに第1乃至第nの拡張オーディオストリーム)を識別することができる。各TSパケットのヘッダには、このSub_idが付加されているので、デコーダ側の受信装置において、所望の段数の拡張オーディオストリームのパケットを選択することができる。
次に、基本オーディオストリームと複数段階の拡張オーディオストリームとを多重化したTS(トランスポートストリーム)の構造を、図22と図23を参照して説明する。
TSパケット化部312(Sub_id付加部313)は、上述した図4の基本オーディオストリーム81と第1乃至第nの拡張オーディオストリーム82−1乃至82−nとに対して、図22に示されるように、ヘッダ部に、同一(共通の)PID(PID=a0)を付加するとともに、それぞれ別々のSub_id(パケットID)を付加し、TSパケットとする。なお、1つのTSパケットには、例えば、188バイト長のデータが格納される。
図22のTSストリームには、PATが記載されたテーブルのTSパケット320(図5のPAT90、すなわち図7のPATと同様の情報)、PMTが記載されたテーブルのTSパケット321(図21のPMTと同様の情報)、PID=a0でありSub_id=0である基本オーディオストリーム(BS)のTSパケット322、PID=a0でありSub_id=1である第1の拡張オーディオストリーム(Ext1)のTSパケット323−1、PID=a0でありSub_id=2である第2の拡張オーディオストリーム(Ext2)のTSパケット323−2、・・・、PID=a0でありSub_id=Nである第nの拡張オーディオストリーム(ExtN)のTSパケット323−nが含まれている。ここで、テーブルのTSパケット320,321は所定の周期毎に送信装置310によって送信されるものである。また、PIDは、トランスポートパケットヘッダのPIDを示す。
なお、図4の基本オーディオストリーム81、並びに第1乃至第nの拡張オーディオストリーム82−1乃至82−nは、何れも、所定のオーディオサンプル数を1つの単位として符号化されており、それぞれの単位毎に括弧で示す添え字で区切って示されている。具体的には、基本オーディオストリーム81は、BS(1),BS(2),・・・,BS(n)というように、複数の単位に分離されて符号化されている。同様に例えば、第1の拡張オーディオストリーム82−1は、Ext1(1),Ext1(2),・・・,Ext1(n)というように、複数の単位に分離されて符号化されている。係る基本オーディオストリーム81、並びに第1乃至第nの拡張オーディオストリーム82−nにおいて、添え字の同じもの同士、例えば、BS(1)、並びにExt1(1)乃至ExtN(1)とは、同期して図20のオーディオエンコーダ72によりエンコードされるとともに、同期して受信側の受信装置42により再生(デコード)される。
ここで、図22の基本オーディオストリームと複数段階の拡張オーディオストリームとを多重化したTS(トランスポートストリーム)の構造を、図23を参照してより詳細に説明する。
TSパケット化部312は、最初に、図23の基本オーディオストリーム81、並びに第1乃至第nの拡張オーディオストリーム82−1乃至82−n(図23中の上段部)を、図23中の中段に示されるように、PESパケットストリーム化し、PESパケットストリーム330とする。ここで、PESHは、PESパケットヘッダを示す。次に、TSパケット化部312は、PESパケットストリーム330を構成する各PESパケットのそれぞれを、図23の下段に示されるように、TSパケット化して多重化し、TSパケット333乃至340とする。このとき、TSパケット化部312は、Sub_id付加部313に設定されている条件と、抽出情報付加部311から供給されるテーブルとに従って、各TSパケットのヘッダ部にPIDとSub_idとを付加する。ここでPIDは、Transport packet HeaderのPIDを示し、SidはSub_idを示す。なお、実際には、TSパケット化部312は、その他の各種情報も付加するが、これらについては本発明とは直接関係がないためここでは説明を省略する。また、TSパケット化部312は、抽出情報付加部311から供給されたテーブルをTSパケットにパケット化する。すなわち、TSパケット化部312は、抽出情報付加部311から供給されたテーブルのうちの、PATをTSパケット331に、PMTをTSパケット332に、それぞれパケット化する。
このとき、図23の下段に示されるように、1つのTSパケットに1オーディオフレーム(BS(1)全体や、Ext1(1)の全体など)が含まれている訳ではない。具体的には、1つのTSパケットには、所定のデータ長のデータが格納されるので、1オーディオフレーム(例えば、BS(1)全体)が、複数のTSパケットに分割(分離)される。図23の例の場合、BS(1)は、TSパケット333とTSパケット334に分割される。
なお、図23の例では、PMTのTSパケット332は、PATのTSパケット331の後であってTSパケット333よりも前に送信部77から送信されるように図示されているが、実際には、所定の周期毎に送信部77から送信されるものである。
図22と図23に示される第2の実施の形態では、1つのオーディオストリームに対応する各TSパケットのPID、即ち、そのオーディオストリームについての基本オーディオストリーム並びに第1乃至第nの拡張オーディオストリームの全種類に対応する各TSパケットのPIDは同一(PID=a0)とされている。このことは、受信装置側の本実施の形態の構成(この構成については図28以降の図面を参照して後述する)にあわせるためである。従って、受信装置の構成によっては、オーディオストリームについての基本オーディオストリーム、並びに第1乃至第nの拡張オーディオストリームの全種類に対応する各TSパケットのPIDの全てを同一にする必要は必ずしも無い。例えば、基本オーディオストリーム、並びに、第1乃至第nの拡張オーディオストリームの各種類を単位として、それぞれの種類のTSパケットに対して異なるPIDを付してもよい。
次に、図20の送信装置310におけるTSパケット送信処理について説明する。基本的には、図6のフローチャートで示される処理と同様であるので、図6のフローチャートを流用して、図6の処理と異なる点についてのみ説明する。ステップS11乃至ステップS16の処理は、図6を用いて上述した処理と同様であるのでその説明は省略する。
ステップS17において、図20の抽出情報付加部311は、テーブルを生成し、TSパケット化部312に供給する。具体的には、抽出情報付加部311は、図7および図21に示されるようなPATとPMTのテーブルを生成し、これをTSパケット化部311に供給する。
ステップS18において、TSパケット化部312は、TSパケット生成処理を実行する。なお、この処理の詳細は、図24を参照して後述する。TSパケット化部312により生成されたTSパケットは、送信部77に出力される。
ステップS19において、送信部77は、TSパケット(複数のTSパケットからなるオーディオストリーム)を受信装置42(図10)に対して送信する。具体的には、PATとPMT(テーブル)のTSパケット320,321、基本オーディオストリームのTSパケット322、並びに第1乃至第nの拡張オーディオストリームのTSパケット323−1乃至323−nを含むストリームが受信装置42に対して送信される。その後、処理は終了される。なお、本実施の形態では、TSパケットを受信装置42(図10)に対して送信するようにしたが、図示せぬ各種の記録媒体に記録させるようにしてもよい。また、一旦、記録媒体に記録して、その記録媒体を受信装置42(図10)に提供することで、間接的に送信するようにしてもよい。
次に、第2の実施の形態における、図6のステップS18のTSパケット生成処理の詳細を、図24のフローチャートを参照して説明する。
ステップS131において、TSパケット化部312は、テーブル(PATとPMT)を取得する。このテーブルは、図6のステップS17で生成された、図7および図21に示されるPATとPMTである。
ステップS132において、TSパケット化部312は、テーブル(PATとPMT)をTSパケット化して(PATとPMTに基づいてTSパケットを生成し)、送信部77に出力する。なお、送信部77はこのテーブルを受信装置42に送信する。これにより、図7のPATが記述されたTSパケット320、PMTが記述されたTSパケット321(図22参照)が生成され、送信部77に出力される。なお、この処理では、1回だけTSパケットが送信されるようにしたが、実際には所定の時間毎にテーブルが記述されたTSパケットが送信される。これにより、ストリームの途中で受信装置が受信し始めた場合においても、受信装置は、テーブルを取得できるため確実にデコードすることができる。
ステップS133において、TSパケット化部312は、Sub_id付加部313に設定されている所定の条件と、テーブルとに従って、基本バッファ73、並びに第1乃至第nの拡張バッファ74−1乃至74−nからのオーディオストリームのそれぞれにPIDとSub_idとを付す。なお、テーブルそのものはステップS131の処理でTSパケット化されて送信されたが、ここでは、TSパケット化部312が保持しているものとする。TSパケット化部312は、このテーブルに従って、基本バッファ73、並びに第1乃至第nの拡張バッファ74−1乃至74−nからのオーディオストリームのそれぞれにPID=a0をそれぞれ付加するとともに、Sub_id付加部313に設定されている所定の条件に従って、対応するSub_idをそれぞれ付加する。ここで、第2の実施の形態においては、PID=a0(同一)とされ、Sub_idの値が0,1,2,・・・,Nと変化する。
この処理により、基本オーディオストリーム(BS)にPID=a0,Sub_id=0が付加され、第1の拡張オーディオストリーム(Ext1)にPID=a0,Sub_id=1が付加され、第2の拡張オーディオストリーム(Ext2)にPID=a0, Sub_id=2が付加され、同様にして、第nの拡張オーディオストリーム(ExtN)にPID=a0, Sub_id=Nが付加される。すなわち、ストリームの種類毎に異なる識別情報が付加される。
ステップS134において、TSパケット化部312は、基本バッファ73、並びに第1乃至第nの拡張バッファ74−1乃至74−nからのオーディオストリームに基づいて、それぞれTSパケットを生成する。これにより、図22に示されるように、これらの基本オーディオストリームと第1乃至第nの拡張オーディオストリームは、それぞれ同一のPIDが付されるとともに、それぞれ異なるSub_idが付され、TSパケットとして生成される。なお、詳細には、同じ1オーディオフレームである場合には、同じSub_idが付される(図23のSid参照)。
ステップS135において、TSパケット化部312は、生成したTSパケットを送信部77に出力する。その後、処理は図6のステップS18に戻る。
図6および図24の処理により、第nの拡張オーディオストリームをエンコード可能な送信装置310(図20)は、エンコードしたデータを、基本オーディオストリーム、並びに第1乃至第nの拡張オーディオストリームに分けるとともに、Sub_id付加部313に設定されている条件とテーブルとに基づいて、PIDおよびSub_idを付し、TSパケット化して送信する。また、送信装置310は、PATとPMTのテーブルをTSパケット化して送信する。すなわち、送信装置310(図20)は、ストリームの種類を識別するSub_idをヘッダ部に付した複数のTSパケットと、テーブルのTSパケットを含むオーディオストリームを受信装置42に対して送信する。
送信装置310が送信するストリームには、基本オーディオストリーム、並びに第1乃至第nの拡張オーディオストリームを構成するTSパケットと、PATとPMTが記述されたTSパケットとが含まれるとともに、基本オーディオストリーム、並びに第1乃至第nの拡張オーディオストリームを構成するTSパケットのヘッダには、1本のオーディオストリームを識別するPIDと、オーディオストリームに含まれるTSパケットのそれぞれの種類を識別するためのSub_idとが含まれるので、受信側では、自分の処理能力に合わせたデコードを行うことができる。
次に、送信装置310により送信されるTSパケットの構成例を説明する。図25は、図22のTS(トランスポートストリーム)の基本オーディオストリーム、並びに第1乃至第nの拡張オーディオストリームを伝送するTSパケットの構造を示す図である。
図25に示されるMPEG2 systemsのTSパケットヘッダのシンタクスでは、adaptation_field()の中に、private_data_byteを入れるようにすることができる。このprivate_data_byteの1バイトをSub_idの目的に使うようにする。図25の例の場合、Sub_idと記述されている箇所がprivate_data_byteとされている。
より詳細には、transport_packetのsync_byteからSub_idまでの記述により、TSパケットのヘッダ部が構成され(すなわち、PIDやSub_idが記述され)、payloadの記述により、実データ(オーディオストリーム)が構成される。図22の例の場合、TSパケット322の前半PID=a0、Sub_id=0と記述されているブロックがTSパケットのヘッダ部とされ、TSパケット322の後半、BSと記述されているブロックがTSパケットのペイロード部とされる。
また、adaptation_fieldのadaptation_field_lengthには、adaptation_fieldのデータ長が記述され、flagはその他の情報とされる。また、transport_private_data_flagは、private_dataの有無を示すフラグであり、図25の例では1、すなわち、private_dataがあることを示している。また、transport_private_data_lengthには、private_dataのデータ長が記述され、図25の例では1、すなわち、private_data(Sub_id)のデータ長が1バイトであることを示している。さらに、Sub_idがprivate_dataとして設定されている。Sub_idのデータ長は、transport_private_data_length=1で記述されているように、1バイトとされる。すなわち、Sub_idには、TSパケットの種類に応じて、0,1,2,・・・,nの値が記述される。具体的には、基本オーディオストリームに対応するTSパケットの場合、0が記述され、第1の拡張オーディオストリームに対応するTSパケットの場合、1が記述される。このように、TSパケットのヘッダ部に、PIDとSub_idとが記述される。
図23,図25の例では、基本オーディオストリームと複数段階の拡張オーディオストリームからなるオーディオストリームのTSパケットの構造について説明したが、次に、基本オーディオストリームと拡張オーディオストリームが第1段階までしかないオーディオストリームのTSパケットについて図26と図27を参照して説明する。
図26は、基本オーディオストリームと第1の拡張オーディオストリームを多重化した場合のトランスポートストリームの構造を説明する図である。図中、図23と対応する部分については同一の符号を付してある。
図26では、TSパケットの種類を識別するためにSub_idではなく、transport_priority(図26中ではtpと記述する)を用いる。TSパケット化部312は、最初に、図26の基本オーディオストリーム81および第1の拡張オーディオストリーム82−1(図26中の上段部)を、図26の中段に示されるように、PESパケットストリーム化し、PESパケットストリーム370とする。次に、TSパケット化部312は、PESパケットストリーム370を構成する各PESパケットのそれぞれを、図26の下段に示されるように、TSパケット化して多重化し、TSパケット371乃至378とする。このとき、TSパケット化部312は、Sub_id付加部313に設定されている条件と、抽出情報付加部311から供給されるテーブルとに従って、各TSパケットのヘッダ部にPIDとtransport_priorityとを付加する。なお、実際には、TSパケット化部312は、その他の各種情報も付加する。また、TSパケット化部312は、抽出情報付加部311から供給されたテーブル(PATとPMT)をTSパケットにパケット化する。すなわち、TSパケット化部312は、PATをTSパケット331に、PMTをTSパケット332に、それぞれパケット化する。
図27は、図26のTS(トランスポートストリーム)の基本オーディオストリーム、および第1の拡張オーディオストリームを伝送するTSパケットの構造を示す図である。
図27に示されるMPEG2 systemsのTSパケットヘッダのシンタクスでは、transport_priorityフラグを使って、そのトランスポートパケットのペイロードのデータが、基本オーディオストリームであるか、第1の拡張オーディオストリームであるかを区別する。図27の例の場合、transport_priority=1であれば基本オーディオストリームを示し、transport_priority=0であれば第1の拡張オーディオストリームを示す。このように、優先度の高いストリーム(基本オーディオストリーム)に対してtransport_priority=1を付している。
なお、図27のtransport_packetのsync_byteからcontinuity_counterまでの記述により、TSパケットのヘッダ部が構成され(すなわち、PIDやtransport_priorityが記述され)、payloadの記述により、実データ(オーディオストリーム)が構成される。図26の例の場合、TSパケット371の前半PID=a0、tp=1と記述されているブロックがTSパケットのヘッダ部とされ、TSパケット371の後半、BSと記述されているブロックがTSパケットのペイロード部とされる。
オーディオストリームが、基本オーディオストリームと第1の拡張オーディオストリームのみで構成される場合に、TSパケットを図27に示されるような構造とすることで、図25のTSパケットの構造と比較して、より、ヘッダのデータ量を減らすことができる。なお、勿論、オーディオストリームが基本オーディオストリームと第1の拡張オーディオストリームのみからなる場合に、図25のTSパケットの構造を用いるようにしてもよい。
また、トランスポートパケットヘッダの中でのSub_idの定義の方法は、図25と図27の方法に限らず、他のシンタクスフィールドを適用することも可能である。
次に、第2の実施の形態における再生側の受信装置42(図10)の構成例について説明する。本実施の形態では、再生側の受信装置42は、少なくとも、基本オーディオストリーム(BS)をデコードする能力を有する。また、再生側の受信装置42が、所定の第m段階(mは1以上の自然数であり、m≦nである)までの拡張オーディオストリームを再生可能な場合、受信装置42(図10)は、基本オーディオストリームと第1乃至第mまでの拡張オーディオストリームをデコードすることができる。基本オーディオストリームと拡張オーディオストリームの関係としては、例えば、nが大きな値の拡張オーディオストリームまでをデコードできるほど、オーディオの再生品質が高くなったり、また、機能性が高くなったりする。
最初に、基本オーディオストリーム、並びに第1乃至第nの拡張オーディオストリームを復号可能なオーディオストリーム処理部122を備えた受信装置42(図10)の第2の実施の形態における構成例を、図28を参照して説明する。図28の例では、図18および図19の場合と同様に、TSの多重化方法に制限が加えられた場合にストリーム処理を実行するオーディオストリーム処理部122について説明する。すなわち、図28は、TSの中で、基本オーディオストリーム、並びに、第1乃至第nの拡張オーディオストリームの順番に、同期して再生される符号化の単位が並んで符号化される場合に適用されるオーディオストリーム処理部122の例である。換言すれば、全体のストリームに含まれる基本ストリームを構成するTSパケット、並びに、第1乃至第nの拡張ストリームのそれぞれを構成するTSパケットは、同時刻に再生されるTSパケットが連続して、かつ、基本ストリームを構成するTSパケット、並びに、第1乃至第nの拡張ストリームのそれぞれを構成するTSパケットの順に並べられている(エンコーダ側の送信装置41が、この順番に並べてTSパケットを出力している)。
図28のオーディオストリーム処理部122には、入力部401、PIDフィルタ制御部402、PIDフィルタ403、Sub_idフィルタ制御部404、Sub_idフィルタ405、バッファ406、およびオーディオデコーダ407が設けられている。
入力部401は、(図10の)受信部121から供給されるオーディオストリームのTSパケット(基本オーディオストリーム、並びに、第1乃至第nの拡張オーディオストリームの順番に、同期して再生される符号化の単位が並んで入力されるTSパケット)の入力を受け付ける。入力部401は、オーディオストリームのTSパケットのうち、テーブル(図7と図21を用いて上述したPATとPMTのテーブル)のTSパケットをPIDフィルタ制御部402に供給し、それ以外のTSパケット(例えば、図23のPIDやSub_idが付された基本オーディオストリーム、並びに第1乃至第nの拡張オーディオストリームのTSパケット)をPIDフィルタ403に供給する。また、入力部401は、PIDやSub_idが付された基本オーディオストリーム、並びに第1乃至第nの拡張オーディオストリームのTSパケット(PATとPMT以外のTSパケット)のヘッダ部を、Sub_idフィルタ制御部404に供給する。例えば、入力部401に入力されるオーディオストリームのTSパケットが図25に示される構成であった場合、図25のsync_byteからSub_idまでのヘッダ部をSub_idフィルタ制御部404に供給し、入力部401に入力されるオーディオストリームのTSパケットが図27に示される構成であった場合、図27のsync_byteからcontinuity_counterまでのヘッダ部をSub_idフィルタ制御部404に供給する。
PIDフィルタ制御部402は、取得したテーブル(図7および図21)に基づいて、PIDフィルタ403の動作を制御する。例えば、PIDフィルタ制御部402は、図7および図21のPATとPMTに基づいて、TSパケットのヘッダ部に記述されているAudio_PID=a0であるTSパケットを、Sub_idフィルタ404に供給させるよう、PIDフィルタ403の動作を制御する(PIDフィルタ403のスイッチを切り換える)。
PIDフィルタ403は、PIDフィルタ制御部402からの制御に基づいて、TSパケットを選択する(取り出す)。例えば、PIDフィルタ403は、PIDフィルタ制御部402からの制御に基づいて、ヘッダに記述されているPID=a0であるTSパケットを、後段のSub_idフィルタ405に供給する。
Sub_idフィルタ制御部404は、入力部401から供給されたTSパケットのヘッダ部に記述されているSub_idの情報(値)と、Sub_idフィルタ制御部404にあらかじめ設定されている所定の条件とに基づいて、Sub_idフィルタ405の動作を制御する。Sub_idフィルタ制御部404には、上述した送信装置310(図20)のSub_id付加部313に設定されている条件と同じ条件が設定されているので、Sub_idフィルタ制御部404は、この設定されている条件と、入力部401から供給されたTSパケットのSub_idの値に基づいて、オーディオデコーダ407が処理可能なストリームの種類を判断し、Sub_idフィルタ405の動作を制御する(Sub_idフィルタ405のスイッチを切り換える)。図28の例の場合、Sub_idフィルタ制御部404は、オーディオデコーダ407が処理可能なストリームの種類が、基本オーディオストリーム、並びに第1乃至第nの拡張オーディオストリームであると判断し、Sub_id=0乃至Nが付されたTSパケットを、バッファ406に供給するようSub_idフィルタ405を制御する。
Sub_idフィルタ405は、Sub_idフィルタ制御部404からの制御に基づいて、TSパケットを選択する(取り出す)。具体的には、Sub_idフィルタ405は、Sub_idフィルタ制御部404からの制御に基づいて、ヘッダに記述されているSub_idの値に対応するスイッチを選択する。例えば、Sub_idフィルタ405は、Sub_idフィルタ制御部404からの制御に基づいて、TSパケットのヘッダ部に記述されているSub_idの値が0,1,2,・・・,NであるTSパケットを、後段のバッファ406に順次供給する。このとき、図22や図23に示されるように、TSの中で、BS(1),Ext1(1), Ext2(1),・・・ExtN(1),BS(2),Ext1(2),Ext2(2),・・・,ExtN(2)の順番に並んで符号化されているため、Sub_idフィルタ405は、図29に示されるように、TSの中で、BS(1),Ext1(1), Ext2(1),・・・ExtN(1),BS(2),Ext1(2),Ext2(2),・・・,ExtN(2)の順番で、TSパケットのペイロードデータをバッファ406に供給する。
バッファ406は、Sub_idフィルタ405から供給されたTSパケットを格納(バッファリング)する。このバッファ406は、オーディオデコーダ407に対する同期を取るために動作するオーディオバッファである。具体的には、バッファ406は、BS(1),Ext1(1),Ext2(1),・・・,ExtN(1),BS(2),Ext1(2),Ext2(2),・・・,ExtN(2)の順番に並んで供給されたTSパケット(データ)を格納する。また、バッファ406は、バッファリングしているTSパケットを、所定のタイミングでオーディオデコーダ407に出力する(すなわち、オーディオデコーダ407は、バッファ406に格納されているTSパケットを、所定のタイミングで取得する)。オーディオデコーダ407は、バッファ406から供給されたTSパケットをデコードする。オーディオデコーダ407は、デコードしたオーディオストリームを、後段の出力部123(図10)に供給する。
第2の実施の形態における、図28によれば、PIDの値をストリームの種類(基本オーディオストリーム、並びに第1乃至第nの拡張オーディオストリーム)で異なる値を用いないようにし、Sub_idの値をストリームの種類で異なる値を用いるようにしたので、基本と拡張を組み合わせたオーディオストリームを1つの実体と考えて、それに1つのPIDの値を与えて管理することができる。このことは、基本オーディオストリームと複数段階の拡張オーディオストリームを1つのストリームとして管理するアプリケーションに適用した場合に、特に有効となる。
なお、図28のオーディオストリーム処理部122を設けた受信装置42(図10)におけるTSパケット受信処理の処理は、基本的には、図12の処理と同様であるが、図12のステップS53のオーディオストリーム処理の詳細が異なる。そこで、図30と図31のフローチャートを用いて、図12のステップS53の処理の一例である、第n段の拡張オーディオストリーム処理を説明する。この処理は、図28のオーディオストリーム処理部122により実行される処理である。すなわち、基本オーディオストリーム、並びに第1乃至第nの拡張オーディオストリームをデコードできるオーディオストリーム処理部122が実行する処理である。
ステップS171において、入力部401はオーディオストリームのTSパケットの入力(複数のTSパケットからなるオーディオストリーム)を受け付ける。このオーディオストリームのTSパケットは、上述した図6のステップS19で送信装置41により送信された、テーブル(図7と図21)のTSパケット、基本オーディオストリームTSパケット、並びに第1乃至第nの拡張オーディオストリームのTSパケットを含む1本のオーディオストリームである。
ステップS172において、入力部401は、テーブル(図7と図21)のTSパケットをPIDフィルタ制御部402に供給する。具体的には、オーディオストリームのTSパケットには、テーブル(PATとPMT)のTSパケット、基本オーディオストリームのTSパケット、並びに、第1乃至第nの拡張オーディオストリームのTSパケットが含まれているので(図22、図23参照)、入力部401は、これらのTSパケットのうち、テーブル(図7と図21)のTSパケットをPIDフィルタ制御部402に供給する。
ステップS173において、入力部401は、PIDが付されているTSパケットをPIDフィルタ403に供給する。具体的には、図22や図23において、PIDが付されている基本オーディオストリーム、並びに第1乃至第nの拡張オーディオストリームのTSパケットをPIDフィルタ403に供給する。
ステップS174において、PIDフィルタ制御部402は、テーブル(図7と図21)を参照して、オーディオデコーダ407が処理できるストリームを判断する。すなわち、PIDフィルタ制御部402は、自分が処理できる1本のストリーム(この例の場合、PID=a0のオーディオストリーム)を、テーブルを参照して判断し、そのストリームに関連付けられたPIDを自分が処理できるストリームの種類と判断する。また、PIDフィルタ制御部402は、自分が処理できると判断したPID=a0が付されたTSパケット(オーディオストリームに関連付けられたTSパケット)を選択するようにPIDフィルタ403を制御する。
このステップS174の処理で、PIDフィルタ制御部402は、同じPIDが付された(PID=a0が付された)1本のオーディオストリームを構成する、基本オーディオストリームのTSパケット、並びに、第1乃至第nの拡張オーディオストリームのTSパケットを、Sub_idフィルタ405に供給するよう、PIDフィルタ403を制御することになる。
ステップS175において、PIDフィルタ403は、PIDフィルタ制御部402からの制御に基づいて、スイッチを選択し、対応するTSパケットを後段のSub_idフィルタ405に供給する。具体的には、PIDフィルタ403は、PID=a0であるTSパケット、すなわち、1本のオーディオストリームを、スイッチを切り換えて選択し、後段のSub_idフィルタ405に供給する。
ステップS176において、Sub_idフィルタ制御部404は、ステップS173の処理で入力部401から供給されたTSパケットのヘッダ部の情報と、Sub_idフィルタ制御部404にあらかじめ設定されている所定の条件に基づいて、オーディオデコーダ407が処理できるストリームの種類を判断し、Sub_idフィルタ405を制御する。例えば、Sub_idフィルタ制御部404は、オーディオデコーダ407が処理可能なストリームの種類が、基本オーディオストリーム、並びに第1乃至第nの拡張オーディオストリームであると判断する。また、Sub_idフィルタ制御部404には、Sub_id=0が基本オーディオストリームに対応しており、Sub_id=1が第1の拡張オーディオストリームに対応しており、同様にして、Sub_id=Nが第nの拡張オーディオストリームに対応している、といった条件があらかじめ設定されているので、Sub_idフィルタ制御部404は、この条件に基づいて、自分自身が処理可能であると判断した種類のストリームを、後段のバッファ406に供給するよう、Sub_idフィルタ405の動作を制御する。なお、Sub_idフィルタ制御部404に設定されている条件は、上述した送信装置310(図20)のSub_id付加部313に設定されている条件と同じ条件(Sub_id=0が基本オーディオストリームに対応しているなどの条件)であるので、Sub_idにより、正確にストリームの種類を識別することができる。
ステップS177において、Sub_idフィルタ405は、Sub_idフィルタ制御部404からの制御に基づいて、スイッチを選択し、対応するTSパケットを後段のバッファ406に供給する。例えば、Sub_idフィルタ405は、Sub_idフィルタ制御部404からの制御に基づいて、ヘッダ部にSub_id=0が付されたTSパケットを、Sub_idフィルタ405のSub_id=0のラインを介してバッファ406に供給されるよう、スイッチを切り換える。また、Sub_idフィルタ405は、Sub_idフィルタ制御部404からの制御に基づいて、ヘッダ部にSub_id=1が付されたTSパケットを、Sub_idフィルタ405のSub_id=1のラインを介してバッファ406に供給されるよう、スイッチを切り換える。これにより、図29に示されるようなTSパケットの順番で、バッファ406にデータが供給される。
ステップS178において、バッファ406は、Sub_idフィルタ405から供給されたTSパケットを格納(バッファリング)する。これにより、バッファ406には、図29に示されるような、BS(1),Ext1(1),Ext2(1),・・・,ExtN(1),BS(2),Ext1(2),Ext2(2),・・・,ExtN(2)の順番に並んで供給されたTSパケットが格納される。
ステップS179において、バッファ406は、所定のタイミングでTSパケットをオーディオデコーダ407に出力する。例えば、バッファ406は、図29に示されるような、BS(1),Ext1(1),Ext2(1),・・・,ExtN(1),BS(2),Ext1(2),Ext2(2),・・・,ExtN(2)の順番に並んでバッファリングしていたTSパケットを、所定のタイミングで、順次オーディオデコーダ407に出力する。
ステップS180において、オーディオデコーダ407は、バッファ406から供給されたTSパケット(BS(1),Ext1(1),Ext2(1),・・・,ExtN(1),BS(2),Ext1(2),Ext2(2),・・・,ExtN(2)の順番で供給されたTSパケット)を順次デコードし、ステップS181において、デコードしたオーディオストリームを順次出力する。
図30と図31の処理により、受信するストリームに、基本オーディオストリームを構成するTSパケット、第1乃至第nの拡張オーディオストリームを構成するTSパケット、PIDを振り分けるためのテーブル(図7と図21のPATとPMT)が含まれるとともに、基本オーディオストリームを構成するTSパケットおよび第1乃至第nの拡張オーディオストリームを構成するTSパケットには、1本のオーディオストリームを識別するためのPIDと、オーディオストリームの種類を識別するためのSub_idが付されているので、図28に示されるような基本オーディオストリーム、第1乃至第nの拡張オーディオストリームをデコード可能なオーディオストリーム処理部122(受信装置42)においても、容易にデコードを行うことができる。
図28乃至図31では、図22と図23のTSを復号可能なオーディオストリーム処理部122を備えた受信装置42(図10)について説明したが、その他の例として、図22と図23のTSを復号可能なオーディオストリーム処理部122のオーディオデコーダ407が、基本オーディオストリームのみをデコードする能力を有する場合の構成例について、図32を用いて説明する。なお、図中、図28と対応する部分については同一の符号を付してあり、その説明は繰り返しになるので省略する。
Sub_idフィルタ制御部404は、入力部401から供給されたTSパケットのヘッダ部に記述されているSub_idの情報(値)と、Sub_idフィルタ制御部404にあらかじめ設定されている所定の条件とに基づいて、Sub_idフィルタ405の動作を制御する。図32の例の場合、Sub_idフィルタ制御部404は、オーディオデコーダ407が処理可能なストリームの種類が、基本オーディオストリームであると判断し、所定の条件に基づいて、基本オーディオストリームがSub_id=0に対応することを確認する。そして、Sub_idフィルタ制御部404は、Sub_id=0が付されたTSパケットを、バッファ406に供給するようSub_idフィルタ405を制御する。
Sub_idフィルタ405は、Sub_idフィルタ制御部404からの制御に基づいて、TSパケットを選択する(取り出す)。図32の例の場合、Sub_idフィルタ405は、Sub_idフィルタ制御部404からの制御に基づいて、ヘッダに記述されているSub_id=0の値に対応するスイッチを選択し、基本オーディオストリームを、バッファ406に供給する。
図32の例の場合、オーディオストリーム処理部122は、基本オーディオストリームに対応するオーディオデコーダ407のみを有し、第1乃至第nの拡張オーディオストリームをデコードできる能力がない。この場合、Sub_idフィルタ制御部404は、自分が処理できるストリームの種類が基本オーディオストリームのみであることを記憶しており、あらかじめ設定されている所定の条件(例えば、Sub_id=0が基本オーディオストリームに対応し、Sub_id=1が第1の拡張オーディオストリームに対応するなどの条件)から、基本オーディオストリームに対応するSub_idを参照する。この場合、Sub_idフィルタ制御部404は、Sub_id=0が、自分が処理できるストリームの種類であると判断し、デコードできるストリームのSub_idが付されたTSパケットを選択するようにSub_idフィルタ405を制御する。例えば、Sub_idフィルタ制御部404は、デコードできるストリームのIDを通過させてよいSub_idの番号(Sub_id=0)をSub_idフィルタ405に通知する。Sub_idフィルタ405は、Sub_idフィルタ制御部404から通知されたSub_id、すなわちSub_id=0に基づいて、Sub_id=0が付されたTSパケットを選択し、これをバッファ406に供給する。このとき、第1乃至第nの拡張オーディオストリームのTSパケットが供給されてきた場合、Sub_idフィルタ405は、そのパケットを選択しない。すなわち、Sub_id=0が付された基本オーディオストリームのTSパケットのみが供給されてきた場合に、Sub_idフィルタ405は、その基本オーディオストリームのTSパケットを選択して、後段のバッファ406に供給する。これにより、Sub_idフィルタ405では、図33に示されるように、基本オーディオストリームのTSパケットが選択され、後段のバッファ406に供給される。
なお、図32のオーディオストリーム処理部122を設けた受信装置42(図10)におけるTSパケット受信処理の処理は、図12、図30および図31の処理と同様であるのでその説明は省略する。ただし、図32のSub_idフィルタ制御部404は、Sub_id=0が付されたTSパケットを、後段のバッファ406に供給させるよう、Sub_idフィルタ405を制御し、Sub_idフィルタ405は、Sub_idフィルタ制御部404からの制御に基づいてスイッチを切り換える。その結果、Sub_idフィルタ405は、図33に示されるように、基本オーディオストリームのTSパケットのみを、バッファ406に供給する。そして、オーディオデコーダ407は、所定のタイミングでバッファ406から供給されてきた基本オーディオストリームのTSパケットをデコードする。
このように、TSパケットのヘッダに、1本のストリームを示すPIDと、ストリームの種類を識別するSub_idが付されているので、図32に示されるような基本オーディオストリームのみをデコード可能なオーディオストリーム処理部122(受信装置42)においても、基本オーディオストリームに対応するTSパケットのみを選択してデコードすることができる。すなわち、複数段階に拡張されたオーディオストリームが送信されてきた場合においても、図32のオーディオストリーム処理部122を備える受信装置42においては、基本オーディオストリームのみを取り出し、再生することができる。また、TSパケットのペイロード部ではなく、ヘッダにSub_idが付加されているので、受信装置42においてTSパケットのペイロード部を見ずとも、自分自身が処理可能であるか否かをヘッダ部に基づいて判断することができ、もって、迅速に処理することができる。
上述した第2の実施の形態では、図22と図23のTSを復号可能なオーディオストリーム処理部122を備えた受信装置42(図10)の例について説明したが、さらにその他の例として、図22と図23のTSを復号可能なオーディオストリーム処理部122のオーディオデコーダ407が、基本オーディオストリームと第1の拡張オーディオストリームのみをデコードする能力を有する場合の構成例について、図34を用いて説明する。
Sub_idフィルタ制御部404は、入力部401から供給されたTSパケットのヘッダ部に記述されているSub_idの情報(値)と、Sub_idフィルタ制御部404にあらかじめ設定されている所定の条件とに基づいて、Sub_idフィルタ405の動作を制御する。図34の例の場合、Sub_idフィルタ制御部404は、オーディオデコーダ407が処理可能なストリームの種類が、基本オーディオストリームと第1の拡張オーディオストリームであると判断し、所定の条件に基づいて、基本オーディオストリームと第1の拡張オーディオストリームがSub_id=0,1に対応することを確認する。そして、Sub_idフィルタ制御部404は、Sub_id=0,1が付されたTSパケットを、バッファ406に供給するようSub_idフィルタ405を制御する。
Sub_idフィルタ405は、Sub_idフィルタ制御部404からの制御に基づいて、TSパケットを選択する(取り出す)。図34の例の場合、Sub_idフィルタ405は、Sub_idフィルタ制御部404からの制御に基づいて、ヘッダに記述されているSub_id=0,1の値に対応するスイッチを選択し、基本オーディオストリームと第1の拡張オーディオストリームを、バッファ406に供給する。
図34の例の場合、オーディオストリーム処理部122は、基本オーディオストリームと第1の拡張オーディオストリームとに対応するオーディオデコーダ407のみを有し、第2乃至第nの拡張オーディオストリームをデコードできる能力がない。この場合、Sub_idフィルタ制御部404は、自分が処理できるストリームの種類が基本オーディオストリームと第1の拡張オーディオストリームであることを記憶しており、あらかじめ設定されている所定の条件(例えば、Sub_id=0が基本オーディオストリームに対応し、Sub_id=1が第1の拡張オーディオストリームに対応するなどの条件)から、基本オーディオストリームと第1の拡張オーディオストリームとに対応するSub_idを参照する。この例の場合、Sub_idフィルタ制御部404は、Sub_id=0,1が、自分が処理できるストリームの種類であると判断し、デコードできるストリームのSub_idが付されたTSパケットを選択するようにSub_idフィルタ405を制御する。例えば、Sub_idフィルタ制御部404は、デコードできるストリームのIDを通過させてよいSub_idの番号(Sub_id=0,1)をSub_idフィルタ405に通知する。Sub_idフィルタ405は、Sub_idフィルタ制御部404から通知されたSub_id、すなわちSub_id=0,1に基づいて、Sub_id=0,1が付されたTSパケットを選択し、これをバッファ406に供給する。このとき、第2乃至第nの拡張オーディオストリームのTSパケットが供給されてきた場合、Sub_idフィルタ405は、そのパケットを選択しない。すなわち、Sub_id=0,1が付された基本オーディオストリームと第1の拡張オーディオストリームのTSパケットのみが供給されてきた場合に、Sub_idフィルタ405は、その基本オーディオストリームと第1の拡張オーディオストリームのTSパケットを選択して、後段のバッファ406に供給する。これにより、Sub_idフィルタ405では、図35に示されるように、基本オーディオストリームと第1の拡張オーディオストリームのTSパケットが選択され、後段のバッファ406に供給される。
なお、図34のオーディオストリーム処理部122を設けた受信装置42(図10)におけるTSパケット受信処理の処理は、図12、図30および図31の処理と同様であるのでその説明は省略する。ただし、図34のSub_idフィルタ制御部404は、Sub_id=0,1が付されたTSパケットを、後段のバッファ406に供給させるよう、Sub_idフィルタ405を制御し、Sub_idフィルタ405は、Sub_idフィルタ制御部404からの制御に基づいてスイッチを切り換える。その結果、Sub_idフィルタ405は、図35に示されるように、基本オーディオストリームと第1の拡張オーディオストリームのTSパケットのみを、バッファ406に供給する。そして、オーディオデコーダ407は、所定のタイミングでバッファ406から供給されてきた基本オーディオストリームと第1の拡張オーディオストリームのTSパケットをデコードする。
このように、基本オーディオストリームと第1の拡張オーディオストリームを復号(デコード)可能な受信装置42(図34のオーディオストリーム処理部122)においては、基本オーディオストリームと第1の拡張オーディオストリームだけを分離して再生することができる。
また、TSの中で、基本オーディオストリーム、並びに、第1乃至第nの拡張オーディオストリームの順番に、同期して再生される符号化の単位が並んで符号化され、供給されたオーディオストリームであれば、図28、図32、および図34に示されるような構成を適用することができ、第1の実施の形態の図16などと比較して、バッファの数を少なくすることができる。また、低コストにオーディオストリーム処理部を実現することができる。
なお、第2の実施の形態の受信装置42のオーディオストリーム処理部122(図28、図32、および図34)の例では、図18の場合と同様に、TSの多重化方法に制限が加えられた場合にストリーム処理をするときについて説明したが、第1の実施の形態の図11、図14、図15、および図16に示されるように、ストリームの種類毎に対応するバッファを個別に設けるようにしてもよい。その場合、バッファの数は増えるが、TSの多重化方法の制限がなくなり、より、受信装置42の自由度を広げることができる。
また、図28、図32、図34の例のオーディオストリーム処理部122では、入力部401が、TSパケットのヘッダを、Sub_idフィルタ制御部404に供給するようにしたが、これに限らず、PIDフィルタ403の出力(PID=a0のTSパケット)を、Sub_idフィルタ制御部404に供給させるようにしてもよい。この場合、Sub_idフィルタ制御部404は、入力部401ではなく、PIDフィルタ403から供給されたTSパケットのヘッダ部に基づいて、Sub_idフィルタ405を制御する。
以上の第2の実施の形態によれば、基本オーディオストリームと複数段階の拡張オーディオストリームの多重化ストリームからオーディオを再生する場合に、基本オーディオストリームだけの復号能力を持った受信装置42(例えば、図32のオーディオストリーム処理部122を有する受信装置42)では基本オーディオストリームだけを分離して再生でき、所定の段階nの拡張オーディオストリームまでの再生能力を持った再生装置42(例えば、図28のオーディオストリーム処理部122を有する受信装置42)では、基本とその段階nまでの拡張オーディオストリームを分離して再生できるようにするための、多重化ストリームの符号化および復号方法を提供することができる。
すなわち、送信側の送信装置41(例えば、図20の送信装置41))によれば、基本オーディオストリームと複数段階の拡張ストリームを含むストリームを受信側の処理能力に応じてデコードできるようにエンコードすることができる。換言すれば、受信側の装置(例えば、図28、図32、および図34)は、基本オーディオストリームと複数段階の拡張ストリームを含むストリームが送信されてきた場合に、自分が処理できるストリームの種類を判断し、自分が処理できるストリームのみをデコードして再生することができる。
また、各TSパケットのヘッダ部にPIDとSub_idを付すようにすればよいため、トランスポートストリームへ容易に適用することができる。
さらに、1つのTSパケットが188バイト長と比較的小さいデータの中に、1種類のストリームしか入れなくて良い、すなわち、1つのTSパケットに基本オーディオストリームと拡張オーディオストリームを入れる必要はないため、符号化効率のよい符号化を行うことができる。
また、オーディオストリームの拡張が追加された場合、すなわち、nが増えた場合においても、ストリーム構造はフォーマットで決められていないため、符号化、復号の両方で対応することができる。すなわち、基本オーディオストリームしか復号できない装置においても、拡張が追加されたオーディオストリームを復号することができる。
なお、本発明は、エンコーダを有する送信装置41に限らず、エンコードを行う全ての情報処理装置に適用することができる。また、本発明は、デコーダを有する受信装置42に限らず、デコードを行う全ての情報処理装置に適用することができる。
さらに、以上の例では、本発明をオーディオストリームのエンコード、デコードに適用した場合について説明したが、これに限らず、ビデオストリームのエンコード、デコードに適用することもできる。すなわち、本発明は、オーディオストリームまたはビデオストリームでなどのストリームに適用することができる。
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、上述した処理は、図36に示されるようなパーソナルコンピュータ500により実行される。
図36において、CPU501は、ROM502に記憶されているプログラム、または、記憶部508からRAM503にロードされたプログラムに従って各種の処理を実行する。RAM503にはまた、CPU501が各種の処理を実行する上において必要なデータなどが適宜記憶される。
CPU501、ROM502、およびRAM503は、内部バス504を介して相互に接続されている。この内部バス504にはまた、入出力インターフェース505も接続されている。
入出力インターフェース505には、キーボード、マウスなどよりなる入力部506、CRT,LCDなどよりなるディスプレイ、スピーカなどよりなる出力部507、ハードディスクなどより構成される記憶部508、並びに、モデム、ターミナルアダプタなどより構成される通信部509が接続されている。通信部509は、電話回線やCATVを含む各種のネットワークを介しての通信処理を行う。
入出力インターフェース505にはまた、必要に応じてドライブ510が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどによりなるリムーバブルメディア521が適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部508にインストールされる。
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
この記録媒体は、図36に示されるように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されているリムーバブルメディア521よりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM502や記憶部508が含まれるハードディスクなどで構成される。
なお、本明細書において、コンピュータプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表わすものである。