JPWO2006040827A1 - 送信装置、受信装置、並びに再生装置 - Google Patents

Abstract

再生品質を劣化させずにフレーム間引いたりフレーム間隔を広げたりするような再生制御を行うことを可能にする。送信装置１は、時間的な連続性を有するメディアデータを時間的に分割して符号化する符号化部３と、符号化されたデータ単位に、メディアの内容に基づく再生情報を生成する再生情報生成部４と、符号化されたメディアデータと生成された再生情報とを送信する送信部５とを備える。また、受信装置１１は、受信したデータから時間的な連続性を有するメディア符号化データと再生情報に抜き出す受信部１２と、メディア符号化データを復号する復号部１３と、再生情報に基づいて復号されたメディアデータを再生する再生部１４とを備える。

Description

この発明は、再生劣化を招くことのない再生制御を可能にするための送信装置、受信装置、並びに再生装置に関するものである。

従来、データの過不足等により所望のタイミングでメディアの再生が行えない場合、再生周波数を変更することで、再生タイミングを調整する動画像再生装置がある。この従来の動画像再生装置は、再生フレームレートを柔軟に変更できるようにしているため、伝送路の輻輳やＣＰＵの高負荷等の状況でも動画像をスムーズに再生できる（例えば、特許文献１参照）。

例えば、伝送路が輻輳状態のために、本来の受信タイミングより遅れてビデオデータが到着した場合、再生装置では再生するビデオデータが一時的に不足し、再生が一時停止せざるを得なくなり、ユーザにとって見づらい動画像となる。

そのため、従来の方法では、ビデオデータが不足する前に、再生するビデオフレーム間隔を本来の間隔より広げることで、ビデオデータの不足を防ぐ。この時ビデオの再生間隔は伸びるが、再生を停止した場合に比べて、ユーザへの視覚的な影響は少ない。

その後、伝送路で遅延していたビデオデータを一気に受信すると、再生装置はビデオバッファがオーバーフローを起こす可能性があるため、再生するビデオフレーム間隔を本来の間隔より狭めることで、ビデオバッファのオーバーフローを防ぐ。こうすることで、ビデオの廃棄を防ぎ、再生までの遅延を短くすることが可能となる。

このようにして、ビデオバッファの残量により、ビデオの再生フレームレートを調整すれば、ビデオバッファのオーバーフローやアンダーフローを防げると共に、再生までの遅延時間が極端に大きくなることが避けられる。その結果、ビデオを視聴する人にとって違和感の少ないビデオ再生となる。

特開平７−３２７２１４号公報

従来の動画像再生装置は、動的にフレームの再生間隔を変更するため、多少動きが早くなったり遅くなったりというような、視覚的な影響が発生するという問題点があった。

また、従来の方法で音声データを再生しようとすると、音声周波数が上下してしまい、違和感のある音声が出力されるという問題点があった。

さらに、パソコンなどの汎用的な装置では、再生用のフレーム間隔を変更できない場合があり、従来の方法を使用できないという問題点があった。

この発明は前記のような問題点を解決するためになされたもので、フレーム間隔を変更せずに再生制御を行うことを可能にする送信装置、受信装置並びに再生装置を得ることを目的とする。

この発明に係る送信装置は、時間的な連続性を有するメディアデータを時間的に分割して符号化する符号化手段と、前記符号化手段により符号化されたデータ単位にメディアの内容に基づいて再生情報を生成する再生情報生成手段と、前記符号化手段により符号化されたメディアデータと前記再生情報生成部により生成された再生情報とを送信する送信手段とを備えたものである。

また、この発明に係る受信装置は、受信したデータから時間的な連続性を有するメディア符号化データと再生情報に抜き出す受信手段と、前記受信手段からのメディア符号化データを復号する復号手段と、前記受信手段からの再生情報に基づいて前記復号手段により復号されたメディアデータを再生する再生手段とを備えたものである。

さらに、この発明に係る再生装置は、時間的な連続性を有するメディア符号化データと再生情報とを予め蓄積した蓄積手段と、前記蓄積手段からメディア符号化データと再生情報とを読出す読出し手段と、前記読出し手段により読出されたメディア符号化データを復号する復号手段と、前記読出し手段により読出された再生情報に基づいて前記復号手段により復号されたメディアデータを再生する再生手段と備えたものである。

この発明によれば、メディア符号化データの内容を考慮した再生情報をメディア符号化データに付与して送信し、再生情報を用いて再生制御を行うようにしたので、フレーム間隔を変更せずに再生制御を行うことができる。

この発明の実施の形態１に係る送信装置および受信装置の構成を示すブロック図である。 この発明の実施の形態１に係る再生制御時の動作を説明するもので、音声波形を再生する場合の例を示す図である。 この発明の実施の形態１に係る再生制御時の動作を説明するもので、再生タイミングの調整を行わない例を示す図である。 この発明の実施の形態１に係る再生制御時の動作を説明するもので、再生タイミングの調整を行った例を示す図である。 この発明の実施の形態１に係る再生制御時の動作を説明するもので、再生タイミングの調整を行った他の例を示す図である。 この発明の実施の形態２に係る再生装置の構成を示すブロック図である。

実施の形態１．
図１は、この発明の実施の形態１に係る送信装置および受信装置の構成を示すブロック図である。図１において、送信装置１と受信装置１１とは、ネットワーク１０を介して接続され、メディアデータの送受信を行う。送信装置１に入力されるメディアデータ２はビデオやオーディオなどの時間的に連続なデータである。符号化部３はメディアデータ２を符号化し、その符号化データを生成する。再生情報生成部４は符号化部３で符号化されたデータ単位にその再生情報を生成する。送信部５は、符号化部３で生成された符号化データと再生情報生成部４で生成された再生情報とを合わせて１つの符号化ユニットとして送信する。

受信装置１１の受信部１２は、ネットワーク１０を介して受信したデータから符号化データと再生情報を抜き出す。復号部１３は符号化データを復号する。再生部１４は再生情報を基に復号されたメディアデータを再生する。なお、図１は１つのメディアデータの伝送に関しての構成図であるが、同様の機能部を複数具備することで、複数のメディアデータを同時に伝送することも可能である。

次に動作について説明する。まず、送信装置１の符号化部３で、時間的に連続なメディアデータ２を任意の単位に分割して符号化を行い、符号化データを生成する。再生情報生成部４では符号化部３で符号化したデータ単位に再生情報を生成する。ここで、再生情報とはメディアデータのコンテンツとしての内容を考慮した場合の再生における重要度等の補助情報を示すものである。メディアデータの再生情報を生成するにあたり、再生情報生成部４は符号化部３からメディアデータに関する情報をもらう。例えば音声データの場合、符号化部３で符号化時に音声の電力量（パワー）の大小を検出し、それを再生情報生成部４に通知することで、再生情報生成部４では、電力量の少ない音声データは再生しなくても再生音声に大きな影響を与えないため、再生情報としてその旨を記録する。そして、送信部５では符号化部３で生成した符号化データと再生情報生成部４で生成した再生情報を合わせて送信する。その方法としては、符号化データを送るための符号化ユニットを生成し、そのヘッダ部分に再生情報を設定すると共に符号化ユニットの情報部分に符号化データを設定する。

送信装置１の送信部５から送信されたデータは、ネットワーク１０を介して、受信装置１１の受信部１２で受信される。受信部１２では受信したデータの中から符号化データと再生情報を分離し、それぞれ復号部１３、再生部１４へ送る。復号部１３では符号化データを復号し、メディアデータとして再生部１４へ転送する。再生部１４では復号されたメディアデータを再生情報に基づき再生する。このように、再生情報を利用して符号化データを再生する場合、例えば音声の電力量が低いものをノイズとみなして出力しないようにすることで、ノイズを再生しないようにできる。一方、通常のように、全ての音声データを出力することもできる。

以上のように、送信装置１では、符号化データの他に再生情報を送信するため、各符号化データ単位に再生における情報（重要度）を認識することができる。 また、受信装置１１では、再生情報を基に各符号化データ単位に再生の可否を制御するようにしたので、必要と思われる符号化データのみを選択して再生することができる。

また、再生情報に、メディアデータの内容的な電力量を含めることで、何らかの事情で全てのメディアデータを再生できない場合に、電力量の多いメディアデータのみを選択して再生することが可能となり、かつ内容的に重要なため、ユーザには必要な情報は伝えることができる。

音声データの場合、音声波形の大きさや周波数が重要な要素となるため、符号化部３で符号化を行う際に、音声の電力量（パワー）を検出し、その大きさを再生情報生成部４に通知する。再生情報生成部４では通知された大きさを該当音量の電力量とみなし、各符号化データに対応する再生情報としてその電力量を設定する。

受信装置１１では、この再生情報に基づき符号化データの再生を行うが、電力量が少ないものに関しては、再生を行わないことも可能である。再生を行わないことによって音声データが出力されないことになるが、音声出力の小さいデータであるため、それを聞く人には音声品質の劣化を感じさせない。

以上のように、再生情報に電力量という情報を含めることにより、各符号化データの内容的に重要な部分のみを出力することができる。

ビデオのように常に何らかの映像が再生されている場合、内容的に重要な部分は映像に動きがある部分となる。つまり、変化量の大きいものほど、コンテンツの内容的な意味では重要となる。そこで、ビデオデータに関して、符号化部３で符号化を行う際に、前フレームからの変化量を電力量で表し、その大きさを再生情報生成部４に通知する。再生情報生成部４では通知された電力量をそのフレームの変化量とみなし、各符号化データに対応する再生情報としてその変化量を設定する。

受信装置１１では、この再生情報に基づき符号化データの再生を行うが、変化量が小さいものに関しては、再生を行わないことも可能である。再生を行わないことによってビデオのフレームがスキップされることになるが、直前のフレームとの差分が小さいため、それを観る人には映像品質の劣化を感じさせない。例えばＣＰＵの能力が十分でない場合など、このようにフレームスキップをすることによって再生品質を低下させずに、ＣＰＵの負荷を軽減できる。

以上のように、再生情報に変化量という情報を含めることにより、各符号化データの内容的に重要な部分のみを出力することができる。

また、再生情報に、メディアデータの内容的な連続性を含めることで、再生時に連続性のない部分、つまりシーンチェンジや会話の途切れた部分を認識することができる。

例えば音声データの場合、単語は一つの連続した音声である。単語中にも無音部分が含まれ、その時の電力量は小さいが、無音部分の含めた１つの単語としての連続性を有する。音声における連続性の検出方法としては、電力量を監視し、電力量が小さい部分が不連続部分となる可能性が高いが、前述のように単語中にも無音部分が含まれるため、ある一定時間以上電力量が小さかった部分を不連続部分とみなすことが適当である。前記のように、符号化部３で電力量を検出するようにすれば、その電力量の変化を監視することで、不連続点を検出でき、メディアとしての連続性を再生情報に含めることができる。

図２は、音声波形の例を示し、「本日・は・晴天・なり」という４つの単語からなる会話の波形を示す。振幅が大きいところは電力量が大きくなるが、単語中にも電力量が小さくなる部分が含まれている。４つの単語の前後に電力量が小さくなっている部分が長く続くため、これらの部分を文節の切れ目として連続性がない部分とみなすことができる。

また、ビデオデータの場合、内容的に不連続な部分つまりシーンチェンジを検出する方法として、前記の変化量の時間的な変化を監視することで可能となる。一般的に、シーンチェンジの部分では画像が変わるため変化量は大きくなる。しかしながら、動きの大きいビデオデータにおいても変化量は大きくなるため、それらを区別する方法として、一時的に変化量が大きくなるポイントを不連続ポイントとみなすことができる。なぜなら、動きの大きなビデオはある期間中、変化量が大きくなっているからである。前記のように、変化量の時間的変化を監視することでビデオの不連続点を検出できる。

以上のように、再生情報に連続性の情報を含めることにより、メディアデータの内容的な切れ目を認識することができる。

また、送信部５で符号化データと再生情報を送信する際に、１つの符号化ユニットとせずに、再生情報をメタデータとして符号化データとは別に伝送することで、符号化データは従来の方法で伝送が可能となり、従来装置との相互接続性が確保される。そして、再生情報をメタデータとして伝送することで、必要に応じて再生制御も可能となる。

以上のように、再生情報をメタデータとして符号化データと別に伝送するようにすることで、従来の方法で符号化データを伝送できると共に、再生情報も必要に応じて使用することもできる。

また、送信部５で符号化データと再生情報を送信する際に、再生情報の内容により符号化データの送信の可否を決定することができる。例えば、ある符号化データに関連する再生情報の内容が、連続性がなく、電力量や変化量が小さい場合には、その符号化データを送信しないようにすることができる。

このようにすることで、ネットワークが輻輳していて送信しようとする符号化データの全てが送れそうも無い場合に、再生情報の内容を基に符号化データを選択して送信することができる。

以上のように、再生情報を基に符号化データの送信の可否を決定するようにしたので、有効と思われる符号化データのみを送信することができる。

また、受信装置１１で再生情報により符号化データの再生を制御する方法として、再生情報の内容が、連続性がなく、電力量が小さい場合、それらのデータを再生しないようにすることができる。

例えば音声データの場合、単語中にも無音部分が含まれ、その時の電力量は小さいが、無音部分の含めた１つの単語としての連続性が重要となるため、連続区間の符号化データの再生は特別な制御を施さずそのまま再生するべきである。もしこの部分で再生の制御を行えば、オリジナルの音声との違いが明らかになる。無音であり、連続性がない音声データは、その部分を再生しなくても、オリジナルの音声と比べても何も変わらないため、再生を中止することが可能である。必要であれば次の音声データを出力しても音声品質に関して劣化を認識できない。

以上のように、再生情報の内容が、連続性がなく、電力量が小さい場合、その符号化データを再生しないようにすることで、再生品質の劣化を伴わず、再生のための負荷を軽減できる。

また、受信装置１１で再生情報により符号化データの再生を制御する方法として、再生情報の内容が、連続性があり、変化量が小さい場合、それらのデータを再生しないようにすることができる。

例えばビデオデータの場合、シーンは一つの連続した映像であり、映像の中に動きがあれば重要度が高くなるため、再生すべきものとなる。一方、まったく動きのないシーンでは、連続性はあっても重要度は低くなるため、映像を間引いたとしても映像品質に関して大きな劣化を与えない。つまり３０フレーム／秒の静止画も１０フレーム／秒の静止画も区別はつかないということである。ただし、間引いた映像の再生を行わない時に、まったく出力を行わないのではなく、連続性を保持するために、前のビデオフレームを引く続き再生しておく処理が必要となる。

以上のように、再生情報の内容が、連続性があり、変化量が小さい場合、その符号化データを再生しないようにしたので、再生品質の劣化を伴わず、再生のための負荷を軽減できる。

また、再生情報として連続性、電力量、変化量などの情報要素を示したが、メディア毎に再生の際に必要となる情報は異なるため、メディアに応じた情報要素を使用して再生制御を行うようにする。つまり、前記の例で示したように、例えば音声メディアであれば電力量を、ビデオメディアであれば変化量を使用することによって、再生品質を劣化させない再生制御を行うことが可能である。

以上のように、メディアに合わせて使用する再生情報の内容を選択するようにすることで、メディアの特性を考慮した再生制御を行うことができる。

図３と図４は、この発明の再生制御動作の一例を示す図である。送信装置１は、例えば１００ｍｓ間隔でデータを生成・送信し、受信装置１１は、１００ｍｓ間隔でデータを受信・再生するものとする。この時、送信装置１と受信装置１１間で動作クロックがずれている場合、同じ１００ｍｓ分のデータを処理する時間が異なってしまう。送信装置１の動作クロックが速い場合、図３のように、受信装置１１での再生間隔が送信装置１より広いため、メディアデータの再生タイミングが徐々に遅れていってしまう。

図４では各データ間の連続性をデータ間の横線により示している。この図４で、１番目と２番目のデータに連続性があり、３番目と４番目のデータに連続性がなく、また、５番目以降のデータに連続性が発生している。これらの連続性は再生情報を基に図示したものである。

そこで、図４のように、受信装置１１の４番目のタイムスロットで再生される予定の４番目のデータを廃棄し、４番目のデータのタイムスロットに５番目のデータを再生することによって、再生タイミングの遅れを取り戻すことができる。そして、廃棄した４番目のデータは、連続性がない部分のデータであるため、メディアの再生品質にも影響を与えない。

以上のように、連続性のない以前のメディアデータを廃棄し、新しいメディアデータを再生するように再生制御することで、再生タイミングを調整することができる。

図５は、この発明の他の再生制御動作の一例を示すものである。図３の場合と状況は同様であるが、今度は受信装置１の動作クロックが速い場合の例を示す。データの１番目２番目で連続性があり、一旦不連続になり、３番目のデータ以降から連続性が発生する。

受信装置１１の動作クロックが速いため、送られてくるデータ以上に再生するような動作を行ってしまう。そのため、データが不足して何も再生できないタイムスロットが存在してしまう。

そこで、メディアの再生品質に影響を与えないように、連続性がない部分で再生を一時中断する。つまり、図５において、２番目と３番目のデータの間で連続性が途切れているため、これらのデータの再生の間で多少時間の間伸びが有ったとしても、再生品質には影響を与えない。そこで、受信装置１１のタイムスケールの３番目で何も再生せずに、タイムスケールの４番目で、３番目のデータを再生するようにする。こうすることで、不足気味のデータは一時的に不足を回避できる。

音声の場合は、３番目のタイムスケールで何も出力しなくても違和感は無いが、ビデオの場合は、２番目のタイムスケールで出力した映像を引き続き出力することで違和感は無くなる。

以上のように、連続性のない部分のメディアデータを遅延させて出力するようにすることで、再生タイミングを調整することができる。

再生部１４において、復号部１３から送られてくるメディアデータを再生する際に、メディアデータの受信タイミングに合わせて再生用のクロックを調整できない場合、前記のように、再生部１４で再生用データの過不足が発生する。

そこで、復号部１３より再生部１４に送られてきたメディアデータで、再生が完了していないメディアデータの数をカウントし、その数がある値に近づくように、その数が大きい場合にはメディアデータを廃棄し、逆にその数が小さい場合にはメディアデータの再生タイミングを遅らせることにようにする。その際、廃棄や遅延を行う対象のメディアデータは連続性がないものを選択することで、再生品質の劣化を抑えることができる。

以上のように、メディアデータの受信速度と再生速度をあわせるために、再生情報を利用して再生の際にメディアデータの廃棄や遅延を行うようにすることで、再生に遅延が増大したり、重要な再生が廃棄されたりしないようにできる。

複数のメディアを受信し再生する場合、例えばビデオと音声を同時に再生する場合、個々のメディアごとに前記のような再生タイミングの調整を行うと、ビデオと音声の間の同期（リップシンク）が取れなくなる。つまり、話している口の形と声が合わない状態が発生する。そのため表示部では各メディアデータの総遅延時間がほぼ一致するように再生タイミングを調整することで、メディア間の同期を保つことができる。

以上のように、複数のメディアデータの総遅延時間がほぼ一致するように再生タイミングを調整するようにすることで、複数のメディア間の再生の同期を取ることができる。

実施の形態２．
上述した実施の形態１では、通信データとしての再生制御に関するものであるが、次に非通信中の例えば蓄積された符号化データの再生のような場合に再生制御を行う実施の形態２を示す。

図６は、このような場合の実施の形態２に係る再生装置２１の構成を示すブロック図である。図６に示す実施の形態２において、再生装置２１は、符号化されたメディアデータの再生を行うもので、時間的な連続性を有するメディア符号化データと再生情報とを予め蓄積した蓄積部１６と、蓄積部１６からメディア符号化データと再生情報とを読出す読出し部１５と、読出し部１５により読出されたメディア符号化データを復号する復号部１３と、読出し部１５により読出された再生情報に基づいて復号部１３により復号されたメディアデータを再生する再生部１４とを備えている。

次に動作について説明する。まず、再生装置２１の蓄積部１６に符号化データおよび再生情報を蓄積する。符号化データおよび再生情報に関しては、実施の形態１の送信装置１から送信されたものをネットワークを介して受信し、蓄積する等の方法で獲得し、予め蓄積部１６に蓄積しておく。

読出し部１５は、蓄積部１６より符号化データおよび再生情報を読出し、それぞれ復号部１３、再生部１４へ渡す。復号部１３では、符号化データを復号し、メディアデータとして再生部１４へ転送する。再生部１４では、復号されたメディアデータを再生情報に基づき再生する。この時、再生情報により、再生部１４ではそのメディアデータをスキップしたり、遅延させたりしてもメディアの再生品質に影響が無いことを認識できれば、そのような再生制御を行うことが可能である。

例えば再生装置の再生能力が貧弱で、全てのメディアデータを再生することができない場合、メディアデータを間引きながら再生することが可能である。その際に、再生情報を用いて再生品質が劣化しないようなメディアデータのみを間引くこともできる。

以上のように、蓄積データとして再生情報を含んだ符号化データを用い、再生情報に基づいた再生制御を行うようにしたので、再生品質の劣化を起こさない様々な再生制御を行うことができる。

受信装置１１の場合、受信するデータの間隔に依存してメディアの再生を行うが、通信に依存しない再生装置２１の場合、再生間隔を自由に変更することが可能である。そこで、コンテンツとして重要でない部分、例えばほとんど動きが無いような映像は早送りにすることが望まれるかもしれない。このような変化量の少ない符号化データを再生情報より認識し、再生部１４ではこのような符号化データをスキップして再生を行うことにより、変化量の大きな部分の映像のみをユーザに提供することができる。

また同様に、音声データの場合、電力量が小さい、つまり音量の大きくない符号化データを再生情報より認識し、これらの符号化データを再生しないようにすることで、長時間の音声データのうち、会話をしている部分のみを再生することができる。ただし、電力量のみで再生の有無を決定すると、単語中のある無音部分もスキップされる可能性があるため、連続性がなく、かつ電力量の小さい符号化データのみをスキップすることで単語などの音声波形をオリジナルのままに保つことが可能である。

以上のように、再生情報により電力量や変化量が小さいメディアデータの再生をスキップするようにしたので、コンテンツとして重要な部分のみの再生を行うことができる。

Claims (17)

1. 時間的な連続性を有するメディアデータを時間的に分割して符号化する符号化手段と、
   前記符号化手段により符号化されたデータ単位に、メディアの内容に基づく再生情報を生成する再生情報生成手段と、
   前記符号化手段により符号化されたメディアデータと前記再生情報生成部により生成された再生情報とを送信する送信手段と
   を備えた送信装置。
2. 請求項１に記載の送信装置において、
   前記送信手段は、前記符号化手段により符号化されたメディアデータに前記再生情報生成部により生成された再生情報を合わせて符号化ユニットを生成し順次送信する
   ことを特徴とする送信装置。
3. 請求項１に記載の送信装置において、
   前記送信手段は、前記符号化手段により符号化されたメディアデータとは別に、前記再生情報生成部により生成された再生情報をメタデータとして送信する
   ことを特徴とする送信装置。
4. 請求項１に記載の送信装置において、
   前記符号化部は、符号化の際に、時間的に分割されたメディアデータの電力量を検出し、
   前記再生情報生成手段は、前記符号化手段により検出された電力量を再生情報として設定する
   ことを特徴とする送信装置。
5. 請求項１に記載の送信装置において、
   前記符号化部は、符号化の際に、直前の分割されたメディアデータからの変化量を電力量で表し、
   前記再生情報生成手段は、前記符号化手段により算出された電力量をメディアの内容的な変化の大きさとみなし、再生情報として設定する
   ことを特徴とする送信装置。
6. 請求項１に記載の送信装置において、
   前記符号化部は、符号化の際に、時間的に分割されたメディアデータの電力量を検出し、
   前記再生情報生成手段は、前記符号化手段により検出された電力量の変化量に基づいたメディアデータの内容的な連続性に関する情報を再生情報として設定する
   ことを特徴とする送信装置。
7. 請求項１ないし６のいずれか１項に記載の送信装置において、
   前記送信手段は、前記再生情報の内容により符号化データの送信可否を決定する
   ことを特徴とする送信装置。
8. 受信したデータから時間的な連続性を有するメディア符号化データおよびそれに関連する再生情報を抜き出す受信手段と、
   前記受信手段からのメディア符号化データを復号する復号手段と、
   前記受信手段からの再生情報に基づいて前記復号手段により復号されたメディアデータを再生する再生手段と
   を備えた受信装置。
9. 請求項８に記載の受信装置において、
   前記再生手段は、前記再生情報の内容が、メディアデータの内容的な連続性がなく、電力量が所定値より小さいものである場合に、関連するメディアデータの再生を中止する
   ことを特徴とする受信装置。
10. 請求項８に記載の受信装置において、
    前記再生手段は、前記再生情報の内容が、メディアデータの内容的な連続性があり、電力量の変化量が所定値より小さいものである場合に、関連するメディアデータを間引きながら再生する
    ことを特徴とする受信装置。
11. 請求項８に記載の受信装置において、
    前記再生手段は、メディアの種別に合わせて、使用する再生情報の内容を選択し、メディア毎に再生制御方法を変更する
    ことを特徴とする受信装置。
12. 請求項８に記載の受信装置において、
    前記再生手段は、受信した再生情報の内容が、連続性がない場合、それ以前のメディアデータが再生待ちの状況であれば、それを廃棄して、該当するメディアデータを再生する
    ことを特徴とする受信装置。
13. 請求項８に記載の受信装置において、
    前記再生手段は、受信した再生情報の内容が、連続性がない場合、該当するメディアデータを再生部で遅延させて再生する
    ことを特徴とする受信装置。
14. 請求項８ないし１３のいずれか１項に記載の受信装置において、
    前記再生手段は、メディアデータの単位時間当たりの受信サンプル数と再生サンプル数がほぼ一致するように、再生情報を参考にメディアデータの廃棄や再生タイミングを遅延させる
    ことを特徴とする受信装置。
15. 請求項８ないし１３のいずれか１項に記載の受信装置において、
    前記再生手段は、受信する複数のメディアデータにおける総遅延時間がほぼ一致するように、再生情報を参考にメディアデータの廃棄や再生タイミングを遅延させる
    ことを特徴とする受信装置。
16. 時間的な連続性を有するメディア符号化データおよびそれに関連する再生情報を予め蓄積した蓄積手段と、
    前記蓄積手段からメディア符号化データと再生情報とを読出す読出し手段と、
    前記読出し手段により読出されたメディア符号化データを復号する復号手段と、
    前記読出し手段により読出された再生情報に基づいて前記復号手段により復号されたメディアデータを再生する再生手段と
    備えたことを特徴とする再生装置。
17. 請求項１６に記載の再生装置において、
    前記再生手段は、前記再生情報で変化量や電力量が小さいと指定されたメディアデータをスキップして再生する
    ことを特徴とする再生装置。
    

Images