JPWO2006040827A1 - 送信装置、受信装置、並びに再生装置 - Google Patents
送信装置、受信装置、並びに再生装置 Download PDFInfo
- Publication number
- JPWO2006040827A1 JPWO2006040827A1 JP2006540808A JP2006540808A JPWO2006040827A1 JP WO2006040827 A1 JPWO2006040827 A1 JP WO2006040827A1 JP 2006540808 A JP2006540808 A JP 2006540808A JP 2006540808 A JP2006540808 A JP 2006540808A JP WO2006040827 A1 JPWO2006040827 A1 JP WO2006040827A1
- Authority
- JP
- Japan
- Prior art keywords
- data
- media
- reproduction information
- reproduction
- media data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 claims abstract description 42
- 230000002123 temporal effect Effects 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims description 9
- 230000001934 delay Effects 0.000 claims 1
- 230000000593 degrading effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 10
- 230000003111 delayed effect Effects 0.000 description 5
- 230000006866 deterioration Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008929 regeneration Effects 0.000 description 3
- 238000011069 regeneration method Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 230000002542 deteriorative effect Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
- H04N21/4351—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reassembling additional data, e.g. rebuilding an executable program from recovered modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
再生品質を劣化させずにフレーム間引いたりフレーム間隔を広げたりするような再生制御を行うことを可能にする。送信装置1は、時間的な連続性を有するメディアデータを時間的に分割して符号化する符号化部3と、符号化されたデータ単位に、メディアの内容に基づく再生情報を生成する再生情報生成部4と、符号化されたメディアデータと生成された再生情報とを送信する送信部5とを備える。また、受信装置11は、受信したデータから時間的な連続性を有するメディア符号化データと再生情報に抜き出す受信部12と、メディア符号化データを復号する復号部13と、再生情報に基づいて復号されたメディアデータを再生する再生部14とを備える。
Description
この発明は、再生劣化を招くことのない再生制御を可能にするための送信装置、受信装置、並びに再生装置に関するものである。
従来、データの過不足等により所望のタイミングでメディアの再生が行えない場合、再生周波数を変更することで、再生タイミングを調整する動画像再生装置がある。この従来の動画像再生装置は、再生フレームレートを柔軟に変更できるようにしているため、伝送路の輻輳やCPUの高負荷等の状況でも動画像をスムーズに再生できる(例えば、特許文献1参照)。
例えば、伝送路が輻輳状態のために、本来の受信タイミングより遅れてビデオデータが到着した場合、再生装置では再生するビデオデータが一時的に不足し、再生が一時停止せざるを得なくなり、ユーザにとって見づらい動画像となる。
そのため、従来の方法では、ビデオデータが不足する前に、再生するビデオフレーム間隔を本来の間隔より広げることで、ビデオデータの不足を防ぐ。この時ビデオの再生間隔は伸びるが、再生を停止した場合に比べて、ユーザへの視覚的な影響は少ない。
その後、伝送路で遅延していたビデオデータを一気に受信すると、再生装置はビデオバッファがオーバーフローを起こす可能性があるため、再生するビデオフレーム間隔を本来の間隔より狭めることで、ビデオバッファのオーバーフローを防ぐ。こうすることで、ビデオの廃棄を防ぎ、再生までの遅延を短くすることが可能となる。
このようにして、ビデオバッファの残量により、ビデオの再生フレームレートを調整すれば、ビデオバッファのオーバーフローやアンダーフローを防げると共に、再生までの遅延時間が極端に大きくなることが避けられる。その結果、ビデオを視聴する人にとって違和感の少ないビデオ再生となる。
従来の動画像再生装置は、動的にフレームの再生間隔を変更するため、多少動きが早くなったり遅くなったりというような、視覚的な影響が発生するという問題点があった。
また、従来の方法で音声データを再生しようとすると、音声周波数が上下してしまい、違和感のある音声が出力されるという問題点があった。
さらに、パソコンなどの汎用的な装置では、再生用のフレーム間隔を変更できない場合があり、従来の方法を使用できないという問題点があった。
この発明は前記のような問題点を解決するためになされたもので、フレーム間隔を変更せずに再生制御を行うことを可能にする送信装置、受信装置並びに再生装置を得ることを目的とする。
この発明に係る送信装置は、時間的な連続性を有するメディアデータを時間的に分割して符号化する符号化手段と、前記符号化手段により符号化されたデータ単位にメディアの内容に基づいて再生情報を生成する再生情報生成手段と、前記符号化手段により符号化されたメディアデータと前記再生情報生成部により生成された再生情報とを送信する送信手段とを備えたものである。
また、この発明に係る受信装置は、受信したデータから時間的な連続性を有するメディア符号化データと再生情報に抜き出す受信手段と、前記受信手段からのメディア符号化データを復号する復号手段と、前記受信手段からの再生情報に基づいて前記復号手段により復号されたメディアデータを再生する再生手段とを備えたものである。
さらに、この発明に係る再生装置は、時間的な連続性を有するメディア符号化データと再生情報とを予め蓄積した蓄積手段と、前記蓄積手段からメディア符号化データと再生情報とを読出す読出し手段と、前記読出し手段により読出されたメディア符号化データを復号する復号手段と、前記読出し手段により読出された再生情報に基づいて前記復号手段により復号されたメディアデータを再生する再生手段と備えたものである。
この発明によれば、メディア符号化データの内容を考慮した再生情報をメディア符号化データに付与して送信し、再生情報を用いて再生制御を行うようにしたので、フレーム間隔を変更せずに再生制御を行うことができる。
実施の形態1.
図1は、この発明の実施の形態1に係る送信装置および受信装置の構成を示すブロック図である。図1において、送信装置1と受信装置11とは、ネットワーク10を介して接続され、メディアデータの送受信を行う。送信装置1に入力されるメディアデータ2はビデオやオーディオなどの時間的に連続なデータである。符号化部3はメディアデータ2を符号化し、その符号化データを生成する。再生情報生成部4は符号化部3で符号化されたデータ単位にその再生情報を生成する。送信部5は、符号化部3で生成された符号化データと再生情報生成部4で生成された再生情報とを合わせて1つの符号化ユニットとして送信する。
図1は、この発明の実施の形態1に係る送信装置および受信装置の構成を示すブロック図である。図1において、送信装置1と受信装置11とは、ネットワーク10を介して接続され、メディアデータの送受信を行う。送信装置1に入力されるメディアデータ2はビデオやオーディオなどの時間的に連続なデータである。符号化部3はメディアデータ2を符号化し、その符号化データを生成する。再生情報生成部4は符号化部3で符号化されたデータ単位にその再生情報を生成する。送信部5は、符号化部3で生成された符号化データと再生情報生成部4で生成された再生情報とを合わせて1つの符号化ユニットとして送信する。
受信装置11の受信部12は、ネットワーク10を介して受信したデータから符号化データと再生情報を抜き出す。復号部13は符号化データを復号する。再生部14は再生情報を基に復号されたメディアデータを再生する。なお、図1は1つのメディアデータの伝送に関しての構成図であるが、同様の機能部を複数具備することで、複数のメディアデータを同時に伝送することも可能である。
次に動作について説明する。まず、送信装置1の符号化部3で、時間的に連続なメディアデータ2を任意の単位に分割して符号化を行い、符号化データを生成する。再生情報生成部4では符号化部3で符号化したデータ単位に再生情報を生成する。ここで、再生情報とはメディアデータのコンテンツとしての内容を考慮した場合の再生における重要度等の補助情報を示すものである。メディアデータの再生情報を生成するにあたり、再生情報生成部4は符号化部3からメディアデータに関する情報をもらう。例えば音声データの場合、符号化部3で符号化時に音声の電力量(パワー)の大小を検出し、それを再生情報生成部4に通知することで、再生情報生成部4では、電力量の少ない音声データは再生しなくても再生音声に大きな影響を与えないため、再生情報としてその旨を記録する。そして、送信部5では符号化部3で生成した符号化データと再生情報生成部4で生成した再生情報を合わせて送信する。その方法としては、符号化データを送るための符号化ユニットを生成し、そのヘッダ部分に再生情報を設定すると共に符号化ユニットの情報部分に符号化データを設定する。
送信装置1の送信部5から送信されたデータは、ネットワーク10を介して、受信装置11の受信部12で受信される。受信部12では受信したデータの中から符号化データと再生情報を分離し、それぞれ復号部13、再生部14へ送る。復号部13では符号化データを復号し、メディアデータとして再生部14へ転送する。再生部14では復号されたメディアデータを再生情報に基づき再生する。このように、再生情報を利用して符号化データを再生する場合、例えば音声の電力量が低いものをノイズとみなして出力しないようにすることで、ノイズを再生しないようにできる。一方、通常のように、全ての音声データを出力することもできる。
以上のように、送信装置1では、符号化データの他に再生情報を送信するため、各符号化データ単位に再生における情報(重要度)を認識することができる。 また、受信装置11では、再生情報を基に各符号化データ単位に再生の可否を制御するようにしたので、必要と思われる符号化データのみを選択して再生することができる。
また、再生情報に、メディアデータの内容的な電力量を含めることで、何らかの事情で全てのメディアデータを再生できない場合に、電力量の多いメディアデータのみを選択して再生することが可能となり、かつ内容的に重要なため、ユーザには必要な情報は伝えることができる。
音声データの場合、音声波形の大きさや周波数が重要な要素となるため、符号化部3で符号化を行う際に、音声の電力量(パワー)を検出し、その大きさを再生情報生成部4に通知する。再生情報生成部4では通知された大きさを該当音量の電力量とみなし、各符号化データに対応する再生情報としてその電力量を設定する。
受信装置11では、この再生情報に基づき符号化データの再生を行うが、電力量が少ないものに関しては、再生を行わないことも可能である。再生を行わないことによって音声データが出力されないことになるが、音声出力の小さいデータであるため、それを聞く人には音声品質の劣化を感じさせない。
以上のように、再生情報に電力量という情報を含めることにより、各符号化データの内容的に重要な部分のみを出力することができる。
ビデオのように常に何らかの映像が再生されている場合、内容的に重要な部分は映像に動きがある部分となる。つまり、変化量の大きいものほど、コンテンツの内容的な意味では重要となる。そこで、ビデオデータに関して、符号化部3で符号化を行う際に、前フレームからの変化量を電力量で表し、その大きさを再生情報生成部4に通知する。再生情報生成部4では通知された電力量をそのフレームの変化量とみなし、各符号化データに対応する再生情報としてその変化量を設定する。
受信装置11では、この再生情報に基づき符号化データの再生を行うが、変化量が小さいものに関しては、再生を行わないことも可能である。再生を行わないことによってビデオのフレームがスキップされることになるが、直前のフレームとの差分が小さいため、それを観る人には映像品質の劣化を感じさせない。例えばCPUの能力が十分でない場合など、このようにフレームスキップをすることによって再生品質を低下させずに、CPUの負荷を軽減できる。
以上のように、再生情報に変化量という情報を含めることにより、各符号化データの内容的に重要な部分のみを出力することができる。
また、再生情報に、メディアデータの内容的な連続性を含めることで、再生時に連続性のない部分、つまりシーンチェンジや会話の途切れた部分を認識することができる。
例えば音声データの場合、単語は一つの連続した音声である。単語中にも無音部分が含まれ、その時の電力量は小さいが、無音部分の含めた1つの単語としての連続性を有する。音声における連続性の検出方法としては、電力量を監視し、電力量が小さい部分が不連続部分となる可能性が高いが、前述のように単語中にも無音部分が含まれるため、ある一定時間以上電力量が小さかった部分を不連続部分とみなすことが適当である。前記のように、符号化部3で電力量を検出するようにすれば、その電力量の変化を監視することで、不連続点を検出でき、メディアとしての連続性を再生情報に含めることができる。
図2は、音声波形の例を示し、「本日・は・晴天・なり」という4つの単語からなる会話の波形を示す。振幅が大きいところは電力量が大きくなるが、単語中にも電力量が小さくなる部分が含まれている。4つの単語の前後に電力量が小さくなっている部分が長く続くため、これらの部分を文節の切れ目として連続性がない部分とみなすことができる。
また、ビデオデータの場合、内容的に不連続な部分つまりシーンチェンジを検出する方法として、前記の変化量の時間的な変化を監視することで可能となる。一般的に、シーンチェンジの部分では画像が変わるため変化量は大きくなる。しかしながら、動きの大きいビデオデータにおいても変化量は大きくなるため、それらを区別する方法として、一時的に変化量が大きくなるポイントを不連続ポイントとみなすことができる。なぜなら、動きの大きなビデオはある期間中、変化量が大きくなっているからである。前記のように、変化量の時間的変化を監視することでビデオの不連続点を検出できる。
以上のように、再生情報に連続性の情報を含めることにより、メディアデータの内容的な切れ目を認識することができる。
また、送信部5で符号化データと再生情報を送信する際に、1つの符号化ユニットとせずに、再生情報をメタデータとして符号化データとは別に伝送することで、符号化データは従来の方法で伝送が可能となり、従来装置との相互接続性が確保される。そして、再生情報をメタデータとして伝送することで、必要に応じて再生制御も可能となる。
以上のように、再生情報をメタデータとして符号化データと別に伝送するようにすることで、従来の方法で符号化データを伝送できると共に、再生情報も必要に応じて使用することもできる。
また、送信部5で符号化データと再生情報を送信する際に、再生情報の内容により符号化データの送信の可否を決定することができる。例えば、ある符号化データに関連する再生情報の内容が、連続性がなく、電力量や変化量が小さい場合には、その符号化データを送信しないようにすることができる。
このようにすることで、ネットワークが輻輳していて送信しようとする符号化データの全てが送れそうも無い場合に、再生情報の内容を基に符号化データを選択して送信することができる。
以上のように、再生情報を基に符号化データの送信の可否を決定するようにしたので、有効と思われる符号化データのみを送信することができる。
また、受信装置11で再生情報により符号化データの再生を制御する方法として、再生情報の内容が、連続性がなく、電力量が小さい場合、それらのデータを再生しないようにすることができる。
例えば音声データの場合、単語中にも無音部分が含まれ、その時の電力量は小さいが、無音部分の含めた1つの単語としての連続性が重要となるため、連続区間の符号化データの再生は特別な制御を施さずそのまま再生するべきである。もしこの部分で再生の制御を行えば、オリジナルの音声との違いが明らかになる。無音であり、連続性がない音声データは、その部分を再生しなくても、オリジナルの音声と比べても何も変わらないため、再生を中止することが可能である。必要であれば次の音声データを出力しても音声品質に関して劣化を認識できない。
以上のように、再生情報の内容が、連続性がなく、電力量が小さい場合、その符号化データを再生しないようにすることで、再生品質の劣化を伴わず、再生のための負荷を軽減できる。
また、受信装置11で再生情報により符号化データの再生を制御する方法として、再生情報の内容が、連続性があり、変化量が小さい場合、それらのデータを再生しないようにすることができる。
例えばビデオデータの場合、シーンは一つの連続した映像であり、映像の中に動きがあれば重要度が高くなるため、再生すべきものとなる。一方、まったく動きのないシーンでは、連続性はあっても重要度は低くなるため、映像を間引いたとしても映像品質に関して大きな劣化を与えない。つまり30フレーム/秒の静止画も10フレーム/秒の静止画も区別はつかないということである。ただし、間引いた映像の再生を行わない時に、まったく出力を行わないのではなく、連続性を保持するために、前のビデオフレームを引く続き再生しておく処理が必要となる。
以上のように、再生情報の内容が、連続性があり、変化量が小さい場合、その符号化データを再生しないようにしたので、再生品質の劣化を伴わず、再生のための負荷を軽減できる。
また、再生情報として連続性、電力量、変化量などの情報要素を示したが、メディア毎に再生の際に必要となる情報は異なるため、メディアに応じた情報要素を使用して再生制御を行うようにする。つまり、前記の例で示したように、例えば音声メディアであれば電力量を、ビデオメディアであれば変化量を使用することによって、再生品質を劣化させない再生制御を行うことが可能である。
以上のように、メディアに合わせて使用する再生情報の内容を選択するようにすることで、メディアの特性を考慮した再生制御を行うことができる。
図3と図4は、この発明の再生制御動作の一例を示す図である。送信装置1は、例えば100ms間隔でデータを生成・送信し、受信装置11は、100ms間隔でデータを受信・再生するものとする。この時、送信装置1と受信装置11間で動作クロックがずれている場合、同じ100ms分のデータを処理する時間が異なってしまう。送信装置1の動作クロックが速い場合、図3のように、受信装置11での再生間隔が送信装置1より広いため、メディアデータの再生タイミングが徐々に遅れていってしまう。
図4では各データ間の連続性をデータ間の横線により示している。この図4で、1番目と2番目のデータに連続性があり、3番目と4番目のデータに連続性がなく、また、5番目以降のデータに連続性が発生している。これらの連続性は再生情報を基に図示したものである。
そこで、図4のように、受信装置11の4番目のタイムスロットで再生される予定の4番目のデータを廃棄し、4番目のデータのタイムスロットに5番目のデータを再生することによって、再生タイミングの遅れを取り戻すことができる。そして、廃棄した4番目のデータは、連続性がない部分のデータであるため、メディアの再生品質にも影響を与えない。
以上のように、連続性のない以前のメディアデータを廃棄し、新しいメディアデータを再生するように再生制御することで、再生タイミングを調整することができる。
図5は、この発明の他の再生制御動作の一例を示すものである。図3の場合と状況は同様であるが、今度は受信装置1の動作クロックが速い場合の例を示す。データの1番目2番目で連続性があり、一旦不連続になり、3番目のデータ以降から連続性が発生する。
受信装置11の動作クロックが速いため、送られてくるデータ以上に再生するような動作を行ってしまう。そのため、データが不足して何も再生できないタイムスロットが存在してしまう。
そこで、メディアの再生品質に影響を与えないように、連続性がない部分で再生を一時中断する。つまり、図5において、2番目と3番目のデータの間で連続性が途切れているため、これらのデータの再生の間で多少時間の間伸びが有ったとしても、再生品質には影響を与えない。そこで、受信装置11のタイムスケールの3番目で何も再生せずに、タイムスケールの4番目で、3番目のデータを再生するようにする。こうすることで、不足気味のデータは一時的に不足を回避できる。
音声の場合は、3番目のタイムスケールで何も出力しなくても違和感は無いが、ビデオの場合は、2番目のタイムスケールで出力した映像を引き続き出力することで違和感は無くなる。
以上のように、連続性のない部分のメディアデータを遅延させて出力するようにすることで、再生タイミングを調整することができる。
再生部14において、復号部13から送られてくるメディアデータを再生する際に、メディアデータの受信タイミングに合わせて再生用のクロックを調整できない場合、前記のように、再生部14で再生用データの過不足が発生する。
そこで、復号部13より再生部14に送られてきたメディアデータで、再生が完了していないメディアデータの数をカウントし、その数がある値に近づくように、その数が大きい場合にはメディアデータを廃棄し、逆にその数が小さい場合にはメディアデータの再生タイミングを遅らせることにようにする。その際、廃棄や遅延を行う対象のメディアデータは連続性がないものを選択することで、再生品質の劣化を抑えることができる。
以上のように、メディアデータの受信速度と再生速度をあわせるために、再生情報を利用して再生の際にメディアデータの廃棄や遅延を行うようにすることで、再生に遅延が増大したり、重要な再生が廃棄されたりしないようにできる。
複数のメディアを受信し再生する場合、例えばビデオと音声を同時に再生する場合、個々のメディアごとに前記のような再生タイミングの調整を行うと、ビデオと音声の間の同期(リップシンク)が取れなくなる。つまり、話している口の形と声が合わない状態が発生する。そのため表示部では各メディアデータの総遅延時間がほぼ一致するように再生タイミングを調整することで、メディア間の同期を保つことができる。
以上のように、複数のメディアデータの総遅延時間がほぼ一致するように再生タイミングを調整するようにすることで、複数のメディア間の再生の同期を取ることができる。
実施の形態2.
上述した実施の形態1では、通信データとしての再生制御に関するものであるが、次に非通信中の例えば蓄積された符号化データの再生のような場合に再生制御を行う実施の形態2を示す。
上述した実施の形態1では、通信データとしての再生制御に関するものであるが、次に非通信中の例えば蓄積された符号化データの再生のような場合に再生制御を行う実施の形態2を示す。
図6は、このような場合の実施の形態2に係る再生装置21の構成を示すブロック図である。図6に示す実施の形態2において、再生装置21は、符号化されたメディアデータの再生を行うもので、時間的な連続性を有するメディア符号化データと再生情報とを予め蓄積した蓄積部16と、蓄積部16からメディア符号化データと再生情報とを読出す読出し部15と、読出し部15により読出されたメディア符号化データを復号する復号部13と、読出し部15により読出された再生情報に基づいて復号部13により復号されたメディアデータを再生する再生部14とを備えている。
次に動作について説明する。まず、再生装置21の蓄積部16に符号化データおよび再生情報を蓄積する。符号化データおよび再生情報に関しては、実施の形態1の送信装置1から送信されたものをネットワークを介して受信し、蓄積する等の方法で獲得し、予め蓄積部16に蓄積しておく。
読出し部15は、蓄積部16より符号化データおよび再生情報を読出し、それぞれ復号部13、再生部14へ渡す。復号部13では、符号化データを復号し、メディアデータとして再生部14へ転送する。再生部14では、復号されたメディアデータを再生情報に基づき再生する。この時、再生情報により、再生部14ではそのメディアデータをスキップしたり、遅延させたりしてもメディアの再生品質に影響が無いことを認識できれば、そのような再生制御を行うことが可能である。
例えば再生装置の再生能力が貧弱で、全てのメディアデータを再生することができない場合、メディアデータを間引きながら再生することが可能である。その際に、再生情報を用いて再生品質が劣化しないようなメディアデータのみを間引くこともできる。
以上のように、蓄積データとして再生情報を含んだ符号化データを用い、再生情報に基づいた再生制御を行うようにしたので、再生品質の劣化を起こさない様々な再生制御を行うことができる。
受信装置11の場合、受信するデータの間隔に依存してメディアの再生を行うが、通信に依存しない再生装置21の場合、再生間隔を自由に変更することが可能である。そこで、コンテンツとして重要でない部分、例えばほとんど動きが無いような映像は早送りにすることが望まれるかもしれない。このような変化量の少ない符号化データを再生情報より認識し、再生部14ではこのような符号化データをスキップして再生を行うことにより、変化量の大きな部分の映像のみをユーザに提供することができる。
また同様に、音声データの場合、電力量が小さい、つまり音量の大きくない符号化データを再生情報より認識し、これらの符号化データを再生しないようにすることで、長時間の音声データのうち、会話をしている部分のみを再生することができる。ただし、電力量のみで再生の有無を決定すると、単語中のある無音部分もスキップされる可能性があるため、連続性がなく、かつ電力量の小さい符号化データのみをスキップすることで単語などの音声波形をオリジナルのままに保つことが可能である。
以上のように、再生情報により電力量や変化量が小さいメディアデータの再生をスキップするようにしたので、コンテンツとして重要な部分のみの再生を行うことができる。
Claims (17)
- 時間的な連続性を有するメディアデータを時間的に分割して符号化する符号化手段と、
前記符号化手段により符号化されたデータ単位に、メディアの内容に基づく再生情報を生成する再生情報生成手段と、
前記符号化手段により符号化されたメディアデータと前記再生情報生成部により生成された再生情報とを送信する送信手段と
を備えた送信装置。 - 請求項1に記載の送信装置において、
前記送信手段は、前記符号化手段により符号化されたメディアデータに前記再生情報生成部により生成された再生情報を合わせて符号化ユニットを生成し順次送信する
ことを特徴とする送信装置。 - 請求項1に記載の送信装置において、
前記送信手段は、前記符号化手段により符号化されたメディアデータとは別に、前記再生情報生成部により生成された再生情報をメタデータとして送信する
ことを特徴とする送信装置。 - 請求項1に記載の送信装置において、
前記符号化部は、符号化の際に、時間的に分割されたメディアデータの電力量を検出し、
前記再生情報生成手段は、前記符号化手段により検出された電力量を再生情報として設定する
ことを特徴とする送信装置。 - 請求項1に記載の送信装置において、
前記符号化部は、符号化の際に、直前の分割されたメディアデータからの変化量を電力量で表し、
前記再生情報生成手段は、前記符号化手段により算出された電力量をメディアの内容的な変化の大きさとみなし、再生情報として設定する
ことを特徴とする送信装置。 - 請求項1に記載の送信装置において、
前記符号化部は、符号化の際に、時間的に分割されたメディアデータの電力量を検出し、
前記再生情報生成手段は、前記符号化手段により検出された電力量の変化量に基づいたメディアデータの内容的な連続性に関する情報を再生情報として設定する
ことを特徴とする送信装置。 - 請求項1ないし6のいずれか1項に記載の送信装置において、
前記送信手段は、前記再生情報の内容により符号化データの送信可否を決定する
ことを特徴とする送信装置。 - 受信したデータから時間的な連続性を有するメディア符号化データおよびそれに関連する再生情報を抜き出す受信手段と、
前記受信手段からのメディア符号化データを復号する復号手段と、
前記受信手段からの再生情報に基づいて前記復号手段により復号されたメディアデータを再生する再生手段と
を備えた受信装置。 - 請求項8に記載の受信装置において、
前記再生手段は、前記再生情報の内容が、メディアデータの内容的な連続性がなく、電力量が所定値より小さいものである場合に、関連するメディアデータの再生を中止する
ことを特徴とする受信装置。 - 請求項8に記載の受信装置において、
前記再生手段は、前記再生情報の内容が、メディアデータの内容的な連続性があり、電力量の変化量が所定値より小さいものである場合に、関連するメディアデータを間引きながら再生する
ことを特徴とする受信装置。 - 請求項8に記載の受信装置において、
前記再生手段は、メディアの種別に合わせて、使用する再生情報の内容を選択し、メディア毎に再生制御方法を変更する
ことを特徴とする受信装置。 - 請求項8に記載の受信装置において、
前記再生手段は、受信した再生情報の内容が、連続性がない場合、それ以前のメディアデータが再生待ちの状況であれば、それを廃棄して、該当するメディアデータを再生する
ことを特徴とする受信装置。 - 請求項8に記載の受信装置において、
前記再生手段は、受信した再生情報の内容が、連続性がない場合、該当するメディアデータを再生部で遅延させて再生する
ことを特徴とする受信装置。 - 請求項8ないし13のいずれか1項に記載の受信装置において、
前記再生手段は、メディアデータの単位時間当たりの受信サンプル数と再生サンプル数がほぼ一致するように、再生情報を参考にメディアデータの廃棄や再生タイミングを遅延させる
ことを特徴とする受信装置。 - 請求項8ないし13のいずれか1項に記載の受信装置において、
前記再生手段は、受信する複数のメディアデータにおける総遅延時間がほぼ一致するように、再生情報を参考にメディアデータの廃棄や再生タイミングを遅延させる
ことを特徴とする受信装置。 - 時間的な連続性を有するメディア符号化データおよびそれに関連する再生情報を予め蓄積した蓄積手段と、
前記蓄積手段からメディア符号化データと再生情報とを読出す読出し手段と、
前記読出し手段により読出されたメディア符号化データを復号する復号手段と、
前記読出し手段により読出された再生情報に基づいて前記復号手段により復号されたメディアデータを再生する再生手段と
備えたことを特徴とする再生装置。 - 請求項16に記載の再生装置において、
前記再生手段は、前記再生情報で変化量や電力量が小さいと指定されたメディアデータをスキップして再生する
ことを特徴とする再生装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2004/015250 WO2006040827A1 (ja) | 2004-10-15 | 2004-10-15 | 送信装置、受信装置、並びに再生装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2006040827A1 true JPWO2006040827A1 (ja) | 2008-05-15 |
Family
ID=36148129
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006540808A Pending JPWO2006040827A1 (ja) | 2004-10-15 | 2004-10-15 | 送信装置、受信装置、並びに再生装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20070248170A1 (ja) |
JP (1) | JPWO2006040827A1 (ja) |
WO (1) | WO2006040827A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101390192B1 (ko) * | 2008-01-17 | 2014-04-29 | 삼성전자주식회사 | 동영상 전송 시스템의 송신 장치 및 수신 장치, 그 버퍼제어 방법 |
JP4666037B2 (ja) * | 2008-09-18 | 2011-04-06 | コニカミノルタビジネステクノロジーズ株式会社 | 動画再生装置、動画再生方法および動画再生プログラム |
JP2012010263A (ja) * | 2010-06-28 | 2012-01-12 | Sony Corp | 符号化装置、撮像装置、符号化伝送システムおよび符号化方法 |
JP6466638B2 (ja) * | 2013-12-18 | 2019-02-06 | Kddi株式会社 | 動き変化量に応じて撮影動画像のフレームを間引く端末、システム、プログラム及び方法 |
US10979744B2 (en) * | 2017-11-03 | 2021-04-13 | Nvidia Corporation | Method and system for low latency high frame rate streaming |
CN112422514B (zh) * | 2020-10-26 | 2024-06-07 | 深圳Tcl新技术有限公司 | 多媒体数据传输方法、装置、智能家居设备及存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06153180A (ja) * | 1992-09-16 | 1994-05-31 | Fujitsu Ltd | 画像データ符号化方法及び装置 |
JPH11252552A (ja) * | 1998-03-05 | 1999-09-17 | Sony Corp | ビデオ信号の圧縮符号化方法及び圧縮符号化装置、並びに、圧縮符号化データの多重化方法及び多重化装置 |
US6792323B2 (en) * | 2002-06-27 | 2004-09-14 | Openpeak Inc. | Method, system, and computer program product for managing controlled residential or non-residential environments |
-
2004
- 2004-10-15 WO PCT/JP2004/015250 patent/WO2006040827A1/ja active Application Filing
- 2004-10-15 JP JP2006540808A patent/JPWO2006040827A1/ja active Pending
- 2004-10-15 US US11/628,661 patent/US20070248170A1/en not_active Abandoned
Non-Patent Citations (1)
Title |
---|
JPN6010042189, 馬場ほか, "リアルタイムIP通信に適した擬似同期型マルチメディア再生方式", FIT2004(第3回情報科学技術フォーラム)講演論文集, 20040820, p.201−202 * |
Also Published As
Publication number | Publication date |
---|---|
WO2006040827A1 (ja) | 2006-04-20 |
US20070248170A1 (en) | 2007-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7412149B2 (en) | Trick mode generation in video streaming | |
JP5026167B2 (ja) | ストリーム伝送サーバおよびストリーム伝送システム | |
US5809454A (en) | Audio reproducing apparatus having voice speed converting function | |
JP5957760B2 (ja) | 映像音声処理装置 | |
US8411569B2 (en) | Method of splicing encoded multimedia data streams | |
US9143810B2 (en) | Method for manually optimizing jitter, delay and synch levels in audio-video transmission | |
CN101827271B (zh) | 音频视频同步方法、装置以及数据接收终端 | |
KR20040105869A (ko) | 오디오 스트림 및 비디오 스트림의 동기화 장치 및 방법 | |
JP3594409B2 (ja) | Mpegオーディオ再生装置およびmpeg再生装置 | |
KR102489164B1 (ko) | 리버퍼링 이벤트의 시간적 배치 | |
KR100651566B1 (ko) | 이동통신 단말기에서 출력 버퍼링을 이용한 멀티미디어재생 장치 및 그 제어 방법 | |
JPWO2006040827A1 (ja) | 送信装置、受信装置、並びに再生装置 | |
JP2006295645A (ja) | 特殊再生データ生成方法、配信装置及びビデオ再生システム | |
JP4096915B2 (ja) | デジタル情報再生装置及び方法 | |
JP2015012557A (ja) | 映像音声処理装置、映像音声処理システム、映像音声同期方法、プログラム | |
JP5186094B2 (ja) | 通信端末、マルチメディア再生制御方法、およびプログラム | |
JP2013005423A (ja) | 映像再生装置、映像再生方法およびプログラム | |
JP5213630B2 (ja) | 映像信号再生装置 | |
EP2244253A1 (en) | Audio resume reproduction device and audio resume reproduction method | |
JPH10271482A (ja) | 符号化映像の同期再生制御方法およびシステム | |
JP5168105B2 (ja) | 音声再生装置、及び音声再生方法 | |
JPH11225309A (ja) | 音響信号処理装置及びオーディオ高速再生方法 | |
JP2020145585A (ja) | 同期化装置、同期化方法及びプログラム | |
JP2005148152A (ja) | メディア送信装置、メディア受信装置、メディア通信装置及びメディア再生装置 | |
Jang et al. | Synchronization quality enhancement in 3G-324M video telephony |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100727 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100922 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110118 |