JP2001016567A - マルチメディアデータ再生/送出装置 - Google Patents
マルチメディアデータ再生/送出装置Info
- Publication number
- JP2001016567A JP2001016567A JP11187267A JP18726799A JP2001016567A JP 2001016567 A JP2001016567 A JP 2001016567A JP 11187267 A JP11187267 A JP 11187267A JP 18726799 A JP18726799 A JP 18726799A JP 2001016567 A JP2001016567 A JP 2001016567A
- Authority
- JP
- Japan
- Prior art keywords
- data
- multimedia
- reading
- unit
- still image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
- Computer And Data Communications (AREA)
- Television Systems (AREA)
Abstract
おいて、あらかじめシナリオにしたがってストリームを
多重化して送信することが行われるが、ジャンプ時の高
速応答性が損なわれるという課題がある。また、メディ
ア単位に送信を行う場合には表示時間に間に合うように
デコード時間分だけ前もってストリームの送出を行わな
ければならず、送信制御が複雑なものとなっていた。こ
れらの課題を解決できる構成を提供することを目的とす
る。 【解決手段】 受信端末102内のマルチメディアデー
タ読み込みスケジューラ109がコンテンツ情報を参照
してビットレートの各メディアへの配分を決め、リモー
トファイルデータ読み出し部110がそれぞれのメディ
アファイルを並列に指定されたビットレートを守って読
み出す構成とする。静止画は動画フォーマットで符号化
し、表示時刻になったら動画と同じように送信を開始す
るという構成をとる。
Description
等)・広域エリアでも実現可能な、パケットネットワー
クを利用したマルチメディアデータ再生装置に関する。
ント側で再生する前提として、サーバ上のデータをどの
ようにクライアントに送るかという送信/送出の方式が
問題となり、その方法として2つの方式がある。一つ
は、クライアントの「再生開始」要求を受けて「停止要
求が来るまで」サーバが自律的に当該データを送信し続
けるサーバ主体型の送信方式(いわゆるPUSH型)、
もう一つは、サーバ側に自律的な送信機構がなく、クラ
イアントの読み込み要求に応じてそのつどデータを渡す
クライアント主導型の取得方式(いわゆるPULL型)
である。
読み込みインタフェイスを持っていれば良いので、簡単
な構成で実現できる。たとえばLAN上で動作する場合は
読み出し可能なファイルとして蓄積されていればよく、
サーバ上にアプリケーションを動かさなくてもサーバ上
のデータにアクセスできる限り、クライアントは自由な
タイミングでデータを取得できる。そのため、アプリケ
ーションプロセスの障害により、サービスが中止される
という問題は発生しない。
ク上で構築しようとすると、クライアントが読み込みを
要求してから実際に当該データが受信されるまでの遅延
が無視できなくなり、連続的に「受信→即、再生」を要
求されるリアルタイムストリームデータ伝送システムで
は、いったん受信要求を出すとその後はデータがある帯
域で自動的に送られてくることにより往復遅延が回避で
きるPUSH型が主流とならざるを得ない。
置の構造として、図14に示すものが知られている。図
14において、データ送出サーバ1401、受信端末1
402はパケットネットワーク1403に接続されてお
り、マルチメディアデータを送出/受信する。
インタフェイス1404a、データ送信部1405a、
データ受信部1406a、要求受信部1410、マルチ
クライアント対応スケジューラ1411、ストリーム生
成部1407から構成される。
バと同様な通常のデータ通信手段のほかに、要求送信部
1412、データ受信部1406b、データをメディア
ごとのデータストリームに分離する多重化分離部140
8、多重化分離部1408からの出力を一時蓄積する受
信バッファ1409、メディアごとのストリームをデコ
ードするメディアデコーダ1421、デコードされたデ
ータを組み合わせてマルチメディア情報を出力する再生
部1420を備える。
ータ再生装置について、以下再生を行う動作を説明す
る.受信端末1402はパケットネットワーク1403
に接続されたサーバ1401からマルチメディアデータ
を受信しようとする場合、要求送信部1412でデータ
を要求し、送信する。端末要求はネットワークインタフ
ェイス1404b、1404aを介してサーバ1401
の要求受信部1410で受信され、マルチクライアント
対応スケジューラ1411に登録され、スケジューラの
指示にしたがってストリーム生成部1407で要求対象
データの固定ビットレートのストリームを生成する。生
成されたストリームはデータ送信部1405aからネッ
トワークインタフェイス部1404aを介してパケット
ネットワーク1403に送出される。
フェイス部1404bからデータ受信部1406bに読
み込み、そこでパケットヘッダを分離する。ペイロード
データはメディアごとに分離され、該当する受信バッフ
ァ1409に一時蓄積され、メディアデコーダ1421
でデコードされ、再生部1420に渡され、マルチメデ
ィア情報として再生される。
ルチメディアデータ再生装置においては、マルチメディ
アデータを1つに多重化したファイルをサーバから送出
していたが、この場合には、時間軸に依存するデータと
時間軸に依存しないデータを多重化することになり、ラ
ンダムアクセスに不向きなデータフォーマットとなって
おり、再生点をジャンプした場合にはそのジャンプ先か
らの再生を開始するために必要なデータを前もって受信
する必要があり、再生開始までの待ち時間が長くなって
いた。
めに詳細なデータ管理機構が必要となっていた.また、
帯域・エリアなどは主としてLAN環境での実用形態を
想定しており、それよりも狭帯域(ISDN等)で広域
な環境に対しては十分なものでもなかった。
ランダムアクセスが容易であり、ジャンプ時の再生開始
までの待ち時間を少なくすることが可能なマルチメディ
アデータ再生装置の構成を提供すること、また、マルチ
メディアコンテンツ情報から静止画用データ表示の必要
性に応じて複数静止画用データの送出レートを決定する
構成を提供すること、また、静止画用データの表示面積
などのパラメータから送出プライオリティを付け、その
プライオリティに応じたレートで送出可能な構成を提供
すること、また、メディアごとにデータを送出する構成
ではオーバヘッドが大きく伝送効率が低くなるが、伝送
効率を高くすることができる構成を提供すること、さら
に、これらシステムの形態として、簡単な構成のPUL
L型、データ送受信遅延対策に優れたPUSH型のどち
らでも実現可能な方式を提供することを目的とする。
めに本発明は、第1に、パケットネットワークに接続
し、ネットワークインタフェイスを備え、リモートファ
イルシステムからネットワークを介してファイルデータ
を読み込む1つ以上のリモートファイルデータ読み込み
部と、前記読み込み部から中間バッファを介してデータ
を受け取って、即時にデコードし表示する再生部とから
なるマルチメディアデータ再生システムにおける、再生
側に関するもの(マルチメディアデータ再生装置)であ
って、前記リモートファイルデータ読み込み部は、マル
チメディアコンテンツ情報参照部を備え、マルチメディ
アコンテンツを構成する各データのエンコードされたパ
ラメータなどの情報を参照し、前記1つ以上の読み込み
部に対してマルチメディアを構成する各メディアへの伝
送ビットレートを配分し、指示するマルチメディアデー
タ読み込みスケジューラを備え、マルチメディアデータ
を構成するメディアごとに蓄積された複数のファイルに
対してリモートファイルデータ読み込み部を一つずつ備
え、前記リモートファイルデータ読み込み部はマルチメ
ディアデータ読み込みスケジューラから指定されたビッ
トレートを守ってそれぞれ指定されたファイルからの読
み込みを並列して行い、前記リモートファイルデータ読
み込み部のうちの1つは1枚の静止画を複数フレームか
らなる動画フォーマットに符号化したデータをフレーム
の時刻情報に依存せずに読み込む静止画用動画フォーマ
ット対応リモートファイルデータ読み込み部であり、前
記マルチメディアコンテンツ情報参照部から静止画デー
タの表示開始時刻と表示終了時刻の情報を取得し、表示
開始時刻から読み込みを開始し、表示終了時刻で読み込
みを終了する構成としたものである。
報にしたがったマルチメディアデータの受信再生が行
え、ジャンプ時の待ち時間が少ないランダムアクセス機
能を提供することができる。
アデータ再生装置に加えて、静止画用動画フォーマット
対応リモートファイルデータ読み込み部は、複数静止画
ファイル読み込み用の管理テーブルを備え、マルチメデ
ィアデータを構成するデータの中で複数の静止画がある
場合に、前記複数静止画ファイル読み込み用管理テーブ
ルで各静止画の表示開始時刻と表示終了時刻の情報を管
理し、表示期間中のみ読み込み対象となるように読み込
み静止画ファイルの切り替えを行い、同時に複数のファ
イルを読み込む必要がある場合には、静止画用に与えら
れたビットレートを等分割して読み込む手段を備えたも
のであり、これにより、表示期間に重なりのある静止画
があった場合でもビットレートを同時表示する静止画用
データの間で等分割して読み込むことができる。
ァイルデータ読み込み部に静止画データ構成情報管理部
を備え、マルチメディアデータを構成するデータの中で
複数の静止画がある場合に、前記マルチメディアデータ
構成ファイル内に記述されている表示領域の大きさやデ
ータサイズなどにより静止画データにプライオリティを
付け、表示開始時刻と表示終了時刻の情報による読み込
みファイルの切り替え時に同時に複数のファイルを読み
込む必要がある場合に、静止画用に与えられたビットレ
ートをプライオリティ順位に応じて不等分に分割して読
み込む手段を備えたものであり、これにより、特性や重
要度や読み込み状態の異なる静止画が同時に表示される
場合でもマルチメディア情報再生への影響の大きさを反
映した最適な読み込みができる。
時停止/停止解除/オブジェクトの拡大表示の再生制御
が可能な再生制御用インタフェイスを備え、再生制御の
イベント発生時にマルチメディアデータ読み込み部にイ
ベント発生通知のメッセージを送出するイベント通知部
を備え、また、マルチメディアデータ読み込みスケジュ
ーラがマルチメディアデータ読み込み管理部を備え、各
読み込みデータが時間軸に依存しているかしていないか
を管理する手段としたものであり、これにより、マルチ
メディアデータ読み込みスケジューラは再生状況の変化
に応じて各リモートファイルデータ読み込み部へのビッ
トレートを再配分し、通常再生時には時間軸に依存する
メディアのファイルデータを優先的に読み込み、一時停
止時には時間軸に依存しないメディアのファイルデータ
を優先的に読み込み、オブジェクトの拡大表示時には対
象となるオブジェクトのファイルデータを優先的に読み
込むことができ、再生状態に即した読み込みレートの割
り当てが可能である。
データ送出サーバと受信端末からなるマルチメディアデ
ータ再生システムにおける送出側に関するもの(マルチ
メディアデータ送出装置)であって、データ送出サーバ
はネットワークインタフェイスを備え、送出要求受け付
け部と、マルチメディアを構成する各メディアに対応す
るローカルファイルシステムからファイルデータを読み
出してストリームを生成し、ネットワークに送出するデ
ータ送出部とを備え、受信端末はネットワークインタフ
ェイスを備え、サーバへの要求送信部と、サーバからの
データ受信部と、受信したデータを一時的に保存する受
信バッファと、受信バッファからデータを取り出し即時
にデコードし表示する再生部とを備え、前記データ送出
サーバのストリーム生成部は、マルチメディアコンテン
ツ情報参照部を備え、マルチメディアコンテンツを構成
する各データのエンコードパラメータなどの情報を参照
し、当該のマルチメディアデータ再生装置が使用できる
ネットワーク帯域と前記マルチメディアコンテンツ情報
参照部からのマルチメディアコンテンツ情報とを合わせ
てマルチメディアを構成する各メディアへ伝送ビットレ
ートを配分し、指示するマルチメディアデータ送出スケ
ジューラを備え、マルチメディアデータを構成するメデ
ィアごとに蓄積された複数のファイルに対してリモート
ファイルデータ送出部を一つずつ備え、前記メディアデ
ータ送出部はマルチメディアデータ読み込みスケジュー
ラから指定されたビットレートを守ってそれぞれ指定さ
れたデータの送出を並列して行い、前記リモートファイ
ルデータ読み込み部のうちの1つは1枚の静止画を複数
フレームからなる動画フォーマットに符号化したデータ
を送出する静止画用動画フォーマット対応データ送出部
であり、前記マルチメディアコンテンツ情報参照部から
静止画データの表示開始時刻と表示終了時刻の情報を取
得し、表示開始時刻から送出を開始し、表示終了時刻で
送出を終了する攻勢としたものである。
報にしたがったマルチメディアデータの送出が行え、ジ
ャンプ時の待ち時間が少ないランダムアクセス機能を提
供することができる。また受信端末からサーバにデータ
を要求する処理が不要なため、データ受信の遅延が小さ
くできる構成を提供できる。
画フォーマット対応データ送出部は、複数静止画ファイ
ル送出用管理テーブルを備え、マルチメディアデータを
構成するデータの中で複数の静止画がある場合に、前記
複数静止画ファイル送出用管理テーブルで各静止画の表
示開始時刻と表示終了時刻のタイミングを管理し、表示
期間中のみ送出対象となるように静止画用動画データフ
ァイルの送出を切り替え、同時に複数のファイルを送出
する必要がある場合には、静止画用に与えられたビット
レートを等分割して送出する構成とするものであり、こ
れにより、表示期間に重なりのある静止画があった場合
でもビットレートを同時表示する静止画用データの間で
等分割して送出することができる。
画フォーマットデータ送出部に静止画データ構成情報管
理部を備え、マルチメディアデータを構成するデータの
中で複数の静止画がある場合に、前記マルチメディアデ
ータ構成ファイル内に記述されている表示領域の大きさ
やデータサイズなどにより静止画データにプライオリテ
ィを付け、表示開始時刻と表示終了時刻の情報による送
出ファイルの送信開始・終了の時点で同時に複数のファ
イルを読み込む必要がある場合に、静止画用に与えられ
たビットレートをプライオリティ順位に応じて不等分に
分割して読み込む手段を備えたものであり、これによ
り、特性や重要度や読み込み状態の異なる静止画が同時
に表示される場合でもマルチメディア情報再生への影響
の大きさを反映した最適な送出ができる。
末の再生部は一時停止/停止解除/オブジェクトの拡大
表示の再生制御が可能な再生制御用インタフェイスを備
え、再生制御のイベント発生時にデータ送出サーバのマ
ルチメディアデータ送出部にイベント発生通知のメッセ
ージを送出するイベント通知部を備え、また、マルチメ
ディアデータ送出スケジューラがマルチメディアデータ
構成情報管理部を備え、マルチメディアデータ構成情報
管理部は各送出データが時間軸に依存しているかしてい
ないかを管理し、マルチメディアデータ送出スケジュー
ラは再生状況の変化に応じて各メディアファイルデータ
送出部へのビットレートを再配分し、通常再生時には時
間軸に依存するメディアのファイルデータを優先的に送
出し、一時停止時には時間軸に依存しないメディアのフ
ァイルデータを優先的に送出し、オブジェクトの拡大表
示時には対象となるオブジェクトのファイルデータを優
先的に送出する手段を備えたものである。
ケジューラは再生状況の変化に応じて各メディアデータ
送出部へのビットレートを再配分し、通常再生時には時
間軸に依存するメディアのメディアデータを優先的に送
出し、一時停止時には時間軸に依存しないメディアのフ
ァイルデータを優先的に送出し、オブジェクトの拡大表
示時には対象となるオブジェクトのファイルデータを優
先的に送出することができ、再生状態に即した送出レー
トの割り当てが可能である。
ネットワークインタフェイスを備え、リモートファイル
システムからネットワークを介してファイルデータを読
み込むリモートファイルデータ読み込み部と、前記読み
込み部から中間バッファを介してデータを受け取って、
即時にデコードし表示する再生部とからなるマルチメデ
ィアデータ再生システムにおける再生側に関するもの
(マルチメディアデータ再生装置)であって、前記読み
込み部はマルチメディアを構成する各メディアに対して
伝送ビットレートの配分を決めるマルチメディアデータ
読み込みスケジューラを備え、マルチメディアデータ読
み込みスケジューラはリモートファイルシステムによっ
て決まる最小転送ブロックサイズでネットワークの合計
ビットレートをスロット分割し、各スロットを各ファイ
ルデータの読み込みに割り当てる構成とし、指定された
ビットレートから単位時間あたりのスロットの必要数を
算出し、実際にスロットを割り当てた場合には現在の必
要数から割り当てたスロット数を減じて、次の単位時間
になれば必要スロットの残量に新たに単位時間あたりの
必要スロット数を加えるという操作により各ファイルデ
ータ読み込みに対する必要スロットの残量を管理する必
要スロット残量管理部を備えたものである。
レートの分割が細かくなった場合でも、ファイルシステ
ムに最適化したマルチファイル並列読み込みを実現する
ことができる。
ット残量管理部において各ファイルデータが時間軸に依
存するデータであることを示すフラグを設け、時間軸に
依存するデータである場合には必要スロット残量の上限
を守るように管理する時間軸依存データ管理機能を備
え、読み込み速度にゆらぎが生じた場合には必要スロッ
ト残量の多寡に関わらず時間軸依存データの必要スロッ
ト残量が上限をを越えないように優先的に読み込む構成
を備えたものであり、これによって、ネットワークエラ
ーが起こりやすい環境において実効レートが変動するよ
うな場合でも時間軸に依存するデータを優先的に取得す
ることができる。
クインタフェイスを備え、送出要求受け付け部と、マル
チメディアを構成する各メディアに対応するローカルフ
ァイルシステムからファイルデータを読み出してストリ
ームを生成し、ネットワークに送出するデータ送出部と
を備え、受信端末はネットワークインタフェイスを備
え、サーバへの要求送信部と、サーバからのデータ受信
部と、受信したデータを一時的に保存する受信バッファ
と、受信バッファからデータを取り出し即時にデコード
し表示する再生部とを備え、前記データ送出サーバのス
トリーム生成部は、マルチメディアコンテンツ情報参照
部を備え、マルチメディアコンテンツを構成する各デー
タのエンコードパラメータなどの情報を参照し、当該の
マルチメディアデータ再生装置が使用できるネットワー
ク帯域と前記マルチメディアコンテンツ情報参照部から
のマルチメディアコンテンツ情報とを合わせてマルチメ
ディアを構成する各メディアへ伝送ビットレートを配分
し、指示するマルチメディアデータ送出スケジューラを
備え、マルチメディアデータ送出スケジューラはネット
ワークプロトコルによって決まる最大パケットペイロー
ドサイズでネットワークの合計ビットレートをスロット
分割し、各スロットを各メディアデータの送出に割り当
てる構成とし、指定されたビットレートから単位時間あ
たりのスロットの必要数を算出し、実際にスロットを割
り当てた場合には現在の必要数から割り当てたスロット
数を減じて、次の単位時間になれば必要スロットの残量
に新たに単位時間あたりの必要スロット数を加えるとい
う操作により各メディアデータ送出に対する必要スロッ
トの残量を管理する累積必要スロット数管理部を備え、
必要スロットの残量が多いメディアデータの順にスロッ
トを割り当てる構成としたものである。
レートの分割が細かくなった場合でも、ネットワークプ
ロトコルに最適化した伝送効率の良いマルチストリーム
送出を実現することができる。
ロット残量管理部は各メディアデータの累積必要スロッ
ト数に加えて、各メディアデータの再生が時間軸に依存
するかどうかを示す項目と、時間軸に依存するデータで
ある場合には累積必要スロット数の上限を示す項目とを
管理する構成とし、送出動作を行う時に累積必要スロッ
ト数の上限を超えた場合には、必要スロット残量の多寡
に関わらず、時間軸依存データを優先してスロットを割
り当てて優先的に送出する構成とするものであり、これ
により、ネットワークレートが変動しやすい環境におい
ても柔軟な送出スケジューリングが行える。
て、図1から図13を用いて説明する。なお、本発明は
これら実施の形態に何ら限定されるものではなく、その
要旨を逸脱しない範囲において、種々なる態様で実施し
得る。
施形態におけるシステム構成図を示し、図1においてマ
ルチメディアデータサーバ101、受信端末102はパ
ケットネットワーク103に接続されており、それぞれ
マルチメディアデータを提供し、受信する.マルチメデ
ィアデータサーバ101はネットワークインタフェイス
部104a、マルチメディアデータを蓄積し、ネットワ
ークを介して共有可能なファイルシステム107を備え
ている。
ータサーバ101と同様な通常のネットワークインタフ
ェイス部104b、再生しようとするマルチメディアコ
ンテンツに含まれる各メディアデータの蓄積場所、エン
コードされたパラメータ、データサイズなどを記したマ
ルチメディアデータ記述情報と再生制御に関する各メデ
ィアの再生開始・終了時刻・レイアウト位置などを記し
た再生シナリオ情報とを参照するマルチメディアコンテ
ンツ情報参照部108、各メディアデータに対する伝送
ビットレートの配分を決めるマルチメディアデータ読み
込みスケジューラ109、各メディアデータをリモート
ファイルシステムから読み出すリモートファイルデータ
読み込み部として動画データ読み込み部110a、オー
ディオデータ読み込み部110b、静止画用動画フォー
マットデータ読み込み部110c、リモートファイルデ
ータ読み込み部110a〜110cからの出力を一時蓄
積する受信バッファ111a〜111c、各メディアデ
ータを復号するメディアデコーダとして動画デコーダ1
12a、オーディオデコーダ112b、静止画用動画デ
コーダ112cとデコードされた各データを合成してマ
ルチメディアとして再構成して出力するマルチメディア
データ出力部113からなるマルチメディアデータ再生
部114を備える。
ータ再生装置について、以下固定ビットレートでのスト
リーミング再生を行う動作を説明する.受信端末102
はパケットネットワーク103に接続されたマルチメデ
ィアデータサーバ101からマルチメディアデータを受
信しようとする場合、マルチメディアコンテンツ情報参
照部108で受信するマルチメディアコンテンツ情報を
参照し、読み込みスケジューラ109に必要な情報を渡
す。
例を図7に示す.マルチメディアコンテンツ情報参照部
はこれらの情報をテーブルとして保持し、読み込みスケ
ジューラ109にそれぞれの構成メディアの蓄積場所に
関する情報とそれぞれのメディアの再生開始時刻と再生
終了時刻、オーディオ、ビデオデータのエンコードデー
タレートを渡す。
置が使用できるネットワーク帯域に関する情報を持って
おり、マルチメディアコンテンツを構成する各メディア
データをそれぞれどれくらいのビットレートで読み出せ
ばよいかをスケジューリングする。オーディオ、ビデオ
データなどの時間軸に依存するデータはエンコードされ
た時のデータレート情報を最低限としてオーバヘッド分
を加えたレートで読み出す必要があり、データ自体が時
間軸に依存しない静止画などのデータはその残りのビッ
トレートを与えるという形になる。この配分レートは再
生シナリオの進行によってダイナミックに変化する可能
性がある。
リング結果から各リモートファイル読み出し部110に
はマルチメディアコンテンツの蓄積場所に関する情報と
配分された現在のビットレートの情報、再生開始時刻と
再生終了時刻が渡される。各リモートファイル読み出し
部110a〜110cはスレッドなどで実現され、それ
ぞれ独立した動作で指定されたファイルを指定されたレ
ートを守って読み出す。また、静止画用動画フォーマッ
トデータ読み込み部110cは表示開始時刻から読み込
みを開始し、表示終了時刻で読み込みを終了する処理を
行う。
バッファ111a〜cに一時的に蓄積され、各メディア
デコーダ112a〜112cで復号され、マルチメディ
アデータ出力部113で再構成されて出力される。
ーク帯域を各メディアデータが分け合って固定レートで
の読み込みを行い、マルチメディアコンテンツ情報の表
示時刻に合わせた読み込み開始、終了動作を起動するこ
とによりマルチメディアコンテンツのストリーミング再
生が行える。
軸依存データは指定された時間分だけ読み出しポインタ
を移動させ、非時間軸依存データはシナリオ上で表示対
象となっているもののみをその時点でのファイル読み出
しポインタから続けて読み出すという処理によって簡単
に実現可能である。これにより、ランダムアクセス時に
必要データを読み出すための待ち時間が不要となり、高
速にジャンプ動作を開始することができる。
度順に読み込み、徐々に解像度を上げていく表示方式も
ネットワークアプリケーションで頻繁に利用されている
が、それに比べて本実施の形態のように静止画を動画フ
ォーマットで符号化する方式では1フレーム目からすで
に高周波成分が含まれているので、表示開始直後から詳
細な部分も十分識別可能である。また、静止画を動画フ
ォーマットで符号化して表示する構成により、静止画用
のデコーダを搭載しなくても動画デコーダ1種類のみで
動画+静止画のマルチメディア画面が構成できる。搭載
すべきデコーダの種類を削減できることは携帯端末のよ
うな用途においてはメリットが大きい。
ように、データ要求を受けたサーバが、時間軸依存/非
依存のデータをひとまとめにして多重化・送出し、それ
を受信した端末が、データ種別ごとに分離した後で復号
・合成するということではなく、各メディア毎の伝送レ
ートを調整し(108,109)、時間軸情報を持たな
いデータを時間軸情報を持つデータと同じように処理す
る、つまり、静止画用データは動画フォーマットに符号
化し(110c)、マルチメディアデータを構成する各
メディアデータごとに配分された固定レートで読み出す
(110a〜c)ものである。
情報にしたがったマルチメディアデータの受信再生を行
うことができ、また、時間軸依存/非依存のデータをひ
とまとめに多重化していないので、ジャンプ時の待ち時
間が少ないランダムアクセス機能を提供することがで
き、その実用的効果は大きい。
れているデータを直接読み込む例(、いわゆるPULL
型)を示したが、サーバ側にデータ送出部があり、マル
チメディアコンテンツ情報にしたがった送出スケジュー
ルで送出を行う構成においても静止画用動画フォーマッ
トデータ送出部を備える(、いわゆるPUSH型、つま
り参照部108,スケジューラ109、及び読み込み部
110a〜cをサーバ101側に備え、その読み込んだ
データを端末102側へ送出する構成とする)ことによ
っても同様の効果が得られ、さらに再生端末側からデー
タ読み込み要求を送出する処理が不要となるのでデータ
読み込みの遅延がなくなるという効果が得られる。
施形態におけるシステム構成図を示す。図2において1
01〜114は第1の実施形態と同様の構成であり、静
止画用動画フォーマットデータ読み出し部110cは、
複数静止画ファイル読み込みタイミング管理テーブル2
01を備える構成となっている。
ータ再生装置について、以下複数静止画に対して固定レ
ートでのシナリオにしたがった並列読み込みを行う動作
を図3の複数静止画ファイル読み込みタイミング管理テ
ーブルの一例を用いて説明する。
み込みスケジューラ109が各メディアへの配分レート
を指定して各リモートファイルデータ読み出し部に伝送
レートを指定するまでの動きは第1の実施形態と同様で
ある。読み込みスケジューラのスケジューリング結果か
ら各リモートファイルデータ読み込み部110にはマル
チメディアコンテンツの蓄積場所に関する情報と配分さ
れた現在のビットレートの情報が伝えられる。各リモー
トファイル読み出し部はスレッドなどで実現され、それ
ぞれ独立した動作で指定されたファイルを指定されたレ
ートを守って読み出す。
部110cでは読み出し対象ファイルとして複数の静止
画を並列に読み出すことができる。複数静止画ファイル
読み込みタイミング管理テーブル201は、図3に示す
ようにマルチメディアデータ中の静止画の表示開始時刻
と終了時刻を管理する手法として、各イベント間の時間
でどの静止画データが読み込み対象となるかを示してい
る。また、読み込み対象のファイルのどこまで読み込ん
だかを管理しており、最後まで読み込み終えたファイル
は読み込み対象からはずす。このテーブルを参照するこ
とによって、各時刻で何個のファイルを並列に読み出せ
ばよいかが決まる。このスケジューリングにしたがって
静止画用のリモートファイル読み出し部は指定されたレ
ートをその時読み出すべき複数の静止画ファイルに等分
割して並列に読み出す。なお、これから後の動作は第一
の実施の形態と同様である。
データ読み込み部(110c)に複数静止画読み込みタ
イミング管理テーブル(201)を備えることにより、
複数の静止画の同時再生が含まれるマルチメディアコン
テンツに対しても静止画用のビットレートを同時表示す
る静止画の間で等分割して、表示時間に対して効率のよ
いスケジューリングを実現することができる(つまり、
決まったネットワーク帯域を各メディアデータが分け合
って固定レートでのストリーミング再生を行い、表示時
間が重なる静止画データは並列に読み出し再生すること
ができる)。
軸依存データは指定された時間分だけ読み出しポインタ
を移動させ、非時間軸依存データは複数静止画ファイル
読み込みタイミング管理テーブル201上で時間ポイン
タを移動させ、その時間で読み込み対象となっているも
ののみをその時点でのファイル読み出しポインタから続
けて読み出し、読み込みが終了したものは読み込み対象
からはずすという処理によって簡単に実現可能で、これ
により、複数の静止画の同時再生が含まれるマルチメデ
ィアコンテンツも再生が可能であり、ランダムアクセス
に向いた構成を実現することができる。
れているデータを直接読み込む例(、いわゆるPULL
型)を示したが、実施の形態1の最後に記載したなお書
きと同様、サーバにデータ送出部があり、マルチメディ
アコンテンツ情報にしたがった送出スケジュールで送出
を行う構成においても複数静止画データ送出タイミング
管理テーブルを備える(、いわゆるPUSH型とする)
ことによっても同様の効果が得られ、さらに再生端末側
からデータ読み込み要求を送出する処理が不要となるの
でデータ読み込みの遅延がなくなるという効果が得られ
る。
施形態におけるシステム構成図を示す。図4において1
01〜114は第2の実施形態と同様の構成であり、2
01に替えて静止画用動画フォーマットデータ読み込み
部に静止画データ構成情報テーブル401を備える構成
となっている。
ータ再生装置について、以下複数静止画に対してプライ
オリティづけをして並列読み込みを行う動作を図5の静
止画データ構成情報テーブルの一例を用いて説明する。
み込みスケジューラ109が各メディアへの配分レート
を指定して各リモートファイルデータ読み出し部に伝送
レートを指定するまでの動きは第1の実施形態と同様で
ある。
結果から各リモートファイル読み出し部110にはマル
チメディアコンテンツの蓄積場所に関する情報と配分さ
れた現在のビットレートの情報が伝えられる。各リモー
トファイル読み出し部はスレッドなどで実現され、それ
ぞれ独立した動作で指定されたファイルを指定されたレ
ートを守って読み出す。
部110cでは読み込み対象ファイルとして複数の静止
画を並列に読み出すことができる。静止画データ構成情
報テーブル401は、図5に示すようにマルチメディア
データ中の静止画の表示開始時刻と終了時刻を管理して
おり、各イベント間の時間でどの静止画データが読み込
み対象となるかを示している。また、読み込み対象のフ
ァイルのどこまで読み込んだかを管理しており、最後ま
で読み込み終えたファイルは読み込み対象からはずす。
このテーブルを参照することによって、各時刻でどのフ
ァイルを並列に読み出せばよいかが決まる。
1には、各静止画データの表示領域の大きさとデータサ
イズの情報が展開されている。複数の静止画が同時に表
示される時に表示領域の大きさがマルチメディアデータ
再生領域とほぼ一致するものは「背景」であると想定さ
れ、地図などの情報を含む静止画に比べて静止画として
の表示優先度は低い考えられる。また、背景ではなく
て、表示領域が相対的に大きいものは、表示領域の中で
の占有度が高く、表示優先度は高いと考えられる。
画用のリモートファイル読み出し部は指定されたレート
をその時読み出すべき複数の静止画ファイルに不等分に
分割して並列に読み出す。分割のしかたは例えば隣り合
う優先順位間では5割増しのレートを与えることにする
と、同時読み込み2ファイルであれば、3/5と2/
5、3つのファイルで3段階の優先度があれば、4/1
9、6/19、9/19の割合で配分することになる。
なお、これから後の動作は第2の実施の形態と同様で
ある。
メディアデータを構成するデータの中で複数の静止画が
ある場合に、静止画データ構成ファイル(401)内に
記述されている表示領域の大きさやデータサイズなどに
より静止画データにプライオリティを付け、表示開始時
刻と表示終了時刻のタイミングによる読み込みファイル
の切り替え時に同時に複数のファイルを読み込む必要が
ある場合に、静止画用に与えられたビットレートをプラ
イオリティ順位に応じて不等分に分割して読み込む手段
を備えたものである。
の異なる静止画が同時に表示される場合でもマルチメデ
ィア情報再生への影響の大きさを反映した最適な読み込
みが(つまり、決まったネットワーク帯域を各メディア
データが分け合って固定レートでのストリーミング再生
を行い、表示への影響の大きさを反映して静止画データ
に優先度を付けて最適なレート分配をし、並列に読み出
し再生することが)でき、また、ランダムアクセスに関
しても、静止画の間に優先順位を付けた場合でも実施の
形態2と同様にして、処理できる。
れているデータを直接読み込む例(、いわゆるPULL
型)を示したが、実施の形態1・2の最後に記載したな
お書きと同様、サーバにデータ送出部があり、マルチメ
ディアコンテンツ情報にしたがった送出スケジュールで
送出を行う構成においても静止画データ構成情報テーブ
ルを備える(、いわゆるPUSH型とする)ことによっ
ても同様の効果が得られ、さらに再生端末側からデータ
読み込み要求を送出する処理が不要となるのでデータ読
み込みの遅延がなくなるという効果が得られる。
施形態におけるシステム構成図を示す。図6において、
101〜114は第1の実施形態と同様の構成であり、
それに加えて受信端末102内のマルチメディアデータ
再生部114は一時停止/停止解除/オブジェクトの拡
大表示等の再生制御が可能な再生制御用インタフェイス
601、再生制御のイベント発生時にマルチメディアデ
ータ読み込みスケジューラ109にイベント発生通知の
メッセージを送出するイベント通知部602を備える構
成となっている。
ータ再生装置について、以下、再生状況の変化に応じ
て、各リモートファイルデータ読み込み部のビットレー
トを再配分し、並列読み込みスケジュールの切り替えを
行う動作を説明する(なお、図7のマルチメディアデー
タ構成情報テーブルの一例のやりとりの詳細は省略す
る)。受信端末102のマルチメディアデータ読み込み
スケジューラ109が初期の各メディアへのレート配分
を決定して各リモートファイルデータ読み込み部に伝送
レートを指定し、各リモートファイルデータ読み込み部
が指定されたレートを守って指定されたファイルからデ
ータを読み込み、それぞれ対応する中間バッファに蓄積
し、デコードし、再生出力する動きは第1の実施形態と
同様である。
に停止の指示が入力された場合、再生部114は時間軸
依存データであるオーディオとビデオのデコードの動き
を停止させ、イベント通知部602は「停止」のメッセ
ージをマルチメディアデータ読み込みスケジューラ10
9に送出する。
ラ109はマルチメディアコンテンツ情報参照部108
により、マルチメディアコンテンツを構成するデータの
再生が時間軸に依存するか否かが判別できる。停止状態
では、時間軸依存データのオーディオとビデオの読み込
みは一時停止し、時間軸に依存しないデータの静止画デ
ータ、またはビデオで停止したシーンを高画質化する差
分データを続けて読み込むことによって、伝送路を有効
利用できる。
ィアデータ読み込みスケジューラ109は停止時のビッ
トレート配分を決定し、各メディアデータ読み込み部に
指示する。これによって、停止時に時間軸依存データの
読み込みが停止している間に、他のデータの伝送レート
を上げて、停止時の再生状態の画質を高めることができ
る。
合には、「停止」の場合と同じようにして、マルチメデ
ィアデータ読み込みスケジューラ109は元のビットレ
ート配分に戻そうとするが、停止期間中に静止画などの
読み込みが終了している可能性も高いので、停止前のビ
ットレート配分と同じになるとは限らない。
の指示が入力された場合には、「拡大表示」のイベント
通知とともに、拡大対象となったビジュアルオブジェク
トをあらわすIDを送る必要がある。マルチメディアデー
タ読み込みスケジューラはこの拡大対象のオブジェクト
に対応する読み込みレートのみを有効にしたり、または
他のレートに比べて優先度を上げたりして、読み込みを
続ける。
メディアデータ再生部からの再生制御信号を受けて、ビ
ットレートを再配分し、再生状況に応じた読み込みを実
現する手段(602→109及び110a〜c)を備え
たものである。
みスケジューラは再生状況の変化に応じて各リモートフ
ァイルデータ読み込み部へのビットレートを再配分し、
通常再生時には時間軸に依存するメディアのファイルデ
ータを優先的に読み込み、一時停止時には時間軸に依存
しないメディアのファイルデータを優先的に読み込み
(つまり、時間軸に依存するメディアであるオーディオ
やビデオなどは一時停止する一方、時間軸に依存しない
メディアである静止画などは、そのシーンを高画質化す
る差分データを読み込み)、オブジェクトの拡大表示時
には対象となるオブジェクトのファイルデータを優先的
に読み込むことができ、再生状態に即した最適な読み込
みレートの割り当てが可能である。
れているデータを直接読み込む例(、いわゆるPULL
型)を示したが、実施の形態1〜3の最後に記載したな
お書きと同様、サーバにデータ送出部があり、マルチメ
ディアコンテンツ情報にしたがった送出スケジュールで
送出を行う構成においても再生制御のイベント発生時に
マルチメディアデータ読み込みスケジューラにイベント
発生通知のメッセージを送出するイベント通知部を備え
る(、いわゆるPUSH型とする)ことによっても同様
の効果が得られ、さらに再生端末側からデータ読み込み
要求を送出する処理が不要となるのでデータ読み込みの
遅延がなくなるという効果が得られる。
施形態におけるシステム構成図を示す。図8において1
01〜109、112〜114は第1の実施形態と同様
の構成であるが、マルチメディアデータを構成する複数
のファイルに対してリモートファイルデータ読み込み部
110は1個のみである。さらに、リモートファイルデ
ータ読み込み部110内に各メディアデータに対する必
要スロット数管理テーブル801が設けられている。
ータ再生装置について、以下複数のファイルの並列読み
込みを1つの処理モジュールで行い、読み込み単位を1
スロットとし、必要スロット数管理テーブルをもとにし
て固定ビットレートで読み込む動作を説明する。
み込みスケジューラ109が初期の各メディアへのレー
ト配分を決定してリモートファイルデータ読み込み部1
10に各メディアごとの伝送レートを指定し、リモート
ファイルデータ読み込み部110が指定されたレートを
守って指定されたファイルからデータを読み込み、それ
ぞれの素材に対応する中間バッファ111に蓄積し、デ
コードし、再生出力する動きは第1の実施形態と同様で
ある。
込み部はマルチメディアデータに含まれるすべてのメデ
ィアデータを読み込むものであり、メディアデータ中に
は静止画用動画フォーマットデータも含んでいる。ここ
でのレート分配制御の手段として必要スロット数管理テ
ーブルを用いる。このレート分配制御の動作を図9のフ
ローチャートと図10の必要スロット数管理テーブルで
管理されている数値例を用いて説明する。
て決まる最小転送ブロックサイズをこの実施例における
レート分配制御で用いるスロット単位とする。そして、
ネットワークの合計ビットレートをこのスロット単位に
分割して、1スロットごとに各ファイルデータの読み込
みに割り当てる構成する。そこで、まず、図9の901
に示すように各メディアデータに対して配分されたビッ
トレートから単位時間あたりのスロットの必要数を算出
し、必要スロット数管理テーブルの累積必要スロット数
の初期値とする。
カニズムでは最小転送ブロックサイズが4096バイト
であるので、必ずこの単位で読み込みがおこるように、
読み込み単位をこの固定のバイト数とする。これを110k
bpsのネットワーク帯域で送るとすると、110000
(bit)/4096(Byte)=3.357より、1秒間に約3.36ス
ロットの割合で読み込めばレートが守れることになる。
ビデオデータを60kbps、オーディオを40kbps、その他を
10kbps(つまり配分6:4:1)とすると単位時間あた
りのスロットの必要数はそれぞれ、1.831スロット、1.2
21スロット、0.305スロットとなる。図10(A)に示
すように、必要スロット数管理テーブルでは初期値とし
てまずこの単位時間あたりの必要スロット数を各データ
の累積必要スロット数を代入する。
が、この処理としてはまず902に示すように、各メデ
ィアデータに対する累積必要スロット数を比較し、一番
大きいものを読み込み対象として、スロット単位だけ読
み込む。ここでは図10(A)ではビデオデータの累積
必要スロット数がもっとも大きいので、ビデオデータが
読み込み対象となり、スロット単位の4096バイト読
み込む。
終えたメディアデータの累積必要スロット数から割り当
てたスロット数を減じる。図10(B)に示すように、
ビデオデータの初期値1.831スロットから1スロットをひ
いた0.831スロットが新たに代入される。読み込み動作
はまた図9の902に戻り、次に大きい値の必要スロッ
ト数のメディアデータを読み込む。ここではオーディオ
データであるので、オーディオデータが読み込み対象と
なり、スロット単位だけ読み込む。読み終わればオーデ
ィオデータの累積必要スロット数から1を減じて、0.22
1を代入する。再び902に戻り、累積必要スロット数
の比較を行い、その時点でもっとも大きいものが読み込
み対象となり、読み込む。累積必要スロット数はマイナ
スの値となっても構わない。この動作を単位時間が経過
するまで続ける。
に、累積必要スロット数に新たに単位時間あたりの必要
スロット数を加えるという操作を行う。ここでは、1秒
たつごとに各メディアデータの累積必要スロット数に単
位時間あたりの必要スロット数を加算する。ここでは図
10(C)に示すように、それぞれの累積必要スロット
数に初期値の1.831, 1.221, 0.305を足し込み、2.662、
1.442、0.610 となる。この新しい累積必要スロット数
でまた図9の902から読み込み動作を続ける。このよ
うにして、スロット数を必要度の高いメディアに割り当
てるという処理によって固定レートを分配して、必要な
読み込みタイミングに対して遅延の少ない複数ファイル
並列読み込み動作が可能である。
削減等のため、リモートファイルを読み込む手段を一つ
にした条件の下でも、必要スロット数管理テーブル80
1を用いて、累積必要スロット数の比較によってスロッ
トを割り当てる処理を行うことにより、ビットレートの
分割が細かくなった場合でも、ファイルシステムに最適
化したマルチファイル並列読み込みを実現することがで
きる。
れているデータを直接読み込む例(、いわゆるPULL
型)を示したが、実施の形態1〜4の最後に記載したな
お書きと同様、サーバにデータ送出部があり、マルチメ
ディアコンテンツ情報にしたがった送出スケジュールで
送出を行う構成においてもデータ送出部に各メディアデ
ータに対する必要スロット数管理テーブルを備える(、
いわゆるPUSH型とする)ことによっても同様の効果
が得られ、さらに再生端末側からデータ読み込み要求を
送出する処理が不要となるのでデータ読み込みの遅延が
なくなるという効果が得られる。
実施形態におけるシステム構成図を示す。図11におい
て101〜114は第5の実施形態と同様の構成であ
り、それに加えてメディアデータ再生において時間軸依
存性があるかないかの項目と時間軸依存性があるメディ
アデータに対して必要スロット数の上限を示す項目とを
設けた累積必要スロット数管理テーブル1101を備え
る構成となっている。
ータ再生装置について、以下複数のファイルの並列読み
込みを1つの処理単位で、必要スロット数管理テーブル
をもとにして、読み込み速度にゆらぎが生じた場合に必
要スロット残量の多寡に関わらず時間軸依存メディアを
優先して読み込む動作を説明する。
み込みスケジューラ109が初期の各メディアへのレー
ト配分を決定してリモートファイルデータ読み込み部1
10に各メディアごとの伝送レートを指定し、リモート
ファイルデータ読み込み部が累積必要スロット数管理テ
ーブル1101をもとに通常時にレートを守って指定さ
れたファイルからデータを読み込み、それぞれ対応する
中間バッファに蓄積し、デコードし、再生出力する動き
は第5の実施形態と同様である。
時間あたりで下回らずに所定の変動範囲におさまってい
る場合には、第5の実施形態の構成でレート配分並列読
み込みが行われる。ここで、読み込み速度にゆらぎが生
じた場合に時間軸依存性を示す項目とその場合の累積必
要スロット数の上限を示す項目を備えた累積必要スロッ
ト数管理テーブルを用いて、時間軸依存メディアを優先
して読み込む動作を図12のフローチャートと図13の
必要スロット数管理テーブルで管理されている数値例を
用いて説明する。
たビットレートから単位時間あたりのスロットの必要数
を算出し、必要スロット数管理テーブルの累積必要スロ
ット数の初期値とする処理は第5の実施形態と同様であ
る。本実施例ではこの次に図12の1202に示すよう
に各メディアデータの再生時間軸依存性を示す項目をチ
ェックし、ビデオ、オーディオデータに対しては依存性
あり、その他のデータに対しては依存性無しの値を代入
する。
アデータに対しては、図12の1203に示すようにバ
ッファリングの量やデコーダのデータ読み込み制御形態
から決まるデータ読み込み遅延の許容量をスロット単位
に変換し、累積必要スロット数の上限値として必要スロ
ット数管理テーブルに値を書き込む。この状態の必要ス
ロット数管理テーブルを図13(A)に示す。
が、この処理としてはまず図12の1204に示すよう
に、各メディアデータに対する累積必要スロット数の上
限値と現在の累積必要スロット数を比較し、上限を超え
ていないかどうかをチェックする。ここで上限を超えて
いるものが1メディアデータであれば、それを読み込み
対象とし、複数あればその中でさらに累積必要スロット
数を比較し、一番大きいものを読み込み対象として、ス
ロット単位だけ読み込む。読み込み速度が低下した場合
には累積必要スロット数からの減算の発生頻度が低下す
るが、単位時間が経過した時に単位時間あたりの必要ス
ロット数の加算は止まらないので、全体的に累積必要ス
ロット数が増加していくことになる。
ト数がもっとも大きいのは静止画データであるが、静止
画データは再生が時間軸に依存しないデータであり、累
積必要スロット数の上限が設定されていない。また、ビ
デオデータとオーディオデータはともに再生が時間軸に
依存するデータであり、累積必要スロット数が上限値を
超えている。ここでは、累積必要スロット数がより大き
いビデオデータが読み込み対象となり、スロット単位の
4096バイト読み込む。このような累積必要スロット
数の現在値と上限値から読み込み対象データを決める動
作を単位時間が経過するまで続ける。
同様に、累積必要スロット数に新たに単位時間あたりの
必要スロット数を加える操作を行う。このようにして、
再生が時間軸に依存するか否かのファクターを考慮にい
れて、スロット数を必要度の高いメディアに割り当てる
という処理によってその時の伝送レートを分配して、必
要な読み込みタイミングに対して遅延の少ない複数ファ
イル並列読み込み動作が可能である。
間軸依存性と累積必要スロット数上限値を示す項目を設
けた累積必要スロット数管理テーブル1101を用い
て、累積必要スロット数の比較によってスロットを割り
当てる処理を行うことにより、実効的なネットワーク伝
送レートが低下した場合でも、時間軸依存データを優先
してビットレートを配分し、マルチファイル並列読み込
みを実現することができる。
れているデータを直接読み込む例(、いわゆるPULL
型)を示したが、実施の形態1〜5の最後に記載したな
お書きと同様、サーバにデータ送出部があり、マルチメ
ディアコンテンツ情報にしたがった送出スケジュールで
送出を行う構成においてもデータ送出部に各メディアデ
ータに対する必要スロット数管理テーブルを備える(、
いわゆるPUSH型とする)ことによっても同様の効果
が得られ、さらに再生端末側からデータ読み込み要求を
送出する処理が不要となるのでデータ読み込みの遅延が
なくなるという効果が得られる。
ータサーバから受信端末への1方向性のメディアデータ
送信とした場合の実施の形態を説明したが、双方向通信
端末についても同様な構成が適用できるものである。
1または5の手法により、 <第1の手法> マルチメディアコンテンツ情報にした
がったマルチメディアデータの受信再生が行え、ジャン
プ時の待ち時間が少ないランダムアクセス機能を提供す
ることができる。 <第5の手法> マルチメディアコンテンツ情報にした
がったマルチメディアデータの送出が行え、ジャンプ時
の待ち時間が少ないランダムアクセス機能を提供するこ
とができる。また受信端末からサーバにデータを要求す
る処理が不要なため、データ受信の遅延が小さくできる
構成を提供できる。
た場合でもビットレートを同時表示する静止画用データ
の間で等分割して読み込むことができる。 <第6の手法> 表示期間に重なりのある静止画があった
場合でもビットレートを同時表示する静止画用データの
間で等分割して送出することができる。
静止画が同時に表示される場合でもマルチメディア情報
再生への影響の大きさを反映した最適な読み込みができ
る。 <第7の手法> 特性や重要度や読み込み状態の異なる静
止画が同時に表示される場合でもマルチメディア情報再
生への影響の大きさを反映した最適な送出ができる。
ァイルデータ読み込み部へのビットレートを再配分し、
通常再生時には時間軸に依存するメディアのファイルデ
ータを優先的に読み込み、一時停止時には時間軸に依存
しないメディアのファイルデータを優先的に読み込み、
オブジェクトの拡大表示時には対象となるオブジェクト
のファイルデータを優先的に読み込むことができ、再生
状態に即した読み込みレートの割り当てが可能である。 <第8の手法> 再生状況の変化に応じて各メディアデ
ータ送出部へのビットレートを再配分し、通常再生時に
は時間軸に依存するメディアのメディアデータを優先的
に送出し、一時停止時には時間軸に依存しないメディア
のファイルデータを優先的に送出し、オブジェクトの拡
大表示時には対象となるオブジェクトのファイルデータ
を優先的に送出することができ、再生状態に即した送出
レートの割り当てが可能である。
分割が細かくなった場合でも、ファイルシステムに最適
化したマルチファイル並列読み込みを実現することがで
きる。 <第11の手法> 各メディアデータへのビットレート
の分割が細かくなった場合でも、ネットワークプロトコ
ルに最適化した伝送効率の良いマルチストリーム送出を
実現することができる。
環境において実効レートが変動するような場合でも時間
軸に依存するデータを優先的に取得することができる。 <第12の手法> ネットワークレートが変動しやすい
環境においても柔軟な送出スケジューリングが行える。
アデータ再生装置を示すシステム構成図
アデータ再生装置を示すシステム構成図
ァイル読み込みタイミング管理テーブルの一例を示す図
アデータ再生装置を示すシステム構成図
構成情報テーブルの一例を示す構成図
アデータ再生装置を示すシステム構成図
アデータ構成情報テーブルの一例を示す構成図
ア再生装置を示すシステム構成図
ト
ト数管理テーブルの数値例を示す図
ィア再生装置を示すシステム構成図
ート
ト数管理テーブルを示す図
システム構成図
イス部 105、105a、105b データ送信部 106、106a、106b データ受信部 107 ファイルシステム 108 マルチメディアコンテンツ情報参照部 109 マルチメディアデータ読み込みスケジューラ 110 リモートファイルデータ読み込み部 110a 動画データ読み込み部 110b オーディオデータ読み込み部 110c 静止画用動画フォーマットデータ読み込み部 111 受信バッファ 112 メディアデコーダ 112a 動画デコーダ 112b オーディオデコーダ 112c 静止画用動画デコーダ 113 マルチメディアデータ出力部 114 マルチメディアデータ再生部 201 複数静止画ファイル読み込み管理テーブル 401 静止画データ構成情報付きファイル読み込み管
理テーブル 601 再生制御用インタフェイス 602 イベント通知部 603 マルチメディアデータ構成情報参照部 801 必要スロット数管理テーブル 901 単位時間あたり必要スロット数算出処理 902 累積必要スロット数の比較処理 903 読み込み対象のデータ読み込み処理 904 単位時間あたり必要スロット数の加算処理 1101 累積必要スロット数管理テーブル 1201 単位時間あたり必要スロット数算出処理 1202 再生時間軸依存性の検査処理 1203 累積必要スロット数の上限値の算出処理 1204 累積必要スロット数の上限値と現在値の比較
処理 1401 データ送出サーバ 1402 受信端末 1403 パケットネットワーク 1404 ネットワークインタフェイス 1405 データ送信部 1406 データ受信部 1407 ストリーム生成部 1408 多重化分離部 1409 受信バッファ 1410 要求受信部 1411 マルチクライアント対応スケジューラ 1412 要求送信部 1420 再生部 1421 メディアデコーダ
Claims (12)
- 【請求項1】リモートファイルシステムからネットワー
クを介してファイルデータを読み込む、マルチメディア
データを構成するメディアの種別に対応した読み込み手
段を有する、リモートファイルデータ読み込み部と、前
記読み込み部からデータを受け取って、即時にデコード
し表示する再生部と、読み込み対象となるデータの蓄積
場所、属性など、当該データに関する情報を参照するマ
ルチメディアコンテンツ情報参照部と、前記読み込み部
に対して本装置が使用できるネットワーク帯域と前記マ
ルチメディアコンテンツ情報参照部からのマルチメディ
アコンテンツ情報とを合わせてマルチメディアを構成す
る各メディアへ伝送ビットレートを配分し、指示するマ
ルチメディアデータ読み込みスケジューラと、を備え、 前記リモートファイルデータ読み込み部は、マルチメデ
ィアデータ読み込みスケジューラから指定されたビット
レートを従ってそれぞれ指定されたファイルからの読み
込みを行い、 前記読み込み手段のうちの1つは、1枚の静止画を複数
フレームからなる動画フォーマットに符号化したデータ
をフレームの時刻情報に依存せずに読み込む、静止画用
動画フォーマット対応リモートファイルデータ読み込み
手段であり、前記マルチメディアコンテンツ情報参照部
から静止画データの表示開始時刻と表示終了時刻の情報
を取得し、表示開始時刻から読み込みを開始し、表示終
了時刻で読み込みを終了することを特徴とするマルチメ
ディアデータ再生装置。 - 【請求項2】静止画用動画フォーマット対応リモートフ
ァイルデータ読み込み部は、複数静止画ファイル読み込
み用管理テーブルを有し、 マルチメディアデータを構成するデータの中で複数の静
止画がある場合に、前記複数静止画ファイル読み込み用
管理テーブルで各静止画の表示開始時刻と表示終了時刻
の情報を管理し、表示期間中のみ読み込み対象となるよ
うに読み込み静止画ファイルの切り替えを行い、同時に
複数のファイルを読み込む必要がある場合には、静止画
用に与えられたビットレートを調整して読み込むことを
特徴とする、請求項1に記載のマルチメディアデータ再
生装置。 - 【請求項3】静止画用動画フォーマットデータ読み込み
手段は、静止画データ構成情報管理部を有し、 マルチメディアデータを構成するデータの中で複数の静
止画がある場合に、前記マルチメディアデータ構成ファ
イル内に記述されている表示領域の大きさやデータサイ
ズなどにより静止画データにプライオリティを付け、表
示開始時刻と表示終了時刻の情報による読み込みファイ
ルの切り替え時に同時に複数のファイルを読み込む必要
がある場合に、静止画用に与えられたビットレートをプ
ライオリティ順位に応じた読み込み調整を行うことを特
徴とする、請求項1に記載のマルチメディアデータ再生
装置。 - 【請求項4】再生制御のイベント発生時にマルチメディ
アデータ読み込みスケジューラに対してイベント発生通
知のメッセージを送出するイベント通知部を備え、再生
部は、停止/一時停止、停止/一時停止解除、オブジェク
トの拡大/縮小表示などの再生制御が可能な再生制御用
インタフェイスを有し、マルチメディアデータ読み込み
スケジューラは、各読み込みデータが時間軸に依存して
いるかしていないかを管理するマルチメディアデータ構
成情報管理部を有し、 マルチメディアデータ読み込みスケジューラは、再生状
況の変化に応じて、各リモートファイルデータの読み込
み手段へのビットレートを再配分し、通常再生時には時
間軸に依存するメディアのファイルデータを優先的に読
み込み、一時停止時には時間軸に依存しないメディアの
ファイルデータを優先的に読み込み、オブジェクトの拡
大表示時には対象となるオブジェクトのファイルデータ
を優先的に読み込むことを特徴とする、請求項1から3
のいずれかに記載のマルチメディアデータ再生装置。 - 【請求項5】ネットワーク上の再生装置から再生対象と
なるデータの送出要求を受け付ける送出要求受け付け部
と、ローカルファイルシステムから、マルチメディアを
構成する各メディアに対応するファイルデータを読み出
してストリームを生成するストリーム生成部と、当該ス
トリームをネットワークに送出する、マルチメディアデ
ータを構成するメディアの種別に対応した送出手段を有
する、データ送出部と、送出対象となるデータの蓄積場
所、属性など、当該データに関する情報を参照するマル
チメディアコンテンツ情報参照部と、前記再生装置が使
用できるネットワーク帯域と前記マルチメディアコンテ
ンツ情報参照部からのマルチメディアコンテンツ情報と
を合わせてマルチメディアを構成する各メディアへ伝送
ビットレートを配分し、指示するマルチメディアデータ
送出スケジューラと、を備え、 前記メディアデータ送出部はマルチメディアデータ読み
込みスケジューラから指定されたビットレートを守って
それぞれ指定されたデータの送出を行い、 前記送出手段のうちの1つは、1枚の静止画を複数フレ
ームからなる動画フォーマットに符号化したデータを送
出する静止画用動画フォーマット対応データ送出手段で
あることを特徴とするマルチメディアデータ送出装置。 - 【請求項6】静止画用動画フォーマット対応データ送出
手段は、複数静止画ファイル送出用管理テーブルを有
し、 マルチメディアデータを構成するデータの中で複数の静
止画がある場合に、前記複数静止画ファイル送出用管理
テーブルで各静止画の表示開始時刻と表示終了時刻のタ
イミングを管理し、表示期間中のみ送出対象となるよう
に静止画用動画データファイルの送出を切り替え、同時
に複数のファイルを送出する必要がある場合には、静止
画用に与えられたビットレートを調整して送出すること
を特徴とする、請求項5に記載のマルチメディアデータ
送出装置。 - 【請求項7】静止画用動画フォーマットデータ送出手段
は、静止画データ構成情報管理部を有し、 マルチメディアデータを構成するデータの中で複数の静
止画がある場合に、前記マルチメディアデータ構成ファ
イル内に記述されている表示領域の大きさやデータサイ
ズなどにより静止画データにプライオリティを付け、表
示開始時刻と表示終了時刻の情報による送出ファイルの
送信開始・終了の時点で同時に複数のファイルを読み込
む必要がある場合に、静止画用に与えられたビットレー
トをプライオリティ順位に応じた送出調整を行うことを
特徴とする、請求項5に記載のマルチメディアデータ送
出装置。 - 【請求項8】マルチメディアデータ送出スケジューラ
は、各送出データが時間軸に依存しているかしていない
かを管理するマルチメディアデータ構成情報管理部を有
し、 マルチメディアデータ送出スケジューラは、再生装置の
再生状況の変化に応じて各メディアファイルデータ送出
部へのビットレートを再配分し、通常再生時には時間軸
に依存するメディアのファイルデータを優先的に送出
し、一時停止時には時間軸に依存しないメディアのファ
イルデータを優先的に送出し、オブジェクトの拡大表示
時には対象となるオブジェクトのファイルデータを優先
的に送出することを特徴とする、請求項5から7のいず
れかに記載のマルチメディアデータ送出装置。 - 【請求項9】リモートファイルシステムからネットワー
クを介してファイルデータを読み込むリモートファイル
データ読み込み部と、前記読み込み部からデータを受け
取って、即時にデコードし表示する再生部と、マルチメ
ディアを構成する各メディアに対して伝送ビットレート
の配分を決めるマルチメディアデータ読み込みスケジュ
ーラと、を備え、 前記リモートファイルデータ読み込み部は、リモートフ
ァイルシステムによって決まる最小転送ブロックサイズ
でネットワークの合計ビットレートを伝送単位としてス
ロット分割し、各スロットを各ファイルデータの読み込
みに割り当てる構成とされた、指定されたビットレート
から単位時間あたりのスロットの必要数を算出し、実際
にスロットを割り当てた場合には現在の必要数から割り
当てたスロット数を減じて、次の単位時間になれば必要
スロットの残量に新たに単位時間あたりの必要スロット
数を加えるという操作により各ファイルデータ読み込み
に対する必要スロットの残量を管理する必要スロット数
管理部を有し、 必要スロットの残量が多いファイルデータの順にスロッ
トを割り当てることを特徴とするマルチメディアデータ
再生装置。 - 【請求項10】必要スロット数管理部は、各メディアデ
ータの累積必要スロット数に加えて、各メディアデータ
の再生が時間軸に依存するかどうかを示す項目と、時間
軸に依存するデータである場合には累積必要スロット数
の上限を示す項目とを管理する構成とし、 リモートファイルデータ読み込み部は、読み込み動作を
行う時に累積必要スロット数の上限を超えた場合には、
必要スロット残量の多寡に関わらず、時間軸依存データ
を優先してスロットを割り当てて優先的に読み込むよう
にしたことを特徴とする請求項9に記載のマルチメディ
アデータ再生装置。 - 【請求項11】ネットワーク上の再生装置から再生対象
となるデータの送出要求を受け付ける送出要求受け付け
部と、マルチメディアを構成する各メディアに対応する
ローカルファイルシステムからファイルデータを読み出
してストリームを生成するストリーム生成部と、当該ス
トリームをネットワークに送出するデータ送出部と、送
出対象となるデータの蓄積場所、属性など、当該データ
に関する情報を参照するマルチメディアコンテンツ情報
参照部と、当該再生装置が使用できるネットワーク帯域
と前記マルチメディアコンテンツ情報参照部からのマル
チメディアコンテンツ情報とを合わせてマルチメディア
を構成する各メディアへ伝送ビットレートを配分し、指
示するマルチメディアデータ送出スケジューラと、を備
え、 前記データ送出部は、ネットワークプロトコルによって
決まる最大パケットペイロードサイズでネットワークの
合計ビットレートをスロット分割し、各スロットを各メ
ディアデータの送出に割り当てる構成とされた、指定さ
れたビットレートから単位時間あたりのスロットの必要
数を算出し、実際にスロットを割り当てた場合には現在
の必要数から割り当てたスロット数を減じて、次の単位
時間になれば必要スロットの残量に新たに単位時間あた
りの必要スロット数を加えるという操作により各メディ
アデータ送出に対する必要スロットの残量を管理する必
要スロット数管理部を有し、 必要スロットの残量が多いメディアデータの順にスロッ
トを割り当てることを特徴とするマルチメディアデータ
送出装置。 - 【請求項12】必要スロット残量管理部は、各メディア
データの累積必要スロット数に加えて、各メディアデー
タの再生が時間軸に依存するかどうかを示す項目と、時
間軸に依存するデータである場合には累積必要スロット
数の上限を示す項目とを管理する構成とし、 データ送出部は、送出動作を行う時に累積必要スロット
数の上限を超えた場合には、必要スロット残量の多寡に
関わらず、時間軸依存データを優先してスロットを割り
当てて優先的に送出するようにしたことを特徴とする、
請求項11に記載のマルチメディアデータ送出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP18726799A JP3584787B2 (ja) | 1999-07-01 | 1999-07-01 | マルチメディアデータ再生/送出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP18726799A JP3584787B2 (ja) | 1999-07-01 | 1999-07-01 | マルチメディアデータ再生/送出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001016567A true JP2001016567A (ja) | 2001-01-19 |
JP3584787B2 JP3584787B2 (ja) | 2004-11-04 |
Family
ID=16203004
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP18726799A Expired - Fee Related JP3584787B2 (ja) | 1999-07-01 | 1999-07-01 | マルチメディアデータ再生/送出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3584787B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003001808A1 (fr) * | 2001-06-25 | 2003-01-03 | Nova Co., Ltd. | Systeme de service de communication d'informations multimedia |
WO2003017668A1 (fr) * | 2001-08-15 | 2003-02-27 | Sony Corporation | Appareil pour fournir un contenu et procede pour fournir un contenu |
US7525556B2 (en) | 2002-01-31 | 2009-04-28 | Sony Corporation | Data creating device, data reproducing device, data processing system, and methods therefor |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06178016A (ja) * | 1992-11-30 | 1994-06-24 | Sharp Corp | 画像通信システム |
JPH06197337A (ja) * | 1992-12-25 | 1994-07-15 | Mitsubishi Electric Corp | 画像伝送装置 |
JPH06243023A (ja) * | 1993-02-12 | 1994-09-02 | Nec Corp | シナリオ編集装置 |
JPH0746593A (ja) * | 1993-07-30 | 1995-02-14 | Sony Corp | 高能率符号化装置 |
JPH0846973A (ja) * | 1994-07-29 | 1996-02-16 | Canon Inc | 画像通信装置及びシステム |
JPH08125871A (ja) * | 1994-10-27 | 1996-05-17 | Sanyo Electric Co Ltd | 静止画像符号化方式及び画像処理装置 |
JPH0981768A (ja) * | 1995-07-11 | 1997-03-28 | Matsushita Electric Ind Co Ltd | シナリオ編集装置 |
JPH09284705A (ja) * | 1996-04-18 | 1997-10-31 | Hitachi Ltd | 映像信号記録再生装置 |
-
1999
- 1999-07-01 JP JP18726799A patent/JP3584787B2/ja not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06178016A (ja) * | 1992-11-30 | 1994-06-24 | Sharp Corp | 画像通信システム |
JPH06197337A (ja) * | 1992-12-25 | 1994-07-15 | Mitsubishi Electric Corp | 画像伝送装置 |
JPH06243023A (ja) * | 1993-02-12 | 1994-09-02 | Nec Corp | シナリオ編集装置 |
JPH0746593A (ja) * | 1993-07-30 | 1995-02-14 | Sony Corp | 高能率符号化装置 |
JPH0846973A (ja) * | 1994-07-29 | 1996-02-16 | Canon Inc | 画像通信装置及びシステム |
JPH08125871A (ja) * | 1994-10-27 | 1996-05-17 | Sanyo Electric Co Ltd | 静止画像符号化方式及び画像処理装置 |
JPH0981768A (ja) * | 1995-07-11 | 1997-03-28 | Matsushita Electric Ind Co Ltd | シナリオ編集装置 |
JPH09284705A (ja) * | 1996-04-18 | 1997-10-31 | Hitachi Ltd | 映像信号記録再生装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003001808A1 (fr) * | 2001-06-25 | 2003-01-03 | Nova Co., Ltd. | Systeme de service de communication d'informations multimedia |
WO2003017668A1 (fr) * | 2001-08-15 | 2003-02-27 | Sony Corporation | Appareil pour fournir un contenu et procede pour fournir un contenu |
US7240121B2 (en) | 2001-08-15 | 2007-07-03 | Sony Corporation | Content providing apparatus and content providing method |
US7525556B2 (en) | 2002-01-31 | 2009-04-28 | Sony Corporation | Data creating device, data reproducing device, data processing system, and methods therefor |
Also Published As
Publication number | Publication date |
---|---|
JP3584787B2 (ja) | 2004-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7974200B2 (en) | Transmitting and receiving real-time data | |
US5719786A (en) | Digital media data stream network management system | |
US6327421B1 (en) | Multiple speed fast forward/rewind compressed video delivery system | |
JP2642072B2 (ja) | メモリ・バッファ管理方法及びシステム | |
EP0660605B1 (en) | Video storage and delivery apparatus and method | |
US9038121B2 (en) | Bit-rate constrained trick play through stream switching and adaptive streaming | |
US8380864B2 (en) | Media stream slicing and processing load allocation for multi-user media systems | |
EP0683951B1 (en) | Multimedia distribution system | |
US20030233464A1 (en) | Priority progress streaming for quality-adaptive transmission of data | |
EP0779725A2 (en) | Method and apparatus for delivering simultaneous constant bit rate compressed video streams at arbitrary bit rates with constrained drift and jitter | |
US20030236904A1 (en) | Priority progress multicast streaming for quality-adaptive transmission of data | |
KR20020026250A (ko) | 비디오 신호 인코딩 및 버퍼 관리 | |
Crutcher et al. | The networked video jukebox | |
EP3895352B1 (en) | Method and system for reducing drop-outs during video stream playback | |
JP3584787B2 (ja) | マルチメディアデータ再生/送出装置 | |
Krunz et al. | Efficient support for interactive scanning operations in MPEG-based video-on-demand systems | |
Muntean et al. | Some Software Issues of a Real-Time Multimedia Networking System | |
Muntean et al. | An Object-Oriented Prototype System for Feedback Controlled Multimedia Networking | |
Mullender et al. | Quality of service in distributed multimedia systems | |
EP2903289A1 (en) | Receiver for layered real-time data stream and method of operating the same | |
JP2004088348A (ja) | データ伝送システム及びデータ送出装置 | |
JP2023161219A (ja) | 送信装置、受信装置及びそれらのプログラム | |
Spaniol et al. | Trends in Distributed Systems: CORBA and Beyond: International Workshop TreDS'96 Aachen, Germany, October 1-2, 1996; Proceedings | |
Kalogeraki et al. | Managing real-time distributed multimedia applications | |
Kirsh | Priority progress decoding |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040406 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040528 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040713 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040726 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070813 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080813 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080813 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090813 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090813 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100813 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |