JP2001016567A - マルチメディアデータ再生／送出装置 - Google Patents

Abstract

(57)【要約】 【課題】 従来のマルチメディアデータ伝送システムに
おいて、あらかじめシナリオにしたがってストリームを
多重化して送信することが行われるが、ジャンプ時の高
速応答性が損なわれるという課題がある。また、メディ
ア単位に送信を行う場合には表示時間に間に合うように
デコード時間分だけ前もってストリームの送出を行わな
ければならず、送信制御が複雑なものとなっていた。こ
れらの課題を解決できる構成を提供することを目的とす
る。 【解決手段】 受信端末１０２内のマルチメディアデー
タ読み込みスケジューラ１０９がコンテンツ情報を参照
してビットレートの各メディアへの配分を決め、リモー
トファイルデータ読み出し部１１０がそれぞれのメディ
アファイルを並列に指定されたビットレートを守って読
み出す構成とする。静止画は動画フォーマットで符号化
し、表示時刻になったら動画と同じように送信を開始す
るという構成をとる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、狭帯域（ＩＳＤＮ
等）・広域エリアでも実現可能な、パケットネットワー
クを利用したマルチメディアデータ再生装置に関する。

【０００２】

【従来の技術】サーバ側に蓄積されたデータをクライア
ント側で再生する前提として、サーバ上のデータをどの
ようにクライアントに送るかという送信／送出の方式が
問題となり、その方法として２つの方式がある。一つ
は、クライアントの「再生開始」要求を受けて「停止要
求が来るまで」サーバが自律的に当該データを送信し続
けるサーバ主体型の送信方式（いわゆるＰＵＳＨ型）、
もう一つは、サーバ側に自律的な送信機構がなく、クラ
イアントの読み込み要求に応じてそのつどデータを渡す
クライアント主導型の取得方式（いわゆるＰＵＬＬ型）
である。

【０００３】ＰＵＬＬ型ではサーバ側は通常のファイル
読み込みインタフェイスを持っていれば良いので、簡単
な構成で実現できる。たとえばLAN上で動作する場合は
読み出し可能なファイルとして蓄積されていればよく、
サーバ上にアプリケーションを動かさなくてもサーバ上
のデータにアクセスできる限り、クライアントは自由な
タイミングでデータを取得できる。そのため、アプリケ
ーションプロセスの障害により、サービスが中止される
という問題は発生しない。

【０００４】しかし、このＰＵＬＬ型を広域ネットワー
ク上で構築しようとすると、クライアントが読み込みを
要求してから実際に当該データが受信されるまでの遅延
が無視できなくなり、連続的に「受信→即、再生」を要
求されるリアルタイムストリームデータ伝送システムで
は、いったん受信要求を出すとその後はデータがある帯
域で自動的に送られてくることにより往復遅延が回避で
きるＰＵＳＨ型が主流とならざるを得ない。

【０００５】そこで従来のマルチメディアデータ再生装
置の構造として、図１４に示すものが知られている。図
１４において、データ送出サーバ１４０１、受信端末１
４０２はパケットネットワーク１４０３に接続されてお
り、マルチメディアデータを送出／受信する。

【０００６】データ送出サーバ１４０１はネットワーク
インタフェイス１４０４ａ、データ送信部１４０５ａ、
データ受信部１４０６ａ、要求受信部１４１０、マルチ
クライアント対応スケジューラ１４１１、ストリーム生
成部１４０７から構成される。

【０００７】また、受信端末１４０２はデータ送出サー
バと同様な通常のデータ通信手段のほかに、要求送信部
１４１２、データ受信部１４０６ｂ、データをメディア
ごとのデータストリームに分離する多重化分離部１４０
８、多重化分離部１４０８からの出力を一時蓄積する受
信バッファ１４０９、メディアごとのストリームをデコ
ードするメディアデコーダ１４２１、デコードされたデ
ータを組み合わせてマルチメディア情報を出力する再生
部１４２０を備える。

【０００８】以上のように構成されたマルチメディアデ
ータ再生装置について、以下再生を行う動作を説明す
る．受信端末１４０２はパケットネットワーク１４０３
に接続されたサーバ１４０１からマルチメディアデータ
を受信しようとする場合、要求送信部１４１２でデータ
を要求し、送信する。端末要求はネットワークインタフ
ェイス１４０４ｂ、１４０４ａを介してサーバ１４０１
の要求受信部１４１０で受信され、マルチクライアント
対応スケジューラ１４１１に登録され、スケジューラの
指示にしたがってストリーム生成部１４０７で要求対象
データの固定ビットレートのストリームを生成する。生
成されたストリームはデータ送信部１４０５ａからネッ
トワークインタフェイス部１４０４ａを介してパケット
ネットワーク１４０３に送出される。

【０００９】受信端末１４０２ではネットワークインタ
フェイス部１４０４ｂからデータ受信部１４０６ｂに読
み込み、そこでパケットヘッダを分離する。ペイロード
データはメディアごとに分離され、該当する受信バッフ
ァ１４０９に一時蓄積され、メディアデコーダ１４２１
でデコードされ、再生部１４２０に渡され、マルチメデ
ィア情報として再生される。

【００１０】

【発明が解決しようとする課題】このように、従来のマ
ルチメディアデータ再生装置においては、マルチメディ
アデータを１つに多重化したファイルをサーバから送出
していたが、この場合には、時間軸に依存するデータと
時間軸に依存しないデータを多重化することになり、ラ
ンダムアクセスに不向きなデータフォーマットとなって
おり、再生点をジャンプした場合にはそのジャンプ先か
らの再生を開始するために必要なデータを前もって受信
する必要があり、再生開始までの待ち時間が長くなって
いた。

【００１１】また、ジャンプ先で必要なデータを知るた
めに詳細なデータ管理機構が必要となっていた．また、
帯域・エリアなどは主としてＬＡＮ環境での実用形態を
想定しており、それよりも狭帯域（ＩＳＤＮ等）で広域
な環境に対しては十分なものでもなかった。

【００１２】本発明は、これら課題を解決するもので、
ランダムアクセスが容易であり、ジャンプ時の再生開始
までの待ち時間を少なくすることが可能なマルチメディ
アデータ再生装置の構成を提供すること、また、マルチ
メディアコンテンツ情報から静止画用データ表示の必要
性に応じて複数静止画用データの送出レートを決定する
構成を提供すること、また、静止画用データの表示面積
などのパラメータから送出プライオリティを付け、その
プライオリティに応じたレートで送出可能な構成を提供
すること、また、メディアごとにデータを送出する構成
ではオーバヘッドが大きく伝送効率が低くなるが、伝送
効率を高くすることができる構成を提供すること、さら
に、これらシステムの形態として、簡単な構成のＰＵＬ
Ｌ型、データ送受信遅延対策に優れたＰＵＳＨ型のどち
らでも実現可能な方式を提供することを目的とする。

【００１３】

【課題を解決するための手段】これら課題を解決するた
めに本発明は、第１に、パケットネットワークに接続
し、ネットワークインタフェイスを備え、リモートファ
イルシステムからネットワークを介してファイルデータ
を読み込む１つ以上のリモートファイルデータ読み込み
部と、前記読み込み部から中間バッファを介してデータ
を受け取って、即時にデコードし表示する再生部とから
なるマルチメディアデータ再生システムにおける、再生
側に関するもの（マルチメディアデータ再生装置）であ
って、前記リモートファイルデータ読み込み部は、マル
チメディアコンテンツ情報参照部を備え、マルチメディ
アコンテンツを構成する各データのエンコードされたパ
ラメータなどの情報を参照し、前記１つ以上の読み込み
部に対してマルチメディアを構成する各メディアへの伝
送ビットレートを配分し、指示するマルチメディアデー
タ読み込みスケジューラを備え、マルチメディアデータ
を構成するメディアごとに蓄積された複数のファイルに
対してリモートファイルデータ読み込み部を一つずつ備
え、前記リモートファイルデータ読み込み部はマルチメ
ディアデータ読み込みスケジューラから指定されたビッ
トレートを守ってそれぞれ指定されたファイルからの読
み込みを並列して行い、前記リモートファイルデータ読
み込み部のうちの１つは1枚の静止画を複数フレームか
らなる動画フォーマットに符号化したデータをフレーム
の時刻情報に依存せずに読み込む静止画用動画フォーマ
ット対応リモートファイルデータ読み込み部であり、前
記マルチメディアコンテンツ情報参照部から静止画デー
タの表示開始時刻と表示終了時刻の情報を取得し、表示
開始時刻から読み込みを開始し、表示終了時刻で読み込
みを終了する構成としたものである。

【００１４】これにより、マルチメディアコンテンツ情
報にしたがったマルチメディアデータの受信再生が行
え、ジャンプ時の待ち時間が少ないランダムアクセス機
能を提供することができる。

【００１５】第２に、第１の構成と同様なマルチメディ
アデータ再生装置に加えて、静止画用動画フォーマット
対応リモートファイルデータ読み込み部は、複数静止画
ファイル読み込み用の管理テーブルを備え、マルチメデ
ィアデータを構成するデータの中で複数の静止画がある
場合に、前記複数静止画ファイル読み込み用管理テーブ
ルで各静止画の表示開始時刻と表示終了時刻の情報を管
理し、表示期間中のみ読み込み対象となるように読み込
み静止画ファイルの切り替えを行い、同時に複数のファ
イルを読み込む必要がある場合には、静止画用に与えら
れたビットレートを等分割して読み込む手段を備えたも
のであり、これにより、表示期間に重なりのある静止画
があった場合でもビットレートを同時表示する静止画用
データの間で等分割して読み込むことができる。

【００１６】第３に、第２の構成に加えて、リモートフ
ァイルデータ読み込み部に静止画データ構成情報管理部
を備え、マルチメディアデータを構成するデータの中で
複数の静止画がある場合に、前記マルチメディアデータ
構成ファイル内に記述されている表示領域の大きさやデ
ータサイズなどにより静止画データにプライオリティを
付け、表示開始時刻と表示終了時刻の情報による読み込
みファイルの切り替え時に同時に複数のファイルを読み
込む必要がある場合に、静止画用に与えられたビットレ
ートをプライオリティ順位に応じて不等分に分割して読
み込む手段を備えたものであり、これにより、特性や重
要度や読み込み状態の異なる静止画が同時に表示される
場合でもマルチメディア情報再生への影響の大きさを反
映した最適な読み込みができる。

【００１７】第４に、第１の構成に加えて、再生部は一
時停止／停止解除／オブジェクトの拡大表示の再生制御
が可能な再生制御用インタフェイスを備え、再生制御の
イベント発生時にマルチメディアデータ読み込み部にイ
ベント発生通知のメッセージを送出するイベント通知部
を備え、また、マルチメディアデータ読み込みスケジュ
ーラがマルチメディアデータ読み込み管理部を備え、各
読み込みデータが時間軸に依存しているかしていないか
を管理する手段としたものであり、これにより、マルチ
メディアデータ読み込みスケジューラは再生状況の変化
に応じて各リモートファイルデータ読み込み部へのビッ
トレートを再配分し、通常再生時には時間軸に依存する
メディアのファイルデータを優先的に読み込み、一時停
止時には時間軸に依存しないメディアのファイルデータ
を優先的に読み込み、オブジェクトの拡大表示時には対
象となるオブジェクトのファイルデータを優先的に読み
込むことができ、再生状態に即した読み込みレートの割
り当てが可能である。

【００１８】第５に、パケットネットワークに接続する
データ送出サーバと受信端末からなるマルチメディアデ
ータ再生システムにおける送出側に関するもの（マルチ
メディアデータ送出装置）であって、データ送出サーバ
はネットワークインタフェイスを備え、送出要求受け付
け部と、マルチメディアを構成する各メディアに対応す
るローカルファイルシステムからファイルデータを読み
出してストリームを生成し、ネットワークに送出するデ
ータ送出部とを備え、受信端末はネットワークインタフ
ェイスを備え、サーバへの要求送信部と、サーバからの
データ受信部と、受信したデータを一時的に保存する受
信バッファと、受信バッファからデータを取り出し即時
にデコードし表示する再生部とを備え、前記データ送出
サーバのストリーム生成部は、マルチメディアコンテン
ツ情報参照部を備え、マルチメディアコンテンツを構成
する各データのエンコードパラメータなどの情報を参照
し、当該のマルチメディアデータ再生装置が使用できる
ネットワーク帯域と前記マルチメディアコンテンツ情報
参照部からのマルチメディアコンテンツ情報とを合わせ
てマルチメディアを構成する各メディアへ伝送ビットレ
ートを配分し、指示するマルチメディアデータ送出スケ
ジューラを備え、マルチメディアデータを構成するメデ
ィアごとに蓄積された複数のファイルに対してリモート
ファイルデータ送出部を一つずつ備え、前記メディアデ
ータ送出部はマルチメディアデータ読み込みスケジュー
ラから指定されたビットレートを守ってそれぞれ指定さ
れたデータの送出を並列して行い、前記リモートファイ
ルデータ読み込み部のうちの１つは1枚の静止画を複数
フレームからなる動画フォーマットに符号化したデータ
を送出する静止画用動画フォーマット対応データ送出部
であり、前記マルチメディアコンテンツ情報参照部から
静止画データの表示開始時刻と表示終了時刻の情報を取
得し、表示開始時刻から送出を開始し、表示終了時刻で
送出を終了する攻勢としたものである。

【００１９】これにより、マルチメディアコンテンツ情
報にしたがったマルチメディアデータの送出が行え、ジ
ャンプ時の待ち時間が少ないランダムアクセス機能を提
供することができる。また受信端末からサーバにデータ
を要求する処理が不要なため、データ受信の遅延が小さ
くできる構成を提供できる。

【００２０】第６に、第５の構成に加えて、静止画用動
画フォーマット対応データ送出部は、複数静止画ファイ
ル送出用管理テーブルを備え、マルチメディアデータを
構成するデータの中で複数の静止画がある場合に、前記
複数静止画ファイル送出用管理テーブルで各静止画の表
示開始時刻と表示終了時刻のタイミングを管理し、表示
期間中のみ送出対象となるように静止画用動画データフ
ァイルの送出を切り替え、同時に複数のファイルを送出
する必要がある場合には、静止画用に与えられたビット
レートを等分割して送出する構成とするものであり、こ
れにより、表示期間に重なりのある静止画があった場合
でもビットレートを同時表示する静止画用データの間で
等分割して送出することができる。

【００２１】第７に、第６の構成に加えて、静止画用動
画フォーマットデータ送出部に静止画データ構成情報管
理部を備え、マルチメディアデータを構成するデータの
中で複数の静止画がある場合に、前記マルチメディアデ
ータ構成ファイル内に記述されている表示領域の大きさ
やデータサイズなどにより静止画データにプライオリテ
ィを付け、表示開始時刻と表示終了時刻の情報による送
出ファイルの送信開始・終了の時点で同時に複数のファ
イルを読み込む必要がある場合に、静止画用に与えられ
たビットレートをプライオリティ順位に応じて不等分に
分割して読み込む手段を備えたものであり、これによ
り、特性や重要度や読み込み状態の異なる静止画が同時
に表示される場合でもマルチメディア情報再生への影響
の大きさを反映した最適な送出ができる。

【００２２】第８に、第５〜７の構成に加えて、受信端
末の再生部は一時停止／停止解除／オブジェクトの拡大
表示の再生制御が可能な再生制御用インタフェイスを備
え、再生制御のイベント発生時にデータ送出サーバのマ
ルチメディアデータ送出部にイベント発生通知のメッセ
ージを送出するイベント通知部を備え、また、マルチメ
ディアデータ送出スケジューラがマルチメディアデータ
構成情報管理部を備え、マルチメディアデータ構成情報
管理部は各送出データが時間軸に依存しているかしてい
ないかを管理し、マルチメディアデータ送出スケジュー
ラは再生状況の変化に応じて各メディアファイルデータ
送出部へのビットレートを再配分し、通常再生時には時
間軸に依存するメディアのファイルデータを優先的に送
出し、一時停止時には時間軸に依存しないメディアのフ
ァイルデータを優先的に送出し、オブジェクトの拡大表
示時には対象となるオブジェクトのファイルデータを優
先的に送出する手段を備えたものである。

【００２３】これにより、マルチメディアデータ送出ス
ケジューラは再生状況の変化に応じて各メディアデータ
送出部へのビットレートを再配分し、通常再生時には時
間軸に依存するメディアのメディアデータを優先的に送
出し、一時停止時には時間軸に依存しないメディアのフ
ァイルデータを優先的に送出し、オブジェクトの拡大表
示時には対象となるオブジェクトのファイルデータを優
先的に送出することができ、再生状態に即した送出レー
トの割り当てが可能である。

【００２４】第９に、パケットネットワークに接続し、
ネットワークインタフェイスを備え、リモートファイル
システムからネットワークを介してファイルデータを読
み込むリモートファイルデータ読み込み部と、前記読み
込み部から中間バッファを介してデータを受け取って、
即時にデコードし表示する再生部とからなるマルチメデ
ィアデータ再生システムにおける再生側に関するもの
（マルチメディアデータ再生装置）であって、前記読み
込み部はマルチメディアを構成する各メディアに対して
伝送ビットレートの配分を決めるマルチメディアデータ
読み込みスケジューラを備え、マルチメディアデータ読
み込みスケジューラはリモートファイルシステムによっ
て決まる最小転送ブロックサイズでネットワークの合計
ビットレートをスロット分割し、各スロットを各ファイ
ルデータの読み込みに割り当てる構成とし、指定された
ビットレートから単位時間あたりのスロットの必要数を
算出し、実際にスロットを割り当てた場合には現在の必
要数から割り当てたスロット数を減じて、次の単位時間
になれば必要スロットの残量に新たに単位時間あたりの
必要スロット数を加えるという操作により各ファイルデ
ータ読み込みに対する必要スロットの残量を管理する必
要スロット残量管理部を備えたものである。

【００２５】これにより、各メディアデータへのビット
レートの分割が細かくなった場合でも、ファイルシステ
ムに最適化したマルチファイル並列読み込みを実現する
ことができる。

【００２６】第１０に、第９の構成に加えて、必要スロ
ット残量管理部において各ファイルデータが時間軸に依
存するデータであることを示すフラグを設け、時間軸に
依存するデータである場合には必要スロット残量の上限
を守るように管理する時間軸依存データ管理機能を備
え、読み込み速度にゆらぎが生じた場合には必要スロッ
ト残量の多寡に関わらず時間軸依存データの必要スロッ
ト残量が上限をを越えないように優先的に読み込む構成
を備えたものであり、これによって、ネットワークエラ
ーが起こりやすい環境において実効レートが変動するよ
うな場合でも時間軸に依存するデータを優先的に取得す
ることができる。

【００２７】第１１に、データ送出サーバはネットワー
クインタフェイスを備え、送出要求受け付け部と、マル
チメディアを構成する各メディアに対応するローカルフ
ァイルシステムからファイルデータを読み出してストリ
ームを生成し、ネットワークに送出するデータ送出部と
を備え、受信端末はネットワークインタフェイスを備
え、サーバへの要求送信部と、サーバからのデータ受信
部と、受信したデータを一時的に保存する受信バッファ
と、受信バッファからデータを取り出し即時にデコード
し表示する再生部とを備え、前記データ送出サーバのス
トリーム生成部は、マルチメディアコンテンツ情報参照
部を備え、マルチメディアコンテンツを構成する各デー
タのエンコードパラメータなどの情報を参照し、当該の
マルチメディアデータ再生装置が使用できるネットワー
ク帯域と前記マルチメディアコンテンツ情報参照部から
のマルチメディアコンテンツ情報とを合わせてマルチメ
ディアを構成する各メディアへ伝送ビットレートを配分
し、指示するマルチメディアデータ送出スケジューラを
備え、マルチメディアデータ送出スケジューラはネット
ワークプロトコルによって決まる最大パケットペイロー
ドサイズでネットワークの合計ビットレートをスロット
分割し、各スロットを各メディアデータの送出に割り当
てる構成とし、指定されたビットレートから単位時間あ
たりのスロットの必要数を算出し、実際にスロットを割
り当てた場合には現在の必要数から割り当てたスロット
数を減じて、次の単位時間になれば必要スロットの残量
に新たに単位時間あたりの必要スロット数を加えるとい
う操作により各メディアデータ送出に対する必要スロッ
トの残量を管理する累積必要スロット数管理部を備え、
必要スロットの残量が多いメディアデータの順にスロッ
トを割り当てる構成としたものである。

【００２８】これにより、各メディアデータへのビット
レートの分割が細かくなった場合でも、ネットワークプ
ロトコルに最適化した伝送効率の良いマルチストリーム
送出を実現することができる。

【００２９】第１２に、第１１の構成に加えて、必要ス
ロット残量管理部は各メディアデータの累積必要スロッ
ト数に加えて、各メディアデータの再生が時間軸に依存
するかどうかを示す項目と、時間軸に依存するデータで
ある場合には累積必要スロット数の上限を示す項目とを
管理する構成とし、送出動作を行う時に累積必要スロッ
ト数の上限を超えた場合には、必要スロット残量の多寡
に関わらず、時間軸依存データを優先してスロットを割
り当てて優先的に送出する構成とするものであり、これ
により、ネットワークレートが変動しやすい環境におい
ても柔軟な送出スケジューリングが行える。

【００３０】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図１から図１３を用いて説明する。なお、本発明は
これら実施の形態に何ら限定されるものではなく、その
要旨を逸脱しない範囲において、種々なる態様で実施し
得る。

【００３１】（実施の形態１）図１は本発明の第１の実
施形態におけるシステム構成図を示し、図１においてマ
ルチメディアデータサーバ１０１、受信端末１０２はパ
ケットネットワーク１０３に接続されており、それぞれ
マルチメディアデータを提供し、受信する．マルチメデ
ィアデータサーバ１０１はネットワークインタフェイス
部１０４ａ、マルチメディアデータを蓄積し、ネットワ
ークを介して共有可能なファイルシステム１０７を備え
ている。

【００３２】また、受信端末１０２はマルチメディアデ
ータサーバ１０１と同様な通常のネットワークインタフ
ェイス部１０４ｂ、再生しようとするマルチメディアコ
ンテンツに含まれる各メディアデータの蓄積場所、エン
コードされたパラメータ、データサイズなどを記したマ
ルチメディアデータ記述情報と再生制御に関する各メデ
ィアの再生開始・終了時刻・レイアウト位置などを記し
た再生シナリオ情報とを参照するマルチメディアコンテ
ンツ情報参照部１０８、各メディアデータに対する伝送
ビットレートの配分を決めるマルチメディアデータ読み
込みスケジューラ１０９、各メディアデータをリモート
ファイルシステムから読み出すリモートファイルデータ
読み込み部として動画データ読み込み部１１０ａ、オー
ディオデータ読み込み部１１０ｂ、静止画用動画フォー
マットデータ読み込み部１１０ｃ、リモートファイルデ
ータ読み込み部１１０ａ〜１１０ｃからの出力を一時蓄
積する受信バッファ１１１ａ〜１１１ｃ、各メディアデ
ータを復号するメディアデコーダとして動画デコーダ１
１２ａ、オーディオデコーダ１１２ｂ、静止画用動画デ
コーダ１１２ｃとデコードされた各データを合成してマ
ルチメディアとして再構成して出力するマルチメディア
データ出力部１１３からなるマルチメディアデータ再生
部１１４を備える。

【００３３】以上のように構成されたマルチメディアデ
ータ再生装置について、以下固定ビットレートでのスト
リーミング再生を行う動作を説明する．受信端末１０２
はパケットネットワーク１０３に接続されたマルチメデ
ィアデータサーバ１０１からマルチメディアデータを受
信しようとする場合、マルチメディアコンテンツ情報参
照部１０８で受信するマルチメディアコンテンツ情報を
参照し、読み込みスケジューラ１０９に必要な情報を渡
す。

【００３４】ここで、マルチメディアコンテンツ情報の
例を図７に示す．マルチメディアコンテンツ情報参照部
はこれらの情報をテーブルとして保持し、読み込みスケ
ジューラ１０９にそれぞれの構成メディアの蓄積場所に
関する情報とそれぞれのメディアの再生開始時刻と再生
終了時刻、オーディオ、ビデオデータのエンコードデー
タレートを渡す。

【００３５】読み込みスケジューラ１０９はこの再生装
置が使用できるネットワーク帯域に関する情報を持って
おり、マルチメディアコンテンツを構成する各メディア
データをそれぞれどれくらいのビットレートで読み出せ
ばよいかをスケジューリングする。オーディオ、ビデオ
データなどの時間軸に依存するデータはエンコードされ
た時のデータレート情報を最低限としてオーバヘッド分
を加えたレートで読み出す必要があり、データ自体が時
間軸に依存しない静止画などのデータはその残りのビッ
トレートを与えるという形になる。この配分レートは再
生シナリオの進行によってダイナミックに変化する可能
性がある。

【００３６】読み込みスケジューラ１０９のスケジュー
リング結果から各リモートファイル読み出し部１１０に
はマルチメディアコンテンツの蓄積場所に関する情報と
配分された現在のビットレートの情報、再生開始時刻と
再生終了時刻が渡される。各リモートファイル読み出し
部１１０ａ〜１１０ｃはスレッドなどで実現され、それ
ぞれ独立した動作で指定されたファイルを指定されたレ
ートを守って読み出す。また、静止画用動画フォーマッ
トデータ読み込み部１１０ｃは表示開始時刻から読み込
みを開始し、表示終了時刻で読み込みを終了する処理を
行う。

【００３７】各固定のレートで読み出したデータは中間
バッファ１１１ａ〜ｃに一時的に蓄積され、各メディア
デコーダ１１２ａ〜１１２ｃで復号され、マルチメディ
アデータ出力部１１３で再構成されて出力される。

【００３８】このような動作により、決まったネットワ
ーク帯域を各メディアデータが分け合って固定レートで
の読み込みを行い、マルチメディアコンテンツ情報の表
示時刻に合わせた読み込み開始、終了動作を起動するこ
とによりマルチメディアコンテンツのストリーミング再
生が行える。

【００３９】また、ランダムアクセスに関しては、時間
軸依存データは指定された時間分だけ読み出しポインタ
を移動させ、非時間軸依存データはシナリオ上で表示対
象となっているもののみをその時点でのファイル読み出
しポインタから続けて読み出すという処理によって簡単
に実現可能である。これにより、ランダムアクセス時に
必要データを読み出すための待ち時間が不要となり、高
速にジャンプ動作を開始することができる。

【００４０】また、静止画フォーマットでデータを解像
度順に読み込み、徐々に解像度を上げていく表示方式も
ネットワークアプリケーションで頻繁に利用されている
が、それに比べて本実施の形態のように静止画を動画フ
ォーマットで符号化する方式では1フレーム目からすで
に高周波成分が含まれているので、表示開始直後から詳
細な部分も十分識別可能である。また、静止画を動画フ
ォーマットで符号化して表示する構成により、静止画用
のデコーダを搭載しなくても動画デコーダ1種類のみで
動画＋静止画のマルチメディア画面が構成できる。搭載
すべきデコーダの種類を削減できることは携帯端末のよ
うな用途においてはメリットが大きい。

【００４１】以上のように、本実施の形態では、従来の
ように、データ要求を受けたサーバが、時間軸依存／非
依存のデータをひとまとめにして多重化・送出し、それ
を受信した端末が、データ種別ごとに分離した後で復号
・合成するということではなく、各メディア毎の伝送レ
ートを調整し（１０８，１０９）、時間軸情報を持たな
いデータを時間軸情報を持つデータと同じように処理す
る、つまり、静止画用データは動画フォーマットに符号
化し（１１０ｃ）、マルチメディアデータを構成する各
メディアデータごとに配分された固定レートで読み出す
（１１０ａ〜ｃ）ものである。

【００４２】これによって、マルチメディアコンテンツ
情報にしたがったマルチメディアデータの受信再生を行
うことができ、また、時間軸依存／非依存のデータをひ
とまとめに多重化していないので、ジャンプ時の待ち時
間が少ないランダムアクセス機能を提供することがで
き、その実用的効果は大きい。

【００４３】なお、ここでは再生端末がサーバに蓄積さ
れているデータを直接読み込む例（、いわゆるＰＵＬＬ
型）を示したが、サーバ側にデータ送出部があり、マル
チメディアコンテンツ情報にしたがった送出スケジュー
ルで送出を行う構成においても静止画用動画フォーマッ
トデータ送出部を備える（、いわゆるＰＵＳＨ型、つま
り参照部１０８，スケジューラ１０９、及び読み込み部
１１０ａ〜ｃをサーバ１０１側に備え、その読み込んだ
データを端末１０２側へ送出する構成とする）ことによ
っても同様の効果が得られ、さらに再生端末側からデー
タ読み込み要求を送出する処理が不要となるのでデータ
読み込みの遅延がなくなるという効果が得られる。

【００４４】（実施の形態２）図２は本発明の第２の実
施形態におけるシステム構成図を示す。図２において１
０１〜１１４は第１の実施形態と同様の構成であり、静
止画用動画フォーマットデータ読み出し部１１０ｃは、
複数静止画ファイル読み込みタイミング管理テーブル２
０１を備える構成となっている。

【００４５】以上のように構成されたマルチメディアデ
ータ再生装置について、以下複数静止画に対して固定レ
ートでのシナリオにしたがった並列読み込みを行う動作
を図３の複数静止画ファイル読み込みタイミング管理テ
ーブルの一例を用いて説明する。

【００４６】受信端末１０２のマルチメディアデータ読
み込みスケジューラ１０９が各メディアへの配分レート
を指定して各リモートファイルデータ読み出し部に伝送
レートを指定するまでの動きは第１の実施形態と同様で
ある。読み込みスケジューラのスケジューリング結果か
ら各リモートファイルデータ読み込み部１１０にはマル
チメディアコンテンツの蓄積場所に関する情報と配分さ
れた現在のビットレートの情報が伝えられる。各リモー
トファイル読み出し部はスレッドなどで実現され、それ
ぞれ独立した動作で指定されたファイルを指定されたレ
ートを守って読み出す。

【００４７】静止画用動画フォーマットデータ読み込み
部１１０ｃでは読み出し対象ファイルとして複数の静止
画を並列に読み出すことができる。複数静止画ファイル
読み込みタイミング管理テーブル２０１は、図３に示す
ようにマルチメディアデータ中の静止画の表示開始時刻
と終了時刻を管理する手法として、各イベント間の時間
でどの静止画データが読み込み対象となるかを示してい
る。また、読み込み対象のファイルのどこまで読み込ん
だかを管理しており、最後まで読み込み終えたファイル
は読み込み対象からはずす。このテーブルを参照するこ
とによって、各時刻で何個のファイルを並列に読み出せ
ばよいかが決まる。このスケジューリングにしたがって
静止画用のリモートファイル読み出し部は指定されたレ
ートをその時読み出すべき複数の静止画ファイルに等分
割して並列に読み出す。なお、これから後の動作は第一
の実施の形態と同様である。

【００４８】以上のように、本実施の形態では、静止画
データ読み込み部（１１０ｃ）に複数静止画読み込みタ
イミング管理テーブル（２０１）を備えることにより、
複数の静止画の同時再生が含まれるマルチメディアコン
テンツに対しても静止画用のビットレートを同時表示す
る静止画の間で等分割して、表示時間に対して効率のよ
いスケジューリングを実現することができる（つまり、
決まったネットワーク帯域を各メディアデータが分け合
って固定レートでのストリーミング再生を行い、表示時
間が重なる静止画データは並列に読み出し再生すること
ができる）。

【００４９】また、ランダムアクセスに関しては、時間
軸依存データは指定された時間分だけ読み出しポインタ
を移動させ、非時間軸依存データは複数静止画ファイル
読み込みタイミング管理テーブル２０１上で時間ポイン
タを移動させ、その時間で読み込み対象となっているも
ののみをその時点でのファイル読み出しポインタから続
けて読み出し、読み込みが終了したものは読み込み対象
からはずすという処理によって簡単に実現可能で、これ
により、複数の静止画の同時再生が含まれるマルチメデ
ィアコンテンツも再生が可能であり、ランダムアクセス
に向いた構成を実現することができる。

【００５０】なお、ここでは再生端末がサーバに蓄積さ
れているデータを直接読み込む例（、いわゆるＰＵＬＬ
型）を示したが、実施の形態１の最後に記載したなお書
きと同様、サーバにデータ送出部があり、マルチメディ
アコンテンツ情報にしたがった送出スケジュールで送出
を行う構成においても複数静止画データ送出タイミング
管理テーブルを備える（、いわゆるＰＵＳＨ型とする）
ことによっても同様の効果が得られ、さらに再生端末側
からデータ読み込み要求を送出する処理が不要となるの
でデータ読み込みの遅延がなくなるという効果が得られ
る。

【００５１】（実施の形態３）図４は本発明の第３の実
施形態におけるシステム構成図を示す。図４において１
０１〜１１４は第２の実施形態と同様の構成であり、２
０１に替えて静止画用動画フォーマットデータ読み込み
部に静止画データ構成情報テーブル４０１を備える構成
となっている。

【００５２】以上のように構成されたマルチメディアデ
ータ再生装置について、以下複数静止画に対してプライ
オリティづけをして並列読み込みを行う動作を図５の静
止画データ構成情報テーブルの一例を用いて説明する。

【００５３】受信端末１０２のマルチメディアデータ読
み込みスケジューラ１０９が各メディアへの配分レート
を指定して各リモートファイルデータ読み出し部に伝送
レートを指定するまでの動きは第１の実施形態と同様で
ある。

【００５４】読み込みスケジューラのスケジューリング
結果から各リモートファイル読み出し部１１０にはマル
チメディアコンテンツの蓄積場所に関する情報と配分さ
れた現在のビットレートの情報が伝えられる。各リモー
トファイル読み出し部はスレッドなどで実現され、それ
ぞれ独立した動作で指定されたファイルを指定されたレ
ートを守って読み出す。

【００５５】静止画用動画フォーマットデータ読み込み
部１１０ｃでは読み込み対象ファイルとして複数の静止
画を並列に読み出すことができる。静止画データ構成情
報テーブル４０１は、図５に示すようにマルチメディア
データ中の静止画の表示開始時刻と終了時刻を管理して
おり、各イベント間の時間でどの静止画データが読み込
み対象となるかを示している。また、読み込み対象のフ
ァイルのどこまで読み込んだかを管理しており、最後ま
で読み込み終えたファイルは読み込み対象からはずす。
このテーブルを参照することによって、各時刻でどのフ
ァイルを並列に読み出せばよいかが決まる。

【００５６】また、静止画データ構成情報テーブル４０
１には、各静止画データの表示領域の大きさとデータサ
イズの情報が展開されている。複数の静止画が同時に表
示される時に表示領域の大きさがマルチメディアデータ
再生領域とほぼ一致するものは「背景」であると想定さ
れ、地図などの情報を含む静止画に比べて静止画として
の表示優先度は低い考えられる。また、背景ではなく
て、表示領域が相対的に大きいものは、表示領域の中で
の占有度が高く、表示優先度は高いと考えられる。

【００５７】表示領域からの優先順位にしたがって静止
画用のリモートファイル読み出し部は指定されたレート
をその時読み出すべき複数の静止画ファイルに不等分に
分割して並列に読み出す。分割のしかたは例えば隣り合
う優先順位間では５割増しのレートを与えることにする
と、同時読み込み２ファイルであれば、３／５と２／
５、３つのファイルで３段階の優先度があれば、４／１
９、６／１９、９／１９の割合で配分することになる。
なお、これから後の動作は第２の実施の形態と同様で
ある。

【００５８】以上のように、本実施の形態では、マルチ
メディアデータを構成するデータの中で複数の静止画が
ある場合に、静止画データ構成ファイル（４０１）内に
記述されている表示領域の大きさやデータサイズなどに
より静止画データにプライオリティを付け、表示開始時
刻と表示終了時刻のタイミングによる読み込みファイル
の切り替え時に同時に複数のファイルを読み込む必要が
ある場合に、静止画用に与えられたビットレートをプラ
イオリティ順位に応じて不等分に分割して読み込む手段
を備えたものである。

【００５９】これにより、特性や重要度や読み込み状態
の異なる静止画が同時に表示される場合でもマルチメデ
ィア情報再生への影響の大きさを反映した最適な読み込
みが（つまり、決まったネットワーク帯域を各メディア
データが分け合って固定レートでのストリーミング再生
を行い、表示への影響の大きさを反映して静止画データ
に優先度を付けて最適なレート分配をし、並列に読み出
し再生することが）でき、また、ランダムアクセスに関
しても、静止画の間に優先順位を付けた場合でも実施の
形態２と同様にして、処理できる。

【００６０】なお、ここでは再生端末がサーバに蓄積さ
れているデータを直接読み込む例（、いわゆるＰＵＬＬ
型）を示したが、実施の形態１・２の最後に記載したな
お書きと同様、サーバにデータ送出部があり、マルチメ
ディアコンテンツ情報にしたがった送出スケジュールで
送出を行う構成においても静止画データ構成情報テーブ
ルを備える（、いわゆるＰＵＳＨ型とする）ことによっ
ても同様の効果が得られ、さらに再生端末側からデータ
読み込み要求を送出する処理が不要となるのでデータ読
み込みの遅延がなくなるという効果が得られる。

【００６１】（実施の形態４）図６は本発明の第４の実
施形態におけるシステム構成図を示す。図６において、
１０１〜１１４は第１の実施形態と同様の構成であり、
それに加えて受信端末１０２内のマルチメディアデータ
再生部１１４は一時停止／停止解除／オブジェクトの拡
大表示等の再生制御が可能な再生制御用インタフェイス
６０１、再生制御のイベント発生時にマルチメディアデ
ータ読み込みスケジューラ１０９にイベント発生通知の
メッセージを送出するイベント通知部６０２を備える構
成となっている。

【００６２】以上のように構成されたマルチメディアデ
ータ再生装置について、以下、再生状況の変化に応じ
て、各リモートファイルデータ読み込み部のビットレー
トを再配分し、並列読み込みスケジュールの切り替えを
行う動作を説明する（なお、図７のマルチメディアデー
タ構成情報テーブルの一例のやりとりの詳細は省略す
る）。受信端末１０２のマルチメディアデータ読み込み
スケジューラ１０９が初期の各メディアへのレート配分
を決定して各リモートファイルデータ読み込み部に伝送
レートを指定し、各リモートファイルデータ読み込み部
が指定されたレートを守って指定されたファイルからデ
ータを読み込み、それぞれ対応する中間バッファに蓄積
し、デコードし、再生出力する動きは第１の実施形態と
同様である。

【００６３】ここで、再生制御用インタフェイス６０１
に停止の指示が入力された場合、再生部１１４は時間軸
依存データであるオーディオとビデオのデコードの動き
を停止させ、イベント通知部６０２は「停止」のメッセ
ージをマルチメディアデータ読み込みスケジューラ１０
９に送出する。

【００６４】マルチメディアデータ読み込みスケジュー
ラ１０９はマルチメディアコンテンツ情報参照部１０８
により、マルチメディアコンテンツを構成するデータの
再生が時間軸に依存するか否かが判別できる。停止状態
では、時間軸依存データのオーディオとビデオの読み込
みは一時停止し、時間軸に依存しないデータの静止画デ
ータ、またはビデオで停止したシーンを高画質化する差
分データを続けて読み込むことによって、伝送路を有効
利用できる。

【００６５】このような方針にしたがって、マルチメデ
ィアデータ読み込みスケジューラ１０９は停止時のビッ
トレート配分を決定し、各メディアデータ読み込み部に
指示する。これによって、停止時に時間軸依存データの
読み込みが停止している間に、他のデータの伝送レート
を上げて、停止時の再生状態の画質を高めることができ
る。

【００６６】また、「停止解除」の指示が入力された場
合には、「停止」の場合と同じようにして、マルチメデ
ィアデータ読み込みスケジューラ１０９は元のビットレ
ート配分に戻そうとするが、停止期間中に静止画などの
読み込みが終了している可能性も高いので、停止前のビ
ットレート配分と同じになるとは限らない。

【００６７】また、ビジュアルオブジェクトの拡大表示
の指示が入力された場合には、「拡大表示」のイベント
通知とともに、拡大対象となったビジュアルオブジェク
トをあらわすIDを送る必要がある。マルチメディアデー
タ読み込みスケジューラはこの拡大対象のオブジェクト
に対応する読み込みレートのみを有効にしたり、または
他のレートに比べて優先度を上げたりして、読み込みを
続ける。

【００６８】以上のように、本実施の形態では、マルチ
メディアデータ再生部からの再生制御信号を受けて、ビ
ットレートを再配分し、再生状況に応じた読み込みを実
現する手段（６０２→１０９及び１１０ａ〜ｃ）を備え
たものである。

【００６９】これにより、マルチメディアデータ読み込
みスケジューラは再生状況の変化に応じて各リモートフ
ァイルデータ読み込み部へのビットレートを再配分し、
通常再生時には時間軸に依存するメディアのファイルデ
ータを優先的に読み込み、一時停止時には時間軸に依存
しないメディアのファイルデータを優先的に読み込み
（つまり、時間軸に依存するメディアであるオーディオ
やビデオなどは一時停止する一方、時間軸に依存しない
メディアである静止画などは、そのシーンを高画質化す
る差分データを読み込み）、オブジェクトの拡大表示時
には対象となるオブジェクトのファイルデータを優先的
に読み込むことができ、再生状態に即した最適な読み込
みレートの割り当てが可能である。

【００７０】なお、ここでは再生端末がサーバに蓄積さ
れているデータを直接読み込む例（、いわゆるＰＵＬＬ
型）を示したが、実施の形態１〜３の最後に記載したな
お書きと同様、サーバにデータ送出部があり、マルチメ
ディアコンテンツ情報にしたがった送出スケジュールで
送出を行う構成においても再生制御のイベント発生時に
マルチメディアデータ読み込みスケジューラにイベント
発生通知のメッセージを送出するイベント通知部を備え
る（、いわゆるＰＵＳＨ型とする）ことによっても同様
の効果が得られ、さらに再生端末側からデータ読み込み
要求を送出する処理が不要となるのでデータ読み込みの
遅延がなくなるという効果が得られる。

【００７１】（実施の形態５）図８は本発明の第５の実
施形態におけるシステム構成図を示す。図８において１
０１〜１０９、１１２〜１１４は第１の実施形態と同様
の構成であるが、マルチメディアデータを構成する複数
のファイルに対してリモートファイルデータ読み込み部
１１０は１個のみである。さらに、リモートファイルデ
ータ読み込み部１１０内に各メディアデータに対する必
要スロット数管理テーブル８０１が設けられている。

【００７２】以上のように構成されたマルチメディアデ
ータ再生装置について、以下複数のファイルの並列読み
込みを１つの処理モジュールで行い、読み込み単位を１
スロットとし、必要スロット数管理テーブルをもとにし
て固定ビットレートで読み込む動作を説明する。

【００７３】受信端末１０２のマルチメディアデータ読
み込みスケジューラ１０９が初期の各メディアへのレー
ト配分を決定してリモートファイルデータ読み込み部１
１０に各メディアごとの伝送レートを指定し、リモート
ファイルデータ読み込み部１１０が指定されたレートを
守って指定されたファイルからデータを読み込み、それ
ぞれの素材に対応する中間バッファ１１１に蓄積し、デ
コードし、再生出力する動きは第１の実施形態と同様で
ある。

【００７４】ここで、前記リモートファイルデータ読み
込み部はマルチメディアデータに含まれるすべてのメデ
ィアデータを読み込むものであり、メディアデータ中に
は静止画用動画フォーマットデータも含んでいる。ここ
でのレート分配制御の手段として必要スロット数管理テ
ーブルを用いる。このレート分配制御の動作を図９のフ
ローチャートと図１０の必要スロット数管理テーブルで
管理されている数値例を用いて説明する。

【００７５】まず、リモートファイルシステムに依存し
て決まる最小転送ブロックサイズをこの実施例における
レート分配制御で用いるスロット単位とする。そして、
ネットワークの合計ビットレートをこのスロット単位に
分割して、１スロットごとに各ファイルデータの読み込
みに割り当てる構成する。そこで、まず、図９の９０１
に示すように各メディアデータに対して配分されたビッ
トレートから単位時間あたりのスロットの必要数を算出
し、必要スロット数管理テーブルの累積必要スロット数
の初期値とする。

【００７６】例えば、ＮｅｔＢＩＯＳの共有ファイルメ
カニズムでは最小転送ブロックサイズが４０９６バイト
であるので、必ずこの単位で読み込みがおこるように、
読み込み単位をこの固定のバイト数とする。これを110k
bpsのネットワーク帯域で送るとすると、１１００００
(bit)／４０９６(Byte)＝3.357より、1秒間に約3.36ス
ロットの割合で読み込めばレートが守れることになる。
ビデオデータを60kbps、オーディオを40kbps、その他を
10kbps（つまり配分６：４：１）とすると単位時間あた
りのスロットの必要数はそれぞれ、1.831スロット、1.2
21スロット、0.305スロットとなる。図１０（Ａ）に示
すように、必要スロット数管理テーブルでは初期値とし
てまずこの単位時間あたりの必要スロット数を各データ
の累積必要スロット数を代入する。

【００７７】次にレート分配読み込み動作を開始する
が、この処理としてはまず９０２に示すように、各メデ
ィアデータに対する累積必要スロット数を比較し、一番
大きいものを読み込み対象として、スロット単位だけ読
み込む。ここでは図１０（Ａ）ではビデオデータの累積
必要スロット数がもっとも大きいので、ビデオデータが
読み込み対象となり、スロット単位の４０９６バイト読
み込む。

【００７８】次に９０３に示すように実際に読み込みを
終えたメディアデータの累積必要スロット数から割り当
てたスロット数を減じる。図１０（Ｂ）に示すように、
ビデオデータの初期値1.831スロットから1スロットをひ
いた0.831スロットが新たに代入される。読み込み動作
はまた図９の９０２に戻り、次に大きい値の必要スロッ
ト数のメディアデータを読み込む。ここではオーディオ
データであるので、オーディオデータが読み込み対象と
なり、スロット単位だけ読み込む。読み終わればオーデ
ィオデータの累積必要スロット数から１を減じて、0.22
1を代入する。再び９０２に戻り、累積必要スロット数
の比較を行い、その時点でもっとも大きいものが読み込
み対象となり、読み込む。累積必要スロット数はマイナ
スの値となっても構わない。この動作を単位時間が経過
するまで続ける。

【００７９】次の単位時間になれば９０４に示すよう
に、累積必要スロット数に新たに単位時間あたりの必要
スロット数を加えるという操作を行う。ここでは、1秒
たつごとに各メディアデータの累積必要スロット数に単
位時間あたりの必要スロット数を加算する。ここでは図
１０（Ｃ）に示すように、それぞれの累積必要スロット
数に初期値の1.831, 1.221, 0.305を足し込み、2.662、
1.442、0.610 となる。この新しい累積必要スロット数
でまた図９の９０２から読み込み動作を続ける。このよ
うにして、スロット数を必要度の高いメディアに割り当
てるという処理によって固定レートを分配して、必要な
読み込みタイミングに対して遅延の少ない複数ファイル
並列読み込み動作が可能である。

【００８０】以上のように、本実施の形態では、コスト
削減等のため、リモートファイルを読み込む手段を一つ
にした条件の下でも、必要スロット数管理テーブル８０
１を用いて、累積必要スロット数の比較によってスロッ
トを割り当てる処理を行うことにより、ビットレートの
分割が細かくなった場合でも、ファイルシステムに最適
化したマルチファイル並列読み込みを実現することがで
きる。

【００８１】なお、ここでは再生端末がサーバに蓄積さ
れているデータを直接読み込む例（、いわゆるＰＵＬＬ
型）を示したが、実施の形態１〜４の最後に記載したな
お書きと同様、サーバにデータ送出部があり、マルチメ
ディアコンテンツ情報にしたがった送出スケジュールで
送出を行う構成においてもデータ送出部に各メディアデ
ータに対する必要スロット数管理テーブルを備える（、
いわゆるＰＵＳＨ型とする）ことによっても同様の効果
が得られ、さらに再生端末側からデータ読み込み要求を
送出する処理が不要となるのでデータ読み込みの遅延が
なくなるという効果が得られる。

【００８２】（実施の形態６）図１１は本発明の第６の
実施形態におけるシステム構成図を示す。図１１におい
て１０１〜１１４は第５の実施形態と同様の構成であ
り、それに加えてメディアデータ再生において時間軸依
存性があるかないかの項目と時間軸依存性があるメディ
アデータに対して必要スロット数の上限を示す項目とを
設けた累積必要スロット数管理テーブル１１０１を備え
る構成となっている。

【００８３】以上のように構成されたマルチメディアデ
ータ再生装置について、以下複数のファイルの並列読み
込みを１つの処理単位で、必要スロット数管理テーブル
をもとにして、読み込み速度にゆらぎが生じた場合に必
要スロット残量の多寡に関わらず時間軸依存メディアを
優先して読み込む動作を説明する。

【００８４】受信端末１０２のマルチメディアデータ読
み込みスケジューラ１０９が初期の各メディアへのレー
ト配分を決定してリモートファイルデータ読み込み部１
１０に各メディアごとの伝送レートを指定し、リモート
ファイルデータ読み込み部が累積必要スロット数管理テ
ーブル１１０１をもとに通常時にレートを守って指定さ
れたファイルからデータを読み込み、それぞれ対応する
中間バッファに蓄積し、デコードし、再生出力する動き
は第５の実施形態と同様である。

【００８５】読み込み速度が所定のビットレートを単位
時間あたりで下回らずに所定の変動範囲におさまってい
る場合には、第５の実施形態の構成でレート配分並列読
み込みが行われる。ここで、読み込み速度にゆらぎが生
じた場合に時間軸依存性を示す項目とその場合の累積必
要スロット数の上限を示す項目を備えた累積必要スロッ
ト数管理テーブルを用いて、時間軸依存メディアを優先
して読み込む動作を図１２のフローチャートと図１３の
必要スロット数管理テーブルで管理されている数値例を
用いて説明する。

【００８６】まず、各メディアデータに対して配分され
たビットレートから単位時間あたりのスロットの必要数
を算出し、必要スロット数管理テーブルの累積必要スロ
ット数の初期値とする処理は第５の実施形態と同様であ
る。本実施例ではこの次に図１２の１２０２に示すよう
に各メディアデータの再生時間軸依存性を示す項目をチ
ェックし、ビデオ、オーディオデータに対しては依存性
あり、その他のデータに対しては依存性無しの値を代入
する。

【００８７】また再生時間軸依存性があるとしたメディ
アデータに対しては、図１２の１２０３に示すようにバ
ッファリングの量やデコーダのデータ読み込み制御形態
から決まるデータ読み込み遅延の許容量をスロット単位
に変換し、累積必要スロット数の上限値として必要スロ
ット数管理テーブルに値を書き込む。この状態の必要ス
ロット数管理テーブルを図１３（Ａ）に示す。

【００８８】次にレート分配読み込み動作を開始する
が、この処理としてはまず図１２の１２０４に示すよう
に、各メディアデータに対する累積必要スロット数の上
限値と現在の累積必要スロット数を比較し、上限を超え
ていないかどうかをチェックする。ここで上限を超えて
いるものが１メディアデータであれば、それを読み込み
対象とし、複数あればその中でさらに累積必要スロット
数を比較し、一番大きいものを読み込み対象として、ス
ロット単位だけ読み込む。読み込み速度が低下した場合
には累積必要スロット数からの減算の発生頻度が低下す
るが、単位時間が経過した時に単位時間あたりの必要ス
ロット数の加算は止まらないので、全体的に累積必要ス
ロット数が増加していくことになる。

【００８９】ここでは図１３（Ｂ）では累積必要スロッ
ト数がもっとも大きいのは静止画データであるが、静止
画データは再生が時間軸に依存しないデータであり、累
積必要スロット数の上限が設定されていない。また、ビ
デオデータとオーディオデータはともに再生が時間軸に
依存するデータであり、累積必要スロット数が上限値を
超えている。ここでは、累積必要スロット数がより大き
いビデオデータが読み込み対象となり、スロット単位の
４０９６バイト読み込む。このような累積必要スロット
数の現在値と上限値から読み込み対象データを決める動
作を単位時間が経過するまで続ける。

【００９０】次の単位時間になれば第５の実施の形態と
同様に、累積必要スロット数に新たに単位時間あたりの
必要スロット数を加える操作を行う。このようにして、
再生が時間軸に依存するか否かのファクターを考慮にい
れて、スロット数を必要度の高いメディアに割り当てる
という処理によってその時の伝送レートを分配して、必
要な読み込みタイミングに対して遅延の少ない複数ファ
イル並列読み込み動作が可能である。

【００９１】以上のように、本実施の形態では、再生時
間軸依存性と累積必要スロット数上限値を示す項目を設
けた累積必要スロット数管理テーブル１１０１を用い
て、累積必要スロット数の比較によってスロットを割り
当てる処理を行うことにより、実効的なネットワーク伝
送レートが低下した場合でも、時間軸依存データを優先
してビットレートを配分し、マルチファイル並列読み込
みを実現することができる。

【００９２】なお、ここでは再生端末がサーバに蓄積さ
れているデータを直接読み込む例（、いわゆるＰＵＬＬ
型）を示したが、実施の形態１〜５の最後に記載したな
お書きと同様、サーバにデータ送出部があり、マルチメ
ディアコンテンツ情報にしたがった送出スケジュールで
送出を行う構成においてもデータ送出部に各メディアデ
ータに対する必要スロット数管理テーブルを備える（、
いわゆるＰＵＳＨ型とする）ことによっても同様の効果
が得られ、さらに再生端末側からデータ読み込み要求を
送出する処理が不要となるのでデータ読み込みの遅延が
なくなるという効果が得られる。

【００９３】以上、本発明においてはマルチメディアデ
ータサーバから受信端末への１方向性のメディアデータ
送信とした場合の実施の形態を説明したが、双方向通信
端末についても同様な構成が適用できるものである。

【００９４】

【発明の効果】以上のように、本発明では、第一に、第
１または５の手法により、 ＜第１の手法＞ マルチメディアコンテンツ情報にした
がったマルチメディアデータの受信再生が行え、ジャン
プ時の待ち時間が少ないランダムアクセス機能を提供す
ることができる。 ＜第５の手法＞ マルチメディアコンテンツ情報にした
がったマルチメディアデータの送出が行え、ジャンプ時
の待ち時間が少ないランダムアクセス機能を提供するこ
とができる。また受信端末からサーバにデータを要求す
る処理が不要なため、データ受信の遅延が小さくできる
構成を提供できる。

【００９５】第二に、第２または６の手法により、 ＜第２の手法＞ 表示期間に重なりのある静止画があっ
た場合でもビットレートを同時表示する静止画用データ
の間で等分割して読み込むことができる。 <第６の手法> 表示期間に重なりのある静止画があった
場合でもビットレートを同時表示する静止画用データの
間で等分割して送出することができる。

【００９６】第三に、第３または７の手法により、 ＜第３の手法＞ 特性や重要度や読み込み状態の異なる
静止画が同時に表示される場合でもマルチメディア情報
再生への影響の大きさを反映した最適な読み込みができ
る。 <第７の手法> 特性や重要度や読み込み状態の異なる静
止画が同時に表示される場合でもマルチメディア情報再
生への影響の大きさを反映した最適な送出ができる。

【００９７】第四に、第４または８の手法により、 ＜第４の手法＞ 再生状況の変化に応じて各リモートフ
ァイルデータ読み込み部へのビットレートを再配分し、
通常再生時には時間軸に依存するメディアのファイルデ
ータを優先的に読み込み、一時停止時には時間軸に依存
しないメディアのファイルデータを優先的に読み込み、
オブジェクトの拡大表示時には対象となるオブジェクト
のファイルデータを優先的に読み込むことができ、再生
状態に即した読み込みレートの割り当てが可能である。 ＜第８の手法＞ 再生状況の変化に応じて各メディアデ
ータ送出部へのビットレートを再配分し、通常再生時に
は時間軸に依存するメディアのメディアデータを優先的
に送出し、一時停止時には時間軸に依存しないメディア
のファイルデータを優先的に送出し、オブジェクトの拡
大表示時には対象となるオブジェクトのファイルデータ
を優先的に送出することができ、再生状態に即した送出
レートの割り当てが可能である。

【００９８】第五に、第９または１１の手法により、 ＜第９の手法＞ 各メディアデータへのビットレートの
分割が細かくなった場合でも、ファイルシステムに最適
化したマルチファイル並列読み込みを実現することがで
きる。 ＜第１１の手法＞ 各メディアデータへのビットレート
の分割が細かくなった場合でも、ネットワークプロトコ
ルに最適化した伝送効率の良いマルチストリーム送出を
実現することができる。

【００９９】第六に、第１０または１２の手法により、 ＜第１０の手法＞ ネットワークエラーが起こりやすい
環境において実効レートが変動するような場合でも時間
軸に依存するデータを優先的に取得することができる。 ＜第１２の手法＞ ネットワークレートが変動しやすい
環境においても柔軟な送出スケジューリングが行える。

【図面の簡単な説明】

【図１】本発明の第１の実施形態におけるマルチメディ
アデータ再生装置を示すシステム構成図

【図２】本発明の第２の実施形態におけるマルチメディ
アデータ再生装置を示すシステム構成図

【図３】本発明の第２の実施形態における複数静止画フ
ァイル読み込みタイミング管理テーブルの一例を示す図

【図４】本発明の第３の実施形態におけるマルチメディ
アデータ再生装置を示すシステム構成図

【図５】本発明の第３の実施形態における静止画データ
構成情報テーブルの一例を示す構成図

【図６】本発明の第４の実施形態におけるマルチメディ
アデータ再生装置を示すシステム構成図

【図７】本発明の第４の実施形態におけるマルチメディ
アデータ構成情報テーブルの一例を示す構成図

【図８】本発明の第５の実施形態におけるマルチメディ
ア再生装置を示すシステム構成図

【図９】本発明の第５の実施形態におけるフローチャー
ト

【図１０】本発明の第５の実施形態における必要スロッ
ト数管理テーブルの数値例を示す図

【図１１】本発明の第６の実施形態におけるマルチメデ
ィア再生装置を示すシステム構成図

【図１２】本発明の第６の実施形態におけるフローチャ
ート

【図１３】本発明の第６の実施形態における必要スロッ
ト数管理テーブルを示す図

【図１４】従来のマルチメディアデータ再生装置を示す
システム構成図

【符号の説明】

１０１ マルチメディアデータサーバ １０２ 受信端末 １０３ パケットネットワーク １０４、１０４ａ、１０４ｂ ネットワークインタフェ
イス部 １０５、１０５ａ、１０５ｂ データ送信部 １０６、１０６ａ、１０６ｂ データ受信部 １０７ ファイルシステム １０８ マルチメディアコンテンツ情報参照部 １０９ マルチメディアデータ読み込みスケジューラ １１０ リモートファイルデータ読み込み部 １１０ａ 動画データ読み込み部 １１０ｂ オーディオデータ読み込み部 １１０ｃ 静止画用動画フォーマットデータ読み込み部 １１１ 受信バッファ １１２ メディアデコーダ １１２ａ 動画デコーダ １１２ｂ オーディオデコーダ １１２ｃ 静止画用動画デコーダ １１３ マルチメディアデータ出力部 １１４ マルチメディアデータ再生部 ２０１ 複数静止画ファイル読み込み管理テーブル ４０１ 静止画データ構成情報付きファイル読み込み管
理テーブル ６０１ 再生制御用インタフェイス ６０２ イベント通知部 ６０３ マルチメディアデータ構成情報参照部 ８０１ 必要スロット数管理テーブル ９０１ 単位時間あたり必要スロット数算出処理 ９０２ 累積必要スロット数の比較処理 ９０３ 読み込み対象のデータ読み込み処理 ９０４ 単位時間あたり必要スロット数の加算処理 １１０１ 累積必要スロット数管理テーブル １２０１ 単位時間あたり必要スロット数算出処理 １２０２ 再生時間軸依存性の検査処理 １２０３ 累積必要スロット数の上限値の算出処理 １２０４ 累積必要スロット数の上限値と現在値の比較
処理 １４０１ データ送出サーバ １４０２ 受信端末 １４０３ パケットネットワーク １４０４ ネットワークインタフェイス １４０５ データ送信部 １４０６ データ受信部 １４０７ ストリーム生成部 １４０８ 多重化分離部 １４０９ 受信バッファ １４１０ 要求受信部 １４１１ マルチクライアント対応スケジューラ １４１２ 要求送信部 １４２０ 再生部 １４２１ メディアデコーダ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 高木 利匡 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 Ｆターム(参考） 5B089 GA11 GA21 JA07 JA33 JB06 KA12 KC15 KH11 5C063 AB03 AC01 AC02 AC05 CA23 CA36 5C064 BA07 BB05 BC10 BC16 BC18 BC20 BC23 BC27 BD01 BD02 BD07 BD08 BD09

Claims (12)

【特許請求の範囲】
1. 【請求項１】リモートファイルシステムからネットワー
   クを介してファイルデータを読み込む、マルチメディア
   データを構成するメディアの種別に対応した読み込み手
   段を有する、リモートファイルデータ読み込み部と、前
   記読み込み部からデータを受け取って、即時にデコード
   し表示する再生部と、読み込み対象となるデータの蓄積
   場所、属性など、当該データに関する情報を参照するマ
   ルチメディアコンテンツ情報参照部と、前記読み込み部
   に対して本装置が使用できるネットワーク帯域と前記マ
   ルチメディアコンテンツ情報参照部からのマルチメディ
   アコンテンツ情報とを合わせてマルチメディアを構成す
   る各メディアへ伝送ビットレートを配分し、指示するマ
   ルチメディアデータ読み込みスケジューラと、を備え、 前記リモートファイルデータ読み込み部は、マルチメデ
   ィアデータ読み込みスケジューラから指定されたビット
   レートを従ってそれぞれ指定されたファイルからの読み
   込みを行い、 前記読み込み手段のうちの１つは、１枚の静止画を複数
   フレームからなる動画フォーマットに符号化したデータ
   をフレームの時刻情報に依存せずに読み込む、静止画用
   動画フォーマット対応リモートファイルデータ読み込み
   手段であり、前記マルチメディアコンテンツ情報参照部
   から静止画データの表示開始時刻と表示終了時刻の情報
   を取得し、表示開始時刻から読み込みを開始し、表示終
   了時刻で読み込みを終了することを特徴とするマルチメ
   ディアデータ再生装置。
2. 【請求項２】静止画用動画フォーマット対応リモートフ
   ァイルデータ読み込み部は、複数静止画ファイル読み込
   み用管理テーブルを有し、 マルチメディアデータを構成するデータの中で複数の静
   止画がある場合に、前記複数静止画ファイル読み込み用
   管理テーブルで各静止画の表示開始時刻と表示終了時刻
   の情報を管理し、表示期間中のみ読み込み対象となるよ
   うに読み込み静止画ファイルの切り替えを行い、同時に
   複数のファイルを読み込む必要がある場合には、静止画
   用に与えられたビットレートを調整して読み込むことを
   特徴とする、請求項１に記載のマルチメディアデータ再
   生装置。
3. 【請求項３】静止画用動画フォーマットデータ読み込み
   手段は、静止画データ構成情報管理部を有し、 マルチメディアデータを構成するデータの中で複数の静
   止画がある場合に、前記マルチメディアデータ構成ファ
   イル内に記述されている表示領域の大きさやデータサイ
   ズなどにより静止画データにプライオリティを付け、表
   示開始時刻と表示終了時刻の情報による読み込みファイ
   ルの切り替え時に同時に複数のファイルを読み込む必要
   がある場合に、静止画用に与えられたビットレートをプ
   ライオリティ順位に応じた読み込み調整を行うことを特
   徴とする、請求項１に記載のマルチメディアデータ再生
   装置。
4. 【請求項４】再生制御のイベント発生時にマルチメディ
   アデータ読み込みスケジューラに対してイベント発生通
   知のメッセージを送出するイベント通知部を備え、再生
   部は、停止/一時停止、停止/一時停止解除、オブジェク
   トの拡大/縮小表示などの再生制御が可能な再生制御用
   インタフェイスを有し、マルチメディアデータ読み込み
   スケジューラは、各読み込みデータが時間軸に依存して
   いるかしていないかを管理するマルチメディアデータ構
   成情報管理部を有し、 マルチメディアデータ読み込みスケジューラは、再生状
   況の変化に応じて、各リモートファイルデータの読み込
   み手段へのビットレートを再配分し、通常再生時には時
   間軸に依存するメディアのファイルデータを優先的に読
   み込み、一時停止時には時間軸に依存しないメディアの
   ファイルデータを優先的に読み込み、オブジェクトの拡
   大表示時には対象となるオブジェクトのファイルデータ
   を優先的に読み込むことを特徴とする、請求項１から３
   のいずれかに記載のマルチメディアデータ再生装置。
5. 【請求項５】ネットワーク上の再生装置から再生対象と
   なるデータの送出要求を受け付ける送出要求受け付け部
   と、ローカルファイルシステムから、マルチメディアを
   構成する各メディアに対応するファイルデータを読み出
   してストリームを生成するストリーム生成部と、当該ス
   トリームをネットワークに送出する、マルチメディアデ
   ータを構成するメディアの種別に対応した送出手段を有
   する、データ送出部と、送出対象となるデータの蓄積場
   所、属性など、当該データに関する情報を参照するマル
   チメディアコンテンツ情報参照部と、前記再生装置が使
   用できるネットワーク帯域と前記マルチメディアコンテ
   ンツ情報参照部からのマルチメディアコンテンツ情報と
   を合わせてマルチメディアを構成する各メディアへ伝送
   ビットレートを配分し、指示するマルチメディアデータ
   送出スケジューラと、を備え、 前記メディアデータ送出部はマルチメディアデータ読み
   込みスケジューラから指定されたビットレートを守って
   それぞれ指定されたデータの送出を行い、 前記送出手段のうちの１つは、１枚の静止画を複数フレ
   ームからなる動画フォーマットに符号化したデータを送
   出する静止画用動画フォーマット対応データ送出手段で
   あることを特徴とするマルチメディアデータ送出装置。
6. 【請求項６】静止画用動画フォーマット対応データ送出
   手段は、複数静止画ファイル送出用管理テーブルを有
   し、 マルチメディアデータを構成するデータの中で複数の静
   止画がある場合に、前記複数静止画ファイル送出用管理
   テーブルで各静止画の表示開始時刻と表示終了時刻のタ
   イミングを管理し、表示期間中のみ送出対象となるよう
   に静止画用動画データファイルの送出を切り替え、同時
   に複数のファイルを送出する必要がある場合には、静止
   画用に与えられたビットレートを調整して送出すること
   を特徴とする、請求項５に記載のマルチメディアデータ
   送出装置。
7. 【請求項７】静止画用動画フォーマットデータ送出手段
   は、静止画データ構成情報管理部を有し、 マルチメディアデータを構成するデータの中で複数の静
   止画がある場合に、前記マルチメディアデータ構成ファ
   イル内に記述されている表示領域の大きさやデータサイ
   ズなどにより静止画データにプライオリティを付け、表
   示開始時刻と表示終了時刻の情報による送出ファイルの
   送信開始・終了の時点で同時に複数のファイルを読み込
   む必要がある場合に、静止画用に与えられたビットレー
   トをプライオリティ順位に応じた送出調整を行うことを
   特徴とする、請求項５に記載のマルチメディアデータ送
   出装置。
8. 【請求項８】マルチメディアデータ送出スケジューラ
   は、各送出データが時間軸に依存しているかしていない
   かを管理するマルチメディアデータ構成情報管理部を有
   し、 マルチメディアデータ送出スケジューラは、再生装置の
   再生状況の変化に応じて各メディアファイルデータ送出
   部へのビットレートを再配分し、通常再生時には時間軸
   に依存するメディアのファイルデータを優先的に送出
   し、一時停止時には時間軸に依存しないメディアのファ
   イルデータを優先的に送出し、オブジェクトの拡大表示
   時には対象となるオブジェクトのファイルデータを優先
   的に送出することを特徴とする、請求項５から７のいず
   れかに記載のマルチメディアデータ送出装置。
9. 【請求項９】リモートファイルシステムからネットワー
   クを介してファイルデータを読み込むリモートファイル
   データ読み込み部と、前記読み込み部からデータを受け
   取って、即時にデコードし表示する再生部と、マルチメ
   ディアを構成する各メディアに対して伝送ビットレート
   の配分を決めるマルチメディアデータ読み込みスケジュ
   ーラと、を備え、 前記リモートファイルデータ読み込み部は、リモートフ
   ァイルシステムによって決まる最小転送ブロックサイズ
   でネットワークの合計ビットレートを伝送単位としてス
   ロット分割し、各スロットを各ファイルデータの読み込
   みに割り当てる構成とされた、指定されたビットレート
   から単位時間あたりのスロットの必要数を算出し、実際
   にスロットを割り当てた場合には現在の必要数から割り
   当てたスロット数を減じて、次の単位時間になれば必要
   スロットの残量に新たに単位時間あたりの必要スロット
   数を加えるという操作により各ファイルデータ読み込み
   に対する必要スロットの残量を管理する必要スロット数
   管理部を有し、 必要スロットの残量が多いファイルデータの順にスロッ
   トを割り当てることを特徴とするマルチメディアデータ
   再生装置。
10. 【請求項１０】必要スロット数管理部は、各メディアデ
    ータの累積必要スロット数に加えて、各メディアデータ
    の再生が時間軸に依存するかどうかを示す項目と、時間
    軸に依存するデータである場合には累積必要スロット数
    の上限を示す項目とを管理する構成とし、 リモートファイルデータ読み込み部は、読み込み動作を
    行う時に累積必要スロット数の上限を超えた場合には、
    必要スロット残量の多寡に関わらず、時間軸依存データ
    を優先してスロットを割り当てて優先的に読み込むよう
    にしたことを特徴とする請求項９に記載のマルチメディ
    アデータ再生装置。
11. 【請求項１１】ネットワーク上の再生装置から再生対象
    となるデータの送出要求を受け付ける送出要求受け付け
    部と、マルチメディアを構成する各メディアに対応する
    ローカルファイルシステムからファイルデータを読み出
    してストリームを生成するストリーム生成部と、当該ス
    トリームをネットワークに送出するデータ送出部と、送
    出対象となるデータの蓄積場所、属性など、当該データ
    に関する情報を参照するマルチメディアコンテンツ情報
    参照部と、当該再生装置が使用できるネットワーク帯域
    と前記マルチメディアコンテンツ情報参照部からのマル
    チメディアコンテンツ情報とを合わせてマルチメディア
    を構成する各メディアへ伝送ビットレートを配分し、指
    示するマルチメディアデータ送出スケジューラと、を備
    え、 前記データ送出部は、ネットワークプロトコルによって
    決まる最大パケットペイロードサイズでネットワークの
    合計ビットレートをスロット分割し、各スロットを各メ
    ディアデータの送出に割り当てる構成とされた、指定さ
    れたビットレートから単位時間あたりのスロットの必要
    数を算出し、実際にスロットを割り当てた場合には現在
    の必要数から割り当てたスロット数を減じて、次の単位
    時間になれば必要スロットの残量に新たに単位時間あた
    りの必要スロット数を加えるという操作により各メディ
    アデータ送出に対する必要スロットの残量を管理する必
    要スロット数管理部を有し、 必要スロットの残量が多いメディアデータの順にスロッ
    トを割り当てることを特徴とするマルチメディアデータ
    送出装置。
12. 【請求項１２】必要スロット残量管理部は、各メディア
    データの累積必要スロット数に加えて、各メディアデー
    タの再生が時間軸に依存するかどうかを示す項目と、時
    間軸に依存するデータである場合には累積必要スロット
    数の上限を示す項目とを管理する構成とし、 データ送出部は、送出動作を行う時に累積必要スロット
    数の上限を超えた場合には、必要スロット残量の多寡に
    関わらず、時間軸依存データを優先してスロットを割り
    当てて優先的に送出するようにしたことを特徴とする、
    請求項１１に記載のマルチメディアデータ送出装置。