JPH08190488A

JPH08190488A - スケジューリング方法および装置

Info

Publication number: JPH08190488A
Application number: JP7002407A
Authority: JP
Inventors: Ryuichi Watanabe; 隆一渡辺
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1995-01-11
Filing date: 1995-01-11
Publication date: 1996-07-23

Abstract

(57)【要約】【目的】マルチメディア情報の読み込みと再生を行う
タイミングを、メディア間に設定した優先順位と、時間
管理情報に基づいて決定する。【構成】入出力装置１４を介して入力されたマルチメ
ディア情報の時間管理情報は、バス１５を介して、メモ
リ１３に供給される。ＣＰＵ１１は、時間管理情報と、
メディア間に設定した優先順位に基づいて、入出力装置
１４を介して、マルチメディア情報を読み込むタイミン
グと、それを再生するタイミングをスケジューリングす
る。次に、ＣＰＵ１１は、時計１２により発生されるタ
イミング信号に従って、スケジューリングした所定のタ
イミングにおいて、マルチメディア情報の読み込み、ま
たは再生を行う。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えば、音声、画像、
およびテキストからなるマルチメディア情報を再生する
マルチメディア再生装置に用いて好適な、スケジューリ
ング方法および装置に関する。

【０００２】

【従来の技術】図１２は、従来のマルチメディア再生装
置の一例の構成を示すブロック図である。二次記憶装置
１には、例えば、音声、画像、またはテキストなどから
なるマルチメディア情報が記憶されている。このマルチ
メディア情報は、図１３に示すように、メディアの種類
に対応するチャンネルの数や、各チャンネルとメディア
の対応付け等の管理情報と、タイムスタンプ、チャンネ
ル番号、パケットサイズ、および再生データ等からなる
複数のパケットがタイムスタンプ順に並んだ構成となっ
ている。また、各パケットの大きさは、パケットサイズ
により定義されるため、可変にすることができる。

【０００３】二次記憶装置１または図示せぬ通信経路を
介して供給されたマルチメディア情報は、インタリーブ
されたパケット列としてパケット分配部２に供給され
る。パケット分配部２に供給されたマルチメディア情報
を構成するパケットは、メディア毎に分けられ、各メデ
ィアに対応するバッファ３乃至８にそれぞれ格納される
（準備処理）。即ち、この場合、バッファ３，４には、
音声データが格納され、バッファ５，６には、画像（イ
メージ）データが格納される。さらに、バッファ７，８
には、テキストデータが格納される。

【０００４】従って、バッファ３には、音声データを有
するパケットが格納され、バッファ４には、時間的に次
の音声データを有するパケットが格納される。また、バ
ッファ５には、画像データを有するパケットが格納さ
れ、バッファ６には、次の画像データを有するパケット
が格納される。さらに、バッファ７には、テキストデー
タを有するパケットが格納され、バッファ８には、次の
テキストデータを有するパケットが格納される。

【０００５】このように、バッファ３と４、バッファ５
と６、およびバッファ７と８は、ダブルバッファとなっ
ており、パケット分配部２より供給されたパケットが、
最初、一方のバッファ、例えばバッファ３に格納され、
それを再生している間にパケット分配部２より供給され
た次のパケットは、他方のバッファ（バッファ４）に格
納される。従って、一方のバッファに格納されたパケッ
トのデータを再生中に、パケット分配部２より次のデー
タパケットが供給されたとしても、他方のバッファに格
納することができるため、パケットの読み落としを抑制
することができるようになっている。また、ダブルバッ
ファの代わりに、リングバッファを用いて、パケットの
読み落としを抑制するようにすることも可能である。

【０００６】次に、バッファ３乃至８に格納された各パ
ケットを構成するタイムスタンプが最も早いものから順
に、そのパケットに含まれるデータが再生される。即
ち、最も早いタイムスタンプを有するパケットのデータ
が、このタイムスタンプによって指定された時刻になる
まで待ってから再生される（再生処理）。

【０００７】例えば、バッファ３に格納されたパケット
の音声データが再生されると、バッファ４には、パケッ
ト分配部２より供給された次の音声データを有するパケ
ットが格納される。そして、バッファ３に格納されたパ
ケットの音声データが再生され、スピーカ９より出力さ
れた後、バッファ４に格納されたパケットの音声データ
が再生される。

【０００８】また、バッファ５に格納されたパケットの
画像データが再生されると、バッファ６には、パケット
分配部２より供給された次の画像データを有するパケッ
トが格納される。そして、バッファ５に格納されたパケ
ットの画像データが再生され、ＣＲＴ１０に表示された
後、バッファ４に格納されたパケットの画像データが再
生される。

【０００９】さらに、バッファ７に格納されたパケット
のテキストデータが再生されると、バッファ８には、パ
ケット分配部２より供給された次のテキストデータを有
するパケットが格納される。そして、バッファ７に格納
されたパケットのテキストデータが再生され、ＣＲＴ１
０に表示された後、バッファ８に格納されたパケットの
テキストデータが再生される。

【００１０】そして、このようなマルチメディア再生装
置を、携帯情報端末等の小型の機器に応用することが考
えられている。

【００１１】

【発明が解決しようとする課題】しかしながら、従来の
装置を携帯情報端末に応用した場合、携帯情報端末は、
入出力の速度が遅く、計算パワーが不足するため、再生
用データが音声、または画像であるようなとき、所定の
制限時間内に再生することができない場合がある課題が
あった。これは、一般的に、携帯情報端末は、専用の画
像処理チップを備えておらず、汎用の中央演算装置（Ｃ
ＰＵ）が画像を描画しなければならないからである。

【００１２】また、パケットを入出力する場合、データ
転送速度が遅いため、パケットのデータ再生処理に割り
当てる時間が少なくなり、所定の時間内に所定の再生用
データを再生することができない場合がある課題があっ
た。

【００１３】さらに、時間的に近接したタイムスタンプ
を有するパケットが、連続して供給されたような場合、
供給されたパケットを順に読み込み、そのタイムスタン
プで示された時刻に、逐次、再生処理を行う従来の手順
に従うと、所定のパケットの読み込みが終了してから、
その再生処理を行うまでの間、他のパケットの読み込み
や、再生処理を行うことができないため、ＣＰＵの有効
的な利用ができず、所定の制限時間内に所定のパケット
の再生を行うことができない場合がある課題があった。

【００１４】本発明はこのような状況に鑑みてなされた
ものであり、計算パワーが限られ、入出力の速度が遅い
携帯情報端末等の小型の装置において、マルチメディア
情報の読み込みと再生処理のタイミングのスケジューリ
ングを行い、マルチメディア情報をできるだけタイムス
タンプ通りに再生し、人間に違和感のない最適な状態で
再生することができるようにするものである。

【００１５】

【課題を解決するための手段】請求項１に記載のスケジ
ューリング方法は、少なくとも所定の時刻を指定するタ
イムスタンプ、メディアの種類に対応したチャンネル番
号、およびメディアに対応した所定の再生用データから
なるパケットを読み込むタイミングと、パケットの再生
用データを再生するタイミングをスケジューリングする
スケジューリング装置において、パケットのそれぞれに
含まれるタイムスタンプと、チャンネル番号より構成さ
れる時間管理情報を記憶し、メディアに優先順位を設定
し、再生用データを再生する前に、時間管理情報、また
は優先順位の少なくともいずれか一方に基づいて、パケ
ットの再生用データを再生する再生時刻をスケジューリ
ングし、再生用データを再生する前に、時間管理情報、
または優先順位の少なくともいずれか一方に基づいて、
パケットの再生用データを読み込む読み込み時刻をスケ
ジューリングし、この読み込み時刻に従って再生用デー
タを読み込み、この再生時刻に従って再生用データを再
生することを特徴とする。

【００１６】また、再生用データは、音声データ、テキ
ストデータ、または画像データの少なくともいずれか１
つとすることができる。

【００１７】また、音声データに対応するチャンネルの
優先順位が最も高く設定されるようにすることができ
る。

【００１８】また、時間管理情報は、パケットのタイム
スタンプとは別に記憶されるようにすることができる。

【００１９】また、再生用データは、所定の伝送媒体、
または記録媒体を介して読み込まれるようにすることが
できる。

【００２０】請求項６に記載のスケジューリング装置
は、少なくとも所定の時刻を指定するタイムスタンプ、
メディアの種類に対応したチャンネル番号、およびメデ
ィアに対応した所定の再生用データからなるパケットを
読み込むタイミングと、パケットの再生用データを再生
するタイミングをスケジューリングするスケジューリン
グ装置において、パケットのそれぞれに含まれるタイム
スタンプと、チャンネル番号より構成される時間管理情
報を記憶する記憶手段（例えば図１のメモリ１３）と、
メディアに優先順位を設定する設定手段（例えば図１の
ＣＰＵ１１）と、再生用データを再生する前に、記憶手
段に記憶されている時間管理情報、または設定手段によ
り設定された優先順位の少なくともいずれか一方に基づ
いて、パケットの再生用データを再生する再生時刻をス
ケジューリングする第１スケジューリング手段（例えば
図４のステップＳ３）と、再生用データを再生する前
に、記憶手段に記憶されている時間管理情報、または設
定手段により設定された優先順位の少なくともいずれか
一方に基づいて、パケットの再生用データを読み込む読
み込み時刻をスケジューリングする第２スケジューリン
グ手段（例えば図４のステップＳ４）と、この読み込み
時刻に従って、再生用データを読み込む読み込み手段
（例えば図１のＣＰＵ１３）と、この再生時刻に従っ
て、再生用データを再生する再生手段（例えば図１のＣ
ＰＵ１３）とを備えることを特徴とする。

【００２１】また、再生用データは、音声データ、テキ
ストデータ、または画像データの少なくともいずれか１
つとすることができる。

【００２２】また、設定手段は、音声データに対応する
チャンネルの優先順位を最も高く設定するようにするこ
とができる。

【００２３】また、記憶手段は、時間管理情報を、パケ
ットのタイムスタンプとは別に記憶するようにすること
ができる。

【００２４】さらに、読み込み手段は、再生用データ
を、所定の伝送媒体、または記憶媒体を介して読み込む
ようにすることができる。

【００２５】

【作用】請求項１または６に記載のスケジューリング方
法または装置においては、時間管理情報、または各チャ
ンネル間に設定された優先順位の少なくともいずれか一
方に基づいて、再生用データを再生する前に、予め、再
生用データを読み込む時刻、およびそれを再生する時刻
をそれぞれスケジューリングする。従って、ＣＰＵを効
率的に使用するようにすることができる。

【００２６】請求項２または７に記載のスケジューリン
グ方法または装置においては、再生用データは、音声デ
ータ、テキストデータ、または画像データの少なくとも
いずれか１つである。従って、マルチメディア情報を再
生することができる。

【００２７】請求項３または８に記載のスケジューリン
グ方法または装置においては、音声データに対応するチ
ャンネルの優先順位を最も高くする。従って、音声デー
タの再生時刻をできる限りずらすことがないようにする
ことができる。

【００２８】請求項４または９に記載のスケジューリン
グ方法または装置においては、時間管理情報をパケット
のタイムスタンプとは別に記憶する。従って、時間管理
情報のタイムスタンプに基づいて、再生用データの読み
込み時刻および再生時刻を予め決定することができる。

【００２９】請求項５または１０に記載のスケジューリ
ング方法または装置においては、再生用データは、所定
の伝送媒体または記憶媒体を介して読み込まれる。従っ
て、様々な方法で、再生用データを読み込むことができ
る。

【００３０】

【実施例】図１は、本発明のスケジューリング装置を応
用したマルチメディア情報再生装置の一実施例の構成を
示すブロック図である。ＣＰＵ１１は、後述するメモリ
１３に記憶されたシステムプログラム若しくはアプリケ
ーションプログラムに基づいて、各部を制御するように
なされている。

【００３１】時計１２は、ＣＰＵ１１の制御により、所
定の時間間隔で所定の信号を発生し、バス１５を介し
て、ＣＰＵ１１に供給する。メモリ１３は、システムプ
ログラムまたはアプリケーションプログラムを記憶し、
バス１５を介してＣＰＵ１１または後述する入出力装置
１４に供給したり、あるいは、ＣＰＵ１１または入出力
装置１４より供給された所定のデータを記憶するように
なされている。

【００３２】入出力装置１４は、外部に接続された図示
せぬ二次記憶装置から所定のマルチメディア情報を入力
し、バス１５を介してＣＰＵ１１またはメモリ１３に供
給するようになされている。

【００３３】図２は、本発明のスケジューリング装置に
用いるマルチメディア情報の構成を示す図である。この
マルチメディア情報は、図１３に示した従来のマルチメ
ディア情報の場合と同様に、チャンネル数、およびチャ
ンネル番号とメディア（音声、画像、またはテキスト
等）の対応付け等の情報からなる管理情報と、タイムス
タンプ、チャンネル番号、および所定のデータからなる
パケットから構成され、さらに、図２の場合において
は、各パケットのタイムスタンプとチャンネル番号を対
応付けた時間管理情報がそれとは別に用意される。これ
より以降、従来のマルチメディア情報と、時間管理情報
を合わせて、マルチメディア情報と呼ぶことにする。

【００３４】このマルチメディア情報は、入出力装置１
４より入力され、バス１５を介してＣＰＵ１１に供給さ
れる。また、メディア間に優先順位の概念を導入し、人
間が鑑賞した場合に、情報の欠落や遅延等が顕著に認識
されるメディアに対応するチャンネルの優先順位を高く
し、情報の欠落や遅延が認識されにくいメディアに対応
するチャンネルの優先順位を低く設定する。例えば、図
１のマルチメディア再生装置をカラオケに用いたような
場合、次のように優先順位を設定する。音声＞画像（イメージ）＞テキスト

【００３５】ここでは、左側ほど優先順位が高く、右側
ほど優先順位が低いことを示している。即ち、音声デー
タの優先順位を最も高く設定し、次にイメージデータの
優先順位を設定し、最後にテキストデータの優先順位を
設定する。これは、音声データの欠落または遅延が、人
間に最も顕著に認識されるからである。

【００３６】図１に示したマルチメディア再生装置のＣ
ＰＵ１１は、入出力装置１４、バス１５を介して供給さ
れたマルチメディア情報の時間管理情報と、上述した各
メディア間の優先順位に基づいて、各メディアに対応し
たチャンネルより、入出力装置１４を介して供給される
データをメモリ１３の所定の領域に設けられたバッファ
に読み込む処理（準備処理）と、それを再生する再生処
理を行うタイミングをスケジューリングする。

【００３７】再生処理を行うタイミングは、原則的にタ
イムスタンプに記述されたものと同一になるようスケジ
ューリングされるが、準備処理の方は、適宜、最適な時
間にスケジューリングされる。

【００３８】スケジューリングされた結果、図１のメモ
リ１３に、図３に示すような、双方向に参照が可能な双
方向リストがスケジューリングリストとして記憶され
る。双方向リストは、ノードからなり、各ノードは、処
理の種類、チャンネル番号、タイムスタンプ、オフセッ
ト、およびフラグ等の要素より構成される。処理の種類
によって、準備処理または再生処理が示され、チャンネ
ル番号によって、メディアの種類が表される。また、タ
イムスタンプは、対応するデータが読み込まれる時刻、
または再生される時刻を表し、オフセットは、タイムス
タンプからのズレを示している。従って、実際に読み込
み処理、または再生処理が行われるのは、タイムスタン
プにオフセットを加算した時刻である。また、フラグ
は、処理を実行するかしないかなどを示す。

【００３９】また、スケジューリングされる前、メモリ
１３には、準備処理のダミーのノードが１つだけ記憶さ
れている。このダミーのノードの要素である処理の種類
は、勿論、準備処理に対応する所定の数値が設定され、
チャンネル番号には値０が設定される。また、タイムス
タンプには値０が設定され、オフセットには可能な限り
大きい負の値が設定される。

【００４０】次に、図４乃至図６のフローチャートを参
照して、スケジューリングのアルゴリズムについて説明
する。まず、図４のステップＳ１において、ＣＰＵ１１
により、未処理のエントリがあるか否かが判定される。
即ち、まだスケジューリングしていないエントリがある
か否かが判定される。まだスケジューリングしていない
エントリがないと判定された場合、処理を終了する。

【００４１】一方、まだスケジューリングしていないエ
ントリがあると判定された場合、ステップＳ２に進み、
時間管理情報から、所定のエントリを時間順に１つだけ
選択し、それをターゲット（ＴａｒｇｅｔＴａｓｋ）
とする。次に、ステップＳ３に進み、図５のフローチャ
ートを参照して後述するように、再生処理のスケジュー
リングを行う。

【００４２】再生処理のスケジューリングが終了する
と、ステップＳ４において、図６のフローチャートを参
照して後述するように、準備処理のスケジューリングが
行われる。

【００４３】その場合、準備処理および再生処理の処理
時間を、予めメディア毎に、実際に再生する装置におい
て測定しておく。例えば、再生前のシステムの立ち上げ
時などに、ダミーのデータを読み込むようにすることに
より測定することができる。特に、準備処理は、データ
量にほぼ比例するため、データ量と処理時間を対応づけ
る所定の係数を測定しておき、各チャンネルの最大デー
タ量から処理時間を概算し、それに基づいて、スケジュ
ーリングを行うようにすることができる。

【００４４】このようにして、スケジューリングされた
後、ＣＰＵ１１の制御により、スケジューリングリスト
に従って、所定のデータが所定のタイミングで順に再生
される。

【００４５】次に、図５のフローチャートを参照して、
再生処理のスケジューリング方法について説明する。最
初に、ステップＳ１１において、ＣＰＵ１１により、図
２に示した時間管理情報より、時間順に選択されたエン
トリ（ターゲット）が、１つ目のエントリであるか否か
が判定される。１つ目のエントリであると判定された場
合、ステップＳ２７に進み、選択したエントリに対応す
る再生処理をスケジュールリストの最後に加える。

【００４６】一方、１つ目のエントリではないと判定さ
れた場合、ステップＳ１２に進み、スケジュールリスト
の最後のタスクの終了時刻（ＬａｓｔＴａｓｋ．ＥＴ
（ＥＴは終了時刻を表し、ＬａｓｔＴａｓｋとピリオド
「．」で連結することによりＬａｓｔＴａｓｋの終了時
刻を表す））が、選択したエントリのタイムスタンプ
（Ｔａｒｇｅｔ．ＴＳ（ＴＳはタイムスタンプを表し、
選択したエントリ（Ｔａｒｇｅｔ）と、ピリオド「．」
で連結することによりＴａｒｇｅｔのタイムスタンプを
表す））より早いかまたは等しいか否かが判定される。

【００４７】最後のタスクの終了時刻が、選択したエン
トリのタイムスタンプより早いかまたは等しいと判定さ
れた場合、この２つのタスクは重なっていないから、ス
テップＳ２７に進み、選択したエントリ（ターゲット）
に対応する再生処理を、スケジュールリストの最後に加
える。

【００４８】一方、最後のタスクの終了時刻が、選択し
たエントリのタイムスタンプより遅いと判定された場
合、この２つのタスクは重なっているから、ステップＳ
１３に進み、最後のタスクの優先順位（ＬａｓｔＴａｓ
ｋ．ＰＲ（ＰＲは優先順位を表す））が、このエントリ
の優先順位（Ｔａｒｇｅｔ．ＰＲ）より低いか否かが判
定される。ＬａｓｔＴａｓｋ．ＰＲがＴａｒｇｅｔ．Ｐ
Ｒより高いかまたは等しいと判定された場合、ステップ
Ｓ１４に進み、Ｔａｒｇｅｔ．ＴＳとＴａｒｇｅｔ．Ｏ
Ｓ（Ｔａｒｇｅｔのオフセット）を加算して得られる、
このＴａｒｇｅｔが実際に再生される時刻が、最後のタ
スクの終了時刻（ＬａｓｔＴａｓｋ．ＥＴ）と等しくな
るように、Ｔａｒｇｅｔ．ＯＳを決定する。即ち、ター
ゲットをオフセット分だけ後ろにずらす。

【００４９】次に、ステップＳ２７に進み、このＴａｒ
ｇｅｔに対応する再生処理を、スケジュールリストの最
後に加え、処理を終了する。

【００５０】一方、ステップＳ１３において、Ｌａｓｔ
Ｔａｓｋ．ＰＲが、Ｔａｒｇｅｔ．ＰＲより低いと判定
された場合、ステップＳ１５に進み、最後のタスクのオ
フセット（ＬａｓｔＴａｓｋ．ＯＳ）が、値０と等しい
か否か、即ち、ＬａｓｔＴａｓｋ．ＯＳが既に変更され
ているか否かが判定される。ＬａｓｔＴａｓｋ．ＯＳ
が、値０と等しくないと判定された場合、ＬａｓｔＴａ
ｓｋ．ＯＳは既に調整され、もはや調節することができ
ないものとみなし、即ち、前にずらすようにオフセット
を調整することができないものとみなし、ステップＳ１
９に進み、ＬａｓｔＴａｓｋを実行しないように所定の
フラグを立てる。このように所定のフラグが立てられた
タスクは、処理時間が０として扱われる。

【００５１】これにより、優先順位が低いＬａｓｔＴａ
ｓｋに対応する再生用データは、再生されず、欠落する
ことになる。

【００５２】次に、ステップＳ２０に進み、ＬａｓｔＴ
ａｓｋ．ＯＳが、ＬａｓｔＴａｓｋ（−１）．ＥＴから
ＬａｓｔＴａｓｋ．ＴＳを減算して得られた時間に設定
される。

【００５３】次に、ステップＳ２１に進み、ＬａｓｔＴ
ａｓｋの１つ前のタスクの終了時刻（ＬａｓｔＴａｓｋ
（−１）．ＥＴ）が、ターゲットのタイムスタンプ（Ｔ
ａｒｇｅｔ．ＴＳ）と等しいかまたは早いか否かが判定
される。ＬａｓｔＴａｓｋ（−１）．ＥＴが、Ｔａｒｇ
ｅｔ．ＴＳと等しいかまたは早いと判定された場合、ス
テップＳ２７に進み、このＴａｒｇｅｔに対応する再生
処理をスケジュールリストの最後に加える。

【００５４】一方、ＬａｓｔＴａｓｋ（−１）．ＥＴ
が、Ｔａｒｇｅｔ．ＴＳより遅いと判定された場合、ス
テップＳ２２に進み、Ｔａｒｇｅｔ．ＴＳとＴａｒｇｅ
ｔ．ＯＳを加算した時刻が、ＬａｓｔＴａｓｋ（−
１）．ＥＴと等しくなるように、Ｔａｒｇｅｔ．ＯＳを
決定する。そして、ステップＳ２７に進み、このターゲ
ットに対応する再生処理を、スケジュールリストの最後
に加え、処理を終了する。

【００５５】ステップＳ１５において、ＬａｓｔＴａｓ
ｋのオフセットの値が０である、即ち、ＬａｓｔＴａｓ
ｋのオフセットが変更されていないと判定された場合、
ステップＳ１６に進み、ＬａｓｔＴａｓｋ．ＥＴが、Ｔ
ａｒｇｅｔ．ＴＳと等しくなるように、ＬａｓｔＴａｓ
ｋ．ＯＳを決定する。次に、ステップＳ１７に進み、Ｌ
ａｓｔＴａｓｋ（−１）．ＥＴが、ＬａｓｔＴａｓｋ．
ＴＳとＬａｓｔＴａｓｋ．ＯＳを加算して得られた時刻
より早いかまたは等しいか否かが判定される。

【００５６】ＬａｓｔＴａｓｋ（−１）．ＥＴが、Ｌａ
ｓｔＴａｓｋ．ＴＳとＬａｓｔＴａｓｋ．ＯＳを加算し
て得られた時刻より早いかまたは等しいと判定された場
合、ステップＳ２７に進み、このターゲットに対応する
再生処理を、スケジュールリストの最後に加え、処理を
終了する。

【００５７】一方、ＬａｓｔＴａｓｋ（−１）．ＥＴ
が、ＬａｓｔＴａｓｋ．ＴＳとＬａｓｔＴａｓｋ．ＯＳ
を加算して得られた時刻より早いと判定された場合、ス
テップＳ１８に進み、最後のタスクから１つ前のタスク
の優先順位（ＬａｓｔＴａｓｋ（−１）．ＰＲ）が、最
後のタスクの優先順位（ＬａｓｔＴａｓｋ．ＰＲ）より
低いか否かが判定される。

【００５８】ＬａｓｔＴａｓｋ（−１）．ＰＲが、Ｌａ
ｓｔＴａｓｋ．ＰＲより高いかまたは等しいと判定され
た場合、ステップＳ１９に進み、ステップＳ１９以降の
処理が行われる。ステップＳ１９以降の処理について
は、既に説明したのでここでは省略する。

【００５９】ＬａｓｔＴａｓｋ（−１）．ＰＲが、Ｌａ
ｓｔＴａｓｋ．ＰＲより低いと判定された場合、ステッ
プＳ２３に進み、ＬａｓｔＴａｓｋ（−１）．ＥＴが、
ＬａｓｔＴａｓｋ．ＴＳと等しくなるように、Ｌａｓｔ
Ｔａｓｋ（−１）．ＯＳを決定する。

【００６０】次に、ステップＳ２４に進み、ＬａｓｔＴ
ａｓｋ（−２）．ＥＴが、ＬａｓｔＴａｓｋ（−１）．
ＴＳと、ＬａｓｔＴａｓｋ（−１）．ＯＳを加算して得
られた時刻より、早いかまたは等しいか否かが判定され
る。ＬａｓｔＴａｓｋ（−２）．ＥＴが、ＬａｓｔＴａ
ｓｋ（−１）．ＴＳと、ＬａｓｔＴａｓｋ（−１）．Ｏ
Ｓを加算して得られた時刻より、早いかまたは等しいと
判定された場合、ステップＳ２７に進み、このターゲッ
トに対応する再生処理を、スケジュールリストの最後に
加え、処理を終了する。

【００６１】一方、ＬａｓｔＴａｓｋ（−２）．ＥＴ
が、ＬａｓｔＴａｓｋ（−１）．ＴＳと、ＬａｓｔＴａ
ｓｋ（−１）．ＯＳを加算して得られた時刻より、遅い
と判定された場合、ステップＳ２５に進み、ＬａｓｔＴ
ａｓｋ（−１）を実行しないように、所定のフラグを立
て、ステップＳ２６に進む。これにより、ＬａｓｔＴａ
ｓｋ（−１）に対応する再生用データは再生されず、欠
落することになる。

【００６２】次に、ステップＳ２６において、Ｌａｓｔ
Ｔａｓｋ（−１）．ＯＳを、ＬａｓｔＴａｓｋ（−
２）．ＥＴからＬａｓｔＴａｓｋ（−１）．ＴＳを減算
して得られた時間とする。

【００６３】そして、ステップＳ２７に進み、このター
ゲットに対応する再生処理を、スケジューリングリスト
の最後に加え、処理を終了する。このようにして、再生
処理のスケジューリングが行われる。

【００６４】次に、図６のフローチャートを参照して、
準備処理のスケジューリング処理を説明する。最初に、
ステップＳ３１において、最後のタスクの１つ前のタス
クであるＬａｓｔＴａｓｋ（−１）を、いま注目するタ
スク（Ｔａｓｋ）とする。

【００６５】次に、ステップＳ３２に進み、このタスク
の処理の種類が準備処理であるか否かが判定される。こ
のタスクが準備処理ではなく再生処理であると判定され
た場合、ステップＳ３３に進む。一方、このタスクが準
備処理であると判定された場合、ステップＳ３５に進
み、このタスクの終了時刻（Ｔａｓｋ．ＥＴ）から、い
まスケジューリングしようとしているターゲットの準備
処理の処理時間だけ経過した時刻が、このタスクの１つ
後のタスクのタイムスタンプ（Ｔａｓｋ（＋１）．Ｔ
Ｓ）より早いかまたは等しいか否かが判定され、Ｔａｓ
ｋ．ＥＴから、いまスケジューリングしようとしている
ターゲットの準備処理の処理時間だけ経過した時刻が、
Ｔａｓｋ（＋１）．ＴＳより早いかまたは等しいと判定
された場合、ステップＳ４６に進む。

【００６６】一方、Ｔａｓｋ．ＥＴから、いまスケジュ
ーリングしようとしているターゲットの準備処理の処理
時間だけ経過した時刻が、Ｔａｓｋ（＋１）．ＴＳより
遅いと判定された場合、ステップＳ３６に進み、Ｔａｓ
ｋの１つ前のタスクの優先順位（Ｔａｓｋ（−１）．Ｐ
Ｒ）が、Ｔａｓｋの１つ後のタスクの優先順位（Ｔａｓ
ｋ（＋１）．ＰＲ）より低く、かつ、いまスケジューリ
ングしようとしているターゲットの優先順位（Ｔａｒｇ
ｅｔ．ＰＲ）より低いか否かが判定される。Ｔａｓｋ
（−１）．ＰＲが、Ｔａｓｋ（＋１）．ＰＲより低く、
かつ、Ｔａｒｇｅｔ．ＰＲより低いと判定された場合、
ステップＳ３７に進み、ターゲットの準備処理をＴａｓ
ｋの後ろに入れることができるようにＴａｓｋ（−１）
とＴａｓｋをそれぞれ前にずらす。

【００６７】次に、ステップＳ３８に進み、Ｔａｓｋ
（−１）．ＴＳがＴａｓｋ（−２）．ＥＴより早いか否
かが判定される。Ｔａｓｋ（−１）．ＴＳが、Ｔａｓｋ
（−２）．ＥＴより早いと判定された場合、ステップＳ
３９に進み、Ｔａｓｋ（−１）を実行しないように、所
定のフラグを立て、ステップＳ４６に進む。一方、Ｔａ
ｓｋ（−１）．ＴＳが、Ｔａｓｋ（−２）．ＥＴより遅
いかまたは等しいと判定された場合、ステップＳ４６に
進む。

【００６８】一方、ステップＳ３６において、Ｔａｓｋ
（−１）．ＰＲが、Ｔａｓｋ（＋１）．ＰＲ若しくはＴ
ａｒｇｅｔ．ＰＲのいずれかより高いかまたは等しいと
判定された場合、ステップＳ４１に進む。

【００６９】ステップＳ４１においては、タスクの１つ
後のタスクの優先順位（Ｔａｓｋ（＋１）．ＰＲ）が、
ターゲットの優先順位（Ｔａｒｇｅｔ．ＰＲ）より高い
か否かが判定される。Ｔａｓｋ（＋１）．ＰＲが、Ｔａ
ｒｇｅｔ．ＰＲより低いかまたは等しいと判定された場
合、ステップＳ４３に進み、Ｔａｒｇｅｔの準備処理を
Ｔａｓｋの後ろに入れることができるように、Ｔａｓｋ
（＋１）を後ろにずらし、ステップＳ４４に進む。

【００７０】ステップＳ４４においては、Ｔａｓｋ（＋
１）．ＥＴが、Ｔａｓｋ（＋２）．ＴＳより遅いか否か
が判定される。Ｔａｓｋ（＋１）．ＥＴが、Ｔａｓｋ
（＋２）．ＴＳより遅いと判定された場合、ステップＳ
４５に進み、Ｔａｓｋ（＋１）を実行しないように所定
のフラグを立て、ステップＳ４６に進む。一方、Ｔａｓ
ｋ（＋１）．ＥＴが、Ｔａｓｋ（＋２）．ＴＳより早い
かまたは等しいと判定された場合、ステップＳ４６に進
む。

【００７１】一方、ステップＳ４１において、Ｔａｓｋ
（＋１）．ＰＲがＴａｒｇｅｔ．ＰＲより高いと判定さ
れた場合、ステップＳ４２に進み、Ｔａｓｋ（＋１）を
注目するタスク（Ｔａｓｋ）とし、ステップＳ４０に進
む。

【００７２】ステップＳ４０においては、Ｔａｓｋ．Ｅ
Ｔから、Ｔａｒｇｅｔの準備処理の処理時間だけ経過し
た時刻が、タスクの１つ後のタスクのタイムスタンプ
（Ｔａｓｋ（＋１）．ＴＳ）より早いかまたは等しいか
否かが判定される。Ｔａｓｋ．ＥＴから、Ｔａｒｇｅｔ
の準備処理の処理時間だけ経過した時刻が、タスクの１
つ後のタスクのタイムスタンプ（Ｔａｓｋ（＋１）．Ｔ
Ｓ）より早いかまたは等しいと判定された場合、ステッ
プＳ４６に進む。

【００７３】一方、Ｔａｓｋ．ＥＴから、Ｔａｒｇｅｔ
の準備処理の処理時間だけ経過した時刻が、Ｔａｓｋ
（＋１）．ＴＳより遅いと判定された場合、ステップＳ
４１に進み、それ以降の処理が実行されるが、ステップ
Ｓ４１以降の処理は、既に上述した場合と同様であるの
で、その説明は省略する。

【００７４】一方、ステップＳ３３においては、Ｔａｓ
ｋのチャンネル番号（Ｔａｓｋ．ＣＮ）が、Ｔａｒｇｅ
ｔのチャンネル番号（Ｔａｒｇｅｔ．ＣＮ）と等しいか
否かが判定される。Ｔａｓｋ．ＣＮがＴａｒｇｅｔ．Ｃ
Ｎと等しくないと判定された場合、ステップＳ３４に進
み、Ｔａｓｋ（−１）を注目するタスク（Ｔａｓｋ）と
し、ステップＳ３２に戻り、ステップＳ３２以降の処理
が繰り返される。

【００７５】ステップＳ３３において、Ｔａｓｋ．ＣＮ
がＴａｒｇｅｔ．ＣＮと等しいと判定された場合、ステ
ップＳ４０に進み、それ以降の処理が実行されるが、ス
テップＳ４０以降の処理については、既に説明したの
で、ここでは省略する。

【００７６】ステップＳ４６においては、スケジュール
リストのＴａｓｋの後ろに、Ｔａｒｇｅｔの準備処理を
加える。次に、ステップＳ４７に進み、Ｔａｒｇｅｔの
準備処理の実行時刻（Ｔａｒｇｅｔの準備処理．ＴＳ）
を、タスクの終了時刻（Ｔａｓｋ．ＥＴ）とし、処理を
終了する。

【００７７】このようにして、準備処理のスケジューリ
ングがなされる。その際、図１０または図１１を参照し
て後述するように、準備処理の処理時間が比較的長いた
め、再生処理の開始時刻が前後にずらされる場合があ
る。

【００７８】次に、図７乃至図１１のタイムチャートを
参照して、図５，図６に示したフローチャートに従っ
て、実際にスケジューリング処理を行う場合の手順につ
いて説明する。

【００７９】図７は、処理時間が比較的短く、本発明に
よるスケジューリングの必要がない場合のタイムチャー
トを示している。

【００８０】通常、スケジューリングを行う場合におい
ては、次のような制約条件が存在する。即ち、同一チャ
ンネルの準備処理と再生処理は、この順に並んでいなけ
ればならない。また、準備処理と再生処理の時間間隔は
いくら離れてもよいが、同一チャンネルにおいては、そ
の間に他のタスクが入ってはならない。さらに、同一チ
ャンネル、異なるチャンネルに拘らず、準備処理はタイ
ムスタンプの早いものから順に並ばなければならない。

【００８１】最後の制約条件は、ハードディスク、ＣＤ
−ＲＯＭ、ＭＯ（光磁気ディスク）等のランダムアクセ
スが可能な記憶装置から、所定のデータを読み出す場
合、必須であるわけではないが、現実には、ヘッドのシ
ーク時間が非常に遅いため、シーケンシャルにデータを
読み出すようにした方がよい。従って、データをタイム
スタンプ順に読み出すといった制約条件が存在すること
になる。

【００８２】図８は、チャンネル２において、準備処理
と再生処理が重なる場合の各チャンネルにおける準備処
理と再生処理の実行順序を示したタイムチャートであ
る。このように、準備処理と再生処理が重なるような場
合、即ち、チャンネル２の準備処理の終了時刻（時刻Ｔ
１３）が、チャンネル２の再生処理の開始時刻（時刻Ｔ
１２）より後になるような場合、例えば、準備処理を前
にずらすようにスケジューリングすることが考えられ
る。

【００８３】図９は、図８において、チャンネル２の準
備処理を早めに行うようにした場合の各チャンネルにお
ける準備処理と再生処理の実行順序を示したタイムチャ
ートである。この場合、チャンネル３の準備処理が終了
した（時刻Ｔ２１）後、チャンネル２の準備処理を開始
するようにしている。この場合のように、チャンネル２
の準備処理を前にずらすなどして、準備処理のスケジュ
ーリングを行うことにより、各チャンネルの再生処理
を、それぞれタイムスタンプ通りの時刻（またはそれに
近い時刻）に開始させるようにすることができる。

【００８４】準備処理の開始時刻をスケジューリングす
る場合、各チャンネルの優先順位に従って、例えば、図
１０または図１１に示すようなスケジューリング処理
が、図５および図６のフローチャートを参照して上述し
た方法により行われる。

【００８５】図１０は、図８に示した場合と同様に、チ
ャンネル２において、準備処理と再生処理が重なり、か
つ、チャンネル２の準備処理に要する時間が比較的長い
場合のスケジューリングを示したタイムチャートであ
る。この場合、チャンネル２の準備処理が長いため、そ
の開始時刻を、図９の場合のように、チャンネル３の準
備処理が終了した時刻（時刻Ｔ２１）にずらしたとして
も、チャンネル２の準備処理の終了時刻が、チャンネル
３の再生処理の開始時刻（時刻Ｔ３１）と重なってしま
う。

【００８６】このような場合、チャンネル２の優先順位
と、チャンネル３の優先順位を比較し、チャンネル３の
優先順位の方が高い場合、チャンネル２の準備処理の開
始時刻を、チャンネル３の再生処理が終了する時刻（時
刻Ｔ３２）に設定し、チャンネル２の再生処理の開始時
刻を、チャンネル２の準備処理の終了時刻（Ｔ３３）に
ずらすようにスケジューリングする。

【００８７】その結果、チャンネル２より優先順位が高
いチャンネル３の再生処理がタイムスタンプ通りの時刻
に実行され、チャンネル３より優先順位が低いチャンネ
ル２の再生処理の開始時刻が、タイムスタンプより後ろ
に所定の時間だけずらされる。

【００８８】一方、チャンネル２の優先順位の方が、チ
ャンネル３の優先順位より高い場合、図１１に示すよう
に、まず、チャンネル２の準備処理の開始時刻を、チャ
ンネル３の準備処理が終了した時刻（時刻Ｔ２１）にず
らし、次に、チャンネル３の再生処理の開始時刻を、チ
ャンネル２の準備処理が終了した時刻（時刻Ｔ４１）に
ずらす。

【００８９】これにより、チャンネル３より優先順位が
高いチャンネル２の再生処理が、そのタイムスタンプ通
りの時刻に実行され、チャンネル２より優先順位が低い
チャンネル３の再生処理の開始時刻が、そのタイムスタ
ンプより後ろに所定の時間だけずらされる。

【００９０】このように、予め設定されたタイムスタン
プ、およびチャンネル間の優先順位に基づいて、各チャ
ンネルの準備処理、または再生処理の開始時刻をスケジ
ューリングすることにより、人間に違和感のない、最適
なタイミングで、各チャンネルの再生処理を行うように
することができる。

【００９１】なお、上記実施例においては、本発明をマ
ルチメディア再生装置に適用した場合について説明した
が、ＡＶ機器等の他の電子機器に適用することも可能で
ある。

【００９２】また、上記実施例においては、チャンネル
の数を３つとしたが、これ以外の任意の数とすることが
できる。

【００９３】

【発明の効果】請求項１または６に記載のスケジューリ
ング方法または装置によれば、時間管理情報、または各
チャンネル間に設定された優先順位の少なくともいずれ
か一方に基づいて、再生用データを再生する前に、予
め、再生用データを再生する時刻、および再生用データ
を読み込む時刻をスケジューリングするようにしたの
で、ＣＰＵを効率的に使用するようにすることができ
る。従って、携帯情報端末等の計算パワーが限られ、入
出力の速度が遅い機器において、マルチメディア情報の
再生が可能となる。

【００９４】請求項２または７に記載のスケジューリン
グ方法または装置によれば、再生用データは、音声デー
タ、テキストデータ、または画像データの少なくともい
ずれか１つであるようにしたので、マルチメディア情報
を再生することができる。

【００９５】請求項３または８に記載のスケジューリン
グ方法または装置によれば、音声データに対応するチャ
ンネルの優先順位を最も高くするようにしたので、音声
データの再生時刻をできる限りずらすことがないように
することができる。従って、人間にとって、違和感がな
いような最適なタイミングで、音声データを再生するこ
とが可能となる。

【００９６】請求項４または９に記載のスケジューリン
グ方法または装置によれば、時間管理情報をパケットの
タイムスタンプとは別に記憶するようにしたので、時間
管理情報のタイムスタンプに基づいて、再生用データの
読み込み時刻および再生時刻を予め決定することができ
る。従って、人間にとって、違和感がないような最適な
タイミングで、画像データ、音声データ、およびテキス
トデータをそれぞれ再生することが可能となる。

【００９７】請求項５または１０に記載のスケジューリ
ング方法または装置によれば、再生用データは、所定の
伝送媒体または記憶媒体を介して読み込まれるようにし
たので、様々な方法で、再生用データを読み込むことが
できる。従って、様々な機器に応用することが可能とな
る。

【図面の簡単な説明】

【図１】本発明のスケジューリング方法および装置を応
用したマルチメディア情報再生装置の一実施例の構成を
示すブロック図である。

【図２】図１のマルチメディア情報再生装置に用いるマ
ルチメディア情報の構成を示す図である。

【図３】図１のマルチメディア情報再生装置によってス
ケジューリングされたスケジューリングリストの構成を
示す図である。

【図４】図１のマルチメディア情報再生装置によって行
われるスケジューリングの方法を説明するためのフロー
チャートである。

【図５】図４のステップＳ３における再生処理のスケジ
ューリングの方法を詳細に説明するためのフローチャー
トである。

【図６】図４のステップＳ４における準備処理のスケジ
ューリングの方法を詳細に説明するためのフローチャー
トである。

【図７】処理時間が比較的短い場合に、各チャンネルの
準備処理と再生処理がスケジューリングされた場合のタ
イムチャートである。

【図８】チャンネル２の準備処理と再生処理が重なる場
合のタイムチャートである。

【図９】図８において、チャンネル２の準備処理を前に
ずらした場合のタイムチャートである。

【図１０】チャンネル３の優先順位の方がチャンネル２
の優先順位より高い場合のスケジューリング方法を説明
するためのタイムチャートである。

【図１１】チャンネル２の優先順位の方がチャンネル３
の優先順位より高い場合のスケジューリング方法を説明
するためのタイムチャートである。

【図１２】従来のマルチメディア情報再生装置の一例の
構成を示すブロック図である。

【図１３】従来のマルチメディア情報の構成を示す図で
ある。

【符号の説明】

１二次記憶装置２パケット分配部３，４，５，６，７，８バッファ１１ＣＰＵ１２時計１３メモリ１４入出力装置１５バス

Claims

【特許請求の範囲】

【請求項１】少なくとも所定の時刻を指定するタイム
スタンプ、メディアの種類に対応したチャンネル番号、
および前記メディアに対応した所定の再生用データから
なるパケットを読み込むタイミングと、前記パケットの
再生用データを再生するタイミングをスケジューリング
するスケジューリング方法において、前記パケットのそれぞれに含まれる前記タイムスタンプ
と、前記メディアの種類を示す前記チャンネル番号より
構成される時間管理情報を記憶し、前記メディアに優先順位を設定し、前記再生用データを再生する前に、前記時間管理情報、
または前記優先順位の少なくともいずれか一方に基づい
て、前記パケットの再生用データを再生する再生時刻を
スケジューリングし、前記再生用データを再生する前に、前記時間管理情報、
または前記優先順位の少なくともいずれか一方に基づい
て、前記パケットの再生用データを読み込む読み込み時
刻をスケジューリングし、前記読み込み時刻に従って、前記再生用データを読み込
み、前記再生時刻に従って、前記再生用データを再生するこ
とを特徴とするスケジューリング方法。
【請求項２】前記再生用データは、音声データ、テキ
ストデータ、または画像データの少なくともいずれか１
つであることを特徴とする請求項１に記載のスケジュー
リング方法。
【請求項３】前記音声データに対応するチャンネルの
優先順位が最も高く設定されることを特徴とする請求項
１または２に記載のスケジューリング方法。
【請求項４】前記時間管理情報は、前記パケットの前
記タイムスタンプとは別に記憶されることを特徴とする
請求項１に記載のスケジューリング方法。
【請求項５】前記再生用データは、所定の伝送媒体、
または記録媒体を介して読み込まれることを特徴とする
請求項１に記載のスケジューリング方法。
【請求項６】少なくとも所定の時刻を指定するタイム
スタンプ、メディアの種類に対応したチャンネル番号、
および前記メディアに対応した所定の再生用データから
なるパケットを読み込むタイミングと、前記パケットの
再生用データを再生するタイミングをスケジューリング
するスケジューリング装置において、前記パケットのそれぞれに含まれる前記タイムスタンプ
と、前記チャンネル番号より構成される時間管理情報を
記憶する記憶手段と、前記メディアに優先順位を設定する設定手段と、前記再生用データを再生する前に、前記記憶手段に記憶
されている前記時間管理情報、または前記設定手段によ
り設定された前記優先順位の少なくともいずれか一方に
基づいて、前記パケットの再生用データを再生する再生
時刻をスケジューリングする第１スケジューリング手段
と、前記再生用データを再生する前に、前記記憶手段に記憶
されている前記時間管理情報、または前記設定手段によ
り設定された前記優先順位の少なくともいずれか一方に
基づいて、前記パケットの再生用データを読み込む読み
込み時刻をスケジューリングする第２スケジューリング
手段と、前記読み込み時刻に従って、前記再生用データを読み込
む読み込み手段と、前記再生時刻に従って、前記再生用データを再生する再
生手段とを備えることを特徴とするスケジューリング装
置。
【請求項７】前記再生用データは、音声データ、テキ
ストデータ、または画像データの少なくともいずれか１
つであることを特徴とする請求項６に記載のスケジュー
リング装置。
【請求項８】前記設定手段は、前記音声データに対応
するチャンネルの優先順位を最も高く設定することを特
徴とする請求項６または７に記載のスケジューリング装
置。
【請求項９】前記記憶手段は、前記時間管理情報を、
前記パケットの前記タイムスタンプとは別に記憶するこ
とを特徴とする請求項６に記載のスケジューリング装
置。
【請求項１０】前記読み込み手段は、前記再生用デー
タを、所定の伝送媒体、または記憶媒体を介して読み込
むことを特徴とする請求項６に記載のスケジューリング
装置。