JPH0981444A - Multimedia data retrieval system, multimedia data scheduling device, multimedia data reproducing method and reproducing program storage medium - Google Patents

Multimedia data retrieval system, multimedia data scheduling device, multimedia data reproducing method and reproducing program storage medium

Info

Publication number
JPH0981444A
JPH0981444A JP7240351A JP24035195A JPH0981444A JP H0981444 A JPH0981444 A JP H0981444A JP 7240351 A JP7240351 A JP 7240351A JP 24035195 A JP24035195 A JP 24035195A JP H0981444 A JPH0981444 A JP H0981444A
Authority
JP
Japan
Prior art keywords
multimedia data
data
frame
time
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP7240351A
Other languages
Japanese (ja)
Inventor
Kouki Katou
光幾 加藤
Akiko Kondou
朗子 近藤
Hiroshi Ishikawa
博 石川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP7240351A priority Critical patent/JPH0981444A/en
Publication of JPH0981444A publication Critical patent/JPH0981444A/en
Withdrawn legal-status Critical Current

Links

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a multimedia data retrieval system which is capable of controlling the load necessary of reproducing multimedia data. SOLUTION: When a multimedia data management means 2 independently performs the management of the contents of describing the matter regarding an event and the management of the multimedia data which is corresponding to the contents and shows the substance of the contents, makes the plural multimedia data stored in a multimedia data storage means 1 correspond to one content and retrieved multimedia data is presented to a user, the load when it is displayed on a multimedia data display means 5 is read from a load information storage means 4 and multimedia data to be used for a presentation is selected from the plural multimedia data by a multimedia data selection means 3.

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【発明の属する技術分野】本発明は、マルチメディアデ
ータ検索システム、マルチメディアデータのスケジュー
リング装置、マルチメディアデータの再生方法及び再生
プログラム記憶媒体に関し、マルチメディアデータベー
スのデータ管理やデータ再生の管理に適用して好適なも
のである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a multimedia data retrieval system, a multimedia data scheduling device, a multimedia data reproducing method, and a reproducing program storage medium, and is applied to data management of a multimedia database and data reproducing management. And is suitable.

【０００２】[0002]

【従来の技術】近年、マルチメディアの利用が盛んにな
っており、マルチメディアの蓄積、検索、再生を統合し
て行うプラットフォームとして、マルチメディアデータ
ベース（ＭＭＤＢ）が有望である。2. Description of the Related Art In recent years, the use of multimedia has become popular, and the multimedia database (MMDB) is promising as a platform for integrating storage, retrieval, and reproduction of multimedia.

【０００３】マルチメディアデータベースは、テキス
ト、グラフィックス、動画像、音声など性質が異なるメ
ディアに対し、データの符号化などの各メディアに特有
な操作をユーザから隠蔽することにより、メディアを統
合的に扱えるようにしたものである。The multimedia database integrates media such as text, graphics, moving images, and voice with different properties by concealing operations unique to each media such as data coding from the user. It is designed to be handled.

【０００４】マルチメディアデータの大きな特徴の１つ
は、動画像、音声などの時系列データを含んでいること
である。これらの時間に関して連続した連続メディアデ
ータは、適切な再生スピード（例えば、動画像を記録し
た時と同じピクチャレート）で再生する必要がある。One of the major characteristics of multimedia data is that it includes time-series data such as moving images and sounds. Continuous media data continuous for these times must be reproduced at an appropriate reproduction speed (for example, the same picture rate as when a moving image was recorded).

【０００５】また、動画像と音声とを同時に出力したり
する場合などにおいて、メディア間の同期を取るため
に、指定時刻から正確に再生を開始し、再生中に処理の
遅延が許されないという要求がある。Further, in the case of outputting a moving image and a voice at the same time, in order to synchronize the media, it is required that the reproduction be started accurately from the designated time and the processing delay is not allowed during the reproduction. There is.

【０００６】さらに、マルチメディアデータを検索した
結果として、複数の動画像を同時に表示する場合、デー
タの復号にコンピュータの資源を大量に用いるため、資
源の適切な配分を行う必要がある。Further, when a plurality of moving images are displayed at the same time as a result of searching multimedia data, a large amount of computer resources are used for decoding the data, so it is necessary to appropriately allocate the resources.

【０００７】一方、連続メディアはそのデータ量が膨大
である。そして、マルチメディアデータは、その内容に
よって意味を持つ時間帯に分割され、分割したそれぞれ
の時間帯が重なりを有する場合がある。On the other hand, the continuous media has an enormous amount of data. Then, the multimedia data is divided into time zones that have meaning according to the contents, and the divided time zones may have an overlap.

【０００８】例えば、動画像に映っている物体は、それ
ぞれある時刻に出現し、所定の時間が経過したのち消滅
する。画面上には、複数の物体が同時に映っている場合
があり、注目する物体ごとに、連続メディアの時間帯の
範囲が異なる。そのため、連続メディアデータを予め細
かく分割して管理するのは好ましくなく、連続メディア
データを連続したまま扱い、必要に応じて連続メディア
データの一部分にアクセスできるようにするべきであ
る。For example, objects appearing in a moving image each appear at a certain time and disappear after a lapse of a predetermined time. A plurality of objects may be displayed on the screen at the same time, and the range of the time zone of continuous media differs depending on the object of interest. Therefore, it is not preferable to manage the continuous media data by finely dividing it in advance, and it is necessary to handle the continuous media data continuously so that a part of the continuous media data can be accessed as needed.

【０００９】そのため、マルチメディアデータベースで
は、マルチメディアデータの一部分を検索できるような
データモデルと、検索した時間帯をユーザに提示する場
合に、連続メディアを連続したまま扱い、且つマルチメ
ディアデータの一部分にアクセスできる方法が必要とな
っていた。Therefore, in the multimedia database, when presenting the user with a data model capable of retrieving a part of the multimedia data and the retrieved time zone, the continuous media are treated continuously and a part of the multimedia data is treated. I needed a way to access.

【００１０】[0010]

【発明が解決しようとする課題】従来のマルチメディア
データの格納方法は、マルチメディアデータとそのマル
チメディアデータが記録している事象とを１対１に対応
させて格納するようにしていた。このため、例えば、あ
る事象を品質の異なる複数の方法でマルチメディアデー
タに記録しても、その事象が異なる品質のマルチメディ
アデータで記録されていることを表現する方法がなかっ
た。In the conventional method of storing multimedia data, the multimedia data and the event recorded by the multimedia data are stored in one-to-one correspondence. Therefore, for example, even if an event is recorded in multimedia data by a plurality of methods having different qualities, there is no method for expressing that the event is recorded as multimedia data having different qualities.

【００１１】また、マルチメディアデータの品質を選択
する機能が提供されいないため、資源に余裕がある場合
や資源が不足している場合でも、１つのマルチメディア
データを用いなければならず、コンピュータ資源に対応
してマルチメディアデータの品質を変えることができな
かった。Further, since the function of selecting the quality of multimedia data is not provided, one multimedia data must be used even when resources are available or when resources are insufficient. It was not possible to change the quality of multimedia data corresponding to.

【００１２】また、マルチメディアデータ検索システム
は、マルチメディアデータをひとまとまりとしてとらえ
ているため、マルチメディアデータの一部分にアクセス
することができないという問題があった。Further, the multimedia data search system has a problem that it is impossible to access a part of the multimedia data because the multimedia data is regarded as a group.

【００１３】また、マルチメディアデータをユーザに提
示するためのマルチメディアデータの復号には、ハード
ウェアを用いる方法とソフトウェアを用いる方法とがあ
る。ハードウェアを用いる復号では、複数のストリーム
を同時に復号することができないため、動画像を複数個
同時に表示することができないという問題があった。。Further, decoding of multimedia data for presenting the multimedia data to a user includes a method using hardware and a method using software. Decoding using hardware has a problem that a plurality of moving images cannot be displayed at the same time because a plurality of streams cannot be decoded at the same time. .

【００１４】また、ソフトウェアを用いる復号では、複
数のストリームを同時に復号することはできるが、コン
ピュータの資源に限りがあるため、動画像の場合、再生
時間内に正しく再生しようとするとフレームを飛ばして
表示を行わなければならず、フレームが不定の間隔で表
示され見苦しい画像となり、無駄な処理が生じるという
問題があった。また、フレームを飛ばさないように再生
しようとした場合、正しい時間で表示できず、再生時間
の遅れが生じるため、他のマルチメディアデータとの同
期を保つことができないという問題があった。Further, in decoding using software, a plurality of streams can be decoded at the same time, but since the resources of the computer are limited, in the case of a moving image, a frame is skipped if it is attempted to be reproduced correctly within the reproduction time. There is a problem in that display has to be performed, frames are displayed at indefinite intervals, resulting in an unsightly image, and useless processing occurs. In addition, when trying to reproduce without skipping frames, there is a problem that it cannot be displayed at the correct time and the reproduction time is delayed, so that synchronization with other multimedia data cannot be maintained.

【００１５】また、スクリプト（データの検索、表示な
どを指示する記述）を実行する場合など、メディアが再
生される時間帯が予め分かっており、資源量が途中で変
化することが事前に予測できても、それに対応でない。Also, when a script (a description for instructing data retrieval, display, etc.) is executed, the time zone in which the medium is played is known in advance, and it is possible to predict in advance that the resource amount will change in the middle. However, it does not correspond to it.

【００１６】そこで、本発明の目的は、マルチメディア
データを再生するために必要な負荷を制御することがで
き、マルチメディアデータの一部分を検索することがで
きるマルチメディアデータ検索システム、マルチメディ
アデータのスケジューリング装置、マルチメディアデー
タの再生方法及び再生プログラム記憶媒体を提供するこ
とである。Therefore, an object of the present invention is to control a load required to reproduce multimedia data and to search a part of the multimedia data. A scheduling device, a method for reproducing multimedia data, and a reproduction program storage medium are provided.

【００１７】[0017]

【課題を解決するための手段】上述した課題を解決する
ために、請求項１の発明によれば、１つの事象に対応す
る複数のマルチメディアデータを生成し、１つの事象に
対応する複数のマルチメディアデータの中から１つを選
択する。このことにより、マルチメディアデータを事象
ごとに管理することができ、１つの事象に複数のマルチ
メディアデータを対応させることができるため、１つの
事象に対応する異なる品質のマルチメディアデータを用
意しておくことにより、マルチメディアデータを再生す
るために必要な負荷を制御することができる。ここで、
事象とは、例えば「７時ニュース」のときは、一般的意
味における７時のニュースのことであり、後述するコン
テンツ（内容）とはこの事象とほぼ同義であるがこの事
象をコンピュータで扱うための表現である。In order to solve the above-mentioned problems, according to the invention of claim 1, a plurality of multimedia data corresponding to one event are generated, and a plurality of multimedia data corresponding to one event are generated. Select one from the multimedia data. By this, multimedia data can be managed for each event, and one event can be associated with a plurality of multimedia data. Therefore, multimedia data of different qualities corresponding to one event should be prepared. By setting it, the load required to reproduce the multimedia data can be controlled. here,
An event is, for example, "7 o'clock news", which means news at 7 o'clock in a general sense, and content (details) described later is almost synonymous with this event, but since this event is handled by a computer. Is an expression of.

【００１８】また、請求項２の発明によれば、１つの事
象に対応する複数のマルチメディアデータに対し、前記
事象を表す共通の識別子を対応させ、識別子を指定する
ことにより、識別子に対応する複数のマルチメディアデ
ータの中から１つを選択する。このことにより、１つの
事象に対応する複数のマルチメディアデータを容易に取
り出すことができる。According to the second aspect of the invention, a plurality of multimedia data corresponding to one event is associated with a common identifier representing the event, and the identifier is designated to correspond to the identifier. One of the plurality of multimedia data to be selected is selected. This makes it possible to easily extract a plurality of multimedia data corresponding to one event.

【００１９】また、請求項３の発明によれば、複数のマ
ルチメディアデータに対し、事象を表す共通の識別子を
対応させ、マルチメディアデータを表示する際の処理に
必要な負荷量を、複数のマルチメディアデータのそれぞ
れに対応させて記憶し、前記負荷量に基づいて、共通の
識別子を有する複数のマルチメディアデータの中から１
つを選択する。このことにより、マルチメディアデータ
を再生するために必要な負荷を制御しながら、１つの事
象に対応する複数のマルチメディアデータから適切なも
のを容易に取り出すことができる。例えば、１つのコン
テンツに対応して異なった品質を有する複数のマルチメ
ディアデータから負荷に応じて適切なマルチメディアデ
ータを選択することにより、フレーム飛ばしや再生遅れ
がなくマルチメディアデータを再生することができる。According to the third aspect of the present invention, a common identifier representing an event is associated with a plurality of multimedia data, and a load amount required for processing when displaying the multimedia data is set to a plurality of. One of a plurality of multimedia data stored in association with each of the multimedia data and having a common identifier is stored based on the load amount.
Choose one. This makes it possible to easily extract an appropriate one from a plurality of multimedia data corresponding to one event while controlling the load required to reproduce the multimedia data. For example, multimedia data can be reproduced without frame skipping or reproduction delay by selecting appropriate multimedia data according to load from a plurality of multimedia data having different qualities corresponding to one content. it can.

【００２０】また、請求項４の発明によれば、連続メデ
ィアデータから品質の異なるデータを生成し、生成した
データをコンテンツと対応付け、前記コンテンツを具象
させる場合、前記コンテンツに対応づけられている１つ
以上のデータの中から適切なものを選択する。このこと
により、同一のコンテンツで異なる品質のマルチメディ
アデータからを適切なものを選択することができ、マル
チメディアデータを再生するために必要な負荷を制御す
ることができる。According to the invention of claim 4, when data of different quality is generated from continuous media data, the generated data is associated with the content, and the content is embodied, it is associated with the content. Select the appropriate one or more data. With this, it is possible to appropriately select multimedia data of the same content and different qualities, and it is possible to control the load necessary for reproducing the multimedia data.

【００２１】また、請求項５の発明によれば、ピクチャ
ーレートがｒフレーム／秒の動画像データに対し、フレ
ームをｎ個置きに選択することにより、ピクチャーレー
トがｒ／（ｎ＋１）フレーム／秒の動画像データを生成
する。このことにより、同一のコンテンツで異なる品質
のマルチメディアデータを容易に生成することができ
る。According to the fifth aspect of the invention, for the moving image data having a picture rate of r frames / second, every n frames are selected so that the picture rate is r / (n + 1) frames / second. Generates moving image data. This makes it possible to easily generate multimedia data having the same content but different qualities.

【００２２】また、請求項６の発明によれば、画像デー
タのフレームサイズを小さくしたフレームを生成し、前
記フレームによりフレームサイズの小さい画像データを
生成する。このことにより、同一のコンテンツで異なる
品質のマルチメディアデータを容易に生成することがで
きる。According to the invention of claim 6, a frame in which the frame size of the image data is reduced is generated, and the image data having a small frame size is generated by the frame. This makes it possible to easily generate multimedia data having the same content but different qualities.

【００２３】また、請求項７の発明によれば、マルチメ
ディアデータの内容の一部を抽出してビューを設定し、
１つ以上のビューに対応するコンテンツとそれぞれのビ
ューの表示開始時刻情報とに基づいて、前記コンテンツ
に対応するマルチメディアデータから適当なものを選択
し、前記表示開始時刻から表示する。このことにより、
マルチメディアデータの一部分を容易に検索することが
できる。According to the invention of claim 7, a part of the contents of the multimedia data is extracted to set the view,
Based on the contents corresponding to one or more views and the display start time information of each view, an appropriate one is selected from the multimedia data corresponding to the contents and displayed from the display start time. By this,
A part of multimedia data can be easily searched.

【００２４】また、請求項８の発明によれば、マルチメ
ディアデータの内容の一部のビューの再生開始時刻と再
生時間長との組の情報から、前記ビューの再生が重なる
時間帯を算出し、前記各時間帯ごとに、前記ビューに対
応するコンテンツを検索し、前記コンテンツに対応する
マルチメディアデータの再生処理に必要な負荷量を、前
記マルチメディアデータの品質属性から算出し、前記負
荷量に基づいて、再生に使用するマルチメディアデータ
を選択する。このことにより、同一のコンテンツで異な
る品質のマルチメディアデータの一部分から適切なもの
を選択することができ、マルチメディアデータの一部分
を再生するために必要な負荷を制御することができる。Further, according to the invention of claim 8, the time zone in which the reproduction of the views overlaps is calculated from the information of the pair of the reproduction start time and the reproduction time length of a part of the contents of the multimedia data. , The content corresponding to the view is searched for each of the time zones, and the load amount necessary for the reproduction processing of the multimedia data corresponding to the content is calculated from the quality attribute of the multimedia data. Based on, select the multimedia data to use for playback. By this, it is possible to select an appropriate one from a part of multimedia data having the same content and different qualities, and it is possible to control a load required to reproduce a part of the multimedia data.

【００２５】また、請求項９の発明によれば、ＭＰＥＧ
データのＩフレームを指定レートで表示するのに必要な
単位時間当たりの処理時間を、負荷量として用いる。こ
のことにより、マルチメディアデータを再生するために
必要な負荷量を短時間で容易に求めることができる。According to the invention of claim 9, MPEG
The processing time per unit time required to display the I frame of data at the specified rate is used as the load amount. With this, it is possible to easily obtain the load amount required for reproducing the multimedia data in a short time.

【００２６】また、請求項１０の発明によれば、コンテ
ンツにＭＰＥＧデータが対応する場合、各時間帯ごとの
前記負荷量が１００％を越えないように、再生に使用す
るマルチメディアデータを選択する。このことにより、
マルチメディアデータの再生に用いる資源の範囲内でマ
ルチメディアデータの再生を行うことができる。According to the tenth aspect of the invention, when the content corresponds to the MPEG data, the multimedia data used for reproduction is selected so that the load amount for each time period does not exceed 100%. . By this,
It is possible to reproduce multimedia data within the range of resources used for reproducing multimedia data.

【００２７】また、請求項１１の発明によれば、コンテ
ンツに対応する動画像データにおいて、フレームサイズ
とピクチャレートとが異なる画像が存在する場合、フレ
ームサイズが大きい方を優先して選択し、フレームサイ
ズが同一でピクチャレートが異なる場合、ピクチャレー
トの大きい方を優先して選択する。このことにより、マ
ルチメディアデータの再生に用いる資源の範囲内で最適
な品質のマルチメディアデータの再生を行うことができ
る。According to the eleventh aspect of the present invention, in the moving image data corresponding to the content, if there are images having different frame sizes and picture rates, the one having the larger frame size is selected preferentially and the frame is selected. When the sizes are the same but the picture rates are different, the one with the higher picture rate is preferentially selected. As a result, it is possible to reproduce multimedia data of optimum quality within the range of resources used for reproducing multimedia data.

【００２８】また、請求項１２の発明によれば、ビュー
の再生時において、同一のビューに対して同一サイズの
フレームを採用する。このことにより、再生の途中にフ
レームサイズが変化して、画面が見にくくなることを回
避できる。According to the twelfth aspect of the present invention, when the views are reproduced, frames of the same size are adopted for the same view. As a result, it is possible to prevent the frame size from changing during reproduction, which makes it difficult to see the screen.

【００２９】また、請求項１３の発明によれば、特定の
時間帯におけるビューの再生に必要な負荷量が所定の値
を越える場合、前記特定の時間帯におけるビューの再生
に用いるフレームサイズを小さいサイズに変更し、且つ
他の時間帯で用いられている前記ビューのフレームサイ
ズを前記特定の時間帯における前記ビューのフレームサ
イズに一致させる。このことにより、再生の途中にフレ
ームサイズが変化して、画面が見にくくなることを防止
できる。According to the thirteenth aspect of the present invention, when the load amount required for reproducing the view in a specific time zone exceeds a predetermined value, the frame size used for reproducing the view in the specific time zone is small. The size of the view is changed to match the frame size of the view used in another time zone with the frame size of the view in the specific time zone. As a result, it is possible to prevent the frame size from changing during reproduction and making the screen difficult to see.

【００３０】また、請求項１４の発明によれば、ビュー
に対応する各ストリームデータに優先順位を付与し、特
定の時間帯におけるビューの再生に必要な負荷量の合計
が所定の値を越える場合、前記特定の時間帯におけるビ
ューの再生に用いるストリームデータを負荷量の低い優
先順位のものに変更し、前記ビューの再生に用いるスト
リームデータの優先順位を変更した結果、前記ビューの
再生に用いるフレームサイズが変化した場合、前記ビュ
ーの全ての時間帯における優先順位を、前記特定の時間
帯における優先順位に一致させ、前記特定の時間帯より
前の各ビューの再生に用いるストリームデータを、同一
フレームサイズの範囲内で最も優先度の高いものに変更
し、最初の時間帯からストリームデータの選択をやり直
す。このことにより、複数のビューを同時に表示する場
合において、再生の途中にフレームサイズが変化して、
画面が見にくくなることを防止しながら、マルチメディ
アデータの再生に用いる負荷量を資源の範囲内に抑える
ことができる。According to the fourteenth aspect of the present invention, when priority is given to each stream data corresponding to a view, and the total load amount required to reproduce the view in a specific time zone exceeds a predetermined value. A frame used for reproducing the view, as a result of changing the stream data used for reproducing the view in the specific time zone to one having a low load priority and changing the priority of the stream data used for reproducing the view. When the size is changed, the priorities in all the time zones of the view are matched with the priorities in the specific time zone, and the stream data used for reproducing each view before the specific time zone is the same frame. Change to the one with the highest priority within the size range, and select stream data again from the first time slot. As a result, when multiple views are displayed simultaneously, the frame size changes during playback,
It is possible to prevent the screen from becoming difficult to see and to keep the load amount used for reproducing multimedia data within the range of resources.

【００３１】また、請求項１５の発明によれば、ビュー
が動画像の場合、ビューを再生する時間帯を数分割し、
マルチメディアデータのファイル名、再生開始時刻、部
分アクセスする場所、再生時間長の組を各時間帯ごとに
指定して再生時のピクチャレートを変化させる。このこ
とにより、マルチメディアデータの一部分を再生するた
めに必要な負荷を制御することができる。According to the fifteenth aspect of the invention, when the view is a moving image, the time zone for reproducing the view is divided into several parts,
The picture rate at the time of reproduction is changed by designating a set of a file name of multimedia data, a reproduction start time, a place of partial access, and a reproduction time length for each time period. This makes it possible to control the load required to reproduce a part of the multimedia data.

【００３２】また、請求項１６の発明によれば、コンテ
ンツの表示場所が指定されていない場合、マルチメディ
アデータを表示するウィンドウ同士が重ならないように
表示場所を決定する。このことにより、複数のビューが
重なったまま同時に再生されることを防止できる。According to the sixteenth aspect of the invention, when the display location of the content is not designated, the display location is determined so that the windows displaying the multimedia data do not overlap each other. As a result, it is possible to prevent a plurality of views from being simultaneously reproduced while overlapping.

【００３３】また、請求項１７の発明によれば、ＭＰＥ
Ｇ−１ｖｉｄｅｏデータにおけるＧＯＰヘッダの開始バ
イトと、ＧＯＰ内で最初に再生されるフレーム番号との
対応表を、前記ＭＰＥＧ−１ｖｉｄｅｏデータの属性と
して備え、ＭＰＥＧ−１ｖｉｄｅｏデータを指定フレー
ムから再生する場合、前記対応表を用いることにより、
前記指定フレームが含まれるＧＯＰとＧＯＰの先頭から
何フレーム目であるかを示すオフセットとを前記指定フ
レームの番号から計算し、シーケンスヘッダを解析した
後、得られたＧＯＰまでファイルポインタを移動し、前
記オフセット分のフレームを表示することなく、前記Ｍ
ＰＥＧ−１ｖｉｄｅｏデータを復号し、前記指定フレー
ムから前記ＭＰＥＧ−１ｖｉｄｅｏデータの再生を開始
する。このことにより、ＭＰＥＧ−１ｖｉｄｅｏデータ
を指定フレームから正確に再生することができる。According to the invention of claim 17, MPE
A correspondence table of the start byte of the GOP header in the G-1 video data and the frame number first reproduced in the GOP is provided as an attribute of the MPEG-1 video data, and when the MPEG-1 video data is reproduced from the designated frame, By using the correspondence table,
A GOP including the designated frame and an offset indicating the frame number from the head of the GOP are calculated from the designated frame number, the sequence header is analyzed, and then the file pointer is moved to the obtained GOP. Without displaying the frame for the offset, the M
The PEG-1 video data is decoded, and the reproduction of the MPEG-1 video data is started from the designated frame. As a result, the MPEG-1 video data can be accurately reproduced from the designated frame.

【００３４】また、請求項１８の発明によれば、ＭＰＥ
Ｇ−１ａｕｄｉｏデータにおける符号化レートを、前記
ＭＰＥＧ−１ａｕｄｉｏデータの属性として取得し、前
記ＭＰＥＧ−１ａｕｄｉｏデータの途中からアクセスす
る場合、スキップする時間長と前記符号化レートとに基
づいて、前記ＭＰＥＧ−１ａｕｄｉｏデータのアクセス
開始箇所を計算し、前記アクセス開始箇所に最も近いフ
レームヘッダを検索し、前記ＭＰＥＧ−１ａｕｄｉｏデ
ータの再生を前記フレームヘッダから開始する。このこ
とにより、ＭＰＥＧ−１ａｕｄｉｏデータを途中から正
確に再生することができる。According to the eighteenth aspect of the invention, the MPE
When the coding rate in the G-1 audio data is acquired as an attribute of the MPEG-1 audio data and accessed from the middle of the MPEG-1 audio data, based on the skipped time length and the coding rate, the MPEG- The access start point of 1 audio data is calculated, the frame header closest to the access start point is searched, and the reproduction of the MPEG-1 audio data is started from the frame header. As a result, the MPEG-1 audio data can be accurately reproduced from the middle.

【００３５】また、請求項１９の発明によれば、同一サ
イズのフレームを持つ複数のマルチメディアデータに対
し、各マルチメディアデータのファイル名、各マルチメ
ディアデータの再生開始時刻、各マルチメディアデータ
の部分アクセスをする場所、各マルチメディアデータの
ピクチャレート、各マルチメディアデータの再生時間長
を指定し、各マルチメディアデータの再生される時間帯
が重ならず、且つ連続している場合、前記各マルチメデ
ィアデータを前記再生開始時刻よりウィンドウ上に表示
を開始し、前記部分アクセスをする場所から前記ピクチ
ャレートで前記再生時間長の間、前記各マルチメディア
データを再生する。このことにより、複数のマルチメデ
ィアデータを指定した再生開始時刻から連続して再生す
ることができる。According to the nineteenth aspect of the invention, for a plurality of multimedia data having frames of the same size, the file name of each multimedia data, the reproduction start time of each multimedia data, and the multimedia data of each multimedia data. When the location for partial access, the picture rate of each multimedia data, and the playback time length of each multimedia data are specified and the playback time zones of each multimedia data do not overlap and are continuous, The multimedia data is started to be displayed on the window from the reproduction start time, and the respective multimedia data are reproduced from the place of the partial access at the picture rate for the reproduction time length. As a result, it is possible to continuously reproduce a plurality of multimedia data from the specified reproduction start time.

【００３６】また、請求項２０の発明によれば、最初の
ＭＰＥＧ−１ｖｉｄｅｏデータの再生開始時刻以前に表
示用ウィンドウを生成し、各ＭＰＥＧ−１ｖｉｄｅｏデ
ータのシーケンスヘッダ部分を読み込み初期化を行い、
指定されたＧＯＰバイト及びオフセットから表示する状
態で再生開始時刻を待ち、各ＭＰＥＧ−１ｖｉｄｅｏデ
ータを前記再生開始時刻から連続して再生する。このこ
とにより、各ＭＰＥＧ−１ｖｉｄｅｏデータを指定した
再生開始時刻になった時点で即座に再生することがで
き、複数のＭＰＥＧ−１ｖｉｄｅｏデータを連続して再
生することができる。According to the twentieth aspect of the present invention, a display window is generated before the reproduction start time of the first MPEG-1 video data, the sequence header portion of each MPEG-1 video data is read, and initialization is performed.
The reproduction start time is waited in a state of displaying from the designated GOP byte and offset, and each MPEG-1 video data is continuously reproduced from the reproduction start time. As a result, each MPEG-1 video data can be immediately reproduced at the designated reproduction start time, and a plurality of MPEG-1 video data can be continuously reproduced.

【００３７】また、請求項２１の発明によれば、ピクチ
ャレートがｒフレーム／秒（ｆｐｓ）のＭＰＥＧ−１ｖ
ｉｄｅｏデータのフレームＳから表示を行う場合、フレ
ームｎのピクチャースタートコードを復号した時点の時
刻Ｔ1 を取得し、表示開始時刻Ｔ0 からの時間が（Ｔ1
−Ｔ0 ）＞（ｎ−Ｓ）／ｒで、且つフレームｎがＢフレ
ームの場合、フレームｎの復号をせず、フレームｎの復
号が終了した時点の時刻Ｔ2 を取得し、表示開始時刻Ｔ
0 からの時間が（Ｔ2 −Ｔ0 ）＞（ｎ−Ｓ）／ｒの場
合、表示を行わないようにする。このことにより、表示
開始時刻までに復号や表示が間に合わないＭＰＥＧ−１
ｖｉｄｅｏデータの復号や表示をスキップすることがで
き、資源を有効に使うことができる。According to the twenty-first aspect of the invention, the MPEG-1v having a picture rate of r frames / second (fps).
When displaying from the frame S of the video data, the time T 1 at the time of decoding the picture start code of the frame n is acquired, and the time from the display start time T 0 is (T 1
-T 0 )> (n−S) / r and the frame n is a B frame, the time T 2 at the time when the decoding of the frame n is finished without decoding the frame n is acquired, and the display start time is obtained. T
When the time from 0 is (T 2 −T 0 )> (n−S) / r, no display is performed. As a result, MPEG-1 which cannot be decoded or displayed by the display start time
Decoding and display of video data can be skipped, and resources can be used effectively.

【００３８】また、請求項２２の発明によれば、マルチ
メディアデータを表示する際の処理に必要な負荷量に基
づいて、事象を表す共通の識別子を与えられた複数のマ
ルチメディアデータの中から１つを選択して表示するプ
ログラムを記憶しておく。このことにより、同一のコン
テンツの複数のマルチメディアデータから適切なものを
選択することができ、マルチメディアデータを再生する
ために必要な負荷を制御することができる。According to the twenty-second aspect of the invention, based on the load amount required for processing when displaying the multimedia data, among the plurality of multimedia data to which a common identifier representing an event is given. A program for selecting and displaying one is stored. With this, it is possible to select an appropriate one from a plurality of multimedia data of the same content, and it is possible to control the load required to reproduce the multimedia data.

【００３９】また、請求項２３の発明によれば、符号化
された複数のマルチメディアデータを予め復号してお
き、各マルチメディアデータの表示開始時刻になった時
点で、復号したマルチメディアデータを順次に表示する
プログラムを記憶しておく。このことにより、復号に要
する時間に影響されることなく、複数のマルチメディア
データを連続して表示することができる。According to the twenty-third aspect of the present invention, a plurality of encoded multimedia data are decoded in advance, and the decoded multimedia data are decoded at the display start time of each multimedia data. The programs to be displayed in sequence are stored. As a result, a plurality of multimedia data can be continuously displayed without being affected by the time required for decoding.

【００４０】[0040]

【発明の実施の形態】以下、本発明の一実施例によるマ
ルチメディアデータ検索システムについて、図面を参照
しながら説明する。BEST MODE FOR CARRYING OUT THE INVENTION A multimedia data search system according to an embodiment of the present invention will be described below with reference to the drawings.

【００４１】図１において、マルチメディアデータ格納
手段１は、１つの事象に対応する複数のマルチメディア
データを格納するものである。また、マルチメディアデ
ータ管理手段２は、複数のマルチメディアデータに対
し、事象を表す共通の識別子を対応させるものである。
また、マルチメディアデータ選択手段３は、表示に必要
な負荷量に基づいて、共通の識別子を有する複数のマル
チメディアデータの中から１つを選択するものである。
また、負荷情報記憶手段４は、マルチメディアデータの
情報を表示する際の処理に必要な負荷量を、複数のマル
チメディアデータのそれぞれに対応させて記憶するもの
である。また、マルチメディアデータ表示手段５は、マ
ルチメディアデータ情報を表示するものである。In FIG. 1, the multimedia data storing means 1 stores a plurality of multimedia data corresponding to one event. Further, the multimedia data management means 2 associates a plurality of multimedia data with a common identifier representing an event.
The multimedia data selection means 3 selects one of a plurality of multimedia data having a common identifier based on the load amount required for display.
Further, the load information storage means 4 stores the load amount required for the processing when displaying the information of the multimedia data in association with each of the plurality of multimedia data. The multimedia data display means 5 displays multimedia data information.

【００４２】そして、マルチメディアデータ管理手段２
において、事象に関する事柄を記述するコンテンツの管
理と、コンテンツに対応しコンテンツの実体を表すマル
チメディアデータの管理とを独立に行うことにより、１
つのコンテンツに対して複数のマルチメディアデータが
対応できるようにする。また、検索したマルチメディア
データをユーザへの提示する場合、負荷情報記憶手段４
に記憶された負荷量を参照することにより、コンピュー
タ資源を考慮しながら複数のマルチメディアデータの中
から提示に用いるマルチメディアデータを選択する。Then, the multimedia data management means 2
In the case of 1., by independently managing the content that describes matters related to events and the multimedia data that corresponds to the content and represents the substance of the content,
Allows multiple multimedia data for one content. When presenting the retrieved multimedia data to the user, the load information storage means 4
The multimedia data to be used for presentation is selected from among the plurality of multimedia data while considering the computer resources by referring to the load amount stored in.

【００４３】図２は、本発明の一実施例によるマルチメ
ディアデータ検索システムの構成を示すブロック図であ
る。図２において、１１はＣＰＵであり、データベース
エンジン２６及びＯＳ２７が動作する。１２は記憶装置
であり、データベースが管理するＯＢデータ１３と、必
要に応じてメディアデータ２０が格納される。１３はオ
ブジェクトベース（ＯＢ）であり、クラス情報１４とメ
ソッド１５とを記憶する。クラス情報１４はコンテンツ
１６を管理するためのインスタンスとストリーム１７を
管理するためのインスタンスを持つ。FIG. 2 is a block diagram showing the structure of a multimedia data search system according to an embodiment of the present invention. In FIG. 2, 11 is a CPU, on which the database engine 26 and the OS 27 operate. A storage device 12 stores OB data 13 managed by the database and media data 20 as necessary. An object base (OB) 13 stores class information 14 and a method 15. The class information 14 has an instance for managing the content 16 and an instance for managing the stream 17.

【００４４】メソッド１５はメディアデータ２０を再生
する際に使用するスケジューラ１８、再生プログラム１
９、ｋｅｙｗｏｒｄ（）メソッド２８、ｓｅｔＶｉｅｗ
（）メソッド２９、ｎｅｗＶｉｄｅｏ（）メソッド３
０、ｎｅｗＡｕｄｉｏ（）メソッド３１、ｎｅｗＲａｔ
ｅ（）メソッド３２、ｎｅｗＳｉｚｅ（）メソッド３
３、ｐｌａｙ（）メソッド３４を含む。メディアデータ
２０はデータベースの外部管理機構を使う場合に用いる
もので、マルチメディアデータを格納する。２１はメモ
リである。２２はＩ／Ｏであり、記憶装置１２とデータ
入力をするためのキーボード２３データ出力をするため
のＣＲＴ２４、スピーカ２５及びＣＰＵ１１を接続す
る。The method 15 is a scheduler 18 used for reproducing the media data 20 and a reproduction program 1
9, keyword () method 28, setView
() Method 29, newVideo () method 3
0, newAudio () method 31, newRat
e () method 32, newSize () method 3
3, including the play () method 34. The media data 20 is used when an external management mechanism of the database is used, and stores multimedia data. 21 is a memory. Reference numeral 22 denotes an I / O, which connects the storage device 12 to the keyboard 23 for data input, the CRT 24 for data output, the speaker 25, and the CPU 11.

【００４５】また、図３に示すように、ＣＰＵ１１でウ
ィンドウシステム３５を管理し、メディアデータ２０と
して、ＭＰＥＧ−１ｖｉｄｅｏデータ３６とＭＰＥＧ−
１ａｕｄｉｏデータ３７とを格納している。Further, as shown in FIG. 3, the CPU 11 manages the window system 35, and as the media data 20, the MPEG-1 video data 36 and MPEG-.
1 audio data 37 is stored.

【００４６】なお、本実施例では、データベースとして
オブジェクト指向データベース（ＯＯＤＢ）を用い、オ
ブジェクト指向データベースに基づいて、マルチメディ
アを扱うための機能を拡張する。In this embodiment, an object-oriented database (OODB) is used as a database, and the function for handling multimedia is expanded based on the object-oriented database.

【００４７】マルチメディアデータベースはオブジェク
ト指向データベースを基礎としており、オブジェクトを
クラス階層で管理する。クラスとして事象を代表するコ
ンテンツクラスと、コンテンツを実際に実現するための
データを管理するストリームクラスとを設ける。コンテ
ンツクラスのインスタンスとして、図４に示すように、
特定の事象を代表するコンテンツオブジェクト３８が存
在し、ストリームクラスのインスタンスとして、マルチ
メディアデータ４０ａ〜４０ｃに対応するストリームオ
ブジェクト３９ａ〜３９ｃが存在する。The multimedia database is based on an object-oriented database and manages objects in a class hierarchy. As a class, a content class that represents an event and a stream class that manages data for actually realizing the content are provided. As an instance of the content class, as shown in Figure 4,
There is a content object 38 representing a specific event, and stream objects 39a to 39c corresponding to the multimedia data 40a to 40c exist as instances of the stream class.

【００４８】例えば、コンテンツオブジェクト３８は、
“１９９５年９月１日午後７時のニュース”や“１９９
５年の運動会”などの事象を代表する。各コンテンツオ
ブジェクト３８は、その事象が起こった時刻、事象の時
間長、事象を表すキーワードなどを属性として持つ。コ
ンテンツオブジェクト３８は、コンテンツオブジェクト
３８を表現する複数のストリームオブジェクト３９ａ〜
３９ｃヘのポインタを持つ。For example, the content object 38 is
“News at 7:00 pm on September 1, 1995” and “199
Each content object 38 has, as attributes, the time at which the event occurred, the time length of the event, a keyword representing the event, etc. The content object 38 represents the content object 38. Multiple stream objects 39a to
It has a pointer to 39c.

【００４９】コンテンツオブジェクト３８が事象の論理
的な表現であるのに対し、ストリームオブジェクト３９
ａ〜３９ｃは事象の物理的な表現である。コンテンツオ
ブジェクト３８を実際に表現するストリームオブジェク
ト３９ａ〜３９ｃは、コンテンツが表す事象をディジタ
ル化したストリームデータに対応する。ストリームデー
タの格納方式として、ストリームデータ自体をデータベ
ースで管理する内部管理機構を用いる場合、ディジタル
化したメディアデータオブジェクトをストリームオブジ
ェクト３９ａ〜３９ｃの属性として持ち、外部管理機構
を用いる場合、ストリームデータ自体をＯＳ２７のファ
イルシステムで管理し、データベースではそのポインタ
を管理する。While the content object 38 is a logical representation of an event, the stream object 39
a to 39c are physical representations of events. The stream objects 39a to 39c that actually represent the content object 38 correspond to stream data obtained by digitizing the phenomenon represented by the content. When an internal management mechanism that manages the stream data itself in a database is used as a storage method of the stream data, a digitized media data object is held as an attribute of the stream objects 39a to 39c, and when an external management mechanism is used, the stream data itself is stored. The OS 27 manages the file system, and the database manages the pointer.

【００５０】ストリームデータをディジタル化する方法
は複数個存在するため、使用する環境、再生するために
必要な負荷、品質等を考慮して数種類の異なるデータを
作成し、ストリームオブジェクト３９ａ〜３９ｃとして
コンンツオブジェクト３８と関連付けることができる。Since there are a plurality of methods for digitizing stream data, several kinds of different data are created in consideration of the environment in use, the load required for reproduction, the quality, etc., and the stream objects 39a to 39c are concatenated. Can be associated with the object object 38.

【００５１】例えば、上述した“１９９５年９月１日午
後７時のニュース”の動画像を表すコンテンツオブジェ
クトに対し、 ・ＭＰＥＧ−１ｖｉｄｅｏ、フレームサイズ：３２０×
２４０、ピクチヤレート：３０ｆｐｓ ・ＭＰＥＧ−１ｖｉｄｅｏ、フレームサイズ：３２０×
２４０、ピクチヤレート：１５ｆｐｓ ・ＭＰＥＧ−１ｖｉｄｅｏ、フレームサイズ：１６０×
１１２、ピクチヤレート：３０ｆｐｓ ・Ｍｏｔｉｏｎ−ＪＰＥＧ、フレームサイズ：３２０×
２４０、ピクチヤレート：１５ｆｐｓ の符号化方法を用いて記録し、それぞれに対するストリ
−ムオブジェクトを作成し、コンテンツオブジェクトと
関連付ける。For example, with respect to the content object representing the moving image of "News on September 1, 1995 at 7:00 pm": MPEG-1 video, frame size: 320 ×
240, picture rate: 30 fps, MPEG-1 video, frame size: 320 ×
240, picture rate: 15 fps, MPEG-1 video, frame size: 160 ×
112, picture rate: 30 fps, Motion-JPEG, frame size: 320 ×
240, picture rate: recorded using a coding method of 15 fps, create a stream object for each and associate it with a content object.

【００５２】ストリームオブジェクトは、属性として少
なくとも、 ・データの実体へのポインタ（内部管理の場合、メディ
アデータオブジェクト、外部管理の場合、ファイル
名）、 ・メディアデータを特定の装置（ＷＳ）で適切に再生す
るために必要な負荷に関する情報とその装置の名前、 ・データが動画像の場合、フレームサイズ、ピクチャレ
ート、 ・データが音声の場合、符号化レート、 を持つ。The stream object has at least the following attributes: a pointer to the substance of the data (a media data object in the case of internal management, a file name in the case of external management), the media data properly in a specific device (WS). It has information about the load required for reproduction and the name of the device, -if the data is a moving image, the frame size, picture rate, -if the data is audio, the coding rate.

【００５３】次に、オブジェクトを管理するクラス階層
について説明する。図５において、コンテンツオブジェ
クトのクラス構造は、コンテンツオブジェクトの共通の
属性を示すコンテンツクラス４１の下位に、ビデオコン
テンツクラス４２、オーディオコンテンツクラス４３及
び図示しないイメージコンテンツクラス、テキストコン
テンツクラスを有している。Next, a class hierarchy for managing objects will be described. In FIG. 5, the class structure of the content object has a video content class 42, an audio content class 43, an image content class (not shown), and a text content class, which are subordinate to the content class 41 indicating common attributes of the content object. .

【００５４】コンテンツクラス４１には属性として、コ
ンテンツの時間長ｔｉｍｅＬｅｎｇｔｈ、コンテンツを
検索するために用いるキーワードの集合を格納するｋｅ
ｙｗｏｒｄｓ、コンテンツを具象するストリームオブジ
ェクトの集合を格納するｓｔｒｅａｍｓ、コンテンツが
情報ビューによって切り出された部分コンテンツである
場合の元のコンテンツｐａｒｅｎｔ、コンテンツに対応
する部分コンテンツｃｈｉｌｄｓ及びコンテンツが該当
キーワードを有しているかどうかをチェックするｋｅｙ
ｗｏｒｄ（）メソッドを有する。The content class 41 has, as attributes, a time length timeLength of the content and a key that stores a set of keywords used for searching the content.
ywords, streams that store a set of stream objects that represent the content, original content parent when the content is a partial content cut out by an information view, partial content childrens corresponding to the content, and the content has a corresponding keyword. Key to check if there is
It has a word () method.

【００５５】コンテンツクラス４１の下にはそれを継承
するメディアごとのサブクラスが定義される。すなわ
ち、ビデオコンテンツクラス４２は、コンテンツの先頭
からのスキップする時間ｓｋｉｐＬｅｎｇｔｈの属性、
事象が生じた時刻ａｂｓＳｔａｒｔＴｉｍｅの属性、コ
ンテンツオブジェクトに対しビューオブジェクトを生成
し部分コンテンツｃｈｉｌｄｓに設定するｓｅｔＶｉｅ
ｗ（）メソッド、コンテンツオブジェクトに対しストリ
ームオブジェクトを生成しストリームオブジェクトの集
合ｓｔｒｅａｍｓに格納するｎｅｗＶｉｄｅｏ（）メソ
ッド及びビューを再生するｐｌａｙ（）メソッドを有す
る。Under the content class 41, subclasses for each media that inherit it are defined. In other words, the video content class 42 has an attribute of skip time skipLength from the beginning of the content,
The attribute of time absStartTime at which the event occurred, a view object is generated for the content object, and setView is set to the partial content childrens.
It has a w () method, a newVideo () method for generating a stream object for the content object and storing it in the stream stream set streams, and a play () method for reproducing a view.

【００５６】なお、事象が生じた時刻ａｂｓＳｔａｒｔ
Ｔｉｍｅは、コンテンツオブジェクトの絶対時間を意味
しており、この事象が生じた時刻ａｂｓＳｔａｒｔＴｉ
ｍｅを用いることにより、複数のコンテンツを同期させ
て表示することができる。The time at which the event occurred, absStart
Time means the absolute time of the content object, and the time at which this event occurred absStartTi
By using me, a plurality of contents can be displayed in synchronization.

【００５７】また、オーディオコンテンツクラス４３
は、コンテンツの先頭からの時間ｓｋｉｐＬｅｎｇｔｈ
の属性、事象の生じた時刻ａｂｓＳｔａｒｔＴｉｍｅの
属性、部分オーディオコンテンツを生成するｓｅｔＶｉ
ｅｗ（）メソッド、コンテンツに対応するオーディオス
トリームオブジェクトを生成するｎｅｗＡｕｄｉｏ（）
メソッド及びオーディオデータのコンテンツを表示する
ｐｌａｙ（）メソッドを有する。In addition, the audio content class 43
Is the time from the beginning of the content skipLength
Attribute, the time at which the event occurred absStartTime attribute, setVi for generating partial audio content
ew () method, newAudio () that creates an audio stream object corresponding to the content
It has a play () method for displaying the method and the content of the audio data.

【００５８】また、図６において、ストリームオブジェ
クトのクラス構造は、ストリームオブジェクトの共通の
属性を示すストリームクラス５１の下位に、ビデオクラ
ス５１、オーディオクラス５３及び図示しないイメージ
クラス、テキストクラスを有している。さらに、各メデ
ィア毎のクラスの下位には、各メディア毎にフォーマッ
ト毎のクラスを有している。すなわち、ビデオクラス５
２の下位にはＭＰＥＧクラス５４、オーディオクラス５
３の下位にはＭＰＥＧＡｕｄｉｏクラス５５が設けられ
ている。In FIG. 6, the class structure of the stream object has a video class 51, an audio class 53, and an image class and a text class (not shown) under the stream class 51 indicating the common attributes of the stream object. There is. Further, below the class for each medium, there is a class for each format for each medium. That is, video class 5
Below 2 are MPEG class 54 and audio class 5.
An MPEGAudio class 55 is provided in the lower layer of 3.

【００５９】ストリームクラス５１は属性として、スト
リームオブジェクトが対応するコンテンツｃｏｎｔｅｎ
ｔｓ、ストリームオブジェクトに対応する実マルチメデ
ィアデータのファイル名ｆｉｌｅＮａｍｅ及びマルチメ
ディアデータを表示する際の負荷情報ｌｏａｄを有す
る。The stream class 51 has, as an attribute, the content content to which the stream object corresponds.
ts, a file name fileName of actual multimedia data corresponding to the stream object, and load information load when displaying the multimedia data.

【００６０】また、ビデオクラス５２は、ビデオデータ
のフレームレートｆｒａｍｅＲａｔｅの属性、コンテン
ツクラスでの原点に合わせるためのずれ分すなわち先頭
からのスキップ分、つまり開始フレームを格納するｓｔ
ａｒｔＦｒａｍｅＮｏ、ビデオデータのフレームの大き
さｗｉｄｔｈ、ｈｅｉｇｈｔの属性、ピクチャレートの
異なるオブジェクトを生成し対応するコンテンツのｓｔ
ｒｅａｍｓに設定するｎｅｗＲａｔｅ（）メソッド、フ
レームサイズの異なるオブジェクトを生成し対応するコ
ンテンツのｓｔｒｅａｍｓに設定するｎｅｗＳｉｚ
ｅ（）メソッド及びストリームオブジェクトに対応する
ビデオデータを表示するｐｌａｙ（）メソッドを有す
る。Also, the video class 52 stores the attribute of the frame rate frameRate of the video data, the shift amount for adjusting to the origin in the content class, that is, the skip amount from the beginning, that is, the start frame.
artFrameNo, video data frame size width, height attribute, objects having different picture rates are generated, and st of corresponding content is generated.
newRate () method to set to reams, newSiz to create objects with different frame sizes and set to streams of corresponding content
It has an e () method and a play () method for displaying the video data corresponding to the stream object.

【００６１】また、ビデオクラス５２の下位のＭＰＥＧ
クラス５４は、ＭＰＥＧ形式のビデオデータを扱うもの
で、同一コンテンツでフレームレートの異なるビデオス
トリームを生成するｎｅｗＲａｔｅ（）メソッド、同一
コンテンツでサイズの異なるビデオストリームを生成す
るｎｅｗＳｉｚｅ（）メソッド及びストリームオブジェ
クトに対応するビデオデータを表示するｐｌａｙ（）メ
ソッドを有する。In addition, an MPEG subordinate to the video class 52
The class 54 handles video data in the MPEG format, and includes a newRate () method for generating video streams with the same content but different frame rates, a newSize () method for generating video streams with the same content and different sizes, and a stream object. It has a play () method that displays the corresponding video data.

【００６２】また、オーディオクラス５３は、オーディ
オデータのコーディングレートｃｏｄｉｎｇＲａｔｅの
属性、同一コンテンツでコーディングレートの異なるオ
ーディオストリームを生成するｎｅｗＲａｔｅ（）メソ
ッド及びストリームオブジェクトに対応するオーディオ
データを表示するｐｌａｙ（）メソッドを有する。The audio class 53 has an attribute of the coding rate codingRate of audio data, a newRate () method for generating audio streams having the same content but different coding rates, and a play () method for displaying audio data corresponding to a stream object. Have.

【００６３】また、オーディオクラス５３の下位のＭＰ
ＥＧＡｕｄｉｏクラス５５は、ＭＰＥＧ形式のオーディ
オデータを扱うもので、同一コンテンツでコーディング
レートの異なるオーディオストリームを生成するｎｅｗ
Ｒａｔｅ（）メソッド及びストリームオブジェクトに対
応するオーディオデータを表示するｐｌａｙ（）メソッ
ドを有する。Also, the MP below the audio class 53
The EGAaudio class 55 handles MPEG-format audio data, and generates new audio streams with the same content but different coding rates.
It has a Rate () method and a play () method for displaying audio data corresponding to the stream object.

【００６４】次に、ストリームデータのコンテンツへの
対応付けの方法について説明する。まず、図７（ａ）に
示すように、コンテンツオブジェクト１に対しストリー
ムオブジェクト１が対応づけられている場合を考える。
ここで、ストリームオブジェクト１は、ＭＰＥＧ−１ｖ
ｉｄｅｏフォーマットで、フレームサイズが３２０×２
４０、ピクチャレートが３０ｆｐｓ、再生時のＣＰＵ１
１に対する負荷が１００％であるとする。Next, a method of associating stream data with contents will be described. First, consider the case where the stream object 1 is associated with the content object 1 as shown in FIG.
Here, the stream object 1 is MPEG-1v.
The frame size is 320 × 2 in the video format.
40, picture rate 30 fps, CPU1 during playback
It is assumed that the load on 1 is 100%.

【００６５】次に、図７（ｂ）に示すように、ストリー
ムオブジェクト１と異なる品質のストリームデータ、例
えば、ＭＰＥＧ−１ｖｉｄｅｏフォーマットで、フレー
ムサイズが３２０×２４０、ピクチャレートが１５ｆｐ
ｓ、再生時のＣＰＵ１１に対する負荷が６０％のマルチ
メディアデータと、ＭＰＥＧ−１ｖｉｄｅｏフォーマッ
トで、フレームサイズが１６０×１１２、ピクチャレー
トが３０ｆｐｓ、再生時のＣＰＵに対する負荷が３５％
のマルチメディアデータとを生成し、これらをストリー
ムオブジェクト２、３とする。Next, as shown in FIG. 7B, stream data of a quality different from that of the stream object 1, for example, MPEG-1 video format, frame size 320 × 240, picture rate 15 fp.
s, multimedia data having a load of 60% on the CPU 11 at the time of reproduction, and MPEG-1 video format with a frame size of 160 × 112, a picture rate of 30 fps, and a load of 35% on the CPU at the time of reproduction.
And the multimedia data of and are defined as stream objects 2 and 3.

【００６６】次に、図７（ｃ）に示すように、新たに生
成したストリームオブジェクト２，３をコンテンツオブ
ジェクト１に対応づける。これは、ストリームオブジェ
クト１に対し、それぞれｎｅｗＲａｔｅ（）メソッド３
２とｎｅｗＳｉｚｅ（）メソッド３３を施すことにより
行う。Next, as shown in FIG. 7C, the newly generated stream objects 2 and 3 are associated with the content object 1. This is the newRate () method 3 for each stream object 1.
2 and the newSize () method 33.

【００６７】以上により、コンテンツオブジェクト１を
表示する時に、負荷および品質が異なる３種類のストリ
ームオブジェクト１〜３に対応するストリームデータの
中から適切なものを選択して用いることができる。As described above, when the content object 1 is displayed, an appropriate one can be selected and used from the stream data corresponding to the three types of stream objects 1 to 3 having different loads and qualities.

【００６８】例えば、動画像と音声とを同期させて出力
したり、検索した複数の動画像を同時にウィンドウに表
示させたりすることにより、複数のデータを同時に出力
する場合、計算機が持つＣＰＵ１１やＩ／Ｏ２２などの
資源が有限であるため、資源が足りなくなる可能性があ
る。For example, when a plurality of data are output at the same time by outputting a moving image and a sound in synchronization with each other or displaying a plurality of retrieved moving images in a window at the same time, the CPU 11 or I of a computer can be used. Since resources such as / O22 are limited, there is a possibility that the resources will run out.

【００６９】一方、データを再生する場合に使用する資
源とデータの再生品質との間には関連性がある。そし
て、ある特定の品質を持つデータを再生する場合、その
特定の品質を持つデータの再生に要する量の資源が必要
である。そのため、資源が足りないまま再生しようとす
ると、品質の劣化が生じる場合がある。On the other hand, there is a relation between the resource used when reproducing data and the reproduction quality of data. When data having a specific quality is reproduced, an amount of resources required for reproducing the data having the specific quality is required. Therefore, if reproduction is attempted with insufficient resources, quality may deteriorate.

【００７０】特に、動画像の場合、資源が足りない状態
で再生すると、フレームの再生が間に合わないため正し
い再生レートより遅くなったり、フレームが不定期に飛
ばされたりして表示される。また、音声の場合、不定期
に音飛びが生じる。In particular, in the case of a moving image, if the moving image is reproduced in a state where the resources are insufficient, the reproduction of the frame is delayed, so that the reproduction speed becomes slower than the correct reproduction rate or the frame is skipped irregularly. In the case of voice, sound skips occur irregularly.

【００７１】このため、ビューを再生するときに確保で
きる資源を用いて再生できる最も品質の良いデータを選
択して用いることが望まれる。本実施例では、ビューの
再生をする場合、ビューに対応するコンテンツに関連付
けられているストリームオフジェクトの属性を見て、適
切なデータを選択することができ、限られた資源の範囲
内で最も品質の良いデータを再生することができる。Therefore, it is desirable to select and use the highest quality data that can be reproduced using the resources that can be secured when the view is reproduced. In the present embodiment, when playing a view, it is possible to select the appropriate data by looking at the attributes of the stream object associated with the content corresponding to the view, and to select the most appropriate data within the range of limited resources. It is possible to reproduce high quality data.

【００７２】例えば、データが動画像の場合、データを
再生するのに要するＣＰＵ１１の資源量は，フレームサ
イズとピクチャレートによって左右される。そのため、
ディジタル化されているデータに対し、フレームサイズ
やピクチャレートを変化させることにより、異なる品質
で負荷の異なるデータを新たに生成することができる。For example, when the data is a moving image, the resource amount of the CPU 11 required to reproduce the data depends on the frame size and the picture rate. for that reason,
By changing the frame size and the picture rate for the digitized data, it is possible to newly generate data with different qualities and different loads.

【００７３】例えば、ある動画像データのピクチヤレー
トがｒｆｐｓの場合、フレームをｎ個置きに選択するこ
とにより、ピクチヤレートがｒ／（ｎ＋１）ｆｐｓの動
画像データを生成することができる。そして、ピクチヤ
レートがｒ／（ｎ＋１）ｆｐｓの動画像データをコンテ
ンツと対応付けることにより、異なる負荷のデータをコ
ンテンツに追加することが可能である。For example, when the picture rate of a certain moving picture data is rfps, it is possible to generate moving picture data having a picture rate of r / (n + 1) fps by selecting every n frames. Then, by associating the moving image data with the picture rate of r / (n + 1) fps with the content, it is possible to add data with a different load to the content.

【００７４】また、既に存在するデータからフレームサ
イズを小さくしたフレームを生成し、そのフレームを用
いてフレームサイズが小さく負荷も小さい（品質も元の
データより劣化した）新たな動画像データを生成し、コ
ンテンツと対応付けることができる。Further, a frame having a reduced frame size is generated from already existing data, and new moving image data having a small frame size and a small load (the quality is deteriorated from the original data) is generated using the frame. , Can be associated with content.

【００７５】以上説明したように、本実施例によれば、
使用できる資源の範囲内で再生できるデータを選択する
自由度を増すことが可能となる。次に、本発明の一実施
例によるマルチメディアデータ検索システムにおいて、
レートを替えたマルチメディアデータを生成する例を示
す。これは、ｎｅｗＲａｔｅ（）メソッド３２を用いて
行う。As described above, according to this embodiment,
It is possible to increase the degree of freedom in selecting data that can be reproduced within the range of available resources. Next, in the multimedia data search system according to the embodiment of the present invention,
An example of generating multimedia data with different rates will be shown. This is done using the newRate () method 32.

【００７６】図８において、動画像のフレームは一定の
インターバルで表示される。この場合、フレームをｎ個
置きに選択すると、ピクチャレートが元のデータより小
さいデータを得ることができる。例えば、図８に示すよ
うに、ピクチャレートがｒｆｐｓのフレームから１個置
きにフレームを選択した場合、ピクチャレートがｒ／２
ｆｐｓのデータを得ることができる。In FIG. 8, the frames of the moving image are displayed at regular intervals. In this case, if every nth frame is selected, data having a picture rate smaller than the original data can be obtained. For example, as shown in FIG. 8, when every other frame is selected from frames with a picture rate of rfps, the picture rate is r / 2.
Data of fps can be obtained.

【００７７】図９は、レートを替えたマルチメディアデ
ータの生成装置を示すブロック図である。図９におい
て、ＭＰＥＧファイル６１には、ピクチャレートがｒｆ
ｐｓのＭＰＥＧ−１ｖｉｄｅｏデータ３６が格納されて
いる。このピクチャレートがｒｆｐｓのＭＰＥＧ−１ｖ
ｉｄｅｏデータをＭＰＥＧデコーダ６２で復号してフレ
ームデータを作成する。そして、フレームをｎ個置きに
選択するフレーム選択プログラム６３を用いて、このフ
レームデータを間引く。FIG. 9 is a block diagram showing an apparatus for generating multimedia data with different rates. In FIG. 9, the MPEG file 61 has a picture rate of rf.
MPEG-1 video data 36 of ps is stored. This picture rate is rfps MPEG-1v
The MPEG data is decoded by the MPEG decoder 62 to create frame data. Then, this frame data is thinned out using a frame selection program 63 that selects every nth frame.

【００７８】フレーム選択プログラム６３により選択さ
れたフレームデータをＭＰＥＧエンコーダ６４で符号化
することにより、ピクチャレートがｒ／（ｎ＋１）ｆｐ
ｓのＭＰＥＧ−１ｖｉｄｅｏデータを生成し、ＭＰＥＧ
ファイル６５に格納する。By encoding the frame data selected by the frame selection program 63 by the MPEG encoder 64, the picture rate is r / (n + 1) fp.
s MPEG-1 video data to generate MPEG
Store in file 65.

【００７９】そして、このピクチャレートがｒ／（ｎ＋
１）ｆｐｓのＭＰＥＧ−１ｖｉｄｅｏデ−タ３６に対応
するストリームオブジェクトを生成し、コンテンツオブ
ジェクトに対応づけることにより、コンテンツを異なる
品質（図８の例では、ピクチヤレート）で表現できる。Then, the picture rate is r / (n +
1) By generating a stream object corresponding to the MPEG-1 video data 36 of fps and associating it with a content object, the content can be expressed with different qualities (picture rate in the example of FIG. 8).

【００８０】次に、本発明の一実施例によるマルチメデ
ィアデータ検索システムにおいて、フレームサイズを替
えたマルチメディアデータを生成する例を示す。これ
は、ｎｅｗＳｉｚｅ（）メソッド３３を用いて行い、Ｍ
ＰＥＧ−１ｖｉｄｅｏデータ３６から、各画素を（ｎ−
１）個置きに選択することにより、フレームサイズを１
／ｎに縮小する。Next, an example of generating multimedia data with a different frame size in the multimedia data search system according to the embodiment of the present invention will be described. This is done using the newSize () method 33 and M
From the PEG-1 video data 36, each pixel is (n-
1) Set the frame size to 1 by selecting every other
/ N.

【００８１】例えば、図１０（ａ）に示すように、元の
フレーム７１のフレームサイズがｃ画素×ｒ画素のＭＰ
ＥＧ−１ｖｉｄｅｏデータ３６から、図１０（ｂ）
（ｃ）に示すように、 の画素を間引くことにより、縮小したフレーム７２のフ
レームサイズがｃ／２画素×ｒ／２画素のＭＰＥＧ−１
ｖｉｄｅｏデータ３６を生成することができる。For example, as shown in FIG. 10A, the MP of which the frame size of the original frame 71 is c pixels × r pixels.
From the EG-1 video data 36, FIG.
As shown in (c), MPEG-1 in which the frame size of the reduced frame 72 is c / 2 pixels × r / 2 pixels by thinning out the pixels of
The video data 36 can be generated.

【００８２】図１１は、フレームサイズを替えたマルチ
メディアデータの生成装置を示すブロック図である。図
１１において、ＭＰＥＧファイル８１には、フレームサ
イズがｃ画素×ｒ画素のＭＰＥＧ−１ｖｉｄｅｏデータ
３６が格納されている。このフレームサイズがｃ画素×
ｒ画素のＭＰＥＧ−１ｖｉｄｅｏデータ３６をＭＰＥＧ
デコーダ８２で復号してフレームデータを作成する。こ
のフレームデータの各画素を（ｎ−１）個置きに選択す
るサイズ選択プログラム８３を用いて間引く。FIG. 11 is a block diagram showing a multimedia data generating apparatus with a different frame size. In FIG. 11, an MPEG file 81 stores MPEG-1 video data 36 having a frame size of c pixels × r pixels. This frame size is c pixels x
MPEG-1 video data 36 of r pixels is converted to MPEG.
Frame data is created by decoding with the decoder 82. The pixel of this frame data is thinned out using a size selection program 83 which selects every (n-1) pixels.

【００８３】サイズ選択プログラム８３により縮小され
たフレームデータをＭＰＥＧエンコーダ８４で符号化す
ることにより、フレームサイズがｃ／ｎ画素×ｒ／ｎ画
素ののＭＰＥＧ−１ｖｉｄｅｏデータ３６を生成し、Ｍ
ＰＥＧファイル８５に格納する。The frame data reduced by the size selection program 83 is encoded by the MPEG encoder 84 to generate MPEG-1 video data 36 having a frame size of c / n pixels × r / n pixels, and M
It is stored in the PEG file 85.

【００８４】そして、このフレームサイズがｃ／ｎ画素
×ｒ／ｎ画素のＭＰＥＧ−１ｖｉｄｅｏデ−タ３６に対
応するストリームオブジェクトを生成し、コンテンツオ
ブジェクトに対応づけることにより、コンテンツを異な
る品質（図１０の例では、フレームサイズ）で表現でき
る。Then, by generating a stream object corresponding to the MPEG-1 video data 36 having a frame size of c / n pixels × r / n pixels and associating the stream object with the content object, the contents having different qualities (see FIG. In the example of, it can be expressed by the frame size).

【００８５】なお、上述した実施例では、フレームデー
タの各画素を（ｎ−１）個置きに選択してフレームサイ
ズを縮小するようにしていたが、ｎ×ｎ画素の平均値を
用いて１／ｎの大きさに縮小したフレームを作成しても
よい。In the above-described embodiment, each pixel of the frame data is selected every (n-1) pixels to reduce the frame size. However, the average value of n × n pixels is used to calculate 1 pixel. A frame reduced to the size of / n may be created.

【００８６】次に、本発明の一実施例によるマルチメデ
ィアデータ検索システムのビューの機能について説明す
る。ビューは、コンテンツの一部分をアクセスするため
に用いるオブジェクトで、コンテンツが動画像や音声な
ど時系列データに関する事象の場合、コンテンツの先頭
からの時間とビューの時間長とを用いることにより、ビ
ューのコンテンツに対する位置を表すことができる。ま
た、コンテンツの先頭からの時間とビューの時間長とを
ビューオブジェクトの属性として記録しておく。なお、
ビュー機能は、コンテンツクラス４１で実現される。Next, the view function of the multimedia data search system according to an embodiment of the present invention will be described. A view is an object used to access a part of the content, and when the content is an event related to time-series data such as moving images or audio, the time from the beginning of the content and the time length of the view are used to determine the content of the view. Can represent a position relative to. Also, the time from the beginning of the content and the time length of the view are recorded as attributes of the view object. In addition,
The view function is realized by the content class 41.

【００８７】例えば、図１２に示すように、コンテンツ
Ａの先頭からのスキップする時間ｓｋｉｐＬｅｎｇｔｈ
とビューの時間長ｔｉｍｅＬｅｎｇｔｈとを指定するこ
とにより、コンテンツＡにビューＢを設定することがで
きる。For example, as shown in FIG. 12, the skip time from the beginning of the content A skipLength
The view B can be set to the content A by specifying the time length of the view and the timeLength of the view.

【００８８】ビューオブジェクトを実際にユーザに提示
する場合、ビューに対応するコンテンツ及びコンテンツ
の先頭からの時間ｓｋｉｐＬｅｎｇｔｈとビューの時間
長ｔｉｍｅＬｅｎｇｔｈとにより、コンテンツにおける
ビューの部分を知ることができる。このため、コンテン
ツの指定した部分を再生できる再生プログラム１９を用
いることにより、ビュー機能をユーザに提供することが
できる。When actually presenting the view object to the user, the portion of the view in the content can be known from the content corresponding to the view and the time skipLength from the beginning of the content and the time length timeLength of the view. Therefore, the view function can be provided to the user by using the reproduction program 19 that can reproduce the designated portion of the content.

【００８９】図１３は、ビューオブジェクトとコンテン
ツオブジェクトとストリームオブジェクトとの関係を示
す図である。図１３において、ｏｂｊｅｃｔＡはコンテ
ンツオブジェクトであり、ｏｂｊｅｃｔＢはビューオブ
ジェクトであり、ｏｂｊｅｃｔＳ１、Ｓ２はストリーム
オブジェクトである。FIG. 13 is a diagram showing the relationship among the view object, the content object and the stream object. In FIG. 13, object A is a content object, object B is a view object, and objects S1 and S2 are stream objects.

【００９０】そして、コンテンツオブジェクトＡのコン
テンツの時間長ｔｉｍｅＬｅｎｇｔｈは、例えば、３６
００秒であり、コンテンツを検索するために用いるキー
ワードの集合ｋｅｙｗｏｒｄｓは“ｎｅｗｓ”であり、
コンテンツを具象するストリームオブジェクトの集合ｓ
ｔｒｅａｍｓはＳ１とＳ２であり、コンテンツが情報ビ
ューによって切り出された部分コンテンツである場合の
元のコンテンツｐａｒｅｎｔは存在せず、コンテンツに
対応する部分コンテンツｃｈｉｌｄｓはＢであり、コン
テンツの先頭からのスキップする時間ｓｋｉｐＬｅｎｇ
ｔｈは０秒であり、事象が生じた時刻ａｂｓＳｔａｒｔ
Ｔｉｍｅは１９９５年９月１日１９時００分００秒であ
るとする。Then, the time length timeLength of the content of the content object A is, for example, 36.
It is 00 seconds, and the set of keywords used to search the contents is “news”.
A set of stream objects that represent the content
The streams are S1 and S2, the original content parent when the content is the partial content cut out by the information view does not exist, the partial content childrens corresponding to the content is B, and the content is skipped from the beginning. Time skipLeng
th is 0 second, and is the time absStart at which the event occurred.
Time is assumed to be 19:00:00 on September 1, 1995.

【００９１】この場合、コンテンツオブジェクトＡの再
生時間長は３６００秒であり、コンテンツを表示するた
めのストリームオブジェクトとしてｏｂｊｅｃｔＳ１と
ｏｂｊｅｃｔＳ２とを有し、ビューオブジェクトとして
ｏｂｊｅｃｔＢを有している。In this case, the reproduction time length of the content object A is 3600 seconds, it has objectS1 and objectS2 as stream objects for displaying the content, and has objectB as a view object.

【００９２】また、ビューオブジェクトＢのビューの時
間長ｔｉｍｅＬｅｎｇｔｈは、例えば、６０秒であり、
ビューを検索するために用いるキーワードの集合ｋｅｙ
ｗｏｒｄｓは“ｈｅａｄｌｉｎｅ”であり、ビューを具
象するストリームオブジェクトの集合ｓｔｒｅａｍｓは
Ｓ１とＳ２であり、ビューによって切り出された部分コ
ンテンツの元のコンテンツｐａｒｅｎｔはＡであり、ビ
ューに対応する部分コンテンツｃｈｉｌｄｓは存在せ
ず、コンテンツの先頭からのスキップする時間ｓｋｉｐ
Ｌｅｎｇｔｈは１８０秒であり、事象が生じた時刻ａｂ
ｓＳｔａｒｔＴｉｍｅは１９９５年９月１日１９時０３
分００秒であるとする。The time length timeLength of the view of the view object B is, for example, 60 seconds,
A set of keywords used to search the view key
The words are “headlines”, the set streams of stream objects that represent the view are S1 and S2, the original content parent of the partial content clipped by the view is A, and the partial content children corresponding to the view exists. Without, skip time from the beginning of the content skip
Length is 180 seconds, and the time ab at which the event occurred
sStartTime is 19:03 on September 1, 1995.
It is assumed that the minute is 00 seconds.

【００９３】この場合、ビューオブジェクトＢは、コン
テンツオブジェクトＡの先頭から１８０秒の時点からの
６０秒間に対応している。また、ビューを表示するため
のストリームオブジェクトとしてｏｂｊｅｃｔＳ１とｏ
ｂｊｅｃｔＳ２とを有している。In this case, the view object B corresponds to 60 seconds from the beginning 180 seconds of the content object A. In addition, objectS1 and o are provided as stream objects for displaying the view.
object S2.

【００９４】また、ストリームオブジェクトＳ１の対応
するコンテンツｃｏｎｔｅｎｔｓはＡであり、ストリー
ムオブジェクトＳ１に対応する実マルチメディアデータ
のファイル名ｆｉｌｅＮａｍｅは／ｕｓｒ／ｖｉｄｅｏ
／３０ｆｐｓ．ｍｐｅｇ、マルチメディアデータを表示
する際の負荷ｌｏａｄは３５であり、フレームレートｆ
ｒａｍｅＲａｔｅは３０であり、コンテンツクラスでの
原点に合わせるためのずれ分ｓｔａｒｔＦｒａｍｅＮｏ
は存在せず、フレーム幅ｗｉｄｔｈは１６０であり、フ
レーム高さｈｅｉｇｈｔは１１２であるとする。The content contents corresponding to the stream object S1 is A, and the file name fileName of the real multimedia data corresponding to the stream object S1 is / usr / video.
/ 30 fps. The load load for displaying mpeg and multimedia data is 35, and the frame rate f
The frameRate is 30 and the amount of deviation startFrameNo to match the origin of the content class
Does not exist, the frame width width is 160, and the frame height height is 112.

【００９５】この場合、ストリームオブジェクトＳ１
は、コンテンツオブジェクトＡの実マルチメディアデー
タに対応し、フレームサイズが１６０×１１２画素（Ｐ
ＩＸＥＬ）、ピクチャレートが３０ｆｐｓである。In this case, the stream object S1
Corresponds to the actual multimedia data of the content object A and has a frame size of 160 × 112 pixels (P
IXEL) and the picture rate is 30 fps.

【００９６】また、ストリームオブジェクトＳ２の対応
するコンテンツｃｏｎｔｅｎｔｓはＡであり、ストリー
ムオブジェクトＳ２に対応する実マルチメディアデータ
のファイル名ｆｉｌｅＮａｍｅは／ｕｓｒ／ｖｉｄｅｏ
／１０ｆｐｓ．ｍｐｅｇ、マルチメディアデータを表示
する際の負荷ｌｏａｄは１５であり、フレームレートｆ
ｒａｍｅＲａｔｅは１０であり、コンテンツクラスでの
原点に合わせるためのずれ分ｓｔａｒｔＦｒａｍｅＮｏ
は存在せず、フレーム幅ｗｉｄｔｈは１６０であり、フ
レーム高さｈｅｉｇｈｔは１１２であるとする。The content contents corresponding to the stream object S2 is A, and the file name fileName of the real multimedia data corresponding to the stream object S2 is / usr / video.
/ 10 fps. The load load for displaying mpeg and multimedia data is 15, and the frame rate f
The frameRate is 10, and the amount of deviation startFrameNo to match the origin of the content class
Does not exist, the frame width width is 160, and the frame height height is 112.

【００９７】この場合、ストリームオブジェクトＳ２
は、コンテンツオブジェクトＡの実マルチメディアデー
タに対応し、フレームサイズが１６０×１１２ＰＩＸＥ
Ｌ、ピクチャレートが１０ｆｐｓである。In this case, the stream object S2
Corresponds to the actual multimedia data of the content object A and has a frame size of 160 × 112 PIXE
L, the picture rate is 10 fps.

【００９８】図１４は、ビューオブジェクトの再生処理
を示すフローチャートである。まず、ステップＳ１に示
すように、ビューオブジェクトとビューオブジェクトの
表示開始時刻とを入力する。FIG. 14 is a flowchart showing a view object reproducing process. First, as shown in step S1, the view object and the display start time of the view object are input.

【００９９】次に、ステップＳ２に示すように、ビュー
オブジェクトの属性ｐａｒｅｎｔから、ビューオブジェ
クトに対応するコンテンツオブジェクトを得る。次に、
ステップＳ３に示すように、コンテンツオブジェクトの
属性ｓｔｒｅａｍｓから、適当なストリームオブジェク
トを選択する。Next, as shown in step S2, the content object corresponding to the view object is obtained from the attribute parent of the view object. next,
As shown in step S3, an appropriate stream object is selected from the attributes streams of the content object.

【０１００】次に、ステップＳ４に示すように、選択し
たストリームオブジェクトに対応するストリームデータ
を、ビューオブジェクトの属性であるｓｋｉｐＬｅｎｇ
ｔｈの時点から、ビューの時間長ｔｉｍｅＬｅｎｇｔｈ
の間再生する。Next, as shown in step S4, the stream data corresponding to the selected stream object is changed to skipLeng, which is an attribute of the view object.
From th, the length of time of the view timeLength
Play between.

【０１０１】以上のように、ビューを実現するために
は、与えられた連続メディアデータに対し、指定された
箇所から再生できなけばならない。動画像の場合、先頭
からのフレーム数などを用いることにより、音声の場
合、先頭からの再生時間などを用いることにより、マル
チメディアデータの再生開始場所を指定することができ
る。As described above, in order to realize the view, it is necessary to reproduce the given continuous media data from the designated portion. In the case of a moving image, the number of frames from the beginning can be used, and in the case of audio, the reproduction time from the beginning can be used to specify the reproduction start location of multimedia data.

【０１０２】例えば、ＭＰＥＧ−１ｖｉｄｅｏフォーマ
ットでは、数枚のフレームを符号化したデータを１まと
まりにしたＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ
ｓ）という単位を用いている。For example, in the MPEG-1 video format, a GOP (Group of Picture) in which data obtained by coding several frames is collected into one group is described.
The unit s) is used.

【０１０３】そして、ＭＰＥＧ−１ｖｉｄｅｏデータ３
６を任意のフレームから再生するために、先頭からヘッ
ダ情報を解析しながら所定のフレームまで走査し、表示
を開始する方法がある。Then, MPEG-1 video data 3
In order to reproduce 6 from an arbitrary frame, there is a method of starting the display by scanning from the beginning to a predetermined frame while analyzing the header information.

【０１０４】しかし、この方法は、データが膨大になっ
た時も先頭から走査するため効率が悪い。一方、指定さ
れたフレームが、どのＧＯＰに含まれるか、さらにＧＯ
Ｐ内のフレームの何番目（オフセット）であるかを知る
ことができれば再生を開始することができる。However, this method is inefficient because it scans from the beginning even when the amount of data becomes huge. On the other hand, which GOP the specified frame is included in, and GO
If it is possible to know the position (offset) of the frame in P, the reproduction can be started.

【０１０５】そのため、ＭＰＥＧ−１ｖｉｄｅｏデータ
３６の場合、ストリームオブジェクトの属性として、予
めデータ内のＧＯＰヘッダの開始バイトと、ＧＯＰ内で
最初に再生されるフレーム番号との対応を調べ、対応表
として保持しておく。そして、データをあるフレームか
ら再生する場合、指定されたフレーム番号以下のもので
最大のフレーム番号をその対応表から取得し、その最大
のフレーム番号と指定フレーム番号との差をオフセット
とし、該当ＧＯＰの開始バイトを得る。Therefore, in the case of the MPEG-1 video data 36, as the attribute of the stream object, the correspondence between the start byte of the GOP header in the data and the frame number reproduced first in the GOP is checked and held as a correspondence table. I'll do it. Then, when data is reproduced from a certain frame, the maximum frame number that is less than or equal to the specified frame number is acquired from the correspondence table, and the difference between the maximum frame number and the specified frame number is used as an offset, and the corresponding GOP Get the start byte of.

【０１０６】また、定符号化レートのＭＰＥＧ−１ａｕ
ｄｉｏデータ３７の場合、ストリームオブジェクトの属
性として、データの符号化レートを保持する。そして、
データの途中からアクセスする場合、スキップする時間
長と符号化レートとを用いることにより、データのアク
セス開始箇所を計算する。In addition, a constant coding rate MPEG-1au is used.
In the case of the dio data 37, the data coding rate is held as an attribute of the stream object. And
When accessing from the middle of the data, the access start point of the data is calculated by using the skip time length and the coding rate.

【０１０７】例えば、ＭＰＥＧ−１ａｕｄｉｏデータ３
６は、データを符号化したパケットの連なりから構成さ
れており、ＭＰＥＧ−１ａｕｄｉｏデータ３７には、は
ぼ同じ長さのパケットから構成されるモードがある。そ
して、データの符号化レートがＲｂｐｓ（ｂｉｔ ｐｅ
ｒ ｓｅｃｏｎｄ）で、再生をスキップする秒数がＳの
場合、先頭からＲＳ／８ｂｙｔｅの位置に一番近いヘッ
ダを検索し、そのパケットから再生を開始する。For example, MPEG-1 audio data 3
6 is composed of a series of packets encoded data, and the MPEG-1 audio data 37 has a mode composed of packets having almost the same length. The data coding rate is Rbps (bit pe).
In r second), if the number of seconds to skip playback is S, the header closest to the RS / 8 byte position from the beginning is searched, and playback is started from that packet.

【０１０８】なお、１つのパケットで再生される時間長
をＴとすると、最大Ｔ／２の時間のずれを生じる。次
に、本発明の一実施例によるマルチメディアデータ検索
システムにおけるスケジューラ８について説明する。When the time length of one packet is T, a maximum time difference of T / 2 occurs. Next, the scheduler 8 in the multimedia data search system according to the embodiment of the present invention will be described.

【０１０９】データベースの検索結果をユーザに提示し
たり、検索結果に基づいて時系列データの表示を行う場
合、複数のビューが同時に再生される場合がある。しか
し、時間ごとのビューの多重度を考慮せずそれぞれのビ
ューを独立させたまま、表示に必要な資源と使用するデ
ータとを選択した場合、ある時間に着目した時の負荷が
過負荷になってしまう場合がある。そして、過負荷にな
った場合、不定期にフレーム落ちが発生したり、同期が
外れるなどの問題が生じる。When presenting the retrieval result of the database to the user or displaying the time series data based on the retrieval result, a plurality of views may be reproduced at the same time. However, if the resources required for display and the data to be used are selected while keeping the views independent without considering the multiplicity of views for each hour, the load when focusing on a certain time is overloaded. It may happen. Then, in the case of an overload, problems such as frame dropping occurring irregularly and loss of synchronization occur.

【０１１０】そのため、１個以上のビューに対し、それ
ぞれの表示開始時刻を指定して表示を指示した場合、ビ
ューと表示開始時刻とを把握しビューに対応するデータ
から適当なものを選択し、指定された表示開始時刻から
表示するようにスケジューラ８を用いて管理する。Therefore, when the display start time is designated for one or more views and the display is instructed, the view and the display start time are grasped, and an appropriate one is selected from the data corresponding to the view, The scheduler 8 is used to manage the display so that the display starts from the designated display start time.

【０１１１】このスケジューラ８は、ビューの再生開始
時刻とビューの再生時間長とから、ビューの再生が重な
る時間帯を計算する。そして、それぞれの時間帯ごと
に、ビュー（コンテンツ）に対応するデータの負荷量を
考慮し、負荷量が１００％を越えないように使用するデ
ータを選択する。The scheduler 8 calculates the time zone in which the views are reproduced from the view reproduction start time and the view reproduction time length. Then, for each time period, the load amount of the data corresponding to the view (content) is considered, and the data to be used is selected so that the load amount does not exceed 100%.

【０１１２】例えば、ＭＰＥＧ−１ｖｉｄｅｏデータ３
６の場合、Ｉ、Ｐ、Ｂ各フレームの内、処理に一番時間
がかかるのは、Ｉフレームである。そのため、他のビュ
ーの再生と重なった場合、正しいピクチャレートで再生
するために、Ｉフレームを処理する時間を確保する必要
がある。そこで、再生を行うＷＳでＩフレームを指定レ
ートで表示するのに必要な単位時間あたりの処理時間を
負荷量として用いることができる。例えば、Ｉフレーム
の処理時間が０．５秒のものは、単位時間が１秒である
のでその負荷を５０％とする。For example, MPEG-1 video data 3
In the case of 6, the I-frame has the longest processing time among the I-, P-, and B-frames. Therefore, when it overlaps with the reproduction of other views, it is necessary to secure the time for processing the I frame in order to reproduce at the correct picture rate. Therefore, the processing time per unit time required to display the I frame at the specified rate on the WS for reproduction can be used as the load amount. For example, if the processing time of the I frame is 0.5 seconds, the unit time is 1 second, so the load is 50%.

【０１１３】図１５は、Ｉフレームを用いて負荷量を計
算する方法を示すフローチャートである。まず、ステッ
プＳ１１に示すように、ＭＰＥＧ−１ｖｉｄｅｏデータ
３６を再生しながら、Ｉフレームの処理時に、復号及び
表示に要する時間長を測定する。FIG. 15 is a flow chart showing a method of calculating the load amount using the I frame. First, as shown in step S11, while reproducing the MPEG-1 video data 36, the time length required for decoding and displaying is measured during processing of the I frame.

【０１１４】次に、ステップＳ１２に示すように、復号
及び表示に要する時間長の平均を計算し、単位時間で割
った値を負荷量とする。スケジューラ１８が、コンテン
ツ１６に対するデータを選択するときの順番としては、
例えば、対象とするコンテンツ１６に対し異なるフレー
ムサイズ及びピクチャレートの動画像データが存在する
場合、フレームサイズの大きい方を優先して選択する。
また、同じフレームサイズでピクチャレートが異なるも
のが存在する場合、ピクチャレートの大きい方を優先し
て選択する。Next, as shown in step S12, the average of the time lengths required for decoding and display is calculated, and the value divided by the unit time is taken as the load amount. The order in which the scheduler 18 selects data for the content 16 is as follows.
For example, when moving image data having different frame sizes and picture rates exist for the target content 16, the one having the larger frame size is selected with priority.
If there are frames with the same frame size but different picture rates, the one with the higher picture rate is preferentially selected.

【０１１５】また、時間帯で重なるビューオブジェクト
間で各時間帯ごとに負荷の調整を行う。例えば、ある時
間帯において、負荷の総和が１００％を越える場合、上
述した順序づけ方法などを用いて決めた順序により候補
となるデータを選択し、負荷の総和が１００％以下にな
るようにする。Also, the load is adjusted for each time zone between the view objects that overlap in the time zone. For example, when the total load exceeds 100% in a certain time period, candidate data is selected in the order determined by using the above-described ordering method or the like so that the total load becomes 100% or less.

【０１１６】その際、スケジューラ１８は、あるビュー
を再生する場合、同一サイズのフレームを採用し、再生
されている間にフレームサイズが変化しないようにデー
タを選択する。すなわち、負荷の調整によるデータの選
択の結果、ある時間帯において、フレームサイズが小さ
いデータをあるビューに対して採用しなければならない
場合、そのビューに対しては、他の時間帯で用いられて
いるフレームサイズも小さいものに変更し、デ−タの選
択をやり直すようにする。At this time, the scheduler 18 adopts frames of the same size when reproducing a certain view, and selects data so that the frame size does not change during reproduction. In other words, as a result of selecting data by adjusting the load, if data with a small frame size has to be adopted for a certain view in a certain time zone, that view is used in another time zone. Change the existing frame size to a smaller one and select the data again.

【０１１７】このことにより、あるビューに着目した場
合、フレームサイズは各時間帯で一定で、ピクチャレー
トのみが各時間帯で変化するようにすることができる。
そして、同一時間帯の中ではピクチャレートは一定であ
るので、不定期にフレームが抜けるより見やすくなる。As a result, when focusing on a certain view, it is possible to make the frame size constant in each time zone and change only the picture rate in each time zone.
Then, since the picture rate is constant in the same time zone, it is easier to see the frames than the frames are skipped irregularly.

【０１１８】また、スケジューラ１８に対してコンテン
ツ１６の表示場所が指定されていない湯合、スケジュー
ラ１８は再生データの時間帯の重なりを考慮して表示場
所を決定する。例えば、フレームサイズの異なる動画像
を表示する場合、一番大きいフレームに合わせ、ウィン
ドウシステム３５上で領域を区切る。そして、区切られ
た領域に順番にビューオブジェクトを割り当てる。な
お、ある時間帯においてビューの再生が終了した領域が
存在する場合、その時間帯以降のビューにその領域を割
り当てる。If the display location of the content 16 is not designated for the scheduler 18, the scheduler 18 determines the display location in consideration of the overlap of the time zones of the reproduction data. For example, when displaying moving images with different frame sizes, the area is divided on the window system 35 in accordance with the largest frame. Then, view objects are sequentially assigned to the divided areas. If there is an area in which reproduction of the view is completed in a certain time zone, the area is assigned to the view after that time zone.

【０１１９】以上の動作により、スケジューラ１８はビ
ューオブジェクトごとに、ウィンドウシステム３５上で
ウィンドウを作成する位置、フレームサイズ、複数のデ
ータに対しそれぞれ、データのファイル名、データの再
生開始時刻、ピクチャレート、データ上の部分アクセス
を開始する位置、データの再生時間長を出力する。これ
らのパラメータは再生プログラム１９に読み込まれる。By the above operation, the scheduler 18 makes a window object position on the window system 35, a frame size, a file name of data, a reproduction start time of data, and a picture rate for a plurality of data for each view object. , The position to start the partial access on the data and the reproduction time length of the data are output. These parameters are read into the reproduction program 19.

【０１２０】次に、本発明の一実施例によるスケジュー
ラ１８の動作について説明する。マルチメディアデータ
ベースでは、検索結果を表示するなどの場合、複数のビ
ューオブジェクトを組にしてユーザに提示する。これら
のビューオブジェクトを提示するため、それに対応する
ストリームオジェクトの中から適切なものをスケジュー
ラ１８により選択する。以下の実施例では、動画像ビュ
ーオブジェクトを対象とした例を説明する。Next, the operation of the scheduler 18 according to the embodiment of the present invention will be described. In a multimedia database, when displaying search results, a plurality of view objects are grouped and presented to the user. In order to present these view objects, the scheduler 18 selects an appropriate one from the corresponding stream objects. In the following embodiment, an example of a moving image view object will be described.

【０１２１】図１６は、本発明の一実施例によるスケジ
ューラ１８の動作を示すフローチャートである。まず、
ステップＳ２１に示すように、スケジューラ１８は、複
数の＜ビューオブジェクト，表示開始時刻＞対を入力す
る。この＜ビューオブジェクト，表示開始時刻＞対は、
例えば、スクリプトをパース（解析）し、各ビューオブ
ジェクトに対する表示開始時刻を計算することにより得
られる。FIG. 16 is a flow chart showing the operation of the scheduler 18 according to an embodiment of the present invention. First,
As shown in step S21, the scheduler 18 inputs a plurality of <view object, display start time> pairs. This <view object, display start time> pair is
For example, it can be obtained by parsing (analyzing) the script and calculating the display start time for each view object.

【０１２２】次に、ステップＳ２２に示すように、各ビ
ューオブジェクトに対し、ビューオブジェクトの再生時
間長の属性値をオブジェクトベース１３から取得する。
次に、ステップＳ２３に示すように、各ビューオブジェ
クトに対し、ビューオブジェクトに対応する複数のスト
リームオブジェクトのフレームサイズ（ｗｉｄｔｈ、ｈ
ｅｉｇｈｔ）、ピクチャレート（ｆｒａｍｅＲａｔ
ｅ）、負荷（ｌｏａｄ）の属性値をオブジェクトベース
１３から取得する。Next, as shown in step S22, the attribute value of the playback time length of the view object is obtained from the object base 13 for each view object.
Next, as shown in step S23, for each view object, the frame sizes (width, h) of a plurality of stream objects corresponding to the view object are displayed.
Eight), picture rate (frameRat)
e), the attribute value of load is acquired from the object base 13.

【０１２３】次に、ステップＳ２４に示すように、ビュ
ーオブジェクトに対応するストリームオブジェクトに優
先順位を付ける。優先順位を付ける方法は、例えば、ス
トリームオブジェクトをフレームサイズの大きい順に並
べ、同じサイズのデータがある場合、ピクチャレートの
大きい順に並べる。この優先順位に従って、１から順に
数字（識別子）をストリームオブジェクトに付けてお
く。Next, as shown in step S24, the stream objects corresponding to the view objects are prioritized. As a method of prioritizing, for example, stream objects are arranged in descending order of frame size, and when data of the same size are present, they are arranged in descending order of picture rate. In accordance with this priority, numbers (identifiers) are attached to the stream objects in order from 1.

【０１２４】次に、ステップＳ２５に示すように、ビュ
ーオブジェクトの時間に対する多重度が変化する区間を
検出する。次に、ステップＳ２６に示すように、各ビュ
ーオブジェクトの開始時刻と終了時刻（開始時刻と再生
時間長とから求められる）とを用いて時間を区切り、区
切られた各時間帯で再生されるビューオブジェクトを求
め、時間帯ごとに属するビューオブジェクトの一覧表を
作る。Next, as shown in step S25, a section in which the multiplicity of the view object changes with time is detected. Next, as shown in step S26, the view is played back in each of the divided time zones by separating the time using the start time and end time (obtained from the start time and the playback time length) of each view object. Find objects and make a list of view objects that belong to each time zone.

【０１２５】次に、ステップＳ２７に示すように、各時
間帯ごとに、それに属するビューオブジェクトとそれに
対するストリームオブジェクトの識別子（初期値は１）
を記録する。Next, as shown in step S27, the identifier of the view object belonging to it and the stream object for it (initial value is 1) for each time period.
To record.

【０１２６】次に、ステップＳ２８に示すように、ビュ
ーオブジェクトが属する一番過去の時間帯に着目する。
次に、ステップＳ２９に示すように、ビューオブジェク
トが属する一番過去の時間帯から順に、各時間帯に属す
るビューオブジェクトに対して選択されているストリー
ムオブジェクトの負荷の総和を計算する。Next, as shown in step S28, attention is paid to the earliest time zone to which the view object belongs.
Next, as shown in step S29, the total load of the stream objects selected for the view objects belonging to each time zone is calculated in order from the earliest time zone to which the view object belongs.

【０１２７】例えば、動画像がＭＰＥＧ−１ｖｉｄｅｏ
データ３６の場合、フレームの種類としてＩフレーム、
Ｐフレーム、Ｂフレームがあり、それぞれ復号に要する
コンピュータ資源が変化する。他の動画像と同時に表示
する場合、資源が最も多く用いられるフレームで負荷量
を計算するのが望ましいと考えられる。ＭＰＥＧ−１ｖ
ｉｄｅｏデータ３６では、Ｉフレームの復号にＣＰＵの
時間が最も多く使われるため、Ｉフレームの復号時間の
平均時間Ｔ秒を用いて、Ｔ％を負荷量として用いること
ができる。For example, the moving image is MPEG-1 video.
In the case of the data 36, the type of frame is an I frame,
There are P frames and B frames, and the computer resources required for decoding change. When it is displayed at the same time as other moving images, it is considered desirable to calculate the load amount in the frame in which the resource is used most. MPEG-1v
In the video data 36, since the CPU time is used most for decoding the I frame, T% can be used as the load amount by using the average time T seconds of the decoding time of the I frame.

【０１２８】次に、ステップＳ３０に示すように、負荷
の合計が１００％を越えたかどうかを判断し、負荷の合
計が１００％を越えた場合、ステップＳ３１に進む。次
に、ステップＳ３１に示すように、適当なビューオブジ
ェクトに対して、優先順位を下げることが可能なストリ
ームオブジェクトがあるかどうかを判断し、優先順位を
下げることが可能なストリームオブジェクトがない場
合、ステップＳ３２に進み、再生をあきらめる。Next, as shown in step S30, it is determined whether the total load exceeds 100%. If the total load exceeds 100%, the process proceeds to step S31. Next, as shown in step S31, it is determined whether or not there is a stream object whose priority can be lowered for an appropriate view object, and when there is no stream object whose priority can be lowered, In step S32, the reproduction is given up.

【０１２９】一方、ステップＳ３１で優先順位を下げる
ことが可能なストリームオブジェクトがあると判断され
た場合、ステップＳ３３に進み、適当なビューオブジェ
クトに対して、選択するストリームオブジェクトの優先
順位を下げる。ビューオブジェクトの選択方法として
は、時間帯で最も負荷の大きいビューオブジェクトを選
択することもでき、また、選択肢が最も多く残っている
ビューオブジェクトを選択することもできる。On the other hand, if it is determined in step S31 that there is a stream object whose priority can be lowered, the process proceeds to step S33 and the priority of the stream object to be selected is lowered with respect to an appropriate view object. As a method of selecting a view object, a view object having the largest load in a time zone may be selected, or a view object having the largest number of options may be selected.

【０１３０】次に、ステップＳ３４に示すように、ある
ビューオブジェクトに対応するストリームオブジェクト
の優先順位が下がり、それまでの時間帯に用いていたフ
レームサイズが変化したビューオブジェクトがあるかど
うか判断する。そして、フレームサイズが変化したビュ
ーオブジェクトがない場合、ステップＳ２９に戻る。Next, as shown in step S34, it is determined whether or not there is a view object whose stream size corresponding to a certain view object is lowered and the frame size used until that time has changed. If there is no view object whose frame size has changed, the process returns to step S29.

【０１３１】一方、ステップＳ３４でフレームサイズが
変化したビューオブジェクトがあると判断された場合、
ステップＳ３５に進み、フレームサイズが変化したビュ
ーオブジェクトの優先順位をＸとする。On the other hand, if it is determined in step S34 that there is a view object whose frame size has changed,
In step S35, the priority of the view object whose frame size has changed is X.

【０１３２】次に、ステップＳ３６に示すように、フレ
ームサイズが変化したビューオブジェクトの全ての時間
帯に対し、優先順位をＸに変更する。次に、ステップＳ
３７に示すように、注目している時間帯より以前の各ビ
ューオブジェクトに対する優先度を、現在設定されてい
るフレームサイズで一番優先度の高いものに変更する。Next, as shown in step S36, the priority is changed to X for all the time zones of the view object whose frame size has changed. Next, step S
As shown in 37, the priority for each view object before the time zone of interest is changed to the highest priority in the currently set frame size.

【０１３３】次に、ステップＳ３８に示すように、注目
する時間帯を一番過去の時間帯に設定し、ステップＳ２
９に戻ってストリームオブジェクトの決定をやり直す。
一方、ステップＳ３０で負荷の合計が１００％を越えて
いないと判断された場合、ステップＳ３９に進み、まだ
処理していない時間帯があるかどうかを判断する。そし
て、まだ処理していない時間帯がある場合、ステップＳ
３９に進み、注目する時間帯を次に進め、ステップＳ２
９に戻って、以上の計算を全ての時間帯に対して行う。Next, as shown in step S38, the time zone of interest is set to the earliest time zone, and step S2
Return to step 9 and repeat the determination of the stream object.
On the other hand, when it is determined in step S30 that the total load does not exceed 100%, the process proceeds to step S39, and it is determined whether or not there is a time zone that has not been processed. If there is a time zone that has not been processed, step S
39, advance the time zone of interest to the next, and step S2
Returning to 9, the above calculation is performed for all time zones.

【０１３４】一方、ステップＳ３９でまだ処理していな
い時間帯がないと判断された場合、ステップＳ４１に進
み、各ビューオブジェクトの表示位置を計算する。次
に、本発明の一実施例によるスケジューラの動作につい
て、４つのビューオブジェクト１〜４を表示する場合を
例にとって説明する。On the other hand, if it is determined in step S39 that there is no unprocessed time period, the process proceeds to step S41 to calculate the display position of each view object. Next, the operation of the scheduler according to the embodiment of the present invention will be described by taking the case of displaying four view objects 1 to 4 as an example.

【０１３５】図１７（ａ）に示すように、ビューオブジ
ェクト１〜４の選択可能データは、例えば、優先順位１
〜６のストリームオブジェクトにより示される。優先順
位１のストリームオブジェクトは、フレームサイズが３
２０×２４０ＰＩＸＥＬで、ピクチャレートが３０ｆｐ
ｓであり、ＣＰＵ１１の負荷は１００％となる。As shown in FIG. 17A, the selectable data of the view objects 1 to 4 has, for example, priority 1
~ 6 stream objects. A stream object with priority 1 has a frame size of 3
20x240 PIXEL with a picture rate of 30fps
s, and the load on the CPU 11 is 100%.

【０１３６】また、優先順位２のストリームオブジェク
トは、フレームサイズが３２０×２４０ＰＩＸＥＬで、
ピクチャレートが１５ｆｐｓであり、ＣＰＵ１１の負荷
は６０％となる。Further, the stream object of priority 2 has a frame size of 320 × 240 PIXEL,
The picture rate is 15 fps, and the load on the CPU 11 is 60%.

【０１３７】また、優先順位３のストリームオブジェク
トは、フレームサイズが３２０×２４０ＰＩＸＥＬで、
ピクチャレートが１０ｆｐｓであり、ＣＰＵ１１の負荷
は４５％となる。Further, the stream object of priority 3 has a frame size of 320 × 240 PIXEL,
The picture rate is 10 fps, and the load on the CPU 11 is 45%.

【０１３８】また、優先順位４のストリームオブジェク
トは、フレームサイズが１６０×１１２ＰＩＸＥＬで、
ピクチャレートが３０ｆｐｓであり、ＣＰＵ１１の負荷
は３５％となる。Further, the stream object of priority 4 has a frame size of 160 × 112 PIXEL,
The picture rate is 30 fps, and the load on the CPU 11 is 35%.

【０１３９】また、優先順位５のストリームオブジェク
トは、フレームサイズが１６０×１１２ＰＩＸＥＬで、
ピクチャレートが１５ｆｐｓであり、ＣＰＵ１１の負荷
は２０％となる。Further, the stream object of priority 5 has a frame size of 160 × 112 PIXEL,
The picture rate is 15 fps, and the load on the CPU 11 is 20%.

【０１４０】また、優先順位６のストリームオブジェク
トは、フレームサイズが１６０×１１２ＰＩＸＥＬで、
ピクチャレートが１０ｆｐｓであり、ＣＰＵ１１の負荷
は１５％となる。The stream object of priority 6 has a frame size of 160 × 112 PIXEL,
The picture rate is 10 fps, and the load on the CPU 11 is 15%.

【０１４１】これらの優先順位は、上述したように、異
なるフレームサイズ及びピクチャレートの場合、フレー
ムサイズの大きい方を優先して選択し、同じフレームサ
イズでピクチャレートが異なる場合、ピクチャレートの
大きい方を優先して選択するという方法で決定する。As described above, in the case of different frame sizes and picture rates, these priorities are selected by giving priority to the larger frame size, and when the same frame size and different picture rate are selected, the larger picture rate is selected. Is decided by giving priority to the selection.

【０１４２】また、図１７（ｂ）に示すように、ビュー
オブジェクト１〜４を再生する場合、ビューオブジェク
ト１〜４の時間に関する重なりは、例えば、４個の時間
帯１〜４に分けられるものとする。この場合、時間帯１
から順に負荷を計算しながら使用するデータを決定して
いく。ただし、同一時間帯において、表示される画像は
なるべく品質が同じになるように選択する。As shown in FIG. 17B, when the view objects 1 to 4 are reproduced, the overlap of the view objects 1 to 4 with respect to time is divided into, for example, four time zones 1 to 4. And In this case, time zone 1
The data to be used is decided while calculating the load in order. However, in the same time period, the displayed images are selected to have the same quality as much as possible.

【０１４３】まず、時間帯１において、ビューオブジェ
クト４のみが表示されるので、優先順位１のストリーム
オブジェクトを選択し、フレームサイズが３２０×２４
０ＰＩＸＥＬで、ピクチャレートが３０ｆｐｓで表示さ
れ、ＣＰＵ１１の負荷は１００％となる。First, since only the view object 4 is displayed in the time zone 1, the stream object of priority 1 is selected and the frame size is 320 × 24.
With 0 PIXEL, the picture rate is displayed at 30 fps, and the load on the CPU 11 is 100%.

【０１４４】次に、時間帯２において、２つのビューオ
ブジェクト３、４が表示される。この２つのビューオブ
ジェクト３、４を優先順位１のストリームオブジェクト
で同時に表示した場合、ＣＰＵ１１の負荷の合計は２０
０％となって、１００％を越えてしまうので、ビューオ
ブジェクト３、４に対し、優先順位３のストリームオブ
ジェクトを選択する。このことにより、フレームサイズ
が３２０×２４０ＰＩＸＥＬで、ピクチャレートが１０
ｆｐｓで表示され、ＣＰＵ１１の負荷の合計は９５％と
なる。Next, in the time zone 2, the two view objects 3 and 4 are displayed. When these two view objects 3 and 4 are simultaneously displayed as stream objects of priority 1, the total load on the CPU 11 is 20.
Since it becomes 0% and exceeds 100%, the stream object having the priority order 3 is selected for the view objects 3 and 4. As a result, the frame size is 320 × 240 PIXEL and the picture rate is 10
It is displayed in fps, and the total load of the CPU 11 is 95%.

【０１４５】次に、時間帯３において、４つのビューオ
ブジェクト１〜４が表示される。これら４つを同時に表
示するためには、フレームサイズが３２０×２４０ＰＩ
ＸＥＬの画像を選択することはできず、フレームサイズ
を縮小する必要がある。そのため、ビューオブジェクト
３、４において、時間帯１、２のストリームオブジェク
トの選択をやり直し、優先順位４のストリームオブジェ
クトを選択する。この場合、フレームサイズが１６０×
１１２ＰＩＸＥＬで、ピクチャレートが３０ｆｐｓの画
像が表示され、時間帯１のＣＰＵ１１の負荷は３５％と
なり、時間帯２のＣＰＵ１１の負荷の合計は７０％とな
る。Next, in time period 3, four view objects 1 to 4 are displayed. In order to display these four at the same time, the frame size is 320 × 240 PI
The XEL image cannot be selected, and the frame size needs to be reduced. Therefore, in the view objects 3 and 4, the stream objects of the time zones 1 and 2 are selected again, and the stream object of the priority order 4 is selected. In this case, the frame size is 160 ×
An image with a picture rate of 30 fps is displayed in 112 PIXEL, the load of the CPU 11 in the time zone 1 is 35%, and the total load of the CPU 11 in the time zone 2 is 70%.

【０１４６】また、時間帯３のビューオブジェクト１に
対し、優先順位４のストリームオブジェクトを選択し、
ビューオブジェクト２〜４に対し、優先順位５のストリ
ームオブジェクトを選択する。この場合、ＣＰＵ１１の
負荷の合計は９５％となる。For the view object 1 in the time zone 3, the stream object with the priority order 4 is selected,
For view objects 2-4, select a stream object with a priority of 5. In this case, the total load on the CPU 11 is 95%.

【０１４７】次に、時間帯４において、ビューオブジェ
クト４のみが表示される。この場合、時間帯３でフレー
ムサイズが１６０×１１２ＰＩＸＥＬに縮小され、優先
順位が４に設定されている。このため、時間帯４でも同
サイズでピクチャレートが３０ｆｐｓの画像を選択す
る。この場合、ＣＰＵ１１の負荷は３５％となる。Next, in the time zone 4, only the view object 4 is displayed. In this case, the frame size is reduced to 160 × 112 PIXEL in time zone 3 and the priority is set to 4. Therefore, even in the time zone 4, an image having the same size and a picture rate of 30 fps is selected. In this case, the load on the CPU 11 is 35%.

【０１４８】以上により、ビューオブジェクト３の場
合、時間帯２において、フレームサイズが１６０×１１
２ＰＩＸＥＬで、ピクチャレートが３０ｆｐｓの画像デ
ータを、時間帯３において、フレームサイズが１６０×
１１２ＰＩＸＥＬで、ピクチャレートが１５ｆｐｓの画
像データを連続して表示することができる。As described above, in the case of the view object 3, the frame size is 160 × 11 in the time zone 2.
Image data having a picture rate of 30 fps in 2 PIXEL and a frame size of 160 × in the time period 3
With 112 PIXEL, image data having a picture rate of 15 fps can be continuously displayed.

【０１４９】また、ビューオブジェクト４の場合、時間
帯１、２において、フレームサイズが１６０×１１２Ｐ
ＩＸＥＬで、ピクチャレートが３０ｆｐｓの画像データ
を、時間帯３において、フレームサイズが１６０×１１
２ＰＩＸＥＬで、ピクチャレートが１５ｆｐｓの画像デ
ータを、時間帯４において、フレームサイズが１６０×
１１２ＰＩＸＥＬで、ピクチャレートが３０ｆｐｓの画
像データを連続して表示することができる。In the case of the view object 4, the frame size is 160 × 112P in the time zones 1 and 2.
Image data with a picture rate of 30 fps in IXEL and a frame size of 160 × 11 in time period 3
Image data with a picture rate of 15 fps in 2 PIXEL and a frame size of 160 × in time zone 4
With 112 PIXEL, image data having a picture rate of 30 fps can be continuously displayed.

【０１５０】次に、上述した４つのビューオブジェクト
１〜４を表示するデータ選択方法の処理経過を順を追っ
て説明する。まず、図１８（０）に示すように、全ての
時間帯１〜４において、ビューオブジェクト１〜４のス
トリームオブジェクトは優先順位１に設定される。この
場合、時間帯１におけるＣＰＵ１１の負荷の合計は１０
０％となり、時間帯２におけるＣＰＵ１１の負荷の合計
は２００％となり、時間帯３におけるＣＰＵ１１の負荷
の合計は４００％となり、時間帯４におけるＣＰＵ１１
の負荷の合計は１００％となる。Next, the process of the data selection method for displaying the above-mentioned four view objects 1 to 4 will be described step by step. First, as shown in FIG. 18 (0), the stream objects of the view objects 1 to 4 are set to priority 1 in all the time zones 1 to 4. In this case, the total load of the CPU 11 in the time zone 1 is 10
0%, the total load of the CPU 11 in the time zone 2 is 200%, the total load of the CPU 11 in the time zone 3 is 400%, and the CPU 11 in the time zone 4 is
The total load is 100%.

【０１５１】次に、図１８（１）に示すように、時間帯
１に注目し、ＣＰＵ１１の負荷の合計が１００％である
ので優先順位の変更を行わず、時間帯２の処理に移る。
次に、図１８（２）に示すように、時間帯２において、
ＣＰＵ１１の負荷の合計が１００％を越えているので、
時間帯２におけるビューオブジェクト４の優先順位を２
に下げる。この場合、時間帯２におけるＣＰＵ１１の負
荷の合計は１６０％となる。なお、優先順位を下げるこ
とが可能なビューオブジェクトが複数個ある場合、優先
順位の高いものから選択し、同じ優先順位のビューオブ
ジェクトが複数個ある場合、ビューオブジェクト４、
３、２、１の順に選択する。Next, as shown in FIG. 18 (1), paying attention to the time zone 1, and since the total load of the CPU 11 is 100%, the priority order is not changed and the process for the time zone 2 is started.
Next, as shown in FIG. 18 (2), in the time zone 2,
Since the total load on the CPU 11 exceeds 100%,
The priority of view object 4 in time zone 2 is 2
Lower to. In this case, the total load of the CPU 11 in the time zone 2 is 160%. When there are a plurality of view objects whose priority can be lowered, the one having the highest priority is selected, and when there are a plurality of view objects having the same priority, the view object 4,
Select in the order of 3, 2, 1.

【０１５２】次に、図１８（３）に示すように、時間帯
２において、ＣＰＵ１１の負荷の合計が依然として１０
０％を越えているので、時間帯２におけるビューオブジ
ェクト３の優先順位を２に下げる。この場合、時間帯２
におけるＣＰＵ１１の負荷の合計は１２０％となる。Next, as shown in FIG. 18C, the total load of the CPU 11 is still 10 in the time zone 2.
Since it exceeds 0%, the priority of the view object 3 in the time zone 2 is lowered to 2. In this case, time zone 2
The total load on the CPU 11 at 120% is 120%.

【０１５３】次に、図１８（４）に示すように、時間帯
２において、ＣＰＵ１１の負荷の合計が依然として１０
０％を越えているので、時間帯２におけるビューオブジ
ェクト４の優先順位を３に下げる。この場合、時間帯２
におけるＣＰＵ１１の負荷の合計は１０５％となる。Next, as shown in FIG. 18 (4), the total load of the CPU 11 is still 10 in the time zone 2.
Since it exceeds 0%, the priority of the view object 4 in the time zone 2 is lowered to 3. In this case, time zone 2
The total load of the CPU 11 at is 105%.

【０１５４】次に、図１８（５）に示すように、時間帯
２において、ＣＰＵ１１の負荷の合計が依然として１０
０％を越えているので、時間帯２におけるビューオブジ
ェクト３の優先順位を３に下げる。この場合、時間帯２
におけるＣＰＵ１１の負荷の合計は９０％となり、時間
帯２におけるＣＰＵ１１の負荷の合計が１００％以下と
なったので、時間帯３の処理に移る。Next, as shown in FIG. 18 (5), the total load of the CPU 11 is still 10 in the time zone 2.
Since it exceeds 0%, the priority of the view object 3 in the time zone 2 is lowered to 3. In this case, time zone 2
Since the total load of the CPU 11 in 90% is 90% and the total load of the CPU 11 in time period 2 is 100% or less, the process of time period 3 is started.

【０１５５】次に、図１８（６）に示すように、時間帯
３において、ＣＰＵ１１の負荷の合計が１００％を越え
ているので、時間帯３におけるビューオブジェクト４の
優先順位を２に下げる。この場合、時間帯３におけるＣ
ＰＵ１１の負荷の合計は３６０％となる。Next, as shown in FIG. 18 (6), since the total load of the CPU 11 exceeds 100% in the time zone 3, the priority of the view object 4 in the time zone 3 is lowered to 2. In this case, C in time zone 3
The total load of the PU 11 is 360%.

【０１５６】次に、図１８（７）に示すように、時間帯
３において、ＣＰＵ１１の負荷の合計が依然として１０
０％を越えているので、時間帯３におけるビューオブジ
ェクト３の優先順位を２に下げる。この場合、時間帯３
におけるＣＰＵ１１の負荷の合計は３２０％となる。Next, as shown in FIG. 18 (7), the total load of the CPU 11 is still 10 in the time zone 3.
Since it exceeds 0%, the priority of the view object 3 in the time zone 3 is lowered to 2. In this case, time zone 3
The total load of the CPU 11 in the above is 320%.

【０１５７】次に、図１８（８）に示すように、時間帯
３において、ＣＰＵ１１の負荷の合計が依然として１０
０％を越えているので、時間帯３におけるビューオブジ
ェクト２の優先順位を２に下げる。この場合、時間帯３
におけるＣＰＵ１１の負荷の合計は２８０％となる。Next, as shown in FIG. 18 (8), the total load of the CPU 11 is still 10 in the time zone 3.
Since it exceeds 0%, the priority of the view object 2 in the time zone 3 is lowered to 2. In this case, time zone 3
The total load of the CPU 11 in is 280%.

【０１５８】次に、図１８（９）に示すように、時間帯
３において、ＣＰＵ１１の負荷の合計が依然として１０
０％を越えているので、時間帯３におけるビューオブジ
ェクト１の優先順位を２に下げる。この場合、時間帯３
におけるＣＰＵ１１の負荷の合計は２４０％となる。Next, as shown in FIG. 18 (9), the total load of the CPU 11 is still 10 in the time zone 3.
Since it exceeds 0%, the priority of the view object 1 in the time zone 3 is lowered to 2. In this case, time zone 3
The total load of the CPU 11 in the above is 240%.

【０１５９】次に、図１８（１０）に示すように、時間
帯３において、ＣＰＵ１１の負荷の合計が依然として１
００％を越えているので、時間帯３におけるビューオブ
ジェクト４の優先順位を３に下げる。この場合、時間帯
３におけるＣＰＵ１１の負荷の合計は２２５％となる。Next, as shown in FIG. 18 (10), in time period 3, the total load of the CPU 11 is still 1.
Since it exceeds 00%, the priority of the view object 4 in the time zone 3 is lowered to 3. In this case, the total load of the CPU 11 in the time zone 3 is 225%.

【０１６０】次に、図１８（１１）に示すように、時間
帯３において、ＣＰＵ１１の負荷の合計が依然として１
００％を越えているので、時間帯３におけるビューオブ
ジェクト３の優先順位を３に下げる。この場合、時間帯
３におけるＣＰＵ１１の負荷の合計は２１０％となる。Next, as shown in FIG. 18 (11), the total load of the CPU 11 is still 1 in the time zone 3.
Since it exceeds 00%, the priority of the view object 3 in the time zone 3 is lowered to 3. In this case, the total load of the CPU 11 in the time zone 3 is 210%.

【０１６１】次に、図１８（１２）に示すように、時間
帯３において、ＣＰＵ１１の負荷の合計が依然として１
００％を越えているので、時間帯３におけるビューオブ
ジェクト２の優先順位を３に下げる。この場合、時間帯
３におけるＣＰＵ１１の負荷の合計は１９５％となる。Next, as shown in FIG. 18 (12), the total load of the CPU 11 is still 1 in the time zone 3.
Since it exceeds 00%, the priority of the view object 2 in the time zone 3 is lowered to 3. In this case, the total load of the CPU 11 in the time zone 3 is 195%.

【０１６２】次に、図１８（１３）に示すように、時間
帯３において、ＣＰＵ１１の負荷の合計が依然として１
００％を越えているので、時間帯３におけるビューオブ
ジェクト１の優先順位を３に下げる。この場合、時間帯
３におけるＣＰＵ１１の負荷の合計は１８０％となる。Next, as shown in FIG. 18 (13), in time period 3, the total load of the CPU 11 is still 1.
Since it exceeds 00%, the priority of the view object 1 in the time zone 3 is lowered to 3. In this case, the total load of the CPU 11 in the time zone 3 is 180%.

【０１６３】次に、図１８（１４）に示すように、時間
帯３において、ＣＰＵ１１の負荷の合計が依然として１
００％を越えているので、時間帯３におけるビューオブ
ジェクト４の優先順位を４に下げる。この場合、時間帯
３におけるＣＰＵ１１の負荷の合計は１７０％となる。
また、ビューオブジェクト４の優先順位を３から４に下
げることにより、フレームサイズが３２０×２４０ＰＩ
ＸＥＬから１６０×１１２ＰＩＸＥＬに変化する。Next, as shown in FIG. 18 (14), the total load of the CPU 11 is still 1 in the time zone 3.
Since it exceeds 00%, the priority of the view object 4 in the time zone 3 is lowered to 4. In this case, the total load of the CPU 11 in the time zone 3 is 170%.
Also, by lowering the priority of the view object 4 from 3 to 4, the frame size becomes 320 × 240 PI.
Change from XEL to 160 × 112 PIXEL.

【０１６４】次に、図１８（１５）に示すように、全て
の時間帯１〜４において、フレームサイズが変化したビ
ューオブジェクト４の優先順位を４に変更し、フレーム
サイズを１６０×１１２ＰＩＸＥに統一する。この場
合、時間帯１におけるＣＰＵ１１の負荷の合計は３５％
となり、時間帯２におけるＣＰＵ１１の負荷の合計は８
０％となり、時間帯３におけるＣＰＵ１１の負荷の合計
は１７０％となり、時間帯４におけるＣＰＵ１１の負荷
の合計は３５％となる。Next, as shown in FIG. 18 (15), in all time zones 1 to 4, the priority of the view object 4 whose frame size has changed is changed to 4, and the frame size is unified to 160 × 112 PIXE. To do. In this case, the total load of the CPU 11 in the time zone 1 is 35%.
Therefore, the total load of the CPU 11 in the time zone 2 is 8
It becomes 0%, the total load of the CPU 11 in the time zone 3 becomes 170%, and the total load of the CPU 11 in the time zone 4 becomes 35%.

【０１６５】次に、図１８（１６）に示すように、注目
していた時間帯より前の時間帯における優先順位を、現
在設定されているフレームサイズの範囲内で最も高いも
のに変更する。この場合、ビューオブジェクト３の時間
帯２における優先順位を３から１に変更する。また、時
間帯２におけるＣＰＵ１１の負荷の合計は１３５％とな
る。Next, as shown in FIG. 18 (16), the priority in the time zone prior to the time zone of interest is changed to the highest priority within the currently set frame size range. In this case, the priority of the view object 3 in the time zone 2 is changed from 3 to 1. Further, the total load of the CPU 11 in the time zone 2 is 135%.

【０１６６】次に、図１９（１７）に示すように、時間
帯１に戻り、処理を続ける。時間帯１において、ＣＰＵ
１１の負荷の合計が３５％であるので優先順位の変更を
行わず、時間帯２の処理に移る。Next, as shown in FIG. 19 (17), the process returns to the time zone 1 and the processing is continued. CPU in time zone 1
Since the total load of 11 is 35%, the priority order is not changed and the process for time period 2 is started.

【０１６７】次に、図１８（１８）に示すように、時間
帯２において、ＣＰＵ１１の負荷の合計が１００％を越
えているので、時間帯２におけるビューオブジェクト３
の優先順位を２に下げる。この場合、時間帯２における
ＣＰＵ１１の負荷の合計は９５％となり、１００％以下
であるので、時間帯３の処理に移る。Next, as shown in FIG. 18 (18), since the total load of the CPU 11 exceeds 100% in the time zone 2, the view object 3 in the time zone 2 is displayed.
Lower the priority of to 2. In this case, the total load of the CPU 11 in the time zone 2 is 95%, which is 100% or less, so that the process in the time zone 3 is started.

【０１６８】次に、図１８（１９）に示すように、時間
帯３において、ＣＰＵ１１の負荷の合計が１００％を越
えているので、時間帯３におけるビューオブジェクト３
の優先順位を４に下げる。この場合、時間帯３における
ＣＰＵ１１の負荷の合計は１６０％となる。また、ビュ
ーオブジェクト３の優先順位を３から４に下げることに
より、フレームサイズが３２０×２４０ＰＩＸＥＬから
１６０×１１２ＰＩＸＥＬに変化する。Next, as shown in FIG. 18 (19), since the total load of the CPU 11 exceeds 100% in the time zone 3, the view object 3 in the time zone 3 is displayed.
Lowers the priority of to 4. In this case, the total load of the CPU 11 in the time zone 3 is 160%. Also, by lowering the priority of the view object 3 from 3 to 4, the frame size changes from 320 × 240 PIXEL to 160 × 112 PIXEL.

【０１６９】次に、図１８（２０）に示すように、ビュ
ーオブジェクト３の属する時間帯２において、ビューオ
ブジェクト３の優先順位を４に変更し、フレームサイズ
を１６０×１１２ＰＩＸＥに統一する。この場合、時間
帯２におけるＣＰＵ１１の負荷の合計は７０％となる。Next, as shown in FIG. 18 (20), in the time zone 2 to which the view object 3 belongs, the priority of the view object 3 is changed to 4 and the frame size is unified to 160 × 112 PIXE. In this case, the total load of the CPU 11 in the time zone 2 is 70%.

【０１７０】次に、図１８（２１）に示すように、注目
していた時間帯より前の時間帯における優先順位を、現
在設定されているフレームサイズの範囲内で最も高いも
のに変更する。この場合、時間帯１のビューオブジェク
ト４の優先順位は４であり、現在設定されているフレー
ムサイズの範囲内で最も高いものなので、優先順位の変
更を行わない。Next, as shown in FIG. 18 (21), the priority order in the time zone prior to the time zone of interest is changed to the highest priority within the currently set frame size range. In this case, the priority of the view object 4 in the time zone 1 is 4, which is the highest within the currently set frame size, and thus the priority is not changed.

【０１７１】次に、図１８（２１）に示すように、時間
帯１に戻り、処理を続ける。時間帯１において、ＣＰＵ
１１の負荷の合計が３５％であるので優先順位の変更を
行わず、時間帯２の処理に移る。Next, as shown in FIG. 18 (21), the process returns to the time zone 1 and the processing is continued. CPU in time zone 1
Since the total load of 11 is 35%, the priority order is not changed and the process for time period 2 is started.

【０１７２】次に、図１８（２２）に示すように、時間
帯２において、ＣＰＵ１１の負荷の合計が７０％である
ので優先順位の変更を行わず、時間帯３の処理に移る。
次に、図１８（２３）に示すように、時間帯３におい
て、ＣＰＵ１１の負荷の合計が１００％を越えているの
で、時間帯３におけるビューオブジェクト２の優先順位
を４に下げる。この場合、時間帯３におけるＣＰＵ１１
の負荷の合計は１５０％となる。Next, as shown in FIG. 18 (22), since the total load of the CPU 11 is 70% in the time zone 2, the priority order is not changed and the process in the time zone 3 is started.
Next, as shown in FIG. 18 (23), since the total load of the CPU 11 exceeds 100% in the time zone 3, the priority of the view object 2 in the time zone 3 is lowered to 4. In this case, the CPU 11 in the time zone 3
The total load is about 150%.

【０１７３】次に、図１８（２４）に示すように、時間
帯３において、ＣＰＵ１１の負荷の合計が依然として１
００％を越えているので、時間帯３におけるビューオブ
ジェクト１の優先順位を４に下げる。この場合、時間帯
３におけるＣＰＵ１１の負荷の合計は１４０％となる。
次に、図１８（２５）に示すように、時間帯３におい
て、ＣＰＵ１１の負荷の合計が依然として１００％を越
えているので、時間帯３におけるビューオブジェクト４
の優先順位を５に下げる。この場合、時間帯３における
ＣＰＵ１１の負荷の合計は１２５％となる。Next, as shown in FIG. 18 (24), the total load of the CPU 11 is still 1 in the time zone 3.
Since it exceeds 00%, the priority of the view object 1 in the time zone 3 is lowered to 4. In this case, the total load of the CPU 11 in the time zone 3 is 140%.
Next, as shown in FIG. 18 (25), since the total load of the CPU 11 still exceeds 100% in the time zone 3, the view object 4 in the time zone 3 is displayed.
Lower the priority of to 5. In this case, the total load of the CPU 11 in the time zone 3 is 125%.

【０１７４】次に、図１８（２６）に示すように、時間
帯３において、ＣＰＵ１１の負荷の合計が依然として１
００％を越えているので、時間帯３におけるビューオブ
ジェクト３の優先順位を５に下げる。この場合、時間帯
３におけるＣＰＵ１１の負荷の合計は１１０％となる。Next, as shown in FIG. 18 (26), in time period 3, the total load of the CPU 11 is still 1.
Since it exceeds 00%, the priority of the view object 3 in the time zone 3 is lowered to 5. In this case, the total load of the CPU 11 in the time zone 3 is 110%.

【０１７５】次に、図１８（２７）に示すように、時間
帯３において、ＣＰＵ１１の負荷の合計が依然として１
００％を越えているので、時間帯３におけるビューオブ
ジェクト２の優先順位を５に下げる。この場合、時間帯
３におけるＣＰＵ１１の負荷の合計は９５％となるの
で、時間帯４の処理に移る。Next, as shown in FIG. 18 (27), the total load of the CPU 11 is still 1 in the time zone 3.
Since it exceeds 00%, the priority of the view object 2 in the time zone 3 is lowered to 5. In this case, the total load of the CPU 11 in the time zone 3 is 95%, and thus the processing in the time zone 4 is started.

【０１７６】次に、図１８（２８）に示すように、時間
帯４において、ＣＰＵ１１の負荷の合計が３５％である
ので、優先順位の変更を行わず、処理を終了する。次
に、本発明の一実施例による複数の動画像を表示する場
合のウィンドウの設定方法について説明する。Next, as shown in FIG. 18 (28), since the total load of the CPU 11 is 35% in the time zone 4, the priority order is not changed and the process is terminated. Next, a method of setting a window when displaying a plurality of moving images according to an embodiment of the present invention will be described.

【０１７７】フレームサイズの異なる動画像を表示する
場合は、一番大きいフレームサイズに合わせてウィンド
ウを区切る。そして、ビューオブジェクトが前の時間帯
に存在するかどうかを時間帯ごとに調べ、ビューオブジ
ェクトが前の時間帯に存在する場合、ビューオブジェク
トが存在していた場所に引き続きビューオブジェクトを
表示する。ビューオブジェクトが前の時間帯に存在しな
い場合、注目している時間帯で新たに表示されるビュー
の場所として用いる。When displaying moving images having different frame sizes, windows are divided according to the largest frame size. Then, it is checked whether or not the view object exists in the previous time zone, and if the view object exists in the previous time zone, the view object is continuously displayed at the place where the view object existed. If the view object does not exist in the previous time zone, it is used as the location of the view newly displayed in the time zone of interest.

【０１７８】例えば、図２０（ａ）に示すように、フレ
ームサイズが１６０×１１２ＰＩＸＥＬのビューオブジ
ェクト１を時間帯１〜３に表示し、フレームサイズが３
２０×２４０ＰＩＸＥＬのビューオブジェクト２を時間
帯１に表示し、フレームサイズが１６０×１１２ＰＩＸ
ＥＬのビューオブジェクト３を時間帯３、４に表示する
場合、図２０（ｂ）に示すように、表示するビューオブ
ジェクト１〜３のうちフレームサイズが一番大きいビュ
ーオブジェクト２でウィンドウシステムを区切る。そし
て、ビューオブジェクト２は、時間帯１にのみ表示され
るため、ビューオブジェクト２を表示した後、ビューオ
ブジェクト３を表示する場合、ビューオブジェクト３を
ビューオブジェクト２が表示されていた場所に表示す
る。For example, as shown in FIG. 20A, the view object 1 having a frame size of 160 × 112 PIXEL is displayed in the time zones 1 to 3, and the frame size is 3
The view object 2 of 20 × 240 PIXEL is displayed in the time zone 1, and the frame size is 160 × 112 PIX.
When the EL view object 3 is displayed in the time zones 3 and 4, the window system is divided by the view object 2 having the largest frame size among the view objects 1 to 3 to be displayed, as shown in FIG. Then, since the view object 2 is displayed only in the time zone 1, when the view object 3 is displayed after the view object 2 is displayed, the view object 3 is displayed in the place where the view object 2 was displayed.

【０１７９】図２１は、複数の動画像を表示する場合の
ウィンドウの設定方法を示すフローチャートである。ま
ず、ステップＳ４１に示すように、複数のビューを表示
する時の各フレームサイズから縦横の最大値をそれぞれ
求める。FIG. 21 is a flow chart showing a window setting method for displaying a plurality of moving images. First, as shown in step S41, maximum vertical and horizontal values are obtained from each frame size when a plurality of views are displayed.

【０１８０】次に、ステップＳ４２に示すように、縦横
の最大値を用いてウィンドウを区切り、区切られた各区
画に対して順番を決める。次に、ステップＳ４３に示す
ように、注目する時間帯を一番過去に設定する。Next, as shown in step S42, the maximum values in the vertical and horizontal directions are used to divide the window, and the order is determined for each divided section. Next, as shown in step S43, the time zone of interest is set to the earliest.

【０１８１】次に、ステップＳ４４に示すように、該当
する時間帯で表示する各ビューに対し、ウィンドウの区
画を順に割り振る。次に、ステップＳ４５に示すよう
に、注目する時間帯を次の時間帯に進める。Next, as shown in step S44, window sections are sequentially allocated to each view displayed in the corresponding time zone. Next, as shown in step S45, the time zone of interest is advanced to the next time zone.

【０１８２】次に、ステップＳ４６に示すように、表示
するビューが直前の時間帯から引き続いているかどうか
を判断し、直前の時間帯から引き続いている場合、ステ
ップＳ４７に進み、直前の時間帯で用いている区画を次
の時間帯の区画として割り振る。Next, as shown in step S46, it is determined whether or not the view to be displayed has continued from the immediately preceding time period. If it has continued from the immediately preceding time period, the process proceeds to step S47 and the immediately preceding time period continues. Allocate the used partition as the partition for the next time zone.

【０１８３】一方、ステップＳ４６で直前の時間帯から
引き続いていないと判断された場合、ステップＳ４８に
進み、空いている区画のうち、最も若い順番の区画を次
の時間帯の区画として割り振る。On the other hand, if it is determined in step S46 that it has not continued from the immediately preceding time slot, the process proceeds to step S48, in which the smallest partition among the empty partitions is allocated as the partition in the next time slot.

【０１８４】次に、ステップＳ４９に示すように、まだ
区画が割り振られていない時間帯があるかどうかを判断
し、まだ区画が割り振られていない時間帯がある場合、
ステップＳ４５に戻って処理を続け、まだ区画が割り振
られていない時間帯がない場合、処理を終了する。Next, as shown in step S49, it is judged whether or not there is a time zone in which no partition is allocated yet, and if there is a time zone in which no partition is allocated yet,
Returning to step S45, the processing is continued, and if there is no time zone in which no partition has been allocated yet, the processing ends.

【０１８５】次に、本発明の一実施例による複数の動画
像を表示する場合のソフトウェアによる再生方法につい
て説明する。複数の動画像を同時に再生する場合、ハー
ドウェアによる１台の復号装置では１度に１つの動画像
（ビデオストリーム）しか扱うことができないため、任
意の数の動画像を再生することができない。一方、ソフ
トウェアを用いて再生する場合、任意の数の動画像を再
生することができる。Next, a reproducing method by software for displaying a plurality of moving images according to an embodiment of the present invention will be described. When a plurality of moving images are played back at the same time, a single decoding device using hardware can handle only one moving image (video stream) at a time, and therefore an arbitrary number of moving images cannot be played back. On the other hand, when using software to reproduce, any number of moving images can be reproduced.

【０１８６】また、スクリプトなどで幾つかのビューと
その再生時刻とを指定した場合、幾つかのビューが同時
に再生され、同時に再生される動画像の数が時刻によっ
て変化する。このため、同時に再生される動画像の数の
変化に応じて、動画像を再生するための負荷を変化させ
ることにより、コンピュータ資源を有効に使用すること
ができる。When a script or the like specifies several views and their reproduction times, some views are reproduced at the same time, and the number of moving images reproduced at the same time changes depending on the time. Therefore, by changing the load for reproducing moving images according to the change in the number of moving images reproduced at the same time, computer resources can be used effectively.

【０１８７】例えば、スケジューラ１８は、あるビュー
に対し、ビュー（動画像）の同時再生数の変化に応じて
再生に使用するファイルを選択する。そして、ウィンド
ウシステム３５に作成した１つのウィンドウに選択した
ファイルを順に再生し同一のウィンドウに表示すること
により、ユーザは、データ自体は独立しているにもかか
わらず連続したビューが再生されているものとして見る
ことができる。For example, the scheduler 18 selects a file to be used for reproduction for a certain view in accordance with a change in the number of simultaneous reproductions of the view (moving image). Then, by sequentially playing back the selected files in one window created in the window system 35 and displaying them in the same window, the user can play back consecutive views even though the data itself is independent. Can be seen as a thing.

【０１８８】一方、単にウィンドウを生成して動画像を
順に再生するのみでは、動画像の切替え部分で処理に時
間がかかり連続して再生しているようには見えない。こ
れは、ＯＳ２７が再生プログラム１９を起動する時に生
じる初期化に時間がかかったり、ＭＰＥＧ−ｖｉｄｅｏ
データ３６に部分アクセスをするための処理に時間がか
かったりして、再生画像をウィンドウに連続して出力で
きないためである。On the other hand, if the windows are simply generated and the moving images are reproduced in sequence, it takes a long time to process the switching portion of the moving images, and it does not appear to be continuously reproduced. This is because initialization that takes place when the OS 27 activates the playback program 19 takes time, or MPEG-video
This is because the process for partially accessing the data 36 takes time, and the reproduced images cannot be continuously output to the window.

【０１８９】このため、再生画像の出力に先立ち、予め
必要な前処理を行い、指定された再生開始時刻までｓｌ
ｅｅｐして待つことにより、再生画像をウィンドウに連
続して出力できるようにする。Therefore, prior to the output of the reproduced image, necessary pre-processing is performed in advance, and sl is set until the designated reproduction start time.
By waiting and waiting, the reproduced images can be continuously output to the window.

【０１９０】すなわち、再生開始時刻より前に動画像再
生プログラム１９をビューごとに起動する。そして、動
画像再生プログラム１９のパラメータとして、ウィンド
ウシステム３５上でウィンドウを作成する位置、フレー
ムサイズ、複数のデータに対しそれぞれ、データのファ
イル名、データの再生開始時刻、ピクチャレート、デー
タ上の部分アクセスを開始する位置、データの再生時間
長を入力する。これらのパラメータはスケジューラ１８
により生成され、それぞれのデータ２０の表示時間帯は
連続させる。That is, the moving image reproduction program 19 is started for each view before the reproduction start time. Then, as parameters of the moving image reproduction program 19, a position to create a window on the window system 35, a frame size, a file name of data, a reproduction start time of data, a picture rate, and a portion on the data for a plurality of data, respectively. Enter the position to start access and the length of data playback time. These parameters are scheduler 18
And the display time zone of each data 20 is continuous.

【０１９１】例えば、ＭＰＥＧ−ｖｉｄｅｏデータ３６
の場合、再生プログラム１９は、ＭＰＥＧ−ｖｉｄｅｏ
データ３６が格納されているファイル名と、ウィンドウ
システム３５での表示用ウィンドウの位置、再生を開始
するＧＯＰヘッダの開始バイト、フレームのオフセッ
ト、表示開始時刻、表示フレーム数、ピクチャレートを
入力する。そして、再生プログラム１９は、データ２０
の再生開始時刻以前にウィンドウシステム３５に表示用
ウィンドウを生成し、それぞれのデータ２０のシーケン
スヘッダ部分を読み込み、初期化を行う。For example, the MPEG-video data 36
In the case of, the reproduction program 19 is MPEG-video.
The file name in which the data 36 is stored, the position of the display window in the window system 35, the start byte of the GOP header for starting reproduction, the frame offset, the display start time, the number of display frames, and the picture rate are input. Then, the reproduction program 19 uses the data 20.
A display window is generated in the window system 35 before the reproduction start time of, the sequence header portion of each data 20 is read, and initialization is performed.

【０１９２】その後、指定されたＧＯＰバイトの所にフ
ァイルの読み出しポインタを移動し、そこから始まるＧ
ＯＰを解析し、オフセットで指定されたフレーム分を表
示せずに復号のみ行う。この初期化のためのＧＯＰの解
析を行う場合、ｂｒｏｋｅｎ＿ｌｉｎｋをセットし、直
前のＧＯＰに依存しているＢフレームを再生しないよう
にする。そのため、ＧＯＰに含まれる最初のＢフレーム
の数だけの誤差が生じる。必要に応じて、Ｂフレームの
数分を補正することができる。After that, the read pointer of the file is moved to the specified GOP byte, and the G starting from that pointer is moved.
OP is analyzed and only decoding is performed without displaying the frame specified by the offset. When analyzing the GOP for this initialization, the broken_link is set so that the B frame depending on the immediately preceding GOP is not reproduced. Therefore, an error corresponding to the number of the first B frames included in the GOP occurs. If necessary, it is possible to correct a number of B frames.

【０１９３】以上により初期化が終了するので、再生開
始時刻までｓｌｅｅｐして待つ。表示開始時刻になり、
ＯＳ２７によりｓｌｅｅｐ状態からｒｕｎ状態に遷移す
ると、ウィンドウシステム３５上の指定位置に生成した
ウィンドウ上に、復号したフレームを指定ピクチャレー
トで指定フレーム数だけ指定フレームから表示する。次
に、本発明の一実施例による複数の動画像を表示する場
合の復号や表示のスキップ方法について説明する。Since the initialization is completed as described above, sleep is waited until the reproduction start time. It becomes the display start time,
When the OS 27 makes a transition from the sleep state to the run state, the decoded frames are displayed from the designated frame at the designated picture rate on the window generated at the designated position on the window system 35. Next, a decoding or skipping method for displaying a plurality of moving images according to an embodiment of the present invention will be described.

【０１９４】上述したスケジューラ１８はビューの再生
のみを把握してスケジュールを作成する。しかし、ＷＳ
のＯＳ２７はマルチタスクで動いており、デバイスから
の割り込みなどにより頻繁に処理が切り替わる。そのた
め、スケジュールを実行しても期待した分のコンピュー
タ資源を使えるとは限らず、ビューの再生に遅延が生じ
る可能性がある。連続メディアを指定したレートで正し
く再生するためには、必要に応じて復号や表示をスキッ
プしなければならない。The scheduler 18 described above grasps only the reproduction of the view and creates the schedule. But WS
The OS 27 is running in multitasking, and its processing is frequently switched due to an interrupt from the device. Therefore, even if the schedule is executed, the expected amount of computer resources is not always available, and there is a possibility that the playback of the view may be delayed. In order to play the continuous media correctly at the specified rate, decoding and display must be skipped as necessary.

【０１９５】例えば、ＭＰＥＧ−１ｖｉｄｅｏデータ３
６の場合、ピクチャレートがｒｆｂｓで、フレームＳか
ら表示を行う時、フレームｎのｐｉｃｔｕｒｅ＿ｓｔａ
ｒｔ＿ｃｏｄｅを復号した時点で、ＯＳ２７から現在の
時刻Ｔ1 を取得し、表示開始時刻Ｔ0 からの時間が（Ｔ
1 −Ｔ0 ）＞（ｎ−Ｓ）／ｒで（この場合既に表示する
タイミングに間に合っていない）、且つフレームｎがＢ
フレームの場合、そのフレームｎを復号しないようにす
る。For example, MPEG-1 video data 3
In the case of 6, when the picture rate is rfbs and the display is performed from the frame S, the picture_sta of the frame n is displayed.
At the time of decoding rt_code, the current time T 1 is acquired from the OS 27, and the time from the display start time T 0 is (T
1− T 0 )> (n−S) / r (in this case, the display timing has not been already reached), and the frame n is B
In the case of a frame, the frame n is not decoded.

【０１９６】一方、Ｉフレームを復号しない場合、Ｐフ
レームとＢフレームとを復号することができず、Ｐフレ
ームを復号しないとＢフレームを復号することができな
くなるため、ＩフレームとＢフレームとの復号は常に行
う。On the other hand, when the I frame is not decoded, the P frame and the B frame cannot be decoded, and the B frame cannot be decoded unless the P frame is decoded. Therefore, the I frame and the B frame cannot be decoded. Decryption is always done.

【０１９７】また、フレームｎの復号が終了した時点に
おいて、ＯＳ２７から現在の時刻Ｔ 2 を取得し、表示開
始時刻からの時間が（Ｔ2 −Ｔ0 ）＞（ｎ−Ｓ）／ｒの
場合、表示を行わなずに即座に次の処理を行う。At the time when the decoding of the frame n is completed,
The current time T from the OS 27 2Get and display open
Time from the start time (T2-T0)> (N−S) / r
In this case, the next process is immediately performed without displaying.

【０１９８】次に、本発明の一実施例によるＭＰＥＧ−
１ｖｉｄｅｏデータ３６の指定位置からの表示方法につ
いて説明する。ＭＰＥＧ−１ｖｉｄｅｏデータ３６は、
図２２（ａ）に示すように、先頭にｓｅｑｕｅｎｃｅ＿
ｈｅａｄｅｒがあり、その後に、複数のＧＯＰ＃１、Ｇ
ＯＰ＃２、・・・が続く。ｓｅｑｕｅｎｃｅ＿ｈｅａｄ
ｅｒは、先頭にｓｅｑｕｅｎｃｅ＿ｈｅａｄｅｒ＿ｃｏ
ｄｅ（＄０００００１００）があり、フレームサイズな
どの情報が含まれる。ＧＯＰは、先頭にｇｒｏｕｐ＿ｓ
ｔａｒｔ＿ｃｏｄｅ（＄０００００１Ｂ８）があり、フ
レームデータが含まれる。Next, MPEG- according to an embodiment of the present invention.
A method of displaying the 1 video data 36 from the specified position will be described. The MPEG-1 video data 36 is
As shown in FIG. 22A, the sequence_
There is a header, followed by multiple GOPs # 1, G
OP # 2 and so on continue. sequence_head
er is the beginning of sequence_header_co
de ($ 00000100), which includes information such as frame size. GOP starts with group_s
There is a start_code ($ 000001B8), which includes frame data.

【０１９９】ＭＰＥＧ−１ｖｉｄｅｏデータ３６の属性
として、図２２（ｂ）に示すように、ＭＰＥＧデコーダ
を用い、ｇｒｏｕｐ＿ｓｔａｒｔ＿ｃｏｄｅが出現した
ときの先頭からのバイト数とそれまでに復号したフレー
ム数（該当ＧＯＰに含まれる最小フレームナンバ）とを
記録する。As an attribute of the MPEG-1 video data 36, as shown in FIG. 22B, an MPEG decoder is used, and the number of bytes from the beginning when the group_start_code appears and the number of frames decoded up to that point (for the corresponding GOP). And the minimum frame number included).

【０２００】そして、該当するＭＰＥＧ−１ｖｉｄｅｏ
データ３６に対し、再生開始フレームナンバｎが与えら
れた場合、属性として記録されている＜フレームナン
バ、バイト数＞対を用い、フレームナンバｎより小さい
最も大きいフレームナンバｆを検索する。フレームナン
バｎは、フレームナンバｆに対応するバイト数から始ま
るＧＯＰに含まれる。フレームナンバｎから再生するた
めに（ｎ−ｆ）フレームを表示せずに復号し、次のフレ
ームから表示を開始する。Then, the corresponding MPEG-1 video
When the reproduction start frame number n is given to the data 36, the largest frame number f smaller than the frame number n is searched using the <frame number, number of bytes> pair recorded as an attribute. The frame number n is included in the GOP starting from the number of bytes corresponding to the frame number f. In order to reproduce from the frame number n, the (n−f) frame is decoded without being displayed, and the display is started from the next frame.

【０２０１】図２３は、本発明の一実施例によるＭＰＥ
Ｇ−１ｖｉｄｅｏデータ３６の指定フレーム番号からの
表示方法を示すフローチャートである。まず、ステップ
Ｓ５１に示すように、表示したいＭＰＥＧ−１ｖｉｄｅ
ｏデータ３６のファイル名Ｆ、ＧＯＰ開始バイトとフレ
ーム番号との対応表Ｔ、表示を開始するフレーム番号Ａ
を入力する。FIG. 23 shows an MPE according to an embodiment of the present invention.
It is a flow chart which shows the display method from the designated frame number of G-1 video data 36. First, as shown in step S51, the MPEG-1 video to be displayed is displayed.
o File name F of data 36, correspondence table T of GOP start byte and frame number, frame number A to start display
Enter

【０２０２】次に、ステップＳ５２に示すように、対応
表Ｔのフレーム番号欄からフレーム番号Ａを越えない最
大のフレーム番号Ｂを検索する。次に、ステップＳ５３
に示すように、フレーム番号Ｂに対応するＧＯＰ開始バ
イトＣを対応表Ｔから得る。Next, as shown in step S52, the maximum frame number B that does not exceed the frame number A is searched from the frame number column of the correspondence table T. Next, step S53
As shown in, the GOP start byte C corresponding to the frame number B is obtained from the correspondence table T.

【０２０３】次に、ステップＳ５４に示すように、ＭＰ
ＥＧ−１ｖｉｄｅｏデータ３６のファイル名Ｆの先頭部
分にあるシーケンスヘッダを読み込み復号する。次に、
ステップＳ５５に示すように、ファイル名Ｆのファイル
ポインタをＧＯＰ開始バイトＣに移す。Next, as shown in step S54, MP
The sequence header at the beginning of the file name F of the EG-1 video data 36 is read and decoded. next,
As shown in step S55, the file pointer of the file name F is moved to the GOP start byte C.

【０２０４】次に、ステップＳ５６に示すように、ＧＯ
Ｐ開始バイトＣの位置から（Ａ−Ｂ）枚分のフレームデ
ータに対し、表示せずに復号のみ行う。次に、ステップ
Ｓ５７に示すように、引き続き復号し、得られたフレー
ムデータを表示する。Next, as shown in step S56, GO
From the position of the P start byte C, the (AB) frame data is only decoded without being displayed. Next, as shown in step S57, the decoding is continued and the obtained frame data is displayed.

【０２０５】次に、本発明の一実施例によるＭＰＥＧ−
１ａｕｄｉｏデータ３７の指定位置からの再生方法につ
いて説明する。ＭＰＥＧ−１ａｕｄｉｏデータ３７は、
図２４に示すように、‘１１１１１１１１１１１１”の
ヘッダで始まるほぼ同じ長さのパケット＃１、パケット
＃２、パケット＃３、・・・から構成されるモードがあ
る。そして、データの符号化レートがＲｂｐｓで、再生
をスキップする秒数がＳの場合、先頭からＲＳ／８ｂｙ
ｔｅの位置に１番近いヘッダを検索し、そのパケットか
ら再生を開始する。Next, MPEG- according to an embodiment of the present invention.
A method of reproducing the 1audio data 37 from the specified position will be described. MPEG-1 audio data 37 is
As shown in Fig. 24, there is a mode including a packet # 1, a packet # 2, a packet # 3, etc., which have almost the same length starting with a header of "111111111111". In Rbps, if the number of seconds to skip playback is S, RS / 8 by from the beginning
The header closest to the position of te is searched, and reproduction is started from that packet.

【０２０６】ＭＰＥＧ−１ａｕｄｉｏデータ３７はバイ
ト単位で符号化されているので、先頭からＲＳ／８ｂｙ
ｔｅの位置からパケット長の半分の長さＬ前から２Ｌバ
イトの領域に対し、ヘッダパターンにマッチングするか
どうかを調べることより検索を行う。Since the MPEG-1 audio data 37 is encoded in byte units, RS / 8 by from the beginning
A search is performed by checking whether or not the area of 2L bytes from the position of te, which is half the packet length L before, matches the header pattern.

【０２０７】図２５は、本発明の一実施例によるＭＰＥ
Ｇ−１ａｕｄｉｏデータ３７の指定スキップ時間からの
再生方法を示すフローチャートである。まず、ステップ
Ｓ６１に示すように、表示したいＭＰＥＧ−１ａｕｄｉ
ｏデータ３７のファイル名Ｆ、符号化レートＲｂｐｓ、
スキップする時間長Ｓ秒を入力する。FIG. 25 shows an MPE according to an embodiment of the present invention.
It is a flowchart which shows the reproducing method from the designated skip time of G-1 audio data 37. First, as shown in step S61, the MPEG-1 audio to be displayed is displayed.
o File name F of data 37, encoding rate Rbps,
Enter the time length S seconds to skip.

【０２０８】次に、ステップＳ６２に示すように、ＭＰ
ＥＧ−１ａｕｄｉｏデータ３７のファイル名Ｆのファイ
ルポインタを先頭からＲＳ／８ｂｙｔｅの位置に移す。
次に、ステップＳ６３に示すように、ファイル名Ｆのフ
ァイルポインタの前後で１番近いフレームヘッダを探
し、そのフレームヘッダの先頭にファイルポインタを移
す。Next, as shown in step S62, MP
The file pointer of the file name F of the EG-1audio data 37 is moved from the head to the position of RS / 8 bytes.
Next, as shown in step S63, the closest frame header is searched before and after the file pointer of the file name F, and the file pointer is moved to the head of the frame header.

【０２０９】次に、ステップＳ６４に示すように、ファ
イルポインタの位置からデータを読み込み復号して出力
する。次に、本発明の一実施例によるＭＰＥＧ−１ｖｉ
ｄｅｏデータ３６の指定箇所を指定時間再生する方法に
ついて説明する。Next, as shown in step S64, the data is read from the position of the file pointer, decoded, and output. Next, MPEG-1 vi according to an embodiment of the present invention.
A method of reproducing a designated portion of the deo data 36 for a designated time will be described.

【０２１０】まず、ＭＰＥＧ−１ｖｉｄｅｏデータ３６
が格納されているファイル名、ウィンドウシステム３５
での表示用ウンドウの位置、再生を開始するＧＯＰヘッ
ダの開始バイト、フレームのオフセット、表示開始時
刻、表示フレーム数、ピクチャレートを指定する。First, the MPEG-1 video data 36
The file name in which is stored, window system 35
The position of the window for display, the start byte of the GOP header for starting reproduction, the frame offset, the display start time, the number of display frames, and the picture rate are specified.

【０２１１】そして、再生プログラム１９が起動される
と、最初にウィンドウシステム３５に表示するためのウ
ィンドウを１つ生成する。ウィンドウは透明な状態で生
成し、ウィンドウ上には表示されない。When the reproduction program 19 is activated, first, one window to be displayed on the window system 35 is generated. The window is created transparent and is not displayed on the window.

【０２１２】その後、指定されたファイルごとに、シー
ケンスヘッダ部分を読み込み、初期化を行う。さらに、
指定したＧＯＰバイトで指示された場所にファイルのポ
インタを移動し、オフセットが０よりも大きい場合、オ
フセットで指定されているフレームを復号する。また、
最初に再生するＧＯＰを解析する時に、ｂｒｏｋｅｎ＿
ｌｉｎｋをセットする。After that, the sequence header portion is read and initialized for each designated file. further,
The pointer of the file is moved to the location designated by the designated GOP byte, and if the offset is greater than 0, the frame designated by the offset is decoded. Also,
When analyzing the first GOP to be played,
Set link.

【０２１３】ファイルごとの初期化が終了した後、現在
の時刻をＯＳ２７から取得し、表示開始時刻までの差を
計算する。そして、その時間長だけｎａｎｏｓｌｅｅｐ
（）システムコールを用いてｓｌｅｅｐ状態に入る。After the initialization for each file is completed, the current time is acquired from the OS 27 and the difference up to the display start time is calculated. And, only that time length is nanosleep
() Use the system call to enter the sleep state.

【０２１４】ｓｌｅｅｐ状態が終った後、表示開始時刻
が若い順に初期化した状態から引続き復号を行う。次
に、本発明の一実施例による複数の動画像の連続表示方
法について説明する。After the sleep state ends, decoding is continued from the state in which the display start time is initialized in ascending order. Next, a method of continuously displaying a plurality of moving images according to an embodiment of the present invention will be described.

【０２１５】図２６（ａ）に示すように、例えば、ビュ
ーオブジェクトに対応するデータ１〜３がそれぞれ時間
帯１〜３に分かれて表示される場合、まず、表示プログ
ラムを立ち上げる。そして、図２６（ｂ）に示すよう
に、ＯＳ２７のプログラム読み込みなどで生じるｓｅｔ
ｕｐ時間の経過後、ウィンドウを生成する。さらに、
表示するデータ１〜３のシーケンスヘッダ部分を読み込
み、それぞれのデータ１〜３の初期化を行う（図２６
（ｂ）のＡの部分）。As shown in FIG. 26A, for example, when the data 1 to 3 corresponding to the view object are displayed separately in the time zones 1 to 3, the display program is first started up. Then, as shown in FIG. 26 (b), a set that occurs when the program of the OS 27 is read.
After the lapse of up time, a window is generated. further,
The sequence header portions of the data 1 to 3 to be displayed are read and the respective data 1 to 3 are initialized (see FIG. 26).
(A part of (b)).

【０２１６】その後、最初に表示するデータ１の表示開
始時刻まで、ｓｌｅｅｐ状態に入る（図２６（ｂ）のＢ
の部分）。そして、ｓｌｅｅｐ状態が終了した後、デー
タ１〜３を連続表示する。Thereafter, the sleep state is entered until the display start time of the data 1 to be displayed first (B in FIG. 26B).
Part). Then, after the sleep state is completed, the data 1 to 3 are continuously displayed.

【０２１７】以上説明したように、データ１〜３の表示
の切り替えの際に生じる初期化処理１〜３を、データ１
〜３の表示開始前に行うことにより、データ１〜３の表
示開始時刻に余分な処理を行うことを省略でき、データ
１〜３を滑らかにつないで表示することができる。As described above, the initialization processing 1 to 3 generated when the display of data 1 to 3 is switched is
By performing the processing before the display of Nos. 1 to 3 is performed, it is possible to omit extra processing at the display start times of the data 1 to 3, and the data 1 to 3 can be smoothly connected and displayed.

【０２１８】図２７は、本発明の一実施例による同一ウ
ィンドウに動画像を連続して表示する方法を示すフロー
チャートである。まず、ステップＳ７１に示すように、
１つ以上の＜動画像データのファイル名、再生開始時
刻、データの部分アクセスする場所、ピクチャレート、
再生時間長＞を入力する。FIG. 27 is a flowchart showing a method of continuously displaying moving images in the same window according to an embodiment of the present invention. First, as shown in step S71,
One or more <file name of moving image data, reproduction start time, partial access location of data, picture rate,
Enter the playback time>.

【０２１９】次に、ステップＳ７２に示すように、ウィ
ンドウシステム３５上にウィンドウを１つ生成する。次
に、ステップＳ７３に示すように、表示するデータを再
生開始時刻の順に並べる。Next, as shown in step S72, one window is generated on the window system 35. Next, as shown in step S73, the data to be displayed is arranged in the order of the reproduction start time.

【０２２０】次に、ステップＳ７４に示すように、各デ
ータに対し、データの部分アクセスする場所から再生す
るための初期化を行う。次に、ステップＳ７５に示すよ
うに、最初に再生するデータの再生開始時刻まで待つ。Next, as shown in step S74, each data is initialized so as to be reproduced from the location where the data is partially accessed. Next, as shown in step S75, the process waits until the reproduction start time of the data to be reproduced first.

【０２２１】次に、ステップＳ７６に示すように、再生
開始時刻がきたデータをウィンドウに再生する。次に、
ステップＳ７７に示すように、まだ再生するデータがあ
るかどうか判断し、再生するデータがない場合、処理を
終了し、再生するデータがある場合、ステップＳ７８に
進み、処理を次のデータに移し、ステップＳ７６に戻
る。Next, as shown in step S76, the data whose reproduction start time has come is reproduced in the window. next,
As shown in step S77, it is determined whether or not there is data to be reproduced. If there is no data to be reproduced, the process is ended. If there is data to be reproduced, the process proceeds to step S78, the process is moved to the next data It returns to step S76.

【０２２２】図２８は、本発明の一実施例による同一ウ
ィンドウにＭＰＥＧ−１ｖｉｄｅｏデータ３６を連続し
て表示する方法を示すフローチャートである。まず、ス
テップＳ８１に示すように、１つ以上の＜ＭＰＥＧ−１
ｖｉｄｅｏデータ３６のファイル名、再生開始時刻、部
分アクセスを開始するＧＯＰ、ピクチャレート、再生時
間長＞を入力する。FIG. 28 is a flow chart showing a method of continuously displaying MPEG-1 video data 36 in the same window according to an embodiment of the present invention. First, as shown in step S81, one or more <MPEG-1
A file name of the video data 36, a reproduction start time, a GOP for starting partial access, a picture rate, and a reproduction time length> are input.

【０２２３】次に、ステップＳ８２に示すように、ウィ
ンドウシステム３５上にウィンドウを１つ生成する。次
に、ステップＳ８３に示すように、表示するデータを再
生開始時刻の順に並べる。Next, as shown in step S82, one window is generated on the window system 35. Next, as shown in step S83, the data to be displayed is arranged in the order of the reproduction start time.

【０２２４】次に、ステップＳ８４に示すように、各デ
ータに対し、シーケンスヘッダを解析し、指定したＧＯ
Ｐにファイルポインタを移動し、オフセット分のフレー
ムを表示せずに復号する。Next, as shown in step S84, the sequence header is analyzed for each data, and the designated GO
Move the file pointer to P and decode without displaying the offset frame.

【０２２５】次に、ステップＳ８５に示すように、最初
に再生するデータの再生開始時刻まで待つ。次に、ステ
ップＳ８６に示すように、再生開始時刻がきたデータを
ウィンドウに再生する。Next, as shown in step S85, the process waits until the reproduction start time of the data to be reproduced first. Next, as shown in step S86, the data at the reproduction start time is reproduced in the window.

【０２２６】次に、ステップＳ８７に示すように、まだ
再生するデータがあるかどうか判断し、再生するデータ
がない場合、処理を終了し、再生するデータがある場
合、ステップＳ８８に進み、処理を次のデータに移し、
ステップＳ８６に戻る。Next, as shown in step S87, it is determined whether or not there is data to be reproduced, and if there is no data to be reproduced, the processing is terminated. If there is data to be reproduced, the process proceeds to step S88 and the processing is executed. Move on to the next data,
It returns to step S86.

【０２２７】図２９は、本発明の一実施例によるビュー
を複数のストリームデータを用いて表示する方法を示す
フローチャートである。まず、ステップＳ９１に示すよ
うに、ビューに対し、スケジューラ１８を用いることに
より、＜動画像データのファイル名、再生開始時刻、デ
ータの部分アクセスする場所、ピクチャレート、再生時
間長＞を入力する。FIG. 29 is a flow chart showing a method of displaying a view using a plurality of stream data according to an embodiment of the present invention. First, as shown in step S91, <file name of moving image data, playback start time, partial access location of data, picture rate, playback time length> is input to the view by using the scheduler 18.

【０２２８】次に、ステップＳ９２に示すように、ウィ
ンドウシステム３５上にウィンドウを１つ生成する。次
に、ステップＳ９３に示すように、表示するデータを再
生開始時刻の順に並べる。Next, as shown in step S92, one window is generated on the window system 35. Next, as shown in step S93, the data to be displayed is arranged in the order of the reproduction start time.

【０２２９】次に、ステップＳ９４に示すように、各デ
ータに対し、データの部分アクセスする場所から再生す
るための初期化を行う。次に、ステップＳ９５に示すよ
うに、最初に再生するデータの再生開始時刻まで待つ。Next, as shown in step S94, each data is initialized for reproduction from the location where the data is partially accessed. Next, as shown in step S95, the process waits until the reproduction start time of the data to be reproduced first.

【０２３０】次に、ステップＳ９６に示すように、再生
開始時刻がきたデータをウィンドウに再生する。次に、
ステップＳ９７に示すように、まだ再生するデータがあ
るかどうか判断し、再生するデータがない場合、処理を
終了し、再生するデータがある場合、ステップＳ９８に
進み、処理を次のデータに移し、ステップＳ９６に戻
る。Next, as shown in step S96, the data whose reproduction start time has come is reproduced in the window. next,
As shown in step S97, it is determined whether or not there is data to be reproduced. If there is no data to be reproduced, the process is ended. If there is data to be reproduced, the process proceeds to step S98, the process is moved to the next data, It returns to step S96.

【０２３１】次に、本発明の一実施例によるＭＰＥＧ−
１ｖｉｄｅｏデータ３６を指定レートで表示する方法に
ついて説明する。図３０において、例えば、ピクチャレ
ートがｒｆｐｓのデータを入力し、＃Ｓフレームから表
示を行う場合、＃（Ｓ＋２）フレームのｐｉｃｔｕｒｅ
＿ｓｔａｒｔ＿ｃｏｄｅを復号した時点でＯＳ２７のシ
ステムコールを用い、現在の時刻Ｔ1 を取得する。そし
て、与えられた表示開始時刻Ｔ0 からの時間が（Ｔ1 −
Ｔ 0 ）＞（＃（Ｓ＋２）−＃Ｓ）／ｒで、且つ＃（Ｓ＋
２）フレームがＢフレームの場合、＃（Ｓ＋２）フレー
ムのｐｉｃｔｕｒｅ＿ｓｔａｒｔ＿ｃｏｄｅの復号の終
了した時刻が＃（Ｓ＋２）フレームを表示すべき時刻か
ら遅れているため、その＃（Ｓ＋２）フレームの復号を
せず、次の処理に移る。Next, MPEG- according to an embodiment of the present invention.
How to display 1 video data 36 at a specified rate
explain about. In FIG. 30, for example,
Input rfps data and display from #S frame.
In case of indicating, the picture of # (S + 2) frame
When the _start_code is decrypted, the OS 27
The current time T using stem call1To get. Soshi
The given display start time T0Time from (T1−
T 0)> (# (S + 2) − # S) / r, and # (S +
2) If the frame is a B frame, # (S + 2) frame
End of decoding picture_start_code
Is the time when the # (S + 2) frame should be displayed
Since it is late, decoding of the # (S + 2) frame
No, move to the next process.

【０２３２】また、＃（Ｓ＋２）フレームの復号が終了
した時点において、ＯＳ２７から現在の時刻Ｔ2 を取得
し、表示開始時刻Ｔ0 からの時間が（Ｔ2 −Ｔ0 ）＞
（＃（Ｓ＋２）−＃Ｓ）／ｒの場合、＃（Ｓ＋２）フレ
ームの復号が終了した時刻が＃（Ｓ＋２）フレームを表
示すべき時刻から遅れているため、表示を行わない。At the time when the decoding of the # (S + 2) frame is completed, the current time T 2 is acquired from the OS 27, and the time from the display start time T 0 is (T 2 −T 0 )>
In the case of (# (S + 2)-# S) / r, the display is not performed because the time when the decoding of the # (S + 2) frame is finished is behind the time when the # (S + 2) frame should be displayed.

【０２３３】図３１は、本発明の一実施例によるＭＰＥ
Ｇ−１ｖｉｄｅｏデータ３６を指定レートで表示する方
法を示すフローチャートである。まず、ステップＳ１０
１に示すように、＜ＭＰＥＧ−１ｖｉｄｅｏデータ３６
のファイル名、再生開始時刻Ｔ0 、表示開始フレーム
Ｓ、ピクチャレートｒ＞を入力する。FIG. 31 shows an MPE according to an embodiment of the present invention.
It is a flowchart which shows the method of displaying G-1 video data 36 at a designated rate. First, step S10
1, <MPEG-1 video data 36
File name, reproduction start time T 0 , display start frame S, and picture rate r>.

【０２３４】次に、ステップＳ１０２に示すように、＃
Ｓフレームからデータを表示するための初期化を行う。
次に、ステップＳ１０３に示すように、表示開始フレー
ムＳのフレーム番号Ｓを変数ｎに入れる。Next, as shown in step S102, #
Initialization for displaying data from the S frame is performed.
Next, as shown in step S103, the frame number S of the display start frame S is set in the variable n.

【０２３５】次に、ステップＳ１０４に示すように、再
生開始時刻Ｔ0 まで待つ。次に、ステップＳ１０５に示
すように、＃ｎフレームを表示する。次に、ステップＳ
１０６に示すように、まだ処理を行っていないフレーム
があるかどうかを判断し、処理を行っていないフレーム
がない場合、処理を終了する。Next, as shown in step S104, the process waits until the reproduction start time T 0 . Next, as shown in step S105, the #n frame is displayed. Next, step S
As indicated by 106, it is determined whether there is a frame that has not been processed. If there is no frame that has not been processed, the process ends.

【０２３６】一方、ステップＳ１０６で処理を行ってい
ないフレームがあると判断された場合、ステップＳ１０
７に進み、変数ｎを１つ増加させる。次に、ステップＳ
１０８に示すように、＃ｎフレームのｐｉｃｔｕｒｅ＿
ｓｔａｒｔ＿ｃｏｄｅを復号する。On the other hand, if it is determined in step S106 that there is a frame that has not been processed, step S10
In step 7, the variable n is incremented by 1. Next, step S
As shown in 108, picture_of #n frame
Decode start_code.

【０２３７】次に、ステップＳ１０９に示すように、Ｏ
Ｓ２７から現在の時刻Ｔ1 を得る。次に、ステップＳ１
１０に示すように、（Ｔ1 −Ｔ0 ）＞（ｎ−Ｓ）／ｒ
で、且つ＃ｎフレームがＢフレームであるかどうかを判
断し、（Ｔ1 −Ｔ0 ）＞（ｎ−Ｓ）／ｒで、且つ＃ｎフ
レームがＢフレームである場合、ステップＳ１０６に戻
る。Next, as shown in step S109, O
The current time T 1 is obtained from S27. Next, step S1
As shown in FIG. 10, (T 1 −T 0 )> (n−S) / r
, And whether or not the #n frame is the B frame, and (T 1 -T 0 )> (n−S) / r, and the #n frame is the B frame, the process returns to step S106.

【０２３８】一方、ステップＳ１１０において、（Ｔ1
−Ｔ0 ）＞（ｎ−Ｓ）／ｒで、且つ＃ｎフレームがＢフ
レームでないと判断された場合、ステップＳ１１１に進
み、＃ｎフレームの復号を行う。On the other hand, in step S110, (T 1
If −T 0 )> (n−S) / r and it is determined that the #n frame is not the B frame, the process proceeds to step S111, and the #n frame is decoded.

【０２３９】次に、ステップＳ１１２に示すように、Ｏ
Ｓ２７から現在の時刻Ｔ2 を得る。次に、ステップＳ１
１３に示すように、（Ｔ2 −Ｔ0 ）＞（ｎ−Ｓ）／ｒで
あるかどうかを判断し、（Ｔ2 −Ｔ0 ）＞（ｎ−Ｓ）／
ｒである場合、ステップＳ１０６に戻る。Next, as shown in step S112, O
The current time T 2 is obtained from S27. Next, step S1
As shown in 13, it is determined whether or not (T 2 −T 0 )> (n−S) / r, and (T 2 −T 0 )> (n−S) /
If it is r, the process returns to step S106.

【０２４０】一方、ステップＳ１１３において、（Ｔ2
−Ｔ0 ）＞（ｎ−Ｓ）／ｒでないと判断された場合、ス
テップＳ１１４に進み、（ｎ−Ｓ）／ｒ−Ｔ2 の間待
つ。以上説明したように、本発明の実施例によれば、マ
ルチメディアデータベースにおいてマルチメディアデー
タを直接扱うのではなく、ビュー（コンテンツ）という
論理的な単位で扱うことができ、ビューを表示する際に
品質及び負荷がコンピュータ資源に適応するようにマル
チメディアデータを選択することができるため、マルチ
メディアデータを柔軟に扱うことが可能となる。On the other hand, in step S113, (T 2
When it is determined that −T 0 )> (n−S) / r is not satisfied, the process proceeds to step S114 and waits for (n−S) / r−T 2 . As described above, according to the embodiments of the present invention, it is possible to handle multimedia data in a logical unit called a view (content) instead of directly handling the multimedia data in a multimedia database. Since the multimedia data can be selected so that the quality and the load can be adapted to the computer resources, the multimedia data can be flexibly handled.

【０２４１】[0241]

【発明の効果】以上説明したように、請求項１の発明に
よれば、マルチメディアデータを事象ごとに管理するこ
とにより、１つの事象に複数のマルチメディアデータを
対応させることができ、１つの事象に対応する異なる品
質のマルチメディアデータを用意しておくことにより、
マルチメディアデータを再生するために必要な負荷を制
御することができる。As described above, according to the invention of claim 1, by managing the multimedia data for each event, a plurality of multimedia data can be associated with one event. By preparing multimedia data of different quality corresponding to the event,
The load required to play the multimedia data can be controlled.

【０２４２】また、請求項２の発明によれば、１つの事
象に対応する複数のマルチメディアデータに共通の識別
子を対応させることにより、１つの事象に対応する複数
のマルチメディアデータを容易に取り出すことができ
る。According to the second aspect of the invention, a plurality of multimedia data corresponding to one event can be easily retrieved by associating a plurality of multimedia data corresponding to one event with a common identifier. be able to.

【０２４３】また、請求項３の発明によれば、マルチメ
ディアデータを表示する際の処理に必要な負荷量に基づ
いて、共通の識別子を有する複数のマルチメディアデー
タの中から１つを選択することにより、マルチメディア
データを再生するために必要な負荷を制御しながら、１
つの事象に対応する複数のマルチメディアデータから適
切なものを容易に取り出すことができる。According to the third aspect of the invention, one is selected from a plurality of multimedia data having a common identifier based on the load amount required for the processing when displaying the multimedia data. By controlling the load required to play multimedia data,
Appropriate ones can be easily extracted from a plurality of multimedia data corresponding to one event.

【０２４４】また、請求項４の発明によれば、コンテン
ツに対応づけられている１つ以上の品質の異なるデータ
の中から適切なものを選択することにより、同一のコン
テンツで異なる品質のマルチメディアデータからを適切
なものを選択することができ、マルチメディアデータを
再生するために必要な負荷を制御することができる。Further, according to the invention of claim 4, by selecting appropriate one from one or more data having different qualities associated with the content, multimedia of different quality with the same content can be selected. An appropriate one can be selected from the data, and the load required for playing the multimedia data can be controlled.

【０２４５】また、請求項５の発明によれば、ピクチャ
ーレートがｒフレーム／秒の動画像データに対し、フレ
ームをｎ個置きに選択することにより、同一のコンテン
ツで異なる品質のマルチメディアデータを容易に生成す
ることができる。According to the fifth aspect of the present invention, by selecting every n frames of moving image data having a picture rate of r frames / second, multimedia data of the same content but having different qualities can be obtained. It can be easily generated.

【０２４６】また、請求項６の発明によれば、フレーム
サイズの小さい画像データを生成することにより、同一
のコンテンツで異なる品質のマルチメディアデータを容
易に生成することができる。According to the invention of claim 6, by generating the image data having a small frame size, it is possible to easily generate the multimedia data of the same content but of different quality.

【０２４７】また、請求項７の発明によれば、マルチメ
ディアデータの内容の一部を抽出してビューを設定する
ことにより、マルチメディアデータの一部分を容易に検
索することができる。According to the invention of claim 7, a part of the multimedia data can be easily searched by extracting a part of the contents of the multimedia data and setting a view.

【０２４８】また、請求項８の発明によれば、ビューに
対応するマルチメディアデータの再生処理に必要な負荷
量に基づいて、再生に使用するマルチメディアデータを
選択することにより、同一のコンテンツで異なる品質の
マルチメディアデータの一部分から適切なものを選択す
ることができ、マルチメディアデータの一部分を再生す
るために必要な負荷を制御することができる。According to the invention of claim 8, by selecting the multimedia data to be used for reproduction based on the load amount required for the reproduction processing of the multimedia data corresponding to the view, the same contents can be reproduced. Appropriate ones can be selected from different quality multimedia data portions, and the load required to reproduce the multimedia data portions can be controlled.

【０２４９】また、請求項９の発明によれば、ＭＰＥＧ
データのＩフレームを指定レートで表示するのに必要な
単位時間当たりの処理時間を負荷量として用いることに
より、マルチメディアデータを再生するために必要な負
荷量を短時間で容易に求めることができる。Further, according to the invention of claim 9, MPEG
By using the processing time per unit time required to display the I frame of the data at the specified rate as the load amount, the load amount required to reproduce the multimedia data can be easily obtained in a short time. .

【０２５０】また、請求項１０の発明によれば、時間帯
ごとの負荷量が１００％を越えないように、再生に使用
するマルチメディアデータを選択することにより、マル
チメディアデータの再生に用いる資源の範囲内でマルチ
メディアデータの再生を行うことができる。According to the tenth aspect of the invention, the multimedia data used for reproduction is selected by selecting the multimedia data used for reproduction so that the load amount for each time period does not exceed 100%. It is possible to play multimedia data within the range.

【０２５１】また、請求項１１の発明によれば、フレー
ムサイズが大きい方を優先して選択し、同一フレームサ
イズ内では、ピクチャレートの大きい方を優先して選択
することにより、マルチメディアデータの再生に用いる
資源の範囲内で最適な品質のマルチメディアデータの再
生を行うことができる。According to the eleventh aspect of the invention, the multimedia data of the multimedia data is selected by preferentially selecting the one with the larger frame size and by preferentially selecting the one with the larger picture rate within the same frame size. It is possible to reproduce multimedia data of optimum quality within the range of resources used for reproduction.

【０２５２】また、請求項１２の発明によれば、同一の
ビューに対して同一サイズのフレームを採用することに
より、再生の途中にフレームサイズが変化して、画面が
見にくくなることを回避できる。According to the twelfth aspect of the present invention, by adopting frames of the same size for the same view, it is possible to prevent the frame size from changing during reproduction and making the screen difficult to see.

【０２５３】また、請求項１３の発明によれば、ビュー
のフレームサイズを一致させることにより、再生の途中
にフレームサイズが変化して、画面が見にくくなること
を防止できる。According to the thirteenth aspect of the present invention, it is possible to prevent the screen from being difficult to see by changing the frame size during reproduction by matching the frame sizes of the views.

【０２５４】また、請求項１４の発明によれば、ビュー
に対応する各ストリームデータに優先順位を付与し、負
荷量の合計が所定の値を越える場合、負荷量の低い優先
順位のものに変更することにより、複数のビューを同時
に表示する場合において、再生の途中にフレームサイズ
が変化して、画面が見にくくなることを防止しながら、
マルチメディアデータの再生に用いる負荷量を資源の範
囲内に抑えることができる。According to the fourteenth aspect of the present invention, priority is given to each stream data corresponding to a view, and when the total load amount exceeds a predetermined value, the priority is changed to a lower load amount. By doing so, when displaying multiple views at the same time, while preventing the screen from becoming difficult to see while changing the frame size during playback,
The load amount used for reproducing multimedia data can be suppressed within the range of resources.

【０２５５】また、請求項１５の発明によれば、時間帯
ごとに再生時のピクチャレートを変化させることによ
り、マルチメディアデータの一部分を再生するために必
要な負荷を制御することができる。According to the fifteenth aspect of the present invention, the load necessary for reproducing a part of the multimedia data can be controlled by changing the picture rate during reproduction for each time zone.

【０２５６】また、請求項１６の発明によれば、マルチ
メディアデータを表示するウィンドウ同士が重ならない
ように表示場所を決定することにより、複数のビューが
重なったまま同時に再生されることを防止できる。According to the sixteenth aspect of the invention, by determining the display location so that the windows for displaying the multimedia data do not overlap each other, it is possible to prevent a plurality of views from being simultaneously reproduced while overlapping. .

【０２５７】また、請求項１７の発明によれば、オフセ
ット分のフレームを表示することなく、ＭＰＥＧ−１ｖ
ｉｄｅｏデータを復号し、指定フレームからＭＰＥＧ−
１ｖｉｄｅｏデータの再生を開始することにより、ＭＰ
ＥＧ−１ｖｉｄｅｏデータを指定フレームから正確に再
生することができる。According to the invention of claim 17, the MPEG-1v is displayed without displaying the frame for the offset.
Decode the video data, MPEG-from the specified frame
By starting playback of 1 video data, MP
The EG-1 video data can be accurately reproduced from the designated frame.

【０２５８】また、請求項１８の発明によれば、ＭＰＥ
Ｇ−１ａｕｄｉｏデータのアクセス開始箇所に最も近い
フレームヘッダを検索し、ＭＰＥＧ−１ａｕｄｉｏデー
タの再生を開始することにより、ＭＰＥＧ−１ａｕｄｉ
ｏデータを途中から正確に再生することができる。According to the eighteenth aspect of the invention, the MPE
By searching the frame header closest to the access start position of the G-1audio data and starting the reproduction of the MPEG-1audio data, the MPEG-1audio
o Data can be accurately reproduced from the middle.

【０２５９】また、請求項１９の発明によれば、各マル
チメディアデータの再生される時間帯が重ならず、且つ
連続している場合、各マルチメディアデータを再生開始
時刻よりウィンドウ上に表示を開始することにより、複
数のマルチメディアデータを指定した再生開始時刻から
連続して再生することができる。According to the nineteenth aspect of the present invention, when the time zones for reproducing the multimedia data do not overlap and are continuous, the multimedia data are displayed on the window from the reproduction start time. By starting the reproduction, it is possible to continuously reproduce a plurality of multimedia data from the specified reproduction start time.

【０２６０】また、請求項２０の発明によれば、各ＭＰ
ＥＧ−１ｖｉｄｅｏデータの再生開始時刻以前に初期化
を行うことにより、各ＭＰＥＧ−１ｖｉｄｅｏデータを
指定した再生開始時刻になった時点で即座に再生するこ
とができ、複数のＭＰＥＧ−１ｖｉｄｅｏデータを連続
して再生することができる。Further, according to the invention of claim 20, each MP
By performing initialization before the reproduction start time of EG-1 video data, each MPEG-1 video data can be immediately reproduced at the specified reproduction start time, and a plurality of MPEG-1 video data can be continuously reproduced. Can be played back.

【０２６１】また、請求項２１の発明によれば、表示開
始時刻までに復号や表示が間に合わないＭＰＥＧ−１ｖ
ｉｄｅｏデータの復号や表示をスキップすることによ
り、資源を有効に使うことができる。According to the twenty-first aspect of the invention, the MPEG-1v which cannot be decoded or displayed by the display start time.
By skipping the decoding and display of the video data, the resources can be used effectively.

【０２６２】また、請求項２２の発明によれば、同一の
コンテンツの複数のマルチメディアデータから適切なも
のを選択することにより、マルチメディアデータを再生
するために必要な負荷を制御することができる。According to the twenty-second aspect of the present invention, the load necessary for reproducing the multimedia data can be controlled by selecting an appropriate one from the plurality of multimedia data of the same content. .

【０２６３】また、請求項２３の発明によれば、符号化
された複数のマルチメディアデータを予め復号しておく
ことにより、復号に要する時間に影響されることなく、
複数のマルチメディアデータを連続して表示することが
できる。According to the twenty-third aspect of the present invention, by decoding a plurality of encoded multimedia data in advance, the time required for decoding is not affected, and
A plurality of multimedia data can be continuously displayed.

【図面の簡単な説明】[Brief description of drawings]

【図１】本発明の一実施例によるマルチメディアデータ
検索システムの機能的な構成を示すブロック図である。FIG. 1 is a block diagram showing a functional configuration of a multimedia data search system according to an exemplary embodiment of the present invention.

【図２】本発明の一実施例によるマルチメディアデータ
検索システムの概略構成を示すブロック図である。FIG. 2 is a block diagram showing a schematic configuration of a multimedia data search system according to an exemplary embodiment of the present invention.

【図３】本発明の一実施例によるマルチメディアデータ
検索システムの概略構成を示すブロック図である。FIG. 3 is a block diagram showing a schematic configuration of a multimedia data search system according to an exemplary embodiment of the present invention.

【図４】本発明の一実施例によるコンテンツオブジェク
トとストリームオブジェクトとマルチメディアデータと
の関係を示す図である。FIG. 4 is a diagram showing a relationship among a content object, a stream object, and multimedia data according to an embodiment of the present invention.

【図５】本発明の一実施例によるコンテンツオブジェク
トのクラス構造を示す図である。FIG. 5 is a diagram showing a class structure of a content object according to an embodiment of the present invention.

【図６】本発明の一実施例によるストリームオブジェク
トのクラス構造を示す図である。FIG. 6 is a diagram showing a class structure of a stream object according to an embodiment of the present invention.

【図７】本発明の一実施例によるコンテンツオブジェク
トとストリームオブジェクトとの対応づけの方法を示す
図である。FIG. 7 is a diagram showing a method of associating a content object and a stream object according to an embodiment of the present invention.

【図８】本発明の一実施例によるマルチメディアデータ
検索システムのフレームの選択方法を示す図である。FIG. 8 is a diagram illustrating a frame selection method of a multimedia data search system according to an exemplary embodiment of the present invention.

【図９】本発明の一実施例によるピクチャレートを下げ
たマルチメディアデータ作成装置の構成を示す図であ
る。FIG. 9 is a diagram showing a configuration of a multimedia data creation device with a reduced picture rate according to an embodiment of the present invention.

【図１０】本発明の一実施例によるマルチメディアデー
タ検索システムのフレームサイズの縮小方法を示す図で
ある。FIG. 10 is a diagram illustrating a method of reducing a frame size of a multimedia data search system according to an exemplary embodiment of the present invention.

【図１１】本発明の一実施例によるフレームサイズを小
さくしたマルチメディアデータ作成装置の構成を示す図
である。FIG. 11 is a diagram showing a configuration of a multimedia data creation device with a reduced frame size according to an embodiment of the present invention.

【図１２】本発明の一実施例によるコンテンツとビュー
との時間関係を示す図である。FIG. 12 is a diagram showing a time relationship between a content and a view according to an embodiment of the present invention.

【図１３】本発明の一実施例によるコンテンツとビュー
との関係を示す図である。FIG. 13 is a diagram showing a relationship between contents and views according to an embodiment of the present invention.

【図１４】本発明の一実施例によるビューオブジェクト
の再生方法を示すフローチャートである。FIG. 14 is a flowchart illustrating a method of reproducing a view object according to an exemplary embodiment of the present invention.

【図１５】本発明の一実施例によるＩフレームを用いる
負荷量の計算方法を示すフローチャートである。FIG. 15 is a flowchart showing a method of calculating a load amount using an I frame according to an embodiment of the present invention.

【図１６】本発明の一実施例によるスケジューラの動作
方法を示すフローチャートである。FIG. 16 is a flowchart illustrating a method of operating a scheduler according to an exemplary embodiment of the present invention.

【図１７】本発明の一実施例によるスケジューラの選択
可能データとスケジュール結果とを示すフローチャート
である。FIG. 17 is a flowchart showing selectable data and a schedule result of a scheduler according to an embodiment of the present invention.

【図１８】本発明の一実施例によるスケジューラの選択
処理の経過を示す図である。FIG. 18 is a diagram showing the progress of scheduler selection processing according to an embodiment of the present invention.

【図１９】本発明の一実施例によるスケジューラの選択
処理の経過を示す図である。FIG. 19 is a diagram showing the progress of scheduler selection processing according to an embodiment of the present invention.

【図２０】本発明の一実施例によるスケジューラの表示
データの画面配置方法を示す図である。FIG. 20 is a diagram showing a screen layout method of display data of a scheduler according to an embodiment of the present invention.

【図２１】本発明の一実施例によるウィンドウ表示の位
置の決定方法を示すフローチャートである。FIG. 21 is a flowchart illustrating a method of determining a position of a window display according to an exemplary embodiment of the present invention.

【図２２】本発明の一実施例によるマルチメディアデー
タ検索システムのＧＯＰテーブルの作成方法を示す図で
ある。FIG. 22 is a diagram showing a method of creating a GOP table of a multimedia data search system according to an embodiment of the present invention.

【図２３】本発明の一実施例によるＭＰＥＧ−１ビデオ
データの指定位置からの表示方法を示すフローチャート
である。FIG. 23 is a flowchart showing a method of displaying MPEG-1 video data from a designated position according to an embodiment of the present invention.

【図２４】本発明の一実施例によるＭＰＥＧ−１オーデ
ィオフォーマットの構成を示す図である。FIG. 24 is a diagram showing a structure of an MPEG-1 audio format according to an embodiment of the present invention.

【図２５】本発明の一実施例によるＭＰＥＧ−１オーデ
ィオデータの指定位置からの表示方法を示すフローチャ
ートである。FIG. 25 is a flowchart showing a method of displaying MPEG-1 audio data from a specified position according to an embodiment of the present invention.

【図２６】本発明の一実施例によるマルチメディアデー
タの表示処理の時間遷移を示す図である。FIG. 26 is a diagram showing a time transition of display processing of multimedia data according to an embodiment of the present invention.

【図２７】本発明の一実施例によるＭＰＥＧ−１ビデオ
データの同一ウィンドウに対する連続表示方法を示すフ
ローチャートである。FIG. 27 is a flowchart illustrating a method of continuously displaying MPEG-1 video data on the same window according to an embodiment of the present invention.

【図２８】本発明の一実施例によるＭＰＥＧ−１ビデオ
データの同一ウィンドウに対する連続表示方法を示すフ
ローチャートである。FIG. 28 is a flowchart illustrating a method of continuously displaying MPEG-1 video data on the same window according to an embodiment of the present invention.

【図２９】本発明の一実施例によるビューの複数データ
を用いる連続表示方法を示すフローチャートである。FIG. 29 is a flowchart illustrating a continuous display method using a plurality of view data according to an embodiment of the present invention.

【図３０】本発明の一実施例によるフレーム表示タイミ
ングを示す図である。FIG. 30 is a diagram showing frame display timing according to an embodiment of the present invention.

【図３１】本発明の一実施例によるＭＰＥＧ−１ビデオ
データのフレーム表示方法を示すフローチャートであ
る。FIG. 31 is a flowchart showing a frame display method for MPEG-1 video data according to an embodiment of the present invention.

【符号の説明】 １ マルチメディアデータ格納手段 ２ マルチメディアデータ管理手段 ３ マルチメディアデータ選択手段 ４ 負荷情報記憶手段 ５ マルチメディアデータ表示手段 １１ ＣＰＵ １２ 記憶装置 １３ オブジェクトベース １４ クラス １５ メソッド １６ コンテンツ １７ ストリーム １８ スケジューラ １９ 再生プログラム ２０ メディアデータ ２１ メモリ ２２ 入出力装置 ２３ キーボード ２４ ＣＲＴ ２５ スピーカ ２６ データベースエンジン ２７ オペレーティングシステム ２８ ｋｅｙｗｏｒｄ（）メソッド ２９ ｓｅｔＶｉｅｗ（）メソッド ３０ ｎｅｗＶｉｄｅｏ（）メソッド ３１ ｎｅｗＡｕｄｉｏ（）メソッド ３２ ｎｅｗＲａｔｅ（）メソッド ３３ ｎｅｗＳｉｚｅ（）メソッド ３４ ｐｌａｙ（）メソッド ３５ ウィンドウシステム ３６ ＭＰＥＧ１ビデオデータ ３７ ＭＰＥＧ１オーディオデータ ３８ コンテンツオブジェクト ３９ａ〜３９ｃ ストリームオブジェクト ４０ａ〜４０ｃ マルチメディアデータ ４１ コンテンツクラス ４２ ビデオコンテンツクラス ４３ オーディオコンテンツクラス ２３ イメージコンテンツクラス ２４ テキストコンテンツクラス ５１ ストリームクラス ５２ ビデオクラス ５３ オーディオクラス ５４ ＭＰＥＧクラス ５５ ＭＰＥＧオーディオクラス ６１、６５、８１、８５ ＭＰＥＧファイル ６２、８２ ＭＰＥＧデコーダ ６３、８３ フレーム選択プログラム ６４、８４ ＭＰＥＧエンコーダ ７１、７２ フレーム[Explanation of Codes] 1 multimedia data storage means 2 multimedia data management means 3 multimedia data selection means 4 load information storage means 5 multimedia data display means 11 CPU 12 storage device 13 object base 14 class 15 method 16 content 17 stream 18 scheduler 19 playback program 20 media data 21 memory 22 input / output device 23 keyboard 24 CRT 25 speaker 26 database engine 27 operating system 28 keyword () method 29 setView () method 30 newVideo () method 31 newAudio () method 32 newRate () Method 33 newSize () Method 34 play () Method 35 Dow System 36 MPEG1 Video Data 37 MPEG1 Audio Data 38 Content Objects 39a to 39c Stream Objects 40a to 40c Multimedia Data 41 Content Class 42 Video Content Class 43 Audio Content Class 23 Image Content Class 24 Text Content Class 51 Stream Class 52 Video Class 53 Audio class 54 MPEG class 55 MPEG audio class 61, 65, 81, 85 MPEG file 62, 82 MPEG decoder 63, 83 Frame selection program 64, 84 MPEG encoder 71, 72 frames

Claims (23)

【特許請求の範囲】[Claims] 【請求項１】 １つの事象に対応する複数のマルチメデ
ィアデータを生成するマルチメディアデータ生成手段
と、 前記事象に対応する複数のマルチメディアデータの中か
ら１つを選択するマルチメディアデータ選択手段とを備
えることを特徴とするマルチメディアデータ検索システ
ム。1. A multimedia data generating means for generating a plurality of multimedia data corresponding to one event, and a multimedia data selecting means for selecting one from a plurality of multimedia data corresponding to the event. A multimedia data retrieval system comprising: 【請求項２】 １つの事象に対応する複数のマルチメデ
ィアデータを格納するマルチメディアデータ格納手段
と、 １つの事象に対応する複数のマルチメディアデータに対
し、前記事象を表す共通の識別子を対応させるマルチメ
ディアデータ管理手段と、 前記識別子を指定することにより、前記識別子に対応す
る複数のマルチメディアデータを選択し、この複数のマ
ルチメディアデータの中から１つを選択するマルチメデ
ィアデータ選択手段とを備えることを特徴とするマルチ
メディアデータ検索システム。2. A multimedia data storage means for storing a plurality of multimedia data corresponding to one event, and a common identifier representing the event for a plurality of multimedia data corresponding to one event. Multimedia data managing means for selecting the plurality of multimedia data corresponding to the identifier by designating the identifier, and selecting one from the plurality of multimedia data. A multimedia data retrieval system comprising: 【請求項３】 １つの事象に対応する複数のマルチメデ
ィアデータを格納するマルチメディアデータ格納手段
と、 前記複数のマルチメディアデータに対し、前記事象を表
す共通の識別子を対応させるマルチメディアデータ管理
手段と、 前記マルチメディアデータを表示するマルチメディアデ
ータ表示手段と、 前記マルチメディアデータを表示する際の処理に必要な
負荷量を、前記複数のマルチメディアデータのそれぞれ
に対応させて記憶する負荷情報記憶手段と、 前記負荷量に基づいて、共通の識別子を有する複数のマ
ルチメディアデータの中から１つを選択するマルチメデ
ィアデータ選択手段とを備えることを特徴とするマルチ
メディアデータ検索システム。3. Multimedia data storage means for storing a plurality of multimedia data corresponding to one event, and multimedia data management for associating a common identifier representing the event with the plurality of multimedia data. Means, multimedia data display means for displaying the multimedia data, and load information for storing a load amount necessary for processing when displaying the multimedia data in association with each of the plurality of multimedia data. A multimedia data search system comprising: a storage unit and a multimedia data selection unit that selects one of a plurality of multimedia data having a common identifier based on the load amount. 【請求項４】 連続メディアデータから品質の異なるデ
ータを生成するマルチメディアデータ生成手段と、 前記マルチメディアデータ生成手段で生成したデータを
コンテンツと対応付けるマルチメディアデータ管理手段
と、 前記コンテンツを具象させる場合、前記コンテンツに対
応づけられている１つ以上のデータの中から適切なもの
を選択するマルチメディアデータ選択手段とを備えるこ
とを特徴とするマルチメディアデータ検索システム。4. A multimedia data generating means for generating data of different quality from continuous media data, a multimedia data managing means for associating the data generated by the multimedia data generating means with a content, and a case of embodying the content. , Multimedia data selecting means for selecting appropriate one from one or more data associated with the content. 【請求項５】 前記マルチメディアデータ生成手段は、
ピクチャーレートがｒフレーム／秒の動画像データに対
し、フレームをｎ個置きに選択することにより、ピクチ
ャーレートがｒ／（ｎ＋１）フレーム／秒の動画像デー
タを生成することを特徴とする請求項４に記載のマルチ
メディアデータ検索システム。5. The multimedia data generating means comprises:
A moving image data having a picture rate of r / (n + 1) frames / second is generated by selecting every n frames of moving image data having a picture rate of r frames / second. 4. The multimedia data search system described in 4. 【請求項６】 前記マルチメディアデータ生成手段は、
画像データのフレームサイズを小さくしたフレームを生
成し、前記フレームによりフレームサイズの小さい画像
データを生成することを特徴とする請求項４に記載のマ
ルチメディアデータ検索システム。6. The multimedia data generating means comprises:
The multimedia data retrieval system according to claim 4, wherein a frame having a smaller frame size of the image data is generated, and the frame is used to generate image data having a smaller frame size. 【請求項７】 マルチメディアデータの内容の一部を抽
出してビューを設定するビュー生成手段と、 １つ以上のビューに対応するコンテンツとそれぞれのビ
ューの表示開始時刻情報とに基づいて、前記コンテンツ
に対応するマルチメディアデータから適当なものを選択
し、前記表示開始時刻から表示するように管理するスケ
ジューリング手段とをさらに備えることを特徴とする請
求項１〜６のいずれか１項に記載のマルチメディアデー
タ検索システム。7. A view generation means for extracting a part of contents of multimedia data to set a view, content based on one or more views, and display start time information of each view. 7. The scheduling device for selecting an appropriate item from the multimedia data corresponding to the content and managing such that it is displayed from the display start time, further comprising: Multimedia data retrieval system. 【請求項８】 マルチメディアデータの内容の一部のビ
ューの再生開始時刻と再生時間長との組の情報から、前
記ビューの再生が重なる時間帯を算出する時間帯算出手
段と、 前記各時間帯ごとに、前記ビューに対応するコ
ンテンツを検索するコンテンツ検索手段と、 前記コンテンツに対応するマルチメディアデータの再生
処理に必要な負荷量を、前記マルチメディアデータの品
質属性から算出する負荷量算出手段と、 前記負荷量に基づいて、再生に使用するマルチメディア
データを選択するマルチメディアデータ選択手段とを備
えることを特徴とするマルチメディアデータのスケジュ
ーリング装置。8. A time zone calculating means for calculating a time zone in which the reproduction of the views overlaps from information of a set of a reproduction start time and a reproduction time length of a view of a part of the contents of the multimedia data, and each of the times. Content search means for searching the content corresponding to the view for each band, and load amount calculation means for calculating the load amount necessary for the reproduction processing of the multimedia data corresponding to the content from the quality attribute of the multimedia data And a multimedia data selecting means for selecting multimedia data to be used for reproduction based on the load amount. 【請求項９】 前記負荷量算出手段は、 ＭＰＥＧデータのＩフレームを指定レートで表示するの
に必要な単位時間当たりの処理時間を、前記負荷量とし
て用いることを特徴とする請求項８に記載のマルチメデ
ィアデータのスケジューリング装置。9. The load amount calculation means uses, as the load amount, a processing time per unit time required to display an I frame of MPEG data at a designated rate. Multimedia data scheduling device. 【請求項１０】 前記マルチメディアデータ選択手段
は、 前記コンテンツにＭＰＥＧデータが対応する場合、各時
間帯ごとの前記負荷量が１００％を越えないように、再
生に使用するマルチメディアデータを選択することを特
徴とする請求項８に記載のマルチメディアデータのスケ
ジューリング装置。10. The multimedia data selecting means selects multimedia data to be used for reproduction so that the load amount does not exceed 100% for each time period when MPEG data corresponds to the content. The multimedia data scheduling device according to claim 8, wherein the scheduling device is a multimedia data scheduling device. 【請求項１１】 前記マルチメディアデータ選択手段
は、 前記コンテンツに対応する動画像データにおいて、フレ
ームサイズとピクチャレートとが異なる画像が存在する
場合、フレームサイズが大きい方を優先して選択し、フ
レームサイズが同一でピクチャレートが異なる場合、ピ
クチャレートの大きい方を優先して選択することを特徴
とする請求項８に記載のマルチメディアデータのスケジ
ューリング装置。11. The multimedia data selecting means preferentially selects a larger frame size when there are images of different frame sizes and picture rates in the moving image data corresponding to the contents, The multimedia data scheduling apparatus according to claim 8, wherein when the sizes are the same and the picture rates are different, the one having a higher picture rate is preferentially selected. 【請求項１２】 前記マルチメディアデータ選択手段
は、 ビューの再生時において、同一のビューに対して同一サ
イズのフレームを採用することを特徴とする請求項８に
記載のマルチメディアデータのスケジューリング装置。12. The multimedia data scheduling apparatus according to claim 8, wherein the multimedia data selecting means employs frames of the same size for the same view when reproducing the view. 【請求項１３】 前記マルチメディアデータ選択手段
は、 特定の時間帯におけるビューの再生に必要な負荷量が所
定の値を越える場合、前記特定の時間帯におけるビュー
の再生に用いるフレームサイズを小さいサイズに変更
し、且つ他の時間帯で用いられている前記ビューのフレ
ームサイズを前記特定の時間帯における前記ビューのフ
レームサイズに一致させることを特徴とする請求項１２
に記載のマルチメディアデータのスケジューリング装
置。13. The multimedia data selection means, when the load amount required to reproduce a view in a specific time zone exceeds a predetermined value, reduces the frame size used for reproducing the view in the specific time zone to a small size. And changing the frame size of the view used in another time zone to the frame size of the view in the specific time zone.
The multimedia data scheduling apparatus according to claim 1. 【請求項１４】 前記マルチメディアデータ選択手段
は、 ビューに対応する各ストリームデータに優先順位を付与
し、 特定の時間帯におけるビューの再生に必要な負荷量の合
計が所定の値を越える場合、前記特定の時間帯における
ビューの再生に用いるストリームデータを負荷量の低い
優先順位のものに変更し、 前記ビューの再生に用いるストリームデータの優先順位
を変更した結果、前記ビューの再生に用いるフレームサ
イズが変化した場合、前記ビューの全ての時間帯におけ
る優先順位を、前記特定の時間帯における優先順位に一
致させ、 前記特定の時間帯より前の各ビューの再生に用いるスト
リームデータを、同一フレームサイズの範囲内で最も優
先度の高いものに変更し、 最初の時間帯からストリームデータの選択をやり直すこ
とを特徴とする請求項８に記載のマルチメディアデータ
のスケジューリング装置。14. The multimedia data selecting means gives priority to each stream data corresponding to a view, and when the total load amount required for reproducing the view in a specific time zone exceeds a predetermined value, The frame data used for playing the view is changed as a result of changing the stream data used for playing the view in the specific time zone to one having a low load priority and changing the priority of the stream data used for playing the view. , The priority in all time zones of the view is matched with the priority in the specific time zone, and the stream data used for reproducing each view before the specific time zone has the same frame size. Change to the highest priority within the range of, and start stream data selection again from the first time slot. Scheduling apparatus of multimedia data according to claim 8, characterized. 【請求項１５】 前記マルチメディアデータ選択手段
は、 前記ビューが動画像の場合、前記ビューを再生する時間
帯を数分割し、マルチメディアデータのファイル名、再
生開始時刻、部分アクセスする場所、再生時間長の組を
各時間帯ごとに指定して再生時のピクチャレートを変化
させることを特徴とする請求項８に記載のマルチメディ
アデータのスケジューリング装置。15. The multimedia data selecting means, when the view is a moving image, divides a time zone in which the view is reproduced into several parts, and determines a file name of the multimedia data, a reproduction start time, a partial access location, and a reproduction. 9. The multimedia data scheduling apparatus according to claim 8, wherein a group of time lengths is designated for each time zone to change a picture rate during reproduction. 【請求項１６】 前記コンテンツの表示場所が指定され
ていない場合、前記マルチメディアデータを表示するウ
ィンドウ同士が重ならないように表示場所を決定するウ
ィンドウ設定手段をさらに備えることを特徴とする請求
項８に記載のマルチメディアデータのスケジューリング
装置。16. The method according to claim 8, further comprising window setting means for determining a display location so that windows displaying the multimedia data do not overlap each other when the display location of the content is not designated. The multimedia data scheduling apparatus according to claim 1. 【請求項１７】 ＭＰＥＧ−１ｖｉｄｅｏデータにおけ
るＧＯＰヘッダの開始バイトと、ＧＯＰ内で最初に再生
されるフレーム番号との対応表を、前記ＭＰＥＧ−１ｖ
ｉｄｅｏデータの属性として備え、 前記ＭＰＥＧ−１ｖｉｄｅｏデータを指定フレームから
再生する場合、前記対応表を用いることにより、前記指
定フレームが含まれるＧＯＰとＧＯＰの先頭から何フレ
ーム目であるかを示すオフセットとを前記指定フレーム
の番号から計算し、 シーケンスヘッダを解析した後、得られたＧＯＰまでフ
ァイルポインタを移動し、 前記オフセット分のフレームを表示することなく、前記
ＭＰＥＧ−１ｖｉｄｅｏデータを復号し、 前記指定フレームから前記ＭＰＥＧ−１ｖｉｄｅｏデー
タの再生を開始することを特徴とするマルチメディアデ
ータの再生方法。17. A correspondence table between a start byte of a GOP header in MPEG-1 video data and a frame number reproduced first in the GOP is provided in the MPEG-1v.
It is provided as an attribute of video data, and when the MPEG-1 video data is reproduced from a designated frame, by using the correspondence table, a GOP including the designated frame and an offset indicating the frame number from the head of the GOP are used. Is calculated from the number of the designated frame, the sequence header is analyzed, the file pointer is moved to the obtained GOP, the MPEG-1 video data is decoded without displaying the frame for the offset, and the designated A method for reproducing multimedia data, characterized in that the reproduction of the MPEG-1 video data is started from a frame. 【請求項１８】 ＭＰＥＧ−１ａｕｄｉｏデータにおけ
る符号化レートを、前記ＭＰＥＧ−１ａｕｄｉｏデータ
の属性として取得し、 前記ＭＰＥＧ−１ａｕｄｉｏデータの途中からアクセス
する場合、スキップする時間長と前記符号化レートとに
基づいて、前記ＭＰＥＧ−１ａｕｄｉｏデータのアクセ
ス開始箇所を計算し、 前記アクセス開始箇所に最も近いフレームヘッダを検索
し、 前記ＭＰＥＧ−１ａｕｄｉｏデータの再生を前記フレー
ムヘッダから開始することを特徴とするマルチメディア
データの再生方法。18. When the coding rate in MPEG-1 audio data is acquired as an attribute of the MPEG-1 audio data and is accessed from the middle of the MPEG-1 audio data, the skipping time length and the coding rate are used. Multimedia data, wherein an access start point of the MPEG-1 audio data is calculated, a frame header closest to the access start point is searched, and reproduction of the MPEG-1 audio data is started from the frame header. How to play. 【請求項１９】 同一サイズのフレームを持つ複数のマ
ルチメディアデータに対し、各マルチメディアデータの
ファイル名、各マルチメディアデータの再生開始時刻、
各マルチメディアデータの部分アクセスをする場所、各
マルチメディアデータのピクチャレート、各マルチメデ
ィアデータの再生時間長を指定し、 各マルチメディアデータの再生される時間帯が重なら
ず、且つ連続している場合、前記各マルチメディアデー
タを前記再生開始時刻よりウィンドウ上に表示を開始
し、 前記部分アクセスをする場所から前記ピクチャレートで
前記再生時間長の間、前記各マルチメディアデータを再
生することを特徴とするマルチメディアデータの再生方
法。19. A plurality of multimedia data having the same size frame, a file name of each multimedia data, a reproduction start time of each multimedia data,
Specify the location for partial access of each multimedia data, the picture rate of each multimedia data, the playback time length of each multimedia data, the playback time zones of each multimedia data do not overlap, and continuously. If each of the multimedia data is displayed on the window from the reproduction start time, the multimedia data is reproduced from the place of the partial access at the picture rate for the reproduction time length. Characteristic multimedia data playback method. 【請求項２０】 最初のＭＰＥＧ−１ｖｉｄｅｏデータ
の再生開始時刻以前に表示用ウィンドウを生成し、 各ＭＰＥＧ−１ｖｉｄｅｏデータのシーケンスヘッダ部
分を読み込み初期化を行い、 指定されたＧＯＰバイト及びオフセットから表示する状
態で再生開始時刻を待ち、 各ＭＰＥＧ−１ｖｉｄｅｏデータを前記再生開始時刻か
ら連続して再生することを特徴とするマルチメディアデ
ータの再生方法。20. A display window is generated before the reproduction start time of the first MPEG-1 video data, the sequence header portion of each MPEG-1 video data is read and initialized, and display is performed from a specified GOP byte and offset. A method for reproducing multimedia data, characterized by waiting for a reproduction start time in a state and reproducing each MPEG-1 video data continuously from the reproduction start time. 【請求項２１】 ピクチャレートがｒフレーム／秒のＭ
ＰＥＧ−１ｖｉｄｅｏデータのフレームＳから表示を行
う場合、 フレームｎのピクチャースタートコードを復号した時点
の時刻Ｔ1 を取得し、表示開始時刻Ｔ0 からの時間が
（Ｔ1 −Ｔ0 ）＞（ｎ−Ｓ）／ｒで、且つフレームｎが
Ｂフレームの場合，フレームｎの復号をせず、 フレームｎの復号が終了した時点の時刻Ｔ2 を取得し、 表示開始時刻Ｔ0 からの時間が（Ｔ2 −Ｔ0 ）＞（ｎ−
Ｓ）／ｒの場合、表示を行わないようにすることを特徴
とするマルチメディアデータの再生方法。21. M with a picture rate of r frames / second
When displaying from the frame S of the PEG-1 video data, the time T 1 at the time of decoding the picture start code of the frame n is acquired, and the time from the display start time T 0 is (T 1 −T 0 )> (n -S) / r and the frame n is a B frame, the frame n is not decoded, the time T 2 at the time when the decoding of the frame n is completed is acquired, and the time from the display start time T 0 is ( T 2 -T 0)> (n-
In the case of S) / r, a method for reproducing multimedia data is characterized in that display is not performed. 【請求項２２】 マルチメディアデータを表示する際の
処理に必要な負荷量に基づいて、事象を表す共通の識別
子を与えられた複数のマルチメディアデータの中から１
つを選択して表示するプログラムを記憶したことを特徴
とする再生プログラム記憶媒体。22. One of a plurality of multimedia data given a common identifier representing an event based on a load amount required for processing when displaying the multimedia data.
A reproduction program storage medium, which stores a program to be selected and displayed. 【請求項２３】 符号化された複数のマルチメディアデ
ータを予め復号しておき、各マルチメディアデータの表
示開始時刻になった時点で、復号したマルチメディアデ
ータを順次に表示するプログラムを記憶したことを特徴
とする再生プログラム記憶媒体。23. A plurality of encoded multimedia data are previously decoded, and a program for sequentially displaying the decoded multimedia data is stored at a display start time of each multimedia data. And a reproduction program storage medium.
JP7240351A 1995-09-19 1995-09-19 Multimedia data retrieval system, multimedia data scheduling device, multimedia data reproducing method and reproducing program storage medium Withdrawn JPH0981444A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP7240351A JPH0981444A (en) 1995-09-19 1995-09-19 Multimedia data retrieval system, multimedia data scheduling device, multimedia data reproducing method and reproducing program storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP7240351A JPH0981444A (en) 1995-09-19 1995-09-19 Multimedia data retrieval system, multimedia data scheduling device, multimedia data reproducing method and reproducing program storage medium

Publications (1)

Publication Number Publication Date
JPH0981444A true JPH0981444A (en) 1997-03-28

Family

ID=17058203

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7240351A Withdrawn JPH0981444A (en) 1995-09-19 1995-09-19 Multimedia data retrieval system, multimedia data scheduling device, multimedia data reproducing method and reproducing program storage medium

Country Status (1)

Country Link
JP (1) JPH0981444A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7409382B2 (en) 2000-12-08 2008-08-05 Fujitsu Limited Information processing system, terminal device, method and medium
JP2013055597A (en) * 2011-09-06 2013-03-21 Mitsubishi Electric Corp Multi-screen content display system, display control terminal, off-set time generating apparatus, display control command transmission apparatus and multi-screen content display method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7409382B2 (en) 2000-12-08 2008-08-05 Fujitsu Limited Information processing system, terminal device, method and medium
JP2013055597A (en) * 2011-09-06 2013-03-21 Mitsubishi Electric Corp Multi-screen content display system, display control terminal, off-set time generating apparatus, display control command transmission apparatus and multi-screen content display method

Similar Documents

Publication Publication Date Title
KR100321839B1 (en) Method and apparatus for integrating hyperlinks in video
CA2253124C (en) Video searching method and apparatus, video information producing method, and storage medium for storing processing program thereof
EP2227809B1 (en) Trick play of streaming media
US7181757B1 (en) Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing
US20020051081A1 (en) Special reproduction control information describing method, special reproduction control information creating apparatus and method therefor, and video reproduction apparatus and method therefor
CN100367794C (en) Meta data edition device, meta data reproduction device, meta data distribution device, meta data search device, meta data reproduction condition setting device, and meta data distribution method
JP5142453B2 (en) Playback device
US7765468B2 (en) Data processing apparatus and data processing method
KR100296967B1 (en) Method for representing multi-level digest segment information in order to provide efficient multi-level digest streams of a multimedia stream and digest stream browsing/recording/editing system using multi-level digest segment information scheme.
JP5048488B2 (en) Recording medium including metadata, reproducing apparatus and method thereof
KR101494904B1 (en) Method and apparatus for generating thumbnails for video files
US20090079840A1 (en) Method for intelligently creating, consuming, and sharing video content on mobile devices
JP2000217058A (en) Video image retrieval system, data structure and retrieval method according thereto
US20050055710A1 (en) Motion picture storage apparatus and motion picture distributing system
US20060126942A1 (en) Method of and apparatus for retrieving movie image
US20030126603A1 (en) Multimedia data searching and browsing system
JP2001157165A (en) Method for constructing semantic connection information between segments of multimedia stream and video browsing method using the same
KR100370247B1 (en) Video browser based on character relation
KR100335817B1 (en) Method for representing abstract/detail relationship among segments in order to provide efficient browsing of video stream and video browsing method using the abstract/detail relationships among segments
JP2000350165A (en) Moving picture recording and reproducing device
JPH09247602A (en) Dynamic image retrieval device
US7697815B2 (en) Video playback unit, video delivery unit and recording medium
CN101132528A (en) Metadata reproduction apparatus, metadata delivery apparatus, metadata search apparatus, metadata re-generation condition setting apparatus
JP4770875B2 (en) Image feature data generation device, image feature determination device, and image search system
JPH0981444A (en) Multimedia data retrieval system, multimedia data scheduling device, multimedia data reproducing method and reproducing program storage medium

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20021203