JP2853732B2 - Method and apparatus for presenting multimedia data - Google Patents
Method and apparatus for presenting multimedia dataInfo
- Publication number
- JP2853732B2 JP2853732B2 JP7189891A JP18989195A JP2853732B2 JP 2853732 B2 JP2853732 B2 JP 2853732B2 JP 7189891 A JP7189891 A JP 7189891A JP 18989195 A JP18989195 A JP 18989195A JP 2853732 B2 JP2853732 B2 JP 2853732B2
- Authority
- JP
- Japan
- Prior art keywords
- story
- presentation
- media
- media data
- execution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Stored Programmes (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Processing Or Creating Images (AREA)
- Digital Computer Display Output (AREA)
- User Interface Of Digital Computer (AREA)
Description
【０００１】[0001]
【発明の属する技術分野】本発明はマルチメディアデー
タ提示方法およびその装置に関し、特に動画，音声，イ
メージおよびテキストのメディアデータ（以下、これら
メディアデータを総称してマルチメディアデータとい
う）を提示するためのマルチメディアデータ提示方法お
よびその装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method and apparatus for presenting multimedia data, and more particularly to presenting media data of moving images, sounds, images and texts (hereinafter, these media data are collectively referred to as multimedia data). And a device for presenting multimedia data.
【０００２】[0002]
【従来の技術】マルチメディアデータ提示方法に関する
従来技術として、特開平５−２７４４１９号公報，特開
平２−１６２９８６号公報等が提案されている。これら
は、単一のメディアデータを提示したり、マルチメディ
アデータをハイパーリンク形式につないでおいて提示す
るといった従来の方式とは異なり、マルチメディアデー
タを時空間情報を考慮して提示することを可能にしたも
のである。しかし、これらで採用されている方法では、
マルチメディアデータをあるストーリーにそって連続ま
たは同期して表示・再生するのに必要なストーリーの生
成，およびそのストーリーに基づくメディアデータの実
行を考慮していなかった。2. Description of the Related Art Japanese Patent Application Laid-Open Nos. Hei 5-274419 and Hei 2-162986 have been proposed as prior arts relating to a method for presenting multimedia data. Unlike conventional methods, such as presenting a single piece of media data or connecting multimedia data in a hyperlink format, they present multimedia data in consideration of spatio-temporal information. It is made possible. However, in the method adopted in these,
No consideration has been given to generating a story necessary for displaying or playing multimedia data continuously or synchronously along a certain story, and executing media data based on the story.
【０００３】一方、近年、それらを考慮したマルチメデ
ィアデータの提示方法として、提示ストーリーをペトリ
ネットを用いて定義する方法（Ｔ．Ｄ．Ｃ．Ｌｉｔｔｌ
ｅａｎｄ Ａ．Ｇｈａｆｏｏｒ，“Ｉｎｔｅｒｖａｌ−
Ｂａｓｅｄ Ｃｏｎｃｅｐｔｕａｌ Ｍｏｄｅｌｓ ｆ
ｏｒ Ｔｉｍｅ−Ｄｅｐｅｎｄｅｎｔ Ｍｕｌｔｉｍｅ
ｄｉａ Ｄａｔａ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏ
ｎｓ ｏｎ Ｋｎｏｗｌｅｇｅ ａｎｄ Ｄａｔａ Ｅ
ｎｇｉｎｅｅｒｉｎｇ，Ｖｏｌ．５，Ｎｏ．４，Ａｕｇ
ｕｓｔ １９９３．参照）や、オブジェクト指向言語の
スキーマ（クラス定義）として定義する方法（Ｋ．Ａｂ
ｅｒｅｒ ａｎｄ Ｗ．Ｋｌａｓ，“Ｓｕｐｐｏｒｔｉ
ｎｇ Ｔｅｍｐｏｒａｌ Ｍｕｌｔｉｍｅｄｉａ Ｏｐ
ｅｒａｔｉｏｎｓ ｉｎ Ｏｂｊｅｃｔ−Ｏｒｉｅｎｔ
ｅｄ Ｄａｔａｂａｓｅ Ｓｙｓｔｅｍｓ”，Ｐｒｏ
ｃ．ｏｆ Ｉｎｔ．Ｃｏｎｆ．ｏｎ Ｍｕｌｔｉｍｅｄ
ｉａ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｓｙｓｅｔｍｓ，
１９９４．参照）などが提案されている。On the other hand, in recent years, as a method of presenting multimedia data in consideration of the above, a method of defining a presentation story using a Petri net (TDDC Litel)
end A. Ghafoor, "Interval-
Based Conceptual Models f
or Time-Dependent Multitime
dia Data ”, IEEE Transaction
ns on Knowlege and Data E
ngineering, Vol. 5, No. 4, Aug
ust 1993. (See K. Ab) or a method of defining as a schema (class definition) of an object-oriented language
erer and W.S. Klas, "Supporti
ng Temporal Multimedia Op
associations in Object-Orient
ed Database Systems ”, Pro
c. of Int. Conf. on Multimed
ia Computing and Systems,
1994. See).
【０００４】[0004]
【発明が解決しようとする課題】上述した従来のマルチ
メディアデータ提示方法では、提示ストーリーをペトリ
ネットを用いて定義する場合、ストーリーのみをペトリ
ネットで記述し他の表示の処理を行う部分等は別のプロ
グラム言語などで記述しなければならなかったので、モ
デルが統合されず、提示ストーリーだけが分離しその間
のミスマッチを埋める手段が必要になるという問題点が
あった。In the above-described conventional multimedia data presentation method, when a presentation story is defined using a Petri net, a portion where only the story is described in the Petri net and other display processing is performed is performed. Since it had to be described in another programming language, there was a problem that the models were not integrated, only the presented stories were separated, and a means for filling the mismatch between them was required.
【０００５】また、スキーマとして記述する場合は、メ
ディアデータの提示の順序などの変更がスキーマの変更
になってしまい柔軟性に欠けるという問題点があった。
また、提示に関する情報がいろいろなところに分散して
しまうので、全体としての見通しが悪く変更などがしづ
らいという問題点があった。さらに、メディアデータが
持つ時間の概念が提示ストーリーの記述に明確に反映さ
れないという問題点があった。[0005] Further, in the case of describing as a schema, there is a problem that a change in the presentation order of the media data or the like results in a change in the schema and lacks flexibility.
In addition, since information related to presentation is scattered in various places, there is a problem that the outlook as a whole is poor and it is difficult to make changes. Further, there is a problem that the concept of time of the media data is not clearly reflected in the description of the presented story.
【０００６】本発明の目的は、上述の点に鑑み、マルチ
メディアデータをオブジェクト指向言語でオブジェクト
として記述することにより、拡張性を持ち、メディアデ
ータが持つ時間的な性質を明示的に表現し、提示ストー
リーの変更が柔軟に行えるマルチメディアデータ提示方
法を提供することにある。In view of the above, an object of the present invention is to express multimedia data as an object in an object-oriented language, thereby having expandability and explicitly expressing the temporal property of media data. It is an object of the present invention to provide a multimedia data presentation method capable of flexibly changing a presentation story.
【０００７】また、本発明の他の目的は、マルチメディ
アデータをオブジェクト指向言語でオブジェクトとして
記述することにより、拡張性を持ち、メディアデータが
持つ時間的な性質を明示的に表現し、提示ストーリーの
変更が柔軟に行えるマルチメディアデータ提示装置を提
供することにある。Another object of the present invention is to describe multimedia data as an object in an object-oriented language, thereby having extensibility, explicitly expressing the temporal property of media data, and presenting a presentation story. It is an object of the present invention to provide a multimedia data presentation device capable of flexibly changing the content.
【０００８】[0008]
【課題を解決するための手段】本発明のマルチメディア
データ提示方法は、オブジェクト指向言語の所定の記述
により、動画，音声，イメージおよびテキストのメディ
アデータを表示・再生時間という性質を基にメディアオ
ブジェクトとして統一的に扱うとともに、提示の際に時
間を空けることを指定するための遅延オブジェクトと、
前記メディアオブジェクト，前記遅延オブジェクト，後
記同期実行オブジェクトまたは自分自身を要素として含
むリストを持ち要素を連続して実行することを指定する
ための連続実行オブジェクトと、前記メディアオブジェ
クト，前記遅延オブジェクト，前記連続実行オブジェク
トまたは自分自身を要素として含む集合を持ち要素を同
期して実行することを指定するための同時実行オブジェ
クトを使用することにより、メディアデータの提示スト
ーリーを生成する提示ストーリー生成工程と、前記提示
ストーリーを解析して、前記遅延オブジェクトであれば
指定した時間だけ時間を空けることを指定し、前記連続
実行オブジェクトであればリストについて処理を再帰的
に呼び出して連続して実行することを指定し、前記同期
実行オブジェクトであれば集合について処理を再帰的に
呼び出して同期をとって実行することを指定し、メディ
アデータのオブジェクトであればそのオブジェクトの実
行を指定し、以上の指定に基づいてスケジューリングを
行い、メディアデータを実行する提示ストーリー解析・
実行工程とを含む。According to the present invention, there is provided a method for presenting multimedia data, comprising the steps of displaying and reproducing media data of moving images, voices, images, and texts based on a predetermined description in an object-oriented language. And a delay object to specify that time is to be provided during presentation,
The media object, the delay object, a synchronous execution object described below, or a continuous execution object having a list including itself as an element and designating that the element is to be continuously executed; A presentation story generating step of generating a presentation story of media data by using a concurrent execution object for designating that an execution object or a set including itself as an element and executing the element in synchronization is provided; Analyze the story, specify that if the delay object is a specified time interval, if the continuous execution object, recursively call the process for the list, and specify to execute continuously, The synchronous execution object If so, specify that the process should be called recursively and executed synchronously, and if it is an object of media data, specify the execution of that object, perform scheduling based on the above specification, and Analysis of the presentation story to be executed
Execution step.
【０００９】本発明のマルチメディアデータ提示装置
は、オブジェクト指向言語の所定の記述により、動画，
音声，イメージおよびテキストのメディアデータを表示
・再生時間という性質を基にメディアオブジェクトとし
て統一的に扱うとともに、提示の際に時間を空けること
を指定するための遅延オブジェクトと、前記メディアオ
ブジェクト，前記遅延オブジェクト，後記同期実行オブ
ジェクトまたは自分自身を要素として含むリストを持ち
要素を連続して実行することを指定するための連続実行
オブジェクトと、前記メディアオブジェクト，前記遅延
オブジェクト，前記連続実行オブジェクトまたは自分自
身を要素として含む集合を持ち要素を同期して実行する
ことを指定するための同時実行オブジェクトを使用する
ことにより、メディアデータの提示ストーリーを生成す
る提示ストーリー生成手段と、前記提示ストーリーを解
析して、前記遅延オブジェクトであれば指定した時間だ
け時間を空けることを指定し、前記連続実行オブジェク
トであればリストについて処理を再帰的に呼び出して連
続して実行することを指定し、前記同期実行オブジェク
トであれば集合について処理を再帰的に呼び出して同期
をとって実行することを指定し、メディアデータのオブ
ジェクトであればそのオブジェクトの実行を指定し、以
上の指定に基づいてスケジューリングを行い、メディア
データを実行する提示ストーリー解析・実行手段とを含
む。[0009] The multimedia data presentation apparatus of the present invention uses a predetermined description in an object-oriented language to create a moving image,
A delay object for designating that the audio, image, and text media data is treated as a media object based on the property of display / reproduction time, and that a pause is provided during presentation; and the media object and the delay An object, a synchronous execution object, or a continuous execution object having a list including itself as an element and designating that the element is to be continuously executed; and the media object, the delay object, the continuous execution object, or itself. By using a concurrent execution object having a set including as an element and specifying to execute the elements in synchronization, a presentation story generating means for generating a presentation story of the media data, and analyzing the presentation story, The delay If the object is the object, specify that a specified time is to be provided.If the object is the continuous execution object, specify that the process is recursively called for the list and execute it continuously. Specifies that the process is recursively called and executed synchronously, and if the object is media data, specifies the execution of the object, schedules based on the above specification, and executes the media data Includes story analysis and execution means.
【００１０】[0010]
【発明の実施の形態】次に、本発明について図面を参照
して詳細に説明する。Next, the present invention will be described in detail with reference to the drawings.
【００１１】図１は、本発明のマルチメディアデータ提
示方法が適用された第１実施例に係るマルチメディアデ
ータ提示装置の構成を示すブロック図である。本実施例
のマルチメディアデータ提示装置は、提示ストーリーを
生成する提示ストーリー生成手段１と、提示ストーリー
を一時的に格納するデータバッファ２と、メインルーチ
ン３１および解析ルーチン３２からなり提示ストーリー
を解析する提示ストーリー解析手段３と、解析結果のオ
ブジェクトをスケジューリングするスケジューリング手
段４と、オブジェクトの動作を管理するスレッド管理手
段５と、メディアデータを実行するメディアデータ実行
手段６とから構成されている。FIG. 1 is a block diagram showing the configuration of a multimedia data presentation apparatus according to a first embodiment to which the multimedia data presentation method of the present invention is applied. The multimedia data presentation device of this embodiment comprises a presentation story generation unit 1 for generating a presentation story, a data buffer 2 for temporarily storing a presentation story, a main routine 31 and an analysis routine 32, and analyzes the presentation story. It is composed of a presentation story analysis means 3, a scheduling means 4 for scheduling an object as an analysis result, a thread management means 5 for managing the operation of the object, and a media data execution means 6 for executing media data.
【００１２】図２は、本実施例のマルチメディアデータ
提示装置がデータ構造として持つオブジェクトに対応す
るクラスの構造・関連図である。本実施例のマルチメデ
ィアデータ提示装置では、データ構造として存在するオ
ブジェクト指向言語の所定の記述により表現されるオブ
ジェクトを使用する。FIG. 2 is a diagram showing the structure and relation of a class corresponding to an object having a data structure in the multimedia data presentation apparatus of the present embodiment. In the multimedia data presentation device of the present embodiment, an object represented by a predetermined description of an object-oriented language existing as a data structure is used.
【００１３】Ｉｎｔｅｒｖａｌ（期間）オブジェクト１
００は、属性として時間を持ち、期間を表す。この属性
は派生クラスに継承され、派生クラスでは表示・再生が
持続する時間を表す。図６は、オブジェクトの具体的な
記述例を示す図である。Interval (period) object 1
00 has time as an attribute and represents a period. This attribute is inherited by derived classes, which indicate the duration of display / playback. FIG. 6 is a diagram illustrating a specific description example of an object.
【００１４】Ｍｅｄｉａオブジェクト１０４は、メディ
アデータの共通の性質として、そのメディアデータの内
容を示す名前，メディアデータが入っているファイルの
名前，メディアデータのファイル形式を共通の情報とし
て持つ。ファイル形式とは、例えば、動画の場合のＡＶ
Ｉ（Ａｕｄｉｏ Ｖｉｄｅｏ Ｉｎｔｅｒｌｅａｖｅ；
Ｍｉｃｒｏｓｏｆｔ社のオペレーティングシステムであ
るＭｉｃｒｏｓｏｆｔＷｉｎｄｏｗｓ上の動画像表示機
構Ｖｉｄｅｏ ｆｏｒ Ｗｉｎｄｏｗｓで利用されてい
る、動画データと音声データとをファイルに交互配置し
て保存する形式），ＷＡＶＥ（Ｍｉｃｒｏｓｏｆｔ Ｗ
ｉｎｄｏｗｓで用いられる音声データを保存するための
形式），ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅ
ｘｐｅｒｔｓ Ｇｒｏｕｐ；動画データを圧縮して保存
する形式）などの記録形式のことを指している。オブジ
ェクト指向言語の継承機能によりＩｎｔｅｒｖａｌオブ
ジェクト１００の性質とＭｅｄｉａオブジェクト１０４
の性質とを継承するオブジェクトとして、Ｖｉｄｅｏ
（動画）オブジェクト１０５，Ａｕｄｉｏ（音声）オブ
ジェクト１０６，Ｉｍａｇｅ（静止画）オブジェクト１
０７およびＴｅｘｔ（テキスト）オブジェクト１０８が
存在する。The media object 104 has, as common information, common properties of media data, such as a name indicating the contents of the media data, a name of a file containing the media data, and a file format of the media data. The file format is, for example, AV for moving images.
I (Audio Video Interleave;
A format in which moving image data and audio data are alternately stored in a file, which is used in a video display mechanism Video for Windows on Microsoft Windows, which is an operating system of Microsoft Corporation, and WAVE (Microsoft W
format for storing audio data used in Windows), MPEG (Moving Picture E)
xparts Group; a format for compressing and saving moving image data). By the inheritance function of the object-oriented language, the properties of the Interval object 100 and the Media object 104
As an object that inherits the properties of Video
(Moving image) object 105, Audio (sound) object 106, Image (still image) object 1
07 and Text objects 108 are present.
【００１５】また、Ｉｎｔｅｒｖａｌオブジェクト１０
０の性質を継承し、連続して実行するＩｎｔｅｒｖａｌ
オブジェクト１００のリストを持つＳｅｑ（連続実行）
オブジェクト１０１と、同期をとって実行するＩｎｔｅ
ｒｖａｌオブジェクト１００の集合を持つＳｙｎｃ（同
期実行）オブジェクト１０２と、時間的な遅延を表すＤ
ｅｌａｙオブジェクト（遅延）１０３とが存在する。The Interval object 10
Interval that inherits the property of 0 and runs continuously
Seq having a list of objects 100 (continuous execution)
Inte executed synchronously with object 101
A Sync (synchronous execution) object 102 having a set of rval objects 100 and a D representing a time delay
An elay object (delay) 103 exists.
【００１６】図３は、Ｓｅｑオブジェクト１０１のより
詳細な構造を示す図である。Ｓｅｑオブジェクト１０１
は、Ｉｎｔｅｒｖａｌオブジェクト１００の順序列を示
すリスト２００を持つ。このリスト２００の要素となる
Ｉｎｔｅｒｖａｌオブジェクト１００は、実際は、Ｓｅ
ｑオブジェクト１０１，Ｓｙｎｃオブジェクト１０２，
Ｄｅｌａｙオブジェクト１０３，Ｖｉｄｅｏオブジェク
ト１０５，Ａｕｄｉｏオブジェクト１０６，Ｉｍａｇｅ
オブジェクト１０７，またはＴｅｘｔオブジェクト１０
８のいずれかであり、これらは連続して実行される。FIG. 3 is a diagram showing a more detailed structure of the Seq object 101. Seq object 101
Has a list 200 indicating a sequence of the Interval objects 100. The Interval object 100 which is an element of this list 200 is actually Se
q object 101, Sync object 102,
Delay object 103, Video object 105, Audio object 106, Image
Object 107 or Text object 10
8, which are executed consecutively.
【００１７】図４は、Ｓｙｎｃオブジェクト１０２のよ
り詳細な構造を示す図である。Ｓｙｎｃオブジェクト１
０２は、Ｉｎｔｅｒｖａｌオブジェクト１００の集合２
０１を持つ。この集合２０１の要素となるＩｎｔｅｒｖ
ａｌオブジェクト１００は、実際は、Ｓｅｑオブジェク
ト１０１，Ｓｙｎｃオブジェクト１０２，Ｄｅｌａｙオ
ブジェクト１０３，Ｖｉｄｅｏオブジェクト１０５，Ａ
ｕｄｉｏオブジェクト１０６，Ｉｍａｇｅオブジェクト
１０７，またはＴｅｘｔオブジェクト１０８のいずれか
であり、これらは同期して実行される。FIG. 4 is a diagram showing a more detailed structure of the Sync object 102. Sync object 1
02 is a set 2 of the Interval objects 100
It has 01. Interv which is an element of this set 201
The al object 100 is actually a Seq object 101, a Sync object 102, a Delay object 103, a Video object 105,
One of the audio object 106, the Image object 107, and the Text object 108, which are executed synchronously.
【００１８】図５は、Ｐｒｅｓｅｎｔａｔｉｏｎオブジ
ェクト２０２の構造を示す図である。Ｐｒｅｓｅｎｔａ
ｔｉｏｎオブジェクト２０２は、Ｉｎｔｅｒｖａｌオブ
ジェクト１００へのポインタを持ち、メディアデータの
提示ストーリーを表す。FIG. 5 is a diagram showing the structure of the Presentation object 202. Presenta
The sion object 202 has a pointer to the Interval object 100 and represents a presentation story of the media data.
【００１９】図７（ａ）を参照すると、メインルーチン
３１の処理は、Ｐｒｅｓｅｎｔａｔｉｏｎオブジェクト
入力ステップ４００と、Ｉｎｔｅｒｖａｌオブジェクト
引渡しステップ４０１と、スケジューリングステップ４
０２と、メディアデータ表示・再生ステップ４０３とか
らなる。Referring to FIG. 7A, the processing of the main routine 31 includes a Presentation object input step 400, an Interval object delivery step 401, and a scheduling step 4
02 and media data display / playback step 403.
【００２０】図７（ｂ）を参照すると、解析ルーチン３
２の処理は、Ｉｎｔｅｒｖａｌオブジェクト入力ステッ
プ３００と、Ｓｅｑオブジェクト判定ステップ３０１
と、連続実行指定ステップ３０２と、Ｓｙｎｃオブジェ
クト判定ステップ３０３と、同期実行指定ステップ３０
４と、Ｄｅｌａｙオブジェクト判定ステップ３０５と、
時間空け指定ステップ３０６と、Ｍｅｄｉａオブジェク
ト実行指定ステップ３０７とからなる。Referring to FIG. 7B, analysis routine 3
The processing in step 2 includes an interval object input step 300 and a Seq object determination step 301
, Continuous execution designation step 302, Sync object determination step 303, and synchronous execution designation step 30
4, a delay object determination step 305,
It comprises a time interval designation step 306 and a media object execution designation step 307.
【００２１】次に、このように構成された本実施例のマ
ルチメディアデータ提示装置の動作について、マルチメ
ディアデータ提示方法とともに説明する。Next, the operation of the multimedia data presenting apparatus according to the present embodiment thus configured will be described together with a multimedia data presenting method.
【００２２】利用者は、提示ストーリー生成手段１を用
いて、メディアデータの提示ストーリーを入力する。提
示ストーリーの生成は、ストーリーをオブジェクト指向
言語でオブジェクトを用いて記述して指定する。利用者
は提示したいメディアデータの種類に応じて、Ｖｉｄｅ
ｏオブジェクト１０５，Ａｕｄｉｏオブジェクト１０
６，Ｉｍａｇｅオブジェクト１０７およびＴｅｘｔオブ
ジェクト１０８を使用する。同期などのために時間を空
けたい場合には、Ｄｅｌａｙオブジェクト１０３を使用
する。また、メディアデータを連続して実行することを
指定するために、Ｓｅｑオブジェクト１０１が、メディ
アデータを同期して実行することを指定するためにＳｙ
ｎｃオブジェクト１０２を使用する。The user uses the presented story generating means 1 to input a presented story of the media data. The generation of the presented story is specified by describing the story using objects in an object-oriented language. The user can select the Video according to the type of media data to be presented.
o object 105, Audio object 10
6, using an Image object 107 and a Text object 108. When time is required for synchronization or the like, the Delay object 103 is used. In addition, the Seq object 101 specifies that the media data is to be continuously executed, and the Seq object 101 specifies that the media data is to be executed in a synchronized manner.
The nc object 102 is used.
【００２３】利用者は、自分の望む提示のストーリー
を、Ｖｉｄｅｏオブジェクト１０５，Ａｕｄｉｏオブジ
ェクト１０６，Ｉｍａｇｅオブジェクト１０７，Ｔｅｘ
ｔオブジェクト１０８，Ｄｅｌａｙオブジェクト１０
３，Ｓｅｑオブジェクト１０１およびＳｙｎｃオブジェ
クト１０２を組み合わせて指定する。[0024] The user can describe the story he or she wants to present in the video object 105, the audio object 106, the image object 107, the Tex object.
t object 108, Delay object 10
3. Designate the Seq object 101 and the Sync object 102 in combination.
【００２４】例えば、図８（ａ）に示すようなストーリ
ーで提示を行う場合、図８（ｂ）に示すように組み合わ
せる。実際の記述例を、図９に示す。ここで、ＡＶＩお
よびＷＡＶは、列挙型（ｅｎｕｍ）で定義されており、
それぞれ、ＡＶＩ形式およびＷＡＶＥ形式を示してい
る。まず、再生時間が１８０秒でＡＶＩ形式であり、フ
ァイル名がｅｘｐｌｔｎ．ａｖｉである「製品の概要説
明」に関するＶｉｄｅｏオブジェクトｖｉｄｅｏ１を生
成する。さらに、再生時間が２５０秒でＡＶＩ形式であ
りファイル名がＡ．ａｖｉである「製品Ａの説明」に関
するＶｉｄｅｏオブジェクトｖｉｄｅｏ２、および再生
時間が３４０秒でＡＶＩ形式であり、ファイル名がＢ．
ａｖｉである「製品Ｂの説明」に関するＶｉｄｅｏオブ
ジェクトｖｉｄｅｏ３を生成する。また、再生時間が１
５０秒でＷＡＶＥ形式であり、ファイル名がＡ．ｗａｖ
である「ＢＧＭ（ＢａｃｋＧｒｏｕｎｄ Ｍｕｓｉ
ｃ）」のＡｕｄｉｏオブジェクトａｕｄｉｏを生成す
る。さらに、１００秒の間を空けることを指定するＤｅ
ｌａｙオブジェクトｄｅｌａｙを生成する。For example, in the case of presenting a story as shown in FIG. 8A, the presentation is combined as shown in FIG. 8B. FIG. 9 shows an actual description example. Here, AVI and WAV are defined by an enumeration (enum).
The AVI format and the WAVE format are shown, respectively. First, the playback time is 180 seconds, the format is AVI, and the file name is expltn. Generate a Video object video1 related to the “product summary description” that is an avid. Further, the playback time is 250 seconds, the format is AVI, and the file name is A.D. a video object video2 relating to “description of product A”, which is an avi, an AVI format with a reproduction time of 340 seconds, and a file name of B.AVI.
A video object video3 relating to “Description of product B”, which is an avi, is generated. Also, the playback time is 1
The file is in WAVE format in 50 seconds and the file name is A.D. wav
"BGM (Background Music)
c) Create an audio object "audio". In addition, De to specify an interval of 100 seconds
Generate a layer object "delay".
【００２５】次に、Ｓｅｑオブジェクトｓｅｑ１のｉｎ
ｔｅｒｖａｌＬに、Ａｕｄｉｏオブジェクトａｕｄｉｏ
とＤｅｌａｙオブジェクトｄｅｌａｙとを代入すること
により、ａｕｄｉｏを再生してからその後に時間を空け
ることを指定する。また、Ｓｙｎｃオブジェクトｓｙｎ
ｃ１のｉｎｔｅｒｖａｌＳに、Ｖｉｄｅｏオブジェクト
ｖｉｄｅｏ２とＳｅｑオブジェクトｓｅｑ１とを代入す
ることにより、２つのオブジェクトを同期再生すること
を指定する。さらに、Ｓｅｑオブジェクトｓｅｑ２のｉ
ｎｔｅｒｖａｌＬに、Ｖｉｄｅｏオブジェクトｖｉｄｅ
ｏ１，ＳｙｎｃオブジェクトｓｙｎｃおよびＶｉｄｅｏ
オブジェクトｖｉｄｅｏ３を代入することにより、これ
らを連続再生することを指定する。これを、Ｐｒｅｓｅ
ｎｔａｔｉｏｎオブジェクトｐｒｅｓｔｎのｓｔｏｒｙ
に代入する。以上により、提示ストーリーを生成する。Next, in of the Seq object seq1
In tervalL, Audio object audio
By substituting “delay” and “delay object”, it is specified that a time is to be provided after the audio is reproduced. In addition, the Sync object sync
By substituting the Video object video2 and the Seq object seq1 into the intervalS of c1, it is specified that the two objects be reproduced synchronously. Furthermore, i of the Seq object seq2
The video object “video” in “intervalL”
o1, Sync object sync and Video
By substituting the object video3, it is specified that these are continuously reproduced. This is called Prese
ntation object prestn story
Substitute for As described above, the presentation story is generated.
【００２６】提示の実行は、提示ストーリー解析手段
３，スケジューリング手段４，スレッド管理手段５およ
びメディアデータ実行手段６で行う。The presentation is executed by the presentation story analysis means 3, the scheduling means 4, the thread management means 5, and the media data execution means 6.
【００２７】提示ストーリー解析手段３が起動される
と、メインルーチン３２では、データバッファ２から入
力としてＰｒｅｓｅｎｔａｔｉｏｎオブジェクト２０２
を受け取り（ステップ４００）、それがポインタで指し
ているＩｎｔｅｒｖａｌオブジェクト１００を解析ルー
チン３２に渡す（ステップ４０１）。When the presentation story analyzing means 3 is activated, the main routine 32 receives a presentation object 202 from the data buffer 2 as an input.
(Step 400), and passes the Interval object 100 pointed to by the pointer to the analysis routine 32 (Step 401).
【００２８】解析ルーチン３２では、Ｉｎｔｅｒｖａｌ
オブジェクト１００を受け取り（ステップ３００）、そ
れがＳｅｑオブジェクト１０１であるかどうかを調べ
（ステップＳ３０１）、Ｓｅｑオブジェクト１０１の場
合には、それが持つリスト２００の要素であるＩｎｔｅ
ｒｖａｌオブジェクト１００について、解析ルーチン３
２を再帰的に呼び出す。このとき、Ｓｅｑオブジェクト
１０１が持つすべてのＩｎｔｅｒｖａｌオブジェクト１
００の実行を連続して行うことをスケジューリング手段
４に指定する（ステップ３０２）。In the analysis routine 32, the Interval
The object 100 is received (step 300), and it is checked whether or not the object 100 is the Seq object 101 (step S301).
Analysis routine 3 for rval object 100
Call 2 recursively. At this time, all Interval objects 1 of the Seq object 101
00 is specified to the scheduling means 4 (step 302).
【００２９】ステップ３０１でノーの場合、Ｓｙｎｃオ
ブジェクト１０２であるかどうかを調べ（ステップ３０
３）、Ｓｙｎｃオブジェクト１０２の場合にはそれが持
つ集合２０１の要素であるＩｎｔｅｒｖａｌオブジェク
ト１００について、解析ルーチン３２を再帰的に呼び出
す。このとき、Ｓｙｎｃオブジェクト１０２が持つすべ
てのＩｎｔｅｒｖａｌオブジェクト１００の実行を同期
して行うことをスケジューリング手段４に指定する（ス
テップ３０４）。If NO in step 301, it is checked whether the object is the Sync object 102 (step 30).
3) In the case of the Sync object 102, the analysis routine 32 is recursively called for the Interval object 100 which is an element of the set 201 of the Sync object 102. At this time, the scheduler 4 is instructed to synchronously execute all the Interval objects 100 of the Sync object 102 (step 304).
【００３０】ステップ３０３でノーの場合、Ｄｅｌａｙ
オブジェクト１０３であるかどうかを調べ（ステップ３
０５）、Ｄｅｌａｙオブジェクト１０３の場合は指定し
た時間だけ時間を空けることをスケジューリング手段４
に指定する（ステップ３０６）。If no at step 303, Delay
Check whether the object is an object 103 (step 3
05), in the case of the Delay object 103, the scheduling unit 4 determines that a time is provided for a specified time.
(Step 306).
【００３１】ステップ３０５でノーの場合、Ｍｅｄｉａ
オブジェクト１０４であるので、対応するメディアデー
タを実行することをスケジューリング手段４に指定する
（ステップ３０７）。解析ルーチン３２のすべての再帰
呼出しが終了すると、メインルーチン３１に戻る。If no in step 305, Media
Since the object 104 is the object 104, the scheduler 4 is instructed to execute the corresponding media data (step 307). When all the recursive calls of the analysis routine 32 are completed, the process returns to the main routine 31.
【００３２】図９に示した記述例を解析した場合には、
まず、「製品の概要説明」の動画を１８０秒流し、その
後に、「製品Ａの説明」の動画を２５０秒間、最初の１
５０秒についてＢＧＭを同期させて流し、その後に、
「製品Ａの説明」の動画を３４０秒流すことを指定する
ことになる。When the description example shown in FIG. 9 is analyzed,
First, a movie of "Product Summary" is played for 180 seconds, and then a movie of "Product A" is played for 250 seconds for the first one.
Synchronize and play BGM for 50 seconds, then
This specifies that a moving image of “description of product A” is played for 340 seconds.
【００３３】メインルーチン３１では、解析ルーチン３
２で得た情報に基づきスケジューリング手段４でスケジ
ューリングを行う（ステップ４０２）。スケジューリン
グ手段４は、スレッド管理手段５を呼び出し、連続再生
の場合は、個々のメディアデータに対して順番にスレッ
ドを割り当て、そこでメディアデータ実行手段６を呼び
出し、再生・表示を行い、同期再生の場合には、スレッ
ドを並行に割り当て、個々のスレッドからメディアデー
タ実行手段６を呼び出し、再生・表示を行う（ステップ
Ｓ４０３）。In the main routine 31, the analysis routine 3
The scheduling unit 4 performs scheduling based on the information obtained in step 2 (step 402). The scheduling means 4 calls the thread management means 5 and, in the case of continuous reproduction, assigns a thread to each piece of media data in order, and calls the media data execution means 6 to perform reproduction / display. , Threads are allocated in parallel, the media data execution means 6 is called from each thread, and reproduction / display is performed (step S403).
【００３４】ところで、Ｖｉｄｅｏオブジェクト１０
５，Ａｕｄｉｏオブジェクト１０６，Ｉｍａｇｅオブジ
ェクト１０７およびＴｅｘｔオブジェクト１０８は、オ
ブジェクト指向言語で記述され、メディアデータとその
メディアデータの内容が何についてのものであるかを示
す情報（例えば、Ｖｉｄｅｏオブジェクト１０５の場
合、映っている物体の名前等）を永続化する必要がある
ことなどから、格納手段（例えば、オブジェクト指向デ
ータベース）に格納しておき、そこから検索して提示ス
トーリー生成手段１で用いる形にすると効率がよい。By the way, the Video object 10
5, an audio object 106, an image object 107, and a text object 108 are described in an object-oriented language and include information indicating what the media data and the contents of the media data are (for example, in the case of the video object 105, Since it is necessary to make the name of the reflected object permanent, etc., it is necessary to store it in a storage means (for example, an object-oriented database), retrieve it therefrom, and use it in the presentation story generation means 1 for efficiency. Is good.
【００３５】図１０は、本発明の第２実施例に係るマル
チメディアデータ提示装置の構成を示すブロック図であ
る。本実施例のマルチメディアデータ提示装置は、図１
に示した第１実施例のマルチメディアデータ提示装置に
おけるデータバッファ２を、データベース管理システム
７およびデータベース８と置き換えるようにしたもので
ある。なお、その他の手段等は図１に示した第１実施例
のマルチメディアデータ提示装置と同様なので、対応す
る手段等には同一符号を付してそれらの詳しい説明は割
愛する。FIG. 10 is a block diagram showing the configuration of a multimedia data presentation device according to a second embodiment of the present invention. The multimedia data presentation device according to the present embodiment has a
The data buffer 2 in the multimedia data presentation device of the first embodiment shown in FIG. 1 is replaced with a database management system 7 and a database 8. Since the other units are the same as those of the multimedia data presentation apparatus of the first embodiment shown in FIG. 1, the corresponding units and the like are denoted by the same reference numerals and their detailed description is omitted.
【００３６】このように構成された第２実施例のマルチ
メディアデータ提示装置では、利用者は、提示ストーリ
ー生成手段１を用いて、メディアデータの提示ストーリ
ーを入力する。生成された提示ストーリーは、データベ
ース管理システム７によりデータベース８に格納され、
永続性を持つ。これにより、提示ストーリーを再利用す
ることができる。In the multimedia data presenting apparatus of the second embodiment configured as described above, the user uses the presented story generating means 1 to input the presented story of the media data. The generated presentation story is stored in the database 8 by the database management system 7,
Has persistence. Thereby, the presented story can be reused.
【００３７】図１１は、本発明の第３実施例に係るマル
チメディアデータ提示装置の構成を示すブロック図であ
る。本実施例のマルチメディアデータ提示装置は、図１
に示した第１実施例のマルチメディアデータ提示装置に
対して、ストーリーをグラフィカルに入力できるグラフ
ィカルユーザインタフェースによる提示ストーリー入力
手段９を付加するようにしたものである。なお、その他
の手段等は図１に示した第１実施例のマルチメディアデ
ータ提示装置と同様なので、対応する手段等には同一符
号を付してそれらの詳しい説明は割愛する。FIG. 11 is a block diagram showing a configuration of a multimedia data presentation device according to a third embodiment of the present invention. The multimedia data presentation device according to the present embodiment has a
In the present embodiment, a presentation story input unit 9 using a graphical user interface capable of graphically inputting a story is added to the multimedia data presentation apparatus of the first embodiment shown in FIG. Since the other units are the same as those of the multimedia data presentation apparatus of the first embodiment shown in FIG. 1, the corresponding units and the like are denoted by the same reference numerals and their detailed description is omitted.
【００３８】このように構成された第３実施例のマルチ
メディアデータ提示装置では、利用者は、提示ストーリ
ー入力手段９を用いて、図８（ａ）に示すようなタイム
ラインチャートに基づいてグラフィカルユーザインタフ
ェースにより提示ストーリーをグラフィカルに入力でき
る。提示ストーリー入力手段９は、利用者からの入力を
受けて、その情報を提示ストーリー生成手段１に送り、
そこで提示ストーリーの生成を行う。In the multimedia data presenting apparatus of the third embodiment configured as described above, the user uses the presented story inputting means 9 to graphically display the time based on the timeline chart as shown in FIG. The presentation story can be input graphically by the user interface. The presented story input means 9 receives the input from the user and sends the information to the presented story generating means 1,
Therefore, a presentation story is generated.
【００３９】[0039]
【発明の効果】以上説明したように本発明のマルチメデ
ィアデータ提示方法によれば、メディアデータをオブジ
ェクト指向言語でオブジェクトとして統一的に扱うとと
もに、遅延オブジェクト，連続実行オブジェクトおよび
同期実行オブジェクトを用いることにより、メディアデ
ータが持つ時間的な性質を明示的に表現することができ
るとともに、これらオブジェクトを組み合わせて簡単に
ストーリーを提示することが可能になり、提示ストーリ
ーの変更をオブジェクトの変更で柔軟に行うことができ
るという効果がある。特に、従来の問題であった、提示
ストーリーの変更がスキーマの変更に及ぶことがなくな
る。また、提示ストーリーをオブジェクトで表している
ので、提示ストーリーだけをペリネットで記述する場合
のミスマッチを防ぐことができる。As described above, according to the multimedia data presenting method of the present invention, media data is uniformly treated as an object in an object-oriented language, and a delayed object, a continuously executed object, and a synchronously executed object are used. In addition to being able to express the temporal properties of media data explicitly, it is also possible to easily present a story by combining these objects, and to flexibly change the presented story by changing the object There is an effect that can be. In particular, the change of the presentation story, which is a conventional problem, does not extend to the change of the schema. Further, since the presented story is represented by an object, it is possible to prevent a mismatch when only the presented story is described in a perinet.
【００４０】また、本発明のマルチメディアデータ提示
装置によれば、メディアデータをオブジェクト指向言語
でオブジェクトとして統一的に扱うとともに、遅延オブ
ジェクト，連続実行オブジェクトおよび同期実行オブジ
ェクトを用いることにより、メディアデータが持つ時間
的な性質を明示的に表現することができるとともに、こ
れらオブジェクトを組み合わせて簡単にストーリーを提
示することが可能になり、提示ストーリーの変更をオブ
ジェクトの変更で柔軟に行うことができるという効果が
ある。特に、従来の問題であった、提示ストーリーの変
更がスキーマの変更に及ぶことがなくなる。また、提示
ストーリーをオブジェクトで表しているので、提示スト
ーリーだけをペリネットで記述する場合のミスマッチを
防ぐことができる。According to the multimedia data presentation apparatus of the present invention, the media data is unified as an object in an object-oriented language, and the media data is processed by using the delay object, the continuous execution object, and the synchronous execution object. In addition to being able to explicitly express the temporal nature of having, it is also possible to easily present a story by combining these objects, and the effect that the presented story can be changed flexibly by changing the object There is. In particular, the change of the presentation story, which is a conventional problem, does not extend to the change of the schema. Further, since the presented story is represented by an object, it is possible to prevent a mismatch when only the presented story is described in a perinet.
【図１】本発明のマルチメディアデータ提示方法が適用
された第１実施例に係るマルチメディアデータ提示装置
の構成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of a multimedia data presentation device according to a first embodiment to which a multimedia data presentation method of the present invention is applied.
【図２】本実施例のマルチメディアデータ提示装置がデ
ータ構造として持つオブジェクトに対応するクラスの構
造・関連図である。FIG. 2 is a diagram showing the structure and association of a class corresponding to an object having a data structure of the multimedia data presentation device of the embodiment.
【図３】図２中のＳｅｑオブジェクトの構造図である。FIG. 3 is a structural diagram of a Seq object in FIG. 2;
【図４】図２中のＳｙｎｃオブジェクトの構造図であ
る。FIG. 4 is a structural diagram of a Sync object in FIG. 2;
【図５】Ｐｒｅｓｅｎｔａｔｉｏｎオブジェクトの構造
図である。FIG. 5 is a structural diagram of a Presentation object.
【図６】図２中のオブジェクトの具体的な記述例を示す
図である。FIG. 6 is a diagram showing a specific description example of an object in FIG. 2;
【図７】図１中の提示ストーリー解析手段の処理を示す
流れ図であり、（ａ）はメインルーチンの処理を示し、
（ｂ）は解析ルーチンの処理を示す。FIG. 7 is a flowchart showing a process of a presentation story analysis unit in FIG. 1, where (a) shows a process of a main routine,
(B) shows the processing of the analysis routine.
【図８】マルチメディアデータの提示ストーリーの一例
を示す図であり、（ａ）はタイムラインチャートを示
し、（ｂ）はそれに基づいて生成される提示ストーリー
の構造を示す。8A and 8B are diagrams illustrating an example of a presentation story of multimedia data. FIG. 8A illustrates a timeline chart, and FIG. 8B illustrates a structure of a presentation story generated based on the timeline chart.
【図９】図８（ｂ）に例示した提示ストーリーの実際の
記述例を示す図である。FIG. 9 is a diagram illustrating an example of an actual description of a presented story illustrated in FIG. 8B.
【図１０】本発明の第２実施例に係るマルチメディアデ
ータ提示装置の構成を示すブロック図である。FIG. 10 is a block diagram showing a configuration of a multimedia data presentation device according to a second embodiment of the present invention.
【図１１】本発明の第３実施例に係るマルチメディアデ
ータ提示装置の構成を示すブロック図である。FIG. 11 is a block diagram illustrating a configuration of a multimedia data presentation device according to a third embodiment of the present invention.
１ 提示ストーリー生成手段 ２ データバッファ ３ 提示ストーリー解析手段 ４ スケジューリング手段 ５ スレッド管理手段 ６ メディアデータ実行手段 ７ データベース管理システム ８ データベース ９ 提示ストーリー入力手段 １００ Ｉｎｔｅｒｖａｌオブジェクト １０１ Ｓｅｑオブジェクト １０２ Ｓｙｎｃオブジェクト １０３ Ｄｅｌａｙオブジェクト １０４ Ｍｅｄｉａオブジェクト １０５ Ｖｉｄｅｏオブジェクト １０６ Ａｕｄｉｏオブジェクト １０７ Ｉｍａｇｅオブジェクト １０８ Ｔｅｘｔオブジェクト ２００ Ｉｎｔｅｒｖａｌオブジェクトのリスト ２０１ Ｉｎｔｅｒｖａｌオブジェクトの集合 ２０２ Ｐｒｅｓｅｎｔａｔｉｏｎオブジェクト DESCRIPTION OF REFERENCE NUMERALS 1 presentation story generation means 2 data buffer 3 presentation story analysis means 4 scheduling means 5 thread management means 6 media data execution means 7 database management system 8 database 9 presentation story input means 100 Interval object 101 Seq object 102 Sync object 103 Delay object 104 Media Object 105 Video object 106 Audio object 107 Image object 108 Text object 200 List of Interval objects 201 Collection of Interval objects 202 Presentation object
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 ＦＩ Ｇ０６Ｆ 17/30 Ｈ０４Ｎ 7/173 Ｇ０６Ｔ 13/00 Ｇ０６Ｆ 15/40 ３７０Ｇ Ｈ０４Ｎ 7/173 15/62 ３４０Ｚ (56)参考文献 特開 平５−274419（ＪＰ，Ａ) 特開 平７−141177（ＪＰ，Ａ) 芳賀博英ほか「マルチメディアシステ ムの記述のための自律オブジェクトの提 案」ヒューマン・インターフェース・シ ンボジウム論文集、９ｔｈ（1993）、第 405から414頁 佐伯剛幸ほか「ハイパーメディアシス テムのための柔軟性の高いメディア管理 データベース」電子情報通信学会研究報 告、データベースシステム 108−２ （1996．５．23）第９から16頁 Ａｌｉａｎ Ｊａｃｏｔ−Ｄｅｓｃｏ ｍｂｅｓ ａｎｄ Ｔｏｓｈｉｋａｚｕ Ｋａｔｏ，”Ａ Ｓｏｆｔｗａｒｅ Ｐｌａｔｆｏｒｍ ｆｏｒ Ｍｕｌｔｉ ｍｅｄｉａ Ａｐｐｌｉｃａｔｉｏ ｎ”，電子技術総合研究所彙報 Ｖｏ ｌ．59，Ｎｏ．６（1995．６）ｐｐ．19 −29 (58)調査した分野(Int.Cl.6，ＤＢ名) G06F 17/60 G06F 3/14 310 G06F 9/06 530 G06F 9/44 530 G06F 12/00 547 G06F 17/30 G06T 13/00 H04N 7/173 ＪＩＣＳＴファイル（ＪＯＩＳ)──────────────────────────────────────────────────の Continued on the front page (51) Int.Cl. 6 Identification code FI G06F 17/30 H04N 7/173 G06T 13/00 G06F 15/40 370G H04N 7/173 15/62 340Z (56) References JP Hei 5-274419 (JP, A) JP-A-7-141177 (JP, A) Hirohide Haga et al., "Proposal of Autonomous Objects for Describing Multimedia Systems", Proceedings of Human Interface Symbology, 9th ( 1993), pp. 405-414, Takeyuki Saeki et al., "Flexible Media Management Database for Hypermedia Systems," IEICE Research Report, Database System 108-2 (1996.5.23) ninth. Page 16 Alien Jacot-Descombes and oshikazu Kato, "A Software Platform for Multi media Applicatio n", Electrotechnical Laboratory Bulletin Vo l. 59, no. 6 (1995.6) pp. 19-29 (58) Fields investigated (Int.Cl. 6 , DB name) G06F 17/60 G06F 3/14 310 G06F 9/06 530 G06F 9/44 530 G06F 12/00 547 G06F 17/30 G06T 13 / 00 H04N 7/173 JICST file (JOIS)
Claims (4)
り、動画，音声，イメージおよびテキストのメディアデ
ータを表示・再生時間という性質を基にメディアオブジ
ェクトとして統一的に扱うとともに、提示の際に時間を
空けることを指定するための遅延オブジェクトと、前記
メディアオブジェクト，前記遅延オブジェクト，後記同
期実行オブジェクトまたは自分自身を要素として含むリ
ストを持ち要素を連続して実行することを指定するため
の連続実行オブジェクトと、前記メディアオブジェク
ト，前記遅延オブジェクト，前記連続実行オブジェクト
または自分自身を要素として含む集合を持ち要素を同期
して実行することを指定するための同時実行オブジェク
トを使用することにより、メディアデータの提示ストー
リーを生成する提示ストーリー生成工程と、 前記提示ストーリーを解析して、前記遅延オブジェクト
であれば指定した時間だけ時間を空けることを指定し、
前記連続実行オブジェクトであればリストについて処理
を再帰的に呼び出して連続して実行することを指定し、
前記同期実行オブジェクトであれば集合について処理を
再帰的に呼び出して同期をとって実行することを指定
し、メディアデータのオブジェクトであればそのオブジ
ェクトの実行を指定し、以上の指定に基づいてスケジュ
ーリングを行い、メディアデータを実行する提示ストー
リー解析・実行工程とを含むことを特徴とするマルチメ
ディアデータ提示方法。1. A predetermined description in an object-oriented language uniformly handles moving image, audio, image, and text media data as media objects based on the property of display / reproduction time, and provides time for presentation. A delay object for designating that the media object, the delay object, a synchronous execution object described below, or a continuous execution object having a list including itself as an element and designating that the elements are to be continuously executed; By using the media object, the delayed object, the continuous execution object, or a simultaneous execution object having a set including itself as an element and specifying that the element is to be executed in synchronization, the presentation story of the media data can be displayed. Generated presentations Tory generation step, analyzing the presented story, if the delay object, specify that a specified time interval,
If the continuous execution object, specifies that the process is called recursively for the list and executed continuously,
If the object is the synchronous execution object, the process is recursively called for the set to specify and execute synchronously.If the object is media data, the execution of the object is specified, and scheduling is performed based on the above specification. And a presentation story analyzing / executing step of executing the media data.
り、動画，音声，イメージおよびテキストのメディアデ
ータを表示・再生時間という性質を基にメディアオブジ
ェクトとして統一的に扱うとともに、提示の際に時間を
空けることを指定するための遅延オブジェクトと、前記
メディアオブジェクト，前記遅延オブジェクト，後記同
期実行オブジェクトまたは自分自身を要素として含むリ
ストを持ち要素を連続して実行することを指定するため
の連続実行オブジェクトと、前記メディアオブジェク
ト，前記遅延オブジェクト，前記連続実行オブジェクト
または自分自身を要素として含む集合を持ち要素を同期
して実行することを指定するための同時実行オブジェク
トを使用することにより、メディアデータの提示ストー
リーを生成する提示ストーリー生成手段と、 前記提示ストーリーを解析して、前記遅延オブジェクト
であれば指定した時間だけ時間を空けることを指定し、
前記連続実行オブジェクトであればリストについて処理
を再帰的に呼び出して連続して実行することを指定し、
前記同期実行オブジェクトであれば集合について処理を
再帰的に呼び出して同期をとって実行することを指定
し、メディアデータのオブジェクトであればそのオブジ
ェクトの実行を指定し、以上の指定に基づいてスケジュ
ーリングを行い、メディアデータを実行する提示ストー
リー解析・実行手段とを含むことを特徴とするマルチメ
ディアデータ提示装置。2. A predetermined description in an object-oriented language uniformly handles media data of moving images, sounds, images, and texts as media objects based on a property of display / reproduction time, and provides time for presentation. A delay object for designating that the media object, the delay object, a synchronous execution object described below, or a continuous execution object having a list including itself as an element and designating that the elements are to be continuously executed; By using the media object, the delayed object, the continuous execution object, or a simultaneous execution object having a set including itself as an element and specifying that the element is to be executed in synchronization, the presentation story of the media data can be displayed. Generated presentations Tory generating means, analyzing the presented story, and specifying that a time is provided for a specified time if the delayed object,
If the continuous execution object, specifies that the process is called recursively for the list and executed continuously,
If the object is the synchronous execution object, the process is recursively called for the set to specify and execute synchronously.If the object is media data, the execution of the object is specified, and scheduling is performed based on the above specification. And a presentation story analyzing / executing means for executing the media data.
納し、ストーリーを永続化する請求項２記載のマルチメ
ディアデータ提示装置。3. The multimedia data presentation device according to claim 2, wherein the presentation story is stored in a database, and the story is made permanent.
めのグラフィカルユーザインタフェースによる提示スト
ーリー入力手段を持ち、この提示ストーリー入力手段
は、利用者からの入力を受けてその情報を前記提示スト
ーリー生成手段に送ることにより提示ストーリーを生成
する請求項２および３記載のマルチメディアデータ提示
装置。4. A presentation story input unit having a graphical user interface for inputting information of the presentation story, wherein the presentation story input unit receives an input from a user and transmits the information to the presentation story generation unit. 4. The multimedia data presentation device according to claim 2, wherein the presentation story is generated by sending the multimedia data.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7189891A JP2853732B2 (en) | 1995-07-03 | 1995-07-03 | Method and apparatus for presenting multimedia data |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7189891A JP2853732B2 (en) | 1995-07-03 | 1995-07-03 | Method and apparatus for presenting multimedia data |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0916458A JPH0916458A (en) | 1997-01-17 |
| JP2853732B2 true JP2853732B2 (en) | 1999-02-03 |
Family
ID=16248918
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7189891A Expired - Lifetime JP2853732B2 (en) | 1995-07-03 | 1995-07-03 | Method and apparatus for presenting multimedia data |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2853732B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7333967B1 (en) * | 1999-12-23 | 2008-02-19 | International Business Machines Corporation | Method and system for automatic computation creativity and specifically for story generation |
| JP3558052B2 (en) * | 2000-06-02 | 2004-08-25 | ヤマハ株式会社 | Multimedia execution system, multimedia file execution method, and multimedia file structure readable by sequencer |
-
1995
- 1995-07-03 JP JP7189891A patent/JP2853732B2/en not_active Expired - Lifetime
Non-Patent Citations (3)
| Title |
|---|
| Ａｌｉａｎ Ｊａｃｏｔ−Ｄｅｓｃｏｍｂｅｓ ａｎｄ Ｔｏｓｈｉｋａｚｕ Ｋａｔｏ，"Ａ Ｓｏｆｔｗａｒｅ Ｐｌａｔｆｏｒｍ ｆｏｒ Ｍｕｌｔｉｍｅｄｉａ Ａｐｐｌｉｃａｔｉｏｎ"，電子技術総合研究所彙報 Ｖｏｌ．５９，Ｎｏ．６（１９９５．６）ｐｐ．１９−２９ |
| 佐伯剛幸ほか「ハイパーメディアシステムのための柔軟性の高いメディア管理データベース」電子情報通信学会研究報告、データベースシステム １０８−２（１９９６．５．２３）第９から１６頁 |
| 芳賀博英ほか「マルチメディアシステムの記述のための自律オブジェクトの提案」ヒューマン・インターフェース・シンボジウム論文集、９ｔｈ（１９９３）、第４０５から４１４頁 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0916458A (en) | 1997-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6487564B1 (en) | Multimedia playing apparatus utilizing synchronization of scenario-defined processing time points with playing of finite-time monomedia item | |
| US6542692B1 (en) | Nonlinear video editor | |
| US5692213A (en) | Method for controlling real-time presentation of audio/visual data on a computer system | |
| US5471576A (en) | Audio/video synchronization for application programs | |
| EP0695446B1 (en) | Multimedia synchronization system | |
| US6792468B1 (en) | Frame-accurate transport of media data across a data network | |
| JP3943636B2 (en) | Computer controlled display system | |
| JP3523218B2 (en) | Media data processor | |
| US6304283B1 (en) | Conference apparatus and method for realistically reproducing image data and shared board data | |
| US5748187A (en) | Synchronization control of multimedia objects in an MHEG engine | |
| JP2007534279A (en) | Systems and methods for using graphics hardware for real time 2D and 3D, single and high definition video effects | |
| JPH07219971A (en) | Indexing device of table of contents | |
| JPH09297748A (en) | Device and method for messaging | |
| US7631326B2 (en) | Synchronization mechanism for multimedia captioning and audio description | |
| US5745713A (en) | Movie-based facility for launching application programs or services | |
| Davies et al. | Technological perspective on multimedia computing | |
| CN113822972A (en) | Video-based processing method, device and readable medium | |
| Chen et al. | Multisync: A synchronization model for multimedia systems | |
| JP2853732B2 (en) | Method and apparatus for presenting multimedia data | |
| CN113259708A (en) | Method, computer device and medium for introducing commodities based on short video | |
| JPH0789267B2 (en) | Data editing / presentation method and device | |
| CN116095388A (en) | Video generation method, video playing method and related equipment | |
| Sakauchi | Database vision and image retrieval | |
| JPH05242166A (en) | Multi-media data editing and display system | |
| GB2374746A (en) | Skipping frames to achieve a required data transfer rate |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080901 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 8 Free format text: PAYMENT UNTIL: 20080901 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 9 Free format text: PAYMENT UNTIL: 20090901 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 10 Free format text: PAYMENT UNTIL: 20100901 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110901 Year of fee payment: 11 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 11 Free format text: PAYMENT UNTIL: 20110901 |