JP2713148B2 - How to edit a scenario - Google Patents

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【産業上の利用分野】本発明は、時間経過またはユーザ
入力によるマルチメディアデータの提示状態遷移を規定
するシナリオの編集方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method for editing a scenario which defines transition of presentation state of multimedia data by passage of time or user input.

【０００２】[0002]

【従来の技術】ビデオ、音声、テキスト、グラフィクス
等のマルチメディアデータを利用するアプリケーション
ソフトにおいては、一般に、複数メディアの時間的な同
期提示と、ユーザ入力による提示状態の遷移が生じる。
こうしたアプリケーション作成には、時間経過とユーザ
入力による提示状態遷移を統一的に記述するシナリオが
必要であるが、一般にこの記述は複雑である。2. Description of the Related Art In application software using multimedia data such as video, audio, text, and graphics, generally, a plurality of media are synchronously presented in time and a presentation state is changed by a user input.
In order to create such an application, a scenario is needed to uniformly describe the passage of time and the presentation state transition due to user input, but this description is generally complicated.

【０００３】この編集を簡単化するため、時間同期と対
話機能を仮想ディスプレイ画面と時間軸で構成する３次
元空間上で視覚的に統合編集する方法として、特願平０
３−３２７７２２号明細書「シナリオ編集／提示方法及
びその装置」がある。これは、画面レイアウト（ウイン
ドウや対話ボタンが画面上のどこにどんなタイミングで
提示されるか）がシナリオ編集時に視覚的に把握できる
という利点がある。これを従来方法１とする。In order to simplify the editing, a method of visually integrating and editing time synchronization and interactive functions in a three-dimensional space composed of a virtual display screen and a time axis is disclosed in Japanese Patent Application No. Hei.
No. 3-327722 entitled "Scenario Editing / Presentation Method and Apparatus". This has the advantage that the screen layout (where and when the windows and interactive buttons are presented on the screen and at what timing) can be visually grasped during scenario editing. This is referred to as Conventional Method 1.

【０００４】一方、時間同期と対話を含む複雑な状態遷
移をペトリネットを用いてグラフ表現し、これを視覚的
に編集する方法がある。これをマルチメディアシナリオ
作成に応用した例はないが、ハイパーメディア文書の構
造編集に応用した例として、ＡＣＭ トランザクション
オン インフォメーション システムズ、Ｖｏｌ．
７、Ｎｏ．１、３ページ−２９ページ，ペトリネットベ
イストハイパーテキスト：ドキュメント ストラクチャ
ー ウィズ ブラウジング セマンティックス、１９８
９年（ACM Transactions on Information Systems, Vo
l.7, No.1, pp3-29, Petri-Net-Based Hypertext : Doc
ument Structure with Browsing Semantics, 1989) が
ある。これを従来方法２とする。On the other hand, there is a method in which a complex state transition including time synchronization and dialogue is represented by a graph using a Petri net and visually edited. There is no example of applying this to the creation of a multimedia scenario, but as an example of application to the structure editing of a hypermedia document, see ACM Transaction on Information Systems, Vol.
7, no. Pages 1, 3-29, Petri Net Beast Hypertext: Document Structure with Browsing Semantics, 198
9 years (ACM Transactions on Information Systems, Vo
l.7, No.1, pp3-29, Petri-Net-Based Hypertext: Doc
ument Structure with Browsing Semantics, 1989). This is referred to as Conventional Method 2.

【０００５】これは図５に示すようなペトリネットでメ
ディア提示の状態遷移を記述する。図において、白い円
（ｓ１，ｓ２．．）はプレースとよばれる提示単位（メ
ディアデータ）、線分（ｔ１，ｔ２．．）はトランジシ
ョンとよばれるデータ提示を起動する単位で、ユーザ入
力用ボタンに対応する。フローとよばれる矢印はこれら
の間の状態遷移関係を示す。また円の中の黒い点はトー
クンと呼ばれ、それを含むプレースが現在提示されてい
ることを表す。ペトリネットモデルによれば、あるトラ
ンジションに接続するプレース（例えばｔ５に対するｓ
１，ｓ４）にトークンが発生した時、該トランジション
に対応する対話ボタンがアクティブとなり、ユーザがボ
タンを選択することによりトランジションが発火し、ト
ークンがフローを介して次のプレースに移動する。例え
ば図で、ｔ１の発火によりトークンがｓ２からｓ４に移
動する。これは、ｓ２に対応するメディアデータが画面
上から消え、ｓ４に対応するデータが新たに提示される
状態遷移を表す。[0005] This describes a state transition of media presentation in a Petri net as shown in FIG. In the figure, white circles (s1, s2...) Are presentation units (media data) called places, and line segments (t1, t2...) Are units for starting data presentation called transitions. Corresponding to Arrows called flows indicate the state transition relation between them. The black dot in the circle is called a token, and indicates that the place containing it is currently being presented. According to the Petri net model, places that connect to a transition (eg, s for t5)
When a token is generated in (1, s4), the dialog button corresponding to the transition is activated, and the transition is fired by the user selecting the button, and the token moves to the next place via the flow. For example, in the figure, the token moves from s2 to s4 by firing at t1. This represents a state transition in which the media data corresponding to s2 disappears from the screen and the data corresponding to s4 is newly presented.

【０００６】従来方法２では、図５の各オブジェクトを
マウス等で指定し、各オブジェクトの名前などの属性入
力や、ネットワーク形状の編集ができる。またトランジ
ションについて、トークンが発生してから実際に発火す
るまでの時間を数値で指定することができ、メディアの
時間的な同期提示を実現している。さらに従来方法２で
は、トークン移動による状態遷移シミュレーションがで
き、試行錯誤的な編集が可能である。In the conventional method 2, each object in FIG. 5 can be designated with a mouse or the like, and attributes such as the name of each object can be input, and a network shape can be edited. In addition, for the transition, the time from when the token is generated to when it is actually fired can be designated by a numerical value, thereby realizing the time synchronous presentation of the media. Furthermore, in the conventional method 2, a state transition simulation by token movement can be performed, and editing by trial and error is possible.

【０００７】[0007]

【発明が解決しようとする課題】従来方法１は、３次元
視覚化できるウインドウやボタンの数が制約されるた
め、より大きな状態遷移ネットワークの把握や同時編集
ができないという問題点がある。The conventional method 1 has a problem that the number of windows and buttons that can be visualized three-dimensionally is limited, so that a larger state transition network cannot be grasped or edited at the same time.

【０００８】従来方法２は、従来方法１に比べ全体的な
状態遷移の把握、編集が容易という利点があるが、時間
同期の記述が不十分で、例えばビデオ内部のあるフレー
ムとテキストデータの時間同期のような細かい同期を記
述できないという問題点がある。また、ハイパーメディ
ア文書の画面レイアウトに注意を払っておらず、実デー
タがまだ存在しない場合や、画面レイアウトを重視する
アプリケーションの場合、従来方法１のような画面イメ
ージがシナリオ編集時に把握できないという問題点があ
る。The conventional method 2 has an advantage that it is easier to grasp and edit the overall state transition than the conventional method 1, but the description of the time synchronization is insufficient, for example, the time between a certain frame and the text data in the video. There is a problem that a detailed synchronization such as synchronization cannot be described. In addition, if the user does not pay attention to the screen layout of the hypermedia document and actual data does not yet exist, or if the application emphasizes the screen layout, the screen image as in the conventional method 1 cannot be grasped when editing the scenario. There is a point.

【０００９】[0009]

【課題を解決するための手段】本発明は、上記問題点を
解決したものであり、第１の発明は、メディアデータ、
メディア提示の起動条件、メディアが現在提示されてい
ることを示す識別子、メディアと起動条件との間の遷移
関係を、それぞれペトリネットのプレース、トランジシ
ョン、トークン、フローでモデル化するマルチメディア
データ提示シナリオの編集方法であって、提示処理に関
するメッセージを記録するメッセージ属性をプレース、
フローに付与し、プレースからメッセージを送られるフ
ローをオートフロー、それ以外のフローをノーマルフロ
ーに分類し、トランジションを、メッセージ入力を発火
条件とするシステムトランジション、メッセージ入力ま
たはユーザ入力を発火条件とするユーザトランジション
に分類し、前記条件入力と比較して発火するか否かを判
定するラベル属性をトランジションに付与し、プレー
ス、トークン、システムトランジション、ユーザトラン
ジションを異なるアイコンで、ノーマルフロー、オート
フローを異なる矢印で視覚表現し、前記各視覚オブジェ
クトをマウス等で指定することにより属性入力を行なう
ことを特徴とする。SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems, and a first invention is a medium for media data,
A multimedia data presentation scenario that models the launch conditions for media presentation, an identifier indicating that the media is currently being presented, and the transition relationship between the media and the launch conditions with Petri net places, transitions, tokens, and flows, respectively. Editing method, place a message attribute that records the message related to the presentation process,
Attach to a flow, classify flows that send messages from places as auto flows, classify other flows as normal flows, and set transitions as system transitions with message input as firing conditions, message inputs or user inputs as firing conditions Labels are classified as user transitions, and label attributes for determining whether to fire by comparing with the condition input are assigned to the transitions. Places, tokens, system transitions, user transitions are different icons, and normal flow and auto flow are different. It is characterized in that an attribute is input by visually expressing with an arrow and designating each of the visual objects with a mouse or the like.

【００１０】第２の発明は、前記視覚オブジェクト群で
ペトリネットを構成し、ペトリネット上のトークン移動
によるシナリオシミュレーション機構を備えた第１の発
明のシナリオ編集方法であって、シミュレーションを行
なう際に、シミュレーション用仮想画面を表示し、各プ
レース、トランジションにそれぞれ対応するメディアウ
インドウ、ボタンを表す疑似データまたは実データ、及
びそれらの仮想画面上の位置を記述したレイアウトテー
ブルを備え、プレースにトークンが発生した場合、レイ
アウトテーブルに基づき、対応する疑似データまたは実
データを仮想画面に提示した後、メッセージを送り、前
記プレースにフローを介して接続するトランジションが
ユーザトランジションである場合、前記プレースにトー
クンが発生した時点で、レイアウトテーブルに基づき、
疑似ボタンまたは実ボタンを仮想画面に提示し、前記疑
似ボタンまたは実ボタンへのユーザ入力、またはメッセ
ージ入力がユーザトランジションのラベル属性と一致し
た場合、疑似ボタンまたは実ボタンを仮想画面から消去
させるとともにユーザトランジションを発火させ、前記
トランジションがシステムトランジションである場合、
疑似ボタンまたは実ボタンは表示せず、メッセージ入力
がシステムトランジションのラベル属性と一致した場
合、システムトランジションを発火させ、各トランジシ
ョンは発火時にトークンを含むプレースにメッセージを
送り、これを受けたプレースはトークンを除去し、対応
する疑似データまたは実データを仮想画面から消去する
ことを特徴とする。A second invention is a scenario editing method according to the first invention, wherein a petri net is constituted by the visual object group, and a scenario simulation mechanism is provided by moving a token on the petri net. , Displays a virtual screen for simulation, includes media windows corresponding to each place and transition, pseudo data or actual data representing buttons, and a layout table that describes their positions on the virtual screen, and tokens are generated in the places Then, based on the layout table, the corresponding pseudo data or actual data is presented on the virtual screen, a message is sent, and if the transition connecting to the place via the flow is a user transition, a token is generated in the place. When In, based on the layout table,
The pseudo button or the real button is presented on the virtual screen, and when the user input to the pseudo button or the real button or the message input matches the label attribute of the user transition, the pseudo button or the real button is erased from the virtual screen and the user is deleted. Firing a transition, if the transition is a system transition,
Does not display a fake or real button, and if the message input matches the label attribute of the system transition, fires the system transition, each transition sends a message to the place containing the token at the time of firing, and the place receiving the token sends the message to the place containing the token. And deleting the corresponding pseudo data or real data from the virtual screen.

【００１１】[0011]

【作用】第１の発明は、従来方法２の利点である全体的
な状態遷移の視覚的把握／編集機能を保ちつつ、ビデオ
フレームとテキストデータの時間同期のような細かい同
期の記述を可能にするものである。このため、プレース
とトランジションの間にメッセージ伝搬機構を導入す
る。According to the first aspect of the present invention, it is possible to describe a fine synchronization such as a time synchronization between a video frame and text data while maintaining a visual grasp / edit function of the overall state transition which is an advantage of the conventional method 2. Is what you do. For this reason, a message propagation mechanism is introduced between the place and the transition.

【００１２】まずプレースにメッセージ属性を付与し、
トークンが発生したプレース（提示処理Ｇ実行中である
ことを示す）は、接続するオートフローにメッセージ属
性で指定されたメッセージを送るものとする。またプレ
ースは、トランジションから提示処理に関するメッセー
ジを受け取るが、プレースごとに処理可能なメッセージ
もメッセージ属性に記述しておく。First, a message attribute is given to a place,
The place where the token has occurred (indicating that the presentation process G is being executed) is to send the message specified by the message attribute to the connected AutoFlow. The place receives a message related to the presentation process from the transition, and a message that can be processed for each place is also described in the message attribute.

【００１３】トランジションには、不実行／スタンバイ
／実行の３状態を持つフラグ属性と、発火条件を示すメ
ッセージを記録するラベル属性を付与する。フラグ属性
は、トランジションのメッセージ待ち状態を明示するた
めに、ラベル属性は、複数プレースから異なるメッセー
ジが入力される場合などに、選択的な発火を可能にする
ために必要となる。A flag attribute having three states of non-execution / standby / execution and a label attribute for recording a message indicating a firing condition are added to the transition. The flag attribute is necessary to clearly indicate the message waiting state of the transition, and the label attribute is necessary to enable selective firing when different messages are input from a plurality of places.

【００１４】フローには、プレースと同様なメッセージ
伝搬のためのメッセージ属性を付与する。メッセージ属
性を伝搬するフローは、オートフローとしてメッセージ
を持たない通常のフロー（ノーマルフロー）と区別す
る。[0014] A message attribute for message propagation similar to the place is assigned to the flow. A flow that propagates a message attribute is distinguished from a normal flow having no message (normal flow) as an auto flow.

【００１５】通常のペトリネットでは、プレースにトー
クンが発生することで接続するトランジションが発火す
るのに対し、上記方式では、トランジションに入力され
たメッセージがラベル属性のメッセージと一致した時点
で初めてそのトランジションが発火する。入力メッセー
ジは、オートフローからのメッセージ、対話ボタンを介
するユーザ入力メッセージの２種類とし、前者のみを受
けつけるトランジションをシステムトランジション、両
者を受けつけるトランジションをユーザトランジション
とする。システムトランジションは、一定の時間経過に
よる発火（時間同期）を可能にし、ユーザトランジショ
ンはユーザ選択による発火（イベント同期）を可能にす
る。[0015] In a normal Petri net, a transition to be connected is triggered by the occurrence of a token in a place, whereas in the above-described method, the transition is first started when a message input to the transition matches a message with a label attribute. Ignites. There are two types of input messages: a message from an auto flow and a user input message via a dialog button. A transition that accepts only the former is a system transition, and a transition that accepts both is a user transition. The system transition allows firing (time synchronization) after a certain time has elapsed, and the user transition allows firing (event synchronization) by user selection.

【００１６】あるプレースにトークンが発生する（メデ
ィアが提示される）と、これに接続するトランジション
のフラグ属性（デフォルト値は「不実行」）が「スタン
バイ」になり、システムトランジションの場合、メッセ
ージ入力待ち状態に、ユーザトランジションの場合、メ
ッセージ入力またはユーザ入力待ち状態になる。入力時
点で、ラベル属性とのマッチングが行なわれ、一致した
場合、フラグ属性が「実行」になり、発火する。発火時
点で、トランジションはトークンを含むプレースに「除
去」メッセージを送る。これを受けたプレースからはト
ークンが除去され（メディア提示が終了する）、除去メ
ッセージを送ったトランジションに接続する次のプレー
スにトークンが移動する（新しいメディアの提示が始ま
る）。When a token is generated in a certain place (media is presented), the flag attribute of the transition connected to the token (default value is "not executed") becomes "standby", and in the case of a system transition, a message input is performed. In the case of a user transition in the waiting state, the system enters a message input or user input waiting state. At the time of input, matching with the label attribute is performed, and if they match, the flag attribute becomes “executed” and fires. Upon firing, the transition sends a "remove" message to the place containing the token. Upon receiving this, the token is removed from the place (media presentation ends), and the token moves to the next place connected to the transition that sent the removal message (new media presentation begins).

【００１７】以上のプレース、トークン、システムトラ
ンジション、ユーザトランジションを異なるアイコン
で、ノーマルフロー、オートフローを異なる矢印で視覚
表現し、前記各視覚オブジェクトをマウス等で指定し、
上記で示した属性指定を行なう。属性の入力方法はダイ
アログボックスやメニュー選択等の従来方法で行なうの
で詳細は略す。The above places, tokens, system transitions, and user transitions are visually represented by different icons, normal flows and auto flows are represented by different arrows, and the visual objects are designated by a mouse or the like.
Perform the attribute specification shown above. The method of inputting the attribute is performed by a conventional method such as a dialog box or menu selection, so that the details are omitted.

【００１８】第２の発明は、第１の発明で述べたメッセ
ージ伝搬機構を基に、ペトリネットの状態遷移シミュレ
ーションを実現するとともに、対応するウインドウ、ボ
タンの画面レイアウトを疑似データまたは実データで視
覚表現し、シナリオ編集時に具体的な画面イメージを与
えるものである。According to a second aspect of the present invention, a Petri net state transition simulation is realized based on the message propagation mechanism described in the first aspect of the present invention, and a screen layout of a corresponding window or button is visualized with pseudo data or real data. It expresses and gives a specific screen image when editing a scenario.

【００１９】このために、状態遷移ネットワークを示す
ウインドウと並行して、仮想画面を示すウインドウを表
示し、ネットワーク中のプレース、ユーザトランジショ
ンに、対応する疑似データまたは実データ、疑似ボタン
または実ボタンを指定するデータ識別子を付与し、デー
タ識別子とそれらの仮想画面上の位置の対応を記述した
レイアウトテーブルを別途用意する。データ識別子の指
定や、レイアウトテーブルは、公知の方法で編集すれば
よい。疑似データ、疑似ボタンは、実データが存在しな
い場合、最も簡単には例えば矩形を用いるが、実データ
が存在する場合は、それを表示してもよい。For this purpose, a window showing a virtual screen is displayed in parallel with a window showing a state transition network, and pseudo data or real data, a pseudo button or a real button corresponding to a place or user transition in the network is displayed. A data identifier to be specified is given, and a layout table is separately prepared in which the correspondence between the data identifiers and their positions on the virtual screen is described. The designation of the data identifier and the layout table may be edited by a known method. For the pseudo data and the pseudo button, when there is no actual data, for example, a rectangle is most simply used. However, when there is actual data, it may be displayed.

【００２０】シミュレーションの動作の概要は以下のと
おりである。まず、プレースにトークンが発生した場
合、データ識別子とレイアウトテーブルに基づき、対応
する疑似データまたは実データを仮想画面に提示する。
このプレースとフローで結ばれたトランジションは、
「スタンバイ」状態となり、ユーザトランジションの場
合は、レイアウトテーブルに基づいて疑似ボタンまたは
実ボタンを仮想画面に表示し、疑似ボタンまたは実ボタ
ンへのユーザ入力、またはメッセージ入力待ち状態とな
る。システムトランジションの場合は疑似ボタンまたは
実ボタンは表示せず、メッセージ入力待ちとなる。The outline of the simulation operation is as follows. First, when a token occurs in a place, the corresponding pseudo data or real data is presented on the virtual screen based on the data identifier and the layout table.
Transitions connected with this place and flow
In a "standby" state, in the case of a user transition, a pseudo button or a real button is displayed on the virtual screen based on the layout table, and a user input to the pseudo button or the real button or a message input wait state is made. In the case of the system transition, the pseudo button or the actual button is not displayed, and the system waits for a message input.

【００２１】疑似ボタンまたは実ボタンにユーザ入力が
あり、ユーザトランジションのラベル属性と一致した場
合、仮想画面上の疑似ボタンまたは実ボタンを消去させ
るとともに、ユーザトランジションを発火させる。メッ
セージ入力があった場合も同様な動作を行なう。また、
メッセージ入力がシステムトランジションにあった場
合、それがラベル属性と一致すれば、同様にシステムト
ランジションを発火させる。When there is a user input to the pseudo button or the real button and the label matches the label attribute of the user transition, the pseudo button or the real button on the virtual screen is erased and the user transition is fired. The same operation is performed when a message is input. Also,
If the message input was in a system transition, and it matches the label attribute, fire the system transition as well.

【００２２】発火により、トークンはトランジションに
接続する次のプレースに移動する。この時、トークンが
除去されるプレースに対応する疑似データまたは実デー
タは仮想画面から消去され、新たにトークンが発生した
プレースに対応する疑似データまたは実データが仮想画
面上に表示される。Upon firing, the token moves to the next place that connects to the transition. At this time, the pseudo data or real data corresponding to the place from which the token is removed is deleted from the virtual screen, and the pseudo data or real data corresponding to the place where the token is newly generated is displayed on the virtual screen.

【００２３】以上により、ペトリネットのトークン移動
によるシミュレーションと並行して、仮想画面のデータ
提示の具体的イメージを追跡できる。As described above, a specific image of data presentation on the virtual screen can be tracked in parallel with the simulation of the token movement of the Petri net.

【００２４】[0024]

【実施例】以下、本発明の１実施例について、図面を参
照して説明する。An embodiment of the present invention will be described below with reference to the drawings.

【００２５】まず第１の発明の実施例について説明す
る。First, an embodiment of the first invention will be described.

【００２６】図１に、本発明によるシナリオ編集方法を
実施した場合の編集画面例を示す。図ではプレースが円
によって、システムトランジションが実線のバーによっ
て、ユーザトランジションが長方形によって、ノーマル
フローが実線の矢印によって、オートフローが太い矢印
によって、トークンがプレース中の黒い円によって表さ
れる。本実施例では、各プレース、トランジションはＢ
ａｃｋｇｒｏｕｎｄ，Ｍｕｓｉｃ，Ｌｉｓｔｅｎ，Ｒｅ
ｐｅａｔ等の名前を持つ。これは実際に提示されるデー
タ、ボタンのタイプを示す識別子である。実線で示され
るシステムトランジションはボタンが提示されないシス
テム動作なので、＜０＞＜１＞等の数字で識別してい
る。FIG. 1 shows an example of an editing screen when the scenario editing method according to the present invention is carried out. In the figure, places are represented by circles, system transitions are represented by solid bars, user transitions are represented by rectangles, normal flows are represented by solid arrows, auto flows are represented by thick arrows, and tokens are represented by black circles in place. In this embodiment, each place and transition is B
Acquire, Music, Listen, Re
It has a name such as "peat". This is an identifier that indicates the type of the data or button that is actually presented. Since the system transition indicated by the solid line is a system operation in which no button is presented, it is identified by a number such as <0><1>.

【００２７】システムトランジション＜０＞は入力トラ
ンジションと呼び、発火によりネットワーク（シナリ
オ）全体の提示を開始する。これはラベル属性を持た
ず、デフォルトとして＃Ｓｔａｒｔ＃メッセージをシス
テムから受け取って発火する。図中のＥｘｉｔボタンは
システム提示を終了するボタンである。The system transition <0> is called an input transition, and the presentation of the entire network (scenario) is started by firing. It has no label attribute and fires upon receiving a # Start # message from the system as default. The Exit button in the figure is a button for ending the system presentation.

【００２８】編集者は、これらのプレース、トランジシ
ョンをマウスでクリックして、名前の他、プレースにつ
いては、そのプレースが送受信できるメッセージ属性
を、トランジションについては、発火条件であるラベル
属性を指定する。フローについては、通常の描画ソフト
と同様、特定の矢印をクリックしてその移動、行き先の
変更等ができる。フローのラベル属性はプレース、トラ
ンジション間のメッセージ受けわたしを実現するもので
あり、編集者は指定しない。なお、編集者が指定する必
要がない（システムが発行する）デフォルトメッセージ
があり、本実施例中ではこれを＃○○○＃のように表現
する。The editor clicks these places and transitions with the mouse, and specifies a name, a message attribute that can be transmitted / received by the place, and a label attribute that is a firing condition for the transition. As for the flow, like a normal drawing software, a specific arrow can be clicked to move or change the destination. The label attribute of the flow realizes the message reception between the place and the transition, and is not specified by the editor. It should be noted that there is a default message that does not need to be specified by the editor (issued by the system), and in this embodiment, this is expressed as # XXX #.

【００２９】図中で太線で示されるオートフローが３個
あるが、オートフローは、プレースから＃Ｅｎｄ＃メッ
セージを受け取ると、これにつながるトランジションに
自動発火メッセージを送り、発火させる。例えば、Ｔｉ
ｍｅｒ（５ｓ）は提示時間を制限するアクターであり、
カーソルが時間とともに移動するタイムバーを出しても
よい。名前の中の（５ｓ）は、そのプレースの提示が５
秒間継続することを示し、編集者が指定する。図のネッ
トワークでは、Ｔｉｍｅｒ（５ｓ）とＣｕｓｔｏｍｓ
（ｓｍａｌｌ）が５秒間同時に提示され、その後Ｔｉｍ
ｅｒ（５ｓ）がオートフローに＃Ｅｎｄ＃を送り、トラ
ンジション＜２＞が発火する。トランジション＜２＞
は、トークンの存在するＢａｃｋｇｒｏｕｎｄ，Ｔｉｍ
ｅｒ（５ｓ），Ｃｕｓｔｏｍｓ（ｓｍａｌｌ）に＃ｒｅ
ｍｏｖｅ＃メッセージを送り、各プレースのトークンは
除去される。一方で、Ｃｕｓｔｏｍｓ（ｌａｒｇｅ）に
トークンが発生し、これにつながるユーザトランジショ
ンＬｉｓｔｅｎ，Ｒｅｐｅａｔが「スタンバイ」状態と
なり、ユーザ入力待ちとなる。図１の左のネットワーク
はトランジション＜２＞の発火前、右のネットワークは
発火後の状態を示している。In the figure, there are three auto flows indicated by thick lines. When the auto flow receives the # End # message from the place, it sends an auto-ignition message to the transition connected to the # End # message and causes it to fire. For example, Ti
mer (5s) is an actor that limits the presentation time,
The cursor may display a time bar that moves with time. (5s) in the name indicates that the place is presented in 5
Seconds, and is specified by the editor. In the network shown, Timer (5s) and Customs
(Small) is presented simultaneously for 5 seconds, and then Tim
er (5s) sends # End # to the auto flow, and transition <2> is fired. Transition <2>
Is the background, Tim where the token is
er (5s), Customs (small) #re
A move # message is sent and the token in each place is removed. On the other hand, a token is generated in Customs (large), and the user transitions Listen and Repeat leading to this token are in a “standby” state, and wait for user input. The left network in FIG. 1 shows the state before the transition <2> is fired, and the right network shows the state after the transition <2> is fired.

【００３０】次に、トランジションにラベル属性を指定
する例を図４に示す。図４のネットワークＰｒｅｓｅｎ
ｔａｔｉｏｎは、ある情報を説明する場面に異なるメデ
ィアを４種用意し、メッセージによってこれを選択でき
るようにしている。５個の入力トランジションがあり、
そのうち４個にラベル“Ｓｕｍｍａｒｙ”，“Ａｕｄｉ
ｏ”，“Ｖｉｄｅｏ”，“Ｌｏｎｇｖｉｄｅｏ”という
メディア種別が指定されている。ラベル指定のないトラ
ンジションは、＃ｓｔａｒｔ＃メッセージによって発火
し、デフォルトとしてＴｅｃｈ：ＶＩＤＥＯが提示され
る。Next, FIG. 4 shows an example of specifying a label attribute for a transition. Network Presen of FIG.
The station prepares four types of different media in a scene where a certain information is explained, and allows the user to select one of them by a message. There are 5 input transitions,
Four of them are labeled "Summary" and "Audi
o "," Video ", and" Longvideo "are designated as media types.Transitions without label designation are fired by a # start # message, and Tech: VIDEO is presented as a default.

【００３１】これらの入力トランジションに例えばＳｕ
ｍｍａｒｙメッセージを送ると、一番左のトランジショ
ンのみが発火でき、Ｓｕｍ：ＴＥＸＴプレースにトーク
ンを発生させ、Ｎｅｘｔトランジションが「スタンバ
イ」状態となる。この例では、テキストによる解説文章
が表示され、Ｎｅｘｔ（次へ）ボタンが表示される。These input transitions include, for example, Su
When the mmary message is sent, only the leftmost transition can be fired, a token is generated in the Sum: TEXT place, and the Next transition enters the “standby” state. In this example, a commentary text is displayed, and a Next button is displayed.

【００３２】以上の方法によって、ペトリネットの基本
的な状態遷移がメッセージの送受信という形式で実現さ
れる。メッセージの記述能力と、トランジションのメッ
セージに対する選択的発火機能により、従来ペトリネッ
トよりも柔軟で表現能力の高い状態遷移シナリオが容易
に作成できる。しかも、Ｔｉｍｅｒプレースのようなア
クターとオートフローの導入により、詳細な時間同期記
述が可能である。By the above method, the basic state transition of the Petri net is realized in the form of message transmission / reception. The ability to describe messages and the ability to selectively fire transition messages make it easier to create state transition scenarios that are more flexible and expressive than conventional Petri nets. In addition, by introducing an actor such as a Timer place and an auto flow, a detailed time synchronous description is possible.

【００３３】第２の発明の実施を、図１、図２、図３を
基に説明する。図２、図３は、図１のネットワークのト
ランジション＜２＞の発火直前、発火直後の画面イメー
ジ（スナップショット）を示すウインドウ（仮想画面）
で、実際のグラフィックデータを表示している。An embodiment of the second invention will be described with reference to FIGS. 1, 2 and 3. FIGS. 2 and 3 are windows (virtual screens) showing screen images (snapshots) immediately before and immediately after the firing of the transition <2> of the network of FIG.
Displays the actual graphic data.

【００３４】トランジション＜０＞にシステムが＃ｓｔ
ａｒｔ＃メッセージを送ると、Ｂａｃｋｇｒｏｕｎｄプ
レースにトークンが発生する。システムは対応するレイ
アウトテーブルを参照して、背景画面を表示する（背景
画面はＥｎｔｅｒｉｎｇ ｔｈｅ Ｕ．Ｓ．という文字
を含む）。同様にして、Ｍｕｓｉｃプレースによって音
楽が提示される。音楽終了後、Ｍｕｓｉｃが＃Ｅｎｄ＃
をオートフローに送ってトランジション＜１＞が発火
し、Ｔｉｍｅｒ（５ｓ）とＣｕｓｔｏｍｓ（ｓｍａｌ
ｌ）にトークンが移動する。この場面が図２であり、図
１の左のネットワークに対応する。先に述べたようにＴ
ｉｍｅｒ（５ｓ）は提示時間を５秒に制限するアクター
で、この例では対応するグラフィックスは提示しない。
Ｃｕｓｔｏｍｓ（ｓｍａｌｌ）は、税関での２人の人物
の対話を示すサイズの小さい静止画で、背景画面の中央
下方に表示される（図２参照）。At transition <0>, the system
Sending an art # message generates a token in the Background place. The system refers to the corresponding layout table and displays a background screen (the background screen includes the characters Entering the US). Similarly, music is presented by the Music place. After the music, Music is # End #
Is sent to the auto flow, transition <1> is ignited, and Timer (5s) and Customs (smal
The token moves to l). This scene is shown in FIG. 2 and corresponds to the network on the left in FIG. As mentioned earlier, T
imer (5s) is an actor that limits the presentation time to 5 seconds, and does not present the corresponding graphics in this example.
Customs (small) is a small still image showing a dialogue between two people at customs, and is displayed at the lower center of the background screen (see FIG. 2).

【００３５】５秒経過後、Ｔｉｍｅｒ（５ｓ）は＃Ｅｎ
ｄ＃をオートフローに送り、トランジション＜２＞を発
火させる。これにより、背景画面、税関の人物静止画
（サイズ小）が画面から消去され、Ｃｕｓｔｏｍｓ（ｌ
ａｒｇｅ）に対応する税関の人物静止画（サイズ大）が
画面左上に表示される。また、「スタンバイ」状態にな
ったトランジションＲｅｐｅａｔ，Ｌｉｓｔｅｎに対応
するボタンがその下方に表示される。この場面が図３で
あり、図１の右のネットワークに対応する。After 5 seconds, Timer (5s) becomes #En
Send d # to autoflow and fire transition <2>. As a result, the background screen and the still image (small size) of the customs person are erased from the screen, and Customs (l
) is displayed at the upper left of the screen. Further, buttons corresponding to the transitions Repeat and Listen that are in the “standby” state are displayed below the buttons. This scene is shown in FIG. 3 and corresponds to the network on the right in FIG.

【００３６】以上のように、ネットワーク状態遷移だけ
では、意図した結果が得られているかわかりづらいシナ
リオシミュレーションが、画面イメージを並行して提示
することにより、非常に把握しやすいものとなる。As described above, a scenario simulation in which it is difficult to understand whether an intended result is obtained only by network state transition becomes very easy to grasp by presenting screen images in parallel.

【００３７】なお、本実施例では、一つのプレースがメ
ディア単体の提示を表すとして説明したが、従来方法２
などで実現されているように、複数のプレース、トラン
ジションのネットワーク（サブネットとよぶ）を指定し
てこれを１個の複合プレースとすることもできる。サブ
ネットは、例えば状態遷移を開始させる入力トランジシ
ョンと、ｅｘｉｔボタンのように、サブネット内の状態
遷移を終了させる出力トランジションを持たせる。複合
プレースにトークンが発生すると、サブネットの入力ト
ランジションに＃ｓｔａｒｔ＃が送られ、サブネット内
のプレースにトークンが発生し、対応する提示処理が実
行される。以後は、複合プレースをサブネット全体で置
き換えたのと同様な動作となり、サブネットの出力トラ
ンジションが発火すると、サブネット内のトークンが除
去されると同時に、複合プレースの次のトランジション
にメッセージが送られる。以上のように、メッセージ伝
搬機構を維持したまま、ネットワークの階層化／モジュ
ールを実現することは容易である。In the present embodiment, one place represents the presentation of a single medium.
As is realized by a plurality of places, a network of a plurality of places and transitions (called a subnet) can be designated to be one compound place. The subnet has, for example, an input transition for starting a state transition and an output transition for terminating a state transition in the subnet, such as an exit button. When a token is generated in the composite place, # start # is sent to the input transition of the subnet, a token is generated in a place in the subnet, and a corresponding presentation process is executed. Thereafter, the operation is the same as replacing the compound place with the entire subnet. When the output transition of the subnet fires, the token in the subnet is removed and a message is sent to the next transition of the compound place. As described above, it is easy to realize a network hierarchy / module while maintaining the message propagation mechanism.

【００３８】また、本実施例では、レイアウトテーブル
が編集者に直接見えない形式でシミュレーション機構を
説明したが、各画面イメージごとに利用しているレイア
ウトテーブルを表すレイアウトプレースを定義し、メデ
ィアを表す通常のプレースと一緒にペトリネットに組み
込むこともできる。レイアウトプレースは通常のプレー
スと同様に名前を持ち、トランジション発火によってト
ークンが移動し、トークン発生中のみ対応するテーブル
が参照されるが、通常プレースと混同しないよう異なる
アイコン（例えば正方形）で表現する。例えば代表的な
レイアウトパターンをいくつか決め、レイアウトプレー
スとすることにより、どの場面でどんなパターンのレイ
アウトになるか、ペトリネットのみである程度把握する
ことができ、シナリオ編集時の画面レイアウト指定がよ
り容易に行なえる。Further, in the present embodiment, the simulation mechanism is described in a format in which the layout table is not directly visible to the editor. However, a layout place representing the layout table used for each screen image is defined, and media is represented. It can also be incorporated into Petri nets along with regular places. The layout place has the same name as a normal place, and a token moves by firing of a transition, and a corresponding table is referred to only when a token is generated. However, the layout place is represented by a different icon (for example, a square) so as not to be confused with the normal place. For example, by deciding some typical layout patterns and setting them as layout places, it is possible to understand to some extent what patterns will be laid out with Petri nets, making it easier to specify screen layouts when editing scenarios. Can be done.

【００３９】以上の変化態様はすべて本発明に含まれ
る。All of the above variations are included in the present invention.

【００４０】[0040]

【発明の効果】第１の発明により、従来方法２の利点で
ある全体的な状態遷移ネットワークの視覚編集能力を保
ちつつ、その表現力を高め、詳細な時間同期を記述でき
るシナリオ編集が実現できる。According to the first aspect of the present invention, it is possible to enhance the expressiveness of the state transition network and to describe the detailed time synchronization while maintaining the visual editing ability of the state transition network, which is an advantage of the conventional method 2. .

【００４１】第２の発明により、従来方法２の欠点であ
った状態遷移シミュレーションにおける画面イメージの
欠如等を解消し、実データが存在しない場合や、画面レ
イアウトを重視するアプリケーション等で、実際の画面
イメージを把握し、シナリオ編集の効率を向上させるこ
とができる。According to the second invention, the lack of a screen image in the state transition simulation, which is a drawback of the conventional method 2, is solved, and the actual screen is displayed when there is no actual data or in an application that emphasizes the screen layout. It is possible to grasp the image and improve the efficiency of scenario editing.

【図面の簡単な説明】[Brief description of the drawings]

【図１】第１の発明によるシナリオ編集方法を実施した
編集画面例を示す図FIG. 1 is a diagram showing an example of an editing screen on which a scenario editing method according to a first invention is implemented.

【図２】第２の発明によるシナリオ編集方法を図１に示
すネットワークについて実施した場合の仮想画面の例を
示す図FIG. 2 is a diagram showing an example of a virtual screen when the scenario editing method according to the second invention is performed on the network shown in FIG. 1;

【図３】第３の発明によるシナリオ編集方法を図１に示
すネットワークについて実施した場合の仮想画面の例を
示す図FIG. 3 is a diagram showing an example of a virtual screen when the scenario editing method according to the third invention is performed on the network shown in FIG. 1;

【図４】第１の発明によるデータ編集方法において、ト
ランザクションのラベル属性指定の例を示す図FIG. 4 is a diagram showing an example of specifying a label attribute of a transaction in the data editing method according to the first invention;

【図５】従来方法によるペトリネットの例を示す図であ
るFIG. 5 is a diagram showing an example of a Petri net according to a conventional method.

【符号の説明】[Explanation of symbols]

なし None

フロントページの続き (56)参考文献 田中、外３名、「大規模マルチメディ アオーサリングのためのシナリオ記述体 系、情報処理学会研究報告，1994，ＶＯ Ｌ．94，ＮＯ．29（ＡＶＭ−４），Ｐ. 57−62 ＷＡＮＧ Ｈ Ｋ，ＥＴ．ＡＬ．”Ｏ ＢＪＥＣＴ ＭＯＤＥＬ ＦＯＲ ＨＹ ＰＥＲＭＥＤＩＡ ＡＰＰＬＩＣＡＴＩ ＯＮＳ”，ＣＯＭＰＵＴ ＣＯＭＭＵ Ｎ，1995，ＶＯＬ．18，ＮＯ．７，Ｐ. 475−485 田中、外２名、「マルチメディアオー サリングのためのシナリオデータモデ ル」、情報処理学会研究報告，1992，Ｖ ＯＬ．92，ＮＯ．71（ＤＢＳ−90）, Ｐ．39−44Continuation of the front page (56) References Tanaka and three others, "Scenario description system for large-scale multimedia authoring, Information Processing Society of Japan, 1994, VOL.94, NO.29 (AVM-4 Wang H K, ET. , "Scenario Data Model for Multimedia Authoring", Information Processing Society of Japan, 1992, Vol. 92, NO. 71 (DBS-90), p. 39-44

Claims (2)

(57)【特許請求の範囲】(57) [Claims] 【請求項１】メディアデータ、メディア提示の起動条
件、メディア提示が実行されていることを示す識別子、
メディアと起動条件との間の遷移関係を、それぞれペト
リネットのプレース、トランジション、トークン、フロ
ーでモデル化するマルチメディアデータ提示シナリオの
編集方法であって、 提示処理に関するメッセージを記録するメッセージ属性
をプレース、フローに付与し、 プレースからメッセージを送られるフローをオートフロ
ー、それ以外のフローをノーマルフローに分類し、 トランジションを、メッセージ入力を発火条件とするシ
ステムトランジション、メッセージ入力またはユーザ入
力を発火条件とするユーザトランジションに分類し、 前記条件入力と比較して発火するか否かを判定するラベ
ル属性をトランジションに付与し、 プレース、トークン、システムトランジション、ユーザ
トランジションを異なるアイコンで、 ノーマルフロー、オートフローを異なる矢印で視覚表現
し、 前記各視覚オブジェクトをマウス等で指定することによ
り属性入力を行なうことを特徴とするシナリオ編集方
法。1. Media data, media presentation start conditions, an identifier indicating that media presentation is being executed,
A method for editing a multimedia data presentation scenario that models the transition relationship between media and activation conditions using Petri net places, transitions, tokens, and flows, respectively, and places a message attribute that records a message related to the presentation process. , A flow to which a message is sent from a place is classified as an auto flow, the other flows are classified as a normal flow, and transitions are defined as system transitions where a message input is a firing condition, and a message input or user input is a firing condition. Label transitions, and assigns a label attribute to the transition to determine whether or not to fire based on the condition input. Places, tokens, system transitions, and user transitions are represented by different icons using different icons. Flow, visual representation of the automatic flow at different arrows, the scenario editing method characterized by performing attribute input by the respective visual object specified by a mouse or the like. 【請求項２】前記視覚オブジェクト群でペトリネットを
構成し、ペトリネット上のトークン移動によるシナリオ
シミュレーション機構を備えた請求項１のシナリオ編集
方法であって、 シミュレーションを行なう際に、 シミュレーション用仮想画面を表示し、 各プレース、トランジションにそれぞれ対応するメディ
アウインドウ、ボタンを表す疑似データまたは実デー
タ、及びそれらの仮想画面上の位置を記述したレイアウ
トテーブルを備え、 プレースにトークンが発生した場合、レイアウトテーブ
ルに基づき、対応する疑似データまたは実データを仮想
画面に提示した後、メッセージを送り、 前記プレースにフローを介して接続するトランジション
がユーザトランジションである場合、前記プレースにト
ークンが発生した時点で、レイアウトテーブルに基づ
き、疑似ボタンまたは実ボタンを仮想画面に提示し、 前記疑似ボタンまたは実ボタンへのユーザ入力、または
メッセージ入力がユーザトランジションのラベル属性と
一致した場合、疑似ボタンまたは実ボタンを仮想画面か
ら消去させるとともにユーザトランジションを発火さ
せ、 前記トランジションがシステムトランジションである場
合、疑似ボタンまたは実ボタンは表示せず、メッセージ
入力がシステムトランジションのラベル属性と一致した
場合、システムトランジションを発火させ、 トランジションは発火時にトークンを含むプレースにメ
ッセージを送り、これを受けたプレースはトークンを除
去し、対応する疑似データまたは実データを仮想画面か
ら消去することを特徴とするシナリオ編集方法。2. The scenario editing method according to claim 1, wherein a petri net is formed by the visual object group, and a scenario simulation mechanism is provided by moving a token on the petri net. And a layout table that describes the media window corresponding to each place and transition, pseudo data or actual data representing buttons, and their positions on the virtual screen. If a token occurs in the place, the layout table is displayed. After the corresponding pseudo data or real data is presented on the virtual screen, a message is sent, and if the transition connecting to the place via a flow is a user transition, the layer is generated when a token is generated in the place. The pseudo button or the real button is presented on the virtual screen based on the virtual table, and if the user input or the message input to the pseudo button or the real button matches the label attribute of the user transition, the pseudo button or the real button is displayed on the virtual screen. When the transition is a system transition, if the transition is a system transition, the pseudo button or the real button is not displayed, and if the message input matches the label attribute of the system transition, the system transition is fired, and the transition is performed. A scenario editing method, wherein a message is sent to a place containing a token at the time of firing, and the place receiving the message removes the token and deletes the corresponding pseudo data or real data from the virtual screen.