JP3609667B2

JP3609667B2 - MULTIMEDIA INFORMATION PROVIDING METHOD, ITS SYSTEM, AND MEDIUM CONTAINING THE PROGRAM

Info

Publication number: JP3609667B2
Application number: JP31408999A
Authority: JP
Inventors: 剛彦安藤; 徹湯口; 正典石黒
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1999-11-04
Filing date: 1999-11-04
Publication date: 2005-01-12
Anticipated expiration: 2019-11-04
Also published as: JP2001134554A

Description

【０００１】
【発明の属する技術分野】
本発明は、映像、音声、テキスト等の情報からなるマルチメディア情報を、ユーザの入力操作等に対応して提示するマルチメディア情報提供方法及びそのシステム並びにそのプログラムを記録した媒体に関するものである。
【０００２】
【従来の技術】
マルチメディア情報提供方法、特にユーザの入力操作によって提示されるマルチメディア情報の変更や更新を指示できるような方法に関しては、従来、ユーザの入力操作等をイベントとし、このイベントにマルチメディア情報の提示方法等のアクションを定義する方法が提案されている（例えば、特願平７−１７８４７４号（特開平９−３４８６９号）参照）。
【０００３】
この方法では、ユーザが表示画面上に貼りつけた静止画等を指示することによって、あたかも操作ボタンを押すようなイメージでマルチメディア情報の提示に積極的に関与できるシナリオを記述することができる。
【０００４】
図１に、このようなマルチメディア情報提供方法による情報の提示のようすを示す。今、画面１１内に、動画１２と、ボタンに見立てた静止画１３とが表示されているとする。この時、ユーザが静止画１３を指示するというイベントによって動画１２の説明文であるテキスト１４を表示するというアクションが、イベントとアクションの対１５において定義されているとすると、ユーザが静止画１３を指示する（マウスによるクリック等）ことによって、テキスト１４を提示させることが可能である。
【０００５】
【発明が解決しようとする課題】
上記の方法では、例えばどの素材を指示したというようなユーザが利用可能な操作をイベントとし、それらのイベントに対し、例えば動画や静止画を切り換える等のマルチメディア情報の提示内容の更新や提示方法の変更等をアクションとして、これらイベントとアクションの対をシナリオ作成時に記述しておく必要があった。
【０００６】
ここで、この従来の方法では、基本的に一つのイベントに対して一つのアクションという対応になっており、連続してイベントが発生した場合は、それぞれのイベントに対するアクションが単に連続的に実行されるのみであった。また、連続した操作に対するアクションを定義することにより、統合的なアクションを実行させることも可能であるが、この場合は想定される操作（イベント）の種類とそれに対するアクションをもれなく記述する必要があり、シナリオ作成者の負担が大きいという問題があった。
【０００７】
本発明の目的は、連続的な入力操作等があった場合にそれらをまとめて一つのイベント（操作）として解釈し、そのイベントに対するアクションを自動的に統合、生成して実行することを可能とすることによって、シナリオ作成者の稼動を最小限に抑えながら、より自由度の高いマルチメディア情報を提示可能なマルチメディア情報提供方法及びそのシステム並びにそのプログラムを記録した媒体を提供することにある。
【０００８】
【課題を解決するための手段】
上記目的を達成するため、本発明では、連続的なイベントのうち、所定の条件を満たす複数のイベントを一つの結合イベントとして解釈し、個々のイベントに対して予め定義されているアクションと、結合イベントに対して予め定義されているアクションの統合パターンとから、結合イベントに対応する統合アクションを自動的に作成するようにした。
【０００９】
【発明の実施の形態】
以下、図面とともに本発明の実施の形態を説明する。
【００１０】
図２は、本発明のマルチメディア情報提供システムの実施の形態の一例を示すもので、図中、２１は第１のデータベース、２２は第２のデータベース、２３はイベント結合部、２４はアクション統合部である。
【００１１】
データベース２１は、結合イベントを構成する複数の個々のイベントと、それらに対して予め定義されているマルチメディア情報の提示方法等のアクションとが対として格納されている。
【００１２】
データベース２２は、少なくとも２つのイベントを結合した結合イベントと、それに対して予め定義されているアクションの統合パターンとが対として格納されている。
【００１３】
イベント結合部２３は、ユーザの入力操作等に基づくイベント（入力イベント）３１について、予め設定した条件（イベント結合条件）を満たす連続的な複数の入力イベント３１を結合し、一つの結合イベント３２として出力する。
【００１４】
アクション統合部２４は、イベント結合部２３により結合された結合イベント３２が入力されるか、あるいはユーザの入力操作等に基づく結合イベント（入力結合イベント）３３が入力された時、結合された個々のイベントに対応するアクションをデータベース２１より検索し、結合イベントに対応するアクションの統合パターンをデータベース２２より検索し、前記検索した各アクションのシナリオを前記検索した統合パターンに従って統合し、シナリオ３４として出力する。
【００１５】
図３は、本発明方法を説明する流れ図である。
【００１６】
本発明は、連続した単体の入力イベントを所定の条件に従って結合し（ステップｓ１）、結合イベン卜を構成する単体のイベントに対するアクションを検索し（ステップｓ２）、また、結合イベントをキーとしてアクションの統合パターンを検索し（ステップｓ３）、ステップｓ３で検索された統合パターンに従って、ステップｓ２で検索された単体のイベントに対するアクションのシナリオを統合したシナリオを作成する（ステップｓ４）。
【００１７】
なお、本発明は、ＣＰＵ、メモリ、外部記憶装置等のコンピュータシステム（ハードウェア）とともに、図３の流れ図に示される手順を備えたプログラム（ソフトウェア）を記録した媒体によって実現することもできる。
【００１８】
図４は、本発明の実施の形態の動作を説明するための図である。
【００１９】
同図の例では、図中の入力イベント４１に示すように、イベント「Ａ」が時刻「０’００”」に発生し、イベント「Ｂ」が時刻「０’０２”」に発生した場合を表している。また、ここで、イベント結合条件４２が「時間間隔が３秒以下で、結合対象イベント表４３に記載される連続したイベント」であるとする。
【００２０】
イベント「Ａ」と「Ｂ」の発生時間間隔は２秒であり、また、イベント「Ａ→Ｂ」の組み合わせは結合対象イベント表４３に記載されているため、入力イベント４１中のイベント「Ａ」と「Ｂ」は結合条件４２を満たす。よって、イベント結合部２３で結合イベント「ＡＢ」に結合され、結合イベント４４が出力される。
【００２１】
次に、データベース２１に格納された単体のイベントとアクションとの対応表４５を参照して、単体のイベントに対するアクションを検索する。例えば、結合イベント「ＡＢ」については、結合イベントを構成するイベント「Ａ」と「Ｂ」に対するそれぞれのアクション「シナリオ１を実行」と「シナリオ２を実行」が検索される。
【００２２】
また、データベース２２に格納された結合イベントとアクション統合パターンとの対応表４６を参照することで、結合イベントに対するアクションの統合パターンを検索する。図の例では、結合イベント「ＡＢ」に対しては、アクションの統合パターン「１」が検索される。
【００２３】
次に、各統合パターンの詳細な統合方法を記述した統合パターン表４７より、アクションの統合パターン「１」は、２つのイベントに対するそれぞれのアクションを上下に並べる統合方法であるため、結合イベント「ＡＢ」に対する統合アクションのシナリオは、イベント「Ａ」に対するアクションの「シナリオ１を実行」と、イベント「Ｂ」に対するアクションの「シナリオ２を実行」が上下に配置されるように決定され、シナリオ４８が作成される。
【００２４】
図５は、本発明による情報の提示のようすを示すもので、ここではアクションの統合パターン「１」によって、２つのシナリオが上下に並べられて統合された例である。シナリオ１による画面５１とシナリオ２による画面５２が上下に並べられ、統合されたシナリオが作成される。統合されたシナリオによる画面５３では画面が上下に分割され、それぞれに画面５１と画面５２が縦につぶれたような感じで表示される。なお、５４，５５，５６，５４’，５５’，５６’は画面５１、５２または５３を構成する動画、静止画、テキスト等のマルチメディア情報である。
【００２５】
【発明の効果】
以上説明したように、本発明によれば、一つの結合イベントと解釈される連続したイベントに対し、個々のイベントに対するアクションの統合パターンを定義しておくことにより、結合イベントに対するアクションを自動的に生成することが可能となる。これにより、従来の一つのイベントに対して一つのアクションという対応では実行できなかった、複数の連続したイベントに対してもそれに応じたアクションを実行することが可能である。また、連続したイベントのそれぞれに対して、予め詳細なアクションをシナリオとして記述しておく必要がなく、アクションの統合パターンのみの定義で良いため、シナリオ作成者の稼動が少なくて済む。
【図面の簡単な説明】
【図１】従来のマルチメディア情報提供方法による情報の提示のようすを示す図
【図２】本発明のマルチメディア情報提供システムを示す構成図
【図３】本発明のマルチメディア情報提供方法を示す流れ図
【図４】本発明の実施の形態の動作の説明図
【図５】本発明による情報の提示のようすを示す図
【符号の説明】
２１：第１のデータベース、２２：第２のデータベース、２３：イベント結合部、２４：アクション統合部、３１：入力イベント、３２：結合イベント、３３：入力結合イベント、３４：出力シナリオ、４１：入力イベント、４２：イベント結合条件、４３：結合対象イベント表、４４：結合イベント、４５：イベントとアクションの対応表、４６：結合イベントとアクション統合パターンの対応表、４７：アクション統合パターン、４８：出力シナリオ、５１：シナリオ１による画面、５２：シナリオ２による画面、５３：統合されたシナリオによる画面、５４〜５６，５４’〜５６’：マルチメディア情報。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a multimedia information providing method and system for presenting multimedia information composed of information such as video, audio, and text in response to a user input operation and the like, and a medium on which the program is recorded.
[0002]
[Prior art]
With regard to a method for providing multimedia information, particularly a method for instructing to change or update multimedia information presented by a user's input operation, conventionally, the user's input operation or the like is used as an event, and multimedia information is presented in this event. A method for defining an action such as a method has been proposed (for example, see Japanese Patent Application No. 7-178474 (Japanese Patent Laid-Open No. 9-34869)).
[0003]
In this method, it is possible to describe a scenario that can be actively involved in the presentation of multimedia information as if the user pressed the operation button by instructing a still image or the like pasted on the display screen.
[0004]
FIG. 1 shows how information is presented by such a multimedia information providing method. Now, it is assumed that a moving image 12 and a still image 13 that looks like a button are displayed on the screen 11. At this time, if the action of displaying the text 14 which is the explanatory text of the moving image 12 by the event that the user instructs the still image 13 is defined in the event-action pair 15, the user displays the still image 13. The text 14 can be presented by giving an instruction (such as clicking with a mouse).
[0005]
[Problems to be solved by the invention]
In the above method, for example, an operation that can be used by the user, such as specifying which material is designated as an event, and for such events, for example, switching of a moving image or a still image is performed. It was necessary to describe these event-action pairs at the time of scenario creation, with changes in the action as actions.
[0006]
Here, this conventional method basically corresponds to one action for one event, and when events occur continuously, the action for each event is simply executed continuously. It was only. It is also possible to execute integrated actions by defining actions for consecutive operations. In this case, however, it is necessary to describe all possible types of actions (events) and actions for them. There was a problem that the burden of the scenario creator was large.
[0007]
It is an object of the present invention to enable continuous input operations and the like to be collectively interpreted as one event (operation), and to automatically integrate, generate and execute actions for the event. Thus, there is provided a multimedia information providing method and system capable of presenting multimedia information with a higher degree of freedom while minimizing the operation of a scenario creator, and a medium on which the program is recorded.
[0008]
[Means for Solving the Problems]
In order to achieve the above object, the present invention interprets a plurality of events satisfying a predetermined condition among continuous events as one combined event, and combines a predefined action for each event, An integrated action corresponding to a combined event is automatically created from an action integration pattern predefined for the event.
[0009]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0010]
FIG. 2 shows an example of an embodiment of the multimedia information providing system of the present invention. In the figure, 21 is a first database, 22 is a second database, 23 is an event coupling unit, and 24 is action integration. Part.
[0011]
In the database 21, a plurality of individual events constituting a combined event and actions such as a multimedia information presentation method defined in advance are stored as a pair.
[0012]
In the database 22, a combined event obtained by combining at least two events and an integrated pattern of actions defined in advance are stored as a pair.
[0013]
The event combination unit 23 combines a plurality of continuous input events 31 that satisfy a preset condition (event combination condition) with respect to an event (input event) 31 based on a user's input operation or the like as one combined event 32. Output.
[0014]
When the combined event 32 combined by the event combining unit 23 is input or a combined event (input combined event) 33 based on a user input operation or the like is input, the action integrating unit 24 An action corresponding to the event is searched from the database 21, an action integration pattern corresponding to the combined event is searched from the database 22, the scenarios of the searched actions are integrated according to the searched integration pattern, and output as a scenario 34. .
[0015]
FIG. 3 is a flowchart illustrating the method of the present invention.
[0016]
The present invention combines consecutive single input events according to a predetermined condition (step s1), searches for an action for a single event constituting the combined event (step s2), and uses the combined event as a key for the action. The integrated pattern is searched (step s3), and a scenario in which the action scenario for the single event searched in step s2 is integrated is created in accordance with the integrated pattern searched in step s3 (step s4).
[0017]
The present invention can also be realized by a medium recording a program (software) having the procedure shown in the flowchart of FIG. 3 together with a computer system (hardware) such as a CPU, a memory, and an external storage device.
[0018]
FIG. 4 is a diagram for explaining the operation of the embodiment of the present invention.
[0019]
In the example shown in the figure, as indicated by the input event 41 in the figure, the event “A” occurs at time “0′00” ”and the event“ B ”occurs at time“ 0′02 ””. Represents. Here, it is assumed that the event combination condition 42 is “continuous events described in the combination target event table 43 with a time interval of 3 seconds or less”.
[0020]
The occurrence time interval between the events “A” and “B” is 2 seconds, and the combination of the events “A → B” is described in the combination target event table 43. Therefore, the event “A” in the input event 41 And “B” satisfy the coupling condition 42. Therefore, it is combined with the combined event “AB” by the event combining unit 23 and the combined event 44 is output.
[0021]
Next, with reference to the correspondence table 45 of single events and actions stored in the database 21, an action for a single event is searched. For example, for the combined event “AB”, the actions “execute scenario 1” and “execute scenario 2” for the events “A” and “B” constituting the combined event are searched.
[0022]
Further, by referring to the correspondence table 46 between the combined event and the action integration pattern stored in the database 22, an action integration pattern for the combined event is searched. In the example of the figure, for the combined event “AB”, the action integration pattern “1” is searched.
[0023]
Next, from the integration pattern table 47 describing the detailed integration method of each integration pattern, the action integration pattern “1” is an integration method in which the actions for two events are arranged one above the other. The scenario of the integrated action for the event “A” is determined so that “execute scenario 1” for the event “A” and “execute scenario 2” for the event “B” are arranged vertically. Created.
[0024]
FIG. 5 shows how information is presented according to the present invention. In this example, two scenarios are vertically arranged and integrated by an action integration pattern “1”. A screen 51 based on scenario 1 and a screen 52 based on scenario 2 are arranged one above the other to create an integrated scenario. On the screen 53 based on the integrated scenario, the screen is divided into upper and lower parts, and the screen 51 and the screen 52 are displayed as if they were crushed vertically. Note that 54, 55, 56, 54 ′, 55 ′, and 56 ′ are multimedia information such as moving images, still images, and texts constituting the screen 51, 52, or 53.
[0025]
【The invention's effect】
As described above, according to the present invention, by defining an integrated pattern of actions for individual events for consecutive events interpreted as one combined event, the actions for the combined events are automatically performed. Can be generated. As a result, it is possible to execute an action corresponding to a plurality of consecutive events that could not be executed by a single action corresponding to one event. Further, it is not necessary to describe detailed actions as scenarios for each successive event, and only the action integration pattern needs to be defined.
[Brief description of the drawings]
FIG. 1 is a diagram showing how information is presented by a conventional multimedia information providing method. FIG. 2 is a block diagram showing a multimedia information providing system according to the present invention. FIG. 3 is a multimedia information providing method according to the present invention. FIG. 4 is a diagram illustrating the operation of the embodiment of the present invention. FIG. 5 is a diagram illustrating how information is presented according to the present invention.
21: First database, 22: Second database, 23: Event combination unit, 24: Action integration unit, 31: Input event, 32: Combination event, 33: Input combination event, 34: Output scenario, 41: Input Event, 42: event combination condition, 43: combination event table, 44: combination event, 45: event and action correspondence table, 46: combination event and action integration pattern correspondence table, 47: action integration pattern, 48: output Scenario: 51: Screen based on scenario 1, 52: Screen based on scenario 2, 53: Screen based on integrated scenario, 54-56, 54′-56 ′: Multimedia information.

Claims

ユーザの入力操作等のイベントが発生した時、映像、音声、テキスト等の情報からなる所定のマルチメディア情報を所定のシナリオに沿って提示するアクションを実行するマルチメディア情報提供システムにおけるマルチメディア情報提供方法であって、
前記マルチメディア情報提供システムにおけるコンピュータが、連続的に発生した少なくとも２つのイベントが予め与えられた条件を満たせば、これらのイベントを一つに結合して結合イベントを出力する工程と、
前記マルチメディア情報提供システムにおけるコンピュータが、複数の個々のイベントとそれらに対応する予め定義されたアクションとが対として格納された前記マルチメディア情報提供システムにおける第１のデータベースより、前記結合イベントを構成する個々のイベントに対応するアクションを検索する工程と、
前記マルチメディア情報提供システムにおけるコンピュータが、結合イベントとそれに対応する予め定義されたアクションの統合パターンとが対として格納された前記マルチメディア情報提供システムにおける第２のデータベースより、前記結合イベントに対応するアクションの統合パターンを検索する工程と、
前記マルチメディア情報提供システムにおけるコンピュータが、前記検索した複数のアクションを前記検索した統合パターンに従って統合する工程とからなる
ことを特徴とするマルチメディア情報提供方法。 Multimedia information provision in a multimedia information provision system that executes an action of presenting predetermined multimedia information consisting of information such as video, audio, and text according to a predetermined scenario when an event such as a user input operation occurs there is provided a method,
The computer in the multimedia information providing system , if at least two events that occur continuously meet a predetermined condition, combining these events into one and outputting a combined event ;
The computer in the multimedia information providing system configures the combined event from a first database in the multimedia information providing system in which a plurality of individual events and corresponding predefined actions are stored as a pair. Searching for actions corresponding to individual events to be performed,
Said computer in a multimedia information provision system, from the second database in the multimedia information provision system stored as a binding event and the integration pattern as a pair of predefined actions corresponding thereto corresponding to the binding event Searching for an integrated pattern of actions to perform,
The computer in the multimedia information providing system comprises a step of integrating the searched plurality of actions according to the searched integration pattern.

予め与えられた条件とは、予め決められた少なくとも２つのイベントが予め決められた時間内に予め決められた順序で発生することであることを特徴とする請求項１記載のマルチメディア情報提供方法。 The previously given conditions, multimedia information provision method according to claim 1, wherein the at least two events predetermined is to occur in a predetermined order within a predetermined time .

ユーザの入力操作等のイベントが発生した時、映像、音声、テキスト等の情報からなる所定のマルチメディア情報を所定のシナリオに沿って提示するアクションを実行するマルチメディア情報提供システムにおいて、
複数の個々のイベントとそれらに対応する予め定義されているアクションとが対として格納された第１のデータベースと、
少なくとも２つのイベントを結合した結合イベントとそれに対応する予め定義されているアクションの統合パターンとが対として格納された第２のデータベースと、
連続的に発生した少なくとも２つのイベントが予め与えられた条件を満たせば、これらのイベントを一つに結合して結合イベントを出力するイベント結合部と、
前記結合イベントを構成する個々のイベントに対応するアクションを第１のデータベースより検索し、前記結合イベントに対応するアクションの統合パターンを第２のデータベースより検索し、前記検索した複数のアクションを前記検索した統合パターンに従って統合するアクション統合部とを備えた
ことを特徴とするマルチメディア情報提供システム。When an event such as a user input operation occurs, in a multimedia information providing system that executes an action of presenting predetermined multimedia information composed of information such as video, audio, and text according to a predetermined scenario,
A first database and actions are predefined to correspond to them and a plurality of individual events are stored as a pair,
A second database in which the integration patterns of actions are predefined to correspond to it with binding event that combines at least two events are stored as a pair,
Satisfy at least two events successively generated are previously given condition, an event coupling unit for outputting a binding event linked to one of these events,
The binding event an action corresponding to the individual events searches the first database that constitutes the, the integration patterns of action corresponding to the binding event searches the second database, the search for multiple actions and the search A multimedia information providing system comprising an action integration unit that integrates according to the integrated pattern.

予め与えられた条件とは、予め決められた少なくとも２つのイベントが予め決められた時間内に予め決められた順序で発生することであることを特徴とする請求項３記載のマルチメディア情報提供システム。 The previously given conditions, multimedia information provision system of claim 3, wherein the at least two events predetermined is to occur in a predetermined order within a predetermined time .

ユーザの入力操作等のイベントが発生した時、映像、音声、テキスト等の情報からなる所定のマルチメディア情報を所定のシナリオに沿って提示するアクションを実行するマルチメディア情報提供システムにおけるマルチメディア情報提供プログラムを記録した媒体であって、
前記プログラムは前記マルチメディア情報提供システムにおけるコンピュータに読み取られた際、該コンピュータに、
連続的に発生した少なくとも２つのイベントが予め与えられた条件を満たせば、これらのイベントを一つに結合して結合イベントを出力する工程と、
複数の個々のイベントとそれらに対応する予め定義されたアクションとが対として格納された前記マルチメディア情報提供システムにおける第１のデータベースより、前記結合イベントを構成する個々のイベントに対応するアクションを検索する工程と、
結合イベントとそれに対応する予め定義されたアクションの統合パターンとが対として格納された前記マルチメディア情報提供システムにおける第２のデータベースより、前記結合イベントに対応するアクションの統合パターンを検索する工程と、
前記検索した複数のアクションを前記検索した統合パターンに従って統合する工程とからなる処理を実行させる
ことを特徴とするマルチメディア情報提供プログラムを記録した媒体。 Multimedia information provision in a multimedia information provision system that executes an action of presenting predetermined multimedia information consisting of information such as video, audio, and text according to a predetermined scenario when an event such as a user input operation occurs A medium on which a program is recorded,
When the program is read by the computer in the multimedia information providing system ,
Satisfy at least two events successively generated are previously given condition, and outputting the binding events linked to one of these events,
An action corresponding to each event constituting the combined event is searched from the first database in the multimedia information providing system in which a plurality of individual events and predefined actions corresponding to the events are stored as a pair . And the process of
Retrieving an integrated pattern of actions corresponding to the combined event from a second database in the multimedia information providing system in which a combined event and a pre-defined integrated pattern of actions are stored as a pair ; ,
A medium having recorded thereon a multimedia information providing program, wherein a process comprising a step of integrating the plurality of searched actions according to the searched integration pattern is executed.

予め与えられた条件とは、予め決められた少なくとも２つのイベントが予め決められた時間内に予め決められた順序で発生することであることを特徴とする請求項５記載のマルチメディア情報提供プログラムを記録した媒体。 Advance and the given conditions, predetermined at least two events claim 5, wherein the multimedia information providing program characterized by is to occur in a predetermined order within a predetermined time The medium that recorded.