JP2001051759A - Operation reaction sound generating device and recording medium where operation reaction sound generating program is recorded - Google Patents

Abstract

PROBLEM TO BE SOLVED: To generate an operation reaction sound which increases the reality and naturalness of object operation by generating various operation reaction sounds in real time by making good use of detail information on user operation as an event in the real world and property information on an operated object in a virtual world. SOLUTION: On the basis of the operation information (the kind, operation strength, and operating speed of an input device) obtained from the input device and the object property information in the virtual world, the timbre, pitch, and loudness of sound data are processed and edited or the sound data are given effects and outputted. This device inputs event information at a basic reaction sound selection part 41 from an event acquisition part 13. Then the basic reaction sound selection part 41 previously holds the correspondence relation between the inputted event information and sound data, obtains the sound data corresponding to the inputted event information from an operation reaction sound database 41, and outputs the sound data as operation reaction data to a sound editing device 43.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】本発明は計算機システムのユ
ーザ・インタフェースの一つである操作反応音生成装置
及び操作反応音生成プログラムを記録した記録媒体に関
し、特に、ユーザの入力操作とオブジェクトの属性に基
づいて操作反応音をパラメトリックに生成する操作反応
音生成装置及び操作反応音生成プログラムを記録した記
録媒体に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an operation response sound generation device which is one of the user interfaces of a computer system and a recording medium on which an operation reaction sound generation program is recorded. The present invention relates to an operation response sound generation device that generates an operation reaction sound based on the operation response sound based on the operation response sound generation program.

【０００２】[0002]

【従来の技術】従来、対話システムにおける操作フィー
ドバックを目的として、ユーザの何かしらの操作に対し
て反応音を出力する方法が利用されている。図１１に従
来の操作反応音出力装置の構成の一例を示すブロック図
を示し、この図１１を用いて従来の操作反応音出力装置
の構成を説明する。2. Description of the Related Art Conventionally, a method of outputting a reaction sound to a certain operation of a user has been used for the purpose of operation feedback in an interactive system. FIG. 11 is a block diagram showing an example of the configuration of a conventional operation response sound output device. The configuration of the conventional operation response sound output device will be described with reference to FIG.

【０００３】従来の操作反応音出力装置は、ユーザが対
話システムへの入力を行なうマウスやキーボードなどの
入力装置１１と、グラフィカル・ユーザ・インタフェー
ス（以下ＧＵＩ）を有し、入力装置１１からの入力に応
じて内部処理を行なうイベントドリブン型の対話システ
ム１２と、前記対話システム１２内で生じるイベント情
報（ボタン押下、アイコンクリック、メニューオープン
等）を取得するイベント取得部１３と、デジタル音響デ
ータである操作反応音データが蓄積されている操作反応
音データベース１５と、イベント取得部１３にて取得さ
れたイベント情報に対応する操作反応音データを操作反
応音データベース１５より取得し、音響データとして出
力する操作反応音選択部１４と、操作反応音選択部１４
から出力された音響データを出力するスピーカー等の音
響出力装置１６、とから構成される。[0003] A conventional operation response sound output device has an input device 11 such as a mouse or a keyboard for a user to input to a dialog system, and a graphical user interface (hereinafter referred to as a GUI). , An event-driven dialogue system 12 that performs internal processing in accordance with the above, an event acquisition unit 13 that acquires event information (button press, icon click, menu open, etc.) occurring in the dialogue system 12, and digital audio data. An operation of acquiring operation response sound database 15 in which operation response sound data is stored, and operation response sound data corresponding to the event information acquired by event acquisition unit 13 from operation response sound database 15, and outputting the acquired operation response sound data as acoustic data. Reaction sound selection unit 14 and operation reaction sound selection unit 14
And an audio output device 16 such as a speaker that outputs the audio data output from the external device.

【０００４】つまり、従来の操作反応音出力装置は、対
話システム１２内で発生するイベント情報（例えば「ボ
タン押下」）に対して、あらかじめ用意されている操作
反応音データ（例えば、操作反応音データベース１５
に、デジタル形式のサウンドファイル「kachi.wav」が
イベント情報「ボタン押下」に対応づけられて保存され
ていれば、この「kachi.wav」）を選択的に出力する。That is, the conventional operation response sound output device responds to event response information (for example, “button press”) generated in the interactive system 12 by using operation response sound data prepared in advance (for example, an operation response sound database). Fifteen
If the digital sound file "kachi.wav" is stored in association with the event information "button press", this "kachi.wav" is selectively output.

【０００５】さらに、この操作反応音生成装置をより発
展させた一例が、「1993年4月、プロシーディングス・
オブ・インター−カイ'93 pp.228-235 “シンセサイジ
ング・オーディトリー・アイコンズ”」（"Synthesizin
g Auditory Icons.", Proceedings of INTER-CHI'93. p
p.228-235 April 1993）に記載されている。この論文に
は、操作対象オブジェクトの属性をパラメータとして、
操作反応音をパラメトリックに加工して出力する技術が
記載されている。[0005] Further, an example of a further development of this operation reaction sound generating apparatus is described in "Proceedings.
Of Inter-Chi '93 pp.228-235 "Synthesizing Auditory Icons"("Synthesizin
g Auditory Icons. ", Proceedings of INTER-CHI'93.p
p.228-235 April 1993). In this paper, the attributes of the operation target object as a parameter,
A technique for parametrically processing and outputting operation response sounds is described.

【０００６】具体的には、ファイルサイズの大きいファ
イルをクリックすると大きい操作反応音が出力された
り、アイコンドラッグ時に背景に応じてドラッグ音の音
色を変化させたり、プロセスが速く（重く）なると音も
速くなる、等である。この技術を利用することで、操作
反応音を用いてアイコンやシステムの情報を表現するこ
とが可能である。More specifically, a large operation response sound is output when a file having a large file size is clicked, the tone of the drag sound is changed in accordance with the background at the time of dragging an icon, and the sound is increased when the process becomes faster (heavier). Be faster, and so on. By using this technology, it is possible to express icons and system information using operation reaction sounds.

【０００７】一方、ポインティングデバイス移動情報に
対して音または音楽を発生する技術が、特開平１０−４
００６７号公報に記載されている。これによると、ポイ
ンティングデバイスの移動量および移動方向等の移動情
報を取得して音、音声、または音楽を出力することで、
ポインティングデバイスの操作を聴覚で理解でき、パー
ソナルコンピュータ等における操作性が向上する。On the other hand, a technology for generating sound or music in response to pointing device movement information is disclosed in Japanese Patent Laid-Open No. 10-4 / 1998.
0067. According to this, by obtaining movement information such as the movement amount and movement direction of the pointing device and outputting sound, voice, or music,
The operation of the pointing device can be understood by hearing, and operability in a personal computer or the like is improved.

【０００８】また、キーボードのキーの押下力を検出し
押下力情報として出力できるキーボードが特開昭６２−
７０８９７号公報に記載されている。このキーボードを
利用すると、打鍵の強弱情報が入力できるため、音楽演
奏の情報入力に適している旨が記載されている。A keyboard capable of detecting the pressing force of a key on a keyboard and outputting the information as pressing force information is disclosed in Japanese Unexamined Patent Publication No.
No. 70897. It is described that if this keyboard is used, it is possible to input the strength information of a keystroke, so that it is suitable for information input of music performance.

【０００９】また、キーボードが接触の有無、押し下げ
圧力、速度、深さ、を感知できることを特徴とし、それ
らの情報に応じて信号音を変化させる技術が、特開平９
−３０５２８６号公報に記載されている。これによる
と、キーボードのキーの押し下げ状態を使用者にフィー
ドバックすることで、誤動作が減少する。Japanese Patent Application Laid-Open No. Hei 9 (1994) discloses a keyboard capable of sensing the presence / absence of a touch, a pressing pressure, a speed, and a depth, and changing a signal sound in accordance with the information.
-305286. According to this, the malfunction of the keyboard is reduced by feeding back the pressed state of the key to the user.

【００１０】一方、アニメーション生成の分野において
は、ディスプレイ上に表示される視覚オブジェクトの動
作情報に応じて所定の音を発生させる装置が特開平６−
２４３２２９号公報に記載されている。これによると、
オブジェクトが別のオブジェクトに接近あるいは衝突し
たときに所定の音声を自動的に発生させることを特徴と
することで、アニメーションの生成が容易になる。On the other hand, in the field of animation generation, an apparatus for generating a predetermined sound in accordance with operation information of a visual object displayed on a display is disclosed in Japanese Unexamined Patent Publication No. Hei 6 (1994) -106.
243229. according to this,
By automatically generating a predetermined sound when an object approaches or collides with another object, animation can be easily generated.

【００１１】また、視覚オブジェクトの動きおよびタイ
ミングを出力される音声信号に同期するように制御する
発明が特開平５−２３２６０１号公報に記載されてい
る。これによると、音声信号に含まれる画像制御信号に
基づいて動画の再生または出力のタイミングおよび順序
の少なくとも一方を制御するものである。An invention for controlling the movement and timing of a visual object so as to be synchronized with an output audio signal is described in JP-A-5-232601. According to this, at least one of reproduction timing or output timing of a moving image is controlled based on an image control signal included in an audio signal.

【００１２】[0012]

【発明が解決しようとする課題】しかしながら、上述し
た従来の技術では次のような問題がある。However, the above-mentioned prior art has the following problems.

【００１３】まず、従来技術の第1の問題点は、仮想世
界上のオブジェクトに対する操作において出力される操
作反応音に現実味がなく、ユーザは操作反応音を聞くこ
とによりオブジェクトに対してどのような操作が行われ
たかを知ることができないことである。First, the first problem of the prior art is that the operation response sound output in the operation on the object in the virtual world has no realism, and the user can hear the operation response sound to determine what kind of response to the object. It is not possible to know whether the operation has been performed.

【００１４】この理由は、操作反応音の出力に関して、
“ユーザ操作の詳細情報（入力デバイスの種類、操作強
度と操作速度）”と“操作対象であるオブジェクトの属
性情報”の双方を考慮していない点にある。また、入力
装置の操作強度や操作速度などを連続数値として取得し
ていない点、またそれら取得された連続数値を操作反応
音出力に反映していない点にも起因している。The reason for this is that with respect to the output of the operation reaction sound,
The point is that both “detailed information of user operation (type of input device, operation intensity and operation speed)” and “attribute information of an object to be operated” are not considered. In addition, the operation strength and operation speed of the input device are not obtained as continuous numerical values, and the obtained continuous numerical values are not reflected in the operation response sound output.

【００１５】現実世界における音の発生は、作用を及ぼ
す側と受ける側の双方の状態によって決まる。例えば、
水の入ったコップを棒で叩く場合、叩く側の状態（例：
棒の材質、叩く強さ、叩く角度、等）と、叩かれる側の
状態（例えば、水の量、コップの材質等）の双方の関係
によって様々な音が発生する。The generation of sound in the real world depends on the state of both the effecting side and the receiving side. For example,
When hitting a glass with water with a stick, the state of the tapping side (eg:
Various sounds are generated depending on both the relationship between the material of the rod, the strength of the tapping, the angle of the tapping, etc.) and the state of the hitting side (eg, the amount of water, the material of the cup, etc.).

【００１６】それに対してＧＵＩの操作反応音に関する
従来例（図１１に示す方法、及び、「1993年4月、プロ
シーディングス・オブ・インター−カイ'93 pp.228-235
“シンセサイジング・オーディトリー・アイコン
ズ”」に記載の操作反応音生成装置）では、ユーザ操作
の詳細な情報（操作強度や操作速度、入力デバイスの種
類）が、出力される操作反応音に反映されることはな
い。より具体的には、入力デバイスがマウスであっても
タッチパネルであっても、また、ＧＵＩオブジェクトを
強くクリックしても弱くクリックしても同じ操作反応音
が出力される。On the other hand, a conventional example of a GUI operation reaction sound (the method shown in FIG. 11 and “April 1993, Proceedings of Inter-Chi '93 pp. 228-235”)
In the operation response sound generation device described in “Synthesizing Auditory Icons”, the detailed information of the user operation (operation intensity, operation speed, type of input device) is reflected in the output operation response sound. Never. More specifically, the same operation reaction sound is output whether the input device is a mouse or a touch panel, or if the GUI object is strongly or weakly clicked.

【００１７】また上述した従来例、特開平１０−４００
６７号公報、特開昭６２−７０８９７号公報、特開平９
−３０５２８６号公報に示したように、操作情報の一つ
であるマウスの移動情報やキーボードの押下力に応じて
音を変化させる装置は存在したが、音変化の要因が操作
情報のみに限られており、操作対象であるオブジェクト
との関連はない。このため、上記従来技術の第１の問題
点を解決するに至らない。The above-mentioned conventional example is disclosed in Japanese Patent Application Laid-Open No. 10-400.
No. 67, Japanese Unexamined Patent Publication No. Sho 62-70897, Japanese Unexamined Patent Publication No.
As described in JP-A-305286, there is a device that changes sound in accordance with mouse movement information or keyboard pressing force, which is one of operation information. However, the factor of sound change is limited to only operation information. And there is no relationship with the object to be operated. For this reason, the first problem of the above-described conventional technique cannot be solved.

【００１８】また従来例、特開平６−２４３２２９号公
報、特開平５−２３２６０１号公報に示した従来例は、
仮想世界という閉じた世界において、オブジェクトの動
作と音を連動させる例であり、実世界におけるユーザの
操作と発生する音との関連は考慮されておらず、この従
来例でも上記従来技術の第１の問題点を解決するに至ら
ない。The conventional examples shown in JP-A-6-243229 and JP-A-5-232601 are as follows.
This is an example in which the motion of the object and the sound are linked in a closed world called a virtual world, and the relationship between the operation of the user in the real world and the generated sound is not considered. The problem is not solved.

【００１９】次に、従来技術の第２の問題点は、多種多
様な音を出力しようとする場合、それらの音を予め全て
作成し、記録装置に保存しておく必要があることであ
る。A second problem of the prior art is that when a variety of sounds are to be output, all of the sounds must be created in advance and stored in a recording device.

【００２０】この理由は、従来の実施例では、予め準備
された音（図１１の例では、操作反応音データベース１
５に保存されたファイル）をあるタイミングで再生する
機能しか持たないためである。The reason for this is that in the conventional embodiment, the sounds prepared in advance (in the example of FIG. 11, the operation reaction sound database 1
This is because it has only the function of playing back the file (the file stored in No. 5) at a certain timing.

【００２１】本発明は、上述の従来技術の問題点に鑑
み、ＧＵＩ操作の現実味（リアリティ）や自然さを増加
させるような操作反応音を生成する操作反応音生成装置
及び操作反応音生成プログラムを記録した記録媒体を提
供しユーザインタフェースとしての自然さを向上できる
操作反応音生成装置及び操作反応音生成プログラムを記
録した記録媒体を提供することを発明の目的とする。The present invention has been made in view of the above-mentioned problems of the prior art, and provides an operation reaction sound generation apparatus and an operation reaction sound generation program for generating operation reaction sounds that increase the reality (reality) and naturalness of a GUI operation. An object of the present invention is to provide an operation response sound generation device and a recording medium on which an operation response sound generation program is recorded, which can provide a recorded recording medium and can improve the naturalness as a user interface.

【００２２】[0022]

【課題を解決するための手段】本発明では、“実世界の
事象であるユーザ操作の詳細情報”と、“仮想世界上の
操作対象オブジェクトの属性情報”の双方を利用して、
多様な操作反応音をリアルタイムに生成する。According to the present invention, both "detailed information of a user operation which is an event in the real world" and "attribute information of an operation target object in a virtual world" are used.
Generate various operation reaction sounds in real time.

【００２３】より具体的には、入力デバイスより取得さ
れる操作情報（入力デバイスの種類、操作強度と操作速
度）と、仮想世界上のオブジェクト属性情報に基づい
て、音響データの音色、高さや大きさを加工編集した
り、あるいは音響データにエフェクト処理を施して出力
する。More specifically, based on operation information (type of input device, operation intensity and operation speed) obtained from the input device and object attribute information on the virtual world, the timbre, pitch and size of the sound data are determined. The sound data is processed and edited, or the sound data is subjected to effect processing and output.

【００２４】[0024]

【発明の実施の形態】［第１の実施の形態］ （構成の説明）次に、本発明の第１の発明の実施の形態
について図面を参照して詳細に説明する。DESCRIPTION OF THE PREFERRED EMBODIMENTS [First Embodiment] (Description of Configuration) Next, a first embodiment of the present invention will be described in detail with reference to the drawings.

【００２５】本発明の第１の実施の形態の一構成例を示
すブロック図を図１に示す。FIG. 1 is a block diagram showing an example of the configuration of the first embodiment of the present invention.

【００２６】図１において、入力装置１１は、ユーザの
アクション、特に操作の強度、を連続的な数値として出
力する。具体的には、通常の対話システムに利用される
マウス、キーボード、タッチパネル等の入力装置が有す
る基本的機能（クリックの有無、ドラッグの速度、ドラ
ッグの方向などを出力）に加え、操作の強度（例えば
「クリックの強度」）を計測し、連続的数値（＝操作パ
ラメータ）を出力する。対話システム１２は、ＧＵＩを
有し、入力装置１１からの入力に応じて内部処理を行な
うイベントドリブン型のシステムである。In FIG. 1, an input device 11 outputs a user's action, particularly the intensity of operation, as a continuous numerical value. Specifically, in addition to the basic functions (output of the presence / absence of a click, the speed of the drag, the direction of the drag, etc.) of the input device such as a mouse, a keyboard, and a touch panel used in a normal interactive system, the strength of the operation ( For example, “click strength” is measured, and a continuous numerical value (= operation parameter) is output. The dialogue system 12 is an event-driven system that has a GUI and performs internal processing according to an input from the input device 11.

【００２７】イベント取得部１３は、前記対話システム
１２で生じるＵＩ関連のイベント（ボタン押下、アイコ
ンクリック、メニューオープン等）を取得し、操作反応
音合成装置４に出力する。The event acquisition unit 13 acquires UI-related events (button press, icon click, menu open, etc.) occurring in the interactive system 12 and outputs them to the operation reaction sound synthesizer 4.

【００２８】一方、操作パラメータ取得部２は、対話シ
ステム１２を通してあるいは入力装置１１より直接、入
力装置１１の操作パラメータを取得し、操作反応音合成
装置４に出力する。On the other hand, the operation parameter acquisition unit 2 acquires the operation parameters of the input device 11 through the interactive system 12 or directly from the input device 11 and outputs the operation parameters to the operation reaction sound synthesizer 4.

【００２９】オブジェクト属性取得部３は、対話システ
ム１２より操作の対象となるＧＵＩオブジェクトの属性
情報を取得し、操作反応音合成装置４に出力する。ここ
でいうオブジェクト属性情報とはＧＵＩオブジェクトの
大きさ、色、データ容量、更新年月日、キャプション、
などである。The object attribute acquiring section 3 acquires attribute information of a GUI object to be operated from the interactive system 12 and outputs the information to the operation reaction sound synthesizer 4. The object attribute information referred to here is the size, color, data capacity, update date, caption,
And so on.

【００３０】操作反応音合成装置４は、イベント情報、
操作パラメータおよびオブジェクト属性情報を利用し、
これらの各情報に基づいた操作反応音を合成し音響デー
タとして音響出力装置１６に出力する。The operation response sound synthesizing device 4 includes event information,
Using operation parameters and object attribute information,
An operation reaction sound based on these pieces of information is synthesized and output to the sound output device 16 as sound data.

【００３１】音響出力装置１６は、入力された音響デー
タを音として出力する装置であり、具体的にはD/A変換
装置、アンプ、スピーカー等から構成される。The sound output device 16 is a device for outputting inputted sound data as sound, and is specifically composed of a D / A conversion device, an amplifier, a speaker and the like.

【００３２】また、本実施の形態における操作反応音合
成装置４は、基本反応音選択部４１と、操作反応音デー
タベース４２と、音響編集装置４３と、第１のパラメー
タ変換部４４と、第２のパラメータ変換部４５とから構
成されている。The operation response sound synthesizer 4 according to the present embodiment includes a basic reaction sound selection unit 41, an operation reaction sound database 42, a sound editing device 43, a first parameter conversion unit 44, a second And a parameter converter 45.

【００３３】操作反応音データベース４２は、音データ
を蓄積している。The operation response sound database 42 stores sound data.

【００３４】基本反応音選択部４１には、イベント取得
部１３よりイベント情報が入力されるが、基本反応音選
択部４１は入力されたイベント情報と音データの対応関
係情報をあらかじめ保持しおき、入力されるイベント情
報に対応する音データを操作反応音データベース４２か
ら取得し、操作反応音データとして音響編集装置４３に
出力する。The basic reaction sound selection section 41 receives event information from the event acquisition section 13. The basic reaction sound selection section 41 previously stores the correspondence information between the input event information and sound data. The sound data corresponding to the input event information is acquired from the operation response sound database 42 and output to the sound editing device 43 as operation response sound data.

【００３５】第１のパラメータ変換部４４は、操作パラ
メータ取得部２より入力される操作パラメータを第１の
音響編集パラメータに変換し、音響編集装置４３に出力
する。The first parameter conversion unit 44 converts the operation parameters input from the operation parameter acquisition unit 2 into first sound editing parameters, and outputs the first sound editing parameters to the sound editing device 43.

【００３６】第２のパラメータ変換部４５は、オブジェ
クト属性取得部３より入力されるオブジェクト属性情報
を第２の音響編集パラメータに変換し、音響編集装置４
３に出力する。The second parameter conversion unit 45 converts the object attribute information input from the object attribute acquisition unit 3 into second audio editing parameters,
Output to 3.

【００３７】音響編集装置４３は、各種音響エフェク
タ、音響フィルタ、イコライザなど音響波形を編集加工
する機能を有する装置であり、波形編集ソフトウェアや
楽器用の各種エフェクト装置等が利用可能である。音響
編集装置４３は、第１および第２のパラメータ変換部４
４および４５より入力される第１及び第２の音響編集パ
ラメータを利用して、基本反応音選択部４１より入力さ
れた操作反応音データを加工編集し、加工編集後の音響
データを音響出力装置１６に出力する。The sound editing device 43 is a device having a function of editing sound waveforms such as various sound effectors, sound filters, and equalizers, and can use waveform editing software, various effect devices for musical instruments, and the like. The sound editing device 43 includes the first and second parameter conversion units 4.
Using the first and second sound editing parameters inputted from 4 and 45, the operation reaction sound data inputted from the basic reaction sound selection unit 41 is processed and edited, and the sound data after the processing and editing is outputted to the sound output device. 16 is output.

【００３８】（動作の説明）次に、図１に示した第１の
実施の形態における操作反応音生成装置の動作を図２お
よび図３のフローチャートを用いて説明する。(Explanation of Operation) Next, the operation of the operation response sound generation device according to the first embodiment shown in FIG. 1 will be described with reference to the flowcharts of FIGS.

【００３９】ユーザは入力装置１１を利用して、対話シ
ステム１２のＧＵＩオブジェクトに対してクリック、ド
ラッグ等の入力操作を行なう（Ｓ１）。入力装置１１
は、通常の入力装置が出力する操作パラメータに加え、
少なくともクリックの強度を数値（＝操作パラメータ）
として出力する。The user uses the input device 11 to perform an input operation such as clicking and dragging on the GUI object of the interactive system 12 (S1). Input device 11
Is, in addition to the operating parameters output by the normal input device,
Numerical value of at least click strength (= operation parameter)
Output as

【００４０】対話システム１２は、入力装置１１からの
入力操作を受け、イベントドリブンで処理を進める（Ｓ
２）。The interactive system 12 receives an input operation from the input device 11 and proceeds with the process in an event driven manner (S
2).

【００４１】イベント取得部１３は、前記対話システム
１２にて発生する操作関連のイベントを取得し、操作反
応音合成装置４にイベント情報として出力する（Ｓ
３）。The event acquisition unit 13 acquires an operation-related event occurring in the dialogue system 12 and outputs it to the operation reaction sound synthesizer 4 as event information (S).
3).

【００４２】一方、イベント取得部１３は、取得したイ
ベントを操作パラメータ取得部２およびオブジェクト属
性取得部３にも出力するが、これを受けて操作パラメー
タ取得部２は、対話システム１２を介してあるいは入力
装置１１より直接、操作パラメータを取得し、操作反応
音合成装置４に出力する（Ｓ４）。On the other hand, the event acquisition unit 13 also outputs the acquired event to the operation parameter acquisition unit 2 and the object attribute acquisition unit 3, and in response to this, the operation parameter acquisition unit 2 receives the event via the interactive system 12 or Operation parameters are obtained directly from the input device 11 and output to the operation reaction sound synthesizer 4 (S4).

【００４３】オブジェクト属性取得部３は、イベント取
得部１３よりイベント情報が入力されると、そのイベン
ト情報に関連するＧＵＩオブジェクトの属性情報を対話
システム１２より取得する（Ｓ５）。さらに取得したオ
ブジェクト属性情報を操作反応音合成装置４に出力す
る。When the event information is input from the event obtaining unit 13, the object attribute obtaining unit 3 obtains the attribute information of the GUI object related to the event information from the interactive system 12 (S5). Further, the acquired object attribute information is output to the operation reaction sound synthesizer 4.

【００４４】操作反応音合成装置４は、イベント情報、
操作パラメータ、オブジェクト属性情報を利用して、操
作反応音を合成する（Ｓ６）。The operation response sound synthesizing device 4 is provided with event information,
An operation reaction sound is synthesized using the operation parameters and the object attribute information (S6).

【００４５】合成された操作反応音は音響出力装置より
出力される（Ｓ７）。The synthesized operation reaction sound is output from the sound output device (S7).

【００４６】ここで操作反応音合成装置４が行う操作反
応音の合成（図2のＳ６）について、図３を利用して詳
細を説明する。Here, the details of the operation reaction sound synthesis (S6 in FIG. 2) performed by the operation reaction sound synthesis device 4 will be described with reference to FIG.

【００４７】基本反応音選択部４１にはイベント取得部
１３よりイベント情報が入力されるが、この基本反応音
選択部４１は、イベント情報と操作反応音データの対応
関係を予め保持し、入力されたイベント情報に対応する
操作反応音データを操作反応音データベース４２から取
得して（Ｓ６１）、音響編集装置４３に入力する（Ｓ６
２）。Event information is input from the event acquisition unit 13 to the basic reaction sound selection unit 41. The basic reaction sound selection unit 41 holds the correspondence between the event information and the operation reaction sound data in advance, and inputs the information. The operation response sound data corresponding to the event information is acquired from the operation response sound database 42 (S61), and is input to the sound editing device 43 (S6).
2).

【００４８】一方、第１のパラメータ変換部４４は、操
作パラメータ取得部２より入力された操作パラメータ
を、予め保持する対応テーブルあるいは変換ルールに基
づいて、第１の音響編集パラメータに変換して（Ｓ６
３）、音響編集装置４３に出力する（Ｓ６４）。On the other hand, the first parameter conversion section 44 converts the operation parameters input from the operation parameter acquisition section 2 into first sound editing parameters based on a correspondence table or conversion rule held in advance ( S6
3) Output to the sound editing device 43 (S64).

【００４９】第２のパラメータ変換部４５はオブジェク
ト属性取得部３より入力されたオブジェクト属性情報
を、予め保持する対応テーブルあるいは変換ルールに基
づいて、第２の音響編集パラメータに変換して（Ｓ６
５）、音響編集装置４３へ出力する（Ｓ６６）。The second parameter conversion unit 45 converts the object attribute information input from the object attribute acquisition unit 3 into second audio editing parameters based on a correspondence table or conversion rule stored in advance (S6).
5) Output to the sound editing device 43 (S66).

【００５０】音響編集装置４３は、第１および第２のパ
ラメータ変換部４４および４５より入力された第１およ
び第２の音響編集パラメータを利用して、基本反応音選
択部４１より入力された操作反応音データに対して音響
編集処理を実行し（Ｓ６７）、処理後の音響データを音
響出力装置１６に出力する。The sound editing device 43 uses the first and second sound editing parameters input from the first and second parameter converters 44 and 45 to perform the operation input from the basic reaction sound selector 41. The sound editing process is performed on the reaction sound data (S67), and the processed sound data is output to the sound output device 16.

【００５１】［実施例］ここで、本発明の第１の実施の
形態を具体的な実施例を用いてさらに詳しく説明する。
また、ここでは、第１の実施の形態の一構成例のブロッ
ク図を示した図１及び図４、図７を利用して、詳細に説
明する。[Examples] Here, the first embodiment of the present invention will be described in more detail using specific examples.
In addition, here, the details will be described with reference to FIGS. 1, 4, and 7 which are block diagrams of a configuration example of the first embodiment.

【００５２】本実施例では、入力装置１１として感圧セ
ンサ付きマウス（図４の７１）を利用し、ディスプレイ
に表示されるプッシュボタン７２および７３に対してマ
ウスにてクリック操作を行なう例について説明する。In this embodiment, an example will be described in which a mouse with a pressure sensor (71 in FIG. 4) is used as the input device 11 and click operations are performed with the mouse on push buttons 72 and 73 displayed on the display. I do.

【００５３】入力装置１１として利用する感圧センサ付
きマウス７１は、例えば、１９９８年９月、第１４回ヒ
ューマンインタフェースシンポジウム予稿集、２３１〜
２３５頁「マウス位置決め作業時におけるクリック圧の
解析」の図１にて報告されているマウスを利用すること
ができる。このマウスはマウスボタンクリック時の圧力
をデジタルデータとして出力することができる。通常の
マウスと同様に、クリックオン／オフの信号およびドラ
ッグの方向やドラッグ速度も出力する。The mouse 71 with a pressure-sensitive sensor used as the input device 11 is described in, for example, September 1998, 14th Human Interface Symposium
The mouse reported in FIG. 1 on page 235 “Analysis of click pressure during mouse positioning work” can be used. This mouse can output the pressure when the mouse button is clicked as digital data. As with a normal mouse, it outputs a click-on / off signal and the direction and speed of dragging.

【００５４】ユーザが感圧センサ付きマウス７１を利用
し、ＧＵＩ上のカーソルをプッシュボタン７２上に移動
し、マウスボタンをクリックすると、感圧センサ付マウ
ス７１はクリックオン信号とともにクリックの圧力をも
数値で出力する。入力デバイスから出力されるこれらの
操作情報全てが操作パラメータである。対話システム１
２はカーソルの座標および入力されたクリックオン信号
とから、いかなる操作がどのＧＵＩオブジェクトに対し
て行なわれたのかを解釈し、イベント（この場合「プッ
シュボタン押下」）をする。When the user uses the mouse 71 with a pressure sensor to move the cursor on the GUI to the push button 72 and clicks the mouse button, the mouse 71 with the pressure sensor also displays the click pressure together with the click-on signal. Output numerically. All of these pieces of operation information output from the input device are operation parameters. Dialogue system 1
Numeral 2 interprets what operation has been performed on which GUI object based on the coordinates of the cursor and the input click-on signal, and performs an event (in this case, “push button pressed”).

【００５５】イベント取得部１３は、前記対話システム
１２にて発生するイベントのうち、ＧＵＩ操作関連のイ
ベント取得し、基本反応音選択部４１、操作パラメータ
取得部２およびオブジェクト属性取得部３に出力する。The event acquisition unit 13 acquires a GUI operation-related event from the events generated in the dialogue system 12, and outputs the event to the basic reaction sound selection unit 41, the operation parameter acquisition unit 2, and the object attribute acquisition unit 3. .

【００５６】基本反応音選択部４１は、図７に例を示す
ようなイベントと操作反応音の対応関係を示すテーブル
（基本反応音選択テーブル）を予め保持しており、入力
されたイベントに対応する操作反応音のデータを操作反
応音データベース４２から取得して、音響編集装置４３
に入力する。この場合、図７に示される基本反応音選択
テーブルのイベント欄７５を参照すると、「プッシュボ
タン押下」に対応する操作反応音欄７６から「File3.wa
v」を得る事ができる。基本反応音選択部４１は、「Fil
e3.wav」の音データを操作反応音データベース４２より
取得し、音響編集装置４３に出力する。（ここで、File
3.wavは「カチン」という擬音語で表現できる音色の音
データであるとする。）The basic reaction sound selection section 41 previously holds a table (basic reaction sound selection table) indicating the correspondence between events and operation reaction sounds as shown in FIG. Acquisition of operation response sound data from the operation response sound database 42
To enter. In this case, referring to the event column 75 of the basic reaction sound selection table shown in FIG. 7, the operation response sound column 76 corresponding to “push button pressed” indicates “File3.wa
v ". The basic reaction sound selection unit 41 selects “Fil
The sound data “e3.wav” is obtained from the operation reaction sound database 42 and output to the sound editing device 43. (Where File
3. It is assumed that wav is sound data of a timbre that can be expressed by an onomatopoeic word "kachin". )

【００５７】一方、操作パラメータ取得部２は、イベン
ト取得部１３より「ボタン押下」のイベントが入力され
ると、対話システムを通して（あるいは入力装置１１よ
り直接）、入力されたイベント（ここでは「ボタン押
下」）に関連する操作パラメータ（例えば「クリック圧
＝80」）を取得する。次に取得した操作パラメータ
（「クリック圧＝80」）を第１のパラメータ変換部４４
に出力する。この場合、クリック圧が80とは、クリック
圧は0-99の間の数値であるとして、比較的強くマウスを
クリックした事を示す数値であるとする。On the other hand, when the “button press” event is input from the event obtaining unit 13, the operation parameter obtaining unit 2 sends the input event (here “button”) through the interactive system (or directly from the input device 11). Operation parameter (for example, “click pressure = 80”) related to “press”. Next, the acquired operation parameters (“click pressure = 80”) are converted to the first parameter conversion unit 44.
Output to In this case, it is assumed that the click pressure is 80, and the click pressure is a numerical value between 0 and 99, and is a numerical value indicating that the mouse is clicked relatively strongly.

【００５８】第１のパラメータ変換部４４は入力された
操作パラメータを第１の音響編集パラメータに変換す
る。この変換は、第１のパラメータ変換部４４に記述さ
れる変換テーブルあるいは変換ルールに基づいて実行さ
れる。操作パラメータ「クリック圧＝80」は第１の音響
編集パラメータ（ここでは例えば、バンドパスフィルタ
の通過周波数値（音質変化のためのパラメータ）、コー
ラスエフェクタのモジュレーションデプス値（音色を複
雑化するパラメータ）、音量ゲイン値（音量変化のため
のパラメータ））へと変換される。The first parameter converter 44 converts the input operation parameters into first sound editing parameters. This conversion is executed based on a conversion table or a conversion rule described in the first parameter conversion unit 44. The operation parameter “click pressure = 80” is a first sound editing parameter (here, for example, a pass frequency value of a bandpass filter (a parameter for changing sound quality), a modulation depth value of a chorus effector (a parameter that complicates timbre). , A volume gain value (a parameter for changing the volume).

【００５９】第１のパラメータ変換部４４に記述される
変換テーブルあるいは変換ルールは、現実世界における
「作用と発生音」との関係に基づくものとする。例え
ば、現実世界では通常、作用が強いほど、生じる音の音
量は大きく，また音色は複雑になるが、こういった対応
付けが変換テーブルには記述されている。この場合、ク
リック圧が80とは比較的強くマウスをクリックした事を
示すため、音量を大きく、音を複雑化させるような音響
編集パラメータへと変換される。そして、得られた第１
の音響編集パラメータは音響編集装置４３に出力され
る。The conversion table or conversion rule described in the first parameter conversion unit 44 is based on the relationship between “action and generated sound” in the real world. For example, in the real world, generally, the stronger the action, the larger the volume of the generated sound and the more complex the timbre, but such a correspondence is described in the conversion table. In this case, when the click pressure is 80, which indicates that the mouse is clicked relatively strongly, the sound is converted into sound editing parameters that increase the volume and complicate the sound. And the obtained first
Are output to the sound editing device 43.

【００６０】一方、オブジェクト属性取得部３は、イベ
ント取得部１３よりイベント情報が入力されると、その
イベントに関連するＧＵＩオブジェクトの属性情報を取
得する。この場合、操作対象である「プッシュボタン」
の属性情報、例えばボタンのサイズ、テクスチャ、色な
どを取得する。次に取得したそれらのオブジェクト属性
情報を第２のパラメータ変換部４５に出力する。On the other hand, when the event information is input from the event obtaining unit 13, the object attribute obtaining unit 3 obtains the attribute information of the GUI object related to the event. In this case, the "push button" to be operated
, For example, the size, texture, color, etc. of the button. Next, the obtained object attribute information is output to the second parameter conversion unit 45.

【００６１】第２のパラメータ変換部４５は入力された
オブジェクト属性情報を第２の音響パラメータに変換す
る。この場合例えば、オブジェクトのサイズはピッチシ
フト値（音の高さを変化するパラメータ）に変換され、
オブジェクトのテクスチャは音響フィルタのパラメータ
値（音色を変化するパラメータ）へ変換される。第２の
パラメータ変換部４５に記述される変換テーブルあるい
は変換ルールは、現実世界における音の発生原理に基づ
いている。音の発生原理とは、現実世界では通常、叩か
れる物体の材質によって音色が異なったり、大きさによ
って音の高さが変化したりすることである．第２のパラ
メータ変換部４５に記述される変換テーブルあるいは変
換ルールは、この関係を模倣している。変換された第２
の音響編集パラメータは音響編集装置４３に出力され
る。The second parameter converter 45 converts the input object attribute information into a second acoustic parameter. In this case, for example, the size of the object is converted into a pitch shift value (a parameter that changes the pitch of the sound),
The texture of the object is converted into a parameter value (a parameter that changes the timbre) of the acoustic filter. The conversion table or conversion rule described in the second parameter conversion unit 45 is based on the sound generation principle in the real world. The principle of sound generation is that, in the real world, the timbre is usually different depending on the material of the object being hit, or the pitch is changed depending on the loudness. The conversion table or conversion rule described in the second parameter conversion unit 45 imitates this relationship. Converted second
Are output to the sound editing device 43.

【００６２】音響編集装置４３は、第１および第２のパ
ラメータ変換部４４および４５より入力された第１およ
び第２の音響編集パラメータを利用して、基本反応音選
択部４１より入力された操作反応音データ（この場合
「file3.wav（カチン）」）を加工編集する。具体的に
は、音響編集装置４３は、例えば波形編集ソフトウェア
で実現でき、基本反応音選択部４１からの入力である操
作反応音データ「file3.wav（カチン）」を編集対象音
と設定する。波形編集ソフトウェアはその機能として、
ピッチシフト、波形のカット・アンド・ペースト、フェ
イドイン、フェイドアウト、パワーエンベロープ加工等
多様な波形編集機能およびディレイ、コーラス、リバー
ブ等の音響エフェクト機能や、フィルタ機能を有する。
波形編集ソフトウェアは、音響編集パラメータを利用し
て各種機能を実行することにより、「file3.wav（カチ
ン）」を加工編集する。この結果、file3.wavをもと
に，音色や音高、音量等が変化した新しい音響データ
「newfile3.wav (ガッチン)」が生成される。この加工
編集後の音響データは音響出力装置１６へ入力され、音
響出力装置１６は入力された音響データを音として出力
する。The sound editing device 43 uses the first and second sound editing parameters input from the first and second parameter converters 44 and 45 to input the operation input from the basic reaction sound selector 41. Process and edit the reaction sound data (in this case, "file3.wav (kachin)"). Specifically, the sound editing device 43 can be realized by, for example, waveform editing software, and sets the operation reaction sound data “file3.wav (click)”, which is an input from the basic reaction sound selection unit 41, as the sound to be edited. Waveform editing software has
It has various waveform editing functions such as pitch shift, waveform cut and paste, fade-in, fade-out, and power envelope processing, as well as sound effect functions such as delay, chorus, reverb, and filter functions.
The waveform editing software processes and edits “file3.wav (click)” by executing various functions using the sound editing parameters. As a result, based on file3.wav, new sound data “newfile3.wav (gachin)” in which the timbre, pitch, volume, and the like have changed are generated. The edited sound data is input to the sound output device 16, and the sound output device 16 outputs the input sound data as sound.

【００６３】結果として、プッシュボタン押下音として
選択された「カチン」という音は、ユーザのクリックの
強度およびボタンの大きさ、色、等を反映して、「ガッ
チン」「カチッ」「チッ」等というような様々な音に編
集加工されて出力される（図４）。イベントとしては
「ボタン押下」という同一の操作でも、操作を行う側
（操作パラメータ）と操作を受ける側（オブジェクト属
性情報）の状態が反映された、より現実味のある操作反
応音を出力する事が可能となる。As a result, the “click” sound selected as the push button press sound reflects “click”, “click”, “click”, etc., reflecting the intensity of the user's click and the size and color of the button. Such sounds are edited and processed into various sounds and output (FIG. 4). As an event, even with the same operation of “button press”, it is possible to output a more realistic operation response sound that reflects the state of the operation side (operation parameter) and the state of the operation receiving side (object attribute information). It becomes possible.

【００６４】ここで、第１の実施の形態に対する別の実
施例を図５を参照して説明する。Here, another example of the first embodiment will be described with reference to FIG.

【００６５】図５はファイルアイコンの操作反応音につ
いて説明する図である。アイコンに対してクリック操作
を行なう場合（図５の７７）、「アイコンクリック」イ
ベントが発生するが、ここで例えば、前例と同様に操作
パラメータ取得部２は「クリックの強度（圧力）」を操
作パラメータとして取得する。一方、オブジェクト属性
情報取得部３は「ファイルの容量」「ファイルの更新年
月日」「ファイルの種類」などＧＵＩオブジェクトの見
た目にはわからない情報をオブジェクト属性情報として
取得するものとする。操作パラメータおよびオブジェク
ト属性情報をもとにして得られた音響編集パラメータを
利用して波形編集を行なう事で、視覚情報では表現され
ない情報（ファイル容量、ファイルの更新年月日等）を
操作反応音を通じて表現する事が可能になる。FIG. 5 is a diagram for explaining an operation reaction sound of a file icon. When a click operation is performed on an icon (77 in FIG. 5), an “icon click” event occurs. Here, for example, as in the previous example, the operation parameter acquisition unit 2 operates the “click strength (pressure)”. Get as a parameter. On the other hand, it is assumed that the object attribute information acquiring unit 3 acquires, as object attribute information, information that is invisible to the GUI object, such as “file capacity”, “file update date”, and “file type”. By performing waveform editing using sound editing parameters obtained based on operation parameters and object attribute information, information that is not represented by visual information (file capacity, file update date, etc.) can be manipulated as a reaction sound. Can be expressed through

【００６６】一方、図５の７８はアイコンドラッグを行
なう時の操作パラメータおよびオブジェクト属性情報に
関して示した図である。ドラッグ操作を行なうと、「ア
イコンドラッグ」イベントが発生するが、このとき、操
作パラメータ取得部２は「ドラッグの速度」を操作パラ
メータとして取得するとよい。ドラッグの速度という操
作パラメータを音響編集パラメータに変換して，得られ
た音響編集パラメータを利用して音を編集加工する事
で、ドラッグの速度に応じて例えば「ズズズズ」といっ
たドラッグ音の音色や音の高さを変化させることができ
る。On the other hand, reference numeral 78 in FIG. 5 shows operation parameters and object attribute information when performing icon dragging. When a drag operation is performed, an “icon drag” event occurs. At this time, the operation parameter acquisition unit 2 may acquire “drag speed” as an operation parameter. The operation parameters called drag speed are converted into sound editing parameters, and the sound is edited and processed using the obtained sound editing parameters, so that the tone or sound of the drag sound such as “smooth” is dragged according to the drag speed. Height can be changed.

【００６７】以上に示したように、操作の強度、操作の
速度などの操作の特徴を連続的な数値で表す操作パラメ
ータを、操作反応音合成に利用する。このことにより、
ユーザ操作の特徴に呼応して、出力音を変化させること
ができ、この結果、操作の現実味・自然さが向上する。As described above, the operation parameters representing the operation characteristics such as the operation intensity and the operation speed by continuous numerical values are used for the operation reaction sound synthesis. This allows
The output sound can be changed in response to the characteristics of the user operation, and as a result, the reality and naturalness of the operation are improved.

【００６８】さらに図６を利用してメニューボタン操作
に対する操作反応音についての実施例を述べる。メニュ
ーバーに表示されるメニューボタンを押下すると、メニ
ューボタンが視覚的に陥没するのと同時にプルダウンメ
ニューがオープンする。ユーザの操作はメニューボタン
に対する押下のみであるが、プルダウンメニューのオー
プンはユーザ操作であるメニューボタン押下をきっかけ
として生じるリアクションであるため、ボタン押下とメ
ニューオープンを一連の操作系列と見なすことができ
る。Further, an embodiment of an operation response sound to a menu button operation will be described with reference to FIG. When a menu button displayed on the menu bar is pressed, a pull-down menu is opened at the same time that the menu button is visually depressed. Although the user's operation is only pressing the menu button, the opening of the pull-down menu is a reaction triggered by the pressing of the menu button, which is a user operation. Therefore, the button pressing and the menu opening can be regarded as a series of operation series.

【００６９】従って、メニューボタン押下音に加え、プ
ルダウンメニューオープン音合成にもユーザの操作パラ
メータ（この場合、クリックの強度）を利用する。具体
的には、操作パラメータ取得部２は、イベント情報とそ
のイベント情報に関連のある操作パラメータとの対応を
あらかじめ保持することを特徴とし、イベントの入力応
じて、対応付けられた操作パラメータを取得する。この
場合、例えば具体的な動作として、操作パラメータ取得
部２は、プルダウンメニューオープンイベント発生の直
前のユーザ操作であるメニューボタン押下の操作パラメ
ータ（クリックの強度）を取得する。一方オブジェクト
属性取得部３は、プルダウンメニューに表示される「メ
ニュー項目の数」や「メニューの色」をオブジェクト属
性情報として取得する。そしてこれらの操作パラメータ
およびオブジェクト属性情報を、第１および第２のパラ
メータ変換部（４４、４５）が第１および第２の音響編
集パラメータに変換する。音響編集装置４３は音響編集
パラメータを利用して、音データの加工編集を行い、そ
の結果メニューボタン押下音およびプルダウンメニュー
オープン音が出力される。Therefore, in addition to the menu button press sound, the user's operation parameters (in this case, the strength of the click) are used for the pull-down menu open sound synthesis. Specifically, the operation parameter acquisition unit 2 is characterized in that the correspondence between the event information and the operation parameter related to the event information is held in advance, and the operation parameter acquisition unit 2 acquires the associated operation parameter according to the input of the event. I do. In this case, for example, as a specific operation, the operation parameter acquisition unit 2 acquires an operation parameter (click strength) of pressing a menu button, which is a user operation immediately before the occurrence of the pull-down menu open event. On the other hand, the object attribute acquisition unit 3 acquires “number of menu items” and “menu color” displayed in the pull-down menu as object attribute information. Then, the first and second parameter converters (44, 45) convert these operation parameters and object attribute information into first and second sound editing parameters. The sound editing device 43 processes and edits the sound data using the sound editing parameters, and as a result, outputs a menu button pressing sound and a pull-down menu opening sound.

【００７０】本実施例では入力装置１１として、感圧セ
ンサ付きマウスを利用してクリックの強度を取得した
が、ベロシティー計測方法を採用するマウスでも実現可
能である。ベロシティー計測方法とは、電子鍵盤楽器の
鍵盤に利用される打鍵強度計測の方法である。具体的に
は、鍵盤の通常時（押下しない時）と押下時にそれぞれ
接触する２つのスイッチを内部に保持し、２つのスイッ
チの切り替わりの速度を計測する機構を持つ。打鍵速度
は打鍵強度との相関が強く、従って、スイッチの切り替
わり速度が速いほど打鍵強度が強いとみなすことができ
る。このように、入力装置１１は間接的にでもクリック
の強度を計測できるマウスであればよい。In the present embodiment, a mouse with a pressure sensor is used as the input device 11 to obtain the strength of the click. However, a mouse adopting a velocity measurement method can also be used. The velocity measurement method is a method of measuring a keystroke strength used for a keyboard of an electronic keyboard instrument. Specifically, it has a mechanism for holding two switches that are in contact with each other when the keyboard is normal (when not pressed) and when pressed, respectively, and measures the switching speed of the two switches. The keying speed has a strong correlation with the keying intensity. Therefore, it can be considered that the keying intensity is higher as the switch switching speed is higher. As described above, the input device 11 may be any mouse that can measure the strength of the click even indirectly.

【００７１】また、入力装置１１としてスクロールボタ
ン付きのマウスやホイール付きマウスを利用することも
考えられる。ホイールの回転速度やスクロールボタンの
押下圧力等を操作パラメータとして利用する。It is also conceivable to use a mouse with a scroll button or a mouse with a wheel as the input device 11. The rotation speed of the wheel, the pressing pressure of the scroll button, and the like are used as operation parameters.

【００７２】その他入力装置１１としては、例えば特開
平９−３０５２８６号公報に記載されているような、キ
ー接触の有無、押し下げ圧力、押し下げ速度、あるいは
深さを感知する事のできるキーボード、あるいはタッチ
圧力を感知できるタッチパネル等を利用する事もでき
る。Other input devices 11 include, for example, a keyboard capable of detecting the presence / absence of key contact, a pressing pressure, a pressing speed, and a depth, as described in Japanese Patent Application Laid-Open No. 9-305286, or a touch panel. A touch panel or the like that can sense pressure can also be used.

【００７３】本発明を利用すると、同じ操作でも、入力
装置１１の種類（マウスであるかタッチパネルであるか
等）によって異なる操作反応音を出力する事も可能であ
る。By using the present invention, it is possible to output different operation reaction sounds depending on the type of the input device 11 (whether it is a mouse or a touch panel) even with the same operation.

【００７４】その第1の方法は、入力装置１１が自身の
「デバイスの種類情報」を操作パラメータと併せて出力
し、この操作パラメータを第１のパラメータ変換部２１
で音響編集パラメータへ変換する。このことにより、入
力装置１１の種類を反映した音の加工編集が可能とな
る。In the first method, the input device 11 outputs its own “device type information” together with operation parameters, and outputs the operation parameters to the first parameter converter 21.
To convert to sound editing parameters. As a result, it is possible to process and edit the sound reflecting the type of the input device 11.

【００７５】あるいは、同じく入力装置１１の「デバイ
スの種類情報」をイベント取得部がイベント情報と併せ
て取得し、双方の情報を利用して基本反応音選択部４１
が基本操作反応音を選択してもよい。このことにより、
入力装置１１の種類を反映した形で基本操作反応音の選
択を行なうことができる。Alternatively, the event acquisition unit acquires the “device type information” of the input device 11 together with the event information, and utilizes both information to obtain the basic reaction sound selection unit 41.
May select a basic operation reaction sound. This allows
The basic operation reaction sound can be selected in a manner reflecting the type of the input device 11.

【００７６】また、ＧＵＩを有しない対話システム１２
についても本発明を適用することが可能である。ＧＵＩ
を有しない対話システムとは、視覚障害者用のパソコン
インタフェース等があり、例えば、1997年10月、第13回
ヒューマン・インタフェース・シンポジウム論文集pp.9
7-102「インタフェースのためのサウンド設計 〜視覚障
害者用スクリーンリーダ CV/SR 〜 」に記載されている
視覚障害者用の対話システムが利用できる。この対話シ
ステムはＧＵＩオブジェクトの論理木構造を保持してお
り、ユーザはテンキーを利用してその木構造上を移動し
て、目的のオブジェクトに対して操作を行なう。この
時、操作に対して操作反応音（文献中の状態変化音）が
出力されるが、ここで操作パラメータとオブジェクト属
性情報（容量や更新年月日）を利用して操作反応音を加
工編集することで、ユーザの操作の強度やＧＵＩオブジ
ェクトの属性にダイナミックに変化追随する音を出力す
ることができる。Further, a dialogue system 12 without a GUI
The present invention can also be applied to GUI
An interactive system without a computer interface includes a personal computer interface for the visually impaired.For example, in October 1997, the 13th Human Interface Symposium, pp.9
The interactive system for the visually impaired described in 7-102 "Sound design for interface-screen reader CV / SR for the visually impaired" can be used. This interactive system holds a logical tree structure of a GUI object, and a user moves on the tree structure using a numeric keypad to operate a target object. At this time, an operation response sound (state change sound in the literature) is output in response to the operation. Here, the operation response sound is processed and edited using the operation parameters and object attribute information (capacity and update date). By doing so, it is possible to output a sound that dynamically changes and follows the intensity of the user's operation and the attributes of the GUI object.

【００７７】本実施例の操作反応音合成装置４の別の動
作については、図８に示すように、操作パラメータおよ
び第１および第２のオブジェクト属性情報をパラメータ
変換部（４４、４５）に入力するのと同時に基本反応音
選択部４１に入力することもできる。また、操作パラメ
ータあるいはオブジェクト属性情報のいずれかを基本反
応音選択部４１のみに入力してもよい。As for another operation of the operation reaction sound synthesizer 4 of the present embodiment, as shown in FIG. 8, the operation parameters and the first and second object attribute information are inputted to the parameter converters (44, 45). At the same time, it can also be input to the basic reaction sound selection unit 41. Alternatively, either the operation parameter or the object attribute information may be input only to the basic reaction sound selection unit 41.

【００７８】この時、基本反応音選択部４１は入力され
たイベント情報と操作パラメータとオブジェクト属性情
報、もしくはイベント情報と操作パラメータ、もしくは
イベント情報とオブジェクト属性情報、のうちいずれか
の組合わせを利用して操作反応音データベース４２より
基本操作反応音データを取得する。At this time, the basic reaction sound selection unit 41 uses any combination of the input event information, operation parameter and object attribute information, or the event information and operation parameter, or the event information and object attribute information. Then, basic operation reaction sound data is obtained from the operation reaction sound database 42.

【００７９】このように、イベント情報のみでなく操作
パラメータやオブジェクト属性情報を基本反応音の選択
に利用することで、操作反応音合成装置４ではよりダイ
ナミックに変化する操作反応音を生成することが可能と
なる。As described above, by using not only the event information but also the operation parameters and the object attribute information for selecting the basic reaction sound, the operation reaction sound synthesizer 4 can generate the operation reaction sound that changes more dynamically. It becomes possible.

【００８０】前述のように、第１および第２のパラメー
タ変換部４４および４５で実行されるパラメータ変換
は、例えば、強く叩くほど強い音が発生する、大きな物
体を叩くほど低く分厚い音が発生する、というような現
実世界における音の発生原理を模倣することが望まし
い。しかし、現実世界の模倣でなくても、ユーザの操作
や操作対象オブジェクトに連動させれば、ユーザの操作
強度や操作速度を反映した新規で効果的な操作反応音を
生成することも可能となる。As described above, in the parameter conversion performed by the first and second parameter conversion units 44 and 45, for example, a strong sound is generated as the player hits strongly, and a lower and thicker sound is generated as the player hits a large object. It is desirable to imitate the principle of sound generation in the real world. However, even if it is not imitation of the real world, it is also possible to generate a new and effective operation reaction sound reflecting the operation intensity and operation speed of the user if linked to the operation of the user or the operation target object. .

【００８１】［第２の実施の形態］次に、本発明の第２
の実施の形態について図面を参照して説明する。[Second Embodiment] Next, a second embodiment of the present invention will be described.
An embodiment will be described with reference to the drawings.

【００８２】本発明の第２の実施の形態の一構成例を示
すブロック図を図９に示す。FIG. 9 is a block diagram showing one configuration example of the second embodiment of the present invention.

【００８３】図９を参照すると第２の実施の形態は、ユ
ーザが対話システムに対して入力を行なう入力装置１１
と、ＧＵＩを有してイベントドリブンで処理を行なう対
話システム１２と、対話システム１２で生じるイベント
を取得するイベント取得部１３と、入力装置１１から出
力される操作パラメータを取得する操作パラメータ取得
部２と、操作対象のＧＵＩオブジェクトの情報を対話シ
ステムより取得するオブジェクト属性取得部３と、イベ
ント情報、操作パラメータおよびオブジェクト属性情報
を利用して操作反応音を合成する操作反応音合成装置４
と、イベント情報、操作パラメータおよびオブジェクト
属性情報を利用してアニメーションを生成するアニメー
ション生成装置５と、音響データと映像データの出力同
期調整を行なう出力同期制御装置１８と、映像および音
響を表示する出力装置１９とから構成される。また、第
１の実施の形態と構成が同じものについては同じ符号が
ついており、第１の実施の形態と同じ機能を持つものに
ついては、本実施の形態では特に説明を行わない。Referring to FIG. 9, in a second embodiment, an input device 11 for a user to make an input to a dialog system is provided.
A dialogue system 12 having a GUI for performing an event-driven process, an event acquisition unit 13 for acquiring an event generated in the interaction system 12, and an operation parameter acquisition unit 2 for acquiring an operation parameter output from the input device 11. And an object attribute acquisition unit 3 for acquiring information on a GUI object to be operated from a dialog system, and an operation reaction sound synthesis device 4 for synthesizing an operation reaction sound using event information, operation parameters, and object attribute information.
An animation generation device 5 for generating an animation using event information, operation parameters and object attribute information, an output synchronization control device 18 for adjusting output synchronization of audio data and video data, and an output for displaying video and audio And an apparatus 19. Further, the same components as those in the first embodiment are denoted by the same reference numerals, and those having the same functions as those in the first embodiment are not particularly described in the present embodiment.

【００８４】アニメーション生成装置５は、アニメーシ
ョン用の各種画像データを蓄積し、アニメーション再生
の制御を行なう装置である。さらに具体的には、アニメ
ーション生成装置５は制御パラメータに基づいて、アニ
メーション再生速度制御、再生画像の大きさや位置の制
御、画像エフェクトの付加を行なう。The animation generating device 5 is a device for storing various image data for animation and controlling animation reproduction. More specifically, the animation generation device 5 controls the animation reproduction speed, controls the size and position of the reproduced image, and adds an image effect based on the control parameters.

【００８５】アニメーション生成装置５は、アニメーシ
ョン用の画像データ群を蓄積するアニメーションデータ
ベース５２と、イベント情報に基づいてアニメーション
データベースより基本アニメーションデータを取得する
基本アニメーション選択部５１と、操作パラメータ取得
部２より入力される操作パラメータを第１のアニメーシ
ョン制御パラメータに変換する第３のパラメータ変換部
５４と、オブジェクト属性取得部３より入力されるオブ
ジェクト属性情報を第２のアニメーション制御パラメー
タに変換する第４のパラメータ変換部５５と、アニメー
ション制御パラメータに基づいてアニメーションの再生
方法（再生速度、再生画像の位置や大きさ、画像エフェ
クト等）の制御を行なうアニメーション制御部５３とか
ら構成される。The animation generator 5 includes an animation database 52 for storing a group of image data for animation, a basic animation selection unit 51 for obtaining basic animation data from the animation database based on event information, and an operation parameter obtaining unit 2. A third parameter conversion unit 54 for converting an input operation parameter into a first animation control parameter, and a fourth parameter for converting object attribute information input from the object attribute acquisition unit 3 into a second animation control parameter It is composed of a conversion unit 55 and an animation control unit 53 that controls the animation reproduction method (reproduction speed, position and size of reproduced image, image effect, etc.) based on the animation control parameters.

【００８６】出力同期制御装置１８は、音と画像の出力
のタイミングを制御する装置であり、入力される音響デ
ータおよびアニメーションデータの同期をとって出力装
置へ入力する。The output synchronization control device 18 is a device for controlling the output timing of sound and image, and synchronizes input audio data and animation data and inputs them to the output device.

【００８７】出力装置１７は視聴覚双方の情報を表示で
きる装置であり、例えばディスプレイとスピーカー等か
ら構成される。The output device 17 is a device capable of displaying both audio-visual information, and comprises, for example, a display and a speaker.

【００８８】入力装置１１、対話システム１２および操
作反応音合成装置４は、第１の実施の形態と同じもので
ある。イベント取得部１３、操作パラメータ取得部２，
およびオブジェクト属性取得部３は、第１の実施の形態
と同じ機能を持つが、それぞれの出力を操作反応音合成
装置４に加えてアニメーション生成装置５にも出力す
る。より具体的には、イベント取得部１３は出力するイ
ベント情報を操作反応音合成装置４に出力するのと同時
に基本アニメーション選択部５１にも出力する。操作パ
ラメータ取得部２は出力する操作パラメータを操作反応
音合成装置４に出力するのと同時に第３のパラメータ変
換部５４にも出力する。オブジェクト属性取得部３は出
力するオブジェクト属性情報を操作反応音合成装置４へ
入力するのと同時に第４のパラメータ変換部５５にも出
力する。The input device 11, the dialogue system 12, and the operation response sound synthesizer 4 are the same as those in the first embodiment. Event acquisition unit 13, operation parameter acquisition unit 2,
The object attribute acquiring unit 3 has the same function as that of the first embodiment, but outputs each output to the animation generating device 5 in addition to the operation reaction sound synthesizing device 4. More specifically, the event acquiring unit 13 outputs the event information to be output to the operation reaction sound synthesizing device 4 and also to the basic animation selecting unit 51 at the same time. The operation parameter acquisition unit 2 outputs the operation parameters to be output to the operation reaction sound synthesizer 4 and also to the third parameter conversion unit 54 at the same time. The object attribute obtaining unit 3 outputs the object attribute information to the operation / reaction sound synthesizing device 4 to the fourth parameter converting unit 55 at the same time as inputting the information to the operation / reaction sound synthesizing device 4.

【００８９】［実施例］次に、図６を利用して第２の実
施の形態を具体的な実施例を挙げて詳細に説明する。こ
の図６の例は、メニューボタン操作に関する例である。Next, the second embodiment will be described in detail with reference to FIG. The example of FIG. 6 is an example relating to a menu button operation.

【００９０】ユーザが入力装置１１（例えば感圧センサ
付きマウス）を利用してメニューバーに表示されるメニ
ューボタンを押下する。この時のクリック信号及びクリ
ック圧力が操作パラメータとして対話システムに出力さ
れる。対話システム１２は、入力装置から入力される操
作パラメータとカーソルの位置から操作を解釈し、イベ
ント（「メニューボタン押下」および「プルダウンメニ
ューオープン」）を発生する。イベント取得部１３はそ
れらのイベントを取得し、操作反応音合成装置４および
アニメーション生成装置５の基本アニメーション選択部
５１に出力する。The user presses a menu button displayed on the menu bar using the input device 11 (for example, a mouse with a pressure sensor). The click signal and click pressure at this time are output to the interactive system as operation parameters. The interactive system 12 interprets the operation based on the operation parameters input from the input device and the position of the cursor, and generates an event (“press a menu button” and “open a pull-down menu”). The event acquisition unit 13 acquires those events and outputs them to the basic animation selection unit 51 of the operation reaction sound synthesis device 4 and the animation generation device 5.

【００９１】操作パラメータ取得部２は対話システム１
２を介して、あるいは入力装置１１より直接「メニュー
ボタン押下」時の操作パラメータ（ここではクリック圧
力）を取得し、操作反応音合成装置４およびアニメーシ
ョン生成装置５の第３のパラメータ変換部５４に出力す
る。The operation parameter acquiring unit 2 is a dialogue system 1
The operation parameter (here, the click pressure) at the time of “pressing the menu button” is obtained via the input device 11 or directly from the input device 11, and is sent to the third parameter converter 54 of the operation reaction sound synthesizer 4 and the animation generator 5. Output.

【００９２】オブジェクト属性取得部３は操作対象であ
るメニューボタンおよびプルダウンメニューのオブジェ
クトの属性を対話システム１２より取得し、操作反応音
合成装置４およびアニメーション生成装置５の第４のパ
ラメータ変換部５５に出力する。The object attribute acquiring unit 3 acquires the attributes of the menu button and pull-down menu objects to be operated from the interactive system 12, and sends them to the fourth parameter converting unit 55 of the operation reaction sound synthesizing device 4 and the animation generating device 5. Output.

【００９３】操作反応音合成装置４では、前記第１の実
施の形態にて説明したように、入力されたイベント情報
に対応する操作反応音を操作パラメータおよびオブジェ
クト属性情報に基づき加工編集することで、ユーザの操
作やオブジェクトの属性にダイナミックに適合する操作
反応音を生成する。As described in the first embodiment, the operation reaction sound synthesizer 4 processes and edits the operation reaction sound corresponding to the input event information based on the operation parameters and the object attribute information. And generates operation reaction sounds that dynamically adapt to user operations and object attributes.

【００９４】次に、アニメーション生成装置５の動作を
「メニューオープン」を例に取り以下に説明する。ユー
ザがメニューボタンを押下すると、基本アニメーション
選択部５１にイベント情報「メニューオープン」が入力
される。アニメーションデータベース５２にはＧＵＩの
変化を表す画像データが蓄積されているが、基本アニメ
ーション選択部５１は、このアニメーションデータベー
ス５２から、メニューオープン用のアニメーションデー
タを取得し、アニメーション制御部５３に出力する。Next, the operation of the animation generating apparatus 5 will be described below taking “menu open” as an example. When the user presses the menu button, the event information “menu open” is input to the basic animation selection unit 51. The animation database 52 stores image data indicating a change in the GUI. The basic animation selection unit 51 acquires menu opening animation data from the animation database 52 and outputs it to the animation control unit 53.

【００９５】ここで、操作パラメータ取得部２は、対話
システムを通してあるいは入力装置より直接、「クリッ
クの強度（圧力）」を取得する。第３のパラメータ変換
部５４は操作パラメータ取得部２より入力された操作パ
ラメータ（「クリックの強度」）を第１のアニメーショ
ン制御パラメータへ変換する。本実施例では，操作パラ
メータ「クリックの強度」は、プルダウンメニューオー
プンの速さ、およびプルダウンメニューの表示サイズを
制御するアニメーション制御パラメータへ変換されると
する。Here, the operation parameter acquisition unit 2 acquires the “click strength (pressure)” through the interactive system or directly from the input device. The third parameter conversion unit 54 converts the operation parameter (“click strength”) input from the operation parameter acquisition unit 2 into a first animation control parameter. In this embodiment, it is assumed that the operation parameter “click strength” is converted into an animation control parameter that controls the speed of opening the pull-down menu and the display size of the pull-down menu.

【００９６】一方、オブジェクト属性情報取得部３は対
話システム１２より，例えば「プルダウンメニューの
色」というオブジェクト属性情報を取得し、第４のパラ
メータ変換部５５に出力する。第４のパラメータ変換部
５５は、これらのオブジェクト属性情報を第２のアニメ
ーション制御パラメータに変換する。本例では、「メニ
ュー項目の数」に対応して、メニューオープンの速さを
制御するアニメーション制御パラメータへ変換される。On the other hand, the object attribute information acquiring unit 3 acquires, for example, object attribute information such as “pull-down menu color” from the interactive system 12 and outputs it to the fourth parameter converting unit 55. The fourth parameter conversion unit 55 converts the object attribute information into a second animation control parameter. In this example, it is converted into an animation control parameter that controls the speed of menu opening corresponding to “the number of menu items”.

【００９７】アニメーション制御部５３は、入力された
第１および第２のアニメーション制御パラメータに従っ
て、基本アニメーション選択部５１より入力されている
アニメーションデータの再生を制御する。The animation control unit 53 controls the reproduction of the animation data input from the basic animation selection unit 51 according to the input first and second animation control parameters.

【００９８】アニメーション制御部５３によって再生制
御された映像データは出力同期制御装置１８に出力され
る。この出力同期制御装置１８には、操作反応音合成装
置４より音響データも入力されるが、これら映像データ
と音響データの出力の同期をとって、これらのデータを
出力装置１９に出力する。同期制御の基本動作は、音響
データと映像データの再生開始時刻が同時になるように
制御することであるが、さらに詳細な同期制御を行うに
は、音響データと映像データの加工編集時に同期信号を
埋め込んでおき、この同期信号に基づき、再生中に同期
をとることもできる。The video data reproduced and controlled by the animation control unit 53 is output to the output synchronization control device 18. The output synchronization control device 18 also receives the audio data from the operation reaction sound synthesizing device 4. The output synchronization control device 18 synchronizes the output of the video data and the audio data and outputs these data to the output device 19. The basic operation of the synchronization control is to control the reproduction start time of the audio data and the video data to be the same at the same time. It can be embedded and synchronized during reproduction based on this synchronization signal.

【００９９】出力装置１９は、ディスプレイとスピーカ
ーなどの映像情報と音響情報の出力提示が可能な装置で
あり、入力された音響・映像データを出力する。The output device 19 is a device capable of outputting and displaying video information and audio information such as a display and a speaker, and outputs input audio / video data.

【０１００】この実施例の場合、例えば出力される操作
反応アニメーションはクリックが強くかつメニュー項目
が少ないほど、プルダウンメニューが素早くオープン
し、クリックが強いほどメニュー表示サイズが拡大され
て大きく表示される（メニュー項目の文字サイズも大き
く表示される）。それと同時に、操作反応音は、音量が
大きく音程も少し低く音色も複雑化したメニューオープ
ンの音が出力される。逆にメニュー項目が多くクリック
が弱い場合は、プルダウンメニューはゆっくりとオープ
ンし、メニュー表示サイズも小さくなる。それと同時に
出力される操作反応音は、音量が小さく音程は高く音色
の軽い音が出力される。このように、操作の具合と操作
対象のオブジェクトの属性に呼応して操作反応音だけで
なく操作反応のアニメーションもダイナミックに変化す
る効果が得られる。In the case of this embodiment, for example, in the operation response animation to be output, the pull-down menu is quickly opened as the click is strong and the number of menu items is small, and the menu display size is enlarged and displayed large as the click is strong. The font size of the menu item is also enlarged.) At the same time, the operation response sound is a menu opening sound with a large volume, a slightly lower pitch, and a more complex tone. Conversely, if there are many menu items and the click is weak, the pull-down menu opens slowly and the menu display size becomes smaller. At the same time, the operation reaction sound output at the same time has a small volume, a high pitch, and a light tone. In this way, an effect is obtained in which not only the operation response sound but also the animation of the operation response dynamically changes in response to the degree of operation and the attribute of the object to be operated.

【０１０１】次に、図１０に第２の実施の形態の別の実
施例を示す。対話システム１２は、通常、対話システム
１２内部に保有するＧＵＩ管理部１２０においてＧＵＩ
の生成を行なっている。先に説明した第２の実施の形態
の実施例においては、対話システム１２内部において生
成されるＧＵＩデータは利用せずにアニメーションを生
成する方法について説明したが、対話システムで生成さ
れるアニメーションデータを利用することも可能であ
る。Next, FIG. 10 shows another example of the second embodiment. The dialog system 12 is usually provided by a GUI management unit 120 provided inside the dialog system 12.
Is being generated. In the example of the second embodiment described above, a method of generating an animation without using GUI data generated inside the dialogue system 12 has been described. It is also possible to use it.

【０１０２】具体的には、アニメーション生成装置５は
アニメーション制御部５３、第３のパラメータ変換部５
４、第４のパラメータ変換部５５から構成され、アニメ
ーション制御部５３に出力されるべきアニメーションデ
ータは対話システム１２が有するＧＵＩ管理部１２０か
ら出力される。More specifically, the animation generation device 5 includes an animation control unit 53 and a third parameter conversion unit 5
4. The animation data to be output to the animation control unit 53, which is composed of the fourth parameter conversion unit 55, is output from the GUI management unit 120 included in the dialogue system 12.

【０１０３】尚、第1および第2の実施の形態における対
話システムのＧＵＩとは、現状のパソコンやビデオゲー
ムで利用されている２次元のＧＵＩに限定するものでは
ない。例えば、バーチャルリアリティー環境、やオーグ
メンティッドリアリティーなど、インタフェースが３次
元の対話システムについても本発明を適応することが可
能である。The GUI of the dialogue system in the first and second embodiments is not limited to the two-dimensional GUI currently used in personal computers and video games. For example, the present invention can be applied to a three-dimensional interface system such as a virtual reality environment and an augmented reality.

【０１０４】また、入力装置１１として、ジェスチャ入
力装置を利用することもできる。例えば、ユーザが手に
光源を持ち、カメラで光源を撮影し、光源の動きを画像
解析する事でジェスチャ認識を行なう装置がある。ここ
では、光源の動きを人間の手の動きとみなし、光源の動
きから「手を振り上げた」「右方向を指さした」という
ような動作パタンを抽出し、それら動作パタンを対話シ
ステムへのコマンドとして利用する技術が利用されてき
た。通常は前述のように、光源の動きをあらかじめ設定
されている有限の動作パタンと照合し、光源の動きがど
の動作パタンに照合するかを判断するのである。この
時、光源の移動速度など、より詳細な情報を連続な数値
として取得して、図１および図９、図１０の操作パラメ
ータとすることで、ジェスチャ入力における操作パラメ
ータを操作反応音の加工編集およびアニメーションの制
御へと利用することができる。Further, a gesture input device can be used as the input device 11. For example, there is a device that performs gesture recognition by holding a light source in a user's hand, photographing the light source with a camera, and performing image analysis on the movement of the light source. Here, the movement of the light source is regarded as the movement of the human hand, and the movement patterns such as "was up your hand" and "points to the right" are extracted from the movement of the light source, and those movement patterns are commanded to the dialogue system. Technology that has been used as a has been used. Normally, as described above, the motion of the light source is compared with a preset finite operation pattern, and it is determined which motion pattern the motion of the light source matches. At this time, more detailed information such as the moving speed of the light source is acquired as continuous numerical values, and is used as the operation parameters in FIGS. 1, 9, and 10. And can be used to control animation.

【０１０５】バーチャルリアリティー空間においては仮
想的に存在する３Ｄオブジェクトをつかんだり移動した
り投げたりと直接操作することが可能だが、このような
直接操作のフィードバック生成手法として本発明を利用
することも可能である。In the virtual reality space, it is possible to directly operate such as grasping, moving, and throwing a virtual 3D object, but the present invention can also be used as a feedback generation method of such a direct operation. It is.

【０１０６】また、第１の実施の形態、第２の実施の形
態で説明した、操作反応音生成装置は、一般にパーソナ
ルコンピュータ、ワークステーションと呼ばれるコンピ
ュータによって実現可能である。この場合、上記説明し
た操作パラメータ取得部２、オブジェクト属性取得部
３、操作反応音合成装置４、アニメーション生成装置
５、ＧＵＩ管理部１２、イベント取得部１３、出力同期
制御装置１８の各機能を実現するコンピュータプログラ
ムを作成し、そのコンピュータプログラムをＣＤ−ＲＯ
Ｍやフロッピー（登録商標）ディスクや半導体メモリに
代表される記録媒体に記録しておき、コンピュータ側で
は、このプログラムが記録された記録媒体を読み出すこ
とにより、コンピュータに上記各機能を生成するように
すれば、本発明の操作反応音生成装置をコンピュータに
よって実現することができる。また、このコンピュータ
プログラムは、例えばサーバ内の記録装置に記録されて
いる形態でもかまわなく、ネットワークを介してこのサ
ーバ内に含まれるプログラムを提供する形態でもよい。The operation response sound generation device described in the first and second embodiments can be realized by a computer generally called a personal computer or a workstation. In this case, the functions of the operation parameter acquisition unit 2, the object attribute acquisition unit 3, the operation reaction sound synthesis device 4, the animation generation device 5, the GUI management unit 12, the event acquisition unit 13, and the output synchronization control device 18 described above are realized. To create a computer program to perform
M, a floppy (registered trademark) disk or a semiconductor memory, and the recording is performed on a recording medium. The computer reads out the recording medium on which the program is recorded so that the computer can generate the above functions. Then, the operation reaction sound generation device of the present invention can be realized by a computer. Further, the computer program may be, for example, in a form recorded in a recording device in the server, or in a form in which a program included in the server is provided via a network.

【０１０７】[0107]

【発明の効果】本発明の第1の効果は、ＧＵＩ操作の現
実味（リアリティ）が増加し、ユーザはより自然な操作
感を得る事ができる。一例としては例えば、プッシュボ
タンを素早く軽くクリックすると短く軽いボタンの押下
音が出力され、容量が大きいファイルをゆっくりとドラ
ッグすると重くゆったりとした摩擦音が出力されたり，
強くクリックすると素早く，大きくメニューやウィンド
ウが開き、弱くクリックするとゆっくり、小さくメニュ
ーやウィンドウが開くようにすることによって、ユーザ
はより自然な操作感を得る事ができる。According to the first effect of the present invention, the reality (reality) of GUI operation is increased, and the user can obtain a more natural operation feeling. For example, if the push button is quickly and lightly clicked, a short and light button press sound is output, and if a large file is slowly dragged, a heavy and loose frictional sound is output.
The user can get a more natural operation feeling by opening a large menu or window quickly with a strong click and opening a small menu or window slowly with a weak click.

【０１０８】その理由は、入力装置が取得する入力の詳
細な情報とオブジェクトの属性情報の双方を操作反応生
成に利用することで、操作の強度や速さ、さらにはオブ
ジェクトの大きさや形といった複数の要因およびそれら
の変化を反映した操作反応音および操作反応アニメーシ
ョンを出力するからである。The reason is that both the detailed information of the input obtained by the input device and the attribute information of the object are used for generating the operation reaction, and the intensity and speed of the operation, and further, the size and shape of the object can be controlled. This is because the operation response sound and the operation response animation reflecting the factors of the above and their changes are output.

【０１０９】現実世界を考えるとき、ある作用に応じて
反応が発生する。反応音に関して例を挙げると，例え
ば、水の入ったコップを棒で叩くと、「コップを叩く
音」が発生するが、音響的に全く同じ音を２度以上出す
事は非常に困難であろう。これは、どのような音が生じ
るかは、“叩かれる側の性質（コップの性質）”、“叩
く側の性質（棒の性質と叩き方）”に依存するからであ
る。全く同じコップを同じ棒で叩いても、叩く強さや角
度、叩く位置によって異なる音が生じる。また、同じ棒
で同じように叩くことができても、コップの種類や中に
入っている水の量で、異なる音が発生する。視覚で確認
できる状態変化についても、強く押せば押すほど深くへ
こんだり、同じ強さで押したりしても、柔らかい物質を
おせば硬い物質を押すよりも深くへこむ、という現象が
おきる。When considering the real world, a reaction occurs according to a certain action. For example, if you hit a glass with water with a stick, you will get a "sound of a glass", but it is very difficult to produce the same acoustic sound twice or more. Would. This is because what kind of sound is generated depends on "the nature of the beating side (the nature of the cup)" and "the nature of the beating side (the nature of the stick and how to strike)". Even if you hit the exact same cup with the same stick, different sounds will be produced depending on the strength, angle, and position of the strike. Even if you can hit the same stick with the same stick, different sounds will be generated depending on the type of cup and the amount of water inside. Regarding the state change that can be visually confirmed, the phenomenon occurs that the more the pressure is pressed, the deeper the depression is made, and even if the same strength is applied, the soft substance dents deeper than the hard substance.

【０１１０】つまり、ある作用により生じる操作反応
は、“作用をうけるものの性質”“作用を及ぼすものの
性質”、という双方の情報に依存して、多様に変化す
る。音の変化は劇的なものばかりではなく、音色や音
量、音の高さが微妙に変化する程度のことも多いが、作
用の微妙な違いに追随した音の微妙な変化こそが、現実
感あるいは自然さを生み出している。In other words, the operation reaction caused by a certain action changes variously depending on both the information of “the property of the affected one” and “the property of the one that exerts the action”. The change in sound is not only dramatic, but also the timbre, volume, and pitch of the sound often change subtly, but the subtle changes in the sound that follow the subtle differences in the effect are the reality. Or it creates naturalness.

【０１１１】本発明では、このような操作反応の仕組み
をモデル化し、多様な操作反応生成を可能とする。対話
システムにおける作用とは、ディスプレイ表示されるＧ
ＵＩオブジェクトに対してユーザが入力装置を通して操
作を行なうことである。オブジェクト属性取得部３は
“作用を受けるオブジェクトの性質”を取得し、操作パ
ラメータ取得部２が“作用を及ぼす入力装置の性質と作
用そのものの性質（入力装置の種類、操作の強度、速
度）”を取得する。そして、これら双方の情報を利用し
て、操作反応を加工編集および制御することで、多様な
操作反応を生成して出力することができる。この事によ
り、操作に対してダイナミックに、また操作の微妙な違
いに対してセンシティブに多様な操作反応が生成され
る。この結果、操作における現実感・自然さが向上す
る。In the present invention, the mechanism of such an operation reaction is modeled, and various operation reactions can be generated. The action in the dialogue system is the G displayed on the display.
The user operates the UI object through the input device. The object attribute acquisition unit 3 acquires the “property of the object to be acted upon”, and the operation parameter acquisition unit 2 acquires the “property of the input device exerting the effect and the nature of the operation itself (type of input device, operation intensity, speed)”. To get. Then, various operation responses can be generated and output by processing and editing and controlling the operation response using both of these information. As a result, various operation responses are generated dynamically in response to operations and sensitive to subtle differences in operations. As a result, the realism and naturalness in the operation are improved.

【０１１２】本発明の第２の効果は、多種多様な操作反
応音や反応アニメーションが出力されるにもかかわら
ず、多くの音をあらかじめ制作して用意しておく必要が
ないことである。A second effect of the present invention is that, although various operation reaction sounds and reaction animations are output, it is not necessary to produce and prepare many sounds in advance.

【０１１３】その理由は、操作パラメータとオブジェク
ト属性情報を利用して、基本の操作反応音やアニメーシ
ョンをリアルタイムに加工編集および制御して出力する
ためである。The reason is that basic operation reaction sounds and animations are processed, edited, controlled and output in real time using the operation parameters and object attribute information.

【図面の簡単な説明】[Brief description of the drawings]

【図１】操作反応音生成装置の構成図FIG. 1 is a configuration diagram of an operation reaction sound generation device.

【図２】操作反応音生成装置の動作を示すフローチャー
トFIG. 2 is a flowchart showing the operation of the operation reaction sound generation device.

【図３】操作反応音生成装置の動作を示すフローチャー
トFIG. 3 is a flowchart showing the operation of the operation reaction sound generation device.

【図４】第1の実施の形態の説明図FIG. 4 is an explanatory diagram of the first embodiment.

【図５】第1の実施の形態の説明図FIG. 5 is an explanatory diagram of the first embodiment.

【図６】第1の実施の形態の説明図FIG. 6 is an explanatory diagram of the first embodiment.

【図７】基本反応音選択テーブルFIG. 7: Basic reaction sound selection table

【図８】操作反応音合成装置の別の構成図FIG. 8 is another configuration diagram of the operation reaction sound synthesizer.

【図９】操作反応生成装置（アニメーション生成装置を
含む）の構成図FIG. 9 is a configuration diagram of an operation reaction generation device (including an animation generation device).

【図１０】操作反応生成装置（アニメーション生成装置
を含む）の別の構成図FIG. 10 is another configuration diagram of an operation reaction generation device (including an animation generation device).

【図１１】従来の操作反応音出力装置の構成の一例を示
すブロック図FIG. 11 is a block diagram showing an example of a configuration of a conventional operation response sound output device.

【符号の説明】[Explanation of symbols]

２ 操作パラメータ取得部 ３ オブジェクト属性取得部 ４ 操作反応音合成装置 ５ アニメーション生成装置 １１ 入力装置 １２ 対話システム １３ イベント取得部 １４ 操作反応音選択部 １５ 操作反応音データベース １６ 音響出力装置 １８ 出力同期制御装置 １９ 出力装置 ４１ 基本反応音選択部 ４２ 操作反応音データベース ４３ 音響編集装置 ４４ 第1のパラメータ変換部 ４５ 第2のパラメータ変換部 ５１ 基本アニメーション選択部 ５２ アニメーションデータベース ５３ アニメーション制御部 ５４ 第3のパラメータ変換部 ５５ 第4のパラメータ変換部 ７１ 感圧センサ付マウス ７２ プッシュボタン ７３ プッシュボタン ７４ プッシュボタン押下時の操作パラメータとオブジ
ェクト属性情報 ７５ 基本反応音選択テーブルのイベント欄 ７６ 基本反応音選択テーブルの操作反応音欄 ７７ アイコンクリック時の操作パラメータとオブジェ
クト属性情報 ７８ アイコンドラッグ時の操作パラメータとオブジェ
クト属性情報 ７９ メニューボタンクリック時の操作パラメータとオ
ブジェクト属性情報 １２０ ＧＵＩ管理部2 Operation Parameter Acquisition Unit 3 Object Attribute Acquisition Unit 4 Operation Response Sound Synthesis Device 5 Animation Generation Device 11 Input Device 12 Dialog System 13 Event Acquisition Unit 14 Operation Response Sound Selection Unit 15 Operation Response Sound Database 16 Sound Output Device 18 Output Synchronization Control Device Reference Signs List 19 output device 41 basic reaction sound selection unit 42 operation reaction sound database 43 sound editing device 44 first parameter conversion unit 45 second parameter conversion unit 51 basic animation selection unit 52 animation database 53 animation control unit 54 third parameter conversion Unit 55 Fourth parameter conversion unit 71 Mouse with pressure sensor 72 Push button 73 Push button 74 Operation parameters and object attribute information when push button is pressed 75 Event column of basic reaction sound selection table 76 Operation reaction sound column of basic reaction sound selection table 77 Operation parameter and object attribute information when icon is clicked 78 Operation parameter and object attribute information when icon is dragged 79 Operation parameter and object attribute information when menu button is clicked 120 GUI management unit

Claims (12)

【特許請求の範囲】[Claims] 【請求項１】対話システムに対する操作の強度、また
は、操作の速度のどちらか一方もしくは両方からなる操
作パラメータを得ることが可能な入力装置から該操作パ
ラメータを取得すると共に、該操作対象となるオブジェ
クトの属性情報と該操作に対するイベント情報とを取得
し、 取得した該イベント情報に対応する操作反応音を選択す
ると共に、該操作パラメータ及び該オブジェクトの属性
情報に基づいて該選択された操作反応音を編集して出力
することを特徴とする操作反応音生成装置。An object to be operated, wherein the operation parameter is obtained from an input device capable of obtaining an operation parameter consisting of one or both of the operation intensity and / or the operation speed of the interactive system. Acquiring the attribute information and the event information for the operation, selecting an operation response sound corresponding to the acquired event information, and displaying the selected operation response sound based on the operation parameter and the attribute information of the object. An operation response sound generation device characterized by editing and outputting. 【請求項２】請求項１記載の操作反応音生成装置が、さ
らに、前記該操作パラメータ及び該オブジェクトの属性
情報に基づいて操作反応アニメーションを出力すること
を特徴とする操作反応音生成装置。2. The operation response sound generation device according to claim 1, wherein the operation response sound generation device further outputs an operation response animation based on the operation parameter and attribute information of the object. 【請求項３】グラフィカル・ユーザ・インタフェースを
有するイベントドリブン型の対話システムと、 該対話システムに対して入力操作を行えると共に、操作
の強度、または、操作の速度のうちどちらか一方あるい
は両方からなる操作パラメータを出力する入力装置と、 前記対話システムで生じるイベントを取得するイベント
取得部と、 前記入力装置より出力される操作パラメータを取得する
操作パラメータ取得部と、 操作対象となるグラフィカル・ユーザ・インタフェース
・オブジェクトの属性情報を前記対話システムより取得
するオブジェクト属性取得部と、 前記イベント情報、前記操作パラメータ及び前記オブジ
ェクト属性情報に基づいて操作反応音を合成する操作反
応音合成装置と、 前記操作反応音合成装置で合成された操作反応音を出力
する出力装置と、 を備えることを特徴とする操作反応音生成装置。3. An event-driven dialogue system having a graphical user interface, an input operation being performed on the dialogue system, and one or both of operation intensity and operation speed. An input device that outputs an operation parameter; an event acquisition unit that acquires an event generated in the interactive system; an operation parameter acquisition unit that acquires an operation parameter output from the input device; and a graphical user interface to be operated An object attribute acquisition unit that acquires object attribute information from the dialogue system; an operation response sound synthesis device that synthesizes an operation response sound based on the event information, the operation parameter, and the object attribute information; Operation counter synthesized by the synthesizer Operation reaction sound generating apparatus characterized by comprising an output device for outputting sound. 【請求項４】前記操作反応音合成装置が、 音データが蓄積されている操作反応音データベースと、 前記イベント情報と前記音データの対応関係情報を予め
保持し、前記イベント情報に対応する操作反応音データ
を前記操作反応音データベースに蓄積されている音デー
タから選択する基本反応音選択部と、 前記操作パラメータを第１の音響編集パラメータに変換
する第１のパラメータ変換部と、 前記オブジェクト属性情報を第２の音響編集パラメータ
に変換する第２のパラメータ変換部と、 各種音響エフェクタ、音響フィルタ、イコライザなどに
よって音響波形を編集加工する機能を有し、前記第１の
音響編集パラメータ及び前記第２の音響編集パラメータ
に基づいて、前記基本反応音選択部が選択した音データ
を加工編集する音響編集装置と、 から構成されることを特徴とする請求項３に記載の操作
反応音生成装置4. An operation response sound synthesizing apparatus, comprising: an operation response sound database in which sound data is stored; and a correspondence information between the event information and the sound data, and an operation response corresponding to the event information. A basic reaction sound selection unit for selecting sound data from the sound data stored in the operation reaction sound database; a first parameter conversion unit for converting the operation parameter into a first sound editing parameter; A second parameter conversion unit for converting the first sound editing parameter and the second sound editing parameter into a second sound editing parameter, and a function of editing and processing the sound waveform by various sound effectors, sound filters, and equalizers. A sound editing device for processing and editing the sound data selected by the basic reaction sound selection unit based on the sound editing parameters of Operation reaction sound generating apparatus according to claim 3, characterized in that they are composed, the 【請求項５】前記出力装置が映像および音響を出力可能
であって、 さらに、前記イベント情報、前記操作パラメータ及び前
記オブジェクト属性情報を利用して、アニメーション再
生速度制御、再生画像の大きさや位置の制御、画像エフ
ェクトの付加といったアニメーション再生の制御を行な
うアニメーション生成装置と、 前記操作反応音合成装置で合成された操作反応音の音響
データと前記アニメーション生成装置で制御が行われる
アニメーション再生における映像データの同期調整を行
なう出力同期制御装置と、 を有することを特徴とする請求項３または４に記載の操
作反応音生成装置。5. The output device is capable of outputting video and audio, and further uses the event information, the operation parameters, and the object attribute information to control animation reproduction speed, and to control the size and position of a reproduced image. An animation generation device that performs control of animation reproduction such as control and addition of an image effect; audio data of operation reaction sound synthesized by the operation reaction sound synthesis device; and video data in animation reproduction controlled by the animation generation device. The operation response sound generation device according to claim 3 or 4, further comprising: an output synchronization control device that performs synchronization adjustment. 【請求項６】前記アニメーション生成装置が、 アニメーション用の画像データ群を蓄積するアニメーシ
ョンデータベースと、 前記イベント情報に基づいてアニメーションデータベー
スより基本アニメーションデータを取得する基本アニメ
ーション選択部と、 前記操作パラメータを第１のアニメーション制御パラメ
ータに変換する第３のパラメータ変換部と、 前記オブジェクト属性情報を第２のアニメーション制御
パラメータに変換する第４のパラメータ変換部と、 前記第１のアニメーション制御パラメータと前記第２の
アニメーション制御パラメータに基づいてアニメーショ
ン再生の再生速度、再生画像の位置や大きさ、画像エフ
ェクト等の制御を行なうアニメーション制御部と、 から構成されることを特徴とする請求項５に記載の操作
反応音生成装置。6. An animation database for storing an image data group for animation, a basic animation selection unit for acquiring basic animation data from an animation database based on the event information, and A third parameter conversion unit that converts the object attribute information into a second animation control parameter, a third parameter conversion unit that converts the object attribute information into a second animation control parameter, and a third parameter conversion unit that converts the object attribute information into a second animation control parameter. 6. The operation according to claim 5, further comprising: an animation control unit that controls a reproduction speed of the animation reproduction, a position and a size of a reproduced image, an image effect, and the like based on the animation control parameter.応音 generating device. 【請求項７】前記アニメーション生成装置が、 前記操作パラメータを第１のアニメーション制御パラメ
ータに変換する第３のパラメータ変換部と、 前記オブジェクト属性情報を第２のアニメーション制御
パラメータに変換する第４のパラメータ変換部と、 前記第１のアニメーション制御パラメータと前記第２の
アニメーション制御パラメータに基づいてアニメーショ
ン再生の再生速度、再生画像の位置や大きさ、画像エフ
ェクト等の制御を行なうアニメーション制御部と、 から構成され、 前記アニメーション制御部は、該対話システムより取得
されるアニメーションデータに対してアニメーション再
生の制御を行なうことを特徴とする請求項５に記載の操
作反応音生成装置。7. A third parameter conversion unit that converts the operation parameter into a first animation control parameter, and a fourth parameter that converts the object attribute information into a second animation control parameter. A conversion unit; and an animation control unit that controls a reproduction speed of an animation reproduction, a position and a size of a reproduced image, an image effect, and the like based on the first animation control parameter and the second animation control parameter. The operation response sound generation apparatus according to claim 5, wherein the animation control unit controls animation reproduction for animation data acquired from the dialog system. 【請求項８】グラフィカル・ユーザ・インタフェースを
有するイベントドリブン型の対話システムと、該対話シ
ステムに対して入力操作を行えると共に、操作の強度、
または、操作の速度のうちどちらか一方あるいは両方か
らなる操作パラメータを出力する入力装置と、ユーザに
対して出力を行う出力装置とを少なくとも備えるコンピ
ュータシステムで読み取り可能な記録媒体であって、 コンピュータに、 前記対話システムで生じるイベントを取得するイベント
取得機能と、 前記入力装置より出力される操作パラメータを取得する
操作パラメータ取得機能と、 操作対象となるグラフィカル・ユーザ・インタフェース
・オブジェクトの属性情報を前記対話システムより取得
するオブジェクト属性取得機能と、 前記イベント情報、前記操作パラメータ及び前記オブジ
ェクト属性情報に基づいて操作反応音を合成し、前記出
力装置に対して出力する操作反応音合成機能と、 を実現することを特徴とする操作反応音生成プログラム
を記録した記録媒体。8. An event-driven interactive system having a graphical user interface, an input operation being performed on the interactive system, the intensity of the operation,
Alternatively, a computer-readable recording medium including at least an input device that outputs an operation parameter including one or both of operation speeds and an output device that outputs an operation to a user. An event acquisition function for acquiring an event occurring in the interaction system; an operation parameter acquisition function for acquiring an operation parameter output from the input device; and an attribute information of a graphical user interface object to be operated. An object attribute acquisition function acquired from a system; and an operation response sound synthesis function of synthesizing an operation response sound based on the event information, the operation parameter, and the object attribute information, and outputting the operation response sound to the output device. Operational reaction characterized by that Recording medium storing the generated program. 【請求項９】前記操作反応音合成機能が、 音データが蓄積されている操作反応音データベース機能
と、 前記イベント情報と前記音データの対応関係情報を予め
保持し、前記イベント情報に対応する操作反応音データ
を前記操作反応音データベースに蓄積されている音デー
タから選択する基本反応音選択機能と、 前記操作パラメータを第１の音響編集パラメータに変換
する第１のパラメータ変換機能と、 前記オブジェクト属性情報を第２の音響編集パラメータ
に変換する第２のパラメータ変換機能と、 各種音響エフェクタ、音響フィルタ、イコライザなどに
よって音響波形を編集加工する機能を有し、前記第１の
音響編集パラメータ及び前記第２の音響編集パラメータ
に基づいて、前記基本反応音選択部が選択した音データ
を加工編集する音響編集機能と、 からなることを特徴とする請求項８記載の操作反応音生
成プログラムを記録した記録媒体。9. An operation response sound synthesizing function comprising: an operation response sound database function in which sound data is stored; and a correspondence relationship information between the event information and the sound data, and an operation corresponding to the event information. A basic reaction sound selection function of selecting reaction sound data from the sound data stored in the operation reaction sound database; a first parameter conversion function of converting the operation parameter into a first sound editing parameter; A second parameter conversion function of converting information into a second sound editing parameter; and a function of editing and processing a sound waveform by using various sound effectors, sound filters, and equalizers. Processing and editing the sound data selected by the basic reaction sound selection unit based on the second sound editing parameter Recording medium recording the operation reaction sound generator according to claim 8, wherein the sound editing function, in that it consists of. 【請求項１０】前記出力装置が映像および音響を出力可
能であって、 コンピュータに、さらに、前記イベント情報、前記操作
パラメータ及び前記オブジェクト属性情報を利用して、
アニメーション再生速度制御、再生画像の大きさや位置
の制御、画像エフェクトの付加といったアニメーション
再生の制御を行なうアニメーション生成機能と、 前記操作反応音合成機能によって合成された操作反応音
の音響データと前記アニメーション生成機能によって制
御が行われるアニメーション再生における映像データの
同期調整を行なう出力同期制御機能と、 を実現することを特徴とする請求項８または９に記載の
操作反応音生成プログラムを記録した記録媒体。10. The output device is capable of outputting video and audio, and further comprising: a computer further using the event information, the operation parameters, and the object attribute information,
An animation generation function for controlling animation reproduction such as animation reproduction speed control, control of the size and position of a reproduced image, and addition of an image effect; sound data of operation reaction sound synthesized by the operation reaction sound synthesis function; and generation of the animation The recording medium according to claim 8 or 9, wherein an output synchronization control function for performing synchronization adjustment of video data in animation reproduction controlled by the function is realized. 【請求項１１】前記アニメーション生成機能が、 アニメーション用の画像データ群を蓄積するアニメーシ
ョンデータベース機能と、 前記イベント情報に基づいて前記アニメーションデータ
ベース機能により基本アニメーションデータを取得する
基本アニメーション選択機能と、 前記操作パラメータを第１のアニメーション制御パラメ
ータに変換する第３のパラメータ変換機能と、 前記オブジェクト属性情報を第２のアニメーション制御
パラメータに変換する第４のパラメータ変換機能と、 前記第１のアニメーション制御パラメータと前記第２の
アニメーション制御パラメータに基づいてアニメーショ
ン再生の再生速度、再生画像の位置や大きさ、画像エフ
ェクト等の制御を行なうアニメーション制御機能と、 からなることを特徴とする請求項１０記載の操作反応音
生成プログラムを記録した記録媒体。11. An animation database function for accumulating a group of image data for animation, a basic animation selection function for acquiring basic animation data by the animation database function based on the event information, and A third parameter conversion function of converting a parameter into a first animation control parameter; a fourth parameter conversion function of converting the object attribute information into a second animation control parameter; An animation control function for controlling a reproduction speed of an animation reproduction, a position and a size of a reproduced image, an image effect, and the like based on a second animation control parameter. Recording medium recording the operation reaction sound generation program to claim 10. 【請求項１２】前記アニメーション生成機能が、 前記操作パラメータを第１のアニメーション制御パラメ
ータに変換する第３のパラメータ変換機能と、 前記オブジェクト属性情報を第２のアニメーション制御
パラメータに変換する第４のパラメータ変換機能と、 前記第１のアニメーション制御パラメータと前記第２の
アニメーション制御パラメータに基づいてアニメーショ
ン再生の再生速度、再生画像の位置や大きさ、画像エフ
ェクト等の制御を行なうアニメーション制御機能と、 からなり、 前記アニメーション制御機能は、該対話システムより取
得されるアニメーションデータに対してアニメーション
再生の制御を行なうことを特徴とする請求項１０に記載
の操作反応音生成プログラムを記録した記録媒体。12. The animation generation function, a third parameter conversion function for converting the operation parameter into a first animation control parameter, and a fourth parameter for converting the object attribute information into a second animation control parameter A conversion function; and an animation control function for controlling a reproduction speed of an animation reproduction, a position and a size of a reproduced image, an image effect, and the like based on the first animation control parameter and the second animation control parameter. 11. The recording medium according to claim 10, wherein the animation control function controls animation reproduction for animation data obtained from the interactive system.