JP3525817B2 - Operation reaction sound generation device and recording medium storing operation reaction sound generation program - Google Patents
Operation reaction sound generation device and recording medium storing operation reaction sound generation programInfo
- Publication number
- JP3525817B2 JP3525817B2 JP22864399A JP22864399A JP3525817B2 JP 3525817 B2 JP3525817 B2 JP 3525817B2 JP 22864399 A JP22864399 A JP 22864399A JP 22864399 A JP22864399 A JP 22864399A JP 3525817 B2 JP3525817 B2 JP 3525817B2
- Authority
- JP
- Japan
- Prior art keywords
- animation
- parameter
- sound
- reaction sound
- operation reaction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
- User Interface Of Digital Computer (AREA)
Description
【0001】[0001]
【発明の属する技術分野】本発明は計算機システムのユ
ーザ・インタフェースの一つである操作反応音生成装置
及び操作反応音生成プログラムを記録した記録媒体に関
し、特に、ユーザの入力操作とオブジェクトの属性に基
づいて操作反応音をパラメトリックに生成する操作反応
音生成装置及び操作反応音生成プログラムを記録した記
録媒体に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an operation reaction sound generation device and a recording medium recording an operation reaction sound generation program, which is one of user interfaces of a computer system, and more particularly to a user input operation and an attribute of an object. The present invention relates to an operation reaction sound generation device that parametrically generates an operation reaction sound, and a recording medium recording an operation reaction sound generation program.
【0002】[0002]
【従来の技術】従来、対話システムにおける操作フィー
ドバックを目的として、ユーザの何かしらの操作に対し
て反応音を出力する方法が利用されている。図11に従
来の操作反応音出力装置の構成の一例を示すブロック図
を示し、この図11を用いて従来の操作反応音出力装置
の構成を説明する。2. Description of the Related Art Conventionally, a method of outputting a reaction sound in response to some operation by a user has been used for the purpose of operation feedback in a dialogue system. FIG. 11 is a block diagram showing an example of the configuration of a conventional operation reaction sound output device, and the configuration of the conventional operation reaction sound output device will be described with reference to FIG.
【0003】従来の操作反応音出力装置は、ユーザが対
話システムへの入力を行なうマウスやキーボードなどの
入力装置11と、グラフィカル・ユーザ・インタフェー
ス(以下GUI)を有し、入力装置11からの入力に応
じて内部処理を行なうイベントドリブン型の対話システ
ム12と、前記対話システム12内で生じるイベント情
報(ボタン押下、アイコンクリック、メニューオープン
等)を取得するイベント取得部13と、デジタル音響デ
ータである操作反応音データが蓄積されている操作反応
音データベース15と、イベント取得部13にて取得さ
れたイベント情報に対応する操作反応音データを操作反
応音データベース15より取得し、音響データとして出
力する操作反応音選択部14と、操作反応音選択部14
から出力された音響データを出力するスピーカー等の音
響出力装置16、とから構成される。The conventional operation reaction sound output device has an input device 11 such as a mouse and a keyboard for the user to input to the interactive system, and a graphical user interface (hereinafter referred to as GUI). An event-driven type interactive system 12 that performs internal processing according to the above, an event acquisition unit 13 that acquires event information (button press, icon click, menu open, etc.) that occurs in the interactive system 12, and digital audio data. Operation for acquiring operation reaction sound database 15 in which operation reaction sound data is accumulated and operation reaction sound data corresponding to the event information acquired by event acquisition unit 13 from operation reaction sound database 15, and outputting as acoustic data Reaction sound selection unit 14 and operation reaction sound selection unit 14
And an acoustic output device 16 such as a speaker that outputs the acoustic data output from.
【0004】つまり、従来の操作反応音出力装置は、対
話システム12内で発生するイベント情報(例えば「ボ
タン押下」)に対して、あらかじめ用意されている操作
反応音データ(例えば、操作反応音データベース15
に、デジタル形式のサウンドファイル「kachi.wav」が
イベント情報「ボタン押下」に対応づけられて保存され
ていれば、この「kachi.wav」)を選択的に出力する。That is, in the conventional operation reaction sound output device, operation reaction sound data (for example, operation reaction sound database) prepared in advance for event information (for example, "button press") occurring in the interactive system 12 is generated. 15
If the digital sound file "kachi.wav" is stored in association with the event information "button pressed", this "kachi.wav") is selectively output.
【0005】さらに、この操作反応音生成装置をより発
展させた一例が、「1993年4月、プロシーディングス・
オブ・インター−カイ'93 pp.228-235 “シンセサイジ
ング・オーディトリー・アイコンズ”」("Synthesizin
g Auditory Icons.", Proceedings of INTER-CHI'93. p
p.228-235 April 1993)に記載されている。この論文に
は、操作対象オブジェクトの属性をパラメータとして、
操作反応音をパラメトリックに加工して出力する技術が
記載されている。Further, one example of further development of this operation reaction sound generating device is "April 1993, Proceedings
Of Inter-Kay '93 pp.228-235 "Synthesizing Auditory Icons""(" Synthesizin
g Auditory Icons. ", Proceedings of INTER-CHI'93. p
p.228-235 April 1993). In this paper, using the attribute of the operation target object as a parameter,
A technique of processing the operation reaction sound parametrically and outputting it is described.
【0006】具体的には、ファイルサイズの大きいファ
イルをクリックすると大きい操作反応音が出力された
り、アイコンドラッグ時に背景に応じてドラッグ音の音
色を変化させたり、プロセスが速く(重く)なると音も
速くなる、等である。この技術を利用することで、操作
反応音を用いてアイコンやシステムの情報を表現するこ
とが可能である。Specifically, when a file having a large file size is clicked, a large operation reaction sound is output, the tone of the drag sound is changed according to the background when the icon is dragged, and a sound is generated when the process becomes faster (heavy). Get faster, and so on. By using this technology, it is possible to represent icons and system information using operation reaction sounds.
【0007】一方、ポインティングデバイス移動情報に
対して音または音楽を発生する技術が、特開平10−4
0067号公報に記載されている。これによると、ポイ
ンティングデバイスの移動量および移動方向等の移動情
報を取得して音、音声、または音楽を出力することで、
ポインティングデバイスの操作を聴覚で理解でき、パー
ソナルコンピュータ等における操作性が向上する。On the other hand, a technique for generating sound or music in response to pointing device movement information is disclosed in Japanese Patent Laid-Open No. 10-4.
It is described in Japanese Patent Publication No. 0067. According to this, by acquiring movement information such as the movement amount and movement direction of the pointing device and outputting sound, voice, or music,
The operation of the pointing device can be understood auditorily, and the operability of a personal computer or the like is improved.
【0008】また、キーボードのキーの押下力を検出し
押下力情報として出力できるキーボードが特開昭62−
70897号公報に記載されている。このキーボードを
利用すると、打鍵の強弱情報が入力できるため、音楽演
奏の情報入力に適している旨が記載されている。A keyboard capable of detecting the pressing force of a key on the keyboard and outputting the information as pressing force information is disclosed in Japanese Patent Laid-Open No. 62-62.
No. 70897. It is stated that this keyboard is suitable for inputting information on music performance, since information on the strength of keystrokes can be input.
【0009】また、キーボードが接触の有無、押し下げ
圧力、速度、深さ、を感知できることを特徴とし、それ
らの情報に応じて信号音を変化させる技術が、特開平9
−305286号公報に記載されている。これによる
と、キーボードのキーの押し下げ状態を使用者にフィー
ドバックすることで、誤動作が減少する。Further, there is a technique in which a keyboard can detect the presence / absence of a contact, a pressing pressure, a speed, and a depth, and a signal sound is changed according to the information, as disclosed in Japanese Patent Laid-Open No. 9-29200.
No. 305286. According to this, malfunction is reduced by feeding back the pressed state of the key of the keyboard to the user.
【0010】一方、アニメーション生成の分野において
は、ディスプレイ上に表示される視覚オブジェクトの動
作情報に応じて所定の音を発生させる装置が特開平6−
243229号公報に記載されている。これによると、
オブジェクトが別のオブジェクトに接近あるいは衝突し
たときに所定の音声を自動的に発生させることを特徴と
することで、アニメーションの生成が容易になる。On the other hand, in the field of animation generation, a device for generating a predetermined sound according to the motion information of a visual object displayed on a display is disclosed in Japanese Patent Laid-Open No. 6-.
No. 243229. according to this,
The feature of automatically generating a predetermined sound when an object approaches or collides with another object facilitates the generation of animation.
【0011】また、視覚オブジェクトの動きおよびタイ
ミングを出力される音声信号に同期するように制御する
発明が特開平5−232601号公報に記載されてい
る。これによると、音声信号に含まれる画像制御信号に
基づいて動画の再生または出力のタイミングおよび順序
の少なくとも一方を制御するものである。An invention for controlling the movement and timing of a visual object so as to be synchronized with an output audio signal is described in Japanese Patent Laid-Open No. 232601/1993. According to this, at least one of the timing and order of reproduction or output of a moving image is controlled based on the image control signal included in the audio signal.
【0012】[0012]
【発明が解決しようとする課題】しかしながら、上述し
た従来の技術では次のような問題がある。However, the above-mentioned conventional technique has the following problems.
【0013】まず、従来技術の第1の問題点は、仮想世
界上のオブジェクトに対する操作において出力される操
作反応音に現実味がなく、ユーザは操作反応音を聞くこ
とによりオブジェクトに対してどのような操作が行われ
たかを知ることができないことである。First, the first problem of the prior art is that the operation reaction sound output in the operation on the object in the virtual world is unrealistic, and the user hears the operation reaction sound so It is impossible to know whether the operation has been performed.
【0014】この理由は、操作反応音の出力に関して、
“ユーザ操作の詳細情報(入力デバイスの種類、操作強
度と操作速度)”と“操作対象であるオブジェクトの属
性情報”の双方を考慮していない点にある。また、入力
装置の操作強度や操作速度などを連続数値として取得し
ていない点、またそれら取得された連続数値を操作反応
音出力に反映していない点にも起因している。The reason for this is that regarding the output of the operation reaction sound,
The point is that neither “detailed information of user operation (type of input device, operation strength and operation speed)” nor “attribute information of object to be operated” is taken into consideration. In addition, the operation strength and the operation speed of the input device are not acquired as continuous numerical values, and the acquired continuous numerical values are not reflected in the operation reaction sound output.
【0015】現実世界における音の発生は、作用を及ぼ
す側と受ける側の双方の状態によって決まる。例えば、
水の入ったコップを棒で叩く場合、叩く側の状態(例:
棒の材質、叩く強さ、叩く角度、等)と、叩かれる側の
状態(例えば、水の量、コップの材質等)の双方の関係
によって様々な音が発生する。The generation of sound in the real world depends on the states of both the effecting side and the receiving side. For example,
When tapping a cup of water with a stick, the state of the tapping side (eg:
Various sounds are generated depending on the relationship between both the material of the rod, the strength of tapping, the angle of tapping, etc.) and the state of the side to be hit (for example, the amount of water, the material of the cup, etc.).
【0016】それに対してGUIの操作反応音に関する
従来例(図11に示す方法、及び、「1993年4月、プロ
シーディングス・オブ・インター−カイ'93 pp.228-235
“シンセサイジング・オーディトリー・アイコン
ズ”」に記載の操作反応音生成装置)では、ユーザ操作
の詳細な情報(操作強度や操作速度、入力デバイスの種
類)が、出力される操作反応音に反映されることはな
い。より具体的には、入力デバイスがマウスであっても
タッチパネルであっても、また、GUIオブジェクトを
強くクリックしても弱くクリックしても同じ操作反応音
が出力される。On the other hand, a conventional example relating to a GUI operation reaction sound (the method shown in FIG. 11, and "April 1993, Proceedings of Inter-Kay '93 pp.228-235").
In the operation reaction sound generator described in “Synthesizing Auditory Icons”), detailed information of the user operation (operation intensity, operation speed, type of input device) is reflected in the output operation reaction sound. There is no such thing. More specifically, the same operation reaction sound is output regardless of whether the input device is a mouse or a touch panel, and the GUI object is strongly or weakly clicked.
【0017】また上述した従来例、特開平10−400
67号公報、特開昭62−70897号公報、特開平9
−305286号公報に示したように、操作情報の一つ
であるマウスの移動情報やキーボードの押下力に応じて
音を変化させる装置は存在したが、音変化の要因が操作
情報のみに限られており、操作対象であるオブジェクト
との関連はない。このため、上記従来技術の第1の問題
点を解決するに至らない。The above-mentioned conventional example, Japanese Patent Laid-Open No. 10-400.
67, JP-A-62-70897, JP-A-9
As shown in Japanese Patent Laid-Open No. 305286, there has been a device that changes a sound according to movement information of a mouse, which is one of operation information, and pressing force of a keyboard, but the cause of the sound change is limited to only the operation information. However, there is no relation with the object that is the operation target. Therefore, the first problem of the above-mentioned conventional technique cannot be solved.
【0018】また従来例、特開平6−243229号公
報、特開平5−232601号公報に示した従来例は、
仮想世界という閉じた世界において、オブジェクトの動
作と音を連動させる例であり、実世界におけるユーザの
操作と発生する音との関連は考慮されておらず、この従
来例でも上記従来技術の第1の問題点を解決するに至ら
ない。Further, the conventional examples shown in JP-A-6-243229 and JP-A-5-232601 are as follows.
This is an example in which the motion of an object and sound are interlocked in a closed world called a virtual world, and the relation between the user's operation in the real world and the generated sound is not taken into consideration. Can not solve the problem of.
【0019】次に、従来技術の第2の問題点は、多種多
様な音を出力しようとする場合、それらの音を予め全て
作成し、記録装置に保存しておく必要があることであ
る。Next, the second problem of the prior art is that when outputting various sounds, it is necessary to create all of these sounds in advance and store them in the recording device.
【0020】この理由は、従来の実施例では、予め準備
された音(図11の例では、操作反応音データベース1
5に保存されたファイル)をあるタイミングで再生する
機能しか持たないためである。The reason for this is that in the conventional embodiment, the sounds prepared in advance (in the example of FIG. 11, the operation reaction sound database 1
This is because it has only the function of playing back the file stored in 5) at a certain timing.
【0021】本発明は、上述の従来技術の問題点に鑑
み、GUI操作の現実味(リアリティ)や自然さを増加
させるような操作反応音を生成する操作反応音生成装置
及び操作反応音生成プログラムを記録した記録媒体を提
供しユーザインタフェースとしての自然さを向上できる
操作反応音生成装置及び操作反応音生成プログラムを記
録した記録媒体を提供することを発明の目的とする。In view of the above-mentioned problems of the prior art, the present invention provides an operation reaction sound generation device and an operation reaction sound generation program for generating an operation reaction sound that increases the reality and naturalness of GUI operation. It is an object of the present invention to provide an operation reaction sound generation device and a recording medium in which an operation reaction sound generation program is provided, which can provide a recorded recording medium and improve the naturalness of a user interface.
【0022】[0022]
【課題を解決するための手段】本発明では、“実世界の
事象であるユーザ操作の詳細情報”と、“仮想世界上の
操作対象オブジェクトの属性情報”の双方を利用して、
多様な操作反応音をリアルタイムに生成する。According to the present invention, both "detailed information of user operation which is a phenomenon in the real world" and "attribute information of an operation target object in the virtual world" are used,
Generates various operation reaction sounds in real time.
【0023】より具体的には、入力デバイスより取得さ
れる操作情報(入力デバイスの種類、操作強度と操作速
度)と、仮想世界上のオブジェクト属性情報に基づい
て、音響データの音色、高さや大きさを加工編集した
り、あるいは音響データにエフェクト処理を施して出力
する。More specifically, based on the operation information (type of input device, operation strength and operation speed) acquired from the input device, and the object attribute information in the virtual world, the tone color, height, and size of the acoustic data are set. It is processed and edited, or the sound data is subjected to effect processing and output.
【0024】[0024]
【発明の実施の形態】[第1の実施の形態]
(構成の説明)次に、本発明の第1の発明の実施の形態
について図面を参照して詳細に説明する。BEST MODE FOR CARRYING OUT THE INVENTION [First Embodiment] (Description of Configuration) Next, a first embodiment of the present invention will be described in detail with reference to the drawings.
【0025】本発明の第1の実施の形態の一構成例を示
すブロック図を図1に示す。FIG. 1 is a block diagram showing an example of the configuration of the first embodiment of the present invention.
【0026】図1において、入力装置11は、ユーザの
アクション、特に操作の強度、を連続的な数値として出
力する。具体的には、通常の対話システムに利用される
マウス、キーボード、タッチパネル等の入力装置が有す
る基本的機能(クリックの有無、ドラッグの速度、ドラ
ッグの方向などを出力)に加え、操作の強度(例えば
「クリックの強度」)を計測し、連続的数値(=操作パ
ラメータ)を出力する。対話システム12は、GUIを
有し、入力装置11からの入力に応じて内部処理を行な
うイベントドリブン型のシステムである。In FIG. 1, the input device 11 outputs the action of the user, particularly the intensity of the operation, as a continuous numerical value. Specifically, in addition to the basic functions of an input device such as a mouse, a keyboard, and a touch panel used in a normal dialogue system (output of click presence, drag speed, drag direction, etc.), operation strength ( For example, “click strength”) is measured and a continuous numerical value (= operation parameter) is output. The dialogue system 12 is an event-driven system that has a GUI and performs internal processing according to an input from the input device 11.
【0027】イベント取得部13は、前記対話システム
12で生じるUI関連のイベント(ボタン押下、アイコ
ンクリック、メニューオープン等)を取得し、操作反応
音合成装置4に出力する。The event acquisition unit 13 acquires UI-related events (button press, icon click, menu open, etc.) that occur in the interactive system 12 and outputs them to the operation reaction sound synthesizer 4.
【0028】一方、操作パラメータ取得部2は、対話シ
ステム12を通してあるいは入力装置11より直接、入
力装置11の操作パラメータを取得し、操作反応音合成
装置4に出力する。On the other hand, the operation parameter acquisition unit 2 acquires the operation parameter of the input device 11 through the dialogue system 12 or directly from the input device 11 and outputs it to the operation reaction sound synthesizer 4.
【0029】オブジェクト属性取得部3は、対話システ
ム12より操作の対象となるGUIオブジェクトの属性
情報を取得し、操作反応音合成装置4に出力する。ここ
でいうオブジェクト属性情報とはGUIオブジェクトの
大きさ、色、データ容量、更新年月日、キャプション、
などである。The object attribute acquisition unit 3 acquires the attribute information of the GUI object to be operated from the interactive system 12 and outputs it to the operation reaction sound synthesizer 4. The object attribute information referred to here is the size, color, data capacity, update date, caption,
And so on.
【0030】操作反応音合成装置4は、イベント情報、
操作パラメータおよびオブジェクト属性情報を利用し、
これらの各情報に基づいた操作反応音を合成し音響デー
タとして音響出力装置16に出力する。The operation reaction sound synthesizer 4 uses the event information,
Using operation parameters and object attribute information,
The operation reaction sound based on each of these pieces of information is synthesized and output to the sound output device 16 as sound data.
【0031】音響出力装置16は、入力された音響デー
タを音として出力する装置であり、具体的にはD/A変換
装置、アンプ、スピーカー等から構成される。The sound output device 16 is a device for outputting the input sound data as a sound, and is specifically composed of a D / A conversion device, an amplifier, a speaker and the like.
【0032】また、本実施の形態における操作反応音合
成装置4は、基本反応音選択部41と、操作反応音デー
タベース42と、音響編集装置43と、第1のパラメー
タ変換部44と、第2のパラメータ変換部45とから構
成されている。Further, the operation reaction sound synthesizer 4 in the present embodiment has a basic reaction sound selection section 41, an operation reaction sound database 42, a sound editing apparatus 43, a first parameter conversion section 44, and a second parameter conversion section 44. And the parameter conversion unit 45 of FIG.
【0033】操作反応音データベース42は、音データ
を蓄積している。The operation reaction sound database 42 stores sound data.
【0034】基本反応音選択部41には、イベント取得
部13よりイベント情報が入力されるが、基本反応音選
択部41は入力されたイベント情報と音データの対応関
係情報をあらかじめ保持しおき、入力されるイベント情
報に対応する音データを操作反応音データベース42か
ら取得し、操作反応音データとして音響編集装置43に
出力する。Event information is input to the basic reaction sound selection unit 41 from the event acquisition unit 13. The basic reaction sound selection unit 41 holds in advance the correspondence information between the input event information and sound data. Sound data corresponding to the input event information is acquired from the operation reaction sound database 42 and output to the sound editing device 43 as operation reaction sound data.
【0035】第1のパラメータ変換部44は、操作パラ
メータ取得部2より入力される操作パラメータを第1の
音響編集パラメータに変換し、音響編集装置43に出力
する。The first parameter conversion unit 44 converts the operation parameter input from the operation parameter acquisition unit 2 into the first sound editing parameter and outputs it to the sound editing device 43.
【0036】第2のパラメータ変換部45は、オブジェ
クト属性取得部3より入力されるオブジェクト属性情報
を第2の音響編集パラメータに変換し、音響編集装置4
3に出力する。The second parameter conversion unit 45 converts the object attribute information input from the object attribute acquisition unit 3 into a second sound editing parameter, and the sound editing device 4
Output to 3.
【0037】音響編集装置43は、各種音響エフェク
タ、音響フィルタ、イコライザなど音響波形を編集加工
する機能を有する装置であり、波形編集ソフトウェアや
楽器用の各種エフェクト装置等が利用可能である。音響
編集装置43は、第1および第2のパラメータ変換部4
4および45より入力される第1及び第2の音響編集パ
ラメータを利用して、基本反応音選択部41より入力さ
れた操作反応音データを加工編集し、加工編集後の音響
データを音響出力装置16に出力する。The sound editing device 43 is a device having a function of editing and processing sound waveforms such as various sound effectors, sound filters, and equalizers, and waveform editing software and various effect devices for musical instruments can be used. The sound editing device 43 includes the first and second parameter conversion units 4
Using the first and second sound editing parameters input from 4 and 45, the operation reaction sound data input from the basic reaction sound selection unit 41 is processed and edited, and the processed and edited sound data is output as an audio output device. Output to 16.
【0038】(動作の説明)次に、図1に示した第1の
実施の形態における操作反応音生成装置の動作を図2お
よび図3のフローチャートを用いて説明する。(Explanation of Operation) Next, the operation of the operation reaction sound generating apparatus in the first embodiment shown in FIG. 1 will be described with reference to the flowcharts of FIGS. 2 and 3.
【0039】ユーザは入力装置11を利用して、対話シ
ステム12のGUIオブジェクトに対してクリック、ド
ラッグ等の入力操作を行なう(S1)。入力装置11
は、通常の入力装置が出力する操作パラメータに加え、
少なくともクリックの強度を数値(=操作パラメータ)
として出力する。The user uses the input device 11 to perform an input operation such as clicking or dragging on the GUI object of the interactive system 12 (S1). Input device 11
In addition to the operating parameters output by a normal input device,
Numerical value of at least click strength (= operating parameter)
Output as.
【0040】対話システム12は、入力装置11からの
入力操作を受け、イベントドリブンで処理を進める(S
2)。The interactive system 12 receives an input operation from the input device 11 and advances processing in an event driven manner (S
2).
【0041】イベント取得部13は、前記対話システム
12にて発生する操作関連のイベントを取得し、操作反
応音合成装置4にイベント情報として出力する(S
3)。The event acquisition unit 13 acquires an operation-related event generated in the dialogue system 12 and outputs it to the operation reaction sound synthesizer 4 as event information (S).
3).
【0042】一方、イベント取得部13は、取得したイ
ベントを操作パラメータ取得部2およびオブジェクト属
性取得部3にも出力するが、これを受けて操作パラメー
タ取得部2は、対話システム12を介してあるいは入力
装置11より直接、操作パラメータを取得し、操作反応
音合成装置4に出力する(S4)。On the other hand, the event acquisition unit 13 outputs the acquired event to the operation parameter acquisition unit 2 and the object attribute acquisition unit 3 as well, and the operation parameter acquisition unit 2 receives the event via the interactive system 12 or The operation parameters are directly acquired from the input device 11 and output to the operation reaction sound synthesizer 4 (S4).
【0043】オブジェクト属性取得部3は、イベント取
得部13よりイベント情報が入力されると、そのイベン
ト情報に関連するGUIオブジェクトの属性情報を対話
システム12より取得する(S5)。さらに取得したオ
ブジェクト属性情報を操作反応音合成装置4に出力す
る。When the event information is input from the event acquisition unit 13, the object attribute acquisition unit 3 acquires the attribute information of the GUI object related to the event information from the interactive system 12 (S5). Further, the acquired object attribute information is output to the operation reaction sound synthesizer 4.
【0044】操作反応音合成装置4は、イベント情報、
操作パラメータ、オブジェクト属性情報を利用して、操
作反応音を合成する(S6)。The operation reaction sound synthesizer 4 uses the event information,
The operation reaction sound is synthesized using the operation parameter and the object attribute information (S6).
【0045】合成された操作反応音は音響出力装置より
出力される(S7)。The synthesized operation reaction sound is output from the acoustic output device (S7).
【0046】ここで操作反応音合成装置4が行う操作反
応音の合成(図2のS6)について、図3を利用して詳
細を説明する。The synthesis of the operation reaction sound (S6 of FIG. 2) performed by the operation reaction sound synthesizer 4 will be described in detail with reference to FIG.
【0047】基本反応音選択部41にはイベント取得部
13よりイベント情報が入力されるが、この基本反応音
選択部41は、イベント情報と操作反応音データの対応
関係を予め保持し、入力されたイベント情報に対応する
操作反応音データを操作反応音データベース42から取
得して(S61)、音響編集装置43に入力する(S6
2)。Event information is input from the event acquisition unit 13 to the basic reaction sound selection unit 41. The basic reaction sound selection unit 41 holds the correspondence relationship between the event information and the operation reaction sound data in advance and inputs it. The operation reaction sound data corresponding to the event information is acquired from the operation reaction sound database 42 (S61) and input to the sound editing device 43 (S6).
2).
【0048】一方、第1のパラメータ変換部44は、操
作パラメータ取得部2より入力された操作パラメータ
を、予め保持する対応テーブルあるいは変換ルールに基
づいて、第1の音響編集パラメータに変換して(S6
3)、音響編集装置43に出力する(S64)。On the other hand, the first parameter conversion unit 44 converts the operation parameter input from the operation parameter acquisition unit 2 into the first sound edit parameter based on the correspondence table or conversion rule held in advance ( S6
3), and output to the sound editing device 43 (S64).
【0049】第2のパラメータ変換部45はオブジェク
ト属性取得部3より入力されたオブジェクト属性情報
を、予め保持する対応テーブルあるいは変換ルールに基
づいて、第2の音響編集パラメータに変換して(S6
5)、音響編集装置43へ出力する(S66)。The second parameter conversion unit 45 converts the object attribute information input from the object attribute acquisition unit 3 into a second sound editing parameter based on a correspondence table or conversion rule held in advance (S6).
5), and output to the sound editing device 43 (S66).
【0050】音響編集装置43は、第1および第2のパ
ラメータ変換部44および45より入力された第1およ
び第2の音響編集パラメータを利用して、基本反応音選
択部41より入力された操作反応音データに対して音響
編集処理を実行し(S67)、処理後の音響データを音
響出力装置16に出力する。The sound editing device 43 uses the first and second sound editing parameters input from the first and second parameter converting sections 44 and 45 to perform the operation input from the basic reaction sound selecting section 41. An acoustic editing process is performed on the reaction sound data (S67), and the processed acoustic data is output to the acoustic output device 16.
【0051】[実施例]ここで、本発明の第1の実施の
形態を具体的な実施例を用いてさらに詳しく説明する。
また、ここでは、第1の実施の形態の一構成例のブロッ
ク図を示した図1及び図4、図7を利用して、詳細に説
明する。[Example] Here, the first embodiment of the present invention will be described in more detail with reference to a specific example.
Further, here, a detailed description will be given with reference to FIG. 1, FIG. 4, and FIG. 7, which are block diagrams of one configuration example of the first exemplary embodiment.
【0052】本実施例では、入力装置11として感圧セ
ンサ付きマウス(図4の71)を利用し、ディスプレイ
に表示されるプッシュボタン72および73に対してマ
ウスにてクリック操作を行なう例について説明する。In the present embodiment, an example in which a mouse with a pressure sensitive sensor (71 in FIG. 4) is used as the input device 11 and the push buttons 72 and 73 displayed on the display are clicked with the mouse will be described. To do.
【0053】入力装置11として利用する感圧センサ付
きマウス71は、例えば、1998年9月、第14回ヒ
ューマンインタフェースシンポジウム予稿集、231〜
235頁「マウス位置決め作業時におけるクリック圧の
解析」の図1にて報告されているマウスを利用すること
ができる。このマウスはマウスボタンクリック時の圧力
をデジタルデータとして出力することができる。通常の
マウスと同様に、クリックオン/オフの信号およびドラ
ッグの方向やドラッグ速度も出力する。The mouse 71 with a pressure-sensitive sensor used as the input device 11 is, for example, in September 1998, 14th Human Interface Symposium Proceedings, 231-231.
The mouse reported in FIG. 1 of “Analysis of click pressure during mouse positioning work” on page 235 can be used. This mouse can output the pressure when the mouse button is clicked as digital data. Similar to a normal mouse, it also outputs click-on / off signals, drag direction, and drag speed.
【0054】ユーザが感圧センサ付きマウス71を利用
し、GUI上のカーソルをプッシュボタン72上に移動
し、マウスボタンをクリックすると、感圧センサ付マウ
ス71はクリックオン信号とともにクリックの圧力をも
数値で出力する。入力デバイスから出力されるこれらの
操作情報全てが操作パラメータである。対話システム1
2はカーソルの座標および入力されたクリックオン信号
とから、いかなる操作がどのGUIオブジェクトに対し
て行なわれたのかを解釈し、イベント(この場合「プッ
シュボタン押下」)をする。When the user uses the mouse 71 with the pressure sensitive sensor to move the cursor on the GUI onto the push button 72 and clicks the mouse button, the mouse 71 with the pressure sensitive sensor generates a click pressure with a click-on signal. Output as a numerical value. All of these pieces of operation information output from the input device are operation parameters. Dialog system 1
2 interprets what operation was performed on which GUI object from the coordinates of the cursor and the input click-on signal, and performs an event (in this case, "push button pressed").
【0055】イベント取得部13は、前記対話システム
12にて発生するイベントのうち、GUI操作関連のイ
ベント取得し、基本反応音選択部41、操作パラメータ
取得部2およびオブジェクト属性取得部3に出力する。The event acquisition unit 13 acquires GUI operation-related events among the events generated in the dialogue system 12, and outputs them to the basic reaction sound selection unit 41, the operation parameter acquisition unit 2 and the object attribute acquisition unit 3. .
【0056】基本反応音選択部41は、図7に例を示す
ようなイベントと操作反応音の対応関係を示すテーブル
(基本反応音選択テーブル)を予め保持しており、入力
されたイベントに対応する操作反応音のデータを操作反
応音データベース42から取得して、音響編集装置43
に入力する。この場合、図7に示される基本反応音選択
テーブルのイベント欄75を参照すると、「プッシュボ
タン押下」に対応する操作反応音欄76から「File3.wa
v」を得る事ができる。基本反応音選択部41は、「Fil
e3.wav」の音データを操作反応音データベース42より
取得し、音響編集装置43に出力する。(ここで、File
3.wavは「カチン」という擬音語で表現できる音色の音
データであるとする。)The basic reaction sound selection section 41 holds in advance a table (basic reaction sound selection table) showing a correspondence relationship between events and operation reaction sounds as shown in FIG. 7, and corresponds to an input event. The data of the operation reaction sound to be played is acquired from the operation reaction sound database 42, and the sound editing device 43
To enter. In this case, referring to the event field 75 of the basic reaction sound selection table shown in FIG. 7, the operation reaction sound field 76 corresponding to “push button pressed” is displayed in “File3.wa”.
v ”can be obtained. The basic reaction sound selection unit 41 displays “Fil
The sound data “e3.wav” is acquired from the operation reaction sound database 42 and output to the sound editing device 43. (Where File
3.wav is the sound data of the timbre that can be expressed by the onomatopoeia "Kachin". )
【0057】一方、操作パラメータ取得部2は、イベン
ト取得部13より「ボタン押下」のイベントが入力され
ると、対話システムを通して(あるいは入力装置11よ
り直接)、入力されたイベント(ここでは「ボタン押
下」)に関連する操作パラメータ(例えば「クリック圧
=80」)を取得する。次に取得した操作パラメータ
(「クリック圧=80」)を第1のパラメータ変換部44
に出力する。この場合、クリック圧が80とは、クリック
圧は0-99の間の数値であるとして、比較的強くマウスを
クリックした事を示す数値であるとする。On the other hand, when an event of "button press" is input from the event acquisition unit 13, the operation parameter acquisition unit 2 receives the input event (here, "button pressed") through the interactive system (or directly from the input device 11). The operation parameter (for example, “click pressure = 80”) related to “press” is acquired. Next, the acquired operation parameter (“click pressure = 80”) is used as the first parameter conversion unit 44.
Output to. In this case, assuming that the click pressure is 80, the click pressure is a value between 0 and 99, and is a value indicating that the mouse has been clicked relatively strongly.
【0058】第1のパラメータ変換部44は入力された
操作パラメータを第1の音響編集パラメータに変換す
る。この変換は、第1のパラメータ変換部44に記述さ
れる変換テーブルあるいは変換ルールに基づいて実行さ
れる。操作パラメータ「クリック圧=80」は第1の音響
編集パラメータ(ここでは例えば、バンドパスフィルタ
の通過周波数値(音質変化のためのパラメータ)、コー
ラスエフェクタのモジュレーションデプス値(音色を複
雑化するパラメータ)、音量ゲイン値(音量変化のため
のパラメータ))へと変換される。The first parameter conversion unit 44 converts the input operation parameter into the first sound editing parameter. This conversion is executed based on the conversion table or conversion rule described in the first parameter conversion unit 44. The operation parameter “click pressure = 80” is the first acoustic editing parameter (here, for example, the pass frequency value of the bandpass filter (parameter for changing the sound quality), the modulation depth value of the chorus effector (parameter that complicates the timbre)). , Volume gain value (parameter for volume change)).
【0059】第1のパラメータ変換部44に記述される
変換テーブルあるいは変換ルールは、現実世界における
「作用と発生音」との関係に基づくものとする。例え
ば、現実世界では通常、作用が強いほど、生じる音の音
量は大きく,また音色は複雑になるが、こういった対応
付けが変換テーブルには記述されている。この場合、ク
リック圧が80とは比較的強くマウスをクリックした事を
示すため、音量を大きく、音を複雑化させるような音響
編集パラメータへと変換される。そして、得られた第1
の音響編集パラメータは音響編集装置43に出力され
る。The conversion table or conversion rule described in the first parameter conversion unit 44 is based on the relationship between "action and generated sound" in the real world. For example, in the real world, the stronger the action, the larger the volume of the generated sound and the more complicated the timbre, but such a correspondence is described in the conversion table. In this case, since the click pressure of 80 indicates that the mouse has been clicked relatively strongly, the volume is increased and the sound editing parameter is converted to complicate the sound. And the first obtained
The sound editing parameter of is output to the sound editing device 43.
【0060】一方、オブジェクト属性取得部3は、イベ
ント取得部13よりイベント情報が入力されると、その
イベントに関連するGUIオブジェクトの属性情報を取
得する。この場合、操作対象である「プッシュボタン」
の属性情報、例えばボタンのサイズ、テクスチャ、色な
どを取得する。次に取得したそれらのオブジェクト属性
情報を第2のパラメータ変換部45に出力する。On the other hand, when the event information is input from the event acquisition unit 13, the object attribute acquisition unit 3 acquires the attribute information of the GUI object related to the event. In this case, the "push button" to be operated
Attribute information such as button size, texture, and color. Then, the acquired object attribute information is output to the second parameter conversion unit 45.
【0061】第2のパラメータ変換部45は入力された
オブジェクト属性情報を第2の音響パラメータに変換す
る。この場合例えば、オブジェクトのサイズはピッチシ
フト値(音の高さを変化するパラメータ)に変換され、
オブジェクトのテクスチャは音響フィルタのパラメータ
値(音色を変化するパラメータ)へ変換される。第2の
パラメータ変換部45に記述される変換テーブルあるい
は変換ルールは、現実世界における音の発生原理に基づ
いている。音の発生原理とは、現実世界では通常、叩か
れる物体の材質によって音色が異なったり、大きさによ
って音の高さが変化したりすることである.第2のパラ
メータ変換部45に記述される変換テーブルあるいは変
換ルールは、この関係を模倣している。変換された第2
の音響編集パラメータは音響編集装置43に出力され
る。The second parameter converter 45 converts the input object attribute information into the second acoustic parameter. In this case, for example, the size of the object is converted to a pitch shift value (a parameter that changes the pitch of the pitch),
The texture of the object is converted into the parameter value of the acoustic filter (parameter that changes the timbre). The conversion table or conversion rule described in the second parameter conversion unit 45 is based on the principle of sound generation in the real world. The principle of sound generation is that in the real world, the tone color usually differs depending on the material of the object being hit, and the pitch changes depending on the loudness. The conversion table or conversion rule described in the second parameter conversion unit 45 imitates this relationship. Converted second
The sound editing parameter of is output to the sound editing device 43.
【0062】音響編集装置43は、第1および第2のパ
ラメータ変換部44および45より入力された第1およ
び第2の音響編集パラメータを利用して、基本反応音選
択部41より入力された操作反応音データ(この場合
「file3.wav(カチン)」)を加工編集する。具体的に
は、音響編集装置43は、例えば波形編集ソフトウェア
で実現でき、基本反応音選択部41からの入力である操
作反応音データ「file3.wav(カチン)」を編集対象音
と設定する。波形編集ソフトウェアはその機能として、
ピッチシフト、波形のカット・アンド・ペースト、フェ
イドイン、フェイドアウト、パワーエンベロープ加工等
多様な波形編集機能およびディレイ、コーラス、リバー
ブ等の音響エフェクト機能や、フィルタ機能を有する。
波形編集ソフトウェアは、音響編集パラメータを利用し
て各種機能を実行することにより、「file3.wav(カチ
ン)」を加工編集する。この結果、file3.wavをもと
に,音色や音高、音量等が変化した新しい音響データ
「newfile3.wav (ガッチン)」が生成される。この加工
編集後の音響データは音響出力装置16へ入力され、音
響出力装置16は入力された音響データを音として出力
する。The sound editing apparatus 43 uses the first and second sound editing parameters input from the first and second parameter converting sections 44 and 45 to perform the operation input from the basic reaction sound selecting section 41. Process and edit the reaction sound data (in this case, "file3.wav"). Specifically, the sound editing apparatus 43 can be realized by, for example, waveform editing software, and sets the operation reaction sound data “file3.wav (click)” which is the input from the basic reaction sound selection unit 41 as the sound to be edited. Waveform editing software, as its function,
It has various waveform editing functions such as pitch shift, waveform cut-and-paste, fade-in, fade-out, power envelope processing, and sound effect functions such as delay, chorus, reverb, and filter functions.
The waveform editing software processes and edits "file3.wav" by executing various functions using the acoustic editing parameters. As a result, new acoustic data “newfile3.wav (gatchin)” in which the timbre, pitch, volume, etc. are changed is generated based on file3.wav. The processed acoustic data is input to the acoustic output device 16, and the acoustic output device 16 outputs the input acoustic data as a sound.
【0063】結果として、プッシュボタン押下音として
選択された「カチン」という音は、ユーザのクリックの
強度およびボタンの大きさ、色、等を反映して、「ガッ
チン」「カチッ」「チッ」等というような様々な音に編
集加工されて出力される(図4)。イベントとしては
「ボタン押下」という同一の操作でも、操作を行う側
(操作パラメータ)と操作を受ける側(オブジェクト属
性情報)の状態が反映された、より現実味のある操作反
応音を出力する事が可能となる。As a result, the sound "click" selected as the push button press sound reflects "click", "click", "click", etc., reflecting the user's click strength, button size, color, etc. Such various sounds are edited and output (Fig. 4). As an event, even with the same operation of pressing a button, a more realistic operation reaction sound that reflects the state of the side performing the operation (operation parameter) and the side receiving the operation (object attribute information) may be output. It will be possible.
【0064】ここで、第1の実施の形態に対する別の実
施例を図5を参照して説明する。Here, another example of the first embodiment will be described with reference to FIG.
【0065】図5はファイルアイコンの操作反応音につ
いて説明する図である。アイコンに対してクリック操作
を行なう場合(図5の77)、「アイコンクリック」イ
ベントが発生するが、ここで例えば、前例と同様に操作
パラメータ取得部2は「クリックの強度(圧力)」を操
作パラメータとして取得する。一方、オブジェクト属性
情報取得部3は「ファイルの容量」「ファイルの更新年
月日」「ファイルの種類」などGUIオブジェクトの見
た目にはわからない情報をオブジェクト属性情報として
取得するものとする。操作パラメータおよびオブジェク
ト属性情報をもとにして得られた音響編集パラメータを
利用して波形編集を行なう事で、視覚情報では表現され
ない情報(ファイル容量、ファイルの更新年月日等)を
操作反応音を通じて表現する事が可能になる。FIG. 5 is a diagram for explaining the operation reaction sound of the file icon. When an icon is clicked (77 in FIG. 5), an “icon click” event occurs, but here, for example, the operation parameter acquisition unit 2 operates “click strength (pressure)” as in the previous example. Get as a parameter. On the other hand, it is assumed that the object attribute information acquisition unit 3 acquires, as the object attribute information, information such as “file size”, “file update date”, “file type”, etc. that is not apparent to the GUI object. By editing the waveform using the acoustic editing parameters obtained based on the operating parameters and object attribute information, information (file size, file update date, etc.) that is not expressed by visual information can be used as the operation reaction sound. It becomes possible to express through.
【0066】一方、図5の78はアイコンドラッグを行
なう時の操作パラメータおよびオブジェクト属性情報に
関して示した図である。ドラッグ操作を行なうと、「ア
イコンドラッグ」イベントが発生するが、このとき、操
作パラメータ取得部2は「ドラッグの速度」を操作パラ
メータとして取得するとよい。ドラッグの速度という操
作パラメータを音響編集パラメータに変換して,得られ
た音響編集パラメータを利用して音を編集加工する事
で、ドラッグの速度に応じて例えば「ズズズズ」といっ
たドラッグ音の音色や音の高さを変化させることができ
る。On the other hand, reference numeral 78 in FIG. 5 is a diagram showing operation parameters and object attribute information when icon dragging is performed. When a drag operation is performed, an “icon drag” event occurs. At this time, the operation parameter acquisition unit 2 may acquire “drag speed” as an operation parameter. By converting the operation parameter called drag speed into an acoustic edit parameter and using the obtained acoustic edit parameter to edit and process the sound, for example, the tone or sound of the drag sound such as “smooth” is dragged according to the drag speed. The height of can be changed.
【0067】以上に示したように、操作の強度、操作の
速度などの操作の特徴を連続的な数値で表す操作パラメ
ータを、操作反応音合成に利用する。このことにより、
ユーザ操作の特徴に呼応して、出力音を変化させること
ができ、この結果、操作の現実味・自然さが向上する。As described above, the operation parameters representing the operation characteristics such as the operation intensity and the operation speed by continuous numerical values are used for the operation reaction sound synthesis. By this,
The output sound can be changed according to the characteristics of the user operation, and as a result, the realistic and natural operation is improved.
【0068】さらに図6を利用してメニューボタン操作
に対する操作反応音についての実施例を述べる。メニュ
ーバーに表示されるメニューボタンを押下すると、メニ
ューボタンが視覚的に陥没するのと同時にプルダウンメ
ニューがオープンする。ユーザの操作はメニューボタン
に対する押下のみであるが、プルダウンメニューのオー
プンはユーザ操作であるメニューボタン押下をきっかけ
として生じるリアクションであるため、ボタン押下とメ
ニューオープンを一連の操作系列と見なすことができ
る。Further, referring to FIG. 6, a description will be given of an example of the operation reaction sound to the operation of the menu button. When the menu button displayed on the menu bar is pressed, the menu button is visually depressed and at the same time a pull-down menu opens. Although the user's operation is only pressing of the menu button, opening of the pull-down menu is a reaction that is triggered by the pressing of the menu button, which is a user's operation. Therefore, button pressing and menu opening can be regarded as a series of operation series.
【0069】従って、メニューボタン押下音に加え、プ
ルダウンメニューオープン音合成にもユーザの操作パラ
メータ(この場合、クリックの強度)を利用する。具体
的には、操作パラメータ取得部2は、イベント情報とそ
のイベント情報に関連のある操作パラメータとの対応を
あらかじめ保持することを特徴とし、イベントの入力応
じて、対応付けられた操作パラメータを取得する。この
場合、例えば具体的な動作として、操作パラメータ取得
部2は、プルダウンメニューオープンイベント発生の直
前のユーザ操作であるメニューボタン押下の操作パラメ
ータ(クリックの強度)を取得する。一方オブジェクト
属性取得部3は、プルダウンメニューに表示される「メ
ニュー項目の数」や「メニューの色」をオブジェクト属
性情報として取得する。そしてこれらの操作パラメータ
およびオブジェクト属性情報を、第1および第2のパラ
メータ変換部(44、45)が第1および第2の音響編
集パラメータに変換する。音響編集装置43は音響編集
パラメータを利用して、音データの加工編集を行い、そ
の結果メニューボタン押下音およびプルダウンメニュー
オープン音が出力される。Therefore, in addition to the menu button pressing sound, the user operation parameter (in this case, click strength) is also used for pulldown menu open sound synthesis. Specifically, the operation parameter acquisition unit 2 is characterized in that the correspondence between the event information and the operation parameter related to the event information is held in advance, and the associated operation parameter is acquired according to the input of the event. To do. In this case, as a specific operation, for example, the operation parameter acquisition unit 2 acquires an operation parameter (click strength) for pressing the menu button, which is a user operation immediately before the pull-down menu open event occurs. On the other hand, the object attribute acquisition unit 3 acquires “the number of menu items” and “menu color” displayed in the pull-down menu as object attribute information. Then, the first and second parameter conversion units (44, 45) convert these operation parameters and object attribute information into first and second sound editing parameters. The sound editing device 43 uses the sound editing parameters to process and edit the sound data, and as a result, the menu button pressing sound and the pull-down menu opening sound are output.
【0070】本実施例では入力装置11として、感圧セ
ンサ付きマウスを利用してクリックの強度を取得した
が、ベロシティー計測方法を採用するマウスでも実現可
能である。ベロシティー計測方法とは、電子鍵盤楽器の
鍵盤に利用される打鍵強度計測の方法である。具体的に
は、鍵盤の通常時(押下しない時)と押下時にそれぞれ
接触する2つのスイッチを内部に保持し、2つのスイッ
チの切り替わりの速度を計測する機構を持つ。打鍵速度
は打鍵強度との相関が強く、従って、スイッチの切り替
わり速度が速いほど打鍵強度が強いとみなすことができ
る。このように、入力装置11は間接的にでもクリック
の強度を計測できるマウスであればよい。In this embodiment, a mouse with a pressure-sensitive sensor is used as the input device 11 to acquire the click strength, but a mouse that employs a velocity measuring method can also be used. The velocity measurement method is a keystroke strength measurement method used for a keyboard of an electronic keyboard instrument. Specifically, it has a mechanism that holds two switches that are in contact with each other when the keyboard is normal (when not pressed) and when it is pressed, and measures the switching speed of the two switches. The keystroke speed has a strong correlation with the keystroke strength. Therefore, it can be considered that the higher the switch switching speed, the stronger the keystroke strength. As described above, the input device 11 may be any mouse that can indirectly measure the click strength.
【0071】また、入力装置11としてスクロールボタ
ン付きのマウスやホイール付きマウスを利用することも
考えられる。ホイールの回転速度やスクロールボタンの
押下圧力等を操作パラメータとして利用する。It is also conceivable to use a mouse with scroll buttons or a mouse with wheels as the input device 11. The rotation speed of the wheel and the pressing pressure of the scroll button are used as operation parameters.
【0072】その他入力装置11としては、例えば特開
平9−305286号公報に記載されているような、キ
ー接触の有無、押し下げ圧力、押し下げ速度、あるいは
深さを感知する事のできるキーボード、あるいはタッチ
圧力を感知できるタッチパネル等を利用する事もでき
る。As the other input device 11, for example, as described in Japanese Unexamined Patent Publication No. 9-305286, a keyboard or a touch that can detect the presence / absence of key contact, the pressing pressure, the pressing speed, or the depth. It is also possible to use a touch panel that can detect pressure.
【0073】本発明を利用すると、同じ操作でも、入力
装置11の種類(マウスであるかタッチパネルであるか
等)によって異なる操作反応音を出力する事も可能であ
る。By utilizing the present invention, it is possible to output different operation reaction sounds depending on the type of the input device 11 (whether it is a mouse or a touch panel, etc.) even with the same operation.
【0074】その第1の方法は、入力装置11が自身の
「デバイスの種類情報」を操作パラメータと併せて出力
し、この操作パラメータを第1のパラメータ変換部21
で音響編集パラメータへ変換する。このことにより、入
力装置11の種類を反映した音の加工編集が可能とな
る。In the first method, the input device 11 outputs its own "device type information" together with the operation parameters, and the operation parameters are output by the first parameter conversion unit 21.
Convert to sound editing parameters with. As a result, it becomes possible to process and edit the sound reflecting the type of the input device 11.
【0075】あるいは、同じく入力装置11の「デバイ
スの種類情報」をイベント取得部がイベント情報と併せ
て取得し、双方の情報を利用して基本反応音選択部41
が基本操作反応音を選択してもよい。このことにより、
入力装置11の種類を反映した形で基本操作反応音の選
択を行なうことができる。Alternatively, similarly, the event acquisition unit acquires "device type information" of the input device 11 together with the event information, and the basic reaction sound selection unit 41 is utilized by using both the information.
May select the basic operation reaction sound. By this,
The basic operation reaction sound can be selected in a form that reflects the type of the input device 11.
【0076】また、GUIを有しない対話システム12
についても本発明を適用することが可能である。GUI
を有しない対話システムとは、視覚障害者用のパソコン
インタフェース等があり、例えば、1997年10月、第13回
ヒューマン・インタフェース・シンポジウム論文集pp.9
7-102「インタフェースのためのサウンド設計 〜視覚障
害者用スクリーンリーダ CV/SR 〜 」に記載されている
視覚障害者用の対話システムが利用できる。この対話シ
ステムはGUIオブジェクトの論理木構造を保持してお
り、ユーザはテンキーを利用してその木構造上を移動し
て、目的のオブジェクトに対して操作を行なう。この
時、操作に対して操作反応音(文献中の状態変化音)が
出力されるが、ここで操作パラメータとオブジェクト属
性情報(容量や更新年月日)を利用して操作反応音を加
工編集することで、ユーザの操作の強度やGUIオブジ
ェクトの属性にダイナミックに変化追随する音を出力す
ることができる。Further, the interactive system 12 having no GUI
The present invention can also be applied to the above. GUI
There is a personal computer interface for the visually impaired, etc., as a dialogue system without such information. For example, in October 1997, the 13th Human Interface Symposium Proceedings pp. 9
The dialogue system for visually impaired persons described in 7-102 "Sound Design for Interface -Screen Reader CV / SR for Blind Persons-" can be used. This interactive system holds a logical tree structure of GUI objects, and a user moves on the tree structure using a ten-key pad to operate a target object. At this time, the operation reaction sound (state change sound in the literature) is output in response to the operation, but here the operation reaction sound is processed and edited using the operation parameters and object attribute information (capacity and update date). By doing so, it is possible to output a sound that dynamically changes and follows the strength of the user operation or the attribute of the GUI object.
【0077】本実施例の操作反応音合成装置4の別の動
作については、図8に示すように、操作パラメータおよ
び第1および第2のオブジェクト属性情報をパラメータ
変換部(44、45)に入力するのと同時に基本反応音
選択部41に入力することもできる。また、操作パラメ
ータあるいはオブジェクト属性情報のいずれかを基本反
応音選択部41のみに入力してもよい。Regarding another operation of the operation reaction sound synthesizer 4 of the present embodiment, as shown in FIG. 8, the operation parameter and the first and second object attribute information are input to the parameter conversion section (44, 45). At the same time, it can be input to the basic reaction sound selection unit 41. Further, either the operation parameter or the object attribute information may be input only to the basic reaction sound selection unit 41.
【0078】この時、基本反応音選択部41は入力され
たイベント情報と操作パラメータとオブジェクト属性情
報、もしくはイベント情報と操作パラメータ、もしくは
イベント情報とオブジェクト属性情報、のうちいずれか
の組合わせを利用して操作反応音データベース42より
基本操作反応音データを取得する。At this time, the basic reaction sound selection unit 41 uses any combination of the input event information, operation parameters and object attribute information, event information and operation parameters, or event information and object attribute information. Then, basic operation reaction sound data is acquired from the operation reaction sound database 42.
【0079】このように、イベント情報のみでなく操作
パラメータやオブジェクト属性情報を基本反応音の選択
に利用することで、操作反応音合成装置4ではよりダイ
ナミックに変化する操作反応音を生成することが可能と
なる。As described above, by using not only the event information but also the operation parameter and the object attribute information for selecting the basic reaction sound, the operation reaction sound synthesizer 4 can generate the operation reaction sound which changes more dynamically. It will be possible.
【0080】前述のように、第1および第2のパラメー
タ変換部44および45で実行されるパラメータ変換
は、例えば、強く叩くほど強い音が発生する、大きな物
体を叩くほど低く分厚い音が発生する、というような現
実世界における音の発生原理を模倣することが望まし
い。しかし、現実世界の模倣でなくても、ユーザの操作
や操作対象オブジェクトに連動させれば、ユーザの操作
強度や操作速度を反映した新規で効果的な操作反応音を
生成することも可能となる。As described above, in the parameter conversion executed by the first and second parameter converting units 44 and 45, for example, a stronger sound produces stronger sound, and a larger object produces lower and thicker sound. It is desirable to imitate the principle of sound generation in the real world such as. However, even if it is not imitation of the real world, it is possible to generate a new and effective operation reaction sound that reflects the operation intensity and operation speed of the user by linking with the operation of the user or the operation target object. .
【0081】[第2の実施の形態]次に、本発明の第2
の実施の形態について図面を参照して説明する。[Second Embodiment] Next, the second embodiment of the present invention will be described.
Embodiments will be described with reference to the drawings.
【0082】本発明の第2の実施の形態の一構成例を示
すブロック図を図9に示す。FIG. 9 is a block diagram showing an example of the configuration of the second embodiment of the present invention.
【0083】図9を参照すると第2の実施の形態は、ユ
ーザが対話システムに対して入力を行なう入力装置11
と、GUIを有してイベントドリブンで処理を行なう対
話システム12と、対話システム12で生じるイベント
を取得するイベント取得部13と、入力装置11から出
力される操作パラメータを取得する操作パラメータ取得
部2と、操作対象のGUIオブジェクトの情報を対話シ
ステムより取得するオブジェクト属性取得部3と、イベ
ント情報、操作パラメータおよびオブジェクト属性情報
を利用して操作反応音を合成する操作反応音合成装置4
と、イベント情報、操作パラメータおよびオブジェクト
属性情報を利用してアニメーションを生成するアニメー
ション生成装置5と、音響データと映像データの出力同
期調整を行なう出力同期制御装置18と、映像および音
響を表示する出力装置19とから構成される。また、第
1の実施の形態と構成が同じものについては同じ符号が
ついており、第1の実施の形態と同じ機能を持つものに
ついては、本実施の形態では特に説明を行わない。Referring to FIG. 9, in the second embodiment, an input device 11 for the user to input to the dialogue system.
An interactive system 12 having a GUI for performing event-driven processing, an event acquisition unit 13 for acquiring an event that occurs in the interactive system 12, and an operation parameter acquisition unit 2 for acquiring an operation parameter output from the input device 11. And an object attribute acquisition unit 3 for acquiring information on a GUI object to be operated from the interactive system, and an operation reaction sound synthesizer 4 for synthesizing an operation reaction sound using event information, operation parameters, and object attribute information.
An animation generation device 5 for generating an animation using event information, operation parameters and object attribute information, an output synchronization control device 18 for adjusting output synchronization between audio data and video data, and an output for displaying video and audio. And device 19. Further, the same components as those in the first embodiment are designated by the same reference numerals, and those having the same functions as those in the first embodiment will not be particularly described in the present embodiment.
【0084】アニメーション生成装置5は、アニメーシ
ョン用の各種画像データを蓄積し、アニメーション再生
の制御を行なう装置である。さらに具体的には、アニメ
ーション生成装置5は制御パラメータに基づいて、アニ
メーション再生速度制御、再生画像の大きさや位置の制
御、画像エフェクトの付加を行なう。The animation generation device 5 is a device for accumulating various image data for animation and controlling animation reproduction. More specifically, the animation generation device 5 performs animation reproduction speed control, reproduction image size and position control, and image effect addition based on the control parameters.
【0085】アニメーション生成装置5は、アニメーシ
ョン用の画像データ群を蓄積するアニメーションデータ
ベース52と、イベント情報に基づいてアニメーション
データベースより基本アニメーションデータを取得する
基本アニメーション選択部51と、操作パラメータ取得
部2より入力される操作パラメータを第1のアニメーシ
ョン制御パラメータに変換する第3のパラメータ変換部
54と、オブジェクト属性取得部3より入力されるオブ
ジェクト属性情報を第2のアニメーション制御パラメー
タに変換する第4のパラメータ変換部55と、アニメー
ション制御パラメータに基づいてアニメーションの再生
方法(再生速度、再生画像の位置や大きさ、画像エフェ
クト等)の制御を行なうアニメーション制御部53とか
ら構成される。The animation generating device 5 includes an animation database 52 for accumulating a group of image data for animation, a basic animation selecting section 51 for acquiring basic animation data from the animation database based on event information, and an operation parameter acquiring section 2. A third parameter conversion unit 54 that converts the input operation parameter into the first animation control parameter, and a fourth parameter that converts the object attribute information input from the object attribute acquisition unit 3 into the second animation control parameter. It is composed of a conversion unit 55 and an animation control unit 53 that controls the animation reproduction method (reproduction speed, position and size of reproduced image, image effect, etc.) based on animation control parameters.
【0086】出力同期制御装置18は、音と画像の出力
のタイミングを制御する装置であり、入力される音響デ
ータおよびアニメーションデータの同期をとって出力装
置へ入力する。The output synchronization control device 18 is a device for controlling the timing of output of sound and image, and synchronizes the input sound data and animation data and inputs them to the output device.
【0087】出力装置17は視聴覚双方の情報を表示で
きる装置であり、例えばディスプレイとスピーカー等か
ら構成される。The output device 17 is a device capable of displaying both audiovisual information, and is composed of, for example, a display and a speaker.
【0088】入力装置11、対話システム12および操
作反応音合成装置4は、第1の実施の形態と同じもので
ある。イベント取得部13、操作パラメータ取得部2,
およびオブジェクト属性取得部3は、第1の実施の形態
と同じ機能を持つが、それぞれの出力を操作反応音合成
装置4に加えてアニメーション生成装置5にも出力す
る。より具体的には、イベント取得部13は出力するイ
ベント情報を操作反応音合成装置4に出力するのと同時
に基本アニメーション選択部51にも出力する。操作パ
ラメータ取得部2は出力する操作パラメータを操作反応
音合成装置4に出力するのと同時に第3のパラメータ変
換部54にも出力する。オブジェクト属性取得部3は出
力するオブジェクト属性情報を操作反応音合成装置4へ
入力するのと同時に第4のパラメータ変換部55にも出
力する。The input device 11, the dialogue system 12, and the operation reaction sound synthesizer 4 are the same as those in the first embodiment. Event acquisition unit 13, operation parameter acquisition unit 2,
And the object attribute acquisition unit 3 has the same function as that of the first embodiment, but outputs each output to the animation generation device 5 in addition to the operation reaction sound synthesis device 4. More specifically, the event acquisition unit 13 outputs the output event information to the operation reaction sound synthesizer 4 and at the same time to the basic animation selection unit 51. The operation parameter acquisition unit 2 outputs the output operation parameter to the operation reaction sound synthesizer 4 and at the same time outputs it to the third parameter conversion unit 54. The object attribute acquisition unit 3 inputs the output object attribute information to the operation reaction sound synthesizer 4 and at the same time outputs it to the fourth parameter conversion unit 55.
【0089】[実施例]次に、図6を利用して第2の実
施の形態を具体的な実施例を挙げて詳細に説明する。こ
の図6の例は、メニューボタン操作に関する例である。[Embodiment] Next, the second embodiment will be described in detail with reference to a specific embodiment with reference to FIG. The example of FIG. 6 is an example relating to the menu button operation.
【0090】ユーザが入力装置11(例えば感圧センサ
付きマウス)を利用してメニューバーに表示されるメニ
ューボタンを押下する。この時のクリック信号及びクリ
ック圧力が操作パラメータとして対話システムに出力さ
れる。対話システム12は、入力装置から入力される操
作パラメータとカーソルの位置から操作を解釈し、イベ
ント(「メニューボタン押下」および「プルダウンメニ
ューオープン」)を発生する。イベント取得部13はそ
れらのイベントを取得し、操作反応音合成装置4および
アニメーション生成装置5の基本アニメーション選択部
51に出力する。The user presses the menu button displayed on the menu bar using the input device 11 (for example, a mouse with a pressure sensitive sensor). The click signal and the click pressure at this time are output to the dialog system as operation parameters. The interactive system 12 interprets the operation from the operation parameter input from the input device and the position of the cursor, and generates an event (“menu button pressed” and “pull-down menu open”). The event acquisition unit 13 acquires these events and outputs them to the operation reaction sound synthesizer 4 and the basic animation selector 51 of the animation generator 5.
【0091】操作パラメータ取得部2は対話システム1
2を介して、あるいは入力装置11より直接「メニュー
ボタン押下」時の操作パラメータ(ここではクリック圧
力)を取得し、操作反応音合成装置4およびアニメーシ
ョン生成装置5の第3のパラメータ変換部54に出力す
る。The operation parameter acquisition unit 2 is the interactive system 1.
The operation parameter (click pressure here) at the time of “pressing the menu button” is acquired via the input device 11 or via the input device 11, and is input to the operation reaction sound synthesizer 4 and the third parameter converter 54 of the animation generator 5. Output.
【0092】オブジェクト属性取得部3は操作対象であ
るメニューボタンおよびプルダウンメニューのオブジェ
クトの属性を対話システム12より取得し、操作反応音
合成装置4およびアニメーション生成装置5の第4のパ
ラメータ変換部55に出力する。The object attribute acquisition unit 3 acquires the attributes of the menu buttons and pull-down menu objects to be operated from the dialogue system 12, and causes the operation reaction sound synthesizer 4 and the fourth parameter converter 55 of the animation generator 5 to acquire them. Output.
【0093】操作反応音合成装置4では、前記第1の実
施の形態にて説明したように、入力されたイベント情報
に対応する操作反応音を操作パラメータおよびオブジェ
クト属性情報に基づき加工編集することで、ユーザの操
作やオブジェクトの属性にダイナミックに適合する操作
反応音を生成する。In the operation reaction sound synthesizer 4, as described in the first embodiment, the operation reaction sound corresponding to the input event information is processed and edited based on the operation parameter and the object attribute information. , Generates an operation reaction sound that dynamically adapts to the user's operation and the attributes of the object.
【0094】次に、アニメーション生成装置5の動作を
「メニューオープン」を例に取り以下に説明する。ユー
ザがメニューボタンを押下すると、基本アニメーション
選択部51にイベント情報「メニューオープン」が入力
される。アニメーションデータベース52にはGUIの
変化を表す画像データが蓄積されているが、基本アニメ
ーション選択部51は、このアニメーションデータベー
ス52から、メニューオープン用のアニメーションデー
タを取得し、アニメーション制御部53に出力する。Next, the operation of the animation generating apparatus 5 will be described below by taking "menu open" as an example. When the user presses the menu button, the event information “menu open” is input to the basic animation selection unit 51. The animation database 52 stores image data representing changes in the GUI, but the basic animation selection unit 51 acquires the animation data for menu opening from the animation database 52 and outputs it to the animation control unit 53.
【0095】ここで、操作パラメータ取得部2は、対話
システムを通してあるいは入力装置より直接、「クリッ
クの強度(圧力)」を取得する。第3のパラメータ変換
部54は操作パラメータ取得部2より入力された操作パ
ラメータ(「クリックの強度」)を第1のアニメーショ
ン制御パラメータへ変換する。本実施例では,操作パラ
メータ「クリックの強度」は、プルダウンメニューオー
プンの速さ、およびプルダウンメニューの表示サイズを
制御するアニメーション制御パラメータへ変換されると
する。Here, the operation parameter acquisition unit 2 acquires the "click strength (pressure)" through the interactive system or directly from the input device. The third parameter conversion unit 54 converts the operation parameter (“click strength”) input from the operation parameter acquisition unit 2 into the first animation control parameter. In the present embodiment, it is assumed that the operation parameter “click strength” is converted into an animation control parameter for controlling the pull-down menu open speed and the pull-down menu display size.
【0096】一方、オブジェクト属性情報取得部3は対
話システム12より,例えば「プルダウンメニューの
色」というオブジェクト属性情報を取得し、第4のパラ
メータ変換部55に出力する。第4のパラメータ変換部
55は、これらのオブジェクト属性情報を第2のアニメ
ーション制御パラメータに変換する。本例では、「メニ
ュー項目の数」に対応して、メニューオープンの速さを
制御するアニメーション制御パラメータへ変換される。On the other hand, the object attribute information acquisition unit 3 acquires the object attribute information, for example, “pull-down menu color” from the interactive system 12, and outputs it to the fourth parameter conversion unit 55. The fourth parameter conversion unit 55 converts these pieces of object attribute information into second animation control parameters. In this example, it is converted into an animation control parameter that controls the speed of opening the menu according to the “number of menu items”.
【0097】アニメーション制御部53は、入力された
第1および第2のアニメーション制御パラメータに従っ
て、基本アニメーション選択部51より入力されている
アニメーションデータの再生を制御する。The animation control unit 53 controls the reproduction of the animation data input from the basic animation selection unit 51 according to the input first and second animation control parameters.
【0098】アニメーション制御部53によって再生制
御された映像データは出力同期制御装置18に出力され
る。この出力同期制御装置18には、操作反応音合成装
置4より音響データも入力されるが、これら映像データ
と音響データの出力の同期をとって、これらのデータを
出力装置19に出力する。同期制御の基本動作は、音響
データと映像データの再生開始時刻が同時になるように
制御することであるが、さらに詳細な同期制御を行うに
は、音響データと映像データの加工編集時に同期信号を
埋め込んでおき、この同期信号に基づき、再生中に同期
をとることもできる。The video data whose reproduction is controlled by the animation control unit 53 is output to the output synchronization control device 18. Audio data is also input from the operation reaction sound synthesizer 4 to the output synchronization control device 18, but these data are output to the output device 19 in synchronization with the output of the video data and the audio data. The basic operation of the synchronization control is to control the reproduction start time of the audio data and the video data at the same time, but to perform more detailed synchronization control, the synchronization signal should be sent during the editing of the audio data and the video data. It is also possible to embed it and synchronize during reproduction based on this synchronization signal.
【0099】出力装置19は、ディスプレイとスピーカ
ーなどの映像情報と音響情報の出力提示が可能な装置で
あり、入力された音響・映像データを出力する。The output device 19 is a device such as a display and a speaker that can output and present video information and audio information, and outputs the input audio / video data.
【0100】この実施例の場合、例えば出力される操作
反応アニメーションはクリックが強くかつメニュー項目
が少ないほど、プルダウンメニューが素早くオープン
し、クリックが強いほどメニュー表示サイズが拡大され
て大きく表示される(メニュー項目の文字サイズも大き
く表示される)。それと同時に、操作反応音は、音量が
大きく音程も少し低く音色も複雑化したメニューオープ
ンの音が出力される。逆にメニュー項目が多くクリック
が弱い場合は、プルダウンメニューはゆっくりとオープ
ンし、メニュー表示サイズも小さくなる。それと同時に
出力される操作反応音は、音量が小さく音程は高く音色
の軽い音が出力される。このように、操作の具合と操作
対象のオブジェクトの属性に呼応して操作反応音だけで
なく操作反応のアニメーションもダイナミックに変化す
る効果が得られる。In the case of this embodiment, for example, in the output operation reaction animation, the stronger the click and the smaller the number of menu items, the quicker the pull-down menu will open, and the stronger the click, the larger the menu display size will be displayed. The font size of menu items is also displayed large). At the same time, the operation response sound is a menu-open sound with a high volume, a slightly low pitch, and a complicated timbre. On the contrary, when there are many menu items and the click is weak, the pull-down menu opens slowly and the menu display size also becomes small. At the same time, the operation reaction sound that is output has a low volume, a high pitch, and a light timbre. In this way, not only the operation reaction sound but also the operation reaction animation is dynamically changed in response to the operation condition and the attribute of the operation target object.
【0101】次に、図10に第2の実施の形態の別の実
施例を示す。対話システム12は、通常、対話システム
12内部に保有するGUI管理部120においてGUI
の生成を行なっている。先に説明した第2の実施の形態
の実施例においては、対話システム12内部において生
成されるGUIデータは利用せずにアニメーションを生
成する方法について説明したが、対話システムで生成さ
れるアニメーションデータを利用することも可能であ
る。Next, FIG. 10 shows another example of the second embodiment. The dialogue system 12 is usually a GUI in the GUI management unit 120 included in the dialogue system 12.
Is being generated. In the example of the second embodiment described above, the method of generating an animation without using the GUI data generated inside the dialogue system 12 has been described. It is also possible to use.
【0102】具体的には、アニメーション生成装置5は
アニメーション制御部53、第3のパラメータ変換部5
4、第4のパラメータ変換部55から構成され、アニメ
ーション制御部53に出力されるべきアニメーションデ
ータは対話システム12が有するGUI管理部120か
ら出力される。Specifically, the animation generation device 5 includes an animation control unit 53 and a third parameter conversion unit 5
The animation data to be output to the animation control unit 53 is output from the GUI management unit 120 of the dialogue system 12.
【0103】尚、第1および第2の実施の形態における対
話システムのGUIとは、現状のパソコンやビデオゲー
ムで利用されている2次元のGUIに限定するものでは
ない。例えば、バーチャルリアリティー環境、やオーグ
メンティッドリアリティーなど、インタフェースが3次
元の対話システムについても本発明を適応することが可
能である。The GUI of the dialogue system in the first and second embodiments is not limited to the two-dimensional GUI used in the current personal computers and video games. For example, the present invention can be applied to a dialog system having a three-dimensional interface, such as a virtual reality environment or augmented reality.
【0104】また、入力装置11として、ジェスチャ入
力装置を利用することもできる。例えば、ユーザが手に
光源を持ち、カメラで光源を撮影し、光源の動きを画像
解析する事でジェスチャ認識を行なう装置がある。ここ
では、光源の動きを人間の手の動きとみなし、光源の動
きから「手を振り上げた」「右方向を指さした」という
ような動作パタンを抽出し、それら動作パタンを対話シ
ステムへのコマンドとして利用する技術が利用されてき
た。通常は前述のように、光源の動きをあらかじめ設定
されている有限の動作パタンと照合し、光源の動きがど
の動作パタンに照合するかを判断するのである。この
時、光源の移動速度など、より詳細な情報を連続な数値
として取得して、図1および図9、図10の操作パラメ
ータとすることで、ジェスチャ入力における操作パラメ
ータを操作反応音の加工編集およびアニメーションの制
御へと利用することができる。A gesture input device can also be used as the input device 11. For example, there is a device in which a user holds a light source in his / her hand, shoots the light source with a camera, and analyzes the movement of the light source to perform gesture recognition. Here, the movement of the light source is regarded as the movement of the human hand, and the movement patterns such as “raised hand” and “pointed to the right” are extracted from the movement of the light source, and those movement patterns are commanded to the dialogue system. The technology used as has been used. Usually, as described above, the motion of the light source is compared with a preset finite motion pattern, and the motion pattern to be matched with the motion of the light source is determined. At this time, more detailed information such as the moving speed of the light source is acquired as a continuous numerical value and is used as the operation parameter in FIGS. 1, 9 and 10, and the operation parameter in the gesture input is processed and edited. And can be used to control the animation.
【0105】バーチャルリアリティー空間においては仮
想的に存在する3Dオブジェクトをつかんだり移動した
り投げたりと直接操作することが可能だが、このような
直接操作のフィードバック生成手法として本発明を利用
することも可能である。In the virtual reality space, it is possible to directly operate by grasping, moving or throwing a virtually existing 3D object, but the present invention can also be used as a feedback generation method for such a direct operation. Is.
【0106】また、第1の実施の形態、第2の実施の形
態で説明した、操作反応音生成装置は、一般にパーソナ
ルコンピュータ、ワークステーションと呼ばれるコンピ
ュータによって実現可能である。この場合、上記説明し
た操作パラメータ取得部2、オブジェクト属性取得部
3、操作反応音合成装置4、アニメーション生成装置
5、GUI管理部12、イベント取得部13、出力同期
制御装置18の各機能を実現するコンピュータプログラ
ムを作成し、そのコンピュータプログラムをCD−RO
Mやフロッピー(登録商標)ディスクや半導体メモリに
代表される記録媒体に記録しておき、コンピュータ側で
は、このプログラムが記録された記録媒体を読み出すこ
とにより、コンピュータに上記各機能を生成するように
すれば、本発明の操作反応音生成装置をコンピュータに
よって実現することができる。また、このコンピュータ
プログラムは、例えばサーバ内の記録装置に記録されて
いる形態でもかまわなく、ネットワークを介してこのサ
ーバ内に含まれるプログラムを提供する形態でもよい。Further, the operation reaction sound producing apparatus described in the first and second embodiments can be realized by a computer generally called a personal computer or a workstation. In this case, each function of the operation parameter acquisition unit 2, the object attribute acquisition unit 3, the operation reaction sound synthesis device 4, the animation generation device 5, the GUI management unit 12, the event acquisition unit 13, and the output synchronization control device 18 described above is realized. Create a computer program to perform the CD-RO
The program is recorded on a recording medium represented by an M, a floppy (registered trademark) disk, or a semiconductor memory, and the computer reads out the recording medium on which this program is recorded so that each function is generated in the computer. Then, the operation reaction sound generation device of the present invention can be realized by a computer. Further, this computer program may be recorded in a recording device in the server, for example, or may be in the form of providing the program included in the server via a network.
【0107】[0107]
【発明の効果】本発明の第1の効果は、GUI操作の現
実味(リアリティ)が増加し、ユーザはより自然な操作
感を得る事ができる。一例としては例えば、プッシュボ
タンを素早く軽くクリックすると短く軽いボタンの押下
音が出力され、容量が大きいファイルをゆっくりとドラ
ッグすると重くゆったりとした摩擦音が出力されたり,
強くクリックすると素早く,大きくメニューやウィンド
ウが開き、弱くクリックするとゆっくり、小さくメニュ
ーやウィンドウが開くようにすることによって、ユーザ
はより自然な操作感を得る事ができる。The first effect of the present invention is that the reality of the GUI operation is increased, and the user can obtain a more natural operation feeling. For example, if you click the push button quickly and lightly, a short and light button press sound is output, and if you drag a large file slowly, a heavy and loose friction sound is output,
By strongly clicking, a large menu or window opens, and weakly opening slowly, a small menu or window opens, so that the user can obtain a more natural operation feeling.
【0108】その理由は、入力装置が取得する入力の詳
細な情報とオブジェクトの属性情報の双方を操作反応生
成に利用することで、操作の強度や速さ、さらにはオブ
ジェクトの大きさや形といった複数の要因およびそれら
の変化を反映した操作反応音および操作反応アニメーシ
ョンを出力するからである。The reason is that by using both the detailed input information acquired by the input device and the attribute information of the object for the operation reaction generation, a plurality of operations such as strength and speed of the operation and size and shape of the object can be obtained. This is because the operation reaction sounds and operation reaction animations that reflect the factors and their changes are output.
【0109】現実世界を考えるとき、ある作用に応じて
反応が発生する。反応音に関して例を挙げると,例え
ば、水の入ったコップを棒で叩くと、「コップを叩く
音」が発生するが、音響的に全く同じ音を2度以上出す
事は非常に困難であろう。これは、どのような音が生じ
るかは、“叩かれる側の性質(コップの性質)”、“叩
く側の性質(棒の性質と叩き方)”に依存するからであ
る。全く同じコップを同じ棒で叩いても、叩く強さや角
度、叩く位置によって異なる音が生じる。また、同じ棒
で同じように叩くことができても、コップの種類や中に
入っている水の量で、異なる音が発生する。視覚で確認
できる状態変化についても、強く押せば押すほど深くへ
こんだり、同じ強さで押したりしても、柔らかい物質を
おせば硬い物質を押すよりも深くへこむ、という現象が
おきる。When considering the real world, a reaction occurs according to a certain action. To give an example of the reaction sound, for example, if you hit a cup containing water with a stick, a "sound of hitting the cup" will be generated, but it is very difficult to make exactly the same sound more than once. Let's do it. This is because what kind of sound is produced depends on the "property of the beating side (property of the cup)" and the "property of the striking side (property of the rod and how to strike)". Even if you hit the exact same cup with the same stick, different sounds will be produced depending on the strength, the angle, and the position of the hit. Even if the same stick can be hit in the same way, different sounds will be produced depending on the type of cup and the amount of water in it. With regard to the state change that can be visually confirmed, there is a phenomenon that the deeper the depression, the deeper the depression, or the deeper the depression, even if pushed with the same strength.
【0110】つまり、ある作用により生じる操作反応
は、“作用をうけるものの性質”“作用を及ぼすものの
性質”、という双方の情報に依存して、多様に変化す
る。音の変化は劇的なものばかりではなく、音色や音
量、音の高さが微妙に変化する程度のことも多いが、作
用の微妙な違いに追随した音の微妙な変化こそが、現実
感あるいは自然さを生み出している。That is, the operation reaction caused by a certain action changes variously depending on both the information of "the property of the subject of the action" and "the property of the subject of the action". Not only is the change in sound dramatic, but there are many cases in which the timbre, volume, and pitch change subtly, but the subtle change in sound that follows a subtle difference in action is the reality. Or it creates naturalness.
【0111】本発明では、このような操作反応の仕組み
をモデル化し、多様な操作反応生成を可能とする。対話
システムにおける作用とは、ディスプレイ表示されるG
UIオブジェクトに対してユーザが入力装置を通して操
作を行なうことである。オブジェクト属性取得部3は
“作用を受けるオブジェクトの性質”を取得し、操作パ
ラメータ取得部2が“作用を及ぼす入力装置の性質と作
用そのものの性質(入力装置の種類、操作の強度、速
度)”を取得する。そして、これら双方の情報を利用し
て、操作反応を加工編集および制御することで、多様な
操作反応を生成して出力することができる。この事によ
り、操作に対してダイナミックに、また操作の微妙な違
いに対してセンシティブに多様な操作反応が生成され
る。この結果、操作における現実感・自然さが向上す
る。In the present invention, the mechanism of such an operation reaction is modeled, and various operation reaction generations are possible. The action in the dialogue system is G displayed on the display.
A user operates a UI object through an input device. The object attribute acquisition unit 3 acquires the “property of the object to be acted on” and the operation parameter acquisition unit 2 “property of the input device exerting the action and the action itself (type of input device, strength of operation, speed)” To get. Then, by using both of these pieces of information, the operation reaction is processed and edited and controlled, so that various operation reactions can be generated and output. As a result, various operation reactions are generated dynamically with respect to the operation and sensitive to the slight difference in the operation. As a result, the sense of reality and naturalness in the operation are improved.
【0112】本発明の第2の効果は、多種多様な操作反
応音や反応アニメーションが出力されるにもかかわら
ず、多くの音をあらかじめ制作して用意しておく必要が
ないことである。The second effect of the present invention is that it is not necessary to produce and prepare many sounds in advance, although various operation reaction sounds and reaction animations are output.
【0113】その理由は、操作パラメータとオブジェク
ト属性情報を利用して、基本の操作反応音やアニメーシ
ョンをリアルタイムに加工編集および制御して出力する
ためである。The reason is that the basic operation reaction sounds and animations are processed and edited and controlled in real time by using the operation parameters and the object attribute information and output.
【図1】操作反応音生成装置の構成図FIG. 1 is a configuration diagram of an operation reaction sound generation device.
【図2】操作反応音生成装置の動作を示すフローチャー
トFIG. 2 is a flowchart showing the operation of the operation reaction sound generation device.
【図3】操作反応音生成装置の動作を示すフローチャー
トFIG. 3 is a flowchart showing the operation of the operation reaction sound generation device.
【図4】第1の実施の形態の説明図FIG. 4 is an explanatory diagram of the first embodiment.
【図5】第1の実施の形態の説明図FIG. 5 is an explanatory diagram of the first embodiment.
【図6】第1の実施の形態の説明図FIG. 6 is an explanatory diagram of the first embodiment.
【図7】基本反応音選択テーブル[Figure 7] Basic reaction sound selection table
【図8】操作反応音合成装置の別の構成図FIG. 8 is another configuration diagram of the operation reaction sound synthesizer.
【図9】操作反応生成装置(アニメーション生成装置を
含む)の構成図FIG. 9 is a configuration diagram of an operation reaction generation device (including an animation generation device).
【図10】操作反応生成装置(アニメーション生成装置
を含む)の別の構成図FIG. 10 is another configuration diagram of the operation reaction generation device (including the animation generation device).
【図11】従来の操作反応音出力装置の構成の一例を示
すブロック図FIG. 11 is a block diagram showing an example of a configuration of a conventional operation reaction sound output device.
2 操作パラメータ取得部
3 オブジェクト属性取得部
4 操作反応音合成装置
5 アニメーション生成装置
11 入力装置
12 対話システム
13 イベント取得部
14 操作反応音選択部
15 操作反応音データベース
16 音響出力装置
18 出力同期制御装置
19 出力装置
41 基本反応音選択部
42 操作反応音データベース
43 音響編集装置
44 第1のパラメータ変換部
45 第2のパラメータ変換部
51 基本アニメーション選択部
52 アニメーションデータベース
53 アニメーション制御部
54 第3のパラメータ変換部
55 第4のパラメータ変換部
71 感圧センサ付マウス
72 プッシュボタン
73 プッシュボタン
74 プッシュボタン押下時の操作パラメータとオブジ
ェクト属性情報
75 基本反応音選択テーブルのイベント欄
76 基本反応音選択テーブルの操作反応音欄
77 アイコンクリック時の操作パラメータとオブジェ
クト属性情報
78 アイコンドラッグ時の操作パラメータとオブジェ
クト属性情報
79 メニューボタンクリック時の操作パラメータとオ
ブジェクト属性情報
120 GUI管理部2 Operation Parameter Acquisition Unit 3 Object Attribute Acquisition Unit 4 Operation Reaction Sound Synthesizer 5 Animation Generation Device 11 Input Device 12 Dialog System 13 Event Acquisition Unit 14 Operation Reaction Sound Selector 15 Operation Reaction Sound Database 16 Sound Output Device 18 Output Synchronization Control Device 19 Output device 41 Basic reaction sound selection unit 42 Operation reaction sound database 43 Sound editing device 44 First parameter conversion unit 45 Second parameter conversion unit 51 Basic animation selection unit 52 Animation database 53 Animation control unit 54 Third parameter conversion Part 55 Fourth Parameter Converting Part 71 Mouse with Pressure Sensitive Sensor 72 Push Button 73 Push Button 74 Operation Parameter and Object Attribute Information when Push Button is Pressed 75 Event Column of Basic Reaction Sound Selection Table 76 Basic Reaction Sound Selection Operating parameters of the operating parameters and object attribute information 78 icon operating parameters and object attribute information 79 when a menu button click while dragging during table operation response sound field 77 icon click and object attribute information 120 GUI manager
フロントページの続き (56)参考文献 特開 平5−197355(JP,A) 特開 平7−116348(JP,A) 特開 平7−334307(JP,A) 特開 平8−76919(JP,A) 特開 平8−227341(JP,A) 特開 平8−234896(JP,A) 特開 平8−278781(JP,A) 特開 平8−329315(JP,A) 特開 平9−16365(JP,A) 特開 平9−265299(JP,A) 特開 平10−31481(JP,A) 特開 平10−39992(JP,A) 特開 平10−40067(JP,A) 特開 平10−143155(JP,A) 特開 平11−44703(JP,A) (58)調査した分野(Int.Cl.7,DB名) G06F 3/00 G06F 3/033 - 3/037 G06F 3/14 - 3/153 G06F 3/16 G10K 15/00 - 15/06 Continuation of the front page (56) Reference JP-A-5-197355 (JP, A) JP-A-7-116348 (JP, A) JP-A-7-334307 (JP, A) JP-A-8-76919 (JP , A) JP 8-227341 (JP, A) JP 8-234896 (JP, A) JP 8-278781 (JP, A) JP 8-329315 (JP, A) JP 9-16365 (JP, A) JP-A-9-265299 (JP, A) JP-A-10-31481 (JP, A) JP-A-10-39992 (JP, A) JP-A-10-40067 (JP, A) A) JP 10-143155 (JP, A) JP 11-44703 (JP, A) (58) Fields investigated (Int.Cl. 7 , DB name) G06F 3/00 G06F 3/033-3 / 037 G06F 3/14-3/153 G06F 3/16 G10K 15/00-15/06
Claims (11)
有する対話システムに対する操作の強度、または、操作
の速度のどちらか一方もしくは両方からなる操作パラメ
ータを得ることが可能な入力装置から該操作パラメータ
を取得すると共に、該操作対象となるグラフィカル・ユ
ーザ・インタフェース上に出力されるオブジェクトの属
性情報と該操作に対するイベント情報とを取得し、 取得した該イベント情報に対応する操作反応音を選択す
ると共に、該操作パラメータ及び該オブジェクトの属性
情報に基づいて該選択された操作反応音を編集して出力
することを特徴とする操作反応音生成装置。1. A graphical user interface
Acquiring the operation parameter from an input device capable of obtaining the operation parameter consisting of either one or both of the strength of the operation and the speed of the operation with respect to the interactive system, and a graphical user object to be operated.
The attribute information of the object output on the user interface and the event information for the operation are acquired, the operation reaction sound corresponding to the acquired event information is selected, and the operation parameter and the attribute information of the object are set. An operation reaction sound generation device characterized by editing and outputting the selected operation reaction sound based on the above.
有するイベントドリブン型の対話システムと、 該対話システムに対して入力操作を行えると共に、操作
の強度、または、操作の速度のうちどちらか一方あるい
は両方からなる操作パラメータを出力する入力装置と、前記入力操作により前記入力装置が出力する前記操作パ
ラメータを前記対話システムが解釈することで得られる
イベント情報を取得する イベント取得部と、 前記入力装置より出力される操作パラメータを取得する
操作パラメータ取得部と、 操作対象となるグラフィカル・ユーザ・インタフェース
・オブジェクトの属性情報を前記対話システムより取得
するオブジェクト属性取得部と、 前記イベント情報、前記操作パラメータ及び前記オブジ
ェクト属性情報に基づいて操作反応音を合成する操作反
応音合成装置と、 前記操作反応音合成装置で合成された操作反応音を出力
する出力装置と、 を備えることを特徴とする操作反応音生成装置。2. An event-driven interactive system having a graphical user interface, and an input operation for the interactive system, which comprises either one or both of operation intensity and operation speed. An input device that outputs operation parameters and the operation pattern that the input device outputs in response to the input operation.
Obtained by interpreting parameters by the dialogue system
An event acquisition unit that acquires event information, an operation parameter acquisition unit that acquires operation parameters output from the input device, and an object that acquires attribute information of a graphical user interface object to be operated from the interactive system. An attribute acquisition unit, an operation reaction sound synthesizer that synthesizes an operation reaction sound based on the event information, the operation parameter, and the object attribute information, and an output that outputs the operation reaction sound synthesized by the operation reaction sound synthesizer An operation reaction sound generation device comprising: a device.
保持し、前記イベント情報に対応する操作反応音データ
を前記操作反応音データベースに蓄積されている音デー
タから選択する基本反応音選択部と、 前記操作パラメータを第1の音響編集パラメータに変換
する第1のパラメータ変換部と、 前記オブジェクト属性情報を第2の音響編集パラメータ
に変換する第2のパラメータ変換部と、 各種音響エフェクタ、音響フィルタ、イコライザなどに
よって音響波形を編集加工する機能を有し、前記第1の
音響編集パラメータ及び前記第2の音響編集パラメータ
に基づいて、前記基本反応音選択部が選択した音データ
を加工編集する音響編集装置と、 から構成されることを特徴とする請求項2に記載の操作
反応音生成装置3. The operation reaction sound synthesizing device holds in advance an operation reaction sound database in which sound data is accumulated, and correspondence information between the event information and the sound data, and the operation reaction corresponding to the event information. A basic reaction sound selection unit that selects sound data from sound data stored in the operation reaction sound database; a first parameter conversion unit that converts the operation parameter into a first sound editing parameter; and the object attribute information. Has a function of editing and processing an acoustic waveform by various acoustic effectors, acoustic filters, equalizers, etc., and a second parameter conversion unit for converting the first acoustic editing parameter and the second acoustic editing parameter. Sound editing device for processing and editing the sound data selected by the basic reaction sound selection section based on the sound editing parameters of If the operation response sound generating apparatus according to claim 2, characterized in that they are composed of
であって、 さらに、前記イベント情報、前記操作パラメータ及び前
記オブジェクト属性情報を利用して、アニメーション再
生速度制御、再生画像の大きさや位置の制御、画像エフ
ェクトの付加といったアニメーション再生の制御を行な
うアニメーション生成装置と、 前記操作反応音合成装置で合成された操作反応音の音響
データと前記アニメーション生成装置で制御が行われる
アニメーション再生における映像データの同期調整を行
なう出力同期制御装置と、 を有することを特徴とする請求項2または3に記載の操
作反応音生成装置。4. The output device is capable of outputting video and audio, and further using the event information, the operation parameter and the object attribute information, animation reproduction speed control, reproduction image size and position An animation generation device that controls animation reproduction such as control and addition of an image effect; acoustic data of the operation reaction sound synthesized by the operation reaction sound synthesis device; and image data in animation reproduction controlled by the animation generation device. The operation reaction sound generation device according to claim 2 or 3 , further comprising: an output synchronization control device that performs synchronization adjustment.
ョンデータベースと、 前記イベント情報に基づいてアニメーションデータベー
スより基本アニメーションデータを取得する基本アニメ
ーション選択部と、 前記操作パラメータを第1のアニメーション制御パラメ
ータに変換する第3のパラメータ変換部と、 前記オブジェクト属性情報を第2のアニメーション制御
パラメータに変換する第4のパラメータ変換部と、 前記第1のアニメーション制御パラメータと前記第2の
アニメーション制御パラメータに基づいてアニメーショ
ン再生の再生速度、再生画像の位置や大きさ、画像エフ
ェクト等の制御を行なうアニメーション制御部と、 から構成されることを特徴とする請求項4に記載の操作
反応音生成装置。5. The animation generation device comprises: an animation database for accumulating a group of image data for animation; a basic animation selection unit for obtaining basic animation data from the animation database based on the event information; A third animation conversion parameter, a third animation conversion parameter, a third animation animation parameter, a fourth animation animation parameter, a second animation animation parameter, and a second animation animation parameter. reproduction speed of animation reproduction based on the animation control parameter, the operation of claim 4, position and size of the reproduced image, and animation control unit for performing control such as image effect, characterized in that it is composed of応音 generating device.
ータに変換する第3のパラメータ変換部と、 前記オブジェクト属性情報を第2のアニメーション制御
パラメータに変換する第4のパラメータ変換部と、 前記第1のアニメーション制御パラメータと前記第2の
アニメーション制御パラメータに基づいてアニメーショ
ン再生の再生速度、再生画像の位置や大きさ、画像エフ
ェクト等の制御を行なうアニメーション制御部と、 から構成され、 前記アニメーション制御部は、該対話システムより取得
されるアニメーションデータに対してアニメーション再
生の制御を行なうことを特徴とする請求項4に記載の操
作反応音生成装置。6. The third parameter conversion unit, wherein the animation generation device converts the operation parameter into a first animation control parameter, and a fourth parameter that converts the object attribute information into a second animation control parameter. A conversion unit; and an animation control unit that controls the reproduction speed of animation reproduction, the position and size of the reproduced image, the image effect, etc., based on the first animation control parameter and the second animation control parameter. The operation reaction sound generation device according to claim 4 , wherein the animation control unit controls animation reproduction for animation data acquired from the dialogue system.
有するイベントドリブン型の対話システムと、該対話シ
ステムに対して入力操作を行えると共に、操作の強度、
または、操作の速度のうちどちらか一方あるいは両方か
らなる操作パラメータを出力する入力装置と、ユーザに
対して出力を行う出力装置とを少なくとも備えるコンピ
ュータシステムで読み取り可能な記録媒体であって、 コンピュータに、前記入力操作により前記入力装置が出力する前記操作パ
ラメータを前記対話システムが解釈することで得られる
イベント情報を取得する イベント取得機能と、 前記入力装置より出力される操作パラメータを取得する
操作パラメータ取得機能と、 操作対象となるグラフィカル・ユーザ・インタフェース
・オブジェクトの属性情報を前記対話システムより取得
するオブジェクト属性取得機能と、 前記イベント情報、前記操作パラメータ及び前記オブジ
ェクト属性情報に基づいて操作反応音を合成し、前記出
力装置に対して出力する操作反応音合成機能と、 を実現することを特徴とする操作反応音生成プログラム
を記録した記録媒体。7. An event-driven interactive system having a graphical user interface, an input operation for the interactive system, and an intensity of the operation,
Alternatively, a recording medium readable by a computer system including at least an input device that outputs an operation parameter consisting of one or both of operation speeds and an output device that outputs the operation parameter to a user, , The operation pattern output from the input device by the input operation.
Obtained by interpreting parameters by the dialogue system
An event acquisition function that acquires event information, an operation parameter acquisition function that acquires an operation parameter output from the input device, and an object that acquires attribute information of a graphical user interface object to be operated from the interactive system. An attribute acquisition function, and an operation reaction sound synthesizing function for synthesizing an operation reaction sound based on the event information, the operation parameter, and the object attribute information and outputting the operation reaction sound to the output device. A recording medium recording an operation reaction sound generation program.
と、 前記イベント情報と前記音データの対応関係情報を予め
保持し、前記イベント情報に対応する操作反応音データ
を前記操作反応音データベースに蓄積されている音デー
タから選択する基本反応音選択機能と、 前記操作パラメータを第1の音響編集パラメータに変換
する第1のパラメータ変換機能と、 前記オブジェクト属性情報を第2の音響編集パラメータ
に変換する第2のパラメータ変換機能と、 各種音響エフェクタ、音響フィルタ、イコライザなどに
よって音響波形を編集加工する機能を有し、前記第1の
音響編集パラメータ及び前記第2の音響編集パラメータ
に基づいて、前記基本反応音選択部が選択した音データ
を加工編集する音響編集機能と、 からなることを特徴とする請求項7記載の操作反応音生
成プログラムを記録した記録媒体。8. An operation corresponding to the event information, wherein the operation reaction sound synthesizing function holds in advance an operation reaction sound database function in which sound data is accumulated, and correspondence information between the event information and the sound data. A basic reaction sound selection function of selecting reaction sound data from sound data stored in the operation reaction sound database; a first parameter conversion function of converting the operation parameter into a first sound editing parameter; and the object attribute. It has a second parameter conversion function of converting information into a second acoustic editing parameter, and a function of editing and processing an acoustic waveform with various acoustic effectors, acoustic filters, equalizers, and the like. The sound data selected by the basic reaction sound selection unit is processed and edited based on the sound editing parameter of 2. Recording medium recorded with claim 7, wherein the operation response sound generation program, wherein the sound editing function, in that it consists of.
であって、 コンピュータに、 さらに、前記イベント情報、前記操作パラメータ及び前
記オブジェクト属性情報を利用して、アニメーション再
生速度制御、再生画像の大きさや位置の制御、画像エフ
ェクトの付加といったアニメーション再生の制御を行な
うアニメーション生成機能と、 前記操作反応音合成機能によって合成された操作反応音
の音響データと前記アニメーション生成機能によって制
御が行われるアニメーション再生における映像データの
同期調整を行なう出力同期制御機能と、 を実現することを特徴とする請求項7または8に記載の
操作反応音生成プログラムを記録した記録媒体。9. The output device is capable of outputting video and audio, and the computer is further configured to utilize the event information, the operation parameter, and the object attribute information to control the animation playback speed and the size of the playback image. An animation generation function for controlling animation playback such as control of pod position and addition of image effect, acoustic data of operation reaction sound synthesized by the operation reaction sound synthesis function, and animation reproduction controlled by the animation generation function. 9. A recording medium recording the operation reaction sound generation program according to claim 7 , which realizes an output synchronization control function for adjusting synchronization of image data.
ョンデータベース機能と、 前記イベント情報に基づいて前記アニメーションデータ
ベース機能により基本アニメーションデータを取得する
基本アニメーション選択機能と、 前記操作パラメータを第1のアニメーション制御パラメ
ータに変換する第3のパラメータ変換機能と、 前記オブジェクト属性情報を第2のアニメーション制御
パラメータに変換する第4のパラメータ変換機能と、 前記第1のアニメーション制御パラメータと前記第2の
アニメーション制御パラメータに基づいてアニメーショ
ン再生の再生速度、再生画像の位置や大きさ、画像エフ
ェクト等の制御を行なうアニメーション制御機能と、 からなることを特徴とする請求項9記載の操作反応音生
成プログラムを記録した記録媒体。10. The animation generation function, an animation database function for accumulating a group of image data for animation, a basic animation selection function for acquiring basic animation data by the animation database function based on the event information, and the operation. A third parameter conversion function for converting a parameter into a first animation control parameter, a fourth parameter conversion function for converting the object attribute information into a second animation control parameter, the first animation control parameter and the An animation control function for controlling the reproduction speed of the animation reproduction, the position and size of the reproduced image, the image effect, etc. based on the second animation control parameter. A recording medium recording the operation reaction sound generation program to claim 9.
ータに変換する第3のパラメータ変換機能と、 前記オブジェクト属性情報を第2のアニメーション制御
パラメータに変換する第4のパラメータ変換機能と、 前記第1のアニメーション制御パラメータと前記第2の
アニメーション制御パラメータに基づいてアニメーショ
ン再生の再生速度、再生画像の位置や大きさ、画像エフ
ェクト等の制御を行なうアニメーション制御機能と、か
らなり、 前記アニメーション制御機能は、該対話システムより取
得されるアニメーションデータに対してアニメーション
再生の制御を行なうことを特徴とする請求項9に記載の
操作反応音生成プログラムを記録した記録媒体。11. A third parameter conversion function for converting the operation parameter into a first animation control parameter, and a fourth parameter for converting the object attribute information into a second animation control parameter, by the animation generation function. And a conversion function, and an animation control function for controlling a reproduction speed of animation reproduction, a position and a size of a reproduced image, an image effect and the like based on the first animation control parameter and the second animation control parameter. The recording medium storing the operation reaction sound generation program according to claim 9 , wherein the animation control function controls animation reproduction for animation data acquired from the dialogue system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP22864399A JP3525817B2 (en) | 1999-08-12 | 1999-08-12 | Operation reaction sound generation device and recording medium storing operation reaction sound generation program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP22864399A JP3525817B2 (en) | 1999-08-12 | 1999-08-12 | Operation reaction sound generation device and recording medium storing operation reaction sound generation program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001051759A JP2001051759A (en) | 2001-02-23 |
JP3525817B2 true JP3525817B2 (en) | 2004-05-10 |
Family
ID=16879566
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP22864399A Expired - Fee Related JP3525817B2 (en) | 1999-08-12 | 1999-08-12 | Operation reaction sound generation device and recording medium storing operation reaction sound generation program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3525817B2 (en) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI255422B (en) * | 2002-11-20 | 2006-05-21 | Jen-Hwang Weng | Method for pseudo operation of digital content |
US7477254B2 (en) * | 2005-07-13 | 2009-01-13 | Microsoft Corporation | Smooth transitions between animations |
KR101032632B1 (en) * | 2008-04-01 | 2011-05-06 | 한국표준과학연구원 | Method for providing an user interface and the recording medium thereof |
JP6357387B2 (en) | 2014-08-26 | 2018-07-11 | 任天堂株式会社 | Information processing apparatus, information processing system, information processing program, and information processing method |
EP3144802A1 (en) | 2015-09-16 | 2017-03-22 | Thomson Licensing | Method and device for synthesizing a sound |
US10635384B2 (en) * | 2015-09-24 | 2020-04-28 | Casio Computer Co., Ltd. | Electronic device, musical sound control method, and storage medium |
JP2017078931A (en) * | 2015-10-20 | 2017-04-27 | 京セラドキュメントソリューションズ株式会社 | Sound volume adjustment program and electronic apparatus |
JP6622847B2 (en) * | 2018-05-11 | 2019-12-18 | 任天堂株式会社 | Information processing apparatus, information processing system, information processing program, and information processing method |
JP7152023B2 (en) * | 2019-03-29 | 2022-10-12 | 公立大学法人札幌市立大学 | animation editing program |
JP2021081820A (en) * | 2019-11-15 | 2021-05-27 | 株式会社東海理化電機製作所 | Control device and input device |
JP7430166B2 (en) | 2021-11-02 | 2024-02-09 | 任天堂株式会社 | Information processing program, information processing device, and information processing method |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05197355A (en) * | 1992-01-23 | 1993-08-06 | Hitachi Ltd | Acoustic effect defining device |
JPH07116348A (en) * | 1993-10-27 | 1995-05-09 | Casio Comput Co Ltd | Game device |
JPH07334307A (en) * | 1994-06-10 | 1995-12-22 | Sony Corp | Image input device |
JPH0876919A (en) * | 1994-09-06 | 1996-03-22 | Fujitsu General Ltd | Device for informing cursor position |
JPH08227341A (en) * | 1995-02-22 | 1996-09-03 | Mitsubishi Electric Corp | User interface |
JPH08234896A (en) * | 1995-02-24 | 1996-09-13 | Casio Comput Co Ltd | Data output device |
JPH08278781A (en) * | 1995-04-04 | 1996-10-22 | Kawai Musical Instr Mfg Co Ltd | Sound source module |
JP3196921B2 (en) * | 1995-05-29 | 2001-08-06 | 株式会社日立製作所 | Automatic transaction equipment |
JPH0916365A (en) * | 1995-07-04 | 1997-01-17 | Fuji Facom Corp | Output method for multimedia |
JPH1039992A (en) * | 1996-07-23 | 1998-02-13 | Sharp Corp | Data input device |
JPH09265299A (en) * | 1996-03-28 | 1997-10-07 | Secom Co Ltd | Text reading device |
JPH1031481A (en) * | 1996-07-15 | 1998-02-03 | Casio Comput Co Ltd | Waveform generation device |
JPH1040067A (en) * | 1996-07-19 | 1998-02-13 | Nec Corp | Sound control system interlocking with operation of pointing device |
JPH10143155A (en) * | 1996-11-08 | 1998-05-29 | Hitachi Ltd | Formation of virtual musical instrument |
JPH1144703A (en) * | 1997-07-25 | 1999-02-16 | Matsushita Electric Ind Co Ltd | Hand swing input device |
-
1999
- 1999-08-12 JP JP22864399A patent/JP3525817B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2001051759A (en) | 2001-02-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7453035B1 (en) | Methods and systems for providing musical interfaces | |
US6140565A (en) | Method of visualizing music system by combination of scenery picture and player icons | |
JP3955099B2 (en) | Time-based media processing system | |
US7608775B1 (en) | Methods and systems for providing musical interfaces | |
JP3525817B2 (en) | Operation reaction sound generation device and recording medium storing operation reaction sound generation program | |
JP3538242B2 (en) | Score display device | |
JP6805422B2 (en) | Equipment, programs and information processing methods | |
CN112955948A (en) | Musical instrument and method for real-time music generation | |
US7502657B2 (en) | Information processing apparatus, information processing method, and storage medium | |
JP3360312B2 (en) | Music synthesizer | |
Cardle et al. | Music-driven motion editing: Local motion transformations guided by music analysis | |
GB2304945A (en) | An object-oriented interface controlling multimedia devices | |
JP3770293B2 (en) | Visual display method of performance state and recording medium recorded with visual display program of performance state | |
Hantrakul et al. | Implementations of the Leap Motion in sound synthesis, effects modulation and assistive performance tools. | |
JP3603599B2 (en) | Method for visual display of performance system and computer-readable recording medium on which visual display program for performance system is recorded | |
JP2001324919A (en) | Performance operation display device, and recording medium | |
Vertegaal | An Evaluation of input devices for timbre space navigation | |
JP3972899B2 (en) | Music score display device | |
Schlei | Relationship-Based Instrument Mapping of Multi-Point Data Streams Using a Trackpad Interface. | |
Lippit | Realtime sampling system for the turntablist version 2: 16padjoystickcontroller | |
JP2003114674A (en) | Playing information display device and program | |
Waite | Liveness and Interactivity in Popular Music | |
Nicol et al. | A system for manipulating audio interfaces using timbre spaces | |
Vertegaal et al. | An Evaluation of Input Devices for use in the ISEE Human-Synthesize Interface | |
JP6028489B2 (en) | Video playback device, video playback method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20031226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040127 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040209 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080227 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090227 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100227 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100227 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110227 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110227 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120227 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120227 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130227 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130227 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140227 Year of fee payment: 10 |
|
LAPS | Cancellation because of no payment of annual fees |