JPH0895734A - Multimodal input control method and multimodal interaction system - Google Patents
Multimodal input control method and multimodal interaction systemInfo
- Publication number
- JPH0895734A JPH0895734A JP6235061A JP23506194A JPH0895734A JP H0895734 A JPH0895734 A JP H0895734A JP 6235061 A JP6235061 A JP 6235061A JP 23506194 A JP23506194 A JP 23506194A JP H0895734 A JPH0895734 A JP H0895734A
- Authority
- JP
- Japan
- Prior art keywords
- input
- event
- window
- unit
- window system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Digital Computer Display Output (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、ユーザと情報処理機器
との間で自然な対話を実現するマルチモーダル対話シス
テムに係り、特に複雑な制御を必要とするマルチモーダ
ル入力の処理を行うのに好適なマルチモーダル入力制御
方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a multimodal dialogue system for realizing a natural dialogue between a user and an information processing device, and particularly for processing a multimodal input which requires complicated control. The present invention relates to a suitable multi-modal input control method.
【０００２】[0002]
【従来の技術】従来、入力手段が複数種存在するマルチ
モーダル対話システムでは、全ての入力を管理し、対話
を進行する対話管理部において複雑な管理を必要とされ
ていた。つまり、使用された入力手段によって異なる制
御方法を対話管理部で行っていた。2. Description of the Related Art Conventionally, in a multimodal dialogue system having a plurality of types of input means, complicated management is required in a dialogue management unit that manages all inputs and proceeds with the dialogue. In other words, the dialogue management unit performs different control methods depending on the input means used.
【０００３】[0003]
【発明が解決しようとする課題】上記したように従来の
マルチモーダル対話システムでは、使用される入力手段
によって異なる制御方法を対話管理部において適用して
いた。このため、新たな入力手段を追加することは、大
規模な対話管理部の変更を伴うこととなり、事実上不可
能であった。As described above, in the conventional multimodal dialogue system, different control methods are applied to the dialogue management section depending on the input means used. Therefore, adding a new input means involves a large-scale change of the dialogue management unit, which is virtually impossible.
【０００４】本発明は上記事情を考慮してなされたもの
でその目的は、複雑な制御を必要とするマルチモーダル
入力の処理が容易に行えるマルチモーダル入力制御方法
およびマルチモーダル対話システムを提供することにあ
る。The present invention has been made in view of the above circumstances, and an object thereof is to provide a multi-modal input control method and a multi-modal dialogue system which can easily process multi-modal input requiring complicated control. It is in.
【０００５】[0005]
【課題を解決するための手段及び作用】本発明の第１の
観点に係る構成は、少なくとも表示手段とポインティン
グ機能を有する第１の入力手段を備え、この第１の入力
手段によるポインティングをイベントとして受け付ける
ウインドウシステムが起動される情報処理機器に適用さ
れるマルチモーダル入力制御方法であって、上記第１の
入力手段とは別に設けられる当該第１の入力手段とは異
なる種類の第２の入力手段からの入力情報を受信し、そ
の受信した入力情報をウインドウシステムのイベントに
変換して当該ウインドウシステム上のウインドウに送信
することにより、第２の入力手段からの入力をウインド
ウシステムのイベントとして取り扱うようにしたことを
特徴とするものである。The structure according to the first aspect of the present invention includes at least a display means and a first input means having a pointing function, and the pointing by the first input means is used as an event. A multi-modal input control method applied to an information processing device in which a window system for accepting is activated, the second input means being of a type different from the first input means provided separately from the first input means. The input information from the second input means is treated as an event of the window system by receiving the input information from the second input means, converting the received input information into an event of the window system and transmitting the event to the window on the window system. It is characterized by having done.
【０００６】このような構成においては、例えばマウス
やキーボードなどの第１の入力手段によるポインティン
グをイベントとして受け付けるウインドウシステムが起
動される情報処理機器に、第１の入力手段とは異なる種
類の例えばマウスやキーボード以外の第２の入力手段を
追加しても、第２の入力手段からの入力情報がウインド
ウシステムのイベントに変換されて当該ウインドウシス
テム上のウインドウに送信されるため、第２の入力手段
からの入力を第１の入力手段からの入力と同様に単一の
ウインドウシステムのイベント（ウインドウイベント）
として取り扱うことができ、複雑な制御を必要とするマ
ルチモーダル入力の取り扱いが単一の処理で行える。In such a configuration, in the information processing device in which the window system that accepts pointing by the first input means such as a mouse or keyboard as an event is activated, for example, a mouse of a type different from the first input means is used. Even if the second input means other than the keyboard or the keyboard is added, the input information from the second input means is converted into an event of the window system and transmitted to the window on the window system. The input from the same as the input from the first input means is a single window system event (window event)
, Which can handle multimodal input that requires complicated control in a single process.
【０００７】また本発明の第２の観点に係る構成は、上
記第２の入力手段がタッチパネルの場合に、そこからの
入力情報を受信して、その受信した入力情報で示される
ユーザのタッチした座標をウインドウシステムの座標に
変換し、この変換された座標の位置に存在するウインド
ウを識別して、その識別したウインドウに対してイベン
トを送信するようにしたことを特徴とする。In the configuration according to the second aspect of the present invention, when the second input means is a touch panel, the input information from the touch panel is received and touched by the user indicated by the received input information. It is characterized in that the coordinates are converted into the coordinates of the window system, the window existing at the position of the converted coordinates is identified, and the event is transmitted to the identified window.
【０００８】このような構成においては、タッチ入力を
単一のウインドウイベントとして取り扱え、タッチパネ
ルによるポインティングを、マウスによってポインティ
ングされたように扱うことが可能となる。In such a configuration, the touch input can be handled as a single window event, and the pointing on the touch panel can be handled as if it was pointed by the mouse.
【０００９】また本発明の第３の観点に係る構成は、上
記第２の入力手段が入力音声を認識する音声認識手段の
場合に、この音声認識手段からの認識結果を受信して、
その受信した認識結果をもとにその認識結果に対して予
め割り当てておいたウインドウを識別し、その識別した
ウインドウに対してイベントを送信するようにしたこと
を特徴とする。According to a third aspect of the present invention, when the second input means is a voice recognition means for recognizing an input voice, the recognition result from the voice recognition means is received,
Based on the received recognition result, the window previously assigned to the recognition result is identified, and the event is transmitted to the identified window.
【００１０】このような構成においては、音声入力を単
一のウインドウイベントとして取り扱え、認識結果に対
応した処理を行うことが可能となる。また本発明の第４
の観点に係る構成は、上記第２の入力手段が一定周期毎
に時間割込を発生する時間割込手段の場合に、そこから
の割込を受信して、その受信した割込の時刻をもとにそ
の時刻に対して予め割り当てておいたウインドウを識別
し、その識別したウインドウに対してイベントを送信す
るようにしたことを特徴とする。In such a configuration, the voice input can be handled as a single window event, and the processing corresponding to the recognition result can be performed. The fourth aspect of the present invention
In the configuration according to the aspect, when the second input unit is a time interrupt unit that generates a time interrupt at every constant cycle, an interrupt from the second interrupt unit is received, and the time of the received interrupt is used as a basis. It is characterized in that the window previously assigned to that time is identified and the event is transmitted to the identified window.
【００１１】このような構成においては、時間割込を単
一のウインドウイベントとして取り扱え、割込時刻に対
応した処理を行うことが可能となる。また本発明の第５
の観点に係る構成は、上記第２の入力手段が物体等の存
在を検知するセンサと当該センサの状態を検出するセン
サ制御手段から構成される場合に、このセンサ制御手段
により得られるセンサ状態を受信して、その受信したセ
ンサ状態の変化時には、その際のセンサ状態をもとにそ
の状態に対して予め割り当てておいたウインドウを識別
し、その識別したウインドウに対してイベントを送信す
るようにしたことを特徴とする。このような構成におい
ては、センサ入力を単一のウインドウイベントとして取
り扱え、センサ状態に対応した処理を行うことが可能と
なる。In such a configuration, the time interrupt can be handled as a single window event, and the processing corresponding to the interrupt time can be performed. The fifth aspect of the present invention
When the second input means is composed of a sensor that detects the presence of an object and the like and a sensor control means that detects the state of the sensor, the configuration related to When receiving and changing the received sensor state, the window previously assigned to the state is identified based on the sensor state at that time, and the event is transmitted to the identified window. It is characterized by having done. In such a configuration, the sensor input can be handled as a single window event, and the processing corresponding to the sensor state can be performed.
【００１２】[0012]
【実施例】図１は本発明の一実施例に係るマルチモーダ
ル対話システムの全体構成を示すブロック図である。図
１のマルチモーダル対話システムは、情報処理機器とし
ての例えばワークステーションを用いて実現されてお
り、ポインティング機能を持つ入力手段としてのキーボ
ード（ＫＢ）１１およびマウス１２と、ＣＲＴディスプ
レイ、液晶ディスプレイ等の表示部１３とを備えてい
る。この表示部１３の解像度は、例えば１０００×１０
００ドットであるものとする。FIG. 1 is a block diagram showing the overall configuration of a multimodal dialogue system according to an embodiment of the present invention. The multi-modal dialogue system of FIG. 1 is realized by using, for example, a workstation as an information processing device, and has a keyboard (KB) 11 and a mouse 12 as input means having a pointing function, a CRT display, a liquid crystal display, etc. The display unit 13 is provided. The resolution of the display unit 13 is, for example, 1000 × 10.
It is assumed to be 00 dots.
【００１３】図１のマルチモーダル対話システムはま
た、表示部１３の表示画面に重ねて設けられてユーザの
タッチ入力に用いられる例えば１１５２×９００ドット
の解像度のタッチパネル１４と、タッチパネル１４上で
タッチされた位置の座標を入力するためのタッチパネル
コントロール部１５と、ユーザの音声入力に用いられる
マイクロホン１６と、マイクロホン１６により入力され
た音声を認識する音声認識部１７と、ユーザの接近を検
知する近接センサ１８と、近接センサ１８の状態を検出
して入力する近接センサ制御部１９とを備えている。The multi-modal interactive system shown in FIG. 1 is also touched on the touch panel 14, which is provided on the display screen of the display unit 13 and has a resolution of, for example, 1152 × 900 dots and is used for touch input by the user. Touch panel control unit 15 for inputting the coordinates of the position, a microphone 16 used for the user's voice input, a voice recognition unit 17 for recognizing the voice input by the microphone 16, and a proximity sensor for detecting the approach of the user. 18 and a proximity sensor control unit 19 that detects and inputs the state of the proximity sensor 18.
【００１４】図１のマルチモーダル対話システムは更
に、ワークステーション本体２０を備えている。このワ
ークステーション本体２０では、ウインドウシステムが
起動される。このウインドウシステムは、例えばＸウイ
ンドウ（米国マサチューセッツ工科大学の登録商標）で
ある。The multimodal interaction system of FIG. 1 further comprises a workstation body 20. In this workstation body 20, the window system is activated. This window system is, for example, X Window (registered trademark of Massachusetts Institute of Technology, USA).
【００１５】ワークステーション本体２０は、キーボー
ド１１からの入力を司るキーボードインタフェース（Ｋ
Ｂ−ＩＦ）２１と、マウス１２からの入力を司るマウス
インタフェース（Ｍ−ＩＦ）２２と、ウインドウ管理部
（ウインドウマネジャ）２３と、本発明に直接関係する
対話管理部２４とを有している。The workstation body 20 has a keyboard interface (K) for controlling input from the keyboard 11.
B-IF) 21, a mouse interface (M-IF) 22 that controls input from the mouse 12, a window management unit (window manager) 23, and a dialogue management unit 24 directly related to the present invention. .
【００１６】ウインドウ管理部２３は、（マウスインタ
フェース２２を介して与えられる）マウス１２からのポ
インティング入力を受けて、その座標に存在するウイン
ドウに対して、マウス１２のボタンがクリックされたと
いうことを表すイベントを送信するようになっている。
ウインドウ管理部２３は、（キーボードインタフェース
２１を介して与えられる）キーボード１１（上の例えば
カーソルキー操作に従う）からのポインティング入力に
対しても、マウス１２のクリックとして扱うようになっ
ている。ウインドウ管理部２３はまた、一定周期で時間
割込を発生するようになっている。The window management unit 23 receives a pointing input from the mouse 12 (given via the mouse interface 22) and indicates that the button of the mouse 12 has been clicked on the window existing at the coordinate. It is designed to send events that represent it.
The window management unit 23 also handles pointing input from the keyboard 11 (given via the keyboard interface 21) (following, for example, cursor key operation) as a click of the mouse 12. The window management unit 23 is also adapted to generate a time interrupt at a constant cycle.
【００１７】対話管理部２４は、ユーザとの対話を管理
するものであり、ユーザのタッチパネル１４を用いたタ
ッチ入力、マイクロホン１６を用いた音声入力、近接セ
ンサ１８の状態を、それぞれタッチパネルコントロール
部１５、音声認識部１７、近接センサ制御部１９を介し
て取り込み、その入力をウインドウシステムのイベント
に変換するようになっている。対話管理部２４はまた、
ウインドウ管理部２３から発生される時間割込を受けて
時刻（例えば後述する時間割込ウインドウ２１７の表示
開始時点を基準とする時刻）を計測し、その時刻をウイ
ンドウシステムのイベントに変換するようにもなってい
る。The dialog management unit 24 manages a dialog with the user, and the touch input using the touch panel 14 of the user, the voice input using the microphone 16, and the state of the proximity sensor 18 are respectively related to the touch panel control unit 15. The input is converted via the voice recognition unit 17 and the proximity sensor control unit 19 into an event of the window system. The dialogue management unit 24 also
Upon receiving a time interrupt generated from the window management unit 23, a time (for example, a time based on a display start time of a time interrupt window 217 described later) is measured, and the time is converted into an event of the window system. ing.
【００１８】図２は対話管理部２４の機能構成を示すブ
ロック図である。この対話管理部２４は、タッチパネル
コントロール部１５により入力される（ユーザがタッチ
パネル１４をタッチした位置の）座標を受信する入力受
信部２０１と、音声認識部１７の認識結果を受信する音
声認識受信部２０２と、近接センサ制御部１９により検
出される近接センサ１８の状態（センサ状態）を受信す
る近接センサ受信部２０３と、ウインドウ管理部２３か
らの時間割込を受信して時刻（割込時刻）を計測する時
間割込受信部２０４と、入力変換部２０５とを有してい
る。FIG. 2 is a block diagram showing the functional arrangement of the dialogue management unit 24. The dialogue management unit 24 includes an input reception unit 201 that receives coordinates (at a position where the user touches the touch panel 14) input by the touch panel control unit 15, and a voice recognition reception unit that receives the recognition result of the voice recognition unit 17. 202, a proximity sensor receiving unit 203 that receives the state (sensor state) of the proximity sensor 18 detected by the proximity sensor control unit 19, and a time (interruption time) by receiving a time interrupt from the window management unit 23. It has a time interrupt reception unit 204 for measuring and an input conversion unit 205.
【００１９】入力変換部２０５は、入力受信部２０１か
らの座標、音声認識受信部２０２からの認識結果、近接
センサ受信部２０３からのセンサ状態、および時間割込
受信部２０４からの時刻（の情報）を受けて、その受け
取った情報をウインドウシステムのイベントに変換して
当該ウインドウシステム上のウインドウに送信するもの
である。The input conversion unit 205 receives the coordinates from the input reception unit 201, the recognition result from the voice recognition reception unit 202, the sensor state from the proximity sensor reception unit 203, and the time (information thereof) from the time interrupt reception unit 204. In response to this, the received information is converted into a window system event and transmitted to the window on the window system.
【００２０】入力変換部２０５は、座標データ変換部２
０６と、ウインドウ識別部２０７と、イベント送信部２
０８，２０９と、イベント送信先テーブル２１０および
音声認識ウインドウ２１１を（属性として）持つ音声認
識オブジェクト２１２と、イベント送信先テーブル２１
３および近接センサウインドウ２１４を（属性として）
持つ近接センサオブジェクト２１５と、イベント送信先
テーブル２１６および時間割込ウインドウ２１７を（属
性として）持つ時間割込オブジェクト２１８とを有して
いる。The input conversion unit 205 is a coordinate data conversion unit 2
06, the window identification unit 207, and the event transmission unit 2
08 and 209, an event destination table 210, a voice recognition object 212 having a voice recognition window 211 (as attributes), and an event destination table 21.
3 and proximity sensor window 214 (as attributes)
It has a proximity sensor object 215 that it has, and a time interruption object 218 that has an event destination table 216 and a time interruption window 217 (as attributes).
【００２１】座標データ変換部２０６は、入力受信部２
０１により受信された座標を表示部１３上の座標（ウイ
ンドウシステムの座標）に変換するものである。ウイン
ドウ識別部２０７は、座標データ変換部２０６により変
換された座標の位置に存在するウインドウを識別して、
そのウインドウのウインドウＩＤ（ウインドウ識別子）
をイベント送信部２０８に出力するものである。The coordinate data conversion unit 206 includes an input receiving unit 2
The coordinates received by 01 are converted into coordinates on the display unit 13 (coordinates of the window system). The window identification unit 207 identifies the window existing at the position of the coordinates converted by the coordinate data conversion unit 206,
Window ID (window identifier) of the window
Is output to the event transmission unit 208.
【００２２】イベント送信部２０８は、ウインドウ識別
部２０７から出力されたウインドウＩＤのウインドウに
イベントを送信するものである。イベント送信部２０９
は、音声認識受信部２０２からの認識結果を受けて、そ
の認識結果とイベントを音声認識オブジェクト２１２の
音声認識ウインドウ２１０に送信し、近接センサ受信部
２０３からのセンサ状態を受けて、そのセンサ状態の変
化時にそのセンサ状態とイベントを近接センサオブジェ
クト２１５の近接センサウインドウ２１３に送信し、そ
して時間割込受信部２０４からの時刻（の情報）を受け
て、その時刻とイベントを時間割込オブジェクト２１８
の時間割込ウインドウ２１６に送信するものである。The event transmission unit 208 transmits an event to the window having the window ID output from the window identification unit 207. Event transmission unit 209
Receives the recognition result from the voice recognition receiving unit 202, transmits the recognition result and the event to the voice recognition window 210 of the voice recognition object 212, receives the sensor state from the proximity sensor receiving unit 203, and outputs the sensor state. When the change occurs, the sensor state and the event are transmitted to the proximity sensor window 213 of the proximity sensor object 215, and the time (information thereof) is received from the time interrupt receiving unit 204, and the time and the event are changed to the time interrupt object 218.
Is transmitted to the time interruption window 216 of the above.
【００２３】イベント送信先テーブル２１０は、図３
（ａ）に示すように、複数の認識結果のそれぞれに対し
て割り当てているウインドウのウインドウＩＤを登録し
ておくものである。The event destination table 210 is shown in FIG.
As shown in (a), the window ID of the window assigned to each of the plurality of recognition results is registered.
【００２４】音声認識ウインドウ２１１は、イベント送
信部２０９からイベントと認識結果を受けた場合に、そ
の認識結果によりイベント送信先テーブル２１０を検索
して、その認識結果に割り当てられているウインドウＩ
Ｄを識別し、対応するウインドウにイベントを送信する
ものである。When the event and the recognition result are received from the event transmitting unit 209, the voice recognition window 211 searches the event destination table 210 by the recognition result and the window I assigned to the recognition result.
It identifies D and sends the event to the corresponding window.
【００２５】音声認識オブジェクト２１２は、オブジェ
クト指向でのオブジェクトであり、上記した音声認識ウ
インドウ２１１の機能を実現するための処理手続きを有
している。The voice recognition object 212 is an object-oriented object and has a processing procedure for realizing the function of the voice recognition window 211 described above.
【００２６】イベント送信先テーブル２１３は、図３
（ｂ）に示すように、複数のセンサ状態のそれぞれに対
して割り当てているウインドウのウインドウＩＤを登録
しておくものである。The event destination table 213 is shown in FIG.
As shown in (b), the window ID of the window assigned to each of the plurality of sensor states is registered.
【００２７】近接センサウインドウ２１４は、イベント
送信部２０９からイベントとセンサ状態を受けた場合
に、そのセンサ状態によりイベント送信先テーブル２１
３を検索して、そのセンサ状態に割り当てられているウ
インドウＩＤを識別し、対応するウインドウにイベント
を送信するものである。When the proximity sensor window 214 receives an event and a sensor state from the event transmitting unit 209, the event destination table 21 depends on the sensor state.
3 is searched, the window ID assigned to the sensor state is identified, and the event is transmitted to the corresponding window.
【００２８】近接センサオブジェクト２１５は、オブジ
ェクト指向でのオブジェクトであり、上記した近接セン
サウインドウ２１４の機能を実現するための処理手続き
を有している。The proximity sensor object 215 is an object-oriented object and has a processing procedure for realizing the function of the proximity sensor window 214 described above.
【００２９】イベント送信先テーブル２１６は、図３
（ｃ）に示すように、複数の時刻（割込時刻）のそれぞ
れに対して割り当てているウインドウのウインドウＩＤ
を登録しておくものである。The event destination table 216 is shown in FIG.
As shown in (c), the window ID of the window assigned to each of a plurality of times (interruption times)
Is to be registered.
【００３０】時間割込ウインドウ２１７は、イベント送
信部２０９からイベントと時刻を受けた場合に、その時
刻によりイベント送信先テーブル２１３を検索して、そ
の時刻に割り当てられているウインドウＩＤを識別し、
対応するウインドウにイベントを送信するものである。When the event and time are received from the event transmitting unit 209, the time interrupt window 217 searches the event destination table 213 by the time and identifies the window ID assigned at that time,
It sends an event to the corresponding window.
【００３１】時間割込オブジェクト２１８は、オブジェ
クト指向でのオブジェクトであり、上記した時間割込ウ
インドウ２１７の機能を実現するための処理手続きを有
している。The time interruption object 218 is an object oriented object and has a processing procedure for realizing the function of the time interruption window 217 described above.
【００３２】次に、本発明の一実施例の動作を、タッチ
パネル１４上でユーザがタッチ入力を行った場合を例に
説明する。ユーザがタッチパネル１４で任意のポイント
をタッチすると、タッチパネルコントロール部１５は、
ユーザがタッチしたタッチパネル１４上の位置を検出
し、その位置の座標データを対話管理部２４に送信す
る。Next, the operation of one embodiment of the present invention will be described by taking the case where the user performs a touch input on the touch panel 14 as an example. When the user touches an arbitrary point on the touch panel 14, the touch panel control unit 15
The position on the touch panel 14 touched by the user is detected, and the coordinate data of the position is transmitted to the dialogue management unit 24.
【００３３】タッチパネルコントロール部１５から対話
管理部２４に送信された座標データは当該対話管理部２
４内の入力受信部２０１により受信され、座標データ変
換部２０６に送られる。The coordinate data transmitted from the touch panel control unit 15 to the dialogue management unit 24 is the dialogue management unit 2 concerned.
It is received by the input receiving unit 201 in the No. 4 and sent to the coordinate data converting unit 206.
【００３４】座標データ変換部２０６は、この座標デー
タ、即ちタッチパネル１４上の座標データを、表示部１
３の大きさ（解像度）に対応した座標に変換する。ここ
では、１０００×１０００ドットの解像度を持つタッチ
パネル１４の座標データが、１１５２×９００ドットの
解像度の表示部１３（の表示画面）上の座標データに変
換される。この変換後の座標データは座標データ変換部
２０６からウインドウ識別部２０７に送られる。The coordinate data conversion unit 206 converts the coordinate data, that is, the coordinate data on the touch panel 14 into the display unit 1.
Convert to coordinates corresponding to the size (resolution) of 3. Here, the coordinate data of the touch panel 14 having the resolution of 1000 × 1000 dots is converted into the coordinate data on (the display screen of) the display unit 13 having the resolution of 1152 × 900 dots. The coordinate data after this conversion is sent from the coordinate data conversion unit 206 to the window identification unit 207.
【００３５】ウインドウ識別部２０７は、座標データ変
換部２０６から送られた表示部１３の解像度に変換され
た座標データをもとに、その座標の位置に存在するウイ
ンドウを探す。本対話システムで動作するウインドウシ
ステム（Ｘウインドウシステム）の各ウインドウはそれ
ぞれ固有のウインドウＩＤを持っており、ウインドウ識
別部２０７は、探したウインドウのウインドウＩＤをイ
ベント送信部２０８に送る。The window identifying section 207 searches for a window existing at the position of the coordinate based on the coordinate data converted from the resolution of the display section 13 sent from the coordinate data converting section 206. Each window of the window system (X window system) that operates in this dialogue system has a unique window ID, and the window identification unit 207 sends the window ID of the searched window to the event transmission unit 208.
【００３６】イベント送信部２０８は、ウインドウ識別
部２０７から送られたウインドウＩＤのウインドウに対
し、マウス１２のボタンがクリックされたということを
表すイベントを送信する。The event transmission unit 208 transmits an event indicating that the button of the mouse 12 has been clicked to the window having the window ID sent from the window identification unit 207.
【００３７】以上の一連の流れによって、タッチパネル
１４によるポインティングを、マウス１２によってポイ
ンティングされたように扱うことができる。次に、音声
入力の取扱いについて説明する。Through the series of steps described above, the pointing by the touch panel 14 can be treated as if pointing by the mouse 12. Next, the handling of voice input will be described.
【００３８】ユーザがマイクロホン１６に向かって発声
した音声は、音声認識部１７により認識され、その認識
結果が対話管理部２４に送られる。音声認識部１７から
対話管理部２４に送られた認識結果は当該対話管理部２
４内の音声認識受信部２０２により受信され、イベント
送信部２０９に送られる。The voice uttered by the user toward the microphone 16 is recognized by the voice recognition unit 17, and the recognition result is sent to the dialogue management unit 24. The recognition result sent from the voice recognition unit 17 to the dialogue management unit 24 is the dialogue management unit 2 concerned.
It is received by the voice recognition receiving unit 202 in the No. 4 and sent to the event transmitting unit 209.
【００３９】イベント送信部２０９は、この認識結果を
イベントと共に、音声認識オブジェクト２１２の音声認
識ウインドウ２１１に送信する。すると音声認識ウイン
ドウ２１１は、イベント送信部２０９から送られた認識
結果により図３（ａ）に示したようなイベント送信先テ
ーブル２１０を検索し、その認識結果に対して予め割り
当てられているウインドウのウインドウＩＤを取得す
る。そして音声認識ウインドウ２１１は、このウインド
ウＩＤのウインドウに対してイベントを送信する。した
がって、上記認識結果が例えば「ねずみ」であるとき
は、図３（ａ）のイベント送信先テーブル２１０の場合
には、ウインドウＩＤ＝１のウインドウに対してイベン
トが送信される。The event transmitting unit 209 transmits the recognition result together with the event to the voice recognition window 211 of the voice recognition object 212. Then, the voice recognition window 211 searches the event transmission destination table 210 as shown in FIG. 3A based on the recognition result transmitted from the event transmission unit 209, and selects the window previously assigned to the recognition result. Get the window ID. Then, the voice recognition window 211 transmits an event to the window of this window ID. Therefore, when the recognition result is, for example, “mouse”, in the event destination table 210 of FIG. 3A, the event is transmitted to the window with the window ID = 1.
【００４０】次に、近接センサ１８の情報の取扱いにつ
いて説明する。近接センサ１８はユーザが本システムに
接近するとオン（ＯＮ）状態となり、本システムから離
れるとオフ（ＯＦＦ）状態となる。Next, the handling of the information of the proximity sensor 18 will be described. The proximity sensor 18 turns on (ON) when the user approaches the system, and turns off (OFF) when the user leaves the system.
【００４１】近接センサ制御部１９は、近接センサ１８
の状態（センサ状態）を検出して、その状態を対話管理
部２４に送信する。近接センサ制御部１９から対話管理
部２４に送信されたセンサ状態は当該対話管理部２４内
の近接センサ受信部２０３により受信される。近接セン
サ受信部２０３は、受信したセンサ状態が変化した場合
に、その際のセンサ状態をイベント送信部２０９に送
る。The proximity sensor control unit 19 includes a proximity sensor 18
The state (sensor state) is detected and the state is transmitted to the dialogue management unit 24. The sensor state transmitted from the proximity sensor control unit 19 to the dialogue management unit 24 is received by the proximity sensor reception unit 203 in the dialogue management unit 24. When the received sensor state changes, the proximity sensor receiving unit 203 sends the sensor state at that time to the event transmitting unit 209.
【００４２】イベント送信部２０９は、この（近接セン
サ１８の）センサ状態をイベントと共に、近接センサオ
ブジェクト２１２の近接センサウインドウ２１４に送信
する。すると近接センサウインドウ２１４は、イベント
送信部２０９から送られたセンサ状態により図３（ｂ）
に示したようなイベント送信先テーブル２１３を検索
し、そのセンサ状態に対して予め割り当てられているウ
インドウのウインドウＩＤを取得する。そして近接セン
サウインドウ２１４は、このウインドウＩＤのウインド
ウに対してイベントを送信する。したがって、上記セン
サ状態が例えば「ＯＦＦ」であるとき（「ＯＦＦ」に変
化したとき）は、図３（ｂ）のイベント送信先テーブル
２１３の場合には、ウインドウＩＤ＝２のウインドウに
対してイベントが送信される。The event transmission unit 209 transmits this sensor state (of the proximity sensor 18) together with the event to the proximity sensor window 214 of the proximity sensor object 212. Then, the proximity sensor window 214 is displayed in FIG. 3B according to the sensor state sent from the event transmission unit 209.
The event transmission destination table 213 as shown in (1) is searched, and the window ID of the window previously assigned to the sensor state is acquired. Then, the proximity sensor window 214 transmits an event to the window of this window ID. Therefore, when the sensor state is, for example, “OFF” (when it is changed to “OFF”), in the case of the event destination table 213 of FIG. Will be sent.
【００４３】次に、ウインドウ管理部２３からの時間割
込（に従う時刻）の取扱いについて説明する。ウインド
ウ管理部２３からは一定周期で時間割込が発生する。こ
のウインドウ管理部２３からの時間割込は対話管理部２
４内の時間割込受信部２０４で受信される。Next, the handling of the time interrupt (time according to) from the window management unit 23 will be described. The window management unit 23 generates time interrupts at regular intervals. The time interrupt from the window management unit 23 is the dialogue management unit 2.
It is received by the time interrupt receiving unit 204 within 4.
【００４４】時間割込受信部２０４は、ウインドウ管理
部２３からの一定周期の時間割込をカウントすることに
より、時刻（割込時刻）を計測する。ここで、時間割込
受信部２０４での時刻計測の開始時点は時間割込オブジ
ェクト２１８の時間割込ウインドウ２１７が画面上に置
かれた（表示された）ときとなっており、その時点から
の経過時間が当該時間割込受信部２０４にて計測される
ことになる。The time interrupt receiving unit 204 measures the time (interrupt time) by counting the time interrupts from the window management unit 23 in a constant cycle. Here, the start time of the time measurement in the time interruption receiving unit 204 is when the time interruption window 217 of the time interruption object 218 is placed (displayed) on the screen, and the elapsed time from that time point. It will be measured by the time interrupt receiving unit 204.
【００４５】時間割込受信部２０４は、ウインドウ管理
部２３から時間割込を受信する毎に上記の時刻（割込時
刻、経過時間）を計測し、その時刻をイベント送信部２
０９に送る。The time interrupt receiving unit 204 measures the above time (interrupt time, elapsed time) each time the time interrupt is received from the window management unit 23, and the time is received.
Send to 09.
【００４６】イベント送信部２０９は、この時刻をイベ
ントと共に、時間割込オブジェクト２１８の時間割込ウ
インドウ２１７に送信する。すると時間割込ウインドウ
２１７は、イベント送信部２０９から送られた時刻によ
り図３（ｂ）に示したようなイベント送信先テーブル２
１６を検索し、その時刻に対して予め割り当てられてい
るウインドウのウインドウＩＤを取得する。そして時間
割込ウインドウ２１７は、このウインドウＩＤのウイン
ドウに対してイベントを送信する。したがって、上記時
刻が例えば「３．０（秒）」であるときは、図３（ｃ）
のイベント送信先テーブル２１６の場合には、ウインド
ウＩＤ＝３のウインドウに対してイベントが送信され
る。The event transmission unit 209 transmits this time together with the event to the time interruption window 217 of the time interruption object 218. Then, the time interruption window 217 displays the event transmission destination table 2 as shown in FIG. 3B according to the time transmitted from the event transmission unit 209.
16 is acquired, and the window ID of the window previously assigned to that time is acquired. Then, the time interruption window 217 transmits an event to the window of this window ID. Therefore, when the above time is, for example, "3.0 (seconds)", the time in FIG.
In the case of the event transmission destination table 216, the event is transmitted to the window with the window ID = 3.
【００４７】以上に述べたような対話管理部２４の機能
（により実現されるマルチモーダル入力制御方法）によ
って、音声入力、タッチ入力、センサ入力（センサ状
態）、更には時間割込入力（の時刻）などのマルチモー
ダル入力を単一のウインドウシステムのイベントとして
取り扱うことができる。これにより、マウスとキーボー
ドのみで動作するＧＵＩ（Graphical User Interface）
を作成し、上記機能を付加することによって、容易にマ
ルチモーダル対話システムを構築することができる。By the function (multimodal input control method realized by) of the dialogue management unit 24 as described above, voice input, touch input, sensor input (sensor state), and time interrupt input (time of). Multimodal input such as can be treated as a single window system event. This allows GUI (Graphical User Interface) to operate only with mouse and keyboard.
A multi-modal dialog system can be easily constructed by creating the above and adding the above function.
【００４８】なお、前記実施例では、（マイクロホン１
６および音声認識部１７を介しての）音声入力と、（タ
ッチパネル１４およびタッチパネルコントロール部１５
を介しての）タッチ入力と、（近接センサ１８および近
接センサ制御部１９を介しての）センサ入力と、ウイン
ドウ管理部２３からの時間割込入力との４種類の入力
が、いずれも対話管理部２４の機能により、システム
（のウインドウ管理部２３）がサポートしている標準的
な入力（ここではキーボード１１およびマウス１２から
のポインティング入力）と同様に、ウインドウシステム
のイベントとして取り扱われる構成としたが、標準的な
入力以外の入力の種類は、上記４種類に限るものではな
く、それより少なくても多くても構わない。In the above embodiment, (microphone 1
6 and voice input (via voice recognition unit 17), and touch panel 14 and touch panel control unit 15
All four types of inputs are a touch input, a sensor input (via the proximity sensor 18 and the proximity sensor control unit 19), and a time interrupt input from the window management unit 23. With the function of 24, the system is treated as an event of the window system in the same manner as the standard input (pointing input from the keyboard 11 and the mouse 12 here) supported by (the window management unit 23 of) the system. The types of inputs other than the standard inputs are not limited to the above four types, and may be less or more than them.
【００４９】[0049]
【発明の効果】以上詳述したように本発明によれば、複
雑なマルチモーダル入力を単一のウインドウイベントと
して扱うことができるため、容易にマルチモーダル対話
を実現することができる。これにより複雑なマルチモー
ダル対話システム（ＡＴＭ、地図案内システムなど）を
作成する前に、プロトタイプを作成し、ユーザインタフ
ェースの評価を行うことも可能となる。As described above in detail, according to the present invention, since a complicated multi-modal input can be treated as a single window event, multi-modal dialogue can be easily realized. This makes it possible to create a prototype and evaluate the user interface before creating a complex multi-modal dialogue system (ATM, map guidance system, etc.).
【図１】本発明の一実施例に係るマルチモーダル対話シ
ステムの全体構成を示すブロック図。FIG. 1 is a block diagram showing an overall configuration of a multimodal dialogue system according to an embodiment of the present invention.
【図２】図１中の対話管理部２４の機能構成を示すブロ
ック図。FIG. 2 is a block diagram showing a functional configuration of a dialogue management unit 24 in FIG.
【図３】図１中のイベント送信先テーブル２１０，２１
３，２１６の一例を示す図。FIG. 3 is an event transmission destination table 210, 21 in FIG.
The figure which shows an example of 3,216.
１１…キーボード（ＫＢ）、１２…マウス、１３…表示
部、１４…タッチパネル、１５…タッチパネルコントロ
ール部、１６…マイクロホン、１７…音声認識部、１８
…近接センサ、１９…近接センサ制御部、２０…ワーク
ステーション本体、２１…キーボードインタフェース
（ＫＢ−ＩＦ）、２２…マウスインタフェース（Ｍ−Ｉ
Ｆ）、２３…ウインドウ管理部、２４…対話管理部、２
０１…入力受信部、２０２…音声認識受信部、２０３…
近接センサ受信部、２０４…時間割込受信部、２０５…
入力変換部、２０６…座標データ変換部、２０７…ウイ
ンドウ識別部、２０８，２０９…イベント送信部、２１
０，２１３，２１６…イベント送信先テーブル、２１１
…音声認識ウインドウ、２１２…音声認識オブジェクト
（処理実行手段）、２１４…近接センサウインドウ、２
１５…近接センサオブジェクト（処理実行手段）、２１
７…時間割込ウインドウ、２１８…時間割込オブジェク
ト（処理実行手段）。11 ... Keyboard (KB), 12 ... Mouse, 13 ... Display part, 14 ... Touch panel, 15 ... Touch panel control part, 16 ... Microphone, 17 ... Voice recognition part, 18
... proximity sensor, 19 ... proximity sensor control unit, 20 ... workstation main body, 21 ... keyboard interface (KB-IF), 22 ... mouse interface (MI)
F), 23 ... Window management unit, 24 ... Dialog management unit, 2
01 ... Input receiving unit, 202 ... Voice recognition receiving unit, 203 ...
Proximity sensor receiving unit, 204 ... Time interrupt receiving unit, 205 ...
Input conversion unit, 206 ... Coordinate data conversion unit, 207 ... Window identification unit, 208, 209 ... Event transmission unit, 21
0, 213, 216 ... Event destination table, 211
... voice recognition window, 212 ... voice recognition object (processing execution means), 214 ... proximity sensor window, 2
15 ... Proximity sensor object (processing execution means), 21
7 ... time interruption window, 218 ... time interruption object (processing execution means).
Claims (10)
能を有する第１の入力手段とを備え、前記第１の入力手
段によるポインティングをイベントとして受け付けるウ
インドウシステムが起動される情報処理機器に適用さ
れ、前記第１の入力手段とは異なる種類の第２の入力手
段からの入力を前記ウインドウシステムのイベントとし
て取り扱うためのマルチモーダル入力制御方法であっ
て、 前記第２の入力手段からの入力情報を受信し、その受信
した入力情報を前記ウインドウシステムのイベントに変
換して当該ウインドウシステム上のウインドウに送信す
ることにより、前記第２の入力手段からの入力を前記ウ
インドウシステムのイベントとして取り扱うことを特徴
とするマルチモーダル入力制御方法。1. An information processing apparatus comprising at least a display unit and a first input unit having a pointing function, which is applied to an information processing device in which a window system for accepting pointing by the first input unit as an event is activated, Is a multi-modal input control method for handling an input from a second input means different from the input means as an event of the window system, the input information being received from the second input means, A multimodal feature in which the input from the second input means is handled as an event of the window system by converting the received input information into an event of the window system and transmitting the event to the window on the window system. Input control method.
能を有する第１の入力手段とを備え、前記第１の入力手
段によるポインティングをイベントとして受け付けるウ
インドウシステムが起動される情報処理機器に適用さ
れ、前記第１の入力手段とは異なる種類の第２の入力手
段からの入力を前記ウインドウシステムのイベントとし
て取り扱うためのマルチモーダル入力制御方法であっ
て、 前記第２の入力手段がタッチパネルの場合に、前記第２
の入力手段からの入力情報を受信して、その受信した入
力情報で示されるユーザのタッチした座標を前記ウイン
ドウシステムの座標に変換し、この変換された座標の位
置に存在するウインドウを識別して、その識別したウイ
ンドウに対してイベントを送信することにより、前記第
２の入力手段からの入力を前記ウインドウシステムのイ
ベントとして取り扱うことを特徴とするマルチモーダル
入力制御方法。2. The present invention is applied to an information processing device including at least a display unit and a first input unit having a pointing function, and is applied to an information processing device in which a window system that accepts pointing by the first input unit as an event is started, Is a multimodal input control method for handling an input from a second input means of a type different from that of the second input means as an event of the window system, wherein the second input means is a touch panel.
Receiving the input information from the input means, converting the coordinates touched by the user indicated by the received input information into the coordinates of the window system, and identifying the window existing at the position of the converted coordinates. A multimodal input control method, wherein the input from the second input means is handled as an event of the window system by transmitting an event to the identified window.
能を有する第１の入力手段とを備え、前記第１の入力手
段によるポインティングをイベントとして受け付けるウ
インドウシステムが起動される情報処理機器に適用さ
れ、前記第１の入力手段とは異なる種類の第２の入力手
段からの入力を前記ウインドウシステムのイベントとし
て取り扱うためのマルチモーダル入力制御方法であっ
て、 前記第２の入力手段が入力音声を認識する音声認識手段
の場合に、前記音声認識手段からの認識結果を受信し
て、その受信した認識結果をもとにその認識結果に対し
て予め割り当てておいたウインドウを識別し、その識別
したウインドウに対してイベントを送信することによ
り、前記第２の入力手段からの入力を前記ウインドウシ
ステムのイベントとして取り扱うことを特徴とするマル
チモーダル入力制御方法。3. The information processing apparatus, comprising at least a display unit and a first input unit having a pointing function, which is applied to an information processing device in which a window system for accepting pointing by the first input unit as an event is started, Is a multi-modal input control method for handling an input from a second input means different from the input means as an event of the window system, wherein the second input means recognizes an input voice. In this case, the recognition result from the voice recognition means is received, the window previously assigned to the recognition result is identified based on the received recognition result, and the event is detected for the identified window. By transmitting an event from the second input means as an event of the window system. Multimodal input control method characterized by handling.
能を有する第１の入力手段とを備え、前記第１の入力手
段によるポインティングをイベントとして受け付けるウ
インドウシステムが起動される情報処理機器に適用さ
れ、前記第１の入力手段とは異なる種類の第２の入力手
段からの入力を前記ウインドウシステムのイベントとし
て取り扱うためのマルチモーダル入力制御方法であっ
て、 前記第２の入力手段が一定周期毎に時間割込を発生する
時間割込手段の場合に、前記時間割込手段からの割込を
受信して、その受信した割込の時刻をもとにその時刻に
対して予め割り当てておいたウインドウを識別し、その
識別したウインドウに対してイベントを送信することに
より、前記第２の入力手段からの入力を前記ウインドウ
システムのイベントとして取り扱うことを特徴とするマ
ルチモーダル入力制御方法。4. The information processing device, comprising at least a display unit and a first input unit having a pointing function, which is applied to an information processing device in which a window system for accepting the pointing by the first input unit as an event is started, Is a multi-modal input control method for handling an input from a second input means of a different type from that of the second input means as an event of the window system, wherein the second input means generates a time interrupt at regular intervals. In the case of the time interruption means to perform, the interruption from the time interruption means is received, the window previously assigned to the time is identified based on the time of the received interruption, and the identification is performed. By transmitting an event to the window, the input from the second input means is transmitted to the event of the window system. Multimodal input control method characterized by treated as.
能を有する第１の入力手段とを備え、前記第１の入力手
段によるポインティングをイベントとして受け付けるウ
インドウシステムが起動される情報処理機器に適用さ
れ、前記第１の入力手段とは異なる種類の第２の入力手
段からの入力を前記ウインドウシステムのイベントとし
て取り扱うためのマルチモーダル入力制御方法であっ
て、 前記第２の入力手段が、物体等の存在を検知するセンサ
と当該センサの状態を検出するセンサ制御手段から構成
される場合に、前記センサ制御手段により得られる前記
センサの状態を受信して、その受信した前記センサの状
態の変化時には、その際のセンサ状態をもとにその状態
に対して予め割り当てておいたウインドウを識別し、そ
の識別したウインドウに対してイベントを送信すること
により、前記第２の入力手段からの入力を前記ウインド
ウシステムのイベントとして取り扱うことを特徴とする
マルチモーダル入力制御方法。5. An information processing apparatus comprising at least a display unit and a first input unit having a pointing function, which is applied to an information processing device in which a window system for accepting pointing by the first input unit as an event is activated, Is a multi-modal input control method for handling an input from a second input means of a different type from the above-mentioned input means as an event of the window system, wherein the second input means detects the presence of an object or the like. In the case of comprising a sensor and a sensor control means for detecting the state of the sensor, when the state of the sensor obtained by the sensor control means is received and the state of the received sensor changes, the sensor at that time Based on the state, identify the window that was previously assigned to that state, and By sending an event to c, multimodal input control method characterized by handling an input from said second input means as the event of the window system.
能を有する第１の入力手段とを備え、前記第１の入力手
段によるポインティングをイベントとして受け付けるウ
インドウシステムが起動される情報処理機器を用いて構
成されるマルチモーダル対話システムにおいて、 前記第１の入力手段とは異なる種類の第２の入力手段
と、 この第２の入力手段からの入力情報を受信する受信手段
と、 この受信手段により受信された入力情報を前記ウインド
ウシステムのイベントに変換して当該ウインドウシステ
ム上のウインドウに送信する入力変換手段とを具備し、
前記第２の入力手段からの入力を前記ウインドウシステ
ムのイベントとして取り扱うことを特徴とするマルチモ
ーダル対話システム。6. A multi-function apparatus comprising at least a display means and a first input means having a pointing function, and an information processing device for activating a window system for accepting the pointing by the first input means as an event. In the modal dialogue system, a second input means of a type different from the first input means, a receiving means for receiving input information from the second input means, and an input information received by the receiving means. Input conversion means for converting into an event of the window system and transmitting it to a window on the window system,
A multi-modal dialog system, wherein an input from the second input means is treated as an event of the window system.
能を有する第１の入力手段とを備え、前記第１の入力手
段によるポインティングをイベントとして受け付けるウ
インドウシステムが起動される情報処理機器を用いて構
成されるマルチモーダル対話システムにおいて、 前記第１の入力手段とは異なる種類の第２の入力手段で
あるタッチパネルと、 前記第２の入力手段からの入力情報を受信する入力受信
手段と、 この受信手段により受信された入力情報で示されるユー
ザのタッチした座標を前記ウインドウシステムの座標に
変換する座標データ変換手段と、 この座標データ変換手段により変換された座標の位置に
存在するウインドウを識別するウインドウ識別手段と、 このウインドウ識別手段により識別されたウインドウに
対してイベントを送信するイベント送信手段とを具備
し、前記第２の入力手段からの入力を前記ウインドウシ
ステムのイベントとして取り扱うことを特徴とするマル
チモーダル対話システム。7. A multi-system comprising at least a display means and a first input means having a pointing function, and using an information processing device for activating a window system for accepting pointing by the first input means as an event. In the modal dialogue system, a touch panel which is a second input means of a different type from the first input means, an input receiving means for receiving input information from the second input means, and a receiving means for receiving the input information Coordinate data conversion means for converting the coordinates touched by the user indicated by the input information into the coordinates of the window system, and window identification means for identifying the window existing at the position of the coordinates converted by the coordinate data conversion means, If the window identified by this window identification means is Multimodal interaction system comprising an event transmission means for transmitting, characterized in that handle input from said second input means as the event of the window system.
能を有する第１の入力手段とを備え、前記第１の入力手
段によるポインティングをイベントとして受け付けるウ
インドウシステムが起動される情報処理機器を用いて構
成されるマルチモーダル対話システムにおいて、 前記第１の入力手段とは異なる種類の第２の入力手段で
ある、入力音声を認識する音声認識手段と、 この音声認識手段からの認識結果を受信する音声認識受
信手段と、 この受信手段により受信された認識結果と認識が行われ
たことを示すイベントを送信するイベント送信手段と、 このイベント送信手段からのイベントと認識結果を受信
して、その受信した認識結果をもとにその認識結果に対
して予め割り当てておいたウインドウを識別し、その識
別したウインドウに対してイベントを送信する処理実行
手段とを具備し、前記第２の入力手段からの入力を前記
ウインドウシステムのイベントとして取り扱うことを特
徴とするマルチモーダル対話システム。8. A multi-function apparatus comprising at least a display means and a first input means having a pointing function, and an information processing device for activating a window system that accepts pointing by the first input means as an event. In the modal dialogue system, a voice recognition unit that recognizes an input voice, which is a second input unit of a type different from the first input unit, and a voice recognition reception unit that receives a recognition result from the voice recognition unit. , The event transmitting means for transmitting the recognition result received by the receiving means and the event indicating that the recognition has been performed, the event and the recognition result from the event transmitting means, and the received recognition result. The window previously assigned to the recognition result is identified, and Multimodal interaction system comprising a processing executing means for transmitting the event, wherein the handle input from said second input means as the event of the window system Te.
能を有する第１の入力手段とを備え、前記第１の入力手
段によるポインティングをイベントとして受け付けるウ
インドウシステムが起動される情報処理機器を用いて構
成されるマルチモーダル対話システムにおいて、 前記第１の入力手段とは異なる種類の第２の入力手段で
ある、一定周期毎に時間割込を発生する時間割込手段
と、 この時間割込手段からの割込を受信して、その受信した
割込の時刻を発生する時間割込受信手段と、 この受信手段により発生された時刻とイベントを送信す
るイベント送信手段と、 このイベント送信手段からのイベントと時刻を受信し
て、その受信した時刻をもとにその時刻に対して予め割
り当てておいたウインドウを識別し、その識別したウイ
ンドウに対してイベントを送信する処理実行手段とを具
備し、前記第２の入力手段からの入力を前記ウインドウ
システムのイベントとして取り扱うことを特徴とするマ
ルチモーダル対話システム。9. A multi-function apparatus comprising at least a display means and a first input means having a pointing function, and an information processing device for activating a window system for accepting the pointing by the first input means as an event. In the modal dialogue system, a second input unit of a type different from the first input unit, which is a time interrupt unit that generates a time interrupt at regular intervals, and receives an interrupt from the time interrupt unit. , A time interrupt receiving means for generating the time of the received interrupt, an event transmitting means for transmitting the time and the event generated by the receiving means, and an event and time from the event transmitting means for receiving the event. Based on the received time, identify the window that was previously assigned for that time, and Multimodal interaction system that includes a processing executing means for sending events, and wherein the handling input from said second input means as the event of the window system.
機能を有する第１の入力手段とを備え、前記第１の入力
手段によるポインティングをイベントとして受け付ける
ウインドウシステムが起動される情報処理機器を用いて
構成されるマルチモーダル対話システムにおいて、 前記第１の入力手段とは異なる種類の第２の入力手段で
あって、物体等の存在を検知するセンサと当該センサの
状態を検出するセンサ制御手段から構成される第２の入
力手段と、 前記センサ制御手段により得られる前記センサの状態を
受信するセンサ受信手段と、 この受信手段により受信された前記センサの状態が変化
したときに、その際のセンサ状態とイベントを送信する
イベント送信手段と、 このイベント送信手段からのイベントとセンサ状態を受
信して、その受信したセンサ状態をもとにその状態に対
して予め割り当てておいたウインドウを識別し、その識
別したウインドウに対してイベントを送信する処理実行
手段とを具備し、前記第２の入力手段からの入力を前記
ウインドウシステムのイベントとして取り扱うことを特
徴とするマルチモーダル対話システム。10. A multi-function apparatus comprising at least a display means and a first input means having a pointing function, and an information processing device for activating a window system for accepting the pointing by the first input means as an event. In the modal dialogue system, a second input means of a type different from the first input means, the second input means including a sensor for detecting the presence of an object and a sensor control means for detecting the state of the sensor. Input means, sensor receiving means for receiving the state of the sensor obtained by the sensor control means, and when the state of the sensor received by the receiving means changes, the sensor state and event at that time are transmitted. Event transmitting means to perform, and the event and sensor state from this event transmitting means are received, and A process execution means for identifying a window previously assigned to the received sensor state based on the received sensor state, and transmitting an event to the identified window. A multi-modal dialogue system characterized in that an input is treated as an event of the window system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6235061A JPH0895734A (en) | 1994-09-29 | 1994-09-29 | Multimodal input control method and multimodal interaction system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6235061A JPH0895734A (en) | 1994-09-29 | 1994-09-29 | Multimodal input control method and multimodal interaction system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0895734A true JPH0895734A (en) | 1996-04-12 |
Family
ID=16980504
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6235061A Pending JPH0895734A (en) | 1994-09-29 | 1994-09-29 | Multimodal input control method and multimodal interaction system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0895734A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6823308B2 (en) * | 2000-02-18 | 2004-11-23 | Canon Kabushiki Kaisha | Speech recognition accuracy in a multimodal input system |
| KR100547900B1 (en) * | 2002-07-23 | 2006-01-31 | 오므론 가부시키가이샤 | Data entry method and data entry device |
| WO2008050963A1 (en) * | 2006-10-25 | 2008-05-02 | Yun Yong Ko | Method of story telling presentation and manufacturing multimedia file using computer, and computer input device and computer system for the same |
| US7421655B2 (en) | 2003-07-10 | 2008-09-02 | Canon Kabushiki Kaisha | Presenting information indicating input modalities |
| CN100432913C (en) * | 2005-03-28 | 2008-11-12 | Sap股份公司 | Incident command post |
| DE102009058146A1 (en) | 2009-12-12 | 2011-06-16 | Volkswagen Ag | Method for determining action e.g. output of control command to vehicle system, in motor vehicle, involves seeing object groups as specified object groups when specifying data specifies only objects representing partial amount of objects |
-
1994
- 1994-09-29 JP JP6235061A patent/JPH0895734A/en active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6823308B2 (en) * | 2000-02-18 | 2004-11-23 | Canon Kabushiki Kaisha | Speech recognition accuracy in a multimodal input system |
| KR100547900B1 (en) * | 2002-07-23 | 2006-01-31 | 오므론 가부시키가이샤 | Data entry method and data entry device |
| US7406420B2 (en) | 2002-07-23 | 2008-07-29 | Omron Corporation | Data input method and data input device for inputting text and voice data |
| US7421655B2 (en) | 2003-07-10 | 2008-09-02 | Canon Kabushiki Kaisha | Presenting information indicating input modalities |
| CN100432913C (en) * | 2005-03-28 | 2008-11-12 | Sap股份公司 | Incident command post |
| WO2008050963A1 (en) * | 2006-10-25 | 2008-05-02 | Yun Yong Ko | Method of story telling presentation and manufacturing multimedia file using computer, and computer input device and computer system for the same |
| DE102009058146A1 (en) | 2009-12-12 | 2011-06-16 | Volkswagen Ag | Method for determining action e.g. output of control command to vehicle system, in motor vehicle, involves seeing object groups as specified object groups when specifying data specifies only objects representing partial amount of objects |
| DE102009058146B4 (en) | 2009-12-12 | 2024-07-11 | Volkswagen Ag | Method and device for multimodal context-sensitive operation |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6440513B2 (en) | Information providing method and device control method using voice recognition function | |
| EP0394614B1 (en) | Advanced user interface | |
| US8275617B1 (en) | Speech command input recognition system for interactive computer display with interpretation of ancillary relevant speech query terms into commands | |
| US7548859B2 (en) | Method and system for assisting users in interacting with multi-modal dialog systems | |
| US7206747B1 (en) | Speech command input recognition system for interactive computer display with means for concurrent and modeless distinguishing between speech commands and speech queries for locating commands | |
| CN103021410A (en) | Information processing apparatus, information processing method, and computer readable medium | |
| WO2013123693A1 (en) | Remote control method of multi-mode remote controller, remote controller, user terminal and system | |
| JPH0981364A (en) | Multi-modal information input method and device | |
| CN106227433A (en) | A kind of based on mobile terminal the control method of PC, mobile terminal | |
| US6654496B1 (en) | Method and apparatus for selecting symbols using strokes on a user interface | |
| JPH0895734A (en) | Multimodal input control method and multimodal interaction system | |
| KR20020069694A (en) | Space keyboard system using force feedback and its method for inputting information | |
| KR20010015934A (en) | method for menu practice of application program using speech recognition | |
| JP2019056913A (en) | Information providing method using voice recognition function, and control method of instrument | |
| JP2600533B2 (en) | Touch input device | |
| JPH1040002A (en) | Wireless multi-mouse system | |
| GB2344917A (en) | Speech command input recognition system | |
| JP2009271835A (en) | Equipment operation controller and program | |
| JPS60146327A (en) | Computer conversation method | |
| JPH08286887A (en) | Multi-modal information entry method and its device | |
| JPH06110495A (en) | Speech recognition device | |
| JPH0215326A (en) | Window control system | |
| GB2258067A (en) | Input device conversion. | |
| JPH07306747A (en) | Input coordinate transformation method and device therefor | |
| KR101588372B1 (en) | Method providing gesture data for development of multi-touch applications, and system thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040217 |