JPH0895734A - マルチモーダル入力制御方法およびマルチモーダル対話システム - Google Patents
マルチモーダル入力制御方法およびマルチモーダル対話システムInfo
- Publication number
- JPH0895734A JPH0895734A JP6235061A JP23506194A JPH0895734A JP H0895734 A JPH0895734 A JP H0895734A JP 6235061 A JP6235061 A JP 6235061A JP 23506194 A JP23506194 A JP 23506194A JP H0895734 A JPH0895734 A JP H0895734A
- Authority
- JP
- Japan
- Prior art keywords
- input
- event
- window
- unit
- window system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Digital Computer Display Output (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
(57)【要約】
【目的】複雑な制御を必要とするマルチモーダル入力の
処理を容易にする。 【構成】キーボードインタフェース２１およびマウスイ
ンタフェース２２を介してのポインティング入力をイベ
ントとして受け付けるウインドウシステムが起動される
情報処理機器に対話管理部２４を設け、タッチパネルコ
ントロール部１５を介して入力されるユーザがタッチパ
ネルをタッチした位置の座標を入力受信部２０１で、音
声認識部１７を介して入力されるユーザが発生した音声
の認識結果を音声認識受信部２０２で、近接センサ制御
部１９を介して入力されるセンサ状態を近接センサ受信
部２０３で、そしてウインドウ管理部２３から発生され
る時間割込を時間割込受信部２０４でそれぞれ受信し、
その受信した入力を入力変換部２０５にてウインドウシ
ステムのイベントに変換して当該ウインドウシステムの
ウインドウに送信する構成とする。
処理を容易にする。 【構成】キーボードインタフェース２１およびマウスイ
ンタフェース２２を介してのポインティング入力をイベ
ントとして受け付けるウインドウシステムが起動される
情報処理機器に対話管理部２４を設け、タッチパネルコ
ントロール部１５を介して入力されるユーザがタッチパ
ネルをタッチした位置の座標を入力受信部２０１で、音
声認識部１７を介して入力されるユーザが発生した音声
の認識結果を音声認識受信部２０２で、近接センサ制御
部１９を介して入力されるセンサ状態を近接センサ受信
部２０３で、そしてウインドウ管理部２３から発生され
る時間割込を時間割込受信部２０４でそれぞれ受信し、
その受信した入力を入力変換部２０５にてウインドウシ
ステムのイベントに変換して当該ウインドウシステムの
ウインドウに送信する構成とする。
Description
【０００１】
【産業上の利用分野】本発明は、ユーザと情報処理機器
との間で自然な対話を実現するマルチモーダル対話シス
テムに係り、特に複雑な制御を必要とするマルチモーダ
ル入力の処理を行うのに好適なマルチモーダル入力制御
方法に関する。
との間で自然な対話を実現するマルチモーダル対話シス
テムに係り、特に複雑な制御を必要とするマルチモーダ
ル入力の処理を行うのに好適なマルチモーダル入力制御
方法に関する。
【０００２】
【従来の技術】従来、入力手段が複数種存在するマルチ
モーダル対話システムでは、全ての入力を管理し、対話
を進行する対話管理部において複雑な管理を必要とされ
ていた。つまり、使用された入力手段によって異なる制
御方法を対話管理部で行っていた。
モーダル対話システムでは、全ての入力を管理し、対話
を進行する対話管理部において複雑な管理を必要とされ
ていた。つまり、使用された入力手段によって異なる制
御方法を対話管理部で行っていた。
【０００３】
【発明が解決しようとする課題】上記したように従来の
マルチモーダル対話システムでは、使用される入力手段
によって異なる制御方法を対話管理部において適用して
いた。このため、新たな入力手段を追加することは、大
規模な対話管理部の変更を伴うこととなり、事実上不可
能であった。
マルチモーダル対話システムでは、使用される入力手段
によって異なる制御方法を対話管理部において適用して
いた。このため、新たな入力手段を追加することは、大
規模な対話管理部の変更を伴うこととなり、事実上不可
能であった。
【０００４】本発明は上記事情を考慮してなされたもの
でその目的は、複雑な制御を必要とするマルチモーダル
入力の処理が容易に行えるマルチモーダル入力制御方法
およびマルチモーダル対話システムを提供することにあ
る。
でその目的は、複雑な制御を必要とするマルチモーダル
入力の処理が容易に行えるマルチモーダル入力制御方法
およびマルチモーダル対話システムを提供することにあ
る。
【０００５】
【課題を解決するための手段及び作用】本発明の第１の
観点に係る構成は、少なくとも表示手段とポインティン
グ機能を有する第１の入力手段を備え、この第１の入力
手段によるポインティングをイベントとして受け付ける
ウインドウシステムが起動される情報処理機器に適用さ
れるマルチモーダル入力制御方法であって、上記第１の
入力手段とは別に設けられる当該第１の入力手段とは異
なる種類の第２の入力手段からの入力情報を受信し、そ
の受信した入力情報をウインドウシステムのイベントに
変換して当該ウインドウシステム上のウインドウに送信
することにより、第２の入力手段からの入力をウインド
ウシステムのイベントとして取り扱うようにしたことを
特徴とするものである。
観点に係る構成は、少なくとも表示手段とポインティン
グ機能を有する第１の入力手段を備え、この第１の入力
手段によるポインティングをイベントとして受け付ける
ウインドウシステムが起動される情報処理機器に適用さ
れるマルチモーダル入力制御方法であって、上記第１の
入力手段とは別に設けられる当該第１の入力手段とは異
なる種類の第２の入力手段からの入力情報を受信し、そ
の受信した入力情報をウインドウシステムのイベントに
変換して当該ウインドウシステム上のウインドウに送信
することにより、第２の入力手段からの入力をウインド
ウシステムのイベントとして取り扱うようにしたことを
特徴とするものである。
【０００６】このような構成においては、例えばマウス
やキーボードなどの第１の入力手段によるポインティン
グをイベントとして受け付けるウインドウシステムが起
動される情報処理機器に、第１の入力手段とは異なる種
類の例えばマウスやキーボード以外の第２の入力手段を
追加しても、第２の入力手段からの入力情報がウインド
ウシステムのイベントに変換されて当該ウインドウシス
テム上のウインドウに送信されるため、第２の入力手段
からの入力を第１の入力手段からの入力と同様に単一の
ウインドウシステムのイベント（ウインドウイベント）
として取り扱うことができ、複雑な制御を必要とするマ
ルチモーダル入力の取り扱いが単一の処理で行える。
やキーボードなどの第１の入力手段によるポインティン
グをイベントとして受け付けるウインドウシステムが起
動される情報処理機器に、第１の入力手段とは異なる種
類の例えばマウスやキーボード以外の第２の入力手段を
追加しても、第２の入力手段からの入力情報がウインド
ウシステムのイベントに変換されて当該ウインドウシス
テム上のウインドウに送信されるため、第２の入力手段
からの入力を第１の入力手段からの入力と同様に単一の
ウインドウシステムのイベント（ウインドウイベント）
として取り扱うことができ、複雑な制御を必要とするマ
ルチモーダル入力の取り扱いが単一の処理で行える。
【０００７】また本発明の第２の観点に係る構成は、上
記第２の入力手段がタッチパネルの場合に、そこからの
入力情報を受信して、その受信した入力情報で示される
ユーザのタッチした座標をウインドウシステムの座標に
変換し、この変換された座標の位置に存在するウインド
ウを識別して、その識別したウインドウに対してイベン
トを送信するようにしたことを特徴とする。
記第２の入力手段がタッチパネルの場合に、そこからの
入力情報を受信して、その受信した入力情報で示される
ユーザのタッチした座標をウインドウシステムの座標に
変換し、この変換された座標の位置に存在するウインド
ウを識別して、その識別したウインドウに対してイベン
トを送信するようにしたことを特徴とする。
【０００８】このような構成においては、タッチ入力を
単一のウインドウイベントとして取り扱え、タッチパネ
ルによるポインティングを、マウスによってポインティ
ングされたように扱うことが可能となる。
単一のウインドウイベントとして取り扱え、タッチパネ
ルによるポインティングを、マウスによってポインティ
ングされたように扱うことが可能となる。
【０００９】また本発明の第３の観点に係る構成は、上
記第２の入力手段が入力音声を認識する音声認識手段の
場合に、この音声認識手段からの認識結果を受信して、
その受信した認識結果をもとにその認識結果に対して予
め割り当てておいたウインドウを識別し、その識別した
ウインドウに対してイベントを送信するようにしたこと
を特徴とする。
記第２の入力手段が入力音声を認識する音声認識手段の
場合に、この音声認識手段からの認識結果を受信して、
その受信した認識結果をもとにその認識結果に対して予
め割り当てておいたウインドウを識別し、その識別した
ウインドウに対してイベントを送信するようにしたこと
を特徴とする。
【００１０】このような構成においては、音声入力を単
一のウインドウイベントとして取り扱え、認識結果に対
応した処理を行うことが可能となる。また本発明の第４
の観点に係る構成は、上記第２の入力手段が一定周期毎
に時間割込を発生する時間割込手段の場合に、そこから
の割込を受信して、その受信した割込の時刻をもとにそ
の時刻に対して予め割り当てておいたウインドウを識別
し、その識別したウインドウに対してイベントを送信す
るようにしたことを特徴とする。
一のウインドウイベントとして取り扱え、認識結果に対
応した処理を行うことが可能となる。また本発明の第４
の観点に係る構成は、上記第２の入力手段が一定周期毎
に時間割込を発生する時間割込手段の場合に、そこから
の割込を受信して、その受信した割込の時刻をもとにそ
の時刻に対して予め割り当てておいたウインドウを識別
し、その識別したウインドウに対してイベントを送信す
るようにしたことを特徴とする。
【００１１】このような構成においては、時間割込を単
一のウインドウイベントとして取り扱え、割込時刻に対
応した処理を行うことが可能となる。また本発明の第５
の観点に係る構成は、上記第２の入力手段が物体等の存
在を検知するセンサと当該センサの状態を検出するセン
サ制御手段から構成される場合に、このセンサ制御手段
により得られるセンサ状態を受信して、その受信したセ
ンサ状態の変化時には、その際のセンサ状態をもとにそ
の状態に対して予め割り当てておいたウインドウを識別
し、その識別したウインドウに対してイベントを送信す
るようにしたことを特徴とする。このような構成におい
ては、センサ入力を単一のウインドウイベントとして取
り扱え、センサ状態に対応した処理を行うことが可能と
なる。
一のウインドウイベントとして取り扱え、割込時刻に対
応した処理を行うことが可能となる。また本発明の第５
の観点に係る構成は、上記第２の入力手段が物体等の存
在を検知するセンサと当該センサの状態を検出するセン
サ制御手段から構成される場合に、このセンサ制御手段
により得られるセンサ状態を受信して、その受信したセ
ンサ状態の変化時には、その際のセンサ状態をもとにそ
の状態に対して予め割り当てておいたウインドウを識別
し、その識別したウインドウに対してイベントを送信す
るようにしたことを特徴とする。このような構成におい
ては、センサ入力を単一のウインドウイベントとして取
り扱え、センサ状態に対応した処理を行うことが可能と
なる。
【００１２】
【実施例】図１は本発明の一実施例に係るマルチモーダ
ル対話システムの全体構成を示すブロック図である。図
１のマルチモーダル対話システムは、情報処理機器とし
ての例えばワークステーションを用いて実現されてお
り、ポインティング機能を持つ入力手段としてのキーボ
ード（ＫＢ）１１およびマウス１２と、ＣＲＴディスプ
レイ、液晶ディスプレイ等の表示部１３とを備えてい
る。この表示部１３の解像度は、例えば１０００×１０
００ドットであるものとする。
ル対話システムの全体構成を示すブロック図である。図
１のマルチモーダル対話システムは、情報処理機器とし
ての例えばワークステーションを用いて実現されてお
り、ポインティング機能を持つ入力手段としてのキーボ
ード（ＫＢ）１１およびマウス１２と、ＣＲＴディスプ
レイ、液晶ディスプレイ等の表示部１３とを備えてい
る。この表示部１３の解像度は、例えば１０００×１０
００ドットであるものとする。
【００１３】図１のマルチモーダル対話システムはま
た、表示部１３の表示画面に重ねて設けられてユーザの
タッチ入力に用いられる例えば１１５２×９００ドット
の解像度のタッチパネル１４と、タッチパネル１４上で
タッチされた位置の座標を入力するためのタッチパネル
コントロール部１５と、ユーザの音声入力に用いられる
マイクロホン１６と、マイクロホン１６により入力され
た音声を認識する音声認識部１７と、ユーザの接近を検
知する近接センサ１８と、近接センサ１８の状態を検出
して入力する近接センサ制御部１９とを備えている。
た、表示部１３の表示画面に重ねて設けられてユーザの
タッチ入力に用いられる例えば１１５２×９００ドット
の解像度のタッチパネル１４と、タッチパネル１４上で
タッチされた位置の座標を入力するためのタッチパネル
コントロール部１５と、ユーザの音声入力に用いられる
マイクロホン１６と、マイクロホン１６により入力され
た音声を認識する音声認識部１７と、ユーザの接近を検
知する近接センサ１８と、近接センサ１８の状態を検出
して入力する近接センサ制御部１９とを備えている。
【００１４】図１のマルチモーダル対話システムは更
に、ワークステーション本体２０を備えている。このワ
ークステーション本体２０では、ウインドウシステムが
起動される。このウインドウシステムは、例えばＸウイ
ンドウ（米国マサチューセッツ工科大学の登録商標）で
ある。
に、ワークステーション本体２０を備えている。このワ
ークステーション本体２０では、ウインドウシステムが
起動される。このウインドウシステムは、例えばＸウイ
ンドウ（米国マサチューセッツ工科大学の登録商標）で
ある。
【００１５】ワークステーション本体２０は、キーボー
ド１１からの入力を司るキーボードインタフェース（Ｋ
Ｂ−ＩＦ）２１と、マウス１２からの入力を司るマウス
インタフェース（Ｍ−ＩＦ）２２と、ウインドウ管理部
（ウインドウマネジャ）２３と、本発明に直接関係する
対話管理部２４とを有している。
ド１１からの入力を司るキーボードインタフェース（Ｋ
Ｂ−ＩＦ）２１と、マウス１２からの入力を司るマウス
インタフェース（Ｍ−ＩＦ）２２と、ウインドウ管理部
（ウインドウマネジャ）２３と、本発明に直接関係する
対話管理部２４とを有している。
【００１６】ウインドウ管理部２３は、（マウスインタ
フェース２２を介して与えられる）マウス１２からのポ
インティング入力を受けて、その座標に存在するウイン
ドウに対して、マウス１２のボタンがクリックされたと
いうことを表すイベントを送信するようになっている。
ウインドウ管理部２３は、（キーボードインタフェース
２１を介して与えられる）キーボード１１（上の例えば
カーソルキー操作に従う）からのポインティング入力に
対しても、マウス１２のクリックとして扱うようになっ
ている。ウインドウ管理部２３はまた、一定周期で時間
割込を発生するようになっている。
フェース２２を介して与えられる）マウス１２からのポ
インティング入力を受けて、その座標に存在するウイン
ドウに対して、マウス１２のボタンがクリックされたと
いうことを表すイベントを送信するようになっている。
ウインドウ管理部２３は、（キーボードインタフェース
２１を介して与えられる）キーボード１１（上の例えば
カーソルキー操作に従う）からのポインティング入力に
対しても、マウス１２のクリックとして扱うようになっ
ている。ウインドウ管理部２３はまた、一定周期で時間
割込を発生するようになっている。
【００１７】対話管理部２４は、ユーザとの対話を管理
するものであり、ユーザのタッチパネル１４を用いたタ
ッチ入力、マイクロホン１６を用いた音声入力、近接セ
ンサ１８の状態を、それぞれタッチパネルコントロール
部１５、音声認識部１７、近接センサ制御部１９を介し
て取り込み、その入力をウインドウシステムのイベント
に変換するようになっている。対話管理部２４はまた、
ウインドウ管理部２３から発生される時間割込を受けて
時刻（例えば後述する時間割込ウインドウ２１７の表示
開始時点を基準とする時刻）を計測し、その時刻をウイ
ンドウシステムのイベントに変換するようにもなってい
る。
するものであり、ユーザのタッチパネル１４を用いたタ
ッチ入力、マイクロホン１６を用いた音声入力、近接セ
ンサ１８の状態を、それぞれタッチパネルコントロール
部１５、音声認識部１７、近接センサ制御部１９を介し
て取り込み、その入力をウインドウシステムのイベント
に変換するようになっている。対話管理部２４はまた、
ウインドウ管理部２３から発生される時間割込を受けて
時刻（例えば後述する時間割込ウインドウ２１７の表示
開始時点を基準とする時刻）を計測し、その時刻をウイ
ンドウシステムのイベントに変換するようにもなってい
る。
【００１８】図２は対話管理部２４の機能構成を示すブ
ロック図である。この対話管理部２４は、タッチパネル
コントロール部１５により入力される（ユーザがタッチ
パネル１４をタッチした位置の）座標を受信する入力受
信部２０１と、音声認識部１７の認識結果を受信する音
声認識受信部２０２と、近接センサ制御部１９により検
出される近接センサ１８の状態（センサ状態）を受信す
る近接センサ受信部２０３と、ウインドウ管理部２３か
らの時間割込を受信して時刻（割込時刻）を計測する時
間割込受信部２０４と、入力変換部２０５とを有してい
る。
ロック図である。この対話管理部２４は、タッチパネル
コントロール部１５により入力される（ユーザがタッチ
パネル１４をタッチした位置の）座標を受信する入力受
信部２０１と、音声認識部１７の認識結果を受信する音
声認識受信部２０２と、近接センサ制御部１９により検
出される近接センサ１８の状態（センサ状態）を受信す
る近接センサ受信部２０３と、ウインドウ管理部２３か
らの時間割込を受信して時刻（割込時刻）を計測する時
間割込受信部２０４と、入力変換部２０５とを有してい
る。
【００１９】入力変換部２０５は、入力受信部２０１か
らの座標、音声認識受信部２０２からの認識結果、近接
センサ受信部２０３からのセンサ状態、および時間割込
受信部２０４からの時刻（の情報）を受けて、その受け
取った情報をウインドウシステムのイベントに変換して
当該ウインドウシステム上のウインドウに送信するもの
である。
らの座標、音声認識受信部２０２からの認識結果、近接
センサ受信部２０３からのセンサ状態、および時間割込
受信部２０４からの時刻（の情報）を受けて、その受け
取った情報をウインドウシステムのイベントに変換して
当該ウインドウシステム上のウインドウに送信するもの
である。
【００２０】入力変換部２０５は、座標データ変換部２
０６と、ウインドウ識別部２０７と、イベント送信部２
０８，２０９と、イベント送信先テーブル２１０および
音声認識ウインドウ２１１を（属性として）持つ音声認
識オブジェクト２１２と、イベント送信先テーブル２１
３および近接センサウインドウ２１４を（属性として）
持つ近接センサオブジェクト２１５と、イベント送信先
テーブル２１６および時間割込ウインドウ２１７を（属
性として）持つ時間割込オブジェクト２１８とを有して
いる。
０６と、ウインドウ識別部２０７と、イベント送信部２
０８，２０９と、イベント送信先テーブル２１０および
音声認識ウインドウ２１１を（属性として）持つ音声認
識オブジェクト２１２と、イベント送信先テーブル２１
３および近接センサウインドウ２１４を（属性として）
持つ近接センサオブジェクト２１５と、イベント送信先
テーブル２１６および時間割込ウインドウ２１７を（属
性として）持つ時間割込オブジェクト２１８とを有して
いる。
【００２１】座標データ変換部２０６は、入力受信部２
０１により受信された座標を表示部１３上の座標（ウイ
ンドウシステムの座標）に変換するものである。ウイン
ドウ識別部２０７は、座標データ変換部２０６により変
換された座標の位置に存在するウインドウを識別して、
そのウインドウのウインドウＩＤ（ウインドウ識別子）
をイベント送信部２０８に出力するものである。
０１により受信された座標を表示部１３上の座標（ウイ
ンドウシステムの座標）に変換するものである。ウイン
ドウ識別部２０７は、座標データ変換部２０６により変
換された座標の位置に存在するウインドウを識別して、
そのウインドウのウインドウＩＤ（ウインドウ識別子）
をイベント送信部２０８に出力するものである。
【００２２】イベント送信部２０８は、ウインドウ識別
部２０７から出力されたウインドウＩＤのウインドウに
イベントを送信するものである。イベント送信部２０９
は、音声認識受信部２０２からの認識結果を受けて、そ
の認識結果とイベントを音声認識オブジェクト２１２の
音声認識ウインドウ２１０に送信し、近接センサ受信部
２０３からのセンサ状態を受けて、そのセンサ状態の変
化時にそのセンサ状態とイベントを近接センサオブジェ
クト２１５の近接センサウインドウ２１３に送信し、そ
して時間割込受信部２０４からの時刻（の情報）を受け
て、その時刻とイベントを時間割込オブジェクト２１８
の時間割込ウインドウ２１６に送信するものである。
部２０７から出力されたウインドウＩＤのウインドウに
イベントを送信するものである。イベント送信部２０９
は、音声認識受信部２０２からの認識結果を受けて、そ
の認識結果とイベントを音声認識オブジェクト２１２の
音声認識ウインドウ２１０に送信し、近接センサ受信部
２０３からのセンサ状態を受けて、そのセンサ状態の変
化時にそのセンサ状態とイベントを近接センサオブジェ
クト２１５の近接センサウインドウ２１３に送信し、そ
して時間割込受信部２０４からの時刻（の情報）を受け
て、その時刻とイベントを時間割込オブジェクト２１８
の時間割込ウインドウ２１６に送信するものである。
【００２３】イベント送信先テーブル２１０は、図３
（ａ）に示すように、複数の認識結果のそれぞれに対し
て割り当てているウインドウのウインドウＩＤを登録し
ておくものである。
（ａ）に示すように、複数の認識結果のそれぞれに対し
て割り当てているウインドウのウインドウＩＤを登録し
ておくものである。
【００２４】音声認識ウインドウ２１１は、イベント送
信部２０９からイベントと認識結果を受けた場合に、そ
の認識結果によりイベント送信先テーブル２１０を検索
して、その認識結果に割り当てられているウインドウＩ
Ｄを識別し、対応するウインドウにイベントを送信する
ものである。
信部２０９からイベントと認識結果を受けた場合に、そ
の認識結果によりイベント送信先テーブル２１０を検索
して、その認識結果に割り当てられているウインドウＩ
Ｄを識別し、対応するウインドウにイベントを送信する
ものである。
【００２５】音声認識オブジェクト２１２は、オブジェ
クト指向でのオブジェクトであり、上記した音声認識ウ
インドウ２１１の機能を実現するための処理手続きを有
している。
クト指向でのオブジェクトであり、上記した音声認識ウ
インドウ２１１の機能を実現するための処理手続きを有
している。
【００２６】イベント送信先テーブル２１３は、図３
（ｂ）に示すように、複数のセンサ状態のそれぞれに対
して割り当てているウインドウのウインドウＩＤを登録
しておくものである。
（ｂ）に示すように、複数のセンサ状態のそれぞれに対
して割り当てているウインドウのウインドウＩＤを登録
しておくものである。
【００２７】近接センサウインドウ２１４は、イベント
送信部２０９からイベントとセンサ状態を受けた場合
に、そのセンサ状態によりイベント送信先テーブル２１
３を検索して、そのセンサ状態に割り当てられているウ
インドウＩＤを識別し、対応するウインドウにイベント
を送信するものである。
送信部２０９からイベントとセンサ状態を受けた場合
に、そのセンサ状態によりイベント送信先テーブル２１
３を検索して、そのセンサ状態に割り当てられているウ
インドウＩＤを識別し、対応するウインドウにイベント
を送信するものである。
【００２８】近接センサオブジェクト２１５は、オブジ
ェクト指向でのオブジェクトであり、上記した近接セン
サウインドウ２１４の機能を実現するための処理手続き
を有している。
ェクト指向でのオブジェクトであり、上記した近接セン
サウインドウ２１４の機能を実現するための処理手続き
を有している。
【００２９】イベント送信先テーブル２１６は、図３
（ｃ）に示すように、複数の時刻（割込時刻）のそれぞ
れに対して割り当てているウインドウのウインドウＩＤ
を登録しておくものである。
（ｃ）に示すように、複数の時刻（割込時刻）のそれぞ
れに対して割り当てているウインドウのウインドウＩＤ
を登録しておくものである。
【００３０】時間割込ウインドウ２１７は、イベント送
信部２０９からイベントと時刻を受けた場合に、その時
刻によりイベント送信先テーブル２１３を検索して、そ
の時刻に割り当てられているウインドウＩＤを識別し、
対応するウインドウにイベントを送信するものである。
信部２０９からイベントと時刻を受けた場合に、その時
刻によりイベント送信先テーブル２１３を検索して、そ
の時刻に割り当てられているウインドウＩＤを識別し、
対応するウインドウにイベントを送信するものである。
【００３１】時間割込オブジェクト２１８は、オブジェ
クト指向でのオブジェクトであり、上記した時間割込ウ
インドウ２１７の機能を実現するための処理手続きを有
している。
クト指向でのオブジェクトであり、上記した時間割込ウ
インドウ２１７の機能を実現するための処理手続きを有
している。
【００３２】次に、本発明の一実施例の動作を、タッチ
パネル１４上でユーザがタッチ入力を行った場合を例に
説明する。ユーザがタッチパネル１４で任意のポイント
をタッチすると、タッチパネルコントロール部１５は、
ユーザがタッチしたタッチパネル１４上の位置を検出
し、その位置の座標データを対話管理部２４に送信す
る。
パネル１４上でユーザがタッチ入力を行った場合を例に
説明する。ユーザがタッチパネル１４で任意のポイント
をタッチすると、タッチパネルコントロール部１５は、
ユーザがタッチしたタッチパネル１４上の位置を検出
し、その位置の座標データを対話管理部２４に送信す
る。
【００３３】タッチパネルコントロール部１５から対話
管理部２４に送信された座標データは当該対話管理部２
４内の入力受信部２０１により受信され、座標データ変
換部２０６に送られる。
管理部２４に送信された座標データは当該対話管理部２
４内の入力受信部２０１により受信され、座標データ変
換部２０６に送られる。
【００３４】座標データ変換部２０６は、この座標デー
タ、即ちタッチパネル１４上の座標データを、表示部１
３の大きさ（解像度）に対応した座標に変換する。ここ
では、１０００×１０００ドットの解像度を持つタッチ
パネル１４の座標データが、１１５２×９００ドットの
解像度の表示部１３（の表示画面）上の座標データに変
換される。この変換後の座標データは座標データ変換部
２０６からウインドウ識別部２０７に送られる。
タ、即ちタッチパネル１４上の座標データを、表示部１
３の大きさ（解像度）に対応した座標に変換する。ここ
では、１０００×１０００ドットの解像度を持つタッチ
パネル１４の座標データが、１１５２×９００ドットの
解像度の表示部１３（の表示画面）上の座標データに変
換される。この変換後の座標データは座標データ変換部
２０６からウインドウ識別部２０７に送られる。
【００３５】ウインドウ識別部２０７は、座標データ変
換部２０６から送られた表示部１３の解像度に変換され
た座標データをもとに、その座標の位置に存在するウイ
ンドウを探す。本対話システムで動作するウインドウシ
ステム（Ｘウインドウシステム）の各ウインドウはそれ
ぞれ固有のウインドウＩＤを持っており、ウインドウ識
別部２０７は、探したウインドウのウインドウＩＤをイ
ベント送信部２０８に送る。
換部２０６から送られた表示部１３の解像度に変換され
た座標データをもとに、その座標の位置に存在するウイ
ンドウを探す。本対話システムで動作するウインドウシ
ステム（Ｘウインドウシステム）の各ウインドウはそれ
ぞれ固有のウインドウＩＤを持っており、ウインドウ識
別部２０７は、探したウインドウのウインドウＩＤをイ
ベント送信部２０８に送る。
【００３６】イベント送信部２０８は、ウインドウ識別
部２０７から送られたウインドウＩＤのウインドウに対
し、マウス１２のボタンがクリックされたということを
表すイベントを送信する。
部２０７から送られたウインドウＩＤのウインドウに対
し、マウス１２のボタンがクリックされたということを
表すイベントを送信する。
【００３７】以上の一連の流れによって、タッチパネル
１４によるポインティングを、マウス１２によってポイ
ンティングされたように扱うことができる。次に、音声
入力の取扱いについて説明する。
１４によるポインティングを、マウス１２によってポイ
ンティングされたように扱うことができる。次に、音声
入力の取扱いについて説明する。
【００３８】ユーザがマイクロホン１６に向かって発声
した音声は、音声認識部１７により認識され、その認識
結果が対話管理部２４に送られる。音声認識部１７から
対話管理部２４に送られた認識結果は当該対話管理部２
４内の音声認識受信部２０２により受信され、イベント
送信部２０９に送られる。
した音声は、音声認識部１７により認識され、その認識
結果が対話管理部２４に送られる。音声認識部１７から
対話管理部２４に送られた認識結果は当該対話管理部２
４内の音声認識受信部２０２により受信され、イベント
送信部２０９に送られる。
【００３９】イベント送信部２０９は、この認識結果を
イベントと共に、音声認識オブジェクト２１２の音声認
識ウインドウ２１１に送信する。すると音声認識ウイン
ドウ２１１は、イベント送信部２０９から送られた認識
結果により図３（ａ）に示したようなイベント送信先テ
ーブル２１０を検索し、その認識結果に対して予め割り
当てられているウインドウのウインドウＩＤを取得す
る。そして音声認識ウインドウ２１１は、このウインド
ウＩＤのウインドウに対してイベントを送信する。した
がって、上記認識結果が例えば「ねずみ」であるとき
は、図３（ａ）のイベント送信先テーブル２１０の場合
には、ウインドウＩＤ＝１のウインドウに対してイベン
トが送信される。
イベントと共に、音声認識オブジェクト２１２の音声認
識ウインドウ２１１に送信する。すると音声認識ウイン
ドウ２１１は、イベント送信部２０９から送られた認識
結果により図３（ａ）に示したようなイベント送信先テ
ーブル２１０を検索し、その認識結果に対して予め割り
当てられているウインドウのウインドウＩＤを取得す
る。そして音声認識ウインドウ２１１は、このウインド
ウＩＤのウインドウに対してイベントを送信する。した
がって、上記認識結果が例えば「ねずみ」であるとき
は、図３（ａ）のイベント送信先テーブル２１０の場合
には、ウインドウＩＤ＝１のウインドウに対してイベン
トが送信される。
【００４０】次に、近接センサ１８の情報の取扱いにつ
いて説明する。近接センサ１８はユーザが本システムに
接近するとオン（ＯＮ）状態となり、本システムから離
れるとオフ（ＯＦＦ）状態となる。
いて説明する。近接センサ１８はユーザが本システムに
接近するとオン（ＯＮ）状態となり、本システムから離
れるとオフ（ＯＦＦ）状態となる。
【００４１】近接センサ制御部１９は、近接センサ１８
の状態（センサ状態）を検出して、その状態を対話管理
部２４に送信する。近接センサ制御部１９から対話管理
部２４に送信されたセンサ状態は当該対話管理部２４内
の近接センサ受信部２０３により受信される。近接セン
サ受信部２０３は、受信したセンサ状態が変化した場合
に、その際のセンサ状態をイベント送信部２０９に送
る。
の状態（センサ状態）を検出して、その状態を対話管理
部２４に送信する。近接センサ制御部１９から対話管理
部２４に送信されたセンサ状態は当該対話管理部２４内
の近接センサ受信部２０３により受信される。近接セン
サ受信部２０３は、受信したセンサ状態が変化した場合
に、その際のセンサ状態をイベント送信部２０９に送
る。
【００４２】イベント送信部２０９は、この（近接セン
サ１８の）センサ状態をイベントと共に、近接センサオ
ブジェクト２１２の近接センサウインドウ２１４に送信
する。すると近接センサウインドウ２１４は、イベント
送信部２０９から送られたセンサ状態により図３（ｂ）
に示したようなイベント送信先テーブル２１３を検索
し、そのセンサ状態に対して予め割り当てられているウ
インドウのウインドウＩＤを取得する。そして近接セン
サウインドウ２１４は、このウインドウＩＤのウインド
ウに対してイベントを送信する。したがって、上記セン
サ状態が例えば「ＯＦＦ」であるとき（「ＯＦＦ」に変
化したとき）は、図３（ｂ）のイベント送信先テーブル
２１３の場合には、ウインドウＩＤ＝２のウインドウに
対してイベントが送信される。
サ１８の）センサ状態をイベントと共に、近接センサオ
ブジェクト２１２の近接センサウインドウ２１４に送信
する。すると近接センサウインドウ２１４は、イベント
送信部２０９から送られたセンサ状態により図３（ｂ）
に示したようなイベント送信先テーブル２１３を検索
し、そのセンサ状態に対して予め割り当てられているウ
インドウのウインドウＩＤを取得する。そして近接セン
サウインドウ２１４は、このウインドウＩＤのウインド
ウに対してイベントを送信する。したがって、上記セン
サ状態が例えば「ＯＦＦ」であるとき（「ＯＦＦ」に変
化したとき）は、図３（ｂ）のイベント送信先テーブル
２１３の場合には、ウインドウＩＤ＝２のウインドウに
対してイベントが送信される。
【００４３】次に、ウインドウ管理部２３からの時間割
込（に従う時刻）の取扱いについて説明する。ウインド
ウ管理部２３からは一定周期で時間割込が発生する。こ
のウインドウ管理部２３からの時間割込は対話管理部２
４内の時間割込受信部２０４で受信される。
込（に従う時刻）の取扱いについて説明する。ウインド
ウ管理部２３からは一定周期で時間割込が発生する。こ
のウインドウ管理部２３からの時間割込は対話管理部２
４内の時間割込受信部２０４で受信される。
【００４４】時間割込受信部２０４は、ウインドウ管理
部２３からの一定周期の時間割込をカウントすることに
より、時刻（割込時刻）を計測する。ここで、時間割込
受信部２０４での時刻計測の開始時点は時間割込オブジ
ェクト２１８の時間割込ウインドウ２１７が画面上に置
かれた（表示された）ときとなっており、その時点から
の経過時間が当該時間割込受信部２０４にて計測される
ことになる。
部２３からの一定周期の時間割込をカウントすることに
より、時刻（割込時刻）を計測する。ここで、時間割込
受信部２０４での時刻計測の開始時点は時間割込オブジ
ェクト２１８の時間割込ウインドウ２１７が画面上に置
かれた（表示された）ときとなっており、その時点から
の経過時間が当該時間割込受信部２０４にて計測される
ことになる。
【００４５】時間割込受信部２０４は、ウインドウ管理
部２３から時間割込を受信する毎に上記の時刻（割込時
刻、経過時間）を計測し、その時刻をイベント送信部２
０９に送る。
部２３から時間割込を受信する毎に上記の時刻（割込時
刻、経過時間）を計測し、その時刻をイベント送信部２
０９に送る。
【００４６】イベント送信部２０９は、この時刻をイベ
ントと共に、時間割込オブジェクト２１８の時間割込ウ
インドウ２１７に送信する。すると時間割込ウインドウ
２１７は、イベント送信部２０９から送られた時刻によ
り図３（ｂ）に示したようなイベント送信先テーブル２
１６を検索し、その時刻に対して予め割り当てられてい
るウインドウのウインドウＩＤを取得する。そして時間
割込ウインドウ２１７は、このウインドウＩＤのウイン
ドウに対してイベントを送信する。したがって、上記時
刻が例えば「３．０（秒）」であるときは、図３（ｃ）
のイベント送信先テーブル２１６の場合には、ウインド
ウＩＤ＝３のウインドウに対してイベントが送信され
る。
ントと共に、時間割込オブジェクト２１８の時間割込ウ
インドウ２１７に送信する。すると時間割込ウインドウ
２１７は、イベント送信部２０９から送られた時刻によ
り図３（ｂ）に示したようなイベント送信先テーブル２
１６を検索し、その時刻に対して予め割り当てられてい
るウインドウのウインドウＩＤを取得する。そして時間
割込ウインドウ２１７は、このウインドウＩＤのウイン
ドウに対してイベントを送信する。したがって、上記時
刻が例えば「３．０（秒）」であるときは、図３（ｃ）
のイベント送信先テーブル２１６の場合には、ウインド
ウＩＤ＝３のウインドウに対してイベントが送信され
る。
【００４７】以上に述べたような対話管理部２４の機能
（により実現されるマルチモーダル入力制御方法）によ
って、音声入力、タッチ入力、センサ入力（センサ状
態）、更には時間割込入力（の時刻）などのマルチモー
ダル入力を単一のウインドウシステムのイベントとして
取り扱うことができる。これにより、マウスとキーボー
ドのみで動作するＧＵＩ（Graphical User Interface）
を作成し、上記機能を付加することによって、容易にマ
ルチモーダル対話システムを構築することができる。
（により実現されるマルチモーダル入力制御方法）によ
って、音声入力、タッチ入力、センサ入力（センサ状
態）、更には時間割込入力（の時刻）などのマルチモー
ダル入力を単一のウインドウシステムのイベントとして
取り扱うことができる。これにより、マウスとキーボー
ドのみで動作するＧＵＩ（Graphical User Interface）
を作成し、上記機能を付加することによって、容易にマ
ルチモーダル対話システムを構築することができる。
【００４８】なお、前記実施例では、（マイクロホン１
６および音声認識部１７を介しての）音声入力と、（タ
ッチパネル１４およびタッチパネルコントロール部１５
を介しての）タッチ入力と、（近接センサ１８および近
接センサ制御部１９を介しての）センサ入力と、ウイン
ドウ管理部２３からの時間割込入力との４種類の入力
が、いずれも対話管理部２４の機能により、システム
（のウインドウ管理部２３）がサポートしている標準的
な入力（ここではキーボード１１およびマウス１２から
のポインティング入力）と同様に、ウインドウシステム
のイベントとして取り扱われる構成としたが、標準的な
入力以外の入力の種類は、上記４種類に限るものではな
く、それより少なくても多くても構わない。
６および音声認識部１７を介しての）音声入力と、（タ
ッチパネル１４およびタッチパネルコントロール部１５
を介しての）タッチ入力と、（近接センサ１８および近
接センサ制御部１９を介しての）センサ入力と、ウイン
ドウ管理部２３からの時間割込入力との４種類の入力
が、いずれも対話管理部２４の機能により、システム
（のウインドウ管理部２３）がサポートしている標準的
な入力（ここではキーボード１１およびマウス１２から
のポインティング入力）と同様に、ウインドウシステム
のイベントとして取り扱われる構成としたが、標準的な
入力以外の入力の種類は、上記４種類に限るものではな
く、それより少なくても多くても構わない。
【００４９】
【発明の効果】以上詳述したように本発明によれば、複
雑なマルチモーダル入力を単一のウインドウイベントと
して扱うことができるため、容易にマルチモーダル対話
を実現することができる。これにより複雑なマルチモー
ダル対話システム（ＡＴＭ、地図案内システムなど）を
作成する前に、プロトタイプを作成し、ユーザインタフ
ェースの評価を行うことも可能となる。
雑なマルチモーダル入力を単一のウインドウイベントと
して扱うことができるため、容易にマルチモーダル対話
を実現することができる。これにより複雑なマルチモー
ダル対話システム（ＡＴＭ、地図案内システムなど）を
作成する前に、プロトタイプを作成し、ユーザインタフ
ェースの評価を行うことも可能となる。
【図１】本発明の一実施例に係るマルチモーダル対話シ
ステムの全体構成を示すブロック図。
ステムの全体構成を示すブロック図。
【図２】図１中の対話管理部２４の機能構成を示すブロ
ック図。
ック図。
【図３】図１中のイベント送信先テーブル２１０，２１
３，２１６の一例を示す図。
３，２１６の一例を示す図。
１１…キーボード（ＫＢ）、１２…マウス、１３…表示
部、１４…タッチパネル、１５…タッチパネルコントロ
ール部、１６…マイクロホン、１７…音声認識部、１８
…近接センサ、１９…近接センサ制御部、２０…ワーク
ステーション本体、２１…キーボードインタフェース
（ＫＢ−ＩＦ）、２２…マウスインタフェース（Ｍ−Ｉ
Ｆ）、２３…ウインドウ管理部、２４…対話管理部、２
０１…入力受信部、２０２…音声認識受信部、２０３…
近接センサ受信部、２０４…時間割込受信部、２０５…
入力変換部、２０６…座標データ変換部、２０７…ウイ
ンドウ識別部、２０８，２０９…イベント送信部、２１
０，２１３，２１６…イベント送信先テーブル、２１１
…音声認識ウインドウ、２１２…音声認識オブジェクト
（処理実行手段）、２１４…近接センサウインドウ、２
１５…近接センサオブジェクト（処理実行手段）、２１
７…時間割込ウインドウ、２１８…時間割込オブジェク
ト（処理実行手段）。
部、１４…タッチパネル、１５…タッチパネルコントロ
ール部、１６…マイクロホン、１７…音声認識部、１８
…近接センサ、１９…近接センサ制御部、２０…ワーク
ステーション本体、２１…キーボードインタフェース
（ＫＢ−ＩＦ）、２２…マウスインタフェース（Ｍ−Ｉ
Ｆ）、２３…ウインドウ管理部、２４…対話管理部、２
０１…入力受信部、２０２…音声認識受信部、２０３…
近接センサ受信部、２０４…時間割込受信部、２０５…
入力変換部、２０６…座標データ変換部、２０７…ウイ
ンドウ識別部、２０８，２０９…イベント送信部、２１
０，２１３，２１６…イベント送信先テーブル、２１１
…音声認識ウインドウ、２１２…音声認識オブジェクト
（処理実行手段）、２１４…近接センサウインドウ、２
１５…近接センサオブジェクト（処理実行手段）、２１
７…時間割込ウインドウ、２１８…時間割込オブジェク
ト（処理実行手段）。
Claims (10)
- 【請求項１】 少なくとも表示手段とポインティング機
能を有する第１の入力手段とを備え、前記第１の入力手
段によるポインティングをイベントとして受け付けるウ
インドウシステムが起動される情報処理機器に適用さ
れ、前記第１の入力手段とは異なる種類の第２の入力手
段からの入力を前記ウインドウシステムのイベントとし
て取り扱うためのマルチモーダル入力制御方法であっ
て、 前記第２の入力手段からの入力情報を受信し、その受信
した入力情報を前記ウインドウシステムのイベントに変
換して当該ウインドウシステム上のウインドウに送信す
ることにより、前記第２の入力手段からの入力を前記ウ
インドウシステムのイベントとして取り扱うことを特徴
とするマルチモーダル入力制御方法。 - 【請求項２】 少なくとも表示手段とポインティング機
能を有する第１の入力手段とを備え、前記第１の入力手
段によるポインティングをイベントとして受け付けるウ
インドウシステムが起動される情報処理機器に適用さ
れ、前記第１の入力手段とは異なる種類の第２の入力手
段からの入力を前記ウインドウシステムのイベントとし
て取り扱うためのマルチモーダル入力制御方法であっ
て、 前記第２の入力手段がタッチパネルの場合に、前記第２
の入力手段からの入力情報を受信して、その受信した入
力情報で示されるユーザのタッチした座標を前記ウイン
ドウシステムの座標に変換し、この変換された座標の位
置に存在するウインドウを識別して、その識別したウイ
ンドウに対してイベントを送信することにより、前記第
２の入力手段からの入力を前記ウインドウシステムのイ
ベントとして取り扱うことを特徴とするマルチモーダル
入力制御方法。 - 【請求項３】 少なくとも表示手段とポインティング機
能を有する第１の入力手段とを備え、前記第１の入力手
段によるポインティングをイベントとして受け付けるウ
インドウシステムが起動される情報処理機器に適用さ
れ、前記第１の入力手段とは異なる種類の第２の入力手
段からの入力を前記ウインドウシステムのイベントとし
て取り扱うためのマルチモーダル入力制御方法であっ
て、 前記第２の入力手段が入力音声を認識する音声認識手段
の場合に、前記音声認識手段からの認識結果を受信し
て、その受信した認識結果をもとにその認識結果に対し
て予め割り当てておいたウインドウを識別し、その識別
したウインドウに対してイベントを送信することによ
り、前記第２の入力手段からの入力を前記ウインドウシ
ステムのイベントとして取り扱うことを特徴とするマル
チモーダル入力制御方法。 - 【請求項４】 少なくとも表示手段とポインティング機
能を有する第１の入力手段とを備え、前記第１の入力手
段によるポインティングをイベントとして受け付けるウ
インドウシステムが起動される情報処理機器に適用さ
れ、前記第１の入力手段とは異なる種類の第２の入力手
段からの入力を前記ウインドウシステムのイベントとし
て取り扱うためのマルチモーダル入力制御方法であっ
て、 前記第２の入力手段が一定周期毎に時間割込を発生する
時間割込手段の場合に、前記時間割込手段からの割込を
受信して、その受信した割込の時刻をもとにその時刻に
対して予め割り当てておいたウインドウを識別し、その
識別したウインドウに対してイベントを送信することに
より、前記第２の入力手段からの入力を前記ウインドウ
システムのイベントとして取り扱うことを特徴とするマ
ルチモーダル入力制御方法。 - 【請求項５】 少なくとも表示手段とポインティング機
能を有する第１の入力手段とを備え、前記第１の入力手
段によるポインティングをイベントとして受け付けるウ
インドウシステムが起動される情報処理機器に適用さ
れ、前記第１の入力手段とは異なる種類の第２の入力手
段からの入力を前記ウインドウシステムのイベントとし
て取り扱うためのマルチモーダル入力制御方法であっ
て、 前記第２の入力手段が、物体等の存在を検知するセンサ
と当該センサの状態を検出するセンサ制御手段から構成
される場合に、前記センサ制御手段により得られる前記
センサの状態を受信して、その受信した前記センサの状
態の変化時には、その際のセンサ状態をもとにその状態
に対して予め割り当てておいたウインドウを識別し、そ
の識別したウインドウに対してイベントを送信すること
により、前記第２の入力手段からの入力を前記ウインド
ウシステムのイベントとして取り扱うことを特徴とする
マルチモーダル入力制御方法。 - 【請求項６】 少なくとも表示手段とポインティング機
能を有する第１の入力手段とを備え、前記第１の入力手
段によるポインティングをイベントとして受け付けるウ
インドウシステムが起動される情報処理機器を用いて構
成されるマルチモーダル対話システムにおいて、 前記第１の入力手段とは異なる種類の第２の入力手段
と、 この第２の入力手段からの入力情報を受信する受信手段
と、 この受信手段により受信された入力情報を前記ウインド
ウシステムのイベントに変換して当該ウインドウシステ
ム上のウインドウに送信する入力変換手段とを具備し、
前記第２の入力手段からの入力を前記ウインドウシステ
ムのイベントとして取り扱うことを特徴とするマルチモ
ーダル対話システム。 - 【請求項７】 少なくとも表示手段とポインティング機
能を有する第１の入力手段とを備え、前記第１の入力手
段によるポインティングをイベントとして受け付けるウ
インドウシステムが起動される情報処理機器を用いて構
成されるマルチモーダル対話システムにおいて、 前記第１の入力手段とは異なる種類の第２の入力手段で
あるタッチパネルと、 前記第２の入力手段からの入力情報を受信する入力受信
手段と、 この受信手段により受信された入力情報で示されるユー
ザのタッチした座標を前記ウインドウシステムの座標に
変換する座標データ変換手段と、 この座標データ変換手段により変換された座標の位置に
存在するウインドウを識別するウインドウ識別手段と、 このウインドウ識別手段により識別されたウインドウに
対してイベントを送信するイベント送信手段とを具備
し、前記第２の入力手段からの入力を前記ウインドウシ
ステムのイベントとして取り扱うことを特徴とするマル
チモーダル対話システム。 - 【請求項８】 少なくとも表示手段とポインティング機
能を有する第１の入力手段とを備え、前記第１の入力手
段によるポインティングをイベントとして受け付けるウ
インドウシステムが起動される情報処理機器を用いて構
成されるマルチモーダル対話システムにおいて、 前記第１の入力手段とは異なる種類の第２の入力手段で
ある、入力音声を認識する音声認識手段と、 この音声認識手段からの認識結果を受信する音声認識受
信手段と、 この受信手段により受信された認識結果と認識が行われ
たことを示すイベントを送信するイベント送信手段と、 このイベント送信手段からのイベントと認識結果を受信
して、その受信した認識結果をもとにその認識結果に対
して予め割り当てておいたウインドウを識別し、その識
別したウインドウに対してイベントを送信する処理実行
手段とを具備し、前記第２の入力手段からの入力を前記
ウインドウシステムのイベントとして取り扱うことを特
徴とするマルチモーダル対話システム。 - 【請求項９】 少なくとも表示手段とポインティング機
能を有する第１の入力手段とを備え、前記第１の入力手
段によるポインティングをイベントとして受け付けるウ
インドウシステムが起動される情報処理機器を用いて構
成されるマルチモーダル対話システムにおいて、 前記第１の入力手段とは異なる種類の第２の入力手段で
ある、一定周期毎に時間割込を発生する時間割込手段
と、 この時間割込手段からの割込を受信して、その受信した
割込の時刻を発生する時間割込受信手段と、 この受信手段により発生された時刻とイベントを送信す
るイベント送信手段と、 このイベント送信手段からのイベントと時刻を受信し
て、その受信した時刻をもとにその時刻に対して予め割
り当てておいたウインドウを識別し、その識別したウイ
ンドウに対してイベントを送信する処理実行手段とを具
備し、前記第２の入力手段からの入力を前記ウインドウ
システムのイベントとして取り扱うことを特徴とするマ
ルチモーダル対話システム。 - 【請求項１０】 少なくとも表示手段とポインティング
機能を有する第１の入力手段とを備え、前記第１の入力
手段によるポインティングをイベントとして受け付ける
ウインドウシステムが起動される情報処理機器を用いて
構成されるマルチモーダル対話システムにおいて、 前記第１の入力手段とは異なる種類の第２の入力手段で
あって、物体等の存在を検知するセンサと当該センサの
状態を検出するセンサ制御手段から構成される第２の入
力手段と、 前記センサ制御手段により得られる前記センサの状態を
受信するセンサ受信手段と、 この受信手段により受信された前記センサの状態が変化
したときに、その際のセンサ状態とイベントを送信する
イベント送信手段と、 このイベント送信手段からのイベントとセンサ状態を受
信して、その受信したセンサ状態をもとにその状態に対
して予め割り当てておいたウインドウを識別し、その識
別したウインドウに対してイベントを送信する処理実行
手段とを具備し、前記第２の入力手段からの入力を前記
ウインドウシステムのイベントとして取り扱うことを特
徴とするマルチモーダル対話システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6235061A JPH0895734A (ja) | 1994-09-29 | 1994-09-29 | マルチモーダル入力制御方法およびマルチモーダル対話システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6235061A JPH0895734A (ja) | 1994-09-29 | 1994-09-29 | マルチモーダル入力制御方法およびマルチモーダル対話システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0895734A true JPH0895734A (ja) | 1996-04-12 |
Family
ID=16980504
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6235061A Pending JPH0895734A (ja) | 1994-09-29 | 1994-09-29 | マルチモーダル入力制御方法およびマルチモーダル対話システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0895734A (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6823308B2 (en) * | 2000-02-18 | 2004-11-23 | Canon Kabushiki Kaisha | Speech recognition accuracy in a multimodal input system |
| KR100547900B1 (ko) * | 2002-07-23 | 2006-01-31 | 오므론 가부시키가이샤 | 데이터 입력 방법 및 데이터 입력 장치 |
| WO2008050963A1 (en) * | 2006-10-25 | 2008-05-02 | Yun Yong Ko | Method of story telling presentation and manufacturing multimedia file using computer, and computer input device and computer system for the same |
| US7421655B2 (en) | 2003-07-10 | 2008-09-02 | Canon Kabushiki Kaisha | Presenting information indicating input modalities |
| CN100432913C (zh) * | 2005-03-28 | 2008-11-12 | Sap股份公司 | 信息采集和处理***及其方法 |
| DE102009058146A1 (de) | 2009-12-12 | 2011-06-16 | Volkswagen Ag | Verfahren und Vorrichtung zur multimodalen kontextsensitiven Bedienung |
| DE102009058146B4 (de) | 2009-12-12 | 2024-07-11 | Volkswagen Ag | Verfahren und Vorrichtung zur multimodalen kontextsensitiven Bedienung |
-
1994
- 1994-09-29 JP JP6235061A patent/JPH0895734A/ja active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6823308B2 (en) * | 2000-02-18 | 2004-11-23 | Canon Kabushiki Kaisha | Speech recognition accuracy in a multimodal input system |
| KR100547900B1 (ko) * | 2002-07-23 | 2006-01-31 | 오므론 가부시키가이샤 | 데이터 입력 방법 및 데이터 입력 장치 |
| US7406420B2 (en) | 2002-07-23 | 2008-07-29 | Omron Corporation | Data input method and data input device for inputting text and voice data |
| US7421655B2 (en) | 2003-07-10 | 2008-09-02 | Canon Kabushiki Kaisha | Presenting information indicating input modalities |
| CN100432913C (zh) * | 2005-03-28 | 2008-11-12 | Sap股份公司 | 信息采集和处理***及其方法 |
| WO2008050963A1 (en) * | 2006-10-25 | 2008-05-02 | Yun Yong Ko | Method of story telling presentation and manufacturing multimedia file using computer, and computer input device and computer system for the same |
| DE102009058146A1 (de) | 2009-12-12 | 2011-06-16 | Volkswagen Ag | Verfahren und Vorrichtung zur multimodalen kontextsensitiven Bedienung |
| DE102009058146B4 (de) | 2009-12-12 | 2024-07-11 | Volkswagen Ag | Verfahren und Vorrichtung zur multimodalen kontextsensitiven Bedienung |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6440513B2 (ja) | 音声認識機能を用いた情報提供方法および機器の制御方法 | |
| EP0394614B1 (en) | Advanced user interface | |
| US8275617B1 (en) | Speech command input recognition system for interactive computer display with interpretation of ancillary relevant speech query terms into commands | |
| US7548859B2 (en) | Method and system for assisting users in interacting with multi-modal dialog systems | |
| JP3688738B2 (ja) | 対話ボックスを持つデータ処理装置 | |
| WO2014067110A1 (zh) | 绘图控制方法、装置及移动终端 | |
| US7206747B1 (en) | Speech command input recognition system for interactive computer display with means for concurrent and modeless distinguishing between speech commands and speech queries for locating commands | |
| CN103021410A (zh) | 信息处理装置、信息处理方法和计算机可读介质 | |
| WO2013123693A1 (zh) | 多模式遥控器的遥控控制方法、遥控器、用户终端及*** | |
| JPH0981364A (ja) | マルチモーダル情報入力方法及び装置 | |
| CN106227433A (zh) | 一种基于移动终端控制pc的方法、移动终端 | |
| JPH0895734A (ja) | マルチモーダル入力制御方法およびマルチモーダル対話システム | |
| KR20020069694A (ko) | 압력이 궤환되는 공간 키보드 시스템 및 그 정보 입력 방법 | |
| EP1067451A2 (en) | Method and apparatus for selecting symbols using strokes on a user interface | |
| KR20010015934A (ko) | 음성인식을 이용한 응용프로그램의 메뉴 실행방법 | |
| JP2019056913A (ja) | 音声認識機能を用いた情報提供方法および機器の制御方法 | |
| JP2600533B2 (ja) | タッチ入力装置 | |
| JPH1040002A (ja) | ワイヤレスマルチマウス入力方式 | |
| GB2344917A (en) | Speech command input recognition system | |
| JP2009271835A (ja) | 機器操作制御装置及びプログラム | |
| JPS60146327A (ja) | 計算機対話方法 | |
| JPH08286887A (ja) | マルチモーダル情報入力方法及び装置 | |
| JPH06110495A (ja) | 音声認識装置 | |
| JPH0215326A (ja) | ウィンドウ制御システム | |
| GB2258067A (en) | Input device conversion. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040217 |