JP3099753B2 - User interface device - Google Patents
User interface deviceInfo
- Publication number
- JP3099753B2 JP3099753B2 JP08266129A JP26612996A JP3099753B2 JP 3099753 B2 JP3099753 B2 JP 3099753B2 JP 08266129 A JP08266129 A JP 08266129A JP 26612996 A JP26612996 A JP 26612996A JP 3099753 B2 JP3099753 B2 JP 3099753B2
- Authority
- JP
- Japan
- Prior art keywords
- guidance
- user
- input
- time
- knowledge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Input From Keyboards Or The Like (AREA)
- Digital Computer Display Output (AREA)
- User Interface Of Digital Computer (AREA)
Description
【0001】[0001]
【発明の属する技術分野】本発明は、対話型システムの
ユーザインタフェース装置に関し、特に利用者へのガイ
ダンス機能を有するユーザインタフェース装置に関す
る。[0001] 1. Field of the Invention [0002] The present invention relates to a user interface device of an interactive system, and more particularly to a user interface device having a guidance function for a user.
【0002】[0002]
【従来の技術】対話型システムのユーザインタフェース
として、これまで多くの提案がなされてきた。なかで
も、コンピュータの使用に慣れていない人でも使い易い
ユーザインタフェースは大きな問題であり、ポインティ
ング装置や音声入出力装置を利用した様々な提案があ
る。2. Description of the Related Art There have been many proposals for a user interface of an interactive system. Above all, a user interface that is easy to use even for those who are not accustomed to using a computer is a major problem, and there are various proposals using a pointing device and a voice input / output device.
【0003】しかしながら、これら従来の提案の多く
は、作業効率や、表示内容の分かり易さ、利用者の習熟
度への適応性などに重点が置かれ、いずれも利用者とシ
ステムとの対話を円滑にするための技術であった。これ
らに対し、ユーザが何らかの問題に遭遇した場合や次に
何をすべきか分からなくなった場合にシステム側が利用
者を手助けするような手段がほとんど提供されていな
い。既存のシステムの多くはヘルプメニューなどを参照
することで操作説明を行うことはできるが、利用者の意
思決定を支援したり、適当な場面で利用方法やサービス
について紹介するような機能を持たない。[0003] However, many of these conventional proposals focus on work efficiency, easy-to-understand display contents, adaptability to user proficiency, and the like. It was a technique for smoothing. On the other hand, when the user encounters a problem or loses his understanding of what to do next, the system side hardly provides a means for assisting the user. Many existing systems can explain operations by referring to the help menu, etc., but do not have the function to support user's decision making or introduce the usage and services in appropriate situations .
【0004】神尾らの「対話装置及び同装置に適用され
る操作ガイダンス出力方法」(特開平8−044520
号公報)や浜田の「音声ガイダンス出力方式」(特開平
4−344930号公報)では、利用者に適切なガイダ
ンスを行うために、操作可能状態になってから利用者が
何らかの入力を行うまでの時間を計測して利用者の習熟
度を推定し、ガイダンスの内容を該習熟度に合わせて変
更している。しかし、利用者が何も入力しない場合に状
況に応じた有益な情報を利用者に伝えるものではないた
め、利用者にとって何か分からないことがあって入力が
できない場合に、その状況において利用者の意思決定や
問題解決を支援する情報提供がなされるわけではない。[0004] Kamio et al., "Interaction apparatus and operation guidance output method applied to the apparatus" (Japanese Patent Application Laid-Open No. H08-044520).
Japanese Patent Application Laid-Open No. HEI 4-344930) and Hamada's "voice guidance output method" (Japanese Unexamined Patent Publication No. 4-344930), in order to provide appropriate guidance to the user, from the time when the user enters an operable state until the user performs some input. The user's proficiency is estimated by measuring time, and the content of the guidance is changed in accordance with the proficiency. However, if the user does not enter anything, it does not convey useful information according to the situation to the user. It does not necessarily provide information to support decision-making or problem solving.
【0005】また、土屋らの「情報検索における強調的
応答方式」(特開平2ー201575)では、利用者が
データベースの検索に失敗した場合に利用者の次の入力
を促す応答を提示することにより対話を円滑にする。し
かし、入力を促すのみであり、場面に応じて応答内容を
アレンジしたり、一度めの提示内容が利用者の次の入力
に対する意思決定に役立たなかった場合のさらなる提示
を行うことができない。さらに、利用者が失敗以前に何
もできずにいる場合のガイダンスが行われず、全くの初
心者にとっての不安解消には不十分である。Also, in Tsuchiya et al., "Emphatic Response Method in Information Retrieval" (Japanese Unexamined Patent Publication No. 2-201575), when a user fails to search the database, a response to prompt the user for the next input is presented. Facilitates dialogue. However, it only prompts for an input, and cannot arrange response contents according to the scene, and cannot provide further presentation when the first presentation content does not help the user to make a decision on the next input. In addition, no guidance is given if the user has been unable to do anything before the failure, which is not enough to completely eliminate anxiety for beginners.
【0006】[0006]
【発明が解決しようとする課題】上述のように、従来の
対話型システムのユーザインタフェース装置では、どの
ようなサービスを提供できるのか、次に何をすればよい
のか、という利用者の疑問や不安に対し、状況に応じた
ガイダンスや、一度のガイダンスでは十分でなかった場
合にその後適当なタイミングで別の内容を提示する手段
を備えていない。As described above, the user's question and anxiety about what kind of service can be provided and what to do next in the user interface device of the conventional interactive system. On the other hand, there is no means for presenting guidance according to the situation or presenting another content at an appropriate timing after one guidance is not sufficient.
【0007】また、複数のガイダンス内容を用意してあ
っても、それらをたて続けに提示したり、単に一定の時
間間隔で提示するだけでは、利用者の都合や心理状態を
考慮したガイダンスとは言えない。Further, even if a plurality of guidance contents are prepared, simply presenting them one after another or simply presenting them at regular time intervals can be said to be guidance in consideration of the user's convenience and mental state. Absent.
【0008】よって、本発明の目的は、上述した従来の
対話型システムのユーザインタフェース装置の課題を解
決したユーザインタフェース装置を提供することを目的
とする。Accordingly, it is an object of the present invention to provide a user interface device which solves the above-mentioned problem of the conventional user system of the interactive system.
【0009】[0009]
【課題を解決するための手段】利用者の操作によって入
力を行う入力手段と、利用者に提供する情報の出力を行
う出力手段とを備え、対話型アプリケーション装置と利
用者との間の対話を支援するユーザインタフェース装置
において、利用者が入力操作を行わなくなってから経過
した時間を計測する時間計測手段と、利用者へのガイダ
ンスの内容と該内容を利用者に提示する条件としての経
過時間とを対で含んだガイダンス知識を管理するガイダ
ンス知識管理手段と、前記時間計測手段によって計測さ
れた時間が、前記ガイダンス知識に含まれる経過時間の
いずれかに達した場合に、前記経過時間に対応する前記
ガイダンスを利用者に行うオートガイダンス手段と、を
備える。Means for Solving the Problems An input means for inputting by a user's operation and an output means for outputting information to be provided to the user are provided, and a dialog between the interactive application apparatus and the user is provided. In the supporting user interface device, a time measuring means for measuring a time elapsed after the user stops performing the input operation, a content of the guidance to the user, and an elapsed time as a condition for presenting the content to the user. And a guidance knowledge management unit that manages guidance knowledge including a pair of, when the time measured by the time measurement unit reaches one of the elapsed times included in the guidance knowledge, the elapsed time corresponds to the elapsed time. Automatic guidance means for providing the guidance to the user.
【0010】さらには、前記アプリケーション装置の内
部状態を管理する状態管理手段を備え、前記オートガイ
ダンス手段が前記状態管理手段から前記アプリケーショ
ン装置の内部状態を検出し、前記ガイダンス知識管理手
段から前記内部状態に応じたガイダンス知識を選択して
利用者にガイダンスを行う。[0010] Further, there is provided state management means for managing the internal state of the application apparatus, wherein the auto-guidance means detects the internal state of the application apparatus from the state management means, and receives the internal state from the guidance knowledge management means. And provide guidance to the user by selecting the guidance knowledge according to.
【0011】さらには、前記アプリケーション装置の各
内部状態に対応した情報を検索するアプリケーション情
報検索手段を備え、前記オートガイダンス手段が、前記
ガイダンス知識から得たガイダンスの内容に前記アプリ
ケーション情報検索手段から得た情報を付加して利用者
に提示する。Further, there is provided application information retrieval means for retrieving information corresponding to each internal state of the application apparatus, wherein the automatic guidance means obtains the contents of the guidance obtained from the guidance knowledge from the application information retrieval means. Information to the user.
【0012】さらには、利用者への応答内容を音声とジ
ェスチャで出力する擬人的応答手段と、利用者への自然
言語文の応答内容を表示するテキスト出力手段と、利用
者に対して音声出力用、テキスト出力用、ジェスチャ動
作用の各応答内容を記述した応答知識を蓄積する応答知
識蓄積手段と、を備え、前記オートガイダンス手段は、
前記擬人的応答手段と前記テキスト出力手段を用いてガ
イダンスを行う。Further, anthropomorphic response means for outputting the response content to the user by voice and gesture, text output means for displaying the response content of the natural language sentence to the user, and voice output to the user Response knowledge storage means for storing response knowledge describing each response content for a text output, a gesture operation, the auto-guidance means,
Guidance is performed using the anthropomorphic response means and the text output means.
【0013】さらには、前記ガイダンス知識は、各々の
ガイダンスの内容に従うガイダンスを実行後、前記時間
計測手段による時間の計測をそのまま継続するか初期値
に戻すかを示す項目を含み、前記オートガイダンス手段
は、前記ガイダンス知識中の前記項目に従い、前記時間
計測手段に対して時間計測の継続を指示、もしくは経過
時間を0に戻すように指示し、さらに前記時間計測手段
は、オートガイダンスからの前記指示もしくは利用者か
ら何らかの入力があったことを検知した場合に、前記経
過時間を0に戻して再び時間計測を開始する。Further, the guidance knowledge includes an item indicating whether to continue the measurement of the time by the time measuring unit or return to the initial value after executing the guidance according to the content of each guidance, and According to the item in the guidance knowledge, instructs the time measurement means to continue the time measurement, or instructs the elapsed time to return to 0, and further, the time measurement means, the instruction from the auto guidance Alternatively, when it is detected that there has been any input from the user, the elapsed time is returned to 0 and time measurement is started again.
【0014】さらには、ディスプレイ画面上の位置や利
用者が選択した項目を指し示すための指示入力手段と、
利用者が文字列を入力するための文字列入力手段と、前
記ユーザインタフェース装置および前記アプリケーショ
ン装置に指示可能な項目の一覧を表示するメニュー選択
手段と、利用者との対話における各種の目的に応じた2
つ以上の対話モードを有し、同時には何れか1つの対話
モードに限定して前記対話を制御する対話制御手段と、
前記文字列入力手段により任意の場面で前記対話モード
のうち利用者が希望する対話モードに切り替えを行う対
話モード切り替え手段と、を備える。Further, an instruction input means for indicating a position on the display screen or an item selected by the user,
Character string input means for a user to input a character string; menu selection means for displaying a list of items that can be instructed to the user interface device and the application device; 2
Dialogue control means having at least one dialogue mode, and simultaneously controlling the dialogue in any one of the dialogue modes;
Interactive mode switching means for switching to an interactive mode desired by a user among the interactive modes in an arbitrary scene by the character string input means.
【0015】さらには、自然言語で記述された入力文字
列を解析し、結果を前記対話制御手段に送る自然言語解
析手段を備え、前記文字列入力手段からの入力文字列
と、前記メニュー選択手段からの選択結果文字列とを共
に前記自然言語解析手段により解析する。The apparatus further comprises natural language analyzing means for analyzing an input character string described in a natural language and sending a result to the interactive control means. The input character string from the character string input means and the menu selection means Are analyzed together with the selection result character string by the natural language analysis means.
【0016】さらには、前記自然言語解析手段は、利用
者からの入力内容において操作または質問の対象が明示
されていない場合に、前記状態管理手段が管理するアプ
リケーションの内部状態から前記対象を特定する。Further, the natural language analysis means specifies the object from the internal state of the application managed by the state management means when the object of the operation or question is not specified in the input content from the user. .
【0017】[0017]
【発明の実施の形態】以下では、本発明をマイクとキー
ボードとタッチパネルとマウスをそれぞれ入力手段と
し、ディスプレイ装置とスピーカを出力手段とし、図書
館情報検索システムをアプリケーション装置とした実施
の形態の例について、図面を参照して詳しく説明する。BEST MODE FOR CARRYING OUT THE INVENTION In the following, an embodiment of the present invention will be described in which a microphone, a keyboard, a touch panel, and a mouse are used as input means, a display device and a speaker are used as output means, and a library information search system is an application device. This will be described in detail with reference to the drawings.
【0018】図1は、本発明の一実施の形態に係るユー
ザインタフェース装置、および本ユーザインタフェース
装置の適用対象であるアプリケーション装置の構成を示
すブロック図である。FIG. 1 is a block diagram showing a configuration of a user interface device according to an embodiment of the present invention and an application device to which the user interface device is applied.
【0019】図1に示すユーザインタフェース装置は、
キーボード1、音声認識装置2、タッチパネル3、マウ
ス4、ディスプレイ装置5、スピーカ6、文字列入力部
8、指示入力部9、自然言語解析部10、メニュー選択
部11、対話制御部12、状態管理部13、オートガイ
ダンス部14、ガイダンス知識管理部15、時間計測部
16、アプリケーション情報検索部17、テキスト出力
部19、擬人的応答部20から構成され、これらにアプ
リケーション装置7、該アプリケーション用データベー
ス18を接続して動作する。The user interface device shown in FIG.
Keyboard 1, voice recognition device 2, touch panel 3, mouse 4, display device 5, speaker 6, character string input unit 8, instruction input unit 9, natural language analysis unit 10, menu selection unit 11, dialog control unit 12, state management A unit 13, an auto-guidance unit 14, a guidance knowledge management unit 15, a time measurement unit 16, an application information search unit 17, a text output unit 19, and an anthropomorphic response unit 20. Connect and work.
【0020】音声認識装置2は、利用者の音声による入
力を認識して対応する文字列に変換する装置である。音
声認識の機能は、マイクに接続された音声認識専用の装
置で実現される場合や、ユーザインタフェース装置2と
同一の装置内にソフトウェアで実装されている場合など
いずれでも良い。The voice recognition device 2 is a device that recognizes a user's voice input and converts it into a corresponding character string. The voice recognition function may be realized by a device dedicated to voice recognition connected to a microphone, or may be implemented by software in the same device as the user interface device 2.
【0021】タッチパネル3は、利用者が手指などでデ
ィスプレイ装置5上の任意の位置を指定することによ
り、ディスプレイ装置5上に表示されたボタンの押下や
メニューの選択、領域の指定などを可能にするデバイス
である。The touch panel 3 enables a user to specify an arbitrary position on the display device 5 with his / her finger or the like, thereby pressing a button displayed on the display device 5, selecting a menu, specifying an area, and the like. Device.
【0022】ディスプレイ装置5は、例えば図2に示す
例のように、アプリケーション装置7による視覚情報の
出力内容(211)、テキスト出力部19からの出力内
容(212)、擬人的応答部20からの視覚情報の出力
内容(213)、メニュー選択部11によるメニュー
(214)、その他必要に応じて利用者に提示される視
覚情報の表示に用いるデバイスである。As shown in FIG. 2, for example, the display device 5 outputs the visual information output by the application device 7 (211), the output from the text output unit 19 (212), and the output from the anthropomorphic response unit 20. This device is used for displaying visual information output contents (213), menus (214) by the menu selection unit 11, and other visual information presented to the user as needed.
【0023】スピーカ6は、擬人的応答部20からの音
声情報、その他必要に応じて利用者に提示される聴覚情
報を出力するデバイスである。The speaker 6 is a device that outputs audio information from the anthropomorphic response unit 20 and other auditory information presented to the user as necessary.
【0024】アプリケーション装置7は、本実施の形態
においては図書情報検索システムであり、その一機能と
して、利用者の指示により、アプリケーション用データ
ベース18から必要な情報を取り出して利用者に提示す
る機能を持つ。また、該アプリケーション装置7は、利
用者の操作によって互いに遷移可能な複数の状態を有
し、各状態を変数の値として外部装置に出力可能であ
る。The application device 7 is a book information retrieval system in the present embodiment, and has a function of extracting necessary information from the application database 18 and presenting it to the user according to a user's instruction. Have. Further, the application device 7 has a plurality of states that can be transited to each other by a user operation, and can output each state as a variable value to an external device.
【0025】文字列入力部8は、キーボード1または音
声認識装置2から入力された文字列を自然言語解析部1
0に渡す。The character string input unit 8 converts a character string input from the keyboard 1 or the speech recognition device 2 into a natural language analysis unit 1.
Pass to 0.
【0026】指示入力部9は、タッチパネル3またはマ
ウス4から入力された情報のうち、メニュー選択部11
がディスプレイ装置5上に表示したメニューのいずれか
を選択したという情報をメニュー選択部11に伝える。The instruction input unit 9 includes a menu selection unit 11 out of information input from the touch panel 3 or the mouse 4.
Informs the menu selection unit 11 that the user has selected one of the menus displayed on the display device 5.
【0027】メニュー選択部11は、対話制御部で決定
された対話モードに応じたメニューをディスプレイ装置
5上に表示し、指示入力部9を介して利用者に選択され
たメニューの内容を、文字列として自然言語解析部10
に送る。The menu selection unit 11 displays on the display device 5 a menu corresponding to the interaction mode determined by the interaction control unit, and displays the contents of the menu selected by the user via the instruction input unit 9 in text. Natural language analysis unit 10 as a column
Send to
【0028】自然言語解析部10は、文字列入力部8ま
たはメニュー選択部11から送られた文字列を自然言語
文または単語として解析し、対話制御部12で処理可能
な解析結果に変換し、対話制御部12に送る。The natural language analysis unit 10 analyzes the character string sent from the character string input unit 8 or the menu selection unit 11 as a natural language sentence or word, and converts it into an analysis result that can be processed by the dialogue control unit 12. It is sent to the dialogue control unit 12.
【0029】対話制御部12は、自然言語解析部から送
られた解析結果もしくはオートガイダンス部の指示に従
い、必要ならば状態管理部13を介してアプリケーショ
ン装置7の状態を取得し、またはアプリケーション情報
検索部17を介してアプリケーション用データベースか
ら必要なデータを取得し、アプリケーション装置7に操
作指示を送るか、またはテキスト出力部19および擬人
的応答部20を用いて利用者に応答する。The dialogue control unit 12 acquires the state of the application device 7 via the state management unit 13 if necessary according to the analysis result sent from the natural language analysis unit or the instruction of the auto guidance unit, or retrieves the application information. Necessary data is acquired from the application database via the unit 17 and an operation instruction is sent to the application device 7 or a response is made to the user using the text output unit 19 and the anthropomorphic response unit 20.
【0030】状態管理部13は、自然言語解析部10も
しくは対話制御部12からの要求に従い、アプリケーシ
ョン装置7の状態情報を取得し、要求元に送る。The state management unit 13 acquires the state information of the application device 7 in accordance with a request from the natural language analysis unit 10 or the dialog control unit 12 and sends it to the request source.
【0031】オートガイダンス部14は、時間計測部1
6があらかじめ指定された時間の経過を検知して対話制
御部12に通知すると、それぞれ経過した時間に応じた
ガイダンス知識をガイダンス知識管理部15から取り出
す。取り出されたガイダンス知識のうち適当な応答内容
を選び、テキスト出力部19および擬人的応答部20を
用いて利用者にガイダンスを行う。The auto-guidance unit 14 includes the time measurement unit 1
6 detects the elapse of the time designated in advance and notifies the dialog control unit 12, and extracts the guidance knowledge corresponding to the elapsed time from the guidance knowledge management unit 15. An appropriate response content is selected from the extracted guidance knowledge, and guidance is provided to the user using the text output unit 19 and the anthropomorphic response unit 20.
【0032】時間計測部16は、オートガイダンス部1
4からの指示に従い、前記ガイダンス後に時間の計測を
続行するかもしくは経過時間を0に戻す。また、利用者
が何らかの入力操作を行った際には、ただちに経過時間
を0に戻し、再び時間の計測を開始する。The time measuring section 16 is provided for the automatic guidance section 1.
According to the instruction from 4, the measurement of the time is continued after the guidance or the elapsed time is returned to 0. When the user performs any input operation, the elapsed time is immediately returned to 0, and the time measurement is started again.
【0033】アプリケーション情報検索部17は、アプ
リケーション装置7が利用する情報を管理しているアプ
リケーション用データベース18に対し、対話制御部1
2からの要求に応じて検索を行う。アプリケーション用
データベース18には、例えば各書籍の書誌事項データ
や図書館内のどの部屋のどの書架に置いてあるかと言う
空間位置情報、前記各部屋や書架の分類や特徴などがデ
ータベースとして蓄積されている。The application information retrieval unit 17 sends the dialogue control unit 1 to the application database 18 which manages information used by the application device 7.
The search is performed in response to a request from 2. The application database 18 stores, for example, bibliographic data of each book, spatial position information indicating which book is placed in which room in the library, classification and characteristics of each room and book shelf, and the like. .
【0034】テキスト出力部19は、前記ガイダンス知
識やアプリケーション用データベースから得られた情報
を基に生成された応答文をディスプレイ装置5上に表示
する。The text output unit 19 displays on the display device 5 a response sentence generated based on the guidance knowledge and the information obtained from the application database.
【0035】擬人的応答部20は、例えば、本出願人が
以前に出願した呂の「人物像表示によるユーザインタフ
ェース方法とその装置」(特願平7−232638号)
に記載されているような擬人的キャラクタを用い、音声
とジェスチャによって利用者にメッセージを伝える。The anthropomorphic response unit 20 is described in, for example, Lu's "User Interface Method and Apparatus by Displaying a Person Image" previously filed by the present applicant (Japanese Patent Application No. 7-232638).
Using an anthropomorphic character as described in the above, a message is transmitted to the user by voice and gesture.
【0036】次に、本願発明の具体的な動作について、
図面を参照してさらに詳しく説明する。Next, a specific operation of the present invention will be described.
This will be described in more detail with reference to the drawings.
【0037】まずはじめに、状態管理部13に対するよ
り具体的な例を図5を用いて説明する。First, a more specific example of the state management unit 13 will be described with reference to FIG.
【0038】図5は、入力文例としてディスプレイ画面
上に表示された書籍を読んでいる利用者から「これが置
いてある書架は?」と入力された場合の本実施の形態に
おけるユーザインタフェース装置の部分的な処理例を示
している。前記入力文例では「置いてある」の対象を示
す部分が「これ」という代名詞で表され、対象が不明確
である。この場合、自然言語解析部10は「これ」とい
う単語に対して解析辞書412を引いた際にその単語の
機能を表すfunctionパラメータの値を参照し、
ind(indicateの略)という値を得る。fu
nctionパラメータの値がindである場合、自然
言語解析部10はアプリケーション装置7が出力したオ
ブジェクトのうち前記「これ」が示す対象となりうるも
のを状態管理部13に要求する。状態管理部13は、前
記要求を受け取ると、アプリケーション装置7に対して
最新の状態情報を要求し、得られた状態情報を状態管理
テーブル413に格納する。状態テーブル413に格納
された状態情報は、優先順位42に従い、テーブルの値
がNULLでないもののうち、優先順位の最も高い値を
自然言語解析部10が受け取り、前記「これ」に対応す
る意味フレーム411のValueパラメータの値とし
て格納する。ここで意味フレームとは入力文字列を構成
する各単語について各々固有の情報を格納するテーブル
である。なお、優先順位42中の“>”記号は、左辺が
右辺に優先するということを表した便宜上の記号であ
る。FIG. 5 shows a portion of the user interface device according to the present embodiment when a user reading a book displayed on a display screen as an example of an input sentence inputs "What is the shelf on which this is placed?" Shows a typical processing example. In the example of the input sentence, the part indicating the target of "placed" is represented by the pronoun "this", and the target is unclear. In this case, the natural language analysis unit 10 refers to the value of the function parameter representing the function of the word “this” when the analysis dictionary 412 is referred to,
The value ind (short for indicate) is obtained. fu
When the value of the nction parameter is ind, the natural language analysis unit 10 requests the state management unit 13 of the objects output by the application device 7 that can be the target indicated by the “this”. Upon receiving the request, the status management unit 13 requests the latest status information from the application device 7 and stores the obtained status information in the status management table 413. According to the status information stored in the status table 413, the natural language analysis unit 10 receives the highest priority value among the values in the table that are not NULL according to the priority order 42, and the semantic frame 411 corresponding to the “this”. Is stored as the value of the Value parameter. Here, the meaning frame is a table that stores information unique to each word constituting the input character string. The “>” symbol in the priority order 42 is a symbol for convenience indicating that the left side has priority over the right side.
【0039】次に、オートガイダンス部14および時間
計測部16の動作について、図3および図4および図6
を用いてより具体的に説明する。時間計測部16は、図
6のフローチャート51に示すように、まず本実施の形
態のユーザインタフェース装置が起動する際にガイダン
ス知識管理部15から各ガイダンス知識を用いたガイダ
ンスの開始設定時間をそれぞれ読み込む(S11)。こ
こでガイダンス開始設定時間は、例えば図3のガイダン
ス知識31の場合、経過時間(waittime)を1
0(秒)と記述されており(311)、これを抽出して
時間計測部16に読み込む。ガイダンス知識管理部15
で管理している全てのガイダンス知識について前記設定
時間を読み込むと、経過時間をを初期化(経過時間を0
に設定)し(S12)、時間の計測を開始する(S1
3)。その後、利用者から何らかの入力があったかどう
かを判断し(S14)、前記入力があれば経過時間を初
期化して時間計測を再開する。前記入力が無ければ、次
に経過時間が前記設定時間のいずれかに達したかどうか
を判断する(S15)。経過時間がいずれかの設定時間
に達した場合、その経過時間をオートガイダンス部に渡
し、オートガイダンスを開始する(S16)。経過時間
がいずれの設定時間にも達していなければ、時間計測を
続ける。オートガイダンスが修了すると、該オートガイ
ダンスで適用されたガイダンス知識から時間の計測を継
続するか初期化するかを判断し、それぞれ実行する(S
17)。時間の計測に対する継続か初期化かの判断につ
いては、例えば図3のガイダンス知識31およびガイダ
ンス知識33にそれぞれ記載されているように、経過時
間(timer)の属性値がcontinue(31
3)であれば継続、reset(331)であれば初期
化というようにガイダンス知識を参照することで判断す
る。Next, the operation of the auto guidance unit 14 and the time measurement unit 16 will be described with reference to FIGS.
This will be described more specifically with reference to FIG. As shown in the flowchart 51 of FIG. 6, when the user interface device according to the present embodiment is activated, the time measurement unit 16 first reads the guidance start set time using each guidance knowledge from the guidance knowledge management unit 15. (S11). Here, the guidance start set time is, for example, in the case of the guidance knowledge 31 in FIG. 3, the elapsed time (waittime) is set to 1
0 (seconds) is described (311), which is extracted and read into the time measuring unit 16. Guidance knowledge management unit 15
When the set time is read for all the guidance knowledge managed in the above, the elapsed time is initialized (the elapsed time is set to 0).
(S12), and time measurement is started (S1).
3). Thereafter, it is determined whether or not there has been any input from the user (S14). If the input has been made, the elapsed time is initialized and the time measurement is restarted. If there is no input, it is determined whether the elapsed time has reached any of the set times (S15). When the elapsed time has reached any of the set times, the elapsed time is passed to the auto guidance unit, and the automatic guidance is started (S16). If the elapsed time has not reached any of the set times, the time measurement is continued. When the auto-guidance is completed, it is determined whether to continue or initialize the time measurement based on the guidance knowledge applied in the auto-guidance, and each is executed (S
17). Regarding the determination of whether to continue or initialize the time measurement, for example, as described in the guidance knowledge 31 and the guidance knowledge 33 in FIG. 3, the attribute value of the elapsed time (timer) is set to continue (31).
If it is 3), continue, and if reset (331), it is determined by referring to the guidance knowledge, such as initialization.
【0040】オートガイダンス部14は、図7のフロー
チャート52に示すように、時間計測部から受け取った
経過時間に対応する1つ以上のガイダンス知識をガイダ
ンス知識管理部15から読み込み(S21)、各ガイダ
ンス知識に適用条件があるかどうかを判断する。適用条
件は、例えば図3のガイダンス知識31では状態情報
(focus)の属性値が0001013Rである(3
14)というように記されている。前記適用条件を有す
るガイダンス知識については、状態管理部13を介して
アプリケーション7より各々対応する状態情報を取得す
る(図7のS23)。そして該状態情報と前記適用条件
とを照合し、それらが合致するガイダンス知識のみを選
択して次段の処理に送る(S24)。適用条件の無いガ
イダンス知識はそのまま前記次段の処理に送る。さら
に、前記次段の処理に送られたガイダンス知識につい
て、ガイダンスの出力にアプリケーション情報(図7で
はAP情報と略記)を要する変数を含むかどうかを判断
し(S25)、該変数があればアプリケーション情報検
索部17を用いてアプリケーション用データベース18
から必要なアプリケーション情報を検索する(S2
6)。アプリケーション情報の例としては、図3のガイ
ダンス知識31の出力内容315に含まれるfloc
(該当フロアの階数)やガイダンス知識32の出力内容
に含まれるfgenre(該当フロアの分類名)(32
1)などがある。これらのアプリケーション情報を必要
に応じて検索し、前記変数に代入した後、前記該当する
ガイダンス知識中の出力内容をテキスト出力部19およ
び擬人的応答部20へ送り、ガイダンスを実行する(S
27)。例えば、図3のガイダンス知識31が適用され
た場合、flocの検索結果が“3階”ならばテキスト
出力部19へは「ここは3階です。」という文(31
5)が、擬人的応答部20へは動作番号(actio
n)の属性値108で定義されたジェスチャおよび音声
出力(312)がそれぞれ送られる。As shown in a flowchart 52 of FIG. 7, the auto guidance unit 14 reads one or more pieces of guidance knowledge corresponding to the elapsed time received from the time measurement unit from the guidance knowledge management unit 15 (S21), and sets each guidance. Determine if the knowledge has an applicable condition. For example, in the guidance knowledge 31 of FIG. 3, the application condition is that the attribute value of the state information (focus) is 0001013R (3
14). As for the guidance knowledge having the application conditions, corresponding state information is acquired from the application 7 via the state management unit 13 (S23 in FIG. 7). Then, the state information is compared with the application conditions, and only the guidance knowledge that matches them is selected and sent to the next process (S24). Guidance knowledge with no applicable conditions is sent to the next process as it is. Further, it is determined whether or not the guidance knowledge sent to the next process includes a variable requiring application information (abbreviated as AP information in FIG. 7) in the guidance output (S25). Application database 18 using information retrieval unit 17
From the application information required (S2)
6). As an example of the application information, the floc included in the output content 315 of the guidance knowledge 31 in FIG.
Fgenre (classification name of the corresponding floor) (32) included in the output contents of (the number of floors of the corresponding floor) and guidance knowledge 32
1) and so on. After retrieving these application information as necessary and substituting the variables, the output contents in the corresponding guidance knowledge are sent to the text output unit 19 and the anthropomorphic response unit 20 to execute the guidance (S
27). For example, when the guidance knowledge 31 of FIG. 3 is applied, if the search result of the floc is “third floor”, the text output unit 19 sends the sentence “This is the third floor” (31).
5), but the operation number (action
The gesture and audio output (312) defined by the attribute value 108 of n) are sent.
【0041】各ガイダンスの実行と時間の経過との関係
は、図3のガイダンス知識31、32、33がそれぞれ
経過時間10秒、30秒、300秒で連続して実行され
た場合、図4の34のようになる。ガイダンス1(ガイ
ダンス知識31によるガイダンス)、ガイダンス2(同
32によるガイダンス)がそれぞれ行われた後、さらに
利用者から入力が無いまま計300秒経過すると、ガイ
ダンス知識33が適用され、動作番号(action)
の属性値130によって本実施例のユーザインタフェー
ス装置およびアプリケーション装置7の状態をそれぞれ
初期化し、経過時間を0に初期化した後、時間計測を再
開する。The relationship between the execution of each guidance and the lapse of time is as follows. When the guidance knowledge 31, 32, and 33 in FIG. 3 are continuously executed with elapsed times of 10, 30, and 300 seconds, respectively, FIG. It looks like 34. After the guidance 1 (guidance based on the guidance knowledge 31) and the guidance 2 (guidance based on the guidance 32) are respectively performed, if a total of 300 seconds elapse without any input from the user, the guidance knowledge 33 is applied and the operation number (action) )
The state of the user interface device and the state of the application device 7 of this embodiment are initialized by the attribute value 130 of this embodiment, the elapsed time is initialized to 0, and the time measurement is restarted.
【0042】本実施の形態のユーザインタフェース装置
による利用者との対話において、対話のモードが2つ以
上存在するものとする。対話モードの切り替わりは、図
1のメニュー選択部11によるメニュー表示内容の違い
によって視覚的に確認できる。以下、各対話モードを各
々対応するメニュー表示内容によって表現する。In the dialogue with the user by the user interface device of the present embodiment, it is assumed that there are two or more modes of the dialogue. The switching of the interactive mode can be visually confirmed by the difference in the menu display contents by the menu selection unit 11 in FIG. Hereinafter, each interactive mode is represented by the corresponding menu display contents.
【0043】図8は、前記対話モードの切り替えによる
前記メニュー表示内容の遷移を矢印で示した例である。
利用者は、タッチパネル3やマウス4により、各対話モ
ード61、62、63、64を実線の矢印に従って切り
替えることができる。利用者は、対話モード61におい
て表示されるメニュー(「館内の案内」や「本の検索」
など)をタッチパネル3やマウス4で選択することによ
り他の対話モードに移行し、62、63、64の各対話
モードにおいては「修了」メニューを選択することによ
り対話モード61へ戻る。この場合、必ず対話モード6
1を介さなければ他の対話モードへ移行できない。FIG. 8 is an example in which the transition of the menu display contents by switching the interactive mode is indicated by an arrow.
The user can switch each of the interactive modes 61, 62, 63, and 64 by using the touch panel 3 and the mouse 4 in accordance with solid arrows. The user can select a menu displayed in the interactive mode 61 (“guidance inside the building” or “book search”).
, Etc., by using the touch panel 3 or the mouse 4 to shift to another interactive mode. In each of the interactive modes 62, 63, 64, selecting the “completion” menu returns to the interactive mode 61. In this case, be sure to use interactive mode 6
The user cannot go to another interactive mode without going through 1.
【0044】ここで、本実施の形態のユーザインタフェ
ース装置では、キーボード1もしくは音声認識装置2に
より対話モード61における「館内の案内」等のメニュ
ー項目を文字列として入力することで、該文字列が文字
列入力部8を介して自然言語解析部10に入力される。
これにより、メニュー選択部11からタッチパネル3や
マウス4による入力が同自然言語解析部10に入力され
た場合と同様に前記文字列が解析され、いずれの対話モ
ードにおいても他の対話モードに移行することが可能と
なっている(破線の矢印で表現)。さらに、対話モード
61に限らず、例えば「書籍の登録」のようなメニュー
項目名もしくは「この本を個人書籍に登録したい」など
の自然言語による要求文を文字列として利用者が入力す
ることにより、任意の対話モードにおいて対話モード6
4に移行するとともに特定の操作を開始することができ
る。Here, in the user interface device of the present embodiment, a menu item such as "guidance in the hall" in the interactive mode 61 is input as a character string by the keyboard 1 or the voice recognition device 2, whereby the character string is changed. It is input to the natural language analysis unit 10 via the character string input unit 8.
As a result, the character string is analyzed in the same manner as when the input from the menu selection unit 11 through the touch panel 3 or the mouse 4 is input to the natural language analysis unit 10, and in any of the interactive modes, a transition is made to another interactive mode. (Represented by dashed arrows). Further, the user is not limited to the interactive mode 61, and can input a menu item name such as “Register a book” or a request sentence in a natural language such as “I want to register this book as a personal book” as a character string. Interactive mode 6 in any interactive mode
4 and a specific operation can be started.
【0045】[0045]
【発明の効果】本発明のユーザインタフェース装置を適
用することにより、対話型システムの利用者は、次に何
をすべきか判断しかねる状態に陥った場合にもその場の
状況に応じたガイダンスが受けられる。また、本ユーザ
インタフェース装置では、提示したガイダンスの内容が
利用者の意思決定に十分でなかった場合にも、適当な時
間をおいて別のガイダンスを行うことにより、利用者の
意思決定を継続的に支援することができる。さらに、複
数の対話モードを備えるアプリケーションにおいても、
マウスやタッチパネルでは各対話モードに限定されたメ
ニューやボタンのみ操作可能として画面表示領域の節約
や誤操作を防止しつつ、音声やキーボードを利用するこ
とで、任意の対話モードに直接移行できる柔軟性も備え
る。By applying the user interface device of the present invention, even if the user of the interactive system falls into a state where it is difficult to determine what to do next, guidance according to the situation at that time is provided. Can be received. Further, in the present user interface device, even if the content of the presented guidance is not sufficient for the user's decision making, the user's decision making is continuously performed by performing another guidance at an appropriate time. Can help. Furthermore, even in applications with multiple interactive modes,
With the mouse and touch panel, only the menus and buttons limited to each interactive mode can be operated, saving the screen display area and preventing erroneous operations, and using the voice and keyboard, the flexibility to directly shift to any interactive mode is also available. Prepare.
【図1】本発明の一実施の形態に係るユーザインタフェ
ース装置、および本ユーザインタフェース装置の適用対
象であるアプリケーション装置の構成を示したブロック
図FIG. 1 is a block diagram showing a configuration of a user interface device according to an embodiment of the present invention and an application device to which the user interface device is applied;
【図2】本実施の形態による画面出力の例を示した図FIG. 2 is a diagram showing an example of screen output according to the embodiment;
【図3】本実施の形態におけるガイダンス知識を例示し
た図FIG. 3 is a diagram illustrating guidance knowledge according to the embodiment;
【図4】本実施の形態によるガイダンスの実行と時間経
過の関係を示した図FIG. 4 is a diagram showing the relationship between the execution of guidance and the passage of time according to the embodiment;
【図5】本実施の形態におけるユーザインタフェース装
置の部分的な処理例を示した図FIG. 5 is a diagram illustrating a partial processing example of the user interface device according to the present embodiment;
【図6】本発明の時間計測部の動作を示すフローチャー
トFIG. 6 is a flowchart showing the operation of the time measuring unit of the present invention.
【図7】本発明のオートガイダンス部の動作を示すフロ
ーチャートFIG. 7 is a flowchart showing the operation of the auto guidance unit of the present invention.
【図8】メニュー表示内容の遷移を矢印で示した例FIG. 8 is an example in which transitions of menu display contents are indicated by arrows.
1 キーボード 2 音声認識装置 3 タッチパネル 4 マウス 5 ディスプレイ装置 6 スピーカ 7 アプリケーション装置 8 文字列入力部 9 指示入力部 10 自然言語解析部 11 メニュー選択部 12 対話制御部 13 状態管理部 14 オートガイダンス部 15 ガイダンス知識管理部 16 時間計測部 17 アプリケーション情報検索部 18 アプリケーション用データベース 19 テキスト出力部 20 擬人的応答部 21 画面出力例 211 図書情報検索システムの画面出力例 212 テキスト出力例 213 擬人的応答例 214 メニュー出力例 31 ガイダンス知識 32 ガイダンス知識 33 ガイダンス知識 34 各ガイダンスの実行と時間の経過との関係 311 経過時間指定属性と属性値 312 動作番号属性と属性値 313 経過時間属性と属性値 314 状態情報属性と属性値 315 テキスト出力属性と属性値 321 テキスト出力属性と属性値 331 経過時間属性と属性値 42 状態情報の優先順位 411 意味フレーム 412 解析辞書 413 状態管理テーブル 51 時間計測部のフローチャート 52 オーとガイダンス部のフローチャート 61 対話モード 62 対話モード 63 対話モード 64 対話モード DESCRIPTION OF SYMBOLS 1 Keyboard 2 Voice recognition device 3 Touch panel 4 Mouse 5 Display device 6 Speaker 7 Application device 8 Character string input unit 9 Instruction input unit 10 Natural language analysis unit 11 Menu selection unit 12 Dialogue control unit 13 State management unit 14 Auto guidance unit 15 Guidance Knowledge management unit 16 Time measurement unit 17 Application information search unit 18 Application database 19 Text output unit 20 Anthropomorphic response unit 21 Screen output example 211 Screen output example of book information retrieval system 212 Text output example 213 Anthropomorphic response example 214 Menu output Example 31 Guidance knowledge 32 Guidance knowledge 33 Guidance knowledge 34 Relationship between execution of each guidance and passage of time 311 Elapsed time designation attribute and attribute value 312 Operation number attribute and attribute value 313 Elapsed time attribute And attribute value 314 Status information attribute and attribute value 315 Text output attribute and attribute value 321 Text output attribute and attribute value 331 Elapsed time attribute and attribute value 42 Priority of status information 411 Meaning frame 412 Analysis dictionary 413 Status management table 51 Time measurement Section Flowchart 52 Oh and Guidance Section Flowchart 61 Interactive Mode 62 Interactive Mode 63 Interactive Mode 64 Interactive Mode
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平5−53705(JP,A) 特開 平8−16348(JP,A) 特開 平6−214741(JP,A) 特開 平6−110634(JP,A) 特開 平4−370825(JP,A) 特開 平4−354013(JP,A) 特開 平1−284915(JP,A) (58)調査した分野(Int.Cl.7,DB名) G06F 3/14 330 - 340 G06F 3/00 653 - 654 G06F 3/02 370 ──────────────────────────────────────────────────続 き Continuation of front page (56) References JP-A-5-53705 (JP, A) JP-A-8-16348 (JP, A) JP-A-6-214741 (JP, A) JP-A-6-14741 110634 (JP, A) JP-A-4-370825 (JP, A) JP-A-4-354013 (JP, A) JP-A-1-284915 (JP, A) (58) Fields investigated (Int. 7 , DB name) G06F 3/14 330-340 G06F 3/00 653-654 G06F 3/02 370
Claims (7)
段と、利用者に提供する情報の出力を行う出力手段とを
備え、対話型アプリケーション装置と利用者との対話を
支援するユーザインタフェース装置において、 利用者が入力操作を行わなくなってから経過した時間を
計測する時間計測手段と、 利用者へのガイダンスの内容およびその内容を利用者に
提示する条件としての経過時間を対応させたガイダンス
知識を管理するガイダンス知識管理手段と、 前記時間計測手段によって計測された時間が前記ガイダ
ンス知識に含まれる経過時間のいずれかに達した場合に
前記経過時間に対応する前記ガイダンスを利用者に行う
オートガイダンス手段と、前記アプリケーション装置の
内部状態を管理する状態管理手段とを備え、 前記オートガイダンス手段は、前記状態管理手段から前
記アプリケーション装置の内部状態を検出しその内部状
態に応じたガイダンス知識を選択して利用者にガイダン
スを実行する手段を含み、 前記ガイダンス知識は、各々のガイダンスの内容に従う
ガイダンスの実行後に前記時間計測手段による時間の計
測をそのまま継続するか初期値に戻すかを示す項目をそ
れぞれ含み、 前記オートガイダンス手段は、前記ガイダンス知識中の
前記項目の属性値にしたがって前記時間計測手段に対し
て時間計測を継続させるか経過時間を0に戻すかを指示
する手段を含む ことを特徴とするユーザインタフェース
装置。An input means for inputting by a user operation
And means for outputting information to be provided to the user.
Prepared for the interaction between the interactive application device and the user.
In the supporting user interface device, the time elapsed since the user stopped performing input operation
Time measurement means to be measured and contents of guidance to usersAnd thatContent to users
Elapsed time as a condition to be presentedCorrespondedguidance
Guidance knowledge management means for managing knowledge, and time measured by the time measurement meansBeforeChronicle Guida
If one of the elapsed times included in theTo
PreviousProvide the user with the guidance corresponding to the elapsed time
Auto guidance means,Of the application device
State management means for managing the internal state, The auto-guidance unit is located before the state management unit.
The internal state of the application device is detected and the
Select guidance knowledge according to the status and provide guidance to the user
Including means for performing The guidance knowledge follows the content of each guidance
After execution of the guidance, the time is measured by the time measuring means.
An item indicating whether to continue measurement or return to the default
Each including The auto-guidance means includes:
According to the attribute value of the item,
To continue time measurement or reset elapsed time to 0
Including means to User interface characterized by the following:
apparatus.
に対応した情報を検索するアプリケーション情報検索手
段を備え、 前記オートガイダンス手段は、前記ガイダンス知識から
得たガイダンスの内容に前記アプリケーション情報検索
手段から得た情報を付加して利用者に提示する手段を含
む 請求項1記載のユーザインタフェース装置。2. The application device of claim 1,Each internal state
Application information searcher to search for information corresponding to
With steps, The auto-guidance means uses the guidance knowledge
Search the application information based on the content of the obtained guidance
Means to add information obtained from the means and present it to the user.
M Claim1 noteUser interface device.
で出力する擬人的応答手段と、 利用者への自然言語文の応答内容を表示するテキスト出
力手段と、 利用者に対して音声出力用、テキスト出力用、ジェスチ
ャ動作用の各応答内容を記述した応答知識を蓄積する応
答知識蓄積手段と、 を備え、 前記オートガイダンス手段は、前記擬人的応答手段と前
記テキスト出力手段を用いてガイダンスを行う手段を含
む ことを特徴とする請求項2記載のユーザインタフェー
ス装置。(3)Voice and gestures to respond to the user
Anthropomorphic response means for outputting Text output showing response content of natural language sentence to user
Power means, For voice output, text output, gesture
Response knowledge that describes the contents of each response for
Answer knowledge storage means, With The auto-guidance means is provided in front of the personified response means.
Including means for providing guidance using text output means.
M Claims characterized by the following:2 notesUser interface
Equipment.
からの前記指示もしくは利用者から何らかの入力があっ
たことを検知したときに、前記経過時間を0に戻して再
び時間計測を開始する手段を含む請求項3記載のユーザ
インタフェース装置。 4. The time measuring means includes an automatic guidance
The above instructions from the user or any input from the user
When it is detected that the elapsed time has been
Beauty user interface device according to claim 3 Symbol mounting includes means for initiating the time measurement.
択した項目を指し示すための指示入力手段と、 利用者が文字列を入力するための文字列入力手段と、 前記ユーザインタフェース装置および前記アプリケーシ
ョン装置に指示可能な項目の一覧を表示するメニュー選
択手段と、 利用者との対話における各種の目的に応じた2つ以上の
対話モードを有し、同時には何れか一つの対話モードに
限定して前記対話を制御する対話制御手段と、 前記文字
列入力手段により任意の場面で前記対話モードのうち利
用者が希望する対話モードに切り替えを行う対話モード
切り替え手段と、 を備えた 請求項4記載のユーザインタフェース装置。Claim 5.The position on the display screen or the user
Instruction input means for indicating the selected item; Character string input means for a user to input a character string; The user interface device and the application
Menu that displays a list of items that can be
Selection means, Two or more for various purposes in the dialogue with the user
It has an interactive mode and at the same time, any one interactive mode
Dialog control means for controlling the dialog by limiting; The character
Use the interactive mode at any time by using the column input
Interactive mode that switches to the interactive mode desired by the user
Switching means; With Claim4 notesUser interface device.
し、結果を前記対話制御手段に送る自然言語解析手段を
備え、 この自然言語解析手段は、前記文字列入力手段からの入
力文字列および前記メニュー選択手段からの選択結果文
字列をともに解析する手段を含む 請求項5記載のユーザ
インタフェース装置。6.Parse input strings written in natural language
And a natural language analysis means for sending a result to the dialog control means.
Prepare, This natural language analyzing means receives input from the character string input means.
Input character string and the selection result sentence from the menu selection means
Includes means to analyze strings together Claim5 notesListed users
Interface device.
入力内容において操作または質問の対象が明示されてい
ない場合に、前記状態管理手段が管理するアプリケーシ
ョンの内部状態から前記対象を特定する手段を含む請求
項6記載のユーザインタフェース装置。7. The natural language analysis means according to claim 1, wherein
The target of the operation or question is clearly specified in the input contents.
If not, the application managed by the status management means
® down user interface device of claim 6 Symbol mounting includes means for identifying the object from the internal state of.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP08266129A JP3099753B2 (en) | 1996-10-07 | 1996-10-07 | User interface device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP08266129A JP3099753B2 (en) | 1996-10-07 | 1996-10-07 | User interface device |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10111778A JPH10111778A (en) | 1998-04-28 |
JP3099753B2 true JP3099753B2 (en) | 2000-10-16 |
Family
ID=17426741
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP08266129A Expired - Fee Related JP3099753B2 (en) | 1996-10-07 | 1996-10-07 | User interface device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3099753B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7292228B2 (en) | 2000-12-05 | 2007-11-06 | Kabushiki Kaisha Tokai-Rika-Denki-Seisakusho | Screen operating device for a vehicle |
JP4990258B2 (en) * | 2008-11-14 | 2012-08-01 | 株式会社日立製作所 | Support information presentation device, support information presentation method, and support information presentation program |
-
1996
- 1996-10-07 JP JP08266129A patent/JP3099753B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH10111778A (en) | 1998-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6128010A (en) | Action bins for computer user interface | |
JP7203865B2 (en) | Multimodal interaction between users, automated assistants, and other computing services | |
US7451088B1 (en) | System and method of handling problematic input during context-sensitive help for multi-modal dialog systems | |
US7177815B2 (en) | System and method of context-sensitive help for multi-modal dialog systems | |
JP4689670B2 (en) | Interactive manuals, systems and methods for vehicles and other complex devices | |
US7028265B2 (en) | Window display system and method for a computer system | |
Srinivasan et al. | Discovering natural language commands in multimodal interfaces | |
US6212541B1 (en) | System and method for switching between software applications in multi-window operating system | |
US11200893B2 (en) | Multi-modal interaction between users, automated assistants, and other computing services | |
KR20050061534A (en) | Tool-tip for multimedia files | |
JPH08166866A (en) | Editing support system equipped with interactive interface | |
JP3099753B2 (en) | User interface device | |
JP2760289B2 (en) | Graphical user interface operating device for the visually impaired | |
JP2000231429A (en) | Help information offering device | |
JP7180622B2 (en) | Information processing device, information processing method and information processing program | |
WO2003079188A1 (en) | Method for operating software object using natural language and program for the same | |
JP6746886B2 (en) | Learning support device and program for the learning support device | |
JP3373003B2 (en) | Information retrieval device | |
JP2005209024A (en) | Operation support apparatus and operation support method | |
JPH1124813A (en) | Multi-modal input integration system | |
JP2002268667A (en) | Presentation system and control method therefor | |
JP3110266B2 (en) | Character interface device | |
Long et al. | AI and Design Opportunities for Smart Speakers | |
CN115877997B (en) | Voice interaction method, system and storage medium for interaction elements | |
JPH0695827A (en) | Guide device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
LAPS | Cancellation because of no payment of annual fees |