JP2790060B2 - Focus management device - Google Patents

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【産業上の利用分野】本発明はユーザの音声、ポインテ
ィング動作などを入力として利用するシステムにおけ
る、フォーカス管理装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a focus management device in a system that uses a user's voice, a pointing operation, and the like as inputs.

【０００２】[0002]

【従来の技術】計算機に馴染みの薄いユーザでも簡単に
使えるインタフェースの一つに、計算機に対して音声入
力や自然言語文、マウス、タッチパネルなどのポインテ
ィング動作により問い合わせを行うものが開発されてい
る。このようなインタフェースは、音声入力やポインテ
ィング動作を解釈する入力解釈部を備え、入力される情
報の意味を理解して、対象のアプリケーションに対し
て、アプリケーション固有の操作手段に従った入力列を
作成し、アプリケーションを実行する、システムの入力
解釈部が音声入力中に含まれている指示語などの意味を
理解するためには、同時あるいは予め指定された指示対
象が必要である。2. Description of the Related Art As one of interfaces that can be easily used even by a user who is not familiar with a computer, an interface that makes an inquiry to the computer by voice input, a natural language sentence, a mouse, a touch panel, or the like has been developed. Such an interface is provided with an input interpretation unit that interprets voice input and pointing operations, understands the meaning of the information to be input, and creates an input sequence for the target application according to application-specific operation means. However, in order for the input interpreting unit of the system to execute the application to understand the meaning of the instruction word or the like included in the voice input, an instruction target at the same time or in advance is required.

【０００３】従来の音声や自然言語文、マウス、タッチ
パネルなどのポインティング動作を入力とするシステム
では、この指示対象を決定するために、ポインティング
動作の対象にフォーカス設定を行い、音声入力指示にお
ける指示語の解釈に利用する。例えば、電子情報学会論
文誌Ｖｏｌ．Ｊ７７−Ｄ２，Ｎｏ．８の「インテリアデ
ザイン支援システムを対象としたマルチモーダルの評
価」では、ポインティング動作の対象にフォーカスを設
定し、音声で操作を行う対象はそのフォーカスがある対
象とする。In a conventional system that inputs a pointing operation such as a voice, a natural language sentence, a mouse, a touch panel, etc., in order to determine the pointing target, focus setting is performed on the pointing operation target, and the pointing word in the voice input instruction is set. Used for interpretation. For example, IEICE Transactions Vol. J77-D2, No. In “Multi-modal evaluation for interior design support system” of No. 8, the focus is set on the target of the pointing operation, and the target operated by voice is the target having the focus.

【０００４】しかし、ユーザのポインティング動作だけ
でフォーカスの移動を行うため、システムによるフォー
カス対象の消去などの動作の際にフォーカスが存在しな
くなる場合には、ユーザは明示的にフォーカスを設定す
るためにポインティングを行う必要がある。[0004] However, since the focus is moved only by the pointing operation of the user, if the focus does not exist at the time of an operation such as erasing of the focus target by the system, the user needs to explicitly set the focus. You need to point.

【０００５】[0005]

【発明が解決しようとする課題】ユーザからのポインテ
ィング動作だけからフォーカスの位置を決める場合、ユ
ーザは意識してポインティング動作を行う必要があり、
ユーザの操作負担に繋がる。When the focus position is determined only by the pointing operation from the user, the user needs to perform the pointing operation consciously.
This leads to a user's operation burden.

【０００６】本発明の目的は、ユーザの入力操作からだ
けでなく、ユーザの動作やシステムからの情報提示、フ
ォーカスしたウィンドウの消去等のシステムからユーザ
への動作をトリガーとして、新たにフォーカス位置の設
定、管理を行う装置を提案し、入力操作におけるユーザ
の操作負担の軽減をはかる。An object of the present invention is not only to perform a user's input operation, but also to trigger a user's operation, an information presentation from the system, and an operation from the system to the user, such as erasing a focused window, to newly set a focus position. settings, proposed a device that performs the management, measure the reduction of the user's operation burden in the input operation.

【０００７】[0007]

【課題を解決するための手段】本発明のフォーカス管理
手段は、入力手段を介して入力されるユーザからの入力
指示を解釈する入力解釈手段と、前記入力解釈手段の解
釈結果に基づいたシステムの実行を行う操作実行手段
と、前記操作実行手段の実行結果の出力制御を行う出力
制御手段と、を少なくとも備え、ユーザの興味対象に応
じて前記操作実行手段の実行結果のフォーカスの位置を
設定するフォーカス管理装置において、前記入力解釈手
段の解釈結果を入力とし、前記ユーザからの入力指示に
よってユーザがどこに興味対象があるかを判定するユー
ザ動作判定手段と、前記操作実行手段によって実行され
るシステム動作の内容よって、ユーザがどこに興味対象
があるかを判定するシステム動作判定手段と、前記ユー
ザ動作判定手段と前記システム動作判定手段の判定結果
を入力し、前記判定結果に基づいたフォーカスの位置の
設定を行うフォーカス管理手段と、前記出力制御手段
は、前記フォーカス管理手段で設定されたフォーカスの
位置に応じた出力を行い、また、本発明は前記フォーカ
ス管理手段で設定されたフォーカスに関する履歴を保持
するフォーカス履歴保持手段を更に備え、前記入力解釈
手段は、ユーザからの前記入力指示が指示語を含む場合
に、前記フォーカス履歴保持手段の履歴を参照して、前
記指示語が指示する語に置き換える。SUMMARY OF THE INVENTION Focus management of the present invention
The means is an input from a user input through the input means.
Input interpretation means for interpreting an instruction, and a solution for the input interpretation means
Operation execution means for executing the system based on the interpretation result
And an output for performing output control of an execution result of the operation execution means.
Control means at least, and
The focus position of the execution result of the operation execution means.
In the focus management device to be set, the input
The interpretation result of the step is input and the input instruction from the user is input.
Therefore, the user who determines where the user is interested is
Executed by the operation determining means and the operation executing means.
Where the user is interested in
System operation determining means for determining whether there is a
Judgment results of the operation judgment means and the system operation judgment means
And input the focus position based on the determination result.
Focus management means for setting, and the output control means
Is the focus of the focus set by the focus management means.
The output according to the position is performed.
Maintains the history related to the focus set by the resource management means
The input interpretation.
Means, when the input instruction from the user includes a descriptive word
Referring to the history of the focus history holding means,
Replace with the word indicated by the descriptive word .

【０００８】[0008]

【０００９】[0009]

【００１０】[0010]

【００１１】[0011]

【実施例】本発明の一実施例を図面を参照して説明す
る。An embodiment of the present invention will be described with reference to the drawings.

【００１２】また、本発明において、フォーカスとはユ
ーザの興味対象、注視点と定義し、ユーザのシステムへ
の入力（指示語などを含む）の解釈における参照情報と
して利用する。In the present invention, the focus is defined as an object of interest and a gazing point of the user, and is used as reference information in interpreting an input (including a directive, etc.) to the system of the user.

【００１３】図１は、本発明におけるフォーカス管理装
置の構成の一実施例を示すブロック図である。図１に示
したフォーカス管理装置は、ユーザの入力を受け付ける
入力手段００２と、出力手段００１と、入力された情報
を認識する入力認識手段００３と、入力認識手段で認識
した結果からユーザの入力を文字列情報の場合には、構
文解析などを用いて解釈する入力解釈手段００４と、入
力解釈手段で解釈した結果に基づいてシステムの実行を
行う操作実行手段００６と、入力解釈手段での解釈結果
と、操作実行手段での実行結果と、フォーカス管理手段
００７の情報とから出力手段の制御を行う出力制御手段
０１０からなるシステムにおいて、特に新規性のある部
分として、ユーザが入力手段を介して入力等をした動作
（ユーザ動作）に対して、どのようなことにフォーカス
があるかを予め定義し、ユーザ動作からフォーカスがど
こにあるのかの判定を行うユーザ動作判定手段００５
と、ユーザ動作によってシステムが何を実行するかの解
釈（システム動作）に対して、どのような場合にどこに
フォーカスが移動するかを予め定義し、システム動作か
らフォーカスがどこにあるのかの判定を行うシステム動
作判定手段００９と、ユーザ動作判定手段と、システム
動作判定手段の判定結果から、フォーカスの移動、設
定、管理、取得を行い、その履歴をフォーカス履歴保持
手段００８で保持させるフォーカス管理手段００７とで
構成される。FIG. 1 is a block diagram showing an embodiment of the configuration of the focus management apparatus according to the present invention. The focus management device illustrated in FIG. 1 includes an input unit 002 that receives a user input, an output unit 001, an input recognition unit 003 that recognizes input information, and a user input based on a result recognized by the input recognition unit. In the case of character string information, input interpretation means 004 for interpreting using syntax analysis, etc., operation execution means 006 for executing the system based on the result interpreted by the input interpretation means, and interpretation result by the input interpretation means And the output control unit 010 that controls the output unit based on the execution result of the operation execution unit and the information of the focus management unit 007. For the operation (user operation) that performed, etc., what is focused is defined in advance, and where the focus is from the user operation User operation determining unit 005 for performing Kano determination
In response to interpretation of what the system executes by the user's operation (system operation), when and where the focus is moved is defined in advance, and the system operation determines where the focus is. A focus operation unit 007 that performs movement, setting, management, and acquisition of focus based on the determination result of the system operation determination unit 009, the user operation determination unit, and the system operation determination unit, and stores the history in the focus history storage unit 008. It consists of.

【００１４】次に、本発明の動作について図１、図２、
図３、図４、図５を用いて説明する。Next, the operation of the present invention will be described with reference to FIGS.
This will be described with reference to FIGS. 3, 4, and 5.

【００１５】本発明のシステムは、特に検索システムに
限るものではないが、説明の便宜上、主に検索を行うシ
ステムとして説明する。The system of the present invention is not particularly limited to a search system, but for convenience of explanation, will be mainly described as a search system.

【００１６】文献などの検索をポインティング、音声、
キーボード等によるユーザからの入力指示で実行する検
索システムにおいて、初期画面では、ユーザからの検索
の要求を受け付ける検索要求ウィンドウ１０１だけを表
示し、現在、フォーカス（ユーザの興味対象、注視点）
は、そのウィンドウにある。[0016] Pointing, voice,
In a search system executed by an input instruction from a user using a keyboard or the like, an initial screen displays only a search request window 101 for receiving a search request from the user, and is currently focused (object of interest of the user, gazing point).
Is in that window.

【００１７】例えばここで、ユーザが入力手段００２を
介して、「大阪市に関する本は？」と入力した場合（図
２（ａ））、入力認識手段００３においてユーザの入力
を認識し、入力解釈手段００４において、例えば特開昭
６３−３０９６８号公報「言語解釈方式」にあるような
構文解析方式を用いて解釈を行い、その解釈をユーザ動
作判定手段００５と、操作実行手段００６、出力制御手
段０１０に送る。特に、ここでの入力は、入力解釈手段
でユーザの入力が検索要求であると解釈し、出力制御手
段を介して、その内容を検索要求ウィンドウ１０１に表
示する。For example, if the user inputs "What is a book about Osaka City?" Via the input means 002 (FIG. 2A), the input recognition means 003 recognizes the user's input and interprets the input. In the means 004, interpretation is performed using a syntax analysis method as disclosed in, for example, Japanese Patent Application Laid-Open No. Sho 63-30968 "Language Interpretation Method", and the interpretation is performed by the user operation determination means 005, the operation execution means 006, the output control means. Send to 010. In particular, the input here is interpreted by the input interpreting means as a search request by the user, and the content is displayed on the search request window 101 via the output control means.

【００１８】ここで、ユーザ動作判定手段００５は、図
３に示したように入力解釈手段００４で解釈されたユー
ザ動作に対応したフォーカス管理手段００７への要求を
ユーザ動作判定知識として予め保持し、その知識に基づ
いて、何処にフォーカスがあるのかを判定して、フォー
カス管理手段００７に要求を行う。Here, the user operation judging means 005 previously holds a request to the focus managing means 007 corresponding to the user operation interpreted by the input interpreting means 004 as user operation judging knowledge as shown in FIG. Based on the knowledge, it determines where the focus is, and makes a request to the focus management unit 007.

【００１９】今、ユーザの入力が「大阪市に関する本は
？」であって、入力解釈手段００４で、検索要求である
と解釈されており、また、入力解釈手段００４内の処理
である形態素解析において、この入力は「この」や「そ
の」等の指示語が存在していないと判断されるので、図
３に示すユーザ動作が検索要求（指示語なし）に相当す
るものであるとみなし、その場合フォーカス管理手段へ
の要求がないことから、ここではフォーカス管理手段０
０７への要求は行わない。Now, the user's input is "What is a book about Osaka City?", Which is interpreted by the input interpreting means 004 as a search request, and the processing in the input interpreting means 004 is morphological analysis. In this input, it is determined that there is no instruction word such as “this” or “the”, so that the user operation shown in FIG. 3 is regarded as equivalent to a search request (no instruction word). In this case, since there is no request to the focus management means, here, the focus management means 0
No request is made to 07.

【００２０】また、操作実行手段００６では、入力解釈
手段００４で解釈された結果からシステムの実行を行
う。この場合、操作実行手段００６は、データベース検
索を行い、その結果を出力制御手段０１０に出力する。The operation execution means 006 executes the system based on the result interpreted by the input interpretation means 004. In this case, the operation execution unit 006 performs a database search and outputs the result to the output control unit 010.

【００２１】出力制御手段０１０では、入力解釈手段０
０４から渡された解釈に基づいて、操作実行手段００６
から渡されたデータの出力形式を予め設定した中から選
択し、その形式にそったウィンドウ、ボタンの生成を行
って、それらのウィンドウＩＤやボタンＩＤ、ウィンド
ウ内容や、各ボタン内容を、ディスプレイから消去され
るまで保持する。In the output control means 010, the input interpretation means 0
04 based on the interpretation passed from the
Selects the output format of the data passed from the user from among the preset settings, generates windows and buttons according to the format, and outputs those window IDs, button IDs, window contents, and button contents from the display. Hold until erased.

【００２２】この場合、入力解釈手段００４でのシステ
ムが何を実行するか（システム動作）の解釈情報：検索
要求に基づいて、図２（ｂ）に示したように検索結果を
リスト形式とした結果リスト１０５を含む検索結果ウィ
ンドウ１０２を作成し、それらのウィンドウＩＤやボタ
ンＩＤ、ウィンドウ内容や各ボタン内容を保持する。In this case, the interpretation result of the system by the input interpretation means 004 (system operation): Based on the retrieval request, the retrieval result is displayed in a list format as shown in FIG. The search result window 102 including the result list 105 is created, and the window ID, the button ID, the window content, and the content of each button are held.

【００２３】そしてシステム動作判定手段へ、ウィンド
ウＩＤ、ウィンドウ内容と入力解釈手段００４での解
釈：検索要求といった情報を出力する。Then, information such as a window ID, window contents, and interpretation by the input interpreting means 004: a search request is output to the system operation determining means.

【００２４】ここで、システム動作判定手段００９で
は、図４に示したようにシステム動作に対応したフォー
カス管理手段００７への要求をシステム動作判定知識と
して予め保持し、その知識に基づいて、ユーザが何処に
フォーカスがあるのかを判定して、フォーカス管理手段
００７に要求を行う。Here, as shown in FIG. 4, the system operation judging means 009 previously holds a request to the focus managing means 007 corresponding to the system operation as system operation judging knowledge, and based on the knowledge, the user makes a request. It determines where the focus is and makes a request to the focus management means 007.

【００２５】ウィンドウの内容を表す情報は、ウィンド
ウを特定するためのウィンドウＩＤ、ウィンドウ内にあ
るボタンを特定するためのボタンＩＤ、ウィンドウが階
層構造になっている場合に、ウィンドウのリンク元を判
別するためのリンク元ウィンドウＩＤや、入力解釈の際
に利用するウィンドウ内容やボタン内容等のウィンドウ
が持つ情報のことである。The information representing the contents of the window includes a window ID for specifying the window, a button ID for specifying a button in the window, and a link source of the window when the window has a hierarchical structure. Window information such as a link source window ID to be executed, and window contents and button contents used for input interpretation.

【００２６】フォーカス管理手段００７は、ユーザ動作
判定手段とシステム動作判定手段から入力された情報に
基づいて、ユーザ動作判定手段とシステム動作判定手段
の各手段の判定結果からフォーカスの移動や破棄等を行
うため、出力制御手段０１０に命令し、図５に示したよ
うにフォーカスの履歴の保持をフォーカス履歴保持手段
００８に命令する。The focus management means 007 determines the movement or destruction of the focus or the like based on the judgment results of the user operation judgment means and the system operation judgment means based on the information inputted from the user operation judgment means and the system operation judgment means. To do so, the output control unit 010 is instructed, and as shown in FIG. 5, the focus history holding unit 008 is instructed to hold the focus history.

【００２７】また、フォーカス管理手段００７は、入力
が「大阪市に関する本は？」の場合、上記したように、
ユーザ動作判定手段からの入力はなく、システム動作判
定手段からの入力のみとなる。システム動作判定手段か
らは、検索結果ウィンドウへのフォーカス設定と、その
ウィンドウの内容に関する情報を入力し、それらの情報
から図５（ａ）に示したように履歴の更新と、新たなウ
ィンドウをフォーカスとして認識したことをユーザにフ
ィードバックするために、フォーカスの場所を示す情報
を、ウィンドウＩＤ、ウィンドウ内容、ボタンＩＤ、ボ
タン内容の順に記した（１０２，結果：大阪市に関する
本，，）を出力解釈手段０１０に出力する。When the input is “What is a book about Osaka City?”, The focus management means 007
There is no input from the user operation judging means, but only input from the system operation judging means. The system operation determination means inputs a focus setting to the search result window and information on the contents of the window, and updates the history and focuses on the new window from the information as shown in FIG. In order to feed back to the user that the recognition has been made, the information indicating the location of the focus is described in the order of window ID, window content, button ID, and button content (102, result: a book on Osaka City, etc.). Output to the means 010.

【００２８】出力制御手段０１０では、フォーカス管理
手段より入力されたフォーカス情報から、生成した結果
ウィンドウにフォーカスがあるとして、図２（ｂ）に示
すようにその生成した結果ウィンドウの枠の色を変える
等で目立たせた形式での表示を行い、検索要求ウィンド
ウ１０１の内容を消去する。The output control means 010 determines that the generated result window has the focus based on the focus information input from the focus management means, and changes the color of the frame of the generated result window as shown in FIG. 2B. The display is performed in a format that is conspicuous by, for example, and the content of the search request window 101 is deleted.

【００２９】この図２（ｂ）に示す状態であれば、ユー
ザにも検索結果ウィンドウ１０２にフォーカスが移った
ことがわかり、それに関連した質問「その内で難波に関
するものは？」等の質問が行いやすくなる。In the state shown in FIG. 2B, the user can see that the focus has shifted to the search result window 102, and a related question such as "What about Namba?" Easier to do.

【００３０】結果リスト１０５の各項目は、ボタンとな
っていて、項目がポインティングなどでユーザに指示さ
れると、その項目の詳細な情報として関連のある情報を
出力する。Each item in the result list 105 is a button, and when an item is instructed by the user by pointing or the like, relevant information is output as detailed information of the item.

【００３１】ここで、図２（ｂ）に示した結果リスト１
０５のうち、「大阪巡り」をポインティングした場合を
説明する。Here, the result list 1 shown in FIG.
A case in which “Osaka tour” is pointed out in 05 will be described.

【００３２】本実施例で説明したように、入力手段００
２を介してユーザがポインティングした場合、操作実行
手段００６で、「大阪巡り」に関する検索をすると同時
に、ユーザ動作判定手段では、ユーザ動作がウィンドウ
内のボタンのポインティングであることから、フォーカ
ス管理手段への要求は、ボタンへのフォーカス設定が選
ばれ、また、システム動作判定手段では、システム動作
が、「大阪巡り」の検索結果の表示を実行することか
ら、フォーカス管理手段への要求は、検索結果ウィンド
ウへのフォーカスが選ばれると同時に、その検索結果ウ
ィンドウの内容の情報をフォーカス管理手段へ出力す
る。フォーカス管理手段は、それらの情報を入力し、図
５（ｂ）に示したように履歴の更新を行い、フォーカス
の情報を出力制御手段に出力し、出力制御手段は初めに
「大阪巡り」にフォーカスを設定し、次に図２（ｃ）の
結果リスト１０５に示したように検索結果ウィンドウ１
０２の項目の詳細な情報として関連のある情報をフォー
カスがある形式で出力する。この例の場合は、「大阪巡
り」の本の検索をしたため、図２（ｃ）の書誌ウィンド
ウ１０３に示したような、出版年、出版社、関連キーワ
ードなどの関連のある情報を出力する。As described in this embodiment, the input means 00
In the case where the user has pointed via “2”, the operation execution unit 006 searches for “visiting Osaka”, and at the same time, the user operation determination unit determines that the user operation is pointing to a button in the window. In the request, the focus setting for the button is selected, and in the system operation determination means, the system operation executes the display of the search result of "Osaka tour", so the request to the focus management means is the search result. At the same time that the focus on the window is selected, information on the contents of the search result window is output to the focus management means. The focus management means inputs the information, updates the history as shown in FIG. 5 (b), and outputs the focus information to the output control means. The focus is set, and then, as shown in the result list 105 of FIG.
Related information is output in a focused format as detailed information of item 02. In the case of this example, since the search for the book “Osaka Tour” was performed, relevant information such as the year of publication, publisher, and related keywords as shown in the bibliography window 103 of FIG. 2C is output.

【００３３】また、図２（ｃ）に示した状態で、書誌ウ
ィンドウ１０３の関連キーワード‘関空’をポインティ
ングで選択し、「これに関する本は？」と入力指示を行
う（図２（ｄ））場合は、図５（ｃ）に示すように上記
した本実施例に基づいてフォーカスの履歴が更新され
る。In the state shown in FIG. 2C, the user selects the related keyword "Kanku" in the bibliography window 103 by pointing, and gives an input instruction of "What is the book about this?" (FIG. 2D). In this case, as shown in FIG. 5C, the focus history is updated based on the above-described embodiment.

【００３４】また、入力解釈手段００４では、「大阪市
に関する本は」と同様に検索要求とみなし、形態素解析
結果で「これ」という指示語があることがわかるため、
ユーザ動作判定手段００５ではユーザ動作知識の‘検索
要求（指示語あり）’に相当すると選択する。よって、
フォーカス管理手段００７にフォーカス対象要求を送
り、入力解釈手段００４はフォーカス管理手段００７か
ら現在のフォーカスの情報：（１０３，書誌：大阪巡
り，０４，関空）を受け取る。In addition, the input interpreting means 004 regards the request as a search request in the same manner as “Book about Osaka City”, and finds that there is an instruction “This” in the morphological analysis result.
The user operation determination means 005 selects that the user operation knowledge corresponds to "search request (instructive word exists)". Therefore,
The focus interpreting unit 004 sends a focus target request to the focus management unit 007, and the input interpretation unit 004 receives the current focus information: (103, bibliography: Osaka tour, 04, Kansai) from the focus management unit 007.

【００３５】入力解釈手段００４では、指示語「これ」
の指示対象を次のように決める。In the input interpretation means 004, the instruction word "this"
Is determined as follows.

【００３６】フォーカス情報は、ウィンドウＩＤ、ウィ
ンドウ内容、ボタンＩＤ、ボタン内容を区切り文
字「，」等で区切った形式として渡されるので、３つ目
の区切りがｎｕｌｌの場合には、ボタンＩＤが存在せず
ウィンドウ全体が指示されたと選択して、ウィンドウ内
容を第１候補とする。The focus information is passed as a window ID, a window content, a button ID, and a format in which the button content is delimited by a delimiter character “,”. Therefore, if the third delimiter is null, the button ID exists. Instead, it is selected that the entire window has been designated, and the window content is set as the first candidate.

【００３７】また、ボタンＩＤがある場合には、ボタン
内容を第１候補、ウィンドウ内容を第２候補とする。そ
して、候補が構文解析で与えられた制約を満たす場合に
は、それを指示対象とする。第１候補、第２候補ともに
制約を満たさない場合には、出力制御手段０１０を通じ
て、ユーザに警告メッセージを表示し質問をやり直して
もらう。If there is a button ID, the button content is set as a first candidate and the window content is set as a second candidate. Then, when the candidate satisfies the constraint given by the syntax analysis, the candidate is designated as an instruction target. If neither the first candidate nor the second candidate satisfies the constraint, a warning message is displayed to the user via the output control means 010, and the question is asked again.

【００３８】この「これに関する本は？」の場合には、
「これ」への構文解析上の制約がないため、ボタン内
容：関空と置き換えて「関空に関する本は？」という内
容にして操作実行手段００６へ送る。In the case of "What is the book about this?"
Since there is no restriction on the parsing of "this", the button content is replaced with Kansai, and the content is "What is a book about Kansai?" And sent to the operation executing means 006.

【００３９】しかし、例えば同じ状況でも「これと同じ
出版社の本は」のような場合には、入力解釈手段００４
で出版社が本の属性であるという知識に基づいて、「こ
れ」が本である制約が加わる。そのため「これに関する
本は」と同様のフォーカス情報が得られても、書誌ウィ
ンドウ内のボタン内容である‘関空’は「これと同じ出
版社の本は」の「これ」に当てはまらないとして、ウィ
ンドウ内容の「大阪巡り」を用いて「大阪巡りと同じ出
版社の本は」という内容にする。However, in the same situation, for example, in the case of “a book from the same publisher”, the input interpretation means 004
Based on the knowledge that the publisher is an attribute of a book, a constraint is added that "this" is a book. Therefore, even if the same focus information as "Books about this" is obtained, "Kanku", which is the button content in the bibliographic window, does not apply to "This" of "Books of the same publisher". Using the contents of "Osaka Tour", the content is "Books of the same publisher as Osaka Tour".

【００４０】その後は一番目の質問と同様の処理で、図
５（ｄ）に示すように新しい検索結果ウィンドウ１０４
にフォーカスが設定され、図２（ｅ）に示す表示とな
る。検索結果に関してはユーザに検索履歴として表示し
たままにするが、書誌事項ウィンドウに関してはフォー
カスが離れたときにはユーザの興味が失われたと判断し
てウィンドウを閉じる仕様としたため、書誌事項ウィン
ドウ１０３は図２（ｅ）には表示されない。Thereafter, the same processing as the first question is performed, and a new search result window 104 is displayed as shown in FIG.
Is set, and the display shown in FIG. The search result is displayed to the user as a search history, but the bibliographic item window is closed when the focus is removed because it is determined that the user's interest has been lost. (E) is not displayed.

【００４１】つまり、出力制御手段０１０で、出力に関
する変更がある場合には、保持している現在出力中のウ
ィンドウＩＤや内容、また含まれるボタンのＩＤや内容
の情報から、書誌事項ウィンドウが存在するかどうか調
べる。存在している場合には、フォーカスがその書誌事
項ウィンドウにあるかどうかを調べ、なければその書誌
事項ウィンドウを消去する。That is, when there is a change in the output by the output control means 010, the bibliographic item window is determined based on the ID and the content of the window currently being output and the information of the ID and the content of the included button. Find out if you want to. If so, check to see if the focus is on the bibliography window; otherwise, delete the bibliography window.

【００４２】ただし、特にウィンドウを閉じなくてもか
まわない。ユーザが検索内容を不用と判断し音声入力
「ウィンドウの破棄」を実行した場合、ユーザ動作判定
手段００５では、最新のフォーカスが存在するウィンド
ウの消去をフォーカス管理手段００７に送り、フォーカ
ス管理手段００７では最新フォーカスと同じウィンドウ
ＩＤ：１０４を持つ項目をすべて破棄する。よって、フ
ォーカス履歴は図５（ｄ）に戻る。However, the window need not be particularly closed. When the user determines that the search content is unnecessary and executes the voice input “discard window”, the user operation determination unit 005 sends the deletion of the window having the latest focus to the focus management unit 007, and the focus management unit 007 All items having the same window ID: 104 as the latest focus are discarded. Therefore, the focus history returns to FIG.

【００４３】また、システム動作判定手段００９では、
更新されたフォーカス履歴から最新のフォーカス情報を
取得する指示をフォーカス管理手段００７へ送る。出力
制御部０１０では、ウィンドウＩＤ：１０４のウィンド
ウを閉じ、取得したフォーカス情報から、再度ウィンド
ウＩＤ：１０２の中の項目、大阪巡りの書誌ウィンドウ
を開き、ボタン‘関空’にフォーカスを設定した表示と
して、図２（ｄ）と同じ画面表示にする。In the system operation determining means 009,
An instruction to acquire the latest focus information from the updated focus history is sent to the focus management unit 007. The output control unit 010 closes the window with the window ID: 104, reopens the item in the window ID: 102, the bibliography window around Osaka from the acquired focus information, and sets the button “Kanku” as the display with the focus set. 2D.

【００４４】[0044]

【発明の効果】本発明によれば、ユーザのポインティン
グ動作だけでなく、他のユーザ動作やシステム動作を考
慮してフォーカスの設定や履歴管理を行い、ユーザが行
うべきポインティング動作などの入力に関する動作を減
らすことができ、操作負担を軽減することができる。According to the present invention, focus setting and history management are performed in consideration of not only a user's pointing operation but also other user's operations and system operations, and an operation relating to an input of a pointing operation or the like to be performed by the user. Can be reduced, and the operation load can be reduced.

【００４５】また対話のフォーカスをユーザが明確に把
握できて音声指示を行いやすくなり、ユーザが音声指示
を行う上での操作負担を軽減することができる。Further, the focus of the conversation can be clearly grasped by the user, and the voice instruction can be easily performed, and the operation burden when the user performs the voice instruction can be reduced.

【図面の簡単な説明】[Brief description of the drawings]

【図１】本発明の構成の一実施例を示すブロック図であ
る。FIG. 1 is a block diagram showing an embodiment of the configuration of the present invention.

【図２】本発明のシステムの表示画面図の一実施例を示
す図である。FIG. 2 is a diagram showing one embodiment of a display screen diagram of the system of the present invention.

【図３】本発明のユーザ動作判定知識の一実施例を示す
図である。FIG. 3 is a diagram showing an embodiment of the user action determination knowledge of the present invention.

【図４】本発明のシステム動作判定知識の一実施例を示
す図である。FIG. 4 is a diagram showing an embodiment of the system operation determination knowledge of the present invention.

【図５】本発明のフォーカスの履歴の一実施例を示す図
である。FIG. 5 is a diagram showing an embodiment of a focus history according to the present invention.

【符号の説明】[Explanation of symbols]

００１ ディスプレイ ００２ 入力手段 ００３ 入力認識手段 ００４ 入力解釈手段 ００５ ユーザ動作判定手段 ００６ 操作実行手段 ００７ フォーカス管理手段 ００８ フォーカス履歴保持手段 ００９ システム動作判定手段 ０１０ 出力制御手段 １０１ 検索要求ウィンドウ １０２ 第一の検索結果ウィンドウ １０３ 書誌事項表示ウィンドウ １０４ 第二の検索結果ウィンドウ １０５ 結果リスト 001 Display 002 Input unit 003 Input recognition unit 004 Input interpretation unit 005 User operation determination unit 006 Operation execution unit 007 Focus management unit 008 Focus history holding unit 009 System operation determination unit 010 Output control unit 101 Search request window 102 First search result Window 103 Bibliographic information display window 104 Second search result window 105 Result list

Claims (1)

(57)【特許請求の範囲】(57) [Claims] 【請求項１】入力手段を介して入力されるユーザからの
入力指示を解釈する入力解釈手段と、前記入力解釈手段
の解釈結果に基づいたシステムの実行を行う操作実行手
段と、前記操作実行手段の実行結果の出力制御を行う出
力制御手段と、を少なくとも備え、ユーザの興味対象に
応じて前記操作実行手段の実行結果のフォーカスの位 置を設定するフォーカス管理装置において、前記入力解
釈手段の解釈結果を入力とし、前記ユーザからの入力指
示によってユーザがどこに興味対象があるかを判定する
ユーザ動作判定手段と、 前記操作実行手段によって実行されるシステム動作の内
容よって、ユーザがどこに興味対象があるかを判定する
システム動作判定手段と、 前記ユーザ動作判定手段と前記システム動作判定手段の
判定結果を入力し、前記判定結果に基づいたフォーカス
の位置の設定を行うフォーカス管理手段と、 前記出力制御手段は、前記フォーカス管理手段で設定さ
れたフォーカスの位置に応じた出力を行い、 前記フォーカス管理手段で設定されたフォーカスに関す
る履歴を保持するフォーカス履歴保持手段を更に備え、 前記入力解釈手段は、ユーザからの前記入力指示が指示
語を含む場合に、前記フォーカス履歴保持手段の履歴を
参照して、前記指示語が指示する語に置き換えることを
特徴とする フォーカス管理装置。1. An input interpreting means for interpreting an input instruction from a user input via an input means, an operation executing means for executing a system based on an interpretation result of the input interpreting means, and the operation executing means Output control means for performing output control of the execution result of the input execution means, wherein the focus management device sets at least a focus position of the execution result of the operation execution means according to a user's interest. A user operation determining unit that receives a result as an input and determines where the user is interested according to an input instruction from the user, and where the user is interested according to the contents of a system operation performed by the operation executing unit. System operation determining means for determining whether or not the user operation determining means and the system operation determining means And focus management means for setting the position of the focus based on the determination result, the output control means performs the output corresponding to the position of the focus of the set in the focus management unit, set by the focus manager Focus About
Further comprising a focus history holding unit for holding a history of the input , wherein the input interpreting unit receives the input instruction from the user.
When including the word, the history of the focus history holding means
With reference to replace with the word indicated by the descriptive word.
Features a focus management device.