JPH10222337A - Computer system - Google Patents
Computer systemInfo
- Publication number
- JPH10222337A JPH10222337A JP2823097A JP2823097A JPH10222337A JP H10222337 A JPH10222337 A JP H10222337A JP 2823097 A JP2823097 A JP 2823097A JP 2823097 A JP2823097 A JP 2823097A JP H10222337 A JPH10222337 A JP H10222337A
- Authority
- JP
- Japan
- Prior art keywords
- keyword
- window
- voice
- control command
- application
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
Abstract
Description
【０００１】[0001]
【発明が属する技術分野】本発明は、ＧＵＩ環境を持
ち、音声によるデータ入力や操作指示を受け付けるマン
・マシン・インタフェースを備えたコンピュータシステ
ムに関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a computer system having a GUI environment and having a man-machine interface for receiving data input and operation instructions by voice.
【０００２】[0002]
【従来の技術】コンピュータシステムと利用者が対話を
行うためのマン・マシン・インタフェースは、キーボー
ドやポインティングデバイス（マウスなど）の入力デバ
イスにより人からコンピュータシステムへのデータの入
力や指示を行い、ディスプレイ等の出力デバイスにより
コンピュータシステムから人への各種データ表示や返答
を行うようにしている。2. Description of the Related Art A man-machine interface for allowing a user to interact with a computer system uses a keyboard or a pointing device (such as a mouse) to input or instruct data from a person to the computer system using a display device. And the like, the computer system displays various data and responds to the person.
【０００３】これら、マン・マシン・インタフェース・
デバイスによる他に、最近では音声により入出力を行う
ものがあり、コンピュータシステムには音声出力デバイ
スとして音声合成装置と音声発生装置を設け、音声入力
デバイスとして音声認識装置と解読装置を設ける。[0003] These man-machine interface
In addition to devices, input and output are recently performed by voice. A computer system is provided with a voice synthesizer and a voice generator as voice output devices, and a voice recognizer and a decoder as voice input devices.
【０００４】[0004]
【発明が解決しようとする課題】音声によってコンピュ
ータシステムにデータの入力や指示を行う場合、あらか
じめ決められたキーワード（言葉又は単語）を利用者が
発声し、この音声をコンピュータシステムが音声認識
し、その解読をする。When data is input or instructed to a computer system by voice, a user utters a predetermined keyword (word or word), and the computer system recognizes this voice by voice. Decrypt it.
【０００５】ここで、コンピュータシステムがＸ−Ｗｉ
ｎｄｏｗ ｓｙｓｔｅｍやＭＳ−Ｗｉｎｄｏｗｓ等のグ
ラフィカル・ユーザ・インタフェース（ＧＵＩ）環境を
持つ場合、同一画面上で複数のアプリケーション（ウイ
ンドウ）を扱うことができるが、実際にアクティブなの
はそのうちの１アプリケーション（ウインドウ）であ
る。Here, the computer system is an X-Wi
In the case of having a graphical user interface (GUI) environment such as an now system or MS-Windows, a plurality of applications (windows) can be handled on the same screen, but one of the applications (windows) is actually active. is there.
【０００６】この種のコンピュータシステムに対して、
利用者があるアプリケーションに対して音声によって操
作を行う場合、当該アプリケーション（ウインドウ）が
アクティブな状態であればよいが、他のアプリケーショ
ン（ウインドウ）がアクティブになっていると利用者が
操作使用とするアプリケーションに対して操作すること
ができない。For this type of computer system,
When the user performs an operation on a certain application by voice, the application (window) may be in an active state. However, if another application (window) is active, the user uses the operation. Cannot operate on application.
【０００７】このような場合、従来ではマウス等のポイ
ンティングデバイスによって操作したいウインドウをア
クティブにし、この後に音声による操作指示を行うよう
にしており、マウス等の操作が介在するため操作効率を
悪くするものであった。In such a case, conventionally, a window to be operated is activated by a pointing device such as a mouse, and thereafter, an operation instruction is given by voice, and the operation of a mouse or the like is intervened, thereby deteriorating the operation efficiency. Met.
【０００８】また、操作しようとするアプリケーション
を間違えると、関係のないアプリケーションに対して誤
操作してしまう恐れがある。[0008] If an application to be operated is mistaken, there is a possibility that an unrelated application may be erroneously operated.
【０００９】また、ＧＵＩ環境を持つコンピュータシス
テムでは、多数のウインドウを開いて操作を行うが、多
数のウインドウが重なり合うため、利用者はアクティブ
なウインドウ及び登録アプリケーションの種別、アプリ
ケーションのタスクリストやキーワードリスト構造など
が分からなくなる場合がある。この場合もマウス等によ
って最上部のウインドウを移動消去し、下層部のウイン
ドウを上層部に移動させながら操作対象ウインドウを探
すという煩わしさがある。In a computer system having a GUI environment, a large number of windows are opened for operation. However, since a large number of windows are overlapped with each other, a user can select an active window and a registered application type, an application task list and a keyword list. The structure may not be understood. Also in this case, there is a trouble that the uppermost window is moved and erased with a mouse or the like, and the lower window is moved to the upper layer to search for an operation target window.
【００１０】また、アプリケーション切換や制御内容の
切換、また画面操作など、各種の操作指示にはそれに応
じたキーワードを発声し、その音声認識と解読を必要と
するが、キーワードを忘れた場合や曖昧な記憶には音声
による操作指示ができなくなる。[0010] In addition, various operation instructions such as application switching, control content switching, and screen operation require utterance of a keyword corresponding to the instruction, and require voice recognition and decoding. Operational instructions cannot be given by voice to such memories.
【００１１】本発明の目的は、ＧＵＩ環境を持ち、音声
によるデータ入力・操作指示を行うマン・マシン・イン
タフェースを備えたコンピュータシステムにおいて、音
声によるウインドウ及びアプリケーションの確実・容易
な選択・操作になり、操作効率も高めるコンピュータシ
ステムを提供することにある。An object of the present invention is to make sure and easy selection and operation of windows and applications by voice in a computer system having a GUI environment and having a man-machine interface for performing data input and operation instructions by voice. Another object of the present invention is to provide a computer system capable of improving operation efficiency.
【００１２】本発明の他の目的は、利用者が記憶するキ
ーワードが曖昧な場合や忘れた場合にも正しいキーワー
ドの引き出しを容易にするコンピュータシステムを提供
することにある。Another object of the present invention is to provide a computer system which facilitates retrieval of a correct keyword even when a keyword stored by a user is ambiguous or forgotten.
【００１３】[0013]
【課題を解決するための手段】本発明は、前記課題の解
決を図るため、ＧＵＩ環境を持ち、音声による操作指示
の音声認識によってキーワードを得、このキーワードを
解読してシステムソフトウエアの制御コマンドに変換す
る音声認識インタフェースを備えたコンピュータシステ
ムにおいて、前記システムソフトウエアは特定の音声を
解読した制御コマンドを前記音声認識インタフェースか
ら受けたときに該制御コマンドに対応するウインドウを
アクティブな状態にするウインドウ切換手段を備えたこ
とを特徴とする。SUMMARY OF THE INVENTION In order to solve the above-mentioned problems, the present invention has a GUI environment, obtains a keyword by voice recognition of an operation instruction by voice, decodes the keyword, and executes a control command of system software. In a computer system having a voice recognition interface for converting to a window, the system software activates a window corresponding to the control command when receiving a control command for decoding a specific voice from the voice recognition interface. A switching means is provided.
【００１４】この構成により、音声による特定のキーワ
ードによってウインドウ切換えを行うことにより、マウ
ス等によるウインドウ切換操作を不要にする。ウインド
ウの切換には、優先順位をつけたウインドウを順次アク
ティブにする方式、ウインドウの切換開始と終了で異な
る音声とすることで切換開始音声でシステム側が一定時
間毎に自動的に切換える制御を開始し、切換終了音声で
切換えを停止する方式、さらには両方式を組み合わせた
方式を含む。また、各ウィンドウに優先順位を持たせた
「しおり」を付け、この「しおり」を音声で指定するこ
とにより任意のウィンドウをアクティブにするウィンド
ウ切換方式も含む。さらに、複数のアプリケーションの
ウインドウ情報を管理し、音声により各アプリケーショ
ンを指定するとその最新のアクティブウインドウに切換
え、さらに同じ音声で当該アプリケーションのうちの新
しいウインドゥ順に切換えるウインドウ切換方式も含
む。[0014] With this configuration, by performing window switching using a specific keyword by voice, a window switching operation using a mouse or the like becomes unnecessary. In order to switch windows, a system in which the windows with priorities are sequentially activated is set to a different sound at the start and end of the window switching, so that the system automatically starts switching at a fixed time by the switching start sound. And a system in which switching is stopped by a switching end voice, and a system in which both systems are combined. In addition, a window switching method is also provided in which each window is provided with a “bookmark” having a priority order, and this “bookmark” is specified by voice to activate an arbitrary window. Further, a window switching method is also provided in which window information of a plurality of applications is managed, and when each application is designated by voice, the window is switched to the latest active window when the application is designated, and further, the application is switched to a new window in the application with the same voice.
【００１５】また、前記システムソフトウエアは、音声
認識インタフェースからの制御コマンドによりアクティ
ブにしたウインドウを他のウインドウとは異なるウイン
ドウの表示かつ各ウインドウのタスクリスト表示を行う
手段を備えたことを特徴とする。Further, the system software includes means for displaying a window activated by a control command from a voice recognition interface in a window different from other windows and displaying a task list of each window. I do.
【００１６】この構成により、音声入力により、アクテ
ィブなウインドウを他のウインドウから区別した表示を
行うこと及びアクティブなアプリケーションを区別した
タスクリスト表示を行い、利用者がアクティブなウイン
ドウ及びアプリケーションを認識するのを容易にする。With this configuration, the user can recognize the active window and the application by performing the display in which the active window is distinguished from the other windows by voice input and the task list display in which the active application is distinguished. To facilitate.
【００１７】また、前記音声認識インタフェースからの
制御コマンドにより複数のアプリケーションのうち１つ
は音声認識インタフェースを入力デバイスとし、他の１
つは該音声認識インタフェース以外のデバイスを入力デ
バイスとするタスク切換手段を備えたことを特徴とす
る。According to the control command from the voice recognition interface, one of the plurality of applications uses the voice recognition interface as an input device and the other application uses the voice recognition interface as an input device.
One is characterized by comprising a task switching means using a device other than the voice recognition interface as an input device.
【００１８】この構成により、タスク切換により、音声
によるアプリケーションへの入力と、マウス等の他の入
力デバイスによる他のアプリケーションへの入力とし、
複数のウインドウを操作対象とすることができるように
する。According to this configuration, by switching tasks, the input to the application by voice and the input to another application by another input device such as a mouse can be performed.
A plurality of windows can be set as operation targets.
【００１９】また、前記音声認識インタフェースは、音
声認識のための単語辞書にはアプリケーション別の単語
及び共通の単語を用意し、特定のキーワードが与えられ
たときに、前記単語辞書に登録されているキーワードリ
ストを一覧表として画面表示、又は現在有効なキーワー
ドリストを画面表示する制御コマンドを前記システムソ
フトウエアに与える手段を備えたことを特徴とする。Further, the speech recognition interface prepares a word for each application and a common word in a word dictionary for speech recognition, and when a specific keyword is given, the word is registered in the word dictionary. Means for giving a control command to the system software to display a keyword list on a screen as a list or to display a currently valid keyword list on a screen.
【００２０】この構成により、利用者がキーワード一覧
等の特定のキーワードを発声したときに単語辞書に登録
されるキーワード又は現在有効なキーワードリストを画
面表示し、この画面表示されるキーワードリストから利
用者が必要とするキーワードを知ることができるように
する。キーワードの画面表示にはアプリケーション別の
表示、階層構造の表示をすること、さらにはキーワード
の略号を含めることで該略号の音声によるキーワード入
力を可能にすること、及びマクロ機能を使ったキーワー
ド表示も含む。With this configuration, when a user utters a specific keyword such as a keyword list, a keyword registered in the word dictionary or a currently valid keyword list is displayed on the screen, and the user is displayed from the keyword list displayed on the screen. So that you can know the keywords that you need. The display of keywords on the screen is application-specific, hierarchical display, keyword abbreviations are included so that keywords can be input by voice, and keyword display using the macro function is also available. Including.
【００２１】また、前記音声認識インタフェースは、前
記キーワードを制御コマンドに変換するテーブルを有
し、このテーブルは１つの制御コマンドに複数のキーワ
ードを対応付け、何れか１つのキーワードの参照で制御
コマンドを得るテーブルデータ構成を特徴とする。Further, the voice recognition interface has a table for converting the keyword into a control command. This table associates one control command with a plurality of keywords, and refers to one of the keywords to convert the control command. It is characterized by the table data structure to be obtained.
【００２２】この構成により、利用者がキーワードを正
確に覚えていない場合にも、それに近い又は関連するキ
ーワードを発声したときにその音声認識とキーワード対
制御コマンドの変換で利用者が意図する制御コマンドが
得られるようにする。According to this configuration, even when the user does not remember the keyword accurately, when the user utters a keyword that is close to or related to the keyword, the control command that the user intends by the speech recognition and the conversion of the keyword to the control command. Is obtained.
【００２３】また、前記音声認識インタフェースは、キ
ーワードの分かっている部分の語尾を延ばした発声入力
から長音以降を補完して得られるキーワード候補をリス
ト表示する手段を備えたことを特徴とする。Further, the voice recognition interface is characterized in that it has a means for displaying a list of keyword candidates obtained by complementing the sound after the long sound from the utterance input in which the ending of the part where the keyword is known is extended.
【００２４】この構成により、利用者がキーワードの分
かっている部分の語尾を延ばして発声することにより、
候補となるキーワードを画面表示し、この画面表示から
正しいキーワードを知って、新たに正しいキーワードに
よる操作指示ができるようにする。With this configuration, the user can extend the ending of the part where the keyword is known, and utter the utterance.
A candidate keyword is displayed on a screen, and the correct keyword is known from this screen display so that an operation instruction can be newly performed using the correct keyword.
【００２５】また、前記音声認識インタフェースは、キ
ーワードの語尾を延ばした長音を伴った音声、又はキー
ワードに長音を付加した音声を認識したときに、該長音
の長さに応じて該キーワードに応じた制御コマンドを繰
り返し発生する手段を備えたことを特徴とする。When the speech recognition interface recognizes a speech accompanied by a prolonged long sound or a speech obtained by adding a long sound to a keyword, the speech recognition interface responds to the keyword according to the length of the long sound. A means for repeatedly generating a control command is provided.
【００２６】この構成により、連続的な同じ制御コマン
ドを繰り返し発声するのに代えて、長音を伴う１つのキ
ーワードを発声することにより、同じ制御を繰り返し行
うのに１回のキーワード発声で済むようにする。With this configuration, instead of repeatedly uttering the same continuous control command, one keyword accompanied by a long tone is uttered, so that the same control can be repeatedly performed with one keyword utterance. I do.
【００２７】また、前記音声認識インタフェースは、利
用者が音声入力するときのみ音声認識を実行させる音声
操作ボタンと、実際の入力音声が認識に適当なレベル以
上にあるときのみ音声認識を実行させる入力レベルチェ
ック部と、音声認識結果の信頼度をチェックして正確に
認識した音声のみを取り出す認識結果信頼度チェック部
とを備えたことを特徴とする。The voice recognition interface includes a voice operation button for executing voice recognition only when a user inputs a voice, and an input for executing voice recognition only when an actual input voice is at a level or more appropriate for recognition. It is characterized by comprising a level check unit and a recognition result reliability check unit that checks the reliability of the speech recognition result and extracts only the speech that has been accurately recognized.
【００２８】この構成により、ノイズの侵入やレベル不
足の音声による誤認識を防止し、また認識結果の信頼度
チェックもして誤認識を防止する。With this configuration, it is possible to prevent erroneous recognition due to intrusion of noise or voice with insufficient level, and also to check the reliability of the recognition result to prevent erroneous recognition.
【００２９】また、本発明は、前記システムソフトウェ
アは、ポインティングデバイスが指定する位置のウィン
ドウを利用者が注目する度合いの高いウィンドウとし、
当該ウィンドウのフレームレートを高める手段を備えた
ことを特徴とする。Further, according to the present invention, in the system software, a window at a position designated by the pointing device is set as a window with a high degree of user's attention,
A means for increasing the frame rate of the window is provided.
【００３０】この構成により、アクティブウィンドウを
操作することなく、利用者の興味度の高いウィンドウを
容易に指定できるようにする。According to this configuration, a window having a high degree of interest of the user can be easily specified without operating the active window.
【００３１】[0031]
（第１の実施形態）図１は、本発明の一実施形態を示す
音声認識インタフェース部のブロック図である。マイク
ロフォン１は、利用者がコンピュータシステムに操作指
示を与えるための音声入力手段にされる。(First Embodiment) FIG. 1 is a block diagram of a voice recognition interface unit according to an embodiment of the present invention. The microphone 1 is used as voice input means for a user to give an operation instruction to a computer system.
【００３２】音声認識インタフェース部２は、音声認識
部３と、音声認識用単語辞書４と、キーワード制御コマ
ンド変換部５と、キーワード対制御コマンドテーブル６
とを有する。The speech recognition interface unit 2 includes a speech recognition unit 3, a speech recognition word dictionary 4, a keyword control command conversion unit 5, and a keyword-to-control command table 6.
And
【００３３】音声認識部３は、マイクロフォン１からの
音声信号を音声認識用単語辞書４と照合し、認識が一致
したキーワードを結果として出力する。例えば、利用者
が「開く」と発声した場合、「開く」という文字列をキ
ーワードとして得る。The voice recognition unit 3 checks the voice signal from the microphone 1 against the word dictionary 4 for voice recognition, and outputs a keyword whose recognition is matched as a result. For example, when the user utters “open”, a character string “open” is obtained as a keyword.
【００３４】音声認識用単語辞書４は、図示のように、
システムのソフトウエア上で実行されるアプリケーショ
ン毎及び各アプリケーションの共通単語が用意され、そ
の中で現在アクティブ状態のアプリケーションの単語と
共通単語を有効としている。As shown in the figure, the speech recognition word dictionary 4
Common words for each application executed on the software of the system and for each application are prepared, and the words and the common words of the currently active application are validated among them.
【００３５】キーワード制御コマンド変換部５は、音声
認識部３からのキーワードをキーワード対制御コマンド
テーブル６を参照し、該当する制御コマンドを得る。The keyword control command conversion unit 5 refers to the keyword-to-control command table 6 for the keyword from the speech recognition unit 3 and obtains a corresponding control command.
【００３６】テーブル６は、各キーワードに１対１に対
応づけた制御コマンドが記述され、例えば、キーワード
「開く」に対応する制御コマンドがキーボードやマウス
等の操作に置き換えられて記述されている。The table 6 describes a control command associated with each keyword on a one-to-one basis. For example, a control command corresponding to the keyword “open” is described by replacing the operation with a keyboard or a mouse.
【００３７】コンピュータ本体７のシステムソフトウエ
ア８は、ＭＳ−ＷｉｎｄｏｗやＸ−Ｗｉｎｄｏｗ ｓｙ
ｓｔｅｍ等のＧＵＩ環境を持つソフトウエア構成にさ
れ、キーボード等からの操作指示に応動する機能の他
に、キーワード制御コマンド変換部５からの制御コマン
ドに応動する機能を持つ。The system software 8 of the computer main body 7 includes an MS-Window and an X-Window system.
It has a software configuration having a GUI environment such as a stem, and has a function of responding to a control command from the keyword control command converter 5 in addition to a function of responding to an operation instruction from a keyboard or the like.
【００３８】表示部９は、システムソフトウエア８から
の表示制御に応じたグラフィックディスプレイ機能を持
ち、表示画面９Ａには同一画面上で複数のアプリケーシ
ョン（ウインドウ）表示を行うための表示制御機能を持
つ。The display unit 9 has a graphic display function according to display control from the system software 8, and the display screen 9A has a display control function for displaying a plurality of applications (windows) on the same screen. .
【００３９】ここで、本実施形態では、システムソフト
ウエア８による表示制御手段には、表示画面９Ａに表示
されるすべてのウインドウに仮想的なウインドウ優先順
位を付けており、現在アクティブになっているウインド
ウを最も優先順位の高いものとしておく。Here, in the present embodiment, the display control means by the system software 8 assigns virtual window priorities to all windows displayed on the display screen 9A and is currently active. Make the window the highest priority.
【００４０】また、アクティブウインドウの裏に位置す
るウインドウを２番目の優先順位とし、その裏のウイン
ドウを３番目のウインドウとするウインドウ位置に応じ
た優先順位を設定しておく。Further, a window located behind the active window is given the second priority, and a priority is set according to the window position where the window behind the third window is the third window.
【００４１】そして、システムソフトウエア８は、ある
特定のキーワード（例えば「ウインドウ」）を設定して
おき、その特定のキーワードをキーワード制御コマンド
５から受け付けたとき、現在アクティブになっているア
プリケーション（ウインドウ）の裏に位置するウインド
ウ、つまりウインドウ優先順位が２番目のものをアクテ
ィブウインドウにするウインドウ切換機能を持つ。The system software 8 sets a specific keyword (for example, “window”), and when the specific keyword is received from the keyword control command 5, the currently active application (window) is set. ) Has a window switching function of setting the window located behind the window, that is, the window having the second window priority, as the active window.
【００４２】このウインドウ切換機能によるウインドウ
切換時には、それまでアクティブであったウインドウは
ウインドウ優先順位を最下位にする。At the time of window switching by this window switching function, the window which has been active until then has the lowest window priority.
【００４３】したがって、本実施形態によれば、目的と
するアプリケーションが非アクティブな状態のとき、利
用者は音声によってウインドウ切換のキーワードを発声
することにより、音声認識部３による音声認識とキーワ
ード制御コマンド変換部５による制御コマンドへの変換
がなされ、これによりシステムソフトウエア８による画
面９Ａ上のウインドウ切換がなされ、この切換えはウイ
ンドウ切換のキーワードが発声される毎に優先順位の高
いウインドウに切換えられ、希望するウインドウをアク
ティブな状態にすることができる。Therefore, according to the present embodiment, when the target application is in an inactive state, the user utters a keyword for window switching by voice, so that the voice recognition by the voice recognition unit 3 and the keyword control command are performed. The conversion into the control command is performed by the conversion unit 5, whereby the window switching on the screen 9A is performed by the system software 8, and this switching is switched to a window having a higher priority every time a keyword for window switching is uttered. The desired window can be activated.
【００４４】これにより、利用者は、操作したいウイン
ドウをアクティブな状態にするためには、マウス等のポ
インティングデバイスを操作する事なく、特定のキーワ
ードを発声するのみで済み、これに続けてアクティブな
状態のウインドウに対する操作指示を音声で行うことが
でき、操作効率を高めることができると共に、誤操作も
防ぐことができる。Thus, the user only needs to speak a specific keyword without operating a pointing device such as a mouse in order to activate a window to be operated. The operation instruction for the window in the state can be given by voice, the operation efficiency can be improved, and erroneous operation can be prevented.
【００４５】なお、データの入力はキーボード等から行
う方式、又は音声認識インタフェース部２によるデータ
の認識と解読で行う方式のいずれでも良い。It should be noted that the data may be input using a keyboard or the like, or may be input by recognizing and decoding the data by the voice recognition interface unit 2.
【００４６】また、ウインドウの切換えは、特定のキー
ワード（制御コマンド）を受け付ける毎に優先順位の高
い順に切換える場合を示したが、このウインドウ切換方
法はシステムソフトウエア側のソフトウエアの変更で適
宜変更できる。Also, the case where the window is switched in the order of priority every time a specific keyword (control command) is received has been described, but this window switching method is appropriately changed by changing the software on the system software side. it can.
【００４７】例えば、ウインドウ切換え開始のキーワー
ドを受け付けたときに、ある時間間隔（例えば、１秒
毎）でアクティブウインドウを自動的に切換え、ウイン
ドウ切換え停止のキーワードを受け付けたときにウイン
ドウの切換えを停止する方式、さらには本方式と実施形
態の方式を組み合わせた方式とすることができる。さら
にまた、ウインドウ切換えの指令とウインドウ番号の組
を音声で発声し、システム側で当該ウインドウ番号を持
つウインドウをアクティブウインドウとする方式でも良
い。For example, when a keyword for starting window switching is received, the active window is automatically switched at a certain time interval (for example, every one second), and when a keyword for stopping window switching is received, window switching is stopped. And a method combining the present method and the method of the embodiment. Furthermore, a system may be used in which a set of a window switching command and a window number is uttered by voice, and a window having the window number is set as an active window on the system side.
【００４８】また、グラフィックディスプレイに表示さ
れる各ウィンドウに優先順位を持たせた「しおり」を付
け、この「しおり」を音声で指定することにより任意の
ウィンドウをアクティブにするウィンドウ切換方式とす
ることができる。Also, a window switching method is adopted in which each window displayed on the graphic display is provided with a “bookmark” having a priority order and an arbitrary window is activated by designating the “bookmark” by voice. Can be.
【００４９】例えば、「しおり」の設定や解除は、ある
特定のキーワード、例えば「しおり１の設定」や「しお
り１の解除」を利用者が発生することで現在アクティブ
になっているウィンドウに「しおり１」の設定や解除を
する。そして、アクティブにするウィンドウの指定は、
「しおり１」などを発声することにより当該ウィンドウ
をアクティブにする。For example, the setting or release of “bookmark” is performed by adding a specific keyword such as “set bookmark 1” or “cancel bookmark 1” to the window that is currently active when the user generates it. "Bookmark 1" is set or canceled. And the specification of the window to be activated is
The window is activated by uttering “Bookmark 1” or the like.
【００５０】この場合、設定・解除される「しおり」
は、アイコン化されて表示され、どの「しおり」を設定
・解除するかが一目でわかるようにするのが好ましい。
また、「しおり」の使用には音声で行うが、設定や解除
はキーボードなど他の入力手段で置換することもでき
る。In this case, the “bookmark” to be set and canceled
Is preferably displayed in the form of an icon so that it is possible to see at a glance which "bookmark" is to be set or canceled.
Although the use of the "bookmark" is performed by voice, the setting and cancellation can be replaced by another input means such as a keyboard.
【００５１】以上の「しおり」によるウィンドウの切換
えは、エディタなどのキーワードによる切換に比べて、
ウィンドウ単位の「しおり」により切換えになって利用
者の意図通りのウィンドウを１回の発声でアクティブに
できる。The switching of windows by the above-mentioned "bookmark" is different from the switching by keywords such as an editor.
Switching by window-based "bookmarks" enables a window as intended by the user to be activated with a single utterance.
【００５２】また、システムソフトウェア８にウインド
ウ管理部を設け、この管理部に表示中のウインドウ名称
とアクティブウインドウ名称及びアクティブウインドウ
履歴からなるウインドウ情報を管理し、各アプリケーシ
ョンの最新のアクティブウインドウに切換ることもでき
る。A window management unit is provided in the system software 8, and the management unit manages window information including a displayed window name, an active window name, and an active window history, and switches to the latest active window of each application. You can also.
【００５３】例えば、複数のアプリケーションＡ〜Ｄが
起動され、各アプリケーションの中でも子ウインドウＡ
１，Ａ２が表示されている状態で、音声により「アプリ
Ｂ」と発声すると、管理部がアプリケーションＢの最新
のアクティブウインドウをサーチして、例えばアプリケ
ーションＢ１をアクティブにする。For example, a plurality of applications A to D are started, and a child window A is
When “Application B” is uttered by voice in a state where “1” and “A2” are displayed, the management unit searches the latest active window of the application B and activates, for example, the application B1.
【００５４】さらには、音声により「アプリＢ」を続け
て発声すると、次のアプリＢ２をアクティブにする。Further, when "app B" is uttered continuously by voice, the next app B2 is activated.
【００５５】（第２の実施形態）前記の実施形態におい
て、音声によりウインドウの切換えを行い、当該アプリ
ケーションの操作を行うが、多数のウインドウが重なり
合う場合、利用者はどのアプリケーションがアクティブ
であるかの判断に迷うことが生じる。また、各ウインド
ウ中にどのような子ウインドウがあるかを利用者が分か
らなくなる場合がある。(Second Embodiment) In the above embodiment, the window is switched by voice and the application is operated. When a large number of windows are overlapped, the user can determine which application is active. The decision may be lost. In addition, the user may not know what child windows are included in each window.
【００５６】そこで、本実施形態では、図２に示すよう
に、複数のアプリケーションを起動中に、例えば「タス
クリスト」の発声によって、このキーワードに応じた制
御コマンドからシステムソフトウエア８は現在起動中の
アプリケーションリスト（各ウインドウ名）を図３のよ
うにタスクリストとして表示する構成とする。Therefore, in the present embodiment, as shown in FIG. 2, while a plurality of applications are running, the system software 8 is currently running from a control command corresponding to this keyword by, for example, uttering a “task list”. The application list (each window name) is displayed as a task list as shown in FIG.
【００５７】この際、現在アクティブなアプリケーショ
ン（例えばアプリケーションＡ）は、アクティブである
ことが容易に分かるよう、編み掛け表示や特別な色・枠
表示を行う。また、各ウインドウ内にさらに子ウインド
ウがあった場合、例えばアプリケーションＤではその子
ウインドウも階層構造で同時に表示する。また、タスク
リストの表示状態でアクティブウインドウを切換え可能
にする。At this time, the currently active application (for example, application A) performs knitting display and special color / frame display so that it can be easily recognized that the application is active. If there are further child windows in each window, for example, in the application D, the child windows are simultaneously displayed in a hierarchical structure. Further, the active window can be switched in the display state of the task list.
【００５８】本実施形態によれば、利用者は現在アクテ
ィブなウインドウを覚えておく必要がなく、アクティブ
ウインドウの確認には「タスクリスト」等の特定のキー
ワードの発声によって複数のウインドウ名を一目で判断
でき、容易に認識できる。According to the present embodiment, the user does not need to remember the currently active window. To check the active window, a plurality of window names can be displayed at a glance by uttering a specific keyword such as a "task list". Can be judged and easily recognized.
【００５９】（第３の実施形態）図４は本発明の他の実
施形態を示す。同図が図１と異なる部分は、タスク切換
部１０を備えた点にある。(Third Embodiment) FIG. 4 shows another embodiment of the present invention. 1 differs from FIG. 1 in that a task switching unit 10 is provided.
【００６０】タスク切換部１０は、システムソフトウエ
ア８に対して入力デバイスの切換制御を行う。The task switching section 10 controls the system software 8 to switch input devices.
【００６１】通常時は、１つのウインドウ（例えばアプ
リケーションＡ）が操作対象となるが、この状態で音声
により「タスク切換Ｂ」をインタフェース２に与える
と、この制御コマンドがタスク切換部１０に与えられ
る。Normally, one window (for example, application A) is to be operated. When “task switching B” is given to the interface 2 by voice in this state, this control command is given to the task switching unit 10. .
【００６２】このとき、タスク切換部１０は、アプリケ
ーションＢを音声入力対象とし、アプリケーションＡを
キーボード又はマウスからの入力のみが可能とするよう
入力デバイスの切換を行う。At this time, the task switching unit 10 switches the input device so that the application B is a voice input target and the application A can be input only from a keyboard or a mouse.
【００６３】この入力デバイスの切換状態は、利用者に
分かるようウインドウ表示画面のうち、アプリケーショ
ンＡとアプリケーションＢは他のアプリケーションと異
なり、かつアプリケーションＡ，Ｂ間でも異なる表示、
例えば色別表示を行う。The switching state of the input device is such that the application A and the application B are different from the other applications and are different between the applications A and B in the window display screen so that the user can understand.
For example, display by color is performed.
【００６４】上記の入力デバイス切換状態からの復帰
は、音声により「タスク切換Ｂ」を与えることでインタ
フェース２によるタスク切換部１０への復帰コマンドで
なされる。The return from the input device switching state is performed by a return command to the task switching unit 10 by the interface 2 by giving "task switching B" by voice.
【００６５】本実施形態によれば、複数のウインドウを
操作対象とすることができる。According to this embodiment, a plurality of windows can be operated.
【００６６】（第４の実施形態）図５は本発明の他の実
施形態を示す。本実施形態では、キーワード制御コンマ
ド変換部５に特定のキーワードが与えられたときに、単
語辞書４に登録されているキーワードリストを一覧表と
して表示制御できるようにした点にある。(Fourth Embodiment) FIG. 5 shows another embodiment of the present invention. In the present embodiment, when a specific keyword is given to the keyword control commad conversion unit 5, the keyword list registered in the word dictionary 4 can be displayed and controlled as a list.
【００６７】例えば、図５の構成において、マイクロフ
ォン１を通して、利用者が「キーワード一覧」の音声を
発声したとき、音声認識部３ではその音声認識結果をキ
ーワード制御コンマド変換部５に与える。該変換部５
は、このキーワードには単語辞書４に登録されているキ
ーワード群を読み出し、それをキーワード一覧表データ
とすると共にキーワード一覧の制御コマンドをシステム
ソフトウエア８に与え、システムソフトウエア８による
表示制御によりキーワードリストを画面９Ａ上に表示さ
せる。For example, in the configuration shown in FIG. 5, when the user utters the voice of “keyword list” through the microphone 1, the voice recognition unit 3 gives the voice recognition result to the keyword control commad conversion unit 5. The conversion unit 5
Reads a keyword group registered in the word dictionary 4 for this keyword, gives it as keyword list data, gives a control command of the keyword list to the system software 8, and controls the display by the system software 8. The list is displayed on the screen 9A.
【００６８】図６はキーワードリストの画面表示例を示
し、全アプリケーションのキーワード表示と共通単語リ
スト表示なされ、また現在有効なキーワードが分かるよ
う編み掛け表示を行う。FIG. 6 shows an example of a keyword list screen display, in which keywords of all applications and a common word list are displayed, and a knitting display is performed so that currently effective keywords can be understood.
【００６９】また、各アプリケーション内に個別のアプ
リケーションがある場合は、例えばアプリケーションＡ
のように個別アプリケーション別に単語リストを階層構
造表示する。When there is an individual application in each application, for example, application A
The word list is displayed in a hierarchical structure for each individual application.
【００７０】なお、キーワードリストの表示を現在有効
なアプリケーションのキーワード表示とすることでも良
い。The display of the keyword list may be a keyword display of the currently valid application.
【００７１】本実施形態によれば、現在有効なキーワー
ド又は全部のキーワードがリスト形式で表示されるた
め、利用者はキーワードを覚えておくことなくキーワー
ドリストの呼び出しのためのキーワードを覚えておくこ
とで済む。According to the present embodiment, currently effective keywords or all keywords are displayed in the form of a list. Therefore, the user needs to remember keywords for calling the keyword list without remembering keywords. Only needs to be done.
【００７２】また、階層構造型のキーワードリスト表示
になるため、アプリケーション単位のキーワードの認識
が容易になる。また、アプリケーション間のキーワード
の関連付けが容易になる。In addition, since a hierarchically structured keyword list is displayed, it is easy to recognize keywords for each application. In addition, it is easy to associate keywords between applications.
【００７３】（第５の実施形態）本実施形態は、前記の
実施形態と同様に、キーワード制御コンマド変換部５に
特定のキーワードが与えられたときに、現在有効となっ
ているキーワード群を一覧表として表示制御する場合で
ある。(Fifth Embodiment) In this embodiment, similarly to the above-described embodiment, when a specific keyword is given to the keyword control command conversion unit 5, a list of currently valid keywords is listed. This is a case where display control is performed as a table.
【００７４】例えば、マイクロフォン１を通して、利用
者が「キーワード一覧」の音声を発声したとき、単語辞
書４から現在有効となっているキーワード群を読み出
し、それを画面９Ａ上に表示させる。このとき、キーワ
ード群には各々に対応した略号（番号又は記号）が同時
に表示される。For example, when the user utters the voice of the “keyword list” through the microphone 1, a currently effective keyword group is read from the word dictionary 4 and displayed on the screen 9 A. At this time, an abbreviation (number or symbol) corresponding to each keyword group is displayed at the same time.
【００７５】この後の操作指示は、表示されるキーワー
ド群から前述の実施形態と同様にキーワードの音声入力
による方法、又はキーワード群の一覧表示に付加する略
号（番号又は記号）の音声入力によってなされる。The subsequent operation instruction is made by voice input of a keyword from the displayed keyword group in the same manner as in the above-described embodiment, or by voice input of an abbreviation (number or symbol) to be added to the keyword group list display. You.
【００７６】図７は、ある監視制御ソフトウエアを用い
て「福岡」の監視状況を取り出す場合の操作例を示す。FIG. 7 shows an operation example in which the monitoring status of "Fukuoka" is taken out using a certain monitoring control software.
【００７７】まず、利用者は、「キーワード一覧」を発
声したときにキーワード制御コマンド変換部５が現在有
効なキーワード群を単語辞書４から読み込み、この制御
コマンドとキーワード群によってシステムソフトウエア
８によりメニュー画面Ａ１として表示する。First, when the user utters the "keyword list", the keyword control command conversion unit 5 reads the currently effective keyword group from the word dictionary 4, and uses the control command and the keyword group to execute a menu by the system software 8. Display as screen A1.
【００７８】次に、表示されるメニュー画面Ａ１から、
利用者は、ファイルのキーワードを知るために「ファイ
ル」を発声する。これにより、ファイルについて有効な
キーワード群が単語辞書４から読み出され、ファイル画
面Ａ２として表示される。次に、ファイル画面Ａ２か
ら”実行”を選択するには、その「実行」の音声で可能
であるが、図示ではその略号としての「１」音声による
実行画面Ａ３のキーワード群表示を得る。同様に、実行
画面Ａ３から監視制御の略号「２」の音声により監視制
御画面Ａ４を得、このうち「福岡」を指定する略号
「４」の音声により「福岡」の監視状況を得ることがで
きる。Next, from the displayed menu screen A1,
The user speaks “file” to know the keyword of the file. As a result, a group of effective keywords for the file is read from the word dictionary 4 and displayed as a file screen A2. Next, to select "execute" from the file screen A2, it is possible to use the "execute" voice, but in the figure, a keyword group display of the execution screen A3 is obtained by the abbreviation "1" voice. Similarly, the monitoring control screen A4 is obtained from the execution screen A3 by the voice of the abbreviation symbol "2", and the monitoring status of "Fukuoka" can be obtained by the voice of the abbreviation "4" designating "Fukuoka". .
【００７９】ここで、各画面Ａ１〜Ａ４に表示されるキ
ーワード「マクロ」は、音声での発声語と発声順をマク
ロ化する機能を持たせ、頻度の高いオペレーションには
少ないワードの発声で実行できるようにするものであ
る。Here, the keyword "macro" displayed on each of the screens A1 to A4 has a function of converting the uttered words and the order of utterance into a macro, and the frequent operations are executed by uttering fewer words. To make it possible.
【００８０】図８は、マクロを使った監視状況を得る場
合を示し、メニュー画面Ａ１のマクロの略号「１１」の
音声入力により、マクロ画面Ａ５を得る。このマクロ画
面Ａ５には、地名「福岡」と監視制御の区別「監視」を
一度に表示し、このうち略号「３」の音声により「福
岡」の監視状況表示を得る。FIG. 8 shows a case in which a monitoring status using a macro is obtained. A macro screen A5 is obtained by voice input of the macro symbol "11" on the menu screen A1. On this macro screen A5, the place name "Fukuoka" and the monitoring control distinction "monitoring" are displayed at a time, and the monitoring status display of "Fukuoka" is obtained by the voice of the abbreviation "3".
【００８１】以上のことより、本実施形態によれば、キ
ーワードリストを用意することなく、また利用者がキー
ワードを覚えておくことなく、キーワード一覧表を呼び
出すための１つのキーワードを覚えておくことで必要な
キーワードを画面表示から容易に知ることができる。As described above, according to the present embodiment, it is necessary to remember one keyword for calling the keyword list without preparing the keyword list and without the user remembering the keyword. The required keywords can be easily known from the screen display.
【００８２】また、本実施形態によれば、キーワードそ
のもの以外に、キーワードの略号を受け付けることによ
り、利用者の発声語数の削減と煩わしさの軽減、これら
に伴うシステムの音声認識率の向上を図ることができ
る。Further, according to the present embodiment, by accepting an abbreviation of a keyword in addition to the keyword itself, the number of uttered words of the user can be reduced, the complexity can be reduced, and the speech recognition rate of the system can be improved accordingly. be able to.
【００８３】また、本実施形態によれば、音声での発声
語と発声順をマクロ化することにより、オペレーション
の簡略化、高速化、利用者本意の操作指示を実現でき
る。Further, according to the present embodiment, by making the utterance words and the order of utterances in the form of a macro into a macro, operation can be simplified, speeded up, and a user's own operation instruction can be realized.
【００８４】（第６の実施形態）図９は、本発明の他の
実施形態を示し、キーワード対制御コマンドテーブルの
テーブルデータを示す。(Sixth Embodiment) FIG. 9 shows another embodiment of the present invention, and shows table data of a keyword-to-control command table.
【００８５】前述までの実施形態では、特定のキーワー
ドになる音声に応動したウインドウ切換えや操作指示と
なるため、このキーワードを利用者が覚えておく必要が
ある。このため、利用者の記憶が曖昧で正しいキーワー
ドを正確に覚えていないとき、ウインドウ切換えや操作
指示ができない。In the above-described embodiments, since a window is switched or an operation instruction is made in response to a voice that becomes a specific keyword, it is necessary for the user to remember this keyword. For this reason, when the user's memory is ambiguous and the correct keyword is not correctly remembered, window switching and operation instruction cannot be performed.
【００８６】この課題には、キーワードリストを用意す
ることが考えられるが、アプリケーションをＧＵＩ環境
上で動的に切換えるには各アプリケーション毎のキーワ
ードリストを用意するのは煩わしく、しかも実用的でな
い。また、アプリケーションに変更が生じた場合にはそ
の都度リストを書き替える必要がある。For this problem, it is conceivable to prepare a keyword list. However, to dynamically switch applications in a GUI environment, preparing a keyword list for each application is cumbersome and not practical. In addition, it is necessary to rewrite the list each time a change occurs in the application.
【００８７】そこで、本実施形態では、キーワードリス
トを用意する事なく、利用者の曖昧な記憶にも利用者が
意図する制御コマンドが得られるように、図示のような
キーワード対制御コマンドテーブル６を用意する。Therefore, in the present embodiment, the keyword-to-control command table 6 shown in the figure is prepared so that the control command intended by the user can be obtained without preparing a keyword list and even in the ambiguous storage of the user. prepare.
【００８８】図９の例では、ファイルオープンのための
制御コマンド記述に対して、複数（図示では３つ）のキ
ーワード「開く」と「開け」及び「オープン」を用意す
る場合を示す。FIG. 9 shows an example in which a plurality of (three in the figure) keywords “open”, “open” and “open” are prepared for the control command description for file opening.
【００８９】したがって、利用者がファイルオープンを
音声で行うには、正しいキーワード「開く」ではなく、
「開け」や「オープン」を連想してそれを発声した場
合、キーワード制御コマンドテーブル６を参照した変換
部５によって正しい制御コマンドへの変換がなされ、目
的とする制御がなされる。同様に、ウインドウ切換も複
数のキーワードを用意しておくことでなされる。Therefore, in order for the user to open the file by voice, instead of the correct keyword “open”,
When “open” or “open” is uttered in association with the utterance, the conversion into the correct control command is performed by the conversion unit 5 referring to the keyword control command table 6, and the desired control is performed. Similarly, window switching is performed by preparing a plurality of keywords.
【００９０】本実施形態によれば、利用者が正しいキー
ワードを覚えておく必要がなく、またキーワードリスト
を用意する事なく、操作に関連して連想できる近い言葉
を発声することで所期のキーワードによる操作指示を得
ることができる。According to the present embodiment, it is not necessary for the user to memorize the correct keywords, and without preparing a keyword list, by uttering a close word that can be associated with the operation, the desired keyword can be obtained. Operating instructions can be obtained.
【００９１】なお、テーブル６への複数のキーワードの
追加や変更などの編集には、キーボードからの入力でも
可能であるが、音声による編集でも良い。Note that editing such as adding or changing a plurality of keywords to the table 6 can be performed by inputting from a keyboard, but may also be performed by voice.
【００９２】この音声による編集は、例えば、システム
ソフトウエア８への制御コマンドとして「テーブル６の
編集」を音声で与えることで該テーブルを編集可能な状
態にし、次にキーワード編集のキーワード（例えば、
「登録」の音声）を発声し、正しいキーワードの発声に
よりテーブル６から該キーワードを持つ部分を検索し、
次いで別名のキーワードの発声により該別名のキーワー
ドをテーブルに登録することで実現される。The editing by voice is performed, for example, by giving “edit of table 6” as a control command to the system software 8 by voice to make the table editable. Then, a keyword for keyword editing (for example,
“Speech of“ registration ”), and search for a portion having the keyword from the table 6 by uttering the correct keyword,
Next, this is realized by registering the alias keyword in the table by uttering the alias keyword.
【００９３】（第７の実施形態）これまでの実施形態で
は、少なくとも１つのキーワードを正確に覚えておく必
要があるが、利用者の記憶が曖昧なため、正しいキーワ
ードを忘れてしまい、キーワードの途中まで分かってい
る場合がある。(Seventh Embodiment) In the above embodiments, it is necessary to correctly remember at least one keyword. However, since the user's memory is ambiguous, the user forgets the correct keyword, and You may know halfway.
【００９４】そこで、本実施形態では、キーワードの途
中まで分かっている部分から目的とするキーワードを得
るシステムを提供する。Therefore, the present embodiment provides a system for obtaining a target keyword from a part that is known up to the middle of the keyword.
【００９５】本実施形態では、利用者が途中まで分かっ
ている部分のキーワードの音声入力を行い、この音声入
力に分かっている部分の語尾を延ばして発声することに
より、長音以降を補完して得られる正しいキーワード候
補のリストを表示する構成とする。In the present embodiment, the user inputs a part of the keyword which is known partway by voice, and extends the ending of the part which is known by the voice input and utters the word, thereby complementing the part after the long sound. A list of correct keyword candidates to be displayed is displayed.
【００９６】例えば、ファイルの内容を表示するための
キーワードを「表示」とした場合、テーブル６に登録さ
れているキーワード「表示［ひょうじ］」に対して、
［ひょう］まで分かっていれば”ひょうー”と語尾を延
ばした発声を行う。For example, if the keyword for displaying the contents of the file is “display”, the keyword “display [hyo]” registered in the table 6 is
If you know [Hyo], you will say "Hyo" and extend the ending.
【００９７】この語尾が長音のキーワードを受け取った
キーワード制御コマンド変換部５は、テーブル６内のキ
ーワードを検索し、その認識キーワード「ひょう」で始
まる正しいキーワード候補のリスト（例えば、表示、標
準、評価、…）の画面表示コマンドをシステムソフトウ
エア８に与え、その画面表示を得る。The keyword control command conversion unit 5 that has received the keyword ending with a long tone searches the keyword in the table 6 and lists the correct keyword candidates starting with the recognized keyword “hyo” (for example, display, standard, evaluation). , ...) are given to the system software 8 to obtain the screen display.
【００９８】この画面表示から、利用者が正しいキーワ
ード「表示」を改めて発声することにより、正しいキー
ワード「表示」による操作指示を得る。[0098] From this screen display, the user utters the correct keyword "display" again to obtain an operation instruction using the correct keyword "display".
【００９９】本実施形態によれば、利用者が正確なキー
ワードの語尾を忘れている場合にもその初めの部分を覚
えていれば、システムが表示したキーワードリストの中
から正しいキーワードを見つけだし、正しいキーワード
の音声入力ができる。According to the present embodiment, even if the user forgets the correct keyword ending, if the user remembers the beginning of the keyword, the system finds the correct keyword from the keyword list displayed by the system, and finds the correct keyword. You can input keywords by voice.
【０１００】（第８の実施形態）これまでの実施形態か
ら、正しいキーワードの音声入力を知って音声入力を行
うにおいて、キーワードとして画面の「拡大」、「縮
小」、上下左右への「移動」のような連続的な操作指示
を行う場合、利用者は期待する画面状態になるよう、キ
ーワードを繰り返し発声する（例えば、「拡大」、「拡
大」、「拡大」）という煩わしさがある。(Eighth Embodiment) From the previous embodiments, when performing voice input by knowing the voice input of a correct keyword, "enlarge", "reduce" of the screen, and "move" up, down, left, and right as keywords. In such a case, the user repeatedly utters a keyword (for example, “enlarge”, “enlarge”, “enlarge”) so as to obtain an expected screen state.
【０１０１】そこで、本実施形態では、連続した同じ操
作指示のキーワード入力を簡易にするシステムを提供す
る。Therefore, the present embodiment provides a system for simplifying the keyword input of the same continuous operation instruction.
【０１０２】本実施形態では、キーワードの語尾を延ば
した長音を伴った発声をしたときに、この長音の長さに
応じて連続的な同じ制御コマンドを繰り返し得ることに
より、同じキーワードの繰り返し発声を不要にする。In the present embodiment, when a utterance accompanied by a prolonged long sound at the end of the keyword is repeated, the same continuous control command can be repeated according to the length of the long sound, so that the same utterance of the same keyword is repeated. Make it unnecessary.
【０１０３】例えば、画面の拡大を行うキーワード「拡
大」の発声に、長音を伴った”かくだーい”と発声す
る。この発声に対して、音声認識部３は、音声”かく
だ”の部分から、単語辞書４の参照で拡大動作であるこ
とを認識し、キーワードとして「かくだい」とこれが連
続することの符号をキーワード制御コマンド変換部５に
与え、該変換部５によって画面拡大の制御コマンドの発
生を繰り返す。For example, the utterance of the keyword "enlargement" for enlarging the screen is uttered with "long" with "long". In response to this utterance, the speech recognition unit 3 recognizes that the operation is an enlargement operation by referring to the word dictionary 4 from the portion of the speech “Kakuda”, and as a keyword “Kakudai” and a code indicating that this is continuous. It is provided to a keyword control command converter 5, and the converter 5 repeats generation of a control command for screen enlargement.
【０１０４】そして、音声認識部３がキーワード「拡
大」の語尾になる「い」を認識したときに繰り返し制御
の停止を意味する符号を変換部５に与え、これにより変
換部５が「拡大」の制御コマンドの発生を停止し、シス
テムソフトウエア８が画面の拡大表示制御を停止する。When the speech recognition unit 3 recognizes "i" at the end of the keyword "enlargement", it gives a code indicating stop of repetitive control to the conversion unit 5, whereby the conversion unit 5 executes "enlargement". Of the control command is stopped, and the system software 8 stops the enlarged display control of the screen.
【０１０５】画面の縮小や上下左右への移動についても
同様になされ、さらにプルダウンメニュー内におけるメ
ニュー選択などにも利用することができる。すなわち、
プルダウンメニュー内の項目を選択するとき、カーソル
の上下移動のそれぞれのキーワード”うえ”、”した”
に長音を伴って発生することにより、長音が続く限りカ
ーソルを上下方向に移動させ、発声が終了したときにカ
ーソル移動が停止し、停止位置の項目選択を可能にす
る。The same applies to the reduction and up / down / left / right movement of the screen, and it can also be used for menu selection in a pull-down menu. That is,
When selecting an item in the pull-down menu, move the cursor up and down for each keyword “up” and “down”
, The cursor is moved up and down as long as the long sound continues, and when the utterance ends, the movement of the cursor is stopped, and the item of the stop position can be selected.
【０１０６】本実施形態によれば、利用者は、同じキー
ワードによる連続した操作指示を行うには、キーワード
として長音を伴った発声を行うことにより、長音が続く
間だけ画面の拡大等の連続制御がなされ、希望する画面
状態になったときに発声を終了することにより連続制御
が停止され、利用者が期待する画面状態を得ることがで
きる。これにより、利用者はキーワードの発声回数を１
回で済み連続した操作指示が容易になる。According to the present embodiment, in order to give a continuous operation instruction using the same keyword, the user performs utterance accompanied by a long tone as a keyword, thereby performing continuous control such as enlargement of a screen while the long tone continues. The continuous control is stopped by terminating the utterance when the desired screen state is attained, and the screen state expected by the user can be obtained. As a result, the user can reduce the number of utterances of the keyword by one.
The operation instruction can be easily performed continuously.
【０１０７】なお、実施形態において、長音を伴ったキ
ーワードに代えて、語尾に長音を付加したキーワード
（例えば「かくだいー」）を発声し、この長音が続く限
り当該キーワードの操作指示を繰り返す構成にして同等
の作用効果を奏する。In the embodiment, in place of a keyword accompanied by a long sound, a keyword (for example, "Kakudai") with a long sound added to the end is uttered, and the operation instruction of the keyword is repeated as long as the long sound continues. To achieve the same effect.
【０１０８】（第９の実施形態）図１や図４、５のシス
テム構成において、一般に音声認識は１００％の認識率
が達成されないため、システムの誤操作の一因となる場
合が予想される。(Ninth Embodiment) In the system configuration shown in FIGS. 1, 4 and 5, speech recognition generally does not achieve a recognition rate of 100%, so that it is expected that this will contribute to erroneous operation of the system.
【０１０９】そこで、本実施形態では、音声認識に誤り
が発声したときにも誤操作を確実に防止するシステムを
提供する。Therefore, the present embodiment provides a system for reliably preventing erroneous operation even when an error is made in voice recognition.
【０１１０】図１０は、本実施形態の音声認識インタフ
ェースを示す。音声操作ボタン１１は、ソフトウェアボ
タンにされ、このオン操作で音声入力の許可信号を音声
入力インタフェース１２に与える。このボタン１１を設
けることにより、ボタン１１のオフ時には音声入力を遮
断し、周囲の騒音等によるノイズが音声認識部３に侵入
するのを無くしてノイズによる誤操作を防止する。FIG. 10 shows a voice recognition interface according to this embodiment. The voice operation button 11 is a software button, and gives a voice input permission signal to the voice input interface 12 by this on operation. By providing the button 11, when the button 11 is turned off, voice input is cut off, and noise due to ambient noise or the like is prevented from entering the voice recognition unit 3, thereby preventing erroneous operation due to noise.
【０１１１】入力レベルチェック部１３は、インタフェ
ース１２を通した音声信号のレベルをチェックし、入力
レベルが通常より低い音声信号を遮断することにより、
低いレベルの音声認識による誤り発声を防止する。The input level check unit 13 checks the level of the audio signal passed through the interface 12 and cuts off the audio signal whose input level is lower than usual, thereby
Prevent erroneous utterances due to low-level speech recognition.
【０１１２】また、入力レベルチェック部１３は、音声
信号を遮断したときに、応答機能部１４に遮断したこと
の信号を渡す。When the input level check section 13 cuts off the audio signal, the input level check section 13 sends a signal indicating that the cutoff has been made to the response function section 14.
【０１１３】認識結果信頼度チェック部１５は、音声認
識部３による認識結果の信頼度をチェックし、信頼度が
低いときには認識結果を変換部５に渡すのをやめる。こ
れにより、音声認識をその信頼度チェックにより誤った
音声による操作を防止する。The recognition result reliability check unit 15 checks the reliability of the recognition result by the speech recognition unit 3, and stops passing the recognition result to the conversion unit 5 when the reliability is low. As a result, the operation of the speech recognition by the erroneous speech by checking the reliability is prevented.
【０１１４】また、チェック部１５は、信頼度が低いと
きに応答機能部１４に操作を中止したことの信号を渡
す。The checking unit 15 sends a signal indicating that the operation has been stopped to the response function unit 14 when the reliability is low.
【０１１５】応答機能部１４は、チェック部１３又は１
５からの音声認識異常の信号を受け取ったときに、利用
者への再発声を要求する。また、この要求に対する再発
声にも異常の信号を受けたときに音声操作ボタン１１を
強制オフすると共に、利用者ひ他の入力インタフェース
（マウスやキーボードなど）による入力要求を出す。The response function unit 14 checks the check unit 13 or 1
When the voice recognition abnormal signal is received from 5, the user is requested to re-utter. In addition, when an abnormal signal is also received in response to the re-speaking of the request, the voice operation button 11 is forcibly turned off, and the user issues an input request through another input interface (mouse, keyboard, etc.).
【０１１６】したがって、本実施形態によれば、音声操
作ボタン１１により利用者が音声入力するときのみ音声
認識を実行させ、入力レベルチェック部１３により実際
の入力音声が認識に適当なレベル以上にあるときのみ音
声認識を実行させ、認識結果信頼度チェック部１５によ
り音声認識結果の信頼度をチェックして正確に認識した
音声のみに応答できるようにする。Therefore, according to the present embodiment, the voice recognition is executed only when the user inputs a voice by using the voice operation button 11, and the actual input voice is at an appropriate level or higher for the recognition by the input level checker 13. Only when the speech is recognized, the reliability of the speech recognition result is checked by the recognition result reliability check unit 15 so that only the recognized speech can be answered.
【０１１７】また、音声入力及び認識の異常発生には、
利用者に再入力を促したり、他のインタフェースによる
入力を促すことにより、確実な音声入力と認識を得るこ
とができる。In addition, when an abnormality occurs in voice input and recognition,
By prompting the user to input again or by inputting through another interface, reliable voice input and recognition can be obtained.
【０１１８】（第１０の実施形態）複数のウィンドウを
同時に表示するにおいて、利用者が注目しているウィン
ドウの度合い（興味度）の高さに応じて各ウィンドウの
フレームレートを変化させ、限られたシステムリソース
の最適配分を図ることができる。(Tenth Embodiment) In displaying a plurality of windows at the same time, the frame rate of each window is changed according to the degree of the window (interest level) of the user's attention. Optimized allocation of system resources.
【０１１９】この興味度の高さは、ウィンドウの表示状
態から推測することができる。そのルールとしては、図
１１の（ａ）に示すように、アクティブウィンドウに近
いウィンドウほど興味度が高いとし、またウィンドウの
面積が小さいほど興味度が低いとすることができる。興
味度の度合いによりウィンドウのフレームレートを変え
ることも行われる。The degree of interest can be estimated from the display state of the window. As a rule, as shown in FIG. 11A, a window closer to the active window has a higher degree of interest, and a smaller window area has a lower degree of interest. The frame rate of the window is changed depending on the degree of interest.
【０１２０】このルールでは、ウィンドウの表示状態に
より興味度が自動的に決定され、利用者が任意に興味度
を変えるためにアクティブウィンドウを変えるなどの操
作を必要とし、操作が繁雑になる。In this rule, the degree of interest is automatically determined according to the display state of the window, and the user needs an operation such as changing the active window to arbitrarily change the degree of interest, which complicates the operation.
【０１２１】そこで、本実施形態では、利用者の興味度
の度合いを確実にかつ自動的に推測して最適配分の表示
を得るシステムを提供する。Therefore, the present embodiment provides a system for reliably and automatically estimating the degree of interest of the user and obtaining a display of the optimal distribution.
【０１２２】本実施形態では、図１１の（ｂ）に示すよ
うに、マウス等のポインティングデバイスが位置するウ
ィンドウを利用者の興味度が高いウィンドウとシステム
ソフトウェアが認識し、またそのウィンドウのフレーム
レートを高める。このとき、アクティブウィンドウは変
更しない。In the present embodiment, as shown in FIG. 11B, the window where the pointing device such as a mouse is located is recognized by the system software as the window having high interest of the user, and the frame rate of the window is determined. Enhance. At this time, the active window is not changed.
【０１２３】したがって、本実施形態では、マウス等の
ポインティングデバイスのポインタ位置を変えることに
より、自動的にウィンドウの興味度を変え、またフレー
ムレートも変えるため、アクティブウィンドウの変更操
作をすることなく、利用者が任意に特定のウィンドウの
興味度を上げることができる。このため、利用者の興味
度のあるウィンドウのフレームレートを上げる操作が単
純化され、より使い易いシステムを構築できる。Therefore, in this embodiment, by changing the pointer position of a pointing device such as a mouse or the like, the degree of interest of the window is automatically changed and the frame rate is also changed. The user can arbitrarily increase the interest level of a specific window. For this reason, the operation of increasing the frame rate of a window of interest to the user is simplified, and a more user-friendly system can be constructed.
【０１２４】[0124]
【発明の効果】以上のとおり、本発明によれば、音声認
識インタフェースを利用し、音声によるウインドウ切換
えを行うようにしたため、マウス等による従来のウイン
ドウ切換操作を不要にし、音声によるウインドウ切換え
になって操作効率を高めると共に、誤操作を防止するこ
とができる。As described above, according to the present invention, the window switching by voice is performed by using the voice recognition interface, so that the conventional window switching operation by a mouse or the like becomes unnecessary, and the window switching by voice becomes possible. Operation efficiency can be improved, and erroneous operations can be prevented.
【０１２５】また、本発明は、複数のアプリケーション
のウインドウ情報を管理し、音声により各アプリケーシ
ョンを指定したときにウインドゥ情報からアプリケーシ
ョンの最新のアクティブウインドウに切換え、同じアプ
リケーション名の音声により当該アプリケーションの新
しいウインドゥ順に切換えるようにしたため、アプリケ
ーションのウインドゥのうち良く利用するウインドゥ指
定を容易にする効果がある。Further, the present invention manages window information of a plurality of applications, switches from the window information to the latest active window of an application when each application is specified by voice, and uses the voice of the same application name to update the new application. Since switching is performed in the order of windows, there is an effect of facilitating designation of a frequently used window among windows of the application.
【０１２６】また、本発明は、音声入力により、アクテ
ィブなウインドウを他のウインドウから区別した表示を
行うこと及びアクティブなアプリケーションを区別した
タスクリスト表示を行うようにしたため、利用者がアク
ティブなウインドウ及びアプリケーションを認識するの
を容易にする効果がある。Further, according to the present invention, the display of the active window is distinguished from other windows by voice input, and the task list display of the active application is performed. This has the effect of making it easier to recognize the application.
【０１２７】また、本発明は、タスク切換により、音声
によるアプリケーションへの入力と、マウス等の他の入
力デバイスによる他のアプリケーションへの入力とする
ため、複数のウインドウを操作対象とすることができ
る。Further, according to the present invention, a plurality of windows can be operated as input to an application by voice and input to another application by another input device such as a mouse by task switching. .
【０１２８】また、本発明は、利用者がキーワード一覧
等の特定のキーワードを発声したときに単語辞書に登録
されるキーワード又は現在有効なキーワードリストを画
面表示するため、この画面表示から利用者が必要とする
キーワードを容易に知ることができ、利用者はキーワー
ド一覧等の１つのキーワードを覚えておくのみで有効な
キーワードの全てを画面表示から知ることができる。Further, according to the present invention, when a user utters a specific keyword such as a keyword list, a keyword registered in a word dictionary or a currently valid keyword list is displayed on a screen. A required keyword can be easily known, and the user can know all effective keywords from the screen display only by remembering one keyword such as a keyword list.
【０１２９】また、本発明は、キーワードを制御コマン
ドに変換するテーブルには１つの制御コマンドに複数の
キーワードを対応付け、何れか１つのキーワードから制
御コマンドを得るテーブルデータ構成とするため、利用
者がキーワードを正確に覚えていない場合にも、それに
近い又は関連するキーワードの発声により利用者が意図
する制御コマンドが得られ、キーワードの正確な記憶を
不要にして使い勝手を良くする効果がある。Further, according to the present invention, a table for converting a keyword into a control command has a table data configuration in which a plurality of keywords are associated with one control command and a control command is obtained from any one of the keywords. When the user does not remember the keyword correctly, the user can obtain a control command intended by the utterance of a keyword that is close to or related to the keyword, thereby eliminating the need for accurate storage of the keyword and improving the usability.
【０１３０】また、本発明は、利用者がキーワードの分
かっている部分の語尾を延ばして発声することにより、
候補となるキーワードを画面表示するようにしたため、
利用者はキーワード候補の画面表示から正しいキーワー
ドを知ることができ、キーワードの一部を覚えておけば
正しいキーワードを知ることができる。Also, according to the present invention, the user can extend the ending of the part where the keyword is known, and utter the utterance.
We've added on-screen suggestions to keywords,
The user can know the correct keyword from the keyword candidate screen display, and can know the correct keyword by remembering a part of the keyword.
【０１３１】また、本発明は、連続的な同じ制御コマン
ドを繰り返し発声するのに代えて、長音を伴う１つのキ
ーワードを発声することにより、長音が続く限り同じ制
御を繰り返し行うようにしたため、同じキーワードによ
る操作指示には当該キーワードに長音を付加した１回の
発声で済み、連続した同じ操作指示が簡単になる。Also, according to the present invention, the same control is repeated as long as the long sound continues by uttering one keyword accompanied by a long sound instead of repeatedly uttering the same continuous control command. An operation instruction using a keyword requires only one utterance in which a long sound is added to the keyword, and the same continuous operation instruction is simplified.
【０１３２】また、本発明は、利用者が音声入力すると
きのみ音声認識を実行させ、実際の入力音声が認識に適
当なレベル以上にあるときのみ音声認識を実行させ、音
声認識結果の信頼度をチェックして正確に認識した音声
のみに応答できるようにするため、音声認識の誤りによ
る誤操作を確実に防止できる。また、音声入力及び認識
の異常発生には、利用者に再入力を促したり、他のイン
タフェースによる入力を促すことにより、確実な音声入
力と認識を得ることができる。Further, according to the present invention, the speech recognition is executed only when the user inputs a speech, and the speech recognition is executed only when the actual input speech is at an appropriate level or more for the recognition. Is checked, and only the voice that is accurately recognized can be responded, so that an erroneous operation due to a voice recognition error can be reliably prevented. In addition, when an abnormality occurs in voice input and recognition, a prompt voice input and recognition can be obtained by urging the user to input again or by inputting through another interface.
【０１３３】また、本発明は、マウス等のポインティン
グデバイスが位置するウィンドウを利用者の興味度が高
いウィンドウとシステムソフトウェアが認識し、ウィン
ドウのフレームレートを高めるようにしたため、アクテ
ィブウィンドウの変更操作をすることなく、利用者が任
意に特定のウィンドウの興味度を上げることができ、利
用者の興味度のあるウィンドウのフレームレートを上げ
る操作が単純化され、より使い易いシステムを構築でき
る効果がある。Further, according to the present invention, the window in which the pointing device such as a mouse is located is recognized by the system software as a window having a high degree of user interest, and the frame rate of the window is increased. The user can arbitrarily increase the interest level of a specific window without performing, and the operation of raising the frame rate of the window having the interest level of the user is simplified, and there is an effect that a more user-friendly system can be constructed. .
【図１】本発明の一実施形態を示すブロック図。FIG. 1 is a block diagram showing an embodiment of the present invention.
【図２】他の実施形態におけるウインドウイメージ。FIG. 2 is a window image according to another embodiment.
【図３】他の実施形態におけるタスクリストウインドウ
イメージ。FIG. 3 is a task list window image according to another embodiment.
【図４】他の実施形態のブロック図。FIG. 4 is a block diagram of another embodiment.
【図５】他の実施形態のブロック図。FIG. 5 is a block diagram of another embodiment.
【図６】他の実施形態におけるキーワードリストウイン
ドウイメージ。FIG. 6 is an image of a keyword list window in another embodiment.
【図７】他の実施形態における音声による操作指示手順
図。FIG. 7 is an operation instruction procedure diagram by voice in another embodiment.
【図８】他の実施形態における音声による操作指示手順
図。FIG. 8 is an operation instruction procedure diagram by voice in another embodiment.
【図９】他の実施形態におけるキーワード対制御コマン
ドテーブルのデータ構成例。FIG. 9 is a data configuration example of a keyword-to-control command table according to another embodiment.
【図１０】他の実施形態における音声認識インタフェー
スの構成例。FIG. 10 is a configuration example of a voice recognition interface according to another embodiment.
【図１１】他の実施形態における興味度によるウィンド
ウ表示例。FIG. 11 is an example of a window display based on the degree of interest in another embodiment.
１…マイクロフォン ２…音声認識インタフェース ３…音声認識部 ４…単語辞書 ５…キーワード制御コマンド変換部 ６…キーワード対制御コマンド変換テーブル ７…コンピュータ本体 ８…システムソフトウエア ９…表示部 １０…タスク切換部 １１…音声操作ボタン １２音声入力インタフェース １３…入力レベルチェック部 １４…応答機能部 １５…認識結果信頼度チェック部 DESCRIPTION OF SYMBOLS 1 ... Microphone 2 ... Speech recognition interface 3 ... Speech recognition part 4 ... Word dictionary 5 ... Keyword control command conversion part 6 ... Keyword to control command conversion table 7 ... Computer body 8 ... System software 9 ... Display part 10 ... Task switching part DESCRIPTION OF SYMBOLS 11 ... Voice operation button 12 Voice input interface 13 ... Input level check part 14 ... Response function part 15 ... Recognition result reliability check part
───────────────────────────────────────────────────── フロントページの続き (72)発明者 原 洋 東京都品川区大崎２丁目１番17号 株式会 社明電舎内 (72)発明者 松田 啓寿 東京都品川区大崎２丁目１番17号 株式会 社明電舎内 (72)発明者 小形 毅 東京都品川区大崎２丁目１番17号 株式会 社明電舎内 (72)発明者 望月 薫雅 東京都品川区大崎２丁目１番17号 株式会 社明電舎内 (72)発明者 池田 勇 東京都品川区大崎２丁目１番17号 株式会 社明電舎内 ──────────────────────────────────────────────────続 き Continued on the front page (72) Inventor Hiroshi Hara 2-1-1-17 Osaki, Shinagawa-ku, Tokyo Inside the Meidensha Corporation (72) Inventor Hirotoshi Matsuda 2-1-1-17 Osaki, Shinagawa-ku, Tokyo Inside the company Meidensha (72) Inventor Takeshi Ogata 2-1-1-17 Osaki, Shinagawa-ku, Tokyo Co., Ltd. Inside the company Meidensha (72) Kaoru Mochizuki 2-1-1-17 Osaki, Shinagawa-ku, Tokyo Co., Ltd.Meidensha (72) Inventor Isamu Ikeda 2-1-1-17 Osaki, Shinagawa-ku, Tokyo Inside Meidensha Co., Ltd.
Claims (10)
の音声認識によってキーワードを得、このキーワードを
解読してシステムソフトウエアの制御コマンドに変換す
る音声認識インタフェースを備えたコンピュータシステ
ムにおいて、前記システムソフトウエアは特定の音声を
解読した制御コマンドを前記音声認識インタフェースか
ら受けたときに該制御コマンドに対応するウインドウを
アクティブな状態にするウインドウ切換手段を備えたこ
とを特徴とするコンピュータシステム。1. A computer system having a GUI environment and having a voice recognition interface that obtains a keyword by voice recognition of an operation instruction by voice, decodes the keyword, and converts the keyword into a control command of system software. A computer system, characterized in that the wearer has window switching means for, when receiving a control command obtained by decoding a specific voice from the voice recognition interface, activating a window corresponding to the control command.
プリケーションのウインドウ情報を管理し、前記音声認
識インタフェースからの制御コマンドにより各アプリケ
ーションを指定したときに該ウインドゥ情報から該アプ
リケーションの最新のアクティブウインドウに切換え、
同じアプリケーション名の音声により当該アプリケーシ
ョンの新しいウインドゥ順に切換える手段を備えたこと
を特徴とする請求項１記載のコンピュータシステム。2. The system software manages window information of a plurality of applications, and switches from the window information to the latest active window of the application when each application is designated by a control command from the voice recognition interface.
2. The computer system according to claim 1, further comprising means for switching to a new window order of the application by a voice having the same application name.
インタフェースからの制御コマンドによりアクティブに
したウインドウを他のウインドウとは異なるウインドウ
の表示かつ各ウインドウのタスクリスト表示を行う手段
を備えたことを特徴とする請求項１記載のコンピュータ
システム。3. The system software further comprises means for displaying a window activated by a control command from a voice recognition interface in a window different from other windows and displaying a task list of each window. The computer system of claim 1, wherein
コマンドにより複数のアプリケーションのうち１つは音
声認識インタフェースを入力デバイスとし、他の１つは
該音声認識インタフェース以外のデバイスを入力デバイ
スとするタスク切換手段を備えたことを特徴とする請求
項１又は３記載のコンピュータシステム。4. A task switching means in which one of a plurality of applications uses a voice recognition interface as an input device and the other application uses a device other than the voice recognition interface as an input device according to a control command from the voice recognition interface. The computer system according to claim 1, further comprising:
識のための単語辞書にはアプリケーション別の単語及び
共通の単語を用意し、特定のキーワードが与えられたと
きに、前記単語辞書に登録されているキーワードリスト
を一覧表として画面表示、又は現在有効なキーワードリ
ストを画面表示する制御コマンドを前記システムソフト
ウエアに与える手段を備えたことを特徴とする請求項１
又は２記載のコンピュータシステム。5. The speech recognition interface prepares a word for each application and a common word in a word dictionary for speech recognition, and when a specific keyword is given, the word is registered in the word dictionary. 2. A system according to claim 1, further comprising means for giving a control command to the system software for displaying a keyword list on a screen as a list or displaying a currently valid keyword list on a screen.
Or the computer system according to 2.
ーワードを制御コマンドに変換するテーブルを有し、こ
のテーブルは１つの制御コマンドに複数のキーワードを
対応付け、何れか１つのキーワードの参照で制御コマン
ドを得るテーブルデータ構成を特徴とする請求項１乃至
５記載のうちの何れか１つに記載のコンピュータシステ
ム。6. The voice recognition interface has a table for converting the keyword into a control command. This table associates one control command with a plurality of keywords, and references the control command by referring to any one of the keywords. The computer system according to any one of claims 1 to 5, wherein a table data structure to be obtained is obtained.
ードの分かっている部分の語尾を延ばした発声入力から
長音以降を補完して得られるキーワード候補をリスト表
示する手段を備えたことを特徴とする請求項１乃至５記
載のうちの何れか１つに記載のコンピュータシステム。7. The speech recognition interface according to claim 1, further comprising means for displaying a list of keyword candidates obtained by complementing a long sound after the utterance input obtained by extending the ending of a part where the keyword is known. The computer system according to any one of claims 1 to 5.
ードの語尾を延ばした長音を伴った音声、又はキーワー
ドに長音を付加した音声を認識したときに、該長音の長
さに応じて該キーワードに応じた制御コマンドを繰り返
し発生する手段を備えたことを特徴とする請求項１乃至
５記載のうちの何れか１つに記載のコンピュータシステ
ム。8. The speech recognition interface, when recognizing a speech accompanied by a prolonged long sound or a speech obtained by adding a long sound to a keyword, responds to the keyword according to the length of the long sound. The computer system according to any one of claims 1 to 5, further comprising means for repeatedly generating a control command.
が音声入力するときのみ音声認識を実行させる音声操作
ボタンと、実際の入力音声が認識に適当なレベル以上に
あるときのみ音声認識を実行させる入力レベルチェック
部と、音声認識結果の信頼度をチェックして正確に認識
した音声のみを取り出す認識結果信頼度チェック部とを
備えたことを特徴とする請求項１乃至８記載のうちのい
ずれか１つに記載のコンピュータシステム。9. The voice recognition interface includes a voice operation button for executing voice recognition only when a user performs a voice input, and an input for executing voice recognition only when an actual input voice is at or above a level suitable for recognition. 9. The apparatus according to claim 1, further comprising: a level check unit; and a recognition result reliability check unit for checking the reliability of the speech recognition result and extracting only the speech that has been accurately recognized. A computer system according to any one of the preceding claims.
ティングデバイスが指定する位置のウィンドウを利用者
が注目する度合いの高いウィンドウとし、当該ウィンド
ウのフレームレートを高める手段を備えたことを特徴と
する請求項１又は３記載のコンピュータシステム。10. The system software according to claim 1, wherein the system software sets a window at a position designated by a pointing device as a window with a high degree of user's attention, and includes means for increasing a frame rate of the window. 3. The computer system according to 3.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2823097A JPH10222337A (en) | 1997-02-13 | 1997-02-13 | Computer system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2823097A JPH10222337A (en) | 1997-02-13 | 1997-02-13 | Computer system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH10222337A true JPH10222337A (en) | 1998-08-21 |
Family
ID=12242809
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2823097A Pending JPH10222337A (en) | 1997-02-13 | 1997-02-13 | Computer system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH10222337A (en) |
Cited By (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1195793A (en) * | 1997-09-17 | 1999-04-09 | Toshiba Corp | Voice input interpreting device and voice input interpreting method |
| JP2000089791A (en) * | 1998-09-09 | 2000-03-31 | Nippon Telegr & Teleph Corp <Ntt> | Speech recognition method, its apparatus and program recording medium |
| JP2000099076A (en) * | 1998-09-25 | 2000-04-07 | Fujitsu Ltd | Performance environment setting device utilizing voice recognition, and method |
| EP1081587A2 (en) * | 1999-09-03 | 2001-03-07 | Sony Corporation | Voice controlled graphical user interface |
| JP2002091492A (en) * | 2000-07-13 | 2002-03-27 | National Institute Of Advanced Industrial & Technology | Device and method for supplementing voice and recording medium |
| JP2002525690A (en) * | 1998-09-21 | 2002-08-13 | トムソン マルチメディア | System including a remotely controlled device and device for remote control based on audio of the device |
| JP2007010971A (en) * | 2005-06-30 | 2007-01-18 | Canon Inc | Speech recognition method and speech recognition apparatus |
| JP2007080242A (en) * | 2005-08-15 | 2007-03-29 | Kobe Steel Ltd | Information processing apparatus and program for same |
| JP2007104439A (en) * | 2005-10-05 | 2007-04-19 | Softbank Bb Corp | Content viewing system and content viewing method |
| WO2008004486A1 (en) * | 2006-07-06 | 2008-01-10 | Panasonic Corporation | Voice input device |
| JP2008003474A (en) * | 2006-06-26 | 2008-01-10 | Funai Electric Co Ltd | Electronic apparatus |
| JP2009505204A (en) * | 2005-08-11 | 2009-02-05 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Methods for driving interactive and interface systems |
| US7505910B2 (en) | 2003-01-30 | 2009-03-17 | Hitachi, Ltd. | Speech command management dependent upon application software status |
| JP2010197643A (en) * | 2009-02-25 | 2010-09-09 | Gifu Univ | Interactive learning system |
| JP2011050639A (en) * | 2009-09-03 | 2011-03-17 | Olympia:Kk | Game machine |
| WO2011037264A1 (en) * | 2009-09-28 | 2011-03-31 | 京セラ株式会社 | Electronic device and control method |
| JP2011198120A (en) * | 2010-03-19 | 2011-10-06 | Nec Personal Products Co Ltd | Image transfer device, method, and program |
| JP2011227507A (en) * | 2003-06-06 | 2011-11-10 | Trustees Of Columbia University In The City Of New York | System and method for voice activating web pages |
| JP2013064777A (en) * | 2011-09-15 | 2013-04-11 | Ntt Docomo Inc | Terminal device, voice recognition program, voice recognition method and voice recognition system |
| JP2013140359A (en) * | 2011-12-30 | 2013-07-18 | Samsung Electronics Co Ltd | Electronic apparatus and method for controlling the same |
| JP2013175180A (en) * | 2012-02-24 | 2013-09-05 | Pantech Co Ltd | Device and method for changing application |
| WO2014054794A1 (en) * | 2012-10-05 | 2014-04-10 | 京セラ株式会社 | Electronic apparatus, control method, and control program |
| US9013422B2 (en) | 2011-09-28 | 2015-04-21 | Kyocera Corporation | Device, method, and storage medium storing program |
| JP2015525933A (en) * | 2012-07-26 | 2015-09-07 | ゼットティーイー コーポレーションＺｔｅ Ｃｏｒｐｏｒａｔｉｏｎ | Terminal voice auxiliary editing method and apparatus |
| JP2016502302A (en) * | 2012-12-07 | 2016-01-21 | バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド | Audio background control method, mobile terminal, and non-transitory computer-readable storage medium |
| WO2016063621A1 (en) * | 2014-10-24 | 2016-04-28 | 株式会社ソニー・コンピュータエンタテインメント | Control device, control method, program and information storage medium |
| EP2985919A4 (en) * | 2014-06-20 | 2016-06-22 | Lg Electronics Inc | Mobile terminal and control method therefor |
| JP2017173530A (en) * | 2016-03-23 | 2017-09-28 | 富士通株式会社 | Voice input support program, head mounted display, voice input support method, and voice input support device |
| JP2018072784A (en) * | 2016-11-06 | 2018-05-10 | ナレルシステム株式会社 | Voice recognition method, computer program, and device |
| CN108172222A (en) * | 2017-12-08 | 2018-06-15 | 石化盈科信息技术有限责任公司 | A kind of workbench voice control measures and procedures for the examination and approval and system |
| US10434412B2 (en) | 2014-10-24 | 2019-10-08 | Sony Interactive Entertainment Inc. | Control apparatus, control method, program, and information storage medium |
| JP2022550609A (en) * | 2020-06-29 | 2022-12-02 | バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド | Mini-program voice control method, device and storage medium |
| US11984120B2 (en) | 2020-06-29 | 2024-05-14 | Beijing Baidu Netcom Science Technology Co., Ltd. | Voice control method for applet and device, and storage medium |
-
1997
- 1997-02-13 JP JP2823097A patent/JPH10222337A/en active Pending
Cited By (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1195793A (en) * | 1997-09-17 | 1999-04-09 | Toshiba Corp | Voice input interpreting device and voice input interpreting method |
| JP2000089791A (en) * | 1998-09-09 | 2000-03-31 | Nippon Telegr & Teleph Corp <Ntt> | Speech recognition method, its apparatus and program recording medium |
| JP2002525690A (en) * | 1998-09-21 | 2002-08-13 | トムソン マルチメディア | System including a remotely controlled device and device for remote control based on audio of the device |
| JP2000099076A (en) * | 1998-09-25 | 2000-04-07 | Fujitsu Ltd | Performance environment setting device utilizing voice recognition, and method |
| EP1081587A2 (en) * | 1999-09-03 | 2001-03-07 | Sony Corporation | Voice controlled graphical user interface |
| EP1081587A3 (en) * | 1999-09-03 | 2002-08-21 | Sony Corporation | Voice controlled graphical user interface |
| JP2002091492A (en) * | 2000-07-13 | 2002-03-27 | National Institute Of Advanced Industrial & Technology | Device and method for supplementing voice and recording medium |
| US6876967B2 (en) | 2000-07-13 | 2005-04-05 | National Institute Of Advanced Industrial Science And Technology | Speech complementing apparatus, method and recording medium |
| US7505910B2 (en) | 2003-01-30 | 2009-03-17 | Hitachi, Ltd. | Speech command management dependent upon application software status |
| JP2011227507A (en) * | 2003-06-06 | 2011-11-10 | Trustees Of Columbia University In The City Of New York | System and method for voice activating web pages |
| JP2007010971A (en) * | 2005-06-30 | 2007-01-18 | Canon Inc | Speech recognition method and speech recognition apparatus |
| JP4667138B2 (en) * | 2005-06-30 | 2011-04-06 | キヤノン株式会社 | Speech recognition method and speech recognition apparatus |
| US8689135B2 (en) | 2005-08-11 | 2014-04-01 | Koninklijke Philips N.V. | Method of driving an interactive system and user interface system |
| JP2009505204A (en) * | 2005-08-11 | 2009-02-05 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Methods for driving interactive and interface systems |
| JP2007080242A (en) * | 2005-08-15 | 2007-03-29 | Kobe Steel Ltd | Information processing apparatus and program for same |
| JP2007104439A (en) * | 2005-10-05 | 2007-04-19 | Softbank Bb Corp | Content viewing system and content viewing method |
| JP2008003474A (en) * | 2006-06-26 | 2008-01-10 | Funai Electric Co Ltd | Electronic apparatus |
| US8279171B2 (en) | 2006-07-06 | 2012-10-02 | Panasonic Corporation | Voice input device |
| WO2008004486A1 (en) * | 2006-07-06 | 2008-01-10 | Panasonic Corporation | Voice input device |
| JP2010197643A (en) * | 2009-02-25 | 2010-09-09 | Gifu Univ | Interactive learning system |
| JP2011050639A (en) * | 2009-09-03 | 2011-03-17 | Olympia:Kk | Game machine |
| JP2011071937A (en) * | 2009-09-28 | 2011-04-07 | Kyocera Corp | Electronic device |
| WO2011037264A1 (en) * | 2009-09-28 | 2011-03-31 | 京セラ株式会社 | Electronic device and control method |
| JP2011198120A (en) * | 2010-03-19 | 2011-10-06 | Nec Personal Products Co Ltd | Image transfer device, method, and program |
| JP2013064777A (en) * | 2011-09-15 | 2013-04-11 | Ntt Docomo Inc | Terminal device, voice recognition program, voice recognition method and voice recognition system |
| US9013422B2 (en) | 2011-09-28 | 2015-04-21 | Kyocera Corporation | Device, method, and storage medium storing program |
| JP2013140359A (en) * | 2011-12-30 | 2013-07-18 | Samsung Electronics Co Ltd | Electronic apparatus and method for controlling the same |
| JP2013175180A (en) * | 2012-02-24 | 2013-09-05 | Pantech Co Ltd | Device and method for changing application |
| CN103294187A (en) * | 2012-02-24 | 2013-09-11 | 株式会社泛泰 | Apparatus and method for switching active application |
| JP2015525933A (en) * | 2012-07-26 | 2015-09-07 | ゼットティーイー コーポレーションＺｔｅ Ｃｏｒｐｏｒａｔｉｏｎ | Terminal voice auxiliary editing method and apparatus |
| US9734829B2 (en) | 2012-10-05 | 2017-08-15 | Kyocera Corporation | Electronic device, control method, and control program |
| WO2014054794A1 (en) * | 2012-10-05 | 2014-04-10 | 京セラ株式会社 | Electronic apparatus, control method, and control program |
| JP2014075104A (en) * | 2012-10-05 | 2014-04-24 | Kyocera Corp | Electronic apparatus, control method, and control program |
| JP2016502302A (en) * | 2012-12-07 | 2016-01-21 | バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド | Audio background control method, mobile terminal, and non-transitory computer-readable storage medium |
| US9880809B2 (en) | 2014-06-20 | 2018-01-30 | Lg Electronics Inc. | Mobile terminal and method for controlling the same |
| EP2985919A4 (en) * | 2014-06-20 | 2016-06-22 | Lg Electronics Inc | Mobile terminal and control method therefor |
| JPWO2016063621A1 (en) * | 2014-10-24 | 2017-05-25 | 株式会社ソニー・インタラクティブエンタテインメント | Control device, control method, program, and information storage medium |
| WO2016063621A1 (en) * | 2014-10-24 | 2016-04-28 | 株式会社ソニー・コンピュータエンタテインメント | Control device, control method, program and information storage medium |
| US10339928B2 (en) | 2014-10-24 | 2019-07-02 | Sony Interactive Entertainment Inc. | Control device, control method, program and information storage medium |
| US10434412B2 (en) | 2014-10-24 | 2019-10-08 | Sony Interactive Entertainment Inc. | Control apparatus, control method, program, and information storage medium |
| JP2017173530A (en) * | 2016-03-23 | 2017-09-28 | 富士通株式会社 | Voice input support program, head mounted display, voice input support method, and voice input support device |
| JP2018072784A (en) * | 2016-11-06 | 2018-05-10 | ナレルシステム株式会社 | Voice recognition method, computer program, and device |
| CN108172222A (en) * | 2017-12-08 | 2018-06-15 | 石化盈科信息技术有限责任公司 | A kind of workbench voice control measures and procedures for the examination and approval and system |
| JP2022550609A (en) * | 2020-06-29 | 2022-12-02 | バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド | Mini-program voice control method, device and storage medium |
| US11984120B2 (en) | 2020-06-29 | 2024-05-14 | Beijing Baidu Netcom Science Technology Co., Ltd. | Voice control method for applet and device, and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH10222337A (en) | Computer system | |
| US10748530B2 (en) | Centralized method and system for determining voice commands | |
| US5864819A (en) | Internal window object tree method for representing graphical user interface applications for speech navigation | |
| US5890122A (en) | Voice-controlled computer simulateously displaying application menu and list of available commands | |
| US8494862B2 (en) | Method for triggering at least one first and second background application via a universal language dialog system | |
| EP1521239B1 (en) | Multi-modal input form with dictionary and grammar | |
| US6311159B1 (en) | Speech controlled computer user interface | |
| US8831956B2 (en) | Speech command input recognition system for interactive computer display with interpretation of ancillary relevant speech query terms into commands | |
| US6085159A (en) | Displaying voice commands with multiple variables | |
| US7962344B2 (en) | Depicting a speech user interface via graphical elements | |
| US6233559B1 (en) | Speech control of multiple applications using applets | |
| US6401065B1 (en) | Intelligent keyboard interface with use of human language processing | |
| EP1076288B1 (en) | Method and system for multi-client access to a dialog system | |
| US20030023435A1 (en) | Interfacing apparatus and methods | |
| US6182046B1 (en) | Managing voice commands in speech applications | |
| TWI510965B (en) | Input method editor integration | |
| EP1544719A2 (en) | Information processing apparatus and input method | |
| EP1739656B1 (en) | Speech recognition method and speech recognition apparatus | |
| US6499015B2 (en) | Voice interaction method for a computer graphical user interface | |
| JP3476007B2 (en) | Recognition word registration method, speech recognition method, speech recognition device, storage medium storing software product for registration of recognition word, storage medium storing software product for speech recognition | |
| KR20100076998A (en) | Multimode user interface of a driver assistance system for inputting and presentation of information | |
| US6745165B2 (en) | Method and apparatus for recognizing from here to here voice command structures in a finite grammar speech recognition system | |
| RU2216052C2 (en) | Automatic speech recognition | |
| US20070061749A1 (en) | Virtual focus for contextual discovery | |
| JP2007240688A (en) | Speech recognition device and navigation device using the same, and speech authentication device, method and program |