JP4528384B2 - 音声入力用グラフィカル・ユーザ・インターフェースのための表示装置 - Google Patents
音声入力用グラフィカル・ユーザ・インターフェースのための表示装置 Download PDFInfo
- Publication number
- JP4528384B2 JP4528384B2 JP19511399A JP19511399A JP4528384B2 JP 4528384 B2 JP4528384 B2 JP 4528384B2 JP 19511399 A JP19511399 A JP 19511399A JP 19511399 A JP19511399 A JP 19511399A JP 4528384 B2 JP4528384 B2 JP 4528384B2
- Authority
- JP
- Japan
- Prior art keywords
- button
- voice input
- function
- icon
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Description
【発明の属する技術分野】
本発明は、パーソナルコンピュータ等の各種の情報処理装置が実行するアプリケーションプログラムに、ユーザが入力した文字列を引き渡すFEP(フロント・エンド・プロセッサ)に好適な音声入力用グラフィカル・ユーザ・インターフェース、その処理方法および記録媒体に関する。
【0002】
【従来の技術】
従来、情報処理装置で実行されているアプリケーションプログラム、たとえば、文書処理プログラムに、キーボードから入力された文字列を引き渡すプログラムが知られている。このプログラムはフロント・エンド・プロセッサ(FEP)と呼ばれている。日本語のかな漢字混じり文字を入力を行う場合には、キーボードのキーの操作で読みを入力すると、FEPは漢字辞書(読みと、読みに対応するかな混じり漢字の単語を記載した辞書)を使用して、読みに対応するかな混じり漢字の単語(以下、単語と略称する)に変換する、変換された単語が、入力の文字列としてとして、アプリケーションプログラムに引き渡される。
【0003】
このようなFEPに対して音声認識機能を付加し、音声で読みを入力して音声認識し、誤認識結果をキーボードの操作で訂正するようなFEPも提案されてきている。
【0004】
音声入力および音声認識機能を有するFEPの場合には、マイクロホンから音声を入力するモードと、キーボードから文字を入力するモードの切り替えが必要であり、この切り替えの指示は、表示画面上に表示されたアプレットから行われる。アプレットとは、動作指示用の複数のボタン、メニューを有するグラフィカル・ユーザ・インターフェースのことであり、音声入力ののアプレットの場合(図2の符号5参照)には、録音、再生等を指示する複数のボタンやその他各種の複数のボタンが用意されている。
【0005】
【発明が解決しようとする課題】
従来、音声入力モードとキーボードからの文字入力モードを切換えるためのグラフィカル・ユーザ・インターフェースは音声入力用のアプレット内に設けられていた。このため、ユーザはアプレットの内の多数のメニューあるいはボタンのグラフィカル・ユーザ・インタフェースの中からキーボード−音声切り替え用のグラフィカル・ユーザ・インターフェースを見つけて、操作しなければならず、操作が煩雑であるという不具合が従来例にはあった。
【0006】
そこで、本発明の目的は、上述の点を考慮して、音声入力モードのオン/オフの指示の他、この指示に関連する各種の設定が容易な音声入力用グラフィカル・ユーザ・インターフェース、その処理方法および記録媒体を提供することにある。
【0007】
【課題を解決するための手段】
このような目的を解決するために、請求項1の発明は、音声入力機能を有する情報処理装置に搭載され、音声入力機能のオン/オフを制御する音声入力用グラフィカル・ユーザ・インターフェースのための表示装置において、
表示画面上に1つのアイコンが表示され、該アイコンは第1のボタンおよび第2のボタンを有し、
ポインティングデバイスによる前記第1のボタンの操作に応じて、前記音声入力機能をオン/オフする第1の手段と、
前記ポインティングデバイスによる第2のボタンの操作に応じて、前記アイコンの動作条件を設定するウィンドウを表示させる第2の手段と
を具え、
前記アイコンの動作条件は前記音声入力機能をオン/オフするための前記第1のボタンの操作内容であり、
前記第1のボタンの操作内容は、前記ポインティングデバイスにより前記第1のボタンの位置が指定されている間だけ前記音声入力機能をオンする第1の操作モード、前記ポインティングデバイスにより前記第1のボタンの位置が指定され、その位置が確定されている間だけ前記音声入力機能をオンする第2の操作モードおよび前記ポインティングデバイスにより前記第1のボタンの位置が指定され、確定の操作毎に前記音声入力機能をオン/オフを切換える第3の操作モードのいずれかである
ことを特徴とする。
【0008】
請求項2の発明は、請求項1に記載の音声入力用グラフィカル・ユーザ・インターフェースのための表示装置において、前記情報処理装置はキーボードからの文字入力機能と、入力された入力音声の文字認識機能を有し、前記第1の手段は、前記音声入力機能をオンした場合には、入力された音声を音声認識機能に引き渡し、前記キーボードからの文字入力機能をオフさせることを特徴とする。
【0009】
請求項3の発明は、請求項2に記載の音声入力用グラフィカル・ユーザ・インターフェースのための表示装置において、前記情報処理装置は入力された文字列を文字処理する機能をさらに有し、該機能により前記文字認識機能により得られる文字列および前記キーボードから入力された文字列を文字処理することを特徴とする。
【0010】
請求項4の発明は、請求項3に記載の音声入力用グラフィカル・ユーザ・インターフェースのための表示装置において、前記情報処理装置は文書編集機能を有し、前記文字処理する機能により文字処理された文字列が文書編集機能に引き渡されることを特徴とする。
【0011】
請求項5の発明は、請求項1に記載の音声入力用グラフィカル・ユーザ・インターフェースのための表示装置において、前記アイコンの動作条件は前記アイコンの前記表示画面への表示開始のタイミングを含むことを特徴とする。
【0014】
請求項6の発明は、請求項1に記載の音声入力用グラフィカル・ユーザ・インターフェースのための表示装置において、前記第1のボタンの操作内容は、前記アイコンの大きさの選択を含むことを特徴とする。
【0015】
請求項7の発明は、請求項1に記載の音声入力用グラフィカル・ユーザ・インターフェースのための表示装置において、前記第2のボタンの操作に応じてプルダウンメニューが表示され、前記ポインティングデバイスによる該プルダウンメニューのメニュー選択に応じて前記アイコンの動作条件を設定するウィンドウが表示されることを特徴とする。
【0016】
請求項8の発明は、請求項7に記載の音声入力用グラフィカル・ユーザ・インターフェースのための表示装置において、前記プルダウンメニューの中には現在のアイコンの表示を消去するメニューが含まれることを特徴とする。
【0017】
請求項9の発明は、音声入力機能を有する情報処理装置に搭載され、音声入力機能のオン/オフを制御する音声入力用グラフィカル・ユーザ・インターフェースの処理方法において、
表示画面上に1つのアイコンが表示され、該アイコンは第1のボタンおよび第2のボタンを有し、前記音声入力用グラフィカル・ユーザ・インターフェースは、
ポインティングデバイスによる前記第1のボタンの操作に応じて、前記音声入力機能をオン/オフし、
前記ポインティングデバイスによる第2のボタンの操作に応じて、前記アイコンの動作条件を設定するウィンドウを表示させ、
前記アイコンの動作条件は前記音声入力機能をオン/オフするための前記第1のボタンの操作内容であり、
前記第1のボタンの操作内容は、前記ポインティングデバイスにより前記第1のボタンの位置が指定されている間だけ前記音声入力機能をオンする第1の操作モード、前記ポインティングデバイスにより前記第1のボタンの位置が指定され、その位置が確定されている間だけ前記音声入力機能をオンする第2の操作モードおよび前記ポインティングデバイスにより前記第1のボタンの位置が指定され、確定の操作毎に前記音声入力機能をオン/オフを切換える第3の操作モードのいずれかであることを特徴とする。
【0018】
請求項10の発明は、請求項9に記載の音声入力用グラフィカル・ユーザ・インターフェースの処理方法において、前記情報処理装置はキーボードからの文字入力機能と、入力された入力音声の文字認識機能を有し、音声入力用グラフィカル・ユーザ・インターフェースは前記音声入力機能をオンした場合には、入力された音声を音声認識機能に引き渡し、前記キーボードからの文字入力機能をオフさせることを特徴とする。
【0019】
請求項11の発明は、請求項10に記載の音声入力用グラフィカル・ユーザ・インターフェースの処理方法において、前記情報処理装置は入力された文字列を文字処理する機能をさらに有し、該機能により前記文字認識機能により得られる文字列および前記キーボードから入力された文字列を文字処理することを特徴とする。
【0020】
請求項12の発明は、請求項11に記載の音声入力用グラフィカル・ユーザ・インターフェースの処理方法において、前記情報処理装置は文書編集機能を有し、前記文字処理する機能により文字処理された文字列が文書編集機能に引き渡されることを特徴とする。
【0021】
請求項13の発明は、請求項9に記載の音声入力用グラフィカル・ユーザ・インターフェースの処理方法において、前記アイコンの動作条件は前記アイコンの前記表示画面への表示開始のタイミングを含むことを特徴とする。
【0024】
請求項14の発明は、請求項9に記載の音声入力用グラフィカル・ユーザ・インターフェースの処理方法において、前記第1のボタンの操作内容は、前記アイコンの大きさの選択を含むことを特徴とする。
【0025】
請求項15の発明は、請求項9に記載の音声入力用グラフィカル・ユーザ・インターフェースの処理方法において、前記第2のボタンの操作に応じてプルダウンメニューが表示され、前記ポインティングデバイスによる該プルダウンメニューのメニュー選択に応じて前記アイコンの動作条件を設定するウィンドウが表示されることを特徴とする。
【0026】
請求項16の発明は、請求項15に記載の音声入力用グラフィカル・ユーザ・インターフェースの処理方法において、前記プルダウンメニューの中には現在のアイコンの表示を消去するメニューが含まれることを特徴とする。
【0027】
請求項17の発明は、音声入力機能を有する情報処理装置により読み出され、実行されるプログラムであって、音声入力機能のオン/オフを制御する音声入力用グラフィカル・ユーザ・インターフェースのためのプログラムを記録した記録媒体において、前記プログラムは、
表示画面上に1つのアイコンが表示され、該アイコンは第1のボタンおよび第2のボタンを有する状態において、ポインティングデバイスによる前記第1のボタンの操作に応じて、前記音声入力機能をオン/オフする第1のステップと、
前記ポインティングデバイスによる第2のボタンの操作に応じて、前記アイコンの動作条件を設定するウィンドウを表示させる第2のステップと
を具え、
前記アイコンの動作条件は前記音声入力機能をオン/オフするための前記第1のボタンの操作内容であり、
前記第1のボタンの操作内容は、前記ポインティングデバイスにより前記第1のボタンの位置が指定されている間だけ前記音声入力機能をオンする第1の操作モード、前記ポインティングデバイスにより前記第1のボタンの位置が指定され、その位置が確定されている間だけ前記音声入力機能をオンする第2の操作モードおよび前記ポインティングデバイスにより前記第1のボタンの位置が指定され、確定の操作毎に前記音声入力機能をオン/オフを切換える第3の操作モードのいずれかであることを特徴とする。
【0028】
請求項18の発明は、請求項17に記載の記録媒体において、前記情報処理装置はキーボードからの文字入力機能と、入力された入力音声の文字認識機能を有し、前記第1のステップにより前記音声入力機能をオンした場合には、入力された音声が音声認識機能に引き渡され、前記キーボードからの文字入力機能がオフされることを特徴とする。
【0029】
請求項19の発明は、請求項18に記載の記録媒体において、前記情報処理装置は入力された文字列を文字処理する機能をさらに有し、該機能により前記文字認識機能により得られる文字列および前記キーボードから入力された文字列を文字処理することを特徴とする。
【0030】
請求項20の発明は、請求項19に記載の記録媒体において、前記情報処理装置は文書編集機能を有し、前記文字処理する機能により文字処理された文字列が文書編集機能に引き渡されることを特徴とする記録媒体。
【0031】
請求項21の発明は、請求項17に記載の記録媒体において、前記アイコンの動作条件は前記アイコンの前記表示画面への表示開始のタイミングを含むことを特徴とする。
【0034】
請求項22の発明は、請求項17に記載の記録媒体において、前記第1のボタンの操作内容は、前記アイコンの大きさの選択を含むことを特徴とする。
【0035】
請求項23の発明は、請求項17に記載の記録媒体において、前記第2のボタンの操作に応じてプルダウンメニューが表示され、前記ポインティングデバイスによる該プルダウンメニューのメニュー選択に応じて前記アイコンの動作条件を設定するウィンドウが表示されることを特徴とする。
【0036】
請求項24の発明は、請求項23に記載の記録媒体において、前記プルダウンメニューの中には現在のアイコンの表示を消去するメニューが含まれることを特徴とする。
【0037】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【0038】
図1は、本発明実施形態の音声入力用グラフィカル・ユーザ・インターフェース(以下、GUIと略記する)のためのアイコンの表示の一例を示す。
【0039】
図1において、アイコン1が音声入力用のGUIである。アイコン1は音声入力モードとキーボードからの文字入力モード(キーボード入力モードと略記する)の切換えを行うためのボタン2と音声入力に関わる動作条件を設定するサブウィンドウ画面を表示されるボタン3を有する。ボタン1をマウスのようなポインティングデバイスで操作すると、マイクロホンからの音声入力が可能となる音声入力モードが設定される。
【0040】
このモード設定に応じて、たとえば、エディタと呼ばれる簡易文書編集用ソフトウェアと文字認識機能付きFEPが起動する。
【0041】
エディタの起動に応じて図2の文書編集用のウィンドウ画面4が表示され、上記FEPの起動に応じて、図2の音声入力用のアプレット5が表示される。マイクロホンから入力された音声が、上記FEP文字認識機能により音声認識され、音声認識結果が文書編集用ウィンドウ4内に表示される。
【0042】
ユーザが音声をマイクロホンから入力したい場合には、ユーザはマウスカーソルをアイコン1のボタン2の位置に移動し、左クリックボタンを操作する。本実施形態ではボタン2の操作方法としては3種類が用意されており、ユーザは所望の操作方法を後述のプロパティ画面で選択することができる。
【0043】
ユーザが音声入力を中止し、キーボードから文字を入力したい場合は、アイコン1のボタン2の操作を中止すればよい。
【0044】
ボタン1が操作されないデフォルト状態ではキーボードからの文字入力が可能となるモードが自動的に設定される。キーボードからの文字入力モードが設定されると、上記エディタや他の文書処理用のワープロソフトの実行時に、従来と同様、キーボードから入力された読みを示す文字列がFEPによりかな混じり漢字文字列に変換されて文書編集用ソフトに引き渡される。
【0045】
ボタン3は音声入力モードおよびキーボード入力モードのいずれにおいても操作可能であり、ボタン3を操作している間、より正確にはユーザが、マウスカーソルをボタン3(逆三角形の図形)内に位置させて、マウスの左クリックボタンを押下している間、図3のメニュー画面が表示される。メニュー画面にはプロパティ、バージョン情報を表示させるためのメニューおよびその他のメニューが用意されている。
【0046】
ちなみに「閉じる」の表記を持つメニューは、アイコン1の常時の中止を指示するためのメニューであり、このメニューの選択に応じて、現在、表示画面に表示されているアイコン1が表示画面から消去される。「キャンセル」の表記を持つメニューは、動作指示をキャンセルためのメニューであり、このメニュをユーザが選択すると、メニュー画面6が表示画面から消去される。
【0047】
ユーザがマウスの左クリックボタンを押したままマウスカーソルをプロパティ用のメニュー(図3のプロパティの表記)にマウスカーソルをあわせるとこのメニュー部分がハイライト(白黒反転すること)される。この状態において、ユーザがマウスの左クリックボタンの押下を止めると図4に示すようなサブウィンドウ7が表示される。
【0048】
サブウィンドウ7は、アイコン1に関連する動作条件を設定するための画面である。ボタン8およびボタン9はオンの状態をレ記号で表し、オフの状態がレ記号がない状態で表す。ボタン8,9はユーザがそのボタンの位置にマウスカーソルを移動し、マウスの左ボタンを1回押下すると、現在の設定モード(オン/オフ)が逆のモード(オフ/オン)に切換えられる。
【0049】
ボタン9〜15も各ボタンに割り当てられた設定モードのオン/オフがボタンの操作ごとに切換えられる。オンの場合には・記号が表示され、オフの場合には・記号が表示されない。
【0050】
ボタン8,9はアイコン1の表示開始タイミングを選択するためのボタンである。
【0051】
ボタン8によりウィンドウの起動時にアイコン1を表示するか(オン)否か(オフ)が設定される。オンに設定されると、情報処理装置に電源が投入され、オペレーティングシステム(OS)が起動したときに、アイコン1が表示される。
【0052】
ボタン9によりアイコン1を音声入力用アプレット5(図2参照)の起動時に表示するか否か設定される。オンに設定されると、音声入力アプレット5が起動され、かつ、表示画面上にアイコン1が表示されていない場合には、アイコン1が表示される。
【0053】
ボタン10〜12はアイコン1のボタン2の操作方法を選択するためのボタンである。これらのボタン10〜12のいずれか1つだけがオン可能である。ボタン10をオンすると、マウスポインタをアイコン1のボタン2の範囲内に置いている間は音声入力が可能となる。
【0054】
ボタン12をオンすると、マウスカーソルをアイコン1のボタン2に置いた状態で、マウスの左クリックボタンをクリック(押下)したままの状態の間だけ音声入力が可能となる。
【0055】
ボタン12をオンするとマウスカーソルをアイコン1のボタン2に置いた状態で、マウスの左クリックボタンをユーザが1回クリックすると、音声入力が可能となり、音声入力可能状態で左クリックボタンをユーザがクリックすると、音声入力不可の状態となる。したがって、左クリックボタンの毎に音声入力機能のオン/オフが切り換わる。
【0056】
ボタン13〜15はアイコン1の大きさを選択するためのボタンである。アイコン1は大中小の3種類のいずれか1つをボタン13〜15により選択することができる。
【0057】
ボタン16はウィンドウ7内の現在、表示されている設定状態をハードディスクに保存して、ウィンドウ7を閉じるように指示するボタンである。
【0058】
ボタ8〜ボタン15のオンオフ状態はフラグの形態で、ハードディスクに記憶され、アイコン1の操作が行われた時点や他の時点で参照される。ボタン17はウィンドウ7内の現在、表示されている設定状態を保存せず、ウィンドウ7を閉じるように指示するボタンである。
【0059】
以上、説明したプロパティ表示用ウィンドウ7を使用してユーザはアイコン1の動作環境(音声入力用GUIの動作条件)を任意の時点で設定することができる。
【0060】
このような音声入力用GUIを使用使用する情報処理装置のシステム構成の一例を図5を参照して説明する。本実施形態では、OSとしてウィンドウズ98(マイクロソフト社の商標)を搭載した汎用のパーソナルコンピュータについて説明する。
【0061】
図5において、100はCPUであり、システムメモリ101にロードされたプログラムを実行する。システムメモリ101はCPU100の実行するプログラムで必要な入力データ、プログラムの実行結果等各種のデータを保存する。また、システムメモリ101はディスプレイ107に表示するデータや、キーボード106やマイクロホン103から入力されたデータを一時記憶する。
【0062】
103は入出力インターフェース(I/O)であり、マイクロホン103から入力された音声信号をアナログからデジタルに変換する。104はCDROMドライブであり、装着されたCDROMからデータを読み取る。本実施形態では、音声認識機能付きFEPおよび音声入力用GUI(アイコン1の操作で動作するプログラム)を実現するためのプログラムおよび関連のデータをCDROMから読み取る。読み取られたプログラムおよび関連のデータは後述のハードディスク記憶装置(HD)108にインストールされる。
【0063】
106はキーボードであり、文字に対応するキーを押下することで、文字を入力する。107はディスプレイであり、キーボード106またはマイクロホンから入力された文字入力された文字や、CPU100の演算結果を可視表示する。115はディスプレイ107の表示画面上に表示されたポインタ(カーソル図形)を移動させ、また、その位置を確定のために指示することの可能なポインティングデバイスであり、本実施形態では、マウスを使用する。上記ポインタの移動はマウス115自身をユーザが移動し、ポインタの位置の確定は左クリックボタンで行われる。
【0064】
108はHDである。HD108には以下に述べるプログラム、データが保存目的で記憶kされている。
【0065】
109はパーソナルコンピュータおよび周辺機器を制御するためのOSであり、本実施形態では上述のウィンドウズ98が使用される。110は、設定データであり、図4のプロパティ画面でボタン8〜15により設定された情報がコンテキスト(データの集合、データセットとも呼ばれる)の形態で記憶される。
【0066】
111は音声認識用プログラムであり、マイクロホン103から入力された音声を音声認識し、音声認識結果として文字列(文字コード)を出力する。音声認識プログラムは周知のもの、たとえば、隠れマルコフモデルを使用した音声認識プログラムを使用することができる。
【0067】
112は音声入力用のGUIを実現するプログラムである。このプログラムの内容については後で詳細に説明する。
【0068】
113はアイコン1のボタン2が最初に操作された時に初期的に表示されるエディタである。114はキーボード106から入力された読みの文字列をかな漢字混じり文字列(かなのみの文字列、漢字のみの文字列、1文字を含む)に変換するFEPである。
【0069】
その他、HDには各種のアプリケーションプログラムが搭載されている。また、図1のアイコン1を表示するためのイメージデータも音声入力用GUI関連データとして記憶されている。
【0070】
このようなシステム構成において実行される音声入力用GUIの動作を図6〜図11のフローチャートを参照して説明する。
【0071】
図6はOS109により実行するCPU100の処理利内容を示す。図7は音声入力用GUIのプログラム112の動作条件設定処理手順を示す。
【0072】
図8は音声入力用GUIにより音声認識プログラムを起動する時のCPU100の処理内容を示す。図9〜図11はアイコン1がポインティングデバイス115により操作された時のCPU100の処理内容を示す。なお、音声入力用GUIのプログラム112をインストールした際にはデフォルトで、アイコン1はOS109の起動時に表示される設定となっているものとする。
【0073】
(動作条件の設定)
ユーザがパーソナルコンピュータの電源を投入するとOS109による初期処理において図6の処理手順が実行される。すなわち、CPU10はブート処理を実行した後、図4の動作条件に関する設定情報(ボタン8による設定情報)を参照し、OSの起動時にアイコン1を表示するか否かを判定する(ステップS20)。
【0074】
この例の場合にはボタン8の設定はオンになっているので、CPU1は従来のアイコン表示と同様、アイコン1のイメージ(オブジェクト)をその表示位置情報(HD108またはシステムメモリ101にインストール時にデフォルトのデータが記憶)の示す表示位置に表示させる。また、インストール時に自動設定されたアイコン1の大きさとなるようアイコン1のイメージが作成される(ステップS30)。
【0075】
CPU100は続いて、電源起動時の従来の初期処理を行う(ステップS40)。ボタン8による設定がオフの場合には手順はステップS20→S40へと進むので、アイコン1の表示は行われない。
【0076】
初期処理の終了後、ユーザはワードを起動した後、表示画面中のアイコン1のボタン3(図1参照)にマウスポインタを置き、マウス115の左クリックボタンをクリックし、押下したままの状態を続ける。左クリックボタンの押下に応じて、マウスイベントが発生し、OSがマウスの押下を検知する。この検知に応じて、図7の処理手順がCPU100により実行される。
【0077】
CPU100はマウスポインタの位置を示す座標値を取得し、マウスポインタの位置がアイコン1の中にあるか否かを判定する。この場合、判定はYESが得られるので、手順はステップS100→S110へと進む。続いてボタン2の操作の有無の判定、ボタン3の操作の有無の判定が行われる(ステップS110→S120)。
【0078】
ステップS120の判定において、ボタン3の操作が行われたことが検出されて、CPU100は図3のプルダウンメニュー用のサブウィンドウ6を表示させる(ステップS120→S121)。
【0079】
ユーザはマウス115の左クリックボタンを押した状態でマウスポインタを「プロパティ」メニューにおき、次に左クリックボタンの押下を中止する。CPU100は従来と同様マウスポインタの位置と、左クリックボタン操作の種類の識別により「プロパティ」メニューが選択されたことを検知して、図4の動作条件設定用のウィンドウを表示させる(ステップS122)。
【0080】
ユーザは図4のウィンドウ4で所望のボタンをマウス115により操作してアイコン1の動作条件を設定する。最後にユーザはOKボタン16を操作すると、現在のボタン8〜15の設定状態がHD108の記憶領域110に更新的に記憶される(ステップS123)。
【0081】
なお、プルダウンメニューで他のメニューがユーザに選択された場合は、そのメニューに対応した処理が実行されるが、本発明とは関係がないので、その詳細な説明を省略する。
【0082】
以上でアイコン1の動作条件の設定が終了する。
【0083】
(音声入力)。
【0084】
音声入力機能のユーザの使用法としては、次の2種類がある。
【0085】
(a)アプリケーションを起動しない状態でユーザはアイコン1のボタン2を操作し、簡易エディタを自動起動させて音声で文字を入力する。簡易エディタにより作成された文書をメモ帳または備忘録として使用するときに(a)の方法が好適である。
【0086】
(b)アプリケーションでの文字入力のために音声入力を使用する。この場合、ユーザは先にアプリケーションを起動し、その後で、アイコン1のボタン2を操作する。本実施形態では、ワード(マイクロソフト社の商標)のようなワープロソフトを例に説明する。
【0087】
ユーザがマウスポインタをアイコン1のボタン2に置いて、予め図4のボタン10〜12のいずれかで設定した方法で、音声入力機能をオンさせる。この操作によりマウスイベントが発生し、図7の処理手順がCPU100において実行される。
【0088】
ボタン2の操作はステップS110において検出される。より具体的は、CPU100はステップS110において、マウスポインタの位置が、ボタン2の中であることおよびボタン10〜12のいずれかにより指示されたボタン2の操作方法であることを確認すると、手順をステップS111へと進め、音声入力機能を起動する。ステップS111の詳細は図8を使用して説明する。
【0089】
ボタン10による設定の場合(第1の操作モードと略記する)、すなわち、マウスポインタがボタン2に置かれている間を検知する場合には、CPU100は、マウスポインタの位置がボタン2内にあることを検知すればよい。この処理手順を図9に示す。
【0090】
ボタン11による設定の場合(第2の操作モードと略記する)、すなわち、左クリックボタンによりボタン2を押している間を検知する場合には、CPU100はマウスポインタの位置がボタン2内にあることおよびマウス115の左クリックボタンが押下状態にあることの2つの条件を満足するか否かの判定を行えばよい。この処理手順を図10に示す。
【0091】
ボタン12による設定の場合(第3の操作モード)、すなわち、ボタン2をトグルスウィッチとして使用する場合には、マウス115の左クリックボタンが押下される毎に、フラグ情報のオン/オフを判定させる。フラグ情報がオンの場合には音声入力許可、オフの場合には音声入力禁止とする。この処理手順を図11に示す。
【0092】
マウスポインタがアイコン1の外に置かれている場合は手順は、ステップS100→S101へと進み、従来から知られている、マウスポインタの移動処理や、他のアイコンの起動処理等が行われる。
【0093】
ステップS111の詳細を図8に示す。
【0094】
図8において、CPU1はHD108上の音声認識プログラム111を起動する。次に、ワードがアクチブ(起動され、使用可能な状態にあること)であるか否かをOS109により管理されているシステム情報に基づき判定する。ワードがアクチブではない場合には、エディタ113が起動され、音声認識結果の出力先に設定された後(ステップS210→S211)、手順がステップS220に進む。
【0095】
一方、ワードがアクチブの場合には手順はステップS210→S220へと進み、ステップS220〜S240の間で、ユーザが行ったアイコン1のボタン2の操作が上述の第1〜第3の操作モードのずれかの識別を行う。ユーザが予め設定した操作モードに対応したボタン2の操作を行ったことが、ステップS220〜S240の間で検出されると、その操作モード毎にスイッチフラグがオン/オフされる。(ステップS221,S231,S241、詳細は図9〜図11)。スイッチフラグはオンの場合、マイクロホン103の入力音声をCPU100に転送することが許可されていることを示し、オフの場合、入力音声の転送が禁止されていることを示す。
【0096】
なお、音声入力機能がオンの間はキーボード入力機能はオフされ、音声入力機能がオフの間はキーボード入力機能がオンされる。
【0097】
マイクロホン102から入力があったことをI/O102が検出すると、割り込み信号がCPU100に対して送られ、CPU100は割り込み処理により上記スイッチフラグを参照して入力音声のCPU1への入力、キーボードからの文字入力の要否を決定する(ステップS250)。これにより、アイコン1のボタン2の操作に応じて、音声入力機能のオン/オフを制御することができる。
【0098】
CPU100に取り込まれた入力音声は、システムメモリ101内の特定領域に入力音声(デジタルデータ)を書き込むことで、音声認識プログラムに入力音声を引き渡す。
【0099】
CPU100は音声認識プログラムを実行し、音声認識結果をシステムメモリの特定領域に書き込むことでFEP114に引き渡す。マルチタスクによりCPU100がFEP114を実行すると、CPU101は音声認識の結果を文字処理、この場合には、同音異議語の選択や誤認識結果の訂正を行って、文字処理結果をエディタ113またはワードに引き渡す。これにより、表示画面の文書編集画面には音声で入力された単語が可視表示される。
【0100】
音声認識処理、FEP処理は従来と同様とすることができるので、詳細な説明を省略する。
【0101】
アイコン1のボタン2により音声入力が指示されている間は、ステップS260→S220の間のループ処利が繰り返されて、入力された音声が、音声認識プログラムに引き渡される。
【0102】
ユーザがアイコン1のボタン2の操作で音声入力の中止を指示すると、操作モードに対応したボタン2のオン/オフ判定処理(S221,231,241、詳細は図9〜図11)でスイッチフラグがオフに設定されるので、文字の入力モードが音声入力モードからキーボード入力モードに切換えられる。
【0103】
以上説明した音声入力用のGUIを実現するための個々のGUIは従来から知られているGUI、すなわち、ボタン、メニュー、アイコン等などのGUIを使用することができる。しかしながら、本実施形態の音声入力GUIは上述の周知のGUIの組み合わせ方および用途が従来にはないものである。
【0104】
以上、述べた実施形態は、本発明を説明するための一実施形態であり、特許請求の範囲に記載された技術思想にしたがって、上述の実施形態に対する変形、設計変更が可能であるが、変更されたGUI,その表示方法および記録媒体はいずれも特許請求の範囲で規定される特許権の範囲内にある。上述の実施形態の他にたとえば、次の実施形態を実施できる。
【0105】
1)上述の実施形態のアイコン1の形状は図1の表示例に限定することなく、ユーザあるいはデベロッパーが自由に決定すればよい。
【0106】
2)上述の実施形態では、アイコン1のボタン2の操作で、特定のエディタを起動したが、ユーザが任意のアプリケーションを指定することができる。この場合には図4のウィンドウ画面7内に、アプリケーションのパス(アプリケーションが記憶されている場所)を指定するための周知のGUIを設ければよい。
【0107】
3)上述の実施形態では、日本語を処理するFEPとアイコン1をリンクさせる例を示したが、FEPは日本語に限ることはない。英語他各種の言語のための音声入力機能付きFEPあるいは音声認識プログラムとアイコン1をリンクさせて使用してもよい。
【0108】
4)上述の実施形態では、アイコンの表示、消去の制御、ボタンの操作に応じて予め定められたGUI用のプログラムを起動するための制御をOSが実行しているが、OSがこれらの制御機能を有していない場合には、この制御のためのプログラムをGUI用のプログラムに付加すればよい。
【0109】
5)上述の実施形態では、音声入力用GUIを汎用のパーソナルコンピュータに搭載する例を示したが、情報処理装置はワークステーション、サーバ、携帯用電子端末(電子手帳)各種のプログラム実行可能な情報処理装置とすることができる。
【0110】
6)上述の実施形態では、ポインティングデバイスとしてマウスを使用したが、トラックボールなど、表示画面上の指定位置を移動させ、指定位置を確定することの可能なデバイスを使用することができる。
【0111】
7)本発明で言う記録媒体とは、CPUが実行するプログラムを記録しておき、デバイスにより読み取り可能な媒体を言う。記録媒体としては、CDROM以外に、ICメモリ、HD,フロッピーディスク、光磁気ディスク(MO)など周知の記録媒体を使用することができる。
【0112】
また、記録媒体に記録されるプログラムは、プログラムそのもの、圧縮したもの、暗号化したもののいずれでもよく、これらのデータはすべて本発明のプログラムの概念の中に含まれる。
【0113】
さらにインターネット、LANなどのネットワークあるいは信号線を介して、プログラムを情報処理装置に転送(ダウンロード)する場合には、転送元の装置の上記プログラムを記憶する記録媒体または記憶デバイスが本発明の記録媒体に該当する。
【0114】
8)上述の実施形態では、入力した音声を音声認識する例であったが、入力音声を他の目的で使用することもできる。たとえば、インターネット電話、テレビ会議、録音再生等のアプリケーションとアイコン1を関連付け(リンクさせ)、アイコン1のボタン2の操作で入力音声を各種のアプリケーションプログラムに引き渡すことができる。この場合、キーボード入力と音声入力を切換え制御する必要はないが、この切り替え制御を行ったほうが、キーの打鍵の音により、マイクロホンに雑音が混入することを避けることができる。
【0115】
9)アイコン1はマウス115の操作で表示画面の任意の位置に移動可能にすればよい。
【0116】
10)アイコン1は消去可能であるので、別のアプリケーションからの指示で再表示可能とするとよい。たとえば、FEPのためのGUIからアイコン1を表示させてもよい。
【0117】
【発明の効果】
以上、説明したように、本発明によれば、表示画面に表示されたアイコン中の第1のボタンを操作するだけで音声入力機能をオン/オフすることができる。これにより、従来のように複数の文字やアイコンが混在するアプレット中で音声入力モードの切り替えを指示する必要がなくなる。また、操作も容易となり、誤操作もなくなる。さらに、このアイコンの中にアイコンの動作条件を設定するウィンドウを表示させるボタンを含ませることで、ユーザは必要に応じて、アイコンの表示を消去したり、第1のボタンの操作方法を規定したり、アイコン開始タイミング、アイコン表示を設定することができる。
【図面の簡単な説明】
【図1】本発明実施形態の初期表示画面を示す説明図である。
【図2】音声入力用アプレットおよびエディタの編集用画面を示す説明図である。
【図3】アイコン1に関連するメニュー画面を示す説明図である。
【図4】アイコン1に関するプロパティを示す説明図である。
【図5】本発明を適用した情報処理装置のシステム構成を示すブロック図である。
【図6】本発明実施形態の処理手順を示すフローチャートである。
【図7】本発明実施形態の処理手順を示すフローチャートである。
【図8】本発明実施形態の処理手順を示すフローチャートである。
【図9】本発明実施形態の処理手順を示すフローチャートである。
【図10】本発明実施形態の処理手順を示すフローチャートである。
【図11】本発明実施形態の処理手順を示すフローチャートである。
【符号の説明】
1 アイコン
2,3、8〜17 ボタン
4 文書編集画面
6 メニュー
Claims (24)
- 音声入力機能を有する情報処理装置に搭載され、音声入力機能のオン/オフを制御する音声入力用グラフィカル・ユーザ・インターフェースのための表示装置において、
表示画面上に1つのアイコンが表示され、該アイコンは第1のボタンおよび第2のボタンを有し、
ポインティングデバイスによる前記第1のボタンの操作に応じて、前記音声入力機能をオン/オフする第1の手段と、
前記ポインティングデバイスによる第2のボタンの操作に応じて、前記アイコンの動作条件を設定するウィンドウを表示させる第2の手段と
を具え、
前記アイコンの動作条件は前記音声入力機能をオン/オフするための前記第1のボタンの操作内容であり、
前記第1のボタンの操作内容は、前記ポインティングデバイスにより前記第1のボタンの位置が指定されている間だけ前記音声入力機能をオンする第1の操作モード、前記ポインティングデバイスにより前記第1のボタンの位置が指定され、その位置が確定されている間だけ前記音声入力機能をオンする第2の操作モードおよび前記ポインティングデバイスにより前記第1のボタンの位置が指定され、確定の操作毎に前記音声入力機能をオン/オフを切換える第3の操作モードのいずれかである
ことを特徴とする音声入力用グラフィカル・ユーザ・インターフェースのための表示装置。 - 請求項1に記載の音声入力用グラフィカル・ユーザ・インターフェースのための表示装置において、前記情報処理装置はキーボードからの文字入力機能と、入力された入力音声の文字認識機能を有し、前記第1の手段は、前記音声入力機能をオンした場合には、入力された音声を音声認識機能に引き渡し、前記キーボードからの文字入力機能をオフさせることを特徴とする音声入力用グラフィカル・ユーザ・インターフェースのための表示装置。
- 請求項2に記載の音声入力用グラフィカル・ユーザ・インターフェースのための表示装置において、前記情報処理装置は入力された文字列を文字処理する機能をさらに有し、該機能により前記文字認識機能により得られる文字列および前記キーボードから入力された文字列を文字処理することを特徴とする音声入力用グラフィカル・ユーザ・インターフェースのための表示装置。
- 請求項3に記載の音声入力用グラフィカル・ユーザ・インターフェースのための表示装置において、前記情報処理装置は文書編集機能を有し、前記文字処理する機能により文字処理された文字列が文書編集機能に引き渡されることを特徴とする音声入力用グラフィカル・ユーザ・インターフェースのための表示装置。
- 請求項1に記載の音声入力用グラフィカル・ユーザ・インターフェースのための表示装置において、前記アイコンの動作条件は前記アイコンの前記表示画面への表示開始のタイミングを含むことを特徴とする音声入力用グラフィカル・ユーザ・インターフェースのための表示装置。
- 請求項1に記載の音声入力用グラフィカル・ユーザ・インターフェースのための表示装置において、前記第1のボタンの操作内容は、前記アイコンの大きさの選択を含むことを特徴とする音声入力用グラフィカル・ユーザ・インターフェース。
- 請求項1に記載の音声入力用グラフィカル・ユーザ・インターフェースのための表示装置において、前記第2のボタンの操作に応じてプルダウンメニューが表示され、前記ポインティングデバイスによる該プルダウンメニューのメニュー選択に応じて前記アイコンの動作条件を設定するウィンドウが表示されることを特徴とする音声入力用グラフィカル・ユーザ・インターフェースのための表示装置。
- 請求項7に記載の音声入力用グラフィカル・ユーザ・インターフェースのための表示装置において、前記プルダウンメニューの中には現在のアイコンの表示を消去するメニューが含まれることを特徴とする音声入力用グラフィカル・ユーザ・インターフェースのための表示装置。
- 音声入力機能を有する情報処理装置に搭載され、音声入力機能のオン/オフを制御する音声入力用グラフィカル・ユーザ・インターフェースの処理方法において、
表示画面上に1つのアイコンが表示され、該アイコンは第1のボタンおよび第2のボタンを有し、前記音声入力用グラフィカル・ユーザ・インターフェースは、
ポインティングデバイスによる前記第1のボタンの操作に応じて、前記音声入力機能をオン/オフし、
前記ポインティングデバイスによる第2のボタンの操作に応じて、前記アイコンの動作条件を設定するウィンドウを表示させ、
前記アイコンの動作条件は前記音声入力機能をオン/オフするための前記第1のボタンの操作内容であり、
前記第1のボタンの操作内容は、前記ポインティングデバイスにより前記第1のボタンの位置が指定されている間だけ前記音声入力機能をオンする第1の操作モード、前記ポインティングデバイスにより前記第1のボタンの位置が指定され、その位置が確定されている間だけ前記音声入力機能をオンする第2の操作モードおよび前記ポインティングデバイスにより前記第1のボタンの位置が指定され、確定の操作毎に前記音声入力機能をオン/オフを切換える第3の操作モードのいずれかであることを特徴とする音声入力用グラフィカル・ユーザ・インターフェースの処理方法。 - 請求項9に記載の音声入力用グラフィカル・ユーザ・インターフェースの処理方法において、前記情報処理装置はキーボードからの文字入力機能と、入力された入力音声の文字認識機能を有し、音声入力用グラフィカル・ユーザ・インターフェースは前記音声入力機能をオンした場合には、入力された音声を音声認識機能に引き渡し、前記キーボードからの文字入力機能をオフさせることを特徴とする音声入力用グラフィカル・ユーザ・インターフェースの処理方法。
- 請求項10に記載の音声入力用グラフィカル・ユーザ・インターフェースの処理方法において、前記情報処理装置は入力された文字列を文字処理する機能をさらに有し、該機能により前記文字認識機能により得られる文字列および前記キーボードから入力された文字列を文字処理することを特徴とする音声入力用グラフィカル・ユーザ・インターフェースの処理方法。
- 請求項11に記載の音声入力用グラフィカル・ユーザ・インターフェースの処理方法において、前記情報処理装置は文書編集機能を有し、前記文字処理する機能により文字処理された文字列が文書編集機能に引き渡されることを特徴とする音声入力用グラフィカル・ユーザ・インターフェースの処理方法。
- 請求項9に記載の音声入力用グラフィカル・ユーザ・インターフェースの処理方法において、前記アイコンの動作条件は前記アイコンの前記表示画面への表示開始のタイミングを含むことを特徴とする音声入力用グラフィカル・ユーザ・インターフェースの処理方法。
- 請求項9に記載の音声入力用グラフィカル・ユーザ・インターフェースの処理方法において、前記第1のボタンの操作内容は、前記アイコンの大きさの選択を含むことを特徴とする音声入力用グラフィカル・ユーザ・インターフェースの処理方法。
- 請求項9に記載の音声入力用グラフィカル・ユーザ・インターフェースの処理方法において、前記第2のボタンの操作に応じてプルダウンメニューが表示され、前記ポインティングデバイスによる該プルダウンメニューのメニュー選択に応じて前記アイコンの動作条件を設定するウィンドウが表示されることを特徴とする音声入力用グラフィカル・ユーザ・インターフェースの処理方法。
- 請求項15に記載の音声入力用グラフィカル・ユーザ・インターフェースの処理方法において、前記プルダウンメニューの中には現在のアイコンの表示を消去するメニューが含まれることを特徴とする音声入力用グラフィカル・ユーザ・インターフェースの処理方法。
- 音声入力機能を有する情報処理装置により読み出され、実行されるプログラムであって、音声入力機能のオン/オフを制御する音声入力用グラフィカル・ユーザ・インターフェースのためのプログラムを記録した記録媒体において、前記プログラムは、
表示画面上に1つのアイコンが表示され、該アイコンは第1のボタンおよび第2のボタンを有する状態において、ポインティングデバイスによる前記第1のボタンの操作に応じて、前記音声入力機能をオン/オフする第1のステップと、
前記ポインティングデバイスによる第2のボタンの操作に応じて、前記アイコンの動作条件を設定するウィンドウを表示させる第2のステップと
を具え、
前記アイコンの動作条件は前記音声入力機能をオン/オフするための前記第1のボタンの操作内容であり、
前記第1のボタンの操作内容は、前記ポインティングデバイスにより前記第1のボタンの位置が指定されている間だけ前記音声入力機能をオンする第1の操作モード、前記ポインティングデバイスにより前記第1のボタンの位置が指定され、その位置が確定されている間だけ前記音声入力機能をオンする第2の操作モードおよび前記ポインティングデバイスにより前記第1のボタンの位置が指定され、確定の操作毎に前記音声入力機能をオン/オフを切換える第3の操作モードのいずれかであることを特徴とする記録媒体。 - 請求項17に記載の記録媒体において、前記情報処理装置はキーボードからの文字入力機能と、入力された入力音声の文字認識機能を有し、前記第1のステップにより前記音声入力機能をオンした場合には、入力された音声が音声認識機能に引き渡され、前記キーボードからの文字入力機能がオフされることを特徴とする記録媒体。
- 請求項18に記載の記録媒体において、前記情報処理装置は入力された文字列を文字処理する機能をさらに有し、該機能により前記文字認識機能により得られる文字列および前記キーボードから入力された文字列を文字処理することを特徴とする記録媒体。
- 請求項19に記載の記録媒体において、前記情報処理装置は文書編集機能を有し、前記文字処理する機能により文字処理された文字列が文書編集機能に引き渡されることを特徴とする記録媒体。
- 請求項17に記載の記録媒体において、前記アイコンの動作条件は前記アイコンの前記表示画面への表示開始のタイミングを含むことを特徴とする記録媒体。
- 請求項17に記載の記録媒体において、前記第1のボタンの操作内容は、前記アイコンの大きさの選択を含むことを特徴とする記録媒体。
- 請求項17に記載の記録媒体において、前記第2のボタンの操作に応じてプルダウンメニューが表示され、前記ポインティングデバイスによる該プルダウンメニューのメニュー選択に応じて前記アイコンの動作条件を設定するウィンドウが表示されることを特徴とする記録媒体。
- 請求項23に記載の記録媒体において、前記プルダウンメニューの中には現在のアイコンの表示を消去するメニューが含まれることを特徴とする記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP19511399A JP4528384B2 (ja) | 1999-07-08 | 1999-07-08 | 音声入力用グラフィカル・ユーザ・インターフェースのための表示装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP19511399A JP4528384B2 (ja) | 1999-07-08 | 1999-07-08 | 音声入力用グラフィカル・ユーザ・インターフェースのための表示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001042892A JP2001042892A (ja) | 2001-02-16 |
JP4528384B2 true JP4528384B2 (ja) | 2010-08-18 |
Family
ID=16335720
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP19511399A Expired - Lifetime JP4528384B2 (ja) | 1999-07-08 | 1999-07-08 | 音声入力用グラフィカル・ユーザ・インターフェースのための表示装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4528384B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021002586A1 (ko) * | 2019-07-04 | 2021-01-07 | 주식회사 포시에스 | 다양한 입력 방식 전환을 통한 전자문서 표시 방법 및 장치 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7707501B2 (en) * | 2005-08-10 | 2010-04-27 | International Business Machines Corporation | Visual marker for speech enabled links |
JP2016181018A (ja) | 2015-03-23 | 2016-10-13 | ソニー株式会社 | 情報処理システムおよび情報処理方法 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5252951A (en) * | 1989-04-28 | 1993-10-12 | International Business Machines Corporation | Graphical user interface with gesture recognition in a multiapplication environment |
US5157384A (en) * | 1989-04-28 | 1992-10-20 | International Business Machines Corporation | Advanced user interface |
JPH04337831A (ja) * | 1991-05-15 | 1992-11-25 | Fuji Xerox Co Ltd | プログラム起動装置 |
JPH0612206A (ja) * | 1992-06-29 | 1994-01-21 | Fuji Xerox Co Ltd | 入出力装置 |
JPH0628145A (ja) * | 1992-07-10 | 1994-02-04 | Canon Inc | アイコン処理方法 |
JP2560191B2 (ja) * | 1993-03-23 | 1996-12-04 | 株式会社富士通ソーシアルサイエンスラボラトリ | グラフィカルユーザインタフェースを備えたコンピュータシステムの制御方法 |
JPH0736653A (ja) * | 1993-07-16 | 1995-02-07 | Canon Inc | 情報処理装置 |
JPH07104962A (ja) * | 1993-10-06 | 1995-04-21 | Toshiba Corp | 対話システム |
JPH07110751A (ja) * | 1993-10-12 | 1995-04-25 | Toshiba Corp | マルチモーダル装置 |
JP3586777B2 (ja) * | 1994-08-17 | 2004-11-10 | 富士通株式会社 | 音声入力装置 |
JP3794509B2 (ja) * | 1994-12-26 | 2006-07-05 | ソニー株式会社 | 3次元パラメータ入力装置、3次元パラメータ入力方法及び画像処理装置 |
JP3729918B2 (ja) * | 1995-07-19 | 2005-12-21 | 株式会社東芝 | マルチモーダル対話装置及び対話方法 |
JP3205965B2 (ja) * | 1995-12-28 | 2001-09-04 | 株式会社日立製作所 | データ入力装置および入力方法 |
JPH10187347A (ja) * | 1996-12-27 | 1998-07-14 | Mitsubishi Electric Corp | 情報処理装置用ポインティングデバイス |
US6141003A (en) * | 1997-03-18 | 2000-10-31 | Microsoft Corporation | Channel bar user interface for an entertainment system |
JPH10260773A (ja) * | 1997-03-19 | 1998-09-29 | Nippon Telegr & Teleph Corp <Ntt> | 情報入力方法及びその装置 |
-
1999
- 1999-07-08 JP JP19511399A patent/JP4528384B2/ja not_active Expired - Lifetime
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021002586A1 (ko) * | 2019-07-04 | 2021-01-07 | 주식회사 포시에스 | 다양한 입력 방식 전환을 통한 전자문서 표시 방법 및 장치 |
Also Published As
Publication number | Publication date |
---|---|
JP2001042892A (ja) | 2001-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20190147879A1 (en) | Method and apparatus for performing preset operation mode using voice recognition | |
US8020101B2 (en) | User specified transfer of data between applications | |
US9442654B2 (en) | Apparatus and method for conditionally enabling or disabling soft buttons | |
US6212541B1 (en) | System and method for switching between software applications in multi-window operating system | |
US20080002888A1 (en) | Apparatus, method, device and computer program product providing enhanced text copy capability with touch input display | |
US6499015B2 (en) | Voice interaction method for a computer graphical user interface | |
JPH0816313A (ja) | 手書き入力方法及び装置 | |
JP2007528037A (ja) | ハンドヘルド携帯装置のための音声入力メソッド・エディタのアーキテクチャ | |
JP2010118042A (ja) | ジェスチャを用いた移動端末のアプリケーション制御システムおよびアプリケーション制御方法 | |
WO2011088281A1 (en) | Automatically displaying and hiding an on-screen keyboard | |
EP3516493A1 (en) | Device, method, and graphical user interface for annotating text | |
JPH10222337A (ja) | コンピュータシステム | |
US11669243B2 (en) | Systems and methods for activating and using a trackpad at an electronic device with a touch-sensitive display and no force sensors | |
JP2010009534A (ja) | 電子装置及び表示方法 | |
EP2521965A1 (en) | Apparatus and method for conditionally enabling or disabling soft buttons | |
US7162685B2 (en) | Key-input correcting device | |
JPH1165769A (ja) | タッチパネル表示制御方法及びそれを記録した記録媒体 | |
US20230054717A1 (en) | Ui control generation and trigger methods, and terminal | |
JP4528384B2 (ja) | 音声入力用グラフィカル・ユーザ・インターフェースのための表示装置 | |
JP2001071289A (ja) | 情報処理装置および方法、並びにプログラム格納媒体 | |
JP2001014103A (ja) | 文字入力装置及び文字入力方法 | |
JP2004038407A (ja) | 文字入力装置およびその方法 | |
JP2003140791A (ja) | 情報処理装置及び情報処理装置の制御方法 | |
JP2000330704A (ja) | 仮想キー式文字入力機能付き電子機器及び仮想キー式文字入力処理方法、及びその記録媒体 | |
JPH09251368A (ja) | 知的エージェントの構築支援システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060623 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060623 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091009 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20100112 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20100115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100209 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100601 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100607 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130611 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4528384 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |