JP6767102B2 - 情報処理装置、および、情報処理プログラム - Google Patents

Description

本発明は、手動操作による情報の入力と、音声による情報の入力とを受け付ける情報処理装置、および、情報処理プログラムに関する。

スマートフォン等の情報処理装置は、液晶パネル等から構成される表示部と、タッチパネル等から構成される手動操作変換部とを備えている。こうした構成を有する情報処理装置は、手動操作変換部に対する操作に応じて、表示部の表示する入力領域に文字を表示する。詳細には、情報処理装置は、表示部が表示する複数のキーであって各々が各別の文字を示すキーのなかで、操作によって選択されたキーに対応する文字を、入力領域に表示する。

一方、近年、情報処理装置に対する情報の入力を補助するために、手動操作による情報の入力に加え、音声による情報の入力を受け付ける技術が情報処理装置に採用されている（例えば、特許文献１参照）。こうした情報処理装置は、マイクロフォン等から構成される音声変換部を備え、音声変換部に入力された音声を解析して、この音声に含まれる単語に対応する文字列を入力領域に表示する。

そして、情報処理装置は、手動操作による情報の入力を受け付ける手入力モードと、音声による情報の入力を受け付ける音声入力モードとを、例えば、手動操作変換部に対して所定の操作が行われたときに、切り替える。

特開２０１５−３８５２５号公報

しかしながら、音声入力モードは、手入力モードによる入力を補助するために備えられているモードであるため、利用者が音声入力モードを主として利用しようとするとき、利用者にとって、これらのモードの切り替えのための操作が煩雑である場合がある。

例えば、利用者が、音声入力モードを利用して、表示部が表示する複数の入力領域に、順に情報を入力しようとする場合、以下のような問題が生じる。すなわち、音声入力モードが設定されている状態で、音声の入力に基づいて入力対象の入力領域に文字列が表示された後、利用者が、その入力領域に表示された文字列の漢字への変換を指示したり、次の入力対象となる入力領域を選択したりするとする。この際、先に設定されている音声入力モードを手入力モードに切り替えるための操作を利用者は強いられる。そして、次の入力対象である入力領域に、音声によって情報を入力するため、利用者は、手入力モードを音声モードに切り替えるための操作を再び強いられる。
このように、手入力モードと音声モードとの切り替えが頻繁に必要であることは、利用者による情報処理装置への円滑な情報の入力を阻害する。
本発明は、情報の入力に際しての利用者の利便性を高めることのできる情報処理装置、および、情報処理プログラムを提供することを目的とする。

上記課題を解決するための情報処理装置は、入力領域への入力情報の表示と、当該表示に付随する表示の変更とを行う表示部と、入力された音声を信号として出力する音声変換部と、入力された手動操作を信号として出力する手動操作変換部と、設定された処理のモードに従って、前記各信号を処理するモード実行部と、前記モード実行部が実行する前記処理のモードを音声入力モードと手入力モードとのいずれかに設定するモード設定部と、を備え、前記モード実行部は、前記音声入力モードが設定されているとき、前記音声変換部の出力に応じた前記入力情報の生成と、前記手動操作変換部の出力に応じた前記表示部への前記変更の指示とを処理に含め、前記手入力モードが設定されているとき、前記手動操作変換部の出力に応じた前記入力情報の生成と、前記手動操作変換部の出力に応じた前記表示部への前記変更の指示とを処理に含める。

上記課題を解決するための情報処理プログラムは、入力領域への入力情報の表示、および、当該表示に付随する表示の変更を行う表示部と、入力された音声を信号として出力する音声変換部と、入力された手動操作を信号として出力する手動操作変換部と、制御部とを備える情報処理装置の前記制御部を、モード設定部およびモード実行部として機能させる情報処理プログラムであって、前記モード設定部は、前記モード実行部が実行する処理のモードを音声入力モードと手入力モードとのいずれかに設定し、前記モード実行部は、設定された前記処理のモードに従って、前記各信号を処理し、前記音声入力モードが設定されているとき、前記音声変換部の出力に応じた前記入力情報の生成と、前記手動操作変換部の出力に応じた前記表示部への前記変更の指示とを処理に含め、前記手入力モードが設定されているとき、前記手動操作変換部の出力に応じた前記入力情報の生成と、前記手動操作変換部の出力に応じた前記表示部への前記変更の指示とを処理に含める。

上記情報処理装置および情報処理プログラムによれば、音声入力モードが設定されているとき、利用者が、音声によって、入力情報を示す情報を情報処理装置に入力することと、手動操作によって、入力情報の表示に付随する表示の変更の指示を示す情報を情報処理装置に入力することとを交互に行う場合に、入力手段の変更の度にモードを切り替える操作を行うことなく、情報の入力が可能である。そのため、情報の入力に際しての利用者の利便性が高められる。

また、こうした音声入力モードと手入力モードとが切り替えられるため、利用者は、利用者がおかれている状況や入力したい情報の種類等に応じて、音声入力モードと手入力モードとを切り替えつつ、情報の入力を行うことができる。そのため、情報の入力に際しての利用者の利便性がより高められる。

上記情報処理装置において、前記表示部は、複数の前記入力領域と、これらの前記入力領域のなかで、前記入力情報の表示される対象として選択されている前記入力領域を示す表示である対象表示とを表示し、前記入力情報の表示に付随する表示の変更には、前記対象表示の示す前記入力領域を、当該入力領域とは異なる前記入力領域に変更することが含まれてもよい。

入力情報の表示される対象として選択されている入力領域の変更の指示を情報処理装置へ入力することは、音声よりも手動操作によって行う方が円滑に進む。したがって、上記構成によれば、円滑な情報の入力が可能である。そして、上記構成によれば、利用者は、音声入力モードを利用して複数の入力領域に順に情報を入力しようとするときに、入力情報を表示する入力領域の選択の度にモードを切り替える操作を行うことなく、情報の入力が可能である。そのため、情報の入力に際しての利用者の利便性が的確に高められる。

上記情報処理装置において、前記入力情報は文字列を含み、前記入力情報の表示に付随する表示の変更には、前記文字列の複数の変換候補のなかから選択された１つの変換候補に当該文字列を変更することが含まれてもよい。

選択された変換候補への文字列の変更の指示を情報処理装置へ入力することは、音声よりも手動操作によって行う方が円滑に進む。したがって、上記構成によれば、円滑な情報の入力が可能である。そして、上記構成によれば、利用者は、音声入力モードを利用しているときに、文字列の変換の度にモードを切り替える操作を行うことなく、情報の入力が可能である。そのため、情報の入力に際しての利用者の利便性が的確に高められる。

上記情報処理装置において、前記入力情報は文字列を含み、前記入力情報の表示に付随する表示の変更には、前記文字列の少なくとも一部を消去することが含まれてもよい。

文字の消去の指示を情報処理装置へ入力することは、音声よりも手動操作によって行う方が円滑に進む。したがって、上記構成によれば、円滑な情報の入力が可能である。そして、上記構成によれば、利用者は、音声入力モードを利用しているときに、文字の消去の度にモードを切り替える操作を行うことなく、情報の入力が可能である。そのため、情報の入力に際しての利用者の利便性が的確に高められる。

上記情報処理装置において、前記表示部は、前記モード実行部が実行する前記処理のモードの切り替えを指示するための領域である切替領域を表示し、前記モード設定部は、前記切替領域を選択する手動操作が入力されたことを示す信号を前記手動操作変換部が出力したとき、設定されている前記処理のモードを切り替えてもよい。

上記構成によれば、利用者は、切替領域を選択する操作を行うことによって、音声入力モードと手入力モードとを切り替えることができる。したがって、容易にこれらのモードの切り替えが可能である。

本発明によれば、情報処理装置への情報の入力に際しての利用者の利便性を高めることができる。

情報処理装置の一実施形態について、情報処理装置の構成を示すブロック図である。 一実施形態の情報処理装置の表示部が表示する表示画面の一例であって、表示画面の基本構成を示す図。 一実施形態の情報処理装置の表示部が表示する表示画面の一例であって、音声入力モードが設定されているときの表示画面を示す図。 一実施形態の情報処理装置の表示部が表示する表示画面の一例であって、音声入力モードにて、入力領域に入力情報が表示された表示画面を示す図。 一実施形態の情報処理装置の表示部が表示する表示画面の一例であって、音声入力モードにて、入力情報である文字列が選択された変換候補に変換された表示画面を示す図。 一実施形態の情報処理装置の表示部が表示する表示画面の一例であって、音声入力モードにて、入力情報である文字列の一部が消去された表示画面を示す図。 一実施形態の情報処理装置の表示部が表示する表示画面の一例であって、音声入力モードにて、入力対象の入力領域が変更された表示画面を示す図。 一実施形態の情報処理装置の表示部が表示する表示画面の一例であって、手入力モードが設定されているときの表示画面を示す図。 一実施形態の情報処理装置の表示部が表示する表示画面の一例であって、手入力モードにて、入力領域に入力情報が表示された表示画面を示す図。

図１〜図９を参照して、情報処理装置、および、情報処理プログラムの一実施形態について説明する。

［情報処理装置の構成］
図１を参照して、情報処理装置の構成について説明する。
情報処理装置１０は、スマートフォンやタブレット端末等のコンピュータ端末である。情報処理装置１０は、例えば、利用者が、銀行口座等の開設や会員登録等の申し込みに必要な情報を情報処理装置１０に入力するために用いられる。

情報処理装置１０は、入出力部１１と、制御部１２と、記憶部１３とを備えている。
入出力部１１は、制御部１２からのデータや信号を受けて外部へ情報を出力したり、外部から入出力部１１に入力された情報をデータや信号として制御部１２に受け渡したりする。詳細には、入出力部１１は、表示部１１ａと手動操作変換部１１ｂと音声変換部１１ｃとを備えている。

表示部１１ａは、制御部１２から受けたデータに基づいて、文字や画像等を表示する機能を有し、例えば、液晶パネル等の表示パネルとその駆動回路とから構成されている。

手動操作変換部１１ｂは、利用者が手動操作変換部１１ｂに対して行った操作、すなわち、手動操作変換部１１ｂに入力された手動操作を信号に変換して制御部１２に出力する機能を有し、例えば、タッチパネルとその駆動回路や検出回路とから構成されている。

音声変換部１１ｃは、音声変換部１１ｃに入力された音声を信号に変換して制御部１２に出力する機能を有し、例えば、マイクロフォンとその駆動回路や検出回路とから構成されている。
手動操作変換部１１ｂへの操作の入力や、音声変換部１１ｃへの音声の入力を通じて、情報処理装置１０に情報が入力される。

制御部１２は、ＣＰＵや、ＲＡＭ等の揮発性メモリを含む。制御部１２は、記憶部１３に記憶されたプログラムやデータに基づいて、制御部１２と入出力部１１との間でのデータや信号の授受、記憶部１３におけるプログラムやデータの読み出しや書き込み、各種の演算処理等、情報処理装置１０が備える各機能部の制御を行う。

詳細には、制御部１２は、モード実行部１２ａとモード設定部１２ｂとを備えている。
モード実行部１２ａは、手動操作変換部１１ｂが出力する信号を処理する操作信号処理部１２ｃと、音声変換部１１ｃが出力する信号を処理する音声信号処理部１２ｄとを備えている。モード実行部１２ａは、モード実行部１２ａが実行する処理のモードとして、音声入力モードと手入力モードとのいずれか一方を実行する。

操作信号処理部１２ｃは、手動操作変換部１１ｂの出力、すなわち、手動操作変換部１１ｂに入力された操作に応じた信号に基づいて、表示部１１ａに表示させるデータの生成等の処理を行う。

例えば、表示部１１ａが文字や数字等を示す領域である複数のキーを表示し、これらのキーのいずれかを選択する操作が手動操作変換部１１ｂに入力されたとき、その操作を示す信号を受けて、操作信号処理部１２ｃは、選択されたキーに対応する文字や数字等を表示部１１ａに表示させるためのデータを生成する。そして、操作信号処理部１２ｃは、生成したデータに基づき、文字や数字等を表示部１１ａに表示させる。

また、表示部１１ａが、複数の入力領域や、平仮名からなる文字列の漢字等への複数の変換候補を表示し、これらの入力領域や変換候補のいずれかを選択する操作が手動操作変換部１１ｂに入力されたとき、その操作を示す信号を受けて、操作信号処理部１２ｃは、該当する入力領域や変換候補が選択されたことを示す表示を表示部１１ａに表示させるためのデータを生成する。そして、操作信号処理部１２ｃは、生成したデータに基づき、表示部１１ａに表示を変更させる。

また、表示部１１ａの入力領域に表示された文字列の消去を指示する操作が手動操作変換部１１ｂに入力されたとき、その操作を示す信号を受けて、操作信号処理部１２ｃは、該当する文字列を消去した表示を表示部１１ａに表示させるためのデータを生成する。そして、操作信号処理部１２ｃは、生成したデータに基づき、表示部１１ａに表示を変更させる。

音声信号処理部１２ｄは、音声変換部１１ｃの出力、すなわち、音声変換部１１ｃに入力された音声に応じた信号に基づいて、表示部１１ａに表示させるデータの生成等の処理を行う。

例えば、音声信号処理部１２ｄは、音声変換部１１ｃから出力された信号を解析して、音声に含まれる言葉に対応する文字列を特定する。そして、音声信号処理部１２ｄは、特定した文字列を表示部１１ａに表示させるためのデータを生成し、生成したデータに基づいて、文字列を表示部１１ａに表示させる。

処理のモードとして音声入力モードが設定されているとき、モード実行部１２ａは、音声変換部１１ｃの出力に応じた文字列等の情報を、表示部１１ａの入力領域に表示させる入力情報として生成し、かつ、手動操作変換部１１ｂの出力に応じて、入力情報の表示に付随する表示の変更を表示部１１ａに指示する。入力情報の表示に付随する表示の変更には、例えば、複数の入力領域のなかで入力情報の入力対象として選択されている入力領域を示す表示を変更することや、入力領域に表示された文字列を複数の変換候補のなかから選択された１つの変換候補に変更することや、入力領域に表示された文字列の少なくとも一部を消去することが含まれる。

処理のモードとして手入力モードが設定されているとき、モード実行部１２ａは、手動操作変換部１１ｂの出力に応じた文字列等の情報を、表示部１１ａの入力領域に表示させる入力情報として生成し、かつ、手動操作変換部１１ｂの出力に応じて、入力情報の表示に付随する表示の変更を表示部１１ａに指示する。

すなわち、音声入力モードでの処理では、操作信号処理部１２ｃによる処理の結果と、音声信号処理部１２ｄによる処理の結果とが表示に反映され、手入力モードでの処理では、操作信号処理部１２ｃによる処理の結果のみが表示に反映される。

モード設定部１２ｂは、モード実行部１２ａの実行する処理のモードを音声入力モードと手入力モードとのいずれかに設定する。すなわち、モード設定部１２ｂは、モード実行部１２ａの実行する処理のモードを音声入力モードから手入力モードへ切り替え、あるいは、モード実行部１２ａの実行する処理のモードを手入力モードから音声入力モードへ切り替える。モード設定部１２ｂは、こうしたモードの設定を、手動操作変換部１１ｂから制御部１２に所定の信号が入力されることに基づいて行う。すなわち、表示部１１ａが表示している領域のなかで所定の領域を選択する操作が手動操作変換部１１ｂに入力されたとき、当該操作を示す信号が上記所定の信号として手動操作変換部１１ｂからモード設定部１２ｂに入力される。この信号の入力を受けて、モード設定部１２ｂは、現在設定されているモードを他のモードへ切り替えるための信号をモード実行部１２ａに送信し、その結果、モード実行部１２ａは、実行しているモードを切り替える。

上記構成では、操作信号処理部１２ｃは、入力情報を生成するための信号、上記表示の変更を指示するための信号、および、設定される処理のモードとして手入力モードと音声モードとのいずれかを示す信号を出力に含めることを可能に構成されている。また、音声信号処理部１２ｄは、入力情報を生成するための信号を出力に含めることを可能に構成されている。

記憶部１３は、不揮発性メモリから構成され、制御部１２が上述の処理を実行するために必要なプログラムやデータを記憶している。
制御部１２におけるモード実行部１２ａおよびモード設定部１２ｂは、複数のＣＰＵや、ＲＡＭ等からなるメモリ等の各種のハードウェアと、これらを機能させるソフトウェアとによって各別に具体化されてもよく、あるいは、共通する１つのハードウェアに複数の機能を与えるソフトウェアによって具体化されてもよい。こうしたソフトウェアは、情報処理プログラムとして記憶部１３に記憶される。

情報処理プログラムを含むソフトウェアは、予め情報処理装置１０にインストールされていてもよいし、利用者の指示に基づいて、ネットワークを通じたダウンロードを経て情報処理装置１０にインストールされてもよい。例えば、情報処理プログラムを含むソフトウェアは、銀行口座等の開設や会員登録等の申し込みに用いられるアプリケーションソフトウェアに具体化されてもよい。

なお、情報処理装置１０は、上記の各機能部に加えて、情報処理装置１０と外部装置との間でのデータの送受信を行う通信部を備え、音声入力モードや手入力モードを利用して情報処理装置１０に入力された情報を外部装置に送信する機能を有していてもよい。例えば、情報処理装置１０は、情報処理装置１０に入力された、銀行口座等の開設や会員登録等の申し込みに必要な情報を、これらの申し込みを受け付けるサーバ等の外部装置に送信してもよい。

［音声入力モードおよび手入力モードの詳細］
図２〜図９を参照して、音声入力モードおよび手入力モードの各モードの詳細について、これらのモードが実行されているときに表示部１１ａが表示する画面の一例を用いて説明する。なお、本実施形態では、音声入力モードや手入力モードを利用して情報処理装置１０に情報が入力される場面の例として、銀行口座等の開設や会員登録等の申し込みのために、利用者に関する情報が入力される場面が想定されている。

まず、図２を参照して、表示部１１ａが表示する画面の基本構成について説明する。
図２が示すように、情報の入力に際して表示部１１ａが表示する表示画面Ｄには、複数の入力領域Ｆが含まれ、複数の入力領域Ｆは、入力領域Ｆごとに区画されている。入力領域Ｆは、音声変換部１１ｃへの音声の入力、もしくは、手動操作変換部１１ｂへの操作の入力に基づいて、文字や数字等の情報が表示される領域であって、音声もしくは操作の入力に基づいて入力領域Ｆに表示される上記情報が入力情報である。各入力領域Ｆに表示されるべき入力情報の種類は、各入力領域Ｆの付近に示されており、例えば、利用者の姓や名、生年月日等である。

表示画面Ｄには、切替キーＳ１が含まれている。切替キーＳ１は、音声入力モードと手入力モードとの切り替えを指示するための領域である。切替キーＳ１を選択する操作が手動操作変換部１１ｂに入力されたとき、当該操作を示す信号が手動操作変換部１１ｂからモード設定部１２ｂに入力されることに基づいて、モード設定部１２ｂは、モード実行部１２ａの実行する処理のモードとして設定されるモードを示す信号を、モード実行部１２ａに送信する。

切替キーＳ１は、例えば、１つの領域であって、切替キーＳ１の選択の度に、音声入力モードと手入力モードとが交互に切り替えられる。この場合、上記モードを示す信号は、手入力モードと音声入力モードとのうちの、その時点において設定されているモードでない方のモードを示す信号である。

あるいは、音声入力モードから手入力モードへの切り替えを指示するための切替キーＳ１と、手入力モードから音声入力モードへの切り替えを指示するための切替キーＳ１とが各別に設けられていてもよい。手入力モードへの切り替えを指示するための切替キーＳ１を選択する操作が手動操作変換部１１ｂに入力されたとき、モード設定部１２ｂは、上記モードを示す信号として、手入力モードを示す信号を出力する。音声入力モードへの切り替えを指示するための切替キーＳ１を選択する操作が手動操作変換部１１ｂに入力されたとき、モード設定部１２ｂは、上記モードを示す信号として、音声入力モードを示す信号を出力する。

切替キーＳ１は、音声入力モードと手入力モードとのいずれのモードが実行されているときも、表示画面Ｄ内の同じ位置に表示されていることが好ましい。こうした構成によれば、実行されているモードに関わらず切替キーＳ１の表示位置が一定であるため、利用者は切替キーＳ１の位置を把握しやすい。したがって、モードの切り替えに際しての利用者の利便性が高められる。

なお、切替キーＳ１はその時点において設定されているモードを示す領域を兼ねていてもよいし、切替キーＳ１とは別に、その時点において設定されているモードを示す領域が設けられていてもよい。

＜音声入力モード＞
図３〜図７を参照して、音声入力モードの詳細について説明する。
図３は、音声入力モードが設定され、かつ、入力情報の表示される対象である入力対象として姓の入力領域Ｆが選択されているときの表示画面Ｄを示す。入力対象として選択されている入力領域Ｆを示す表示である対象表示Ｉｔとして、姓の入力領域Ｆの枠が濃色で表示され、かつ、姓の入力領域Ｆ内には入力情報の入力される位置を示すカーソルＣが表示されている。

また、表示画面Ｄの一部の領域には、音声による情報の入力を受け付けていることを示す表示である音声入力表示Ｉｓが表示されている。さらに、表示画面Ｄには、入力領域Ｆに表示されている文字の消去を指示するための領域である消去キーＳ２と、カーソルＣの位置の移動を指示するための領域である移動指示キーＳ３とが含まれている。

図３に示す表示画面Ｄが表示されている状態で、利用者が、利用者の姓に相当する単語、例えば「たなか」という単語を発声すると、音声変換部１１ｃにこの音声が入力される。この音声を示す信号を音声変換部１１ｃから受けることに基づき、音声信号処理部１２ｄはこの音声に対応する文字列であると判定された文字列である「たなか」を姓の入力領域Ｆに表示させる。

図４は、上述の処理の結果、音声変換部１１ｃに入力された音声に対応する入力情報が入力領域Ｆに表示された表示画面Ｄを示す。手動操作変換部１１ｂは、入力領域Ｆに表示した入力情報である平仮名からなる文字列の漢字等への変換候補を表示画面Ｄ内に表示させる。こうした変換候補のデータや変換候補を選出するためのプログラムは、予め記憶部１３に記憶されていればよい。

利用者が手動操作変換部１１ｂをタップ等して表示された複数の変換候補のなかの１つを選択する操作を行うことによって、この操作が手動操作変換部１１ｂに入力される。この操作を示す信号を手動操作変換部１１ｂから受けることに基づき、操作信号処理部１２ｃは、入力領域Ｆに表示されている文字列を、選択された変換候補に置き換えるように、表示の変更を表示部１１ａに指示する。例えば、操作信号処理部１２ｃは、「たなか」に代えて、選択された変換候補である「田中」の文字列を姓の入力領域Ｆに表示させる。

図５は、上述の処理の結果、手動操作変換部１１ｂに入力された操作に応じて、表示が変更された表示画面Ｄを示す。ここで、手動操作変換部１１ｂの出力を用いた処理が行われている間も、モード実行部１２ａの実行しているモードは音声入力モードに保たれている。したがって、変換候補の選択の後、モードの切り替えを行わずとも、例えば、図５に示す表示画面Ｄが表示されている状態で、利用者が何らかの単語を発声すると、その音声に対応する文字列が、その時点で姓の入力領域Ｆに表示されている文字列に続けて表示される。

続いて、入力領域Ｆに表示された入力情報の消去や修正が行われる場合について説明する。
先の図４に示したように、音声変換部１１ｃに入力された音声に対応する入力情報が入力領域Ｆに表示されているとき、利用者が手動操作変換部１１ｂをタップ等して消去キーＳ２を選択する操作を行うことにより、この操作が手動操作変換部１１ｂに入力される。すなわち、入力領域Ｆに表示されている文字の消去を指示する操作が手動操作変換部１１ｂに入力される。この操作を示す信号を手動操作変換部１１ｂから受けることに基づき、操作信号処理部１２ｃは、該当する文字、例えば、カーソルＣよりも文字列の先頭側に位置する１文字を消去した表示を表示部１１ａに表示させる。

図６は、上述の処理の結果、手動操作変換部１１ｂに入力された操作に応じて、表示が変更された表示画面Ｄを示す。図６に示される表示画面Ｄでは、姓の入力領域Ｆに表示された文字列の一部が消去されている。また、利用者が手動操作変換部１１ｂをタップ等して移動指示キーＳ３を選択する操作を行うことによって、この操作、すなわち、カーソルＣの移動を指示する操作が手動操作変換部１１ｂに入力される。そして、この操作を示す信号を手動操作変換部１１ｂから受けることに基づき、操作信号処理部１２ｃは、操作量に応じてカーソルＣを移動させた表示を表示部１１ａに表示させる。

これにより、利用者は、入力領域Ｆ内で消去する文字の位置を選択することができる。なお、カーソルＣの移動によって、利用者は、入力領域Ｆ内にて入力情報である文字列を表示させる位置を選択することもできる。こうしたカーソルＣの位置の変更も、入力情報の入力領域Ｆへの表示に付随する表示の変更に含まれる。

このように、手動操作変換部１１ｂに入力された操作に応じた処理が行われている間も、モード実行部１２ａの実行しているモードは音声入力モードに保たれている。したがって、文字の消去の後、モードの変更を行わずとも、例えば、図６に示す表示画面Ｄが表示されている状態で、利用者が何らかの単語を発声すると、その音声に対応する文字列が、姓の入力領域Ｆに表示されているカーソルＣの位置から続けて表示される。そのため、姓の入力領域Ｆに表示されている文字列のなかで、利用者が入力しようとした文字列とは異なる部分を消去し、この異なる部分を消去した後の文字列に続けて、音声での入力により新たな文字列を入力領域Ｆに表示させることもできる。

続いて、入力対象の入力領域Ｆの選択が行われる場合について説明する。
複数の入力領域Ｆのなかから、入力情報の入力対象となる入力領域Ｆが選択されるとき、例えば、先の図５に示したように、姓の入力領域Ｆへの情報の入力が完了して、利用者が、名の入力領域Ｆに入力情報を表示させたいとき、以下の処理が行われる。

利用者が手動操作変換部１１ｂをタップ等して入力対象としたい入力領域Ｆを選択する操作を行うことによって、この操作が手動操作変換部１１ｂに入力される。すなわち、複数の入力領域Ｆのなかの１つを選択する操作が手動操作変換部１１ｂに入力される。この操作を示す信号を手動操作変換部１１ｂから受けることに基づき、操作信号処理部１２ｃは、該当する入力領域Ｆが入力対象として選択されていることを示す対象表示Ｉｔを表示部１１ａに表示させる。例えば、操作信号処理部１２ｃは、対象表示Ｉｔとして、入力領域Ｆの枠や内部を濃色で表示させたり、入力領域Ｆ内にカーソルＣを表示させたりする。

図７は、上述の処理の結果、手動操作変換部１１ｂに入力された操作に応じて、表示が変更された表示画面Ｄを示す。図７に示される表示画面Ｄでは、入力対象が姓の入力領域Ｆから名の入力領域Ｆに変更されている。

ここでも、手動操作変換部１１ｂに入力された操作に応じた処理が行われている間、モード実行部１２ａの実行しているモードは音声入力モードに保たれている。そのため、入力対象の入力領域Ｆの変更の後に、モードの変更を行わずとも、利用者が何らかの単語を発声すると、その音声に対応する文字列が新たに入力対象として選択された入力領域Ｆに表示される。

＜手入力モード＞
図８および図９を参照して、手入力モードの詳細について説明する。
図８は、手入力モードが設定され、かつ、入力情報の入力対象として姓の入力領域Ｆが選択されているときの表示画面Ｄを示す。対象表示Ｉｔとして、姓の入力領域Ｆの枠が濃色で表示され、かつ、姓の入力領域Ｆ内には入力情報の入力される位置を示すカーソルＣが表示されている。

また、表示画面Ｄの一部の領域には、手動操作変換部１１ｂの操作による情報の入力を受け付けていることを示す表示である手入力表示Ｉｋとして、文字や数字等を示す領域である複数のキーが表示されている。さらに、表示画面Ｄには、入力領域Ｆに表示されている文字の消去を指示するための領域である消去キーＳ２や、カーソルＣの位置の移動を指示するための領域である移動指示キーＳ３が含まれている。手入力表示Ｉｋや消去キーＳ２や移動指示キーＳ３の表示画面Ｄ内での位置は、音声入力モードの設定時に表示される音声入力表示Ｉｓや消去キーＳ２や移動指示キーＳ３の表示画面Ｄ内での位置と一致していなくてもよい。

図８に示す表示画面Ｄが表示されている状態で、利用者が手動操作変換部１１ｂをタップ等して文字キーを選択する操作を行うことによって、この操作が手動操作変換部１１ｂに入力される。この操作を示す信号を手動操作変換部１１ｂから受けることに基づき、操作信号処理部１２ｃは、選択されたキーに対応する文字を表示部１１ａに表示させる。
図９は、上述の処理の結果、手動操作変換部１１ｂに入力された操作に応じた入力情報が入力領域Ｆに表示されている表示画面Ｄを示す。

入力領域Ｆに表示された文字列の変換候補への変換や、文字の消去や、入力対象となる入力領域Ｆの変更は、音声入力モードでの処理と同様に、手動操作変換部１１ｂに入力された操作に応じて、操作信号処理部１２ｃが表示部１１ａに表示の変更を指示することによって行われる。操作信号処理部１２ｃが、手動操作変換部１１ｂに入力された操作に応じて、こうした表示の変更を表示部１１ａに行わせる処理を行っている間も、モード実行部１２ａの実行しているモードは手入力モードに保たれている。したがって、文字列の変換や、文字の消去や、入力対象の変更が行われた後、モードの変更を行わずとも、手動操作変換部１１ｂの操作によって入力領域Ｆに入力情報を表示させることができる。

［作用］
本実施形態の作用について説明する。利用者が音声入力モードを利用する場面において、利用者は、入力領域Ｆに表示させる情報を音声によって入力することを望む。一方で、入力情報の入力領域Ｆへの表示に付随する表示の変更の指示は、音声よりも手動操作によって入力する方が、その入力が円滑に進む。例えば、入力領域Ｆに表示された文字列の複数の変換候補のなかの１つを変換対象として指定したり、消去する文字を指定したり、入力対象となる入力領域Ｆを指定したりすることは、上記表示の変更の指示であって、この指示を示す情報の入力は、音声よりも手動操作変換部１１ｂの操作によって行う方が円滑に進む。

本実施形態の情報処理装置１０において音声入力モードが実行されているとき、音声変換部１１ｃに入力された音声に対応する入力情報が表示部１１ａの入力領域Ｆに表示され、かつ、手動操作変換部１１ｂに入力された操作に応じて、入力情報の表示に付随する表示の変更が行われる。

すなわち、本実施形態の音声入力モードでは、音声での入力に適した情報については、音声による入力が受け付けられ、手動操作による入力に適した情報については、手動操作変換部１１ｂの操作による入力が受け付けられる。したがって、情報の円滑な入力が可能であり、利用者の利便性が高められる。

そして、音声入力モードが設定されている間、入力領域Ｆに表示させる情報の入力については、音声による入力が受け付けられている状態が維持されており、上記表示の変更の指示を示す情報の入力については、手動操作による入力が受け付けられている状態が維持されている。

そのため、利用者が、音声によって、入力領域Ｆに表示させる情報を入力することと、手動操作によって、表示の変更の指示を示す情報を入力することとを交互に行う場合であっても、入力手段の変更の度にモードを切り替える操作を行うことなく、情報処理装置１０への情報の入力が可能である。

例えば、ある入力領域Ｆに入力情報を表示させた後に、この入力領域Ｆに表示されている文字列の漢字への変換等を行い、さらに、この入力領域Ｆとは異なる入力領域Ｆを入力対象として選択して、選択した入力領域Ｆに入力情報を表示させる場合に、モードを切り替える操作を挟むことなく、情報の入力が可能である。したがって、情報の入力に際しての利用者の利便性を高めることができる。

そして、上述のような音声入力モードと手入力モードとが、表示部１１ａが表示する切替キーＳ１を選択する操作によって切り替えられるため、利用者は容易にこれらのモードを切り替えることができる。それゆえ、利用者がおかれている状況や入力したい情報の種類に応じて、音声入力モードと手入力モードとを切り替えつつ、情報の入力を行うことができるため、情報の入力に際しての利用者の利便性が高められる。

例えば、利用者が移動しながら情報を入力する場合に、利用者の周囲の騒音の程度に応じて、静かな場所では音声入力モードを利用し、騒がしい場所では手入力モードを利用するように、これらのモードを切り替えながら情報の入力を行うことも容易である。また、名前等のように文字で示される情報は音声入力モードを利用して入力し、電話番号等のように数字で示される情報は手入力モードを利用して入力するように、入力したい情報が音声と手動操作とのいずれの方が入力しやすいかに応じて、これらのモードを切り替えながら情報の入力を行うことも容易である。

以上説明したように、本実施形態によれば、以下に列挙する効果を得ることができる。
（１）音声入力モードにおいて、音声での入力に適した情報については、音声による入力が受け付けられ、手動操作による入力に適した情報については、手動操作変換部１１ｂの操作による入力が受け付けられている。そして、音声による情報の入力と手動操作による情報の入力とを交互に行う場合に、入力手段の変更の度にモードを切り替える操作を行うことなく、情報の入力が可能である。そのため、情報の入力に際しての利用者の利便性が高められる。

また、こうした音声入力モードと手入力モードとが切り替えられるため、利用者は、利用者がおかれている状況や入力したい情報の種類に応じて、音声入力モードと手入力モードとを切り替えつつ、情報の入力を行うことができる。そのため、情報の入力に際しての利用者の利便性がより高められる。

（２）入力情報の表示に付随する表示の変更には、対象表示Ｉｔの示す入力領域Ｆを、当該入力領域Ｆとは異なる入力領域Ｆに変更することが含まれる。入力対象となる入力領域Ｆの変更の指示を情報処理装置１０へ入力することは、音声よりも手動操作によって行う方が円滑に進む。したがって、上記構成によれば、円滑な情報の入力が可能である。そして、上記構成によれば、利用者は、音声入力モードを利用して複数の入力領域Ｆに順に情報を入力しようとするときに、入力対象となる入力領域Ｆの選択の度にモードを切り替える操作を行うことなく、情報の入力が可能である。そのため、情報の入力に際しての利用者の利便性が的確に高められる。

（３）入力情報の表示に付随する表示の変更には、入力領域Ｆに表示された文字列の複数の変換候補のなかから選択された１つの変換候補に当該文字列を変更することが含まれる。選択された変換候補への文字列の変更の指示を情報処理装置１０へ入力することは、音声よりも手動操作によって行う方が円滑に進む。したがって、上記構成によれば、円滑な情報の入力が可能である。そして、上記構成によれば、利用者は、音声入力モードを利用しているときに、文字列の変換の度にモードを切り替える操作を行うことなく、情報の入力が可能である。そのため、情報の入力に際しての利用者の利便性が的確に高められる。

（４）入力情報の表示に付随する表示の変更には、入力領域Ｆに表示されている文字列の少なくとも一部を消去することが含まれる。文字の消去の指示を情報処理装置１０へ入力することは、音声よりも手動操作によって行う方が円滑に進む。したがって、上記構成によれば、円滑な情報の入力が可能である。そして、上記構成によれば、利用者は、音声入力モードを利用しているときに、文字の消去の度にモードを切り替える操作を行うことなく、情報の入力が可能である。そのため、情報の入力に際しての利用者の利便性が的確に高められる。

（５）切替キーＳ１を選択する手動操作が入力されたことを示す信号を手動操作変換部１１ｂが出力したとき、モード設定部１２ｂは、モード実行部１２ａが実行する処理のモードとして設定されているモードを切り替える。したがって、利用者は、切替キーＳ１を選択する操作を行うことによって、音声入力モードと手入力モードとを切り替えることができるため、容易にこれらのモードの切り替えが可能である。

［変形例］
上記実施形態は、以下のように変更して実施することが可能である。
・入力情報の表示に付随する表示の変更は、入力領域Ｆに入力情報を表示することに付随して必要となる表示の変更であればよい。こうした表示の変更には、上記実施形態で挙げた処理、すなわち、対象表示Ｉｔの示す入力領域Ｆを、当該入力領域Ｆとは異なる入力領域Ｆに変更すること、入力領域Ｆに表示された文字列の複数の変換候補のなかから選択された１つの変換候補に当該文字列を変更すること、入力領域Ｆに表示された文字列の少なくとも一部を消去すること、および、カーソルＣの位置を変更すること以外の処理が含まれてもよい。例えば、操作信号処理部１２ｃは、上記表示の変更として、表示画面Ｄにおける各領域の表示位置の縦方向または横方向への移動、すなわち、表示画面Ｄのスクロールを表示部１１ａに指示してもよい。また、操作信号処理部１２ｃは、上記表示の変更として、上記実施形態で挙げた処理のうちの一部の処理の指示のみを行ってもよい。

・対象表示Ｉｔは、入力領域Ｆの枠や内部の濃色での表示、および、入力領域Ｆ内へのカーソルＣの表示のいずれか一方であってもよいし、入力対象である入力領域Ｆを示す表示であれば、上記表示とは異なる表示であってもよい。

・上記実施形態では、入力情報が文字列、すなわち、文字、数字、記号等を含むテキストからなる情報である例を示したが、入力情報は、音声もしくは手動操作の入力に基づいて入力領域Ｆに表示される情報であればよく、例えば画像であってもよい。例えば、所定の単語と所定の画像とが対応付けられて記憶部１３に記憶され、所定の単語を示す音声が音声変換部１１ｃに入力されたとき、この単語と対応付けられている画像が入力領域Ｆに入力情報として表示されてもよい。

・音声入力モードにおいて、一部の入力領域Ｆについては、手動操作変換部１１ｂに入力された操作に応じた情報が表示されてもよい。例えば、性別の入力領域Ｆへの情報の入力に際しては、この入力領域Ｆが入力対象として選択されたとき、性別の候補、すなわち、「男」および「女」を表示部１１ａが表示する。そして、これらの候補のいずれかを選択する操作が手動操作変換部１１ｂに入力されたとき、操作信号処理部１２ｃは、選択された候補を入力領域Ｆに表示させる。音声と手動操作のいずれによって情報が入力されるかは、入力領域Ｆごとに予め設定されていればよい。要は、音声入力モードの設定時に、モード実行部１２ａの行う処理には、音声変換部１１ｃの出力に応じた入力情報を表示部１１ａの入力領域Ｆに表示させること、および、手動操作変換部１１ｂの出力に応じて、入力情報の入力領域Ｆへの表示に付随する表示の変更を表示部１１ａに指示することが少なくとも含まれていればよく、これら以外の処理が含まれていてもよい。なお、手入力モードの設定時には、すべての入力領域Ｆについて、手動操作変換部１１ｂに入力された操作に応じた情報が表示されればよい。

・上記実施形態では、切替キーＳ１を選択する操作を示す信号を手動操作変換部１１ｂが出力することに基づいて、モード設定部１２ｂが、モード実行部１２ａの実行する処理のモードとして設定されているモードを切り替える構成を示した。これに限らず、所定の単語等である音声が音声変換部１１ｃに入力されたとき、すなわち、所定の単語等である音声を示す信号が音声変換部１１ｃからモード設定部１２ｂに入力されたときに、モード設定部１２ｂがモードを切り替えてもよい。またあるいは、情報処理装置１０がカメラとその周辺回路とから構成される撮影部を備え、例えば目の動き等の所定の動作が撮影部によって捉えられたことが、撮影部からモード設定部１２ｂに入力された信号に基づき認識されたときに、モード設定部１２ｂがモードを切り替えてもよい。

要は、情報処理装置１０が有する機能部の少なくとも１つ以上から、所定の信号がモード設定部１２ｂに入力されたとき、モード設定部１２ｂが、モード実行部１２ａの実行する処理のモードとして設定されているモードを切り替えればよい。

・上記実施形態では、表示部１１ａが複数の入力領域Ｆを表示する構成を示したが、表示部１１ａの表示する入力領域Ｆの数は１つであってもよい。こうした構成であっても、音声入力モードにて、入力情報の音声による入力と、文字列の変換候補への変換や文字の消去の指示の手動操作による入力とが受け付けられる構成であれば、上記（１）の効果は得られる。

・音声入力モードや手入力モードを用いて入力される情報は、銀行口座等の開設や会員登録等の申し込みに必要な情報に限られず、任意である。すなわち、情報処理装置１０は、こうした申し込みに必要な情報とは異なる情報を情報処理装置１０に入力するために用いられてもよい。

・情報処理装置１０は、スマートフォンやタブレット端末に限らず、入出力部１１と、制御部１２と、記憶部１３とを備える構成であれば、パーソナルコンピュータや音楽プレーヤー等であってもよい。また、手動操作変換部１１ｂはキーボードやマウスとその周辺回路とから構成されてもよい。

１０…情報処理装置、１１…入出力部、１１ａ…表示部、１１ｂ…手動操作変換部、１１ｃ…音声変換部、１２…制御部、１２ａ…モード実行部、１２ｂ…モード設定部、１２ｃ…操作信号処理部、１２ｄ…音声信号処理部、１３…記憶部、Ｄ…表示画面、Ｆ…入力領域、Ｓ１…切替キー、Ｓ２…消去キー、Ｓ３…移動指示キー、Ｉｔ…対象表示、Ｉｓ…音声入力表示、Ｉｋ…手入力表示、Ｃ…カーソル。

Claims (4)

1. 入力領域への入力情報の表示と、当該表示に付随する表示の変更とを行う表示部と、
   入力された音声を信号として出力する音声変換部と、
   入力された手動操作を信号として出力する手動操作変換部と、
   設定された処理のモードに従って、前記各信号を処理するモード実行部と、
   前記モード実行部が実行する前記処理のモードを音声入力モードと手入力モードとのいずれかに設定するモード設定部と、を備え、
   前記モード実行部は、前記音声入力モードが設定されているとき、前記音声変換部の出力に応じた前記入力情報の生成と、前記手動操作変換部の出力に応じた前記表示部への前記変更の指示とを処理に含め、前記手入力モードが設定されているとき、前記手動操作変換部の出力に応じた前記入力情報の生成と、前記手動操作変換部の出力に応じた前記表示部への前記変更の指示とを処理に含め、
   前記音声入力モードが設定されているとき、前記入力情報が含む文字列の複数の変換候補のなかから選択された１つの変換候補への当該文字列の変更、前記入力情報が含む文字列の少なくとも一部の消去、および、前記入力情報の入力される位置を示すカーソルの位置の変更の少なくとも１つの指示が、前記変更の指示であって、前記手動操作変換部は、前記入力情報の生成のための出力と前記表示部への前記変更の指示のための出力とのうち前記表示部への前記変更の指示を前記モード実行部に行わせるための出力のみを行うように構成され、前記モード実行部は、１つの前記入力領域に対する情報の入力に際して、当該情報の入力の完了前においては、前記音声変換部の出力に応じた前記入力情報の生成後、前記手動操作変換部の出力に応じて前記変更の指示を前記表示部に行う一方で、前記手動操作変換部の出力に応じた前記入力情報の生成は行わず、前記音声変換部の出力に応じて前記入力情報を生成することを継続する
   情報処理装置。
2. 前記表示部は、複数の前記入力領域と、これらの前記入力領域のなかで、前記入力情報の表示される対象として選択されている前記入力領域を示す表示である対象表示とを表示
   し、
   前記入力情報の表示に付随する表示の変更には、前記対象表示の示す前記入力領域を、当該入力領域とは異なる前記入力領域に変更することが含まれる
   請求項１に記載の情報処理装置。
3. 前記表示部は、前記モード実行部が実行する前記処理のモードの切り替えを指示するための領域である切替領域を表示し、
   前記モード設定部は、前記切替領域を選択する手動操作が入力されたことを示す信号を前記手動操作変換部が出力したとき、設定されている前記処理のモードを切り替える
   請求項１または２に記載の情報処理装置。
4. 入力領域への入力情報の表示、および、当該表示に付随する表示の変更を行う表示部と、入力された音声を信号として出力する音声変換部と、入力された手動操作を信号として出力する手動操作変換部と、制御部とを備える情報処理装置の前記制御部を、モード設定部およびモード実行部として機能させる情報処理プログラムであって、
   前記モード設定部は、
   前記モード実行部が実行する処理のモードを音声入力モードと手入力モードとのいずれかに設定し、
   前記モード実行部は、
   設定された前記処理のモードに従って、前記各信号を処理し、
   前記音声入力モードが設定されているとき、前記音声変換部の出力に応じた前記入力情報の生成と、前記手動操作変換部の出力に応じた前記表示部への前記変更の指示とを処理に含め、前記手入力モードが設定されているとき、前記手動操作変換部の出力に応じた前記入力情報の生成と、前記手動操作変換部の出力に応じた前記表示部への前記変更の指示とを処理に含め、
   前記音声入力モードが設定されているとき、前記入力情報が含む文字列の複数の変換候補のなかから選択された１つの変換候補への当該文字列の変更、前記入力情報が含む文字列の少なくとも一部の消去、および、前記入力情報の入力される位置を示すカーソルの位置の変更の少なくとも１つの指示が、前記変更の指示であって、前記手動操作変換部は、前記入力情報の生成のための出力と前記表示部への前記変更の指示のための出力とのうち前記表示部への前記変更の指示を前記モード実行部に行わせるための出力のみを行うように構成され、前記モード実行部は、１つの前記入力領域に対する情報の入力に際して、当該情報の入力の完了前においては、前記音声変換部の出力に応じた前記入力情報の生成後、前記手動操作変換部の出力に応じて前記変更の指示を前記表示部に行う一方で、前記手動操作変換部の出力に応じた前記入力情報の生成は行わず、前記音声変換部の出力に応じて前記入力情報を生成することを継続する
   情報処理プログラム。