JP2016019070A - 情報処理装置、表示制御方法、コンピュータプログラム、及び記録媒体 - Google Patents

Abstract

【課題】使用者の意図しないアプリケーションの起動を防止する情報処理装置を提供する。【解決手段】情報処理装置は、通話部２００により通話機能を有する相手機器との間で通話を行う。情報処理装置は、通話部２００による通話により相手機器へ送信する第１の音声及び相手機器から入力される第２の音声の音声認識処理を行い、音声認識の結果に応じて、１以上のアプリケーションを検索する。情報処理装置は、索出したアプリケーションを起動するためのオブジェクトを表示部１０７に表示する。【選択図】図２

Description

本発明は、携帯電話やスマートフォン、タブレット端末等のように通話が可能な情報処理装置において、通話内容に応じてアプリケーションを起動する技術に関する。

通話が可能な情報処理装置では、該情報処理装置の使用者が、通話中に電話アプリケーション以外のアプリケーションを使用したい場面がある。例えば、使用者が通話中にスケジュールアプリケーションにより予定の確認等を行いたい場合である。この場合、通話中に情報処理装置を操作する必要があるために、通話が途切れてしまう可能性がある。特に、一旦ホーム画面に戻り、アプリケーションを起動するといった複雑な操作が必要な場合には通話が途切れる可能性が高い。

特許文献１には、通話中の通話内容に基づいてアプリケーションを起動する携帯端末装置が開示される。特許文献１の携帯端末装置（情報処理装置）は、通話中の該情報処理装置の使用者と通話相手との両方の音声を認識し、予め登録されているキーワードを認識した場合に対応するアプリケーションを起動する。そのために、通話中であっても通話が途切れることなくアプリケーションを起動することができる。

特開２００８−１０９２６３号公報

特許文献１の情報処理装置は、通話中の使用者と通話相手との両方の音声を区別せずに扱う。情報処理装置は、どちらの音声かにかかわらず、認識した音声に特定のキーワードが含まれていれば対応するアプリケーションを起動する。そのために、情報処理装置の使用者が意図していないアプリケーションが起動される可能性がある。

本発明は、上記の問題を解決するために、使用者の意図しないアプリケーションの起動を防止する情報処理装置を提供することを主たる課題とする。

上記課題を解決する本発明の情報処理装置は、通話機能を有する相手機器との間で通話を行う通話手段と、前記通話手段による通話により前記相手機器へ送信する第１の音声及び前記相手機器から入力される第２の音声の音声認識処理を行う音声認識手段と、前記音声認識手段による認識結果に応じて、１以上のアプリケーションを検索する検索手段と、前記検索手段により検索したアプリケーションを起動するためのオブジェクトを所定の表示手段に表示する表示制御手段と、を備えることを特徴とする。

本発明によれば、音声の認識結果に応じて検索したアプリケーションを起動するためのオブジェクトを所定の表示手段に表示するために、使用者が意図しないアプリケーションの起動を防止することができる。

情報処理装置のハードウェア構成図。 情報処理装置の機能ブロック図。 対応テーブルの例示図。 通話の例示図。 通話の例示図。 通話の例示図。 （ａ）、（ｂ）は電話ＡＰＰの実行画面の例示図、（ｃ）は電話ＡＰＰ実行時にスケジューラＡＰＰを実行したときの例示図。 （ａ）、（ｂ）は電話ＡＰＰ実行時にメモ帳ＡＰＰを起動した場合の例示図、（ｃ）は電話ＡＰＰ実行時にホーム画面を表示したときの例示図。 電話ＡＰＰ実行時の処理手順を表すフローチャート。 アプリケーションリストの更新処理のフローチャート。 使用者の操作に対する処理のフローチャート。 重み決定処理のフローチャート。

以下、図面を参照して実施形態を詳細に説明する。ただし、本実施形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。

図１は、本実施形態の通話が可能な情報処理装置のハードウェア構成図である。この情報処理装置は、携帯電話やスマートフォン、タブレット端末等の通話が可能な携帯型の端末装置により実現可能である。本実施形態の情報処理装置は、通話を電話アプリケーション（以下、「電話ＡＰＰ（Application Program）」）を実行することで行う。情報処理装置には、電話ＡＰＰ以外に、スケジュール管理のための「スケジューラＡＰＰ」、Ｗｅｂ閲覧用の「ブラウザＡＰＰ」、メモ用の「メモ帳ＡＰＰ」、情報処理装置の設定用の「設定ＡＰＰ」、電子メール用の「メールＡＰＰ」等がインストールされる。

情報処理装置は、情報処理装置の動作を制御するためにＣＰＵ（Central Processing Unit）１０１、ＲＡＭ（Random Access Memory）１０２、及びＲＯＭ（Read Only Memory）１０３を備える。ＣＰＵ１０１は、ＲＯＭに格納されるコンピュータプログラムを読み込み、ＲＡＭ１０２をワークエリアに用いて実行することで、情報処理装置の各構成要素の動作を制御する。情報処理装置は、ＣＰＵ１０１により動作が制御される構成要素として、送受信部１０４、マイク１０５、スピーカ１０６、表示部１０７、操作部１０８、及び近接センサ１０９を備える。

送受信部１０４は、マイク１０５から入力される情報処理装置の使用者の音声を、公衆網経由で、通話相手となる通話機能を有する機器（以下、「相手機器」という。）へ送信する。また、送受信部１０４は、公衆網経由で送信された相手機器からの通話相手の音声を受信する。受信した通話相手の音声は、スピーカ１０６から出力される。

表示部１０７は、例えば情報処理装置に設けられるフラットパネルディスプレイであり、アプリケーションを起動するためのオブジェクト（アイコン）やＣＰＵ１０１で実行されるアプリケーションの実行画面が表示される。操作部１０８は、例えば、表示部１０７に一体に構成されたタッチパネルであり、使用者によるタッチ操作を受け付ける。アプリケーションを起動するためのオブジェクトの表示位置がタッチされると、操作部１０８は、タッチ位置をＣＰＵ１０１に入力する。ＣＰＵ１０１は、入力されたタッチ位置により、アプリケーションを起動するためのオブジェクトがタッチ操作されたと判断して、該アプリケーションを起動する。近接センサ１０９は、情報処理装置に接近する物体を検知するセンサであり、本実施形態では、例えば情報処理装置に近づく使用者の耳を検知する。

図２は、情報処理装置により電話ＡＰＰが実行されることで実現される機能を表す機能ブロック図である。本実施形態では、ＣＰＵ１０１が電話ＡＰＰ（コンピュータプログラム）を実行することで、通話部２００、音声認識部２０１、ＡＰＰ検索部２０２、通話機能設定部２０３、決定部２０４、スコア計算部２０５、及び表示制御部２０６を実現する。なお、これらの機能は、ハードウェアにより実現してもよい。

通話部２００は、マイク１０５及びスピーカ１０６による通話処理を制御する。通話部２００は、マイク１０５から入力される使用者の音声を送受信部１０４により相手機器へ送信する。また、マイク１０５から入力される使用者の音声は、通話部２００を介して音声認識部２０１に入力される。通話部２００は、送受信部１０４により相手機器から入力される通話相手の音声をスピーカ１０６及び音声認識部２０１に入力する。通話相手の音声は、スピーカ１０６から出力される。

音声認識部２０１は、通話部２００を介して入力される、使用者の音声及び通話相手の音声を、それぞれ別に認識する。そのために、音声認識部２０１は、通話部２００から使用者の音声と通話相手の音声とを別系統で取得する。音声認識は、汎用の音声認識処理により行われる。音声認識部２０１は、使用者の音声又は通話相手の音声が入力されると、音声認識処理を開始する。音声認識部２０１は、使用者の音声及び通話相手の音声を、入力された順に認識する。音声認識処理の開始後、一定時間（例えば５００ミリ秒）以上の無音時間を検出すると、音声認識部２０１は音声認識処理を終了する。音声認識部２０１は、音声認識処理の開始から終了までを１発話として、発話単位で音声認識結果をＡＰＰ検索部２０２に送る。なお、使用者の音声と通話相手の音声とでそれぞれ別の音声認識部２０１を備えていてもよい。

ＡＰＰ検索部２０２は、音声認識部２０１から送られた音声認識結果に応じて、関連するアプリケーションを検索する。情報処理装置は、予めアプリケーション毎に、関連付けられたキーワードを記憶する。図３は、このようなアプリケーションとキーワードとの対応関係を表す対応テーブルの例示図であり、情報処理装置は、このような対応テーブルを記憶する。ＡＰＰ検索部２０２は、音声認識部２０１の認識結果により対応テーブルを参照することで、認識結果をキーワードに含むアプリケーションを検索する。例えば、「スケジューラＡＰＰ」に関連付けられたキーワードは、「スケジューラ」、「スケジュール」、「予約」、「曜日」等である。これらのキーワードが音声認識部２０１の認識結果に含まれていれば、ＡＰＰ検索部２０２は、スケジューラＡＰＰを検索結果として取得する。なお、対応テーブルには、キーワード毎にアプリケーションとの関連の度合いを表す基本スコアが設定される。基本スコアは、アプリケーションとの関連が大きいキーワードほど大きい値となっている。例えば、「スケジューラＡＰＰ」のキーワード「スケジューラ」は基本スコアが「１．０」、キーワード「確認」は基本スコアが「０．５」である。

通話機能設定部２０３は、使用者による操作部１０８の操作により、電話ＡＰＰの通話機能を設定する。通話機能には、消音機能、スピーカ出力機能、保留機能、通話終了機能等がある。これらの機能の設定は、表示部１０７に表示される電話ＡＰＰの実行画面により行われる。使用者は、実行画面に表示される、各機能に関連づけされたオブジェクトであるボタンのタッチ操作により通話機能の設定を行う。

消音機能が有効になると、通話部２００は、使用者の音声を相手機器に送信しなくなる。そのために、使用者の音声が通話相手に聞こえなくなる。消音機能が無効になると、通話部２００は、使用者の音声を相手機器に送信する。そのために、使用者の音声が通話相手に聞こえる。消音機能のボタンはトグルになっており、使用者にタッチされる毎に、機能の有効と無効とが切り替えられる。

スピーカ出力機能が有効になると、通話部２００は、スピーカ１０６から出力される音声の音量を大きくする。音量は、使用者が情報処理装置を耳から離しても通話相手の音声が聞こえる大きさである。そのために使用者は、情報処理装置を耳から離し、表示部１０７を見ながら通話することが可能になる（ハンズフリー通話）。スピーカ出力機能が無効になると、通話部２００は、スピーカ１０６から出力される音声の音量を通常の音量に戻す。通常の音量は、使用者が情報処理装置を耳から離すと、通話相手の音声が聞こえない大きさである（通常通話）。スピーカ出力機能のボタンはトグルになっており、使用者にタッチされる毎に、機能の有効と無効とが切り替えられる。

保留機能が有効になると、通話部２００は、使用者の音声を相手機器に送信せず、また相手機器からの音声を受信しなくなる。そのために、使用者の音声が通話相手に聞こえなくなり、通話相手の音声が使用者に聞こえなくなる。保留機能が無効になると、通話部２００は、使用者の音声を相手機器に送信し、また相手機器からの音声を受信する。保留機能のボタンはトグルになっており、使用者にタッチされる毎に、機能の有効と無効とが切り替えられる。

通話終了機能が有効になると、通話部２００は、通話を終了する。

使用者が情報処理装置を耳に近付けて通話する通常通話の場合、消音機能、スピーカ出力機能、及び保留機能が、すべて無効である。使用者が情報処理装置を耳から離し、表示部１０７を見ながら通話するハンズフリー通話の場合、消音機能及び保留機能が無効であり、スピーカ出力機能が有効である。また、ヘッドセットやイヤホンを使ったハンズフリー通話の場合、消音機能、スピーカ出力機能、及び保留機能がすべて無効である。これらの通話機能は、使用者が明示的に有効、無効を切り替えなくても、近接センサ１０９の検知結果を用いて自動的に切り替わる構成であってもよい。例えば、電話ＡＰＰの実行中に近接センサ１０９が情報処理装置から使用者の耳が離れたことを検知すると、通話機能設定部２０３は、ハンズフリー通話に移行したと判断してスピーカ出力機能を有効にする。また、近接センサ１０９が情報処理装置に使用者の耳が近付いたことを検知すると、通話機能設定部２０３は、通常の通話に移行したと判断してスピーカ出力機能を無効にする。

決定部２０４は、通話状況に応じて、使用者の音声と通話相手の音声とのいずれを優先するかを決定する。通話状況は、通話機能設定部２０３で設定される通話機能により決められる。使用者の音声と通話相手の音声とのいずれを優先するかは、ＡＰＰ検索部２０２で検索したアプリケーションを使用者に提示する際の表示順に反映される。本実施形態で決定部２０４は、使用者の音声（第１の音声）と通話相手の音声（第２の音声）との各々に重み付けを行い、重みの値に応じて、第１の音声と第２の音声とのいずれを優先するかを決定する。重みの値は、例えば、デフォルト値を「１．０」、重みを上げた場合の値を「１．５」、重みを下げた場合の値を「０．５」とする。使用者の音声の重みを上げることで、第１の音声が優先される。使用者の音声の重みを下げると通話相手の音声の重みが上がることになる。通話相手の音声の重みを上げることで、第２の音声が優先される。通話相手の音声の重みを下げると使用者の音声の重みが上がることになる。決定部２０４は、重みの値が大きい方の音声を優先する。

使用者の音声が通話相手に聞こえない通話状況では、使用者の音声の重みが上がる。例えば、消音機能が有効になると使用者の音声が通話相手に送信されないため、使用者の音声の重みが上がる。また、保留機能を有効にした場合も使用者の音声が通話相手に送信されないため、使用者の音声の重みが上がる。消音機能や保留機能が無効になると、使用者の音声の重みがデフォルト値に戻される。通話相手の音声が聞こえない通話状況では、通話相手の音声の重みが下がる。例えば、スピーカ１０６の出力機能を無効にしたまま、使用者が情報処理装置を耳から離すと、通話相手の音声が聞こえない。そのために通話相手の音声の重みが下がる。使用者が情報処理装置を耳に近付けるか、スピーカ１０６の出力機能を有効にすると、通話相手の音声の重みがデフォルト値に戻される。

スコア計算部２０５は、ＡＰＰ検索部２０２が検索したアプリケーションの各々に対して、キーワードの基本スコア及び重みの値に基づいてスコアを算出する。スコアの算出は、例えば以下の式により行われる。スコアは、アプリケーションを使用者に提示する際の表示順の決定に用いられる。
(スコア) ＝ (１発話前のスコア)＊(減衰率)＋(キーワードの基本スコア)＊(重み)
減衰率は、「０」以上、「１」未満の値である。減衰率は、過去の発話の影響を少なくし、新しい発話の影響を大きくするために用いられる。減衰率により、発話毎に過去のスコアが減少する。以下の例では、減衰率を「０．８」とする。

図４、図５、図６の通話例により、スコアの具体例を説明する。図４、図５、図６では、各行が１発話を表す。「発話番号」は、最初の発話を「１」とし、順に１ずつ増加する。「話者」は、発話が使用者の音声によるものか、通話相手の音声によるものかを表す。「発話内容」中の、「」で囲んだ単語がキーワードである。「基本スコア」は、図３の対応テーブルから抽出した値である。「スコア」は、例えば上記の式で算出されたアプリケーション毎のスコアであり、通話の開始時点で、すべてのスコアは「０」である。

図４の発話番号「２」の発話のスコアについて説明する。ここでは使用者が情報処理装置を耳に近付けて通話を行っている。また、消音機能、スピーカ出力機能、保留機能はすべて無効である。この場合、使用者の音声と通話相手の音声の重みがともにデフォルト値「１．０」である。図４の発話番号「２」の発話内容は、スケジューラＡＰＰに関するキーワード「予約」を含む。図３の対応テーブルを参照すると、スケジューラＡＰＰのキーワード「予約」の基本スコアは「０．８」である。１話前のスケジューラＡＰＰのスコアは「０」である。図４の発話番号「２」は、通話相手の発話であるために、重みは「１．０」である。そのために、スケジューラＡＰＰのスコアが、以下の式に示す通り「０．８」になる。なお、他のアプリケーションのスコアは、「０」のままである。
(スコア) ＝ ０×０．８＋０．８×１．０ ＝ ０．８

図５の発話番号「５」の発話のスコアについて説明する。ここでは使用者が情報処理装置を耳から離し通話を行っている。また、消音機能及びスピーカ出力機能を有効、保留機能を無効である。この場合、使用者の音声が通話相手に聞こえないため、使用者の音声の重みが「１．５」、通話相手の音声の重みがデフォルト値「１．０」である。図５の発話番号「５」の発話内容は、メールＡＰＰに関するキーワード「電子メール」を含む。図３の対応テーブルを参照すると、メールＡＰＰのキーワード「電子メール」の基本スコアは「１．０」である。１発話前のメールＡＰＰのスコアは「０」である。図５の発話番号「５」は、使用者の発話であるために、重みは「１．５」である。そのために、メールＡＰＰのスコアが、以下の式に示す通り「１．５」になる。
(スコア) ＝ ０×０．８＋１．０×１．５ ＝ １．５

なお、図５の発話番号「５」の発話内容は、スケジューラＡＰＰに関するキーワードを含まないために、スケジューラＡＰＰの基本スコアは「０」である。１発話前のスケジューラＡＰＰのスコアは「０．８」である。図５の発話番号「５」は、使用者の発話であるために、重みは「１．５」である。そのために、スケジューラＡＰＰのスコアが、以下の式に示す通り「０．６」になる。なお、小数点以下第二位は、四捨五入してある。また、他のアプリケーションのスコアは、「０」のままである。
(スコア) ＝ ０．８×０．８＋０×１．５ ＝ ０．６

図６の各発話についても、同様にしてスコアが算出される。

表示制御部２０６は、表示部１０７に表示させる画像情報を生成して表示部１０７に出力する。図７は、電話ＡＰＰの実行時に表示制御部２０６が表示部１０７に表示させる実行画面の例示図である。図７（ａ）の実行画面は、通話相手や通話時間とともに、消音、スピーカ出力、保留、通話終了の各機能に関連付けられたオブジェクトであるボタン３０１が表示される。図７（ｂ）は、図７（ａ）の実行画面に、ＡＰＰ検索部２０２が検索したアプリケーションを起動するためのオブジェクトであるＡＰＰ起動ボタン３０２を、スコア計算部２０５で計算したスコアの順に並べた画面である。図７（ｃ）は、電話ＡＰＰに実行中にスケジューラＡＰＰを実行した場合の画面である。

図７（ｂ）の画面では、通話中に「Ａ０１」及び「Ａ０２」の２つのアプリケーションを起動するＡＰＰ起動ボタン３０２が、スコア順に電話ＡＰＰの実行画面に重ねて表示される。使用者は、ＡＰＰ起動ボタン３０２をタッチすることで、通話を切断することなく他のアプリケーションを起動することができる。そのために、通話中であっても、ホーム画面に戻ることなく発話の内容に関連するアプリケーションを起動することができる。なお、「ホーム画面」とは、情報処理装置にインストールされたアプリケーションを起動するためのオブジェクトが配置される画面を示す。情報処理装置にインストールされたアプリケーションが多い場合は、ホーム画面が複数画面に及ぶこともある。また、ホーム画面の下段に、よく使用されるアプリケーションを起動するためのオブジェクトを配置してもよい。これらのよく使用されるアプリケーションは、ホーム画面が複数ある場合も常に同じものが表示される。

図７（ｃ）の画面では、電話ＡＰＰの実行中に起動したアプリケーションの実行画面に、通話機能を設定するためのオブジェクトである通話機能ボタン３０３が重ねて表示される。図７（ｃ）では、通話中にスケジューラＡＰＰが起動されて、スケジューラＡＰＰの実行画面が表示され、その下部に消音、スピーカ出力、保留、通話終了、「戻る」の各機能に対応する通話機能ボタン３０３が表示される。これにより、通話中に他のアプリケーションを起動した場合であっても、電話ＡＰＰに戻ることなく、該他のアプリケーションの実行画面から簡単に通話機能を設定することができる。通話中に起動した他のアプリケーションの実行画面に通話機能ボタン３０３を表示することで、電話ＡＰＰ以外のアプリケーションを操作している間も、使用者が通話が継続していることを把握しやすくなる。「戻る」ボタンがタッチされると、表示制御部２０６は、通話中に起動した他のアプリケーションの実行画面を電話ＡＰＰの実行画面へ切り替える。

また本実施形態の表示制御部２０６は、使用者が情報処理装置を耳から離していることを近接センサ１０９が検知した場合に、発話の内容に関連するアプリケーションのＡＰＰ起動ボタン３０２を表示させる。

＜第１通話例＞
図４の通話例を用いて情報処理装置の処理を説明する。使用者は、情報処理装置を耳に近づけて通話を開始する。通話の開始時点では、消音機能、スピーカ出力機能、及び保留機能のすべてが無効である。

発話番号「１」〜「５」の発話内容により、使用者は予定を確認する必要が生じる。使用者は、スケジューラＡＰＰにより予定を管理するために、情報処理装置から耳を離して表示部１０７を確認する。この場合、表示部１０７には、図７（ｂ）の画面が表示され、電話ＡＰＰの実行画面上に、ＡＰＰ起動ボタン３０２が表示される。ＡＰＰ起動ボタン３０２は、スケジューラＡＰＰとブラウザＡＰＰとを起動するためのオブジェクトである。スコア計算部２０５によるスコアの算出結果に応じて、スケジューラＡＰＰ（Ａ０１）とブラウザＡＰＰ（Ａ０２）とのＡＰＰ起動ボタン３０２の表示順が決められる。

使用者は、スケジューラＡＰＰ（Ａ０１）のＡＰＰ起動ボタン３０２をタッチすることで、スケジューラＡＰＰを起動する。スケジューラＡＰＰを起動することで、表示部１０７の表示が図７（ｂ）から図７（ｃ）に切り替わる。使用者は、スケジューラＡＰＰの実行画面により予定を確認することができる。使用者は、予定確認後、情報処理装置を耳に近付け、発話番号「６」以降の発話を続ける。このように、簡単な操作で、通話中に予定を確認することができる。

＜第２通話例＞
図５の通話例を用いて情報処理装置の処理を説明する。使用者は、情報処理装置を耳から離し、表示部１０７を見ながら通話を開始する。通話の開始時点では、消音機能及び保留機能が無効、スピーカ出力機能が有効である。使用者と通話相手の音声の重みは、いずれもデフォルト値「１．０」である。

発話番号「１」〜「４」の発話内容により、使用者は予定を確認する必要が生じる。この予定は、電子メールにより送信されたものとする。発話番号「４」の発話の時点では、起動中の電話ＡＰＰの実行画面に重ねて、スケジューラＡＰＰのＡＰＰ起動ボタン３０２が１つだけ表示されている。しかし、使用者が起動したいメールＡＰＰのＡＰＰ起動ボタン３０２は表示されていない。この場合、使用者は、まず消音機能を有効にして、使用者の音声が通話相手に送信されないようにする。続く発話番号「５」の発話は、情報処理装置に対する音声操作のための発話であり、音声を通話相手に送信する必要がないためである。つまり、消音機能が有効になると、以降の使用者の音声を音声操作のための発話と判定し、その重みを上げる。音声操作は、使用者の意図を表すものであるからである。

ＡＰＰ検索部２０２は、発話番号「５」の発話内容に応じてメールＡＰＰを検索する。決定部２０４は、使用者の音声が通話相手に聞こえないために、使用者の音声の重みを「１．５」に上げる。これにより使用者が意図したメールＡＰＰのスコアが上がり、ＡＰＰ起動ボタン３０２において、メールＡＰＰを起動するためのボタンが、より上位に表示される。使用者は、メールＡＰＰのＡＰＰ起動ボタン３０２をタッチ操作してメールＡＰＰを起動する。使用者は、メールＡＰＰの実行画面を操作して予定を確認する。電子メールの確認後、使用者は消音機能を無効に戻し、発話番号「６」以降の発話を続ける。

このように、通話機能の設定に応じて、音声操作に対する重みを自動的に上げ、使用者が意図するアプリケーションのＡＰＰ起動ボタン３０２をより上位に表示することができる。

＜第３通話例＞
図６の通話例を用いて情報処理装置の処理を説明する。使用者は、情報処理装置を耳に近付けて通話を開始する。通話の開始時点では、消音機能、スピーカ出力機能、及び保留機能のすべてが無効である。使用者と通話相手の音声の重みは、いずれもデフォルト値「１．０」である。

発話番号「１」〜「６」の発話内容により、使用者は「お客様ＩＤ」を確認する必要が生じる。使用者は、「お客様ＩＤ」をメモ帳ＡＰＰにより記録しているものとする。使用者は、「お客様ＩＤ」を確認するため、情報処理装置を耳から離して表示部１０７を見る。スケジューラＡＰＰとブラウザＡＰＰのＡＰＰ起動ボタン３０２が、電話ＡＰＰの実行画面に重ねて順に表示されている（図７（ｂ）参照）。

使用者は、情報処理装置を耳から離して使用者の音声が通話相手に送信されないようにした後、メモ帳ＡＰＰを検索するために、発話番号「７」で「メモ帳」と発声する。ＡＰＰ検索部２０２は、この発話に応じてメモ帳ＡＰＰを検索する。また、この時点では、通話相手の音声が聞こえないために、決定部２０４は使用者の音声の重みを「１．５」に上げる。これにより使用者が意図したメモ帳ＡＰＰのスコアが上がりＡＰＰ起動ボタン３０２において、より上位に表示されることになる。なお、この時点で通話相手の音声の重みは一旦下がる。つまり、近接センサ１０９が情報処理装置が耳から離れたことを検知した場合、使用者の音声の重みが上がる。

使用者は、メモ帳ＡＰＰのＡＰＰ起動ボタン３０２をタッチし、メモ帳ＡＰＰを起動する。図８は、メモ帳ＡＰＰを起動した場合の表示例を表す。使用者は、図８（ａ）のメモ帳ＡＰＰの実行画面により「お客様ＩＤ」を確認することができる。「お客様ＩＤ」を確認した使用者は、スピーカ出力機能を有効にして、表示部１０７を見ながら、発話番号「８」以降の発話を続ける。通話相手の音声が聞こえるようになるために、通話相手の音声の重みがデフォルト値に戻る。

発話番号「１１」の発話では、設定ＡＰＰを起動することを通話相手が要求する。通話相手の音声の重みがデフォルト値に戻っているため、通話相手の意図する設定ＡＰＰのＡＰＰ起動ボタン３０２が、一番目に表示される。この状況は、使用者が通話相手に質問をしており、通話相手が意図する設定ＡＰＰは、使用者が意図するアプリケーションでもある。

図８（ｂ）は、メモ帳ＡＰＰの実行画面に重ねて設定ＡＰＰ（Ａ０４）、メモ帳ＡＰＰ（Ａ０３）、スケジューラＡＰＰ（Ａ０１）、及びブラウザＡＰＰ（Ａ０２）のＡＰＰ起動ボタン３０２を順位表示した画面を表す。このような表示により、通話中にメモ帳ＡＰＰを起動した後に、簡単に発話の内容に関連する他のアプリケーションを起動することができる。なお、起動中のメモ帳ＡＰＰ（Ａ０３）のＡＰＰ起動ボタン３０２は、表示しなくてもよい。メモ帳ＡＰＰのスコアはそのまま残し、他のアプリケーションを起動した場合のＡＰＰ起動ボタン３０２の表示順を決めるために用いる。使用者は、設定ＡＰＰのＡＰＰ起動ボタン３０２をタッチして、設定ＡＰＰを起動し、発話番号「１２」以降の発話を続ける。なお、他のアプリケーションを起動した直後は、図８（ａ）のように、ＡＰＰ起動ボタン３０２の表示を消し、実行画面を見やすくする。以降の発話にキーワードが含まれていた場合に、新たな表示順でＡＰＰ起動ボタン３０２を再度表示する。

このように、通話中に電話ＡＰＰ以外のアプリケーションを起動した場合であっても、別のアプリケーションを直接起動することができる。また、通話相手の意図に沿ったアプリケーションを、ＡＰＰ起動ボタン３０２の上位に表示することができる。

＜電話ＡＰＰ実行時の動作＞
図９は、このような情報処理装置における電話ＡＰＰ実行時の処理手順を表すフローチャートである。使用者が情報処理装置に電話ＡＰＰの実行を指示することで、情報処理装置は、電話ＡＰＰを実行する。使用者は、例えばホーム画面に表示される電話ＡＰＰを起動するためのオブジェクトをタッチ操作することで、電話ＡＰＰの実行を情報処理装置に指示する。

情報処理装置は、電話ＡＰＰの実行が指示されると、通話部２００により相手機器との通話を開始する（Ｓ８０１）。通話の開始により、表示制御部２０６は、表示部１０７に図７（ａ）に示す電話ＡＰＰの実行画面を表示する。スコア計算部２０５は、使用者と通話相手との通話により、ＡＰＰ検索部２０２で索出したアプリケーションとスコアとの対応を表すアプリケーションリストを更新する（Ｓ８０２）。アプリケーションリストの更新についての詳細な処理は後述する。

情報処理装置の近接センサ１０９は、情報処理装置が使用者の耳から離れているか否かを検知する（Ｓ８０３）。使用者の耳が情報処理装置から離れている場合（Ｓ８０３：Y）、表示制御部２０６は、現在表示中の電話ＡＰＰの実行画面に重ねて、図７（ｂ）に示すように、アプリケーションリストに応じたＡＰＰ起動ボタン３０２を表示する（Ｓ８０４）。使用者の耳が情報処理装置から離れていない場合（Ｓ８０３：N）、通話が継続して行われているために、ＣＰＵ１０１はアプリケーションリストの更新を継続する。

表示部１０７に図７（ｂ）に示す画面が表示されると、ＣＰＵ１０１は、使用者の操作に対応する処理を行う（Ｓ８０５）。使用者の操作は、表示中のアプリケーションに対する操作、ＡＰＰ起動ボタン３０２に対する操作、通話機能ボタン３０３に対する操作を含む。使用者の操作に対する処理についての詳細は後述する。

使用者の操作に対応する処理を終了すると、ＣＰＵ１０１は、使用者が通話終了の操作を行ったか否かを判定する（Ｓ８０６）。使用者は、通話終了のボタン３０１をタッチすることで通話終了の操作を行う。通話終了の操作が行われていない場合（Ｓ８０６：N）、ＣＰＵ１０１は、アプリケーションリストの更新を行う。通話終了の操作が行われた場合（Ｓ８０６：Y）、ＣＰＵ１０１は、電話ＡＰＰの実行を終了する。

図１０は、図９のステップＳ８０２のアプリケーションリストの更新処理のフローチャートである。

ＣＰＵ１０１は、まず、通話部２００への使用者又は通話相手の音声の入力があるか否かを判定する（Ｓ９０１）。音声の入力がない場合（Ｓ９０１：N）、ＣＰＵ１０１は発話が終了したとして、アプリケーションリストの更新処理を終了する。音声の入力がある場合（Ｓ９０１：Y）、音声認識部２０１は、通話部２００から入力される音声に対して音声認識処理を行う（Ｓ９０２）。音声認識部２０１は、認識結果をＡＰＰ検索部２０２に入力する。ＡＰＰ検索部２０２は、音声認識部２０１から入力された認識結果に応じてアプリケーションを検索する（Ｓ９０３）。ＡＰＰ検索部２０２は、アプリケーションの検索結果をスコア計算部２０５に入力する。決定部２０４は、使用者の音声及び通話相手の音声の重みを決定する（Ｓ９０４）。重み決定の処理についての詳細は後述する。スコア計算部２０５は、ＡＰＰ検索部２０２により索出されたアプリケーションについて、基本スコア及び決定部２０４により決定された使用者の音声及び通話相手の音声の重みに基づいて、スコアを算出する（Ｓ９０５）。ＣＰＵ１０１は、算出したスコアによりアプリケーションリストを更新する。このようにして、アプリケーション毎にスコアが算出されて、アプリケーションリストが更新される。

図１１は、図９のステップＳ８０５の使用者の操作に対する処理のフローチャートである。表示部１０７には、図７（ａ）〜図７（ｃ）のいずれかの画面が表示される。使用者は、これらの画面により、表示中のアプリケーションに対する操作、ボタン３０１に対する操作、ＡＰＰ起動ボタン３０２に対する操作、通話機能ボタン３０３に対する操作を行う。

ＣＰＵ１０１は、ボタン３０１又は通話機能ボタン３０３から消音機能に対応するボタンを使用者がタッチ操作したか否かを判定する（Ｓ１００１）。消音機能に対応するボタンがタッチ操作されていれば（Ｓ１００１：Y）、通話機能設定部２０３は、消音機能が有効の場合は無効に変更し、無効の場合は有効に変更して処理を終了する（Ｓ１００２）。

消音機能に対応するボタンがタッチ操作されていなければ（Ｓ１００１：N）、ＣＰＵ１０１は、ボタン３０１又は通話機能ボタン３０３からスピーカ出力機能に対応するボタンを使用者がタッチ操作したか否かを判定する（Ｓ１００３）。スピーカ出力機能に対応するボタンがタッチ操作されていれば（Ｓ１００３：Y）、通話機能設定部２０３は、スピーカ出力機能が有効の場合は無効に変更し、無効の場合は有効に変更して処理を終了する（Ｓ１００４）。

スピーカ出力機能に対応するボタンがタッチ操作されていなければ（Ｓ１００３：N）、ＣＰＵ１０１は、ボタン３０１又は通話機能ボタン３０３から保留機能に対応するボタンを使用者がタッチ操作したか否かを判定する（Ｓ１００５）。保留機能に対応するボタンがタッチ操作されていれば（Ｓ１００５：Y）、通話機能設定部２０３は、保留機能が有効の場合は無効に変更し、無効の場合は有効に変更して処理を終了する（Ｓ１００６）。

保留機能に対応するボタンがタッチ操作されていなければ（Ｓ１００５：N）、ＣＰＵ１０１は、ボタン３０１又は通話機能ボタン３０３から戻る機能に対応するボタンを使用者がタッチ操作したか否かを判定する（Ｓ１００７）。戻る機能に対応するボタンがタッチ操作されていれば（Ｓ１００７：Y）、表示制御部２０６は、現在表示中のアプリケーションの実行画面を電話ＡＰＰの実行画面に切り替える。表示制御部２０６は、アプリケーションにＡＰＰ起動ボタン３０２を表示していた場合は、その表示を消す（Ｓ１００８）。

戻る機能に対応するボタンがタッチ操作されていなければ（Ｓ１００７：N）、ＣＰＵ１０１は、ボタン３０１又は通話機能ボタン３０３から通話終了機能に対応するボタンを使用者がタッチ操作したか否かを判定する（Ｓ１００９）。通話終了機能に対応するボタンがタッチ操作されていれば（Ｓ１００９：Y）、ＣＰＵ１０１は通話を終了する。表示制御部２０６は、ＡＰＰ起動ボタン３０２及び通話機能ボタン３０３を表示している場合は、これらの表示を消す（Ｓ１０１０）。

通話終了機能に対応するボタンがタッチ操作されていなければ（Ｓ１００９：N）、ＣＰＵ１０１は、ＡＰＰ起動ボタン３０２から、使用者がいずれかをタッチ操作したか否かを判定する（Ｓ１０１１）。ＡＰＰ起動ボタン３０２のいずれかがタッチ操作されていれば（Ｓ１０１１：Y）、ＣＰＵ１０１は、タッチ操作されたボタンに対応するアプリケーションを起動する（Ｓ１０１２）。表示制御部２０６は、起動されたアプリケーションの実行画面を表示部１０７に表示する。表示制御部２０６は、通話機能ボタン３０３をアプリケーションの実行画面上に重ねて表示する。表示制御部２０６は、ＡＰＰ起動ボタン３０２を表示している場合は、その表示を消す。

ＡＰＰ起動ボタンのいずれもタッチ操作されていなければ（Ｓ１０１１：N）、ＣＰＵ１０１は、使用者が表示中のアプリケーションの実行画面に対する操作を行ったか否かを判定する（Ｓ１０１３）。行っていれば（Ｓ１０１３：Y）、ＣＰＵ１０１は、使用者の操作に対応する処理を行って処理を終了する（Ｓ１０１４）。例えばＣＰＵ１０１は、スケジューラＡＰＰの実行が指示されていれば、スケジューラＡＰＰで管理する予定を表示する。行っていなければ（Ｓ１０１３：N）、ＣＰＵ１０１はそのまま処理を終了する。

ＣＰＵ１０１は、使用者のタッチ操作に応じて処理を行い、操作部１０８による入力があれば上記の処理を行うが、どのボタンをタッチ操作したかを判定する順序は上記の手順通りでなくともよい。ＣＰＵ１０１は、使用者がタッチ操作したボタンを判定し、判定したボタンに対応する処理を実行すれば、どのボタンがタッチ操作されたかを判定する順序は上記に限られない。

図１２は、図１０のステップＳ９０４の重み決定処理のフローチャートである。情報処理装置が処理を開始したときの使用者の音声及び通話相手の音声の重みは、デフォルト値「１．０」に設定されている。

決定部２０４は、重み決定処理を開始すると、まず保留機能が有効であるか否かを判定する（Ｓ１２０１）。保留機能が有効であれば（Ｓ１２０１：Y）、決定部２０４は、使用者の音声の重みを上げる（Ｓ１２０２）。決定部２０４は、例えば使用者の音声の重みを「１．５」に設定する。使用者の重みを上げた決定部２０４は、重み決定処理を終了する。

保留機能が無効であれば（Ｓ１２０１：N）、決定部２０４は、消音機能が有効であるか否かを判定する（Ｓ１２０３）。消音機能が有効であれば（Ｓ１２０３：Y）、決定部２０４は、使用者の音声の重みを上げる（Ｓ１２０４）。決定部２０４は、例えば使用者の音声の重みを「１．５」に設定する。消音機能が無効であれば（Ｓ１２０３：N）、決定部２０４は、使用者の音声の重みをデフォルト値「１．０」に戻す（Ｓ１２０５）。

その後、決定部２０４は、スピーカ出力機能が有効であるか否かを判定する（Ｓ１２０６）。スピーカ出力機能が有効であれば（Ｓ１２０６：Y）、決定部２０４は、通話相手の音声の重みをデフォルト値「１．０」に戻す（Ｓ１２０７）。スピーカ出力機能が無効であれば（Ｓ１２０６：N）、決定部２０４は、通話相手の音声の重みを下げる（Ｓ１２０８）。決定部２０４は、例えば通話相手の音声の重みを「０．５」に設定する。通話相手の音声の重みを設定した決定部２０４は、重み決定処理を終了する。

決定部２０４は、保留機能、消音機能、スピーカ出力機能が有効であるか否かの判定を、通話機能設定部２０３による通話機能の設定結果により行う。以上の処理により、決定部２０４は、使用者の音声及び通話相手の音声の重みを決定する。決定部２０４は、使用者の音声の重み及び通話相手の音声の重みの値が大きい方を優先すると決定する。

以上のような情報処理装置により、情報処理装置の使用者は、通話中に電話ＡＰＰ以外のアプリケーションを起動させる場合であっても、意図しないアプリケーションを起動させる可能性が低くなる。そのために、情報処理装置の操作性が向上する。

以上の実施形態の説明では、電話ＡＰＰの実行画面上にＡＰＰ検索部２０２が検索したアプリケーションを起動するためのＡＰＰ起動ボタン３０２を表示することとしている。この他に、電話ＡＰＰを実行中であれば、ホーム画面に画面表示を戻した場合でもＡＰＰ起動ボタン３０２を表示するようにしてもよい。図８（ｃ）は、電話ＡＰＰの実行中にホーム画面を表示した場合の画面の例である。

図８（ｃ）では、ホーム画面に通常表示されるアプリケーションに対応するアイコンの代わりに、ＡＰＰ検索部２０２が検索したアプリケーションのＡＰＰ起動ボタン３０２が表示される。また、通話機能ボタン３０３を表示する。ホーム画面の下段には、よく使われるアプリケーションを起動するためのオブジェクト４０１が表示される。

使用者は、ホーム画面に戻った場合であっても、ＡＰＰ起動ボタン３０２により通話に関連したアプリケーションを簡単に起動することができる。また、ホーム画面に通話機能ボタン３０３が表示されるために、使用者は、電話ＡＰＰが実行中であることを把握することができる。

決定部２０４は、通話機能設定部２０３により設定される通話機能の他に、情報処理装置の周囲の雑音の大きさに応じて、使用者の音声と通話相手の音声との重みを決定してもよい。この場合、情報処理装置は、例えばマイク１０５から入力される雑音の大きさを測定する雑音測定機能を備える。測定した雑音が一定値（例えば８０デシベル）以上の場合に、情報処理装置は、通話相手の音声が使用者に聞こえない状態と判定する。決定部２０４は、判定結果に応じて重みを変更することで、使用者の音声と通話相手の音声と優先順を決定する。

使用者は、電車が通過中の駅のホームのように非常に雑音の大きい場所にいると、通話相手の音声が聞こえづらくなる。しかし、送受信部１０４で受信した通話相手の音声には、情報処理装置の周囲の雑音が含まれない。そのために、情報処理装置の周囲の雑音を考慮することなく、音声認識部２０１は通話相手の音声を認識し、ＡＰＰ起動ボタン３０２が表示される。つまり、使用者が聞こえない通話相手の音声によって表示部１０７の表示が変化することになり、使用者の混乱を招く。そのために情報処理装置の周囲の雑音を測定して、これにより通話相手の音声の重みを下げることで、使用者が聞こえない通話相手の音声によって表示部１０７の表示が変化することを防止する。これにより、使用者の混乱を防止する。

音声認識部２０１は、通話状態に応じて音声認識の対象とする音声を切り替えてもよい。例えば、音声認識部２０１は、決定部２０４が優先すると決定した音声のみを音声認識する。つまり、決定部２０４が使用者の音声を優先すると決定すると、音声認識部２０１は、使用者の音声を音声認識の対象とし、通話相手の音声を認識しない。決定部２０４が通話相手の音声を優先すると決定すると、音声認識部２０１は、通話相手の音声を音声認識の対象とし、使用者の音声を認識しない。

［その他の実施形態］
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムをネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims (13)

1. 通話機能を有する相手機器との間で通話を行う通話手段と、
   前記通話手段による通話により前記相手機器へ送信する第１の音声及び前記相手機器から入力される第２の音声の音声認識処理を行う音声認識手段と、
   前記音声認識手段による認識結果に応じて、１以上のアプリケーションを検索する検索手段と、
   前記検索手段により検索したアプリケーションを起動するためのオブジェクトを所定の表示手段に表示する表示制御手段と、を備えることを特徴とする、
   情報処理装置。
2. 前記表示制御手段は、通話を行うためのアプリケーションの実行画面に重ねて、前記オブジェクトを表示することを特徴とする、
   請求項１に記載の情報処理装置。
3. アプリケーション毎に関連するキーワードを記憶する記憶手段を備えており、
   前記検索手段は、前記音声認識手段の認識結果をキーワードとしてアプリケーションを検索することを特徴とする、
   請求項１又は２に記載の情報処理装置。
4. 前記通話手段による通話状況に応じて、前記第１の音声及び前記第２の音声のいずれを優先するかを決定する決定手段と、
   前記表示制御手段は、前記決定手段の決定に基づいた順で前記オブジェクトを前記表示手段に表示することを特徴とする、
   請求項３に記載の情報処理装置。
5. 前記決定手段は、前記第１の音声及び前記第２の音声の重みを表す値により、いずれを優先するかを決定することを特徴とする、
   請求項４に記載の情報処理装置。
6. 検索に用いたキーワードと索出したアプリケーションとの関連の度合い及び前記第１の音声又は前記第２の音声の重みを表す前記値に応じて、前記オブジェクトを表示する際の表示順を決めるためのスコアを算出する計算手段を備えており、
   前記表示制御手段は、前記スコアに応じた順で前記オブジェクトを前記表示手段に表示することを特徴とする、
   請求項５に記載の情報処理装置。
7. 前記決定手段は、前記第１の音声が前記相手機器に送信されない通話状況では、前記第１の音声を前記第２の音声よりも優先することを決定する、
   請求項４〜６のいずれか１項に記載の情報処理装置。
8. 前記決定手段は、前記第２の音声が前記情報処理装置の使用者に聞こえない通話状況では、前記第１の音声を前記第２の音声よりも優先することを決定する、
   請求項４〜７のいずれか１項に記載の情報処理装置。
9. 前記情報処理装置に接近する物体を検知する近接センサを備えており、
   前記決定手段は、前記近接センサが前記情報処理装置の使用者の耳を検知すると、前記第１の音声を前記第２の音声よりも優先することを決定する、
   請求項４〜８のいずれか１項に記載の情報処理装置。
10. 周囲の雑音を測定する雑音測定手段を備えており、
    前記決定手段は、前記雑音の大きさに応じて前記第１の音声及び前記第２の音声のいずれを優先するかを決定することを特徴とする、
    請求項４〜９のいずれか１項に記載の情報処理装置。
11. 通話機能を有する相手機器との間で通話を行う通話手段を備えた情報処理装置により実行される方法であって、
    前記通話手段による通話により前記相手機器へ送信する第１の音声及び前記相手機器から入力される第２の音声の音声認識処理を行い、
    前記音声認識処理による認識結果に応じて、１以上のアプリケーションを検索して、
    検索した前記アプリケーションを起動するためのオブジェクトを所定の表示手段に表示することを特徴とする、
    表示制御方法。
12. 通話機能を有する相手機器との間で通話を行う通話手段を備えたコンピュータを、
    前記通話手段による通話により前記相手機器へ送信する第１の音声及び前記相手機器から入力される第２の音声の音声認識処理を行う音声認識手段、
    前記音声認識手段による認識結果に応じて、１以上のアプリケーションを検索する検索手段、
    前記検索手段により検索したアプリケーションを起動するためのオブジェクトを所定の表示手段に表示する表示制御手段、
    として機能させるためのコンピュータプログラム。
13. 請求項１２記載のコンピュータプログラムが記録されたコンピュータが読み取り可能な記録媒体。

Images