JPWO2020049826A1 - 情報処理装置 - Google Patents

Abstract

情報処理装置は、コンテンツに関するコンテンツ情報を取得する取得部と、コンテンツを処理するアプリケーションに対する自然言語によるユーザ入力をコンテンツ情報に基づいて解釈する解釈部とを備える。

Description

本発明は、情報処理装置に関する。

ユーザが発する音声コマンド等の音声入力を解釈して、音声で指示された処理を実行する音声エージェント機能を含む情報処理装置が知られている。例えば、簡略化された音声コマンドの使用を可能にする音声入力処理装置が提案されている（例えば、特許文献１）。この種の音声入力処理装置は、例えば、簡略化された音声コマンドを受信した場合、音声コマンドの内容の少なくとも一部と動作内容とを関連付けた動作情報の履歴である動作履歴を参照して、各種制御のための所定のコマンドを発行する。

特開２０１７−１４６４３７号公報

しかし、多義的な指示がユーザから発せられた場合、動作履歴を参照してもユーザの指示を特定できない場合がある。このため、従来の音声エージェント機能を採用した情報処理装置では、ユーザから多義的な指示を受けた場合、ユーザの意図する処理を実行できない場合がある。したがって、従来の音声エージェント機能等を採用した情報処理装置の使い勝手は必ずしもよいとはいえない。

以上の課題を解決するために、本発明の好適な態様に係る情報処理装置は、コンテンツに関するコンテンツ情報を取得する取得部と、前記コンテンツを処理するアプリケーションに対する自然言語によるユーザ入力を前記コンテンツ情報に基づいて解釈する解釈部と、を備える。

本発明によれば、情報処理装置の使い勝手を向上させることができる。

本発明の第１実施形態に係る情報処理装置の全体構成を示すブロック図である。 コンテンツ情報の一例を示す説明図である。 ユーザ入力の解釈が一意に特定される場合の一例を示す説明図である。 ユーザ入力の解釈が一意に特定される場合の別の例を示す説明図である。 ユーザ入力の解釈が一意に特定されない場合の一例を示す説明図である。 図１に示した情報処理装置の動作の一例を示すフローチャートである。 本発明の第２実施形態に係る情報処理装置の全体構成を示すブロック図である。 図７に示した情報処理装置の動作の一例を示す説明図である。 本発明の第３実施形態に係る情報処理装置の全体構成を示すブロック図である。 コンテンツ情報と応答情報の出力態様との関係の一例を示す説明図である。 図９に示した情報処理装置の動作の一例を示すフローチャートである。

[１．第１実施形態]
図１は、本発明の第１実施形態に係る情報処理装置１０の全体構成を示すブロック図である。以下の説明では、情報処理装置１０としてスマートフォンを想定する。但し、情報処理装置１０としては、任意の可搬型の情報処理装置を採用することができ、例えば、ノートパソコン、ウェアラブル端末及びタブレット端末等であってもよい。

図１に例示するように、情報処理装置１０は、処理装置１００、記憶装置１４０、入力装置１５０、出力装置１６０及び通信装置１７０を具備するコンピュータシステムにより実現される。情報処理装置１０の複数の要素は、単体又は複数のバスで相互に接続される。なお、本明細書における「装置」という用語は、回路、デバイス又はユニット等の他の用語に読替えてもよい。また、情報処理装置１０の複数の要素の各々を、単数又は複数の機器が構成してもよい。あるいは、情報処理装置１０の一部の要素は省略されてもよい。

処理装置１００は、情報処理装置１０の全体を制御するプロセッサであり、例えば単数又は複数のチップで構成される。処理装置１００は、例えば、周辺装置とのインタフェース、演算装置及びレジスタ等を含む中央処理装置（ＣＰＵ：Central Processing Unit）で構成される。なお、処理装置１００の機能の一部又は全部を、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、及び、ＦＰＧＡ（Field Programmable Gate Array）等のハードウェアによって実現してもよい。処理装置１００は、各種の処理を並列的又は逐次的に実行する。

処理装置１００は、例えば、記憶装置１４０から制御プログラムＰＲを読み出して実行することによって、エージェント部１１０として機能する。エージェント部１１０は、自然言語によるユーザの入力であるユーザ入力を解釈して、ユーザ入力に応じた処理を実行する。ユーザ入力は、例えば、自然言語によるユーザからの指示又は質問等である。なお、ユーザ入力の方法（自然言語によるユーザの入力の方法）は、情報処理装置１０がユーザ入力の内容をテキスト等に変換して解釈できればよく、特に限定されない。例えば、ユーザ入力の方法は、音声及びテキスト等による入力が該当する。

なお、図１のエージェント部１１０内に示した取得部１１２、解釈部１１４、制御コマンド発行部１１６及び応答情報生成部１１８は、エージェント部１１０の機能ブロックの一例である。すなわち、情報処理装置１０は、取得部１１２、解釈部１１４、制御コマンド発行部１１６及び応答情報生成部１１８を有する。

取得部１１２は、コンテンツに関するコンテンツ情報を取得する。例えば、取得部１１２は、ユーザ入力を受け付ける状態にあるアプリケーションが処理しているコンテンツに関するコンテンツ情報を取得する。以下では、ユーザ入力を受け付ける状態にあるアプリケーションが処理しているコンテンツは、有効なコンテンツとも称される。例えば、取得部１１２は、情報処理装置１０が実行しているアプリケーションを特定し、アプリケーションの名称又はアプリケーションが処理しているファイル等に基づいて、有効なコンテンツを特定する。そして、取得部１１２は、有効なコンテンツに関するコンテンツ情報を取得する。

例えば、取得部１１２は、ユーザが情報処理装置１０を用いて映画を視聴している場合、映画を有効なコンテンツとして特定する。また、例えば、取得部１１２は、ユーザが情報処理装置１０を用いてメールの送信文を作成している場合、メールを有効なコンテンツとして特定する。そして、取得部１１２は、有効なコンテンツに関するコンテンツ情報を取得する。本明細書では、ユーザがメールを参照するため、メールをコンテンツの一種としている。コンテンツ情報は、コンテンツの種類に応じて定められた一又は複数のパラメータを有する。例えば、取得部１１２は、有効なコンテンツがＴＶ（television）番組の場合、ＴＶ番組のタイトル（番組情報）を含む複数のパラメータを取得する。なお、コンテンツ情報の一例は、図２において説明する。

解釈部１１４は、有効なコンテンツを処理するアプリケーションに対するユーザ入力をコンテンツ情報に基づいて解釈する。例えば、解釈部１１４は、コンテンツ情報に含まれるパラメータに基づいて、ユーザ入力の内容を解釈する。例えば、有効なコンテンツがＴＶ番組であり、ＴＶ番組に関する複数のパラメータのうちの１つであるタイトルが野球中継を示す場合、ユーザが「他の試合は？」と尋ねると、解釈部１１４は、ユーザ入力である「他の試合は？」を、他の野球の試合結果の検索又は他の野球の途中経過の検索と解釈する。

制御コマンド発行部１１６は、ユーザ入力に応じた制御コマンドを、ユーザ入力の解釈部１１４による解釈結果に基づいて発行する。例えば、ユーザ入力である「他の試合は？」が他の野球の試合結果の検索又は他の野球の途中経過の検索と解釈部１１４により解釈された場合、制御コマンド発行部１１６は、データ放送に含まれる情報等から他の野球の試合結果又は他の野球の途中経過を検索する制御コマンドを発行する。他の野球の試合結果又は他の野球の途中経過を検索する制御コマンドの発行により、他の野球の試合結果又は他の野球の途中経過が検索され、検索結果が応答情報生成部１１８に取得される。

応答情報生成部１１８は、ユーザ入力に対する応答情報を、ユーザ入力の解釈部１１４による解釈結果に基づいて生成する。ユーザ入力に対する応答情報は、例えば、ユーザからの指示を受け付けたことを示す情報、ユーザからの指示に対する処理の実行結果を示す情報及びユーザの質問に対する回答を示す情報等である。例えば、ユーザ入力である「他の試合は？」が他の野球の試合結果の検索又は他の野球の途中経過の検索と解釈部１１４により解釈された場合、応答情報生成部１１８は、他の野球の試合結果の検索結果又は他の野球の途中経過の検索結果を示す応答情報を生成する。この結果、例えば、応答情報に基づいて、他の野球の試合結果又は他の野球の途中経過が、後述するディスプレイ１６２にテキストで表示される。

また、応答情報生成部１１８は、ユーザ入力の解釈部１１４による解釈結果が複数の解釈を含む場合、複数の解釈のうちのいずれがユーザ入力の内容に当てはまる解釈かを確認する応答情報を生成する。すなわち、応答情報生成部１１８は、ユーザ入力の解釈が一意に特定されない場合、ユーザ入力の内容をユーザに尋ねる応答情報を生成する。ユーザ入力の解釈が一意に特定されない場合の例は、図５において説明する。

記憶装置１４０は、処理装置１００が読取可能な記録媒体であり、処理装置１００が実行する制御プログラムＰＲを含む複数のプログラム、及び処理装置１００が使用する各種のデータを記憶する。記憶装置１４０は、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、及びＲＡＭ（Random Access Memory）等の少なくとも１つによって構成されてもよい。

入力装置１５０は、外部からの入力を受け付ける入力デバイスである。例えば、入力装置１５０は、音声入力操作を受け付けるマイクロフォン１５２とユーザによる操作を受け付ける操作部１５４とを有する。入力装置１５０は、マイクロフォン１５２又は操作部１５４等において受け付けたユーザ入力をエージェント部１１０に転送する。

マイクロフォン１５２は、例えば、ユーザからの指示又は質問等のユーザの入力を音声で受け付ける。操作部１５４は、情報処理装置１０が使用する情報を処理装置１００に入力するための機器（例えば、キーボード、マウス、スイッチ及びボタン等）であり、ユーザからの指示又は質問等のユーザの入力を受け付ける。具体的には、操作部１５４は、数字及び文字等の符号を処理装置１００に入力するための操作と、ディスプレイ１６２が表示するアイコンを選択するための操作とを受け付ける。例えば、ディスプレイ１６２の表示面に対する接触を検出するタッチパネルが操作部１５４として好適である。なお、ユーザが操作可能な複数の操作子を操作部１５４が含んでもよい。また、入力装置１５０は、情報処理装置１０自体の動き等を検出するセンサを含んでもよい。

出力装置１６０は、外部への出力を実施する出力デバイスである。例えば、出力装置１６０は、ディスプレイ１６２、スピーカー１６４及び発光部１６６を有する。ディスプレイ１６２は、表示装置の一例であり、処理装置１００による制御のもとで各種の画像を表示する。例えば、ディスプレイ１６２は、応答情報を示すテキスト又はアイコン等の画像を表示する。なお、ディスプレイ１６２として、例えば、液晶表示パネル及び有機ＥＬ（Electro Luminescence）表示パネル等の各種の表示パネルが好適に利用される。

スピーカー１６４は、処理装置１００による制御のもとで各種の音を出力する。例えば、スピーカー１６４は、応答情報を示す音声又は音楽等の音を出力する。

発光部１６６は、例えば、ＬＥＤ（Light Emitting Diode）等の発光素子を有し、処理装置１００による制御のもとで各種の光を発する。例えば、処理装置１００は、応答情報の内容に応じて発光部１６６を点灯又は点滅させる。

通信装置１７０は、移動体通信網又はインターネット等のネットワークを介して他の装置と通信する機器である。通信装置１７０は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード又は通信モジュールとも表記される。次に、図２を参照して、コンテンツ情報の一例を説明する。

図２は、コンテンツ情報の一例を示す説明図である。コンテンツ情報は、例えば、コンテンツの種類と、コンテンツの種類に応じて定められた一又は複数のパラメータとを有する。図２に示す例では、コンテンツの種類に応じて複数のパラメータが定められている。ユーザ入力の内容の解釈に複数のパラメータを用いることにより、１つのパラメータを用いる場合に比べて、多義的な指示がユーザから発せられた場合でも、ユーザの指示を効率よく特定することができる。

コンテンツの種類が映画又はＴＶ番組である場合、パラメータは、例えば、映画又はＴＶ番組のタイトル、字幕の有無、ウインドウサイズ、音声のミュートの有無及びイヤホンの接続の有無等をそれぞれ示す情報である。例えば、字幕の有無を示すパラメータは、第１の値（例えば、値“１”）が設定されている場合、字幕があることを示し、第１の値と異なる第２の値（例えば、値“０”）が設定されている場合、字幕がないことを示す。また、ウインドウサイズは、例えば、映画又はＴＶ番組を表示しているウインドウが全画面表示か縮小表示かを示す。

コンテンツの種類が音楽である場合、パラメータは、例えば、曲のタイトル、歌詞の表示の有無、ウインドウサイズ及びイヤホンの接続の有無等をそれぞれ示す情報である。ウインドウサイズは、例えば、音楽の再生等を操作する操作ボタン等を表示しているウインドウが全画面表示か縮小表示かを示す。

コンテンツの種類がメールである場合、パラメータは、例えば、アクティブ状態のウインドウの種類、ウインドウサイズ、音声のミュートの有無及びイヤホンの接続の有無等をそれぞれ示す情報である。アクティブ状態のウインドウの種類は、例えば、受信メールの一覧画面、受信メールの表示画面及び送信メールの作成画面等である。また、ウインドウサイズは、例えば、アクティブ状態のウインドウが全画面表示か縮小表示かを示す。

コンテンツの種類が地図である場合、パラメータは、例えば、地図の表示倍率、ウインドウサイズ、音声のミュートの有無及びイヤホンの接続の有無等をそれぞれ示す情報である。ウインドウサイズは、例えば、地図を表示しているウインドウが全画面表示か縮小表示かを示す。

コンテンツの種類が戦闘ゲーム等のアクションゲームである場合、パラメータは、例えば、ゲームのタイトル、ゲームの画面の種類、ウインドウサイズ、音声のミュートの有無及びイヤホンの接続の有無等をそれぞれ示す情報である。ゲームの画面の種類は、例えば、格闘中の場面、アイテムを選択する場面及びゲーム結果を表示する画面等である。ウインドウサイズは、例えば、ゲームを表示しているウインドウが全画面表示か縮小表示かを示す。

コンテンツの種類が音楽ゲームである場合、パラメータは、例えば、ゲームのタイトル、ウインドウサイズ及びイヤホンの接続の有無等をそれぞれ示す情報である。ウインドウサイズは、例えば、ゲームを表示しているウインドウが全画面表示か縮小表示かを示す。

なお、コンテンツの種類及びコンテンツの種類に応じて定められたパラメータ等は、図２に示す例に限定されない。例えば、コンテンツの種類が音楽である場合、パラメータは、イヤホンの接続の有無を示す１つの情報でもよい。すなわち、コンテンツ情報に含まれるパラメータは、１つでもよい。

図３は、ユーザ入力の解釈が一意に特定される場合の一例を示す説明図である。なお、図３は、ユーザが情報処理装置１０を用いて映画を視聴している最中に「大きくして」と音声で指示した場合の情報処理装置１０の動作の一例を示す。有効なコンテンツが映画の場合、ユーザ入力である「大きくして」は、画面を大きくすることと、音量を大きくすることとの２通りの意味を有する。図３に示す例では、映画に関するコンテンツ情報に含まれるパラメータが音声のミュート、イヤホンの未接続及び縮小表示等を示していると仮定する。このため、図３に示す例では、解釈部１１４は、ユーザ入力である「大きくして」を、画面を大きくすることと一意に解釈する。

例えば、取得部１１２は、ユーザが情報処理装置１０を用いて映画を視聴しているため、映画を有効なコンテンツとして特定し、映画のタイトル等を含む複数のパラメータ（例えば、図２に示したパラメータ）を取得する。そして、解釈部１１４は、取得部１１２が取得したパラメータ等に基づいて、ユーザ入力である「大きくして」を、画面を大きくすることと一意に解釈する。

解釈部１１４の解釈結果が画面を大きくすることであるため、応答情報生成部１１８は、画面を大きくすることを示す応答情報を、ユーザ入力に対する応答情報として生成する。この結果、例えば、「全画面にします」と記載されたテキストがディスプレイ１６２に表示される。

また、制御コマンド発行部１１６は、解釈部１１４の解釈結果が画面を大きくすることであるため、映画を全画面で表示する制御コマンドを発行する。この結果、ディスプレイ１６２の全画面に映画が表示される。

なお、所定の言葉で情報処理装置１０に呼びかけた後に指示等をユーザが発声するようにしてもよい。例えば、情報処理装置１０の入力装置１５０は、所定の言葉の呼びかけの後に続く音声をユーザ入力として受け付けてもよい。この場合、情報処理装置１０は、ユーザが発した言葉が情報処理装置１０に対する入力であるか否かを、所定の言葉の呼びかけの有無を検出することにより容易に判別できる。

また、ユーザ入力は、音声入力に限定されず、例えば、テキストであってもよい。例えば、ユーザが映画の視聴中に「渋谷に行きたい」と操作部１５４を介してテキストで入力すると、情報処理装置１０は、現在位置から渋谷までの経路を検索し、検索結果をテキストでディスプレイ１６２に表示してもよい。図４以降においても、ユーザ入力が音声である場合を例にして情報処理装置１０の動作を説明しているが、ユーザ入力は音声入力に限定されない。

図４は、ユーザ入力の解釈が一意に特定される場合の別の例を示す説明図である。なお、図４は、ユーザが情報処理装置１０を用いて映画を視聴している最中に「大きくして」と音声で指示した場合の情報処理装置１０の動作の一例を示す。図４に示す例では、映画に関するコンテンツ情報に含まれるパラメータが音声の出力（ミュート無し）、イヤホンの接続及び全画面表示を示していると仮定する。このため、図４に示す例では、解釈部１１４は、ユーザ入力である「大きくして」を、音量を大きくすることと一意に解釈する。

例えば、取得部１１２は、ユーザが情報処理装置１０を用いて映画を視聴しているため、映画を有効なコンテンツとして特定し、映画のタイトル等を含む複数のパラメータ（例えば、図２に示したパラメータ）を取得する。そして、解釈部１１４は、取得部１１２が取得したパラメータ等に基づいて、ユーザ入力である「大きくして」を、音量を大きくすることと一意に解釈する。

解釈部１１４の解釈結果が音量を大きくすることであるため、応答情報生成部１１８は、音量を大きくすることを示す応答情報を、ユーザ入力に対する応答情報として生成する。この結果、例えば、「音量を大きくします」と記載されたテキストがディスプレイ１６２に表示される。

また、制御コマンド発行部１１６は、解釈部１１４の解釈結果が音量を大きくすることであるため、音量を大きくする制御コマンドを発行する。この結果、情報処理装置１０が再生している映画の音量が、大きくなる。

なお、ユーザ入力の解釈が一意に特定される場合の応答情報は、図３及び図４に示した例に限定されない。例えば、情報処理装置１０は、ユーザ入力に対する応答として、「承知しました」と記載したテキストをディスプレイ１６２に表示してもよい。

図３及び図４において説明したように、ユーザ入力の内容が複数の意味を有する場合でも、情報処理装置１０は、有効なコンテンツに関するコンテンツ情報に基づいて、ユーザ入力の解釈を一意に特定できる。このため、情報処理装置１０の使い勝手を向上させることができる。なお、有効なコンテンツに関するコンテンツ情報を参照しても、ユーザ入力の解釈を一意に特定することができない場合の例は、図５において説明する。

図５は、ユーザ入力の解釈が一意に特定されない場合の一例を示す説明図である。なお、図５は、ユーザが情報処理装置１０を用いて映画を視聴している最中に「大きくして」と音声で指示した場合の情報処理装置１０の動作の一例を示す。図５に示す例では、映画に関するコンテンツ情報に含まれるパラメータが音声の出力（ミュート無し）、イヤホンの接続及び縮小表示を示していると仮定する。このため、図５に示す例では、解釈部１１４は、ユーザ入力である「大きくして」を、画面を大きくすること又は音量を大きくすることと多義的に解釈する。

例えば、取得部１１２は、ユーザが情報処理装置１０を用いて映画を視聴しているため、映画を有効なコンテンツとして特定し、映画のタイトル等を含む複数のパラメータ（例えば、図２に示したパラメータ）を取得する。そして、解釈部１１４は、取得部１１２が取得したパラメータ等に基づいて、ユーザ入力である「大きくして」を、画面を大きくすること又は音量を大きくすることと多義的に解釈する。

ユーザ入力である「大きくして」の解釈部１１４による解釈が複数の解釈（画面を大きくすること及び音量を大きくすること）を含むため、応答情報生成部１１８は、複数の解釈のうちのいずれがユーザ入力の内容に当てはまる解釈かをユーザに尋ねる応答情報を生成する。例えば、応答情報生成部１１８は、「大きくするのは画面ですか？音量ですか？」等のユーザ入力の内容を特定するための応答情報を生成する。この結果、「大きくするのは画面ですか？音量ですか？」と記載されたテキストがディスプレイ１６２に表示される。

図５に示す例では、ユーザは、「大きくするのは画面ですか？音量ですか？」の問いに対して「画面」と音声で指示している。このため、解釈部１１４は、最初のユーザ入力である「大きくして」を、画面を大きくすることと一意に解釈する。そして、応答情報生成部１１８は、ユーザの指示を実行することを示す応答情報を生成する。また、制御コマンド発行部１１６は、映画を全画面で表示する制御コマンドを発行する。この結果、例えば、「承知しました」と記載されたテキストがディスプレイ１６２に表示され、ディスプレイ１６２の全画面に映画が表示される。

ユーザ入力の解釈部１１４による解釈が複数の解釈を含む場合でも、情報処理装置１０は、複数の解釈のうちのいずれがユーザ入力の内容に当てはまる解釈かをユーザに尋ねる応答情報を用いて、ユーザ入力の解釈を特定できる。このため、情報処理装置１０の使い勝手を向上させることができる。

図６は、図１に示した情報処理装置の動作の一例を示すフローチャートである。なお、図６に示す動作は、情報処理装置１０の制御方法の一例である。

ステップＳ１００では、処理装置１００は、ユーザ入力があるか否かを判定する。例えば、処理装置１００は、入力装置１５０がユーザ入力を受け付けたか否かを判定する。ユーザ入力がある場合、すなわち、入力装置１５０がユーザ入力を受け付けた場合、情報処理装置１０の動作は、ステップＳ１１０に移る。一方、ユーザ入力がない場合、すなわち、入力装置１５０がユーザ入力を受け付けていない場合、情報処理装置１０の動作は、ステップＳ１００に戻る。

すなわち、情報処理装置１０は、入力装置１５０がユーザ入力を受け付けるまで、ステップＳ１１０の処理の実行を待機する。換言すれば、情報処理装置１０は、入力装置１５０がユーザ入力（例えば、図３、図４及び図５の「大きくして」等の音声入力）を受け付けると、ステップＳ１１０の処理を実行する。

ステップＳ１１０では、処理装置１００は、取得部１１２として機能し、有効なコンテンツを特定する。図３から図５に示した例では、ユーザが情報処理装置１０を用いて映画を視聴しているため、取得部１１２は、映画を有効なコンテンツとして特定する。なお、例えば、ユーザが情報処理装置１０を用いてメールを見ている場合、メールが有効なコンテンツとして特定され、ユーザが情報処理装置１０を用いて地図を見ている場合、地図が有効なコンテンツとして特定される。また、例えば、ユーザが情報処理装置１０を用いてアクションゲームをしている場合、アクションゲームが有効なコンテンツとして特定され、ユーザが情報処理装置１０を用いて音楽ゲームをしている場合、音楽ゲームが有効なコンテンツとして特定される。

次に、ステップＳ１２０では、処理装置１００は、取得部１１２として機能し、有効なコンテンツの状態を示す一又は複数のパラメータを含むコンテンツ情報を取得する。例えば、ステップＳ１１０において特定された有効なコンテンツが映画である場合、取得部１１２は、映画のタイトル、字幕の有無、ウインドウサイズ、音声のミュートの有無及びイヤホンの接続の有無等をそれぞれ示すパラメータを、コンテンツ情報に含めるパラメータとして取得する。

次に、ステップＳ１３０では、処理装置１００は、解釈部１１４として機能し、ユーザ入力の内容をステップＳ１２０において取得したコンテンツ情報に基づいて解釈する。図３に示した例では、解釈部１１４は、ユーザ入力である「大きくして」を、画面を大きくすることとコンテンツ情報に含まれるパラメータ等に基づいて一意に解釈する。また、図４に示した例では、解釈部１１４は、ユーザ入力である「大きくして」を、音量を大きくすることとコンテンツ情報に含まれるパラメータ等に基づいて一意に解釈する。また、図５に示した例では、解釈部１１４は、ユーザ入力である「大きくして」を、画面を大きくすること又は音量を大きくすることとコンテンツ情報に含まれるパラメータ等に基づいて多義的に解釈する。

次に、ステップＳ１４０では、処理装置１００は、応答情報生成部１１８として機能し、ステップＳ１３０において解釈したユーザ入力の内容が多義的か否かを判定する。例えば、応答情報生成部１１８は、ユーザ入力の解釈部１１４による解釈結果が複数の解釈を含むか否かを判定する。

図３及び図４に示した例では、ユーザ入力の解釈部１１４による解釈結果は１つの解釈を示すため、ユーザ入力の内容は一意に特定される。したがって、図３及び図４に示した例では、応答情報生成部１１８は、ユーザ入力の内容は多義的でないと判定する。また、図５に示した例では、ユーザ入力の解釈部１１４による解釈結果は複数の解釈を含むため、ユーザ入力の内容は一意に特定されない。したがって、図５に示した例では、応答情報生成部１１８は、ユーザ入力の内容は多義的であると判定する。

なお、ステップＳ１３０において解釈したユーザ入力の内容が多義的か否かの判定は、応答情報生成部１１８以外の機能ブロックにより実行されてもよい。例えば、解釈部１１４がステップＳ１３０において解釈したユーザ入力の内容が多義的か否かを判定してもよい。ユーザ入力の内容が多義的である場合、すなわち、ユーザ入力の解釈部１１４による解釈結果が複数の解釈を含む場合、情報処理装置１０の動作は、ステップＳ１４２に移る。一方、ユーザ入力の内容が多義的でない場合、すなわち、ユーザ入力の内容が一意に特定される場合、情報処理装置１０の動作は、ステップＳ１５０に移る。

ステップＳ１４２では、処理装置１００は、応答情報生成部１１８として機能し、ユーザ入力の内容をユーザに尋ねる応答情報をステップＳ１３０の解釈結果に基づいて生成する。そして、情報処理装置１０は、生成した応答情報を出力する。図５に示した例では、応答情報生成部１１８は、ユーザ入力である「大きくして」の解釈結果（画面を大きくすること及び音量を大きくすることの２通りの解釈）に基づいて、「大きくするのは画面ですか？音量ですか？」等のユーザ入力の内容をユーザに尋ねる応答情報を生成する。そして、情報処理装置１０は、「大きくするのは画面ですか？音量ですか？」と記載したテキストをディスプレイ１６２に表示する。

次に、ステップＳ１４４では、処理装置１００は、解釈部１１４として機能し、ユーザ入力の内容の解釈をステップＳ１４２で出力した応答情報に対する回答に基づいて決定する。図５に示した例では、解釈部１１４は、「大きくするのは画面ですか？音量ですか？」の問いに対して、「画面」との回答をユーザから受けたため、最初のユーザ入力である「大きくして」の内容の解釈を、画面を大きくすることに決定する。ステップＳ１４４の処理が実行された後、情報処理装置１０の動作は、ステップＳ１５０に移る。

ステップＳ１５０では、処理装置１００は、応答情報生成部１１８として機能し、ユーザ入力に対する応答情報を、ユーザ入力の内容の解釈結果に基づいて生成する。そして、情報処理装置１０は、生成した応答情報を出力する。例えば、ステップＳ１３０において解釈したユーザ入力の内容が多義的である場合、応答情報生成部１１８は、ステップＳ１４４で決定したユーザ入力の内容の解釈に基づいて、応答情報を生成する。また、例えば、ステップＳ１３０において解釈したユーザ入力の内容が一意的である場合、応答情報生成部１１８は、ステップＳ１３０において解釈したユーザ入力の内容に応じて、応答情報を生成する。

図３に示した例では、ユーザ入力である「大きくして」が画面を大きくすることに一意に解釈されるため、応答情報生成部１１８は、画面を大きくすることを示す応答情報を、ユーザ入力に対する応答情報として生成する。そして、情報処理装置１０は、生成した応答情報に基づいて、「全画面にします」と記載したテキストをディスプレイ１６２に表示する。また、図４に示した例では、ユーザ入力である「大きくして」が音量を大きくすることに一意に解釈されるため、応答情報生成部１１８は、音量を大きくすることを示す応答情報を、ユーザ入力に対する応答情報として生成する。そして、情報処理装置１０は、生成した応答情報に基づいて、「音量を大きくします」と記載したテキストをディスプレイ１６２に表示する。

図５に示した例では、ユーザ入力の内容をユーザに尋ねる応答情報に対する回答に基づいてユーザ入力である「大きくして」の解釈が画面を大きくすることに決定されたため、応答情報生成部１１８は、ユーザの指示を実行することを示す応答情報を生成する。そして、情報処理装置１０は、生成した応答情報に基づいて、「承知しました」と記載したテキストをディスプレイ１６２に表示する。

次に、ステップＳ１６０では、処理装置１００は、制御コマンド発行部１１６として機能し、ユーザ入力に応じた制御コマンドを、ユーザ入力の内容の解釈結果に基づいて生成する。図３及び図５に示した例では、ユーザ入力である「大きくして」の内容の解釈結果が画面を大きくすることであるため、制御コマンド発行部１１６は、映画を全画面で表示する制御コマンドを発行する。この結果、ディスプレイ１６２の全画面に映画が表示される。図４に示した例では、ユーザ入力である「大きくして」の内容の解釈結果が音量を大きくすることであるため、制御コマンド発行部１１６は、音量を大きくする制御コマンドを発行する。この結果、情報処理装置１０が再生している映画の音量が、大きくなる。

次に、ステップＳ１７０では、処理装置１００は、応答情報生成部１１８として機能し、ユーザ入力に対する応答情報を、ステップＳ１６０において発行した制御コマンドの実行結果に基づいて生成する。そして、情報処理装置１０は、生成した応答情報を出力する。なお、図３、図４及び図５に示した例では、ステップＳ１６０において発行した制御コマンドの実行によりユーザ入力に対する応答は終了する。但し、ユーザ入力に対する応答の終了は、ステップＳ１６０において発行した制御コマンドの実行に限定されない。例えば、ユーザ入力の内容が目的地までのルート検索の場合、ルート検索の結果が出力されることによりユーザ入力に対する応答が終了する。

例えば、ユーザ入力の内容が目的地までのルート検索の場合、目的地までのルート検索を実行するための制御コマンドがステップＳ１６０において発行されるため、応答情報生成部１１８は、目的地までのルートを示す応答情報を、ルート検索の結果に基づいて生成する。そして、情報処理装置１０は、目的地までのルートをテキスト及び音声の一方又は両方で出力して、ユーザ入力に対する応答を終了する。

なお、情報処理装置１０の動作は、図６に示す例に限定されない。例えば、ステップＳ１４４において、ユーザ入力の内容の解釈が決定しない場合、ステップＳ１４２及びＳ１４４の一連の処理は、ユーザ入力の内容の解釈が決定するまで繰り返されてもよい。また、例えば、ステップＳ１５０及びＳ１７０の処理の一方は、ユーザ入力の内容に応じて省かれてもよい。

以上、第１実施形態では、情報処理装置１０は、コンテンツに関するコンテンツ情報を取得する取得部１１２と、コンテンツを処理するアプリケーションに対するユーザ入力（自然言語によるユーザの入力）をコンテンツ情報に基づいて解釈する解釈部１１４とを有する。情報処理装置１０は、有効なコンテンツに関するコンテンツ情報に基づいて、ユーザ入力の内容を解釈する。このため、例えば、多義的な指示がユーザから発せられた場合、ユーザの指示が特定されないことを低減することができ、ユーザの意図と異なる処理が実行されることを低減することができる。この結果、情報処理装置１０の使い勝手を向上させることができる。

また、情報処理装置１０は、ユーザ入力に応じた制御コマンドを、ユーザ入力の解釈部１１４による解釈結果に基づいて発行する制御コマンド発行部１１６を有する。例えば、多義的な指示がユーザから発せられた場合でも、ユーザの指示が解釈部１１４によりコンテンツ情報に基づいて一意に解釈されるため、ユーザの意図と異なる処理の制御コマンドが発行されることを低減することができる。

また、情報処理装置１０は、ユーザ入力に対する応答情報を、ユーザ入力の解釈部１１４による解釈結果に基づいて生成する応答情報生成部１１８を有する。例えば、多義的な指示がユーザから発せられた場合でも、ユーザの指示が解釈部１１４によりコンテンツ情報に基づいて一意に解釈されるため、ユーザの意図と異なる指示に対して応答情報が生成されることを低減することができる。

また、応答情報生成部１１８は、ユーザ入力の解釈部１１４による解釈結果が複数の解釈を含む場合、複数の解釈のうちのいずれがユーザ入力の内容に当てはまる解釈かをユーザに尋ねる応答情報を生成する。例えば、情報処理装置１０は、有効なコンテンツに関するコンテンツ情報を用いてもユーザ入力の内容を一意に特定できない場合に、ユーザ入力の内容をユーザに尋ねる応答情報を用いて、ユーザ入力の内容を特定できる。

[２．第２実施形態]
第２実施形態と上述した第１実施形態の主な相違点は、図７に示すエージェント部１１０ａが図１に示した取得部１１２の代わりに取得部１１２ａを有する点である。

図７は、本発明の第２実施形態に係る情報処理装置１０の全体構成を示すブロック図である。図１から図６において説明した要素と同一又は同様の要素については、同一の符号を付し、詳細な説明を省略する。

図７に示す情報処理装置１０は、図１に示した情報処理装置１０と同一の構成である。例えば、情報処理装置１０は、処理装置１００、記憶装置１４０、入力装置１５０、出力装置１６０及び通信装置１７０を具備するコンピュータシステムにより実現される。情報処理装置１０の複数の要素は、単体又は複数のバスで相互に接続される。また、情報処理装置１０の複数の要素の各々を、単数又は複数の機器が構成してもよい。あるいは、情報処理装置１０の一部の要素は省略されてもよい。

図７に示す処理装置１００は、図１に示した制御プログラムＰＲの代わりに制御プログラムＰＲａを実行することを除いて、図１に示した処理装置１００と同一又は同様である。例えば、処理装置１００は、記憶装置１４０から制御プログラムＰＲａを読み出して実行することによって、エージェント部１１０ａとして機能する。

エージェント部１１０ａは、図１に示したエージェント部１１０と同様に、自然言語によるユーザの入力であるユーザ入力を解釈して、ユーザ入力に応じた処理を実行する。なお、図７のエージェント部１１０ａ内に示した取得部１１２ａ、解釈部１１４、制御コマンド発行部１１６及び応答情報生成部１１８は、エージェント部１１０ａの機能ブロックの一例である。すなわち、情報処理装置１０は、取得部１１２ａ、解釈部１１４、制御コマンド発行部１１６及び応答情報生成部１１８を有する。図７に示す解釈部１１４、制御コマンド発行部１１６及び応答情報生成部１１８は、図１に示した解釈部１１４、制御コマンド発行部１１６及び応答情報生成部１１８と同一である。このため、図７では、取得部１１２ａについて説明する。

取得部１１２ａは、ディスプレイ１６２に複数のウインドウが表示される場合、複数のウインドウのうち、ユーザの入力を受け付けるアクティブ状態のウインドウに対応するコンテンツを特定する。そして、取得部１１２ａは、アクティブ状態のウインドウに対応するコンテンツに関するコンテンツ情報を取得する。例えば、取得部１１２ａは、ディスプレイ１６２に表示されている複数のウインドウのうち、地図が表示されたウインドウがアクティブ状態である場合、地図の表示を有効なコンテンツとして特定する。そして、取得部１１２ａは、有効なコンテンツに関するコンテンツ情報を取得する。

図８は、図７に示した情報処理装置１０の動作の一例を示す説明図である。なお、図８は、２つのウインドウＷＤ（ＷＤ１０及びＷＤ２０）がディスプレイ１６２に表示されている場合の情報処理装置１０の動作の一例を示す。ウインドウＷＤ１０には、映画が表示され、ウインドウＷＤ２０には、メールが表示されている。図８のウインドウＷＤ内の上側の濃い網掛けは、ユーザの入力を受け付けるアクティブ状態のウインドウＷＤを示す。

状態Ｃ１では、取得部１１２ａは、ユーザの入力を受け付けるアクティブ状態のウインドウＷＤとして、ウインドウＷＤ１０を特定する。そして、取得部１１２ａは、ウインドウＷＤ１０に再生されている映画を有効なコンテンツとして特定する。したがって、取得部１１２ａは、映画に関するコンテンツ情報を取得する。また、状態Ｃ２では、取得部１１２ａは、ユーザの入力を受け付けるアクティブ状態のウインドウＷＤとして、ウインドウＷＤ２０を特定する。そして、取得部１１２ａは、ウインドウＷＤ２０に表示されているメールを有効なコンテンツとして特定する。したがって、取得部１１２ａは、メールに関するコンテンツ情報を取得する。

以上、第２実施形態においても、第１実施形態と同様の効果を得ることができる。また、第２実施形態では、取得部１１２ａは、ディスプレイ１６２に複数のウインドウＷＤが表示される場合、複数のウインドウＷＤのうち、ユーザの入力を受け付けるアクティブ状態のウインドウＷＤに対応するコンテンツを有効なコンテンツとして特定する。このため、ディスプレイ１６２に複数のウインドウＷＤが表示される場合でも、情報処理装置１０は、ユーザ入力を有効なコンテンツに関するコンテンツ情報に基づいて解釈できる。このため、ディスプレイ１６２に複数のウインドウＷＤが表示される場合でも、情報処理装置１０の使い勝手を向上させることができる。

[３．第３実施形態]
第３実施形態と上述した第１実施形態の主な相違点は、応答情報の出力態様が有効なコンテンツに関するコンテンツ情報に基づいて決定される点である。

図９は、本発明の第３実施形態に係る情報処理装置１０の全体構成を示すブロック図である。図１から図８において説明した要素と同一又は同様の要素については、同一の符号を付し、詳細な説明を省略する。

図９に示す情報処理装置１０は、図１に示した出力装置１６０の代わりに出力装置１６０Ａを有することを除いて、図１に示した情報処理装置１０と同一の構成である。例えば、情報処理装置１０は、処理装置１００、記憶装置１４０、入力装置１５０、出力装置１６０Ａ及び通信装置１７０を具備するコンピュータシステムにより実現される。情報処理装置１０の複数の要素は、単体又は複数のバスで相互に接続される。また、情報処理装置１０の複数の要素の各々は、単数又は複数の機器が構成してもよい。あるいは、情報処理装置１０の一部の要素は省略されてもよい。

出力装置１６０Ａは、振動発生部１６８を有することを除いて、図１に示した出力装置１６０と同一の構成である。すなわち、出力装置１６０Ａは、ディスプレイ１６２、スピーカー１６４、発光部１６６及び振動発生部１６８を有する。振動発生部１６８は、例えば、バイブレータであり、処理装置１００による制御のもとで振動する。具体的には、処理装置１００は、応答情報の内容に応じて振動発生部１６８を振動させることにより、情報処理装置１０を振動させる。処理装置１００は、応答情報の内容に応じた振動のパターンを、電話の着信を知らせる振動のパターン等と異なるパターンにしてもよい。

図９に示す処理装置１００は、図１に示した制御プログラムＰＲの代わりに制御プログラムＰＲｂを実行することを除いて、図１に示した処理装置１００と同一又は同様である。例えば、処理装置１００は、記憶装置１４０から制御プログラムＰＲｂを読み出して実行することによって、エージェント部１１０ｂ、表示データ生成部１２０及び音データ生成部１３０として機能する。

エージェント部１１０ｂは、図１に示したエージェント部１１０と同様に、自然言語によるユーザの入力であるユーザ入力を解釈して、ユーザ入力に応じた処理を実行する。なお、図９のエージェント部１１０ｂ内に示した取得部１１２、解釈部１１４、制御コマンド発行部１１６、応答情報生成部１１８及び出力態様決定部１１９は、エージェント部１１０ｂの機能ブロックの一例である。すなわち、情報処理装置１０は、取得部１１２、解釈部１１４、制御コマンド発行部１１６、応答情報生成部１１８及び出力態様決定部１１９を有する。図９に示す取得部１１２、解釈部１１４、制御コマンド発行部１１６及び応答情報生成部１１８は、図１に示した解釈部１１４、制御コマンド発行部１１６及び応答情報生成部１１８と同一である。このため、図９では、出力態様決定部１１９、表示データ生成部１２０及び音データ生成部１３０について説明する。

出力態様決定部１１９は、応答情報の出力態様を、有効なコンテンツに関するコンテンツ情報に基づいて決定する。例えば、出力態様決定部１１９は、複数の出力態様を含む出力態様候補から応答情報の出力態様をコンテンツ情報に基づいて選択する。出力態様候補は、例えば、応答情報を画像で出力する出力態様、応答情報を音で出力する出力態様、応答情報を振動で出力する出力態様及び応答情報の内容に応じた光を出力する出力態様のうちの複数の出力態様を含む。

応答情報を画像で出力する出力態様は、例えば、応答情報の内容をテキストで表示する出力態様及び応答情報の内容に応じたアイコンを表示する出力態様を含んでもよい。また、応答情報を音で出力する出力態様は、例えば、応答情報の内容を示すテキストを読み上げる出力態様と、応答情報の内容を識別可能なメロディー、ハーモニー、リズム（又はテンポ）及び音色等の音楽的要素で出力する出力態様とを含んでもよい。

表示データ生成部１２０は、出力態様決定部１１９により応答情報の出力態様が応答情報を画像で出力する出力態様に決定された場合、応答情報の内容を示すテキスト又はアイコン等の表示データを生成する。そして、表示データ生成部１２０は、生成した表示データをディスプレイ１６２に転送する。

音データ生成部１３０は、出力態様決定部１１９により応答情報の出力態様が応答情報を音で出力する出力態様に決定された場合、応答情報の内容を示す音データを生成する。音データは、例えば、応答情報の内容を示すテキストを読み上げる音のデータ又は応答情報の内容を識別可能な音楽的要素を含む音のデータ等である。音データ生成部１３０は、生成した音データをスピーカー１６４に転送する。

なお、エージェント部１１０ｂの機能ブロックは、図９に示す例に限定されない。例えば、エージェント部１１０ｂは、取得部１１２の代わりに、図７に示した取得部１１２ａを有してもよい。次に、図１０を参照して、コンテンツ情報と応答情報の出力態様との関係の一例を説明する。

図１０は、コンテンツ情報と応答情報の出力態様との関係の一例を示す説明図である。なお、コンテンツ情報と応答情報の出力態様との関係等は、図１０に示す例に限定されない。図１０では、複数のパラメータのうちの１つのパラメータが示す情報を抜粋して記載している。例えば、コンテンツの種類が映画又はＴＶ番組の場合、字幕の有無を示すパラメータの情報を記載し、コンテンツの種類がメールの場合、ウインドウサイズを示すパラメータの情報を記載している。

例えば、コンテンツの種類が映画又はＴＶ番組で、字幕がない場合、応答情報の出力態様として、テキストが選択される。情報処理装置１０は、ユーザ入力に対してテキスト表示で応答することにより、映画等の音声が聞き取り難くなることを防止できる。

また、コンテンツの種類が映画又はＴＶ番組で、字幕がある場合、応答情報の出力態様として、字幕と異なる書体のテキストが選択される。情報処理装置１０は、応答情報の内容を映画の字幕と異なる書体で表示することにより、ディスプレイ１６２に表示された文章が応答情報の内容を示すのか映画の字幕であるのかを容易に区別させることができる。また、情報処理装置１０は、応答情報の内容をディスプレイ１６２上の字幕に重ならない位置に表示することにより、映画の字幕が見難くなることを防止できる。

コンテンツの種類がメールで、全画面表示である場合、応答情報の出力態様として、音声が選択される。情報処理装置１０は、ユーザ入力に対して音声で応答することにより、メールの文章等が読み難くなることを防止できる。例えば、応答情報の出力態様がテキストである場合、応答情報の内容を示すテキストがメールの文章等に重ねて表示されると、メールの文章等が読み難くなる。

また、コンテンツの種類がメールで、縮小表示である場合、応答情報の出力態様として、音声及びテキストの両方が選択される。情報処理装置１０は、ユーザ入力に対して音声とテキストの両方で応答することにより、音声のみで応答する場合に比べて、応答情報の内容をユーザに確実に伝えることができる。また、情報処理装置１０は、応答情報の内容をディスプレイ１６２上のメールの表示領域と異なる領域に表示することにより、メールの文章等が読み難くなることを防止できる。例えば、応答情報の内容を示すテキストがメールの表示領域に表示される場合、応答情報の内容を示すテキストがメールの文章等に重ねて表示されると、メールの文章等が読み難くなる。

コンテンツの種類が地図で、全画面表示である場合、応答情報の出力態様として、音声が選択される。この場合、表示中の地図が見難くなることを防止することができる。例えば、応答情報の出力態様がテキストである場合、応答情報の内容を示すテキストが地図に重ねて表示されると、表示中の地図が見難くなる。また、コンテンツの種類が地図で、縮小表示である場合、応答情報の出力態様として、音声及びテキストの両方が選択される。この場合、音声のみで応答する場合に比べて、応答情報の内容をユーザに確実に伝えることができる。なお、情報処理装置１０は、応答情報の内容をディスプレイ１６２上の地図の表示領域と異なる領域に表示することにより、表示中の地図が見難くなることを防止できる。

コンテンツの種類がアクションゲームで、全画面表示である場合、応答情報の出力態様として、音声が選択される。この場合、ゲームの画面等が見難くなることを防止することができ、アクションゲームの進行に支障が生じることを抑止することができる。例えば、応答情報の出力態様がテキストである場合、応答情報の内容を示すテキストがゲームの画面等に重ねて表示されると、ゲームの画面等が見難くなる。また、コンテンツの種類がアクションゲームで、縮小表示である場合、応答情報の出力態様として、音声及びテキストの両方が選択される。この場合、音声のみで応答する場合に比べて、応答情報の内容をユーザに確実に伝えることができる。なお、情報処理装置１０は、応答情報の内容をディスプレイ１６２上のアクションゲームの表示領域と異なる領域に表示することにより、ゲームの画面等が見難くなることを防止できる。

コンテンツの種類が音楽ゲームで、全画面表示である場合、応答情報の出力態様として、テキストが選択される。なお、コンテンツの種類が音楽ゲームで、縮小表示である場合も、応答情報の出力態様として、テキストが選択される。情報処理装置１０は、ユーザ入力に対してテキストで応答することにより、ゲームの音が聞き取り難くなることを防止でき、音楽ゲームの進行に支障が生じることを抑止できる。例えば、応答情報の出力態様が音声である場合、応答情報の内容をユーザに伝える音声がゲームの音と重なると、応答情報の内容及びゲームの音が聞き取り難くなる。

図１１は、図９に示した情報処理装置１０の動作の一例を示すフローチャートである。なお、図１１に示す動作は、情報処理装置１０の制御方法の一例である。図１１に示す動作は、ステップＳ１３２の処理が図６に示した動作に追加されることを除いて、図６に示した動作と同一又は同様である。このため、図１１では、ステップＳ１３２の処理を中心に情報処理装置１０の動作を説明する。ステップＳ１３２の処理は、例えば、ステップＳ１３０の処理が実行された後に実行される。

ステップＳ１３２では、処理装置１００は、出力態様決定部１１９として機能し、ステップＳ１２０において取得したコンテンツ情報に基づいて、応答情報の出力態様を決定する。例えば、ステップＳ１４２、Ｓ１５０及びＳ１７０では、ステップＳ１３２の処理で決定された出力態様で、応答情報が出力される。ステップＳ１３２の処理が実行された後、ステップＳ１４０の処理が実行される。

なお、情報処理装置１０の動作は、図１１に示す例に限定されない。例えば、ステップＳ１３２の処理は、ステップＳ１２０の処理が実行された後であれば、ステップＳ１３０の処理が実効される前に実行されてもよい。また、例えば、出力態様決定部１１９は、コンテンツ情報の他に、ユーザ入力の内容及び応答情報の内容の一方又は両方を考慮して、応答情報の出力態様を決定してもよい。すなわち、出力態様決定部１１９は、コンテンツ情報とユーザ入力の内容とに基づいて応答情報の出力態様を決定してもよいし、コンテンツ情報とユーザ入力の内容と応答情報の内容とに基づいて応答情報の出力態様を決定してもよい。例えば、ユーザ入力の内容が緊急性の高い要求等である場合、あるいは、応答情報の内容が確実にユーザに認知してもらいたいもの（例えば、緊急性の高い内容等）である場合、応答情報の出力態様として、テキスト及び音声の両方が選択されてもよい。

また、例えば、応答情報がユーザの指示を承知したこと等の簡単な内容を伝える情報である場合、情報処理装置１０は、振動発生部１６８を振動させることにより応答情報をユーザに伝えてもよい。あるいは、応答情報が簡単な内容を伝える情報である場合、情報処理装置１０は、ＬＥＤ等の発光部１６６を点灯又は点滅させることにより応答情報をユーザに伝えてもよいし、短い音をスピーカー１６４から出力することにより応答情報をユーザに伝えてもよい。

以上、第３実施形態においても、第１実施形態と同様の効果を得ることができる。また、第３実施形態では、情報処理装置１０は、応答情報の出力態様をコンテンツ情報に基づいて決定する出力態様決定部１１９を有する。例えば、情報処理装置１０は、ユーザ入力に対する応答情報の出力態様を有効なコンテンツに関するコンテンツ情報に応じて変更できる。このため、図１０において説明したように、情報処理装置１０の使い勝手を向上させることができる。

[４．変形例]
本発明は、以上に例示した実施形態に限定されない。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を併合してもよい。

[第１変形例]
上述した第２実施形態では、ディスプレイ１６２に表示された複数のウインドウＷＤのうち、アクティブ状態のウインドウＷＤに対応するコンテンツを有効なコンテンツとして特定する例を示したが、有効なコンテンツはアクティブ状態のウインドウＷＤに対応するコンテンツに限定されない。例えば、取得部１１２は、アクティブ状態のウインドウＷＤに対する操作が所定時間以上実行されない場合、複数のウインドウＷＤにそれぞれ対応する複数のコンテンツのうち、予め決められた優先度の最も高いコンテンツを有効なコンテンツとして特定してもよい。例えば、図８の状態Ｃ２において、ユーザが、送信メールを作成して送信した後、メールに対する操作を所定時間以上実行することなく、ウインドウＷＤ１０に表示されている映画を視聴し続けた場合で、映画の優先度がメールの優先度より高い場合、取得部１１２ａは、アクティブ状態のメールでなく、映画を有効なコンテンツとして特定してもよい。

[第２変形例]
上述した第１実施形態から第３実施形態までの各実施形態では、出力装置１６０及び１６０Ａが発光部１６６を有する例を示したが、応答情報の内容に応じた光を発光部１６６から出力する出力態様が出力態様候補に含まれない場合等において、発光部１６６は、出力装置１６０及び１６０Ａから省かれてもよい。また、出力装置１６０は、応答情報を振動で出力する出力態様が出力態様候補に含まれる場合等において、振動発生部１６８を有してもよい。

[第３変形例]
情報処理装置１０は、補助記憶装置を有してもよい。補助記憶装置は、処理装置１００が読取可能な記録媒体であり、例えば、ＣＤ−ＲＯＭ（Compact Disc ＲＯＭ）等の光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、及び、磁気ストリップ等の少なくとも１つによって構成されてもよい。補助記憶装置は、ストレージと呼ばれてもよい。

[５．その他]
（１）上述した実施形態では、記憶装置１４０は、処理装置１００が読取可能な記録媒体であり、ＲＯＭ及びＲＡＭなどを例示したが、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリデバイス(例えば、カード、スティック、キードライブ)、ＣＤ−ＲＯＭ（Compact Disc−ＲＯＭ）、レジスタ、リムーバブルディスク、ハードディスク、フロッピー（登録商標）ディスク、磁気ストリップ、データベース、サーバその他の適切な記憶媒体である。また、プログラムは、電気通信回線を介してネットワークから送信されてもよい。また、プログラムは、電気通信回線を介して通信網から送信されてもよい。

（２）上述した実施形態は、ＬＴＥ（Long Term Evolution）、ＬＴＥ−Ａ（LTE-Advanced）、ＳＵＰＥＲ ３Ｇ、ＩＭＴ−Ａｄｖａｎｃｅｄ、４Ｇ（4th generation mobile communication system）、５Ｇ（5th generation mobile communication system）、ＦＲＡ（Future Radio Access）、ＮＲ（new Radio）、Ｗ−ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra Mobile Broadband）、ＩＥＥＥ ８０２．１１（Ｗｉ−Ｆｉ（登録商標））、ＩＥＥＥ ８０２．１６（ＷｉＭＡＸ（登録商標））、ＩＥＥＥ ８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及びこれらに基づいて拡張された次世代システムの少なくとも一つに適用されてもよい。また、複数のシステムが組み合わされて（例えば、ＬＴＥ及びＬＴＥ−Ａの少なくとも一方と５Ｇとの組み合わせ等）適用されてもよい。

なお、本開示において説明した用語及び本開示の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。例えば、信号はメッセージであってもよい。

（３）上述した実施形態において、入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

（４）上述した実施形態において、判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

（５）上述した実施形態において例示した処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。

（６）図１、図７及び図９に例示された各機能は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。

（７）上述した実施形態で例示したプログラムは、ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital Subscriber Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。

（８）前述の各形態において、「システム」及び「ネットワーク」という用語は、互換的に使用される。

（９）本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。上述したパラメータに使用する名称はいかなる点においても限定的な名称ではない。さらに、これらのパラメータを使用する数式等は、本開示で明示的に開示したものと異なる場合もある。

（１０）上述した実施形態において、「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」で読み替えられてもよい。本開示で使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることができる。

（１１）上述した実施形態において、「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

（１２）本開示で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up、search、inquiry)（例えば、テーブル、データベース又は別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（assuming）」、「期待する（expecting）」、「みなす（considering）」などで読み替えられてもよい。

（１３）上述した実施形態において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。

（１４）本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。

（１５）本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。

１０…情報処理装置、１００…処理装置、１１０、１１０ａ、１１０ｂ…エージェント部、１１２、１１２ａ…取得部、１１４…解釈部、１１６…制御コマンド発行部、１１８…応答情報生成部、１１９…出力態様決定部、１２０…表示データ生成部、１３０…音データ生成部、１４０…記憶装置、１５０…入力装置、１５２…マイクロフォン、１５４…操作部、１６０、１６０Ａ…出力装置、１６２…ディスプレイ、１６４…スピーカー、１６６…発光部、１６８…振動発生部、１７０…通信装置、ＷＤ１０、ＷＤ２０…ウインドウ。

Claims (7)

1. コンテンツに関するコンテンツ情報を取得する取得部と、
   前記コンテンツを処理するアプリケーションに対する自然言語によるユーザ入力を前記コンテンツ情報に基づいて解釈する解釈部と、
   を備えることを特徴とする情報処理装置。
2. 前記ユーザ入力に応じた制御コマンドを、前記ユーザ入力の前記解釈部による解釈結果に基づいて発行する制御コマンド発行部を備える、
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記ユーザ入力に対する応答情報を、前記ユーザ入力の前記解釈部による解釈結果に基づいて生成する応答情報生成部を備える、
   ことを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記応答情報生成部は、前記ユーザ入力の前記解釈部による解釈結果が複数の解釈を含む場合、前記複数の解釈のうちのいずれが前記ユーザ入力の内容に当てはまる解釈かをユーザに尋ねる前記応答情報を生成する、
   ことを特徴とする請求項３に記載の情報処理装置。
5. 前記応答情報の出力態様を前記コンテンツ情報に基づいて決定する出力態様決定部を備える、
   ことを特徴とする請求項３又は４に記載の情報処理装置。
6. 前記取得部は、表示装置に複数のウインドウが表示される場合、前記複数のウインドウのうち、ユーザの入力を受け付けるアクティブ状態のウインドウに対応する前記コンテンツに関する前記コンテンツ情報を取得する、
   ことを特徴とする請求項１から５までのうちいずれか１項に記載の情報処理装置。
7. 前記コンテンツ情報は、前記コンテンツの種類に応じて定められた複数のパラメータを有する、
   ことを特徴とする請求項１から６までのうちいずれか１項に記載の情報処理装置。

Images