JP6936165B2 - 表示制御装置、表示制御システム、及び表示制御方法 - Google Patents

Description

本発明は、表示制御装置、表示制御システム、及び表示制御方法に関する。

音声認識技術を利用して入力を切り替える放送受信装置が特許文献１に開示されている。特許文献１に開示された放送受信装置は、ユーザー音声に呼出し語が含まれている場合、呼出し語に対応する外部入力装置が接続されている外部入力端子を活性化させて、ユーザー音声に対応する外部入力装置から受信する映像を表示する。特許文献１に開示されている呼出し語は、例えばビデオ、ＤＶＤ、ブルーレイであり、呼出し語がビデオである場合、放送受信装置は、ビデオ装置が接続する外部入力端子を活性化させる。

特開２０１４−０２１４９３号公報

しかしながら、特許文献１に開示された放送受信装置では、外部入力装置がどのような状態であっても、呼出し語に対応する外部入力装置が接続する入力端子を活性化させる。したがって、外部入力装置の状態に応じて入力切替を制御することができない。

本発明は上記課題に鑑みてなされたものであり、その目的は、表示装置に接続している情報処理装置の状態に応じて、表示装置の入力切替を制御することができる表示制御装置、表示制御システム、及び表示制御方法を提供することにある。

本発明の表示制御装置は、表示装置を制御する。前記表示装置は、情報処理装置が接続される２つ以上の入力部を備える。前記表示制御装置は、記憶部と、判定部と、コマンド生成部とを備える。前記記憶部は、装置情報及び受信状況情報を記憶する。前記装置情報は、前記情報処理装置のそれぞれの状態を示す。前記受信状況情報は、前記表示装置が表示している表示画像を出力する前記情報処理装置を示す。前記判定部は、利用者からの指示の内容を判定する。前記コマンド生成部は、前記判定部の判定結果と、前記記憶部が記憶している情報とに基づいて、前記情報処理装置及び前記表示装置のうちの少なくとも１つに対して発行するコマンドを生成する。

本発明の表示制御システムは、表示装置と、前記表示装置を制御する表示制御装置とを備える。前記表示装置は、情報処理装置が接続される２つ以上の入力部を備える。前記表示制御装置は、記憶部と、判定部と、コマンド生成部とを備える。前記記憶部は、装置情報、及び受信状況情報を記憶する。前記装置情報は、前記情報処理装置のそれぞれの状態を示す。前記受信状況情報は、前記表示装置が表示している表示画像を出力する前記情報処理装置を示す。前記判定部は、利用者からの指示の内容を判定する。前記コマンド生成部は、前記判定部の判定結果と、前記記憶部が記憶している情報とに基づいて、前記情報処理装置及び前記表示装置のうちの少なくとも１つに対して発行するコマンドを生成する。前記表示装置は、前記コマンドに応じた画像を表示する。

本発明の表示制御方法は、表示装置を制御する方法である。前記表示装置は、情報処理装置が接続される２つ以上の入力部を備える。前記表示制御方法は、前記情報処理装置のそれぞれの状態を示す装置情報と、前記表示装置が表示している表示画像を出力する前記情報処理装置を示す受信状況情報とを記憶する記憶ステップと、利用者からの指示の内容を判定する判定ステップと、前記判定ステップにおいて判定された結果と、前記記憶ステップにおいて記憶された情報とに基づいて、前記情報処理装置及び前記表示装置のうちの少なくとも１つに対して発行するコマンドを生成するコマンド生成ステップと、前記表示装置が前記コマンドに応じた画像を表示するステップとを含む。

本発明によれば、表示装置に接続している情報処理装置の状態に応じて、表示装置の入力切替を制御することができる。

本発明の実施形態１に係る表示制御システムを示す図である。 本発明の実施形態１に係る指示入力装置の構成を示す図である。 本発明の実施形態１に係る表示制御装置の構成を示す図である。 本発明の実施形態１に係る第１情報処理装置の構成を示す図である。 本発明の実施形態１に係る表示装置の構成を示す図である。 本発明の実施形態１に係る接続装置登録画面の一例を示す図である。 （ａ）は、本発明の実施形態１に係る第１管理テーブルの一例を示す図である。（ｂ）は、本発明の実施形態１に係る第２管理テーブルの一例を示す図である。 本発明の実施形態１に係るアプリケーション使用機器テーブルの一例を示す図である。 本発明の実施形態１に係る第１登録処理を示す図である。 本発明の実施形態１に係る第２登録処理を示す図である。 本発明の実施形態１に係る第３登録処理を示す図である。 本発明の実施形態１に係る第４登録処理を示す図である。 本発明の実施形態１に係る第５登録処理を示す図である。 本発明の実施形態１に係る表示制御装置の制御部が実行する処理を示す図である。 本発明の実施形態１に係る表示制御装置の制御部が実行する処理の一例を示す図である。 本発明の実施形態１に係る表示制御装置の制御部が実行する処理の一例を示す図である。 本発明の実施形態１に係る表示装置の変形例の構成を示す図である。 本発明の実施形態２に係る第１情報処理装置及び第２情報処理装置の構成を示す図である。 本発明の実施形態２に係る表示装置の構成を示す図である。 本発明の実施形態３に係る表示制御装置の構成を示す図である。 本発明の実施形態３に係る第１情報処理装置及び第２情報処理装置の構成を示す図である。 （ａ）は、本発明の実施形態３に係る第１管理テーブルの一例を示す図である。（ｂ）は、本発明の実施形態３に係る第２管理テーブルの一例を示す図である。 本発明の実施形態３に係る表示制御装置の制御部が実行する処理の一例を示す図である。 本発明の実施形態３に係る表示制御装置の制御部が実行する処理の一例を示す図である。

以下、図面を参照して本発明の実施形態を説明する。ただし、本発明は以下の実施形態に限定されない。図中、同一又は相当部分については同一の参照符号を付して説明を繰り返さない。また、説明が重複する箇所については、適宜説明を省略する場合がある。

［実施形態１］
図１は、実施形態１に係る表示制御システム１を示す図である。図１に示すように、表示制御システム１は、指示入力装置２、表示制御装置３、第１情報処理装置４ａ、第２情報処理装置４ｂ、及び表示装置５を備える。

指示入力装置２は、利用者からの指示を入力し、入力した指示を示すデータを表示制御装置３に送信する。本実施形態において、指示入力装置２は、音声入力装置であり、利用者が発声する音声を入力し、入力した音声をデジタル信号（音声データ）に変換して表示制御装置３に送信する。以下、利用者が発声する音声を「利用者音声」と記載する場合がある。指示入力装置２は、例えば、スマートスピーカーのようなスピーカーマイク装置である。

表示制御装置３は、例えば、クラウドサーバー又はＰＣ（パーソナルコンピューター）のような情報処理装置である。表示制御装置３は、例えば、インターネット回線を介して、指示入力装置２、第１情報処理装置４ａ、及び第２情報処理装置４ｂとの間で通信を行う。あるいは、表示制御装置３は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）ケーブル又は無線ＬＡＮを介して、指示入力装置２、第１情報処理装置４ａ、及び第２情報処理装置４ｂとの間で通信を行う。

表示制御装置３は、指示入力装置２から送信された音声データ（利用者音声）に基づいて、表示装置５の入力切替を制御する。換言すると、表示制御装置３は、指示入力装置２に入力された利用者からの指示に応じて、表示装置５の入力切替を制御する。具体的には、表示装置５は第１入力部５１ａ及び第２入力部５１ｂを備える。表示制御装置３は、利用者からの指示に応じて、第１入力部５１ａが受信する画像を表示装置５に表示させるのか、第２入力部５１ｂが受信する画像を表示装置５に表示させるのかを決定する。

詳しくは、表示制御装置３は、装置情報と受信状況情報とを記憶する。装置情報は、第１情報処理装置４ａ及び第２情報処理装置４ｂのそれぞれの状態を示す。受信状況情報は、表示装置５が表示している画像を出力する情報処理装置が、第１情報処理装置４ａ及び第２情報処理装置４ｂのいずれであるかを示す。表示制御装置３は、利用者からの指示の内容を判定し、その判定結果と、記憶している情報とに基づいて、コマンドを生成する。コマンドは、入力切替を実行させる切替コマンドを含む。本実施形態において、コマンドは、第１情報処理装置４ａ又は第２情報処理装置４ｂに発行される。

第１情報処理装置４ａは、第１入力部５１ａに接続している。第１情報処理装置４ａは、画像信号を第１入力部５１ａに出力する。第２情報処理装置４ｂは、第２入力部５１ｂに接続している。第２情報処理装置４ｂは、画像信号を第２入力部５１ｂに出力する。第１情報処理装置４ａ及び第２情報処理装置４ｂの各々は、例えば、セットトップボックス、ＰＣ、又はタブレット端末である。本実施形態において、第１情報処理装置４ａはメインＰＣであり、第２情報処理装置４ｂは、ゲストＰＣである。

本実施形態において、第１情報処理装置４ａ及び第２情報処理装置４ｂは、表示制御装置３から発行されたコマンドに対応する処理を実行する。第１情報処理装置４ａ又は第２情報処理装置４ｂがコマンドに対応する処理を実行することにより、表示装置５が、コマンドに応じた画像を表示する。

詳しくは、第１情報処理装置４ａ又は第２情報処理装置４ｂは、表示制御装置３から切替コマンドを受信すると、入力切替信号を出力する。第１情報処理装置４ａから出力される入力切替信号は、表示装置５が表示する画像を、第１情報処理装置４ａから出力される画像に切り替える指示を示す。表示装置５は、第１入力部５１ａが入力切替信号を受信すると、第１情報処理装置４ａから出力される画像を表示する。同様に、第２情報処理装置４ｂから出力される入力切替信号は、表示装置５が表示している画像を、第２情報処理装置４ｂから出力される画像に切り替える指示を示す。表示装置５は、第２入力部５１ｂが入力切替信号を受信すると、第２情報処理装置４ｂから出力される画像を表示する。本実施形態において、第１入力部５１ａ及び第２入力部５１ｂは、ＨＤＭＩ（登録商標）端子のような映像インターフェースである。

なお、以下の説明において、表示装置５が表示する画像を「表示画像」と記載し、表示画像を出力する情報処理装置を「表示画像出力装置」と記載する場合がある。また、表示画像出力装置が接続している入力部を、「表示画像受信部」と記載する場合がある。

続いて図１及び図２を参照して、指示入力装置２の構成を説明する。図２は、実施形態１に係る指示入力装置２の構成を示す図である。図２に示すように、指示入力装置２は、通信部２１、音声入力部２２、記憶部２３、及び制御部２４を備える。

通信部２１は、表示制御装置３との間の通信を制御する。具体的には、通信部２１は、音声データを表示制御装置３に送信する。通信部２１は、例えば、ＬＡＮボード又は無線ＬＡＮボードである。

音声入力部２２は、利用者音声を集音して、アナログ電気信号に変換する。アナログ電気信号は、制御部２４に入力される。音声入力部２２は、例えば、マイクロフォンである。

記憶部２３は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）のような半導体メモリーを備える。記憶部２３は更に、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）のようなストレージデバイスを備えてもよい。記憶部２３は、制御部２４が実行する制御プログラムを記憶する。

制御部２４は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）又はＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のようなプロセッサを備える。また、制御部２４（コンピューター）は、記憶部２３に記憶された制御プログラム（コンピュータープログラム）に基づいて、指示入力装置２の動作を制御する。本実施形態において、制御部２４は、音声入力部２２から入力されたアナログ電気信号をデジタル信号（音声データ）に変換して、通信部２１にデジタル信号を送信させる。

続いて図１及び図３を参照して、表示制御装置３の構成を説明する。図３は、実施形態１に係る表示制御装置３の構成を示す図である。図３に示すように、表示制御装置３は、通信部３１、音声認識部３２、記憶部３３、及び制御部３４を備える。

通信部３１は、例えば、ＬＡＮボード又は無線ＬＡＮボードである。通信部３１は、指示入力装置２との間の通信、第１情報処理装置４ａとの間の通信、及び第２情報処理装置４ｂとの間の通信を制御する。具体的には、通信部３１は、指示入力装置２から音声データを受信する。また、通信部３１は、第１情報処理装置４ａ及び第２情報処理装置４ｂへコマンドを送信する（コマンドを発行する）。本実施形態において、通信部３１は、第１情報処理装置４ａ及び第２情報処理装置４ｂから、コマンドの発行を要求するコマンド要求信号を受信する。

音声認識部３２は、指示入力装置２から受信した音声データを音声認識技術によりテキスト情報（以下、「認識結果テキスト」と記載する場合がある。）に変換する。音声認識部３２は、例えば、音声認識ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）を備える。

記憶部３３は、例えばＲＡＭ及びＲＯＭのような半導体メモリーを備える。更に、記憶部３３は、ＨＤＤのようなストレージデバイスを備える。記憶部３３は、制御部３４が実行する制御プログラムを記憶する。

本実施形態において、記憶部３３は、第１管理テーブル３３１、第２管理テーブル３３２、アプリケーション使用機器テーブル３３３、及びキーワードテーブル３３４を記憶する。

第１管理テーブル３３１には、装置情報が登録される。具体的には、第１管理テーブル３３１には、接続情報、周辺機器情報、及びアプリケーション情報が登録される。

接続情報は、表示装置５と接続している第１情報処理装置４ａの出力部を示す。また、接続情報は、表示装置５と接続している第２情報処理装置４ｂの出力部を示す。したがって、接続情報は、第１情報処理装置４ａと接続している表示装置５の入力部、及び第２情報処理装置４ｂと接続している表示装置５の入力部を示す。本実施形態では、表示装置５と接続している第１情報処理装置４ａの出力部として、第１入力部５１ａと接続している出力部が登録される。また、表示装置５と接続している第２情報処理装置４ｂの出力部として、第２入力部５１ｂと接続している出力部が登録される。あるいは、第１情報処理装置４ａと接続している表示装置５の入力部として第１入力部５１ａが登録され、第２情報処理装置４ｂと接続している表示装置５の入力部として第２入力部５１ｂが登録される。

周辺機器情報は、第１情報処理装置４ａ及び第２情報処理装置４ｂに接続している周辺機器を示す。アプリケーション情報は、第１情報処理装置４ａ及び第２情報処理装置４ｂにインストールされているアプリケーションソフトウェアを示す。アプリケーション情報は更に、第１情報処理装置４ａ及び第２情報処理装置４ｂにインストールされているアプリケーションソフトウェアが動作中であるか否かを示す。なお、以下の説明において、アプリケーションソフトウェアを「アプリケーション」と記載する場合がある。

第２管理テーブル３３２には、受信状況情報が登録される。具体的には、第２管理テーブル３３２には、表示画像出力装置を示す情報と、表示画像受信部を示す情報とが登録される。

アプリケーション使用機器テーブル３３３には、特定のアプリケーションを示す情報と、特定のアプリケーションに関連する周辺機器を示す情報とが登録される。特定のアプリケーション及び周辺機器は、予め登録されてもよいし、利用者が登録してもよい。特定のアプリケーションに関連する周辺機器は、例えば、特定のアプリケーションの動作中に使用される機器である。具体的には、特定のアプリケーションが、テレビ会議アプリケーション及びウェブ会議アプリケーションのような遠隔会議アプリケーションである場合、周辺機器を示す情報として、マイク、スピーカー、及び動画撮影用カメラを示す情報が登録される。

キーワードテーブル３３４には、特定のアプリケーションに実行させる機能を示すキーワードが登録される。例えば、遠隔会議アプリケーションに実行させる機能を示すキーワードとして、「テレビ会議」、「ウェブ会議」等が登録される。また、キーワードテーブル３３４には、遠隔会議の相手（遠隔会議アプリケーションの接続先）を示すキーワードが登録される。例えば、遠隔会議の相手を示すキーワードとして、「○○さん」、「△△さん」等が登録される。

制御部３４は、例えばＣＰＵ又はＭＰＵのようなプロセッサを備える。また、制御部３４（コンピューター）は、記憶部３３に記憶された制御プログラム（コンピュータープログラム）に基づいて、表示制御装置３の動作を制御する。本実施形態において、制御部３４は、制御プログラムを実行することにより、判定部３４１、コマンド生成部３４２、及びコマンド発行部３４３として機能する。

判定部３４１は、利用者からの指示の内容を判定する。本実施形態において、判定部３４１は、認識結果テキストと、記憶部３３が記憶している情報とに基づいて、利用者からの指示の内容を判定する。具体的には、判定部３４１は、認識結果テキストに、キーワードテーブル３３４に登録されているキーワードが含まれるか否かを判定する。また、判定部３４１は、認識結果テキストから、キーワードテーブル３３４に登録されているキーワードを抽出する。

コマンド生成部３４２は、判定部３４１の判定結果と、記憶部３３が記憶している情報とに基づいて、第１情報処理装置４ａ又は第２情報処理装置４ｂに対して発行するコマンドを生成する。また、コマンド生成部３４２は、生成したコマンドを記憶部３３に記憶させる。

本実施形態において、コマンド生成部３４２は、判定部３４１が抽出したキーワードと、第１管理テーブル３３１に登録されている情報と、第２管理テーブル３３２に登録されている情報と、アプリケーション使用機器テーブル３３３に登録されている情報とに基づいて、コマンドを生成する。

具体的には、コマンド生成部３４２は、利用者からの指示の実行に使用するアプリケーションである指示対応アプリケーションを、抽出されたキーワードから判定する。また、コマンド生成部３４２は、指示対応アプリケーションに関連する特定の周辺機器を、アプリケーション使用機器テーブル３３３を参照して判定する。また、コマンド生成部３４２は、第１管理テーブル３３１を参照して、第１情報処理装置４ａ及び第２情報処理装置４ｂのうちから、特定の周辺機器が接続されている情報処理装置である指示対応装置を判定する。また、コマンド生成部３４２は、第２管理テーブル３３２を参照して、切替コマンドを生成するか否かを判定する。詳しくは、表示画像出力装置が指示対応装置であるか否かを判定する。切替コマンドは、表示画像を、指示対応装置から出力される画像に切り替える。

また、コマンド生成部３４２は、第１機能実行コマンド又は第２機能実行コマンドを生成する。詳しくは、コマンド生成部３４２は、第１管理テーブル３３１を参照して、指示対応装置にインストールされている指示対応アプリケーションが動作中であるか否かを判定する。コマンド生成部３４２は、指示対応アプリケーションが動作中でない場合、第１機能実行コマンドを生成する。第１機能実行コマンドは、指示対応アプリケーションを起動させる命令と、利用者からの指示に対応する機能を指示対応アプリケーションに実行させる命令とを示す。一方、指示対応アプリケーションが動作中である場合、コマンド生成部３４２は、第２機能実行コマンドを生成する。第２機能実行コマンドは、利用者からの指示に対応する機能を指示対応アプリケーションに実行させる命令を示す。

コマンド発行部３４３は、通信部３１が第１情報処理装置４ａからコマンド要求信号を受信した場合、第１情報処理装置４ａを発行先とするコマンドを記憶部３３から読み出して、第１情報処理装置４ａにコマンドを発行する。同様に、コマンド発行部３４３は、通信部３１が第２情報処理装置４ｂからコマンド要求信号を受信した場合、第２情報処理装置４ｂを発行先とするコマンドを記憶部３３から読み出して、第２情報処理装置４ｂにコマンドを発行する。

以上、図１及び図３を参照して表示制御装置３の構成について説明した。なお、図３に示す表示制御装置３は音声認識部３２を備えたが、制御部３４が音声認識部３２の機能を有してもよい。この場合、音声認識部３２は省略される。

続いて、図１、図３及び図４を参照して、第１情報処理装置４ａの構成について説明する。図４は、実施形態１に係る第１情報処理装置４ａの構成を示す図である。図４に示すように、第１情報処理装置４ａは、通信部４１、操作部４２、表示部４３、出力部４４、音声入出力部４５ａ、動画入力部４５ｂ、記憶部４６、及び制御部４７を備える。

通信部４１は、表示制御装置３との間の通信を制御する。具体的には、通信部４１は、表示制御装置３にコマンド要求信号を送信し、表示制御装置３からコマンドを受信する。通信部４１は、例えば、ＬＡＮボード又は無線ＬＡＮボードである。

操作部４２は、利用者によって操作されて、利用者からの指示を受け付ける。操作部４２は、利用者の操作に応じた信号を制御部４７に出力する。この結果、第１情報処理装置４ａは、操作部４２が受け付けた操作に応じた動作を実行する。操作部４２は、例えば、ポインティングデバイスと、キーボードとを備える。なお、操作部４２は、タッチセンサを備えてもよい。タッチセンサは、表示部４３の表示面に重畳される。

表示部４３は各種の画面を表示する。表示部４３は、例えば、液晶ディスプレー又は有機ＥＬ（ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレーである。なお、タッチセンサが表示部４３の表示面に重畳される場合、表示部４３は、タッチディスプレーとして機能する。本実施形態において、表示部４３は、図６を参照して後述する接続装置登録画面６０を表示する。接続装置登録画面６０は、ユーザーインターフェイス画面であり、接続装置登録画面６０に登録された情報は、通信部４１によって表示制御装置３に送信される。表示制御装置３の制御部３４は、接続装置登録画面６０に登録された情報を第１管理テーブル３３１に反映させる。

出力部４４は、画像信号を出力する。また、出力部４４は、入力切替信号を出力する。出力部４４は、表示装置５の第１入力部５１ａに接続する。出力部４４は、例えば、ＨＤＭＩ（登録商標）端子のような映像インターフェースである。

音声入出力部４５ａは、スピーカーマイク装置１００ａと接続する。音声入出力部４５ａは、周辺機器接続部の一例であり、スピーカーマイク装置１００ａは周辺機器の一例である。音声入出力部４５ａは、例えばアナログオーディオ端子であり、スピーカーマイク装置１００ａは、例えばヘッドセットである。

動画入力部４５ｂは、動画撮影用カメラ１００ｂと接続する。動画入力部４５ｂは、周辺機器接続部の一例であり、動画撮影用カメラ１００ｂは周辺機器の一例である。動画入力部４５ｂは、例えばＵＳＢ端子であり、動画撮影用カメラ１００ｂは、例えばウェブカメラである。

記憶部４６は、例えばＲＡＭ及びＲＯＭのような半導体メモリーを備える。更に、記憶部４６は、ＨＤＤのようなストレージデバイスを備える。記憶部４６は、制御部４７が実行する制御プログラムを記憶する。

制御部４７は、例えばＣＰＵ又はＭＰＵのようなプロセッサを備える。また、制御部４７（コンピューター）は、記憶部４６に記憶された制御プログラム（コンピュータープログラム）に基づいて、第１情報処理装置４ａの動作を制御する。本実施形態において、制御部４７は、制御プログラムを実行することにより、装置情報取得部４７１、コマンド取得部４７２、及び切替指示部４７３として機能する。

装置情報取得部４７１は、第１情報処理装置４ａの現在の状態を取得する。具体的には、装置情報取得部４７１は、第１情報処理装置４ａに現在インストールされているアプリケーションを示す情報を取得する。また、装置情報取得部４７１は、第１情報処理装置４ａにおいて動作中のアプリケーションを示す情報を取得する。更に、装置情報取得部４７１は、第１情報処理装置４ａに現在接続している周辺機器を示す情報を取得する。装置情報取得部４７１が取得した情報は、通信部４１によって表示制御装置３に送信される。表示制御装置３の制御部３４は、装置情報取得部４７１が取得した情報を第１管理テーブル３３１に反映させる。

コマンド取得部４７２は、通信部４１にコマンド要求信号を送信させる。この結果、表示制御装置３から、第１情報処理装置４ａに対するコマンドが発行されて、コマンド取得部４７２が、第１情報処理装置４ａに対するコマンドを取得する。コマンド要求信号は、例えば、定期的又は一定期間ごとに表示制御装置３へ送信される。

切替指示部４７３は、出力部４４から入力切替信号を出力させる。具体的には、切替指示部４７３は、出力部４４が表示装置５の第１入力部５１ａに接続されると、出力部４４から入力切替信号を出力させる。また、切替指示部４７３は、コマンド取得部４７２が切替コマンドを取得すると、出力部４４から入力切替信号を出力させる。制御部４７は、出力部４４から入力切替信号が出力されると、通信部４１に入力切替情報を送信させる。入力切替情報は、第１情報処理装置４ａから入力切替信号が出力されたことを示す。表示制御装置３の制御部３４は、入力切替情報に基づいて、第２管理テーブル３３２に受信状況情報を登録する。

以上、図１、図３及び図４を参照して第１情報処理装置４ａの構成について説明した。なお、第２情報処理装置４ｂの構成は第１情報処理装置４ａと同様であるため、その説明は省略する。

続いて図１及び図５を参照して、表示装置５の構成について説明する。図５は、実施形態１に係る表示装置５の構成を示す図である。図５に示すように、表示装置５は、図１を参照して説明した第１入力部５１ａ及び第２入力部５１ｂに加えて、入力切替部５２、表示部５３、記憶部５４、及び制御部５５を備える。

第１入力部５１ａは、第１情報処理装置４ａから出力された画像信号を受信する。また、第１入力部５１ａは、第１情報処理装置４ａから出力された入力切替信号を受信する。第１入力部５１ａが受信した画像信号は、入力切替部５２に送信される。第１入力部５１ａが受信した入力切替信号は、制御部５５に送信される。

同様に、第２入力部５１ｂは、第２情報処理装置４ｂから出力された画像信号を受信する。また、第２入力部５１ｂは、第２情報処理装置４ｂから出力された入力切替信号を受信する。第２入力部５１ｂが受信した画像信号は、入力切替部５２に送信される。第２入力部５１ｂが受信した入力切替信号は、制御部５５に送信される。

入力切替部５２は、表示画像受信部を、第１入力部５１ａと第２入力部５１ｂとの間で切り替える。詳しくは、入力切替部５２は、第１入力部５１ａが表示画像受信部に設定された場合、第１入力部５１ａが受信した画像信号を制御部５５に送信する。同様に、入力切替部５２は、第２入力部５１ｂが表示画像受信部に設定された場合、第２入力部５１ｂが受信した画像信号を制御部５５に送信する。

表示部５３は、第１入力部５１ａが受信する画像、又は第２入力部５１ｂが受信する画像を表示する。表示部５３は、例えば、液晶ディスプレー又は有機ＥＬディスプレーである。

記憶部５４は、例えばＲＡＭ及びＲＯＭのような半導体メモリーを備える。更に、記憶部５４は、ＨＤＤのようなストレージデバイスを備え得る。記憶部５４は、制御部５５が実行する制御プログラムを記憶する。

制御部５５は、例えばＣＰＵ又はＭＰＵのようなプロセッサを備える。また、制御部５５（コンピューター）は、記憶部５４に記憶された制御プログラム（コンピュータープログラム）に基づいて、表示装置５の動作を制御する。

本実施形態において、制御部５５は、入力切替信号に基づいて入力切替部５２を制御する。具体的には、制御部５５は、第１入力部５１ａが入力切替信号を受信した場合、第１入力部５１ａを表示画像受信部に設定する。また、制御部５５は、第２入力部５１ｂが入力切替信号を受信した場合、第２入力部５１ｂを表示画像受信部に設定する。

以上、図１〜図５を参照して本実施形態について説明した。なお、本実施形態では、表示制御装置３が音声認識処理を実行したが、指示入力装置２が音声認識処理を実行して、認識結果テキストを表示制御装置３に送信してもよい。

本実施形態によれば、第１情報処理装置４ａ及び第２情報処理装置４ｂの状態に応じて、表示装置５の入力切替を制御することができる。詳しくは、同じ利用者音声であっても、第１情報処理装置４ａ及び第２情報処理装置４ｂの状態に応じて、異なる入力部が表示画像受信部に設定される。例えば、指示対応アプリケーションに関連する周辺機器が、第１情報処理装置４ａ及び第２情報処理装置４ｂのうち、第１情報処理装置４ａにのみ接続されている場合、第１入力部５１ａが表示画像受信部に設定される。一方、指示対応アプリケーションに関連する周辺機器が、第１情報処理装置４ａ及び第２情報処理装置４ｂのうち、第２情報処理装置４ｂにのみ接続されている場合、第２入力部５１ｂが表示画像受信部に設定される。

また、本実施形態によれば、第１情報処理装置４ａ及び第２情報処理装置４ｂの状態に応じて、第１情報処理装置４ａ及び第２情報処理装置４ｂのうちから、指示対応装置を判定することができる。したがって、利用者は、実行させたい機能を発声すればよく、その機能の実行に使用する周辺機器が接続されている情報処理装置を特定する必要がない。その結果、利用者の利便性が向上する。

続いて図４、及び図６を参照して、接続装置登録画面６０について説明する。図６は、接続装置登録画面６０の一例を示す図である。利用者は、第１情報処理装置４ａの操作部４２を操作して、接続装置登録画面６０（ユーザーインターフェイス画面）に情報を設定（登録）することができる。なお、第１情報処理装置４ａは、ユーザーインターフェイス画面の画像データを表示装置５に送信して、第１情報処理装置４ａの表示部４３に表示されているユーザーインターフェイス画面を表示装置５の表示部５３に表示させてもよい。

図６に示すように、接続装置登録画面６０は、装置名情報登録欄６１、接続情報登録欄６２、保存ボタン６３、及びキャンセルボタン６４を表示する。装置名情報登録欄６１には、第１情報処理装置４ａ及び第２情報処理装置４ｂの装置名が設定される。装置名は、利用者が任意に決定する。

接続情報登録欄６２には、表示装置５の第１入力部５１ａと接続している第１情報処理装置４ａの出力部４４の名称が設定される。また、接続情報登録欄６２には、表示装置５の第２入力部５１ｂと接続している第２情報処理装置４ｂの出力部４４の名称が設定される。あるいは、接続情報登録欄６２には、第１情報処理装置４ａの出力部４４と接続している表示装置５の入力部の名称、及び第２情報処理装置４ｂの出力部４４と接続している表示装置５の入力部の名称が設定される。換言すると、接続情報登録欄６２には、接続情報として、第１情報処理装置４ａ及び第２情報処理装置４ｂのそれぞれと表示装置５とを接続するインターフェースを示す情報が設定される。具体的には、接続情報登録欄６２には、Ｄ−ＳＵＢ端子、ＨＤＭＩ（登録商標）端子、又はＤｉｓｐｌａｙｐｏｒｔ等が設定される。図６は、接続情報として、ＨＤＭＩ（登録商標）端子を例示している。

保存ボタン６３は、接続装置登録画面６０に設定された情報を保存するためのボタンであり、利用者が第１情報処理装置４ａの操作部４２を操作して保存ボタン６３を押下する指示を入力すると、第１情報処理装置４ａの通信部４１が、接続装置登録画面６０に設定された情報を表示制御装置３へ送信する。

キャンセルボタン６４は、接続装置登録画面６０を用いた情報登録処理をキャンセルするためのボタンであり、利用者が第１情報処理装置４ａの操作部４２を操作してキャンセルボタン６４を押下する指示を入力すると、接続装置登録画面６０に設定された情報が保存されることなく、接続装置登録画面６０が閉じる。

続いて図４、図６及び図７（ａ）を参照して、第１管理テーブル３３１について説明する。図７（ａ）は、第１管理テーブル３３１の一例を示す図である。図７（ａ）に示すように、第１管理テーブル３３１は、装置名情報欄７１、周辺機器情報欄７２、接続情報欄７３、アプリケーション情報欄７４を有する。

装置名情報欄７１には、接続装置登録画面６０の装置名情報登録欄６１（図６）に設定された名称が反映される。周辺機器情報欄７２には、第１情報処理装置４ａ及び第２情報処理装置４ｂの装置情報取得部４７１（図４）が取得した周辺機器情報が反映される。接続情報欄７３には、接続装置登録画面６０の接続情報登録欄６２（図６）に設定された名称が反映される。アプリケーション情報欄７４には、第１情報処理装置４ａ及び第２情報処理装置４ｂの装置情報取得部４７１（図４）が取得したアプリケーション情報が反映される。

続いて図３、図７（ａ）、及び図７（ｂ）を参照して、第２管理テーブル３３２について説明する。図７（ｂ）は、第２管理テーブル３３２の一例を示す図である。図７（ｂ）に示すように、第２管理テーブル３３２は、装置名情報欄８１及び接続情報欄８２を有する。

装置名情報欄８１には、表示画像出力装置の名称が設定される。詳しくは、表示制御装置３の制御部３４は、第１情報処理装置４ａ又は第２情報処理装置４ｂから受信した入力切替情報と、第１管理テーブル３３１の装置名情報欄７１とを参照して、装置名情報欄８１に表示画像出力装置の名称を設定する。

接続情報欄８２には、表示画像受信部の名称が設定される。詳しくは、表示制御装置３の制御部３４は、第１情報処理装置４ａ又は第２情報処理装置４ｂから受信した入力切替情報と、第１管理テーブル３３１の接続情報欄７３とを参照して、接続情報欄８２に表示画像受信部の名称を設定する。

続いて図８を参照して、アプリケーション使用機器テーブル３３３について説明する。図８は、アプリケーション使用機器テーブル３３３の一例を示す図である。図８に示すように、アプリケーション使用機器テーブル３３３は、アプリケーション名情報欄９１と、デバイス名情報欄９２とを有する。アプリケーション名情報欄９１には、アプリケーションの名称が登録される。デバイス名情報欄９２には、アプリケーション名情報欄９１に登録されているアプリケーションに関連する周辺機器の名称が登録される。

続いて図３、図４、図７（ａ）及び図９を参照して、第１登録処理について説明する。第１登録処理は、接続装置登録画面６０を用いて第１情報処理装置４ａ及び第２情報処理装置４ｂのそれぞれの装置名、及び、第１情報処理装置４ａ及び第２情報処理装置４ｂのそれぞれと表示装置５とを接続するインターフェースの名称を登録する処理である。図９は、第１登録処理を示す図である。

利用者が、第１情報処理装置４ａの操作部４２を操作して、第１情報処理装置４ａの表示部４３に接続装置登録画面６０を表示させる指示を入力すると、図９に示す処理が開始する。

図９に示すように、利用者が接続装置登録画面６０を表示させる指示を入力すると、第１情報処理装置４ａの制御部４７は、第１情報処理装置４ａの表示部４３に接続装置登録画面６０を表示させる（ステップＳ１）。

第１情報処理装置４ａの制御部４７は、第１情報処理装置４ａの表示部４３に接続装置登録画面６０を表示させると、接続装置登録画面６０の保存ボタン６３及びキャンセルボタン６４のうちのいずれのボタンが押下されたのかを判定する（ステップＳ２）。

利用者が、第１情報処理装置４ａの操作部４２を操作して、保存ボタン６３を押下すると（ステップＳ２；保存）、第１情報処理装置４ａの制御部４７は、接続装置登録画面６０に設定された情報を表示制御装置３へ送信して（ステップＳ３）、処理を終了する。また、利用者が、第１情報処理装置４ａの操作部４２を操作して、キャンセルボタン６４を押下すると（ステップＳ２；キャンセル）、第１情報処理装置４ａの制御部４７は、接続装置登録画面６０に設定された情報を表示制御装置３へ送信することなく、処理を終了する。

表示制御装置３の制御部３４は、第１情報処理装置４ａから受信した情報を第１管理テーブル３３１に登録して（ステップＳ４）、処理を終了する。

続いて図３、図４及び図１０を参照して、第２登録処理について説明する。第２登録処理は周辺機器情報を登録する処理である。図１０は、第２登録処理を示す図である。第１情報処理装置４ａの制御部４７が、第１情報処理装置４ａの周辺機器接続部に周辺機器が接続されたことを認識すると、図１０に示す処理が開始する。同様に、第２情報処理装置４ｂの制御部４７が、第２情報処理装置４ｂの周辺機器接続部に周辺機器が接続されたことを認識すると、図１０に示す処理が開始する。以下、第１情報処理装置４ａに周辺機器が接続された場合を例に、第２登録処理を説明する。

図１０に示すように、第１情報処理装置４ａの周辺機器接続部に周辺機器が接続されると、第１情報処理装置４ａの制御部４７（装置情報取得部４７１）が、第１情報処理装置４ａの周辺機器接続部に接続された周辺機器を認識する（ステップＳ１１）。換言すると、第１情報処理装置４ａの制御部４７（装置情報取得部４７１）は、第１情報処理装置４ａの周辺機器接続部に接続された周辺機器を示す情報を取得する。次に、第１情報処理装置４ａの制御部４７は、取得した情報（周辺機器情報）を表示制御装置３へ送信して（ステップＳ１２）、処理を終了する。

表示制御装置３の制御部３４は、第１情報処理装置４ａから受信した周辺機器情報を参照し、第１情報処理装置４ａに接続された周辺機器を示す情報を第１管理テーブル３３１に登録して（ステップＳ１３）、処理を終了する。

続いて図３、図４及び図１１を参照して、第３登録処理について説明する。第３登録処理は、第１管理テーブル３３１から周辺機器情報を削除する処理である。図１１は、第３登録処理を示す図である。第１情報処理装置４ａの制御部４７が、第１情報処理装置４ａの周辺機器接続部から周辺機器が取り外されたことを認識すると、図１１に示す処理が開始する。同様に、第２情報処理装置４ｂの制御部４７が、第２情報処理装置４ｂの周辺機器接続部から周辺機器が取り外されたことを認識すると、図１１に示す処理が開始する。以下、第１情報処理装置４ａの周辺機器接続部から周辺機器が取り外された場合を例に、第３登録処理を説明する。

図１１に示すように、第１情報処理装置４ａの周辺機器接続部から周辺機器が取り外されると、第１情報処理装置４ａの制御部４７（装置情報取得部４７１）が、第１情報処理装置４ａの周辺機器接続部から取り外された周辺機器を認識する（ステップＳ２１）。換言すると、第１情報処理装置４ａの制御部４７（装置情報取得部４７１）は、第１情報処理装置４ａの周辺機器接続部から取り外された周辺機器を示す情報を取得する。次に、第１情報処理装置４ａの制御部４７は、取得した情報（周辺機器情報）を表示制御装置３へ送信して（ステップＳ２２）、処理を終了する。

表示制御装置３の制御部３４は、第１情報処理装置４ａから受信した周辺機器情報を参照し、第１情報処理装置４ａから取り外された周辺機器を示す情報を第１管理テーブル３３１から削除して（ステップＳ２３）、処理を終了する。

なお、第２登録処理と同様に、第１情報処理装置４ａの制御部４７は、第１情報処理装置４ａにアプリケーションがインストールされると、インストールされたアプリケーションを示す情報（アプリケーション情報）を取得して、表示制御装置３へ送信する。表示制御装置３の制御部３４は、第１情報処理装置４ａから受信したアプリケーション情報を参照し、第１情報処理装置４ａにインストールされたアプリケーションを示す情報を第１管理テーブル３３１に登録する。第２情報処理装置４ｂにインストールされたアプリケーションを示す情報を第１管理テーブル３３１に登録する処理も同様に実行される。

また、第３登録処理と同様に、第１情報処理装置４ａの制御部４７は、第１情報処理装置４ａからアプリケーションがアンインストールされると、アンインストールされたアプリケーションを示す情報（アプリケーション情報）を取得して、表示制御装置３へ送信する。表示制御装置３の制御部３４は、第１情報処理装置４ａから受信したアプリケーション情報を参照し、第１情報処理装置４ａからアンインストールされたアプリケーションを示す情報を第１管理テーブル３３１から削除する。第２情報処理装置４ｂからアンインストールされたアプリケーションを示す情報を第１管理テーブル３３１から削除する処理も同様に実行される。

続いて図３、図４及び図１２を参照して、第４登録処理について説明する。第４登録処理はアプリケーション情報を登録する処理である。図１２は、第４登録処理を示す図である。第１情報処理装置４ａの制御部４７が、第１情報処理装置４ａにインストールされているアプリケーションが動作を開始したことを認識すると、図１２に示す処理が開始する。同様に、第２情報処理装置４ｂの制御部４７が、第２情報処理装置４ｂにインストールされているアプリケーションが動作を開始したことを認識すると、図１２に示す処理が開始する。以下、第１情報処理装置４ａにインストールされているアプリケーションが動作を開始した場合を例に、第４登録処理を説明する。

図１２に示すように、第１情報処理装置４ａにインストールされているアプリケーションが動作を開始すると、第１情報処理装置４ａの制御部４７（装置情報取得部４７１）が、そのアプリケーションが動作中であると認識する（ステップＳ３１）。換言すると、第１情報処理装置４ａの制御部４７（装置情報取得部４７１）は、動作中のアプリケーションを示す情報を取得する。次に、第１情報処理装置４ａの制御部４７は、取得した情報（アプリケーション情報）を表示制御装置３へ送信して（ステップＳ３２）、処理を終了する。

表示制御装置３の制御部３４は、第１情報処理装置４ａから受信したアプリケーション情報を参照し、第１情報処理装置４ａにインストールされているアプリケーションが動作中であることを示す情報を第１管理テーブル３３１に登録して（ステップＳ３３）、処理を終了する。

続いて図３、図４及び図１３を参照して、第５登録処理について説明する。第５登録処理は受信状況情報を登録する処理である。図１３は、第５登録処理を示す図である。第１情報処理装置４ａの出力部４４から入力切替信号が出力されると、図１３に示す処理が開始する。同様に、第２情報処理装置４ｂの出力部４４から入力切替信号が出力されると、図１３に示す処理が開始する。以下、第１情報処理装置４ａの出力部４４から入力切替信号が出力された場合を例に、第５登録処理を説明する。

図１３に示すように、第１情報処理装置４ａの制御部４７（切替指示部４７３）が、第１情報処理装置４ａの出力部４４から入力切替信号を出力させると（ステップＳ４１）、第１情報処理装置４ａの制御部４７は、入力切替情報を表示制御装置３へ送信して（ステップＳ４２）、処理を終了する。

表示制御装置３の制御部３４は、第１情報処理装置４ａから受信した入力切替情報と、第１管理テーブル３３１の装置名情報欄７１及び接続情報欄７３とを参照し、第２管理テーブル３３２に受信状況情報を登録して（ステップＳ４３）、処理を終了する。

続いて図１、図３及び図１４を参照して、表示制御装置３の制御部３４が実行する処理について説明する。図１４は、表示制御装置３の制御部３４が実行する処理を示す図である。図１４に示す処理は、表示制御装置３が指示入力装置２から音声データを受信すると開始する。

図１４に示すように、制御部３４が実行する処理は、判定処理（ステップＳ１００）と、コマンド生成処理（ステップＳ２００）と、コマンド発行処理（ステップＳ３００）とを含む。

具体的には、表示制御装置３が指示入力装置２から音声データを受信すると、制御部３４（判定部３４１）が、利用者からの指示の内容を判定する（ステップＳ１００）。

次に、制御部３４（コマンド生成部３４２）が、ステップ１００で判定された結果と、表示制御装置３の記憶部３３に記憶されている情報とに基づいて、第１情報処理装置４ａ又は第２情報処理装置４ｂに対して発行するコマンドを生成する（ステップＳ２００）。制御部３４が生成したコマンドは、表示制御装置３の記憶部３３に記憶される。

制御部３４（コマンド発行部３４３）は、第１情報処理装置４ａからコマンド要求信号が送信されると、第１情報処理装置４ａを発行先とするコマンドを記憶部３３から読み出し、第１情報処理装置４ａにコマンドを発行して（ステップＳ３００）、処理を終了する。同様に、制御部３４（コマンド発行部３４３）は、第２情報処理装置４ｂからコマンド要求信号が送信されると、第２情報処理装置４ｂを発行先とするコマンドを記憶部３３から読み出し、第２情報処理装置４ｂにコマンドを発行して（ステップＳ３００）、処理を終了する。

続いて図１、図３、図７（ａ）、図７（ｂ）、図１５及び図１６を参照して、表示制御装置３の制御部３４が実行する処理（判定処理、コマンド生成処理、及びコマンド発行処理）の一例について説明する。図１５及び図１６は、実施形態１に係る表示制御装置３の制御部３４が実行する処理の一例を示す図である。

図１５及び図１６に示す処理において、ステップＳ１０１〜ステップＳ１０３の処理は判定処理の一例であり、ステップＳ２０１〜Ｓ２０８の処理はコマンド生成処理の一例である。図１５及び図１６に示す処理は、音声認識部３２が認識結果テキストを生成すると開始する。

音声認識部３２が認識結果テキストを生成すると、制御部３４（判定部３４１）は、認識結果テキストに特定のキーワードが含まれるか否かを判定する（ステップＳ１０１）。具体的には、制御部３４（判定部３４１）は、キーワードテーブル３３４に登録されているキーワードが認識結果テキストに含まれるか否かを判定する。

制御部３４は、キーワードテーブル３３４に登録されているキーワードが認識結果テキストに含まれていないと判定した場合（ステップＳ１０１のＮｏ）、第１フラグを設定して（ステップＳ１０２）、図１５及び図１６に示す処理を終了する。第１フラグは、キーワードテーブル３３４に登録されているキーワードが認識結果テキストに含まれていないことを示す。

制御部３４（判定部３４１）は、キーワードテーブル３３４に登録されているキーワードが認識結果テキストに含まれていると判定した場合（ステップＳ１０１のＹｅｓ）、認識結果テキストから、キーワードテーブル３３４に登録されているキーワードを抽出する（ステップＳ１０３）。例えば、利用者音声が、「○○さんとテレビ会議をつないで」である場合、制御部３４（判定部３４１）は、認識結果テキストから「○○さん」、及び「テレビ会議」を抽出する。

次に、制御部３４（コマンド生成部３４２）は、抽出されたキーワードに基づいて、指示対応アプリケーションを判定する（ステップＳ２０１）。例えば、認識結果テキストから「○○さん」、及び「テレビ会議」が抽出された場合、指示対応アプリケーションは遠隔会議アプリケーションであると判定する。

次に、制御部３４（コマンド生成部３４２）は、指示対応アプリケーションに関連する特定の周辺機器を、アプリケーション使用機器テーブル３３３を参照して判定する（ステップＳ２０２）。例えば、指示対応アプリケーションが遠隔会議アプリケーションである場合、特定の周辺機器は「マイク」、「スピーカー」、及び「カメラ」であると判定する。

次に、制御部３４（コマンド生成部３４２）は、第１管理テーブル３３１及び第２管理テーブル３３２を参照して、表示装置５が表示している画像を出力している情報処理装置（表示画像出力装置）に、指示対応アプリケーションに関連する特定の周辺機器が接続しているか否かを判定する（ステップＳ２０３）。例えば、図７（ｂ）に示すように、表示画像出力装置が第２情報処理装置４ｂである場合、制御部３４（コマンド生成部３４２）は、第２情報処理装置４ｂに「マイク」、「スピーカー」及び「カメラ」が接続しているか否かを判定する。

制御部３４（コマンド生成部３４２）は、表示画像出力装置に特定の周辺機器が接続していると判定した場合（ステップＳ２０３のＹｅｓ）、表示画像出力装置の指示対応アプリケーションが動作中であるか否かに応じて、第１機能実行コマンド又は第２起動実行コマンドを生成する（ステップＳ２０４）。制御部３４（コマンド生成部３４２）は、第１管理テーブル３３１を参照して、表示画像出力装置の指示対応アプリケーションが動作中であるか否かを判定する。制御部３４（コマンド生成部３４２）は、コマンドを生成すると、記憶部３３に記憶させる（図１６に示すステップＳ２０８）。

一方、制御部３４（コマンド生成部３４２）は、表示画像出力装置に特定の周辺機器が接続していないと判定した場合（ステップＳ２０３のＮｏ）、図１６に示すように、第１管理テーブル３３１を参照して、特定の周辺機器と接続している情報処理装置である周辺機器接続装置が存在するか否かを判定する（ステップＳ２０５）。

制御部３４は、周辺機器接続装置が存在しないと判定した場合（ステップＳ２０５のＮｏ）、第２フラグを設定して（ステップＳ２０６）、図１５及び図１６に示す処理を終了する。第２フラグは、周辺機器接続装置が存在しないことを示す。

制御部３４は、周辺機器接続装置が存在すると判定した場合（ステップＳ２０５のＹｅｓ）、周辺機器接続装置に対して発行する切替コマンドを生成する（ステップＳ２０７）。また、周辺機器接続装置にインストールされている指示対応アプリケーションが動作中であるか否かに応じて、第１機能実行コマンド又は第２起動実行コマンドを生成する（ステップＳ２０７）。

例えば、図７（ａ）及び図７（ｂ）に示す例では、表示画像出力装置である第２情報処理装置４ｂに「マイク」、「スピーカー」、及び「カメラ」が接続していないため、制御部３４（コマンド生成部３４２）は、第１情報処理装置４ａに「マイク」、「スピーカー」、及び「カメラ」が接続しているか否かを判定する（ステップＳ２０５）。

図７（ａ）及び図７（ｂ）に示す例では、第１情報処理装置４ａに「マイク」、「スピーカー」、及び「カメラ」が接続しているため（ステップＳ２０５のＹｅｓ）、制御部３４（コマンド生成部３４２）は、第１情報処理装置４ａに対して発行する切替コマンドを生成する（ステップＳ２０７）。また、第１情報処理装置４ａの遠隔会議アプリケーションが動作中ではないため、制御部３４（コマンド生成部３４２）は、第１機能実行コマンドを生成する（ステップＳ２０７）。

制御部３４（コマンド生成部３４２）は、生成したコマンドを記憶部３３に記憶させる（ステップＳ２０８）。その後、制御部３４（コマンド発行部３４３）は、図１４を参照して説明したコマンド発行処理を実行して（ステップＳ３００）、図１５及び図１６に示す処理を終了する。例えば、図７（ａ）及び図７（ｂ）に示す例では、第１情報処理装置４ａに切替コマンドと第１機能実行コマンドとが送信される。この結果、第１情報処理装置４ａの遠隔会議アプリケーションが「○○さん」と遠隔会議を接続し、表示装置５が、第１情報処理装置４ａから出力される画像を表示する。

以上、図１〜図１６を参照して実施形態１について説明した。なお、本実施形態では、第１情報処理装置４ａ及び第２情報処理装置４ｂが切替コマンドを受信して、表示装置５に対し入力切替を指示したが、表示装置５が切替コマンドを受信してよい。この場合、コマンド生成部３４２は、表示装置５を発行先とする切替コマンドを生成する。また、表示装置５は、図１７に示すように、通信部５７を備える。図１７は、表示装置５の変形例の構成を示す図である。通信部５７は、コマンド要求信号を表示制御装置３に送信する。また、通信部５７は、表示制御装置３から切替コマンドを受信する。切替コマンドは、指示対応装置が接続する入力部を表示画像受信部に設定させる。通信部５７は、例えば、ＬＡＮボード又は無線ＬＡＮボードである。

また、本実施形態では、接続装置登録画面６０を用いて第１情報処理装置４ａ及び第２情報処理装置４ｂの装置名情報及び接続情報を登録したが、第１情報処理装置４ａ及び第２情報処理装置４ｂの各々の制御部４７（装置情報取得部４７１）が、第１情報処理装置４ａ及び第２情報処理装置４ｂの装置名情報及び接続情報を取得してもよい。この場合、接続装置登録画面６０を用いることなく、第１情報処理装置４ａ及び第２情報処理装置４ｂの装置名情報及び接続情報を登録することができる。

例えば、第１情報処理装置４ａの制御部４７（装置情報取得部４７１）は、第１情報処理装置４ａの装置名を示す情報を第１情報処理装置４ａの記憶部４６から取得して、取得した情報を表示制御装置３に送信してもよい。第１情報処理装置４ａの記憶部４６に記憶されている装置名は、予め記憶されている装置名であってもよいし、利用者が登録した装置名であってもよい。また、第１情報処理装置４ａの制御部４７（装置情報取得部４７１）は、第１情報処理装置４ａの出力部４４が表示装置５に接続すると、第１情報処理装置４ａの出力部４４の名称を示す情報を記憶部４６から取得して、取得した情報を表示制御装置３に送信してもよい。第２情報処理装置４ｂの制御部４７（装置情報取得部４７１）も同様に、装置名情報及び接続情報を取得して表示制御装置３に送信し得る。

あるいは、図１７に示すように表示装置５が通信部５７を備える場合、接続装置登録画面６０を用いることなく第１情報処理装置４ａ及び第２情報処理装置４ｂの装置名情報及び接続情報を登録することができる。具体的には、表示装置５の制御部５５が、第１入力部５１ａ及び第２入力部５１ｂに接続した機器を示す情報を、第１入力部５１ａ及び第２入力部５１ｂに接続した機器から取得する。そして、通信部５７が、第１入力部５１ａに接続している機器を示す情報と、第１入力部５１ａの名称を示す情報とを表示制御装置３に送信することにより、第１情報処理装置４ａの装置名情報及び接続情報を登録することができる。同様に、通信部５７が、第２入力部５１ｂに接続している機器を示す情報と、第２入力部５１ｂの名称を示す情報とを表示制御装置３に送信することにより、第２情報処理装置４ｂの装置名情報及び接続情報を登録することができる。

［実施形態２］
続いて図１８及び図１９を参照して本発明の実施形態２について説明する。但し、実施形態１と異なる事項を説明し、実施形態１と同じ事項についての説明は割愛する。実施形態２は、第１情報処理装置４ａ及び第２情報処理装置４ｂの構成、及び表示装置５の構成が実施形態１と異なる。

詳しくは、実施形態１において、第１情報処理装置４ａ及び第２情報処理装置４ｂは、画像信号及び入力切替信号を１つのインターフェース（出力部４４）から出力したが、実施形態２に係る第１情報処理装置４ａ及び第２情報処理装置４ｂは、画像信号を出力するインターフェースと、入力切替信号を出力するインターフェースとを備える。

図１８は、実施形態２に係る第１情報処理装置４ａ及び第２情報処理装置４ｂの構成を示す図である。図１８に示すように、実施形態２に係る第１情報処理装置４ａ及び第２情報処理装置４ｂは、実施形態１において説明した出力部４４に替えて、表示出力部４４ａ及び指示出力部４４ｂを備える。表示出力部４４ａは、画像信号を出力するインターフェースであり、指示出力部４４ｂは、入力切替信号を出力するインターフェースである。表示出力部４４ａは、例えば、Ｄ−ＳＵＢ端子、ＨＤＭＩ（登録商標）端子、又はＤｉｓｐｌａｙｐｏｒｔである。指示出力部４４ｂは、例えば、ＬＡＮボード又は無線ＬＡＮボードである。

図１９は、実施形態２に係る表示装置５の構成を示す図である。図１９に示すように、実施形態２に係る表示装置５は、指示入力部５６を備える。指示入力部５６は、入力切替信号を受信するインターフェースである。指示入力部５６は、例えば、ＬＡＮボード又は無線ＬＡＮボードである。なお、実施形態２に係る第１入力部５１ａ及び第２入力部５１ｂは、例えば、Ｄ−ＳＵＢ端子、ＨＤＭＩ（登録商標）端子、又はＤｉｓｐｌａｙｐｏｒｔである。

以上、図１８及び図１９を参照して実施形態２について説明した。本実施形態によれば、第１情報処理装置４ａ及び第２情報処理装置４ｂの状態に応じて、表示装置５の入力切替を制御することができる。

なお、本実施形態では、第１情報処理装置４ａ及び第２情報処理装置４ｂが指示出力部４４ｂを備える場合について説明したが、第１情報処理装置４ａ及び第２情報処理装置４ｂの通信部４１が、入力切替信号を出力するインターフェースとして機能してもよい。また、本実施形態では、第１情報処理装置４ａ及び第２情報処理装置４ｂの両方が、画像信号を出力するインターフェースと、入力切替信号を出力するインターフェースとを備えたが、第１情報処理装置４ａ及び第２情報処理装置４ｂのうちの一方が、画像信号を出力するインターフェースと、入力切替信号を出力するインターフェースとを備えてもよい。

［実施形態３］
続いて図２０〜図２４を参照して本発明の実施形態３について説明する。但し、実施形態１及び２と異なる事項を説明し、実施形態１及び２と同じ事項についての説明は割愛する。実施形態３は、表示制御装置３が実行する処理と、第１情報処理装置４ａ及び第２情報処理装置４ｂの構成とが、実施形態１及び２と異なる。

図２０は、実施形態３に係る表示制御装置３の構成を示す図である。図２０に示すように、実施形態３において、記憶部３３は、第１管理テーブル３３１と、第２管理テーブル３３２と、キーワードテーブル３３４とを記憶しており、実施形態１において説明したアプリケーション使用機器テーブル３３３を記憶していない。

本実施形態において、キーワードテーブル３３４には、特定の画像を表示装置５に表示させることを示すキーワードが登録される。例えば、キーワードテーブル３３４には、「メインＰＣの画面を映して」及び「ゲストＰＣの画面を映して」等が登録される。

また、本実施形態において、コマンド生成部３４２は、利用者からの指示が、特定の画像を表示装置５に表示させる指示である場合、判定部３４１が認識結果テキストから抽出したキーワードを参照して、第１情報処理装置４ａ及び第２情報処理装置４ｂのうちから、特定の画像を出力する情報処理装置である特定画像出力装置を判定する。詳しくは、判定部３４１が認識結果テキストから抽出したキーワードに、第１情報処理装置４ａが表示している画像を表示装置５に表示させることを示すキーワード、又は、第２情報処理装置４ｂが表示している画像を表示装置５に表示させることを示すキーワードが含まれている場合、コマンド生成部３４２は、第１情報処理装置４ａ及び第２情報処理装置４ｂのうちの一方を特定画像出力装置として決定する。

また、本実施形態において、コマンド生成部３４２は、特定の画像を受信して表示させることができる指示対応アプリケーションを判定する。更に、コマンド生成部３４２は、第２管理テーブル３３２を参照して、表示画像出力装置を判定し、第１管理テーブル３３１を参照して、表示画像出力装置にインストールされている指示対応アプリケーションが、特定の画像を受信して表示させることができる状態であるか否かを判定する。換言すると、コマンド生成部３４２は、指示対応アプリケーションが動作中であるか否かを判定する。コマンド生成部３４２は、指示対応アプリケーションが、特定の画像を受信して表示させることが可能な状態ではない場合、表示画像を特定の画像に切り替えるコマンドを生成する。具体的には、コマンド生成部３４２は、特定画像出力装置が接続している入力部を表示画像受信部に設定する切替コマンドを生成する。

また、本実施形態において、コマンド生成部３４２は、表示画像出力装置にインストールされている指示対応アプリケーションが、表示装置５に画像を表示させるアプリケーションであり、指示対応アプリケーションが、特定の画像を受信して表示させることが可能な状態である場合、特定画像出力装置に対して発行する第１機能実行コマンドを生成するとともに、表示画像出力装置に対して発行する第１機能実行コマンド及び第２機能実行コマンドを生成する。

特定画像出力装置に対して発行する第１機能実行コマンドは、特定画像出力装置から表示画像出力装置に特定の画像を伝送させるアプリケーションを起動させて、そのアプリケーションに、特定画像出力装置から表示画像出力装置に特定の画像を伝送させる命令を示す。

表示画像出力装置に対して発行する第１機能実行コマンドは、特定画像出力装置から表示画像出力装置に伝送された特定の画像を受信するアプリケーションを起動させて、そのアプリケーションに、特定画像出力装置から表示画像出力装置に伝送された特定の画像を受信させる命令を示す。また、表示画像出力装置に対して発行する第２機能実行コマンドは、指示対応アプリケーションが表示装置５に表示させている画像に、特定の画像を重畳させる命令を示す。

図２１は、実施形態３に係る第１情報処理装置４ａ及び第２情報処理装置４ｂの構成を示す図である。実施形態３において、第１情報処理装置４ａの通信部４１は、表示制御装置３との間の通信の制御に加えて、第２情報処理装置４ｂとの間の通信の制御も実行する。同様に、第２情報処理装置４ｂの通信部４１は、表示制御装置３との間の通信の制御に加えて、第１情報処理装置４ａとの間の通信の制御も実行する。

また、第１情報処理装置４ａ及び第２情報処理装置４ｂの記憶部４６は、画像伝送アプリケーション４６１を記憶している。第１情報処理装置４ａの画像伝送アプリケーション４６１は、第１情報処理装置４ａの表示部４３が表示している画像を、通信部４１を介して第２情報処理装置４ｂに伝送させる。同様に、第２情報処理装置４ｂの画像伝送アプリケーション４６１は、第２情報処理装置４ｂの表示部４３が表示している画像を、通信部４１を介して第１情報処理装置４ａに伝送させる。

続いて図２０〜図２４を参照して、実施形態３に係る表示制御装置３の制御部３４が実行する処理（判定処理、コマンド生成処理、及びコマンド発行処理）の一例について説明する。図２２（ａ）は、実施形態３に係る第１管理テーブル３３１の一例を示す図である。図２２（ｂ）は、実施形態３に係る第２管理テーブル３３２の一例を示す図である。図２３及び図２４は、実施形態３に係る表示制御装置３の制御部３４が実行する処理の一例を示す図である。

図２３及び図２４に示す処理において、ステップＳ１０１〜ステップＳ１０３の処理は判定処理の一例であり、ステップＳ２１１〜Ｓ２１８の処理はコマンド生成処理の一例である。図２３及び図２４に示す処理は、音声認識部３２が認識結果テキストを生成すると開始する。なお、ステップＳ１０１〜ステップＳ１０３の処理、及びステップＳ３００の処理は、実施形態１において説明したステップＳ１０１〜ステップＳ１０３の処理、及びステップＳ３００の処理と同様であるため、その説明は省略する。また、ステップＳ２１８の処理は、実施形態１において説明したステップＳ２０８の処理と同様であるため、その説明は省略する。

図２３に示すように、認識結果テキストから抽出されたキーワードが、特定の画像を表示装置５に表示させることを示すキーワードである場合、制御部３４（コマンド生成部３４２）は、抽出されたキーワードに基づいて、第１情報処理装置４ａ及び第２情報処理装置４ｂのうちから、特定の画像を出力する情報処理装置（特定画像出力装置）を判定する（ステップＳ２１１）。例えば、認識結果テキストから抽出されたキーワードが、「ゲストＰＣの画面を映して」である場合、制御部３４（コマンド生成部３４２）は、第２情報処理装置４ｂが特定画像出力装置であると判定する。

次に、制御部３４（コマンド生成部３４２）は、特定の画像を受信して表示させることができる指示対応アプリケーションを判定する（ステップＳ２１２）。例えば、制御部３４（コマンド生成部３４２）は、遠隔会議アプリケーションが指示対応アプリケーションであると判定する。

次に、制御部３４（コマンド生成部３４２）は、第１管理テーブル３３１及び第２管理テーブル３３２を参照して、表示装置５が表示している画像を出力している情報処理装置（表示画像出力装置）に、指示対応アプリケーションがインストールされているか否かを判定する（ステップＳ２１３）。

制御部３４（コマンド生成部３４２）は、表示画像出力装置に指示対応アプリケーションがインストールされていないと判定した場合（ステップＳ２１３のＮｏ）、第３フラグを設定して（ステップＳ２１４）、図２３及び図２４に示す処理を終了する。第３フラグは、表示画像出力装置に指示対応アプリケーションがインストールされていないことを示す。

制御部３４（コマンド生成部３４２）は、表示画像出力装置に指示対応アプリケーションがインストールされていると判定した場合（ステップＳ２１３のＹｅｓ）、図２４に示すように、第１管理テーブル３３１を参照して、指示対応アプリケーションが動作しているか否かを判定する（ステップＳ２１５）。

制御部３４（コマンド生成部３４２）は、指示対応アプリケーションが動作していると判定した場合（ステップＳ２１５のＹｅｓ）、特定画像出力装置に対して発行する第１機能実行コマンドを生成するとともに、表示画像出力装置に対して発行する第１機能実行コマンド及び第２機能実行コマンドを生成する（ステップＳ２１６）。

制御部３４（コマンド生成部３４２）は、指示対応アプリケーションが動作していないと判定した場合（ステップＳ２１５のＮｏ）、特定画像出力装置に対して発行する切替コマンドを生成する（ステップＳ２１７）。

図２２（ａ）及び図２２（ｂ）に示す例では、第１情報処理装置４ａが表示画像出力装置であり、第１情報処理装置４ａに遠隔会議アプリケーションがインストールされている。また、第１情報処理装置４ａの遠隔会議アプリケーションは動作中であり、表示装置５に画像を表示させている。したがって、制御部３４（コマンド生成部３４２）は、第２情報処理装置４ｂ（特定画像出力装置）にインストールされている画像伝送アプリケーション４６１を起動させて、第２情報処理装置４ｂが表示している画像を第１情報処理装置４ａに伝送させる第１機能実行コマンドを生成する。また、第１情報処理装置４ａ（表示画像出力装置）にインストールされている画像伝送アプリケーション４６１を起動させて、第２情報処理装置４ｂから伝送された画像を受信させる第１機能実行コマンドを生成する。更に、制御部３４（コマンド生成部３４２）は、第２情報処理装置４ｂから伝送された画像を表示画像に重畳させる第２機能実行コマンドを生成する。この結果、第１情報処理装置４ａの遠隔会議アプリケーションが、第２情報処理装置４ｂから伝送された画像を表示画像に重畳させる。一方、第１情報処理装置４ａの遠隔会議アプリケーションが動作中でない場合には、第２情報処理装置４ｂが出力する画像が表示装置５に表示される。

以上、図２０〜図２４を参照して実施形態３について説明した。本実施形態によれば、第１情報処理装置４ａ及び第２情報処理装置４ｂの状態に応じて、表示装置５の入力切替を制御することができる。詳しくは、同じ利用者音声であっても、第１情報処理装置４ａ及び第２情報処理装置４ｂの状態に応じて、異なる入力部が表示画像受信部に設定される。例えば、指示対応アプリケーションが動作している場合、表示画像受信部は変更されない。一方、指示対応アプリケーションが動作していない場合、特定画像出力装置に接続している入力部が、表示画像受信部に設定される。

なお、本実施形態では、画像伝送アプリケーション４６１を利用したが、表示画像出力装置及び特定画像出力装置の両方に遠隔会議アプリケーションがインストールされている場合、特定画像出力装置の遠隔会議アプリケーションを起動させて、表示画像出力装置及び特定画像出力装置の遠隔会議アプリケーションに画面共有機能を実行させてもよい。

以上、本発明の実施形態について図面を参照しながら説明した。但し、本発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施することが可能である。

例えば、実施形態１に係る表示制御装置３が実行する処理と、実施形態３に係る表示制御装置３が実行する処理とは組み合わせることができる。この場合、表示制御装置３の制御部３４は、認識結果テキストから抽出したキーワードに応じて、実施形態１において説明した処理と、実施形態３において説明した処理とのうちの一方を実行すればよい。

また、本発明の実施形態において、指示入力装置２は音声入力装置であったが、指示入力装置２は、利用者からの指示を入力できる装置であればよく、音声入力装置に限定されない。例えば、指示入力装置２は、タブレット端末又はＰＣのような情報処理装置であり得る。

また、本発明の実施形態では、キーワードを用いて利用者の指示を判定したが、利用者の指示を判定する処理は、意図推定処理であってもよい。表示制御装置３の制御部３４が意図推定処理を実行する場合、表示制御装置３の記憶部３３は、キーワードテーブル３３４に替えて、コーパスを記憶する。

また、本発明の実施形態では、表示制御装置３が一台の情報処理装置によって構成されたが、表示制御装置３は、複数台の情報処理装置によって構成されてもよい。

また、本発明の実施形態では、第１情報処理装置４ａ、第２情報処理装置４ｂ、及び表示装置５が表示制御装置３に対してコマンドを要求したが、第１情報処理装置４ａ、第２情報処理装置４ｂ、及び表示装置５が表示制御装置３に対してコマンドを要求することなく、表示制御装置３が第１情報処理装置４ａ、第２情報処理装置４ｂ、及び表示装置５にコマンドを発行してもよい。

また、本発明の実施形態では、表示制御システム１が指示入力装置２を備えたが、第１情報処理装置４ａ又は第２情報処理装置４ｂが、指示入力装置２として使用されてもよい。

また、本発明の実施形態では、表示装置５が２つの入力部（第１入力部５１ａ及び第２入力部５１ｂ）を備える場合について説明したが、表示装置５は３つ以上の入力部を備えてもよい。換言すると、表示制御システム１は、３台以上の情報処理装置を備えてもよい。

本発明は、会議システム、講義システム、及び授業システムのような表示装置を使用するシステムに有用である。

１ 表示制御システム
３ 表示制御装置
４ａ 第１情報処理装置
４ｂ 第２情報処理装置
５ 表示装置
３２ 音声認識部
３３ 記憶部
４５ａ 音声入出力部
４５ｂ 動画入力部
５１ａ 第１入力部
５１ｂ 第２入力部
１００ａ スピーカーマイク装置
１００ｂ 動画撮影用カメラ
３３１ 第１管理テーブル
３３２ 第２管理テーブル
３３３ アプリケーション使用機器テーブル
３３４ キーワードテーブル
３４１ 判定部
３４２ コマンド生成部
３４３ コマンド発行部
４６１ 画像伝送アプリケーション

Claims (8)

1. 表示装置を制御する表示制御装置であって、
   前記表示装置は、情報処理装置が接続される２つ以上の入力部を備え、
   前記表示制御装置は、
   前記情報処理装置のそれぞれの状態を示す装置情報と、前記表示装置が表示している表示画像を出力する前記情報処理装置を示す受信状況情報とを記憶する記憶部と、
   利用者からの指示の内容を判定する判定部と、
   前記判定部の判定結果と、前記記憶部が記憶している情報とに基づいて、前記情報処理装置及び前記表示装置のうちの少なくとも１つに対して発行するコマンドを生成するコマンド生成部と
   を備える、表示制御装置。
2. 前記装置情報は、前記情報処理装置に接続している周辺機器を示す情報と、前記情報処理装置にインストールされているアプリケーションソフトウェアを示す情報と、前記アプリケーションソフトウェアが動作中であるか否かを示す情報とを含み、
   前記コマンド生成部は、
   前記指示の実行に使用する第１アプリケーションソフトウェアを判定し、
   前記第１アプリケーションソフトウェアに関連する特定の周辺機器を判定し、
   前記情報処理装置のうちから、前記特定の周辺機器が接続されている前記情報処理装置である指示対応装置を判定し、
   前記表示装置が表示している表示画像を、前記指示対応装置から出力される画像に切り替える第１コマンドを生成する、請求項１に記載の表示制御装置。
3. 前記コマンド生成部は、前記指示対応装置にインストールされている前記第１アプリケーションソフトウェアに、前記指示に対応する機能を実行させる第２コマンドを更に生成する、請求項２に記載の表示制御装置。
4. 前記装置情報は、前記情報処理装置にインストールされているアプリケーションソフトウェアを示す情報と、前記アプリケーションソフトウェアが動作中であるか否かを示す情報とを含み、
   前記指示が、第１画像を前記表示装置に表示させる指示である場合、
   前記コマンド生成部は、
   前記情報処理装置のうちから、前記第１画像を出力する前記情報処理装置である特定画像出力装置を判定し、
   前記第１画像を受信して表示させることができる第２アプリケーションソフトウェアを判定し、
   前記第２アプリケーションソフトウェアが、前記第１画像を受信して表示させることが可能な状態であるか否かを判定し、
   前記第２アプリケーションソフトウェアが、前記第１画像を受信して表示させることが可能な状態ではない場合、前記表示装置が表示している表示画像を前記第１画像に切り替える第３コマンドを生成する、請求項１から請求項３のいずれか１項に記載の表示制御装置。
5. 前記第２アプリケーションソフトウェアが、前記表示装置に第２画像を表示させるアプリケーションソフトウェアであり、前記第２アプリケーションソフトウェアが、前記第１画像を受信して表示させることが可能な状態である場合、前記コマンド生成部は、前記第１画像を前記第２画像に重畳させる第４コマンドを生成する、請求項４に記載の表示制御装置。
6. 前記利用者の音声を認識する音声認識部を備え、
   前記判定部は、前記音声認識部の認識結果に基づき、前記利用者からの指示の内容を判定する、請求項１から請求項５のいずれか１項に記載の表示制御装置。
7. 表示装置と、前記表示装置を制御する表示制御装置とを備えた表示制御システムであって、
   前記表示装置は、情報処理装置が接続される２つ以上の入力部を備え、
   前記表示制御装置は、
   前記情報処理装置のそれぞれの状態を示す装置情報と、前記表示装置が表示している表示画像を出力する前記情報処理装置を示す受信状況情報とを記憶する記憶部と、
   利用者からの指示の内容を判定する判定部と、
   前記判定部の判定結果と、前記記憶部が記憶している情報とに基づいて、前記情報処理装置及び前記表示装置のうちの少なくとも１つに対して発行するコマンドを生成するコマンド生成部と
   を備え、
   前記表示装置は、前記コマンドに応じた画像を表示する、表示制御システム。
8. 表示装置を制御する表示制御方法であって、
   前記表示装置は、情報処理装置が接続される２つ以上の入力部を備え、
   前記表示制御方法は、
   前記情報処理装置のそれぞれの状態を示す装置情報と、前記表示装置が表示している表示画像を出力する前記情報処理装置を示す受信状況情報とを記憶する記憶ステップと、
   利用者からの指示の内容を判定する判定ステップと、
   前記判定ステップにおいて判定された結果と、前記記憶ステップにおいて記憶された情報とに基づいて、前記情報処理装置及び前記表示装置のうちの少なくとも１つに対して発行するコマンドを生成するコマンド生成ステップと、
   前記表示装置が前記コマンドに応じた画像を表示するステップと
   を含む、表示制御方法。

Images