JP6611859B2 - 制御方法、情報処理装置及び制御プログラム - Google Patents

Description

本開示は、制御方法、情報処理装置及び制御プログラムに関する。

近年、複数の人物が往来する空間等に表示装置等の出力装置を配置して、その空間に往来する人物に対して店舗、施設又は商品等の広告を表示するデジタルサイネージのシステムが利用されている。

特許文献１には、所定の領域に配置された複数のディスプレイ端末にタイムリーに映像や情報を配信することにより、顧客に店舗を広告するデジタルサイネージによる広告システムが開示されている。

特開２０１０−２１０７８１号公報

特許文献１の広告システムは、顧客に対して店舗を広告することができる。デジタルサイネージのシステムでは、より多くのユーザに理解されるように情報を表示することが求められている。

制御方法、情報処理装置及び制御プログラムの目的は、複数の人物が参照可能な出力装置を有するシステムにおいて、より多くのユーザに理解されるように情報を出力することを可能とすることにある。

本実施形態の一側面に係る制御方法は、出力装置及び記憶装置と接続可能な情報処理装置の制御方法であって、記憶装置には、出力装置に出力する出力情報が記憶されるとともに、複数のユーザ毎に、各ユーザの登録生体情報と、複数の言語の内の各ユーザが使用する言語とが関連付けて登録されたユーザテーブルが記憶され、情報処理装置が、人物の生体情報が含まれる入力データを取得し、入力データから検出された各入力生体情報を、ユーザテーブルに登録された各ユーザの登録生体情報と照合し、複数の言語毎に、入力データから検出された各入力生体情報との照合に成功した各ユーザの登録生体情報と関連付けて登録された数に基づいて評価値を算出し、評価値に基づいて複数の言語の中から言語を抽出し、抽出された言語により出力情報を出力装置に出力することを含む。

また、制御方法において、抽出において、複数の言語毎に、入力データから検出された各入力生体情報との照合に成功した各ユーザの登録生体情報と関連付けて登録された数を評価値として算出し、複数の言語の中から評価値が最大である言語を抽出することが好ましい。

また、制御方法において、抽出において、複数の言語の中から、出力装置が配置されている領域における公用語を除いて、言語を抽出することが好ましい。

また、制御方法において、記憶装置には、複数の言語毎に、各言語を使用する人種の行動パターンが記憶された言語テーブルが記憶され、抽出において、各言語に対応する行動パターンに基づいて、評価値を補正することが好ましい。

また、制御方法において、出力装置は、表示装置であり、出力情報は、表示装置に表示する表示情報であり、登録生体情報は、登録顔情報であり、入力データは、撮像装置によって撮像された入力画像であり、入力生体情報は、入力顔情報であることが好ましい。

また、制御方法において、情報処理装置は、複数の表示装置と接続可能であり、入力画像から検出された各入力顔情報との照合に成功した各ユーザの登録顔情報と関連付けて登録された数が多いほど、各言語により表示情報を表示する表示装置の数が多くなるように、複数の表示装置のそれぞれに表示情報を表示する言語を決定することが好ましい。

また、制御方法において、抽出において、入力画像から検出された各入力顔情報との照合に成功した各ユーザが表示装置側を向いているか否かを判定し、入力画像から検出された各入力顔情報との照合に成功した各ユーザが表示装置側を向いているか否かに応じて、評価値を補正することが好ましい。

また、制御方法において、照合において、入力生体情報との類似度が所定値以上である登録生体情報が複数存在する場合、類似度が所定値以上である登録生体情報の数に対する、当該登録生体情報の内の同一の言語に関連付けて登録された登録生体情報の数の比率が所定比率以上であるときは、当該入力生体情報と、当該同一の言語に関連付けられて登録された登録生体情報の内の特定の登録生体情報との照合に成功したと判定することが好ましい。

また、本実施形態の一側面に係る情報処理装置は、出力装置及び記憶装置と接続可能な情報処理装置であって、記憶装置には、出力装置に出力する出力情報が記憶されるとともに、複数のユーザ毎に、各ユーザの登録生体情報と、複数の言語の内の各ユーザが使用する言語とが関連付けて登録されたユーザテーブルが記憶され、人物の生体情報が含まれる入力データを取得する取得部と、入力データから検出された各入力生体情報を、ユーザテーブルに登録された各ユーザの登録生体情報と照合する照合部と、複数の言語毎に、入力データから検出された各入力生体情報との照合に成功した各ユーザの登録生体情報と関連付けて登録された数に基づいて評価値を算出し、評価値に基づいて複数の言語の中から言語を抽出する抽出部と、抽出された言語により出力情報を出力装置に出力する出力制御部と、を有する。

また、本実施形態の一側面に係る制御プログラムは、出力装置及び記憶装置と接続可能な情報処理装置の制御プログラムであって、記憶装置には、出力装置に出力する出力情報が記憶されるとともに、複数のユーザ毎に、各ユーザの登録生体情報と、複数の言語の内の各ユーザが使用する言語とが関連付けて登録されたユーザテーブルが記憶され、情報処理装置に、人物の生体情報が含まれる入力データを取得し、入力データから検出された各入力生体情報を、ユーザテーブルに登録された各ユーザの登録生体情報と照合し、複数の言語毎に、入力データから検出された各入力生体情報との照合に成功した各ユーザの登録生体情報と関連付けて登録された数に基づいて評価値を算出し、評価値に基づいて複数の言語の中から言語を抽出し、抽出された言語により出力情報を出力装置に出力することを実行させる。

また、本実施形態の一側面に係る制御方法は、出力装置及び記憶装置と接続可能な情報処理装置の制御方法であって、記憶装置には、出力装置に出力する出力情報が記憶されるとともに、複数のユーザ毎に、各ユーザの登録生体情報と、複数の言語の内の各ユーザが使用する言語とが関連付けて登録されたユーザテーブルが記憶され、情報処理装置が、人物の生体情報が含まれる入力データを取得し、入力データから検出された入力生体情報を、ユーザテーブルに登録された各ユーザの登録生体情報と照合し、複数の言語の中から、入力データから検出された入力生体情報との照合に成功した登録生体情報と関連付けて登録された言語を抽出し、抽出された言語により出力情報を出力装置に出力することを含むことを含む。

また、本実施形態の一側面に係る情報処理装置は、出力装置及び記憶装置と接続可能な情報処理装置であって、記憶装置には、出力装置に出力する出力情報が記憶されるとともに、複数のユーザ毎に、各ユーザの登録生体情報と、複数の言語の内の各ユーザが使用する言語とが関連付けて登録されたユーザテーブルが記憶され、人物の生体情報が含まれる入力データを取得する取得部と、入力データから検出された入力生体情報を、ユーザテーブルに登録された各ユーザの登録生体情報と照合する照合部と、複数の言語の中から、入力データから検出された入力生体情報との照合に成功した登録生体情報と関連付けて登録された言語を抽出する抽出部と、抽出された言語により出力情報を出力装置に出力する出力制御部と、を有する。

また、本実施形態の一側面に係る制御プログラムは、出力装置及び記憶装置と接続可能な情報処理装置の制御プログラムであって、記憶装置には、出力装置に出力する出力情報が記憶されるとともに、複数のユーザ毎に、各ユーザの登録生体情報と、複数の言語の内の各ユーザが使用する言語とが関連付けて登録されたユーザテーブルが記憶され、情報処理装置に、人物の生体情報が含まれる入力データを取得し、入力データから検出された入力生体情報を、ユーザテーブルに登録された各ユーザの登録生体情報と照合し、複数の言語の中から、入力データから検出された入力生体情報との照合に成功した登録生体情報と関連付けて登録された言語を抽出し、抽出された言語により出力情報を出力装置に出力することを実行させる。

本実施形態に係る制御方法、情報処理装置及び制御プログラムによれば、複数の人物が参照可能な出力装置を有するシステムにおいて、より多くのユーザに理解されるように情報を出力することが可能となる。

情報提供システム１の概要について説明するための模式図である。 情報提供システム１の概要について説明するための模式図である。 情報提供システム１の概略構成の一例を示す図である。 （ａ）、（ｂ）は各種テーブルのデータ構造の一例を示す図である。 言語テーブルのデータ構造の一例を示す図である。 情報処理装置６の概略構成の一例を示す図である。 表示制御処理の動作の例を示すフローチャートである。 表示装置４に表示される表示画面８００の一例を示す図である。 他の情報提供システム１１の概略構成の一例を示す図である。 他の情報処理装置１６の概略構成の一例を示す図である。 音声出力制御処理の動作の例を示すフローチャートである。

以下、本開示の一側面に係る制御方法、情報処理装置及び制御プログラムについて図を参照しつつ説明する。但し、本開示の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。

（情報提供システムの概要）
以下、図１、２に示す模式図を参照して、情報提供システムの概要について説明する。

情報提供システムは、撮像装置、表示装置及び情報処理システムを有する。情報処理システムは、記憶装置及び情報処理装置を有する。情報処理装置は、撮像装置、表示装置及び記憶装置のそれぞれと通信接続可能である。表示装置は、例えばホテル、駅もしくは空港等のコンコース又はショッピングモール等、複数の人物が往来する空間に配置され、その空間に往来する人物に対して店舗、施設又は商品等の広告を表示するデジタルサイネージ装置である。撮像装置は、表示装置の近傍に、表示装置により表示された広告を閲覧する人物が往来する空間を撮像するように配置され、その空間を撮像した入力画像を生成する。記憶装置は、例えばデータベース装置であり、記憶装置には、表示装置に表示する広告等の表示情報が記憶されるとともに、複数のユーザ毎に、各ユーザの登録顔情報と、各ユーザが使用する使用言語とが関連付けられて登録されたユーザテーブルが記憶されている（図２）。

情報処理装置は、撮像装置から入力画像を取得し、取得した入力画像から人物を検出する。そして、情報処理装置は、入力画像から検出された各人物の入力顔情報を、ユーザテーブルに登録された各ユーザの登録顔情報と照合する。情報処理装置は、入力画像から検出された各人物の入力顔情報との照合に成功した各ユーザの使用言語としてユーザテーブルに登録されている数が最大である言語を抽出する。そして、情報処理装置は、抽出した言語により、表示情報を表示装置に表示する。

図１、２に示す例では、記憶装置には、使用言語が英語であるユーザＡと、使用言語が日本語であるユーザＢと、使用言語が英語であるユーザＣとが記憶され、入力画像にはユーザＡ、Ｂ、Ｃの三人が写っている。この場合、入力顔情報と登録顔情報の照合に成功した各ユーザＡ、Ｂ、Ｃの使用言語としてユーザテーブルに登録されている数が最大である英語が抽出され、英語により広告が表示装置に表示される。

このように情報処理装置は、デジタルサイネージ装置が配置された空間を往来している人物の内の最も多くの人物が使用する言語により、デジタルサイネージ装置に情報を表示する。これにより、情報処理装置は、より多くのユーザに理解されるように情報を表示することが可能となる。

（情報提供システム１の構成）
図３は、情報提供システム１の概略構成の一例を示す図である。

情報提供システム１は、一又は複数の表示ユニット２と、情報処理システム３とを有する。

各表示ユニット２は、表示装置４と撮像装置５とを有する。情報処理システム３は、情報処理装置６とデータベース装置７とを有する。情報処理装置６は、各表示装置４、撮像装置５及びデータベース装置７と、イントラネット又はインターネット等のネットワーク８を介して相互に接続可能である。

表示装置４は、出力装置の一例である。表示装置４は、液晶ディスプレイ、有機ＥＬ（Electro−Luminescence）ディスプレイ等の表示部を有するデジタルサイネージ装置である。表示装置４は、複数の人物が往来する空間に配置され、その空間に往来する人物に対して店舗の広告等を表示する。表示装置４は、さらに、ＣＰＵ（Central Processing Unit）等の処理部、半導体メモリ等の記憶部及び通信部等を有する。処理部は、通信部を介して情報処理装置６から広告を表示するための表示データを受信して記憶部に記憶し、表示データに基づいて広告を表示部に表示する。

撮像装置５は、入力装置の一例である。撮像装置５は、ＣＣＤ（Charge Coupled Device）素子またはＣ−ＭＯＳ（Complementary Metal Oxide Semiconductor）素子等の可視光に感度を有する光電変換素子と、その光電変換素子上に像を結像する結像光学系と、光電変換素子から出力された電気信号を増幅し、アナログ／デジタル変換するＡ／Ｄ変換器とを有するカメラである。撮像装置５は、同じ表示ユニット２に属する表示装置４の近傍に配置され、表示装置４により表示された広告を閲覧する人物が往来する空間を撮像するように配置される。撮像装置５は、その空間を撮像したＲＧＢ各色の画像を各画素が０〜２５５の範囲の輝度値を有するデジタルの画像に変換した入力画像を生成する。入力画像は、人物の生体情報が含まれる入力データの一例である。撮像装置５は、ＣＰＵ等の処理部、半導体メモリ等の記憶部及び通信部等をさらに有する。処理部は、生成した入力画像を記憶部に記憶し、通信部を介して情報処理装置６に送信する。

データベース装置７は、記憶装置の一例であり、例えば半導体メモリ、磁気テープ装置、磁気ディスク装置又は光ディスク装置の内の少なくとも一つを備える記憶部を有する。記憶部は、データとして、後述する表示情報テーブル、ユーザテーブル及び言語テーブル等を記憶する。なお、本実施形態でいうテーブルは、データベースの形式の一例であり、データがデータベース装置７内にプールしているような形式であってもよい。データベース装置７は、ＣＰＵ等の処理部及び通信部等をさらに有する。処理部は、情報処理装置６からの要求に応じて、記憶部に記憶された各種情報を通信部を介して情報処理装置６に送信する。

（各種テーブルのデータ構造）
図４（ａ）、（ｂ）及び図５は、各種テーブルのデータ構造の一例を示す図である。なお、データベース装置７は、以下に説明する各種テーブルの一部又は全部を記憶せずに、情報処理装置６、又は、情報処理装置６と接続可能な他のデータベース装置が、これらの各種テーブルの一部又は全部を記憶してもよい。また、各テーブルに含まれる各情報は、テーブル以外の形式で記憶されてもよく、例えば、それぞれ独立して記憶されてもよい。

図４（ａ）には、表示情報テーブルが示されている。表示情報テーブルには、表示装置４に表示する表示情報毎に、各表示情報の識別情報（表示情報ＩＤ）、各表示情報を表示する表示装置４の識別情報（表示装置ＩＤ）及び表示内容等の各情報が関連付けて記憶されている。表示情報は、出力装置に出力する出力情報の一例である。表示情報は、例えば飲食店もしくは販売店等の店舗、ホテルもしくは映画館等の施設、又は、商品等の広告である。なお、表示情報は、道路もしくは路線等の案内、又は、公的機関によるお知らせ等でもよい。表示情報ＩＤは、各表示情報に一意に割り当てられた情報である。表示装置ＩＤは、各表示装置４に一意に割り当てられた情報である。単一の表示情報に関連付けられる表示装置４の数は一つに限定されず、二つ以上でもよい。

表示内容は、表示装置４に表示される具体的な内容であり、情報提供システム１に登録されている複数の言語毎に、事前に登録されている。表示情報が店舗を広告対象とする広告である場合、表示内容として、例えば各店舗の名称、電話番号、住所、画像又はおすすめ料理もしくはおすすめ商品等の店舗情報が記憶される。表示情報が施設を広告対象とする広告である場合、表示内容として、例えば各施設の名称、電話番号、住所、画像又はおすすめポイント等の施設情報が記憶される。表示情報が商品を広告対象とする広告である場合、表示内容として、各商品の名称、画像又はおすすめポイント等の商品情報が記憶される。なお、表示情報が広告である場合、各表示情報と関連付けて広告対象（飲食店もしくは販売店等の店舗、ホテルもしくは映画館等の施設、又は、商品等）が記憶されてもよい。

図４（ｂ）には、ユーザテーブルが示されている。ユーザテーブルには、情報提供システム１に登録されている複数のユーザ毎に、各ユーザの識別情報（ユーザＩＤ）、名前（ユーザ名）、登録顔情報、使用言語情報、スケジュール情報、閲覧情報及び利用情報等の各情報が関連付けて記憶されている。ユーザＩＤは、各ユーザに一意に割り当てられた情報である。顔情報は、生体情報の一例であり、登録顔情報は、登録生体情報の一例である。登録顔情報は、事前に登録された各ユーザの顔が撮像された登録顔画像、又は、登録顔画像における特徴点等を示す特徴情報である。使用言語情報は、情報提供システム１に登録されている複数の言語の内の各ユーザが使用する使用言語を示す。

スケジュール情報は、各ユーザの予定とその予定を実行する時刻を示す。データベース装置７は、ハイパーテキスト転送プロトコル（Hypertext Transfer Protocol, HTTP）等の通信プロトコルを用いて、各ユーザが所有する携帯端末（不図示）と通信を行い、スケジュールの設定及び閲覧を行うためのＷｅｂ画面をその携帯端末に提供する。スケジュール情報は、そのＷｅｂ画面を用いて、各ユーザが所有する携帯端末から、任意のタイミングで設定される。

閲覧情報は、各ユーザが過去に閲覧した表示情報（ＩＤ）とその表示情報を閲覧した時刻を示す。データベース装置７は、各ユーザが所有する携帯端末からの要求に応じて、記憶している表示情報を表示するためのＷｅｂ画面をその携帯端末に提供する。閲覧情報は、各ユーザが所有する携帯端末に、表示情報を表示するためのＷｅｂ画面が提供されたときに更新される。

利用情報は、各ユーザが過去に利用した店舗もしくは施設又は購入した商品（ＩＤ）とその店舗もしくは施設を利用した時刻又は商品を購入した時刻を示す。データベース装置７は、各広告対象の店舗、施設もしくは各広告対象の商品を販売する店舗に設置された端末又は各店舗もしくは施設の関係者が所有する携帯端末（不図示）等と通信を行う。利用情報は、各ユーザが各店舗もしくは施設を利用したとき又は各商品を購入したときに各端末から設定される。

図５には、言語テーブルが示されている。言語テーブルには、情報提供システム１に登録されている複数の言語毎に、各言語の識別情報（言語ＩＤ）、名称（言語名）及び行動パターン情報等の各情報が関連付けて記憶されている。言語ＩＤは、各言語に一意に割り当てられた情報である。行動パターン情報は、各言語を使用する人種の行動パターンを示し、行動パターン情報として、各言語を使用する人種について一般的に知られている行動パターンが、情報提供システム１の管理者により事前に登録される。行動パターンは、例えば「朝食をとらない」又は「夕食を取る時間が遅い」等である。その場合、行動パターン情報として、例えば時間帯（ＡＭ６：００〜１２：００、ＰＭ１０：００〜１２：００等）と行動内容（食事しない、食事する等）とが関連付けて記憶されてもよい。なお、行動パターンは「特定の店舗、施設又は商品を利用する習慣を有する（又は有さない）」等でもよい。

（情報処理装置６の概略構成）
図６は、情報処理装置６の概略構成の一例を示す図である。

情報処理装置６は、サーバ又はパーソナルコンピュータ等であり、撮像装置５によって撮像された入力画像に写っている人物の内の最も多くの人物が使用する言語により、表示装置４に情報を表示させる。そのために、情報処理装置６は、通信部６１と、記憶部６２と、処理部６３とを備える。

通信部６１は、情報処理装置６をネットワーク８に接続するための通信インターフェース回路を有する。通信部６１は、撮像装置５又はデータベース装置７等から受信したデータを処理部６３に供給する。また、通信部６１は、処理部６３から供給されたデータを表示装置４等に送信する。

記憶部６２は、例えば、半導体メモリ、磁気ディスク装置及び光ディスク装置のうちの少なくとも一つを有する。記憶部６２は、処理部６３による処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ等を記憶する。各種プログラムは、例えばＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて記憶部６２にインストールされてもよい。また、記憶部６２は、所定の処理に係る一時的なデータを一時的に記憶する。

処理部６３は、一又は複数個のプロセッサ及びその周辺回路を備える。処理部６３は、情報処理装置６の全体的な動作を統括的に制御するものであり、例えば、ＣＰＵである。処理部６３は、情報処理装置６の各種処理が記憶部６２に記憶されているプログラム等に基づいて適切な手順で実行されるように、通信部６１等の動作を制御する。処理部６３は、記憶部６２に記憶されているプログラム（オペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム等）に基づいて処理を実行する。また、処理部６３は、複数のプログラム（アプリケーションプログラム等）を並列に実行することができる。

処理部６３は、取得部６３１、検出部６３２、照合部６３３、抽出部６３４及び表示制御部６３５等を有する。表示制御部６３５は、出力情報を出力装置に出力する出力制御部の一例である。処理部６３が有するこれらの各部は、処理部６３が有するプロセッサ上で実行されるプログラムによって実装される機能モジュールである。あるいは、処理部６３が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、又はファームウェアとして情報処理装置６に実装されてもよい。

（情報処理装置６による表示制御処理の動作の例）
図７は、情報処理装置６による表示制御処理の動作の例を示すフローチャートである。この動作フローは、予め記憶部６２に記憶されているプログラムに基づいて、主に処理部６３により、情報処理装置６の各要素と協働して実行される。

最初に、取得部６３１は、通信部６１を介して撮像装置５から、撮像装置５によって撮像された入力画像を取得し、記憶部６２に記憶する（ステップＳ１０１）。

次に、検出部６３２は、取得した入力画像から人物を検出する（ステップＳ１０２）。検出部６３２は、例えばフレーム間差分処理又は背景差分処理等を利用して、撮像装置５から取得した複数の入力画像において輝度値の時間的な変化のある変化領域を抽出する。検出部６３２は、抽出した変化領域のうち、その変化領域の大きさ等の特徴量から人物らしいと考えられる変化領域を人物領域として抽出することにより、入力画像から人物を検出する。

次に、照合部６３３は、入力画像から検出された各人物の入力顔情報を、ユーザテーブルに登録された各ユーザの登録顔情報と照合し、各人物を特定する（ステップＳ１０３）。入力顔情報は、入力生体情報の一例である。照合部６３３は、検出部６３２により抽出された人物領域に対して周辺画素との輝度値の差が所定値以上であるエッジ画素を抽出する。照合部６３３は、抽出したエッジ画素から、所定の大きさを有する、頭部の輪郭形状を近似した楕円形状のエッジ分布を検出し、そのエッジ分布に囲まれた領域を顔領域として抽出する。照合部６３３は、例えば、一般化ハフ変換を用いて、楕円形状のエッジ分布を検出する。

照合部６３３は、通信部６１を介してデータベース装置７から、情報提供システム１に登録されている各ユーザの登録顔情報を受信し、抽出した顔領域における入力顔情報と、受信した登録顔情報のそれぞれとの類似度を算出する。照合部６３３は、抽出した顔領域において人物の顔に特有の特徴量を算出し、抽出した顔領域から算出した特徴量と、受信した登録顔情報に基づく特徴量との差を正規化した値の逆数を類似度として算出する。特徴量は、例えば、目、鼻、口等の顔の特徴的な部位の位置及び／又は形状等である。照合部６３３は、例えば、顔領域に対してエッジ画素を抽出し、エッジ画素の位置及び／又はパターン等が、目、鼻、口等の部位について予め定められた条件を満たす場合にその位置を特徴量として算出する。なお、照合部６３３は、抽出した顔領域と、登録顔画像の正規化相互相関値を類似度として算出してもよい。

照合部６３３は、算出した類似度の中で最も高い類似度が所定閾値以上である場合、抽出した顔領域に写っている人物は、その類似度が算出された登録顔情報に対応するユーザであると特定し、照合に成功したと判定する。

次に、抽出部６３４は、ユーザテーブルに登録されている各使用言語毎に、入力画像から検出された各人物の入力顔情報との照合に成功した各ユーザの登録顔情報と関連付けて登録されている数に基づいて評価値を算出する（ステップＳ１０４）。例えば、抽出部６３４は、入力画像から検出された各人物の入力顔情報との照合に成功した各ユーザの登録顔情報と関連付けて登録されている数を評価値として算出する。その場合、各言語の評価値は、入力画像に写っているユーザの内、各言語を使用するユーザの数を示している。

次に、抽出部６３４は、各言語に対応する行動パターンに基づいて、各言語の評価値を補正する（ステップＳ１０５）。抽出部６３４は、通信部６１を介してデータベース装置７から、各言語に関連付けて言語テーブルに登録されている行動パターン情報を受信し、各言語に対応する行動パターンを特定する。

抽出部６３４は、例えば、表示情報が飲食店を広告対象とする広告である場合、現在時刻において食事を取るという行動パターンに対応する言語の評価値が、算出した値より大きくなるように補正する。または、抽出部６３４は、現在時刻において食事を取らないという行動パターンに対応する言語の評価値が、算出した値より小さくなるように補正する。また、抽出部６３４は、表示情報が広告である場合、その広告対象の店舗、施設又は商品を利用する習慣を有するという行動パターンに対応する言語の評価値が、算出した値より大きくなるように補正してもよい。または、抽出部６３４は、その広告対象の店舗、施設又は商品を利用する習慣を有さないという行動パターンに対応する言語の評価値が、算出した値より小さくなるように補正してもよい。これらにより、情報処理装置６は、表示装置４を閲覧している人物の内、より高い広告効果が得られる人物に対して、その人物が使用する言語により情報を表示することが可能となる。

次に、抽出部６３４は、各使用言語の評価値に基づいて、情報提供システム１に登録されている複数の使用言語の中から言語を抽出する（ステップＳ１０６）。例えば、抽出部６３４は、情報提供システム１に登録されている複数の使用言語の中から評価値が最大である言語を抽出する。なお、抽出部６３４は、情報提供システム１に登録されている複数の使用言語の中から、表示装置４が配置されている領域における公用語を除いて言語を抽出してもよい。例えば、表示装置４が配置されている領域が日本である場合、抽出部６３４は、日本語を除いて言語を抽出する。これにより、表示装置４には、日本語以外の言語により表示情報が表示されるので、情報処理装置６は、日本国内の店舗、施設又は商品等に詳しい日本人より、それらに詳しくない外国人に優先的に理解されるように情報を表示することができる。

次に、表示制御部６３５は、抽出部６３４により抽出された言語により表示情報を表示するための表示データを生成し、生成した表示データを通信部６１を介して表示装置４に送信し、その表示情報を表示装置４に表示させ（ステップＳ１０７）、一連のステップを終了する。

表示制御部６３５は、入力画像を撮像した撮像装置５と同一の表示ユニット２に属する表示装置４に、抽出部６３４により抽出された言語により、その表示装置４に関連付けられた表示情報を表示するための表示データを送信する。なお、表示制御部６３５は、その表示情報と関連付けられた他の表示装置４にも同一の言語による表示データを送信してもよい。その場合、情報処理装置６は、各撮像装置５の撮像方向、及び、各表示装置４の配置位置等を予め記憶しておく。表示制御部６３５は、公知の画像処理技術を利用して、検出部６３２により検出された人物の追跡処理を実行し、その人物の進行方向を推定する。表示制御部６３５は、入力画像を撮像した撮像装置５に対して推定した進行方向側に配置され且つ入力画像を撮像した撮像装置５から所定距離内に配置された一又は複数の表示装置４に、同一の言語による表示データを送信する。

また、表示制御部６３５は、同一の表示情報が関連付けられた複数の表示装置４のそれぞれに表示情報を表示する言語を、入力画像から検出された各言語を使用するユーザの数に応じて変更してもよい。例えば、表示制御部６３５は、入力画像から検出された各人物の入力顔情報との照合に成功した各ユーザの登録顔情報と関連付けて登録された数が多いほど、各言語により表示情報を表示する表示装置４の数が多くなるように、各表示装置４に表示情報を表示する言語を決定する。その場合、表示制御部６３５は、各言語により表示情報を表示させる表示装置４の数の比率を、入力画像から検出された各言語を使用するユーザの数の比率と同一になるように決定してもよい。例えば、入力画像に、英語を使用するユーザが３人含まれ、中国語を使用するユーザが２人含まれ、且つ、表示情報を表示する表示装置４が１０台存在する場合、表示制御部６３５は、６台の表示装置４には英語により表示情報を表示させ、４台の表示装置４には中国語により表示情報を表示させる。

図８は、表示装置４に表示される表示画面８００の一例を示す図である。

図８に示すように、表示画面８００には、抽出部６３４により抽出された言語により表示情報が表示される。例えば、表示情報が店舗の広告であり、抽出された言語が英語である場合、店舗の名称、電話番号、住所、画像及びおすすめ料理等の店舗情報が英語で表示される。

なお、情報処理装置６は、表示画面８００において、検出した各ユーザのユーザＩＤ及びその説明等を、抽出した言語により表示してもよい。これにより、ユーザは、自分に対して情報が表示されていることを認識し、表示された情報に興味を持つ可能性が高くなる。また、表示情報が広告である場合、データベース装置７は、ユーザテーブルにおいて、広告対象毎にユーザに関連する画像（例えば、店舗におけるユーザの担当者）を記憶しておき、情報処理装置６は、表示画面８００においてそのユーザに関連する画像を表示してもよい。これによっても、ユーザは、表示された広告に興味を持つ可能性が高くなる。

また、情報処理装置６は、表示画面８００において、その広告の詳細を示すＷｅｂページのＵＲＬ（Uniform Resource Locator）及びその説明等を、抽出した言語により表示してもよい。これにより、表示画面８００を閲覧した人物は、そのＷｅｂページにアクセスして詳細な情報を取得することができ、情報処理装置６は利便性を向上させることが可能となる。

また、表示情報が店舗の広告である場合、ステップＳ１０５において、抽出部６３４は、ユーザテーブルに記憶されたスケジュール情報に基づいて、各言語の評価値を補正してもよい。抽出部６３４は、通信部６１を介してデータベース装置７から、入力画像内で特定された各ユーザのスケジュール情報を受信し、受信したスケジュール情報に現在から所定時間（例えば１時間）内の予定が含まれるか否かを判定する。スケジュール情報に現在から所定時間内の予定が含まれる場合、抽出部６３４は、そのユーザに関連付けられた言語の評価値から所定値を減算する。所定値は０より大きく且つ１以下の値である。即ち、入力画像内に、現在から所定時間内に予定がないユーザが写っている場合、そのユーザの使用言語の評価値は１上昇するが、現在から所定時間内に予定があるユーザが写っている場合、そのユーザの使用言語の評価値が上昇する度合いは１未満となる。これにより、情報処理装置６は、既に予定があり来店が見込めないような、得られる広告効果が低いユーザが使用する言語を優先的に使用することを抑制できる。

また、ステップＳ１０５において、抽出部６３４は、ユーザテーブルに記憶された閲覧情報に基づいて、各言語の評価値を補正してもよい。抽出部６３４は、通信部６１を介してデータベース装置７から、入力画像内で特定された各ユーザの閲覧情報を受信し、受信した閲覧情報から、表示装置４に表示する表示情報を各ユーザが過去に閲覧したか否かを判定する。表示装置４に表示する表示情報を各ユーザが過去に閲覧している場合、抽出部６３４は、各ユーザに関連付けられた言語の評価値に所定値を加算する。所定値は０より大きく且つ１以下の値である。所定値は、その表示情報を各ユーザが過去に閲覧している回数が多いほど大きい値に設定されてもよい。これにより、情報処理装置６は、表示情報に興味を有しているユーザが使用する言語を優先的に使用することができる。

また、表示情報が広告である場合、ステップＳ１０５において、抽出部６３４は、ユーザテーブルに記憶された利用情報に基づいて、各言語の評価値を補正してもよい。抽出部６３４は、入力画像内で特定された各ユーザの利用情報を受信し、受信した利用情報から、広告対象の店舗もしくは施設を各ユーザが過去に利用したか否か又は広告対象の商品を各ユーザが過去に購入したか否かを特定する。広告対象の店舗もしくは施設を各ユーザが過去に利用している場合、又は、広告対象の商品を各ユーザが過去に購入している場合、抽出部６３４は、各ユーザに関連付けられた言語の評価値に所定値を加算する。所定値は０より大きく且つ１以下の値である。所定値は、その広告対象を各ユーザが過去に利用又は購入した回数が多いほど大きい値に設定されてもよい。これにより、情報処理装置６は、表示情報に興味を有しているユーザが使用する言語を優先的に使用することができる。

また、表示情報が店舗の広告である場合、ステップＳ１０５において、抽出部６３４は、怒っている、悲しんでいる、笑っている又は喜んでいる等の各ユーザの表情に基づいて、各言語の評価値を補正してもよい。その場合、抽出部６３４は、画像が入力された場合に、入力された画像に各表情を有する人物が写っている確からしさ、又は、入力された画像に写っている人物が各表情を有している度合い（怒っている度合い、笑っている度合い等）を出力するように事前学習された識別器を用いて、各ユーザの表情を特定する。この識別器は、例えばディープラーニング等により、特定の表情を有する人物が含まれる複数の画像を用いて事前学習され、予め記憶部６２に記憶される。抽出部６３４は、入力画像から各人物領域を切出して識別器に入力し、識別器から出力された情報から、各ユーザの表情を特定する。

抽出部６３４は、怒っている又は悲しんでいる等のネガティブな表情を有するユーザに関連付けられた言語の評価値から所定値を減算する。または、抽出部６３４は、笑っている又は喜んでいる等のポジティブな表情を有するユーザに関連付けられた言語の評価値に所定値を加算してもよい。所定値は０より大きく且つ１以下の値である。なお、所定値は、各ユーザが各表情を有している度合いが大きいほど大きい値に設定されてもよい。これにより、情報処理装置６は、広告を閲覧しそうにない、得られる広告効果が低いユーザが使用する言語を優先的に使用することを抑制し、広告対象を利用又は購入する可能性が高いユーザが使用する言語を優先的に使用することが可能となる。

また、ステップＳ１０５において、抽出部６３４は、ユーザが正面（表示装置４側）を向いているか否かに応じて、各言語の評価値を補正してもよい。その場合、抽出部６３４は、画像が入力された場合に、入力された画像に正面を向いている人物が写っている確からしさを出力するように事前学習された識別器を用いて、各ユーザが正面を向いているか否かを判定する。この識別器は、例えばディープラーニング等により、正面を向いている人物が含まれる複数の画像を用いて事前学習され、予め記憶部６２に記憶される。抽出部６３４は、入力画像から各人物領域を切出して識別器に入力し、識別器から出力された情報から、各ユーザが正面を向いているか否かを判定する。

抽出部６３４は、正面を向いていないユーザに関連付けられた言語の評価値から所定値を減算する。または、抽出部６３４は、正面を向いているユーザに関連付けられた言語の評価値に所定値を加算してもよい。所定値は０より大きく且つ１以下の値である。これにより、情報処理装置６は、広告を閲覧する可能性の低いユーザが使用する言語を優先的に使用することを抑制し、広告を閲覧する可能性の高いユーザが使用する言語を優先的に使用することが可能となる。

また、抽出部６３４は、評価値の補正処理を実行せず、ステップＳ１０５の処理を省略してもよい。

また、照合部６３３は、生体情報として顔情報を用いる代わりに、虹彩情報等の他の情報を用いてもよい。その場合、データベース装置７は、ユーザテーブルにおいて、登録生体情報として登録顔情報の代わりに登録虹彩情報を記憶する。登録虹彩情報は、事前に登録された各ユーザの瞳孔の虹彩が撮像された登録虹彩画像、又は、登録虹彩画像における特徴点等を示す特徴情報である。

ステップＳ１０３において、照合部６３３は、入力生体情報として入力画像から検出された各人物の入力虹彩情報を、ユーザテーブルに登録された各ユーザの登録虹彩情報と照合し、各人物を特定する。照合部６３３は、検出部６３２により抽出された人物領域に対して周辺画素との輝度値の差が所定値以上であるエッジ画素を抽出する。照合部６３３は、抽出したエッジ画素から、所定の大きさを有する、瞳孔の輪郭形状を近似した楕円形状のエッジ分布を検出し、そのエッジ分布に囲まれた領域を瞳孔領域として抽出する。照合部６３３は、例えば、一般化ハフ変換を用いて、楕円形状のエッジ分布を検出する。

照合部６３３は、通信部６１を介してデータベース装置７から、情報提供システム１に登録されている各ユーザの登録虹彩情報を受信し、抽出した瞳孔領域における入力虹彩情報と、受信した登録虹彩情報のそれぞれとの類似度を算出する。照合部６３３は、抽出した瞳孔領域において虹彩に特有の特徴量を算出し、抽出した瞳孔領域から算出した特徴量と、受信した登録虹彩情報に基づく特徴量との差を正規化した値の逆数を類似度として算出する。特徴量は、例えば、虹彩の特徴的な部位の位置及び／又は形状等である。照合部６３３は、例えば、瞳孔領域に対してエッジ画素を抽出し、エッジ画素の位置及び／又はパターン等が予め定められた条件を満たす場合にその位置を特徴量として算出する。なお、照合部６３３は、抽出した瞳孔領域と、登録虹彩画像の正規化相互相関値を類似度として算出してもよい。

照合部６３３は、算出した類似度の中で最も高い類似度が所定閾値以上である場合、抽出した瞳孔領域に対応する人物は、その類似度が算出された登録虹彩情報に対応するユーザであると特定し、照合に成功したと判定する。

一方、ステップＳ１０４において、抽出部６３４は、ユーザテーブルに登録されている各使用言語毎に、入力画像から検出された各人物の入力虹彩情報との照合に成功した各ユーザの登録虹彩情報と関連付けて登録されている数に基づいて評価値を算出する。

以上詳述したとおり、情報処理装置６は、複数の人物が閲覧可能な表示装置４（デジタルサイネージ）を有する情報提供システム１において、表示装置４が配置された空間を往来している人物の内の最も多くの人物が使用する言語により、表示装置４に情報を表示する。これにより、情報処理装置６は、より多くのユーザに理解されるように情報を表示（出力）することが可能となる。

（他の情報提供システム１１の構成）
図３は、他の情報提供システム１１の概略構成の一例を示す図である。

情報提供システム１１は、情報提供システム１と比較して、表示ユニット２の代わりに音声出力ユニット１２を有し、情報処理装置６の代わりに情報処理装置１６を有し、データベース装置７の代わりにデータベース装置１７を有する。情報提供システム１１は、生体情報として顔情報等の画像情報を用いる代わりに、声紋情報等の音声情報を用いる。

音声出力ユニット１２は、例えば切符等の券売機、飲料等の自動販売機等である。音声出力ユニット１２は、音声出力装置１４と音声入力装置１５とを有する。

音声出力装置１４は、出力装置の一例である。音声出力装置１４は、スピーカ等の音声出力部を有する。音声出力装置１４は、複数の人物が存在する空間に配置され、その空間に存在する人物に対して、券売機又は自動販売機を利用するためのガイダンス等を音声出力する。音声出力装置１４は、さらに、ＣＰＵ等の処理部、半導体メモリ等の記憶部及び通信部等を有する。処理部は、通信部を介して情報処理装置１６からガイダンスを音声出力するための音声出力データを受信して記憶部に記憶し、音声出力データに基づいてガイダンスを音声出力部から音声出力する。

音声入力装置１５は、入力装置の一例である。音声入力装置１５は、集音した音声をアナログの電気信号に変換するマイクロフォンと、マイクロフォンから出力された電気信号を増幅し、アナログ／デジタル変換するＡ／Ｄ変換器とを有する。音声入力装置１５は、同じ音声出力ユニット１２に属する音声出力装置１４の近傍に配置され、音声出力装置１４から音声出力されたガイダンスを聴取する人物が存在する空間の音声を集音するように配置される。音声入力装置１５は、その空間から取得したアナログ音声をデジタル音声に変換した入力音声を生成する。入力音声は、入力データの一例である。音声入力装置１５は、ＣＰＵ等の処理部、半導体メモリ等の記憶部及び通信部等をさらに有する。処理部は、生成した入力音声を記憶部に記憶し、通信部を介して情報処理装置１６に送信する。

データベース装置１７は、データベース装置７と同様の構成を有する。但し、データベース装置１７は、表示情報テーブルの代わりに、音声出力情報テーブルを記憶する。音声出力情報テーブルには、音声出力装置１４から出力する音声出力情報毎に、各音声出力情報の識別情報（音声出力情報ＩＤ）、各音声出力情報を出力する音声出力装置１４の識別情報（音声出力装置ＩＤ）及び出力内容等の各情報が関連付けて記憶されている。音声出力情報は、出力装置に出力する出力情報の一例である。音声出力情報は、例えば券売機又は自動販売機を利用するためのガイダンス等である。音声出力情報ＩＤは、各音声出力情報に一意に割り当てられた情報である。音声出力装置ＩＤは、各音声出力装置１４に一意に割り当てられた情報である。

また、データベース装置１７は、ユーザテーブルにおいて、登録生体情報として、登録顔情報を記憶する代わりに、登録声紋情報を記憶する。登録声紋情報は、事前に登録された各ユーザの声紋（サウンドスペクトログラム）のパターン、又は、そのパターンにおける音声特徴等を示す特徴情報である。声紋のパターンは、各ユーザが発する音声に応じた音声信号の成分を時間軸及び周波数軸からなる２次元のグラフ上に分布したパターンである。なお、ユーザテーブルにおいて、ユーザ毎に、それぞれ異なる発話内容に対応する複数の登録声紋情報が記憶されてもよい。

（他の情報処理装置１６の概略構成）
図１０は、他の情報処理装置１６の概略構成の一例を示す図である。情報処理装置１６は、情報処理装置１６は、情報処理装置６と同様の構成を有する。但し、情報処理装置１６は、出力制御部として、表示制御部６３５の代わりに音声出力制御部１６３５を有する。

（情報処理装置１６による表示制御処理の動作の例）
図１１は、情報処理装置１６による音声出力制御処理の動作の例を示すフローチャートである。この動作フローは、予め記憶部６２に記憶されているプログラムに基づいて、主に処理部６３により、情報処理装置１６の各要素と協働して実行される。

最初に、取得部６３１は、入力生体情報として、通信部６１を介して音声入力装置１５から、音声入力装置１５によって集音された入力音声を取得し、記憶部６２に記憶する（ステップＳ２０１）。

次に、照合部６３３は、入力音声から入力生体情報として検出された入力声紋情報を、ユーザテーブルに登録された各ユーザの登録声紋情報と照合し、入力音声に対応する各人物を特定する（ステップＳ２０２）。照合部６３３は、入力音声を所定期間毎に解析し、閾値以上の音圧（振幅）を有する期間における声紋（サウンドスペクトログラム）を入力声紋情報として検出する。

照合部６３３は、通信部６１を介してデータベース装置１７から、情報提供システム１に登録されている各ユーザの登録声紋情報を受信し、検出した入力声紋情報と、受信した登録声紋情報のそれぞれとの類似度を算出する。照合部６３３は、検出した入力声紋情報から所定の音声特徴を算出し、検出した入力声紋情報から算出した音声特徴と、受信した登録声紋情報に基づく音声特徴との差を正規化した値の逆数を類似度として算出する。音声特徴は、例えば、時間軸及び周波数軸からなる２次元のグラフ上に分布された声紋のパターンの位置及び／又は形状等である。なお、照合部６３３は、入力声紋情報が示す声紋のパターンと、登録声紋情報が示す声紋のパターンの正規化相互相関値を類似度として算出してもよい。

照合部６３３は、算出した類似度の中で最も高い類似度が所定閾値以上である場合、その入力声紋情報に対応する人物は、その類似度が算出された登録声紋情報に対応するユーザであると特定し、照合に成功したと判定する。

次に、抽出部６３４は、ユーザテーブルに登録されている各使用言語毎に、入力音声から検出された各入力声紋情報との照合に成功した各ユーザの登録声紋情報と関連付けて登録されている数に基づいて評価値を算出する（ステップＳ２０３）。例えば、抽出部６３４は、入力音声から検出された各入力声紋情報との照合に成功した各ユーザの登録声紋情報と関連付けて登録されている数を評価値として算出する。

次に、抽出部６３４は、ステップＳ１０５と同様にして、各言語に対応する行動パターンに基づいて、各言語の評価値を補正する（ステップＳ２０４）。例えば、抽出部６３４は、音声出力ユニット１２が自動販売機である場合に、その自動販売機で販売する商品を利用する習慣を有さないという行動パターンに対応する言語の評価値が、算出した値より小さくなるように補正する。

次に、抽出部６３４は、ステップＳ１０６と同様にして、各使用言語の評価値に基づいて、情報提供システム１に登録されている複数の使用言語の中から言語を抽出する（ステップＳ２０５）。

次に、音声出力制御部１６３５は、抽出部６３４により抽出された言語により音声出力情報を出力するための音声出力データを生成し、生成した音声出力データを通信部６１を介して音声出力装置１４に送信し、その音声出力情報を音声出力装置１４から出力させ（ステップＳ２０６）、一連のステップを終了する。

音声出力制御部１６３５は、入力音声を集音した音声入力装置１５と同一の音声出力ユニット１２に属する音声出力装置１４に、抽出部６３４により抽出された言語により、その音声出力装置１４に関連付けられた音声出力情報を音声出力するための音声出力データを送信する。

以上詳述したとおり、情報処理装置１６は、複数の人物が聴取可能な音声出力装置１４を有する情報提供システム１において、音声出力装置１４が配置された空間に存在する人物の内の最も多くの人物が使用する言語により、音声出力装置１４から音声情報を出力する。例えば、券売機、自動販売機等の前に、様々な言語を使用する複数の人物が存在する場合、情報処理装置１６は、最も多くの人物が使用する言語により、ガイダンスを音声出力する。これにより、情報処理装置１６は、より多くのユーザに理解されるように情報を出力することが可能となる。

（他の変形例）
なお、情報処理装置６又は１６とデータベース装置７又は１７は、同一の装置として構成されてもよい。その場合、情報処理装置６又は１６の記憶部６２に、データベース装置７又は１７が記憶している各テーブルが記憶され、情報処理装置６又は１６は記憶部６２から各テーブルを読み出すことにより、各テーブルに含まれる各情報を取得する。

また、情報処理装置６と、表示装置４及び／又は撮像装置５とは、同一の装置として構成されてもよい。その場合、情報処理装置６の各部と、表示装置４及び／又は撮像装置５の各部とはバスを介して接続され、情報処理装置６はバスを介して表示装置４及び／又は撮像装置５と各種データを送受信する。

同様に、情報処理装置１６と、音声出力装置１４及び／又は音声入力装置１５とは、同一の装置として構成されてもよい。その場合、情報処理装置１６の各部と、音声出力装置１４及び／又は音声入力装置１５の各部とはバスを介して接続され、情報処理装置１６はバスを介して音声出力装置１４及び／又は音声入力装置１５と各種データを送受信する。

また、情報提供システム１は、出力装置として、表示装置４の代わりに音声出力装置１４を有してもよい。その場合、データベース装置７は、表示情報テーブルの代わりに音声出力情報テーブルを有し、情報処理装置６は、表示制御部６３５の代わりに音声出力制御部１６３５を有する。ステップＳ１０７において、音声出力制御部１６３５は、抽出部６３４により抽出された言語により音声出力情報を出力するための音声出力データを生成し、生成した音声出力データを通信部６１を介して音声出力装置１４に送信し、その音声出力情報を音声出力装置１４から出力させる。

同様に、情報提供システム１１は、出力装置として、音声出力装置１４の代わりに表示装置４を有してもよい。その場合、データベース装置１７は、音声出力情報テーブルの代わりに表示情報テーブルを有し、情報処理装置１６は、音声出力制御部１６３５の代わりに表示制御部６３５を有する。ステップＳ２０６において、表示制御部６３５は、抽出部６３４により抽出された言語により表示情報を表示するための表示データを生成し、生成した表示データを通信部６１を介して表示装置４に送信し、その表示情報を表示装置４に表示させる。

また、入力データに含まれる生体情報は、複数でなく、一つでもよい。その場合、抽出部６３４は、複数の言語の中から、入力データから検出された人物の入力生体情報との照合に成功した登録生体情報と関連付けて登録された言語を抽出する。表示制御部６３５は、その抽出された言語により表示情報を表示装置４に表示させる。または、音声出力制御部１６３５は、その抽出された言語により音声出力情報を音声出力装置１４から出力させる。

また、照合部６３３は、入力生体情報と複数の登録生体情報との照合結果を用いて、入力生体情報と各登録生体情報との照合に成功したか否かを判定してもよい。上記したように、照合部６３３は、入力生体情報と各登録生体情報について算出した類似度の中で最も高い類似度が所定閾値以上である場合、その入力生体情報に対応する人物は、その類似度が算出された登録生体情報に対応するユーザであると特定し、照合に成功したと判定する。一方、照合部６３３は、算出した最も高い類似度が所定閾値未満である場合、類似度が所定閾値より低い所定値以上である登録生体情報を抽出し、類似度が所定値以上である登録生体情報が複数存在するか否かを判定する。

類似度が所定値以上である登録生体情報が複数存在する場合、照合部６３３は、各言語毎に、類似度が所定値以上である登録生体情報の数に対する、類似度が所定値以上である登録生体情報の内の各言語に関連付けて登録された登録生体情報の数の比率を算出する。照合部６３３は、算出した比率の中で最も高い比率が所定比率（例えば７０％）以上であるときは、その入力生体情報と、その言語に関連付けられて登録された登録生体情報の内の特定の登録生体情報との照合に成功したと判定する。例えば、照合部６３３は、その入力生体情報と、その言語に関連付けられて登録された登録生体情報の中で類似度が最も高い登録生体情報との照合に成功したと判定する。

このように、照合部６３３は、類似度が所定値以上である登録生体情報の数に対する、その登録生体情報の内の同一の言語に関連付けて登録された登録生体情報の数の比率が所定比率以上であるときは、照合に成功したと判定する。この場合、照合部６３３は、仮に入力生体情報に対応する人物自体の特定を誤っていたとしても、その人物が使用する言語を正しく特定している可能性が高い。したがって、情報処理装置６又は１６は、入力生体情報と複数の登録生体情報との照合結果を用いることにより、入力生体情報に対応する人物が使用する言語を精度良く特定することが可能となる。

当業者は、本発明の精神及び範囲から外れることなく、様々な変更、置換、及び修正をこれに加えることが可能であることを理解されたい。

４ 表示装置
５ 撮像装置
６、１６ 情報処理装置
７ データベース装置
６３１ 取得部
６３２ 検出部
６３３ 照合部
６３４ 抽出部
６３５ 表示制御部
１４ 音声出力装置
１５ 音声入力装置
１６３５ 音声出力制御部

Claims (10)

1. 出力装置及び記憶装置と接続可能な情報処理装置の制御方法であって、
   前記記憶装置には、前記出力装置に出力する出力情報が記憶されるとともに、複数のユーザ毎に、各ユーザの登録生体情報と、複数の言語の内の各ユーザが使用する言語とが関連付けて登録されたユーザテーブルが記憶され、
   前記情報処理装置が、
   人物の生体情報が含まれる入力データを取得し、
   前記入力データから検出された各入力生体情報を、前記ユーザテーブルに登録された各ユーザの登録生体情報と照合し、
   前記複数の言語毎に、前記入力データから検出された各入力生体情報との照合に成功した各ユーザの登録生体情報と関連付けて登録された数を評価値として算出し、前記複数の言語の中から前記評価値が最大である言語を抽出し、
   前記抽出された言語により前記出力情報を前記出力装置に出力する、
   ことを含むことを特徴とする情報処理装置の制御方法。
2. 前記登録生体情報および前記入力生体情報は、前記ユーザの顔を含むよう撮像された画像情報である、請求項１に記載の制御方法。
3. 前記抽出において、前記複数の言語の中から、前記出力装置が配置されている領域における公用語を除いて、言語を抽出する、請求項１または２に記載の制御方法。
4. 前記記憶装置には、複数の言語毎に、各言語を使用する人種の行動パターンが記憶された言語テーブルが記憶され、
   前記抽出において、各言語に対応する前記行動パターンに基づいて、前記評価値を補正する、請求項１〜３の何れか一項に記載の制御方法。
5. 前記出力装置は、表示装置であり、
   前記出力情報は、前記表示装置に表示する表示情報であり、
   前記登録生体情報は、登録顔情報であり、
   前記入力データは、撮像装置によって撮像された入力画像であり、
   前記入力生体情報は、入力顔情報である、請求項１〜４の何れか一項に記載の制御方法。
6. 前記情報処理装置は、複数の前記表示装置と接続可能であり、
   前記入力画像から検出された各入力顔情報との照合に成功した各ユーザの登録顔情報と関連付けて登録された数が多いほど、各言語により前記表示情報を表示する表示装置の数が多くなるように、前記複数の表示装置のそれぞれに前記表示情報を表示する言語を決定する、請求項５に記載の制御方法。
7. 前記抽出において、前記入力画像から検出された各入力顔情報との照合に成功した各ユーザが前記表示装置側を向いているか否かを判定し、前記入力画像から検出された各入力顔情報との照合に成功した各ユーザが前記表示装置側を向いているか否かに応じて、前記評価値を補正する、請求項５または６に記載の制御方法。
8. 前記照合において、前記入力生体情報との類似度が所定値以上である登録生体情報が複数存在する場合、前記類似度が前記所定値以上である登録生体情報の数に対する、当該登録生体情報の内の同一の言語に関連付けて登録された登録生体情報の数の比率が所定比率以上であるときは、当該入力生体情報と、当該同一の言語に関連付けられて登録された登録生体情報の内の特定の登録生体情報との照合に成功したと判定する、請求項１〜７の何れか一項に記載の制御方法。
9. 出力装置及び記憶装置と接続可能な情報処理装置であって、
   前記記憶装置には、前記出力装置に出力する出力情報が記憶されるとともに、複数のユーザ毎に、各ユーザの登録生体情報と、複数の言語の内の各ユーザが使用する言語とが関連付けて登録されたユーザテーブルが記憶され、
   人物の生体情報が含まれる入力データを取得する取得部と、
   前記入力データから検出された各入力生体情報を、前記ユーザテーブルに登録された各ユーザの登録生体情報と照合する照合部と、
   前記複数の言語毎に、前記入力データから検出された各入力生体情報との照合に成功した各ユーザの登録生体情報と関連付けて登録された数を評価値として算出し、前記複数の言語の中から前記評価値が最大である言語を抽出する抽出部と、
   前記抽出された言語により前記出力情報を前記出力装置に出力する出力制御部と、
   を有することを特徴とする情報処理装置。
10. 出力装置及び記憶装置と接続可能な情報処理装置の制御プログラムであって、
    前記記憶装置には、前記出力装置に出力する出力情報が記憶されるとともに、複数のユーザ毎に、各ユーザの登録生体情報と、複数の言語の内の各ユーザが使用する言語とが関連付けて登録されたユーザテーブルが記憶され、
    前記情報処理装置に、
    人物の生体情報が含まれる入力データを取得し、
    前記入力データから検出された各入力生体情報を、前記ユーザテーブルに登録された各ユーザの登録生体情報と照合し、
    前記複数の言語毎に、前記入力データから検出された各入力生体情報との照合に成功した各ユーザの登録生体情報と関連付けて登録された数を評価値として算出し、前記複数の言語の中から前記評価値が最大である言語を抽出し、
    前記抽出された言語により前記出力情報を前記出力装置に出力する、
    ことを実行させることを特徴とする制御プログラム。

Images