JP6611772B2 - 制御方法、情報処理装置及び制御プログラム - Google Patents

Description

本開示は、制御方法、情報処理装置及び制御プログラムに関する。

近年、複数の人物が往来する空間等に表示装置を配置して、その空間に往来する人物に対して店舗、施設又は商品等の広告を表示するデジタルサイネージのシステムが利用されている。

特許文献１には、所定の領域に配置された複数のディスプレイ端末にタイムリーに映像や情報を配信することにより、顧客に店舗を広告するデジタルサイネージによる広告システムが開示されている。

特開２０１０−２１０７８１号公報

特許文献１の広告システムは、顧客に対して店舗を広告することができる。デジタルサイネージのシステムでは、表示装置を閲覧している人物の内、より高い広告効果が得られる人物に対して、その人物のニーズにより合致する広告を表示することが求められている。

制御方法、情報処理装置及び制御プログラムの目的は、複数の人物が閲覧可能な表示装置を有するシステムにおいて、表示装置を閲覧している人物の内、より高い広告効果が得られる人物に対して、その人物のニーズにより合致する広告を表示することを可能とすることにある。

本実施形態の一側面に係る制御方法は、撮像装置、表示装置及び記憶装置と接続可能な情報処理装置の制御方法であって、記憶装置には、複数の広告毎に、各広告を表示するか否かを決定するための表示条件が関連付けられたテーブルが記憶され、情報処理装置が、撮像装置によって撮像された入力画像を取得し、入力画像から人物を検出し、検出された人物を一又は複数のグループに分類し、一又は複数のグループのそれぞれの評価点を算出し、分類されたグループの中から評価点が高い順に所定数のグループを抽出し、複数の広告の内、抽出されたグループの評価点が表示条件を満たす広告を表示装置に表示することを含む。

また、制御方法において、所定数は１であることが好ましい。

また、制御方法において、グループの抽出において、複数の広告の中に、抽出されたグループの評価点が表示条件を満たす広告が存在しない場合、分類されたグループの中から、抽出されたグループの次に評価点が高いグループを新たに抽出し、表示において、複数の広告の内、新たに抽出されたグループの評価点が表示条件を満たす広告を表示装置に表示することが好ましい。

また、制御方法において、記憶装置には、複数のユーザ毎に、各ユーザの登録顔情報が登録されたユーザテーブルがさらに記憶され、グループの抽出において、入力画像から検出された各人物の入力顔情報を、ユーザテーブルに登録された各ユーザの登録顔情報と照合し、照合に成功した人物が含まれるグループの中からグループを抽出することが好ましい。

また、制御方法において、記憶装置には、ユーザテーブルにおいて、複数のユーザ毎に、各ユーザのスケジュール情報が記憶され、グループの抽出において、照合に成功した人物に対応するスケジュール情報に現在から所定時間内の予定が含まれる場合、当該人物が含まれるグループの抽出を禁止することが好ましい。

また、制御方法において、記憶装置には、ユーザテーブルにおいて、複数のユーザ毎に、各ユーザが過去に閲覧した広告の情報が記憶され、表示において、複数の広告の内、抽出されたグループに含まれる人物が過去に閲覧した広告であり且つ抽出されたグループの評価点が表示条件を満たす広告を表示装置に表示することが好ましい。

また、制御方法において、記憶装置には、ユーザテーブルにおいて、複数のユーザ毎に、各ユーザが過去に利用した店舗もしくは施設又は購入した商品の情報が記憶され、表示において、複数の広告の内、抽出されたグループに含まれる人物が過去に利用した店舗もしくは施設又は購入した商品の広告であり且つ抽出されたグループの評価点が表示条件を満たす広告を表示装置に表示することが好ましい。

また、制御方法において、グループの抽出において、分類されたグループに第１の表情を有する人物が含まれるか否かを判定し、判定結果に基づいてグループを抽出することが好ましい。

また、制御方法において、グループの抽出において、分類されたグループに表示装置側を向いている人物が含まれるか否かを判定し、判定結果に基づいてグループを抽出することが好ましい。

また、制御方法において、広告は、店舗の広告であり、評価点は、各グループの人数であり、表示条件は、抽出されたグループの評価点が、各広告の対象である店舗における現在の空席数以下であることであることが好ましい。

また、制御方法において、記憶装置には、テーブルにおいて、複数の広告毎に、各広告の対象である店舗における座席数又は現在の空席率が記憶され、表示において、複数の広告の中で、抽出されたグループの評価点が表示条件を満たす広告の内、空席率が最も大きい店舗の広告を表示装置に表示することが好ましい。

また、制御方法において、表示条件及び評価点は、グループに含まれる人物の年齢、性別、体格又は嗜好の内の少なくとも一つに基づいていることが好ましい。

また、制御方法において、表示条件及び評価点は、グループに含まれる人物の年齢のばらつき度合い、性別のばらつき度合い、体格のばらつき度合い又は嗜好のばらつき度合いの内の少なくとも一つに基づいていることが好ましい。

また、制御方法において、分類において、所定時間内に撮像される人数が所定数未満である場合に限り、検出された人物を一又は複数のグループに分類することが好ましい。

また、本実施形態の一側面に係る情報処理装置は、撮像装置、表示装置及び記憶装置と接続可能な情報処理装置であって、記憶装置には、複数の広告毎に、各広告を表示するか否かを決定するための表示条件が関連付けられたテーブルが記憶され、撮像装置によって撮像された入力画像を取得する取得部と、入力画像から人物を検出する検出部と、検出された人物を一又は複数のグループに分類する分類部と、一又は複数のグループのそれぞれの評価点を算出する算出部と、分類されたグループの中から評価点が高い順に所定数のグループを抽出するグループ抽出部と、複数の広告の内、抽出されたグループの評価点が表示条件を満たす広告を表示装置に表示する表示制御部と、を有する。

また、本実施形態の一側面に係る制御プログラムは、撮像装置、表示装置及び記憶装置と接続可能な情報処理装置の制御プログラムであって、記憶装置には、複数の広告毎に、各広告を表示するか否かを決定するための表示条件が関連付けられたテーブルが記憶され、情報処理装置に、撮像装置によって撮像された入力画像を取得し、入力画像から人物を検出し、検出された人物を一又は複数のグループに分類し、一又は複数のグループのそれぞれの評価点を算出し、分類されたグループの中から評価点が高い順に所定数のグループを抽出し、複数の広告の内、抽出されたグループの評価点が表示条件を満たす広告を表示装置に表示することを実行させる。

本実施形態に係る制御方法、情報処理装置及び制御プログラムによれば、複数の人物が閲覧可能な表示装置を有するシステムにおいて、表示装置を閲覧している人物の内、より高い広告効果が得られる人物に対して、その人物のニーズにより合致する広告を表示することが可能となる。

情報提供システム１の概要について説明するための模式図である。 情報提供システム１の概要について説明するための模式図である。 情報提供システム１の概略構成の一例を示す図である。 （ａ）、（ｂ）は各種テーブルのデータ構造の一例を示す図である。 情報処理装置６の概略構成の一例を示す図である。 表示制御処理の動作の例を示すフローチャートである。 表示装置４に表示される表示画面７００の一例を示す図である。

以下、本開示の一側面に係る制御方法、情報処理装置及び制御プログラムについて図を参照しつつ説明する。但し、本開示の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。

（情報提供システムの概要）
以下、図１、２に示す模式図を参照して、情報提供システムの概要について説明する。

情報提供システムは、撮像装置、表示装置及び情報処理システムを有する。情報処理システムは、記憶装置及び情報処理装置を有する。情報処理装置は、撮像装置、表示装置及び記憶装置のそれぞれと通信接続可能である。表示装置は、例えばホテル、駅もしくは空港等のコンコース又はショッピングモール等、複数の人物が往来する空間に配置され、その空間に往来する人物に対して店舗、施設又は商品等の広告を表示するデジタルサイネージ装置である。撮像装置は、表示装置の近傍に、表示装置により表示された広告を閲覧する人物が往来する空間を撮像するように配置され、その空間を撮像した入力画像を生成する。記憶装置は、例えばデータベース装置であり、記憶装置には、複数の広告毎に、広告内容及び表示条件等が関連付けられたテーブルが記憶されている（図２）。表示条件は、表示装置に各広告を表示するか否かを決定するための条件である。

情報処理装置は、撮像装置から入力画像を取得し、取得した入力画像から人物を検出する。そして、情報処理装置は、検出された人物をグループに分類し、各グループの評価点を算出する。情報処理装置は、分類されたグループの中から評価点が高い順に所定数のグループを抽出し、抽出されたグループの評価点が表示条件を満たす広告を抽出する。そして、情報処理装置は、抽出した広告を表示装置に表示する。例えば、評価点は各グループの人数であり、表示条件はグループの人数が店舗における現在の空席数以下であることである。また、所定数は例えば１である。

図１、２に示す例では、記憶装置に、空席数が５である店舗Ａの広告Ａと、空席数が３である店舗Ｂの広告Ｂと、空席数が１である店舗Ｃの広告Ｃとが記憶されている。一方、入力画像に写っている人物は、四人の人物が含まれるグループＡと、二人の人物が含まれるグループＢと、一人の人物が含まれるグループＣに分類される。この場合、グループＡの評価点は４となり、グループＢの評価点は２となり、グループＣの評価点は１となり、評価点が最も高い（人数が最も多い）グループＡが抽出される。そして、記憶装置に記憶された広告の内、現在の空席数が５である店舗Ａの広告Ａが抽出され、店舗Ａの広告Ａが表示装置に表示される。なお、現在の空席数が３である店舗Ｂの広告Ｂと、現在の空席数が１である店舗Ｃの広告Ｃは抽出されず、表示装置に表示されない。

このように情報処理装置は、デジタルサイネージ装置が配置された空間を往来する人物の内、人数の多いグループを構成する人物を対象とし、そのグループに対して有効な（そのグループにとって有益な）広告をデジタルサイネージ装置に表示する。これにより、情報処理装置は、デジタルサイネージ装置を閲覧している人物の内、より高い広告効果が得られる人物に対して、その人物のニーズにより合致する広告を表示することが可能となる。

（情報提供システム１の構成）
図３は、情報提供システム１の概略構成の一例を示す図である。

情報提供システム１は、一又は複数の表示ユニット２と、情報処理システム３とを有する。

各表示ユニット２は、表示装置４と撮像装置５とを有する。情報処理システム３は、情報処理装置６とデータベース装置７とを有する。情報処理装置６は、各表示装置４、撮像装置５及びデータベース装置７と、イントラネット又はインターネット等のネットワーク８を介して相互に接続可能である。

表示装置４は、液晶ディスプレイ、有機ＥＬ（Electro−Luminescence）ディスプレイ等の表示部を有するデジタルサイネージ装置である。表示装置４は、複数の人物が往来する空間に配置され、その空間に往来する人物に対して店舗の広告等を表示する。表示装置４は、さらに、ＣＰＵ（Central Processing Unit）等の処理部、半導体メモリ等の記憶部及び通信部等を有する。処理部は、通信部を介して情報処理装置６から広告を表示するための表示データを受信して記憶部に記憶し、表示データに基づいて広告を表示部に表示する。

撮像装置５は、ＣＣＤ（Charge Coupled Device）素子またはＣ−ＭＯＳ（Complementary Metal Oxide Semiconductor）素子等の可視光に感度を有する光電変換素子と、その光電変換素子上に像を結像する結像光学系と、光電変換素子から出力された電気信号を増幅し、アナログ／デジタル変換するＡ／Ｄ変換器とを有するカメラである。撮像装置５は、同じ表示ユニット２に属する表示装置４の近傍に配置され、表示装置４により表示された広告を閲覧する人物が往来する空間を撮像するように配置される。撮像装置５は、その空間を撮像したＲＧＢ各色の画像を各画素が０〜２５５の範囲の輝度値を有するデジタルの画像に変換した入力画像を生成する。撮像装置５は、ＣＰＵ等の処理部、半導体メモリ等の記憶部及び通信部等をさらに有する。処理部は、生成した入力画像を記憶部に記憶し、通信部を介して情報処理装置６に送信する。

データベース装置７は、記憶装置の一例であり、例えば半導体メモリ、磁気テープ装置、磁気ディスク装置又は光ディスク装置の内の少なくとも一つを備える記憶部を有する。記憶部は、データとして、後述する広告テーブル及びユーザテーブル等を記憶する。なお、本実施形態でいうテーブルは、データベースの形式の一例であり、データがデータベース装置７内にプールしているような形式であってもよい。データベース装置７は、ＣＰＵ等の処理部及び通信部等をさらに有する。処理部は、情報処理装置６からの要求に応じて、記憶部に記憶された各種情報を通信部を介して情報処理装置６に送信する。

（各種テーブルのデータ構造）
図４（ａ）、（ｂ）は、各種テーブルのデータ構造の一例を示す図である。なお、データベース装置７は、以下に説明する各種テーブルの一部又は全部を記憶せずに、情報処理装置６、又は、情報処理装置６と接続可能な他のデータベース装置が、これらの各種テーブルの一部又は全部を記憶してもよい。また、各テーブルに含まれる各情報は、テーブル以外の形式で記憶されてもよく、例えば、それぞれ独立して記憶されてもよい。

図４（ａ）には、広告テーブルが示されている。広告テーブルには、情報提供システム１に登録されている複数の広告毎に、各広告の識別情報（広告ＩＤ）、広告対象の識別情報（対象ＩＤ）、広告内容及び表示条件等の各情報が関連付けて記憶されている。広告ＩＤは、各広告に一意に割り当てられた情報である。対象ＩＤは、各広告対象に一意に割り当てられた情報である。広告対象は、例えば、飲食店もしくは販売店等の店舗、ホテルもしくは映画館等の施設、又は、商品等である。

広告内容は、各広告対象を広告する具体的な内容である。広告対象が店舗である場合、広告内容として、例えば各店舗の名称、電話番号、住所、画像又はおすすめ料理もしくはおすすめ商品等の店舗情報が記憶される。広告対象が施設である場合、広告内容として、例えば各施設の名称、電話番号、住所、画像又はおすすめポイント等の施設情報が記憶される。例えば広告対象が商品である場合、広告内容として、各商品の名称、画像又はおすすめポイント等の商品情報が記憶される。

表示条件は、各広告を表示するか否かを決定するための条件である。広告対象が飲食店である場合、表示条件として、例えば広告のターゲットとなるグループの人数（後述する評価点）が各飲食店の現在の空席数以下であること等が設定される。その場合、広告テーブルには、表示条件に関連付けて、各飲食店の現在の空席数及び座席数等の情報が記憶される。これらの情報は、情報処理装置６、各飲食店に設置された店舗端末（不図示）又は各飲食店の関係者が所有する携帯端末（不図示）等から、任意のタイミングで設定される。

表示条件は、広告のターゲットとなるグループに含まれる人物の年齢、性別、体格又は嗜好の内の少なくとも一つに基づいて設定されてもよい。広告対象が店舗、施設又は商品である場合、表示条件として、例えば広告のターゲットとなるグループに含まれる人物の内、予め設定された年齢、性別、体格又は嗜好を有する人物の数又は比率（後述する評価点）が閾値以上であることが設定される。その場合、広告テーブルには、表示条件に関連付けて、年齢、性別、体格又は嗜好の設定値及び閾値等の情報が記憶される。この設定値は、単一の値に限定されず、複数の値又は所定の範囲を有する値でもよい。

または、表示条件は、広告を表示させる対象の人物の年齢のばらつき度合い、性別のばらつき度合い、体格のばらつき度合い又は嗜好のばらつき度合いの内の少なくとも一つに基づいて設定されてもよい。例えば、表示条件として、広告の表示対象の人物の年齢のばらつき度合い、性別のばらつき度合い、体格のばらつき度合い又は嗜好のばらつき度合い（後述する評価点）が閾値以上であることが設定される。その場合、広告テーブルには、表示条件に関連付けて、閾値等の情報が記憶される。

なお、表示条件として、上記した表示条件の内の何れか一つ、又は、何れか二つ以上の組合せが満たされること等が設定されてもよい。

図４（ｂ）には、ユーザテーブルが示されている。ユーザテーブルには、情報提供システム１に登録されている複数のユーザ毎に、各ユーザの識別情報（ユーザＩＤ）、名前（ユーザ名）、ユーザ情報、登録顔情報、スケジュール情報、閲覧情報及び利用情報等の各情報が関連付けて記憶されている。ユーザＩＤは、各ユーザに一意に割り当てられた情報である。ユーザ情報は、各ユーザの年齢、性別、体格又は嗜好等を示す情報である。登録顔情報は、事前に登録された各ユーザの顔が撮像された登録顔画像、又は、登録顔画像における特徴点等を示す特徴情報である。

スケジュール情報は、各ユーザの予定とその予定を実行する時刻を示す。データベース装置７は、ハイパーテキスト転送プロトコル（Hypertext Transfer Protocol, HTTP）等の通信プロトコルを用いて、各ユーザが所有する携帯端末（不図示）と通信を行い、スケジュールの設定及び閲覧を行うためのＷｅｂ画面をその携帯端末に提供する。スケジュール情報は、そのＷｅｂ画面を用いて、各ユーザが所有する携帯端末から、任意のタイミングで設定される。

閲覧情報は、各ユーザが過去に閲覧した広告（ＩＤ）とその広告を閲覧した時刻を示す。データベース装置７は、各ユーザが所有する携帯端末からの要求に応じて、記憶している広告を表示するためのＷｅｂ画面をその携帯端末に提供する。閲覧情報は、各ユーザが所有する携帯端末に、広告を表示するためのＷｅｂ画面が提供されたときに更新される。

利用情報は、各ユーザが過去に利用した店舗もしくは施設又は購入した商品（ＩＤ）とその店舗もしくは施設を利用した時刻又は商品を購入した時刻を示す。データベース装置７は、各広告対象の店舗、施設もしくは各広告対象の商品を販売する店舗に設置された端末又は各店舗もしくは施設の関係者が所有する携帯端末（不図示）等と通信を行う。利用情報は、各ユーザが各店舗もしくは施設を利用したとき又は各商品を購入したときに各端末から設定される。

（情報処理装置６の概略構成）
図５は、情報処理装置６の概略構成の一例を示す図である。

情報処理装置６は、サーバ又はパーソナルコンピュータ等であり、撮像装置５によって撮像された入力画像を解析して、広告のターゲットとなるグループを抽出し、そのグループに対して有効な（そのグループにとって有益な）広告を表示装置４に表示させる。そのために、情報処理装置６は、通信部６１と、記憶部６２と、処理部６３とを備える。

通信部６１は、情報処理装置６をネットワーク８に接続するための通信インターフェース回路を有する。通信部６１は、撮像装置５又はデータベース装置７等から受信したデータを処理部６３に供給する。また、通信部６１は、処理部６３から供給されたデータを表示装置４等に送信する。

記憶部６２は、例えば、半導体メモリ、磁気ディスク装置及び光ディスク装置のうちの少なくとも一つを有する。記憶部６２は、処理部６３による処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ等を記憶する。各種プログラムは、例えばＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて記憶部６２にインストールされてもよい。また、記憶部６２は、所定の処理に係る一時的なデータを一時的に記憶する。

処理部６３は、一又は複数個のプロセッサ及びその周辺回路を備える。処理部６３は、情報処理装置６の全体的な動作を統括的に制御するものであり、例えば、ＣＰＵである。処理部６３は、情報処理装置６の各種処理が記憶部６２に記憶されているプログラム等に基づいて適切な手順で実行されるように、通信部６１等の動作を制御する。処理部６３は、記憶部６２に記憶されているプログラム（オペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム等）に基づいて処理を実行する。また、処理部６３は、複数のプログラム（アプリケーションプログラム等）を並列に実行することができる。

処理部６３は、取得部６３１、検出部６３２、分類部６３３、算出部６３４、グループ抽出部６３５、広告抽出部６３６及び表示制御部６３７等を有する。処理部６３が有するこれらの各部は、処理部６３が有するプロセッサ上で実行されるプログラムによって実装される機能モジュールである。あるいは、処理部６３が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、又はファームウェアとして情報処理装置６に実装されてもよい。

（情報処理装置６による表示制御処理の動作の例）
図６は、情報処理装置６による表示制御処理の動作の例を示すフローチャートである。この動作フローは、予め記憶部６２に記憶されているプログラムに基づいて、主に処理部６３により、情報処理装置６の各要素と協働して実行される。

最初に、取得部６３１は、通信部６１を介して撮像装置５から、撮像装置５によって撮像された入力画像を取得し、記憶部６２に記憶する（ステップＳ１０１）。

次に、検出部６３２は、取得した入力画像から人物を検出する（ステップＳ１０２）。検出部６３２は、例えばフレーム間差分処理又は背景差分処理等を利用して、撮像装置５から取得した複数の入力画像において輝度値の時間的な変化のある変化領域を抽出する。検出部６３２は、抽出した変化領域のうち、その変化領域の大きさ等の特徴量から人物らしいと考えられる変化領域を人物領域として抽出することにより、入力画像から人物を検出する。

なお、検出部６３２は、さらに、入力画像から検出された各人物の入力顔情報を、ユーザテーブルに登録された各ユーザの登録顔情報と照合し、各人物を特定してもよい。検出部６３２は、抽出した人物領域に対して周辺画素との輝度値の差が所定値以上であるエッジ画素を抽出する。検出部６３２は、抽出したエッジ画素から、所定の大きさを有する、頭部の輪郭形状を近似した楕円形状のエッジ分布を検出し、そのエッジ分布に囲まれた領域を顔領域として抽出する。検出部６３２は、例えば、一般化ハフ変換を用いて、楕円形状のエッジ分布を検出する。

検出部６３２は、通信部６１を介してデータベース装置７から、情報提供システム１に登録されている各ユーザの登録顔情報を受信し、抽出した顔領域における入力顔情報と、受信した登録顔情報のそれぞれとの類似度を算出する。検出部６３２は、抽出した顔領域において人物の顔に特有の特徴量を算出し、抽出した顔領域から算出した特徴量と、受信した登録顔情報に基づく特徴量との差を正規化した値の逆数を類似度として算出する。特徴量は、例えば、目、鼻、口等の顔の特徴的な部位の位置及び／又は形状等である。検出部６３２は、例えば、顔領域に対してエッジ画素を抽出し、エッジ画素の位置及び／又はパターン等が、目、鼻、口等の部位について予め定められた条件を満たす場合にその位置を特徴量として算出する。なお、検出部６３２は、抽出した顔領域と、登録顔画像の正規化相互相関値を類似度として算出してもよい。

検出部６３２は、算出した類似度の中で最も高い類似度が所定閾値以上である場合、抽出した顔領域に写っている人物は、その類似度が算出された登録顔情報に対応するユーザであると特定し、照合に成功したと判定する。

次に、分類部６３３は、検出部６３２により検出された人物を一又は複数のグループに分類する（ステップＳ１０３）。例えば、分類部６３３は、検出部６３２により抽出された各人物領域に対して、各人物領域との間の距離（例えば重心位置間の距離）が所定距離以下であり且つサイズ（例えば面積）の差が所定サイズ以下である他の人物領域が存在するか否かを判定する。そして、分類部６３３は、距離が所定距離以下であり且つサイズの差が所定サイズ以下である人物領域を同一のグループに分類する。また、分類部６３３は、特定のグループに分類された人物領域に対して、距離が所定距離以下であり且つサイズの差が所定サイズ以下である他の人物領域が存在する場合、その人物領域もその特定のグループに分類する。

次に、算出部６３４は、分類部６３３により分類された各グループの評価点を算出する（ステップＳ１０４）。例えば、算出部６３４は、各グループに含まれる人数を評価点とする。

なお、算出部６３４は、各グループに含まれる人物の年齢、性別、体格又は嗜好の内の少なくとも一つに基づいて評価点を算出してもよい。その場合、算出部６３４は、通信部６１を介してデータベース装置７から、検出部６３２が特定した各ユーザのユーザ情報を受信し、受信した各ユーザのユーザ情報から、各グループに含まれる人物の年齢、性別、体格又は嗜好を特定する。さらに、算出部６３４は、通信部６１を介してデータベース装置７から、広告テーブルに含まれる各情報を受信し、各グループに含まれる人物の内、各広告に対して設定された年齢、性別、体格又は嗜好の設定値を有する人物の数又は比率を評価点として算出する。

なお、算出部６３４は、公知の画像処理技術を用いて、各グループに含まれる人物の年齢、性別又は体格を特定してもよい。その場合、画像が入力された場合に、入力された画像に写っている人物の年齢、性別又は体格を出力するように事前学習された識別器を用いて、各人物の年齢、性別又は体格を特定する。この識別器は、例えばディープラーニング等により、様々な年齢、性別又は体格を有する人物が含まれる複数の画像を用いて事前学習され、予め記憶部６２に記憶される。算出部６３４は、入力画像から抽出された各人物領域を識別器に入力し、識別器から出力された情報から、各人物の年齢、性別又は体格を特定する。

または、算出部６３４は、各グループに含まれる人物の年齢のばらつき度合い、性別のばらつき度合い、体格のばらつき度合い又は嗜好のばらつき度合いの内の少なくとも一つに基づいて評価点を算出してもよい。例えば、算出部６３４は、各グループに含まれる各人物の年齢のばらつき度合い、性別のばらつき度合い、体格のばらつき度合い又は嗜好のばらつき度合いを評価点とする。ばらつき度合いとして、ばらつきが小さい程、大きい値を有するように、分散又は偏差の逆数が使用される。または、ばらつき度合いとして、例えばばらつきが大きい程、大きい値を有するように、分散又は偏差が使用されてもよい。

次に、グループ抽出部６３５は、分類部６３３により分類されたグループの中から評価点が高い順に所定数のグループを抽出する（ステップＳ１０５）。所定数は、例えば１である。所定数は、２以上の値でもよい。

次に、広告抽出部６３６は、広告テーブルに含まれる広告の内、グループ抽出部６３５により抽出された何れかのグループの評価点が表示条件を満たす広告を抽出する（ステップＳ１０６）。広告抽出部６３６は、通信部６１を介してデータベース装置７から、広告テーブルに含まれる各情報を受信し、受信した情報に基づいて、グループ抽出部６３５により抽出された何れかのグループの評価点が表示条件を満たす広告を抽出する。

例えば、各グループに含まれる人数が各広告対象の飲食店の現在の空席数以下であることが表示条件である場合、広告抽出部６３６は、空席数が、評価点として算出された、各グループに含まれる人数以上である店舗の広告を抽出する。これにより、情報処理装置６は、広告を閲覧した人物が来店した場合に、即時にサービスを提供できる可能性が高い店舗の広告を表示させることが可能となる。

その場合、広告抽出部６３６は、広告テーブルに含まれる広告の中で、グループ抽出部６３５により抽出されたグループの評価点が表示条件を満たす広告の内、現在の空席率が最も大きい店舗の広告を抽出してもよい。広告抽出部６３６は、各店舗の空席数及び座席数から現在の空席率を算出する。なお、データベース装置７が、広告テーブルにおいて各店舗の座席数の代わりに現在の空席率を記憶し、広告抽出部６３６は、現在の空席率をデータベース装置７から取得してもよい。これにより、情報処理装置６は、来客をより強く期待している店舗の広告を表示させることが可能となる。

また、各グループに含まれる人物の内、所定の年齢、性別、体格又は嗜好を有する人物の数又は比率が閾値以上であることが表示条件である場合、広告抽出部６３６は、各広告に対応する年齢、性別、体格又は嗜好の設定値に対して評価点として算出された数又は比率が、各広告に対応する閾値以上となる広告を抽出する。また、各グループに含まれる人物の年齢、性別、体格又は嗜好のばらつき度合いが閾値以上であることが表示条件である場合、広告抽出部６３６は、評価点として算出されたばらつき度合いが、各広告に対応する閾値以上となる広告を抽出する。

次に、処理部６３は、広告テーブルに含まれる広告の中に、グループ抽出部６３５により抽出された何れかのグループの評価点が表示条件を満たす広告が存在したか否かを判定する（ステップＳ１０７）。

評価点が表示条件を満たす広告が存在しなかった場合、処理部６３は、処理をステップＳ１０５へ移行させて、ステップＳ１０５〜Ｓ１０７の処理を繰り返す。その場合、ステップＳ１０５において、グループ抽出部６３５は、分類部６３３により分類されたグループの中から、既に抽出されたグループの次に評価点が高いグループを新たに抽出する。そして、ステップＳ１０６において、広告抽出部６３６は、広告テーブルに含まれる広告の内、グループ抽出部６３５により新たに抽出されたグループの評価点が、表示条件を満たす広告を抽出する。

一方、評価点が表示条件を満たす広告が存在した場合、表示制御部６３７は、広告抽出部６３６により抽出された広告を表示するための表示データを通信部６１を介して表示装置４に送信し、その広告を表示装置４に表示させ（ステップＳ１０８）、一連のステップを終了する。

表示制御部６３７は、入力画像を撮像した撮像装置５と同一の表示ユニット２に属する表示装置４に表示データを送信する。なお、表示制御部６３７は、他の表示装置４に表示データを送信してもよい。その場合、情報処理装置６は、各撮像装置５の撮像方向、及び、各表示装置４の配置位置等を予め記憶しておく。表示制御部６３７は、公知の画像処理技術を利用して、グループ抽出部６３５により抽出されたグループの追跡処理を実行し、そのグループの進行方向を推定する。表示制御部６３７は、入力画像を撮像した撮像装置５に対して推定した進行方向側に配置され且つ入力画像を撮像した撮像装置５から所定距離内に配置された一又は複数の表示装置４に表示データを送信する。

図７は、表示装置４に表示される表示画面７００の一例を示す図である。

図７に示すように、表示画面７００には、広告抽出部６３６により抽出された広告の広告内容が表示される。例えば、抽出された広告が店舗の広告である場合、店舗の名称、電話番号、住所、画像及びおすすめ料理等の店舗情報が表示される。

なお、各グループに含まれる人物に、情報提供システム１に登録されたユーザが含まれる場合、情報処理装置６は、表示画面７００においてそのユーザのユーザＩＤ等を表示してもよい。これにより、ユーザは、自分に対して広告が表示されていることを認識し、表示された広告に興味を持つ可能性が高くなる。また、データベース装置７は、ユーザテーブルにおいて、広告対象毎にユーザに関連する画像（例えば、店舗におけるユーザの担当者）を記憶しておき、情報処理装置６は、表示画面７００においてそのユーザに関連する画像を表示してもよい。これによっても、ユーザは、表示された広告に興味を持つ可能性が高くなる。

また、情報処理装置６は、表示画面７００において、その広告の詳細を示すＷｅｂページのＵＲＬ（Uniform Resource Locator）等を表示してもよい。これにより、表示画面７００を閲覧した人物は、そのＷｅｂページにアクセスして詳細な情報を取得することができ、情報処理装置６は利便性を向上させることが可能となる。

なお、ステップＳ１０５において、グループ抽出部６３５は、検出部６３２によって、情報提供システム１に登録されたユーザとの照合に成功した人物が含まれるグループの中からグループを抽出してもよい。これにより、情報処理装置６は、広告から情報を取得するために情報提供システム１に事前に登録しているユーザをターゲットとするので、より高い広告効果が得られる可能性が高いユーザに対して広告を表示することが可能となる。

また、グループ抽出部６３５は、情報提供システム１に登録されたユーザとの照合に成功した人物に対応するスケジュール情報に現在から所定時間（例えば１時間）内の予定が含まれる場合、その人物が含まれるグループの抽出を禁止してもよい。グループ抽出部６３５は、通信部６１を介してデータベース装置７から、照合されたユーザのスケジュール情報を受信し、受信したスケジュール情報に現在から所定時間内の予定が含まれるか否かを判定する。これにより、情報処理装置６は、既に予定があり来店が見込めないような、得られる広告効果が低いユーザに対して広告を表示させることを抑制することが可能となる。

また、グループ抽出部６３５は、分類されたグループに特定の表情を有する人物が含まれるか否かを判定し、判定結果に基づいてグループを抽出してもよい。グループ抽出部６３５は、例えば怒っている又は悲しい等のネガティブな特定の表情（第１の表情）を有する人物が含まれるグループの抽出を禁止する。また、グループ抽出部６３５は、例えば笑っている又は喜んでいる等のポジティブな特定の表情（第２の表情）を有する人物が含まれるグループの中からグループを抽出してもよい。その場合、グループ抽出部６３５は、画像が入力された場合に、入力された画像に特定の表情を有する人物が写っている確からしさ、又は、入力された画像に写っている人物が特定の表情を有している度合い（怒っている度合い、笑っている度合い等）を出力するように事前学習された識別器を用いて、各グループに特定の表情を有する人物が含まれるか否かを判定する。この識別器は、例えばディープラーニング等により、特定の表情を有する人物が含まれる複数の画像を用いて事前学習され、予め記憶部６２に記憶される。グループ抽出部６３５は、入力画像から各グループが含まれる領域を切出して識別器に入力し、識別器から出力された情報から、各グループに特定の表情を有する人物が含まれるか否かを判定する。

なお、グループ抽出部６３５は、グループに含まれる各人物が特定の表情を有している度合いの統計値（平均値、合計値もしくは分散値等）又は最大値もしくは最小値等が閾値以上であるグループの抽出を禁止してもよい。または、グループ抽出部６３５は、グループに含まれる特定の表情を有している人物の人数又は割合が閾値以上であるグループの抽出を禁止してもよい。または、グループ抽出部６３５は、グループに含まれる各人物が特定の表情を有している度合いの統計値又は最大値もしくは最小値等が閾値以上であるグループの中からグループを抽出してもよい。または、グループ抽出部６３５は、グループに含まれる特定の表情を有している人物の人数又は割合が閾値以上であるグループの中からグループを抽出してもよい。これにより、情報処理装置６は、広告を閲覧しそうにない、得られる広告効果が低いユーザに対して広告を表示させることを抑制すること、又は、広告対象を利用又は購入する可能性が高いユーザに対して広告を表示させることが可能となる。

また、グループ抽出部６３５は、分類されたグループに正面（表示装置４側）を向いている人物が含まれるか否かを判定し、判定結果に基づいてグループを抽出してもよい。グループ抽出部６３５は、例えば正面（表示装置４側）を向いている人物が含まれるグループの中からグループを抽出する。その場合、グループ抽出部６３５は、画像が入力された場合に、入力された画像に正面を向いている人物が写っている確からしさを出力するように事前学習された識別器を用いて、各グループに正面を向いている人物が含まれるか否かを判定する。この識別器は、例えばディープラーニング等により、正面を向いている人物が含まれる複数の画像を用いて事前学習され、予め記憶部６２に記憶される。グループ抽出部６３５は、入力画像から各グループが含まれる領域を切出して識別器に入力し、識別器から出力された情報から、各グループに正面を向いている人物が含まれるか否かを判定する。なお、グループ抽出部６３５は、グループに含まれる正面を向いている人物の人数又は割合が閾値以上であるグループの中からグループを抽出してもよい。これにより、情報処理装置６は、広告を閲覧する可能性の高いユーザに対して広告を表示させることが可能となる。

また、ステップＳ１０６において、広告抽出部６３６は、グループ抽出部６３５により抽出されたグループに含まれる人物が過去に閲覧した広告の中から広告を抽出してもよい。広告抽出部６３６は、通信部６１を介してデータベース装置７から、照合に成功したユーザの閲覧情報を受信し、受信した閲覧情報から、そのユーザが過去に閲覧した広告を特定する。その場合、ステップＳ１０７において、表示制御部６３７は、グループに含まれる人物が過去に閲覧した広告を表示装置４に表示する。これにより、情報処理装置６は、ターゲットとなる人物が興味を有する広告を表示させることが可能となる。

また、広告抽出部６３６は、グループ抽出部６３５により抽出されたグループに含まれる人物が過去に利用した店舗もしくは施設又は購入した商品の広告の中から広告を抽出してもよい。広告抽出部６３６は、通信部６１を介してデータベース装置７から、照合に成功したユーザの利用情報を受信し、受信した利用情報から、そのユーザが過去に利用した店舗もしくは施設又は購入した商品を特定する。その場合、ステップＳ１０７において、表示制御部６３７は、グループに含まれる人物が過去に過去に利用した店舗もしくは施設又は購入した商品の広告を表示装置４に表示する。これにより、情報処理装置６は、表示対象の人物が興味を有する広告を表示させることが可能となる。

また、ステップＳ１０３において、分類部６３３は、所定時間内に撮像される人数が所定数未満である場合に限り、検出された人物を一又は複数のグループに分類してもよい。これにより、情報処理装置６は、入力画像に多数の人物が写っている場合に、関係性を有さない人物を誤ってグループ化して、適切でないグループを広告のターゲットにしてしまうことを抑制することが可能となる。

以上詳述したとおり、情報処理装置６は、複数の人物が閲覧可能な表示装置４（デジタルサイネージ）を有する情報提供システム１において、入力画像から抽出した人物のグループの内、評価点の高いグループをターゲットとして、評価点が表示条件を満たす広告を表示する。これにより、情報処理装置６は、表示装置４を閲覧している人物の内、より高い広告効果が得られる人物に対して、その人物のニーズにより合致する広告を表示することが可能となる。

なお、情報処理装置６とデータベース装置７は、同一の装置として構成されてもよい。その場合、情報処理装置６の記憶部６２に、データベース装置７が記憶している各テーブルが記憶され、情報処理装置６は記憶部６２から各テーブルを読み出すことにより、各テーブルに含まれる各情報を取得する。

また、情報処理装置６と、表示装置４及び／又は撮像装置５とは、同一の装置として構成されてもよい。その場合、情報処理装置６の各部と、表示装置４及び／又は撮像装置５の各部とはバスを介して接続され、情報処理装置６はバスを介して表示装置４及び／又は撮像装置５と各種データを送受信する。

当業者は、本発明の精神及び範囲から外れることなく、様々な変更、置換、及び修正をこれに加えることが可能であることを理解されたい。

４ 表示装置
５ 撮像装置
６ 情報処理装置
７ データベース装置
６３１ 取得部
６３２ 検出部
６３３ 分類部
６３４ 算出部
６３５ グループ抽出部
６３６ 広告抽出部
６３７ 表示制御部

Claims (16)

1. 撮像装置、表示装置及び記憶装置と接続可能な情報処理装置の制御方法であって、
   前記記憶装置には、複数の広告毎に、各広告を表示するか否かを決定するための表示条件が関連付けられたテーブルが記憶され、
   前記情報処理装置が、
   前記撮像装置によって撮像された入力画像を取得し、
   前記入力画像から複数の人物を検出し、
   前記検出された複数の人物を、一人以上の人物から構成される複数のグループに分類し、
   前記複数のグループのそれぞれの評価点を算出し、
   前記分類されたグループの中から前記評価点が高い順に、前記分類されたグループの数より少ない所定数のグループを抽出し、
   前記複数の広告の内、前記抽出されたグループの評価点が前記表示条件を満たす広告を前記表示装置に表示させる、
   ことを含むことを特徴とする情報処理装置の制御方法。
2. 前記所定数は１である、請求項１に記載の制御方法。
3. 前記グループの抽出において、前記複数の広告の中に、前記抽出されたグループの評価点が前記表示条件を満たす広告が存在しない場合、前記分類されたグループの中から、前記抽出されたグループの次に評価点が高いグループを新たに抽出し、
   前記表示において、前記複数の広告の内、前記新たに抽出されたグループの評価点が前記表示条件を満たす広告を前記表示装置に表示する、請求項１または２に記載の制御方法。
4. 前記記憶装置には、複数のユーザ毎に、各ユーザの登録顔情報が登録されたユーザテーブルがさらに記憶され、
   前記グループの抽出において、前記入力画像から検出された各人物の入力顔情報を、前記ユーザテーブルに登録された各ユーザの登録顔情報と照合し、照合に成功した人物が含まれるグループの中からグループを抽出する、請求項１〜３の何れか一項に記載の制御方法。
5. 前記記憶装置には、前記ユーザテーブルにおいて、前記複数のユーザ毎に、各ユーザのスケジュール情報が記憶され、
   前記グループの抽出において、前記照合に成功した人物に対応するスケジュール情報に現在から所定時間内の予定が含まれる場合、当該人物が含まれるグループの抽出を禁止する、請求項４に記載の制御方法。
6. 前記記憶装置には、前記ユーザテーブルにおいて、前記複数のユーザ毎に、各ユーザが過去に閲覧した広告の情報が記憶され、
   前記表示において、前記複数の広告の内、前記抽出されたグループに含まれる人物が過去に閲覧した広告であり且つ前記抽出されたグループの評価点が前記表示条件を満たす広告を前記表示装置に表示する、請求項４または５に記載の制御方法。
7. 前記記憶装置には、前記ユーザテーブルにおいて、前記複数のユーザ毎に、各ユーザが過去に利用した店舗もしくは施設又は購入した商品の情報が記憶され、
   前記表示において、前記複数の広告の内、前記抽出されたグループに含まれる人物が過去に利用した店舗もしくは施設又は購入した商品の広告であり且つ前記抽出されたグループの評価点が前記表示条件を満たす広告を前記表示装置に表示する、請求項４または５に記載の制御方法。
8. 前記グループの抽出において、前記分類されたグループに特定の表情を有する人物が含まれるか否かを判定し、判定結果に基づいてグループを抽出する、請求項１〜７の何れか一項に記載の制御方法。
9. 前記グループの抽出において、前記分類されたグループに前記表示装置側を向いている人物が含まれるか否かを判定し、判定結果に基づいてグループを抽出する、請求項１〜８の何れか一項に記載の制御方法。
10. 前記広告は、店舗の広告であり、
    前記評価点は、各グループの人数であり、
    前記表示条件は、前記抽出されたグループの評価点が、各広告の対象である店舗における現在の空席数以下であることである、請求項１〜９の何れか一項に記載の制御方法。
11. 前記記憶装置には、前記テーブルにおいて、前記複数の広告毎に、各広告の対象である店舗における座席数又は現在の空席率が記憶され、
    前記表示において、前記複数の広告の中で、前記抽出されたグループの評価点が前記表示条件を満たす広告の内、空席率が最も大きい店舗の広告を前記表示装置に表示する、請求項１０に記載の制御方法。
12. 前記表示条件及び前記評価点は、前記グループに含まれる人物の年齢、性別、体格又は嗜好の内の少なくとも一つに基づいている、請求項１〜１１の何れか一項に記載の制御方法。
13. 前記表示条件及び前記評価点は、前記グループに含まれる人物の年齢のばらつき度合い、性別のばらつき度合い、体格のばらつき度合い又は嗜好のばらつき度合いの内の少なくとも一つに基づいている、請求項１〜１２の何れか一項に記載の制御方法。
14. 前記分類において、所定時間内に撮像される人数が所定数未満である場合に限り、検出された人物を一又は複数のグループに分類する、請求項１〜１３の何れか一項に記載の制御方法。
15. 撮像装置、表示装置及び記憶装置と接続可能な情報処理装置であって、
    前記記憶装置には、複数の広告毎に、各広告を表示するか否かを決定するための表示条件が関連付けられたテーブルが記憶され、
    前記撮像装置によって撮像された入力画像を取得する取得部と、
    前記入力画像から複数の人物を検出する検出部と、
    前記検出された複数の人物を、一人以上の人物から構成される複数のグループに分類する分類部と、
    前記複数のグループのそれぞれの評価点を算出する算出部と、
    前記分類されたグループの中から前記評価点が高い順に、前記分類されたグループの数より少ない所定数のグループを抽出するグループ抽出部と、
    前記複数の広告の内、前記抽出されたグループの評価点が前記表示条件を満たす広告を前記表示装置に表示させる表示制御部と、
    を有することを特徴とする情報処理装置。
16. 撮像装置、表示装置及び記憶装置と接続可能な情報処理装置の制御プログラムであって、
    前記記憶装置には、複数の広告毎に、各広告を表示するか否かを決定するための表示条件が関連付けられたテーブルが記憶され、
    前記情報処理装置に、
    前記撮像装置によって撮像された入力画像を取得し、
    前記入力画像から複数の人物を検出し、
    前記検出された複数の人物を、一人以上の人物から構成される複数のグループに分類し、
    前記複数のグループのそれぞれの評価点を算出し、
    前記分類されたグループの中から前記評価点が高い順に、前記分類されたグループの数より少ない所定数のグループを抽出し、
    前記複数の広告の内、前記抽出されたグループの評価点が前記表示条件を満たす広告を前記表示装置に表示させる、
    ことを実行させることを特徴とする制御プログラム。

Images