以下、添付図面を参照して実施形態の情報処理装置について説明する。実施形態では、サーバ装置を情報処理装置の一例として説明する。なお、この実施形態によりこの発明が限定されるものではない。
図1は、実施形態に係る人物認証システム1を店舗Mに設置した場合の一例を示す説明図である。人物認証システム1は、サーバ装置10と、複数台のPOS端末40(Point Of Sale)と、複数台のカメラ20と、複数台のサイネージ60を備える。図1に示すように、店舗Mは、大別すると、バックヤードM1と、売り場M2と、出入り口M3とを有する。バックヤードM1は、商品倉庫や、商品のパッケージングや、商品の発注などの店舗運営に関する業務を行う場所である。また、バックヤードM1には、サーバ装置10が設置される。
売り場M2は、商品を販売する場所である。また、売り場M2には、店舗Mを回遊する人物である顧客を撮像するカメラ20と、顧客が購入対象とする商品の売上登録をするPOS端末40と、商品を配置する棚50と、商品に関連する情報を表示するサイネージ60が設けられる。
カメラ20は、可視光線を出射して、後述する記憶部である人物認証辞書D1(図2参照)に登録された顧客であるか否かを顔認証するための動画像でかつ人物認証辞書D1に登録するための動画像を撮像する。またカメラ20は、赤外線を出射して、顧客の視線を判定する動画像を撮像する。具体的には、カメラ20は、可視光線と赤外線を一定間隔で交互に出射する。そして、カメラ20は、出射された可視光線の顧客による反射光を受光して、人物認証辞書D1に登録された顧客であるか否かを顔認証するための動画像であってかつ人物認証辞書D1に登録するための動画像を撮像する。また、カメラ20は、出射された赤外線の顧客の目による反射光を受光して、顧客の視線の方向を判定する動画像を撮像する。なお、赤外線照射による視線検出方法は公知であるので、詳細な説明は省略する。
そして、人物認証システム1は、一台以上のカメラ20を備え、顧客が通行する店舗M内の通路を中心とした所定領域を撮像する。ここで、サーバ装置10と、カメラ20とは、LAN(Local Area Network)30で接続される。LAN30は、有線であってもよいし、無線であってもよい。また、LAN30は、各種公衆網であってもよい。顧客は、店舗Mに来店すると売り場M2を回遊し、購入対象の商品を選択する。その際に、カメラ20は、回遊する顧客を撮像する。
サーバ装置10は、カメラ20が撮像した動画像から顧客の顔を認証し、動画像から顧客が閲覧していた商品の商品閲覧情報を生成する情報処理装置である。そして、サーバ装置10は、生成した商品閲覧情報を顧客毎に記憶する。そして、サーバ装置10は、カメラ20が撮像した動画像に含まれる顧客の顔を認証し、その顧客ごとに撮像したカメラ20の識別情報と、撮像時刻とを記録する。これにより、顧客ごとに行動を追跡することができる。
さらに、サーバ装置10は、詳細は後述するが、顧客の視線の方向から顧客が閲覧している商品を判定することにより、商品閲覧情報を生成することができる。図1に示す店舗Mには、5台のカメラ20と、3台のPOS端末40と、棚50を4個1組とした4組分の棚とが記載されているが、各個数は、これに限らず、任意の個数を設定してよい。
また、図1に示すカメラ20は、棚50と並行方向に向けて配置されている。しかし、カメラ20の配置場所及びカメラ20を向ける方向は問わない。例えば、カメラ20は、棚50の上に配置し、棚50と垂直方向に向けて配置してもよい。サイネージ60は、例えば液晶表示部である。サイネージ60は、顧客が回遊する通路に設置されている。サイネージ60は、各棚50に対応して1個ずつ設置されている。サイネージ60は、サーバ装置10、カメラ20、POS端末40と、LAN接続されている。サイネージ60は、対応する棚50に配置された商品の関連情報を、通路を回遊する顧客に向けて表示する。商品の関連情報とは、棚に配置された商品の産地情報、価格情報、特売情報、味情報等である。商品の関連情報は、後述する商品レイアウトファイルF1に記憶されている。
次に、実施形態の人物認証システム1が有する各部について説明する。まず、サーバ装置10のハードウェア構成を説明する。図2は、サーバ装置10のハードウェア構成を示すブロック図である。図2に示すように、サーバ装置10は、CPU(Central Processing Unit)11と、メモリ12と、記憶部13と、ネットワークインターフェース14と、表示部15と、入力部16と、時計部17とを備える。CPU11は、サーバ装置10の全体を制御する。メモリ12は、データを一時的に記憶する。記憶部13は、CPU11からの命令で読み書きが可能であり、プログラムやデータ等を記憶する。また、記憶部13は、人物認証プログラムP1と、人物認証辞書D1と、性別顔認証辞書D2と、年齢別顔認証辞書D3と、商品レイアウトファイルF1とを記憶する。
人物認証プログラムP1は、カメラ20が撮像した動画像から顧客の顔を認証し、認証した顧客の人物認証情報を人物認証辞書D1に記憶させるプログラムである。人物認証辞書D1は、カメラ20が過去に撮像した動画像から認証した顧客ごとに人物認証情報を記憶する。
ここで、図3は、人物認証辞書D1に記憶されたある顧客の人物認証情報のデータ構成を示す登録者ファイルの一例を示す説明図である。人物認証辞書D1は、人物識別情報に対応付けられた1以上の人物認証情報を有する。人物識別情報は、顧客ごとに割り振られた、顧客を識別可能な識別情報である。人物認証情報は、動画像から抽出した顧客の認証に関する情報である。なお、人物認証情報は、顧客の顔の正面が向けられた動画像を代表するフレーム画像から抽出した顧客の認証に関する情報であってもよい。
そして、人物認証情報は、動画像と、特徴量と、カメラ識別情報と、撮像時刻と、1以上の商品閲覧情報とを有する。動画像は、その顧客を認証した動画像である。動画像は、顧客の顔の正面が向けられた動画像を代表するフレーム画像であってもよい。特徴量は、顧客を認証した動画像から抽出した、その顧客の特徴量である。
ここで、顧客の特徴量とは、顧客の顔(目、鼻、口、顎等)から抽出された顧客の特徴を示す情報や、顧客の服飾から抽出された情報等である。服飾の特徴量とは、例えば、顧客が着ている服の色などである。カメラ識別情報は、動画像を撮像したカメラ20を識別する識別情報である。撮像時刻は、カメラ20が動画像を撮像した時刻である。商品閲覧情報は、動画像において、顧客が閲覧したすべての商品の情報である。商品閲覧情報は、例えば、商品を識別可能な識別情報(例えば商品を特定する商品コード)である。
性別顔認証辞書D2は、性別ごとの顔の特徴点が記憶された情報である。すなわち、性別顔認証辞書D2は、男性の顔の特徴量と、女性の顔の特徴量とを有する。性別顔認証辞書D2は、顧客の顔画像から抽出された特徴量と、性別顔認証辞書D2に記憶された特徴量とを比較し、顧客が男性であるか女性であるかの判定に使用される。
年齢別顔認証辞書D3は、年齢ごとの顔の特徴点が記憶された情報である。年齢別顔認証辞書D3は、顧客の顔画像から抽出された特徴量と、年齢別顔認証辞書D3に記憶された特徴量とを比較し、顧客の年齢の判定に用いられる。なお、年齢別顔認証辞書D3は、年代ごとであってもよい。または、年齢別顔認証辞書D3は、幼年期、少年期、青年期、壮年期、中年期、高年期などの年齢層を示す区分であってもよい。
商品レイアウトファイルF1は、店舗Mの売り場M2の商品の配置位置が記憶されたファイルである。商品レイアウトファイルF1は、例えば、棚50それぞれを識別可能な棚識別情報と、商品閲覧情報とを対応付けて記憶させる。また、商品レイアウトファイルF1は、商品が配置された一の座標情報を、商品毎に記憶する。これにより、どの棚50のどの位置にどの商品が配置されているかがわかる。また、商品レイアウトファイルF1は、各商品の識別情報に対応して、商品の関連情報を記憶する。
ネットワークインターフェース14は、LAN30に接続される。なお、LAN30は、各種公衆網であってもよい。表示部15は、各種情報を表示するディスプレイなどである。入力部16は、キーボードやマウスなどの入力装置から入力された情報を制御する。または、入力部16は、表示部15に積層されたタッチパネル入力された情報を制御する。時計部17は、時間を計時する。
次に、カメラ20について説明する。カメラ20は、カメラ20が設置された顧客が回遊する通路を中心とした所定領域を撮像する。カメラ20は、撮像した動画像をサーバ装置10に送信する。カメラ20は、LAN30に接続される。
カメラ20は、図示しない撮像部を備える。撮像部は、カメラ20の撮像範囲内に存在する顧客や物体等の被写体を撮像し、カラー画像情報を収集する。例えば、撮像部は、被写体表面で反射される可視光や赤外線を受光素子で検知して電気信号に変換する。受光素子とは、例えば、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)などである。そして、撮像部は、その電気信号をデジタルデータに変換して撮像範囲に対応する1フレームのカラー画像情報を生成する。
次に、実施形態にかかる人物認証システム1が有する特徴的な機能について説明する。図4は、人物認証システム1の機能構成を示すブロック図である。サーバ装置10のCPU11は、メモリ12や記憶部13に記憶された制御プログラムに従って動作することで、受信部111と、顔検出部112と、視線判定部113と、位置算出部114と、商品判定部115と、商品閲覧情報生成部116と、特徴量抽出部117と、属性判定部118と、類似度算出部119と、類似度判定部120と、登録部121と、表示部122として機能する。
入力手段である受信部111は、カメラ20から送信された動画像と、撮像時刻とを順次受信する。これにより、受信部111は、動画像などの撮像データの入力を受け付ける。顔検出部112は、受信部111が受信した動画像から、動画像に含まれる顧客の顔を検出する。また、顔検出部112は、検出した顧客毎に、新規な人物識別情報を割り当てる。具体的には、顔検出部112は、フレーム画像の輝度情報を利用して顔の領域を示す座標を求める。
なお、顔領域を求める方法は、どのような方法を用いてもよい。検出手法の一例としては、予め用意されたテンプレートを、入力された画像データ内で移動させながら相関値を求めることで、最も高い相関値を与える位置を顔領域として検出する手法などである。または、固有空間法や部分空間法を利用した顔抽出法等を用いる手法を適用してもよい。また、検出する顔領域の形状は、任意の形状で良いし、顔の向きや大きさの検出結果によって顔領域の形状を異ならせても良い。
視線検出手段である視線判定部113は、カメラ20から出射し、顧客の目で反射した赤外線をカメラ20により撮像した動画像に基づいて、顧客の視線の方向を判定する。視線判定部113が行う顧客の視線の向きを判定する手法は、どのような手法を用いてもよく、公知の技術を用いるものとする。一例としては、カメラ20がとらえた人の顔、眼球、角膜反射に基づいて顧客の視線の向き判定する公知の技術である。視線判定部113は、顧客の視線が右側を見ているか左側を見ているかを判定する。
位置算出部114は、カメラ20が撮像した動画像に含まれる顧客がいる位置を算出する。カメラ20は、売り場M2の所定領域を撮像する位置に配置される。顔検出部112は、動画像から顧客の顔画像を検出し、顔画像が検出された位置を示す座標を算出する。よって、位置算出部114は、カメラ20の撮像範囲と、顔画像の座標とを基に、動画像に含まれる顔画像の顧客がいる位置を算出する。
判定手段である商品判定部115は、カメラ20が撮像した動画像から顔検出部112が検出した顔の顧客が閲覧している商品を判定する。商品判定部115は、位置算出部114が算出した顧客の位置と、視線判定部113が判定した顧客の視線の方向(視線の方向は右方向か左方向か)に基づいて、当該位置の当該方向に位置していて、顧客が閲覧している商品を判定する。具体的には、位置算出部114が算出した顧客の位置と、視線判定部113が判定した顧客の視線の方向とに基づいて、記憶部13に記憶された売り場M2の商品レイアウトファイルF1に記憶された当該位置の当該方向に配置された商品を判定する。すなわち、商品判定部115は、位置算出部114が算出した顧客の位置と、視線判定部113が判定した顧客の視線の方向とに基づいて、顧客が閲覧している商品を判定する。
ここで、図5は、顧客が閲覧している商品の判定に用いられたフレーム画像の一例を示す説明図である。カメラ20は、売り場M2の所定領域を撮像する。これにより、フレーム画像に含まれる顧客は、そのカメラ20の撮像領域にいることになる。顔検出部112は、フレーム画像から顧客の顔を検出し、X方向とY方向とにおける座標を検出する。これにより、顔検出部112は、顧客の顔がカメラ20の撮像領域のどの位置にいるかを検出することができる。
視線判定部113は、フレーム画像に含まれる顧客の顔の視線の方向を判定する。そして、商品判定部115は、検出された顧客の位置および顧客の視線の方向とから算出された場所、並びに売り場M2の商品レイアウトとを比較することで顧客が閲覧している商品を判定することができる。図5の例の場合、視線判定部113は、顧客が進行方向左側を閲覧していることを判定する。そして商品判定部115は、X方向とY方向とにおける現在顧客が位置する座標から、顧客が商品Eまたは商品Fを閲覧していると判定する。この場合、商品Eまたは商品Fに関連する情報が、商品Eまたは商品Fが配置されている棚50に対応したサイネージ60aに表示される。
図4に戻り、商品閲覧情報生成部116は、顔検出部112が検出した顔の顧客が閲覧した商品の識別情報である商品コードを、閲覧した時刻とともに記憶する。商品閲覧情報生成部116は、商品判定部115が商品を判定した場合において、初めて判定した商品について商品閲覧情報生成部116は、判定した商品の閲覧回数を1からカウントアップする。一方、商品閲覧情報生成部116は、後に判定した商品が前に判定した商品と同一である場合に、当該商品の閲覧回数をカウントアップする。
特徴量抽出部117と、類似度算出部119と、類似度判定部120とは、人物認証辞書D1に登録された顧客であるか否かを認証する。まず、特徴量抽出部117は、顔検出部112により検出した顔の顧客の特徴量を抽出する。特徴量抽出部117は、検出された顔領域から、目、鼻、口、顎などの顔の特徴点を検出する。そして、特徴量抽出部117は、特徴点ごとに特徴量を抽出する。特徴量は、特徴点の形状、表面の色合い、凹凸状況等の外観の特徴をパラメータ化したものである。なお、設定等によって検出すべき顔の特徴点は任意に変更することができる。また、特徴量抽出部117における顔の特徴点の検出方法は、どのような方法を用いてもよく、公知の技術を用いるものとする。
また、特徴量抽出部117は、顔検出部112が検出した顧客の服飾から特徴量を抽出する。特徴量抽出部117は、顧客が着用している衣服や、装身具などから色を特徴量として抽出する。これにより、人物認証辞書D1に登録された顧客であるか否かの判定に、顧客の服飾も加味される。よって、認証精度を高めることができる。
属性判定部118は、カメラ20が撮像した画像に含まれる顧客の属性を判定する。属性とは、性別や、年齢等である。属性判定部118は、特徴量抽出部117が抽出した特徴点の特徴量と、記憶部13に記憶された性別顔認証辞書D2とを比較することで、顧客の性別を判定する。また、属性判定部118は、特徴量抽出部117が抽出した特徴点の特徴量と、記憶部13に記憶された年齢別顔認証辞書D3とを比較することで、顧客の年齢を判定する。なお、年齢は、年代や、年齢層を示す区分などであってもよい。
算出手段である類似度算出部119は、人物認証辞書D1に登録された顧客毎の特徴量と、特徴量抽出部117が抽出した特徴量とを比較し、顧客毎の類似度を算出する。ここで、類似度は、カメラ20が撮像した顧客の特徴量と、人物認証辞書D1に登録された各顧客の特徴量とを比較し、両特徴量がどの程度類似しているかを示す値であればよい。
特定手段である類似度判定部120は、算出された類似度に基づいて顧客を特定する。類似度が閾値以上の顧客が登録されているか否かを判定する。実施形態では、第1閾値(第1所定値)、第2閾値、第3閾値(第2所定値)の3種類の閾値を設けている。第1閾値は、最も類似度が低い(似ていない)閾値であり、類似度が第1閾値未満の場合は、同一人物ではないとする閾値である。第2閾値は第1閾値よりも類似度が高い閾値であり、類似度が第1閾値〜第2閾の間であれば、顔がよく似ていることを示し、同一人物とみなして良い値である。第3閾値は第2閾値よりも類似度が高い閾値であり、顔は同一人物を示しているが、例えば服飾が異なるといった値である。類似度が第2閾値〜第3閾の間であれば、同一人物で間違いない値である。第3閾値を超える場合は、顔が同一人物でありかつ服飾も同一であることを示している。この場合も同一人物で間違いない値である。
人物認証辞書D1に登録されたすべての顧客に対して類似度算出部119が算出した類似度が第1閾値より低い場合は、類似度判定部120は、撮像された顧客は人物認証辞書D1に登録されていないと判断する。また、人物認証辞書D1に登録された複数の顧客に対して類似度算出部119が算出した類似度が第1閾値より高く第2閾値より低い場合は、類似度判定部120は、人物認証辞書D1に登録された中で最も類似度が高い顧客をカメラ20が撮像した顧客と判定する。また、人物認証辞書D1に登録されたいずれか一の顧客に対して類似度算出部119が算出した類似度が第2閾値より高く第3閾値より低い場合は、類似度判定部120は、当該顧客をカメラ20が撮像した顧客である可能性が高いと判定する。また、人物認証辞書D1に登録されたいずれか一の顧客に対して類似度算出部119が算出した類似度が第3閾値より高い場合は、類似度判定部120は、当該顧客をカメラ20が撮像した顧客と判定する。
登録部121は、カメラ20が撮像した動画像に係る人物認証情報を、人物認証辞書D1に顔検出部112が検出した顔の顧客毎に登録することで記憶させる。登録部121は、類似度を判定した動画像と、特徴量抽出部117が抽出した特徴量と、動画像を送信したカメラ20の識別情報と、動画像を撮像した撮像時刻と、動画像から生成された閲覧履歴情報とを人物認証情報として人物認証辞書D1に登録することで記憶させる。
登録部121が行う登録には、新規登録と、追加登録とがある。登録部121は、類似度判定部120が閾値以上の顧客の人物認証情報が人物認証辞書D1に登録されていないと判定した場合に、新規登録する。登録部121は、顔検出部112が割り当てた新規な人物識別情報を用いて、属性情報と、人物認証情報とを人物認証辞書D1に登録する。
一方、登録部121は、類似度判定部120が閾値以上の顧客の人物認証情報が人物認証辞書D1に登録されていると判定した場合に、時系列的に追加登録する。登録部121は、人物認証辞書D1に登録された、該当する顧客の人物認証情報に、今回の撮像に係る人物認証情報を対応付けて登録する。このように、登録部121は、追加登録することにより、該当する人物識別情報の人物認証情報が増加する。これにより、類似度算出部119は、複数の人物認証情報と比較することができるため、判定結果の信頼性を向上させることができる。
類似度判定部120が、類似度が第1閾値より低いと判定した顧客について、登録部121は、新たな顧客の人物認証情報を記憶した登録者ファイルを人物認証辞書D1に新規登録する。類似度判定部120が、類似度が第1閾値より高く第2閾値より低いと判定した顧客について、登録部121は、最も類似度が高い顧客の登録者ファイルに、当該顧客の人物認証情報を追加登録する。類似度判定部120が、類似度が第2閾値より高く第3閾値より低いと判定した顧客について、登録部121は、当該顧客の登録者ファイルに対して当該顧客の人物認証情報を追加登録する。類似度判定部120が、類似度が第3閾値より高いと判定した顧客について、登録部121は、いずれの登録者ファイルにも当該顧客の人物認証情報を新規登録も追加登録もしない。すなわち、CPU11は、この顧客の類似度は、顔も服飾も同一であると判断している。この場合、同一日に一度通路を回遊した当該顧客が再度回遊している可能性があり、当該顧客の画像はすでに撮像しているため、当該顧客の人物認証情報や当該顧客が閲覧した商品の情報を追加登録しない。
情報提供手段である表示部122は、商品判定部115が判定した商品の関連情報を、当該判定した商品に対応した位置に設置されたサイネージ60に表示する。表示部122は、判定した商品の関連情報を、商品レイアウトファイルF1から読み出して、サイネージ60に表示する。
次に、上述した実施形態にかかるサーバ装置10のCPU11が人物認証プログラムP1に従って実行する人物認証処理について説明する。実施形態にかかるサーバ装置10は、カメラ20が撮像した動画像を用いて、人物認証処理を実行する。
図6は、サーバ装置10のCPU11が人物認証プログラムP1に従って実行する人物認証処理の流れを示すフローチャートである。まず、サーバ装置10のCPU11(受信部111)は、カメラ20が撮像した動画像を入力する(S11)。次いで、サーバ装置10のCPU11(顔検出部112)は、受信した動画像から顔を検出することができるか否かを判定する(S12)。顔を検出することができない場合に(S12のNo)、サーバ装置10のCPU11は、ステップS11に戻り、動画像を受信する。
一方、顔を検出することができた場合に(S12のYes)、サーバ装置10のCPU11(特徴量抽出部117)は、検出した顔に基づいて当該顔の特徴量を抽出する。そしてCPU11(類似度算出部119)は、抽出した特徴量と、人物認証辞書D1に登録されたすべての顧客の人物認証情報の特徴量とを比較して類似度を算出する。そしてCPU11(類似度判定部120)は、算出された類似度に基づいて、当該顧客の類似度を判定する(S13)。
次にCPU11(類似度判定部120)は、類似度算出部119が算出した類似度が、第1閾値未満であるかを判断する(S14)。第1閾値未満、すなわち人物認証辞書D1には当該顧客と同一顧客はいないと判断した場合には(S14のYes)、CPU11(登録部121)は、人物認証辞書D1に、新たな登録者ファイルを作成し、人物認証情報を記憶して登録する(S15)。この際、CPU11(属性判定部118)は、性別顔認証辞書D2に基づいて、新たに登録する顧客の性別を判定する。また、CPU11(属性判定部118)は、年齢別顔認証辞書D3に基づいて、新たに登録する顧客の年齢を判定する。そしてCPU11は、判定した性別と年齢を人物認証辞書D1に属性情報として登録する。続いてCPU11は、商品閲覧情報生成処理を実行する(S20)。そしてCPU11は、処理を終了する。
図7は、S20における商品閲覧情報生成処理の流れを示すフローチャートである。図7に示すように、CPU11(視線判定部113)顧客の視線の方向を判定する(S31)。続いてCPU11(位置算出部114)は、当該顧客の現在の位置を算出する(S32)。そしてCPU11(商品判定部115)は、視線判定部113が判定した顧客の視線の方向と位置算出部114が算出した顧客の位置とから、当該顧客が閲覧している商品を判定する(S33)。すなわちCPU11は、当該顧客がいる位置における当該顧客の視線の方向にある商品を、商品レイアウトファイルF1に記憶されている商品の配置位置情報に基づいて判定する。
次にCPU11(表示部)は、商品レイアウトファイルF1から該当する商品の関連情報を読み出して、当該商品に対応するサイネージ60に表示する(S34)。次にCPU11は、人物認証辞書D1に、商品判定部115が判定した商品と同一の商品に関する商品閲覧情報がすでに記憶されているか否かを判断する(S35)。同一の商品の商品閲覧情報がすでに記憶されていると判断した場合には(S35のYes)、CPU11は、S33で判定した商品の商品閲覧情報を追加的に記憶する(S37)。すなわち、CPU11は、人物認証辞書D11の商品閲覧情報に記憶されている当該商品の閲覧した閲覧数を+1カウントアップする。また、CPU11は、商品閲覧情報に、商品の閲覧時刻を追加的に記憶する。そしてCPU11は、処理を終了する。
また、同一の商品がまだ登録されていないと判断した場合には(S35のNo)、CPU11は、新たな商品の商品閲覧情報を作成して人物認証辞書D11に記憶する(S36)。そしてCPU11は、処理を終了する。
図6の説明に戻る。類似度が第1閾値未満ではないと判断した場合には(S14のNo)、CPU11は、類似度算出部119が算出した類似度が、第1閾値以上であってかつ第2閾値未満であるか否かを判断する(S16)。第1閾値以上であってかつ第2閾値未満であると判断した場合には(S16のYes)、CPU11は、人物認証辞書D11に記憶されている一つの登録ファイルを選定する(S17)。すなわち、CPU11は、人物認証辞書D11に記憶されている登録ファイルから、類似度が第1閾値以上かつ第2閾値未満の登録ファイルのうち、最も類似度が高い登録ファイルを選定する。そしてCPU11は、S20を実行する。
また、類似度が第1閾値以上であって第2閾値未満ではないと判断した場合には(S16のNo)、CPU11は、類似度算出部119が算出した類似度が、第2閾値以上であってかつ第3閾値未満である一つの登録ファイルの存在の有無を判断する(S18)。類似度が第2閾値を超えて第3閾値未満であることは、比較対象どうしがほぼ同一人物であることを示しており、本人の登録ファイルとの比較した場合にこのような類似度となる。第2閾値以上であってかつ第3閾値未満の一つの登録ファイルがあると判断した場合には(S18のYes)、CPU11は、該当する一つの登録ファイルを選定する(S19)。そしてCPU11は、S20の処理を実行する。
また、類似度が第2閾値以上であって第3閾値未満ではないと判断した場合には(S18のNo)、CPU11は、類似度が第3閾値以上であると判断して、何もすることなく(すなわち、S20の処理を実行することなく)処理を終了する。
ここからは、POS端末40から受信した顧客の画像情報に基づいて、サーバ装置10が、当該顧客が閲覧した商品の関連情報を当該POS端末40に送信する制御処理に付いて説明する。POS端末40は、サーバ装置10から受信した商品の関連情報を、レシート用紙に印字して顧客に手渡す。レシートに印字する商品の関連情報は、当該顧客が店内の通路を回遊しながら閲覧した商品の関連情報である。
図8は、商品の関連情報の送信処理の流れを示すフローチャートである。POS端末40は、顧客が購入する商品を決済処理する際に、当該顧客の顔画像を撮像する。そしてPOS端末40は、撮像した顧客の顔画像をサーバ装置10に送信する。図8に示すように、サーバ装置10のCPU11は、POS端末40から顔画像の情報を受信したか否かを判断する(S41)。受信したと判断した場合には(S41のYea)、CPU11は、当該顔画像から求めた特徴量と人物認証辞書D11に記憶された特徴量と比較して類似度を判定する(S42)。そしてCPU11は、同一顧客の登録ファイルの有無を判断する(S43)。あると判断した場合には(S43のYes)、CPU11(送信手段)は、当該登録ファイルに記憶された、当該顧客が閲覧した商品の関連情報を、顔画像を送信したPOS端末40に送信する(S44)。CPU11は、例えば、同日中に顧客が通路を回遊して閲覧した商品の関連情報を送信する。また、CPU11は、例えば、閲覧回数が多い商品の関連情報を送信する。そしてCPU11は、処理を終了する。なお、POS端末40から顔画像の情報を受信していない場合(S41のNo)、および同一の登録ファイルがないと判断した場合には(S43のNo)、CPU11は、処理を終了する。
このような実施形態によれば、サーバ装置10は、カメラ20が撮像した画像に基づいて、通路を回遊する顧客の視線の向きを判定して、当該顧客が閲覧している商品を判定する。そのため、店舗内を回遊する顧客が興味を持った商品をより的確に把握することができる。
本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
例えば、実施形態では、サーバ装置10は、カメラ20が撮像した動画像を受信部111が受信することによって、動画像の入力を受け付けているが、動画像は、カメラ20が過去に撮像し、撮りためられた動画ファイルなどであってもよい。
また、実施形態では、サーバ装置10の商品判定部115は、位置算出部114が算出した顧客の位置と、視線判定部113が判定した顧客の視線の向きと、商品レイアウトファイルF1とから顧客が閲覧している商品を判定している。しかしながら、例えば、カメラ20aが撮像した動画像のフレーム画像から、公知のオブジェクト認識技術を用いて、商品(商品名)を認識する形態であってもよい。
上記実施形態や変形例の各装置で実行されるプログラムは、各装置が備える記憶媒体(ROM又は記憶部)に予め組み込んで提供するものとするが、これに限らないものとする。例えば、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、LANやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。
また、上記実施形態や変形例の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよいし、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。