JP7248444B2 - 情報処理装置、及び店舗システム - Google Patents

Description

本発明は、小売店舗等の店舗における情報処理装置、及び店舗システムに関する。

小売企業においては人手不足の深刻化に伴い、店舗人員を確保することが難しい状況となっている。このため、ＰＯＳ（Point Of Sales）端末の操作、接客に関わる人員を削減するために、店舗で使用されるＰＯＳシステムの形態も変化している。従来では、販売対象とする商品の情報を登録するための商品スキャニング（商品登録）から金銭授受までを店員が行うタイプのＰＯＳシステムが多く使用されていた。近年では、商品スキャニングから決済処理までを顧客自身が行うセルフＰＯＳシステムが増えている。

しかしながら、セルフＰＯＳシステムでは、煩雑な操作が必要な客を補助するため、また客が商品を購入するために正しい操作をしているか確認するために、アテンダントと称される店員を配置する必要があった。従って、セルフＰＯＳシステムを導入しても、確実な店員削減に結び付けることができなかった。

特開２０１５－１０９０６１号公報

本発明の実施形態は前述した事情に考慮してなされたもので、その目的は、客による商品購入のための操作を煩雑にすることなく、客による操作が正しく実行されているか容易に確認することが可能な情報処理装置、及び店舗システムを提供することにある。

上記の課題を解決するために、本実施形態における情報処理装置は、映像受信手段、受信手段、計数手段、照合手段、及び記憶手段を有する。映像受信手段は、カメラにより撮影された映像を受信する。受信手段は、客に固有の識別データを電子機器から受信する。計数手段は、前記映像における前記識別データに対応する客を特定し、前記客が商品を購入するための所定の動作をした回数を計数し、前記回数と前記識別データとを対応づけて記憶させる。照合手段は、前記客による購入対象として商品情報が登録された商品の数と前記回数とを照合する。記憶手段は、前記識別データと対応づけて、前記照合の結果を示す照合情報を記憶させる。

本実施形態に係る店舗システムの全体構成図。 店舗サーバの要部回路構成を示すブロック図。 会計機の要部回路構成を示すブロック図。 チェックイン端末の要部回路構成を示すブロック図。 電子機器の要部構成を示すブロック図。 店舗サーバの会員データベースに登録される会員データレコードの主要なデータ構造を示す模式図。 取引明細データにおけるデータ構造を示す模式図。 映像解析データにおけるデータ構造を示す図。 映像データのデータ構造を示す図。 結果データのデータ構造を示す図。 本実施形態における店舗サーバの動作を説明するためのフローチャート。 本実施形態における電子機器の動作を示すフローチャート。 本実施形態における第１のチェックイン処理を示すフローチャート。 本実施形態における第２のチェックイン処理を示すフローチャート。 本実施形態における商品リスト画面の一例を示す図。 本実施形態における商品コード読み取り画面の一例を示す図。 本実施形態における店舗サーバの動作を説明するためのフローチャート。 本実施形態におけるチェックイン端末の動作を示すフローチャート。 本実施形態における会計機の動作を示すフローチャート。

以下、図面を参照して本発明の実施の形態について説明する。

図１は、本実施形態に係る店舗システム１の全体構成図である。店舗システム１は、販売対象とする商品の情報を登録するための商品スキャニングから決済処理までを客の操作により実行することが可能なセルフ方式のシステムである。商品スキャニングでは、商品に付された商品コードの読み取りが実行される。

本実施形態における店舗システム１は、店舗サーバ１０、複数の会計機２０（２０－１，…，２０－Ｋ）、チェックイン端末３０、アクセスポイント（ＡＰ）５０、カメラ６０（６０－１，…，６０－Ｍ）を含む。会計機２０は、例えば一店舗に複数台（例えば、Ｋ台）設置されている。なお、少なくとも１台の会計機２０が設置されていれば良い。図１では、チェックイン端末３０とアクセスポイント５０をそれぞれ１台のみ示しているが、店舗の規模等により２台以上あってもよい。カメラ６０は、店舗内を移動する客を撮影することが可能な位置に設置される。

カメラ６０は、少なくとも１台が設置される。基本的に、カメラ６０は、客が移動可能な店舗内を網羅するように配置される。カメラ６０は、撮影範囲内に店舗内を移動する客が移動してきた場合に、客が映り込んだ映像を撮影することができる。また、カメラ６０は、客が商品を購入するための所定の動作をしたことを確認できる映像が撮影可能とする位置に配置される。従って、カメラ６０は、例えば客と商品棚に陳列された商品とが同時に撮影できることが望ましい。さらに、１人の客について、同時に複数のカメラ６０により撮影できるように、各カメラ６０を設置するようにしても良い。すなわち、異なる方向から複数台のカメラ６０により客を撮影することで、客の動作を確認することが困難となる死角を少なくすることができる。

店舗サーバ１０、会計機２０、チェックイン端末３０、アクセスポイント５０は、ＬＡＮ（Local Area Network）等のネットワーク７０に接続されている。

店舗システム１は、客が所有する電子機器４０（４０－１，…，４０－Ｎ）をシステムに組み込むことができる。電子機器４０は、例えばスマートフォン、携帯電話機、パーソナルコンピュータ、タブレット端末、携帯型ゲーム端末などである。電子機器４０は、店舗システム１に組み込まれた場合、アクセスポイント５０と無線通信を行う。また、電子機器４０は、店舗内に備えられた商品情報の登録に使用される専用端末としても良い。例えば、電子機器４０は、店舗内で使用されるカートに取り付けられ、店舗内専用の端末である。

本実施形態における店舗システム１では、商品情報の登録を、電子機器４０を利用して実行しても良いし、会計機２０において実行しても良い。また、店舗システム１では、登録された商品情報に対する決済処理を、電子機器４０により外部の決済システムにより実行しても良いし、会計機２０において実行しても良い。

チェックイン端末３０は、店舗の入り口等に設置される。チェックイン端末３０は、来店した客を認証して、店舗サーバ１０に通知するチェックイン機能を有する。チェックイン端末３０による客の認証は、複数の方法の何れか、あるいは複数の方法を組み合わせて実施することができる。例えば、第１の認証方法としては、チェックイン端末３０の表示装置（タッチパネル）に店舗固有のコード（例えば２次元コード）を表示させて、電子機器４０により読み取らせる方法がある。また、第２の認証方法としては、電子機器４０において端末固有の端末コード（例えば、客に固有の識別データである会員ＩＤを含む）を表示させて、チェックイン端末３０により読み取らせる方法がある。さらに、第３の認証方法は、電子機器４０を使用せずに、客の生体情報を入力して、予め会員登録時に記録された生体認証データと照合して認証する方法などがある。客（会員）を認証するための生体情報としては、例えば顔画像、指紋、音声、虹彩、静脈パターンなどの特徴を示すデータを用いることができる。

電子機器４０は、客が購入する商品の情報入力等の操作を客自身で行う機能が実装される。複数の電子機器４０は、それぞれ固有の識別情報（端末ＩＤ）が設定され、店舗サーバ１０において管理される。

店舗サーバ１０は、店舗システム１の全体を制御する。本実施形態における店舗サーバ１０は、商品の販売管理のためのＰＯＳシステムの機能と、カメラ６０から受信される映像について解析をする映像解析システムの機能とを有する。店舗サーバ１０は、ＰＯＳシステムと映像解析システムにより生成されるデータを照合（突合処理）することで、客による商品購入のための操作を煩雑にすることなく、客による操作が正しく実行されているか容易に確認できるようにする。例えば、本実施形態における店舗サーバ１０は、客が購入対象として登録した商品情報の数（商品の数）と、客が商品を購入するための所定の動作をした回数とを照合する。客が購入対象として登録した商品情報の数は、ＰＯＳシステムにより管理される。また、客が商品を購入するための所定の動作をした回数は、映像解析システムにより、客による１取引分の商品購入行動の間に撮影された映像を解析することにより検出される。店舗サーバ１０は、照合（突合処理）により客が正しい操作をしていない可能性があると判別される場合に、照合の結果（結果データ（照合情報））を記憶させることができる。客が正しい操作をしていない可能性があると判定される条件には、例えば商品を購入するための所定の動作をした回数が、実際に購入対象として登録された商品の数より多い場合などがある。

店舗サーバ１０（ＰＯＳシステム）は、電子機器４０あるいは会計機２０において入力された商品コードから客が購入する商品の商品情報を含む取引明細データを作成する。商品の取引明細データには、登録された商品数（商品コードの入力数）のデータを含む。店舗サーバ１０は、会計機２０において会計がされる場合には、会計する客を特定し、その客が購入した商品の取引明細データを客が会計に使用する会計機２０に送信する。なお、取引明細データは、商品コードを入力する電子機器４０あるいは会計機２０において生成されるようにしても良い。この場合、店舗サーバ１０は、電子機器４０あるいは会計機２０から取引明細データを受信して記憶する。

また、店舗サーバ１０（映像解析システム）は、カメラ６０により撮影された映像を受信し、この映像をもとに各種の解析処理を実行する。解析処理には、例えば、客の識別、店舗内を移動する客の追跡（トラッキング）、客の動作の検出、客が購入しようとする商品の識別などがある。

客の識別では、例えば、客を撮影した顔画像から特徴データを検出し、事前に客により登録された顔画像の特徴を示す顔認証データ（生体情報）と照合することで客を特定する。客の追跡（トラッキング）では、例えば客の顔画像、客が身につけている洋服やバッグなどの所持品等の色や形状をもとに映像中の客を特定する。店舗サーバ１０は、複数のカメラ６０から受信された複数の映像のそれぞれについて、客を特定する解析を実行する。店舗サーバ１０は、各映像から検出される１人の客を対応づけて管理する。客の動作の検出では、例えば商品棚などに陳列された商品を手に取る、商品棚から取り出した商品を商品棚に戻す、商品を買い物カゴなどに入れる、電子機器４０を利用して商品情報を登録するための動作をする、などの各種の動作を検出する。商品の識別では、映像から商品に付された商品コードを読み取る、商品のパッケージのデザインや形状などをもとに商品を特定するなどの解析処理を実行する。

映像解析システムでは、例えば１人の客が１取引分の買い物のために店舗内を移動する間に、客が商品を購入するための所定の動作をした回数を計数する。

なお、本実施形態では、店舗サーバ１０において映像解析システムを実現しているが、映像解析システムを店舗サーバ１０とは別の装置（映像解析装置）により実現することも可能である。映像解析装置は、例えば、ネットワーク７０と接続されたコンピュータにより実現される。映像解析装置は、カメラ６０から映像データを受信して、前述したような各種解析処理を実行する。映像解析装置は、解析結果を示すデータを店舗サーバ１０に送信する。

図２は、店舗サーバ１０の要部回路構成を示すブロック図である。店舗サーバ１０は、プロセッサ１１、メインメモリ１２、補助記憶デバイス１３、通信ユニット１４及びシステム伝送路１５を備える。システム伝送路１５は、アドレスバス、データバス、制御信号線等を含む。店舗サーバ１０では、システム伝送路１５に、プロセッサ１１、メインメモリ１２、補助記憶デバイス１３及び通信ユニット１４を接続する。店舗サーバ１０では、プロセッサ１１、メインメモリ１２及び補助記憶デバイス１３と、これらを接続するシステム伝送路１５とによってコンピュータが構成される。

プロセッサ１１は、コンピュータの中枢部分に相当する。プロセッサ１１は、オペレーティングシステム又はアプリケーションプログラムに従って、店舗サーバ１０としての各種の機能を実現するべく各部を制御する。プロセッサ１１は、例えばＣＰＵである。

メインメモリ１２は、コンピュータの主記憶部分に相当する。メインメモリ１２は、不揮発性のメモリ領域と揮発性のメモリ領域とを含む。メインメモリ１２は、不揮発性のメモリ領域ではオペレーティングシステム又はアプリケーションプログラムを記憶する。メインメモリ１２は、プロセッサ１１が各部を制御するための処理を実行する上で必要なデータを不揮発性又は揮発性のメモリ領域で記憶する場合もある。メインメモリ１２は、揮発性のメモリ領域を、プロセッサ１１によってデータが適宜書き換えられるワークエリアとして使用する。不揮発性のメモリ領域は、例えばＲＯＭである。揮発性のメモリ領域は、例えばＲＡＭである。

補助記憶デバイス１３は、コンピュータの補助記憶部分に相当する。例えばＨＤＤ、あるいはＳＳＤ等が補助記憶デバイス１３となり得る。補助記憶デバイス１３は、プロセッサ１１が各種の処理を行う上で使用するデータ、あるいはプロセッサ１１での処理によって作成されたデータ等を保存する。補助記憶デバイス１３は、上記のアプリケーションプログラムを記憶する場合もある。

補助記憶デバイス１３には、例えば商品データベース６１、会員データベース６２が記憶されている。また、補助記憶デバイス１３には、複数の取引に対応する取引明細データ６３を記憶するための領域、映像解析により生成される映像解析データ６４を記憶するための領域、カメラ６０から受信された映像データ６５、ＰＯＳシステムと映像解析システムにより生成されるデータを照合した結果を示す結果データ６６などを記憶するための領域が設けられる。

商品データベース６１には、店舗で販売される商品毎に作成された商品データレコードが記述されている。商品データレコードは、商品ＩＤ、商品名、価格等の項目を含む。商品ＩＤは、各商品を個々に識別するために商品毎に設定された一意のコードである。商品名及び価格は、その商品ＩＤで特定される商品の名称及び１点当たりの販売価格である。

通信ユニット１４は、ネットワーク７０を介して接続される会計機２０、チェックイン端末３０、カメラ６０、または電子機器４０との間で通信プロトコルに従って行うデータ通信を制御する。

図３は、会計機２０の要部回路構成を示すブロック図である。会計機２０は、プロセッサ２１、メインメモリ２２、補助記憶デバイス２３、通信ユニット２４、タッチパネル２５、プリンタ２６、リーダライタ２７、人感センサ２９、釣銭機２１０、カメラ２１１、及びシステム伝送路２１２を備える。システム伝送路２１２は、アドレスバス、データバス、制御信号線等を含む。会計機２０では、システム伝送路２１２に、プロセッサ２１、メインメモリ２２、補助記憶デバイス２３、通信ユニット２４、タッチパネル２５、プリンタ２６、リーダライタ２７、人感センサ２９、カメラ２１１を接続する。会計機２０では、プロセッサ２１、メインメモリ２２及び補助記憶デバイス２３と、これらを接続するシステム伝送路２１２とによってコンピュータが構成される。

プロセッサ２１は、コンピュータの中枢部分に相当する。プロセッサ２１は、オペレーティングシステム又はアプリケーションプログラムに従って、会計機２０としての各種の機能を実現するべく各部を制御する。プロセッサ２１は、例えばＣＰＵである。

メインメモリ２２は、コンピュータの主記憶部分に相当する。メインメモリ２２は、不揮発性のメモリ領域と揮発性のメモリ領域とを含む。メインメモリ２２は、不揮発性のメモリ領域ではオペレーティングシステム又はアプリケーションプログラムを記憶する。メインメモリ２２は、プロセッサ２１が各部を制御するための処理を実行する上で必要なデータを不揮発性又は揮発性のメモリ領域で記憶する場合もある。メインメモリ２２は、揮発性のメモリ領域を、プロセッサ２１によってデータが適宜書き換えられるワークエリアとして使用する。不揮発性のメモリ領域は、例えばＲＯＭである。揮発性のメモリ領域は、例えばＲＡＭである。

補助記憶デバイス２３は、コンピュータの補助記憶部分に相当する。例えばＨＤＤ、あるいはＳＳＤ等が補助記憶デバイス２３となり得る。補助記憶デバイス２３は、プロセッサ２１が各種の処理を行う上で使用するデータ、あるいはプロセッサ２１での処理によって作成されたデータ等を保存する。補助記憶デバイス２３は、上記のアプリケーションプログラムを記憶する場合もある。

通信ユニット２４は、ネットワーク７０を介して接続される店舗サーバ１０との間で通信プロトコルに従って行うデータ通信を制御する。

タッチパネル２５は、会計機２０の入力デバイスと表示デバイスとを兼ね備えた機器である。タッチパネル２５は、表示された画像に対するタッチ位置を検出し、そのタッチ位置情報をプロセッサ２１に出力する。

プリンタ２６は、レシート用紙に対して各種の文字列又は画像等を印刷することにより、レシートを発行する。この種のプリンタ２６としては、例えばサーマルプリンタ又はドットインパクトプリンタ等を利用できる。

リーダライタ２７は、記録媒体に記録されたデータを読み取る機能と、上記記録媒体へデータを書き込む機能とを有する。リーダライタ２７は、接触式のリーダライタであってもよいし、非接触式のリーダライタであってもよい。記録媒体は、クレジットカード、デビットカード、電子マネーカード、プリペイドカード等の決済用カードである。決済用カードと同等の機能を有するスマートフォン等の無線通信機器を記録媒体としてもよい。

人感センサ２９は、例えば赤外線、超音波等を利用して、会計機２０の前に立つ人の所在を検出する。人の所在を検出すると、人感センサ２９はオンする。

釣銭機２１０は、投入される硬貨及び紙幣を収受する。また釣銭機２１０は、釣銭としての硬貨及び紙幣を排出する。

カメラ２１１は、例えば、客の識別、客が購入しようとする商品の識別のための映像（画像）を撮影する。客の識別では、例えば、客を撮影した顔画像から特徴データを検出し、事前に客により登録された顔画像の特徴を示す顔認証データ（生体情報）と照合することで客を特定する。商品の識別では、画像から商品に付された商品コードを読み取る、商品のパッケージのデザインや形状などをもとに商品を特定するなどの解析処理を実行する。

会計機２０には、個々を識別するための固有の会計機ＩＤが設定されている。会計機ＩＤは、例えば補助記憶デバイス２３に記憶されている。

図４は、チェックイン端末３０の要部回路構成を示すブロック図である。チェックイン端末３０は、プロセッサ３１、メインメモリ３２、補助記憶デバイス３３、通信ユニット３４、タッチパネル３５、カメラ３６、スピーカ３７、及びシステム伝送路３９を備える。システム伝送路３９は、アドレスバス、データバス、制御信号線等を含む。チェックイン端末３０では、システム伝送路３９に、プロセッサ３１、メインメモリ３２、補助記憶デバイス３３、通信ユニット３４、タッチパネル３５、カメラ３６、スピーカ３７を接続する。チェックイン端末３０では、プロセッサ３１、メインメモリ３２及び補助記憶デバイス３３と、これらを接続するシステム伝送路３９とによってコンピュータが構成される。

プロセッサ３１は、コンピュータの中枢部分に相当する。プロセッサ３１は、オペレーティングシステム又はアプリケーションプログラムに従って、チェックイン端末３０としての各種の機能を実現するべく各部を制御する。プロセッサ３１は、例えばＣＰＵ（Central Processing Unit）である。

メインメモリ３２は、コンピュータの主記憶部分に相当する。メインメモリ３２は、不揮発性のメモリ領域と揮発性のメモリ領域とを含む。メインメモリ３２は、不揮発性のメモリ領域ではオペレーティングシステム又はアプリケーションプログラムを記憶する。メインメモリ３２は、プロセッサ３１が各部を制御するための処理を実行する上で必要なデータを不揮発性又は揮発性のメモリ領域で記憶する場合もある。メインメモリ３２は、揮発性のメモリ領域を、プロセッサ３１によってデータが適宜書き換えられるワークエリアとして使用する。不揮発性のメモリ領域は、例えばＲＯＭ（Read Only Memory）である。揮発性のメモリ領域は、例えばＲＡＭ（Random Access Memory）である。

補助記憶デバイス３３は、コンピュータの補助記憶部分に相当する。例えばＨＤＤ（Hard Disc Drive）、あるいはＳＳＤ（Solid State Drive）等が補助記憶デバイス３３となり得る。補助記憶デバイス３３は、プロセッサ３１が各種の処理を行う上で使用するデータ、あるいはプロセッサ３１での処理によって作成されたデータ等を保存する。補助記憶デバイス３３は、上記のアプリケーションプログラムを記憶する場合もある。

通信ユニット３４は、ネットワーク７０を介して接続される店舗サーバ１０との間で通信プロトコルに従って行うデータ通信を制御する。なお、チェックイン端末３０は、無線通信ユニットを設けて、アクセスポイント５０との間で無線通信プロトコルに従って行う無線通信をする構成としても良い。

タッチパネル３５は、チェックイン端末３０の入力デバイスと表示デバイスとを兼ね備えた機器である。タッチパネル３５は、表示された画像に対するタッチ位置を検出し、そのタッチ位置情報をプロセッサ３１に出力する。

カメラ３６は、来店した客を認証するために映像（画像）を撮影する。カメラ３６は、例えば来店した客が所持する電子機器４０において表示された端末固有の端末コード（例えば会員ＩＤのデータを含む２次元コード）の画像を撮影する（第２の認証方法）。また、カメラ３６は、客の生体情報として顔画像の特徴をもとに客を認証する場合には、客の顔画像を撮影する（第３の認証方法）。

スピーカ３７は、来店した客に対するメッセージ音声などを出力する。

図５は、電子機器４０の要部構成を示すブロック図である。電子機器４０は、プロセッサ４１、メインメモリ４２、補助記憶デバイス４３、タッチパネル４４、カメラユニット４５及び無線ユニット４６等を備える。プロセッサ４１と、メインメモリ４２、補助記憶デバイス４３、タッチパネル４４、カメラユニット４５及び無線ユニット４６とは、アドレスバス、データバス、制御信号線等を含むシステム伝送路４７によって接続される。

電子機器４０は、プロセッサ４１、メインメモリ４２及び補助記憶デバイス４３と、これらを接続するシステム伝送路４７とによってコンピュータを構成する。

プロセッサ４１は、コンピュータの中枢部分に相当する。プロセッサ４１は、オペレーティングシステムやアプリケーションプログラムに従って、電子機器４０としての各種の機能を実現するべく各部を制御する。

メインメモリ４２は、コンピュータの主記憶部分に相当する。メインメモリ４２は、不揮発性のメモリ領域と揮発性のメモリ領域とを含む。メインメモリ４２は、不揮発性のメモリ領域ではオペレーティングシステムやアプリケーションプログラムを記憶する。またメインメモリ４２は、プロセッサ４１が各部を制御するための処理を実行する上で必要なデータを不揮発性または揮発性のメモリ領域で記憶する場合もある。メインメモリ４２は、揮発性のメモリ領域を、プロセッサ４１によってデータが適宜書き換えられるワークエリアとして使用する。

補助記憶デバイス４３は、コンピュータの補助記憶部分に相当する。補助記憶デバイス４３は、例えばＨＤＤ、ＳＳＤなどが補助記憶デバイス４３として使用されてもよい。補助記憶デバイス４３は、プロセッサ４１が各種の処理で使用するデータや、プロセッサ４１での処理によって生成されたデータを保存する。補助記憶デバイス４３は、アプリケーションプログラムを記憶する場合もある。

タッチパネル４４は、電子機器４０の入力デバイス及び表示デバイスとして機能する。タッチパネル４４には、アプリケーションプログラムを起動するためのアイコンが表示される。

カメラユニット４５は、商品に付された商品の情報を示すバーコードを撮影可能な解像度を有する。無線ユニット４６は、アクセスポイント６０との間で無線通信を利用してデータの送受信を行う。電子機器４０は、例えばスマートフォン、携帯電話、タブレット端末等の携帯型の情報処理装置のうち、カメラユニット４５及び無線ユニット４６を内蔵している場合に、店舗システム１において使用できるものとする。

電子機器４０は、商品登録プログラムＰ１をインストールし、商品登録プログラムＰ１により実現される機能によって、店舗システム１に対応した情報端末として動作する。

商品登録プログラムＰ１は、客の操作により商品情報を登録する端末となるように、プロセッサ４１を制御する。商品登録プログラムＰ１は、補助記憶デバイス４３に保存される。また、商品登録プログラムＰ１とともに、商品の情報などを記憶する領域が補助記憶デバイス４３に設けられる。また、商品登録プログラムＰ１は、店舗サーバ１０において会員登録（会員情報の登録）することにより発行された客に固有の会員ＩＤを店舗サーバ１０から受信し、管理（記憶）する。

次に、店舗システム１の補助記憶デバイス１３に記憶されるデータについて説明する。

図６は、店舗サーバ１０の会員データベース６２に登録される会員データレコード６２Ｒの主要なデータ構造を示す模式図である。図６は、１人の会員に対応するデータを示している。図６に示すように、会員データレコード６２Ｒは、会員登録した客に固有の会員ＩＤと対応づけて、会員から提供される会員情報が登録される。会員情報には、会員（客）を特定あるいは認証するための情報として、生体情報及び個人情報が含まれる。生体情報は、例えば顔画像、指紋、音声、虹彩、静脈パターンなどの特徴を示すデータを用いることができる。個人情報は、例えば氏名、住所、電話番号、決済方法（例えば、現金、電子マネー、クレジット）などを示すデータが含まれる。

図７は、店舗サーバ１０の取引明細データ６３におけるデータ構造を示す図である。取引明細データ６３は、客による商品スキャニング（商品コードの入力）により登録される商品情報である。取引明細データ６３には、会員ＩＤ６３Ａ、取引ＩＤ６３Ｂ、買上点数６３Ｃ、買上商品情報６３Ｄが含まれる。会員ＩＤ６３Ａは、来店時に認証された客の会員ＩＤが設定される。取引ＩＤ６３Ｂは、認証された客による１つの取引を識別するために生成され、会員ＩＤ６３Ａと対応づけて設定される。買上商品情報６３Ｄは、会員ＩＤで識別される客が購入する商品の情報である。買上商品情報６３Ｄは、検出された商品コードに対応する商品ＩＤ、商品名、価格等が商品データベース６１から読み出されて登録される。買上点数６３Ｃは、買上商品情報６３Ｄが登録された商品の数を示す情報である。取引明細データは、電子機器４０において商品情報が登録される場合には、電子機器４０から受信され、会計機２０において商品情報が登録される場合には、会計機２０から受信される。

図８は、店舗サーバ１０の映像解析データ６４におけるデータ構造を示す図である。映像解析データ６４は、カメラ６０から受信された映像の解析結果を示すデータである。映像解析データ６４には、会員ＩＤ６４Ａ、チェックイン日時６４Ｂ、動作回数６４Ｃ、チェックアウト日時６４Ｄのデータなどが含まれる。チェックイン日時６４Ｂは、客がチェックイン（来店）した日時（年月日時刻を示す）を示す。動作回数６４Ｃは、認証された客がトラッキングされている間（１取引分の商品購入行動の間）に、客が商品を購入するための所定の動作をした回数を示す。チェックアウト日時６４Ｄは、客がチェックアウト（決済処理の終了）した日時（年月日時刻を示す）を示す。

さらに、図示していないが、映像解析データ６４には、客が商品を購入するための所定の動作が検出された映像を撮影したカメラ６０を識別するデータを記憶させても良い。例えば、カメラ６０を特定の商品の売り場と対応づけて設置しておく。これにより、映像を解析することで客による所定の動作が検出された場合に、解析対象とした映像が撮影されたカメラ６０を識別し、カメラ６０が設置された商品の売り場を特定することができる。従って、客が何れの商品の売り場で所定の動作をしたか判別できる。さらに、客が所定の動作をした売り場で販売されている商品の商品情報が登録されているかを判別することで、商品情報の登録と客が所定の動作をした売り場との対応を照合することができる。この照合により、例えば、所定の動作をした売り場で販売されている商品の商品情報が登録されていない、あるいは所定の動作をした売り場における動作回数と該当する売り場で販売されている商品の登録数が不一致であることを判別できる。

図９は、店舗サーバ１０の映像データ６５のデータ構造を示す図である。映像データ６５は、店内を移動している１人の客をトラッキングするために用いたトラッキング映像データ６５Ｂが含まれる。トラッキング映像データ６５Ｂは、取引ＩＤ６５Ａと対応づけて記憶され、１人の客による１取引分の商品購入行動が撮影されている映像データを含む。通常、トラッキング映像データ６５Ｂには、複数のカメラ６０により撮影された映像データを含む。

図１０は、店舗サーバ１０の結果データ６６のデータ構造を示す図である。結果データ６６は、ＰＯＳシステムと映像解析システムにより生成されるデータを照合した結果（照合情報）を示す。結果データ６６には、会員ＩＤ６６Ａ及び取引ＩＤ６６Ｂと対応づけて、照合した結果（照合情報）として、商品の数より所定の動作をした回数の方が多いことを示す照合結果データ６６Ｃが記憶される。なお、照合結果データ６６Ｃは、商品の数より所定の動作をした回数の方が多いことを示すだけでなく、商品の数の方が動作をした回数より多いことを示すデータが含まれていても良い。また、照合結果データ６６Ｃには、動作をした回数と登録された商品の数との差（不一致数）を示すデータが含まれていても良い。さらに、照合結果データ６６Ｃには、所定の動作が検出された映像を撮影したカメラ６０の設置場所（例えば、特定の商品の売り場と対応する）と、登録された商品情報とが不一致と判別されたことを示すデータなどが含まれていても良い。

次に、本実施形態における店舗システム１の動作について説明する。まず、電子機器４０を使用して、購入する商品の商品情報が客自身の操作により登録される場合の動作について説明する。

図１１は、本実施形態における店舗サーバ１０（プロセッサ１１）の動作を説明するためのフローチャートである。図１２は、本実施形態における電子機器４０（プロセッサ４１）の動作を示すフローチャートである。なお、図１１～図１２に示す動作は一例であり、同様な結果を得ることが可能であればその処理手順及び処理内容は特に限定されるものではない。

始めに、客は、来店すると、電子機器４０を操作して商品登録プログラムＰ１を起動し、商品登録処理を開始させる。商品登録処理を開始すると、プロセッサ４１は、商品登録プログラムＰ１に基づいて、チェックイン処理を実行する（図１２、Ａｃｔ２１）。

図１３は、本実施形態における電子機器４０により実行される第１のチェックイン処理を示すフローチャート、図１４は、第２のチェックイン処理を示すフローチャートである。第１のチェックイン処理は、電子機器４０を使用して客を特定し、第２のチェックイン処理では、客の生体情報を使用して客を特定する。

店舗システム１では、第１のチェックイン処理と第２のチェックイン処理の何れを用いるか予め決められているものとする。また、第１のチェックイン処理と第２のチェックイン処理を併用する構成としても良い。

まず、第１のチェックイン処理について、図１３に示すフローチャートを参照しながら説明する。プロセッサ４１は、客のタッチパネル４４に対する操作により店内購入が指示されると（図１３、Ａｃｔ４１のＹＥＳ）、カメラユニット４５を起動して、店舗コードの読み取り状態に移行する。

チェックイン端末３０では、店舗固有の店舗コード、例えば２次元コードパターンを、タッチパネル３５に表示させる。客は、電子機器４０のカメラユニット４５により、チェックイン端末３０に表示された店舗コードを読み取るように電子機器４０を操作する。

プロセッサ４１は、店舗コードを読み取ると（Ａｃｔ４２）、電子機器４０に予め記憶されている会員ＩＤと店舗コードを読み取った日時（年月日時刻）と共に、店舗サーバ１０に対してチェックイン要求を送信する（Ａｃｔ４３）。

店舗サーバ１０は、アクセスポイント５０を通じて、電子機器４０からのチェックイン要求を受信する。店舗サーバ１０のプロセッサ１１は、チェックイン要求と共に会員ＩＤを受信すると（Ａｃｔ１のＹＥＳ）、会員ＩＤをメインメモリ１２のワークエリアに記述する。そしてプロセッサ１１は、会員ＩＤを検索用のキーとして会員データベース６２を検索し、会員ＩＤが記述された会員データレコード６２Ｒの有無を判定する（Ａｃｔ２）。

プロセッサ１１は、該当する会員データレコード６２Ｒが無いことを確認すると（Ａｃｔ３のＮＯ）、電子機器４０に対してチェックイン不許可の通知を送信する（図１１、Ａｃｔ４）。電子機器４０のプロセッサ４１は、店舗サーバ１０からチェックイン不許可の通知が受信されると（図１３、Ａｃｔ４４のＮＯ）、チェックインが不許可となったことを通知するための不許可通知を出力する（Ａｃｔ４５）。例えば、プロセッサ４１は、タッチパネル４４に不許可となったことを示すメッセージを表示させる。この場合、電子機器４０は、第１のチェックイン処理を終了すると共に商品登録処理を終了する。

一方、プロセッサ１１は、該当する会員データレコード６２Ｒが有ることを確認すると、さらに結果データ６６に該当する会員ＩＤと対応づけて予め設定された照合結果を示すデータ（照合情報）が設定されているかを確認する。すなわち、会員ＩＤに対応する客が、前回以前に来店して買い物をした際に、後述する照合（突合処理）において、正しい操作をしていない可能性があると判定されているかを判別する。例えば、以前の買い物時における商品を購入するための所定の動作をした回数が、実際に購入対象として登録された商品の数より多いと判定された場合に、商品の数より所定の動作をした回数の方が多いことを示す照合結果データ６６Ｃが記憶されている。

ここで、照合結果データ６６Ｃが記憶されている場合、プロセッサ１１は、照合結果データ６６Ｃが示す照合結果に応じて、電子機器４０に対してチェックイン不許可の通知を送信する（図１１、Ａｃｔ４）。例えば、プロセッサ１１は、照合結果データ６６Ｃが示す照合結果に応じて、店舗の利用不可、会員登録の停止、店員による確認が必要などを示すチェックイン不許可の通知を送信する。電子機器４０のプロセッサ４１は、店舗サーバ１０からチェックイン不許可の通知が受信されると（図１３、Ａｃｔ４４のＮＯ）、チェックインが不許可となったことを通知するための不許可通知を出力し、第１のチェックイン処理を終了すると共に商品登録処理を終了する（Ａｃｔ４５）。

なお、照合結果データ６６Ｃが記憶されている場合に、常に、チェックインを不許可とするのではなく、照合結果データ６６Ｃの内容に応じてチェックインの許可／不許可を決定するようにしても良い。例えば、照合結果データ６６Ｃに、商品を購入するための所定の動作をした回数と登録された商品の数との差（不一致数）を示すデータが含まれている場合、不一致数が予め設定された数以上（例えば、３以上）の場合にチェックイン不許可とすることができる。また、結果データ６６に同じ会員ＩＤが予め設定された数（例えば２）より多く登録されている場合にチェックイン不許可とすることができる。その他のチェックイン許可の条件を予め設定しておくことが可能である。

なお、会員ＩＤが結果データ６６に登録されている場合、店舗サーバ１０あるいは店員が使用する情報処理装置に対して該当する会員の情報を通知するようにしても良い。また、会員の情報を通知した場合には、チェックインを許可して、店員が来店した客について対応できるようにしても良い。この場合、店員による客への対応が必要となるが、常時、アテンダントと称される店員を配置しておく必要がないため、店員削減のための障害とならない。

プロセッサ１１は、チェックイン要求により受信した会員ＩＤが会員データレコード６２Ｒにあり、また該当する会員ＩＤが結果データ６６に登録されていないと確認された場合には（Ａｃｔ３のＹＥＳ）、電子機器４０に対してチェックイン許可の通知を送信する（Ａｃｔ５）。プロセッサ１１は、チェックインを許可した客の会員ＩＤと、この客による１取引を識別するための取引ＩＤを生成して、補助記憶デバイス１３に記憶させる（Ａｃｔ６）。

電子機器４０のプロセッサ４１は、店舗サーバ１０からチェックイン許可通知を受信すると（図１３、Ａｃｔ４４のＹＥＳ）、客の操作によって商品情報の登録が可能な状態となる。商品情報の登録については後述する。

次に、第２のチェックイン処理について、図１４に示すフローチャートを参照しながら説明する。第２のチェックイン処理では、客の生体情報を使用して客を特定する。ここでは、例えば生体情報として、客の顔画像の特徴データを使用する場合について説明する。

客は、チェックイン端末３０のカメラ３６によって顔画像を撮影させて、認証処理を要求する。チェックイン端末３０のプロセッサ３１は、カメラ３６により撮影された顔画像から特徴データを検出し、店舗サーバ１０の会員データベース６２に登録されている各会員の生体情報（顔画像の特徴データ）と照合する。

プロセッサ３１は、生体情報の照合により会員を認証できた場合、第１のチェックイン処理と同様にして、該当する会員の会員ＩＤが結果データ６６に登録されているかを店舗サーバ１０に問い合わせる。ここで、照合結果データ６６Ｃが記憶されている場合、プロセッサ３１は、第１のチェックイン処理と同様にして、電子機器４０に対してチェックイン不許可の通知を送信する。認証結果の通知方法としては、例えばタッチパネル３５において認証結果を示す認証コード（例えば、２次元コードパターン）を表示させる。この場合、客は、電子機器４０を操作して、第１のチェックイン処理と同様にして、電子機器４０のカメラユニット４５により認証コードを読み取らせる。

電子機器４０のプロセッサ４１は、チェックイン端末３０から認証結果を受信する（図１４、Ａｃｔ５１）。プロセッサ４１は、チェックイン不許可の通知である場合（図１４、Ａｃｔ５２のＮＯ）、前述と同様にして、チェックインが不許可となったことを通知するための不許可通知を出力し、第２のチェックイン処理を終了すると共に商品登録処理を終了する（Ａｃｔ５５）。

なお、チェックイン端末３０においてチェックイン不許可と判定された場合には、単に、チェックイン端末３０のタッチパネル３５にチェックイン不許可の通知を表示させる（さらにはスピーカ３７からメッセージを出力）ようにしても良い。

一方、プロセッサ３１は、生体情報の照合により会員を認証でき、また該当する会員の会員ＩＤが結果データ６６に登録されていない場合、前述と同様にして、チェックイン許可を示す認証結果を通知する。

電子機器４０のプロセッサ４１は、チェックイン許可の通知を受信した場合（Ａｃｔ５２のＹＥＳ）、電子機器４０に予め記憶されている会員ＩＤと認証コードを読み取った日時（年月日時刻）と共に、店舗サーバ１０に対してチェックイン要求を送信する（Ａｃｔ５３）。

プロセッサ４１は、客のタッチパネル４４に対する操作により店内購入が指示されると（Ａｃｔ５４のＹＥＳ）、客の操作によって商品情報の登録が可能な状態となる。すなわち、プロセッサ４１は、カメラユニット４５を起動して、商品コードの読み取り状態に移行する。

以下、客によるチェックインが完了した場合について説明する。

店舗サーバ１０のプロセッサ１１は、カメラ６０によって撮影された映像からチェックインした客を特定する。映像中から客を特定するための特徴としては、例えば客の顔画像、客が身につけている洋服やバッグなどの所持品等の色や形状を利用することができる。なお、客の特定は、チェックイン端末３０に設けられたカメラ３６によって撮影された映像を用いて実行しても良い。

以下、プロセッサ１１は、各所に配置された複数のカメラ６０によって撮影された映像から、客の特徴をもとに客が撮影されているかを解析し、店舗内を移動する客をトラッキングする（Ａｃｔ７）。プロセッサ１１は、トラッキングの対象とする客が識別された映像データを、図９に示すように、映像データ６５として取引認証６５Ａと対応づけて記憶させる。

一方、電子機器４０のプロセッサ４１は、チェックイン許可通知を受信した場合、商品リスト画面をタッチパネル４４に表示させて、客による入力操作の待機状態となる（Ａｃｔ２２）。また、プロセッサ４１は、商品登録が可能な動作状態に移行したことを通知するためのメッセージをタッチパネル３５に表示させる。例えば、プロセッサ４１は、「チェックインに成功しました。お買い物を始めてください」というようなメッセージをタッチパネル３５に表示させる。なお、電子機器４０は、音声によってメッセージを出力しても良い。

電子機器４０のプロセッサ４１は、例えば図１５に示す商品リスト画面ＳＣ１をタッチパネル４４に表示させる。なお、図１５に示す商品リスト画面ＳＣ１は、既にいくつかの商品が登録された状態の一例を示すもので、初期状態では商品情報は表示されない。

図１５に示す商品リスト画面ＳＣ１には、登録商品リスト領域７０、登録対象商品領域７１、合計表示領域７２、会計ボタン７３、商品登録ボタン７４などが設けられている。登録商品リスト領域７０は、登録済みの商品に関する商品名、個数、単価及び金額のリストを表示するための領域である。登録対象商品領域７１は、最後に登録された商品の商品名、個数、及び合計金額とを表示するための領域である。合計表示領域７２は、登録済みの商品の個数と合計金額を表示するための領域である。

会計ボタン７３は、商品登録を終了して、会計処理に移行することを店舗サーバ１０に通知するためのボタンである。商品登録ボタン７４は、商品登録モードへの移行を指示するためのボタンである。

なお、商品リスト画面ＳＣ１は、登録された商品に関する各種の情報を表示するための基本フォームのみを表しており、図１５に示す以外の商品登録に関係する各種の情報を表示することが可能である。

プロセッサ４１は、商品登録ボタン７４に対する操作がタッチパネル４４において検出された場合（Ａｃｔ２３のＹＥＳ）、カメラユニット４５を起動させると共に、商品情報を読み取るための商品コード読み取り画面を、商品リスト画面ＳＣ１に代えてタッチパネル４４に表示させる（Ａｃｔ２４）。

図１６は、商品コード読み取り画面ＳＣ２の一例を示す図である。商品コード読み取り画面ＳＣ２には、画像表示領域８１と商品リストボタン８３が設けられる。画像表示領域８１は、カメラユニット４５によって撮影される画像を表示する領域であり、バーコードの読み取り位置を示すライン８２が表示されている。商品リストボタン８３は、商品情報の読み取りを中止して、商品リスト画面ＳＣ１の表示を指示するためのボタンである。商品コード読み取り画面ＳＣ２では、例えば「ラインにバーコードを合わせて下さい」のメッセージを表示させる。これにより、客は、商品コード読み取り画面ＳＣ２を利用した商品情報の登録操作を容易に把握することができる。

客は、売場にて購入する商品を見つけると、その商品に付されたバーコード等の商品コードシンボルを電子機器４０のカメラユニット４５によって撮影する。カメラユニット４５によって撮影された画像は、画像表示領域８１において表示される。客は、商品コードシンボル（バーコード）がライン８２の位置で表示されるように表示範囲を調整する。

電子機器４０のプロセッサ４１は、カメラユニット４５によって撮影された画像からコードシンボルを抽出し、コードシンボルが示す例えば商品に固有の商品ＩＤ（商品コード）を読み取る。プロセッサ４１は、カメラユニット４５によって撮影された画像から商品ＩＤが読み取られると（Ａｃｔ２５のＹＥＳ）、商品ＩＤとチェックイン要求で使用した会員ＩＤを含む商品登録データを、店舗サーバ１０に送信する（Ａｃｔ２７）。

なお、一定時間、画像からコードシンボルを抽出できない場合（Ａｃｔ２６、ＹＥＳ）、プロセッサ４１は、商品コード読み取り画面ＳＣ２から商品リスト画面ＳＣ１に表示を変更する（Ａｃｔ２２）。

店舗サーバ１０のプロセッサ１１は、電子機器４０から商品登録データを受信すると、商品ＩＤを検索用のキーとして商品データベース６１を検索する。プロセッサ１１は、商品ＩＤに該当する商品データレコードを商品データベース６１から取得する。商品データレコードには、商品ＩＤ、商品名、価格等が含まれる。プロセッサ１１は、商品データレコードを電子機器４０に送信する。

電子機器４０のプロセッサ４１は、店舗サーバ１０から商品データレコードを受信すると（Ａｃｔ２８）、取引明細データを生成して、補助記憶デバイス４３に記憶させる。また、プロセッサ４１は、タッチパネル４４の表示を、商品コード読み取り画面ＳＣ２から商品リスト画面ＳＣ１に切り替えて、取引明細データの買上商品情報に含まれる商品名、価格等に基づいて、登録商品リスト領域７０、登録対象商品領域７１、合計表示領域７２の表示を更新する。

商品情報（商品ＩＤ）を読み取った商品の商品名、価格等がタッチパネル４４に表示されたことを確認した客は、買物を続ける。そして購入する商品を見つけると、その商品の商品ＩＤを電子機器４０に入力する。電子機器４０のプロセッサ４１は、商品ＩＤが入力されたことを検知すると、前述と同様にして、その商品ＩＤを含む商品登録データを店舗サーバ１０に送信する。プロセッサ４１は、店舗サーバ１０から受信する商品データレコードをもとに取引明細データを更新し、商品リスト画面ＳＣ１の表示を変更する。取引明細データには、購入対象として登録された商品の数を示すデータが含まれる。

客は、店舗内を移動しながら購入する商品を見つけて、商品棚から取り出し、その商品の商品ＩＤを電子機器４０に入力するという作業を繰り返す。客は、商品ＩＤを電子機器４０から入力した後、商品をカートに載置する、あるいはバッグに入れるなどの動作を行う。また、客は、商品を商品棚から取り出して確認し、購入することをやめて商品を商品棚に戻すといった動作をする場合がある。さらに、客による不正な動作として、商品ＩＤを電子機器４０から入力せずに、商品をバッグに入れるなどの動作をする可能性がある。

店舗サーバ１０のプロセッサ１１は、店舗内を移動する客をトラッキングする間、カメラ６０により撮影された映像をもとに、客が商品を購入するための所定の動作をしたかを解析する（図１１、Ａｃｔ８）。プロセッサ１１は、映像に対する解析により、例えば客が商品を商品棚から取り出した動作をしたと判別した場合（Ａｃｔ９のＹＥＳ）、客が商品を購入するための所定の動作をした回数をカウントアップ（＋１）する（Ａｃｔ１０）。また、プロセッサ１１は、映像に対する解析により、例えば、商品棚から取り出した商品を商品棚に戻す動作をしたと判別した場合（Ａｃｔ１１のＹＥＳ）、客が商品を購入するための所定の動作をした回数をカウントダウン（－１）する（Ａｃｔ１２）。すなわち、店舗サーバ１０のプロセッサ１１は、トラッキングの対象とする客の動作について解析し、チェックアウトするまでの客が商品を購入するための所定の動作をした回数を計数する（Ａｃｔ７～１３）。

売場での買物を終えた客は、タッチパネル４４に表示されている会計ボタン７３にタッチして、会計の実行を宣言する。電子機器４０のプロセッサ４１は、会計ボタン７３がタッチされたことを検知すると（Ａｃｔ２９のＹＥＳ）、会計方法の指定を受け付ける。ここで、キャッシュレスによる会計が指定された場合（Ａｃｔ３０のＹＥＳ）、プロセッサ１１は、決済方法の指定を客により指定させる（Ａｃｔ３１）。ここでは、例えば客が利用可能なクレジット会社が指定される。

プロセッサ１１は、取引明細データに登録された商品についての決済を、客により指定された決済方法（例えば、クレジット会社による決済システム）により実行する（Ａｃｔ３２）。

一方、プロセッサ１１は、キャッシュレスによる会計が指定されない場合（Ａｃｔ３０のＮＯ）、プロセッサ１１は、取引明細データの内容を含む取引バーコードを生成し、タッチパネル４４に表示させる（Ａｃｔ３３）。客は、電子機器４０を所持したまま会計処理をする会計機２０の設置場所へと移動する。会計機２０は、客が近づくことで人感センサ２９をオンさせる。人感センサ２９がオンすると、会計機２０のプロセッサ２１は、取引バーコードの入力を要求するためのメッセージをタッチパネル２５に表示させる。客は、タッチパネル４４に表示された取引バーコードを、会計機２０のカメラ２１１によって読み取らせる。

会計機２０のプロセッサ２１は、取引バーコードが示す会計内容（商品名、価格、合計、商品数など）をタッチパネル２５に表示させる。また、プロセッサ２１は、決済方法の指定を入力するための画面をタッチパネル２５に表示させ、客に決済方法を指定させる。ここでは、例えば現金あるいは電子マネーの何れかが指定される。プロセッサ２１は、タッチパネル２５に対する操作によって支払い方法が指定されると、指定された支払い方法による決済処理を実行する。

例えば、現金による支払いの場合には、釣銭機２１０を介して合計金額相当の代金が支払われる。また、電子マネーによる支払いの場合には、リーダライタ２７により読み取られた電子マネーカードから代金が支払われる。プロセッサ２１は、決済処理が完了すると、電子機器４０に決済完了を通知する。

電子機器４０のプロセッサ４１は、決済完了通知を受信すると（図１２、Ａｃｔ３４のＹＥＳ）、決済処理が完了した１取引の取引明細データを店舗サーバ１０に対して送信する（Ａｃｔ３５）。店舗サーバ１０は、電子機器４０から受信した取引明細データ６３を、補助記憶デバイス１３に記憶させる。また、プロセッサ４１は、店舗サーバ１０に対して、会員ＩＤ、決済処理が完了した日時、取引ＩＤの各データを含むチェックアウト要求を店舗サーバ１０に送信する（Ａｃｔ３６）。

店舗サーバ１０のプロセッサ１１は、電子機器４０からチェックアウト要求を受信すると（図１１、Ａｃｔ１３のＹＥＳ）、チェックアウト要求に含まれる会員ＩＤに対応する客についてのトラッキングを終了する（Ａｃｔ１４）。また、プロセッサ１１は、決済が完了した１取引についての映像解析データ６４を補助記憶デバイス１３に記憶させる。映像解析データ６４には、図８に示すように、会員ＩＤ６４Ａ、チェックイン日時６４Ｂ、動作回数６４Ｃ、チェックアウト日時６４Ｄのデータなどが含まれる。

プロセッサ１１は、決済処理が完了した取引の取引ＩＤをキーにして、取引明細データ６３の買上点数６３Ｃと映像解析データ６４に登録された動作回数６４Ｃとを特定する。プロセッサ１１は、買上点数６３Ｃと動作回数６４Ｃとを照合して、数に不一致があるかを判別する突合処理を実行する（Ａｃｔ１６）。すなわち、プロセッサ１１は、客が購入対象として登録した商品情報の数（商品の数）と、客が商品を購入するための所定の動作（商品を商品棚から取り出すなど）をした回数の数を比較する。

プロセッサ１１は、突合処理の結果、例えば、商品を購入するための所定の動作をした回数が、実際に購入対象として登録された商品の数より多いと判定される場合に、会員ＩＤ６６Ａ及び取引ＩＤ６６Ｂと対応づけて照合結果データ６６Ｃを、補助記憶デバイス１３（結果データ６６）に記憶させる。この場合、照合結果データ６６Ｃは、商品の数より所定の動作をした回数の方が多いことを示す。

こうして、結果データ６６が記憶されることで、店舗サーバ１０は、照合結果データ６６Ｃに対応づけられた取引ＩＤ６６Ｂをもとに、映像データ６５から取引ＩＤ６６Ｂに対応する該当するトラッキング映像データ６５Ｂを呼び出すことができる。すなわち、客がトラッキングされている間に撮影された映像を店舗サーバ１０に設けられた表示装置（図示せず）、会計機２０のタッチパネル２５、あるいはネットワーク７０に接続された他の情報処理装置（パーソナルコンピュータ）の表示装置などにおいて表示させることができる。これにより、客の商品購入行動を映像によって確認することができる。この確認によって、結果データ６６に記憶されたデータの内容を、例えば店舗サーバ１０の管理者の操作によって変更することができる。例えば、客が正しい操作をしていることが確認された場合に、照合結果データ６６Ｃを削除（あるいは内容を変更）することで、次回の来店時にチェックイン処理においてチェックイン不許可とならないようにできる。

このようにして、本実施形態における店舗システム１では、客による商品の購入のための動作をチェックし、商品を購入するための所定の動作をした回数と、実際に購入対象として登録された商品の数について突合処理することで、客による操作が正しく実行されているか容易に確認することができる。客は、電子機器４０を用いた通常の商品の購入のための動作をするだけで良いため、客による商品購入のための操作を煩雑にすることもない。

次に、会計機２０を使用して、購入する商品の商品情報が客自身の操作により登録される場合の動作について説明する。例えば、会計機２０では、複数の商品の商品情報を一括して登録できるようにする。

図１７は、本実施形態における店舗サーバ１０（プロセッサ１１）の動作を説明するためのフローチャートである。図１８は、本実施形態におけるチェックイン端末３０（プロセッサ３１）の動作を示すフローチャートである。図１９は、本実施形態における会計機２０（プロセッサ２１）の動作を示すフローチャートである。なお、図１７～図１９に示す動作は一例であり、同様な結果を得ることが可能であればその処理手順及び処理内容は特に限定されるものではない。

チェックイン端末３０は、客の生体情報を使用して、客のチェックインを管理する。ここでは、例えば生体情報として、客の顔画像の特徴データを使用する場合について説明する。

客は、チェックイン端末３０のカメラ３６によって顔画像を撮影させて、認証処理を要求する。チェックイン端末３０のプロセッサ３１は、カメラ３６により撮影された顔画像から特徴データを検出し、店舗サーバ１０の会員データベース６２に登録されている各会員の生体情報（顔画像の特徴データ）と照合する（図１８、Ａｃｔ８１）。

プロセッサ３１は、生体情報の照合により会員を認証できなかった場合（Ａｃｔ８２のＮＯ）、チェックイン端末３０のタッチパネル３５にチェックイン不許可の通知を表示させる（さらにはスピーカ３７からメッセージを出力）ようにしても良い（Ａｃｔ８５）。

また、プロセッサ３１は、生体情報の照合により会員を認証できた場合、第１のチェックイン処理と同様にして、該当する会員の会員ＩＤが結果データ６６に登録されているかを店舗サーバ１０に問い合わせる。ここで、照合結果データ６６Ｃが記憶されている場合、プロセッサ３１は、チェックイン端末３０のタッチパネル３５にチェックイン不許可の通知を表示させる（Ａｃｔ８５）。

一方、プロセッサ３１は、生体情報の照合により会員を認証でき、また該当する会員の会員ＩＤが結果データ６６に登録されていない場合、チェックイン端末３０のタッチパネル３５にチェックイン許可の通知を表示させる（さらにはスピーカ３７からメッセージを出力）ようにしても良い（Ａｃｔ８３）。プロセッサ３１は、チェックインを許可した客の会員ＩＤと、この客による１取引を識別するための取引ＩＤを生成する。プロセッサ３１は、会員ＩＤと取引ＩＤを含むチェックイン通知を店舗サーバ１０に送信する（Ａｃｔ８４）。

店舗サーバ１０のプロセッサ１１は、チェックイン端末３０からチェックイン要求を受信すると（図１７、Ａｃｔ６１のＹＥＳ）、チェックイン通知に含まれる会員ＩＤと取引ＩＤを補助記憶デバイス１３に記憶させる（Ａｃｔ６２）。

以下、客によるチェックインが完了した場合には、店舗サーバ１０は、チェックインした客に対するトラッキングを開始する（Ａｃｔ６３）。なお、図１７に示すＡｃｔ６３～６８の処理については、図１１に示すＡｃｔ７～１０の処理と同様に実行されるものとして説明を省略する。

客は、店内を移動しながら、購入対象とする商品を商品棚から取り出して、例えばカートなどに載置するといった動作を行う。客は、購入対象とする商品の選択が終了すると、会計機２０の設置場所へと移動する。会計機２０は、客が近づくことで人感センサ２９をオンさせる。人感センサ２９がオンすると、会計機２０のプロセッサ２１は、商品登録の動作状態に移行する（図１９、Ａｃｔ９１）。プロセッサ２１は、カメラ２１１を起動して、カート内に載置された商品、あるいは読み取り台などに載置された商品の画像を撮影する。ここでは、例えば全ての商品を一括して撮影するものとする。

プロセッサ２１は、カメラ２１１により撮影された画像から、商品に付された商品コードを読み取る、あるいは商品のパッケージのデザインや形状などをもとに商品を特定するなどの解析処理を実行して、購入対象とする商品を特定する。

プロセッサ２１は、特定した商品を示す商品登録データを店舗サーバ１０に送信し、該当商品の商品データベース６１に記憶された商品データレコードを受信する。プロセッサ２１は、店舗サーバ１０から受信した商品データレコードをもとに取引明細データを生成する。また、プロセッサ２１は、取引明細データの内容に応じて、例えば図１５に示す商品リスト画面をタッチパネル２５に表示させる。

プロセッサ２１は、商品リスト画面の会計ボタンがタッチされたことを検知すると（Ａｃｔ９２のＹＥＳ）、決済方法の指定を受け付ける。プロセッサ２１は、客による決済方法を指定する操作に応じて決済方法を決定する（Ａｃｔ９３）。

ここで、プロセッサ２１は、客について認証処理を実行する（Ａｃｔ９４）。例えば、プロセッサ２１は、前述したチェックイン端末３０と同様にして、客の生体情報（例えば顔画像）を使用して認証を実行するものとする。

プロセッサ２１は、生体情報の照合により会員を認証できなかった場合（Ａｃｔ９５のＮＯ）、会計機２０のタッチパネル２５に不許可の通知を表示させる（Ａｃｔ９７）。一方、プロセッサ２１は、生体情報の照合により会員を認証できた場合（Ａｃｔ９５のＹＥＳ）、会計機２０のタッチパネル２５に許可の通知を表示させる（Ａｃｔ９６）。プロセッサ２１は、指定された決済方法により決済処理を実行する（Ａｃｔ９８）。

プロセッサ２１は、決済処理が完了すると、決済処理が完了した１取引の取引明細データと、会員ＩＤ、決済処理が完了した日時、取引ＩＤの各データを含むチェックアウト通知を店舗サーバ１０に送信する（Ａｃｔ９９）。取引明細データには、図７に示すように、買上対象として商品情報が登録された商品の数（買上点数）のデータを含む。

店舗サーバ１０のプロセッサ１１は、チェックアウト通知を受信すると（図１７、Ａｃｔ６９のＹＥＳ）、会計機２０から受信した取引明細データ（買上点数のデータを含む）を補助記憶デバイス１３に記憶させる。また、プロセッサ１１は、会計機２０から受信した会員ＩＤに対応する客についてのトラッキングを終了する（Ａｃｔ７０）。店舗サーバ１０は、図１７に示すＡｃｔ７１～７３の処理を、図１１に示すＡｃｔ１５～１７の処理と同様に実行する。なお、Ａｃｔ７２では、会計機２０から受信された取引明細データが示す買上点数（商品の数）を用いて突合処理を実行する。以下、図１７に示すＡｃｔ７１～７３の説明については省略する。

このようにして、本実施形態における店舗システム１では、電子機器４０を用いないで商品情報の登録を会計機２０により実行する場合においても、商品を購入するための所定の動作をした回数と、実際に購入対象として登録された商品の数について突合処理することで、客による操作が正しく実行されているか容易に確認することができる。

本実施形態における店舗システム１では、商品情報の登録（商品スキャニング）、会計チェックのための専用の店員を配置させる必要がなく、人員削減を図ることができる。また、客に対して何ら負担を与えることなく客の動作をチェックして、客による不正な行動を抑制することができる。また、本実施形態における店舗システム１では、客の動作の解析、商品の登録をカメラにより撮影した画像を用いて行う。すなわち、多くのセンサ類を必要としないで客の動作を簡易に解析できるようにしている。このため、システムの導入コストを抑制することが可能となる。

なお、店舗サーバ１０の譲渡は一般に、プログラムがＲＯＭ、ＨＤＤ等の記録媒体に記憶された状態にて行われる。しかしこれに限らず、プログラムが記録媒体に記憶されていない状態で譲渡されてもよい。そしてこの場合は、店舗サーバ１０が備える書き込み可能な記憶デバイスに、この店舗サーバ１０とは個別に譲渡されたプログラムがユーザなどの操作に応じて書き込まれる。プログラムの譲渡は、リムーバブルな記録媒体に記録して、あるいはネットワークを介した通信により行うことができる。記録媒体は、ＣＤ－ＲＯＭ，メモリカード等のようにプログラムを記憶でき、かつ装置が読み取り可能であれば、その形態は問わない。

また、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］カメラにより撮影された映像を受信する映像受信手段と、客に固有の識別データを受信する受信手段と、前記客が撮影された前記映像をもとに、前記客が商品を購入するための所定の動作をした回数を計数する計数手段と、前記客による購入対象として商品情報が登録された商品の数と前記回数とを照合する照合手段と、前記照合の結果を示す照合情報を記憶させる記憶手段と、を有する情報処理装置。
［２］前記記憶手段は、前記識別データと対応づけて、前記照合情報を記憶させる付記［１］記載の情報処理装置。
［３］前記識別データの受信時に、予め設定された照合結果を示す前記照合情報が前記識別データと対応づけて記憶されている場合に、前記照合結果に応じた通知を出力する出力手段をさらに有する付記［１］記載の情報処理装置。
［４］前記客が撮影された前記映像を前記識別データと対応づけて記憶する映像記憶手段とをさらに有する付記［１］～［３］の何れかに記載の情報処理装置。
［５］客を撮影するカメラと、購入対象とする商品の商品情報を登録する電子機器と、
前記客が撮影された映像をもとに、前記客が商品を購入するための所定の動作をした回数を計数する計数手段と、前記電子機器により前記商品情報が登録された商品の数と前記回数とを照合する照合手段と、前記照合の結果を示す照合情報を記憶させる記憶手段と、を有する店舗システム。

１…店舗システム、１０…店舗サーバ、１１，２１，３１，４１…プロセッサ、１２，２２，３２，４２…メインメモリ、１３，２３，３３，４３…補助記憶デバイス、１４，２４，４６…通信ユニット、２０（２０－１，…，２０－Ｋ）…会計機、２５，３５…タッチパネル、２６…プリンタ、２７…リーダライタ、３０（３０－１，…，３０－Ｍ）…情報端末、３４…無線ユニット、３６…カメラ、３７…スピーカ、４０（４０－１，…，４０－Ｎ）…電子機器、５０…アクセスポイント、６０…ネットワーク。

Claims (4)

1. カメラにより撮影された映像を受信する映像受信手段と、
   客に固有の識別データを電子機器から受信する受信手段と、
   前記映像における前記識別データに対応する客を特定し、前記客が商品を購入するための所定の動作をした回数を計数し、前記回数と前記識別データとを対応づけて記憶させる計数手段と、
   前記客による購入対象として商品情報が登録された商品の数と前記回数とを照合する照合手段と、
   前記識別データと対応づけて、前記照合の結果を示す照合情報を記憶させる記憶手段と、を有する情報処理装置。
2. 前記識別データの受信時に、商品情報が登録された商品の数と前記回数とが不一致とする照合結果を示す前記照合情報が前記識別データと対応づけて記憶されている場合に、前記識別データに対応する客の認証を不許可とする通知を出力する出力手段をさらに有する請求項１記載の情報処理装置。
3. 前記客が撮影された前記映像を前記識別データと対応づけて記憶する映像記憶手段と、
   前記映像が表示された後に、前記映像の前記識別データに対応する前記照合情報を変更する変更手段と、をさらに有する請求項１または請求項２に記載の情報処理装置。
4. 客を撮影するカメラと、
   購入対象とする商品の商品情報を登録する電子機器と、
   客に固有の識別データを前記電子機器から受信する受信手段と、
   前記カメラにより撮影された映像における前記識別データに対応する客を特定し、前記客が商品を購入するための所定の動作をした回数を計数し、前記回数と前記識別データとを対応づけて記憶させる計数手段と、
   前記電子機器により前記商品情報が登録された商品の数と前記回数とを照合する照合手段と、
   前記識別データと対応づけて、前記照合の結果を示す照合情報を記憶させる記憶手段と、を有する店舗システム。

Images