JP6730076B2 - 商品販売データ処理装置、商品販売データ処理システムおよびプログラム - Google Patents

Description

本発明の実施形態は、商品販売データ処理装置、商品販売データ処理システムおよびプログラムに関する。

店舗で買い物を行った際に、顧客が自ら会計処理を行うことができる、セルフ会計システム、セミ・セルフ会計システムと呼ばれる会計システムが知られている。セルフ会計システム、セミ・セルフ会計システムは、顧客が会計処理を行う前提で設計されている。したがって、顧客が会計処理を行っている最中に何らかのエラーが発生した際、或いは、店員がシステムのメンテナンス等の操作を行う際には、店員が、会計システムを店員モードに切り替えて、エラーに対応する操作やメンテナンス操作を行う。

店員が会計システムを店員モードに切り替える際には、従来、例えば、会計システムに店員の顔画像を認識させることによって、店員モードへの切り替えを行う技術が知られている。しかしながら、このような従来の会計システムにあっては、例えば、店員自身が買い物を行った際の会計処理を行う場合に、意図せずに店員モードに切り替わってしまい、会計処理を行うことが出来ないという問題があった。

本発明が解決しようとする課題は、店員が店員モードに切り替えることを意図しているときにだけ、確実に店員モードに切り替えることができる商品販売データ処理装置、商品販売データ処理システムおよびプログラムを提供することである。

実施形態の商品販売データ処理装置は、生体情報検出部と、店員識別部と、動作検出部と、動作モード変更部と、を備える。生体情報検出部は、商品販売データ処理装置を操作する操作者の生体情報を検出する。店員識別部は、店舗の店員の生体情報に基づいて、生体情報検出部で検出された生体情報を有する操作者が、店員のいずれであるかを識別する。動作検出部は、予め登録された、操作者の固有の動作を検出する。動作モード変更部は、店員識別部が、操作者を店員であると識別するとともに、動作検出部が、固有の動作を検出したことを条件として、商品販売データ処理装置の動作モードを変更する。

図１は、第１の実施形態に係る複数のセルフＰＯＳ端末を店舗に設置した際の構成の一例を示すブロック図である。 図２は、第１の実施形態に係るセルフＰＯＳ端末の外観の一例を示す斜視図である。 図３は、セルフＰＯＳ端末のハードウェア構成の一例を示すハードウェアブロック図である。 図４は、セルフＰＯＳ端末が店員モードへの切り替え処理を行う際の機能構成の一例を示す機能ブロック図である。 図５は、顔の動きに基づく動作検出例について説明する図である。 図６は、セルフＰＯＳ端末が行う店員モードと顧客モードの切り替え処理の流れを示すフローチャートである。 図７は、セルフＰＯＳ端末が行う店員識別処理および動作検出処理の流れを示すフローチャートである。 図８は、第２の実施形態に係るセルフＰＯＳシステムのハードウェア構成の一例を示すハードウェアブロック図である。 図９は、第２の実施形態に係るセルフＰＯＳシステムが店員モードへの切り替え処理を行う際の機能構成の一例を示す機能ブロック図である。

（第１の実施形態）
以下、図面を参照して、第１の実施形態に係る商品販売データ処理装置について詳細に説明する。本実施形態では、顧客自身が売上登録操作および決済操作を実行するセルフＰＯＳ（Point of Sales）端末を商品販売データ処理装置の一例として説明する。なお、店員が売上登録処理を実行し、顧客が決済処理を実行するセミ・セルフＰＯＳ端末を商品販売データ処理装置としてもよい。

図１は、第１の実施形態に係るセルフＰＯＳ端末を、店舗内に複数設定した際の構成の一例を示す模式図である。図１に示すように、店舗には、複数のセルフＰＯＳ端末１とアテンダントＰＣ（Personal Computer）２とが設置される。各セルフＰＯＳ端末１とアテンダントＰＣ２とは、例えばＬＡＮ（Local Area Network）回線等の通信回線ＮＴで電気的に接続されている。

各セルフＰＯＳ端末１は、購入する商品に付されたバーコードや二次元コード等のシンボルを読み取らせる登録部と、読み取らせたシンボルに対応した商品情報に基づいて決済操作を行う決済部とを備える。登録部における売上登録操作と決済部における決済操作は、いずれも顧客自身が行う。セルフＰＯＳ端末１は、顧客が行った売上登録操作に基づいて売上登録処理を実行する。また、セルフＰＯＳ端末１は、顧客が行った決済操作に基づいて決済処理を実行する。なお、セルフＰＯＳ端末１の詳細な構成については後述する。

なお、売上登録処理とは、入力された商品コードに基づいて当該商品の商品名や価格等の商品情報をセルフＰＯＳ端末１に表示し記憶する処理をいう。また、決済処理とは、売上登録処理した商品情報に基づいて、顧客との取引に係る合計金額や釣銭額をセルフＰＯＳ端末１に表示し、会計を行う処理をいう。

アテンダントＰＣ２は、ＰＣあるいはモバイルＰＣで構成される。アテンダントＰＣ２は、通信回線ＮＴを介して、セルフＰＯＳ端末１の使用状況やエラー発生状況を示す諸情報を受信する。アテンダントＰＣ２は、受信した諸情報を、図１に非図示の表示部に表示する。店舗の店員は、アテンダントＰＣ２に表示される諸情報に基づいて、セルフＰＯＳ端末１の使用状況、エラー等の状態および顧客による不正の有無等を監視する。

（セルフＰＯＳ端末の概略構成の説明）
図２は、セルフＰＯＳ端末１の外観の一例を示す斜視図である。図２に示すように、セルフＰＯＳ端末１は、第１筐体４１と第２筐体４２とを備えている。第１筐体４１は、内部に釣銭機２７を収納している。釣銭機２７は、顧客から預かった貨幣（硬貨および紙幣）を金種別に収納し、かつ顧客に対して釣銭としての貨幣（硬貨および紙幣）を払い出す。

また、第１筐体４１は、釣銭機２７に硬貨を入金するための硬貨入金口２７１と釣銭機２７から硬貨を払い出す硬貨排出口２７３を備えている。また、第１筐体４１は、釣銭機２７に紙幣を入金するための紙幣入金口２７４と釣銭機２７から払い出された紙幣の釣銭を払い出す紙幣出金口２７５を備える。

さらに、第１筐体４１は、右側面部に、購入する商品が入れられたカゴを載置する載置台２５を備えている。載置台２５は第１計量部２５１を有している。また、第１筐体４１は、左側面部に、商品を投入するレジ袋（図示せず）をセットする載置台２６を有している。載置台２６は第２計量部２６１を有している。第１計量部２５１は、載置台２５に載置されたカゴとカゴ内の商品の合計重量を計量する。第２計量部２６１は、載置台２６に載置されたレジ袋とレジ袋内の商品の合計重量を計量する。

また、載置台２６は、載置台２６の上面から上方に延出する２本の支柱４３と支柱４３の上部に形成された一時置台４４と２本の延出棒４５を備える。延出棒４５は、売上登録操作を行った商品を詰めるレジ袋を引っ掛ける棒である。レジ袋は延出棒４５に取手を引っ掛けられた状態で開口し、商品を投入し易くする。また、一時置台４４は、後述する読取部２３で商品コードを読み取らせた商品のうち、壊れやすい商品（豆腐や卵）を一時的に載置する台である。一時置台４４に載置された商品は最後に袋に詰める。

第２筐体４２は、第１筐体４１の上部に設けられている。第２筐体４２は、内部に、読取部２３と印字部２４とカード読取部２８を収納する。読取部２３は、商品に付されたシンボルに含まれる商品コードを例えば光学的に読み取る装置である。印字部２４は、顧客が購入した商品の取引情報を印字してレシートを発行する。カード読取部２８は、挿入された顧客カードから顧客コードを電気的に読み出す。なお、顧客コードは、顧客カードに印字されたシンボルを読取部２３で光学的に読み取って入力するようにしてもよい。

また、第２筐体４２の上部には、顧客による登録操作に伴う商品の商品情報や会計情報を表示する表示部２２が備えられる。表示部２２は、顧客に対して、顧客が適切に登録操作や会計操作を行うためのガイダンスを表示する。また、表示部２２は、顧客が誤操作したときの訂正方法や店員の呼出方法などを表示する。

表示部２２は、表面にタッチパネル２１を備えている。タッチパネル２１はキーの役目を果たす。表示部２２上に表示された各種キーに対応する位置のタッチパネル２１を操作することによって、当該キーが操作される。なお、表示部２２の外枠近傍には、セルフＰＯＳ端末１を操作中の顧客の顔を含む画像を撮影する撮像部３０が設置されている。撮像部３０は、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）、ＣＣＤ（Charge Coupled Device）等の固体撮像素子を備えたカメラで構成されている。

また、第２筐体４２は、後方に、上部に延出する円柱状のポール４６を備えている。ポール４６の上方先端部には、顧客が店員を呼び出す操作をしたときに発光する発光部２９が設置されている。

顧客は、載置台２５に載置されたカゴから商品を取り出して、取り出した商品を読取部２３に翳すことによって、当該商品に付されたシンボルを読取部２３に読み取らせる。そして顧客は、当該商品を載置台２６に載置されたレジ袋に投入する。第１計量部２５１が、載置台２５に載置されたカゴから商品を取り出した前後の重量を計量することによって、後述する制御部１００（図３参照）は、変化した重量を計測する。第２計量部２６１が、載置台２６に載置されたカゴに商品が投入された前後の重量を計量することによって、制御部１００は、変化した重量を計測する。この前後の重量が等しい場合、制御部１００は、顧客が正しく操作をしている（すなわち顧客は不正をしていない）と判定する。一方、前後の重量が異なる場合、制御部１００は顧客が正しく操作をしていない（すなわち顧客が不正をしている）可能性があると判定する。そして、前後の重量が異なる場合には、例えば、表示部２２に、「計量できません」、「置き台から離れて下さい」等のメッセージを表示することによって、顧客に対する注意喚起を行う。

（セルフＰＯＳ端末のハードウェア構成の説明）
次に、図３を用いて、セルフＰＯＳ端末１のハードウェア構成について説明する。図３は、セルフＰＯＳ端末１のハードウェア構成の一例を示すブロック図である。図３に示すように、セルフＰＯＳ端末１は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、メモリ部１４等を備えている。ＣＰＵ１１は、制御主体となる。ＲＯＭ１２は、各種プログラムを記憶する。ＲＡＭ１３は、各種データを展開する。メモリ部１４は、制御プログラム１４１および店員マスタ１４２を記憶する。

ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、メモリ部１４は、互いにデータバス１５を介して接続されている。ＣＰＵ１１とＲＯＭ１２とＲＡＭ１３が、制御部１００を構成する。すなわち、制御部１００は、メモリ部１４に記憶された制御プログラム１４１を読み出してＲＡＭ１３上に展開する。そして、制御部１００は、ＣＰＵ１１が制御プログラム１４１に従って動作することによって、後述する各種処理を実行する。すなわち、セルフＰＯＳ端末１は、ＣＰＵ（Central Processing Unit）１１が制御主体となって制御プログラム１４１を実行する、一般的なコンピュータシステムの構成を有する。

制御プログラム１４１は、インストール可能な形式または実行可能な形式のファイルで、ＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disc）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。或いは、インターネット等のネットワークに接続されたコンピュータに格納した制御プログラム１４１を、ネットワーク経由で、後述する通信部４７を介してセルフＰＯＳ端末１にダウンロードしてもよい。

ＲＡＭ１３は、商品情報を記憶する商品マスタ１３１を有する。商品マスタ１３１は、各商品の商品コードと、その商品の「商品名」や「商品単価」等の商品情報と、を対応付けて記憶したテーブルである。メモリ部１４は、電源を切っても記憶情報が保持されるＨＤＤ（Hard Disc Drive）やフラッシュメモリ等の不揮発性メモリで構成されて、制御プログラム１４１を記憶する。また、メモリ部１４は、店員マスタ１４２を有する。店員マスタ１４２は、セルフＰＯＳ端末１を店員モードで使用する可能性のある店員の顔特徴と、当該店員がセルフＰＯＳ端末１を店員モードで使用する際に、セルフＰＯＳ端末１を店員モードで使用する意志表示を表す動作情報と、をそれぞれ店舗の店員と関連付けて、店員データとして記憶したテーブルである。なお、顔特徴と店員が行う動作について、詳しくは後述する。

また、制御部１００は、データバス１５およびコントローラ１６を介して、前述したタッチパネル２１、表示部２２、読取部２３、印字部２４、第１計量部２５１、第２計量部２６１、釣銭機２７、カード読取部２８、発光部２９、撮像部３０と、それぞれ接続している。

タッチパネル２１は、表示部２２に表示する「開始キー」に対応した開始キー２１１、表示部２２に表示する「終了キー」に対応した終了キー２１３、および表示部２２に表示する「店員モードキー」に対応した店員モードキー２１２を備える。

開始キー２１１は、セルフＰＯＳ端末１の操作を行う顧客が、売上登録処理を開始する際に押下する。すなわち、顧客が開始キー２１１を押下すると、セルフＰＯＳ端末１は売上登録処理を開始する。

終了キー２１３は、セルフＰＯＳ端末１の操作を行う顧客が、売上登録操作を終了する際に押下する。すなわち、顧客が終了キー２１３を押下すると、セルフＰＯＳ端末１は売上登録処理を終了する。

店員モードキー２１２は、店員がセルフＰＯＳ端末１を店員モードで使用する際に押下する。すなわち、店員が店員モードキー２１２を押下すると、セルフＰＯＳ端末１は店員モードで動作を行うスタンバイ状態となる。その後、セルフＰＯＳ端末１は、店員モードキー２１２を押下したのが、予め登録された店員であるかを確認した上で、店員モードでの動作を開始する。なお、店員モードキー２１２を押下したのが、予め登録された店員であるかを確認する処理については後述する。

なお、店員モードでの使用を終了した際に、店員が終了キー２１３を押下すると、セルフＰＯＳ端末１は店員モードを終了する。すなわち、終了キー２１３は、店員モードの終了を指示する機能も併せ持つ。

また、制御部１００は、データバス１５を介して通信部４７と接続する。通信部４７は、通信回線ＮＴを介して、他のセルフＰＯＳ端末１やアテンダントＰＣ２と情報の送受信を行う。

（セルフＰＯＳ端末の機能構成の説明）
次に、図４を用いて、セルフＰＯＳ端末１が店員モードへの切り替え処理を行う際の機能構成について説明する。図４は、セルフＰＯＳ端末１が店員モードへの切り替え処理を行う際の機能構成の一例を示す機能ブロック図である。

セルフＰＯＳ端末１の制御部１００は、制御プログラム１４１（図３）に従って動作することで、図４に示す顔画像登録部８０、動作登録部８２、検出動作起動部８４、顔特徴検出部８６、店員識別部８８、動作検出部９２、動作モード変更部９０として動作する。なお、制御部１００は、前述した売上登録処理と決済処理も実行するが、ここでは、本発明の特徴的な構成である店員モードへの切り替え処理を行う機能構成についてのみ説明する。

顔画像登録部８０は、セルフＰＯＳ端末１を店員モードで使用する可能性のある店員の顔特徴または顔画像を、店員マスタ１４２に登録する顔画像登録処理を行う。具体的には、撮像部３０で撮影した店員の顔画像に対して、後述する顔特徴検出部８６において、生体情報としての顔特徴を検出する顔特徴検出処理を行う。そして、セルフＰＯＳ端末１を店員モードで使用する可能性のある店員から検出した顔特徴を、当該店員と関連付けて、店員マスタ１４２に登録する。なお、顔画像登録処理は、特定のセルフＰＯＳ端末１において実行される。

顔特徴とは、個人の顔を特徴付ける視覚的な特徴である。本実施形態の例では、例えば、顔の中に普遍的に存在する特徴点（目、鼻、口等）の位置、各特徴点同士の位置関係を顔特徴として利用する。なお、登録される店員が増えると、各店員を高い精度で識別するために、使用する顔特徴の変更、および識別を行うためのしきい値の変更ができるのが望ましい。したがって、検出した顔特徴と併せて、撮像部３０で撮影した店員の顔画像も店員マスタ１４２に登録しておく。これによって、登録される店員の数が増加した際には、登録した顔画像の中から、改めて顔特徴を検出することによって、識別のための基準を変更することができる。ここで、顔画像に基づく個人認証は、現在では広く一般に用いられており、数々の顔特徴の検出方法、および識別アルゴリズムが提案されている。本実施形態では、そのいずれの顔特徴を用いてもよい。また、いずれの識別アルゴリズムを用いてもよい。

動作登録部８２は、セルフＰＯＳ端末１を店員モードで使用する意志表示を表す各店員固有の動作情報を、店員マスタ１４２に登録する動作登録処理を行う。本実施形態では、店員に顔の動きを伴う動作を行わせて、そのときに撮像部３０で撮影した画像（動画像）を店員マスタ１４２に登録する。その際、少なくとも、撮像部３０で撮影した動画像の中から検出した顔特徴の動きを数値化して、店員と関連付けた動作情報として店員マスタ１４２に登録する。各店員に行わせる、顔の動きを伴う具体的な動作の例については後述する。このようにして、店舗の店員と関連付けられて店員マスタ１４２に登録された顔特徴と顔特徴の動きを示す動作情報とは、店員データとして、通信回線ＮＴを介して、他のセルフＰＯＳ端末１が備える店員マスタ１４２に送信され、登録される。これによって、店舗に備えられたいずれのセルフＰＯＳ端末１においても、以下に説明する各処理が同様に実行される。なお、セルフＰＯＳ端末１を店員モードで使用する意志表示を表す所定の動作は、各店員で異なる動作としてもよいし、店員間で同じ動作としてもよい。特に、所定の動作を店員間で同じ動作としたときには、店員マスタ１４２には、店員データとして、店舗の店員と各店員の顔特徴のみを対応付けて登録しておけばよく、動作情報は対応付けて登録しておく必要はない。この場合、店員間で共通する所定の動作の内容は、後述する動作検出部９２に登録する。

検出動作起動部８４は、後述する顔特徴検出部８６に対して、顔特徴検出処理を開始するトリガーを与える。具体的には、検出動作起動部８４は、前述した店員モードキー２１２（図３）が押下されたかを検出して、店員モードキー２１２が押下されたときに、顔特徴検出部８６に対して顔特徴検出処理を開始させる。

顔特徴検出部８６は、生体情報検出部の一例である。顔特徴検出部８６は、撮像部３０で画像を撮影して、撮影された画像の中から顔特徴を検出する顔特徴検出処理を行う。具体的には、顔特徴検出部８６は、撮影された画像の中から、顔画像登録部８０が前述した顔画像登録処理を行う際に検出した顔特徴と同じ顔特徴を検出する。なお、店員が店員モードキー２１２を押下してから表示部２２を覗き込むまでにはタイムラグがあるため、撮影された画像の中には、店員が写っていない可能性がある。したがって、撮像部３０は、所定の時間間隔（例えば１／３０秒間隔）で画像を連続的に撮影する。そして、撮影された各画像に対して、それぞれ顔特徴検出処理を行う。顔特徴検出部８６は、検出した顔特徴を店員識別部８８と動作検出部９２に送る。このとき、画像の中に店員の顔が写っていないときには顔特徴が検出できないため、撮影した一連の画像の中から、顔特徴が検出された画像のみについて、顔特徴の検出結果と、その画像が得られた時刻（例えばタイムスタンプ）と、を店員識別部８８と動作検出部９２に送る。

店員識別部８８は、顔特徴検出部８６が検出した顔特徴を、店員マスタ１４２に登録された各店員の顔特徴と照合する店員識別処理を行う。そして、店員識別部８８は、撮影された画像に写っているのがどの店員であるかを判定する。店員識別部８８は、識別された店員を表す、例えば固有のＩＤ番号を後述する動作モード変更部９０に送る。このとき、店員識別部８８には、前述したように、顔特徴検出部８６から顔特徴の検出結果が複数送られるため、店員識別部８８は、複数の顔特徴の検出結果のそれぞれに対して店員識別処理を行う。そして、店員識別部８８は、予め設定した複数枚の画像で同一店員と照合がとれたとき（すなわち、所定の時間に亘って同一店員であると認識されたとき）に、当該店員であると判定する。表示部２２を覗き込む店員の顔にはぶれが発生するおそれがあるため、顔の大きさや顔の位置が変動する。したがって、異なる時間に撮影された複数枚の画像を用いて照合を行うことによって、照合の精度を向上させることができる。

動作検出部９２は、顔特徴検出部８６が検出した顔特徴に基づいて、店員が行った動作を検出する動作検出処理を行う。具体的には、顔特徴検出部８６が時間的に連続した複数の画像から検出した顔特徴の動きに基づいて、店員が行った動作の種類を検出する。検出された動作は、店員マスタ１４２に登録された各店員の動作情報と照合する。そして、動作検出部９２は、撮影された画像に写っている動作が、どの店員が登録した動作情報に合致するかを識別する。動作検出部９２は、識別された動作情報を表す固有のＩＤ番号を後述する動作モード変更部９０に送る。なお、店員間で同じ動作を設定したときには、動作検出部９２は、動作検出部９２に登録された動作を検出すればよい。

店員識別部８８が行う店員識別処理と、動作検出部９２が行う動作検出処理と、は、いかなる順序で処理を行ってもよい。具体的には、店員識別処理を先に実行して、店員を識別した後で動作検出処理を行ってもよい。この順序で処理を行うことによって、店員マスタ１４２に登録された情報に基づいて、識別された店員が行うであろう動作が予測できるため、動作検出処理は、予測された動作がなされたかを検出すればよい。そのため、動作検出処理を効率的に行うことができる。

逆に、動作検出処理を先に実行して、動作を検出した後で店員識別処理を行ってもよい。この順序で処理を行うことによって、店員マスタ１４２に登録された情報に基づいて、検出された動作を行う店員が予測できるため、店員識別処理は、予測された店員が写っているかを識別すればよい。そのため、店員識別処理を効率的に行うことができる。

さらに、店員識別処理と動作検出処理とを同時並行的に実行することもできる。前述したように、表示部２２を覗き込む店員の顔にはぶれが発生するおそれがあるため、店員識別処理を行うためにも複数枚の画像から得た顔特徴を用いて照合を行うのが望ましい。また、動作検出処理を行うためにも、複数枚の画像が必要となる。したがって、撮影された画像（動画像）の状態によっては、店員識別処理の識別結果が先に確定する場合もあれば、動作検出処理の検出結果が先に確定する場合もある。

例えば、顔が小さく写っている場合には、店員識別処理を行うには不十分な画像であっても、必要な特徴点が検出できさえすれば、動作検出処理を実行できる可能性がある。そのため、時間的に先に確定した結果（店員識別処理の識別結果または動作検出処理の検出結果）に基づいて、他方の処理における識別対象または検出対象を絞り込むことができる。このような処理形態をとることによって、より効率的に処理を行うことができる。後述する店員識別処理および動作検出処理の流れの説明（図７参照）では、店員識別処理と動作検出処理とを同時並行的に実行する例を用いて説明する。

動作モード変更部９０は、店員識別処理の識別結果と動作検出処理の検出結果が、店員マスタ１４２に登録された情報と合致するかを判定する。すなわち、店員識別部８８が識別した店員のＩＤ番号および動作検出部９２が検出した動作のＩＤ番号が、店員マスタ１４２に登録された情報と合致するかを判定する。そして、動作モード変更部９０は、店員のＩＤ番号および動作のＩＤ番号がともに一致したとき、セルフＰＯＳ端末１を、顧客モードから店員モードに切り替える。一方、店員のＩＤ番号および動作のＩＤ番号が登録情報と一致しないとき、または店員識別部８８が店員であることを識別できなかったとき、或いは動作検出部９２が動作を検出できなかったときには、動作モード変更部９０は、セルフＰＯＳ端末１を顧客モードから店員モードへ切り替えない。

また、動作モード変更部９０は、セルフＰＯＳ端末１が店員モードの状態にあるときに終了キー２１３が押下されたことを条件として、セルフＰＯＳ端末１を顧客モードに切り替える。

（動作検出方法の説明）
次に、図５を用いて、セルフＰＯＳ端末１の動作検出部９２が行う動作検出例について説明する。図５は、顔の動きに基づく動作検出例について説明する図である。

動作検出部９２は、顔特徴の位置が、時間とともにどのように動いたかを検出することによって、動作を検出する。動作検出部９２は、図５に示す複数の種類の動作を検出することができる。

顔特徴である目、鼻、口の位置をひとまとめにして、それらが時間とともにどのように動いたかを検出することによって、顔の向き、首の縦振り（うなずき）、首の横振り、表情を検出することができる。

また、目（まぶた）の位置に着目することによって、まばたき、ウインクを検出することができる。

さらに、目（眼球）の位置および顔全体に着目することによって、視線方向を検出することができる。

また、口の位置に着目することによって、唇の動きを検出することができる。

このように、動作検出部９２は、顔の中の着目すべき部位に対応した動作を検出することができる。

（店員モードと顧客モードの切り替え処理の流れの説明）
図６を用いて、セルフＰＯＳ端末１が行う店員モードと顧客モードの切り替え処理の流れについて説明する。図６は、セルフＰＯＳ端末１が行う店員モードと顧客モードの切り替え処理の流れを示すフローチャートである。

検出動作起動部８４は、店員モードキー２１２が押下されたかを判定する（ステップＳ１０）。店員モードキー２１２が押下されたとき（ステップＳ１０；Ｙｅｓ）はステップＳ１２に進み、それ以外のとき（ステップＳ１０；Ｎｏ）はステップＳ２２に進む。なお、ステップＳ１０の処理は、割り込み処理として実行される。

店員識別部８８が店員識別処理を行い、動作検出部９２が動作検出処理を行う（ステップＳ１２）。なお、ステップＳ１２で行う詳細な処理の流れについては後述する。

動作モード変更部９０は、店員識別処理の結果および動作検出処理の結果に基づいて、撮像部３０が撮影した画像に写っているのが、店員マスタ１４２に登録された店員であるかを判定する（ステップＳ１４）。登録された店員であるとき（ステップＳ１４；Ｙｅｓ）はステップＳ１６に進み、それ以外（ステップＳ１４；Ｎｏ）はステップＳ２２に進む。

動作モード変更部９０は、セルフＰＯＳ端末１を店員モードに切り替える（ステップＳ１６）。

動作モード変更部９０は、終了キー２１３が押下されたかを判定する（ステップＳ１８）。終了キー２１３が押下されたとき（ステップＳ１８；Ｙｅｓ）はステップＳ２０に進み、それ以外のとき（ステップＳ１８；Ｎｏ）はステップＳ１８を繰り返す。

動作モード変更部９０は、セルフＰＯＳ端末１を顧客モードに切り替える（ステップＳ２０）。その後、ステップＳ２２に進む。

セルフＰＯＳ端末１は、売上登録処理と決済処理を行う（ステップＳ２２）。

制御部１００は、店員を呼び出す操作がなされたかを判定する（ステップＳ２４）。店員を呼び出す操作がなされたとき（ステップＳ２４；Ｙｅｓ）はステップＳ２６に進み、それ以外のとき（ステップＳ２４；Ｎｏ）はステップＳ３８に進む。なお、ステップＳ２４の処理は、割り込み処理として実行される。

検出動作起動部８４は、店員モードキー２１２が押下されたかを判定する（ステップＳ２６）。店員モードキー２１２が押下されたとき（ステップＳ２６；Ｙｅｓ）はステップＳ２８に進み、それ以外のとき（ステップＳ２６；Ｎｏ）はステップＳ２６を繰り返す。

店員識別部８８が店員識別処理を行い、動作検出部９２が動作検出処理を行う（ステップＳ２８）。なお、ステップＳ２８で行う詳細な処理の流れについては後述する。

動作モード変更部９０は、店員識別処理の結果および動作検出処理の結果に基づいて、撮像部３０が撮影した画像に写っているのが、店員マスタ１４２に登録された店員であるかを判定する（ステップＳ３０）。登録された店員であるとき（ステップＳ３０；Ｙｅｓ）はステップＳ３２に進み、それ以外（ステップＳ３０；Ｎｏ）はステップＳ２８に戻る。

動作モード変更部９０は、セルフＰＯＳ端末１を店員モードに切り替える（ステップＳ３２）。

動作モード変更部９０は、終了キー２１３が押下されたかを判定する（ステップＳ３４）。終了キー２１３が押下されたとき（ステップＳ３４；Ｙｅｓ）はステップＳ３６に進み、それ以外のとき（ステップＳ３４；Ｎｏ）はステップＳ３４を繰り返す。

動作モード変更部９０は、セルフＰＯＳ端末１を顧客モードに切り替える（ステップＳ３６）。その後、ステップＳ２２に戻る。

制御部１００は、決済処理が完了したことを検出することによって、セルフＰＯＳ端末１における会計処理が終了したかを判定する（ステップＳ３８）。会計処理が終了したとき（ステップＳ３８；Ｙｅｓ）は図６の処理を終了し、それ以外のとき（ステップＳ３８；Ｎｏ）は、ステップＳ２２に戻る。

（店員識別処理および動作検出処理の流れの説明）
次に、図６のステップＳ１２およびステップＳ２８で行われる、店員識別処理および動作検出処理の流れについて、図７を用いて説明する。図７は、セルフＰＯＳ端末１が行う店員識別処理および動作検出処理の流れを示すフローチャートである。

撮像部３０は画像を撮影する（ステップＳ５０）。

顔特徴検出部８６は、撮影された画像の中から顔特徴を検出する顔特徴検出処理を行う（ステップＳ５２）。

店員識別部８８は、顔特徴検出部８６が検出した顔特徴を、店員マスタ１４２に登録された各店員の顔特徴と照合する店員識別処理を行う（ステップＳ５４）。

店員識別部８８は、顔照合が完了したかを判定する（ステップＳ５６）。顔照合が完了したとき（ステップＳ５６；Ｙｅｓ）はステップＳ５８に進み、それ以外のとき（ステップＳ５６；Ｎｏ）はステップＳ６６に進む。

動作検出部９２は、店員識別処理の結果と、店員マスタ１４２に登録された情報と、に基づいて、動作検出処理によって検出する動作を、識別された店員が行う動作に絞り込む（ステップＳ５８）。

動作検出部９２は、顔特徴検出部８６が検出した顔特徴に基づいて、店員が行った動作を検出する動作検出処理を行う（ステップＳ６０）。

動作検出部９２は、動作検出が完了したかを判定する（ステップＳ６２）。動作検出が完了したとき（ステップＳ６２；Ｙｅｓ）はメインルーチン（図６）に戻り、それ以外のとき（ステップＳ６２；Ｎｏ）はステップＳ６４に進む。

撮像部３０は画像を撮影する（ステップＳ６４）。その後、ステップＳ６０に戻る。

ステップＳ５６において、店員識別部８８が顔照合を完了していないとき（ステップＳ５６；Ｎｏ）は、動作検出部９２は、動作検出処理を行う（ステップＳ６６）。

動作検出部９２は、動作検出が完了したかを判定する（ステップＳ６８）。動作検出が完了したとき（ステップＳ６８；Ｙｅｓ）はステップＳ７０に進み、それ以外のとき（ステップＳ６８；Ｎｏ）はステップＳ５０に戻る。

店員識別部８８は、動作検出処理の結果に基づいて、店員マスタ１４２に登録された店員の中から、店員識別処理によって照合すべき店員を絞り込む（ステップＳ７０）。

撮像部３０は画像を撮影する（ステップＳ７２）。

顔特徴検出部８６は、顔特徴検出処理を行う（ステップＳ７４）。

店員識別部８８は、店員識別処理を行う（ステップＳ７６）。

店員識別部８８は、顔照合が完了したかを判定する（ステップＳ７８）。顔照合が完了したとき（ステップＳ７８；Ｙｅｓ）はメインルーチン（図６）に戻り、それ以外のとき（ステップＳ７８；Ｎｏ）はステップＳ７２に戻る。

図７のフローチャートに沿って店員識別処理と動作検出処理を行うことによって、撮像部３０が撮影する画像の状態によらずに、店員識別処理と動作検出処理とを、ともに効率的に実行することができる。

（第２の実施形態）
次に、第２の実施形態について説明する。第２の実施形態は、第１の実施形態で説明したセルフＰＯＳ端末１（商品販売データ処理装置）を、セルフＰＯＳ端末１ａと、セルフＰＯＳ端末１ａと通信回線ＮＴを介して接続されたサーバ装置３と、を備えるセルフＰＯＳシステム１ｂ（商品販売データ処理システム）として構成したものである。セルフＰＯＳシステム１ｂは、前述したセルフＰＯＳ端末１と構成が異なるのみで、同じ機能を有する。

（セルフＰＯＳシステムのハードウェア構成の説明）
図８を用いて、セルフＰＯＳシステム１ｂのハードウェア構成について説明する。図８は、セルフＰＯＳシステム１ｂのハードウェア構成の一例を示すブロック図である。図８に示すように、セルフＰＯＳシステム１ｂは、セルフＰＯＳ端末１ａとサーバ装置３と、を備える。セルフＰＯＳ端末１ａとサーバ装置３は協働することによって、第１の実施形態で説明したセルフＰＯＳ端末１と同じ機能を実現する。

セルフＰＯＳ端末１ａは、前述したセルフＰＯＳ端末１と同じハードウェア構成を有しており、メモリ部１４が制御プログラム１４３を備える点のみが異なっている。なお、個々の部位はセルフＰＯＳ端末１と同じであるため、説明は省略する。

サーバ装置３は、セルフＰＯＳ端末１ａと通信回線ＮＴを介して電気的に接続されている。サーバ装置３は、ＣＰＵ（Central Processing Unit）５０、ＲＯＭ（Read Only Memory）５２、ＲＡＭ（Random Access Memory）５４、メモリ部５６、および通信部５８を備えている。ＣＰＵ５０は、制御主体となる。ＲＯＭ５２は、各種プログラムを記憶する。ＲＡＭ５４は、各種データを展開する。メモリ部５６は、制御プログラム１４４および店員マスタ１４２ａを記憶する。通信部５８は、通信回線ＮＴを介して、セルフＰＯＳ端末１ａやアテンダントＰＣ２（図１）と情報の送受信を行う。

ＣＰＵ５０、ＲＯＭ５２、ＲＡＭ５４、メモリ部５６は、互いにデータバス６０を介して接続されている。ＣＰＵ５０とＲＯＭ５２とＲＡＭ５４が、制御部１００ａを構成する。すなわち、制御部１００ａは、メモリ部５６に記憶された制御プログラム１４４を読み出してＲＡＭ５４上に展開する。そして、制御部１００ａは、ＣＰＵ５０が制御プログラム１４４に従って動作することによって、後述する各種処理を実行する。すなわち、サーバ装置３は、ＣＰＵ（Central Processing Unit）５０が制御主体となって制御プログラム１４４を実行する、一般的なコンピュータシステムの構成を有する。

制御プログラム１４４は、インストール可能な形式または実行可能な形式のファイルで、ＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disc）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。或いは、インターネット等のネットワークに接続されたコンピュータに格納した制御プログラム１４４を、ネットワーク経由で、通信部５８を介してサーバ装置３にダウンロードしてもよい。

（セルフＰＯＳシステムの機能構成の説明）
次に、図９を用いて、セルフＰＯＳ端末１ａが店員モードへの切り替え処理を行う際の機能構成について説明する。図９は、セルフＰＯＳ端末１ａが店員モードへの切り替え処理を行う際の機能構成の一例を示す機能ブロック図である。

セルフＰＯＳシステム１ｂ（商品販売データ処理システム）は、第１の実施形態においてセルフＰＯＳ端末１が実行していた機能の一部を、サーバ装置３において実行する。すなわち、セルフＰＯＳシステム１ｂは、撮像部３０が撮影した顔画像の中から検出した顔特徴、および撮影した画像をサーバ装置３に送信して、サーバ装置３において店員識別処理と動作検出処理を行う。そして、サーバ装置３において顧客モードを店員モードに切り替えるかを判定して、判定結果をセルフＰＯＳ端末１ａに送信する構成になっている。

セルフＰＯＳ端末１ａの制御部１００は、制御プログラム１４３に従って動作することで、図９に示す顔画像登録部８０、動作登録部８２、検出動作起動部８４、顔特徴検出部８６、顔特徴送信部９４、動作モード変更部９０ａとして動作する。なお、制御部１００は、第１の実施形態で説明した売上登録処理と決済処理も実行するが、ここでは、本発明の特徴的な構成である店員モードへの切り替え処理を行う機能構成についてのみ説明する。

制御部１００が有する、顔画像登録部８０、動作登録部８２、検出動作起動部８４、顔特徴検出部８６の機能は、第１の実施形態で説明した通りであるため、説明は省略する。

顔特徴送信部９４は、生体情報送信部の一例である。顔特徴送信部９４は、顔特徴検出部８６が検出した顔特徴、および撮像部３０が撮影した顔画像を、通信回線ＮＴを介してサーバ装置３に送信する。

動作モード変更部９０ａは、サーバ装置３が備える、後述する動作モード変更指示部９８からの指示を受けて、セルフＰＯＳ端末１ａを顧客モードから店員モードに切り替える。

サーバ装置３の制御部１００ａは、制御プログラム１４４に従って動作することで、図９に示す顔特徴受信部９６、店員識別部８８ａ、動作検出部９２ａ、動作モード変更指示部９８として動作する。

制御部１００ａが有する、店員識別部８８ａ、動作検出部９２ａの機能は、第１の実施形態で説明した通りであるため、説明は省略する。

顔特徴受信部９６は、生体情報受信部の一例である。顔特徴受信部９６は、顔特徴送信部９４が送信した顔特徴および顔画像を受信する。

動作モード変更指示部９８は、店員識別部８８ａの識別結果および動作検出部９２ａの検出結果に基づいて、セルフＰＯＳ端末１ａを顧客モードから店員モードに切り替えるかを判定する。そして、セルフＰＯＳ端末１ａを顧客モードから店員モードに切り替える際には、セルフＰＯＳ端末１ａの動作モード変更部９０ａに対して、顧客モードから店員モードへの切り替えを指示する。

セルフＰＯＳシステム１ｂが行う店員モードと顧客モードの切り替え処理の流れは、第１の実施形態で説明したセルフＰＯＳ端末１が行う処理の流れと、セルフＰＯＳ端末１ａとサーバ装置３との間で情報の送受信が発生する部分を除くと実質的に同じであるため、説明は省略する。

以上説明したように、第１の実施形態のセルフＰＯＳ端末１（商品販売データ処理装置）によれば、検出動作起動部８４によって起動された顔特徴検出部８６（生体情報検出部）が顔特徴（生体情報）を検出する。そして、店員識別部８８が、検出された顔特徴を店員マスタ１４２に登録された店員の顔特徴と照合することによって、セルフＰＯＳ端末１の操作者が、登録されたいずれの店員であるかを識別する。また、動作検出部９２が、店員の所定の動作を検出する。そして、動作モード変更部９０は、店員識別部８８が、セルフＰＯＳ端末１の操作者を予め登録された店員であると識別するとともに、動作検出部９２が、所定の動作を検出したことを条件として、セルフＰＯＳ端末１を、店員に応じた動作モードに変更する。すなわち、店員は、店員モードに切り替える際には、店員モードに切り替える意志表示を示す所定の動作を行う必要がある。したがって、店員自身が買い物を行う際には、所定の動作を行わないことによって、勝手に店員モードに切り替わらないようにすることができる。また、名札やコード入力を用いないため、他人になりすますことによって、セルフＰＯＳ端末１を不正に使用する危険性を低減することができる。

また、第１の実施形態のセルフＰＯＳ端末１（商品販売データ処理装置）によれば、検出動作起動部８４によって起動された顔特徴検出部８６（生体情報検出部）が顔特徴（生体情報）を検出する。そして、店員識別部８８が、検出された顔特徴を店員マスタ１４２に登録された店員データと照合することによって、セルフＰＯＳ端末１の操作者が、登録されたいずれの店員であるかを識別する。また、動作検出部９２が、店員の所定の動作を検出する。そして、動作モード変更部９０は、店員識別部８８が、セルフＰＯＳ端末１の操作者を予め登録された店員であると識別するとともに、動作検出部９２が、当該店員に関連付けられた動作を検出したことを条件として、セルフＰＯＳ端末１を、店員に応じた動作モードに変更する。したがって、店員自身が買い物を行う際には、所定の動作を行わないことによって、勝手に店員モードに切り替わらないようにすることができる。また、名札やコード入力を用いないため、他人になりすますことによって、セルフＰＯＳ端末１を不正に使用する危険性を低減することができる。

また、第１の実施形態のセルフＰＯＳ端末１によれば、動作検出部９２は、顔特徴検出部８６（生体情報検出部）が検出した操作者の顔特徴（生体情報）に基づいて、操作者の動作を検出する。したがって、個人識別のために必要な情報を検出するセンサと、動作検出を行うために必要な情報を検出するセンサと、を共用することができるため、装置の構成を簡単にすることができる。

そして、第１の実施形態のセルフＰＯＳ端末１によれば、顔特徴検出部８６（生体情報検出部）は、操作者の顔を含む画像の中から顔特徴を検出する。そして、動作検出部９２は、操作者の顔の動きを伴う動作を検出する。したがって、店員は自然な動作によって、セルフＰＯＳ端末１を店員モードに移行させることができる。

さらに、第１の実施形態のセルフＰＯＳ端末１によれば、店員識別部８８が識別した店員（操作者）の識別結果と、動作検出部９２が検出した動作の検出結果と、のうち、店員の識別結果が動作の検出結果よりも時間的に先に確定したことを条件として、動作検出部９２は、識別結果に基づく店員に関連付けられて店員マスタ１４２に登録された動作に絞って検出する。また、動作の検出結果が店員の識別結果よりも時間的に先に確定したことを条件として、店員識別部８８は、操作者を、検出された動作に関連付けられて店員マスタ１４２に登録された店員の中から識別する。したがって、店員は好きなタイミングで所定の動作を行うことができるため、より一層自然な動作によって、セルフＰＯＳ端末１を店員モードに移行させることができる。

また、第２の実施形態のセルフＰＯＳシステム１ｂ（商品販売データ処理システム）によれば、セルフＰＯＳ端末１ａが備える検出動作起動部８４によって起動された顔特徴検出部８６（生体情報検出部）が、顔特徴（生体情報）を検出する。そして、顔特徴送信部９４（生体情報送信部）が、検出された顔特徴をサーバ装置３に送信する。サーバ装置３が備える店員識別部８８ａは、顔特徴受信部９６（生体情報受信部）が受信した顔特徴を店員マスタ１４２ａに登録された店員の顔特徴と照合することによって、セルフＰＯＳ端末１ａの操作者が、登録されたいずれの店員であるかを識別する。また、動作検出部９２ａが、顔特徴に基づいて店員の所定の動作を検出する。そして、動作モード変更指示部９８は、店員識別部８８ａが、セルフＰＯＳ端末１ａの操作者を予め登録された店員であると識別するとともに、動作検出部９２ａが、当該店員の所定の動作を検出したことを条件として、セルフＰＯＳ端末１ａに対して、セルフＰＯＳ端末１ａを店員モードで動作するように指示を出す。セルフＰＯＳ端末１ａの動作モード変更部９０ａは、動作モード変更指示部９８からの指示を受けて、セルフＰＯＳ端末１ａを店員モードに切り替える。したがって、店舗に複数のセルフＰＯＳ端末１ａを備える場合に、各セルフＰＯＳ端末１ａに店員マスタを備える必要がない。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、本実施形態では、本発明を、顧客が自身で商品登録および決済を行うセルフＰＯＳ端末１に適用した例について説明したが、本発明の適用範囲は、セルフＰＯＳ端末１に限るものではない。例えば、決済装置として、セミ・セルフのチェックアウトレーンに設置されて、店員による商品登録の後、顧客による決済処理を行うセミ・セルフＰＯＳ端末に適用してもよい。

また、本実施形態では、登録された店員が所定の動作を行ったことを認識して、セルフＰＯＳ端末１を店員モードに切り替えたが、店員モードに切り替えた際に、識別された店員に応じた操作権限を与えるようにしてもよい。すなわち、経営者やマネージャが操作可能な権限と、一般社員が操作可能な権限と、アルバイト店員が操作可能な権限と、を分けて設定することも可能である。

さらに、本実施形態は、セルフＰＯＳ端末１を顧客モードから店員モードに切り替える際の個人識別に適用したものであるが、適用範囲はそれに限定されるものではない。すなわち、セルフＰＯＳ端末１の操作者である顧客が、予め登録された顧客のうち誰であるのかを識別する際にも適用することができる。そして、識別した結果に基づいて、セルフＰＯＳ端末１を、「お得意様」、「習熟者」、「初心者」等の顧客の属性に応じた操作形態に切り替えることができる。

また、本実施形態では、店員識別処理と動作検出処理を、撮像部３０が撮影した画像の中から検出した、生体情報である顔特徴に基づいて行ったが、店員識別処理と動作検出処理は、それ以外の情報に基づいて行ってもよい。例えば、セルフＰＯＳ端末１に、撮像部３０の代わりに、指紋検出機能を有するパッドを設置して、店員がセルフＰＯＳ端末１を店員モードに変更して作業を行う際に、前記パッドに指を押し当てて、予め登録した所定の手書き文字を入力する構成にしてもよい。この場合、パッドに押し当てた指の指紋を検出することによって店員識別処理を行うことができる。そして、入力した手書き文字を認識することによって、動作検出処理を行うことができる。したがって、本実施形態で説明したのと同じ機能を実現することができる。

さらに、動作検出処理によって検出する動作は、店員識別処理を行うために利用する生体情報とは異なる情報を用いて検出してもよいのは勿論である。すなわち、店員の識別は顔特徴や指紋等の生体情報を用いて行い、動作検出は別の手段で行ってもよい。例えば、セルフＰＯＳ端末１の操作者の半身像を撮影して、撮影された画像の中から検出した、操作者の手や指の動き（ジェスチャー）に基づいて、動作を検出してもよい。或いは、セルフＰＯＳ端末１に、表示部２２から対象物までの距離を測定する測距センサを設置して、この測距センサを用いて、表示部２２を覗き込んだ店員までの距離の変化を測定して、店員の体の前後の動きを認識することによって所定の動作を検出してもよい。

また、顔画像登録部８０による顔画像登録処理、および動作登録部８２による動作登録処理は、本実施形態で説明したように、セルフＰＯＳ端末が備える撮像部３０で撮影した画像を用いて実行する以外に、例えば、店舗のバックヤードに設置された店員用端末にカメラを備えて、このカメラを用いて撮影した画像を用いて行ってもよい。

さらに、店員識別処理および動作検出処理を行う際には、適切な時間制限を設けてもよい。すなわち、予め設定した所定時間に亘って、店員識別処理または動作検出処理が終了しないときは、店員が写っていない、または、店員モードに切り替える意志がないものと判断して、店員モードへの切り替えを行わないようにしてもよい。

１ セルフＰＯＳ端末（商品販売データ処理装置）
１ｂ セルフＰＯＳシステム（商品販売データ処理システム）
３ サーバ装置
８０ 顔画像登録部
８２ 動作登録部
８４ 検出動作起動部
８６ 顔特徴検出部（生体情報検出部）
８８ 店員識別部
９０ 動作モード変更部
９２ 動作検出部
９４ 顔特徴送信部（生体情報送信部）
９６ 顔特徴受信部（生体情報受信部）
１００ 制御部
１４２，１４２ａ 店員マスタ

特開２０１５−１２５４８０号公報

Claims (6)

1. 店舗で買い物した際の決済処理を、顧客自らが行う商品販売データ処理装置であって、
   前記商品販売データ処理装置を操作する操作者の生体情報を検出する生体情報検出部と、
   前記店舗の店員の生体情報に基づいて、前記生体情報検出部で検出された生体情報を有する前記操作者が、前記店員のいずれであるかを識別する店員識別部と、
   予め登録された、前記操作者の固有の動作を検出する動作検出部と、
   前記店員識別部が、前記操作者を店員であると識別するとともに、前記動作検出部が、前記固有の動作を検出したことを条件として、前記商品販売データ処理装置の動作モードを変更する動作モード変更部と、
   を有することを特徴とする商品販売データ処理装置。
2. 前記店員識別部は、前記店舗の店員の生体情報と当該店員の前記固有の動作とを、前記店員と関連付けて記憶した店員データに基づいて、前記生体情報検出部で検出された生体情報を有する前記操作者が、前記店員のいずれであるかを識別するとともに、
   前記動作検出部は、前記店員識別部が識別した前記店員に関連付けられた前記固有の動作を検出すること、
   を特徴とする請求項１に記載の商品販売データ処理装置。
3. 前記動作検出部は、前記生体情報検出部が検出した前記操作者の前記生体情報に基づいて、前記操作者の前記固有の動作を検出する、
   ことを特徴とする請求項１または２に記載の商品販売データ処理装置。
4. 前記生体情報検出部は、前記操作者の顔を含む画像の中から顔特徴を検出するものであって、
   前記動作検出部は、前記操作者の少なくとも顔の動きを伴う動作を検出するものである、
   ことを特徴とする請求項３に記載の商品販売データ処理装置。
5. 店舗で買い物した際の決済処理を、顧客自らが行う商品販売データ処理システムであって、
   前記商品販売データ処理システムを操作する操作者の生体情報を検出する生体情報検出部と、前記生体情報を外部に送信する生体情報送信部と、前記商品販売データ処理システムの動作モードを変更する動作モード変更部と、を有するＰＯＳ端末と、
   前記ＰＯＳ端末から前記生体情報を受信する生体情報受信部と、前記店舗の店員の生体情報に基づいて、前記生体情報検出部で検出された生体情報を有する前記操作者が、前記店員のいずれであるかを識別する店員識別部と、予め登録された、前記操作者の固有の動作を検出する動作検出部と、前記店員識別部が、前記操作者を店員であると識別するとともに、前記動作検出部が、前記固有の動作を検出したことを条件として、前記ＰＯＳ端末に対して、当該ＰＯＳ端末の動作モードを変更する指示を与える動作モード変更指示部と、を有するサーバ装置と、
   を備えることを特徴とする商品販売データ処理システム。
6. 店舗で買い物した際の決済処理を、顧客自らが行う商品販売データ処理装置を制御するコンピュータを、
   前記商品販売データ処理装置を操作する操作者の生体情報を検出する生体情報検出部と、
   前記店舗の店員の生体情報に基づいて、前記生体情報検出部で検出された生体情報を有する前記操作者が、前記店員のいずれであるかを識別する店員識別部と、
   予め登録された、前記操作者の固有の動作を検出する動作検出部と、
   前記店員識別部が、前記操作者を店員であると識別するとともに、前記動作検出部が、前記固有の動作を検出したことを条件として、前記商品販売データ処理装置の動作モードを変更する動作モード変更部と、
   して機能させるためのプログラム。

Images