JP5733686B2 - Sales data processing apparatus and program - Google Patents

Description

本発明は、売上データを取引毎に登録処理する売上データ処理装置及びプログラムに関する。   The present invention relates to a sales data processing apparatus and program for registering sales data for each transaction.

一般に、店舗においては、ＥＣＲ（Electronic Cash Register）、ＰＯＳ（Point of sale）端末などの売上データ処理装置により登録処理された売上データを分析したり、その顧客（購入者）の属性（買物頻度、リピート率、性別、年齢層など）を分析したりするようにしている。例えば、顧客の買物頻度やリピート率、性別や年齢層などを分析する場合には、予め発行した会員カードから読み取ったカードデータに基づいてその顧客（会員ＩＤ）を特定して、購入履歴として記録して分析するようにしているが、会員カードを媒体とした顧客分析では、会員カードの発行やコスト、更には会員加入率に課題が残るほか、非会員にあっては顧客分析を行うことはできない。
そこで、従来では、顧客の顔を撮影するカメラを備え、このカメラによる撮影画像から顔の特徴を抽出して、その抽出結果と顧客データデータベースの内容（顔の特徴点データ）とを照合することにより顧客を特定し、その顧客に対応付けられている顧客データ（氏名、住所、電話番号など）をデータベースから読み出して表示するようにした技術が知られている（特許文献１参照）。 In general, in a store, sales data processed by a sales data processing device such as an ECR (Electronic Cash Register) or POS (Point of sale) terminal is analyzed, and the attributes of the customer (purchaser) (shopping frequency, Repeat rate, gender, age group, etc.). For example, when analyzing a customer's shopping frequency, repeat rate, gender, age group, etc., the customer (member ID) is specified based on card data read from a previously issued member card and recorded as a purchase history. However, in customer analysis using membership cards as a medium, issues with membership cards and costs, as well as membership rates remain, and customer analysis is not possible for non-members. Can not.
Therefore, conventionally, a camera for photographing a customer's face is provided, and facial features are extracted from images captured by the camera, and the extracted results are collated with the contents of the customer data database (facial feature point data). A technique is known in which a customer is identified by the above, and customer data (name, address, telephone number, etc.) associated with the customer is read from a database and displayed (see Patent Document 1).

特開２００１−３２５４３３号公報JP 2001-325433 A

しかしながら、上述した特許文献１の技術にあっても、予め会員登録した顧客を対象としたものであり、会員以外の誰でも顔を認識して顧客を特定するようにしたものではなく、しかも、登録待ち（精算待ち）している顧客の待ち行列を撮影した場合に後続の他の顧客も一緒に写ってしまうことが多く、更には顧客の中に家族、友達同士などの同伴者が含まれている場合には同伴者も一緒に写ってしまうことが多いために、取引毎にその顧客を特定しようとしたとしても顧客を適切に特定することができないという問題があった。   However, even in the technique of Patent Document 1 described above, it is intended for customers who have registered as members in advance, and it is not intended to identify customers by recognizing faces by anyone other than members, When taking a queue of customers waiting for registration (waiting for payment), other subsequent customers often appear together, and customers include family members, friends, and other companions. In this case, the accompanying person often appears together, so that even if an attempt is made to specify the customer for each transaction, the customer cannot be appropriately specified.

本発明の課題は、顧客を撮影した画像に基づいて顧客を特定する場合に、取引毎にその顧客を適切に特定できるようにすることである。   The subject of this invention is enabling it to specify the customer appropriately for every transaction, when specifying a customer based on the image which image | photographed the customer.

上述した課題を解決するために本発明の一つの態様は、
売上データを取引毎に登録処理する売上データ処理装置であって、
登録待ちの顧客を撮影する撮像手段と、
前記撮像手段により撮影された顧客画像を解析して顧客の顔部分を１つ以上検出する動作を取引毎に行う検出手段と、
前記検出手段により検出された顔部分に基づいて、その顔を画像認識して顧客識別データを生成する認識手段と、
前記認識手段により前回の取引時に生成された顧客識別データと今回の取引時に生成された顧客識別データとを比較して、同一の顧客識別データが含まれているか否かを判別する判別手段と、
前記判別手段により同一の顧客識別データが含まれていると判別された場合に、前回の取引時に生成された顧客識別データの中から当該同一の顧客識別データを前回取引の顧客ではないとして除外することにより前回取引の顧客を特定する顧客特定手段と、
を具備したことを特徴とする売上データ処理装置である。 In order to solve the above-described problem, one aspect of the present invention is as follows.
A sales data processing device for registering sales data for each transaction,
Imaging means for photographing customers waiting for registration;
Detecting means for analyzing each customer image taken by the imaging means and detecting one or more customer face portions for each transaction;
Recognizing means for recognizing the face and generating customer identification data based on the face portion detected by the detecting means;
A discrimination means for comparing the customer identification data generated during the previous transaction by the recognition means with the customer identification data generated during the current transaction, and determining whether or not the same customer identification data is included;
When it is determined by the determination means that the same customer identification data is included, the same customer identification data is excluded from the customer identification data generated during the previous transaction as not being the customer of the previous transaction Customer identification means to identify the customer of the previous transaction,
A sales data processing apparatus characterized by comprising:

上述した課題を解決するために本発明の他の態様は、
コンピュータに対して、
売上データを取引毎に登録処理する機能と、
登録待ちの顧客を撮影する撮像手段により撮影された顧客画像を解析して顧客の顔部分を１つ以上検出する動作を取引毎に行う機能と、
前記検出された顔部分に基づいて、その顔を画像認識して顧客識別データを生成する機能と、
前記前回の取引時に生成された顧客識別データと今回の取引時に生成された顧客識別データとを比較して、同一の顧客識別データが含まれているか否かを判別する機能と、
前記同一の顧客識別データが含まれていると判別された場合に、前回の取引時に生成された顧客識別データの中から当該同一の顧客識別データを前回取引の顧客ではないとして除外することにより前回取引の顧客を特定する機能と、
を実現させるためのプログラムである。 In order to solve the above-described problem, another aspect of the present invention provides:
Against the computer,
A function to register sales data for each transaction,
A function for analyzing for each transaction a customer image taken by an imaging means for photographing a customer waiting for registration and detecting one or more face portions of the customer;
A function of recognizing the face based on the detected face portion to generate customer identification data;
A function of comparing the customer identification data generated during the previous transaction and the customer identification data generated during the current transaction to determine whether the same customer identification data is included;
When it is determined that the same customer identification data is included, the previous customer identification data is excluded from the customer identification data generated during the previous transaction as not being the customer of the previous transaction. The ability to identify the customer of the transaction,
It is a program for realizing.

また、上述した課題を解決するために本発明の一つの態様は、
売上データを取引毎に登録処理する売上データ処理装置であって、
登録待ちの顧客を撮影する撮像手段と、
前記撮像手段により撮影された顧客画像を解析して顔の画像部分を１つ以上検出する動作を取引毎に行う検出手段と、
前記検出手段により前回の取引時に検出された顔の画像部分と今回の取引時に検出された顔の画像部分とを比較して、同一の顔が含まれているか否かを判別する判別手段と、
前記判別手段により同一の顔部分が含まれていると判別された場合に、前回の取引時に検出された顔の画像部分の中から当該同一の顔部分を前回取引の顧客ではないとして除外することにより前回取引の顧客を特定する顧客特定手段と、
を具備したことを特徴とする売上データ処理装置である。 In order to solve the above-described problem, one aspect of the present invention is:
A sales data processing device for registering sales data for each transaction,
Imaging means for photographing customers waiting for registration;
Detecting means for analyzing each customer image taken by the imaging means and detecting one or more facial image portions for each transaction;
A determination means for comparing the face image portion detected during the previous transaction by the detection means with the face image portion detected during the current transaction to determine whether or not the same face is included;
When it is determined by the determining means that the same face part is included, the same face part is excluded from the face image parts detected during the previous transaction as not being the customer of the previous transaction. Customer identification means to identify the customer of the previous transaction by
A sales data processing apparatus characterized by comprising:

上述した課題を解決するために本発明の他の態様は、
コンピュータに対して、
売上データを取引毎に登録処理する機能と、
登録待ちの顧客を撮影する撮像手段により撮影された顧客画像を解析して顧客の顔部分を１つ以上検出する動作を取引毎に行う機能と、
前回の取引時に検出された顔の画像部分と今回の取引時に検出された顔の画像部分とを比較して、同一の顔が含まれているか否かを判別する機能と、
同一の顔部分が含まれていると判別された場合に、前回の取引時に検出された顔の画像部分の中から当該同一の顔部分を前回取引の顧客ではないとして除外することにより前回取引の顧客を特定する機能と、
を実現させるためのプログラムである。 In order to solve the above-described problem, another aspect of the present invention provides:
Against the computer,
A function to register sales data for each transaction,
A function for analyzing for each transaction a customer image taken by an imaging means for photographing a customer waiting for registration and detecting one or more face portions of the customer;
A function for comparing the face image portion detected during the previous transaction with the face image portion detected during the current transaction to determine whether the same face is included;
When it is determined that the same face part is included, the same face part is excluded from the face image parts detected during the previous transaction as not being the customer of the previous transaction, and the previous transaction The ability to identify customers,
It is a program for realizing.

本発明によれば、顧客を撮影した画像に基づいて顧客を特定する場合に、取引毎にその顧客を適切に特定することができ、信頼性及び実用性に富んだものとなる。   According to the present invention, when a customer is specified based on an image obtained by photographing the customer, the customer can be appropriately specified for each transaction, which is highly reliable and practical.

売上データ処理装置として適用したＥＣＲの基本的な構成要素を示したブロック図。The block diagram which showed the basic component of ECR applied as a sales data processing apparatus. ＥＣＲをその前方斜め（顧客側）から見た状態の外観図。The external view of the state which looked at ECR from the front diagonal (customer side). ＥＣＲをその一側面から見た状態の外観図。The external view of the state which looked at ECR from the one side. （１）は、客側カメラ２５によって撮影された画像を例示した図、（２）は、操作側カメラ２６によって撮影された画像を例示した図。(1) is a diagram illustrating an image photographed by a customer-side camera 25, and (2) is a diagram illustrating an image photographed by an operation-side camera 26. 登録待ち（精算待ち）ファイルＲＦを説明するための図。The figure for demonstrating the registration waiting (settlement waiting) file RF. 顧客データベースＤＢを説明するための図。The figure for demonstrating customer database DB. 売上データの登録処理時の動作を示したフローチャート。The flowchart which showed the operation | movement at the time of the registration process of sales data. 登録待ち行列処理（図７のステップＡ１２）を詳述するためのフローチャート。8 is a flowchart for explaining in detail the registration queue processing (step A12 in FIG. 7).

以下、本発明の実施の形態について、図面を参照して詳細に説明する。
先ず、図１〜図８を参照して本発明の実施形態を説明する。
図１は、売上データ処理装置として適用したＥＣＲ（Electronic Cash Register）の基本的な構成要素を示したブロック図である。
このＥＣＲ（売上データ処理装置）は、ＥＣＲ本体ユニット部１とカメラユニット部２とに分離された構成で、ＥＣＲ本体ユニット部１とカメラユニット部２とは、ケーブル３を介して着脱自在に接続されている。ＥＣＲ本体ユニット部１は、ＥＣＲとしての基本的な機能（標準機能）として、入力された一取引分の売上データを登録処理すると共に、一取引分の登録終了時に顧客から渡された金種に応じた種類の締め処理を行う売上データ登録機能などを備えている。また、更にＥＣＲ本体ユニット部１には各種のキー操作やドロアオープン／クローズなどに応じてイベントコードを発生させて、そのイベントコードをジャーナルデータとしてカメラユニット部２に対して転送する機能を有している。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
First, an embodiment of the present invention will be described with reference to FIGS.
FIG. 1 is a block diagram showing basic components of an ECR (Electronic Cash Register) applied as a sales data processing apparatus.
This ECR (sales data processing apparatus) is separated into an ECR main unit 1 and a camera unit 2, and the ECR main unit 1 and the camera unit 2 are detachably connected via a cable 3. Has been. As a basic function (standard function) as the ECR, the ECR main unit 1 registers the input sales data for one transaction, and uses the denomination passed from the customer at the end of registration for one transaction. It has a sales data registration function that performs the appropriate type of tightening process. Further, the ECR main unit 1 has a function of generating an event code according to various key operations, drawer open / close, etc., and transferring the event code to the camera unit 2 as journal data. ing.

カメラユニット部２は、登録待ち（精算待ち）をしている顧客を撮影したり、担当者（オペレータ）及びその操作状況を撮影したりするカメラ機能のほか、このカメラ機能により撮影された顧客画像に基づいてその取引の顧客を特定する顧客特定機能と、この顧客特定機能により特定された顧客に基づいて顧客（購入者）分析を行う顧客分析機能などを有し、これらの各種機能をモジュール化した構成となっている。このカメラユニット部２は、ケーブル３を介してＥＣＲ本体ユニット部１に着脱自在に接続されており、故障などに応じて何時でも自由に交換可能となっている。なお、ＥＣＲ本体ユニット部１とカメラユニット部２とは、必要に応じて協動して各種の処理を行うようにしている。   The camera unit 2 captures a customer waiting for registration (waiting for settlement), a camera function for photographing a person in charge (operator) and its operation status, and a customer image photographed by this camera function. The customer identification function that identifies the customer of the transaction based on the customer, and the customer analysis function that performs customer (purchaser) analysis based on the customer identified by the customer identification function. These various functions are modularized. It has become the composition. The camera unit 2 is detachably connected to the ECR main unit 1 via a cable 3 and can be freely replaced at any time according to a failure or the like. The ECR main unit 1 and the camera unit 2 cooperate to perform various processes as necessary.

ＥＣＲ本体ユニット部１は、ＣＰＵ１１を中核とするもので、各種プログラムにしたがってこのＥＣＲ本体ユニット部１の全体動作を制御する中央演算処理装置である。記憶部１２は、例えば、ＲＯＭ、ＲＡＭ、フラッシュメモリなどの記憶媒体やその駆動系を有し、後述する図７及び図８（一部）に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどを記憶したり、データベース、文字フォントデータなどを記憶したりする。なお、上述の記憶媒体は固定的に設けた内蔵型の記憶媒体に限らず、着脱可能な可搬型の外部記憶媒体であってもよく、また、プログラム／データは、他の機器から有線伝送路あるいは無線伝送路を介して記憶媒体にインストールしたり、プログラム／データを記憶管理するサーバなどをアクセスして使用したりするようにしてもよい。メモリ１３は、計時データ、フラグなど、このＥＣＲ本体ユニット部１が動作するために必要な各種のデータを一時的に記憶するワーク領域である。   The ECR main unit 1 has a CPU 11 as a core and is a central processing unit that controls the overall operation of the ECR main unit 1 according to various programs. The storage unit 12 includes, for example, a storage medium such as a ROM, a RAM, a flash memory, and a drive system thereof, and implements the present embodiment according to an operation procedure illustrated in FIGS. 7 and 8 (part) described later. Programs and various applications for storing data, database, character font data, and the like. The above-mentioned storage medium is not limited to a built-in storage medium provided in a fixed manner, and may be a removable external storage medium. Program / data can be transmitted from another device to a wired transmission line. Alternatively, it may be installed in a storage medium via a wireless transmission path, or accessed by using a server that stores and manages programs / data. The memory 13 is a work area for temporarily storing various data necessary for the operation of the ECR main unit 1 such as timing data and flags.

また、ＣＰＵ１１には、その入出力周辺デバイスである操作部１４、スキャナ１５、操作者用表示部１６、印字部１７、ドロア駆動部１８、ＣＯＭポート１９がバスラインを介して接続されており、入出力プログラムにしたがってＣＰＵ１１はそれらの動作を制御する。操作部１４は、押しボタン式の各種キーが配列されているキーボードを有し、このキーボード上にはテンキー（図示省略）などのほか、部門キーＫ１、小計キーＫ２、現金／預かり金キーＫ３などが配設されていると共に、モードスイッチＭＳが配設されている。   Further, the CPU 11 is connected with an operation unit 14, a scanner 15, an operator display unit 16, a printing unit 17, a drawer drive unit 18, and a COM port 19 as input / output peripheral devices via a bus line. The CPU 11 controls these operations according to the input / output program. The operation unit 14 has a keyboard on which various push button keys are arranged. On the keyboard, in addition to a numeric keypad (not shown), a department key K1, a subtotal key K2, a cash / deposit key K3, etc. And a mode switch MS are arranged.

モードスイッチＭＳは、その切り換え位置に応じて「登録（ＲＥＧ）」、「戻し（ＲＦ）」、「精算（Ｚ）」などの各種の動作モード（プログラム種）を切り換えるロータリー式のスイッチである。部門キーＫ１は、商品を部門別に登録を指示する部門別登録時に操作されるキーである。また、小計キーＫ２は、一取引中において現時点まで登録した売上データの合計金額を小計として表示させるキーである。現金／預かり金キーＫ３は、預かり金の置数後に一取引の登録終了を指示する締めキーである。ＣＰＵ１１は、「登録（ＲＥＧ）」モードに切り換えられている状態において、各種のキー操作に応じてその操作に応じたイベントコードを生成すると共に、入力された売上データを表示させたり、売上合計を更新したりする登録処理を実行し、一取引の登録終了時に現金／預かり金キーＫ３が押下されると、ドロアを開放させたり、レシートを発行させたりする。   The mode switch MS is a rotary switch that switches various operation modes (program types) such as “registration (REG)”, “return (RF)”, “settlement (Z)” in accordance with the switching position. The department key K1 is a key that is operated at the time of registration by department instructing registration of products by department. The subtotal key K2 is a key for displaying the total amount of sales data registered up to the present time during one transaction as a subtotal. The cash / deposit key K3 is a lock key for instructing the end of registration of one transaction after placing the deposit. In a state where the CPU 11 is switched to the “registration (REG)” mode, the CPU 11 generates an event code corresponding to the operation according to various key operations, displays the input sales data, and displays the total sales. When the registration process for updating is executed and the cash / deposit key K3 is pressed at the end of registration of one transaction, the drawer is released or a receipt is issued.

スキャナ１５は、例えば、ＣＣＤやＣＭＯＳなどの画像センサ（イメージセンサ）を有し、商品の登録時のスキャニング動作時にその商品に添付されているバーコードや二次元コードを撮影することにより読み取るもので、ＣＰＵ１１は、スキャナ１５により撮影された画像データを解析することによってバーコードなどをデコードして商品を特定するようにしている。操作者用表示部１６は、担当者（オペレータ）用として、金額や商品に関するデータ、メッセージなどを表示するもので、例えば、液晶ディスプレイ又は有機ＥＬ（Electro Luminescence）ディスプレイなどにより構成されている。印字部１７は、例えば、熱転写やインクジェットなどのノンインパクトプリンタあるいはドットインパクトプリンタであり、レシート印字を行う。ドロア駆動部１８は、キー操作に応じてドロア１８Ａの開閉を制御するもので、ＣＰＵ１１は、ドロア１８Ａの開閉に応じてドロアオープン／クローズイベントを生成する。ＣＯＭポート１９は、カメラユニット部２との接続用のシリアルポートである。   The scanner 15 has, for example, an image sensor (image sensor) such as a CCD or CMOS, and reads a bar code or a two-dimensional code attached to the product during scanning operation at the time of registration of the product. The CPU 11 analyzes the image data photographed by the scanner 15 to decode the barcode or the like and specify the product. The operator display unit 16 displays data about money and products, messages, and the like for a person in charge (operator), and is configured by, for example, a liquid crystal display or an organic EL (Electro Luminescence) display. The printing unit 17 is, for example, a non-impact printer such as thermal transfer or inkjet, or a dot impact printer, and performs receipt printing. The drawer drive unit 18 controls the opening / closing of the drawer 18A according to a key operation, and the CPU 11 generates a drawer open / close event according to the opening / closing of the drawer 18A. The COM port 19 is a serial port for connection with the camera unit unit 2.

カメラユニット部２は、ＣＰＵ２１を中核とするもので、各種プログラムにしたがってこのカメラユニット部２の全体動作を制御する中央演算処理装置である。記憶部２２は、例えば、ＲＯＭ、ＲＡＭ、フラッシュメモリなどの記憶媒体やその駆動系を有し、後述する図７及び図８（一部）に示した本実施形態を実現するためのプログラムや各種のアプリケーションなどを記憶する。メモリ２３は、このカメラユニット部２が動作するために必要な各種のデータを一時的に記憶するワーク領域である。ＣＰＵ２１には、その入出力周辺デバイスである客用表示部２０４２４、客側カメラ２５、操作側カメラ２６、カードインターフェイス部２７、ＣＯＭポート２９がバスラインを介して接続されており、入出力プログラムにしたがってＣＰＵ２１はそれらの動作を制御する。客用表示部２０４２４は、登録待ち（精算待ち）の顧客用としてその画面を顧客側に対面させたもので、例えば、７セグメントＬＥＤ（発光ダイオード）などにより構成され、商品単価、個数、小計金額、預かり金額などを数値表示する。   The camera unit 2 has a CPU 21 as a core, and is a central processing unit that controls the overall operation of the camera unit 2 according to various programs. The storage unit 22 includes, for example, a storage medium such as a ROM, a RAM, a flash memory, and a drive system thereof, and programs and various types for realizing the present embodiment illustrated in FIGS. 7 and 8 (part) described later. Memorize your applications. The memory 23 is a work area for temporarily storing various data necessary for the operation of the camera unit 2. The CPU 21 is connected to a customer display unit 20424, a customer side camera 25, an operation side camera 26, a card interface unit 27, and a COM port 29, which are input / output peripheral devices, via a bus line. Therefore, the CPU 21 controls these operations. The customer display unit 20424 has the screen faced to the customer side for a customer waiting for registration (waiting for payment), and is composed of, for example, a 7-segment LED (light emitting diode) and the like. , Display the amount of deposit, etc. numerically.

客側カメラ２５は、客用表示部２４に接近配設されたもので、登録待ちしている顧客の顔を中心として撮影し、また、操作側カメラ２６は、担当者（オペレータ）及びその操作状況を撮影するもので、担当者（オペレータ）及びその操作状況を撮影する監視用のカメラである。なお、客側カメラ２５、操作側カメラ２６の詳細は、図示省略したが、レンズ部、撮像素子、Ａ／Ｄ（アナログ／デジタル）変換部などを有し、動画像を撮影可能な構成で、レンズ部からの被写体像が撮像素子（ＣＣＤ又はＣＭＯＳ）に結像されることにより被写体を高精細に撮影可能な構成となっている。   The customer-side camera 25 is disposed close to the customer display unit 24 and shoots mainly on the face of the customer waiting for registration. The operation-side camera 26 is a person in charge (operator) and its operation. This is a camera for monitoring the situation, and is a monitoring camera for shooting the person in charge (operator) and the operation status. Although details of the customer-side camera 25 and the operation-side camera 26 are not shown in the drawings, they have a lens unit, an image sensor, an A / D (analog / digital) conversion unit, and the like, and can capture moving images. The subject image from the lens unit is formed on an image sensor (CCD or CMOS), so that the subject can be photographed with high definition.

カードインターフェイス部２７は、記録媒体としてのＳＤカード２８が挿入接続されるもので、このＳＤカード２８には、後述する各種のファイルが格納されている。なお、カメラユニット部２には、カードインターフェイス部２７に挿入接続されたＳＤカード２８の盗難などを防ぐために錠前（図省略）が配設されており、例えば、責任者が所持する専用鍵を使用して、錠前を開いてＳＤカード２８を取り出すようにしている。また、ＳＤカード２８に限らず、その他の外部記録媒体であってもよい。ＣＯＭポート２９は、ＥＣＲ本体ユニット部１との接続用のシリアルポートである。   The card interface unit 27 is inserted and connected to an SD card 28 as a recording medium, and various files to be described later are stored in the SD card 28. The camera unit 2 is provided with a lock (not shown) to prevent the SD card 28 inserted and connected to the card interface unit 27 from being stolen. For example, a dedicated key possessed by the person in charge is used. Then, the lock is opened and the SD card 28 is taken out. Further, the external recording medium is not limited to the SD card 28. The COM port 29 is a serial port for connection with the ECR main unit 1.

図２は、上述のように構成されたＥＣＲをその前方斜め（顧客側）から見た状態の外観図であり、図３は、ＥＣＲの一側面から見た状態の外観図である。
ＥＣＲ本体ユニット部１の上面部には、操作者用表示部１６が配設されていると共に、操作部１４を構成するキーボード及びモードスイッチＭＳが配設されている。また、ＥＣＲ本体ユニット部１の上面部には、印字部１７から送出されるレシートを取り出すためのレシート発行口（図示省略）が配設されている。 FIG. 2 is an external view of the ECR configured as described above when viewed from the front oblique side (customer side), and FIG. 3 is an external view of the ECR viewed from one side surface.
On the upper surface of the ECR main unit 1, an operator display unit 16 is disposed, and a keyboard and a mode switch MS constituting the operation unit 14 are disposed. A receipt issuing port (not shown) for taking out a receipt sent from the printing unit 17 is disposed on the upper surface of the ECR main unit 1.

カメラユニット部２は、客用表示部２４の筐体２Ａと、その筐体２Ａを支持するポール状の支持部材（支持ポール）２Ｂとを有している。支持ポール２Ｂは、客用表示部２４の筐体２Ａを支持するもので、その下端部はＥＣＲ本体ユニット部１の背面側に垂直に固定（着脱自在に装着）されている。また、支持ポール２Ｂの上端部は客用表示部２４の筐体２Ａが装着され、その長さを調整可能な構造となっていると共に、客用表示部２４の筐体２Ａは、支持ポール２Ｂに対して回転可能となっている。つまり、筐体２Ａの高さとその向きを調整可能となっており、それに応じて客用表示部２４、客側カメラ２５の高さとその向きも調整可能となっている。   The camera unit unit 2 includes a housing 2A of the customer display unit 24 and a pole-shaped support member (supporting pole) 2B that supports the housing 2A. The support pole 2B supports the housing 2A of the display unit for customer 24, and the lower end thereof is vertically fixed (removably attached) to the back side of the ECR main unit 1. The upper end of the support pole 2B is mounted with a housing 2A of the customer display unit 24 so that the length of the housing 2A can be adjusted, and the housing 2A of the customer display unit 24 includes the support pole 2B. Can be rotated. That is, the height of the housing 2A and its orientation can be adjusted, and the height and orientation of the customer display unit 24 and the customer-side camera 25 can also be adjusted accordingly.

客側カメラ２５は、図２及び図３に示すように筐体２Ａの前面において客用表示部２４の一端部（図中、左側端部）に接近配設され、その撮影方向は、登録待ちしている顧客方向で、その画角は、登録待ち行列の顧客を撮影可能な範囲となっている。図４（１）は、客側カメラ２５によって撮影した登録待ち行列の顧客画像を例示したもので、先頭の顧客の後ろに次の顧客が並んでいる状態を示している。操作側カメラ２６は、支持ポール２Ｂの上端部に配設され、その撮影方向は、オペレータ方向で、その画角は、操作部１４の全体及び操作中のオペレータの顔を撮影可能な範囲となっている。図４（２）は、操作側カメラ２６によって担当者（オペレータ）及びその操作状況を撮影した監視画像を例示したもので、ドロア１８Ａを開放した状態でオペレータが貨幣を出し入れしている場合を示している。   As shown in FIGS. 2 and 3, the customer-side camera 25 is disposed close to one end portion (left end portion in the figure) of the customer display unit 24 on the front surface of the housing 2A. The angle of view is within a range where the customers in the registration queue can be photographed. FIG. 4A illustrates a customer image in the registration queue photographed by the customer camera 25, and shows a state in which the next customer is lined up behind the top customer. The operation-side camera 26 is disposed at the upper end of the support pole 2B. The photographing direction is the operator direction, and the angle of view is a range in which the entire operation unit 14 and the face of the operator in operation can be photographed. ing. FIG. 4B illustrates a monitoring image obtained by photographing the person in charge (operator) and the operation status thereof with the operation-side camera 26, and shows a case where the operator puts in and out money with the drawer 18A opened. ing.

図５は、登録待ち（精算待ち）ファイルＲＦを説明するための図である。
登録待ちファイルＲＦは、客側カメラ２５により登録待ち行列が撮影された場合に、その撮影画像に基づいて取引毎にその顧客を特定するために使用されるファイルで、「取引番号（伝票番号）」毎に複数の「顧客ＩＤ」を記憶可能な構成となっている。「取引番号」は、取引毎に更新される一連番号である。「顧客ＩＤ」は、取引毎に顧客を識別するための顧客識別データであり、本実施形態では、客側カメラ２５により登録待ち行列を撮影した顧客画像を解析することにより顔の画像部分を１つ以上検出すると共に、検出した顔の画像部分に基づいて、顧客毎にその顔を画像認識して顧客ＩＤ（顧客識別データ）を生成し、登録待ちファイルＲＦに記憶させるようにしている。なお、一取引に対応して一つの顧客ＩＤが記憶される場合に限らず、複数の顧客ＩＤが記憶される場合がある。 FIG. 5 is a diagram for explaining a registration waiting (settlement waiting) file RF.
The registration waiting file RF is a file used to specify the customer for each transaction based on the captured image when the registration queue is photographed by the customer side camera 25. The transaction number (slip number) ], A plurality of “customer IDs” can be stored. The “transaction number” is a serial number that is updated for each transaction. The “customer ID” is customer identification data for identifying a customer for each transaction. In this embodiment, the customer image obtained by photographing the registration queue by the customer-side camera 25 is used to analyze the face image portion. In addition to detecting one or more images, based on the detected image portion of the face, each customer is image-recognized and a customer ID (customer identification data) is generated and stored in the registration waiting file RF. In addition, not only the case where one customer ID is memorize | stored corresponding to one transaction but a some customer ID may be memorize | stored.

カメラユニット部２のＣＰＵ２１は、この登録待ちファイルＲＦを参照して、前回取引の「顧客ＩＤ」と、今回取引の「顧客ＩＤ」とを比較して、同一の「顧客ＩＤ」が含まれているか否かを判別し、同一の「顧客ＩＤ」が含まれている場合には、前回取引の「顧客ＩＤ」の中から当該同一の「顧客ＩＤ」を除外（削除）することにより前回取引の顧客を特定するようにしている。例えば、図示の例では、「取引番号」が“１０２００１”に対応して「顧客ＩＤ」として“２５６８４８６０２４”、“１６５４８６１１４６”が記憶されている場合を示し、また、「取引番号」が“１０２００２”に対応して「顧客ＩＤ」として“１６５４８６１１４６”、“４５６８９１５７６４”、“３２６５４８７６９４”が記憶され、また、「取引番号」が“１０２００３”に対応して「顧客ＩＤ」として“３２６５４８７６９４”、“２４１２２３３３０”が記憶されている場合を示している。   The CPU 21 of the camera unit 2 compares the “customer ID” of the previous transaction with the “customer ID” of the current transaction by referring to the registration waiting file RF and includes the same “customer ID”. If the same “customer ID” is included, the same “customer ID” is excluded (deleted) from the “customer ID” of the previous transaction. I try to identify customers. For example, in the example shown in the figure, “transaction number” corresponds to “102001” and “25668486024” and “1654861146” are stored as “customer ID”, and “transaction number” is “102002”. "1654861146", "45656815764", and "3265487694" are stored as "customer ID", and "3265487694" and "241423330" are stored as "customer ID" corresponding to "102003". Is stored.

このような場合において、例えば、「取引番号」が“１０２００２”の取引を今回取引とすると、この今回取引の「取引番号」“１０２００２”と前回取引の「取引番号」“１０２００１”には、同一の「顧客ＩＤ」として“１６５４８６１１４６”がそれぞれ記憶されているため、この“１６５４８６１１４６”を「取引番号」“１０２００１”の取引から除外（削除）することにより当該取引の顧客としては、「顧客ＩＤ」が“２５６８４８６０２４”の一人に特定される。同様に、前回取引の「取引番号」“１０２００２”と今回取引の“１０２００３”には、同一の「顧客ＩＤ」として“３２６５４８７６９４”が記憶されているため、この“３２６５４８７６９４”を「取引番号」“１０２００２”の取引から除外（削除）することにより当該取引の顧客としては、「顧客ＩＤ」が“１６５４８６１１４６”、“４５６８９１５７６４”の二人に特定される。   In such a case, for example, if a transaction with a “transaction number” of “102002” is the current transaction, the “transaction number” “102002” of the current transaction and the “transaction number” “102001” of the previous transaction are the same. Since “1654861146” is stored as “customer ID” of the customer, by excluding (deleting) “1654861146” from the transaction of “transaction number” “102001”, “customer ID” Is specified as one of “25668486024”. Similarly, since “32654487694” is stored as the same “customer ID” in the “transaction number” “102002” of the previous transaction and the “102003” of the current transaction, this “32665476694” is stored in the “transaction number” “ By excluding (deleting) the transaction from “102002”, two customers “1654861146” and “4568915574” are specified as customers of the transaction.

図６は、顧客データベースＤＢを説明するための図である。
顧客データベースＤＢは、顧客毎にその顧客に関するデータを記憶管理するもので、顧客に関するデータとして「顧客ＩＤ」、「性別」、「年齢層」、「登録日」、「売上実績」などの項目を有している。「顧客ＩＤ」は、顔認識用データファイル（図示省略）とリンクさせるための顧客識別データである。なお、顔認識用データファイルは、小計キーＫ２の操作タイミングに基づいて客側カメラ２５により撮影された画像の顔部分を解析して得られた顔の「特徴点データ」と、「顧客ＩＤ」とを対応付けて記憶する構成のファイルである。「性別」、「年齢層」は、顔認識により推定された顧客に関するデータである。「登録日」は、新規顧客として顧客データベースＤＢに登録された日付である。「売上実績」は、「登録日」から現時点までの売上金額や個数の累計値である。 FIG. 6 is a diagram for explaining the customer database DB.
The customer database DB stores and manages data related to each customer, and includes items such as “customer ID”, “sex”, “age group”, “registration date”, “sales record” as data related to the customer. Have. The “customer ID” is customer identification data for linking with a face recognition data file (not shown). The face recognition data file includes the “feature point data” and “customer ID” of the face obtained by analyzing the face portion of the image captured by the customer camera 25 based on the operation timing of the subtotal key K2. Are stored in association with each other. “Gender” and “Age” are data relating to customers estimated by face recognition. “Registration date” is the date when a new customer is registered in the customer database DB. The “sales record” is a cumulative value of sales amount and number from the “registration date” to the present time.

次に、本実施形態におけるＥＣＲの動作概念を図７及び図８に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。   Next, the operation concept of ECR in the present embodiment will be described with reference to the flowcharts shown in FIGS. Here, each function described in these flowcharts is stored in the form of a readable program code, and operations according to the program code are sequentially executed. Further, it is possible to sequentially execute the operation according to the above-described program code transmitted via a transmission medium such as a network. In other words, in addition to the recording medium, an operation unique to the present embodiment can be executed using a program / data supplied externally via a transmission medium.

図７は、売上データの登録処理時の動作を示したフローチャートであり、モードスイッチＭＳを「登録（ＲＥＧ）」の位置に切り換えた際に実行開始される。
先ず、登録操作が行われたか、つまり、商品からバーコードなどを読み取るためにスキャナ１５によるスキャニング動作が行われたか、金額データの値数入力後に部門キーＫ１が操作されたかを調べたり（ステップＡ１）、小計キーＫ２が操作されたかを調べたりする（ステップＡ５）。 FIG. 7 is a flowchart showing the operation at the time of sales data registration processing, which is started when the mode switch MS is switched to the “registration (REG)” position.
First, it is checked whether a registration operation has been performed, that is, whether a scanning operation by the scanner 15 has been performed in order to read a barcode or the like from a product, or whether the department key K1 has been operated after inputting the number of values of amount data (step A1 ), Whether or not the subtotal key K2 has been operated is checked (step A5).

いま、登録操作が行われたときには（ステップＡ１でＹＥＳ）、次のステップＡ２に移り、入力された商品名及び単価を操作者用表示部１６及び客用表示部２４に表示させた後、図示省略した部門別合計ファイルの内容（売上データ）などを更新する登録処理を行う（ステップＡ３）。この場合、ＥＣＲ本体ユニット部１から表示データをカメラユニット部２側に転送することにより客用表示部２４に商品名及び単価を表示させるようにしている。次に、一取引分の小計金額を更新する処理（ステップＡ４）を行った後、上述のステップＡ１に戻り、以下、登録操作が行われる毎に（ステップＡ１でＹＥＳ）、上述の動作を繰り返す（ステップＡ２〜Ａ４）。   Now, when the registration operation is performed (YES in step A1), the process proceeds to the next step A2, and the input product name and unit price are displayed on the operator display unit 16 and the customer display unit 24, and then illustrated. Registration processing for updating the contents (sales data) of the omitted department total file is performed (step A3). In this case, by transferring display data from the ECR main unit 1 to the camera unit 2 side, the product name and unit price are displayed on the customer display 24. Next, after performing the process of updating the subtotal amount for one transaction (step A4), the process returns to the above-described step A1, and thereafter the above-described operation is repeated each time a registration operation is performed (YES in step A1). (Steps A2 to A4).

また、小計キーＫ２が操作されたときには（ステップＡ５でＹＥＳ）、小計金額を操作者用表示部１６及び客用表示部２４に表示させた後（ステップＡ６）、カメラユニット部２に対して客側カメラ２５を起動させて、登録待ち顧客の撮影を指示する（ステップＡ７）。カメラユニット部２は、客側カメラ２５を起動させてその撮影画像を解析し（ステップＡ８）、顧客の顔部分を認識すると共に、その顔部分の個数を計数し（ステップＡ９）、その顔の個数は１以上かを調べる（ステップＡ１０）。ここで、顔の個数が１以上でなければ、つまり、顔部分を認識することができなければ（ステップＡ１０でＮＯ）、上述のステップＡ１０に戻り、顔を認識するまで上述の動作を繰り返しながら待機状態となる。   When the subtotal key K2 is operated (YES in step A5), the subtotal amount is displayed on the operator display unit 16 and the customer display unit 24 (step A6), and the customer is then instructed to the camera unit unit 2. The side camera 25 is activated to instruct the customer waiting for registration to shoot (step A7). The camera unit 2 activates the customer-side camera 25 and analyzes the photographed image (step A8), recognizes the face part of the customer, counts the number of face parts (step A9), and Whether the number is 1 or more is checked (step A10). Here, if the number of faces is not 1 or more, that is, if the face portion cannot be recognized (NO in step A10), the process returns to the above step A10, and the above operation is repeated until the face is recognized. It will be in a standby state.

ここで、認識した顔の個数が１以上であれば（ステップＡ１０でＹＥＳ）、顔毎に顔認識を行ってその顧客ＩＤを取得する（ステップＡ１１）。この場合、顔画像をデジタルズーム処理により所定の大きさに拡大処理した後、その顔画像の解析を行って顔の特徴点データを抽出する顔検出処理を行う。その際、顧客の顔の輪郭や顔を形成するパーツ（目、口、鼻、額など）の形や位置関係などを総合的に判断して、顧客の顔の特徴点を抽出するが、この抽出する機能は、カメラにおいて一般的に用いられている技術であり、本実施形態ではその周知技術を利用するようにしているため、その具体的な説明については省略するものとする。   If the number of recognized faces is 1 or more (YES in step A10), face recognition is performed for each face and the customer ID is acquired (step A11). In this case, after the face image is enlarged to a predetermined size by digital zoom processing, the face image is analyzed to perform face detection processing for extracting face feature point data. At that time, the feature points of the customer's face are extracted by comprehensively judging the outline of the customer's face and the shape and positional relationship of the parts that form the face (eyes, mouth, nose, forehead, etc.). The extracting function is a technique that is generally used in a camera, and since the known technique is used in the present embodiment, the specific description thereof will be omitted.

これによって認識した顔部分の画像に基づいて顔認識用データファイル（図示省略）を参照し、同一の顔画像が登録されていれば、それに対応する顧客ＩＤを読み出し取得するが、登録されていなければ、新規な顧客として判断して新たな顧客ＩＤを生成し、この新たな顧客ＩＤをその顔部分の特徴データと共に、顔認識用データファイルに追加登録した後、この生成した顧客ＩＤを顔認識の結果として読み出し取得する。その後、登録待ち行列処理に移る（ステップＡ１２）。   The face recognition data file (not shown) is referred to based on the recognized face part image, and if the same face image is registered, the corresponding customer ID is read out and acquired, but it must be registered. For example, a new customer ID is generated by judging as a new customer, and the new customer ID is additionally registered in the face recognition data file together with the feature data of the face portion. As a result of reading out and acquiring. Thereafter, the process proceeds to a registration queue process (step A12).

図８は、登録待ち行列処理（図７のステップＡ１２）を詳述するためのフローチャートである。
先ず、カメラユニット部２は、登録待ちファイルＲＦから前回の「取引番号」に対応する「顧客ＩＤ」を全て読み出し取得すると共に（ステップＢ１）、この前回の「取引番号」を“＋１”した新たな「取引番号」を今回の取引の識別番号として生成する（ステップＢ２）。そして、生成した前回の「取引番号」と、上述した図７のステップＡ１１で取得した今回の顧客ＩＤを登録待ちファイルＲＦに追加登録する（ステップＢ３）。そして、今回取引の顧客ＩＤのいずれか一つを指定した後（ステップＢ４）、指定した顧客ＩＤと前回取引の各顧客ＩＤとを比較し（ステップＢ５）、顧客ＩＤが一致するか、つまり、今回取引の顧客ＩＤと同一の顧客ＩＤが前回取引の中に含まれているかを調べる（ステップＢ６）。言い換えれば、前回取引時に撮影された登録待ち行列の顧客の中に今回取引で撮影された登録待ち行列の顧客が含まれているかを調べる。 FIG. 8 is a flowchart for explaining the registration queue processing (step A12 in FIG. 7) in detail.
First, the camera unit 2 reads and acquires all the “customer ID” corresponding to the previous “transaction number” from the registration waiting file RF (step B1), and newly adds “+1” to the previous “transaction number”. A “transaction number” is generated as the identification number of the current transaction (step B2). Then, the generated previous “transaction number” and the current customer ID acquired in step A11 of FIG. 7 described above are additionally registered in the registration waiting file RF (step B3). Then, after designating any one of the customer IDs of the current transaction (step B4), the designated customer ID is compared with each customer ID of the previous transaction (step B5). It is checked whether the same customer ID as the customer ID of the current transaction is included in the previous transaction (step B6). In other words, it is checked whether or not the customers in the registration queue photographed during the previous transaction include the customers in the registration queue photographed during the current transaction.

いま、今回取引の指定顧客ＩＤが前回取引の各顧客ＩＤのいずれにも一致していなければ、つまり、今回取引の指定顧客ＩＤが前回取引の各顧客ＩＤの中に含まれていなければ（ステップＢ６でＮＯ）、今回取引の顧客ＩＤの中から次の顧客ＩＤを指定し（ステップＢ８）、今回取引の各顧客ＩＤを全て指定し終わったかを調べ（ステップＢ９）、全ての顧客ＩＤを指定し終わるまで上述のステップＢ４に戻り、以下、上述の動作を繰り返す。これによって今回取引の指定顧客ＩＤが前回取引の各顧客ＩＤのいずれかに一致していれば（ステップＢ６でＹＥＳ）、前回取引の各顧客ＩＤの中から一致する顧客ＩＤを前回取引の顧客ではないとして除外（削除）することにより前回取引の顧客を特定する（ステップＢ７）。   If the specified customer ID of the current transaction does not match any of the customer IDs of the previous transaction, that is, if the specified customer ID of the current transaction is not included in each customer ID of the previous transaction (step (No in B6), the next customer ID is specified from the customer IDs of the current transaction (step B8), it is checked whether all the customer IDs of the current transaction have been specified (step B9), and all customer IDs are specified. The process returns to the above-described step B4 until it is finished, and the above-described operation is repeated thereafter. As a result, if the designated customer ID of the current transaction matches one of the customer IDs of the previous transaction (YES in step B6), the matching customer ID is selected from the customer IDs of the previous transaction. The customer of the previous transaction is specified by excluding (deleting) that it is not present (step B7).

例えば、上述したように「取引番号」“１０２００１”と“１０２００２”には、同一の「顧客ＩＤ」として“１６５４８６１１４６”が記憶されているため、この“１６５４８６１１４６”を「取引番号」“１０２００１”の取引から除外（削除）することにより「取引番号」“１０２００１”の取引の顧客として、「顧客ＩＤ」が“２５６８４８６０２４”の一人に特定される。そして、今回取引の顧客ＩＤの中から次の顧客ＩＤを指定し（ステップＢ８）、今回取引の各顧客ＩＤを全て指定し終わったことがステップＢ９で検出されるまで上述のステップＢ４に戻り、以下、上述の動作を繰り返す。   For example, since “1654861146” is stored as the same “customer ID” in “transaction number” “102001” and “102002” as described above, this “1654861146” is set to “transaction number” “102001”. By excluding (deleting) from the transaction, “customer ID” is specified as one of “25668486024” as the customer of the transaction with “transaction number” “102001”. Then, the next customer ID is specified from the customer IDs of the current transaction (step B8), and the process returns to the above step B4 until it is detected in step B9 that all the customer IDs of the current transaction have been specified. Thereafter, the above operation is repeated.

このようにして小計キーＫ２の操作に応じて登録待ち行列処理（図７のステップＡ１２）が終わると、ステップＡ１３に移り、現金取引では預かり金の置数入力待ちとなる。ここで、預かり金が置数されると（ステップＡ１３でＹＥＳ）、入力された預かり金を操作者用表示部１６及び客用表示部２４に表示する処理（ステップＡ１４）を行った後、現金／預かり金キーＫ３の操作待ちとなる（ステップＡ１５）。いま、現金／預かり金キーＫ３が操作されると（ステップＡ１５でＹＥＳ）、一取引の登録を終了させる締め処理を実行して今回の取引分の売上データを現金取引用の売上合計器（図示せず）に加算してその内容を更新する処理（ステップＡ１６）を行った後、一取引分の売上データを印字させてレシートを発行させる処理を行う（ステップＡ１７）。そして、モードスイッチＭＳにより「登録（ＲＥＧ）」モードが解除されたことがステップＡ１８で検出されるまで上述のステップＡ１に戻り、次の取引における最初の登録操作が行われるまで待ち状態となる。   When the registration queue process (step A12 in FIG. 7) is completed in accordance with the operation of the subtotal key K2 in this way, the process proceeds to step A13, and in cash transaction, the input of the deposit number is awaited. Here, when the deposit is entered (YES in step A13), after performing the process (step A14) of displaying the entered deposit on the operator display unit 16 and the customer display unit 24, the cash / Waiting for operation of deposit key K3 (step A15). Now, when the cash / deposit key K3 is operated (YES in step A15), a closing process for ending registration of one transaction is executed, and the sales data for the current transaction is displayed as a sales totalizer for cash transactions (see FIG. After adding (not shown) and updating the content (step A16), the sales data for one transaction is printed and a receipt is issued (step A17). Then, the process returns to the above-described step A1 until it is detected in step A18 that the “registration (REG)” mode is released by the mode switch MS, and waits until the first registration operation in the next transaction is performed.

他方、モードスイッチＭＳにより「登録（ＲＥＧ）」モードが解除されて図７及び図８のフローから抜けた場合には、モードスイッチＭＳの切り換え位置に応じた処理として、例えば、「戻し（ＲＦ）」モードであれば、返品処理を実行し、「精算（Ｚ）」モードであれば、一日分の精算処理など実行する。なお、「精算（Ｚ）」モードでの処理フローは、図示省略したが、登録待ちファイルＲＦを参照して取引毎にその顧客ＩＤを読み出し、その顧客ＩＤに基づいて顧客データベースＤＢを検索して、その取引分の売上データを該当する「売上実績」に更新する処理を行う。この場合、登録待ちファイルＲＦから読み出した一取引分の顧客ＩＤが複数であれば、顧客ＩＤ毎に顧客データベースＤＢを検索してその取引分の売上データを該当する「売上実績」に更新する。   On the other hand, when the “registration (REG)” mode is canceled by the mode switch MS and the flow of FIG. 7 and FIG. 8 is exited, as processing according to the switching position of the mode switch MS, for example, “return (RF)” "Return processing" is executed in the "mode", and settlement processing for one day is executed in the "Checkout (Z)" mode. Although the processing flow in the “settlement (Z)” mode is omitted, the customer ID is read for each transaction with reference to the registration waiting file RF, and the customer database DB is searched based on the customer ID. The sales data for the transaction is updated to the corresponding “sales record”. In this case, if there are a plurality of customer IDs for one transaction read from the registration waiting file RF, the customer database DB is searched for each customer ID, and the sales data for the transaction is updated to the corresponding “sales record”.

以上のように本実施形態においてＥＣＲ（売上データ処理装置）は、登録待ちの顧客を撮影する客側カメラ２５により撮影された画像を解析して顧客の顔部分を１つ以上検出する動作を取引毎に行うと共に、検出した顧客の顔部分を画像認識して顧客ＩＤを生成し、前回の取引時に生成した顧客ＩＤと今回の取引時に生成した顧客ＩＤとを比較して、同一の顧客ＩＤが含まれていれば、前回の取引における顧客ＩＤの中から当該同一の顧客ＩＤを前回取引の顧客ではないとして除外することにより前回取引の顧客を特定するようにしたので、顧客の待ち行列を撮影した場合に後続の他の顧客が一緒に写ってしまったり、家族、友達同士などの同伴者が一緒に写ってしまったりするような場合でも、取引毎にその顧客を適切に特定することができ、信頼性及び実用性に富んだものとなる。   As described above, in this embodiment, the ECR (sales data processing apparatus) deals with the operation of detecting one or more customer face parts by analyzing the image taken by the customer-side camera 25 that photographs the customer waiting for registration. The customer ID is generated by recognizing the face portion of the detected customer and comparing the customer ID generated during the previous transaction with the customer ID generated during the current transaction. If it is included, the customer ID of the previous transaction is specified by excluding the same customer ID from the customer IDs of the previous transaction as not being the customer of the previous transaction, so the customer queue is photographed. Even if other subsequent customers are shown together, or a companion such as a family member or friend is shown together, it is possible to appropriately identify the customer for each transaction. , And those rich in reliability and practicality.

一取引分の売上データを登録する一連の操作のうち、一取引中において現時点まで登録した売上データの合計金額を小計として表示させる小計キーＫ２が操作された場合に、画像を解析して顔の画像部分を１つ以上検出する動作を取引毎に行うようにしたので、取引毎に顧客を撮影した画像からその取引の顧客を特定する場合に、客用表示部２０４２４の表示内容（金額）を顧客が目視確認するタイミングで顧客の顔を正面から撮影した撮影画像に基づいて、顧客を特定することができ、顔認識にとって良好なものとなり、その顧客を高い確率で特定することができる。   In a series of operations for registering sales data for one transaction, when the subtotal key K2 for displaying the total amount of sales data registered up to the present time during one transaction is operated as a subtotal, the image is analyzed and the face is analyzed. Since the operation of detecting one or more image portions is performed for each transaction, when the customer of the transaction is specified from the image of the customer photographed for each transaction, the display content (amount) of the customer display unit 20424 is changed. The customer can be identified based on a photographed image obtained by photographing the customer's face from the front at the timing when the customer visually confirms, which is favorable for face recognition, and the customer can be identified with high probability.

客側カメラ２５は、登録待ち顧客が視認する客用表示部２０４２４に搭載されていると共に登録待ちの顧客の顔を対面撮影することが可能な向きに設置されるようにしたので、顧客が金額を確認するタイミングで顧客の顔を正面から撮影された撮影画像に基づいて、顧客を特定することができる。   The customer-side camera 25 is mounted on the customer display unit 20424 that is visually recognized by the customer waiting for registration and is installed in a direction in which the face of the customer waiting for registration can be photographed face-to-face. The customer can be identified on the basis of the photographed image obtained by photographing the customer's face from the front at the timing of confirming.

なお、上述した実施形態においては、検出した顧客の顔部分を画像認識して顧客ＩＤを生成し、前回の取引時に生成した顧客ＩＤと今回の取引時に生成した顧客ＩＤとを比較して、同一の顧客ＩＤが含まれていれば、前回の取引における顧客ＩＤの中から当該同一の顧客ＩＤを前回取引の顧客ではないとして除外することにより前回取引の顧客を特定するようにしたが、顧客ＩＤ同士を比較する場合に限らず、顔部分の画像同士を比較することにより顧客を特定するようにしてもよい。   In the above-described embodiment, a customer ID is generated by image-recognizing the detected customer face portion, and the customer ID generated at the previous transaction is compared with the customer ID generated at the current transaction. The customer ID of the previous transaction is specified by excluding the same customer ID from the customer IDs of the previous transaction as not being the customer of the previous transaction. The customer may be specified by comparing not only the case of comparing each other but also the images of the face portions.

すなわち、登録待ちの顧客を撮影する客側カメラ２５により撮影された画像を解析して顧客の顔部分を１つ以上検出する動作を取引毎に行うと共に、前回の取引時に検出された顔の画像部分と今回の取引時に検出された顔の画像部分とを比較して、同一の顔が含まれているか否かを判別し、同一の顔部分が含まれていると判別された場合に、前回の取引時に検出された各顔の中から当該同一の顔を前回取引の顧客ではないとして除外することにより前回取引の顧客を特定するようにしてもよい。   That is, an image captured by the customer-side camera 25 that captures a customer waiting for registration is analyzed for each transaction to detect one or more face portions of the customer, and the face image detected during the previous transaction. Part and the image part of the face detected at the time of this transaction are compared to determine whether or not the same face is included, and if it is determined that the same face part is included, the previous time You may make it identify the customer of the last transaction by excluding the said same face from each face detected at the time of this transaction not being the customer of the last transaction.

ここで、顔部分の画像同士の比較により顧客を特定する場合には、上述した実施形態に代わって次のようにすれば、実現可能となる。すなわち、図７のステップＡ１１では、顔認識を行って顧客ＩＤを生成するようにしたが、撮影画像から顔部分を抽出する処理に変更するようにすればよい。また、上述した実施形態において、登録待ちファイルＲＦは、「取引番号（伝票番号）」毎に複数の「顧客ＩＤ」を記憶可能な構成としたが、「取引番号」毎に複数の「顔部分の画像」を記憶可能な構成とすればよい。そして、図８のフローのステップＢ１において、登録待ちファイルＲから前回取引の各「顔部分の画像」を取得する処理を行い、また、ステップＢ３においては、今回取引の「顔部分の画像」を登録待ちファイルＲに追加登録する処理を行う。以下、ステップＢ４〜Ｂ９において、「顧客ＩＤ」を「顔部分の画像」に置き換えるようにすれば、前回取引と今回取引の顔部分の画像同士とを比較することにより顧客を特定することができる。   Here, when the customer is specified by comparing the images of the face portions, it can be realized by performing the following instead of the above-described embodiment. That is, in step A11 in FIG. 7, face recognition is performed to generate a customer ID, but the process may be changed to a process for extracting a face portion from a captured image. In the above-described embodiment, the registration waiting file RF is configured to be capable of storing a plurality of “customer IDs” for each “transaction number (slip number)”. The image can be stored. Then, in step B1 of the flow of FIG. 8, the process of obtaining each “face image” of the previous transaction from the registration waiting file R is performed, and in step B3, the “face image” of the current transaction is acquired. A process of additionally registering to the registration waiting file R is performed. Hereinafter, in Steps B4 to B9, if “customer ID” is replaced with “face image”, the customer can be identified by comparing the face image of the previous transaction and the current transaction. .

このように顔部分の画像同士の比較により顧客を特定する場合においても、本実施形態と同様の効果を有する。すなわち、顧客の待ち行列を撮影した場合に後続の他の顧客が一緒に写ってしまったり、家族、友達同士などの同伴者が一緒に写ってしまったりすような場合でも、取引毎にその顧客を適切に特定することができる。   Thus, even when the customer is specified by comparing the images of the face portions, the same effect as in the present embodiment is obtained. In other words, if you take a picture of a customer's queue, other customers that follow, or family members, friends, and other companions are shown together, that customer for each transaction. Can be identified appropriately.

また、コンピュータに対して、売上データを取引毎に登録処理する機能と、登録待ちの顧客を撮影する撮像手段により撮影された顧客画像を解析して顧客の顔部分を１つ以上検出する動作を取引毎に行う機能と、前回の取引時に検出された顔の画像部分と今回の取引時に検出された顔の画像部分とを比較して、同一の顔が含まれているか否かを判別する機能と、同一の顔部分が含まれていると判別された場合に、前回の取引時に検出された顔の画像部分の中から当該同一の顔部分を前回取引の顧客ではないとして除外することにより前回取引の顧客を特定する機能と、を実現させるためのプログラムであってもよい。この場合においても本実施形態と同様の効果を有する。   In addition, the computer has a function of registering sales data for each transaction, and an operation of detecting one or more customer face parts by analyzing a customer image taken by an imaging means for photographing a customer waiting for registration. The function to be performed for each transaction and the function to determine whether the same face is included by comparing the face image part detected at the previous transaction with the face image part detected at the current transaction If it is determined that the same face part is included, the previous face is excluded from the face image part detected during the previous transaction as not being the customer of the previous transaction. It may be a program for realizing a function for identifying a customer of a transaction. Even in this case, the same effect as in the present embodiment is obtained.

また、上述した実施形態において、小計キーＫ２が操作された際に顧客を特定するようにしたが、一取引の登録を終了させる現金／預かり金キーＫ３の操作で顧客を特定するようにしてもよい。更に、小計キーＫ２、現金／預かり金キーＫ３のほか、部門キーＫ１、又は入力データの訂正を指示する訂正キー、入力データをキャンセルする戻しキーなどであってもよい。   In the above-described embodiment, the customer is specified when the subtotal key K2 is operated. However, the customer may be specified by operating the cash / deposit key K3 for ending registration of one transaction. Good. Further, in addition to the subtotal key K2 and the cash / deposit key K3, a department key K1, a correction key for instructing correction of input data, a return key for canceling input data, or the like may be used.

また、上述した各実施形態においては、ＥＣＲ（売上データ処理装置）を構成する筐体をＥＣＲ本体ユニット部１とカメラユニット部２とに分離した構成としたが、それらを統合した構成であってもよい。また、売上データ処理装置としてＥＣＲに適用した場合を示したが、構内専用回線に接続したＰＯＳ端末に適用するようにしてもよい。また、インターネットを介して本部のＰＣに接続した売上データ処理システムに適用するようにしてもよい。   Further, in each of the above-described embodiments, the casing constituting the ECR (sales data processing apparatus) is separated into the ECR main unit 1 and the camera unit 2, but these are integrated. Also good. Further, although the case where the sales data processing apparatus is applied to ECR is shown, it may be applied to a POS terminal connected to a private leased line. Further, the present invention may be applied to a sales data processing system connected to a headquarters PC via the Internet.

また、上述した各実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。   Further, the “apparatus” and “unit” shown in each of the above-described embodiments may be separated into a plurality of cases by function, and are not limited to a single case. In addition, each step described in the above-described flowchart is not limited to time-series processing, and a plurality of steps may be processed in parallel or separately.

以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
（付記）
（請求項１）
請求項１に記載の発明は、
売上データを取引毎に登録処理する売上データ処理装置であって、
登録待ちの顧客を撮影する撮像手段と、
前記撮像手段により撮影された顧客画像を解析して顧客の顔部分を１つ以上検出する動作を取引毎に行う検出手段と、
前記検出手段により検出された顔部分に基づいて、その顔を画像認識して顧客識別データを生成する認識手段と、
前記認識手段により前回の取引時に生成された顧客識別データと今回の取引時に生成された顧客識別データとを比較して、同一の顧客識別データが含まれているか否かを判別する判別手段と、
前記判別手段により同一の顧客識別データが含まれていると判別された場合に、前回の取引時に生成された顧客識別データの中から当該同一の顧客識別データを前回取引の顧客ではないとして除外することにより前回取引の顧客を特定する顧客特定手段と、
を具備したことを特徴とする売上データ処理装置である。
（請求項２）
請求項２に記載の発明は、
売上データを取引毎に登録処理する売上データ処理装置であって、
登録待ちの顧客を撮影する撮像手段と、
前記撮像手段により撮影された顧客画像を解析して顔の画像部分を１つ以上検出する動作を取引毎に行う検出手段と、
前記検出手段により前回の取引時に検出された顔の画像部分と今回の取引時に検出された顔の画像部分とを比較して、同一の顔が含まれているか否かを判別する判別手段と、
前記判別手段により同一の顔部分が含まれていると判別された場合に、前回の取引時に検出された顔の画像部分の中から当該同一の顔部分を前回取引の顧客ではないとして除外することにより前回取引の顧客を特定する顧客特定手段と、
を具備したことを特徴とする売上データ処理装置である。
（請求項３）
請求項３に記載の発明は、請求項１あるいは請求項２に記載の売上データ処理装置において、
前記検出手段は、一取引分の売上データを登録する一連の操作のうち、所定の操作が行われた場合に、顧客画像を解析して顔の画像部分を１つ以上検出する動作を取引毎に行う、
ようにしたことを特徴とする売上データ処理装置である。
（請求項４）
請求項４に記載の発明は、請求項１〜請求項３のいずれかに記載の売上データ処理装置において、
前記撮像手段は、登録待ち顧客が視認する客用表示部に搭載されていると共に登録待ちの顧客の顔を対面撮影することが可能な向きに設置されている、
ことを特徴とする売上データ処理装置である。
（請求項５）
請求項５に記載の発明は、
コンピュータに対して、
売上データを取引毎に登録処理する機能と、
登録待ちの顧客を撮影する撮像手段により撮影された顧客画像を解析して顧客の顔部分を１つ以上検出する動作を取引毎に行う機能と、
前記検出された顔部分に基づいて、その顔を画像認識して顧客識別データを生成する機能と、
前記前回の取引時に生成された顧客識別データと今回の取引時に生成された顧客識別データとを比較して、同一の顧客識別データが含まれているか否かを判別する機能と、
前記同一の顧客識別データが含まれていると判別された場合に、前回の取引時に生成された顧客識別データの中から当該同一の顧客識別データを前回取引の顧客ではないとして除外することにより前回取引の顧客を特定する機能と、
を実現させるためのプログラムである。
（請求項６）
請求項６に記載の発明は、
コンピュータに対して、
売上データを取引毎に登録処理する機能と、
登録待ちの顧客を撮影する撮像手段により撮影された顧客画像を解析して顧客の顔部分を１つ以上検出する動作を取引毎に行う機能と、
前回の取引時に検出された顔の画像部分と今回の取引時に検出された顔の画像部分とを比較して、同一の顔が含まれているか否かを判別する機能と、
同一の顔部分が含まれていると判別された場合に、前回の取引時に検出された顔の画像部分の中から当該同一の顔部分を前回取引の顧客ではないとして除外することにより前回取引の顧客を特定する機能と、
を実現させるためのプログラムである。 The embodiment of the present invention has been described above. However, the present invention is not limited to this, and includes the invention described in the claims and the equivalent scope thereof.
Hereinafter, the invention described in the claims of the present application will be appended.
(Appendix)
(Claim 1)
The invention described in claim 1
A sales data processing device for registering sales data for each transaction,
Imaging means for photographing customers waiting for registration;
Detecting means for analyzing each customer image taken by the imaging means and detecting one or more customer face portions for each transaction;
Recognizing means for recognizing the face and generating customer identification data based on the face portion detected by the detecting means;
A discrimination means for comparing the customer identification data generated during the previous transaction by the recognition means with the customer identification data generated during the current transaction, and determining whether or not the same customer identification data is included;
When it is determined by the determination means that the same customer identification data is included, the same customer identification data is excluded from the customer identification data generated during the previous transaction as not being the customer of the previous transaction Customer identification means to identify the customer of the previous transaction,
A sales data processing apparatus characterized by comprising:
(Claim 2)
The invention described in claim 2
A sales data processing device for registering sales data for each transaction,
Imaging means for photographing customers waiting for registration;
Detecting means for analyzing each customer image taken by the imaging means and detecting one or more facial image portions for each transaction;
A determination means for comparing the face image portion detected during the previous transaction by the detection means with the face image portion detected during the current transaction to determine whether or not the same face is included;
When it is determined by the determining means that the same face part is included, the same face part is excluded from the face image parts detected during the previous transaction as not being the customer of the previous transaction. Customer identification means to identify the customer of the previous transaction by
A sales data processing apparatus characterized by comprising:
(Claim 3)
The invention according to claim 3 is the sales data processing device according to claim 1 or 2,
The detecting means analyzes a customer image and detects one or more facial image portions for each transaction when a predetermined operation is performed among a series of operations for registering sales data for one transaction. To do,
This is a sales data processing apparatus characterized by the above.
(Claim 4)
The invention according to claim 4 is the sales data processing device according to any one of claims 1 to 3,
The imaging means is installed in a customer display unit that is visually recognized by a customer waiting for registration and installed in a direction that allows face-to-face shooting of a customer waiting for registration,
This is a sales data processing apparatus.
(Claim 5)
The invention described in claim 5
Against the computer,
A function to register sales data for each transaction,
A function for analyzing for each transaction a customer image taken by an imaging means for photographing a customer waiting for registration and detecting one or more face portions of the customer;
A function of recognizing the face based on the detected face portion to generate customer identification data;
A function of comparing the customer identification data generated during the previous transaction and the customer identification data generated during the current transaction to determine whether the same customer identification data is included;
When it is determined that the same customer identification data is included, the previous customer identification data is excluded from the customer identification data generated during the previous transaction as not being the customer of the previous transaction. The ability to identify the customer of the transaction,
It is a program for realizing.
(Claim 6)
The invention described in claim 6
Against the computer,
A function to register sales data for each transaction,
A function for analyzing for each transaction a customer image taken by an imaging means for photographing a customer waiting for registration and detecting one or more face portions of the customer;
A function for comparing the face image portion detected during the previous transaction with the face image portion detected during the current transaction to determine whether the same face is included;
When it is determined that the same face part is included, the same face part is excluded from the face image parts detected during the previous transaction as not being the customer of the previous transaction, and the previous transaction The ability to identify customers,
It is a program for realizing.

１ ＥＣＲ本体ユニット部
２ カメラユニット部
１１、２１ ＣＰＵ
１２、２２ 記憶部
１４ 操作部
１５ スキャナ
１６ 操作者用表示部
１９、２９ ＣＯＭポート
２４ 客用表示部
２５ 客側カメラ 1 ECR main unit 2 Camera unit 11, 21 CPU
DESCRIPTION OF SYMBOLS 12, 22 Memory | storage part 14 Operation part 15 Scanner 16 Operator display part 19, 29 COM port 24 Customer display part 25 Customer side camera

Claims (6)

売上データを取引毎に登録処理する売上データ処理装置であって、
登録待ちの顧客を撮影する撮像手段と、
前記撮像手段により撮影された顧客画像を解析して顧客の顔部分を１つ以上検出する動作を取引毎に行う検出手段と、
前記検出手段により検出された顔部分に基づいて、その顔を画像認識して顧客識別データを生成する認識手段と、
前記認識手段により前回の取引時に生成された顧客識別データと今回の取引時に生成された顧客識別データとを比較して、同一の顧客識別データが含まれているか否かを判別する判別手段と、
前記判別手段により同一の顧客識別データが含まれていると判別された場合に、前回の取引時に生成された顧客識別データの中から当該同一の顧客識別データを前回取引の顧客ではないとして除外することにより前回取引の顧客を特定する顧客特定手段と、
を具備したことを特徴とする売上データ処理装置。 A sales data processing device for registering sales data for each transaction,
Imaging means for photographing customers waiting for registration;
Detecting means for analyzing each customer image taken by the imaging means and detecting one or more customer face portions for each transaction;
Recognizing means for recognizing the face and generating customer identification data based on the face portion detected by the detecting means;
A discrimination means for comparing the customer identification data generated during the previous transaction by the recognition means with the customer identification data generated during the current transaction, and determining whether or not the same customer identification data is included;
When it is determined by the determination means that the same customer identification data is included, the same customer identification data is excluded from the customer identification data generated during the previous transaction as not being the customer of the previous transaction Customer identification means to identify the customer of the previous transaction,
A sales data processing apparatus characterized by comprising: 売上データを取引毎に登録処理する売上データ処理装置であって、
登録待ちの顧客を撮影する撮像手段と、
前記撮像手段により撮影された顧客画像を解析して顔の画像部分を１つ以上検出する動作を取引毎に行う検出手段と、
前記検出手段により前回の取引時に検出された顔の画像部分と今回の取引時に検出された顔の画像部分とを比較して、同一の顔が含まれているか否かを判別する判別手段と、
前記判別手段により同一の顔部分が含まれていると判別された場合に、前回の取引時に検出された顔の画像部分の中から当該同一の顔部分を前回取引の顧客ではないとして除外することにより前回取引の顧客を特定する顧客特定手段と、
を具備したことを特徴とする売上データ処理装置。 A sales data processing device for registering sales data for each transaction,
Imaging means for photographing customers waiting for registration;
Detecting means for analyzing each customer image taken by the imaging means and detecting one or more facial image portions for each transaction;
A determination means for comparing the face image portion detected during the previous transaction by the detection means with the face image portion detected during the current transaction to determine whether or not the same face is included;
When it is determined by the determining means that the same face part is included, the same face part is excluded from the face image parts detected during the previous transaction as not being the customer of the previous transaction. Customer identification means to identify the customer of the previous transaction by
A sales data processing apparatus characterized by comprising: 前記検出手段は、一取引分の売上データを登録する一連の操作のうち、所定の操作が行われた場合に、顧客画像を解析して顔の画像部分を１つ以上検出する動作を取引毎に行う、
ようにしたことを特徴とする請求項１あるいは請求項２に記載の売上データ処理装置。 The detecting means analyzes a customer image and detects one or more facial image portions for each transaction when a predetermined operation is performed among a series of operations for registering sales data for one transaction. To do,
3. The sales data processing apparatus according to claim 1, wherein the sales data processing apparatus is configured as described above. 前記撮像手段は、登録待ち顧客が視認する客用表示部に搭載されていると共に登録待ちの顧客の顔を対面撮影することが可能な向きに設置されている、
ことを特徴とする請求項１〜請求項３のいずれかに記載の売上データ処理装置。 The imaging means is installed in a customer display unit that is visually recognized by a customer waiting for registration and installed in a direction that allows face-to-face shooting of a customer waiting for registration,
The sales data processing apparatus according to any one of claims 1 to 3, wherein コンピュータに対して、
売上データを取引毎に登録処理する機能と、
登録待ちの顧客を撮影する撮像手段により撮影された顧客画像を解析して顧客の顔部分を１つ以上検出する動作を取引毎に行う機能と、
前記検出された顔部分に基づいて、その顔を画像認識して顧客識別データを生成する機能と、
前記前回の取引時に生成された顧客識別データと今回の取引時に生成された顧客識別データとを比較して、同一の顧客識別データが含まれているか否かを判別する機能と、
前記同一の顧客識別データが含まれていると判別された場合に、前回の取引時に生成された顧客識別データの中から当該同一の顧客識別データを前回取引の顧客ではないとして除外することにより前回取引の顧客を特定する機能と、
を実現させるためのプログラム。 Against the computer,
A function to register sales data for each transaction,
A function for analyzing for each transaction a customer image taken by an imaging means for photographing a customer waiting for registration and detecting one or more face portions of the customer;
A function of recognizing the face based on the detected face portion to generate customer identification data;
A function of comparing the customer identification data generated during the previous transaction and the customer identification data generated during the current transaction to determine whether the same customer identification data is included;
When it is determined that the same customer identification data is included, the previous customer identification data is excluded from the customer identification data generated during the previous transaction as not being the customer of the previous transaction. The ability to identify the customer of the transaction,
A program to realize コンピュータに対して、
売上データを取引毎に登録処理する機能と、
登録待ちの顧客を撮影する撮像手段により撮影された顧客画像を解析して顧客の顔部分を１つ以上検出する動作を取引毎に行う機能と、
前回の取引時に検出された顔の画像部分と今回の取引時に検出された顔の画像部分とを比較して、同一の顔が含まれているか否かを判別する機能と、
同一の顔部分が含まれていると判別された場合に、前回の取引時に検出された顔の画像部分の中から当該同一の顔部分を前回取引の顧客ではないとして除外することにより前回取引の顧客を特定する機能と、
を実現させるためのプログラム。 Against the computer,
A function to register sales data for each transaction,
A function for analyzing for each transaction a customer image taken by an imaging means for photographing a customer waiting for registration and detecting one or more face portions of the customer;
A function for comparing the face image portion detected during the previous transaction with the face image portion detected during the current transaction to determine whether the same face is included;
When it is determined that the same face part is included, the same face part is excluded from the face image parts detected during the previous transaction as not being the customer of the previous transaction, and the previous transaction The ability to identify customers,
A program to realize

Images