JP2023077805A - 決済者監視装置及びそのプログラム、決済者監視方法 - Google Patents

決済者監視装置及びそのプログラム、決済者監視方法 Download PDF

Info

Publication number
JP2023077805A
JP2023077805A JP2021191259A JP2021191259A JP2023077805A JP 2023077805 A JP2023077805 A JP 2023077805A JP 2021191259 A JP2021191259 A JP 2021191259A JP 2021191259 A JP2021191259 A JP 2021191259A JP 2023077805 A JP2023077805 A JP 2023077805A
Authority
JP
Japan
Prior art keywords
person
payment
payer
processor
monitoring device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021191259A
Other languages
English (en)
Inventor
唯志 竹野
Tadashi Takeno
景太 山崎
Keita Yamazaki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Priority to JP2021191259A priority Critical patent/JP2023077805A/ja
Priority to US17/840,539 priority patent/US20230162576A1/en
Priority to KR1020220097850A priority patent/KR20230077629A/ko
Publication of JP2023077805A publication Critical patent/JP2023077805A/ja
Priority to US18/443,290 priority patent/US20240185691A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G06Q20/40145—Biometric identity checks
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G3/00—Alarm indicators, e.g. bells
    • G07G3/003—Anti-theft control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/02—Payment architectures, schemes or protocols involving a neutral party, e.g. certification authority, notary or trusted third party [TTP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/18—Payment architectures involving self-service terminals [SST], vending machines, kiosks or multimedia terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/382—Payment protocols; Details thereof insuring higher security of transaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4016—Transaction verification involving fraud or risk level assessment in transaction processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G3/00—Alarm indicators, e.g. bells
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G3/00—Alarm indicators, e.g. bells
    • G07G3/006—False operation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Finance (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Emergency Management (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Burglar Alarm Systems (AREA)
  • Alarm Systems (AREA)

Abstract

【課題】決済が終了する前に会計場から立ち去った人物を容易に特定可能とする。【解決手段】決済者監視装置は、人物検出手段と、特徴取得手段と、出力手段とを備える。人物検出手段は、決済端末で取引の決済を行う決済者を検出する。特徴取得手段は、人物検出手段で検出された決済者の特徴を表す情報を取得する。出力手段は、決済端末での決済が終了する前に人物検出手段で検出されていた決済者が検出されなくなると、特徴取得手段で取得した情報とともにアラート信号を出力する。【選択図】 図６

Description

本発明の実施形態は、決済者監視装置及びそのプログラムと決済者監視方法に関する。
買上商品の登録から支払いまでの取引の決済を客自身が行うフルセルフ方式のチェックアウトシステムがある。この種のチェックアウトシステムは、客が決済を終える前に店を出てしまう場合が起こり得る。そこで従来、決済が開始されてから終了されるまでの間、人感センサが会計場にいる客を感知し、決済が終了する前に人感センサが客を感知しなくなるとその旨を報知する技術が知られている。
このような従来技術であれば、店員は、決済が終了する前に会計場から立ち去った人物がいることを知り得る。しかし、報知があった際に会計場から立ち去った人物が複数名いた場合、誰が報知対象の人物であるのかを特定するのかは容易ではない。
特開２０１３－１４０６２９号公報
本発明の実施形態が解決しようとする課題は、決済が終了する前に会計場から立ち去った人物を容易に特定することができる決済者監視技術を提供しようとするものである。
一実施形態において、決済者監視装置は、人物検出手段と、特徴取得手段と、出力手段とを備える。人物検出手段は、決済端末で取引の決済を行う決済者を検出する。特徴取得手段は、人物検出手段で検出された決済者の特徴を表す情報を取得する。出力手段は、決済端末での決済が終了する前に人物検出手段で検出されていた決済者が検出されなくなると、特徴取得手段で取得した情報とともにアラート信号を出力する。
図１は、フルセルフ方式のチェックアウトシステムを示す概略構成図である。 図２は、決済端末の外観構成を示す斜視図である。 図３は、決済端末の要部回路構成を示すブロック図である。 図４は、第１の実施形態において、監視装置の要部回路構成を示すブロック図である。 図５は、第１の実施形態において、監視装置のプロセッサが有する主要な機能構成を示す模式図である。 図６は、第１の実施形態において、監視装置のプロセッサが実行する第１の情報処理の要部手順を示す流れ図である。 図７は、アラート画面の一例である。 図８は、第２の実施形態において、監視装置の要部回路構成を示すブロック図である。 図９は、第２の実施形態において、監視装置のプロセッサが有する主要な機能構成を示す模式図である。 図１０は、第２の実施形態において、監視装置のプロセッサが実行する第１の情報処理の要部手順を示す流れ図である。 図１１は、第３の実施形態において、監視装置の要部回路構成を示すブロック図である。 図１２は、第３の実施形態において、監視装置のプロセッサが有する主要な機能構成を示す模式図である。 図１３は、第３の実施形態において、監視装置のプロセッサが実行する第１の情報処理の要部手順を示す流れ図である。
以下、決済者監視装置に係るいくつかの実施形態について、図面を用いて説明する。
各実施形態は、いずれも、買上商品の登録から支払いまでの取引の決済を客自身が行うフルセルフ方式のチェックアウトシステムを導入したスーパーマーケット等の小売店舗を一例とする。
＜第１の実施形態＞
初めに、第１の実施形態について、図１乃至図６を用いて説明する。
［チェックアウトシステムの説明］
図１は、フルセルフ方式のチェックアウトシステム１００を示す概略構成図である。チェックアウトシステム１００は、複数台の決済端末１０と店舗サーバ２０とを含む。チェックアウトシステム１００は、各決済端末１０と店舗サーバ２０とをＬＡＮ（Local Area Network）等の通信ネットワーク３０で接続する。またチェックアウトシステム１００は、通信ネットワーク３０に、店員監視用のアテンダント端末４０を接続する。
複数台の決済端末１０は、それぞれ店舗の会計場に設置されており、買物を終えた客が操作者となる。商品が陳列された売場において買上商品を買物かご等に入れた客は、会計場へと移動し、決済端末１０を操作して、買上商品の登録から支払いまでの取引の決済をセルフで行う。店舗サーバ２０は、決済端末１０で行われる取引の決済を支援する。アテンダント端末４０は、会計場の出口近傍に設けられた監視場に設置され、決済端末１０毎に登録された買上商品のリスト等を表示デバイスに表示する。またアテンダント端末４０は、決済端末１０でエラーが発生した場合にはそのエラー情報を報知する。監視場にいる店員、いわゆるアテンダントは、アテンダント端末４０の情報を基に会計場の監視を行う。なお、図１では、アテンダント端末４０の台数を１台としているが、複数台のアテンダント端末４０が通信ネットワーク３０に接続されてもよい。
各決済端末１０は、それぞれ監視装置５０を備える。監視装置５０は、決済端末１０の外部にあってもよいし、決済端末１０の内部にあってもよい。本実施形態では、決済端末１０の外部に監視装置５０を設け、決済端末１０と監視装置５０とを信号ケーブル６０で各々接続する場合を例示する。
監視装置５０は、対応する決済端末１０を操作する客、いわゆる決済者の動向を監視するための装置である。具体的には監視装置５０は、対応する決済端末１０を操作して取引の決済を行っている決済者を監視し、その決済者が決済を完了する前に会計場から退出する場合にアラートを通知する。アラートの通知先は、例えばアテンダント端末４０である。各監視装置５０は、アテンダント端末４０と信号ケーブル７０で各々接続しており、アラート信号をアテンダント端末４０へと出力する。監視装置５０は、決済者監視装置の一態様である。
［決済端末の説明］
図２は、決済端末１０の外観構成を示す斜視図であり、図３は、決済端末１０の要部回路構成を示すブロック図である。以下、図２及び図３を用いて、決済端末１０の主要な構成について説明する。
図２に示すように、決済端末１０は、本体１０１と、該本体１０１の左右に配置された第１の商品載置台１０２及び第２の商品載置台１０３とを備える。本体１０１に向かって右側に配置される第１の商品載置台１０２は、決済者である客が登録前の買上商品を載置するための場所である。登録前の買上商品は、通常、買物かごに入れられて第１の商品載置台１０２に載置される。登録前の買上商品は、ショッピングカートに入れられた状態で第１の商品載置台１０２の上方に配置されてもよい。
本体１０１に向かって左側に配置される第２の商品載置台１０３は、客が登録後の買上商品を載置するための場所である。登録後の買上商品は、例えば第２の商品載置台１０３に置かれた買い物袋（レジ袋、マイバッグ等）に入れられる。登録後の買上商品は、第２の商品載置台１０３に直接置かれてもよい。図２において、第２の商品載置台１０３は、上部に支柱を介して一時置き台１０４を設けている。一時置き台１０４は、例えば、商品を買い物袋に入れる前に一時的に載置するための台である。また、一時置き台１０４には、左右に離間させて２本の保持アーム１０５が設けられている。客は、これらの保持アーム１０５を用いて、買い物袋を開口した状態で第２の商品載置台１０３の上に置くことが可能である。
本体１０１は、入出力デバイスとしてタッチパネル１１、カードリーダ１２、プリンタ１３、スキャナ１４、ハンドスキャナ１５、現金処理機１６、スピーカ１７等を備える。
タッチパネル１１は、表示デバイスとしてのディスプレイと、入力デバイスとしてのタッチセンサとを含む。ディスプレイは、決済開始画面、登録明細画面、支払い方法選択画面、会計画面等の種々の画面情報を表示する。決済開始画面は、取引の決済開始を受け付ける画面である。決済開始画面には、取引の決済開始を指令するためのスタートキーが配置される。買上商品の登録を始める客は、スタートキーにタッチする。スタートキーがタッチ操作されたことをタッチセンサが検知すると、決済端末１０のプロセッサ１８１（図３を参照）は、ディスプレイの画面を決済開始画面から登録明細画面へと遷移させる。
登録明細画面は、登録された買上商品の商品名、価格、合計金額等の明細情報を表示する画面である。登録明細画面には、登録を終えた買上商品の代金支払いへの移行を指令するための支払いキーが配置される。買上商品の登録を終えた客は、支払いキーにタッチする。支払いキーがタッチ操作されたことをタッチセンサが検知すると、決済端末１０のプロセッサ１８１は、ディスプレイの画面を登録明細画面から支払い方法選択画面へと遷移させる。
支払い方法選択画面は、現金支払い、クレジットカード支払い、電子マネー支払い等の支払い方法の選択入力を受け付ける画面である。支払い方法選択画面には、現金支払いを指令するための現金キー、クレジットカード支払いを指令するためのクレジットキー、電子マネー支払いを指令するための電子マネーキー等が配置される。例えば、現金支払いを希望する客は、現金キーにタッチする。現金キーがタッチ操作されたことをタッチセンサが検知すると、決済端末１０のプロセッサ１８１は、ディスプレイの画面を支払い方法選択画面から会計画面へと遷移させる。会計画面は、取引の合計金額、現金の預かり金額、及び、釣銭額等を表示する画面である。
カードリーダ１２は、クレジットカード、電子マネーカード、ポイントカード等のカード媒体に記録されたデータを読み取るデバイスである。カード媒体が磁気カードの場合、カードリーダ１２は磁気カードリーダである。カード媒体がＩＣカードの場合、カードリーダ１２は、ＩＣカードリーダである。決済端末１０は、カードリーダ１２として磁気カードリーダ又はＩＣカードリーダのいずれか一方を備えていてもよいし、両方を備えていてもよい。カードリーダ１２は、カードへのデータ書込み機能を有したカードリーダ・ライタであってもよい。
プリンタ１３は、レシート用紙に買上レシート、クレジットカード伝票等に係るデータを印刷するデバイスである。プリンタ１３によって種々のデータが印刷されたレシート用紙は、カッタによりカットされて、レシート発行口から発行される。プリンタ１３は、例えばサーマルプリンタ又はドットインパクトプリンタ等によって実現される。
スキャナ１４及びハンドスキャナ１５は、商品を識別する情報を読み取るものである。本実施形態において、スキャナ１４及びハンドスキャナ１５は、商品を識別する情報として商品に付されたバーコードを読み取るものとする。スキャナ１４は、商品に付されたバーコードが相対するように読取窓に翳された商品のバーコードを光学的に読取る。ハンドスキャナ１５は、決済者によって手持ちで操作されるもので、商品に付されたバーコードに近接されることによりバーコードを光学的に読取る。なお、スキャナ１４及びハンドスキャナ１５は、商品を認識する情報を読み取るものであればよく、例えば二次元コード等、バーコード以外の情報を読み取るものであってもよい。
現金処理機１６は、現金を処理するものである。現金処理機１６は、紙幣投入口１６１、紙幣排出口１６２、硬貨投入口１６３及び硬貨排出口１６４を有する。現金処理機１６は、紙幣投入口１６１に投入された紙幣を処理する。現金処理機１６は、釣銭としての紙幣を紙幣排出口１６２から排出する。現金処理機１６は、硬貨投入口１６３に投入された硬貨を受け入れて処理する。現金処理機１６は、釣銭としての硬貨を硬貨排出口１６４から排出する。
スピーカ１７は、アラートしての警告音、あるいは、メッセージとしての音声などの音を出力する。
本体１０１の上方部には、撮像部としてのカメラ８０が設けられている。カメラ８０は、決済端末１０を操作する決済者を撮影するものである。図２に示すように、タッチパネル１１のディスプレイ、カードリーダ１２のカード挿入口、プリンタ１３のレシート発行口、スキャナ１４の読取窓及び現金処理機１６の紙幣投入口１６１、紙幣排出口１６２、硬貨投入口１６３及び硬貨排出口１６４は、本体１０１の１つの面（以下、正面とする）に配置されている。このため決済者は、本体１０１の正面と対峙するように立って、決済端末１０を操作する。カメラ８０は、その決済者のほぼ全身を上方から撮影する。したがって、決済者の頭部、顔面、両肩、両腕、胸部、腹部等がカメラ８０によって撮影される。
図３に示すように、決済端末１０は、制御回路１８としてプロセッサ１８１、メインメモリ１８２、補助記憶デバイス１８３、時計１８４、ネットワークインターフェース（Ｉ／Ｆ）１８５、監視装置インターフェース（Ｉ／Ｆ）１８６、デバイスインターフェース（Ｉ／Ｆ）１８７及びシステム伝送路１８８等を備える。システム伝送路１８８は、アドレスバス、データバス、制御信号線等を含む。システム伝送路１８８は、プロセッサ１８１と他の各部とを接続し、相互間で授受されるデータ信号を伝送する。
決済端末１０は、プロセッサ１８１と、メインメモリ１８２、補助記憶デバイス１８３、時計１８４、ネットワークインターフェース１８５、監視装置インターフェース１８６及びデバイスインターフェース１８７とをシステム伝送路１８８で接続することにより、コンピュータを構成する。そして決済端末１０は、そのデバイスインターフェース１８７に、前述したタッチパネル１１、カードリーダ１２、プリンタ１３、スキャナ１４、ハンドスキャナ１５、現金処理機１６、スピーカ１７等のデバイスを接続する。なお、決済端末１０に接続されるデバイスは、これらに限定されない。決済端末１０の用途において必要なデバイスを追加したり、一部のデバイスを省略してもよい。
プロセッサ１８１は、上記コンピュータの中枢部分に相当する。プロセッサ１８１は、オペレーティングシステム又はアプリケーションプログラムに従って、決済端末１０としての各種の機能を実現するべく各部を制御する。プロセッサ１８１は、例えばＣＰＵ（Central Processing Unit）である。
メインメモリ１８２は、上記コンピュータの主記憶部分に相当する。メインメモリ１８２は、不揮発性のメモリ領域と揮発性のメモリ領域とを含む。メインメモリ１８２は、不揮発性のメモリ領域ではオペレーティングシステム又はアプリケーションプログラムを記憶する。メインメモリ１８２は、プロセッサ１８１が各部を制御するための処理を実行する上で必要なデータを不揮発性又は揮発性のメモリ領域で記憶する場合もある。メインメモリ１８２は、揮発性のメモリ領域を、プロセッサ１８１によってデータが適宜書き換えられるワークエリアとして使用する。不揮発性のメモリ領域は、例えばＲＯＭ（Read Only Memory）である。揮発性のメモリ領域は、例えばＲＡＭ（Random Access Memory）である。
補助記憶デバイス１８３は、上記コンピュータの補助記憶部分に相当する。例えばＥＥＰＲＯＭ（Electric Erasable Programmable Read-Only Memory）、ＨＤＤ（Hard Disk Drive）、あるいはＳＳＤ（Solid State Drive）等が補助記憶デバイス１８３となり得る。補助記憶デバイス１８３は、プロセッサ１８１が各種の処理を行う上で使用するデータ、プロセッサ１８１での処理によって作成されたデータ等を保存する。補助記憶デバイス１８３は、上記のアプリケーションプログラムを記憶する場合もある。
時計１８４は、日付と時刻を計時する。プロセッサ１８１は、時計１８４によって計時されている日付と時刻を現在日時として処理する。
ネットワークインターフェース１８５は、通信ネットワーク３０を介して接続される店舗サーバ２０及びアテンダント端末４０との間でデータ通信を行う。
監視装置インターフェース１８６は、信号ケーブル６０を介して監視装置５０を接続する。監視装置インターフェース１８６は、監視装置５０との間でデータ通信を行う。
［監視装置の構成説明］
図４は、監視装置５０の要部回路構成を示すブロック図である。監視装置５０は、プロセッサ５１、メインメモリ５２、補助記憶デバイス５３、カメラインターフェース５４、決済端末インターフェース５５、アテンダント端末インターフェース５６及びシステム伝送路５７等を備える。システム伝送路５７は、アドレスバス、データバス、制御信号線等を含む。システム伝送路５７は、プロセッサ５１と他の各部とを接続し、相互間で授受されるデータ信号を伝送する。
監視装置５０は、プロセッサ５１と、メインメモリ５２、補助記憶デバイス５３、カメラインターフェース５４、決済端末インターフェース５５及びアテンダント端末インターフェース５６とをシステム伝送路５７で接続することにより、コンピュータを構成する。
プロセッサ５１は、上記コンピュータの中枢部分に相当する。プロセッサ５１は、オペレーティングシステム又はアプリケーションプログラムに従って、監視装置５０としての各種の機能を実現するべく各部を制御する。プロセッサ５１は、例えばＣＰＵである。
メインメモリ５２は、上記コンピュータの主記憶部分に相当する。メインメモリ５２は、不揮発性のメモリ領域と揮発性のメモリ領域とを含む。メインメモリ５２は、不揮発性のメモリ領域ではオペレーティングシステム又はアプリケーションプログラムを記憶する。メインメモリ５２は、プロセッサ５１が各部を制御するための処理を実行する上で必要なデータを不揮発性又は揮発性のメモリ領域で記憶する場合もある。メインメモリ５２は、揮発性のメモリ領域を、プロセッサ５１によってデータが適宜書き換えられるワークエリアとして使用する。不揮発性のメモリ領域は、例えばＲＯＭである。揮発性のメモリ領域は、例えばＲＡＭである。
補助記憶デバイス５３は、上記コンピュータの補助記憶部分に相当する。例えばＥＥＰＲＯＭ、ＨＤＤ、あるいはＳＳＤ等が補助記憶デバイス５３となり得る。補助記憶デバイス５３は、プロセッサ５１が各種の処理を行う上で使用するデータ、プロセッサ５１での処理によって作成されたデータ等を保存する。補助記憶デバイス５３は、上記のアプリケーションプログラムを記憶する場合もある。
カメラインターフェース５４は、対応する決済端末１０に設けられたカメラ８０を接続する。カメラインターフェース５４は、カメラ８０の駆動を制御する制御信号をカメラ８０に対して出力する。カメラ８０は、この制御信号に従って撮影動作を行う。カメラインターフェース５４は、カメラ８０によって撮影された画像データを取り込む。
決済端末インターフェース５５は、信号ケーブル６０を介して決済端末１０を接続する。決済端末インターフェース５５は、決済端末１０との間でデータ通信を行う。
アテンダント端末インターフェース５６は、信号ケーブル７０を介してアテンダント端末４０を接続する。アテンダント端末インターフェース５６は、アテンダント端末４０との間でデータ通信を行う。
かかる構成の監視装置５０は、メインメモリ５２における揮発性メモリ領域の一部を第１メモリ５２１及び第２メモリ５２２の領域としている。第１メモリ５２１及び第２メモリ５２２の用途については後述する。
また監視装置５０は、図５に示すように、プロセッサ５１が画像取得手段５１１、人物検出手段５１２、スコア算出手段５１３、記憶手段５１４及び出力手段５１５としての機能を有する。
画像取得手段５１１は、カメラインターフェース５４を介して接続されたカメラ８０で撮影される画像データをフレーム毎に順次取得する機能である。
人物検出手段５１２は、決済端末１０で取引の決済を行う決済者を検出する機能である。人物検出手段５１２は、例えば画像取得手段５１１により取得したカメラ８０での撮影画像を基に決済者を検出する。人物検出手段５１２は、例えばＡＩを活用した骨格推定技術を利用して撮影画像から人物の骨格情報を抽出することにより、決済者を検出する。
スコア算出手段５１３は、決済者の姿勢スコアを算出する機能である。スコア算出手段５１３は、例えば人物検出手段５１２において、骨格推定技術により抽出された人物の骨格情報を基に、姿勢スコアを算出する。スコア算出手段５１３は、例えば骨格を構成する体のパーツを点数化して、姿勢スコアを算出する。体のパーツには、右目、左目、右耳、左耳、鼻、口、首、右肩、左肩、右肘、左肘、右手首、左手首、右腰、左腰、右膝、左膝、右足首、左足首等がある。スコア算出手段５１３は、例えば抽出されたパーツの総数を姿勢スコアとする。スコア算出手段５１３は、人物を特定する上で有効な目、鼻等のパーツに対しては重みづけを行って、姿勢スコアを算出してもよい。また、スコア算出手段５１３は、体の軸となる右肩と左肩の中点と右腰と左腰の中点とを結ぶ線分が、上から見て手前側に傾いている場合、すなわち決済者が俯いている場合には、顔のパーツが不明のため、姿勢スコアが減少するように設定してもよい。
記憶手段５１４は、例えば人物検出手段５１２において、骨格推定技術を利用して撮影画像から人物の骨格情報が抽出された場合、その骨格情報を第１メモリ５２１に記憶させる機能である。第１メモリ５２１は、所定数の骨格情報を時系列に記憶可能である。第１メモリ５２１において既に所定数の骨格情報を記憶している場合、記憶手段５１４は、最も古い骨格情報を削除してから新たな骨格情報を第１メモリ５２１に記憶させる。
また記憶手段５１４は、スコア算出手段５１３において算出された姿勢スコアの最大値を、その姿勢スコアに対応したフレーム単位の撮影画像のデータとともに第２メモリ５２２に記憶させる機能でもある。姿勢スコアが最大値ということは、姿勢スコアに対応したフレーム単位の撮影画像には、人物検出手段５１２で検出された人物を特定できる情報が多数含まれていると言える。つまり、最大値の姿勢スコアに対応したフレーム単位の撮影画像のデータは、決済者の特徴を表す情報となり得る。ここに、スコア算出手段５１３及び記憶手段５１４は、決済者の特徴を表す情報を取得する特徴取得手段と言い換えることができる。
出力手段５１５は、決済端末１０での決済が終了する前に人物検出手段５１２において決済者が検出されなくなると、アラート信号を出力する機能である。アラート信号は、第２メモリ５２２に記憶された情報、すなわち決済者の特徴を表す情報であるフレーム単位の撮影画像のデータを含む。アラート信号は、例えば信号ケーブル７０を介してアテンダント端末４０へと出力される。
上述した画像取得手段５１１、人物検出手段５１２、スコア算出手段５１３、記憶手段５１４及び出力手段５１５としての機能は、いずれもプロセッサ５１が決済者監視プログラムに従って実行する第１の情報処理によって実現される。
決済者監視プログラムは、メインメモリ５２又は補助記憶デバイス５３に記憶されるアプリケーションプログラムの一種である。決済者監視プログラムをメインメモリ５２又は補助記憶デバイス５３にインストールする方法は特に限定されるものではない。リムーバブルな記録媒体に決済者監視プログラムを記録して、あるいはネットワークを介した通信により決済者監視プログラムを配信して、メインメモリ５２又は補助記憶デバイス５３にインストールすることができる。記録媒体は、ＣＤ－ＲＯＭ，メモリカード等のようにプログラムを記憶でき、かつ装置が読み取り可能であれば、その形態は問わない。
［監視装置の作用説明］
図６は、監視装置５０のプロセッサ５１が決済者監視プログラムに従って実行する第１の情報処理の要部手順を示す流れ図である。以下、図６を用いて、監視装置５０の主要な作用について説明する。なお、以下に説明する手順は一例である。同様な効果を奏し得るのであればその手順は適宜変更することができる。
図６に示すように、プロセッサ５１は、ＡＣＴ１として決済開始コマンドを待ち受ける。決済開始コマンドは、対応する決済端末１０において、決済開始画面に表示されたスタートキーが入力されると、決済端末１０から信号ケーブル６０を介して監視装置５０へと送信される。すなわち、会計場に来た決済者が空いている決済端末１０の正面に立ち、タッチパネル１１に表示されているスタートキーをタッチ操作すると、決済開始コマンドがその決済端末１０と接続された監視装置５０に入力される。
ＡＣＴ１において、プロセッサ５１は、決済端末インターフェース５５を介して決済監視コマンドを受信すると、ＡＣＴ２へと進む。プロセッサ５１は、ＡＣＴ２として第１メモリ５２１及び第２メモリ５２２を初期化する。この初期化により、第１メモリ５２１及び第２メモリ５２２に記憶されていたデータはクリアされる。
第１メモリ５２１及び第２メモリ５２２を初期化し終えると、プロセッサ５１は、ＡＣＴ３へと進む。プロセッサ５１は、ＡＣＴ３としてカメラインターフェース５４に接続されたカメラ８０に対し、起動信号を出力する。この起動信号により、カメラ８０は、撮影動作を開始する。前述したように、カメラ８０は、決済端末１０の正面に立つ決済者を上方から撮影可能な位置に取り付けられている。したがって、カメラ８０によって撮影された画像には、スタートキーをタッチ操作した決済者の頭髪、顔、服装等が映し出されている可能性が高い。
プロセッサ５１は、ＡＣＴ４として画像取得手段５１１としての機能により、カメラインターフェース５４を介してカメラ８０からフレーム単位の撮影画像を取得する。そしてプロセッサ５１は、このフレーム単位の撮影画像を基にＡＣＴ５以降の処理を実行する。
プロセッサ５１は、ＡＣＴ５として人物検出手段５１２としての機能により、その撮影画像に映し出されている人物を検出する。具体的にはプロセッサ５１は、撮影画像に対して骨格推定処理を実行する。撮影画像に人物が映し出されている場合、骨格推定処理によりその人物の骨格情報が抽出される。つまり骨格情報が抽出された場合には、決済者であると想定される人物が決済端末１０の正面に立っていると言える。
プロセッサ５１は、ＡＣＴ６として人物が検出されたか否か、つまりは撮影画像から骨格情報を抽出できたか否かを確認する。ＡＣＴ６において、撮影画像から骨格情報を抽出できない場合、プロセッサ５１は、ＡＣＴ７へと進む。プロセッサ５１は、ＡＣＴ７として第２メモリ５２２にデータが記憶されているか否かを確認する。ＡＣＴ２において、第２メモリ５２２が初期化された直後は、第２メモリ５２２にデータが記憶されていない。その場合、プロセッサ５１は、ＡＣＴ４へと戻る。プロセッサ５１は、次のフレーム単位の撮影画像をカメラ８０から取得して、ＡＣＴ５以降の処理を前述したのと同様に実行する。
ＡＣＴ６おいて、撮影画像から骨格情報を抽出できた場合、プロセッサ５１は、ＡＣＴ８へと進む。プロセッサ５１は、ＡＣＴ８として記憶手段５１４としての機能により、第１メモリ５２１にその骨格情報を記憶させる。プロセッサ５１は、ＡＣＴ９として第１メモリ５２１に別の骨格情報が既に記憶されているか否かを確認する。ＡＣＴ２において、第１メモリ５２１が初期化された直後は、第１メモリ５２１に別の骨格情報が記憶されていない。その場合、プロセッサ５１は、ＡＣＴ１５へと進む。ＡＣＴ１５の処理については、後述する。
ＡＣＴ９において、第１メモリ５２１に別の骨格情報が既に記憶されている場合には、プロセッサ５１は、ＡＣＴ１０へと進む。プロセッサ５１は、ＡＣＴ１０として同一人物判定処理を実行する。具体的にはプロセッサ５１は、ＡＣＴ５において骨格情報が抽出された撮影画像に映し出されている人物が、第１メモリ５２１に記憶されている骨格情報が抽出された撮影画像に映し出されている人物と同一人物であるか否かを判定する。例えばプロセッサ５１は、第１メモリ５２１に複数の骨格情報が記憶されている場合、それら複数の骨格情報から現在の骨格情報を外挿によって推定する。そしてプロセッサ５１は、その推定された骨格情報とＡＣＴ５において抽出された骨格情報とのマッチングを行う。その結果、骨格情報の類似度が所定値以上である場合には、プロセッサ５１は、同一人物が映し出されていると判定する。骨格情報の類似度が所定値未満の場合には、プロセッサ５１は、同一人物が映し出されていないと判定する。
通常、決済端末１０を利用して買上商品の登録から支払いまでの取引の決済をセルフで行う決済者は、買上商品を第１の商品載置台１０２の上に置いて決済端末１０の前に立つ。そして決済者は、決済開始画面に表示されたスタートキーを入力する。そうすると、タッチパネル１１の画面が決済開始画面から登録明細画面へと遷移するので、決済者は、買上商品の登録作業を始める。具体的には決済者は、第１の商品載置台１０２から買上商品を１品ずつ手に取り、その買上商品に付されているバーコードをスキャナ１４又はハンドスキャナ１５で読み取らせた後、その買上商品を第２の商品載置台１０３の上に置く、という作業を繰り返す。したがって、買上商品の登録作業を行っている間、決済者は、決済端末１０の正面に立ち続けると想定される。そしてその間、決済者はカメラ８０によって撮影される。このため通常は、ＡＣＴ１１において同一人物が映し出されていると判定される。しかし、決済者又はその周囲にいる人物の意図しない動き等により、一時的に同一人物でないと判定される場合もあり得る。同一人物でないと判定された場合、プロセッサ５１は、ＡＣＴ１５へと進む。ＡＣＴ１５の処理については、後述する。
ＡＣＴ１１において、同一人物であると判定された場合には、プロセッサ５１は、ＡＣＴ１２へと進む。プロセッサ５１は、ＡＣＴ１２としてスコア算出手段５１３としての機能により、ＡＣＴ５において抽出された骨格情報から姿勢スコアを算出する。プロセッサ５１は、ＡＣＴ１３として算出された姿勢スコアがそれまでの最大値であるか否かを確認する。
プロセッサ５１は、後述するＡＣＴ１４において、姿勢スコアの最大値を第２メモリ５２２に記憶させる。したがってＡＣＴ１３においては、プロセッサ５１は、第２メモリ５２２に姿勢スコアが記憶されていない場合、あるいは第２メモリ５２２に記憶されている姿勢スコアよりもＡＣＴ１２において算出された姿勢スコアの方が大きい場合には、最大値の姿勢スコアが算出されたと判定する。第２メモリ５２２に記憶されている姿勢スコアの方が、ＡＣＴ１２において算出された姿勢スコアよりも小さい又は等しい場合には、プロセッサ５１は、最大値でない姿勢スコアが算出されたと判定する。最大値でない姿勢スコアが算出された場合、プロセッサ５１は、ＡＣＴ１５へと進む。ＡＣＴ１５の処理については、後述する。
ＡＣＴ１３において、最大値の姿勢スコアが算出された場合には、プロセッサ５１は、ＡＣＴ１４へと進む。プロセッサ５１は、ＡＣＴ１４として記憶手段５１４としての機能により、ＡＣＴ４において取得したフレーム単位の画像データと、ＡＣＴ１２において算出された姿勢スコアとを関連付けて第２メモリ５２２に記憶させる。その後、プロセッサ５１は、ＡＣＴ１５へと進む。
このようにプロセッサ５１は、ＡＣＴ１４において第２メモリ５２２にフレーム単位の画像データとその時点で最大値となる姿勢スコアとを記憶させるか、ＡＣＴ１１において同一人物判定処理により同一人物でないと判定されるか、ＡＣＴ９にいて第１メモリ５２１に別の骨格情報が記憶されていない場合、ＡＣＴ１５へと進む。
プロセッサ５１は、ＡＣＴ１５として決済終了コマンドを受信したか否かを確認する。決済終了コマンドは、対応する決済端末１０において、会計画面が表示されると、決済端末１０から信号ケーブル６０を介して監視装置５０へと送信される。すなわち、買上商品の登録作業を終えた決済者が、登録明細画面に表示された支払いキーを入力すると、タッチパネル１１の画面が登録明細画面から支払い方法選択画面へと遷移するので、決済者は、所望の支払方法に対応したキーを入力する。そうすると、タッチパネル１１の画面が支払方法に応じた会計画面に遷移するとともに、監視装置５０に決済終了コマンドが入力される。
ＡＣＴ１５において、決済終了コマンドを受信していない場合、すなわち決済者が買上商品の登録作業を継続している場合には、プロセッサ５１は、ＡＣＴ４へと戻る。プロセッサ５１は、次のフレーム単位の撮影画像をカメラ８０から取得して、ＡＣＴ５以降の処理を前述したのと同様に実行する。すなわちプロセッサ５１は、買上商品の登録作業を継続している決済者の頭髪、顔、服装、等が映し出されている可能性が高い撮影画像を取得する毎に、ＡＣＴ５の骨格推定処理、ＡＣＴ８の骨格情報記憶処理、ＡＣＴ１０の同一人物判定処理、ＡＣＴ１２の姿勢スコア算出処理、ＡＣＴ１４の第２メモリ更新処理を実行する。
ＡＣＴ１５において、決済終了コマンドを受信した場合には、プロセッサ５１は、ＡＣＴ１７へと進む。プロセッサ５１は、ＡＣＴ１７としてカメラインターフェース５４に接続されたカメラ８０に対し、停止信号を出力する。この停止信号により、カメラ８０は、撮影動作を停止する。以上で、プロセッサ５１は、図６の流れ図で示す手順の第１の情報処理を終了する。その後、プロセッサ５１は再び、ＡＣＴ１として次の決済開始コマンドを待ち受ける。
このように、決済者が決済端末１０を利用して買上商品の登録から支払いまでの取引の決済をセルフで行った場合には、決済者は、通常、決済が終了するまで決済端末１０の正面に立ち続ける。したがって、カメラ８０で撮影されたフレーム単位の画像からは決済者の骨格情報が継続して抽出されるので、プロセッサ５１は、そのフレーム単位の撮影画像に対してＡＣＴ８乃至ＡＣＴ１４の処理を繰り返し実行する。その結果、姿勢スコアが最大値となる撮影画像が第２メモリ５２２に記憶される。
ここで、決済者が決済端末１０に対して買上商品の代金を支払うための操作を行って取引の決済が終了した場合には、プロセッサ５１は、第１の情報処理を終了する。そして、次の決済者によるスタートキーのタッチ操作に応じて、プロセッサ５１は、第２メモリ５２２をクリアする。したがって、取引の決済を終了した決済者の画像情報が第２メモリ５２２に残ることはない。
一方、決済が終了する前に、決済者が決済端末１０の正面から離れると、ＡＣＴ５の骨格推定処理において、撮影画像から骨格情報を抽出できなくなる。姿勢スコアが最大値となる撮影画像が第２メモリ５２２に記憶されている状態で、撮影画像から骨格情報を抽出できなくなると、プロセッサ５１は、ＡＣＴ１６へと進む。プロセッサ５１は、ＡＣＴ１６として出力手段５１５としての機能により、アラートを通知する。具体的にはプロセッサ５１は、アテンダント端末インターフェース５６を介してアテンダント端末４０にアラート信号を出力する。このアラート信号には、第２メモリ５２２に記憶されたフレーム単位の撮影画像のデータが含まれる。
アラートを通知したプロセッサ５１は、前述したＡＣＴ１７へと進む。すなわちプロセッサ５１は、カメラインターフェース５４に接続されたカメラ８０に対し、停止信号を出力して、第１の情報処理を終了する。
このように、決済が終了する前に、決済者が決済端末１０の正面から離れた場合には、監視装置５０からアテンダント端末４０に対し、アラート信号が出力される。このアラート信号により、アテンダント端末４０においては、表示デバイスにアラート画面９０（図７を参照）が表示される。
図７は、アラート画面９０の一例である。図示するように、アラート画面９０には、アラートメッセージ９１とともに画像領域９２に撮影画像が表示される。アラートメッセージ９１は、アラート信号送信元の監視装置５０に対応する決済端末１０で決済者が未会計のまま立ち去ったことをアテンダントに通知する内容のメッセージである。撮影画像は、アラート信号とともに受信した撮影画像、すなわち、姿勢スコアが最大となる撮影画像である。また、アラート画面９０には、アテンダント以外のセキュリティ担当者にアラート画面９０の情報を転送する場合にチェックを入れるチェックボックス９３と、ＯＫボタン９４も表示される。なお、アラート画面９０のレイアウト、画像、テキスト等は、図７に示すものに限定されるものではない。
アラート画面９０を確認したアテンダントは、Ｎｏ．３の決済端末１０で決済を行っていた決済者が未会計のまま決済端末１０を離れたことを知り得る。このとき、画像領域９２には、その決済者の頭部、顔、服装等の特徴を示す画像が表示されているので、アテンダントは、その画像からアラート通知対象の決済者が誰であるのかを容易に特定することができる。
例えば、アラート通知対象の決済者を特定したアテンダントは、ＯＫボタン９４を入力する。そうすると、アラート画面９０が消去される。例えば、アラート通知対象の決済者を特定できなかったアテンダントは、チェックボックス９３にチェックを入れてからＯＫボタン９４を入力する。そうすると、アテンダント端末４０からセキュリティ担当者がオペレータである所定の端末に、アラート画面９０の内容が転送される。その結果、未会計のまま会計場を立ち去った決済者の特徴を示す画像が端末に保存される。
［監視装置の効果］
以上詳述したように、第１の実施形態によれば、アテンダント端末４０からアラートが通知された際に会計場から立ち去ろうとする人物が複数名いた場合においても、アテンダントは、アラート対象の人物を容易に特定することができる。その結果、決済者が未会計のまま会計場から立ち去るのを高い確率をもって防ぐことができる。
監視装置５０は、カメラ８０によって撮影される画像については、姿勢スコアが最大となるフレーム単位の画像だけを第２メモリ５２２で記憶する。したがって、データ容量が大きい画像データを複数記憶する必要がないので、少ないメモリ容量で構成できる利点もある。
＜第２の実施形態＞
次に、第２の実施形態について、図８乃至図１０を用いて説明する。
第２の実施形態においても、第１の実施形態と同様に、チェックアウトシステム１００を構成する各決済端末１０に対してそれぞれ設けられる監視装置５０を決済者監視装置の一態様とする。このため、図１乃至図３については、第２の実施形態においてもそのまま適用し、その説明は省略する。また、図８乃至図１０は、第１の実施形態における図４乃至図６と対応した図である。そこで、第１の実施形態と共通する要素には同一符号を付し、その詳しい説明は省略する。
［監視装置の構成説明］
監視装置５０は、第１の実施形態と構成及び作用の一部を異にする。そこで以下では、第２の実施形態に係る監視装置を監視装置５０１と表す。
図８は、監視装置５０１の要部回路構成を示すブロック図である。監視装置５０１は、監視装置５０と同様に、プロセッサ５１、メインメモリ５２、補助記憶デバイス５３、カメラインターフェース５４、決済端末インターフェース５５、アテンダント端末インターフェース５６及びシステム伝送路５７等を備える。
ただし、監視装置５０１は、メインメモリ５２における揮発性メモリ領域の一部を検出済フラグＦのメモリ５２３及び第３メモリ５２４の領域としている。検出済フラグＦのメモリ５２３及び第３メモリ５２４の用途については後述する。
また監視装置５０１は、図９に示すように、プロセッサ５１が画像取得手段５８１、人物検出手段５８２、記憶手段５８３及び出力手段５８４としての機能を有する。
画像取得手段５８１は、監視装置５０の画像取得手段５１１と同様に、カメラインターフェース５４を介して接続されたカメラ８０で撮影される画像データをフレーム毎に順次取得する機能である。
人物検出手段５８２は、監視装置５０の人物検出手段５１２と同様に、決済端末１０で取引の決済を行う決済者を検出する機能である。人物検出手段５８２は、例えば画像取得手段５８１により取得したカメラ８０での撮影画像を基に決済者を検出する。ただし、監視装置５０１はスコア算出手段５１３としての機能を有していないので、人物検出手段５８２は、骨格推定技術を利用する必要はない。例えば人物検出手段５８２は、ＳＳＤ等の深層学習を用いた物体検出技術を利用して、撮影画像から人物のカテゴリに属する物体を決済者として検出すればよい。
記憶手段５８３は、メモリ５２３に、“０”又は“１”の１ビットデータである検出済フラグＦを記憶させる機能である。また記憶手段５８３は、人物検出手段５８２によって決済者が最初に検出された撮影画像のデータを第３メモリ５２４に記憶させる機能でもある。
後述するが、第２の実施形態においても、プロセッサ５１は、決済端末１０から決済開始コマンドを受信すると、カメラ８０に対して起動信号を出力する。決済開始コマンドは、決済者が決済端末１０のタッチパネル１１に表示されている決済開始画面に表示されたスタートキーをタッチ操作することによって、決済端末１０から監視装置５０１へと送信される。したがって、そのタイミングでカメラ８０により撮影された画像には、タッチパネル１１に顔を向けた決済者が映し出される可能性が高い。つまりカメラ８０は、決済端末１０の上方に配置されているので、決済者の服装だけでなく顔が映し出される可能性が高い。また、第１の商品載置台１０２には、決済者の買上商品が全部置かれているので、買上商品が撮影画像に映し出されているはずである。したがって、第３メモリ５２４に記憶される撮影画像、すなわち人物検出手段５８２によって決済者が最初に検出された撮影画像のデータは、決済者の特徴を表す情報であると言える。ここに、記憶手段５８３は、決済者の特徴を表す情報を取得する特徴取得手段と言い換えることができる。
出力手段５８４は、監視装置５０の出力手段５１５と同様に、決済端末１０での決済が終了する前に人物検出手段５８２において決済者が検出されなくなると、アラート信号を出力する機能である。アラート信号は、第３メモリ５２４に記憶された情報、すなわち決済者の特徴を表す情報である撮影画像のデータを含む。アラート信号は、例えば信号ケーブル７０を介してアテンダント端末４０へと出力される。
上述した画像取得手段５８１、人物検出手段５８２、記憶手段５８３及び出力手段５８４としての機能は、いずれもプロセッサ５１が決済者監視プログラムに従って実行する第２の情報処理によって実現される。
［監視装置の作用説明］
図１０は、監視装置５０１のプロセッサ５１が決済者監視プログラムに従って実行する第２の情報処理の要部手順を示す流れ図である。以下、図１０を用いて、監視装置５０１の主要な作用について説明する。なお、以下に説明する手順は一例である。同様な効果を奏し得るのであればその手順は適宜変更することができる。
図１０に示すように、プロセッサ５１は、ＡＣＴ２１として決済開始コマンドを待ち受ける。対応する決済端末１０において、決済開始画面に表示されたスタートキーが入力されことにより、決済端末インターフェース５５を介して決済監視コマンドを受信すると、プロセッサ５１は、ＡＣＴ２２へと進む。プロセッサ５１は、ＡＣＴ２２として記憶手段５８３としての機能により、メモリ５２１に記憶される検出済フラグＦを“０”とする。また、プロセッサ５１は、ＡＣＴ２３として第３メモリ５２４を初期化する。この初期化により、第３メモリ５２４に記憶されていたデータはクリアされる。
第３メモリ５２４を初期化し終えると、プロセッサ５１は、ＡＣＴ２４へと進む。プロセッサ５１は、ＡＣＴ２４としてカメラインターフェース５４に接続されたカメラ８０に対し、起動信号を出力する。この起動信号により、カメラ８０は、撮影動作を開始する。
プロセッサ５１は、ＡＣＴ２５として画像取得手段５８１としての機能により、カメラインターフェース５４を介してカメラ８０からフレーム単位の撮影画像を取得する。そしてプロセッサ５１は、このフレーム単位の撮影画像を基にＡＣＴ２６以降の処理を実行する。
プロセッサ５１は、ＡＣＴ２６として人物検出手段５８２としての機能により、その撮影画像に映し出されている人物を検出する。具体的にはプロセッサ５１は、物体検出技術を利用して、撮影画像から人物のカテゴリに属する物体を検出する。
プロセッサ５１は、ＡＣＴ２７として撮影画像から人物のカテゴリに属する物体を検出できたか否かを確認する。ＡＣＴ２７において、撮影画像から人物のカテゴリに属する物体を検出できない場合、プロセッサ５１は、ＡＣＴ２８へと進む。プロセッサ５１は、ＡＣＴ２８として第３メモリ５２４にデータが記憶されているか否かを確認する。ＡＣＴ２３において、第３メモリ５２４が初期化された直後は、第３メモリ５２４にデータが記憶されていない。その場合、プロセッサ５１は、ＡＣＴ２５へと戻る。プロセッサ５１は、次のフレーム単位の撮影画像をカメラ８０から取得して、ＡＣＴ２６以降の処理を前述したのと同様に実行する。
ＡＣＴ２７おいて、撮影画像から人物のカテゴリに属する物体を検出できた場合、プロセッサ５１は、ＡＣＴ２９へと進む。プロセッサ５１は、ＡＣＴ２９としてメモリ５２３の検出済フラグＦを調べる。検出済フラグＦが“０”の場合、プロセッサ５１は、ＡＣＴ３０へと進む。プロセッサ５１は、ＡＣＴ３０として記憶手段５８３としての機能により、ＡＣＴ２５において取得したフレーム単位の撮影画像のデータを第３メモリ５２４に記憶させる。まだプロセッサ５１は、ＡＣＴ３１として記憶手段５８３としての機能により、メモリ５２３の検出済フラグＦを“０”から“１”に書き換える。その後、プロセッサ５１は、ＡＣＴ３２へと進む。
プロセッサ５１は、ＡＣＴ３２として決済終了コマンドを受信したか否かを確認する。決済終了コマンドを受信していない場合、すなわち決済者が買上商品の登録作業を継続している場合には、プロセッサ５１は、ＡＣＴ２５へと戻る。プロセッサ５１は、次のフレーム単位の撮影画像をカメラ８０から取得して、ＡＣＴ２６以降の処理を実行する。ただしこの場合には、ＡＣＴ２９において検出済フラグＦが“１”であるので、プロセッサ５１は、ＡＣＴ３０及びＡＣＴ３１の処理をスキップする。
ＡＣＴ３２において、決済終了コマンドを受信した場合には、プロセッサ５１は、ＡＣＴ３４へと進む。プロセッサ５１は、ＡＣＴ３４としてカメラインターフェース５４に接続されたカメラ８０に対し、停止信号を出力する。この停止信号により、カメラ８０は、撮影動作を停止する。以上で、プロセッサ５１は、図１０の流れ図で示す手順の第２の情報処理を終了する。その後、プロセッサ５１は再び、ＡＣＴ２１として次の決済開始コマンドを待ち受ける。
このように、決済者が決済端末１０を利用して買上商品の登録から支払いまでの取引の決済をセルフで行った場合には、決済者は、通常、決済が終了するまで決済端末１０の正面に立ち続ける。したがって、カメラ８０で撮影されたフレーム単位の画像からは人物のカテゴリに属する物体が継続して検出されるので、プロセッサ５１は、そのフレーム単位の撮影画像に対してＡＣＴ２９以降の処理を繰り返し実行する。その結果、決済者である人物が最初に検出された撮影画像が第３メモリ５２４に記憶される。
ここで、決済者が決済端末１０に対して買上商品の代金を支払うための操作を行って取引の決済が終了した場合には、プロセッサ５１は、第２の情報処理を終了する。そして、次の決済者によるスタートキーのタッチ操作に応じて、プロセッサ５１は、第３メモリ５２４をクリアする。したがって、取引の決済を終了した決済者の画像情報が第３メモリ５２４に残ることはない。
一方、決済が終了する前に、決済者が決済端末１０の正面から離れると、ＡＣＴ２６の人物検出処理において、撮影画像から人物を検出できなくなる。決済者である人物が最初に検出された撮影画像が第３メモリ５２４に記憶されている状態で、撮影画像から人物が検出されなくなると、プロセッサ５１は、ＡＣＴ３３へと進む。プロセッサ５１は、ＡＣＴ３３として出力手段５８４としての機能により、アラートを通知する。具体的にはプロセッサ５１は、アテンダント端末インターフェース５６を介してアテンダント端末４０にアラート信号を出力する。このアラート信号には、第３メモリ５２４に記憶されたフレーム単位の撮影画像のデータが含まれる。
アラートを通知したプロセッサ５１は、前述したＡＣＴ３４へと進む。すなわちプロセッサ５１は、カメラインターフェース５４に接続されたカメラ８０に対し、停止信号を出力して、第２の情報処理を終了する。
このように、決済が終了する前に、決済者が決済端末１０の正面から離れた場合には、監視装置５０からアテンダント端末４０に対し、アラート信号が出力される。このアラート信号により、アテンダント端末４０においては、表示デバイスにアラート画面が表示される。このアラート画面は、例えば第１の実施形態のアラート画面９０と同様のレイアウトを有する画面である。したがって、決済を終了する前に決済端末１０から離れた決済者が、決済開始画面に表示されたスタートキーをタッチ操作した時点の撮影画像がアラート画面に表示される。
その撮影画像には、決済者の服装だけでなく顔が映し出される可能性が高い。したがって、アテンダントは、その画像からアラート通知対象の決済者が誰であるのかを容易に特定することができる。
［監視装置の効果］
以上詳述したように、第２の実施形態においても、第１の実施形態と同様に、決済者が未会計のまま会計場から立ち去るのを高い確率をもって防ぐことができる。
その上、第２の実施形態においては、骨格推定処理及び姿勢スコアの算出処理が不要である。したがって、処理部であるプロセッサ５１の処理負荷を軽減できる効果も奏し得る。
＜第３の実施形態＞
次に、第３の実施形態について、図１１乃至図１３を用いて説明する。
第３の実施形態においても、第１及び第２の実施形態と同様に、チェックアウトシステム１００を構成する各決済端末１０に対してそれぞれ設けられる監視装置５０を決済者監視装置の一態様とする。このため、図１乃至図３については、第３の実施形態においてもそのまま適用し、その説明は省略する。また、図１１乃至図１３は、第１の実施形態における図４乃至図６と対応した図である。そこで、第１の実施形態と共通する要素には同一符号を付し、その詳しい説明は省略する。
［監視装置の構成説明］
監視装置５０は、第１又は第２の実施形態と構成及び作用の一部を異にする。そこで以下では、第３の実施形態に係る監視装置を監視装置５０２と表す。
図１１は、監視装置５０２の要部回路構成を示すブロック図である。監視装置５０２は、監視装置５０及び監視装置５０１と同様に、プロセッサ５１、メインメモリ５２、補助記憶デバイス５３、カメラインターフェース５４、決済端末インターフェース５５、アテンダント端末インターフェース５６及びシステム伝送路５７等を備える。
ただし、監視装置５０２は、メインメモリ５２における揮発性メモリ領域の一部を第４メモリ５２５の領域としている。第４メモリ５２５の用途については後述する。
また監視装置５０２は、図１２に示すように、プロセッサ５１が画像取得手段５９１、人物検出手段５９２、リスト取得手段５９３、記憶手段５９４及び出力手段５９５としての機能を有する。
画像取得手段５９１は、監視装置５０の画像取得手段５１１と同様に、カメラインターフェース５４を介して接続されたカメラ８０で撮影される画像データをフレーム毎に順次取得する機能である。
人物検出手段５９２は、監視装置５０の人物検出手段５１２と同様に、決済端末１０で取引の決済を行う決済者を検出する機能である。人物検出手段５９２は、例えば画像取得手段５８１により取得したカメラ８０での撮影画像を基に決済者を検出する。ただし、監視装置５０２はスコア算出手段５１３としての機能を有していないので、人物検出手段５９２は、骨格推定技術を利用する必要はない。例えば人物検出手段５９２は、ＳＳＤ等の深層学習を用いた物体検出技術を利用して、撮影画像から人物のカテゴリに属する物体を決済者として検出すればよい。
リスト取得手段５９３は、決済端末１０で決済される取引の情報として登録された商品のリストを取得する機能である。決済端末１０においては、例えばスキャナ１４又はハンドスキャナ１５において商品を識別する情報が読み取られると、その商品の商品名、価格等を含む買上商品データがトランザクションメモリに登録処理される。この登録処理により、トランザクションメモリには、決済者による買上商品の商品名，価格等が順次記憶される。リスト取得手段５９３は、決済端末１０のトランザクションメモリに記憶されたデータを、買上商品のリストデータとして取得する。
記憶手段５９４は、リスト取得手段５９３によって取得した買上商品のリストデータを第４メモリ５２５に記憶させる機能である。
買上商品のリストデータは、決済端末１０で取引の決済を行う決済者が手にしている商品のリストである。したがって、リストデータは、決済者の特徴を表す情報となり得る。ここに、リスト取得手段５９３は、決済者の特徴を表す情報を取得する特徴取得手段と言い換えることができる。
出力手段５９５は、監視装置５０の出力手段５１５と同様に、決済端末１０での決済が終了する前に人物検出手段５９２において決済者が検出されなくなると、アラート信号を出力する機能である。アラート信号は、第４メモリ５２５に記憶された情報、すなわち決済者の特徴を表す情報である買上商品のリストデータを含む。アラート信号は、例えば信号ケーブル７０を介してアテンダント端末４０へと出力される。
上述した画像取得手段５９１、人物検出手段５９２、リスト取得手段５９３、記憶手段５９４及び出力手段５９５としての機能は、いずれもプロセッサ５１が決済者監視プログラムに従って実行する第３の情報処理によって実現される。
［監視装置の作用説明］
図１３は、監視装置５０２のプロセッサ５１が決済者監視プログラムに従って実行する第３の情報処理の要部手順を示す流れ図である。以下、図１３を用いて、監視装置５０２の主要な作用について説明する。なお、以下に説明する手順は一例である。同様な効果を奏し得るのであればその手順は適宜変更することができる。
図１３に示すように、プロセッサ５１は、ＡＣＴ４１として決済開始コマンドを待ち受ける。対応する決済端末１０において、決済開始画面に表示されたスタートキーが入力されことにより、決済端末インターフェース５５を介して決済監視コマンドを受信すると、プロセッサ５１は、ＡＣＴ４２へと進む。プロセッサ５１は、ＡＣＴ４２として第４メモリ５２５を初期化する。この初期化により、第４メモリ５２５に記憶されていたデータはクリアされる。
第４メモリ５２５を初期化し終えると、プロセッサ５１は、ＡＣＴ４３へと進む。プロセッサ５１は、ＡＣＴ４３としてカメラインターフェース５４に接続されたカメラ８０に対し、起動信号を出力する。この起動信号により、カメラ８０は、撮影動作を開始する。
プロセッサ５１は、ＡＣＴ４４として画像取得手段５９１としての機能により、カメラインターフェース５４を介してカメラ８０からフレーム単位の撮影画像を取得する。そしてプロセッサ５１は、このフレーム単位の撮影画像を基にＡＣＴ４５以降の処理を実行する。
プロセッサ５１は、ＡＣＴ４５として人物検出手段５９２としての機能により、その撮影画像に映し出されている人物を検出する。具体的にはプロセッサ５１は、物体検出技術を利用して、撮影画像から人物のカテゴリに属する物体を検出する。
プロセッサ５１は、ＡＣＴ４６として撮影画像から人物のカテゴリに属する物体を検出できたか否かを確認する。ＡＣＴ４６において、撮影画像から人物のカテゴリに属する物体を検出できない場合、プロセッサ５１は、ＡＣＴ４７へと進む。プロセッサ５１は、ＡＣＴ４７として第４メモリ５２５にデータが記憶されているか否かを確認する。ＡＣＴ４２において、第４メモリ５２５が初期化された直後は、第４メモリ５２５にデータが記憶されていない。その場合、プロセッサ５１は、ＡＣＴ４４へと戻る。プロセッサ５１は、次のフレーム単位の撮影画像をカメラ８０から取得して、ＡＣＴ４５以降の処理を前述したのと同様に実行する。
ＡＣＴ４６おいて、撮影画像から人物のカテゴリに属する物体を検出できた場合、プロセッサ５１は、ＡＣＴ４８へと進む。プロセッサ５１は、ＡＣＴ４８としてリスト取得手段５９３としての機能により、決済端末インターフェース５５からリストデータの要求コマンドを送信する。この要求コマンドは、信号ケーブル６０を介して接続された決済端末１０で受信される。要求コマンドを受信した決済端末１０のプロセッサ１８１は、その要求に対する応答として、トランザクションメモリに記憶されている買上商品のリストデータを要求コマンド送信元の監視装置５０２に送信する。また、プロセッサ１８１は、支払い方法選択画面においていずれかの支払方法が選択されると、決済終了コマンドを送信する。
要求コマンドを送信した監視装置５０２のプロセッサ５１は、ＡＣＴ４９としてリストデータを受信するか、ＡＣＴ５０として決済終了コマンドを受信するのを待ち受ける。ＡＣＴ４９及びＡＣＴ５５０の待ち受け状態において、リストデータを受信すると、プロセッサ５１は、ＡＣＴ５１へと進む。プロセッサ５１は、ＡＣＴ５１として記憶手段５９４として機能により、そのリストデータを第４メモリに記憶させる。
その後、プロセッサ５１は、ＡＣＴ４４へと戻る。プロセッサ５１は、次のフレーム単位の撮影画像をカメラ８０から取得して、ＡＣＴ４５以降の処理を実行する。
ＡＣＴ４９又はＡＣＴ５０の待ち受け状態において、決済終了コマンドを受信した場合には、プロセッサ５１は、ＡＣＴ５３へと進む。プロセッサ５１は、ＡＣＴ５３としてカメラインターフェース５４に接続されたカメラ８０に対し、停止信号を出力する。この停止信号により、カメラ８０は、撮影動作を停止する。以上で、プロセッサ５１は、図１３の流れ図で示す手順の第３の情報処理を終了する。その後、プロセッサ５１は再び、ＡＣＴ４１として次の決済開始コマンドを待ち受ける。
このように、決済者が決済端末１０を利用して買上商品の登録から支払いまでの取引の決済をセルフで行った場合には、決済者は、通常、決済が終了するまで決済端末１０の正面に立ち続ける。したがって、カメラ８０で撮影されたフレーム単位の画像からは人物のカテゴリに属する物体が継続して検出されるので、プロセッサ５１は、そのフレーム単位の撮影画像に対してＡＣＴ４８以降の処理を繰り返し実行する。その結果、決済者である人物が決済端末１０に対して登録した買上商品のリストデータが第４メモリ５２５に記憶される。
ここで、決済者が決済端末１０に対して買上商品の代金を支払うための操作を行って取引の決済が終了した場合には、プロセッサ５１は、第３の情報処理を終了する。そして、次の決済者によるスタートキーのタッチ操作に応じて、プロセッサ５１は、第４メモリ５２５をクリアする。したがって、取引の決済を終了した決済者のリストデータが第４メモリ５２５に残ることはない。
一方、決済が終了する前に、決済者が決済端末１０の正面から離れると、ＡＣＴ４５の人物検出処理において、撮影画像から人物を検出できなくなる。買上商品のリストデータが第４メモリ５２５に記憶されている状態で、撮影画像から人物が検出されなくなると、プロセッサ５１は、ＡＣＴ５２へと進む。プロセッサ５１は、ＡＣＴ５２として出力手段５９５としての機能により、アラートを通知する。具体的にはプロセッサ５１は、アテンダント端末インターフェース５６を介してアテンダント端末４０にアラート信号を出力する。このアラート信号には、第４メモリ５２５に記憶された買上商品のリストデータが含まれる。
アラートを通知したプロセッサ５１は、前述したＡＣＴ５３へと進む。すなわちプロセッサ５１は、カメラインターフェース５４に接続されたカメラ８０に対し、停止信号を出力して、第３の情報処理を終了する。
このように、決済が終了する前に、決済者が決済端末１０の正面から離れた場合には、監視装置５０からアテンダント端末４０に対し、アラート信号が出力される。このアラート信号により、アテンダント端末４０においては、表示デバイスにアラート画面が表示される。このアラート画面は、例えば第１の実施形態のアラート画面９０と同様のレイアウトを有する画面である。そして、アラート画面９０では撮影画像が表示されていた領域に、買上商品のリストデータが表示される。したがって、アテンダントは、買上商品のリストからアラート通知対象の決済者が誰であるのかを容易に特定することができる。
［監視装置の効果］
以上詳述したように、第３の実施形態においても、第２の実施形態と同様に、決済者が未会計のまま会計場から立ち去るのを高い確率をもって防ぐことができる。
その上、第３の実施形態においては、カメラ８０によって撮影された画像を決済が終了するまで保持しておくためのメモリが必要ないので、より一層メモリ容量を節約できるメリットがある。
［変形例］
監視装置５０は、１台の決済端末１０に対応して設けなくてもよい。例えば、２台の決済端末１０に対して１台の監視装置５０を割り当てる。そして監視装置５０は、各決済端末１０に設けられたカメラ８０からそれぞれ画像データを取得して、第１、第２又は第３の情報処理を並列的に実行する。こうすることにより、決済端末１０の台数と比較して監視装置５０の台数を少なくできるので、システムコストを低減できるメリットがある。
監視装置が監視する決済端末１０は、フルセルフ方式のチェックアウトシステム１００における決済端末１０に限定されない。例えば、買上商品を登録処理する登録機と、買上商品の会計を処理する会計機とを分離し、登録機は店員が操作し、会計機は客が操作するようにしたセミセルフ方式のチェックアウトシステムがある。このようなチェックアウトシステムの会計機に対して監視装置５０，５０１又は５０２を適用することも可能である。そうすることにより、会計機で会計を行わずに立ち去ろうとした客を容易に特定することができる。
カメラ８０は、決済端末１０毎に設けなくてもよい。例えば、会計場の天井などに取り付けられたカメラ８０によって、複数台の決済端末１０を操作する決済者を同時に撮影するようにしてもよい。また、第３の実施形態においては、決済者を検出できれば良いので、カメラ８０は必須の要件ではない。例えば人感センサを用いて、決済者を検出してもよい。
なお、前記各実施形態は、カメラ８０によって撮影される決済者が一人であることを前提としている。しかし、客によっては二人以上の人物が決済端末１０の前に立って決済を行う場合もある。このような場合、監視装置５０は、それぞれの人物を検出した画像から姿勢スコアを算出し、人物毎に最大となる姿勢スコアの画像データを第２メモリ５２２で記憶すればよい。監視装置５０１及び監視装置５０２は、少なくとも一人の人物を検出することによって、その後の処理を進めればよい。
第１の実施形態におけるＡＣＴ１０の同一人物判定処理は、骨格情報を推定する方法に限定されない。例えば、フレーム単位の撮影画像をＣＮＮ（Convolutional Neural Network）に入力して人物の特徴ベクトルを算出し、今回の特徴ベクトルと直前の人物の特徴ベクトルとの距離情報から同一人物であるか否かを判定してもよい。
第１の実施形態では、姿勢スコアが最大値となる撮影画像のデータを第２メモリ５２２で記憶した。この点に関しては、姿勢スコアが所定の閾値以上となる複数の撮影画像のデータを第２メモリ５２２で記憶し、アラート通知の際にはその複数の画像データを送信してもよい。そうすることにより、監視装置５０のメモリ容量は増加するものの、決済を完了せずに立ち去る決済者をより精度よく特定することができる。
第１の実施形態において、第１メモリ５２１及び第２メモリ５２２を初期化するタイミングは、ＡＣＴ２のタイミングに限定されない。例えば、ＡＣＴ１７の処理の後に第１メモリ５２１及び第２メモリ５２２を初期化してもよい。この点は、第２又は第３の実施形態においても同様である。
アラートの通知先は、アテンダント端末４０に限定されない。例えば、店員が携帯するスマートフォン、タブレット端末等の情報端末にアラート信号とともに画像データ又はリストデータを送信してもよい。
決済終了コマンドが出力されるタイミングは、会計画面が表示されたタイミングには限定されない。例えば会計画面が表示され、買上レシートが発行されたタイミングで決済終了コマンドが出力されてもよい。
この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態及びその変形は、発明の範囲に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１０…決済端末、２０…店舗サーバ、３０…通信ネットワーク、４０…アテンダント端末、５０…監視装置、５１…プロセッサ、５２…メインメモリ、５３…補助記憶デバイス、５４…カメラインターフェース、５５…決済端末インターフェース、５６…アテンダント端末インターフェース、５７…システム伝送路、６０，７０…信号ケーブル、５１１，５８１，５９１…画像取得手段、５１２，５８２，５９２…人物検出手段、５１３…スコア算出手段、５１４，５８３，５９４…記憶手段、５１５，５８４，５９５…出力手段、５９３…リスト取得手段、５２１…第１メモリ５２１…第２メモリ、５２３…検出済フラグのメモリ、５２４…第３メモリ、５２５…第４メモリ。

Claims (7)

  1. 決済端末で取引の決済を行う決済者を検出する人物検出手段と、
    前記人物検出手段で検出された決済者の特徴を表す情報を取得する特徴取得手段と、
    前記決済端末での決済が終了する前に前記人物検出手段で検出されていた決済者が検出されなくなると、前記特徴取得手段で取得した情報とともにアラート信号を出力する出力手段と、
    を具備する決済者監視装置。
  2. 前記決済端末で取引の決済を行う決済者を撮影するためのカメラから撮影画像を取得する画像取得手段、
    をさらに具備し、
    前記人物検出手段は、前記画像取得手段により取得した撮影画像に基づいて前記決済者を検出する、
    請求項１記載の決済者監視装置。
  3. 前記人物検出手段は、前記撮影画像に対して骨格推定処理を行い、当該撮影画像に映った人物の骨格情報から決済者を検出し、
    前記特徴取得手段は、前記骨格情報を基に姿勢スコアを算出し、その姿勢スコアが最大値となる前記骨格情報の骨格が推定された前記撮影画像を決済者の特徴を表す情報として取得する、
    請求項２記載の決済者監視装置。
  4. 前記特徴取得手段は、前記決済端末での決済開始後、前記人物検出手段で最初に決済者が検出されたときの前記撮影画像を決済者の特徴を表す情報として取得する、
    請求項２記載の決済者監視装置。
  5. 前記特徴取得手段は、前記決済端末で決済される取引の情報として登録された商品のリストを決済者の特徴を表す情報として取得する、
    請求項１又は２記載の決済者監視装置。
  6. 決済者監視装置のコンピュータを、
    決済端末で取引の決済を行う決済者を検出する人物検出手段、
    前記人物検出手段で検出された決済者の特徴を表す情報を取得する特徴取得手段、及び、
    前記決済端末での決済が終了する前に前記人物検出手段で検出されていた決済者が検出されなくなると、前記特徴取得手段で取得した情報とともにアラート信号を出力する出力手段、
    として機能させるためのプログラム。
  7. 人物検出手段が、決済端末で取引の決済を行う決済者を検出し、
    特徴取得手段が、前記人物検出手段で検出された決済者の特徴を表す情報を取得し、
    出力手段が、前記決済端末での決済が終了する前に前記人物検出手段で検出されていた決済者が検出されなくなると、前記特徴取得手段で取得した情報とともにアラート信号を出力する、決済者監視方法。
JP2021191259A 2021-11-25 2021-11-25 決済者監視装置及びそのプログラム、決済者監視方法 Pending JP2023077805A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021191259A JP2023077805A (ja) 2021-11-25 2021-11-25 決済者監視装置及びそのプログラム、決済者監視方法
US17/840,539 US20230162576A1 (en) 2021-11-25 2022-06-14 Monitoring device and monitoring method
KR1020220097850A KR20230077629A (ko) 2021-11-25 2022-08-05 결제자 감시 장치 및 그 프로그램, 결제자 감시 방법
US18/443,290 US20240185691A1 (en) 2021-11-25 2024-02-15 Monitoring device and monitoring method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021191259A JP2023077805A (ja) 2021-11-25 2021-11-25 決済者監視装置及びそのプログラム、決済者監視方法

Publications (1)

Publication Number Publication Date
JP2023077805A true JP2023077805A (ja) 2023-06-06

Family

ID=86384050

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021191259A Pending JP2023077805A (ja) 2021-11-25 2021-11-25 決済者監視装置及びそのプログラム、決済者監視方法

Country Status (3)

Country Link
US (2) US20230162576A1 (ja)
JP (1) JP2023077805A (ja)
KR (1) KR20230077629A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230297905A1 (en) * 2022-03-18 2023-09-21 Toshiba Global Commerce Solutions Holdings Corporation Auditing purchasing system

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030018897A1 (en) * 2001-07-20 2003-01-23 Psc Scanning, Inc. Video identification verification system and method for a self-checkout system
US7909248B1 (en) * 2007-08-17 2011-03-22 Evolution Robotics Retail, Inc. Self checkout with visual recognition
US8429016B2 (en) * 2008-10-31 2013-04-23 International Business Machines Corporation Generating an alert based on absence of a given person in a transaction
JP5310776B2 (ja) 2010-09-16 2013-10-09 株式会社寺岡精工 Ｐｏｓシステム
US9033227B2 (en) * 2013-05-20 2015-05-19 Ncr Corporation Methods and systems for performing security weight checks at checkouts
US9589433B1 (en) * 2013-07-31 2017-03-07 Jeff Thramann Self-checkout anti-theft device
WO2016015000A2 (en) * 2014-07-25 2016-01-28 Gatekeeper Systems, Inc. Monitoring usage or status of cart retrievers
US9390596B1 (en) * 2015-02-23 2016-07-12 Hand Held Products, Inc. Device, system, and method for determining the status of checkout lanes
US20170251183A1 (en) * 2016-02-29 2017-08-31 Ncr Corporation Identification and imaging of terminal-proximate event occurences
JP2018045297A (ja) * 2016-09-12 2018-03-22 東芝テック株式会社 会計装置、会計システムおよびプログラム
US11482082B2 (en) * 2016-09-18 2022-10-25 Ncr Corporation Non-scan loss verification at self-checkout terminal
CN110088813A (zh) * 2016-12-20 2019-08-02 日本电气株式会社 信息处理***、顾客识别装置、信息处理方法和程序
JP7067485B2 (ja) * 2016-12-22 2022-05-16 日本電気株式会社 情報処理システム、顧客特定装置、情報処理方法及びプログラム
US20180208970A1 (en) * 2017-01-23 2018-07-26 America Diagnosis, Inc. Direct quantitative pcr device and method of use thereof
JP2018136731A (ja) * 2017-02-22 2018-08-30 東芝テック株式会社 情報処理装置およびプログラム
JP6967886B2 (ja) * 2017-06-20 2021-11-17 東芝テック株式会社 チェックアウト装置およびチェックアウトシステム
JP6709862B6 (ja) * 2017-07-24 2020-07-22 ▲図▼▲霊▼通▲諾▼（北京）科技有限公司Ｙｉ Ｔｕｎｎｅｌ （Ｂｅｉｊｉｎｇ） Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ． 畳み込みニューラルネットワーク画像認識技術による会計方法及び設備
US10474988B2 (en) * 2017-08-07 2019-11-12 Standard Cognition, Corp. Predicting inventory events using foreground/background processing
CN110555356A (zh) * 2018-06-01 2019-12-10 财团法人工业技术研究院 自助结帐***、方法与装置
US20210272086A1 (en) * 2018-07-16 2021-09-02 Accel Robotics Corporation Automated vending case with an integrated credential reader
CN109271847B (zh) * 2018-08-01 2023-04-07 创新先进技术有限公司 无人结算场景中异常检测方法、装置及设备
JP2020035015A (ja) * 2018-08-27 2020-03-05 東芝テック株式会社 チェックアウト装置
JP6870669B2 (ja) * 2018-08-30 2021-05-12 日本電気株式会社 精算装置及び制御方法
US20200387865A1 (en) * 2019-06-05 2020-12-10 Inokyo, Inc. Environment tracking
US11567562B2 (en) * 2019-06-28 2023-01-31 Ncr Corporation Self-checkout terminal sleep and wake operations
US11144899B2 (en) * 2020-01-30 2021-10-12 Ncr Corporation Terminal access and load management
US11208134B2 (en) * 2020-03-11 2021-12-28 Gatekeeper Systems, Inc. Monitoring system capable of classifying items added to a shopping cart
US20210319420A1 (en) * 2020-04-12 2021-10-14 Shenzhen Malong Technologies Co., Ltd. Retail system and methods with visual object tracking
US11462082B2 (en) * 2020-05-29 2022-10-04 Zebra Technologies Corporation Compact self-checkout kiosks
US11455869B2 (en) * 2020-10-13 2022-09-27 Trax Technology Solutions Pte Ltd. Updating shopping list based on analysis of images
US11481688B2 (en) * 2020-11-11 2022-10-25 Hammer of the Gods Inc. Systems and methods for preparing cross-platform machine learning applications

Also Published As

Publication number Publication date
KR20230077629A (ko) 2023-06-01
US20230162576A1 (en) 2023-05-25
US20240185691A1 (en) 2024-06-06

Similar Documents

Publication Publication Date Title
JP6310885B2 (ja) 商品情報処理装置
US11676124B2 (en) Checkout apparatus
US12008536B2 (en) Log-in control apparatus, control method of log-in control apparatus, and information terminal
US20240185691A1 (en) Monitoring device and monitoring method
KR20220103024A (ko) 부정 행위 인식 장치 및 그 제어 프로그램, 부정 행위 인식 방법
JP7034615B2 (ja) チェックアウト装置およびプログラム
US20220058609A1 (en) Image analysis apparatus, monitoring system, and checkout system
JP2022016494A (ja) セルフ精算装置およびプログラム
CN107392587A (zh) 管理装置及控制方法
US20240220956A1 (en) Checkout apparatus, monitoring apparatus, and monitoring method
JP2019096035A (ja) 決済装置、登録決済装置及び情報処理プログラム
US20230259944A1 (en) Monitoring apparatus, settlement apparatus, and programs
JP2022187268A (ja) 情報処理システム、情報処理装置及びその制御プログラム
JP7309933B2 (ja) 決済装置、登録決済装置及び情報処理プログラム
US20220189265A1 (en) Checkout apparatus and number-of-commodities check method
US20220222472A1 (en) Fraudulent act recognition device, control program therefor, and fraudulent act recognition method
JP2024047355A (ja) 商品登録装置及びそのプロクラム、監視装置
CN116266398A (zh) 不正当行为推测装置、存储介质及不正当行为推测方法
JP2022088173A (ja) 商品読取装置および商品読取プログラム
JP2022027954A (ja) 決済装置、登録決済装置及び情報処理プログラム
JP2024046221A (ja) 情報処理装置およびプログラム
JP2023115159A (ja) 決済装置、登録決済装置及び情報処理プログラム
JP2022134286A (ja) 不正行為認識装置及びその制御プログラム、並びに不正行為認識方法
JP2023089895A (ja) 不正行為推定装置及びその制御プログラム、不正行為推定方法
JP2019096048A (ja) 決済装置、登録決済装置及び情報処理プログラム

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230104