JP7349923B2 - 取引処理システム - Google Patents

取引処理システム Download PDF

Info

Publication number
JP7349923B2
JP7349923B2 JP2020016530A JP2020016530A JP7349923B2 JP 7349923 B2 JP7349923 B2 JP 7349923B2 JP 2020016530 A JP2020016530 A JP 2020016530A JP 2020016530 A JP2020016530 A JP 2020016530A JP 7349923 B2 JP7349923 B2 JP 7349923B2
Authority
JP
Japan
Prior art keywords
processor
person
tracking
area
product
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020016530A
Other languages
English (en)
Other versions
JP2021124836A (ja
Inventor
寿記 岩井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Priority to JP2020016530A priority Critical patent/JP7349923B2/ja
Priority to CN202011280435.8A priority patent/CN113222746A/zh
Priority to US17/108,232 priority patent/US20210241590A1/en
Priority to EP21152834.4A priority patent/EP3859642A1/en
Publication of JP2021124836A publication Critical patent/JP2021124836A/ja
Priority to JP2023147767A priority patent/JP2023165764A/ja
Application granted granted Critical
Publication of JP7349923B2 publication Critical patent/JP7349923B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/08Payment architectures
    • G06Q20/20Point-of-sale [POS] network systems
    • G06Q20/208Input by product or record sensing, e.g. weighing or scanner processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/0036Checkout procedures
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/12Cash registers electronically operated
    • G07G1/14Systems including one or more distant stations co-operating with a central processing unit
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/02Mechanical actuation
    • G08B13/14Mechanical actuation by lifting or attempted removal of hand-portable articles
    • G08B13/1472Mechanical actuation by lifting or attempted removal of hand-portable articles with force or weight detection
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/22Electrical actuation
    • G08B13/24Electrical actuation by interference with electromagnetic field distribution
    • G08B13/2402Electronic Article Surveillance [EAS], i.e. systems using tags for detecting removal of a tagged item from a secure area, e.g. tags for detecting shoplifting
    • G08B13/2451Specific applications combined with EAS
    • G08B13/2454Checking of authorisation of a person accessing tagged items in an EAS system
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/22Electrical actuation
    • G08B13/24Electrical actuation by interference with electromagnetic field distribution
    • G08B13/2402Electronic Article Surveillance [EAS], i.e. systems using tags for detecting removal of a tagged item from a secure area, e.g. tags for detecting shoplifting
    • G08B13/2451Specific applications combined with EAS
    • G08B13/246Check out systems combined with EAS, e.g. price information stored on EAS tag
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/22Electrical actuation
    • G08B13/24Electrical actuation by interference with electromagnetic field distribution
    • G08B13/2402Electronic Article Surveillance [EAS], i.e. systems using tags for detecting removal of a tagged item from a secure area, e.g. tags for detecting shoplifting
    • G08B13/2451Specific applications combined with EAS
    • G08B13/2462Asset location systems combined with EAS

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Automation & Control Theory (AREA)
  • Computer Security & Cryptography (AREA)
  • Accounting & Taxation (AREA)
  • Electromagnetism (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Technology Law (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Display Racks (AREA)

Description

本発明の実施形態は、取引処理システムに関する。
近年、小売業においても人手不足が社会問題になりつつあり、人手不足解決にむけたシステムの需要が増している。このため消費者の店舗内における行動からその消費者が購入した商品を自動で登録することで、会計時の商品登録を不要にした店舗システムが種々提案されている。その1つとして、棚から商品が取り出された際にその棚に近くで商品を取り出す行動をした消費者を当該商品の購買者として特定する店舗システムがある。しかしながら、当該店舗システムでは、店全体を無人化するためには店舗レイアウトの変更や多数のカメラなどを設置する必要があり、導入に関しては店側の負担が大きい。このため、店側の負担を減らしつつ、人手不足を解決する取引システムが望まれている。
特開2019-150123号公報
本発明が解決しようとする課題は、人手不足を解消する取引処理システムを提供することである。
実施形態の取引処理システムは、陳列部、追跡手段、監視手段、移動検出手段及び離脱検出手段を備えた陳列什器と、決定手段及び決済手段を備える。陳列部は、商品を陳列する。追跡手段は、人物を追跡する。監視手段は、陳列部の周辺に定めた購買エリアにおける人物の行動を監視する。移動検出手段は、商品の陳列部からの移動を検出する。離脱検出手段は、追跡手段での追跡結果に基づいて、人物が陳列部から離れたことを検出する。決定手段は、監視手段による監視結果と移動検出手段による検出結果とに基づいて、陳列部から移動された商品を人物に関する取引商品として決定する。決済手段は、人物が陳列部から離れたことが離脱検出手段により検出されたことに応じて、決定手段により決定された取引商品に関する代金を人物に予め関連付けられた決済情報を用いて決済する。
一実施形態に係る陳列什器の外観を模式的に示す斜視図。 陳列什器の要部回路構成と、取引処理システムの概略構成とを表したブロック図。 ユーザインタフェースユニットの要部回路構成を示すブロック図。 商品監視ユニットの要部回路構成を示すブロック図。 商品管理データベースに含まれるデータレコードの構成を模式的に示す図。 メイン処理ユニットの要部回路構成を示すブロック図。 追跡データベースに含まれるデータレコードの構成を模式的に示す図。 会員管理データベースに含まれるデータレコードの構成を模式的に示す図。 追跡エリア内におけるエリアの設定状況を表す平面図。 追跡処理のフローチャート。 追跡処理のフローチャート。 監視処理のフローチャート。 客対応処理のフローチャート。 客対応処理のフローチャート。
以下、実施の形態の一例について図面を用いて説明する。なお、本実施の形態では、棚型の陳列什器を用いる取引処理システムを例に説明する。さらには、取引処理システムは、店舗に陳列される商品を客が購入する取引を処理する例を説明する。
図1は本実施形態に係る陳列什器101の外観を模式的に示す斜視図である。
陳列什器101は、棚1を主体とする。棚1は、一面を開口した中空の直方体をなす。棚1は、複数の棚板1a、複数のキャスタ1b、複数のハンドル1c及び支持部材1dを含む。
棚板1aは、内部空間に取り付けられている。棚板1aの数及び位置は任意であるが、図1では5つとした例を示す。棚板1a上には、図示のように商品が陳列される。かくして棚1は、商品を陳列するための陳列部の一例である。
キャスタ1bは、棚1の底部に取り付けられている。このキャスタ1bにより陳列什器101は、床上を容易に移動させることが可能である。
ハンドル1cは、棚1の開口面に直交する2つの側壁外面にそれぞれ取り付けられている。ハンドル1cは、陳列什器101を移動させる際に作業者により把持される。ハンドル1cの数及び位置は任意である。また、ハンドル1cは、無くてもよい。
支持部材1dは、棚1の天板外面に、情報に突出する状態で取り付けられている。支持部材1dは、2つの追跡カメラ2、監視カメラ3及びプロジェクタ4を支持する。
2つの追跡カメラ2は、後述する購買エリア、検出エリア、予備エリア及び確認エリアを内包する撮影エリア内に存在する人物を撮影する。2つの追跡カメラ2が、それぞれに撮影エリア内を撮影するのでもよいし、撮影エリア内の一部のエリアは1つの追跡カメラ2のみで撮影するのでもよい。追跡カメラ2は、いずれか一方のみであってもよいし、別の1つ又は複数の追跡カメラ2が追加して設けられてもよい。追跡カメラ2の位置も任意である。追跡カメラ2により撮影された画像は、人物の追跡のために利用される。この追跡に関しては後述する。追跡カメラ2としては、光学カメラ、赤外線カメラ、TOF(time of flight)カメラ、ステレオカメラ等の周知のカメラデバイスを用いることができる。追跡カメラ2としては、TOFカメラ又はステレオカメラ等、被写体までの距離を計測するのに適するカメラデバイスが好適である。
監視カメラ3は、棚1の開口面及び当該開口面よりも棚1の外側の空間を撮影する。監視カメラ3により撮影された画像は、棚1内に人物が手を伸ばす行動を監視するために利用される。この監視に関しては後述する。監視カメラ3としては、光学カメラ、赤外線カメラ、TOFカメラ、ステレオカメラ等の周知のカメラデバイスを用いることができる。監視カメラ3としては、TOFカメラ又はステレオカメラ等、被写体までの距離を計測するのに適するカメラデバイスが好適である。
プロジェクタ4は、床面に任意の画像を投影する。図1に示される線PL1及び文字PC1は、プロジェクタ4により投影された画像に含まれる。なお、線PL1で表される範囲に相当する大きさのマットを敷くなどの措置を講じることを前提に、プロジェクタ4を省略することも可能である。
棚1の開口面の両側端には、ユーザインタフェースユニット(以下、UIユニットと称する)5がそれぞれ取り付けられている。UIユニット5は、タッチパネル5a及びリーダ5bを備え、ユーザインタフェース動作を行う。タッチパネル5a及びリーダ5bについては後述する。なお、以下において2つのUIユニット5を区別する必要がある場合には、図1中の左側に示されるUIユニット5を「第1のUIユニット5」とし、他方のUIユニット5を「第2のUIユニット5」とする。
図2は陳列什器101の要部回路構成と、取引処理システム100の概略構成とを表したブロック図である。図2において、図1に示されるのと同一の要素については、同一の符号を付している。
陳列什器101、販売管理装置102及び決済装置103が通信ネットワーク104を介して通信可能とされることで取引処理システム100が構成される。
販売管理装置102は、陳列什器101に陳列される商品の販売を管理するための情報処理を行う情報処理装置である。決済装置103は、陳列什器101に陳列される商品の販売に関する決済のための情報処理を行う情報処理装置である。通信ネットワーク104としては例えば、インターネット、VPN(virtual private network)、LAN(local area network)、公衆通信網、移動体通信網などを、単独又は適宜に組み合わせて用いることができる。陳列什器101、販売管理装置102及び決済装置103は、一例として1つの店舗に設けられる。この場合に通信ネットワーク104としては典型的には、店舗内LANが利用される。
陳列什器101は、図1にも示された追跡カメラ2、監視カメラ3、プロジェクタ4及びUIユニット5に加えて、複数の重量計6、通信ユニット7、什器内通信路8、商品監視ユニット9及びメイン処理ユニット10を含む。
なお、追跡カメラ2、監視カメラ3及びプロジェクタ4は、メイン処理ユニット10に接続されている。また、UIユニット5は、什器内通信路8に接続されている。
複数の重量計6は、棚板1aに設けられ、棚板1aに陳列される商品の重量を計測する。1つの棚板1aに1つの重量計6が設けられていてもよいし、1つの棚板1aに複数の重量計6が設けられていてもよい。重量計6は、計測した重量を表した計測データを商品監視ユニット9へと出力する。
通信ユニット7は、通信ネットワーク104を介したデータ授受のための無線通信を行う。通信ユニット7としては、通信ネットワーク104がLANである場合、例えばIEEE802.11規格に準拠した周知の通信デバイスを利用できる。ただし通信ユニット7としては、有線通信を行う通信デバイスを用いてもよい。
什器内通信路8は、UIユニット5、通信ユニット7、商品監視ユニット9及びメイン処理ユニット10がデータを授受することを可能とする。什器内通信路8としては、例えばLANが利用される。
商品監視ユニット9は、重量計6から与えられる計測データに基づいて、棚1での商品の陳列状況を監視するための情報処理を行う情報処理ユニットである。
メイン処理ユニット10は、追跡カメラ2及び監視カメラ3により撮影された画像に基づいて、棚1から商品を取り出した人物を特定し、当該商品の代金をその人物に決済させるための情報処理を行う情報処理ユニットである。
図3はUIユニット5の要部回路構成を示すブロック図である。図3において、図1及び図2に示されるのと同一の要素については、同一の符号を付している。
UIユニット5は、図1に示されるタッチパネル5a及びリーダ5bに加えて、プロセッサ5c、メインメモリ5d、補助記憶ユニット5e、サウンドユニット5f、通信ユニット5g及び伝送路5hを含む。
プロセッサ5cと、タッチパネル5a、リーダ5b、メインメモリ5d、補助記憶ユニット5e、サウンドユニット5f及び通信ユニット5gとは、伝送路5hを介して通信可能とされている。
タッチパネル5aは、操作画面等の各種の画面を表示する表示デバイスである。タッチパネル5aは、操作画面に応じた操作を受ける操作デバイスである。
リーダ5bは、客が所持する媒体から会員ID(identifier)を読み取る。リーダ5bとしては、カード表面又は表示デバイスに表示されたバーコード又は2次元コードのような可視コードを読み取る周知のデータ読取デバイスを用いることができる。リーダ5bとしては、周知の磁気カードリーダ、IC(integrated circuit)カードリーダ又は非接触カードリーダなどの別のタイプの周知のデータ読取デバイスを用いることもできる。リーダ5bとしては、複数のタイプの読取デバイスを備えてもよい。
プロセッサ5c、メインメモリ5d及び補助記憶ユニット5eが伝送路5hにより接続されていることによって、UIユニット5を制御するためのコンピュータが構成される。
プロセッサ5cは、上記コンピュータの中枢部分に相当する。プロセッサ5cは、オペレーティングシステム及びアプリケーションプログラム等の情報処理プログラムに従って、UIユニット5としての各種の機能を実現するための情報処理を実行する。プロセッサ5cは、例えばCPU(central processing unit)である。
メインメモリ5dは、上記コンピュータの主記憶部分に相当する。メインメモリ5dは、不揮発性のメモリ領域と揮発性のメモリ領域とを含む。メインメモリ5dは、不揮発性のメモリ領域では上記の情報処理プログラムを記憶する。メインメモリ5dは、プロセッサ5cが情報処理を実行する上で必要なデータを不揮発性又は揮発性のメモリ領域で記憶する場合もある。メインメモリ5dは、揮発性のメモリ領域を、プロセッサ5cによってデータが適宜書き換えられるワークエリアとして使用する。不揮発性のメモリ領域は、例えばROM(read only memory)である。揮発性のメモリ領域は、例えばRAM(random access memory)である。
補助記憶ユニット5eは、上記コンピュータの補助記憶部分に相当する。補助記憶ユニット5eとしては、例えばEEPROM(electric erasable programmable read-only memory)、HDD(hard disc drive)、あるいはSSD(solid state drive)等の周知の記憶デバイスを用いた記憶ユニットを利用できる。補助記憶ユニット5eは、プロセッサ5cが各種の処理を行う上で使用するデータ、あるいはプロセッサ5cでの処理によって作成されたデータ等を保存する。補助記憶ユニット5eは、上記の情報処理プログラムを記憶する場合もある。
サウンドユニット5fは、音声及びメロディなどの各種サウンドを出力する。
通信ユニット5gは、什器内通信路8を介したデータ通信のインタフェースである。通信ユニット5gとしては、例えばLANを介したデータ通信を行うための周知の通信デバイスを利用できる。
伝送路5hは、アドレスバス、データバス及び制御信号線等を含み、接続された各部の間で授受されるデータ及び制御信号を伝送する。
なお補助記憶ユニット5eは、情報処理プログラムの1つであるUIプログラムAP1を記憶する。UIプログラムAP1は、アプリケーションプログラムであり、UIユニット5を陳列什器101のユーザインタフェースとして機能させるための情報処理について記述されている。
図4は商品監視ユニット9の要部回路構成を示すブロック図である。図4において、図1及び図2に示されるのと同一の要素については、同一の符号を付している。
商品監視ユニット9は、プロセッサ9a、メインメモリ9b、補助記憶ユニット9c、通信ユニット9d、インタフェースユニット9e及び伝送路9fを含む。
プロセッサ9aと、メインメモリ9b、補助記憶ユニット9c、通信ユニット9d及びインタフェースユニット9eとは、伝送路9fを介して通信可能とされている。プロセッサ9a、メインメモリ9b及び補助記憶ユニット9cが伝送路9fにより接続されていることによって、商品監視ユニット9を制御するためのコンピュータが構成される。
プロセッサ9aは、上記コンピュータの中枢部分に相当する。プロセッサ9aは、オペレーティングシステム及びアプリケーションプログラム等の情報処理プログラムに従って、商品監視ユニット9としての各種の機能を実現するための情報処理を実行する。プロセッサ9aは、例えばCPUである。
メインメモリ9bは、上記コンピュータの主記憶部分に相当する。メインメモリ9bは、不揮発性のメモリ領域と揮発性のメモリ領域とを含む。メインメモリ9bは、不揮発性のメモリ領域では上記の情報処理プログラムを記憶する。メインメモリ9bは、プロセッサ9aが情報処理を実行する上で必要なデータを不揮発性又は揮発性のメモリ領域で記憶する場合もある。メインメモリ9bは、揮発性のメモリ領域を、プロセッサ9aによってデータが適宜書き換えられるワークエリアとして使用する。不揮発性のメモリ領域は、例えばROMである。揮発性のメモリ領域は、例えばRAMである。
補助記憶ユニット9cは、上記コンピュータの補助記憶部分に相当する。補助記憶ユニット9cとしては、例えばEEPROM、HDD、あるいはSSD等の周知の記憶デバイスを用いた記憶ユニットを利用できる。補助記憶ユニット9cは、プロセッサ9aが各種の処理を行う上で使用するデータ、あるいはプロセッサ9aでの処理によって作成されたデータ等を保存する。補助記憶ユニット9cは、上記の情報処理プログラムを記憶する場合もある。
通信ユニット9dは、什器内通信路8を介したデータ通信のインタフェースである。通信ユニット9dとしては、例えばLANを介したデータ通信を行うための周知の通信デバイスを利用できる。
インタフェースユニット9eには、複数の重量計6がそれぞれ接続される。インタフェースユニット9eは、プロセッサ9aと重量計6との間でのデータの授受をインタフェースする。インタフェースユニット9eとしては、例えばUSB(universal serial bus)ボードなどの種々のインタフェースボードのような周知のデバイスを用いることができる。インタフェースユニット9eは、複数が設けられてもよい。
伝送路9fは、アドレスバス、データバス及び制御信号線等を含み、接続された各部の間で授受されるデータ及び制御信号を伝送する。
なお補助記憶ユニット9cは、情報処理プログラムの1つである商品監視プログラムAP2を記憶する。商品監視プログラムAP2は、アプリケーションプログラムであり、商品監視ユニット9としての機能を実現するための後述する情報処理について記述されている。また補助記憶ユニット9cは、その記憶領域の一部が商品管理データベースDB1の記憶領域として用いられる。商品管理データベースDB1は、陳列什器101に陳列されている商品を管理するためのデータベースである。
図5は商品管理データベースDB1に含まれるデータレコードDR1の構成を模式的に示す図である。
商品管理データベースDB1は、複数の重量計6にそれぞれ関連付けられた複数のデータレコードDR1の集合である。データレコードDR1は、フィールドF11,F12,F13,F14を含む。フィールドF11には、関連付けられた重量計6を他の重量計と識別するための重量計IDがセットされる。フィールドF12には、関連付けられた重量計6に載せられる商品を他の商品と識別するための商品コードがセットされる。商品コードは、商品をSKU(stock keeping unit)毎に識別するために定められた識別コードであり、例えばJAN(Japanese article number)コードが用いられる。フィールドF13には、フィールドF12にセットされた商品コードで識別される商品の単品での重量がセットされる。フィールドF14には、関連付けられた重量計6による前回の計測値がセットされる。なお、データレコードDR1には、上記とは別の任意のデータがセットされるフィールドが含まれてもよい。
図6はメイン処理ユニット10の要部回路構成を示すブロック図である。図6において、図1及び図2に示されるのと同一の要素については、同一の符号を付している。
メイン処理ユニット10は、プロセッサ10a、メインメモリ10b、補助記憶ユニット10c、通信ユニット10d、インタフェースユニット10e及び伝送路10fを含む。
プロセッサ10aと、メインメモリ10b、補助記憶ユニット10c、通信ユニット10d及びインタフェースユニット10eとは、伝送路10fを介して通信可能とされている。プロセッサ10a、メインメモリ10b及び補助記憶ユニット10cが伝送路10fにより接続されていることによって、メイン処理ユニット10を制御するためのコンピュータが構成される。
プロセッサ10aは、上記コンピュータの中枢部分に相当する。プロセッサ10aは、オペレーティングシステム及びアプリケーションプログラム等の情報処理プログラムに従って、メイン処理ユニット10としての各種の機能を実現するための情報処理を実行する。プロセッサ10aは、例えばCPUである。
メインメモリ10bは、上記コンピュータの主記憶部分に相当する。メインメモリ10bは、不揮発性のメモリ領域と揮発性のメモリ領域とを含む。メインメモリ10bは、不揮発性のメモリ領域では上記の情報処理プログラムを記憶する。メインメモリ10bは、プロセッサ10aが情報処理を実行する上で必要なデータを不揮発性又は揮発性のメモリ領域で記憶する場合もある。メインメモリ10bは、揮発性のメモリ領域を、プロセッサ10aによってデータが適宜書き換えられるワークエリアとして使用する。不揮発性のメモリ領域は、例えばROMである。揮発性のメモリ領域は、例えばRAMである。
補助記憶ユニット10cは、上記コンピュータの補助記憶部分に相当する。補助記憶ユニット10cとしては、例えばEEPROM、HDD、あるいはSSD等の周知の記憶デバイスを用いた記憶ユニットを利用できる。補助記憶ユニット10cは、プロセッサ10aが各種の処理を行う上で使用するデータ、あるいはプロセッサ10aでの処理によって作成されたデータ等を保存する。補助記憶ユニット10cは、上記の情報処理プログラムを記憶する場合もある。
通信ユニット10dは、什器内通信路8を介したデータ通信のインタフェースである。通信ユニット10dとしては、例えばLANを介したデータ通信を行うための周知の通信デバイスを利用できる。
インタフェースユニット10eには、2つの追跡カメラ2、監視カメラ3及びプロジェクタ4がそれぞれ接続される。インタフェースユニット10eは、プロセッサ10aと追跡カメラ2、監視カメラ3及びプロジェクタ4との間でのデータの授受をインタフェースする。インタフェースユニット10eとしては、例えばUSBボードなどの種々のインタフェースボードのような周知のデバイスを用いることができる。インタフェースユニット10eは、複数が設けられてもよい。
伝送路10fは、アドレスバス、データバス及び制御信号線等を含み、接続された各部の間で授受されるデータ及び制御信号を伝送する。
なお補助記憶ユニット10cは、それぞれが情報処理プログラムの1つである追跡プログラムAP3及び客対応プログラムAP4を記憶する。追跡プログラムAP3は、アプリケーションプログラムであり、人物の追跡のための後述する情報処理について記述されている。客対応プログラムAP4は、アプリケーションプログラムであり、客対応のための後述する情報処理について記述されている。また補助記憶ユニット10cは、その記憶領域の一部が追跡データベースDB2及び会員管理データベースDB3の記憶領域として用いられる。追跡データベースDB2は、追跡の対象となっている人物を追跡するためのデータを管理するためのデータベースである。会員管理データベースDB3は、追跡されている会員を管理するためのデータベースである。
図7は追跡データベースDB2に含まれるデータレコードDR2の構成を模式的に示す図である。
追跡データベースDB2は、追跡対象となった人物にそれぞれ関連付けられたデータレコードDR2の集合である。データレコードDR2は、フィールドF21,F22,F23,F24,F25,F26,F27を含む。データレコードDR2は、フィールドF28以降のフィールドを含む場合もある。フィールドF21には、関連付けられた人物を他の人物と識別するために割り付けられた追跡IDがセットされる。追跡IDは、追跡の対象となっている人物に一時的に割り付けられるものであって、個人を特定するためのデータではない。フィールドF22には、関連付けられた人物を行動監視の対象とするか否かを表す監視フラグがセットされる。本実施形態では、監視フラグは、オン状態である場合に行動監視の対象とすることを表すこととする。フィールドF23には、関連付けられた人物が、第1のUIユニット5に対応する認証エリアの中に位置しているか否かを表す第1の認証フラグがセットされる。フィールドF24には、関連付けられた人物が、第2のUIユニット5に対応する認証エリアの中に位置している否かを表す第2の認証フラグがセットされる。本実施形態では、第1の認証フラグ及び第2の認証フラグは、オン状態である場合に認証エリア内に位置していることを表すこととする。フィールドF25には、関連付けられた人物が後述する予備エリアの中に位置しているか否かを表す予備フラグがセットされる。本実施形態では、予備フラグは、オン状態である場合に予備エリアの中に位置していることを表すこととする。フィールドF26には、関連付けられた人物が後述する追跡エリアから退出したか否かを表す退出フラグがセットされる。本実施形態では、退出フラグは、オン状態である場合に退出したことを表すこととする。フィールドF27は、関連付けられた人物に関する一回の位置検出の結果を表す検出データがセットされる。関連付けられた人物の移動にともなって、移動後の位置検出の結果を表す検出データをセットしたフィールドがフィールドF28以降に順次に追加される。なお、データレコードDR2には、上記とは別の任意のデータがセットされるフィールドが含まれてもよい。
図8は会員管理データベースDB3に含まれるデータレコードDR3の構成を模式的に示す図である。
会員管理データベースDB3は、追跡対象となっており、かつ会員認証を終えた人物にそれぞれ関連付けられたデータレコードDR3の集合である。このため会員管理データベースDB3に含まれるデータレコードDR3の数は、該当する人物の人数に応じて変動する。会員管理データベースDB3が、データレコードDR3を1つも含まない状況も生じ得る。データレコードDR3は、フィールドF31,F32を含む。フィールドF31には、関連付けられた人物に予め付与された会員IDがセットされる。フィールドF32には、関連付けられた人物を追跡するための追跡IDがセットされる。なお、データレコードDR3には、上記とは別の任意のデータがセットされるフィールドが含まれてもよい。
商品監視ユニット9又はメイン処理ユニット10のハードウェアとしては、例えば汎用の情報処理装置を用いることができる。そして商品監視ユニット9又はメイン処理ユニット10の譲渡は一般に、補助記憶ユニット9c又は補助記憶ユニット10cに商品監視プログラムAP2又は追跡プログラムAP3及び客対応プログラムAP4がそれぞれ記憶され、商品管理データベースDB1又は追跡データベースDB2及び会員管理データベースDB3が記憶されない状態にて行われる。しかし、商品監視プログラムAP2又は追跡プログラムAP3及び客対応プログラムAP4が補助記憶ユニット9c又は補助記憶ユニット10c記憶されない状態、あるいは同種の別バージョンのアプリケーションプログラムが補助記憶ユニット9c又は補助記憶ユニット10cに記憶された状態のハードウェアと、商品監視プログラムAP2又は追跡プログラムAP3及び客対応プログラムAP4が個別に譲渡されてもよい。そして、任意の作業者の操作に応じて、補助記憶ユニット9c又は補助記憶ユニット10cに商品監視プログラムAP2又は追跡プログラムAP3及び客対応プログラムAP4が書き込まれることによって、商品監視ユニット9又はメイン処理ユニット10が構成されてもよい。補助記憶ユニット9c又は補助記憶ユニット10cに商品監視プログラムAP2又は追跡プログラムAP3及び客対応プログラムAP4の譲渡は、磁気ディスク、光磁気ディスク、光ディスク、半導体メモリなどのようなリムーバブルな記録媒体に記録して、あるいはネットワークを介した通信により行うことができる。商品管理データベースDB1又は追跡データベースDB2及び会員管理データベースDB3は、プロセッサ9a又は10aが商品監視プログラムAP2又は追跡プログラムAP3及び客対応プログラムAP4に基づく情報処理を実行することで、補助記憶ユニット9c又は補助記憶ユニット10c内に構成される。なお、商品監視プログラムAP2及び商品管理データベースDB1の少なくとも一方が、メインメモリ9bに記憶されてもよい。追跡プログラムAP3、客対応プログラムAP4、追跡データベースDB2及び会員管理データベースDB3のうちの少なくとも一部がメインメモリ10bに記憶されてもよい。
次に以上のように構成された取引処理システム100の動作について説明する。なお、以下に説明する処理の内容は一例であって、一部の処理の順序の変更、一部の処理の省略、あるいは別の処理の追加などは適宜に可能である。
陳列什器101は、通常の物販店舗において、ランチタイムなどの多客時間帯に、当該時間帯での売れ筋商品等が陳列される状態で店頭等に一時的に設置して、陳列されている商品を無人販売する用途が想定される。陳列什器101はこのため、キャスタ1b及びハンドル1cを備え、店員等によって容易に移動できるように構成されている。ただし、陳列什器101は、企業の社屋内などの任意の場所に設置されてもよいし、常設されてもよく、その用途は上記の例には限定されない。常設されるのであれば、キャスタ1b及びハンドル1cが省略されてもよい。陳列什器101が備える電気的要素は、電源ケーブルを用いて商用電源等からの給電により動作するのでもよいし、陳列什器101に搭載したバッテリからの給電により動作するのでもよい。
棚板1a上の1つの重量計6による計測エリアに複数個の商品を陳列する場合は、それら複数個の商品は、同じ商品コードで識別される商品とすることを、陳列什器101の利用に関するルールとする。そして、店員などの管理者は、UIユニット5での予め定められた操作によって、どの計測エリアにどの商品が陳列されるかを指定する。例えばプロセッサ5cは、計測エリアを選択するためのGUI(graphical user interface)画面をタッチパネル5aに表示させ、当該GUI画面へのタッチによる計測エリアの指定を受ける。またプロセッサ5cは、管理者により翳された商品バーコードをリーダ5bによって読み取らせる。そしてプロセッサ5cは、指定された計測エリアに、リーダ5bによって読み取られた商品バーコードに表された商品コードで識別される商品が陳列されていると指定されたこととする。この指定を受けてUIユニット5にてプロセッサ5cは、指定された計測エリアに対応する重量計6の重量計IDがフィールドF11にセットされたデータレコードDR1を商品管理データベースDB1から見つけ出し、該当のデータレコードDR1のフィールドF12に指定された商品の商品コードをセットする。このとき例えば、管理者は、該当の計測エリアに、該当の商品を規定個数置いておく。プロセッサ5cは例えば、該当の計測エリアに対応する重量計6の計測値を取得し、当該計測値を規定個数で除することで単品重量を算出する。プロセッサ5cは、算出した単品重量を、上記の商品コードをセットしたデータレコードDR1のフィールドF13にセットする。プロセッサ5cは、同データレコードDR1のフィールドF14には、上記の取得した計測値をセットしてもよいし、0等のあらかじめ定められた値を暫定的にセットしてもよい。
なお、商品管理データベースDB1は、棚板1aへの商品の陳列状況に合致していればよく、その更新の方法は任意であってよい。例えば、外部の任意の情報処理装置からの指示に応じて、プロセッサ5cが商品管理データベースDB1を更新してもよい。また、プロセッサ5cは、通信ユニット5g、什器内通信路8及び通信ネットワーク104を介して販売管理装置102又は他の任意のサーバ装置にアクセスし、商品コードに関連付けられた単品重量を取得してもよい。
陳列什器101が客対応を行う動作状態にあるとき、メイン処理ユニット10にてプロセッサ10aは、追跡プログラムAP3に従った情報処理(以下、追跡処理と称する)を実行する。
ところで追跡処理は主として、追跡対象となっている人物(以下、追跡人物と称する)の追跡エリア内での現在位置を特定し、当該位置が追跡エリア内に陳列什器101に相対的に定められるいくつかのエリアのいずれのエリア内であるかを確認する処理である。そこで、追跡処理の説明に先立って、追跡エリア内に定められるエリアについて説明する。
図9は追跡エリア内におけるエリアの設定状況を表す平面図である。
図9に表すように、購買エリアAR1、検出エリアAR2、予備エリアAR3、確定エリアAR4及び2つの認証エリアAR5が、それぞれ陳列什器101の位置を基準として論理的に定められる。確定エリアAR4の全域を内包する矩形のエリアが追跡エリアである。各エリアを具体的にどのエリアとするかは、例えば追跡プログラムAP3の作成者などによって任意に定められてよい。つまり、各エリアの個々の大きさ、あるいは複数のエリア間の大きさの比などは、図9に示す状態から変更されても構わない。また、メンテナンス作業者又は店舗管理者などの任意の操作者による指示に応じて、各エリアの大きさなどを変更可能としてもよい。このようにすれば、陳列什器101の設置場所の構造などを考慮して各エリアを調整することが可能となる。
購買エリアAR1は、陳列什器101から商品を取り出そうとする客が位置すべきエリアである。プロジェクタ4は、購買エリアAR1の外縁に図1に示す線PL1が概ね一致するように画像を投影する。上述のように購買エリアAR1の大きさを変更可能とするならば、プロジェクタ4は、画像の投影倍率を変更可能としておく。そしてプロジェクタ4は、上記のメンテナンス作業者又は店舗管理者などによる操作によって、あるいは例えばメイン処理ユニット10のプロセッサ10aからの指示に応じて、投影倍率を変更する。例えば、購入する全ての商品を棚1から取り出す間、客は購買エリアAR1内に留まることが、取引処理システム100により提供されるサービスの利用上のルールとされる。
検出エリアAR2は、追跡人物を新規に検出するエリアである。検出エリアAR2は例えば、購買エリアAR1へと進入する人物が通過するエリアとして定められる。つまり検出エリアAR2は例えば、購買エリアAR1の周囲の帯状のエリアである。検出エリアAR2は、一部が購買エリアAR1と重複していてもよい。
予備エリアAR3及び確定エリアAR4は、追跡人物が追跡エリアから退出したことを判定するためのエリアである。予備エリアAR3及び確定エリアAR4は、いずれも購買エリアAR1から離れて行く人物が通過するエリアとして定められる。そして予備エリアAR3が、確定エリアAR4よりも購買エリアAR1に近い。図9の例では、予備エリアAR3の一部と、確定エリアAR4の一部とが、互いに重複している。重複エリアAR10が、予備エリアAR3と確定エリアAR4とが重複したエリアである。予備エリアAR3と確定エリアAR4とは、重複せずに互いに接していてもよい。なお予備エリアAR3は、確定エリアAR4からは離間している。しかしながら、確定エリアAR4の一部と予備エリアAR3の一部とが、互いに重複していてもよい。また、確定エリアAR4と予備エリアAR3とが、重複せずに互いに接していてもよい。
2つの認証エリアAR5は、前述したように2つのUIユニット5にそれぞれ対応する。なお以下において、2つの認証エリアAR5を区別する必要がある場合、第1のUIユニット5に対応する認証エリアAR5を第1の認証エリアAR5と称し、第2のUIユニット5に対応する認証エリアAR5を第2の認証エリアAR5と称する。図9の例では対応するUIユニット5を中心とした円形のエリアを認証エリアAR5としている。
2つの追跡カメラ2は、それぞれが、あるいは分担して、追跡エリアを少なくとも含んだ撮影エリアを撮影するように、撮影方向及び視野サイズが設定される。そしてプロセッサ10aは、追跡カメラ2で撮影された画像に基づいて人物の現在位置を判定するための情報処理(以下、検出処理と称する)を、後述する追跡処理とは別に実行する。プロセッサ10aは例えば、追跡カメラ2で撮影された画像に基づき、当該画像に映り込んでいる人物の検出を試みる。そしてプロセッサ10aは、人物を検出できたならば、その人物の位置を判定する。画像から当該画像に映り込んでいる人物の位置を判定する処理としては、周知の種々の処理を適宜に用いることができる。また追跡カメラ2として、TOFカメラ又はステレオカメラなどの距離測定機能を備えたカメラデバイスを用いているのならば、プロセッサ10aは、当該機能での測定結果を加味して人物の現在位置を判定してもよい。プロセッサ10aは、予め定められた間隔で周期的に検出処理を実行する。
図10及び図11は追跡処理のフローチャートである。
図10のACT11としてプロセッサ10aは、追跡の対象となる人物が新規に検出されるのを待ち受ける。プロセッサ10aは例えば、上記の検出処理により検出エリア内に位置するとして検出された人物が追跡対象となっていないならばYESと判定し、ACT12へと進む。なお、プロセッサ10aは、このようにACT12へと進んだ場合には、当該の追跡処理は継続したままで、別のスレッドで追跡処理を開始する。つまり、追跡の対象となる人物が複数存在する状況においては、それらの人物のそれぞれに関して追跡処理を並行して実行する。そしてプロセッサ10aは、検出処理により検出エリア内に位置するとして検出された人物が他の追跡処理での追跡人物ではない場合に、当該人物が追跡対象となっていないと判断する。
ACT12としてプロセッサ10aは、新規に検出された人物に対し、他の追跡人物の追跡IDと重複しないように追跡IDを決定する。
ACT13としてプロセッサ10aは、新規に検出された人物を追跡人物として管理するべく追跡データベースDB2を更新する。プロセッサ10aは例えば、新たなデータレコードDR2を追跡データベースDB2に追加する。プロセッサ10aは、当該の新たなデータレコードDR2のフィールドF21には、ACT12にて決定した追跡IDをセットする。プロセッサ10aは、当該の新たなデータレコードDR2のフィールドF22~F26の各フラグは、いずれもオフとする。プロセッサ10aは、当該の新たなデータレコードDR2のフィールドF27には、新規に検出された人物について検出処理により判定された現在位置と現在日時とを表した検出データをセットする。プロセッサ10aは、当該の新たなデータレコードDR2には、フィールドF28以降のフィールドを含めない。
これにより、新規に検出された人物が追跡人物とされる。前述のように、複数の追跡処理が並行して実行される場合があり、陳列什器101にとっての追跡人物は同時に複数が存在し得るが、以下の説明で単に「追跡人物」と記す場合は、説明中の追跡処理の対象となっている追跡人物を指す。
ACT14としてプロセッサ10aは、追跡人物が移動したか否かを確認する。そしてプロセッサ10aは、追跡人物の移動を確認できないならばNOと判定し、ACT15へと進む。
ACT15としてプロセッサ10aは、追跡人物がロストされたか否かを確認する。そしてプロセッサ10aは、追跡人物の追跡が継続されているならばNOと判定し、ACT14へと戻る。
かくしてプロセッサ10aはACT14及びACT15としては、追跡人物が移動するか、ロストされるのを待ち受ける。
プロセッサ10aは例えば、検出処理の結果が新たに得られる毎に、新たに検出された人物の現在位置と、追跡人物に関連付けられたデータレコードDR2にセットされている検出データに表された位置とに基づいて、新たに検出された人物の中から追跡人物を特定する。そしてプロセッサ10aは、追跡人物の現在位置と、追跡人物に関連付けられたデータレコードDR2の末尾にセットされている検出データに表された位置との関係から、追跡人物が移動したか否かを判断する。例えばプロセッサ10aは、上記の2つの位置の離間距離が予め定められた閾値以上であるならば、追跡人物が移動したと判定する。そしてプロセッサ10aは、追跡人物が移動したならばACT14にてYESと判定し、ACT16へと進む。
ACT16としてプロセッサ10aは、追跡人物の現在位置が購買エリアAR1内であるか否かを確認する。そしてプロセッサ10aは、追跡人物の現在位置が購買エリアAR1外であるならばNOと判定し、ACT17へと進む。
ACT17としてプロセッサ10aは、追跡人物の現在位置が検出エリアAR2外であるか否かを確認する。そしてプロセッサ10aは、追跡人物の現在位置が検出エリアAR2内であるならばNOと判定し、ACT14へと戻る。
かくしてプロセッサ10aは、ACT14乃至ACT17としては、追跡人物が購買エリアAR1内へと移動するか、購買エリアAR1とは逆方向に移動して検出エリアAR2から出るのを待ち受ける。
プロセッサ10aは、追跡人物が購買エリアAR1内に入ること無しに検出エリアAR2から出たならば、ACT17にてYESし、ACT18へと進む。
ところでプロセッサ10aは例えば、追跡データベースDB2にて追跡人物に関連付けられたデータレコードDR2が、予め定められた期間に渡って更新されない場合をロストとする。そしてプロセッサ10aは、ACT14及びACT15の待受状態にてロストが生じると、ACT15にてYESと判定し、そのままACT18へと進む。
ACT18としてプロセッサ10aは、追跡人物を追跡人物から除外するように追跡データベースDB2を更新する。プロセッサ10aは例えば、追跡人物の追跡IDがフィールドF21にセットされているデータレコードDR2を追跡データベースDB2から削除する。そしてプロセッサ10aは、これをもって追跡処理を終了する。
陳列什器101に陳列された商品を購入しようとする人物は、検出エリアAR2を通過して購買エリアAR1へと進むことになる。追跡人物がそのように移動した場合、プロセッサ10aはACT16にてYESと判定し、ACT19へと進む。
ACT19としてプロセッサ10aは、追跡人物の追跡IDがフィールドF21にセットされているデータレコードDR2のフィールドF22にセットされた監視フラグをオンとする。
ACT20としてプロセッサ10aは、追跡人物の追跡IDがフィールドF21にセットされているデータレコードDR2の末尾に、新たな検出データをセットしたフィールドを追加する。プロセッサ10aは、新たな検出データは、最新の検出処理で判定された追跡人物の現在位置と現在時刻とを表したデータとする。このように、追跡人物の移動に伴って検出データが追加されることによって、追跡人物の移動軌跡が記録されることとなる。
ACT21としてプロセッサ10aは、追跡人物が移動したか否かを確認する。そしてプロセッサ10aは、追跡人物の移動を確認できないならばNOと判定し、ACT22へと進む。
ACT22としてプロセッサ10aは、追跡人物がロストされたか否かを確認する。そしてプロセッサ10aは、追跡人物の追跡が継続されているならばNOと判定し、ACT21へと戻る。
かくしてプロセッサ10aはACT21及びACT22としては、追跡人物が移動するか、ロストされるのを待ち受ける。そしてプロセッサ10aは、追跡人物が移動したことをACT14と同様にして確認したならばACT21にてYESと判定し、ACT23へと進む。
ACT23としてプロセッサ10aは、追跡人物の現在位置が購買エリアAR1内であるか否かを確認する。そしてプロセッサ10aは、追跡人物の現在位置が購買エリアAR1内であるならばYESと判定し、ACT24へと進む。
ACT24としてプロセッサ10aは、追跡人物の現在位置が第1又は第2の認証エリアAR5内であるか否かを確認する。そしてプロセッサ10aは、追跡人物の現在位置が第1又は第2の認証エリアAR5内であるならばYESと判定し、ACT25へと進む。つまりプロセッサ10aは、購買エリアAR1と第1又は第2の認証エリアAR5とが重複するエリア内に追跡人物が位置しているならば、ACT25へと進む。
ACT25としてプロセッサ10aは、追跡人物が第1の認証エリア内に位置しているならば第1の認証フラグをオンとし、追跡人物が第2の認証エリア内に位置しているならば第2の認証フラグをオンとする。そしてプロセッサ10aはこののち、ACT20へと戻り、追跡人物の移動後の位置に関する検出データを追加した上で、ACT21の待受状態に戻る。
プロセッサ10aは、追跡人物の現在位置が、購買エリアAR1内であるものの、第1又は第2の認証エリアAR5外であるならば、ACT24にてNOと判定し、ACT26へと進む。
ACT26としてプロセッサ10aは、第1の認証フラグ及び第2の認証フラグをともにオフとする。そしてプロセッサ10aはこののち、ACT20へと戻り、追跡人物の移動後の位置に関する検出データを追加した上で、ACT21の待受状態に戻る。
プロセッサ10aは、追跡人物が購買エリアAR1から出ると、ACT23にてNOと判定し、図11中のACT27へと進む。
ACT27としてプロセッサ10aは、ACT20と同様に、検出データをセットしたフィールドを追加する。つまりプロセッサ10aは、追跡人物の上記の移動を記録するべく、追跡人物に関連付けられたデータレコードDR2に新たな検出データを追加する。
ACT28としてプロセッサ10aは、追跡人物が移動したか否かを確認する。そしてプロセッサ10aは、追跡人物の移動を確認できないならばNOと判定し、ACT29へと進む。
ACT29としてプロセッサ10aは、追跡人物がロストされたか否かを確認する。そしてプロセッサ10aは、追跡人物の追跡が継続されているならばNOと判定し、ACT28へと戻る。
かくしてプロセッサ10aはACT28及びACT29としては、追跡人物が移動するか、ロストされるのを待ち受ける。そしてプロセッサ10aは、追跡人物が移動したことをACT14と同様にして確認したならばACT28にてYESと判定し、ACT30へと進む。
ACT30としてプロセッサ10aは、追跡人物の現在位置が購買エリアAR1内であるか否かを確認する。そしてプロセッサ10aは、追跡人物の現在位置が購買エリアAR1内であるならばYESと判定し、図10中のACT20へと戻る。つまりプロセッサ10aは、追跡人物が購買エリアAR1内に戻ったならば、追跡人物の上記の移動を記録するべく新たな検出データを追加した上で、ACT21及びACT22の待受状態に移行する。
プロセッサ10aは、追跡人物が購買エリアAR1に戻らないならば、図11中のACT30にてNOと判定し、ACT31へと進む。
ACT31としてプロセッサ10aは、追跡人物の現在位置が予備エリアAR3内であるか否かを確認する。そしてプロセッサ10aは、追跡人物の現在位置が予備エリアAR3外であるならばNOと判定し、ACT27へと戻る。つまりプロセッサ10aは、追跡人物の上記の移動を記録するべく新たな検出データを追加した上で、ACT28及びACT29の待受状態に戻る。
プロセッサ10aは、追跡人物が購買エリアAR1から出て、購買エリアAR1に戻ること無しに予備エリアAR3内へと移動した場合は、ACT31にてYESと判定し、ACT32へと進む。
ACT32としてプロセッサ10aは、追跡人物の追跡IDがフィールドF21にセットされているデータレコードDR2のフィールドF25にセットされた予備フラグをオンとする。
ACT33としてプロセッサ10aは、追跡人物が移動したか否かを確認する。そしてプロセッサ10aは、追跡人物の移動を確認できないならばNOと判定し、ACT34へと進む。
ACT34としてプロセッサ10aは、追跡人物がロストされたか否かを確認する。そしてプロセッサ10aは、追跡人物の追跡が継続されているならばNOと判定し、ACT33へと戻る。
かくしてプロセッサ10aはACT33及びACT34としては、追跡人物が移動するか、ロストされるのを待ち受ける。そしてプロセッサ10aは、追跡人物が移動したことをACT14と同様にして確認したならばACT33にてYESと判定し、ACT35へと進む。
ACT35としてプロセッサ10aは、追跡人物の現在位置が確定エリアAR4内であるか否かを確認する。そしてプロセッサ10aは、追跡人物の現在位置が確定エリアAR4外であるならばNOと判定し、ACT36へと進む。
ACT36としてプロセッサ10aは、追跡人物の現在位置が予備エリアAR3内であるか否かを確認する。そしてプロセッサ10aは、追跡人物の現在位置が予備エリアAR3内であるならばYESと判定し、ACT33へと戻る。
かくしてプロセッサ10aは、ACT33乃至ACT36としては、追跡人物が確定エリアAR4内へと移動するか、確定エリアAR4とは逆方向に移動して予備エリアAR3から出るか、あるいはロストされるのを待ち受ける。
プロセッサ10aは、追跡人物が確定エリアAR4に入ること無しに予備エリアAR3から出たならば、ACT36にてNOと判定し、ACT37へと進む。
ACT37としてプロセッサ10aは、追跡人物の追跡IDがフィールドF21にセットされているデータレコードDR2のフィールドF25にセットされた予備フラグをオフとする。そしてプロセッサ10aはこののち、ACT27に戻る、つまりプロセッサ10aは、追跡人物の上記の移動を記録するべく新たな検出データを追加した上で、ACT28及びACT29の待受状態に移行する。
追跡人物が、陳列什器101から離れるべく、予備エリアAR3を通過して確定エリアAR4へと進むと、プロセッサ10aはACT35にてYESと判定し、ACT38へと進む。
ACT38としてプロセッサ10aは、ACT20と同様に、検出データをセットしたフィールドを追加する。つまりプロセッサ10aは、追跡人物の上記の移動を記録するべく、追跡人物に関連付けられたデータレコードDR2に新たな検出データを追加する。プロセッサ10aはこの後、ACT39へと進む。
プロセッサ10aは、図10中のACT21及びACT22の待受状態、図11中のACT28及びACT29の待受状態、あるいは図11中のACT33及びACT34の待受状態のいずれかにおいて、追跡人物の追跡がロストしたことを確認したならば、ACT22、ACT29又はACT34にてYESと判定し、図11中のACT39へと進む。
ACT39としてプロセッサ10aは、追跡人物の追跡IDがフィールドF21にセットされているデータレコードDR2のフィールドF22にセットされた監視フラグをオフとする。
ACT40としてプロセッサ10aは、追跡人物の追跡IDがフィールドF21にセットされているデータレコードDR2のフィールドF26にセットされた退出フラグをオンとする。そしてプロセッサ10aは、これをもって追跡処理を終了する。
以上のようにプロセッサ10aが追跡処理を実行することで、追跡データベースDB2に基づいて、追跡人物のそれぞれがどのエリアに位置しているかと、移動軌跡とを確認することが可能となる。またプロセッサ10aは、このような追跡の結果に基づいて、追跡人物が陳列部としての棚1から離れたことを検出している。かくして追跡プログラムAP3に基づく情報処理をプロセッサ10aが実行することによって、プロセッサ10aを中枢部分とするコンピュータは追跡手段及び離脱検出手段として機能する。
一方で、陳列什器101が客対応を行う動作状態にあるとき、商品監視ユニット9においてプロセッサ9aは、商品監視プログラムAP2に従った情報処理(以下、監視処理と称する)を実行する。監視処理は、陳列什器101に陳列された商品の移動を監視するための情報処理である。
図12は監視処理のフローチャートである。
ACT41としてプロセッサ9aは、陳列什器101に陳列された商品が減少したか否かを確認する。そしてプロセッサ9aは、該当の事象が確認できないならばNOと判定し、ACT42へと進む。
ACT42としてプロセッサ9aは、陳列什器101に陳列された商品が増加したか否かを確認する。そしてプロセッサ9aは、該当の事象が確認できないならばNOと判定し、ACT41へと戻る。
かくしてプロセッサ9aはACT41及びACT42としては、商品が減少又は増加するのを待ち受ける。
陳列什器101に陳列されていた商品を客が陳列什器101から取り出した場合、あるいは陳列什器101に陳列されていた商品が陳列什器101から落下した場合などにおいて、陳列什器101に陳列された商品が減少することになる。そしてこの場合には、該当の商品が置かれていた計測エリアの重量計6での計測値が減少することになる。また、陳列什器101から一旦移動されていた商品が陳列什器101に戻されると、陳列什器101に陳列された商品が増加することになる。そしてこの場合には、該当の商品が置かれていた計測エリアの重量計6での計測値が増加することになる。
プロセッサ9aは、いずれかの重量計6の計測値が減少したならば、ACT41にてYESと判定し、ACT43へと進む。なおプロセッサ9aは例えば、重量計6から取得した計測値が、同じ重量計6に商品管理データベースDB1にて関連付けられたデータレコードDR1のフィールドF14にセットされた前回計測値よりも小さく、かつその差分値が規定値以上である場合に、重量計6の計測値が減少したと判定する。
ACT43としてプロセッサ9aは、減少した商品を判定する。プロセッサ9aは例えば、上記のように減少した計測値を測定した重量計6の重量計IDがフィールドF11にセットされたデータレコードDR1を商品管理データベースDB1から見つけ出す。そしてプロセッサ9aは、該当するデータレコードDR1のフィールドF12にセットされた商品コードで識別される商品として、減少した商品を判定する。
ACT44としてプロセッサ9aは、減少個数を算出する。プロセッサ9aは例えば、ACT43にて求めた差分値を、同じ重量計6に商品管理データベースDB1にて関連付けられたデータレコードDR1のフィールドF13にセットされた単品重量で除して求まる値に対して予め定められた端数処理を施して得られる整数値を減少個数とする。
ACT45としてプロセッサ9aは、商品の減少をメイン処理ユニット10に対して通知する。プロセッサ9aは例えば、商品の減少を通知するための通知データを、通信ユニット9dからメイン処理ユニット10に宛てて什器内通信路8へと送出する。プロセッサ9aは上記の通知データには、減少の通知であることを識別する識別データと、減少した商品の商品コードと、減少個数とを含める。
かくしてプロセッサ9aは、重量計6による計測値の変化に基づいて、陳列部としての棚1からの商品の移動を検出しているのである。従って、商品監視プログラムAP2に基づく情報処理をプロセッサ9aが実行することによって、プロセッサ9aを中枢部分とするコンピュータは移動検出手段として機能する。
プロセッサ9aは一方で、いずれかの重量計6の計測値が増加したならば、ACT42にてYESと判定し、ACT46へと進む。なおプロセッサ9aは例えば、重量計6から取得した計測値が、同じ重量計6に商品管理データベースDB1にて関連付けられたデータレコードDR1のフィールドF14にセットされた前回計測値よりも大きく、かつその差分値が規定値以上である場合に、重量計6の計測値が増加したと判定する。
ACT46としてプロセッサ9aは、増加した商品を判定する。プロセッサ9aは例えば、上記のように増加した計測値を測定した重量計6の重量計IDがフィールドF11にセットされたデータレコードDR1を商品管理データベースDB1から見つけ出す。そしてプロセッサ9aは、該当するデータレコードDR1のフィールドF12にセットされた商品コードで識別される商品として、増加した商品を判定する。
ACT47としてプロセッサ9aは、増加個数を算出する。プロセッサ9aは例えば、ACT43にて求めた差分値を、同じ重量計6に商品管理データベースDB1にて関連付けられたデータレコードDR1のフィールドF13にセットされた単品重量で除して求まる値に対して予め定められた端数処理を施して得られる整数値を増加個数とする。
ACT48としてプロセッサ9aは、商品の増加をメイン処理ユニット10に対して通知する。プロセッサ9aは例えば、商品の増加を通知するための通知データを、通信ユニット9dからメイン処理ユニット10に宛てて什器内通信路8へと送出する。プロセッサ9aは上記の通知データには、増加の通知であることを識別する識別データと、増加した商品の商品コードと、増加個数とを含める。
プロセッサ9aは、ACT45又はACT48での通知を終えたならば、いずれの場合もACT49へと進む。
ACT49としてプロセッサ9aは、計測値が変化した重量計6に商品管理データベースDB1にて関連付けられたデータレコードDR1のフィールドF14にセットされた前回計測値を変化後の計測値に更新する。そしてプロセッサ9aはこののち、ACT41及びACT42の待受状態に戻る。
陳列什器101が客対応を行う動作状態にあるとき、メイン処理ユニット10にてプロセッサ10aは、前述の検出処理及び追跡処理とは別に、客対応プログラムAP4に従った情報処理(以下、客対応処理と称する)を実行する。
図13及び図14は客対応処理のフローチャートである。
図13中のACT51としてプロセッサ10aは、会員IDが通知されたか否かを確認する。そしてプロセッサ10aは、該当の通知を確認できないならばNOと判定し、ACT52へと進む。
ACT52としてプロセッサ10aは、減少通知がなされたか否かを確認する。そしてプロセッサ10aは、該当の通知を確認できないならばNOと判定し、ACT53へと進む。
ACT53としてプロセッサ10aは、増加通知がなされたか否かを確認する。そしてプロセッサ10aは、該当の通知を確認できないならばNOと判定し、ACT54へと進む。
ACT54としてプロセッサ10aは、退出フラグがオンされたか否かを確認する。そしてプロセッサ10aは、該当の事象を確認できないならばNOと判定し、ACT51へと戻る。
かくしてプロセッサ10aはACT51乃至ACT54としては、会員ID、減少又は増加が通知されるか、退出フラグがオンされるのを待ち受ける。
さて、会員登録を済ませた客に対しては、他の客と識別するための会員IDが付与されている。また、会員登録済みの客は、現金の授受を伴わない決済方法での決済のための決済情報を登録しておくことができる。なお、会員登録済みの客についての各種個人情報、会員ID及び決済情報は、販売管理装置102又は決済装置103により管理されるか、あるいは別の会員サーバによって管理される。
会員登録済みである客は、陳列什器101に陳列された商品の購入に関しての決済を、登録済みの決済情報を用いて行いたい場合には、会員IDをUIユニット5に読み取らせる。例えば客は、客が所持する携帯情報端末の表示デバイスに会員IDを表したバーコードを表示させ、当該バーコードをUIユニット5のリーダ5bに読み取らせる。なお、UIユニット5における会員IDの読取方法は、別の任意の方法であってよい。
UIユニット5においてプロセッサ5cは、リーダ5bによって会員IDが読み取られると、UIプログラムAP1に基づく情報処理により、当該会員IDをメイン処理ユニット10に通知する。プロセッサ5cは例えば、会員IDの通知であることを識別するための識別データと会員IDとを含んだ通知データを、通信ユニット5gからメイン処理ユニット10に宛てて什器内通信路8へと送出する。
なお、例えばUIユニット5に正対した状態で会員IDをUIユニット5に読み取らせることを客に課し、認証エリアAR5の大きさを適切に定めれば、UIユニット5にて会員IDを読み取るときに複数の追跡人物について同じ認証フラグがオンとなっていることはなくなる。しかしながらプロセッサ5cは、例えば監視カメラ3により撮影された画像又は別のTOFカメラ等により撮影された画像に基づくなどして、会員IDを読み取らせる行動を行った追跡人物を特定し、その追跡人物の追跡IDを通知してもよい。
メイン処理ユニット10にてプロセッサ10aは、会員IDの通知のための通知データが通信ユニット10dにより受信されると、ACT51にてYESと判定し、ACT55へと進む。
ACT55としてプロセッサ10aは、通知された会員IDをUIユニット5に読み取らせた客に相当する追跡人物の追跡IDを取得する。プロセッサ10aは例えば、会員IDが第1のUIユニット5から通知されたならば、第1の認証フラグがオン状態とされているデータレコードDR2を追跡データベースDB2から見つけ出す。プロセッサ10aはまた、会員IDが第2のUIユニット5から通知されたならば、第2の認証フラグがオン状態とされているデータレコードDR2を追跡データベースDB2から見つけ出す。そしてプロセッサ10aは、該当するデータレコードDR2のフィールドF21にセットされた追跡IDを取得する。なおプロセッサ10aは、会員IDを通知したUIユニット5に対応する認証フラグがオン状態とされているデータレコードDR2が複数見つかったならば、予め定められたルールに従って1つのデータレコードDR2を選択する。プロセッサ10aは例えば、末尾のフィールドにセットされている検出データが表す位置が認証エリアの中心により近いデータレコードDR2を選択する。
ACT56としてプロセッサ10aは、通知された会員IDについての認証処理を行う。プロセッサ10aは例えば、会員登録済みの客についての各種個人情報、会員ID及び決済情報を監視している装置に問い合わせて、通知された会員IDが会員に付与された正規の会員IDであることを確認する。
ACT57としてプロセッサ10aは、上記の認証に成功したか否かを確認する。そしてプロセッサ10aは、認証に成功したならばYESと判定し、ACT58へと進む。
ACT58としてプロセッサ10aは、会員IDをUIユニット5に読み取らせた会員の管理のためのデータレコードDR3を含むように会員管理データベースDB3を更新する。つまりプロセッサ10aは例えば、通知された会員IDをフィールドF31にセットするとともに、ACT55で取得した追跡IDをフィールドF32にセットした新たなデータレコードDR3を会員管理データベースDB3に追加する。そしてプロセッサ10aはこののち、ACT51乃至ACT54の待受状態に戻る。
かくしてプロセッサ10aは、追跡人物を、通知された会員IDにより識別される会員として識別しているのである。会員は、会員登録により個人が特定されている。つまりプロセッサ10aは、追跡人物の個人を識別しているのである。
プロセッサ10aは、ACT56での認証に失敗したならば、ACT57にてNOと判定し、ACT59へと進む。
ACT59としてプロセッサ10aは、エラー処理を実行する。エラー処理は、認証に失敗したことを客に通知するための処理である。プロセッサ10aは例えば、認証に失敗したことを客に通知するための予め定められたエラー画面の表示を、会員IDを読み取ったUIユニット5に指示する。あるいはプロセッサ10aは例えば、上記のエラー画面の表示を、会員IDを表したバーコードを表示した携帯情報端末に指示する。そしてプロセッサ10aはこののち、ACT51乃至ACT54の待受状態に戻る。
プロセッサ10aは、前述した減少通知のための通知データが通信ユニット10dにより受信されると、ACT52にてYESと判定し、図14中のACT60へと進む。
ACT60としてプロセッサ10aは、減少した商品を陳列什器101から取り出した取出者を判定する。プロセッサ10aは例えば、フィールドF22にセットされた監視フラグがオンであるデータレコードDR2を全て追跡データベースDB2から抽出し、該当するデータレコードDR2のフィールドF21にセットされた追跡IDで識別される追跡人物をいずれも取出者の候補とする。客は、陳列什器101から商品を取り出す場合には、該当の商品に向け腕を伸ばし、商品を把持した後、腕を引く。そこでプロセッサ10aは例えば、監視カメラ3により撮影された画像に基づいて、取出者の候補となっている追跡人物の中で、上記のような行動を行った追跡人物を特定し、当該追跡人物を取出者として判定する。
より具体的には、プロセッサ10aは例えば、商品を取るための上記の行動が行われる期間を考慮して予め定められた監視期間に監視カメラ3により撮影された複数の画像の変化を解析することで、上記の行動を行った人物を特定し、さらにその人物の位置を判定する。プロセッサ10aは、上記の抽出したデータレコードDR2のうちから、末尾のフィールドにセットされた検出データに示される位置が上記の特定した位置に最も近いデータレコードDR2を選択する。そしてプロセッサ10aは、該当のデータレコードDR2の末尾のフィールドにセットされた検出データに示される位置と上記の特定した位置との離間距離が規定距離よりも短い場合に、該当のデータレコードDR2のフィールドF21にセットされている追跡IDで識別される追跡人物を取出者として判定する。プロセッサ10aは、該当する追跡人物が見つからなければ、取出者不明として判定する。なお、プロセッサ10aは、上記の選択したデータレコードDR2における末尾のフィールドにセットされた検出データに示される位置と減少した商品の陳列位置との関係及び監視カメラ3により撮影された画像に基づいて取出者の腕の長さを測定し、当該長さが規定長さよりも長い場合には、取出者不明として判定してもよい。
多くの場合は腕を引く際に、商品の移動が生じ、重量計6の計測値に変化が生じる。ただし、棚板1aの振動などのために重量計6の計測値が安定するまでに若干の時間を要するため、重量計6が新たな計測値を出力するまでにはタイムラグが生じる。つまり、プロセッサ10aが減少通知を受けるときには、取出者が商品を取り出す動作の多くは終了している。つまり上記の監視期間は、プロセッサ10aが減少通知を受ける前に始まる。そこでプロセッサ10aは例えば、監視カメラ3により撮影された画像を、一定期間は補助記憶ユニット10cなどにバッファしておく。そしてプロセッサ10aは、減少通知を受けた後に、バッファされた画像のうちの監視期間に関する画像を解析するようにする。あるいは、ACT60としての処理は、客対応処理とは別スレッドの処理としてプロセッサ10aが実行してもよい。
かくして客対応プログラムAP4に基づく情報処理をプロセッサ10aが実行することによって、プロセッサ10aを中枢部分とするコンピュータは、購買エリアAR1における人物の行動を監視しているのであり、監視手段として機能する。
ACT61としてプロセッサ10aは、取出者の判定に成功したか否かを確認する。そしてプロセッサ10aは、取出者を判定できたならばYESと判定し、ACT62へと進む。
ACT62としてプロセッサ10aは、取出者として判定した追跡人物について会員認証済みであるか否かを確認する。プロセッサ10aは、ACT60で選択したデータレコードDR2のフィールドF21にセットされているのと同一の追跡IDがフィールドF32にセットされているデータレコードDR3を会員管理データベースDB3から探す。そしてプロセッサ10aは、該当するデータレコードDR3が見つかったならばYESと判定し、ACT63へと進む。
ACT63としてプロセッサ10aは、販売管理装置102に対して、購入商品としての登録を要求する。プロセッサ10aは例えば、当該要求のための要求データを、通信ユニット10dから販売管理装置102に宛てて什器内通信路8へと送出する。そうすると、当該要求データは、通信ユニット7により中継されて、通信ネットワーク104を介して販売管理装置102へと伝送される。なおプロセッサ10aは上記の要求データには、登録要求であることを識別する識別データと、購入商品の商品コード、購入個数及び会員IDとを含める。プロセッサ10aは、前述の受信された通知データに含まれた商品コードを、そのまま購入商品の商品コードとして要求データに含める。プロセッサ10aは、前述の受信された通知データに含まれた減少個数を、そのまま購入個数として要求データに含める。プロセッサ10aは、ACT62にて見つけたデータレコードDR3のフィールドF31にセットされている会員IDを要求データに含める。
かくしてプロセッサ10aは、プロセッサ10aの監視手段としての機能による監視結果と、プロセッサ9aの移動検出手段としての機能による検出結果とに基づいて、陳列部としての棚1から移動された商品を追跡人物に関する取引商品として決定していることになる。従って、客対応プログラムAP4に基づく情報処理をプロセッサ10aが実行することによって、プロセッサ10aを中枢部分とするコンピュータは決定手段として機能する。
販売管理装置102は、上記の要求データを受けたならば、要求データに含まれた商品コードで識別される商品を、要求データに含まれた購入個数だけ、要求データに含まれた会員IDで識別される会員の購入商品として登録するための登録処理を行う。当該の登録処理は、既存のPOS端末などの取引処理装置で行われているのと同様な処理であってよい。かくして販売管理装置102は、管理手段としての機能を備える。
プロセッサ10aは、会員認証済みではないことをACT62にて確認したならばNOと判定し、ACT64へと進む。プロセッサ10aは、例えばACT60で選択したデータレコードDR2のフィールドF21にセットされているのと同一の追跡IDがフィールドF32にセットされているデータレコードDR3を会員管理データベースDB3から見つけ出すことができないならば会員認証済みではないと判定する。
ACT64としてプロセッサ10aは、第1の警報動作を行う。第1の警報動作は、陳列什器101から取り出した商品の決済を行うように取出者に促すための動作である。プロセッサ10aは第1の警報動作としては、例えば予め定められた画面を表示するようにUIユニット5に指示する。プロセッサ10aは第1の警報動作としては、例えば予め定められた音声メッセージを出力するようにUIユニット5に指示する。プロセッサ10aは第1の警報動作として、これらとは別の任意の動作を行ってもよいし、複数種の動作を行ってもよい。画面又は音声メッセージ等のコンテンツは、陳列什器101が設置されている店舗の事情により適宜に定められてよい。店員が駐在するチェックアウトコーナー又はセルフタイプのチェックアウトコーナーが設けられた店舗の場合は、例えば当該のチェックアウトコーナーで決済するように取出者に促すコンテンツとする。また、陳列什器101に陳列されている商品の購入を会員のみに限る店舗の場合は、例えば商品を店員に返却するよう取出者に促すコンテンツとする。この第1の警報動作により、取引処理システム100により提供されるサービスを理解していない客が棚1から商品を取り出した場合に、その客にその後の行動を適切に行わせることが可能となる。
なお、会員以外の客が、陳列什器101に陳列されている商品を店員が駐在するチェックアウトコーナー又はセルフタイプのチェックアウトコーナーで決済することを許容する場合は、会員認証を終えていない追跡人物が棚1から商品を取り出したことは、異常状態には該当しない。従ってこの場合の第1の警報動作は、異常状態に対する警報ではない。陳列什器101に陳列されている商品の購入を会員のみに限る店舗の場合は、会員認証を終えていない追跡人物が棚1から商品を取り出したことは、異常状態に該当する。従ってこの場合の第1の警報動作は、異常状態に対する警報に相当する。
プロセッサ10aは、ACT60で取出者を判定することができなかった場合には、ACT61にてNOと判定し、ACT65へと進む。プロセッサ10aがACT60で前述のように取出者不明として判定した場合は、このケースに該当する。また、何らかの障害によって追跡処理により追跡されていない人物が商品を取り出した場合、あるいは棚板1aから商品が落下した場合が、このケースに該当する。
ACT65においてプロセッサ10aは、第2の警報動作を行う。第2の警報動作は、第1の警報動作と同様な動作であってよい。ただし第2の警報動作は、第1の警報動作とはコンテンツを異ならせる。例えば第2の警報動作におけるコンテンツは、例えば店員へ相談するように取出者又は周囲に居る人物に促すコンテンツとする。あるいは第2の警報動作は、店員が使用する端末装置に対する画面表示又は音声メッセージ出力の指示であってもよい。この場合の第2の警報動作におけるコンテンツは、例えば状況確認及び対処を店員に促すコンテンツとする。客は、追跡処理により正しく追跡されているかどうかは分からないから、当該客が棚1から商品を取り出したことにより生じる異常状態は客の責任ではないし、異常とされる理由を客が理解することはできない。しかしながら当該客は、第2の警報に従って店員に相談し、店員が異常状態に適正に対処することにより異常状態を解消できる。
プロセッサ10aは、ACT63、ACT64又はACT65を終えたならば、図13中のACT51乃至ACT54の待受状態に戻る。
プロセッサ10aは、前述した増加通知のための通知データが通信ユニット10dにより受信されると、図13中のACT53にてYESと判定し、図14中のACT66へと進む。
ACT66としてプロセッサ10aは、増加した商品を陳列什器101に戻した戻し者を判定する。プロセッサ10aは例えば、フィールドF22にセットされた監視フラグがオンであるデータレコードDR2を全て追跡データベースDB2から抽出し、該当するデータレコードDR2のフィールドF21にセットされた追跡IDで識別される追跡人物をいずれも戻し者の候補とする。客は、陳列什器101から商品を取り出す場合には、該当の商品に向け腕を伸ばし、把持していた商品を棚板1aの上に置いた後、腕を引く。そこでプロセッサ10aは例えば、監視カメラ3により撮影された画像に基づいて、戻し者の候補となっている追跡人物の中で、上記のような行動を行った追跡人物を特定し、当該追跡人物を戻し者として判定する。
より具体的には、プロセッサ10aは例えば、商品を戻すための上記の行動が行われる期間を考慮して予め定められた監視期間に監視カメラ3により撮影された複数の画像の変化を解析することで、上記の行動を行った人物を特定し、さらにその人物の位置を判定する。プロセッサ10aは、上記の抽出したデータレコードDR2のうちから、末尾のフィールドにセットされた検出データに示される位置が上記の特定した位置に最も近いデータレコードDR2を選択する。そしてプロセッサ10aは、該当のデータレコードDR2の末尾のフィールドにセットされた検出データに示される位置と上記の特定した位置との離間距離が規定距離よりも短い場合に、該当のデータレコードDR2のフィールドF21にセットされている追跡IDで識別される追跡人物を戻し者として判定する。プロセッサ10aは、該当する追跡人物が見つからなければ、戻し者不明として判定する。なお、プロセッサ10aは、上記の選択したデータレコードDR2における末尾のフィールドにセットされた検出データに示される位置と増加した商品の陳列位置との関係及び監視カメラ3により撮影された画像に基づいて戻し者の腕の長さを測定し、当該長さが規定長さよりも長い場合には、戻し者不明として判定してもよい。
商品が戻される場合も、上記の監視期間は、商品が取り出される場合と同様に、プロセッサ10aが増加通知を受ける前に始まる。そこでプロセッサ10aは例えば、監視カメラ3により撮影された画像を、一定期間は補助記憶ユニット10cなどにバッファしておく。そしてプロセッサ10aは、増加通知を受けた後に、バッファされた画像のうちの監視期間に関する画像を解析するようにする。あるいは、ACT66としての処理は、客対応処理とは別スレッドの処理としてプロセッサ10aが実行してもよい。
ACT67としてプロセッサ10aは、戻し者の判定に成功したか否かを確認する。そしてプロセッサ10aは、戻し者を判定できたならばYESと判定し、ACT68へと進む。
ACT68としてプロセッサ10aは、戻し者として判定した追跡人物について会員認証済みであるか否かを確認する。プロセッサ10aは、ACT66で選択したデータレコードDR2のフィールドF21にセットされているのと同一の追跡IDがフィールドF32にセットされているデータレコードDR3を会員管理データベースDB3から探す。そしてプロセッサ10aは、該当するデータレコードDR3が見つかったならばYESと判定し、ACT69へと進む。
ACT69としてプロセッサ10aは、販売管理装置102に対して、購入商品の取り消しを要求する。プロセッサ10aは例えば、当該要求のための要求データを、通信ユニット10dから販売管理装置102に宛てて什器内通信路8へと送出する。そうすると、当該要求データは、通信ユニット7により中継されて、通信ネットワーク104を介して販売管理装置102へと伝送される。なおプロセッサ10aは上記の要求データには、取り消し要求であることを識別する識別データと、取り消しの対象となる購入商品の商品コード、取り消し個数及び会員IDとを含める。プロセッサ10aは、前述の受信された通知データに含まれた商品コードを、そのまま取り消しの対象となる購入商品の商品コードとして要求データに含める。プロセッサ10aは、前述の受信された通知データに含まれた減少個数を、そのまま取り消し個数として要求データに含める。プロセッサ10aは、ACT68にて見つけたデータレコードDR3のフィールドF31にセットされている会員IDを要求データに含める。
販売管理装置102は、上記の要求データを受けたならば、要求データに含まれた商品コードで識別される商品を、要求データに含まれた取り消し個数だけ、要求データに含まれた会員IDで識別される会員の購入商品から削除するための取り消し処理を行う。かくして会員認証済みの客であれば、棚1から一旦取り出した商品を、自由に棚1に戻すことが許容される。これにより客は、棚1から商品を手に取って確認しながら、購入する商品を選ぶことが可能となる。
プロセッサ10aは、会員認証済みではないことをACT68にて確認したならば、NOと判定し、ACT70へと進む。プロセッサ10aは、例えばACT66で選択したデータレコードDR2のフィールドF21にセットされているのと同一の追跡IDがフィールドF32にセットされているデータレコードDR3を会員管理データベースDB3から見つけ出すことができないならば会員認証済みではないと判定する。取引処理システム100により提供されるサービスを理解していない客が棚1から商品を取り出したことに応じて行われた第1の警報動作に当該客が驚いて慌てて商品を棚1に戻してしまった場合が、このケースに該当する。
プロセッサ10aはまた、ACT66で戻し者を判定することができなかった場合には、ACT67にてNOと判定し、ACT70へと進む。プロセッサ10aがACT66で前述のように戻し者不明として判定した場合は、このケースに該当する。また、何らかの障害によって追跡処理により追跡されていない人物が商品を戻した場合が、このケースに該当する。
ACT70としてプロセッサ10aは、第3の警報動作を行う。第3の警報動作は、不正な商品戻しが行われたことを店員等に通知し、それへの対応を促すための動作である。プロセッサ10aは第3の警報動作としては、例えば店員が使用する端末装置に対して、画面表示又は音声メッセージ出力を指示する。プロセッサ10aは第3の警報動作として、これとは別の任意の動作を行ってもよいし、複数種の動作を行ってもよい。画面又は音声メッセージ等のコンテンツは、陳列什器101が設置されている店舗の事情により適宜に定められてよい。
なお、上述のように第1の警報動作に驚いた客が慌てて商品を棚1に戻す場合には、正しく元の場所に戻す保証はないことから、そのような行為を異常状態としている。しかしながら、第1の警報動作に応じて、その契機となった商品の取り出しを行った追跡人物が同じ商品を棚1の正しい位置に戻すならば、それは異常状態としなくてもよい。そこで、第1の警報動作を行っている最中に、その第1の警報動作の契機となった追跡人物により同じ商品が戻された場合には、第3の警報動作を行わずに第1の警報動作を解除してもよい。
プロセッサ10aは、ACT69又はACT70を終えたならば、図13中のACT51乃至ACT54の待受状態に戻る。
プロセッサ10aは、追跡データベースDB2に含まれるデータレコードDR2のいずれかにおいて、フィールドF26にセットされた退出フラグがオフからオンに変更されたならば、図13中のACT54にてYESと判定し、ACT71へと進む。
ACT71としてプロセッサ10aは、オンに変更された退出フラグが関連付けられている追跡人物について会員認証済みであるか否かを確認する。プロセッサ10aは、上記のオンに変更された退出フラグがフィールドF26にセットされているデータレコードDR2を追跡データベースDB2から選択する。そしてプロセッサ10aは、選択したデータレコードDR2のフィールドF21にセットされているのと同一の追跡IDがフィールドF32にセットされているデータレコードDR3を会員管理データベースDB3から探す。そしてプロセッサ10aは、該当するデータレコードDR3が見つかったならばYESと判定し、ACT72へと進む。
ACT72としてプロセッサ10aは、決済の開始を販売管理装置102に対して要求する。プロセッサ10aは例えば、当該要求のための要求データを、通信ユニット10dから販売管理装置102に宛てて什器内通信路8へと送出する。そうすると、当該要求データは、通信ユニット7により中継されて、通信ネットワーク104を介して販売管理装置102へと伝送される。なおプロセッサ10aは上記の要求データには、決済開始の要求であることを識別する識別データと、ACT71にて見つけたデータレコードDR3のフィールドF31にセットされている会員IDとを要求データに含める。そしてプロセッサ10aはこの後には、ACT51乃至ACT54の待受状態に戻る。
なおプロセッサ10aは、会員認証済みではなく、該当するデータレコードDR3を見つけられなかったならば、ACT71にてNOと判定し、ACT72をパスしてACT51乃至ACT54の待受状態に戻る。
販売管理装置102は、上記の要求データを受けたならば、要求データに含まれた会員IDで識別される会員に関して購入商品として登録済みの商品に関する代金を決済するように決済装置103に指示する。決済装置103は、当該指示を受けたならば、該当の会員に関して登録されている決済情報を用いて上記の代金を決済する。この決済のための処理は、クレジット決済、あるいは電子マネー決済などの周知の決済のための処理であってよい。かくして決済装置103は、決済手段としての機能を備える。
以上のように取引処理システム100は、商品の棚1からの移動状況と、購買エリアAR1における追跡人物の行動とに基づいて、当該追跡人物が棚1から取り出した商品を当該追跡人物に関する購入商品として決定する。そして取引処理システム100は、会員認証済みの追跡人物が棚1から取り出した商品に関しては、当該の追跡人物が棚1から離れたことが検出されるまでの間に認証済みの会員による購入商品として決定し、その購入商品の代金を決済する。これにより、会員である客は、購買エリアへと進入し、会員IDをUIユニット5に読み取らせれば、棚1から取り出した商品を持って棚1から離れればよい。従って、客は、バーコード読み取り用の端末などの装置を各々に用いて購入商品として登録するための操作を行う必要がない。また客は、購入商品の登録を終了するための宣言のための操作を何ら行う必要がない。また、複数の客との取引を並行して実行することができ、一人の客の取引が終了するまで他の客が待つ必要もない。これらのそれぞれにより、取引処理の効率化が可能である。
また、取引処理システム100によれば、店舗で販売する商品のうちの一部の商品についての取引処理を無人化することが可能である。例えばコンビニエンスストア又はスーパーマーケットなどの店員が配置された小売店において、多忙な昼休み時間帯などに弁当及びおにぎりなどの一部商品を、取引処理システム100を用いて無人販売することにより、店員の負担を軽減することができる。
また前述したサービスの利用上のルールにより、客は、購入しようとする商品を棚1から取り出す間、基本的には購買エリアAR1内に留まる。しかしながら、他の客を避けるなどの諸事情から、購入しようとする全ての商品を取り終えていない客が購買エリアAR1から出てしまうことは考えられる。そこで取引処理システム100は、追跡人物が購買エリアAR1から出ても購入商品の登録は継続する。そして取引処理システム100は、追跡人物が購買エリアAR1から出て、予備エリアAR3内、さらに確定エリアAR4内へと移動したことに応じて、当該追跡人物が棚1から離れたと判定し、当該追跡人物がそれまでに棚1から取り出した商品を購入商品としてその代金を決済する。このため、客は、商品の取り出し終えることを意図せずに一時的に購買エリアAR1から出てしまったとしても、その後も購入商品の取り出しを継続できる。
取引処理システム100では、会員認証を終えた追跡人物を追跡処理にてロストした場合は、当該追跡人物が確定エリアAR4へと移動したことをもって棚1から離れたことを検出することができない。そこで、取引処理システム100は、会員認証を終えた追跡人物を追跡処理にてロストした場合にも、棚1から離れたとして判定する。これにより、当該追跡人物が追跡処理にてロストする前に棚1から取り出した商品がそのまま決済されることなく持ち出されてしまうことを防止できる。ただし、当該追跡人物に相当する客は、購買エリアAR1から出ていなくとも、続けて棚1から商品を取り出すことはできなくなる。しかしながら当該の客が棚1から商品を取り出せば第2の警報動作が行われるから、買い物を続けることができない状況となっていることを当該の客が認識できる。
この実施形態は、次のような種々の変形実施が可能である。
図1に示す陳列什器101の外観は一例であって、実施形態の陳列什器は別の任意の形態で実現されてもよい。例えば、台型、あるいは上面開口型などの別のタイプであってもよい。また、開口面に開閉可能な扉を備えていてもよい。
保温又は保冷を目的として、開口面を閉じることを可能とする扉を設けてもよい。
追跡人物が棚1から離れたことを検出するための条件は適宜に変更が可能である。例えば、予備エリアAR3を考慮することなく、追跡人物が単に確定エリアAR4に入ったことに応じて棚1から離れたと検出してもよい。また例えば、購買エリアAR1に一度位置した追跡人物の位置が購買エリアAR1外となったことに応じて棚1から離れたと検出してもよい。
追跡処理、監視処理又は客対応処理は、複数のコンピュータにより分散処理してもよい。追跡処理、監視処理及び客対応処理の全てを同一のコンピュータにより処理してもよい。追跡処理及び客対応処理は、それぞれ別々のコンピュータにより処理してもよい。追跡処理及び監視処理と客対応処理とをそれぞれ別々のコンピュータで処理するか、追跡処理と監視処理及び客対応処理とをそれぞれ別々のコンピュータで処理してもよい。
販売管理装置102での登録処理の少なくとも一部を、プロセッサ9a又はプロセッサ10aが実行してもよい。決済装置103での決済処理の少なくとも一部を、プロセッサ9a又はプロセッサ10aが実行してもよい。客対応処理の少なくとも一部を、販売管理装置102にて実行してもよい。
会員認証済みである場合でも、決済は店員が駐在するチェックアウトコーナー又はセルフタイプのチェックアウトコーナーで行うようにしてもよい。
追跡IDに関連付けて購入商品を登録してもよい。そして、商品登録を開始した後に会員認証が行われた場合には、購入商品に会員IDを関連付けてもよい。あるいは、追跡エリア内に設置した決済装置で、決済装置に対応するエリアに位置する追跡人物に関連付けられた購入商品の決済を行ってもよい。
追跡IDを用いずに、追跡対象の人物を会員IDで識別してもよい。
会員の認証は、追跡カメラ2で撮影された画像に基づく顔認証などの生体認証によって行ってもよい。
情報処理によりプロセッサ5c,9a又は10aが実現する各機能は、その一部又は全てをロジック回路などのようなプログラムに基づかない情報処理を実行するハードウェアにより実現することも可能である。また上記の各機能のそれぞれは、上記のロジック回路などのハードウェアにソフトウェア制御を組み合わせて実現することも可能である。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1…棚、1a…棚板、1b…キャスタ、1c…ハンドル、1d…支持部材、2…追跡カメラ、3…監視カメラ、4…プロジェクタ、5…ユーザインタフェースユニット(UIユニット)、5a…タッチパネル、5b…リーダ、5c…プロセッサ、5d…メインメモリ、5e…補助記憶ユニット、5f…サウンドユニット、5g…通信ユニット、5h…伝送路、6…重量計、7…通信ユニット、8…什器内通信路、9…商品監視ユニット、9a…プロセッサ、9a…メインメモリ、9b…メインメモリ、9c…補助記憶ユニット、9d…通信ユニット、9e…インタフェースユニット、9f…伝送路、10…メイン処理ユニット、10a…プロセッサ、10a…メインメモリ、10b…メインメモリ、10c…補助記憶ユニット、10d…通信ユニット、10e…インタフェースユニット、10f…伝送路、100…取引処理システム、101…陳列什器、102…販売管理装置、103…決済装置、104…通信ネットワーク。

Claims (5)

  1. 商品を陳列するための陳列部と、
    人物を追跡する追跡手段と、
    前記陳列部の周辺に定めた購買エリアにおける前記人物の行動を監視する監視手段と、
    前記商品の前記陳列部からの移動を検出する移動検出手段と、
    前記追跡手段での追跡結果に基づいて、前記人物が前記陳列部から離れたことを検出する離脱検出手段と、
    を備えた陳列什器と、
    前記監視手段による監視結果と前記移動検出手段による検出結果とに基づいて、前記陳列部から移動された前記商品を前記人物に関する取引商品として決定する決定手段と、
    前記人物が前記陳列部から離れたことが前記離脱検出手段により検出されたことに応じて、前記決定手段により決定された前記取引商品に関する代金を前記人物に予め関連付けられている決済情報を用いて決済する決済手段と、
    を具備する取引処理システム。
  2. 前記離脱検出手段は、前記追跡手段での追跡結果に基づいて、前記購買エリアよりも前記陳列部から遠いエリア内に前記人物が位置した場合に前記人物が前記陳列部から離れたと検出する、
    請求項1に記載の取引処理システム。
  3. 前記離脱検出手段は、前記追跡手段での追跡がロストした場合に前記人物が前記陳列部から離れたと検出する、
    請求項1又は請求項2に記載の取引処理システム。
  4. 前記陳列什器は、前記購買エリアを表す画像を投影するプロジェクタ、
    をさらに備える請求項1乃至請求項3のいずれか一項に記載の取引処理システム。
  5. 前記決定手段により決定された前記取引商品を前記人物に関連付けて管理する管理手段をさらに備え、
    前記管理手段を備えた管理装置と、
    前記決済手段を備えた決済装置と、
    を備える請求項1乃至請求項4のいずれか一項に記載の取引処理システム。
JP2020016530A 2020-02-03 2020-02-03 取引処理システム Active JP7349923B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020016530A JP7349923B2 (ja) 2020-02-03 2020-02-03 取引処理システム
CN202011280435.8A CN113222746A (zh) 2020-02-03 2020-11-16 交易处理***
US17/108,232 US20210241590A1 (en) 2020-02-03 2020-12-01 Transaction processing system
EP21152834.4A EP3859642A1 (en) 2020-02-03 2021-01-21 Transaction processing system
JP2023147767A JP2023165764A (ja) 2020-02-03 2023-09-12 取引処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020016530A JP7349923B2 (ja) 2020-02-03 2020-02-03 取引処理システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023147767A Division JP2023165764A (ja) 2020-02-03 2023-09-12 取引処理システム

Publications (2)

Publication Number Publication Date
JP2021124836A JP2021124836A (ja) 2021-08-30
JP7349923B2 true JP7349923B2 (ja) 2023-09-25

Family

ID=74494719

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020016530A Active JP7349923B2 (ja) 2020-02-03 2020-02-03 取引処理システム
JP2023147767A Pending JP2023165764A (ja) 2020-02-03 2023-09-12 取引処理システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023147767A Pending JP2023165764A (ja) 2020-02-03 2023-09-12 取引処理システム

Country Status (4)

Country Link
US (1) US20210241590A1 (ja)
EP (1) EP3859642A1 (ja)
JP (2) JP7349923B2 (ja)
CN (1) CN113222746A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN215987372U (zh) * 2021-09-09 2022-03-08 广景视睿科技(深圳)有限公司 一种无人商店
WO2023053243A1 (ja) * 2021-09-29 2023-04-06 日本電気株式会社 報知システム、方法、及び、記録媒体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008310559A (ja) 2007-06-14 2008-12-25 Brother Ind Ltd 領域配置装置、領域配置システム及び領域配置プログラム。
US20170309136A1 (en) 2016-04-25 2017-10-26 Bernd Schoner Registry verification for a mechanized store
JP2019527865A (ja) 2016-05-09 2019-10-03 グラバンゴ コーポレイション 環境内のコンピュータビジョン駆動型アプリケーションのためのシステムおよび方法
JP2019530923A (ja) 2017-08-16 2019-10-24 ▲図▼▲霊▼通▲諾▼(北京)科技有限公司Yi Tunnel (Beijing) Technology Co.,Ltd. 会計方法、装置及びシステム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9473747B2 (en) * 2013-07-25 2016-10-18 Ncr Corporation Whole store scanner
US10129507B2 (en) * 2014-07-15 2018-11-13 Toshiba Global Commerce Solutions Holdings Corporation System and method for self-checkout using product images
US10634506B2 (en) * 2016-12-12 2020-04-28 Position Imaging, Inc. System and method of personalized navigation inside a business enterprise
US10706699B1 (en) * 2017-05-18 2020-07-07 Alarm.Com Incorporated Projector assisted monitoring system
CN108198331B (zh) * 2018-01-08 2020-04-21 深圳正品创想科技有限公司 一种取货检测方法、装置及无人售货柜
CN110246284A (zh) * 2018-03-07 2019-09-17 上海善解人意信息科技有限公司 无人值守超市购物***及其控制方法
CN108629573A (zh) * 2018-04-08 2018-10-09 深圳奥比中光科技有限公司 一种智能自助购物方法及***
CN108564449A (zh) * 2018-04-24 2018-09-21 葛芮 一种基于投影映射以及机器人的智能超市购物***
CA3109571A1 (en) * 2018-07-16 2020-01-23 Accel Robotics Corporation Autonomous store tracking system
US10373322B1 (en) * 2018-07-16 2019-08-06 Accel Robotics Corporation Autonomous store system that analyzes camera images to track people and their interactions with items
US10535146B1 (en) * 2018-07-16 2020-01-14 Accel Robotics Corporation Projected image item tracking system
US10282720B1 (en) * 2018-07-16 2019-05-07 Accel Robotics Corporation Camera-based authorization extension system
CN109959386A (zh) * 2018-09-29 2019-07-02 大连艾米移动科技有限公司 一种超市购物投影导航***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008310559A (ja) 2007-06-14 2008-12-25 Brother Ind Ltd 領域配置装置、領域配置システム及び領域配置プログラム。
US20170309136A1 (en) 2016-04-25 2017-10-26 Bernd Schoner Registry verification for a mechanized store
JP2019527865A (ja) 2016-05-09 2019-10-03 グラバンゴ コーポレイション 環境内のコンピュータビジョン駆動型アプリケーションのためのシステムおよび方法
JP2019530923A (ja) 2017-08-16 2019-10-24 ▲図▼▲霊▼通▲諾▼(北京)科技有限公司Yi Tunnel (Beijing) Technology Co.,Ltd. 会計方法、装置及びシステム

Also Published As

Publication number Publication date
EP3859642A1 (en) 2021-08-04
CN113222746A (zh) 2021-08-06
US20210241590A1 (en) 2021-08-05
JP2023165764A (ja) 2023-11-17
JP2021124836A (ja) 2021-08-30

Similar Documents

Publication Publication Date Title
JP2023165764A (ja) 取引処理システム
JP2018136673A (ja) 情報処理装置およびプログラム
JP2020060889A (ja) 無人店舗システムおよびサーバ
JP7436591B2 (ja) 販売管理システム及び販売管理プログラム
US11257128B2 (en) Shopping support system and shopping support method
US20220366423A1 (en) Store management system and store management method
JP2020115261A (ja) 商品登録装置及び情報処理プログラム
US20230169460A1 (en) Registration device, method carried out by registration device, and non-transitory computer readable medium
JP7416594B2 (ja) 店舗管理装置、店舗管理システム及び店舗管理方法
EP3839907A1 (en) Shopper management device, information processing program, shopper management method, and shopper management system
EP3839906A1 (en) Transaction processing system
EP3798963A1 (en) In-store customer tracking system and method
US20220222645A1 (en) Sales support device and sales support method thereof
JP2018022209A (ja) 制御装置、決済装置及び制御プログラム
JP7047052B2 (ja) チェックアウトシステム
US20220230127A1 (en) Notification device and notification method
US20210279672A1 (en) Article housing system, server, article housing method, program, and information processing device for delivering article housed in storage body to user
JP2023001624A (ja) 販売管理システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221216

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230104

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230731

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230815

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230912

R150 Certificate of patent or registration of utility model

Ref document number: 7349923

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150