JP2024082106A - 情報処理プログラム、情報処理方法および情報処理装置 - Google Patents
情報処理プログラム、情報処理方法および情報処理装置 Download PDFInfo
- Publication number
- JP2024082106A JP2024082106A JP2022195834A JP2022195834A JP2024082106A JP 2024082106 A JP2024082106 A JP 2024082106A JP 2022195834 A JP2022195834 A JP 2022195834A JP 2022195834 A JP2022195834 A JP 2022195834A JP 2024082106 A JP2024082106 A JP 2024082106A
- Authority
- JP
- Japan
- Prior art keywords
- product
- information processing
- code
- alert
- item
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 95
- 238000003672 processing method Methods 0.000 title claims description 6
- 230000005856 abnormality Effects 0.000 claims abstract description 17
- 238000010801 machine learning Methods 0.000 claims description 46
- 230000006399 behavior Effects 0.000 claims description 44
- 238000000034 method Methods 0.000 claims description 34
- 230000008569 process Effects 0.000 claims description 32
- 239000005022 packaging material Substances 0.000 claims description 8
- 230000002159 abnormal effect Effects 0.000 claims description 2
- 238000004806 packaging method and process Methods 0.000 claims 1
- 238000001514 detection method Methods 0.000 description 38
- 238000010586 diagram Methods 0.000 description 34
- 238000012545 processing Methods 0.000 description 25
- 230000006870 function Effects 0.000 description 16
- 238000012549 training Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 12
- 238000013473 artificial intelligence Methods 0.000 description 5
- 235000013334 alcoholic beverage Nutrition 0.000 description 4
- 235000013405 beer Nutrition 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 206010000117 Abnormal behaviour Diseases 0.000 description 3
- 235000019219 chocolate Nutrition 0.000 description 3
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
- G06K7/1443—Methods for optical code recognition including a method step for retrieval of the optical code locating of the code in an image
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/0036—Checkout procedures
- G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
- G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
- G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
- G06K7/1417—2D bar codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/146—Methods for optical code recognition the method including quality enhancement steps
- G06K7/1473—Methods for optical code recognition the method including quality enhancement steps error correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/08—Payment architectures
- G06Q20/20—Point-of-sale [POS] network systems
- G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
- G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/0036—Checkout procedures
- G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/0036—Checkout procedures
- G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
- G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G3/00—Alarm indicators, e.g. bells
- G07G3/003—Anti-theft control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/10—Recognition assisted with metadata
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Toxicology (AREA)
- General Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Quality & Reliability (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Cash Registers Or Receiving Machines (AREA)
- Image Analysis (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Emergency Management (AREA)
Abstract
【課題】会計機における、ユーザの誤りまたは不正を検出することを課題とする。【解決手段】情報処理装置は、商品のコードを会計機にスキャンする人物の映像データを取得する。情報処理装置は、取得した映像データを分析することで、映像データの中から、商品の全体の領域と、商品が有するコードの位置とをそれぞれ識別する。情報処理装置は、識別された商品の全体の領域に対する商品が有するコードの位置に基づいて、会計機に商品を登録する行動の異常を示すアラートを生成する。【選択図】図2
Description
本発明は、情報処理プログラム、情報処理方法および情報処理装置に関する。
スーパーマーケットやコンビニエンスストア等の店舗において、セルフレジが普及している。セルフレジは、商品を購入するユーザ自身が、商品のバーコードの読み取りから精算までを行うPOS(Point Of Sale)レジシステムである。たとえば、セルフレジを導入することで、人口減少による人手不足の改善、人件費を抑制することができる。
しかしながら、上記技術では、不正を検出することが難しい。例えば、セルフレジなどの会計機では、ユーザによる不可抗力の誤りや故意の不正などがあり、未払い金などが発生する。
不可抗力の誤りとしては、商品のスキャンを忘れてカゴからレジ袋に商品を移動させてしまうスキャン漏れ、などがある。また、故意の不正としては、ユーザがバーコードだけを指で隠しながら商品をスキャンするフリをするバーコード隠しや、例えば6缶で1セットのビール箱にはビール箱と各缶にバーコードがついており誤って缶のバーコードを読み取らせる読み取り誤りなどがある。
なお、各セルフレジに重量センサなどを導入することで、自動で商品数を計数して不正を検出することも考えられるが、コストが過大であり、特に大型店舗や全国展開する店舗にとっては現実的ではない。
また、セルフレジでは、商品コードのスキャンや精算がユーザ自身に委ねられるので、不正行為を検出することが困難である側面がある。たとえば、上記の不正行為を検出する側面から画像認識AI(Artificial Intelligence)を適用しようにも、画像認識AIの訓練には大量の訓練データが必要となる。ところが、スーパーマーケットやコンビニエンスストア等の店舗では、多数の種類の商品が存在する上、個々の商品のライフサイクルも短いので、商品の入れ替えが頻繁に起こる。このような商品のライフサイクルに合わせて画像認識AIをチューニングしたり、あるいは新たな画像認識AIを訓練したりすることは困難である。
一つの側面では、会計機における、ユーザの誤りまたは不正を検出することができる情報処理プログラム、情報処理方法および情報処理装置を提供することを目的とする。
第1の案では、情報処理プログラムは、コンピュータに、商品のコードを会計機にスキャンする人物の映像データを取得し、取得した前記映像データを分析することで、前記映像データの中から、商品の全体の領域と、商品が有するコードの位置とをそれぞれ識別し、識別された前記商品の全体の領域に対する前記商品が有するコードの位置に基づいて、前記会計機に商品を登録する行動の異常を示すアラートを生成する、処理を実行させることを特徴とする。
一実施形態によれば、会計機における、ユーザの誤りまたは不正を検出することができる。
以下に、本願の開示する情報処理プログラム、情報処理方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。
<セルフレジシステムの説明>
図1は、実施例1にかかるセルフレジシステム5の全体構成例を示す図である。図1に示すように、セルフレジシステム5は、カメラ30と、セルフレジ50と、管理者端末60と、情報処理装置100とを有する。
図1は、実施例1にかかるセルフレジシステム5の全体構成例を示す図である。図1に示すように、セルフレジシステム5は、カメラ30と、セルフレジ50と、管理者端末60と、情報処理装置100とを有する。
情報処理装置100は、カメラ30およびセルフレジ50に接続されるコンピュータの一例である。情報処理装置100は、有線や無線を問わず様々な通信網を採用できるネットワーク3を介して、管理者端末60に接続される。カメラ30およびセルフレジ50は、ネットワーク3を介して、情報処理装置100に接続されてもよい。
カメラ30は、セルフレジ50を含む領域の映像を撮影するカメラの一例である。カメラ30は、映像のデータを、情報処理装置100に送信する。以下の説明では、映像のデータを「映像データ」または単に「映像」と表記する場合がある。
映像データには、時系列の複数の画像フレームが含まれる。各画像フレームには、時系列の昇順に、フレーム番号が付与される。1つの画像フレームは、カメラ30があるタイミングで撮影した静止画像の画像データである。
セルフレジ50は、商品を購入するユーザ2が、商品のバーコードの読み取りから精算までを行うPOSレジシステムや会計機の一例である。例えば、ユーザ2が、購入対象の商品を、セルフレジ50のスキャン領域に移動させると、セルフレジ50は、商品のバーコードをスキャンして、購入対象の商品として登録する。
なお、セルフレジ50は、上述したように、お客様自身が購入商品の登録(レジ作業)および支払いを行うセルフレジの一例であり、例えばSelf checkout、automated checkout、self-checkout machineやself-check-out registerなどと呼ばれる。バーコードとは、縞模様状の線の太さによって数値や文字を表す識別子の一種であり、セルフレジ50がスキャンする(読み込む)ことで、商品の金額や種別(例えば食品)などを特定することができる。バーコードは、コードの一例であり、バーコード以外にも、同じ機能を有するQR(Quick Response)コードなどの2次元コードを用いることもできる。
ユーザ2は、上記商品登録の動作を繰り返し実行し、商品のスキャンが完了すると、セルフレジ50のタッチパネル等を操作し、精算要求を行う。セルフレジ50は、精算要求を受け付けると、購入対象の商品の数、購入金額等を提示し、精算処理を実行する。セルフレジ50は、ユーザ2がスキャンを開始してから、精算要求を行うまでの間にスキャンした商品の情報を、記憶部に格納しておき、セルフレジデータ(商品情報)として、情報処理装置100に送信する。なお、ユーザは、買い物カゴや商品カートなどの運搬道具に、店内で選択した購入対象の商品を入れてセルフレジ50まで商品を運ぶ。
管理者端末60は、店舗の管理者が利用する端末装置の一例である。管理者端末60は、情報処理装置100から、商品の購入に関して不正が行われたことを示すアラートの通知等を受け付ける。
このような構成において、情報処理装置100は、商品のバーコードをセルフレジ50にスキャンする人物の映像データを取得する。情報処理装置100は、取得した映像データを分析することで、映像データの中から、商品の全体の領域と、商品が有するバーコードの位置とをそれぞれ識別する。情報処理装置100は、識別された商品の全体の領域に対する商品が有するバーコードの位置に基づいて、セルフレジ50に商品を登録する行動の異常を示すアラートを生成する。
図2は、実施例1にかかる不正検出の例を説明する図である。図2に示すように、情報処理装置100は、映像データから商品Aを特定するとともに、商品A全体の領域および商品Aのバーコードの位置A1を識別する。そして、情報処理装置100は、セルフレジ50に商品Aをスキャンさせて登録するスキャン位置で、商品Aのバーコード位置A1とは異なる別の位置A2を検出した場合に、不正な行動の可能性が高いと判定し、アラートを生成して報知する。
一般的に、商品名や商品の柄などを表すラベルと商品のバーコードとの相対位置は、例えばラベルの真ん中にバーコードはないなど、予め想定して対応付けておくことができる。そこで、情報処理装置100は、映像データからラベルや柄など商品の特徴を表す位置を特定し、特徴を表す位置とスキャンさせようとする商品の位置との位置関係(相対位置)により、正常なスキャン動作か異常なスキャン動作かを判定する。
この結果、情報処理装置100は、複雑な装置を用意することなく、映像データを解析することで、セルフレジにおける不正を検出することができる。
<機能構成>
図3は、実施例1にかかる情報処理装置100の機能構成を示す機能ブロック図である。図3に示すように、情報処理装置100は、通信部101、記憶部102、制御部110を有する。
図3は、実施例1にかかる情報処理装置100の機能構成を示す機能ブロック図である。図3に示すように、情報処理装置100は、通信部101、記憶部102、制御部110を有する。
通信部101は、他の装置との間の通信を制御する処理部であり、例えば通信インタフェースなどにより実現される。例えば、通信部101は、カメラ30から映像データを受信し、制御部110による処理結果を管理者端末60に送信する。
記憶部102は、各種データや制御部110が実行するプログラムなどを記憶する処理部であり、メモリやハードディスクなどにより実現される。記憶部102は、訓練データDB103、機械学習モデル104、映像データDB105を記憶する。
訓練データDB103は、機械学習モデル104の訓練に使用されるデータを記憶するデータベースである。例えば、訓練データDB103に記憶される訓練データは、説明変数として「商品の画像データ」、目的変数として「商品のバーコード位置」とを有する教師有りデータである。
機械学習モデル104は、映像データの入力に応じて、映像データ内の商品が有するバーコードの位置を推定する機械学習モデルである。例えば、機械学習モデル104は、映像データ内の各画像データ(各フレーム)に対して、商品が有するバーコードの位置を推定した推定結果を出力する。
なお、機械学習モデル104には、映像データの入力に応じて映像データ内の商品の全体の領域と商品のバーコード位置とを出力するように訓練された機械学習モデルを用いることもできる。
映像データDB105は、セルフレジ50に設置されるカメラ30により撮像された映像データを記憶するデータベースである。例えば、映像データDB105は、セルフレジ50ごと、または、カメラ30ごとに、映像データを記憶する。
制御部110は、情報処理装置100全体を司る処理部であり、例えばプロセッサなどにより実現される。この制御部110は、機械学習部111、映像取得部112、識別部113、不正検知部114、警告制御部115を有する。なお、機械学習部111、映像取得部112、識別部113、不正検知部114、警告制御部115は、プロセッサが有する電子回路やプロセッサが実行するプロセスなどにより実現される。
(機械学習)
機械学習部111は、訓練データDB103に記憶される各訓練データを用いて、機械学習モデル104の機械学習を実行する処理部である。図4は、機械学習モデル104の機械学習を説明する図である。図4に示すように、機械学習部111は、「画像データ」を説明変数、「バーコード位置」を目的変数とする訓練データを機械学習モデル104に入力し、機械学習モデル104の出力結果「バーコード位置」と目的変数「バーコード位置」との誤差情報を算出する。そして、機械学習部111は、誤差が小さくなるように、誤差逆伝播により機械学習モデル104のパラメータ更新を行う機械学習を実行する。
機械学習部111は、訓練データDB103に記憶される各訓練データを用いて、機械学習モデル104の機械学習を実行する処理部である。図4は、機械学習モデル104の機械学習を説明する図である。図4に示すように、機械学習部111は、「画像データ」を説明変数、「バーコード位置」を目的変数とする訓練データを機械学習モデル104に入力し、機械学習モデル104の出力結果「バーコード位置」と目的変数「バーコード位置」との誤差情報を算出する。そして、機械学習部111は、誤差が小さくなるように、誤差逆伝播により機械学習モデル104のパラメータ更新を行う機械学習を実行する。
(映像取得)
映像取得部112は、カメラ30から映像データを取得する処理部である。例えば、映像取得部112は、セルフレジ50に設置されるカメラ30から映像データを随時取得し、映像データDB105に格納する。
映像取得部112は、カメラ30から映像データを取得する処理部である。例えば、映像取得部112は、セルフレジ50に設置されるカメラ30から映像データを随時取得し、映像データDB105に格納する。
(識別)
識別部113は、映像取得部11により取得された映像データを、機械学習モデルなどを用いて分析することで、映像データの中から、商品の全体の領域と商品が有するコードの位置とをそれぞれ識別する処理部である。
識別部113は、映像取得部11により取得された映像データを、機械学習モデルなどを用いて分析することで、映像データの中から、商品の全体の領域と商品が有するコードの位置とをそれぞれ識別する処理部である。
図5は、識別処理を説明する図である。図5に示すように、識別部113は、機械学習モデル104や画像解析で用いられるパターンマッチングなどを用いて、映像データ内の各画像データについて商品の全体の領域と商品のバーコードの位置とを識別する。そして、識別部113は、識別結果を記憶部102に格納し、不正検知部114に出力する。
ここで、識別部113により得られる識別結果について説明する。図6は、識別結果を説明する図である。図6では、包装された板形状のチョコレートがスキャンされる画像を示している。図6に示すように、識別部113は、板形状のチョコレートの全体を含む領域Bと、板形状のチョコレートのバーコードの位置B1とを識別する。
また、識別部113は、個々にコードを有する複数の商品を1つの商品として設定されるとともに、1つの商品としてのコードを有するセット商品の全体の領域と、セット商品が有するコードの位置とをそれぞれ識別する。例えば、識別部113は、6本セットの缶ビールセットの商品の全体領域と、缶ビールセットに付与されているバーコード位置とを識別する。
(不正検知)
不正検知部114は、識別部113により識別された商品の全体の領域に対する商品が有するバーコードの位置に基づいて、セルフレジ50に商品を登録する行動の異常を検知する処理部である。具体的には、不正検知部114は、商品の商品名や商品の特徴が表す特徴領域(特徴位置)と、映像データから識別された商品のバーコードとの位置関係により、不正な行動を検知する。
不正検知部114は、識別部113により識別された商品の全体の領域に対する商品が有するバーコードの位置に基づいて、セルフレジ50に商品を登録する行動の異常を検知する処理部である。具体的には、不正検知部114は、商品の商品名や商品の特徴が表す特徴領域(特徴位置)と、映像データから識別された商品のバーコードとの位置関係により、不正な行動を検知する。
すなわち、不正検知部114は、セルフレジ50のスキャン位置に位置する商品の所定領域が、商品のバーコードが含まれない領域である場合に、不正な行動と検知する。そして、不正検知部114は、不正な行動を検知した場合に、警告制御部115に通知する。
図7は、位置関係による不正検知の例を説明する図である。図7に示すように、不正検知部114は、商品の特徴領域(特徴位置)と、映像データから識別された商品のバーコードとの位置関係により、不正なスキャン動作を検知する。例えば、図7に示すように、商品がカップラーメンの場合、上面にカップラーメンの名前、特徴的な図形、特徴的な言葉などの記載があるのが一般的であり、商品のバーコードはこのような上面に記載されていない。したがって、不正検知部114は、画像データを分析することで、スキャン位置にカップラーメンの側面や底面が位置する場合は、正常なスキャン動作と判定し、スキャン位置にカップラーメンの上面が位置する場合は、不正なスキャン動作と判定する。
図7で検出される不正は、高額な商品を購入する際に、低額な商品のバーコードを代わりにスキャンさせて低額で購入を図る不正(例えばラベルスイッチ)に該当する。図8は、検出される不正の例を説明する図である。図8に示すように、高額な商品Cの上面がスキャン位置に位置するにも関わらず、正常に商品がスキャンされた場合(購入商品として登録された場合)、ユーザが、高額な商品Cの上面に低額な商品Dを乗せて、商品Cの代わりに商品Dのバーコードをスキャンさせたと考えられる。そこで、不正検知部114は、図7に示した位置関係により不正を検知するので、図8に示す不正な行動を検知できる。
また、不正検知部114は、識別部113により、セット商品とセット商品のバーコード位置とが識別された後、セルフレジ50に商品を登録するスキャン位置に、セット商品内のいずれかの商品のコードが位置する場合に、不正なスキャン動作と検知する。
図9は、セット商品の不正の例を説明する図である。図9に示すように、ユーザは、セット商品Eに付与されたバーコードの位置ではなく、セット商品に含まれる単品の商品に付与されているバーコードをスキャンさせて、単品の低額領域でセット商品Eを購入したことにする不正が考えられる。そこで、不正検知部114は、セット商品に対しても識別部113によりバーコード位置が識別でき、識別されたバーコード位置とは異なる位置でスキャンされた場合に不正を検知できるので、図9に示す不正な行動を検知できる。
例えば、セット商品は、アルコール飲料入りの缶を6本纏めて持ち運べるように、包装材によって、3本ずつ2列に並んだ状態で集合包装する。このとき、アルコール飲料入りの複数の缶の集合を包装する包装材と、包装材に包装されたアルコール飲料入りの缶とのそれぞれにバーコードが付されている。情報処理装置100は、包装材のバーコードではなく、包装材に包装されたアルコール飲料のバーコードが会計機にスキャンされたときに、アラートを通知する。
また、不正検知部114は、商品の全体領域と商品バーコード位置が識別されたにも関わらず、スキャン動作を検出することなく、セルフレジ50に商品が登録された場合に、不正な動作と検知する。
図10は、不正な動作の例を説明する図である。図10に示すように、ユーザは、商品にバーコードがあるにも関わらず、セルフレジ50のタッチパネルで少額の商品を選択して、商品を購入したことにする不正が考えられる。そこで、不正検知部114は、識別された商品のバーコード位置がスキャン位置にないにも関わらず商品が登録された場合に不正を検知できるので、図10に示す不正な行動を検知できる。
(アラート報知)
警告制御部115は、不正検知部114により不正な行動(不正な動作)が検知された場合に、アラートを生成して、アラートの報知制御を実行する処理部である。例えば、警告制御部115は、人物がセルフレジ50に登録していない商品があること、または、人物がセルフレジ50に登録した商品が異常であることを示すアラートを生成して、セルフレジ50や管理者端末60に出力する。
警告制御部115は、不正検知部114により不正な行動(不正な動作)が検知された場合に、アラートを生成して、アラートの報知制御を実行する処理部である。例えば、警告制御部115は、人物がセルフレジ50に登録していない商品があること、または、人物がセルフレジ50に登録した商品が異常であることを示すアラートを生成して、セルフレジ50や管理者端末60に出力する。
また、警告制御部116は、セルフレジ50に商品を登録する行動の異常に関するアラートを生成した場合に、セルフレジ50に位置する人物に商品の登録漏れを促す音声または画面を、セルフレジ50から出力する。
図11は、アラートの報知例を説明する図である。図11に示すように、警告制御部115は、セルフレジ50のタッチパネルなどの表示画面に、「スキャン忘れの商品がありませんか?再度、商品のスキャンをお願いします。」などのメッセージを表示させる。
また、警告制御部115は、セルフレジ50に設置されている警告灯を点灯させたり、管理者端末60に該当セルフレジ50の識別子と不正発生の可能性があるメッセージとを表示させたり、店内にいる店員の端末に該当セルフレジ50の識別子と不正発生と確認の必要性を示すメッセージとを送信させたりする。
また、警告制御部115は、セルフレジ50に商品を登録する行動の異常に関するアラートを生成した場合に、セルフレジ50が有するカメラ30にて人物を撮影させ、撮影された人物の画像データと、アラートを対応づけて記憶部に記憶する。このようにすることで、不正な行動を行う不正な人物の情報を収集することができるので、店舗の入り口で不正な行動を行ったことがある来店者を検知するなど、不正行動を未然に防ぐための各種施策に役立てることができる。また、警告制御部115は、不正な人物の画像データを用いた教師あり学習により、機械学習モデルを生成することで、セルフレジ50を使用する人物の画像データから不正な人物の検出や店舗の入り口での不正な人物の検出などを行うことができる。また、警告制御部115は、不正な行動を行った人物のクレジットカードの情報をセルフレジ50から取得して保持することもできる。
<処理の流れ>
図12は、処理の流れを示すフローチャートである。図12に示すように、情報処理装置100は、映像データを随時取得する(S101)。
図12は、処理の流れを示すフローチャートである。図12に示すように、情報処理装置100は、映像データを随時取得する(S101)。
続いて、情報処理装置100は、不正検知の処理開始が指示されると(S102:Yes)、映像データ内のフレームを取得する(S103)。ここで、情報処理装置100は、映像データが存在しない場合は、処理を終了する。一方、情報処理装置100は、映像データが存在する場合は、機械学習モデル104やパターンマッチングにより、商品の全体とバーコードの位置を識別する(S104)。
ここで、情報処理装置100は、商品の全体におけるバーコードの位置により、異常な行動が検知されない場合(S105:No)、S103以降を繰り返す。一方、情報処理装置100は、異常な行動が検知された場合(S105:Yes)、不正を検知し(S106)、アラート報知を実行し(S107)、処理を終了する。
<効果>
上述したように、情報処理装置100は、商品の全体の領域と、商品が有するバーコードの位置とをそれぞれ識別し、識別された商品の全体の領域に対する商品が有するバーコードの位置に基づいて、セルフレジ50に商品を登録する行動の異常を示すアラートを生成する。したがって、情報処理装置100は、セルフレジ50における不正を検出することができる。
上述したように、情報処理装置100は、商品の全体の領域と、商品が有するバーコードの位置とをそれぞれ識別し、識別された商品の全体の領域に対する商品が有するバーコードの位置に基づいて、セルフレジ50に商品を登録する行動の異常を示すアラートを生成する。したがって、情報処理装置100は、セルフレジ50における不正を検出することができる。
また、情報処理装置100は、個々にコードを有する複数の商品を1つの商品として設定されるとともに1つの商品としてのコードを有するセット商品の全体の領域と、セット商品が有するバーコードの位置とをそれぞれ識別する。そして、情報処理装置100は、セルフレジ50に商品を登録する位置に、セット商品内のいずれかの商品のコードが位置する場合に、アラートを生成する。したがって、情報処理装置100は、セット商品を単品の値段で購入する不正を検知することができる。
また、情報処理装置100は、商品毎にコードの位置が学習された機械学習モデルに対して、映像データを入力することで、映像データ内の商品が有するバーコードの位置を推定する。そして、情報処理装置100は、推定された商品が有するバーコードの位置と、セルフレジ50に商品を登録する位置に位置する商品のコードの位置とが一致しない場合に、アラートを生成する。したがって、情報処理装置100は、高額商品と低額商品を重ねて把持し、低額商品をスキャンさせて高額商品を購入したふりをする不正を検知することができる。
また、情報処理装置100は、人物がセルフレジ50に登録していない商品があること、または、人物がセルフレジ50に登録した商品が異常であることを示すアラートを生成する。したがって、店員等は、情報処理装置100を用いることで、不正な行動を起こした人物が店外に出るまでに事情を聞くなどの対応を行うことができる。
また、情報処理装置100は、セルフレジ50に商品を登録する行動の異常に関するアラートが生成された場合に、セルフレジ50に位置する人物に商品の登録漏れを促す音声または画面を、セルフレジ50から出力する。したがって、情報処理装置100は、不可抗力のミスであっても故意の不正であっても、スキャン中の人物に直接注意を促すことができるので、ミスや故意の不正を削減することができる。
また、情報処理装置100は、セルフレジ50に商品を登録する行動の異常に関するアラートが生成されたときに、セルフレジ50の有するカメラにて、人物を撮影させ、撮影された人物の画像データと、アラートを対応づけて記憶部に記憶する。したがって、情報処理装置100は、不正な行動を行う不正な人物の情報を収集して保持することができるので、来店者を撮像するカメラの撮像データから不正な人物の来店を検出することで、不正行動を未然に防ぐための各種施策に役立てることができる。また、情報処理装置100は、不正な行動を行った人物のクレジットカードの情報をセルフレジ50から取得して保持することもできるので、不正な行動が確定した場合、クレジットカード会社を介して料金を請求することができる。
ところで、情報処理装置100は、映像データを分析して2次元画像や商品の3次元モデルを生成し、商品のバーコード位置の識別制度を向上させることで、異常行動の検出精度を向上させることができる。
<機能構成>
図13は、実施例2にかかる情報処理装置100の機能構成を示す機能ブロック図である。図13に示すように、通信部101、記憶部102、制御部110を有する。ここでは、実施例1と異なる機能であるパターンDB106と生成モデル107と、これらに関連する処理部について説明する。
図13は、実施例2にかかる情報処理装置100の機能構成を示す機能ブロック図である。図13に示すように、通信部101、記憶部102、制御部110を有する。ここでは、実施例1と異なる機能であるパターンDB106と生成モデル107と、これらに関連する処理部について説明する。
パターンDB106は、商品が有するバーコードの位置を示すパターンを記憶するデータベースである。図14は、パターンDB106に記憶される情報の例を示す図である。図14に示すように、パターンDB106は、「商品の面、パターン、バーコードの位置」を対応付けて記憶する。
ここで記憶される「パターン」は、パターンを識別する識別子である。「商品の面」は、商品のラベルが記載されている面を示す情報である。「バーコードの位置」は、商品が有するバーコードの位置を示す情報である。図14の例では、パターン1は、商品のラベルが「上面」と「側面」に位置するときに、「ラベルとは反対の位置」にバーコードがあるパターンである。パターン2は、商品のラベルが「上面」に位置するときに、商品の側面にバーコードがあるパターンである。なお、各パターンは、商品ごとに設定することもでき、商品の種別ごとに設定することもできる。
生成モデル107は、映像データの入力に応じて、映像データに写っている商品の3次元モデルを生成する機械学習モデルである。例えば、生成モデル107は、映像データ内の各画像データ(各フレーム)に対して、商品の3次元モデルを生成して出力する。
機械学習部111は、各訓練データを用いて、生成モデル107の機械学習を実行する処理部である。図15は、生成モデル107の機械学習を説明する図である。図15に示すように、機械学習部111は、「画像データ」を説明変数、「3次元モデル」を目的変数(正解情報)とする訓練データを生成モデル107に入力し、機械学習モデル104の出力結果「3次元モデル」と目的変数「3次元モデル」との誤差情報を算出する。そして、機械学習部111は、誤差が小さくなるように、誤差逆伝播により生成モデル107のパラメータ更新を行う機械学習を実行する。
識別部113は、映像データを分析することで、2次元画像における商品の面のおけるパターンを認識し、パターンに対するコードの位置を特定する。例えば、識別部113は、映像データ内の画像データから商品の2次元画像を取得し、2次元画像に対してパターンマッチング等を実行して、商品のラベルの位置と商品のバーコード位置を識別する。
不正検知部114は、識別部113の識別結果を用いて不正な行動を検知する。具体的には、不正検知部114は、識別部113から「商品のラベルの位置と商品のバーコード位置」を取得し、パターンDB106に記憶されているパターンに該当するか否かにより、不正な行動を検知する。
具体例を挙げると、不正検知部114は、識別部113から「商品のラベル位置=上面」と「商品のバーコード位置=上面」を取得したとする。この場合、不正検知部114は、パターンDB106を参照して、「商品のラベル位置=上面」に対応する「パターン1」を特定し、パターン1に対応する「ラベルとは反対の位置」を特定する。そして、不正検知部114は、商品から識別されたバーコード位置「上面」と、パターン1の「ラベルとは反対の位置」とが異なることから、不正な行動と判定する。
また、不正検知部114は、映像データを機械学習モデルに入力することで、商品の3次元モデルを生成し、3次元モデルでのバーコードの位置が、予め設定された位置と異なるときに不正な行動を検知することもできる。
図16は、不正検知を説明する図である。図16に示すように、不正検知部114は、画像データを生成モデル107に入力して、画像データ内の商品の3Dモデルを生成する。そして、不正検知部114は、実施例1で説明した相対位置や上述したパターンとの比較により、不正検知を実行する。
<効果>
上述したように、情報処理装置100は、映像データを分析することで、2次元画像における商品の面パターンを認識し、パターンに対するコードの位置を特定する。そして、情報処理装置100は、特定されたパターンに対するコードの位置が、パターンごとに予め設定された位置と異なるときには、セルフレジ50に商品を登録する行動の異常を示すアラートを生成する。したがって、情報処理装置100は、過去に発生していない不正や想定されていない新たな不正が発生した場合でも、位置関係などに基づくパターンを根拠に、不正を検知することができる。
上述したように、情報処理装置100は、映像データを分析することで、2次元画像における商品の面パターンを認識し、パターンに対するコードの位置を特定する。そして、情報処理装置100は、特定されたパターンに対するコードの位置が、パターンごとに予め設定された位置と異なるときには、セルフレジ50に商品を登録する行動の異常を示すアラートを生成する。したがって、情報処理装置100は、過去に発生していない不正や想定されていない新たな不正が発生した場合でも、位置関係などに基づくパターンを根拠に、不正を検知することができる。
また、情報処理装置100は、映像データを生成モデル107に入力することで、商品の3次元モデルを生成する。そして、情報処理装置100は、生成された3次元モデルでのコードの位置が、予め設定された位置と異なるときには、セルフレジ50に商品を登録する行動の異常を示すアラートを生成する。したがって、情報処理装置100は、相対位置やパターン比較の精度を向上させることができるので、不正な行動の検出精度も向上させることができる。また、3Dモデルにより視覚的にバーコード位置を特定できるので、店員が、映像データを閲覧しつつ、スキャン位置にバーコード位置があるかを視覚的に判断することができる。
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。
(数値等)
上記実施例で用いたセルフレジやカメラの台数、数値例、訓練データ例、訓練データ数、機械学習モデル、各クラス名、クラス数、データ形式等は、あくまで一例であり、任意に変更することができる。また、各フローチャートで説明した処理の流れも矛盾のない範囲内で適宜変更することができる。また、各モデルは、ニューラルネットワークなどの様々なアルゴリズムにより生成されたモデルを採用することができる。
上記実施例で用いたセルフレジやカメラの台数、数値例、訓練データ例、訓練データ数、機械学習モデル、各クラス名、クラス数、データ形式等は、あくまで一例であり、任意に変更することができる。また、各フローチャートで説明した処理の流れも矛盾のない範囲内で適宜変更することができる。また、各モデルは、ニューラルネットワークなどの様々なアルゴリズムにより生成されたモデルを採用することができる。
また、情報処理装置100は、スキャン位置や買い物かごの位置については、位置を検出する別の機械学習モデル、物体検知技術、位置検出技術など公知の技術を用いることもできる。例えば、情報処理装置100は、フレーム(画像データ)間差分、フレームの時系列の変化に基づき、買い物かごの位置を検出することができるので、それを用いて検出してもよく、それを用いて別のモデルを生成してもよい。また、情報処理装置100は、予め買い物かごの大きさを指定しておくことで、画像データからその大きさの物体が検出された場合に、買い物かごの位置として識別することもできる。なお、スキャン位置は、ある程度固定された位置なので、情報処理装置100は、管理者等が指定した位置をスキャン位置として識別することもできる。
(システム)
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更されてもよい。
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更されてもよい。
また、各装置の構成要素の分散や統合の具体的形態は図示のものに限られない。例えば、識別部113と不正検知部114とが統合されてもよい。つまり、その構成要素の全部または一部は、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合されてもよい。さらに、各装置の各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
(ハードウェア)
図17は、ハードウェア構成例を説明する図である。ここでは、一例として、情報処理装置100について説明する。図17に示すように、情報処理装置100は、通信装置100a、HDD(Hard Disk Drive)100b、メモリ100c、プロセッサ100dを有する。また、図17に示した各部は、バス等で相互に接続される。
図17は、ハードウェア構成例を説明する図である。ここでは、一例として、情報処理装置100について説明する。図17に示すように、情報処理装置100は、通信装置100a、HDD(Hard Disk Drive)100b、メモリ100c、プロセッサ100dを有する。また、図17に示した各部は、バス等で相互に接続される。
通信装置100aは、ネットワークインタフェースカードなどであり、他の装置との通信を行う。HDD100bは、図3に示した機能を動作させるプログラムやDBを記憶する。
プロセッサ100dは、図3に示した各処理部と同様の処理を実行するプログラムをHDD100b等から読み出してメモリ100cに展開することで、図3等で説明した各機能を実行するプロセスを動作させる。例えば、このプロセスは、情報処理装置100が有する各処理部と同様の機能を実行する。具体的には、プロセッサ100dは、機械学習部111、映像取得部112、識別部113、不正検知部114、警告制御部115等と同様の機能を有するプログラムをHDD100b等から読み出す。そして、プロセッサ100dは、機械学習部111、映像取得部112、識別部113、不正検知部114、警告制御部115等と同様の処理を実行するプロセスを実行する。
このように、情報処理装置100は、プログラムを読み出して実行することで情報処理方法を実行する情報処理装置として動作する。また、情報処理装置100は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、情報処理装置100によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、上記実施例が同様に適用されてもよい。
このプログラムは、インターネットなどのネットワークを介して配布されてもよい。また、このプログラムは、ハードディスク、フレキシブルディスク(FD)、CD-ROM、MO(Magneto-Optical disk)、DVD(Digital Versatile Disc)などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行されてもよい。
図18は、セルフレジ50のハードウェア構成例を説明する図である。図18に示すように、セルフレジ50は、通信インタフェース400a、HDD400b、メモリ400c、プロセッサ400d、入力装置400e、出力装置400fを有する。また、図18に示した各部は、バスなどで相互に接続される。
通信インタフェース400aは、ネットワークインタフェースカードなどであり、他の情報処理装置との通信を行う。HDD400bは、セルフレジ50の各機能を動作させるプログラムやデータを記憶する。
プロセッサ400dは、セルフレジ50の各機能の処理を実行するプログラムをHDD400bなどから読み出してメモリ400cに展開することで、セルフレジ50の各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、セルフレジ50が有する各処理部と同様の機能を実行する。
このように、セルフレジ50は、セルフレジ50の各機能の処理を実行するプログラムを読み出して実行することで動作制御処理を実行する情報処理装置として動作する。また、セルフレジ50は、媒体読取装置によって記録媒体からプログラムを読み出し、読み出されたプログラムを実行することでセルフレジ50の各機能を実現することもできる。なお、この他の実施例でいうプログラムは、セルフレジ50によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本実施形態が同様に適用されてよい。
また、セルフレジ50の各機能の処理を実行するプログラムは、インターネットなどのネットワークを介して配布できる。また、このプログラムは、ハードディスク、FD、CD-ROM、MO、DVDなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行できる。
入力装置400eは、プロセッサ400dによって実行されるプログラムに対する入力操作など、ユーザによる各種入力操作を検知する。当該入力操作には、例えば、タッチ操作などが含まれる。タッチ操作の場合、セルフレジ50はさらに表示部を備え、入力装置400eによって検知される入力操作は、当該表示部に対するタッチ操作であってよい。入力装置400eは、例えば、ボタン、タッチパネル、近接センサなどであってよい。また、入力装置400eは、バーコードの読み取りをする。入力装置400eは、例えば、バーコードリーダである。バーコードリーダは、光源と光センサを持ち、バーコードをスキャンする。
出力装置400fは、プロセッサ400dによって実行されるプログラムから出力されるデータをセルフレジ50に接続された外部装置、例えば、外部ディスプレイ装置などを介して出力する。なお、セルフレジ50が表示部を備える場合、セルフレジ50は出力装置400fを備えなくてもよい。
30 カメラ
50 セルフレジ
60 管理者端末
100 情報処理装置
101 通信部
102 記憶部
103 訓練データDB
104 機械学習モデル
105 映像データDB
110 制御部
111 機械学習部
112 映像取得部
113 識別部
114 不正検知部
115 警告制御部
50 セルフレジ
60 管理者端末
100 情報処理装置
101 通信部
102 記憶部
103 訓練データDB
104 機械学習モデル
105 映像データDB
110 制御部
111 機械学習部
112 映像取得部
113 識別部
114 不正検知部
115 警告制御部
Claims (13)
- コンピュータに、
商品のコードを会計機にスキャンする人物の映像データを取得し、
取得した前記映像データを分析することで、前記映像データの中から、商品の全体の領域と、商品が有するコードの位置とをそれぞれ識別し、
識別された前記商品の全体の領域に対する前記商品が有するコードの位置に基づいて、前記会計機に商品を登録する行動の異常を示すアラートを生成する、
処理を実行させることを特徴とする情報処理プログラム。 - 前記識別する処理は、
取得した前記映像データを分析することで、2次元画像における前記商品の面のパターンを認識し、
前記パターンに対するコードの位置を特定し、
前記生成する処理は、
特定された前記パターンに対するコードの位置が、パターンごとに予め設定された位置と異なるときには、前記会計機に商品を登録する行動の異常を示すアラートを生成する、
ことを特徴とする請求項1に記載の情報処理プログラム。 - 前記識別する処理は、
取得した前記映像データを機械学習モデルに入力することで、商品の3次元モデルを生成し、
前記アラートを生成する処理は、
生成された前記3次元モデルでのコードの位置が、予め設定された位置と異なるときには、会計機に商品を登録する行動の異常を示すアラートを生成する、
ことを特徴とする請求項1に記載の情報処理プログラム。 - 前記識別する処理は、
個々にコードを有する複数の商品を1つの商品として設定されるとともに前記1つの商品としてのコードを有するセット商品の全体の領域と、前記セット商品が有するコードの位置とをそれぞれ識別し、
前記生成する処理は、
前記会計機に商品を登録する位置に、前記セット商品内のいずれかの商品のコードが位置する場合に、前記アラートを生成する、
ことを特徴とする請求項1に記載の情報処理プログラム。 - 前記識別する処理は、
商品毎にコードの位置が学習された機械学習モデルに対して、取得した前記映像データを入力することで、前記映像データ内の商品が有するコードの位置を推定し、
前記生成する処理は、
推定された前記商品が有するコードの位置と、前記会計機に商品を登録する位置に位置する商品のコードの位置とが一致しない場合に、前記アラートを生成する、
ことを特徴とする請求項1に記載の情報処理プログラム。 - 前記アラートを生成する処理は、
前記会計機に商品を登録する行動の異常に関連するアラートとして、前記人物が前記会計機に登録していない商品があること、または、前記人物が前記会計機に登録した商品が異常であることを示すアラートを生成する、
ことを特徴とする請求項1に記載の情報処理プログラム。 - 前記会計機に商品を登録する行動の異常に関するアラートが生成されたときに、店員の有する端末に対して、前記会計機の識別情報と生成された前記アラートとを対応づけて通知する、処理を前記コンピュータに実行させることを特徴とする請求項1に記載の情報処理プログラム。
- 前記アラートを生成する処理は
前記会計機に商品を登録する行動の異常に関するアラートが生成された場合に、前記会計機に位置する前記人物に前記商品の登録漏れを促す音声または画面を、前記会計機から出力する、
ことを特徴とする請求項1に記載の情報処理プログラム。 - 前記会計機に商品を登録する行動の異常に関するアラートが生成されたときに、前記会計機の有するカメラにて、人物を撮影させ、
撮影された前記人物の画像データと、前記アラートを対応づけて記憶部に記憶する、処理を前記コンピュータに実行させることを特徴とする請求項1に記載の情報処理プログラム。 - 前記セット商品は、複数の缶の集合を包装する包装材と、前記包装材に包装された缶とのそれぞれにバーコードが付されており、
前記生成する処理は、
前記包装材のバーコードではなく、前記缶のバーコードが前記会計機にスキャンされたときに、前記アラートを通知する、処理を前記コンピュータに実行させることを特徴とする請求項4に記載の情報処理プログラム。 - 前記会計機は、セルフレジ端末であることを特徴とする請求項1に記載の情報処理プログラム。
- コンピュータが、
商品のコードを会計機にスキャンする人物の映像データを取得し、
取得した前記映像データを分析することで、前記映像データの中から、商品の全体の領域と、商品が有するコードの位置とをそれぞれ識別し、
識別された前記商品の全体の領域に対する前記商品が有するコードの位置に基づいて、前記会計機に商品を登録する行動の異常を示すアラートを生成する、
処理を実行することを特徴とする情報処理方法。 - 商品のコードを会計機にスキャンする人物の映像データを取得し、
取得した前記映像データを分析することで、前記映像データの中から、商品の全体の領域と、商品が有するコードの位置とをそれぞれ識別し、
識別された前記商品の全体の領域に対する前記商品が有するコードの位置に基づいて、前記会計機に商品を登録する行動の異常を示すアラートを生成する、
制御部を有することを特徴とする情報処理装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022195834A JP2024082106A (ja) | 2022-12-07 | 2022-12-07 | 情報処理プログラム、情報処理方法および情報処理装置 |
US18/452,211 US20240193389A1 (en) | 2022-12-07 | 2023-08-18 | Non-transitory computer-readable recording medium, information processing method, and information processing apparatus |
EP23193867.1A EP4383170A1 (en) | 2022-12-07 | 2023-08-29 | Information processing program, information processing method, and information processing apparatus |
KR1020230116048A KR20240085840A (ko) | 2022-12-07 | 2023-09-01 | 정보 처리 프로그램, 정보 처리 방법 및 정보 처리 장치 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022195834A JP2024082106A (ja) | 2022-12-07 | 2022-12-07 | 情報処理プログラム、情報処理方法および情報処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024082106A true JP2024082106A (ja) | 2024-06-19 |
Family
ID=87863672
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022195834A Pending JP2024082106A (ja) | 2022-12-07 | 2022-12-07 | 情報処理プログラム、情報処理方法および情報処理装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20240193389A1 (ja) |
EP (1) | EP4383170A1 (ja) |
JP (1) | JP2024082106A (ja) |
KR (1) | KR20240085840A (ja) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7248754B2 (en) * | 2003-05-05 | 2007-07-24 | International Business Machines Corporation | Apparatus and method for determining whether machine readable information on an item matches the item |
US7422147B2 (en) * | 2006-12-22 | 2008-09-09 | Walter Steven Rosenbaum | System and method for detecting fraudulent transactions of items having item-identifying indicia |
US8678286B2 (en) * | 2011-01-31 | 2014-03-25 | Honeywell Scanning & Mobility | Method and apparatus for reading optical indicia using a plurality of data sources |
DK2538394T3 (da) * | 2011-06-24 | 2022-02-14 | Tomra Systems Asa | Fremgangsmåde og apparat til at opdage svindelforsøg i returautomater |
US8528820B2 (en) * | 2011-06-29 | 2013-09-10 | Symbol Technologies, Inc. | Object identification using barcode reader |
US10535146B1 (en) | 2018-07-16 | 2020-01-14 | Accel Robotics Corporation | Projected image item tracking system |
US11308303B2 (en) * | 2020-05-29 | 2022-04-19 | Zebra Technologies Corporation | Using barcodes to determine item dimensions |
-
2022
- 2022-12-07 JP JP2022195834A patent/JP2024082106A/ja active Pending
-
2023
- 2023-08-18 US US18/452,211 patent/US20240193389A1/en active Pending
- 2023-08-29 EP EP23193867.1A patent/EP4383170A1/en active Pending
- 2023-09-01 KR KR1020230116048A patent/KR20240085840A/ko unknown
Also Published As
Publication number | Publication date |
---|---|
EP4383170A1 (en) | 2024-06-12 |
US20240193389A1 (en) | 2024-06-13 |
KR20240085840A (ko) | 2024-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2018147252A (ja) | チェック装置、及びチェックプログラム | |
WO2019152266A1 (en) | Systems and methods for verifyingmachine-readable label associated with merchandise | |
KR20190096975A (ko) | 자동 상점 내 등록 시스템 | |
JP6653813B1 (ja) | 情報処理システム | |
JP5865316B2 (ja) | 商品登録装置およびプログラム | |
JP2013050927A (ja) | 健康度報知装置、プログラム及び健康度報知方法 | |
US20240193995A1 (en) | Non-transitory computer-readable recording medium, information processing method, and information processing apparatus | |
JP2020061164A (ja) | 情報処理システム | |
JP7318753B2 (ja) | 情報処理プログラム、情報処理方法、および情報処理装置 | |
JP2024082106A (ja) | 情報処理プログラム、情報処理方法および情報処理装置 | |
JP6735888B2 (ja) | 商品データ処理システム、商品データ処理方法 | |
JP2024082190A (ja) | 情報処理プログラム、情報処理方法および情報処理装置 | |
JP2024082167A (ja) | 情報処理プログラム、情報処理方法および情報処理装置 | |
EP4390872A1 (en) | Information processing program, information processing method, and information processing device | |
WO2022209055A1 (ja) | 検知システム、検知方法、及び、記憶媒体 | |
US20240193573A1 (en) | Storage medium and information processing device | |
US20230093938A1 (en) | Non-transitory computer-readable recording medium, information processing method, and information processing apparatus | |
JP7318683B2 (ja) | 情報処理プログラム、情報処理方法、および情報処理装置 | |
EP4125020A1 (en) | Information processing program, information processing method, and information processing apparatus | |
WO2022201679A1 (ja) | 検知システム、検知方法、及び、記憶媒体 | |
US20230005267A1 (en) | Computer-readable recording medium, fraud detection method, and fraud detection apparatus | |
JP2024085336A (ja) | 情報処理プログラム、情報処理方法、および情報処理装置 | |
JP2016051241A (ja) | 売上データ処理装置 | |
JP2024096164A (ja) | 商品データ処理システム、及び商品データ処理方法 | |
JP2020187776A (ja) | 情報処理装置、プログラム、及び情報処理方法 |