JP2024082106A - 情報処理プログラム、情報処理方法および情報処理装置 - Google Patents

情報処理プログラム、情報処理方法および情報処理装置 Download PDF

Info

Publication number
JP2024082106A
JP2024082106A JP2022195834A JP2022195834A JP2024082106A JP 2024082106 A JP2024082106 A JP 2024082106A JP 2022195834 A JP2022195834 A JP 2022195834A JP 2022195834 A JP2022195834 A JP 2022195834A JP 2024082106 A JP2024082106 A JP 2024082106A
Authority
JP
Japan
Prior art keywords
product
information processing
code
alert
item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022195834A
Other languages
English (en)
Inventor
諒 石田
大輔 内田
康洋 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2022195834A priority Critical patent/JP2024082106A/ja
Priority to US18/452,211 priority patent/US20240193389A1/en
Priority to EP23193867.1A priority patent/EP4383170A1/en
Priority to KR1020230116048A priority patent/KR20240085840A/ko
Publication of JP2024082106A publication Critical patent/JP2024082106A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1443—Methods for optical code recognition including a method step for retrieval of the optical code locating of the code in an image
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/146—Methods for optical code recognition the method including quality enhancement steps
    • G06K7/1473—Methods for optical code recognition the method including quality enhancement steps error correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G3/00—Alarm indicators, e.g. bells
    • G07G3/003—Anti-theft control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Quality & Reliability (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Image Analysis (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Emergency Management (AREA)

Abstract

【課題】会計機における、ユーザの誤りまたは不正を検出することを課題とする。【解決手段】情報処理装置は、商品のコードを会計機にスキャンする人物の映像データを取得する。情報処理装置は、取得した映像データを分析することで、映像データの中から、商品の全体の領域と、商品が有するコードの位置とをそれぞれ識別する。情報処理装置は、識別された商品の全体の領域に対する商品が有するコードの位置に基づいて、会計機に商品を登録する行動の異常を示すアラートを生成する。【選択図】図２

Description

本発明は、情報処理プログラム、情報処理方法および情報処理装置に関する。
スーパーマーケットやコンビニエンスストア等の店舗において、セルフレジが普及している。セルフレジは、商品を購入するユーザ自身が、商品のバーコードの読み取りから精算までを行うＰＯＳ（Point Of Sale）レジシステムである。たとえば、セルフレジを導入することで、人口減少による人手不足の改善、人件費を抑制することができる。
特開２０２０－５３０１９号公報
しかしながら、上記技術では、不正を検出することが難しい。例えば、セルフレジなどの会計機では、ユーザによる不可抗力の誤りや故意の不正などがあり、未払い金などが発生する。
不可抗力の誤りとしては、商品のスキャンを忘れてカゴからレジ袋に商品を移動させてしまうスキャン漏れ、などがある。また、故意の不正としては、ユーザがバーコードだけを指で隠しながら商品をスキャンするフリをするバーコード隠しや、例えば６缶で１セットのビール箱にはビール箱と各缶にバーコードがついており誤って缶のバーコードを読み取らせる読み取り誤りなどがある。
なお、各セルフレジに重量センサなどを導入することで、自動で商品数を計数して不正を検出することも考えられるが、コストが過大であり、特に大型店舗や全国展開する店舗にとっては現実的ではない。
また、セルフレジでは、商品コードのスキャンや精算がユーザ自身に委ねられるので、不正行為を検出することが困難である側面がある。たとえば、上記の不正行為を検出する側面から画像認識ＡＩ（Artificial Intelligence）を適用しようにも、画像認識ＡＩの訓練には大量の訓練データが必要となる。ところが、スーパーマーケットやコンビニエンスストア等の店舗では、多数の種類の商品が存在する上、個々の商品のライフサイクルも短いので、商品の入れ替えが頻繁に起こる。このような商品のライフサイクルに合わせて画像認識ＡＩをチューニングしたり、あるいは新たな画像認識ＡＩを訓練したりすることは困難である。
一つの側面では、会計機における、ユーザの誤りまたは不正を検出することができる情報処理プログラム、情報処理方法および情報処理装置を提供することを目的とする。
第１の案では、情報処理プログラムは、コンピュータに、商品のコードを会計機にスキャンする人物の映像データを取得し、取得した前記映像データを分析することで、前記映像データの中から、商品の全体の領域と、商品が有するコードの位置とをそれぞれ識別し、識別された前記商品の全体の領域に対する前記商品が有するコードの位置に基づいて、前記会計機に商品を登録する行動の異常を示すアラートを生成する、処理を実行させることを特徴とする。
一実施形態によれば、会計機における、ユーザの誤りまたは不正を検出することができる。
図１は、実施例１にかかるセルフレジシステムの全体構成例を示す図である。 図２は、実施例１にかかる不正検出の例を説明する図である。 図３は、実施例１にかかる情報処理装置の機能構成を示す機能ブロック図である。 図４は、機械学習モデルの機械学習を説明する図である。 図５は、識別処理を説明する図である。 図６は、識別結果を説明する図である。 図７は、位置関係による不正検知の例を説明する図である。 図８は、検出される不正の例を説明する図である。 図９は、セット商品の不正の例を説明する図である。 図１０は、不正な動作の例を説明する図である。 図１１は、アラートの報知例を説明する図である。 図１２は、処理の流れを示すフローチャートである。 図１３は、実施例２にかかる情報処理装置の機能構成を示す機能ブロック図である。 図１４は、パターンＤＢに記憶される情報の例を示す図である。 図１５は、生成モデルの機械学習を説明する図である。 図１６は、不正検知を説明する図である。 図１７は、ハードウェア構成例を説明する図である。 図１８は、セルフレジのハードウェア構成例を説明する図である。
以下に、本願の開示する情報処理プログラム、情報処理方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。
＜セルフレジシステムの説明＞
図１は、実施例１にかかるセルフレジシステム５の全体構成例を示す図である。図１に示すように、セルフレジシステム５は、カメラ３０と、セルフレジ５０と、管理者端末６０と、情報処理装置１００とを有する。
情報処理装置１００は、カメラ３０およびセルフレジ５０に接続されるコンピュータの一例である。情報処理装置１００は、有線や無線を問わず様々な通信網を採用できるネットワーク３を介して、管理者端末６０に接続される。カメラ３０およびセルフレジ５０は、ネットワーク３を介して、情報処理装置１００に接続されてもよい。
カメラ３０は、セルフレジ５０を含む領域の映像を撮影するカメラの一例である。カメラ３０は、映像のデータを、情報処理装置１００に送信する。以下の説明では、映像のデータを「映像データ」または単に「映像」と表記する場合がある。
映像データには、時系列の複数の画像フレームが含まれる。各画像フレームには、時系列の昇順に、フレーム番号が付与される。１つの画像フレームは、カメラ３０があるタイミングで撮影した静止画像の画像データである。
セルフレジ５０は、商品を購入するユーザ２が、商品のバーコードの読み取りから精算までを行うＰＯＳレジシステムや会計機の一例である。例えば、ユーザ２が、購入対象の商品を、セルフレジ５０のスキャン領域に移動させると、セルフレジ５０は、商品のバーコードをスキャンして、購入対象の商品として登録する。
なお、セルフレジ５０は、上述したように、お客様自身が購入商品の登録（レジ作業）および支払いを行うセルフレジの一例であり、例えばSelf checkout、automated checkout、self－checkout machineやself－check－out registerなどと呼ばれる。バーコードとは、縞模様状の線の太さによって数値や文字を表す識別子の一種であり、セルフレジ５０がスキャンする（読み込む）ことで、商品の金額や種別（例えば食品）などを特定することができる。バーコードは、コードの一例であり、バーコード以外にも、同じ機能を有するＱＲ（Quick Response）コードなどの２次元コードを用いることもできる。
ユーザ２は、上記商品登録の動作を繰り返し実行し、商品のスキャンが完了すると、セルフレジ５０のタッチパネル等を操作し、精算要求を行う。セルフレジ５０は、精算要求を受け付けると、購入対象の商品の数、購入金額等を提示し、精算処理を実行する。セルフレジ５０は、ユーザ２がスキャンを開始してから、精算要求を行うまでの間にスキャンした商品の情報を、記憶部に格納しておき、セルフレジデータ（商品情報）として、情報処理装置１００に送信する。なお、ユーザは、買い物カゴや商品カートなどの運搬道具に、店内で選択した購入対象の商品を入れてセルフレジ５０まで商品を運ぶ。
管理者端末６０は、店舗の管理者が利用する端末装置の一例である。管理者端末６０は、情報処理装置１００から、商品の購入に関して不正が行われたことを示すアラートの通知等を受け付ける。
このような構成において、情報処理装置１００は、商品のバーコードをセルフレジ５０にスキャンする人物の映像データを取得する。情報処理装置１００は、取得した映像データを分析することで、映像データの中から、商品の全体の領域と、商品が有するバーコードの位置とをそれぞれ識別する。情報処理装置１００は、識別された商品の全体の領域に対する商品が有するバーコードの位置に基づいて、セルフレジ５０に商品を登録する行動の異常を示すアラートを生成する。
図２は、実施例１にかかる不正検出の例を説明する図である。図２に示すように、情報処理装置１００は、映像データから商品Ａを特定するとともに、商品Ａ全体の領域および商品Ａのバーコードの位置Ａ１を識別する。そして、情報処理装置１００は、セルフレジ５０に商品Ａをスキャンさせて登録するスキャン位置で、商品Ａのバーコード位置Ａ１とは異なる別の位置Ａ２を検出した場合に、不正な行動の可能性が高いと判定し、アラートを生成して報知する。
一般的に、商品名や商品の柄などを表すラベルと商品のバーコードとの相対位置は、例えばラベルの真ん中にバーコードはないなど、予め想定して対応付けておくことができる。そこで、情報処理装置１００は、映像データからラベルや柄など商品の特徴を表す位置を特定し、特徴を表す位置とスキャンさせようとする商品の位置との位置関係（相対位置）により、正常なスキャン動作か異常なスキャン動作かを判定する。
この結果、情報処理装置１００は、複雑な装置を用意することなく、映像データを解析することで、セルフレジにおける不正を検出することができる。
＜機能構成＞
図３は、実施例１にかかる情報処理装置１００の機能構成を示す機能ブロック図である。図３に示すように、情報処理装置１００は、通信部１０１、記憶部１０２、制御部１１０を有する。
通信部１０１は、他の装置との間の通信を制御する処理部であり、例えば通信インタフェースなどにより実現される。例えば、通信部１０１は、カメラ３０から映像データを受信し、制御部１１０による処理結果を管理者端末６０に送信する。
記憶部１０２は、各種データや制御部１１０が実行するプログラムなどを記憶する処理部であり、メモリやハードディスクなどにより実現される。記憶部１０２は、訓練データＤＢ１０３、機械学習モデル１０４、映像データＤＢ１０５を記憶する。
訓練データＤＢ１０３は、機械学習モデル１０４の訓練に使用されるデータを記憶するデータベースである。例えば、訓練データＤＢ１０３に記憶される訓練データは、説明変数として「商品の画像データ」、目的変数として「商品のバーコード位置」とを有する教師有りデータである。
機械学習モデル１０４は、映像データの入力に応じて、映像データ内の商品が有するバーコードの位置を推定する機械学習モデルである。例えば、機械学習モデル１０４は、映像データ内の各画像データ（各フレーム）に対して、商品が有するバーコードの位置を推定した推定結果を出力する。
なお、機械学習モデル１０４には、映像データの入力に応じて映像データ内の商品の全体の領域と商品のバーコード位置とを出力するように訓練された機械学習モデルを用いることもできる。
映像データＤＢ１０５は、セルフレジ５０に設置されるカメラ３０により撮像された映像データを記憶するデータベースである。例えば、映像データＤＢ１０５は、セルフレジ５０ごと、または、カメラ３０ごとに、映像データを記憶する。
制御部１１０は、情報処理装置１００全体を司る処理部であり、例えばプロセッサなどにより実現される。この制御部１１０は、機械学習部１１１、映像取得部１１２、識別部１１３、不正検知部１１４、警告制御部１１５を有する。なお、機械学習部１１１、映像取得部１１２、識別部１１３、不正検知部１１４、警告制御部１１５は、プロセッサが有する電子回路やプロセッサが実行するプロセスなどにより実現される。
（機械学習）
機械学習部１１１は、訓練データＤＢ１０３に記憶される各訓練データを用いて、機械学習モデル１０４の機械学習を実行する処理部である。図４は、機械学習モデル１０４の機械学習を説明する図である。図４に示すように、機械学習部１１１は、「画像データ」を説明変数、「バーコード位置」を目的変数とする訓練データを機械学習モデル１０４に入力し、機械学習モデル１０４の出力結果「バーコード位置」と目的変数「バーコード位置」との誤差情報を算出する。そして、機械学習部１１１は、誤差が小さくなるように、誤差逆伝播により機械学習モデル１０４のパラメータ更新を行う機械学習を実行する。
（映像取得）
映像取得部１１２は、カメラ３０から映像データを取得する処理部である。例えば、映像取得部１１２は、セルフレジ５０に設置されるカメラ３０から映像データを随時取得し、映像データＤＢ１０５に格納する。
（識別）
識別部１１３は、映像取得部１１により取得された映像データを、機械学習モデルなどを用いて分析することで、映像データの中から、商品の全体の領域と商品が有するコードの位置とをそれぞれ識別する処理部である。
図５は、識別処理を説明する図である。図５に示すように、識別部１１３は、機械学習モデル１０４や画像解析で用いられるパターンマッチングなどを用いて、映像データ内の各画像データについて商品の全体の領域と商品のバーコードの位置とを識別する。そして、識別部１１３は、識別結果を記憶部１０２に格納し、不正検知部１１４に出力する。
ここで、識別部１１３により得られる識別結果について説明する。図６は、識別結果を説明する図である。図６では、包装された板形状のチョコレートがスキャンされる画像を示している。図６に示すように、識別部１１３は、板形状のチョコレートの全体を含む領域Ｂと、板形状のチョコレートのバーコードの位置Ｂ１とを識別する。
また、識別部１１３は、個々にコードを有する複数の商品を１つの商品として設定されるとともに、１つの商品としてのコードを有するセット商品の全体の領域と、セット商品が有するコードの位置とをそれぞれ識別する。例えば、識別部１１３は、６本セットの缶ビールセットの商品の全体領域と、缶ビールセットに付与されているバーコード位置とを識別する。
（不正検知）
不正検知部１１４は、識別部１１３により識別された商品の全体の領域に対する商品が有するバーコードの位置に基づいて、セルフレジ５０に商品を登録する行動の異常を検知する処理部である。具体的には、不正検知部１１４は、商品の商品名や商品の特徴が表す特徴領域（特徴位置）と、映像データから識別された商品のバーコードとの位置関係により、不正な行動を検知する。
すなわち、不正検知部１１４は、セルフレジ５０のスキャン位置に位置する商品の所定領域が、商品のバーコードが含まれない領域である場合に、不正な行動と検知する。そして、不正検知部１１４は、不正な行動を検知した場合に、警告制御部１１５に通知する。
図７は、位置関係による不正検知の例を説明する図である。図７に示すように、不正検知部１１４は、商品の特徴領域（特徴位置）と、映像データから識別された商品のバーコードとの位置関係により、不正なスキャン動作を検知する。例えば、図７に示すように、商品がカップラーメンの場合、上面にカップラーメンの名前、特徴的な図形、特徴的な言葉などの記載があるのが一般的であり、商品のバーコードはこのような上面に記載されていない。したがって、不正検知部１１４は、画像データを分析することで、スキャン位置にカップラーメンの側面や底面が位置する場合は、正常なスキャン動作と判定し、スキャン位置にカップラーメンの上面が位置する場合は、不正なスキャン動作と判定する。
図７で検出される不正は、高額な商品を購入する際に、低額な商品のバーコードを代わりにスキャンさせて低額で購入を図る不正（例えばラベルスイッチ）に該当する。図８は、検出される不正の例を説明する図である。図８に示すように、高額な商品Ｃの上面がスキャン位置に位置するにも関わらず、正常に商品がスキャンされた場合（購入商品として登録された場合）、ユーザが、高額な商品Ｃの上面に低額な商品Ｄを乗せて、商品Ｃの代わりに商品Ｄのバーコードをスキャンさせたと考えられる。そこで、不正検知部１１４は、図７に示した位置関係により不正を検知するので、図８に示す不正な行動を検知できる。
また、不正検知部１１４は、識別部１１３により、セット商品とセット商品のバーコード位置とが識別された後、セルフレジ５０に商品を登録するスキャン位置に、セット商品内のいずれかの商品のコードが位置する場合に、不正なスキャン動作と検知する。
図９は、セット商品の不正の例を説明する図である。図９に示すように、ユーザは、セット商品Ｅに付与されたバーコードの位置ではなく、セット商品に含まれる単品の商品に付与されているバーコードをスキャンさせて、単品の低額領域でセット商品Ｅを購入したことにする不正が考えられる。そこで、不正検知部１１４は、セット商品に対しても識別部１１３によりバーコード位置が識別でき、識別されたバーコード位置とは異なる位置でスキャンされた場合に不正を検知できるので、図９に示す不正な行動を検知できる。
例えば、セット商品は、アルコール飲料入りの缶を６本纏めて持ち運べるように、包装材によって、３本ずつ２列に並んだ状態で集合包装する。このとき、アルコール飲料入りの複数の缶の集合を包装する包装材と、包装材に包装されたアルコール飲料入りの缶とのそれぞれにバーコードが付されている。情報処理装置１００は、包装材のバーコードではなく、包装材に包装されたアルコール飲料のバーコードが会計機にスキャンされたときに、アラートを通知する。
また、不正検知部１１４は、商品の全体領域と商品バーコード位置が識別されたにも関わらず、スキャン動作を検出することなく、セルフレジ５０に商品が登録された場合に、不正な動作と検知する。
図１０は、不正な動作の例を説明する図である。図１０に示すように、ユーザは、商品にバーコードがあるにも関わらず、セルフレジ５０のタッチパネルで少額の商品を選択して、商品を購入したことにする不正が考えられる。そこで、不正検知部１１４は、識別された商品のバーコード位置がスキャン位置にないにも関わらず商品が登録された場合に不正を検知できるので、図１０に示す不正な行動を検知できる。
（アラート報知）
警告制御部１１５は、不正検知部１１４により不正な行動（不正な動作）が検知された場合に、アラートを生成して、アラートの報知制御を実行する処理部である。例えば、警告制御部１１５は、人物がセルフレジ５０に登録していない商品があること、または、人物がセルフレジ５０に登録した商品が異常であることを示すアラートを生成して、セルフレジ５０や管理者端末６０に出力する。
また、警告制御部１１６は、セルフレジ５０に商品を登録する行動の異常に関するアラートを生成した場合に、セルフレジ５０に位置する人物に商品の登録漏れを促す音声または画面を、セルフレジ５０から出力する。
図１１は、アラートの報知例を説明する図である。図１１に示すように、警告制御部１１５は、セルフレジ５０のタッチパネルなどの表示画面に、「スキャン忘れの商品がありませんか？再度、商品のスキャンをお願いします。」などのメッセージを表示させる。
また、警告制御部１１５は、セルフレジ５０に設置されている警告灯を点灯させたり、管理者端末６０に該当セルフレジ５０の識別子と不正発生の可能性があるメッセージとを表示させたり、店内にいる店員の端末に該当セルフレジ５０の識別子と不正発生と確認の必要性を示すメッセージとを送信させたりする。
また、警告制御部１１５は、セルフレジ５０に商品を登録する行動の異常に関するアラートを生成した場合に、セルフレジ５０が有するカメラ３０にて人物を撮影させ、撮影された人物の画像データと、アラートを対応づけて記憶部に記憶する。このようにすることで、不正な行動を行う不正な人物の情報を収集することができるので、店舗の入り口で不正な行動を行ったことがある来店者を検知するなど、不正行動を未然に防ぐための各種施策に役立てることができる。また、警告制御部１１５は、不正な人物の画像データを用いた教師あり学習により、機械学習モデルを生成することで、セルフレジ５０を使用する人物の画像データから不正な人物の検出や店舗の入り口での不正な人物の検出などを行うことができる。また、警告制御部１１５は、不正な行動を行った人物のクレジットカードの情報をセルフレジ５０から取得して保持することもできる。
＜処理の流れ＞
図１２は、処理の流れを示すフローチャートである。図１２に示すように、情報処理装置１００は、映像データを随時取得する（Ｓ１０１）。
続いて、情報処理装置１００は、不正検知の処理開始が指示されると（Ｓ１０２：Ｙｅｓ）、映像データ内のフレームを取得する（Ｓ１０３）。ここで、情報処理装置１００は、映像データが存在しない場合は、処理を終了する。一方、情報処理装置１００は、映像データが存在する場合は、機械学習モデル１０４やパターンマッチングにより、商品の全体とバーコードの位置を識別する（Ｓ１０４）。
ここで、情報処理装置１００は、商品の全体におけるバーコードの位置により、異常な行動が検知されない場合（Ｓ１０５：Ｎｏ）、Ｓ１０３以降を繰り返す。一方、情報処理装置１００は、異常な行動が検知された場合（Ｓ１０５：Ｙｅｓ）、不正を検知し（Ｓ１０６）、アラート報知を実行し（Ｓ１０７）、処理を終了する。
＜効果＞
上述したように、情報処理装置１００は、商品の全体の領域と、商品が有するバーコードの位置とをそれぞれ識別し、識別された商品の全体の領域に対する商品が有するバーコードの位置に基づいて、セルフレジ５０に商品を登録する行動の異常を示すアラートを生成する。したがって、情報処理装置１００は、セルフレジ５０における不正を検出することができる。
また、情報処理装置１００は、個々にコードを有する複数の商品を１つの商品として設定されるとともに１つの商品としてのコードを有するセット商品の全体の領域と、セット商品が有するバーコードの位置とをそれぞれ識別する。そして、情報処理装置１００は、セルフレジ５０に商品を登録する位置に、セット商品内のいずれかの商品のコードが位置する場合に、アラートを生成する。したがって、情報処理装置１００は、セット商品を単品の値段で購入する不正を検知することができる。
また、情報処理装置１００は、商品毎にコードの位置が学習された機械学習モデルに対して、映像データを入力することで、映像データ内の商品が有するバーコードの位置を推定する。そして、情報処理装置１００は、推定された商品が有するバーコードの位置と、セルフレジ５０に商品を登録する位置に位置する商品のコードの位置とが一致しない場合に、アラートを生成する。したがって、情報処理装置１００は、高額商品と低額商品を重ねて把持し、低額商品をスキャンさせて高額商品を購入したふりをする不正を検知することができる。
また、情報処理装置１００は、人物がセルフレジ５０に登録していない商品があること、または、人物がセルフレジ５０に登録した商品が異常であることを示すアラートを生成する。したがって、店員等は、情報処理装置１００を用いることで、不正な行動を起こした人物が店外に出るまでに事情を聞くなどの対応を行うことができる。
また、情報処理装置１００は、セルフレジ５０に商品を登録する行動の異常に関するアラートが生成された場合に、セルフレジ５０に位置する人物に商品の登録漏れを促す音声または画面を、セルフレジ５０から出力する。したがって、情報処理装置１００は、不可抗力のミスであっても故意の不正であっても、スキャン中の人物に直接注意を促すことができるので、ミスや故意の不正を削減することができる。
また、情報処理装置１００は、セルフレジ５０に商品を登録する行動の異常に関するアラートが生成されたときに、セルフレジ５０の有するカメラにて、人物を撮影させ、撮影された人物の画像データと、アラートを対応づけて記憶部に記憶する。したがって、情報処理装置１００は、不正な行動を行う不正な人物の情報を収集して保持することができるので、来店者を撮像するカメラの撮像データから不正な人物の来店を検出することで、不正行動を未然に防ぐための各種施策に役立てることができる。また、情報処理装置１００は、不正な行動を行った人物のクレジットカードの情報をセルフレジ５０から取得して保持することもできるので、不正な行動が確定した場合、クレジットカード会社を介して料金を請求することができる。
ところで、情報処理装置１００は、映像データを分析して２次元画像や商品の３次元モデルを生成し、商品のバーコード位置の識別制度を向上させることで、異常行動の検出精度を向上させることができる。
＜機能構成＞
図１３は、実施例２にかかる情報処理装置１００の機能構成を示す機能ブロック図である。図１３に示すように、通信部１０１、記憶部１０２、制御部１１０を有する。ここでは、実施例１と異なる機能であるパターンＤＢ１０６と生成モデル１０７と、これらに関連する処理部について説明する。
パターンＤＢ１０６は、商品が有するバーコードの位置を示すパターンを記憶するデータベースである。図１４は、パターンＤＢ１０６に記憶される情報の例を示す図である。図１４に示すように、パターンＤＢ１０６は、「商品の面、パターン、バーコードの位置」を対応付けて記憶する。
ここで記憶される「パターン」は、パターンを識別する識別子である。「商品の面」は、商品のラベルが記載されている面を示す情報である。「バーコードの位置」は、商品が有するバーコードの位置を示す情報である。図１４の例では、パターン１は、商品のラベルが「上面」と「側面」に位置するときに、「ラベルとは反対の位置」にバーコードがあるパターンである。パターン２は、商品のラベルが「上面」に位置するときに、商品の側面にバーコードがあるパターンである。なお、各パターンは、商品ごとに設定することもでき、商品の種別ごとに設定することもできる。
生成モデル１０７は、映像データの入力に応じて、映像データに写っている商品の３次元モデルを生成する機械学習モデルである。例えば、生成モデル１０７は、映像データ内の各画像データ（各フレーム）に対して、商品の３次元モデルを生成して出力する。
機械学習部１１１は、各訓練データを用いて、生成モデル１０７の機械学習を実行する処理部である。図１５は、生成モデル１０７の機械学習を説明する図である。図１５に示すように、機械学習部１１１は、「画像データ」を説明変数、「３次元モデル」を目的変数（正解情報）とする訓練データを生成モデル１０７に入力し、機械学習モデル１０４の出力結果「３次元モデル」と目的変数「３次元モデル」との誤差情報を算出する。そして、機械学習部１１１は、誤差が小さくなるように、誤差逆伝播により生成モデル１０７のパラメータ更新を行う機械学習を実行する。
識別部１１３は、映像データを分析することで、２次元画像における商品の面のおけるパターンを認識し、パターンに対するコードの位置を特定する。例えば、識別部１１３は、映像データ内の画像データから商品の２次元画像を取得し、２次元画像に対してパターンマッチング等を実行して、商品のラベルの位置と商品のバーコード位置を識別する。
不正検知部１１４は、識別部１１３の識別結果を用いて不正な行動を検知する。具体的には、不正検知部１１４は、識別部１１３から「商品のラベルの位置と商品のバーコード位置」を取得し、パターンＤＢ１０６に記憶されているパターンに該当するか否かにより、不正な行動を検知する。
具体例を挙げると、不正検知部１１４は、識別部１１３から「商品のラベル位置＝上面」と「商品のバーコード位置＝上面」を取得したとする。この場合、不正検知部１１４は、パターンＤＢ１０６を参照して、「商品のラベル位置＝上面」に対応する「パターン１」を特定し、パターン１に対応する「ラベルとは反対の位置」を特定する。そして、不正検知部１１４は、商品から識別されたバーコード位置「上面」と、パターン１の「ラベルとは反対の位置」とが異なることから、不正な行動と判定する。
また、不正検知部１１４は、映像データを機械学習モデルに入力することで、商品の３次元モデルを生成し、３次元モデルでのバーコードの位置が、予め設定された位置と異なるときに不正な行動を検知することもできる。
図１６は、不正検知を説明する図である。図１６に示すように、不正検知部１１４は、画像データを生成モデル１０７に入力して、画像データ内の商品の３Ｄモデルを生成する。そして、不正検知部１１４は、実施例１で説明した相対位置や上述したパターンとの比較により、不正検知を実行する。
＜効果＞
上述したように、情報処理装置１００は、映像データを分析することで、２次元画像における商品の面パターンを認識し、パターンに対するコードの位置を特定する。そして、情報処理装置１００は、特定されたパターンに対するコードの位置が、パターンごとに予め設定された位置と異なるときには、セルフレジ５０に商品を登録する行動の異常を示すアラートを生成する。したがって、情報処理装置１００は、過去に発生していない不正や想定されていない新たな不正が発生した場合でも、位置関係などに基づくパターンを根拠に、不正を検知することができる。
また、情報処理装置１００は、映像データを生成モデル１０７に入力することで、商品の３次元モデルを生成する。そして、情報処理装置１００は、生成された３次元モデルでのコードの位置が、予め設定された位置と異なるときには、セルフレジ５０に商品を登録する行動の異常を示すアラートを生成する。したがって、情報処理装置１００は、相対位置やパターン比較の精度を向上させることができるので、不正な行動の検出精度も向上させることができる。また、３Ｄモデルにより視覚的にバーコード位置を特定できるので、店員が、映像データを閲覧しつつ、スキャン位置にバーコード位置があるかを視覚的に判断することができる。
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。
（数値等）
上記実施例で用いたセルフレジやカメラの台数、数値例、訓練データ例、訓練データ数、機械学習モデル、各クラス名、クラス数、データ形式等は、あくまで一例であり、任意に変更することができる。また、各フローチャートで説明した処理の流れも矛盾のない範囲内で適宜変更することができる。また、各モデルは、ニューラルネットワークなどの様々なアルゴリズムにより生成されたモデルを採用することができる。
また、情報処理装置１００は、スキャン位置や買い物かごの位置については、位置を検出する別の機械学習モデル、物体検知技術、位置検出技術など公知の技術を用いることもできる。例えば、情報処理装置１００は、フレーム（画像データ）間差分、フレームの時系列の変化に基づき、買い物かごの位置を検出することができるので、それを用いて検出してもよく、それを用いて別のモデルを生成してもよい。また、情報処理装置１００は、予め買い物かごの大きさを指定しておくことで、画像データからその大きさの物体が検出された場合に、買い物かごの位置として識別することもできる。なお、スキャン位置は、ある程度固定された位置なので、情報処理装置１００は、管理者等が指定した位置をスキャン位置として識別することもできる。
（システム）
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更されてもよい。
また、各装置の構成要素の分散や統合の具体的形態は図示のものに限られない。例えば、識別部１１３と不正検知部１１４とが統合されてもよい。つまり、その構成要素の全部または一部は、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合されてもよい。さらに、各装置の各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
（ハードウェア）
図１７は、ハードウェア構成例を説明する図である。ここでは、一例として、情報処理装置１００について説明する。図１７に示すように、情報処理装置１００は、通信装置１００ａ、ＨＤＤ（Hard Disk Drive）１００ｂ、メモリ１００ｃ、プロセッサ１００ｄを有する。また、図１７に示した各部は、バス等で相互に接続される。
通信装置１００ａは、ネットワークインタフェースカードなどであり、他の装置との通信を行う。ＨＤＤ１００ｂは、図３に示した機能を動作させるプログラムやＤＢを記憶する。
プロセッサ１００ｄは、図３に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１００ｂ等から読み出してメモリ１００ｃに展開することで、図３等で説明した各機能を実行するプロセスを動作させる。例えば、このプロセスは、情報処理装置１００が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１００ｄは、機械学習部１１１、映像取得部１１２、識別部１１３、不正検知部１１４、警告制御部１１５等と同様の機能を有するプログラムをＨＤＤ１００ｂ等から読み出す。そして、プロセッサ１００ｄは、機械学習部１１１、映像取得部１１２、識別部１１３、不正検知部１１４、警告制御部１１５等と同様の処理を実行するプロセスを実行する。
このように、情報処理装置１００は、プログラムを読み出して実行することで情報処理方法を実行する情報処理装置として動作する。また、情報処理装置１００は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、情報処理装置１００によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、上記実施例が同様に適用されてもよい。
このプログラムは、インターネットなどのネットワークを介して配布されてもよい。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto－Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行されてもよい。
図１８は、セルフレジ５０のハードウェア構成例を説明する図である。図１８に示すように、セルフレジ５０は、通信インタフェース４００ａ、ＨＤＤ４００ｂ、メモリ４００ｃ、プロセッサ４００ｄ、入力装置４００ｅ、出力装置４００ｆを有する。また、図１８に示した各部は、バスなどで相互に接続される。
通信インタフェース４００ａは、ネットワークインタフェースカードなどであり、他の情報処理装置との通信を行う。ＨＤＤ４００ｂは、セルフレジ５０の各機能を動作させるプログラムやデータを記憶する。
プロセッサ４００ｄは、セルフレジ５０の各機能の処理を実行するプログラムをＨＤＤ４００ｂなどから読み出してメモリ４００ｃに展開することで、セルフレジ５０の各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、セルフレジ５０が有する各処理部と同様の機能を実行する。
このように、セルフレジ５０は、セルフレジ５０の各機能の処理を実行するプログラムを読み出して実行することで動作制御処理を実行する情報処理装置として動作する。また、セルフレジ５０は、媒体読取装置によって記録媒体からプログラムを読み出し、読み出されたプログラムを実行することでセルフレジ５０の各機能を実現することもできる。なお、この他の実施例でいうプログラムは、セルフレジ５０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本実施形態が同様に適用されてよい。
また、セルフレジ５０の各機能の処理を実行するプログラムは、インターネットなどのネットワークを介して配布できる。また、このプログラムは、ハードディスク、ＦＤ、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行できる。
入力装置４００ｅは、プロセッサ４００ｄによって実行されるプログラムに対する入力操作など、ユーザによる各種入力操作を検知する。当該入力操作には、例えば、タッチ操作などが含まれる。タッチ操作の場合、セルフレジ５０はさらに表示部を備え、入力装置４００ｅによって検知される入力操作は、当該表示部に対するタッチ操作であってよい。入力装置４００ｅは、例えば、ボタン、タッチパネル、近接センサなどであってよい。また、入力装置４００ｅは、バーコードの読み取りをする。入力装置４００ｅは、例えば、バーコードリーダである。バーコードリーダは、光源と光センサを持ち、バーコードをスキャンする。
出力装置４００ｆは、プロセッサ４００ｄによって実行されるプログラムから出力されるデータをセルフレジ５０に接続された外部装置、例えば、外部ディスプレイ装置などを介して出力する。なお、セルフレジ５０が表示部を備える場合、セルフレジ５０は出力装置４００ｆを備えなくてもよい。
３０ カメラ
５０ セルフレジ
６０ 管理者端末
１００ 情報処理装置
１０１ 通信部
１０２ 記憶部
１０３ 訓練データＤＢ
１０４ 機械学習モデル
１０５ 映像データＤＢ
１１０ 制御部
１１１ 機械学習部
１１２ 映像取得部
１１３ 識別部
１１４ 不正検知部
１１５ 警告制御部

Claims (13)

  1. コンピュータに、
    商品のコードを会計機にスキャンする人物の映像データを取得し、
    取得した前記映像データを分析することで、前記映像データの中から、商品の全体の領域と、商品が有するコードの位置とをそれぞれ識別し、
    識別された前記商品の全体の領域に対する前記商品が有するコードの位置に基づいて、前記会計機に商品を登録する行動の異常を示すアラートを生成する、
    処理を実行させることを特徴とする情報処理プログラム。
  2. 前記識別する処理は、
    取得した前記映像データを分析することで、２次元画像における前記商品の面のパターンを認識し、
    前記パターンに対するコードの位置を特定し、
    前記生成する処理は、
    特定された前記パターンに対するコードの位置が、パターンごとに予め設定された位置と異なるときには、前記会計機に商品を登録する行動の異常を示すアラートを生成する、
    ことを特徴とする請求項１に記載の情報処理プログラム。
  3. 前記識別する処理は、
    取得した前記映像データを機械学習モデルに入力することで、商品の３次元モデルを生成し、
    前記アラートを生成する処理は、
    生成された前記３次元モデルでのコードの位置が、予め設定された位置と異なるときには、会計機に商品を登録する行動の異常を示すアラートを生成する、
    ことを特徴とする請求項１に記載の情報処理プログラム。
  4. 前記識別する処理は、
    個々にコードを有する複数の商品を１つの商品として設定されるとともに前記１つの商品としてのコードを有するセット商品の全体の領域と、前記セット商品が有するコードの位置とをそれぞれ識別し、
    前記生成する処理は、
    前記会計機に商品を登録する位置に、前記セット商品内のいずれかの商品のコードが位置する場合に、前記アラートを生成する、
    ことを特徴とする請求項１に記載の情報処理プログラム。
  5. 前記識別する処理は、
    商品毎にコードの位置が学習された機械学習モデルに対して、取得した前記映像データを入力することで、前記映像データ内の商品が有するコードの位置を推定し、
    前記生成する処理は、
    推定された前記商品が有するコードの位置と、前記会計機に商品を登録する位置に位置する商品のコードの位置とが一致しない場合に、前記アラートを生成する、
    ことを特徴とする請求項１に記載の情報処理プログラム。
  6. 前記アラートを生成する処理は、
    前記会計機に商品を登録する行動の異常に関連するアラートとして、前記人物が前記会計機に登録していない商品があること、または、前記人物が前記会計機に登録した商品が異常であることを示すアラートを生成する、
    ことを特徴とする請求項１に記載の情報処理プログラム。
  7. 前記会計機に商品を登録する行動の異常に関するアラートが生成されたときに、店員の有する端末に対して、前記会計機の識別情報と生成された前記アラートとを対応づけて通知する、処理を前記コンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。
  8. 前記アラートを生成する処理は
    前記会計機に商品を登録する行動の異常に関するアラートが生成された場合に、前記会計機に位置する前記人物に前記商品の登録漏れを促す音声または画面を、前記会計機から出力する、
    ことを特徴とする請求項１に記載の情報処理プログラム。
  9. 前記会計機に商品を登録する行動の異常に関するアラートが生成されたときに、前記会計機の有するカメラにて、人物を撮影させ、
    撮影された前記人物の画像データと、前記アラートを対応づけて記憶部に記憶する、処理を前記コンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。
  10. 前記セット商品は、複数の缶の集合を包装する包装材と、前記包装材に包装された缶とのそれぞれにバーコードが付されており、
    前記生成する処理は、
    前記包装材のバーコードではなく、前記缶のバーコードが前記会計機にスキャンされたときに、前記アラートを通知する、処理を前記コンピュータに実行させることを特徴とする請求項４に記載の情報処理プログラム。
  11. 前記会計機は、セルフレジ端末であることを特徴とする請求項１に記載の情報処理プログラム。
  12. コンピュータが、
    商品のコードを会計機にスキャンする人物の映像データを取得し、
    取得した前記映像データを分析することで、前記映像データの中から、商品の全体の領域と、商品が有するコードの位置とをそれぞれ識別し、
    識別された前記商品の全体の領域に対する前記商品が有するコードの位置に基づいて、前記会計機に商品を登録する行動の異常を示すアラートを生成する、
    処理を実行することを特徴とする情報処理方法。
  13. 商品のコードを会計機にスキャンする人物の映像データを取得し、
    取得した前記映像データを分析することで、前記映像データの中から、商品の全体の領域と、商品が有するコードの位置とをそれぞれ識別し、
    識別された前記商品の全体の領域に対する前記商品が有するコードの位置に基づいて、前記会計機に商品を登録する行動の異常を示すアラートを生成する、
    制御部を有することを特徴とする情報処理装置。
JP2022195834A 2022-12-07 2022-12-07 情報処理プログラム、情報処理方法および情報処理装置 Pending JP2024082106A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022195834A JP2024082106A (ja) 2022-12-07 2022-12-07 情報処理プログラム、情報処理方法および情報処理装置
US18/452,211 US20240193389A1 (en) 2022-12-07 2023-08-18 Non-transitory computer-readable recording medium, information processing method, and information processing apparatus
EP23193867.1A EP4383170A1 (en) 2022-12-07 2023-08-29 Information processing program, information processing method, and information processing apparatus
KR1020230116048A KR20240085840A (ko) 2022-12-07 2023-09-01 정보 처리 프로그램, 정보 처리 방법 및 정보 처리 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022195834A JP2024082106A (ja) 2022-12-07 2022-12-07 情報処理プログラム、情報処理方法および情報処理装置

Publications (1)

Publication Number Publication Date
JP2024082106A true JP2024082106A (ja) 2024-06-19

Family

ID=87863672

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022195834A Pending JP2024082106A (ja) 2022-12-07 2022-12-07 情報処理プログラム、情報処理方法および情報処理装置

Country Status (4)

Country Link
US (1) US20240193389A1 (ja)
EP (1) EP4383170A1 (ja)
JP (1) JP2024082106A (ja)
KR (1) KR20240085840A (ja)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7248754B2 (en) * 2003-05-05 2007-07-24 International Business Machines Corporation Apparatus and method for determining whether machine readable information on an item matches the item
US7422147B2 (en) * 2006-12-22 2008-09-09 Walter Steven Rosenbaum System and method for detecting fraudulent transactions of items having item-identifying indicia
US8678286B2 (en) * 2011-01-31 2014-03-25 Honeywell Scanning & Mobility Method and apparatus for reading optical indicia using a plurality of data sources
DK2538394T3 (da) * 2011-06-24 2022-02-14 Tomra Systems Asa Fremgangsmåde og apparat til at opdage svindelforsøg i returautomater
US8528820B2 (en) * 2011-06-29 2013-09-10 Symbol Technologies, Inc. Object identification using barcode reader
US10535146B1 (en) 2018-07-16 2020-01-14 Accel Robotics Corporation Projected image item tracking system
US11308303B2 (en) * 2020-05-29 2022-04-19 Zebra Technologies Corporation Using barcodes to determine item dimensions

Also Published As

Publication number Publication date
EP4383170A1 (en) 2024-06-12
US20240193389A1 (en) 2024-06-13
KR20240085840A (ko) 2024-06-17

Similar Documents

Publication Publication Date Title
JP2018147252A (ja) チェック装置、及びチェックプログラム
WO2019152266A1 (en) Systems and methods for verifyingmachine-readable label associated with merchandise
KR20190096975A (ko) 자동 상점 내 등록 시스템
JP6653813B1 (ja) 情報処理システム
JP5865316B2 (ja) 商品登録装置およびプログラム
JP2013050927A (ja) 健康度報知装置、プログラム及び健康度報知方法
US20240193995A1 (en) Non-transitory computer-readable recording medium, information processing method, and information processing apparatus
JP2020061164A (ja) 情報処理システム
JP7318753B2 (ja) 情報処理プログラム、情報処理方法、および情報処理装置
JP2024082106A (ja) 情報処理プログラム、情報処理方法および情報処理装置
JP6735888B2 (ja) 商品データ処理システム、商品データ処理方法
JP2024082190A (ja) 情報処理プログラム、情報処理方法および情報処理装置
JP2024082167A (ja) 情報処理プログラム、情報処理方法および情報処理装置
EP4390872A1 (en) Information processing program, information processing method, and information processing device
WO2022209055A1 (ja) 検知システム、検知方法、及び、記憶媒体
US20240193573A1 (en) Storage medium and information processing device
US20230093938A1 (en) Non-transitory computer-readable recording medium, information processing method, and information processing apparatus
JP7318683B2 (ja) 情報処理プログラム、情報処理方法、および情報処理装置
EP4125020A1 (en) Information processing program, information processing method, and information processing apparatus
WO2022201679A1 (ja) 検知システム、検知方法、及び、記憶媒体
US20230005267A1 (en) Computer-readable recording medium, fraud detection method, and fraud detection apparatus
JP2024085336A (ja) 情報処理プログラム、情報処理方法、および情報処理装置
JP2016051241A (ja) 売上データ処理装置
JP2024096164A (ja) 商品データ処理システム、及び商品データ処理方法
JP2020187776A (ja) 情報処理装置、プログラム、及び情報処理方法