JP7398706B2 - 不正防止システム、及び不正防止プログラム - Google Patents

Description

本発明は、不正防止システム、及び不正防止プログラムに関する。

近年、顧客が購入しようとする商品の入力と精算を自分で行うセルフチェックアウト方式のレジ（いわゆる「セルフレジ」）（セルフチェックアウト装置、セルフレジ商品登録端末、又はセルフチェックアウト端末とも言う）を導入する店舗が増加している。

上記のセルフレジでは、顧客が自分で、スキャナによる商品のバーコードの読み取り操作を行うので、読み取り操作を確実に行えない場合も多い。そこで、この種の装置において、商品を上から撮影するカメラ（カメラスキャナ）と、上記のカメラによって撮影された商品の画像を表示する表示部とを備えたものが知られている（例えば、特許文献１参照）。この装置によれば、顧客（買い物客）が、表示部に表示された商品のバーコードを見ながら、バーコードを読み取らせることができるので、バーコード読み取り操作を迅速に行うことができる。

特開２０１８－９７６０３号公報

ところが、上記特許文献１に示される装置を含む従来のセルフレジでは、顧客が、故意または過失により、購入した商品のスキャンを行わないとか、実際に購入した商品の代わりに、購入した商品よりも安い商品のスキャンを行うと言った、顧客の不正行動（いわゆる「レジ抜け」）を防止することができないという問題があった。

本発明は、上記課題を解決するものであり、セルフレジにおける顧客の不正行動を防止することが可能な不正防止システム、及び不正防止プログラムを提供することを目的とする。

上記課題を解決するために、本発明の第１の態様による不正防止システムは、顧客が購入しようとする商品の入力と精算を自分で行うセルフレジにおける、前記顧客の不正行動を防止する不正防止システムであって、前記セルフレジにおいて前記顧客が購入しようとする商品の特定時に商品が位置するべき所定の領域を撮影可能な場所に設置された一つ以上の商品撮影手段と、前記顧客が前記商品を前記所定の領域に移動させたときに、前記商品撮影手段で撮影した画像を用いて、コンピュータにより第１の物体認識用機械学習済モデルで、前記所定の領域に入り込んだ商品を特定する商品特定手段と、前記商品特定手段による商品の特定の精度が所定値以下の場合は、この商品のバーコードをスキャンさせるように、コンピュータにより前記顧客に促す再特定手段と、店内の各所に設置されて、顧客を撮影する顧客撮影手段と、前記顧客撮影手段で撮影した画像を用いて、コンピュータにより、前記顧客の店内における行動を追跡して、前記顧客の店内行動情報を生成する行動追跡手段と、前記再特定手段が前記顧客に前記バーコードのスキャンを促したときに、前記顧客による前記バーコードのスキャン結果、及び前記顧客の店内行動情報を用いて、コンピュータにより、前記顧客が不正行動を行ったか否かを判定する不正判定手段と、前記不正判定手段により前記顧客が不正行動を行ったと判定されたときに、コンピュータにより、前記顧客が前記不正行動を行ったと思われる時刻に、前記セルフレジにおいて前記所定の領域を撮影可能な場所に設置された前記商品撮影手段により撮影された画像と、前記行動追跡手段が生成した前記顧客の店内行動情報とを検証用端末の画面に表示して、前記不正判定手段による判定結果に対するオペレータの検証結果を受け付ける検証手段と、前記不正判定手段による判定結果に対するオペレータの検証結果が、前記顧客が不正行動を行ったという検証結果である場合に、コンピュータによって、前記検証手段により受け付けられた前記検証結果を含む、前記顧客の不正情報を保持する不正情報保持手段とを備える。

この不正防止システムにおいて、前記商品特定手段は、前記顧客の店内行動情報を用いて、コンピュータにより商品特定の対象になる商品を絞り込むことが望ましい。

この不正防止システムにおいて、前記不正判定手段により前記顧客が不正行動を行ったと判定されたときに、前記顧客又は店員に、所定の通知を行う通知手段をさらに備えることが望ましい。

この不正防止システムにおいて、コンピュータによって、前記不正情報保持手段に保持された前記不正情報に対応する不正行動を行った顧客の顔画像から、前記顧客の顔認証のための顔認証情報を生成する顔認証情報生成手段と、前記顔認証情報生成手段により生成された、前記不正行動を行った顧客の顔認証情報を、コンピュータにより記憶する顔認証情報記憶手段と、コンピュータによって、前記顧客撮影手段により撮影した新たに来店した顧客の顔画像から生成された、新たに来店した顧客の顔認証情報と、前記顔認証情報記憶手段に記憶された前記不正行動を行った顧客の顔認証情報とを比較することにより、前記不正行動を行った前記顧客を再来店時に検出する再来店検出手段とをさらに備えることが望ましい。

この不正防止システムにおいて、コンピュータによって、前記再特定手段が前記顧客に前記バーコードのスキャンを促したときに、前記顧客による前記バーコードのスキャンで得られた商品再特定情報と、前記商品撮影手段で撮影した画像に基づく商品画像と、前記商品特定手段による特定結果である商品特定情報とを組み合わせて、前記第１の物体認識用機械学習済モデルの再学習用データセットを自動生成する再学習用データセット生成手段をさらに備えることが望ましい。

この不正防止システムにおいて、前記行動追跡手段が生成する、前記顧客の店内行動情報には、前記顧客が商品とアクセスした時の詳細情報である商品アクセス履歴情報が含まれており、前記商品アクセス履歴情報は、前記顧客撮影手段で撮影された、顧客が商品とアクセスした時の画像である商品アクセス時画像と、前記顧客が商品とアクセスした場所に陳列された商品の情報とを含み、前記検証手段は、コンピュータにより、ユーザの指示操作に応じて、前記商品アクセス履歴情報を前記検証用端末の画面に表示することが望ましい。
また、この不正防止システムにおいて、前記検証手段は、前記検証用端末の画面に表示された、前記顧客が前記不正行動を行ったと思われる時刻に前記商品撮影手段により撮影された画像のうち、ユーザの指示操作により選択された画像について、ユーザの指示操作に応じて、コンピュータにより、前記選択された画像における手で隠れていない部分の画像、及び前記検証用端末の画面に表示された画像のうちの前記選択された画像以外の画像から、前記選択された画像に映り込んだ商品を類推し、この類推結果の商品の各方向からの撮影画像に基づいて、前記選択された画像における手で隠れていない部分の画像を復元することが望ましい。

本発明の第２の態様による不正防止プログラムは、顧客が購入しようとする商品の入力と精算を自分で行うセルフレジにおける、前記顧客の不正行動を防止するための不正防止プログラムであって、コンピュータを、前記セルフレジにおいて前記顧客が購入しようとする商品の特定時に商品が位置するべき所定の領域を撮影可能な場所に設置された一つ以上の商品撮影手段で撮影した画像を用いて、前記顧客が前記商品を前記所定の領域に移動させたときに、第１の物体認識用機械学習済モデルにより前記所定の領域に入り込んだ商品を特定する商品特定手段と、前記商品特定手段による商品の特定の精度が所定値以下の場合は、この商品のバーコードをスキャンさせるように、前記顧客に促す再特定手段と、店内の各所に設置されて、顧客を撮影する顧客撮影手段で撮影した画像を用いて、前記顧客の店内における行動を追跡して、前記顧客の店内行動情報を生成する行動追跡手段と、前記再特定手段が前記顧客に前記バーコードのスキャンを促したときに、前記顧客による前記バーコードのスキャン結果、及び前記顧客の店内行動情報を用いて、前記顧客が不正行動を行ったか否かを判定する不正判定手段と、前記不正判定手段により前記顧客が不正行動を行ったと判定されたときに、前記顧客が前記不正行動を行ったと思われる時刻に、前記セルフレジにおいて前記所定の領域を撮影可能な場所に設置された前記商品撮影手段により撮影された画像と、前記行動追跡手段が生成した前記顧客の店内行動情報とを検証用端末の画面に表示して、前記不正判定手段による判定結果に対するオペレータの検証結果を受け付ける検証手段と、前記不正判定手段による判定結果に対するオペレータの検証結果が、前記顧客が不正行動を行ったという検証結果である場合に、前記検証手段により受け付けられた前記検証結果を含む、前記顧客の不正情報を保持する不正情報保持手段として機能させる。

本発明の第１の態様による不正防止システム、及び第２の態様による不正防止プログラムによれば、顧客が、故意又は過失により、購入しようとする商品を、商品撮影手段で撮影しにくいようにした（例えば、手で商品を隠したりした）ために、第１の物体認識用機械学習済モデルにより商品を特定することができなかった場合でも、特定することができなかった商品のバーコードをスキャンさせるように顧客に促すことができるので、セルフレジにおける顧客の不正行動を防止することができる。

本発明の第１の実施形態による不正防止システムの概略のハードウェア構成を示すブロック構成図。 図１中の分析ボックスの概略のハードウェア構成を示すブロック構成図。 同分析ボックスにおけるＣＰＵの機能ブロック構成図。 図１中のＡＩ分析サーバのハードウェア構成を示すブロック構成図。 図１中の学習サーバの概略のハードウェア構成と、この学習サーバから分析ボックスへのアプリケーションの配信の仕組みを示すブロック構成図。 上記不正防止システムにおけるセルフレジの仕組みを示す説明図。 上記不正防止システムにおける処理の概要のフローチャート。 上記不正防止システムにおける処理の概要の説明図。 図７中のＳ１の商品特定処理に用いられる商品特定用ＮＮモデルの説明図。 顧客の店内行動情報を利用した商品特定処理の説明図。 上記不正防止システムにおける、顧客が不正行動を行ったか否かの判定処理と、不正行動を行ったと判定されたときに行われる通知処理の説明図。 上記の不正行動を行ったと判定されたときに、オペレータが検証用端末から行う検証処理の説明図。 検証用端末の検証システムのログイン画面を示す図。 検証システムへのログイン完了後に表示される第１メイン画面を示す図。 上記検証システムの第２メイン画面を示す図。 上記第２メイン画面における詳細映像ボタンの選択操作の説明図。 上記詳細映像ボタンの選択（クリック）時に表示される映像確認画面を示す図。 上記検証システムの画像選択画面における、復元したい画像の基になる画像の選択操作の説明図。 上記検証システムの削除領域選択画面における削除領域の塗りつぶし操作の説明図。 上記検証システムの復元画像表示画面を示す図。 上記第２メイン画面における行動履歴ボタンの選択操作の説明図。 上記行動履歴ボタンの選択（クリック）時に表示される商品アクセス履歴画面を示す図。 上記第２メイン画面における不正登録ボタンの選択操作の説明図。 上記不正防止システムにおける、不正行動を行った顧客の再来店時における検出処理の説明図。 本発明の第１の実施形態の変形例の不正防止システムにおけるセルフレジの構成の説明図。 上記セルフレジの上面側カメラと下面側カメラによる撮影画像からの消費期限の識別結果の説明図。 上記消費期限の識別の結果、消費期限の識別を行うことができない場合に表示されるバウンディングボックスとワーニング表示を示す図。 上記第１の実施形態の変形例の不正防止システムの概略のハードウェア構成を示すブロック構成図。 図２８中の分析ボックスの概略のハードウェア構成を示すブロック構成図。 図２８中の分析ボックスにおけるＣＰＵの機能ブロック構成図。 図２８中のＡＩ分析サーバのハードウェア構成を示すブロック構成図。 本発明の第２の実施形態による不正防止システムにおけるセルフレジの仕組みを示す説明図。 第２の実施形態による不正防止システムの概略のハードウェア構成を示すブロック構成図。 本発明の第３の実施形態による不正防止システムにおけるセルフレジの仕組みを示す説明図。 第３の実施形態による不正防止システムの概略のハードウェア構成を示すブロック構成図。

以下、本発明を具体化した実施形態による不正防止システム、及び不正防止プログラムについて、図面を参照して説明する。図１は、本発明の第１の実施形態による不正防止システム１の概略のハードウェア構成を示すブロック構成図である。本実施形態では、分析ボックス３（請求項における「コンピュータ」）、及びこの分析ボックス３に接続されるネットワークカメラ（ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）カメラ）２（以下、「カメラ２」と略す）が、チェーン店等の店舗Ｓ内に配される場合の例について説明する。上記のカメラ２は、請求項における撮影手段に相当する。図１に示すように、不正防止システム１は、店舗Ｓ内に、上記の分析ボックス３とカメラ２に加えて、ハブ５と、ルータＲと、タブレット端末６と、検証用端末７とを備えている。

上記の分析ボックス３は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）４とハブ５とを介して、複数のカメラ２と接続され、これらのカメラ２の各々から入力された画像を分析する。具体的には、分析ボックス３は、カメラ２の各々から入力された画像に対する物体検出処理（例えば、商品の検出処理や、顧客の顔の検出処理）と、この物体検出処理で検出された物体の画像に対する物体認識処理（例えば、検出した商品の特定処理、顧客の顔画像のベクトル化処理、及び顧客の骨格検出処理等）とを行う。

タブレット端末６は、いわゆるサッキング・コーナーＳＣ（店舗における、ビニール袋や紙袋に袋詰めするための場所）に配置されて、顧客（ユーザ）の認証や、顧客による決済の指示操作を受け付ける。詳細については後述するが、このタブレット端末６は、本実施形態におけるセルフレジ３０の一部を構成する。なお、本明細書及び請求項において、「セルフレジ」とは、顧客が購入しようとする商品の入力と精算を自分で行うセルフチェックアウト方式のレジを意味する。検証用端末７は、上記の分析ボックス３による分析結果（物体認識結果）に基づいて、後述するＡＩ分析サーバ８が、顧客が不正行動を行ったと判定した時に、オペレータが、上記の判定結果の検証結果を入力するためのパーソナル・コンピュータ等の情報機器である。

また、不正防止システム１は、クラウドＣ上のＡＩ分析サーバ８、管理サーバ１０、及び学習サーバ９を備えている。ＡＩ分析サーバ８は、分析ボックス３からの物体認識結果に基づいて、例えば、各店舗内における人物の行動を分析し、分析結果の情報を、顧客の不正防止を含む防犯や、マーケティング等の種々の用途のアプリケーションが使い易いデータに変換して出力する。

上記の管理サーバ１０は、各店舗に配された多数の分析ボックス３、及びこれらの分析ボックス３に接続されたカメラ２の管理を行う。具体的には、管理サーバ１０は、各店舗の分析ボックス３へのアプリパッケージのインストールや、これらの分析ボックス３に接続されたカメラ２の起動及び停止等の制御を行う。なお、このアプリパッケージは、数種類の学習済の物体検出用ニューラルネットワークモデル（以下、「物体検出用ＮＮモデル」という）と、数種類の学習済の物体認識用ニューラルネットワークモデル（以下、「物体認識用ＮＮモデル」という）と、これらのニューラルネットワークモデル（以下、「ＮＮモデル」という）の使い方（処理の順番）を記載した制御用スクリプトとを含んだパッケージ・プログラムである。

上記の学習サーバ９の詳細については後述するが、この学習サーバ９は、顧客が購入しようとする商品の特定時に商品が位置するべき所定の領域を撮影した画像に基づいて、上記の所定の領域に入り込んだ商品を特定する物体認識用ＮＮモデル（以下、「商品特定用ＮＮモデル」という）の再学習用データセットを生成する機能と、この生成後の再学習用データセットを用いて、上記の商品特定用ＮＮモデルの再学習を行う機能とを有している。この再学習が済むと、再学習後の新しいバージョンの商品特定用ＮＮモデルを含むアプリパッケージが、学習サーバ９から、管理サーバ１０を介して、分析ボックス３にインストールされる。

次に、図２を参照して、分析ボックス３のハードウェア構成について説明する。分析ボックス３は、装置全体の制御及び各種演算を行うＣＰＵ１１と、各種のデータやプログラムを格納するハードディスク１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、ＤＮＮ推論用プロセッサである推論チップ（以下、「チップ」と略す）１４ａ～１４ｈと、通信制御ＩＣ１５とを備えている。ＣＰＵ１１は、一般的な汎用ＣＰＵ、又は多数の映像ストリームを同時処理するため並列処理性能を高めるように設計されたＣＰＵである。また、ハードディスク１２に格納されるデータには、カメラ２の各々から入力された映像ストリーム（のデータ）をデコードした後の映像データ（フレーム画像のデータ）が含まれ、ハードディスク１２に格納されるプログラムには、上記のアプリパッケージ１７（請求項及び図５中の「不正防止プログラム」に相当）に加えて、図５の説明で述べる分析ボックスＯＳ５４のプログラムが含まれている。また、アプリパッケージ１７（不正防止プログラム）には、上記の学習サーバ９からインストールされた商品特定用ＮＮモデル１８（請求項における「第１の物体認識用機械学習済モデル」）が含まれている。

上記の（推論）チップ１４ａ～１４ｈは、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）推論に最適化されたプロセッサ（推論専用チップ）であることが望ましいが、一般的な用途に用いられる汎用のＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、又はその他のプロセッサであってもよい。また、上記の各チップ１４ａ～１４ｈは、１つのボードコンピュータ上に複数のチップ（推論用プロセッサ）が集積（搭載）されたデバイスであってもよい。

図２に示すように、上記の（推論）チップ１４ａ～１４ｈは、ＰＣＩ Ｅｘｐｒｅｓｓ又はＵＳＢにより、ＣＰＵ１１に接続される。また、上記の通信制御ＩＣ１５は、Ｅｔｈｅｒｎｅｔ規格のＬＡＮへの接続用のポートであるＬＡＮポート１６を有している。

図３は、図１中の分析ボックス３におけるＣＰＵ１１の機能ブロックを示す。分析ボックス３は、機能ブロックとして、商品特定部２１と、再特定部２２と、ＩＤ付与部２３と、プロセッサ割当部２４と、骨格検出部２５とを備えている。上記の商品特定部２１と再特定部２２とは、それぞれ、請求項における商品特定手段と再特定手段とに相当する。

上記の商品特定部２１は、顧客が商品を、上記の商品の特定時に商品が位置するべき所定の領域に移動させたときに、上記の所定の領域を撮影可能な一つ以上の場所に設置された一つ以上のカメラ２で撮影した画像を用いて、商品特定用ＮＮモデル１８により上記の所定の領域に入り込んだ商品を特定する。再特定部２２は、商品特定部２１による商品の特定の精度が所定値以下の場合は、この商品のバーコードをスキャンさせるように、顧客に促す。ＩＤ付与部２３は、上記のアプリパッケージ（図５の不正防止プログラム５５）に含まれるベクトル化モデルを利用して、同じ顧客の顔か否かを識別して、この識別結果に基づいて、人物ＩＤを付与する。具体的には、分析ボックス３のＣＰＵ１１のＩＤ付与部２３は、上記のベクトル化モデルを用いて、異なるフレーム画像に映っていた顔の画像をベクトル化し、これらのベクトルに基づいて、これらの画像の類似度に基づく距離を求める。そして、この距離に基づいて、これらの画像に映っていた顔が、同じ顧客の顔か否かを識別する。すなわち、分析ボックス３のＩＤ付与部２３は、同じカメラが撮影した異なるフレーム画像間の人（顧客）の同定を行い、同じ顧客に、同じローカルＩＤ（同じカメラによる撮影画像内の顧客のＩＤ）を付与する。

上記のプロセッサ割当部２４は、アプリパッケージの各インスタンスに含まれる各ＮＮモデルの推論処理に必要な推論時間と使用頻度とに基づいて、複数のチップ１４のうち、各ＮＮモデルにおける推論処理に用いるチップ（推論用プロセッサ）の割り当てを行う。骨格検出部２５は、各顧客の店内行動を推定するために、各カメラ２のフレーム画像に映り込んだ各顧客の骨格を検出する。

次に、図４を参照して、ＡＩ分析サーバ８のハードウェア構成について説明する。ＡＩ分析サーバ８は、装置全体の制御及び各種演算を行うＣＰＵ３１と、各種のデータやプログラムを格納するハードディスク３２（不正情報保持手段、及び顔認証情報記憶手段）と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３３と、ディスプレイ３４と、操作部３５と、通信部３６とを備えている。ＡＩ分析サーバ８のＣＰＵ３１は、機能ブロックとして、行動追跡部４１と、不正判定部４２と、通知部４３と、検証部４４と、顔認証情報生成部４５と、再来店検出部４６とを備えている。行動追跡部４１、不正判定部４２、通知部４３、検証部４４、顔認証情報生成部４５、再来店検出部４６は、それぞれ、請求項における行動追跡手段、不正判定手段、通知手段、検証手段、顔認証情報生成手段、再来店検出手段に相当する。

行動追跡部４１は、店内の各所に設置されたカメラ２で撮影した画像を用いて、顧客の店内における行動を追跡して、顧客の店内行動情報（図１０に示す行動リスト８８等）を生成する。不正判定部４２は、分析ボックス３のＣＰＵ１１における再特定部２２が顧客にバーコードのスキャンを促したときに、顧客によるバーコードのスキャン結果、及び顧客の店内行動情報等を用いて、顧客が不正行動を行ったか否かを判定する。通知部４３は、不正判定部４２により顧客が不正行動を行ったと判定されたときに、顧客と店員の少なくともいずれかに、所定の通知（不正が行われた可能性がある旨の通知）を行う。検証部４４は、不正判定部４２により顧客が不正行動を行ったと判定されたときに、顧客が上記の不正行動を行ったと思われる時刻に、上記の所定の領域を撮影可能な場所に設置されたカメラ２（図６及び図８中のカメラ２ａとカメラ２ｂ）により撮影された画像と、行動追跡部４１が生成した顧客の店内行動情報とを検証用端末７の画面に表示させて、不正判定部４２による判定結果に対する、（検証用端末７を用いて入力された）オペレータの検証結果を受け付ける。

顔認証情報生成部４５は、ハードディスク３２に保持された不正情報４７に対応する不正行動を行った顧客の顔画像から、顧客の顔認証のための顔認証情報を生成する。顔認証情報生成部４５により生成された、不正行動を行った顧客の顔認証情報は、ハードディスク３２に記憶される。再来店検出部４６は、カメラ２により撮影した新たに来店した顧客の顔画像から生成された、新たに来店した顧客の顔認証情報と、ハードディスク３２に記憶された不正行動を行った顧客の顔認証情報４８とを比較することにより、不正行動を行った顧客を再来店時に検出する。

また、ＡＩ分析サーバ８のハードディスク３２は、上記の不正行動を行った顧客の顔認証情報４８に加えて、不正情報４７を記憶している。この不正情報４７は、上記の不正判定部４２による判定結果に対するオペレータの検証結果が、顧客が不正行動を行ったという検証結果である場合に、検証部４４により受け付けられた検証結果を含む顧客の情報である。

次に、図５を参照して、学習サーバ９のハードウェア構成と、学習サーバ９による商品特定用ＮＮモデル１８の再学習の仕組みについて説明する。学習サーバ９は、装置全体の制御及び各種演算を行うＣＰＵ６１と、各種のデータやプログラムを格納するハードディスク６２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）６３と、ディスプレイ６４と、操作部６５と、通信部６６とを備えている。ＣＰＵ６１は、機能ブロックとして、再学習用データセット生成部６７と、再学習部６９とを備えている。上記の再学習用データセット生成部６７は、請求項における再学習用データセット生成手段に相当する。

上記のハードディスク６２には、商品特定用ＮＮモデル１８の再学習用データセット６８が含まれている。上記の学習サーバ９のＣＰＵ６１の再学習用データセット生成部６７は、分析ボックス３の再特定部２２が顧客にバーコードのスキャンを促したときに、顧客によるバーコードのスキャンで得られた商品再特定情報（ＪＡＮコード又は商品名）と、図６及び図８中のカメラ２ａとカメラ２ｂで撮影した画像から検出した商品の部分の画像である商品画像と、分析ボックス３の商品特定部２１による特定結果である商品特定情報（商品分類用の情報）とを分析ボックス３から受信して、ハードディスク６２に格納しておく。そして、ハードディスク６２に格納しておいた、上記の商品再特定情報と、商品画像と、商品特定情報とを組み合わせて、上記の商品特定用ＮＮモデル１８の再学習用データセット６８を自動生成する。そして、学習サーバ９のＣＰＵ６１の再学習部６９は、上記の再学習用データセット生成部６７により生成された再学習用データセット６８を用いて、上記の商品特定用ＮＮモデル１８の再学習を行う。

次に、図５を参照して、不正防止システム１において、管理サーバ１０が果たす機能の概要について説明する。管理サーバ１０は、そのハードディスク５１に、アプリパッケージを格納したアプリケーションＤＢ５２を格納している。アプリケーションＤＢ５２に格納されているアプリパッケージは、上記の商品特定用ＮＮモデル１８を含む、学習済の各種のＮＮモデルと、これらのＮＮモデルの処理の順番を記載した制御用スクリプトとを含んでいる。このアプリパッケージは、アプリ配信部５３により分析ボックス３に配信される。

分析ボックス３は、管理サーバ１０から受信した上記のアプリパッケージを、図５に示す不正防止プログラム５５としてインストールする。また、分析ボックス３は、管理サーバ１０から、分析ボックスＯＳ５４も受信する。この分析ボックスＯＳ５４は、分析ボックス３内の不正防止プログラム５５等のアプリケーションの制御を行うと共に、管理サーバ１０との送受信を行う。なお、上記の不正防止プログラム５５は、図３中における商品特定部２１と、再特定部２２と、ＩＤ付与部２３と、骨格検出部２５に相当する処理を行うためのアプリパッケージである。

図６は、図１中のサッキング・コーナーＳＣを示す。第１の実施形態による不正防止システム１では、セルフレジ３０は、サッキング・コーナーＳＣに設けられている。図６及び図８に示すように、セルフレジ３０において、商品特定用（商品入力（スキャン）用）のカメラ２ａ，２ｂは、顧客が、買い物かご７３に入れた商品をビニール袋７４に移す際に、商品が通るであろう所定領域７５（請求項における「商品の特定時に商品が位置するべき所定の領域」に相当）を撮影可能な場所（所定領域７５の斜め上方と斜め下方）に配設されている。

次に、図６を参照して、第１の実施形態による不正防止システム１におけるセルフレジ３０の仕組み（商品の入力（スキャン）と精算の仕組み）について、説明する。このセルフレジ３０において、顧客が、自分のスマートフォン７０のディスプレイ７１に、自分の認証用のＱＲコード（登録商標）７２を表示して、ＱＲコード（登録商標）７２をタブレット端末６の前面に近づけると、ＱＲコード（登録商標）７２をタブレット端末６の前面に配置された内蔵カメラ６ａが読み取って、タブレット端末６（のＣＰＵ）が、この顧客の認証を行い、この顧客のアカウントにログインする。これにより、この顧客が、セルフレジ３０で、商品の入力や精算を行うことができるようになる。このセルフレジ３０では、顧客が買い物かご７３に入れた商品をビニール袋７４に移す際に所定領域７５に入り込んだ商品を、上記のカメラ２ａ，２ｂで撮影して、分析ボックス３のＣＰＵ１１の商品特定部２１が、上記の撮影画像を用いて商品特定用ＮＮモデル１８により上記の商品を特定することで、商品の入力（スキャン）を行う。そして、顧客が、買い物かご７３の中の全ての商品をビニール袋７４に移し終えた後に、タブレット端末６のタッチパネル６ｂに表示された決済ボタン（不図示）をタッチすることにより、購入した商品の決済が行われる。

図７は、この不正防止システム１における処理の概要のフローチャートである。まず、顧客が、買い物かご７３に入れた商品を上記の所定領域７５に移動させた時に、分析ボックス３のＣＰＵ１１の商品特定部２１は、この所定領域７５に入り込んだ商品をカメラ２ａ又はカメラ２ｂで撮影したフレーム画像を、商品特定用ＮＮモデル１８に入力して、上記の商品の特定処理を行う（Ｓ１）。この商品の特定処理における特定精度が、所定値以下の場合には（Ｓ２でＹＥＳ）、図８に示すような処理が行われる。

すなわち、顧客が商品の（ビニール袋７４への）袋詰めの際に行う、商品７６のカメラ２ａ，２ｂへの向け方（カメラ２ａ，２ｂによる商品７６のスキャンの仕方）が不適切である等の理由のために、商品７６の（商品特定用ＮＮモデル１８による）特定精度が所定値以下の場合には、分析ボックス３のＣＰＵ１１の再特定部２２は、例えば、図８に示すように、タブレット端末６のタッチパネル６ｂに、「商品が特定できませんでした。バーコード面を近づけて下さい。」というメッセージ７８を表示して、この商品７６のバーコードをカメラ２ａ又はカメラ２ｂでスキャンさせるように、顧客を促す（図７のＳ３）。そして、分析ボックス３のＣＰＵ１１の再特定部２２は、カメラ２ａ又はカメラ２ｂでスキャンしたバーコード情報（ＪＡＮコード）で商品を特定する。例えば、図８中の商品特定リスト７７に示すように、「カメラ１」（例えば、カメラ２ａ）で、”００：０６：１２～００：０６：２０”の間に読み取った（撮影した）商品７６の特定ができない場合（商品特定用ＮＮモデル１８による特定精度が所定値以下の場合）には、分析ボックス３のＣＰＵ１１の再特定部２２は、カメラ２ａ又はカメラ２ｂで読み取ったバーコード情報（ＪＡＮコード）で商品を特定する。

なお、上記のバーコード・スキャン処理は、カメラ２ａとカメラ２ｂのいずれか一方による撮影画像を商品特定用ＮＮモデル１８に入力した場合における「商品の特定精度が所定値以下の場合」に行われるようにしても良いが、カメラ２ａとカメラ２ｂの両方の撮影画像を商品特定用ＮＮモデル１８に入力した場合における、高い方の「商品の特定精度が所定値以下の場合」に行われるようにした方が望ましい。また、上記の商品７６のバーコードの読み取り（スキャン）は、セルフレジ３０に設けた専用のバーコードリーダ（例えば、タブレット端末６に接続されたバーコードリーダ）により行ってもよい。

次に、図９を参照して、上記Ｓ１の商品特定処理に用いられる商品特定用ＮＮモデル１８（図２参照）について、説明する。本不正防止システム１の商品特定処理に用いられる商品特定用ＮＮモデル１８は、図９中のＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）８０のようなＮＮモデルである。このＣＮＮ８０は、通常のＣＮＮ（例えば、ＶＧＧ１６）の損失関数（主に、交差エントロピー誤差）を、Ｔｒｉｐｌｅｔ Ｌｏｓｓ（関数）等のＤｅｅｐ Ｍｅｔｒｉｃ Ｌｅａｒｎｉｎｇ用の損失関数に入れ替えることで、類似した特徴を持つ入力画像に基づいて出力されるベクトル同士は、ベクトル空間（図９中のＥｍｂｅｄｄｉｎｇ Ｓｐａｃｅ８２）内の近い位置に配置することができるように学習させたＣＮＮである。このように、損失関数を、Ｔｒｉｐｌｅｔ Ｌｏｓｓ（関数）等の損失関数に入れ替えて、ＣＮＮの学習を行うことで、同一商品については、どの面から撮影した画像であっても、この画像を、上記の学習済のＣＮＮ８０に適用（入力）すると、出力されるベクトルは、ベクトル空間内の近接した領域に写像されるようになる。この特徴を利用して、ベクトル空間におけるアンカー（特定の商品の基準となるベクトル位置）からの距離に基づいて、入力画像に映り込んだ商品が、どの商品であるかを特定することができる。

例えば、図９に示すように、Ａスナックについての入力画像７９を、上記のＴｒｉｐｌｅｔ Ｌｏｓｓ（関数）等の損失関数を用いて学習したＣＮＮ８０に入力すると、ＣＮＮ８０から出力されるベクトル８１は、Ｅｍｂｅｄｄｉｎｇ Ｓｐａｃｅ８２（次元圧縮後のベクトルデータが埋め込まれる空間）において、Ａスナックのアンカー８３に近い位置に配置される。上記図７のＳ２において、商品の特定精度が所定値以下の場合とは、例えば、図９のベクトル８５のように、いずれの商品のアンカー（この場合は、Ａスナックのアンカー８３及びＢスナックのアンカー８４）からも離れており、入力画像７９に映り込んだ商品の同定（特定）ができないような場合を意味する。上記のように、Ｄｅｅｐ Ｍｅｔｒｉｃ Ｌｅａｒｎｉｎｇの手法を用いることにより、数千の商品を対象にした商品特定を行うことが可能になる。なお、図９中のＧＡＰ（Ｇｌｏｂａｌ Ａｖｅｒａｇｅ Ｐｏｏｌｉｎｇ）とは、ＶＧＧ１６等のＣＮＮの最深段（最後の全結合の部分）の出力の次元削減を図るための技術である。このＧＡＰを利用して、図９中のＣＮＮ８０の最深段の出力を、２５６次元のベクトル等に変換する。また、上記のＶＧＧ１６は、ImageNetという大規模な画像データセットで学習された、１６層のＣＮＮモデルである。

ただし、上記図７のＳ１の商品特定処理は、顧客の店内行動情報も利用して、行われる。図１０を参照して、顧客の店内行動情報を利用した商品特定処理について、説明する。カメラ２は、図６等に示す所定領域７５を撮影可能な場所だけではなく、店内全体の各所に配置されている。図４に示すＡＩ分析サーバ８の行動追跡部４１は、店内の各所に設置されたカメラ２で撮影した画像を用いて、顧客の店内における行動を追跡して、顧客の店内行動情報（図１０に示す行動リスト８８等）を生成する。分析ボックス３の商品特定部２１は、商品特定用ＮＮモデル１８（図９中のＣＮＮ８０）に加えて、上記の顧客の店内行動情報（商品接触情報）も利用して、図７のＳ１の商品特定処理を行う。

上記の行動リスト８８の生成は、具体的には、以下のようにして行われる。まず、顧客の店内行動の追跡には、Ｐｅｒｓｏｎ Ｒｅ－Ｉｄｅｎｔｉｆｉｃａｔｉｏｎの技術を利用する。店内の各所に配置された各カメラ２による撮影画像を分析ボックス３のＣＰＵ１１（の主にＩＤ付与部２３）が分析して、その分析結果に基づき、ＡＩ分析サーバ８の行動追跡部４１（のＰｅｒｓｏｎ Ｒｅ－Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ用の学習済ＮＮモデル）が、店内の各カメラ２の撮影画像に映り込んだ同じ人物（顧客）の同定を行い、同じ顧客に、同じグローバルＩＤ（カメラ間を跨った顧客のＩＤ）を付与する。例えば、ＡＩ分析サーバ８の行動追跡部４１は、図１０における撮影画像７９ａに映り込んだ顧客８６ａと、この撮影画像７９ａを撮影したカメラとは異なるカメラ２による撮影画像７９ｂに映り込んだ顧客８６ｂとが同一人物であった場合に、同じグローバルＩＤを付与する。このＰｅｒｓｏｎ Ｒｅ－Ｉｄｅｎｔｉｆｉｃａｔｉｏｎの技術を利用して、店内の各カメラ２の撮影画像に映り込んだ顧客を追跡することができる。

また、ＡＩ分析サーバ８の行動追跡部４１は、分析ボックス３のＣＰＵ１１の骨格検出部２５により検出した各顧客の骨格（情報）に基づいて、各カメラ２のフレーム画像に映り込んだ各顧客の行動を推定する。具体的には、骨格検出部２５により検出した各顧客の骨格の時系列情報（例えば、図１０中の骨格情報８７ａ，８７ｂ等から構成される時系列に沿った骨格情報）を、再帰型ニューラルネットワーク（ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に入力して、骨格情報の時間的推移から、各顧客の行動を予測する。ＡＩ分析サーバ８の行動追跡部４１は、上記のＰｅｒｓｏｎ Ｒｅ－Ｉｄｅｎｔｉｆｉｃａｔｉｏｎの技術を利用して、各カメラ２に映り込んだ同一の顧客に同一のグローバルＩＤを付与しつつ、この顧客の骨格の時系列情報をＲＮＮに入力することにより当該顧客の行動を推定して、この推定結果に基づいて、図１０に示すように、当該顧客の行動リスト８８を生成する。

分析ボックス３のＣＰＵ１１の商品特定部２１が、ある顧客が購入しようとする商品を特定するときに、当該顧客の行動リスト８８に含まれる、この顧客がどこで商品と接触したか（どの棚のどの段の商品と接触したか）という情報を用いて商品特定を行うことにより（例えば、当該顧客が接触する可能性のある商品のアンカーに絞って上記の商品特定を行うことにより）、商品特定の精度を向上させることができる。

この不正防止システム１では、図７のＳ３に示したように、顧客が商品のバーコードをスキャンさせるように促されたときに、ＡＩ分析サーバ８の不正判定部４２が、顧客によるバーコードのスキャン結果、及び顧客の店内行動情報（上記の行動リスト８８）を用いて、顧客が不正行動を行ったか否かを判定して、不正判定部４２により顧客が不正行動を行ったと判定されたときに、ＡＩ分析サーバ８の通知部４３が、顧客と店員の少なくとも一方（できれば両方）に、所定の通知を行うようにする。

例えば、顧客が商品のバーコードをスキャンさせるように促されたときに、図１１中の商品特定リスト７７に示すように、顧客がカメラ２ａ又はカメラ２ｂにより読み取らせたバーコード情報（ＪＡＮコード）が、１２３４５６７８であり、ＪＡＮコード＝１２３４５６７８が菓子を表すとする。この場合には、図１１中の行動リスト８８からは、顧客が商品のバーコードをスキャンさせるように促された商品は、薬又は酒であることが想定されるのに、異なっているので、ＡＩ分析サーバ８の不正判定部４２は、顧客が万引きしたとか、顧客が自分で持ち込んだ別の商品のバーコードを読み取らせるという不正行動を行った可能性があると判定する。また、図１１中の行動リスト８８によれば、顧客が３か所で商品と接触したのに、商品特定リスト７７によれば、顧客が（ビニール袋に）袋詰めした（上記の所定領域７５に入り込んだ）商品数が２点しかないので、ＡＩ分析サーバ８の不正判定部４２は、顧客が万引きという不正行動を行った可能性があると判定する。

上記のように、不正判定部４２により顧客が不正行動を行ったと判定されたときには、ＡＩ分析サーバ８の通知部４３が、例えば、図１１に示すように、タブレット端末６のタッチパネル６ｂに、「大変申し訳ございません。お客様が袋詰した商品が適切に読み取られなかった可能性があります。まもなく店員が参りますので、しばらくお待ちください。」というメッセージを表示して、顧客に、商品のバーコードのスキャン（読み取り）結果に問題があった旨を通知する。また、この通知と同時に、店員に、該当の（行動リスト８８におけるグローバルＩＤ＝００１の）顧客が万引き等の不正行動を行った可能性がある旨を通知する。

次に、図１２を参照して、上記のＡＩ分析サーバ８の不正判定部４２により顧客が不正行動を行ったと判定されたときに、オペレータ８９が検証用端末７から行う検証処理について、説明する。ＡＩ分析サーバ８の検証部４４は、不正判定部４２により顧客が不正行動を行ったと判定されたときに、顧客が上記の不正行動を行ったと思われる時刻に、上記の所定領域７５を撮影可能な場所に設置されたカメラ２ａとカメラ２ｂ（図６及び図８参照）により撮影された画像と、行動追跡部４１が生成した顧客の店内行動情報（行動リスト８８を含む）とを検証用端末７の画面に表示させて、不正判定部４２による判定結果に対する、オペレータ８９の検証結果を受け付ける。不正判定部４２による判定結果に対するオペレータ８９の検証結果が、顧客が不正行動を行ったという検証結果である場合には、ＡＩ分析サーバ８のハードディスク３２は、検証部４４により受け付けられた検証結果を含む、顧客の不正情報４７を保持（記憶）する。この不正情報４７には、図１２に示す行動リスト８８と商品特定リスト７７が含まれている。

図１３乃至図２３の検証用画面を参照して、上記のオペレータ８９が検証用端末７から行う検証処理について、詳細に説明する。図１３は、検証用端末７の検証システムへのログイン時に、ディスプレイ９０に表示されるログイン画面９１を示す。オペレータ８９は、検証システムへのログイン時にはユーザＩＤ入力欄９１ａとパスワード入力欄９１ｂとに、ユーザＩＤとパスワードとを入力して、検証用端末７のマウスで、ログインボタン９１ｃをクリックする。これにより、検証システムへのログインが完了し、ディスプレイ９０に表示される画面が、図１４に示す第１メイン画面９２に遷移する。なお、図１３乃至図２３におけるＰは、マウスポインタを表す。

図１４に示す第１メイン画面９２は、ＡＩ分析サーバ８の通信部３６から検証用端末７に送られた検証依頼が何件溜まっているかを示す画面である。図１４に示すように、オペレータ８９が、マウスで、画面上の件数表示欄９２ａをクリックすると、ディスプレイ９０に表示される画面は、図１５に示す第２メイン画面９３に遷移する。この第２メイン画面９３を開いたときには、ＡＩ分析サーバ８から検証用端末７に送られた各検証依頼の番号と発生日時と詳細ボタン９３ｄが表示される。オペレータ８９が、この第２メイン画面９３に表示された各検証依頼のうち、これから検証を行う検証依頼の詳細ボタン９３ｄをクリックすることにより、図１５に示すように、これから検証を行う検証依頼に対応する不正情報４７の概要である行動リスト８８と商品特定リスト７７が表示される。

上記の第２メイン画面９３において、オペレータ８９が、（不正判定部４２が不正行動を行ったと判定した根拠となる、）顧客によるバーコード・スキャンの対象になった商品が何であったのかを確認するために、図１６に示すように、第２メイン画面９３における詳細映像ボタン９３ａをマウスでクリックすると、ディスプレイ９０における第２メイン画面９３の上に、図１７に示す映像確認画面９４が重畳表示される。この映像確認画面９４は、図１７に示すように、顧客が上記の不正行動を行ったと思われる時刻に、上記の所定領域７５を撮影可能な場所に設置されたカメラ２ａとカメラ２ｂ（図６及び図８参照）により撮影された画像（フレーム画像）を表示する。なお、図１７において、「上面カメラ」というタイトルの下に表示された画像９４ｂ～９４ｄと、「下面カメラ」というタイトルの下に表示された画像９４ｅ～９４ｇは、それぞれ、カメラ２ａとカメラ２ｂとにより、顧客が上記の不正行動を行ったと思われる時刻に撮影した画像である。

映像確認画面９４において、オペレータ８９が、顧客によるバーコード・スキャンの対象になった商品を確認するために、顧客の手等で商品の一部が隠された画像（例えば、画像９４ｂ～９４ｄ）から手等を除いた画像を見たい場合には、オペレータ８９は、図１７に示すように、画像復元ボタン９４ａをマウスでクリックする。これにより、ディスプレイ９０における第２メイン画面９３の上に重畳表示される画面が、図１８に示す画像選択画面９５に遷移する。この画像選択画面９５に表示される「復元する画像の基になる画像を左の画像より選択して下さい」というメッセージに従って、オペレータ８９が、復元したい画像の基になる画像（図１８の例では、画像９４ｃ）を、マウスでクリックして選択すると、ディスプレイ９０における第２メイン画面９３の上に重畳表示される画面が、図１９に示す削除領域選択画面９６に遷移する。

図１９に示すように、削除領域選択画面９６には、図１８に示す画像選択画面９５でオペレータ８９が選択した画像９４ｃが拡大表示されると共に、「削除する領域を塗りつぶして下さい」というメッセージが表示される。このメッセージに従って、オペレータ８９が、例えば、マウスによるドラッグ操作で、画像９４ｃにおける削除したい領域（図１９の場合は、手画像９６ｂの領域）を塗りつぶした上で、復元ボタン９６ａをマウスでクリックすると、ディスプレイ９０における第２メイン画面９３の上に重畳表示される画面が、図２０に示す復元画像表示画面９７に遷移する。

図２０に示すように、復元画像表示画面９７には、復元画像９７ａが表示される。この復元画像９７ａにおける商品画像９７ｂは、検証用端末７のＣＰＵが、図１９に示す画像９４ｃにおける、手で隠れていない部分の画像や、図１８等に示す画像９４ｃ以外のフレーム画像（画像９４ｂ、及び画像９４ｄ～９４ｇ）から、画像９４ｃに映り込んだ商品を類推して、管理サーバ１０等に格納（登録）された上記の類推結果の商品の各方向からの撮影画像に基づいて、画像９４ｃにおける手で隠れていない部分の画像を復元することにより、生成される。

オペレータ８９は、上記の復元画像９７ａにおける商品画像９７ｂを見て、顧客の不正行動に関連する商品を確認すると、クローズ・ボタン９７ｃをマウスでクリックする。この操作に応じて、図２０に示す復元画像表示画面９７が閉じる。

また、オペレータ８９が、不正判定部４２が不正行動を行ったと判定した顧客の店内行動情報を詳細に確認したい場合には、図２１に示すように、第２メイン画面９３における行動履歴ボタン９３ｂをマウスでクリックする。この操作に応じて、検証用端末７のＣＰＵが、ディスプレイ９０における第２メイン画面９３の上に、図２２に示す商品アクセス履歴画面９８を重畳表示する。

図２２に示すように、上記の商品アクセス履歴画面９８には、第２メイン画面９３に表示される行動リスト８８に記載された顧客の店内行動情報のうち、顧客が商品とアクセスした時の詳細情報である商品アクセス履歴情報９８ａが表示される。この商品アクセス履歴情報９８ａには、カメラ２で撮影された顧客が商品とアクセス（接触）した時の画像（商品アクセス時画像９８ｂ）と、顧客が商品とアクセスした場所（例えば、お菓子コーナーの棚（菓子棚）の３段目）に陳列された商品の情報（商品情報９８ｃ）が含まれる。請求項における「顧客の店内行動情報」には、上記の行動リスト８８に加えて、この商品アクセス履歴情報９８ａが含まれる。行動リスト８８と同様に、商品アクセス履歴情報９８ａも、ＡＩ分析サーバ８の行動追跡部４１が、生成する。具体的には、ＡＩ分析サーバ８の行動追跡部４１は、Ｐｅｒｓｏｎ Ｒｅ－Ｉｄｅｎｔｉｆｉｃａｔｉｏｎの技術を利用して、各カメラ２に映り込んだ同一の顧客に同一のグローバルＩＤを付与しつつ、この顧客の骨格の時系列情報をＲＮＮに入力することにより当該顧客の行動を推定して、この推定結果と、店内の各所に設置されたカメラ２で撮影した画像に基づいて、商品アクセス履歴情報９８ａを生成する。

オペレータ８９が、上記の顧客の不正行動に関連する商品の確認処理と、顧客の店内行動情報の詳細の確認処理を行った結果、顧客が不正行動を行ったと判断した場合には、図２３に示すように、第２メイン画面９３における不正登録ボタン９３ｃをマウスでクリックする。この操作に応じて、検証用端末７のＣＰＵと通信部が、顧客が不正行動を行ったという検証結果を含む、顧客の不正情報４７を、ＡＩ分析サーバ８に送信する。ＡＩ分析サーバ８の通信部３６は、検証用端末７から、顧客の不正情報４７を受信すると、この不正情報４７をハードディスク３２に保持（記憶）する。なお、上述したように、不正情報４７には、図２３等に示す行動リスト８８と商品特定リスト７７が含まれている。この不正情報４７には、図１７等に示す画像９４ｂ～９４ｇや、図２０に示す復元画像９７ａや、図２２に示す商品アクセス履歴情報９８ａが含まれていてもよい。

本不正防止システム１では、上記のオペレータ８９による検証の結果、不正行動を行ったと判断された顧客の再来店時に、この顧客を検出する。この不正行動を行った顧客の再来店時における検出処理について、図２４を参照して説明する。具体的には、ＡＩ分析サーバ８の顔認証情報生成部４５は、まず、ハードディスク３２に保持された不正情報４７に対応する不正行動を行った顧客の入店時の画像（図２４中の不正顧客入店時画像９９ａ）を、分析ボックス３のハードディスク１２に格納された映像データから取得する。そして、この不正顧客入店時画像９９ａから、人の検出を行い、さらに、検出した人の顔領域を検出して、不正行動を行った顧客の顔画像９９ｃを得る。次に、ＡＩ分析サーバ８の顔認証情報生成部４５は、この顧客の顔画像９９ｃを、ＣＮＮ９９ｄに入力して、顔特徴量ベクトル９９ｅを取得して、この顔特徴量ベクトル９９ｅを、不正行動を行った顧客の顔認証情報４８として、ハードディスク３２に記憶する。ＣＮＮ９９ｄは、上記のＣＮＮ８０と同様に、ＣＮＮの損失関数を、Ｔｒｉｐｌｅｔ Ｌｏｓｓ等のＤｅｅｐ Ｍｅｔｒｉｃ Ｌｅａｒｎｉｎｇ用の損失関数に入れ替えて、学習を行わせたもので、同一人物の顔であれば、出力する顔特徴量ベクトル９９ｅが近接するように学習された学習済モデルである。

次に、ＡＩ分析サーバ８の再来店検出部４６が、カメラ２により撮影した新たに来店した顧客の顔画像を、分析ボックス３のハードディスク１２に格納された映像データから取得して上記のＣＮＮ９９ｄに入力し、新たに来店した顧客の顔特徴量ベクトル９９ｅを取得する。そして、再来店検出部４６は、この新たに来店した顔特徴量ベクトル９９ｅと、ハードディスク３２に記憶された不正行動を行った顧客の顔特徴量ベクトル９９ｅ（顔認証情報４８）とを比較することにより、不正行動を行った顧客を再来店時に検出する。この不正行動を行った顧客の検出情報は、店舗Ｓの店員や警備員の持つモバイル端末等に送信されて、店員や警備員に報知される。なお、上記の新たに来店した顧客の顔特徴量ベクトルの生成処理を、ＡＩ分析サーバ８側ではなく、分析ボックス３側で行い、分析ボックス３側で生成した顔特徴量ベクトルを、ＡＩ分析サーバ８に送信して、ＡＩ分析サーバ８の再来店検出部４６が、分析ボックス３から送信された顔特徴量ベクトルと、ハードディスク３２に記憶された不正行動を行った顧客の顔特徴量ベクトル９９ｅとを比較することにより、不正行動を行った顧客を再来店時に検出してもよい。

次に、主に図５を参照して、本不正防止システム１に採用されている、商品特定用ＮＮモデル１８による商品特定の精度を向上させるための工夫について説明する。この不正防止システム１では、上記図７のＳ３、及び図８に示すように、分析ボックス３の再特定部２２が顧客にバーコードのスキャンを促したときに、図５に示すように、学習サーバ９の再学習用データセット生成部６７が、上記の分析ボックス３の商品特定用ＮＮモデル１８（図２参照）の再学習用データセット６８を生成する。より詳細に説明すると、学習サーバ９の再学習用データセット生成部６７は、上記図７のＳ３に示すバーコード・スキャンの催促に応じて顧客が行ったバーコード・スキャンで得られた商品再特定情報（主に、ＪＡＮコード）と、図６及び図８中のカメラ２ａとカメラ２ｂで撮影した画像から検出した商品の部分の画像である商品画像と、分析ボックス３の商品特定部２１による特定結果である商品特定情報（商品分類用の情報）とを組み合わせて、上記の再学習用データセット６８を自動生成する。

そして、図５に示すように、学習サーバ９のＣＰＵ６１の再学習部６９が、上記の再学習用データセット６８を用いて、上記の商品特定用ＮＮモデル１８の再学習を行うことにより、商品特定用ＮＮモデル１８による商品特定の精度を向上させることができる。

上記のように、本実施形態の不正防止システム１、及び不正防止プログラム５５によれば、顧客が、故意又は過失により、購入しようとする商品を、カメラ２ａ，２ｂで撮影しにくいようにした（例えば、手で商品を隠したりした）ために、学習済の商品特定用ＮＮモデル１８により商品を特定することができなかった場合でも、特定することができなかった商品のバーコードをスキャンするように顧客に促すことができるので、セルフレジ３０における顧客の不正行動を防止することができる。

また、本実施形態の不正防止システム１によれば、店内の各所に設置されたカメラ２で撮影した画像を用いて、顧客の店内における行動を追跡して、顧客の行動リスト８８を含む店内行動情報を生成して、分析ボックス３の商品特定部２１が、この顧客の行動リスト８８等の店内行動情報を用いて、商品特定の対象になる商品を絞り込むようにした。これにより、商品特定の精度を向上させることができる。

また、本実施形態の不正防止システム１によれば、顧客にバーコードのスキャンを促したときに、顧客によるバーコードのスキャン結果、及び顧客の行動リスト８８を用いて、顧客が不正行動を行ったか否かを判定して、顧客が不正行動を行ったと判定したときに、顧客又は店員に、所定の通知（例えば、顧客が不正行動を行った可能性がある旨の通知）を行うようにした。これにより、セルフレジ３０において顧客の万引き等の不正行動があった場合でも、この不正行為の成功を防ぐことができる。

また、本実施形態の不正防止システム１によれば、ＡＩ分析サーバ８の不正判定部４２により顧客が不正行動を行ったと判定されたときに、顧客が上記の不正行動を行ったと思われる時刻に、上記の所定領域７５を撮影可能な場所に設置されたカメラ２ａとカメラ２ｂ（図６及び図８参照）により撮影された画像と、行動追跡部４１が生成した顧客の店内行動情報（行動リスト８８を含む）とを検証用端末７の画面に表示させて、不正判定部４２による判定結果に対する、オペレータ８９の検証結果を受け付けるようにした。そして、不正判定部４２による判定結果に対する、オペレータ８９の検証結果が、顧客が不正行動を行ったという検証結果である場合には、受け付けた検証結果を含む、顧客の不正情報４７を、ＡＩ分析サーバ８のハードディスク３２に保持するようにした。これにより、検証を経た、確実に不正行動を行った顧客の不正情報４７を保持することができるので、この不正情報４７を用いて、不正行動を行った顧客を要注意人物としてマークすることができる。また、この不正行動を行った顧客の不正情報４７を警備会社や警察等に送信して、この顧客の不正行動を警備会社や警察等に報知することができる。

また、本実施形態の不正防止システム１によれば、カメラ２により撮影した新たに来店した顧客の顔画像から生成された、新たに来店した顧客の顔特徴量ベクトル９９ｅと、ハードディスク３２に記憶された不正行動を行った顧客の顔特徴量ベクトル９９ｅ（顔認証情報４８）とを比較することにより、不正行動を行った顧客を再来店時に検出するようにした。これにより、不正行動を行った顧客が再来店したことを、店員や警備員に報知して、該当の顧客が再び、万引き等の不正行動を行うことを未然に防止することができる。

また、本実施形態の不正防止システム１によれば、上記図７のＳ３に示すように、顧客にバーコードのスキャンを促したときに、顧客によるバーコードのスキャンで得られた商品再特定情報（主に、ＪＡＮコード）と、図６及び図８中のカメラ２ａとカメラ２ｂで撮影した画像に基づく商品画像と、商品特定部２１（商品特定用ＮＮモデル１８）による特定結果である商品特定情報（商品分類用の情報）とを組み合わせて、商品特定用ＮＮモデル１８の再学習用データセット６８を自動生成するようにした。この再学習用データセット６８を用いて、商品特定用ＮＮモデル１８の再学習を行うことにより、商品特定用ＮＮモデル１８による商品特定の精度を向上させることができる。

次に、図２５乃至図３１を参照して、第１の実施形態の変形例の不正防止システム１０１（図２８参照）について、説明する。図２５乃至図３１では、第１の実施形態の不正防止システム１と同様な部材については、同じ番号を付して、その説明を省略する。この変形例の不正防止システム１０１では、ガラス製の商品置台１２０におかれた商品７６の特定（と入力（スキャン））を行う点と、商品置台１２０におかれた商品７６の消費期限を識別して（読み取って）、この消費期限を用いて商品の消費期限を管理する点が、第１の実施形態における不正防止システム１と異なる。

図２５に示すように、この変形例におけるセルフレジ１３０は、ガラス製の商品置台１２０と、商品特定用（商品入力用）のカメラ２ａ（上面カメラ）及びカメラ２ｂ（下面カメラ）と、タブレット端末６と、これらを保持する筐体１１１とを備えている。このセルフレジ１３０においても、第１の実施形態のセルフレジ３０と同様に、図６に示すように、顧客が、自分のスマートフォン７０のディスプレイ７１に、自分の認証用のＱＲコード（登録商標）７２を表示してタブレット端末６に近づけると、ＱＲコード（登録商標）７２をタブレット端末６の内蔵カメラ６ａが読み取って、タブレット端末６（のＣＰＵ）が、この顧客の認証を行い、この顧客のアカウントにログインする。そして、このセルフレジ１３０において、顧客が商品置台１２０に商品７６を置くと、カメラ２ａ及びカメラ２ｂで撮影した商品７６の画像を用いて、上記の分析ボックス３の商品特定部２１による商品特定と、分析ボックス３の消費期限識別部１２６（図３０参照）による商品７６の消費期限の識別が行われる。消費期限識別部１２６（請求項における「消費期限識別手段」）は、商品置台１２０上の所定領域１７５に入り込んだ商品７６をカメラ２ａ及びカメラ２ｂで撮影した画像を、図２９に示す消費期限識別用ＮＮモデル１１９（請求項における「第２の物体認識用機械学習済モデル」）に入力して、この消費期限識別用ＮＮモデル１１９の出力から、商品７６の消費期限を識別する。

図２６は、（商品置台１２０の上面側に配された）カメラ２ａからの撮影画像１７８と、（商品置台１２０の下面側に配された）カメラ２ｂからの撮影画像１７９とを示す。図２６において、実線のバウンディングボックス１８１で囲まれた商品の画像は、消費期限識別部１２６が上面側のカメラ２ａによる撮影画像１７８から消費期限を識別することができた商品の画像であり、バウンディングボックス１８２で囲まれた商品の画像は、消費期限識別部１２６が下面側のカメラ２ｂによる撮影画像１７９から消費期限を識別することができた商品の画像である。図２６の例の場合は、撮影画像１７８、１７９における一番左側の商品については、上面側のカメラ２ａによる撮影画像１７８から商品の特定が可能であり、バウンディングボックス１８２に示すように、下面側のカメラ２ｂによる撮影画像１７９から消費期限を識別することができる。また、撮影画像１７８、１７９における真ん中の商品については、下面側のカメラ２ｂによる撮影画像１７９から商品の特定が可能であり、バウンディングボックス１８１に示すように、上面側のカメラ２ａによる撮影画像１７８から消費期限を識別することができる。

ただし、撮影画像１７８、１７９における一番右側の商品のように、商品７６が商品置台１２０に縦置き等されて、分析ボックス３の商品特定部２１が、上面側のカメラ２ａによる撮影画像１７８からも、下面側のカメラ２ｂによる撮影画像１７９からも、商品７６の特定を行うことができない場合には、分析ボックス３のＣＰＵ１１が、商品７６の置く向きを変えてほしいという趣旨のメッセージを、タブレット端末６のタッチパネル６ｂ上に表示する。また、分析ボックス３の商品特定部２１が商品７６の特定を行うことはできるが、分析ボックス３の消費期限識別部１２６が、上面側のカメラ２ａによる撮影画像１７８からも、下面側のカメラ２ｂによる撮影画像１７９からも、商品７６の消費期限の識別を行うことができない場合には、分析ボックス３のＣＰＵ１１が、図２７に示すように、消費期限識別に失敗したことを示す一点鎖線のバウンディングボックス１８３で商品７６の画像を囲むと共に、この商品７６の消費期限が見える向きの画像の表示と、商品７６の置く向きを変えてほしいという趣旨のメッセージとを含むワーニング表示１８４を、タブレット端末６のタッチパネル６ｂ上に表示する。

上記のように、商品７６の特定を行うことができない場合や、商品７６の消費期限の識別を行うことができない場合には、タッチパネル６ｂ上にメッセージが表示されて、顧客による商品置台１２０への商品７６の置き直しが促される。そして、顧客が、上記のメッセージに応えて、商品７６の向きを変えて商品置台１２０に置き直すと、分析ボックス３のＣＰＵ１１が、再度、商品特定部２１による商品７６の特定と、消費期限識別部１２６による商品７６の消費期限の識別を、やり直す。このようにして、商品置台１２０に置かれた全ての商品７６の特定と消費期限の識別が完了すると、分析ボックス３のＣＰＵ１１からの指示に従って、タブレット端末６のＣＰＵが、タッチパネル６ｂ上に、顧客に次の商品群を置くことを促すメッセージを表示する。そして、顧客は、このメッセージに従って、次の商品群を置く。

上記のようにして、この顧客の全ての商品７６についての商品特定と消費期限の識別が完了すると、第１の実施形態のセルフレジ３０の場合と同様に、顧客が、タブレット端末６のタッチパネル６ｂに表示された決済ボタン（不図示）をタッチすることにより、購入した商品の決済が行われる。なお、この変形例の不正防止システム１０１では、上記のワーニング表示１８４における、商品７６の消費期限が見える向きの表示を行うために、新しい商品の登録時に、この商品７６のバーコードに加えて、この商品７６の消費期限が見える向きの画像を、ＡＩ分析サーバ８等に登録する。

上記の消費期限識別部１２６により識別した各商品の消費期限は、各商品の在庫管理と消費期限管理に利用される。

図２８は、第１の実施形態の変形例の不正防止システム１０１の概略のハードウェア構成を示すブロック構成図である。この図２８では、図１に示す第１の実施形態の不正防止システム１のブロック構成図と異なり、サッキング・コーナーＳＣに配置されるセルフレジが、ガラス製の商品置台を有するセルフレジ１３０である。上記の点以外は、図２８は、基本的に、図１と同様であるので、同じ番号を付して、その説明を省略する。

図２９は、第１の実施形態の変形例の不正防止システム１０１の分析ボックス３のハードウェア構成と、ハードディスク１２に格納されたデータ及びプログラムとを示す。この図２９では、アプリパッケージ１７（不正防止プログラム）に、消費期限識別用ＮＮモデル１１９を含む点のみが、第１の実施形態における図２と異なる。上記の点以外は、図２９は、基本的に、図２と同様であるので、同じ番号を付して、その説明を省略する。

図３０は、第１の実施形態の変形例の不正防止システム１０１の分析ボックス３におけるＣＰＵ１１の機能ブロックを示す。この変形例の分析ボックス３におけるＣＰＵ１１は、図３に示す第１の実施形態の分析ボックス３におけるＣＰＵ１１と同じ機能ブロックに加えて、消費期限識別部１２６（請求項における「消費期限識別手段」）を備えている。この消費期限識別部１２６は、顧客が商品を、上記の商品置台１２０上の所定領域１７５に移動させたときに、上面側のカメラ２ａ及び下面側のカメラ２ｂで撮影した画像を用いて、消費期限識別用ＮＮモデル１１９により、所定領域１７５に入り込んだ商品の消費期限を識別する。上記の点以外は、図３０は、基本的に、第１の実施形態における図３と同様であるので、同じ番号を付して、その説明を省略する。

図３１は、第１の実施形態の変形例の不正防止システム１０１のＡＩ分析サーバ８のハードウェア構成を示す。この変形例のＡＩ分析サーバ８におけるＣＰＵ３１は、図４に示す第１の実施形態のＡＩ分析サーバ８におけるＣＰＵ３１と同じ機能ブロックに加えて、消費期限管理部１４６（請求項における「消費期限管理手段」）を備えている。この消費期限管理部１４６は、上記の消費期限識別部１２６により識別した各商品の消費期限を用いて、商品特定部２１により特定した商品の消費期限を管理する。上記の点以外は、図３１は、基本的に、第１の実施形態における図４と同様であるので、同じ番号を付して、その説明を省略する。

上記のように、第１の実施形態の変形例の不正防止システム１０１によれば、顧客が商品を、上記の商品置台１２０上の所定領域１７５に移動させたときに、上面側のカメラ２ａ及び下面側のカメラ２ｂで撮影した画像を用いて、消費期限識別用ＮＮモデル１１９により、所定領域１７５に入り込んだ商品の消費期限を識別するようにした。そして、識別した商品の消費期限を用いて、商品特定部２１により特定した（顧客に購入された）商品の在庫（陳列点数）と消費期限を管理するようにした。これにより、各商品の在庫（陳列点数）と消費期限とを簡単に管理することができる。

次に、図３２を参照して、第２の実施形態による不正防止システム２０１（図３３参照）におけるセルフレジ２３０の仕組み（商品の入力（スキャン）と精算の仕組み）について、説明する。このセルフレジ２３０では、分析ボックス２０３（図３３参照）のＣＰＵの商品特定部（不図示）が、ショッピンカート２１１に取り付けられたカメラ２０２ａ，２０２ｂで撮影された画像を用いて商品を特定する点と、第１の実施形態におけるタブレット端末６の代わりに、スマートフォン２７０を用いて、顧客のアカウントへのログインと決済の操作を行う点が、第１の実施形態におけるセルフレジ３０と異なる。

具体的には、図３２に示すセルフレジ２３０において、顧客が、ショッピンカート２１１に買い物かご２７３（顧客のマイバッグでもよい）を置き、自分のスマートフォン２７０にインストールしたアプリケーションを用いて、不正防止システム２０１における自分のアカウントにログインする。これにより、この顧客が、セルフレジ２３０で、商品の入力や精算を行うことができるようになる。このセルフレジ２３０では、顧客が買い物かご２７３に商品を入れる度に、所定領域２７５に入り込んだ商品を、上記のカメラ２０２ａ，２０２ｂで撮影して、分析ボックス２０３のＣＰＵの商品特定部が、上記の撮影画像を用いて上記の商品を特定することで、商品の入力（スキャン）を行う。そして、顧客が、買い物を終了して、ショッピンカート２１１を戻す時に、スマートフォン２７０のタッチパネル上に表示された、上記のアプリケーションの画面における決済ボタン（不図示）を指でタッチすることにより、購入した商品の決済が行われる。

図３３は、第２の実施形態による不正防止システム２０１の概略のハードウェア構成を示すブロック構成図である。第２の実施形態の不正防止システム２０１では、第１の実施形態による不正防止システム１と異なり、サッキング・コーナーＳＣにタブレット端末６が配置されておらず、スマートフォン２７０が、無線で、アクセスポイント機能を有するハブ２０５に接続されている。また、上述したように、第２の実施形態では、第１の実施形態と異なり、商品特定用の画像の撮影に用いられるカメラが、サッキング・コーナーＳＣに設置されたカメラ２ａ、２ｂではなく、ショッピンカート２１１に取り付けられたカメラ２０２ａ，２０２ｂである。第２の実施形態による不正防止システム２０１のハードウェア構成は、上記の点以外は、基本的に、第１の実施形態の不正防止システム１と同様であるので、同じ番号を付して、その説明を省略する。なお、図３３における、分析ボックス２０３、ＬＡＮ２０４、検証用端末２０７、ＡＩ分析サーバ２０８、学習サーバ２０９、管理サーバ２１０は、それぞれ、図１における分析ボックス３、ＬＡＮ４、検証用端末７、ＡＩ分析サーバ８、学習サーバ９、管理サーバ１０に相当する。

次に、図３４を参照して、第３の実施形態による不正防止システム３０１（図３５参照）におけるセルフレジ３３０の仕組み（商品の入力（スキャン）と精算の仕組み）について、説明する。このセルフレジ３３０では、分析ボックス３０３（図３３参照）のＣＰＵの商品特定部（不図示）が、スマートフォン３７０のカメラ（スマホカメラ３７１）で撮影された画像を用いて商品を特定する点と、顧客のアカウントへのログインと決済の操作が、第１の実施形態におけるセルフレジ３０と異なる。

具体的には、図３４に示すセルフレジ３３０において、顧客が、買い物かご３７３の横に設置されているスマホ挿入部３７３ａに、スマートフォン３７０を横方向から挿入（セット）して、スマートフォン３７０の端部のコネクタを、スマホ挿入部３７３ａ側のコネクタに接続する。この操作に応じて、スマートフォン３７０のＣＰＵが、スマートフォン３７０にインストールされたアプリケーション（スマホアプリ）を起動して、不正防止システム３０１における該当の顧客のアカウントにログインする。これにより、この顧客が、セルフレジ３３０で、商品の入力や精算を行うことができるようになる。このセルフレジ３３０では、顧客が買い物かご３７３に商品を入れる度に、所定領域３７５に入り込んだ商品を、上記のスマホカメラ３７１で撮影して、分析ボックス３０３のＣＰＵの商品特定部が、上記の撮影画像を用いて上記の商品を特定することで、商品の入力（スキャン）を行う。そして、顧客が、買い物を終了して、スマホ挿入部３７３ａからスマートフォン３７０を取り外すと、スマートフォン３７０のＣＰＵが、上記のスマホアプリを用いて、この顧客の買い物が終了したことを、クラウドＣ上のサーバ（例えば、図３５中の管理サーバ３１０）に通知する。これにより、この顧客が購入した商品の決済が行われる。

図３５は、第３の実施形態による不正防止システム３０１の概略のハードウェア構成を示すブロック構成図である。第３の実施形態の不正防止システム３０１では、第２の実施形態の不正防止システム２０１と同様に、サッキング・コーナーＳＣにタブレット端末６が配置されておらず、スマートフォン３７０が、無線で、アクセスポイント機能を有するハブ３０５に接続されている。また、上述したように、第３の実施形態では、第１及び第２の実施形態と異なり、商品特定用の画像の撮影に用いられるカメラが、スマホカメラ３７１である。第３の実施形態による不正防止システム３０１のハードウェア構成は、上記の点以外は、基本的に、第１の実施形態と同様であるので、同じ番号を付して、その説明を省略する。なお、図３５における、分析ボックス３０３、ＬＡＮ３０４、検証用端末３０７、ＡＩ分析サーバ３０８、学習サーバ３０９、管理サーバ３１０は、それぞれ、図１における分析ボックス３、ＬＡＮ４、検証用端末７、ＡＩ分析サーバ８、学習サーバ９、管理サーバ１０に相当する。

変形例：
なお、本発明は、上記の各実施形態の構成に限られず、発明の趣旨を変更しない範囲で種々の変形が可能である。次に、本発明の変形例について説明する。

変形例１：
上記第１乃至第３の実施形態では、ＡＩ分析サーバのＣＰＵが、機能ブロックとして、行動追跡部と、不正判定部と、通知部と、検証部と、顔認証情報生成部と、再来店検出部とを備える場合の例を示したが、分析ボックスのＣＰＵが、図３に示す機能ブロック（商品特定部、再特定部、ＩＤ付与部、プロセッサ割当部、及び骨格検出部）に加えて、上記の機能ブロック（行動追跡部、不正判定部、通知部、検証部、顔認証情報生成部、及び再来店検出部）も備えるようにしてもよい。

また、上記と同様に、上記の第１の実施形態の変形例の不正防止システム１０１では、ＡＩ分析サーバ８のＣＰＵ３１が、機能ブロックとして、行動追跡部４１と、不正判定部４２と、通知部４３と、検証部４４と、顔認証情報生成部４５と、再来店検出部４６と、消費期限管理部１４６とを備える場合の例を示したが、分析ボックスのＣＰＵが、図３０に示す機能ブロック（商品特定部、再特定部、ＩＤ付与部、プロセッサ割当部、骨格検出部、及び消費期限識別部）に加えて、上記の機能ブロック（行動追跡部、不正判定部、通知部、検証部、顔認証情報生成部、再来店検出部、及び消費期限管理部）も備えるようにしてもよい。

変形例２：
上記第１の実施形態では、分析ボックス３のＣＰＵ１１の再特定部２２が、図８に示すように、タブレット端末６のタッチパネル６ｂにメッセージを表示して、商品のバーコードをスキャンさせるように、顧客に促したが、再特定部による顧客へのバーコード・スキャンの促し方は、これに限られず、例えば、タブレット端末のスピーカで、音声によるメッセージを出力することにより、顧客にバーコード・スキャンを促してもよいし、顧客のスマートフォンのタッチパネルやスピーカにメッセージを出力することにより、顧客にバーコード・スキャンを促してもよい。

変形例３：
上記第１乃至第３の実施形態では、商品特定用の学習済物体認識用ＮＮモデル（商品特定用ＮＮモデル１８）として、損失関数を、Ｔｒｉｐｌｅｔ Ｌｏｓｓ等のＤｅｅｐ Ｍｅｔｒｉｃ Ｌｅａｒｎｉｎｇ用の損失関数に入れ替えて学習させたＣＮＮ８０（図９参照）を用いる場合の例を示したが、商品特定用の学習済物体認識用ＮＮモデルとして、一般の損失関数（例えば、交差エントロピー誤差）を用いて学習させたＣＮＮ等の学習済物体認識用ＮＮモデル（例えば、ＶＧＧ１６）を用いてもよい。

また、上記第１乃至第３の実施形態では、請求項における「第１の物体認識用機械学習済モデル」及び「第２の物体認識用機械学習済モデル」が、学習済物体認識用ＮＮモデルである場合の例を示したが、請求項における「第１の物体認識用機械学習済モデル」及び「第２の物体認識用機械学習済モデル」は、必ずしも、これに限られず、物体認識用の機械学習済モデルであればよい。

変形例４：
上記第１の実施形態では、分析ボックス３のＣＰＵ１１の商品特定部２１が、商品特定用ＮＮモデル１８（ＣＮＮ８０）だけではなく、顧客の店内行動情報（図１０に示す行動リスト８８）も用いて、商品特定を行う場合の例を示したが、商品特定用ＮＮモデル１８（ＣＮＮ８０）からの出力のみを用いて、所定領域に入り込んだ商品を特定するようにしてもよい。

変形例５：
上記第１の実施形態では、ＡＩ分析サーバ８の不正判定部４２により顧客が不正行動を行ったと判定されたときでも、不正判定部４２による判定結果に対するオペレータ８９の検証結果が、顧客が不正行動を行ったという検証結果である場合に限り、この顧客を再来店時に検出するようにした。けれども、これに限られず、ＡＩ分析サーバ８の不正判定部４２により不正行動を行ったと判定された顧客については、無条件に、再来店時に検出するようにしてもよい。

変形例６：
上記第１の実施形態では、分析ボックス３のＣＰＵ１１が、商品特定部２１と、ＩＤ付与部２３と、骨格検出部２５とを備える構成にしたが、この構成に限られず、例えば、各店舗に配するカメラを、いわゆるエッジコンピューティング機能を有するＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）カメラにして、このＡＩカメラに、学習済の商品特定用ＮＮモデルと、学習済のベクトル化モデルと、学習済の骨格検出用ＮＮモデルと、これらのＮＮモデルの処理の順番を記載した制御用スクリプトとを備えたアプリパッケージをインストールして、ＡＩカメラが、上記の商品特定部と、ＩＤ付与部と、骨格検出部の機能を備えるようにしてもよい。

１，１０１，２０１，３０１ 不正防止システム
２，２ａ，２ｂ，２０２，２０２ａ，２０２ｂ，３０２ カメラ（撮影手段）
７，２０７，３０７ 検証用端末
１８ 商品特定用ＮＮモデル（第１の物体認識用機械学習済モデル）
２１ 商品特定部（商品特定手段）
２２ 再特定部（再特定手段）
３０，１３０，２３０，３３０ セルフレジ
３２ ハードディスク（不正情報保持手段、顔認証情報記憶手段）
４１ 行動追跡部（行動追跡手段）
４２ 不正判定部（不正判定手段）
４３ 通知部（通知手段）
４４ 検証部（検証手段）
４６ 再来店検出部（再来店検出手段）
４７ 不正情報
４８ 顔認証情報
５５ 不正防止プログラム
６７ 再学習用データセット生成部（再学習用データセット生成手段）
６８ 再学習用データセット
７５，１７５，２７５，３７５ 所定領域（所定の領域）
８０ ＣＮＮ（「第１の物体認識用機械学習済モデル」の例）
１１９ 消費期限識別用ＮＮモデル（第２の物体認識用機械学習済モデル）
１２６ 消費期限識別部（消費期限識別手段）
１４６ 消費期限管理部（消費期限管理手段）
３７１ スマホカメラ（撮影手段）

Claims (8)

1. 顧客が購入しようとする商品の入力と精算を自分で行うセルフレジにおける、前記顧客の不正行動を防止する不正防止システムであって、
   前記セルフレジにおいて前記顧客が購入しようとする商品の特定時に商品が位置するべき所定の領域を撮影可能な場所に設置された一つ以上の商品撮影手段と、
   前記顧客が前記商品を前記所定の領域に移動させたときに、前記商品撮影手段で撮影した画像を用いて、コンピュータにより第１の物体認識用機械学習済モデルで、前記所定の領域に入り込んだ商品を特定する商品特定手段と、
   前記商品特定手段による商品の特定の精度が所定値以下の場合は、この商品のバーコードをスキャンさせるように、コンピュータにより前記顧客に促す再特定手段と、
   店内の各所に設置されて、顧客を撮影する顧客撮影手段と、
   前記顧客撮影手段で撮影した画像を用いて、コンピュータにより、前記顧客の店内における行動を追跡して、前記顧客の店内行動情報を生成する行動追跡手段と、
   前記再特定手段が前記顧客に前記バーコードのスキャンを促したときに、前記顧客による前記バーコードのスキャン結果、及び前記顧客の店内行動情報を用いて、コンピュータにより、前記顧客が不正行動を行ったか否かを判定する不正判定手段と、
   前記不正判定手段により前記顧客が不正行動を行ったと判定されたときに、コンピュータにより、前記顧客が前記不正行動を行ったと思われる時刻に、前記セルフレジにおいて前記所定の領域を撮影可能な場所に設置された前記商品撮影手段により撮影された画像と、前記行動追跡手段が生成した前記顧客の店内行動情報とを検証用端末の画面に表示して、前記不正判定手段による判定結果に対するオペレータの検証結果を受け付ける検証手段と、
   前記不正判定手段による判定結果に対するオペレータの検証結果が、前記顧客が不正行動を行ったという検証結果である場合に、コンピュータによって、前記検証手段により受け付けられた前記検証結果を含む、前記顧客の不正情報を保持する不正情報保持手段とを備える不正防止システム。
2. 前記商品特定手段は、前記顧客の店内行動情報を用いて、コンピュータにより商品特定の対象になる商品を絞り込むことを特徴とする請求項１に記載の不正防止システム。
3. 前記不正判定手段により前記顧客が不正行動を行ったと判定されたときに、コンピュータによって、前記顧客又は店員に、所定の通知を行う通知手段をさらに備えることを特徴とする請求項１又は請求項２に記載の不正防止システム。
4. コンピュータによって、前記不正情報保持手段に保持された前記不正情報に対応する不正行動を行った顧客の顔画像から、前記顧客の顔認証のための顔認証情報を生成する顔認証情報生成手段と、
   前記顔認証情報生成手段により生成された、前記不正行動を行った顧客の顔認証情報を、コンピュータにより記憶する顔認証情報記憶手段と、
   コンピュータによって、前記顧客撮影手段により撮影した新たに来店した顧客の顔画像から生成された、新たに来店した顧客の顔認証情報と、前記顔認証情報記憶手段に記憶された前記不正行動を行った顧客の顔認証情報とを比較することにより、前記不正行動を行った前記顧客を再来店時に検出する再来店検出手段とをさらに備えることを特徴とする請求項１乃至請求項３のいずれか一項に記載の不正防止システム。
5. コンピュータによって、前記再特定手段が前記顧客に前記バーコードのスキャンを促したときに、前記顧客による前記バーコードのスキャンで得られた商品再特定情報と、前記商品撮影手段で撮影した画像に基づく商品画像と、前記商品特定手段による特定結果である商品特定情報とを組み合わせて、前記第１の物体認識用機械学習済モデルの再学習用データセットを自動生成する再学習用データセット生成手段をさらに備えることを特徴とする請求項１乃至請求項４のいずれか一項に記載の不正防止システム。
6. 前記行動追跡手段が生成する、前記顧客の店内行動情報には、前記顧客が商品とアクセスした時の詳細情報である商品アクセス履歴情報が含まれており、
   前記商品アクセス履歴情報は、前記顧客撮影手段で撮影された、顧客が商品とアクセスした時の画像である商品アクセス時画像と、前記顧客が商品とアクセスした場所に陳列された商品の情報とを含み、
   前記検証手段は、コンピュータにより、ユーザの指示操作に応じて、前記商品アクセス履歴情報を前記検証用端末の画面に表示することを特徴とする請求項１乃至請求項５のいずれか一項に記載の不正防止システム。
7. 前記検証手段は、前記検証用端末の画面に表示された、前記顧客が前記不正行動を行ったと思われる時刻に前記商品撮影手段により撮影された画像のうち、ユーザの指示操作により選択された画像について、ユーザの指示操作に応じて、コンピュータにより、前記選択された画像における手で隠れていない部分の画像、及び前記検証用端末の画面に表示された画像のうちの前記選択された画像以外の画像から、前記選択された画像に映り込んだ商品を類推し、この類推結果の商品の各方向からの撮影画像に基づいて、前記選択された画像における手で隠れていない部分の画像を復元することを特徴とする請求項１乃至請求項６のいずれか一項に記載の不正防止システム。
8. 顧客が購入しようとする商品の入力と精算を自分で行うセルフレジにおける、前記顧客の不正行動を防止するための不正防止プログラムであって、
   コンピュータを、
   前記セルフレジにおいて前記顧客が購入しようとする商品の特定時に商品が位置するべき所定の領域を撮影可能な場所に設置された一つ以上の商品撮影手段で撮影した画像を用いて、前記顧客が前記商品を前記所定の領域に移動させたときに、第１の物体認識用機械学習済モデルにより前記所定の領域に入り込んだ商品を特定する商品特定手段と、
   前記商品特定手段による商品の特定の精度が所定値以下の場合は、この商品のバーコードをスキャンさせるように、前記顧客に促す再特定手段と、
   店内の各所に設置されて、顧客を撮影する顧客撮影手段で撮影した画像を用いて、前記顧客の店内における行動を追跡して、前記顧客の店内行動情報を生成する行動追跡手段と、
   前記再特定手段が前記顧客に前記バーコードのスキャンを促したときに、前記顧客による前記バーコードのスキャン結果、及び前記顧客の店内行動情報を用いて、前記顧客が不正行動を行ったか否かを判定する不正判定手段と、
   前記不正判定手段により前記顧客が不正行動を行ったと判定されたときに、前記顧客が前記不正行動を行ったと思われる時刻に、前記セルフレジにおいて前記所定の領域を撮影可能な場所に設置された前記商品撮影手段により撮影された画像と、前記行動追跡手段が生成した前記顧客の店内行動情報とを検証用端末の画面に表示して、前記不正判定手段による判定結果に対するオペレータの検証結果を受け付ける検証手段と、
   前記不正判定手段による判定結果に対するオペレータの検証結果が、前記顧客が不正行動を行ったという検証結果である場合に、前記検証手段により受け付けられた前記検証結果を含む、前記顧客の不正情報を保持する不正情報保持手段として機能させるための不正防止プログラム。

Images