JP2023166411A - カメラ異常検出装置及びプログラム - Google Patents
カメラ異常検出装置及びプログラム Download PDFInfo
- Publication number
- JP2023166411A JP2023166411A JP2023132332A JP2023132332A JP2023166411A JP 2023166411 A JP2023166411 A JP 2023166411A JP 2023132332 A JP2023132332 A JP 2023132332A JP 2023132332 A JP2023132332 A JP 2023132332A JP 2023166411 A JP2023166411 A JP 2023166411A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- image
- processor
- basket
- act
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005856 abnormality Effects 0.000 title claims abstract description 23
- 238000001514 detection method Methods 0.000 title claims abstract description 22
- 230000008859 change Effects 0.000 claims description 18
- 230000000694 effects Effects 0.000 abstract description 7
- 238000012544 monitoring process Methods 0.000 abstract description 7
- 238000000034 method Methods 0.000 description 43
- 230000008569 process Effects 0.000 description 37
- 238000012545 processing Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 239000004744 fabric Substances 0.000 description 4
- 230000010365 information processing Effects 0.000 description 4
- 101100161935 Caenorhabditis elegans act-4 gene Proteins 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 102100031102 C-C motif chemokine 4 Human genes 0.000 description 1
- 101100054773 Caenorhabditis elegans act-2 gene Proteins 0.000 description 1
- 101100000858 Caenorhabditis elegans act-3 gene Proteins 0.000 description 1
- HEFNNWSXXWATRW-UHFFFAOYSA-N Ibuprofen Chemical compound CC(C)CC1=CC=C(C(C)C(O)=O)C=C1 HEFNNWSXXWATRW-UHFFFAOYSA-N 0.000 description 1
- 230000004308 accommodation Effects 0.000 description 1
- 230000003292 diminished effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000032258 transport Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/0036—Checkout procedures
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/634—Warning indications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Emergency Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Human Resources & Organizations (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Operations Research (AREA)
- Marketing (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Cash Registers Or Receiving Machines (AREA)
- Burglar Alarm Systems (AREA)
- Alarm Systems (AREA)
- Studio Devices (AREA)
Abstract
【課題】カメラの画角が遮られた状況をリアルタイムに検出して、カメラによる監視効果を高める。【解決手段】カメラ異常検出装置は、取得手段と、通知手段と、を備える。取得手段は、搬送体の籠受部に置かれた籠の内部を撮影可能に搬送体に設けられたカメラで撮影された画像から籠の上縁が写されていると推定される領域の画像を取得する。通知手段は、取得手段で取得した画像を基に、カメラの画角が遮られているか否かを通知する。【選択図】 図7
Description
本発明の実施形態は、カメラ異常検出装置及びコンピュータを当該カメラ異常検出装置として機能させるためのプログラムに関する。
近年、ショッピングカートを装備した小売店向けに、カートPOS(Point Of Sales)システムが提案されている。以下では、ショッピングカートをカートと称する。本システムは、カートにタッチパネル、スキャナ等を備えた情報端末を設ける。カートを使用する客は、買上商品をカートに載せる際に、その買上商品の識別コードをスキャナで読み取らせて商品登録を行う。このように、客自身が買い物をしながら商品登録を行うので、会計場、いわゆるレジの混雑を緩和できる。さらには、セルフ式の会計機を使用することで、買上商品の登録から会計までをフルセルフで行えるようになる。
一方、カートPOSシステムの場合、商品が陳列されている売場で客が買上商品をカートの籠受部に置かれた籠に入れる際に自ら商品登録を行うため、店員の目が届きにくい。そこで、籠受部に置かれた籠を撮影できるようにカートにカメラを設置して監視することが考えられる。しかしながら、カートにカメラを設置してもその画角が遮られてしまうと、籠を撮影できなくなるためカメラによる監視効果が薄れてしまう懸念がある。
本発明の実施形態が解決しようとする課題は、カメラの画角が遮られた状況をリアルタイムに検出でき、カメラによる監視効果を高め得るカメラ異常検出装置及びそのプログラムを提供しようとするものである。
一実施形態において、カメラ異常検出装置は、取得手段と、通知手段と、を備える。取得手段は、搬送体の籠受部に置かれた籠の内部を撮影可能に搬送体に設けられたカメラで撮影された画像から籠の上縁が写されていると推定される領域の画像を取得する。通知手段は、取得手段で取得した画像を基に、カメラの画角が遮られているか否かを通知する。
以下、カメラの画角が遮られた状況をリアルタイムに検出でき、カメラによる監視効果を高め得るカメラ異常検出装置の実施形態について、図面を用いて説明する。なお、この実施形態は、フルセルフ方式のカートPOSシステムで使用されるカートに取り付けられたカメラの画角が遮られた状況を異常として検出する場合である。
[第1の実施形態]
図1は、第1の実施形態に係るカートPOSシステム1の全体構成図である。カートPOSシステム1は、サーバ10、会計機20、情報端末30及びアテンダント端末40を含む。情報端末30は、カートCに設けられている。複数のカートCに、それぞれ情報端末30が設けられている。カートCは、そのカートCのユーザである客の買上商品を籠に入れて搬送する搬送体の一例である。
図1は、第1の実施形態に係るカートPOSシステム1の全体構成図である。カートPOSシステム1は、サーバ10、会計機20、情報端末30及びアテンダント端末40を含む。情報端末30は、カートCに設けられている。複数のカートCに、それぞれ情報端末30が設けられている。カートCは、そのカートCのユーザである客の買上商品を籠に入れて搬送する搬送体の一例である。
サーバ10、会計機20及びアテンダント端末40は、LAN(Local Area Network)等のネットワーク50に接続されている。ネットワーク50には、アクセスポイント51も接続されている。情報端末30は、無線ユニットを備えている。情報端末30は、アクセスポイント51と無線通信を行う。アクセスポイント51は、ネットワーク50に繋がる各機器、すなわちサーバ10、会計機20及びアテンダント端末40と、情報端末30との通信を中継する。アクセスポイント51は、図1では1台のみ示しているが、店舗の規模等により2台以上あってもよい。かくして情報端末30は、アクセスポイント51及びネットワーク50を介して、サーバ10、会計機20及びアテンダント端末40とデータ通信を行えるようになっている。
情報端末30は、買上商品の登録に係るデータ入力を客が自ら行うようにした機器である。会計機20は、買上商品の会計を客が自ら行うようにした機器である。すなわちカートPOSシステム1は、買上商品の登録から会計までを客が自ら行うフルセルフ方式を実現する。会計機20は、一店舗に複数台設置されていてもよい。図1では、1店舗に3台の会計機20が設置されたカートPOSシステム1を示している。
アテンダント端末40は、監視員、いわゆるアテンダントが常駐するアテンダントカウンタに設けられる。アテンダント端末40は、各情報端末30及び会計機20の状態を表示するための表示デバイスを備えている。アテンダントは、表示デバイスに表示される情報から、各情報端末30及び会計機20の状態をリアルタイムで監視する。
サーバ10は、情報端末30と会計機20との間で仮想のPOS端末としての機能を有する。すなわちサーバ10は、情報端末30で入力されたデータから買上商品のリストデータを作成する。サーバ10は、会計機20を使用する客を特定し、その客の買上商品のリストデータを当該会計機20に送信する。
図2は、情報端末30の要部回路構成を示すブロック図である。情報端末30は、プロセッサ31、メインメモリ32、補助記憶デバイス33、無線ユニット34、タッチパネル35、スキャナ36、リーダ37、カメラ38及びシステム伝送路39を備える。システム伝送路39は、アドレスバス、データバス、制御信号線等を含む。情報端末30では、システム伝送路39に、プロセッサ31、メインメモリ32、補助記憶デバイス33、無線ユニット34、タッチパネル35、スキャナ36、リーダ37、カメラ38を接続する。情報端末30では、プロセッサ31、メインメモリ32及び補助記憶デバイス33と、これらを接続するシステム伝送路39とによってコンピュータが構成される。
プロセッサ31は、上記コンピュータの中枢部分に相当する。プロセッサ31は、オペレーティングシステム又はアプリケーションプログラムに従って、情報端末30としての各種の機能を実現するべく各部を制御する。プロセッサ31は、例えばCPU(Central Processing Unit)である。
メインメモリ32は、上記コンピュータの主記憶部分に相当する。メインメモリ32は、不揮発性のメモリ領域と揮発性のメモリ領域とを含む。メインメモリ32は、不揮発性のメモリ領域ではオペレーティングシステム又はアプリケーションプログラムを記憶する。メインメモリ32は、プロセッサ31が各部を制御するための処理を実行する上で必要なデータを不揮発性又は揮発性のメモリ領域で記憶する場合もある。メインメモリ32は、揮発性のメモリ領域を、プロセッサ31によってデータが適宜書き換えられるワークエリアとして使用する。ワークエリアとしては、特に図3に示すように、第1画像メモリM1と、第2画像メモリM2と、警告カウンタnのメモリM3と、を備えている。不揮発性のメモリ領域は、例えばROM(Read Only Memory)である。揮発性のメモリ領域は、例えばRAM(Random Access Memory)である。
補助記憶デバイス33は、上記コンピュータの補助記憶部分に相当する。例えばEEPROM(Electric Erasable Programmable Read-Only Memory)、HDD(Hard Disc Drive)、あるいはSSD(Solid State Drive)等が補助記憶デバイス33となり得る。補助記憶デバイス33は、プロセッサ31が各種の処理を行う上で使用するデータ、あるいはプロセッサ31での処理によって作成されたデータ等を保存する。補助記憶デバイス33は、上記のアプリケーションプログラムを記憶する場合もある。
無線ユニット34は、アクセスポイント51との間で無線通信プロトコルに従って行う無線通信を制御する。
タッチパネル35は、情報端末30の入力デバイスと表示デバイスとを兼ね備えた機器である。タッチパネル35は、表示された画像に対するタッチ位置を検出し、そのタッチ位置情報をプロセッサ31に出力する。
スキャナ36は、商品に付されたバーコード、二次元データコード等のコードシンボルを読み取る。商品には、その商品の識別コードを表すコードシンボルが付されている。スキャナ36は、読み取ったコードシンボルのデータをプロセッサ31に出力する。スキャナ36は、レーザ光の走査によりコードシンボルを読み取るタイプであってもよいし、撮像デバイスで撮像した画像からコードシンボルを読み取るタイプであってもよい。
リーダ37は、記録媒体に記録されたデータを読み取り、読み取ったデータをプロセッサ31に出力する。リーダ37は、記録媒体が磁気カードの場合は磁気カードリーダであり、接触式ICカードの場合にはICカードリーダである。非接触式ICカード又はスマートフォン等のようにRFID(Radio Frequency Identification)を使用した記録媒体の場合には、RFIDリーダがリーダ37として使用される。
カメラ38は、カートCの籠受部に置かれた籠を上方から撮影できるように、カートCに設けられている。カメラ38は、カートCのユーザである客が買上商品を正しく籠に入れたか否かを監視するためのものである。
以上のような回路構成要素を備えた情報端末30において、プロセッサ31、メインメモリ32、補助記憶デバイス33、無線ユニット34及びタッチパネル35は、タブレット端末TMによって構成されている。そしてこのタブレット端末TMに、スキャナ36、リーダ37及びカメラ38を、システム伝送路39を介して電気的に接続することで、情報端末30が構成されている。
図4は、情報端末30が設けられたカートCの一例を示す斜視図である。カートCは、移動用のキャスタ部C1と、ハンドルフレーム部C2と、籠受部C3とを備えている。キャスタ部C1は、床面上を円滑に移動させるための4輪の車輪C11を有している。またキャスタ部C1は、籠60に入らないような大きな荷物を置くための受け部C12を備えている。ハンドルフレーム部C2は、キャスタ部C1の後輪側に立設された一対の縦フレームC21,C21と、これら縦フレームC21,C21の上端を連結するハンドルバーC22と、を含む。籠受部C3は、ハンドルフレーム部C2の中途部位から前方にある。カートCは、籠受部C3に、店備え付けの籠60を載置することができる。籠60は、商品を収容するためのものである。
スキャナ36は、ハンドルバーC22の中途部にある。スキャナ36は、手前側に読取窓が位置するようにハンドルバーC22に取り付けられている。手前側は、ハンドルバーC22を持ってカートCを押す客が立つ側である。
一方の縦フレームC21に、ポールC4が取り付けられている。ポールC4は、その先端がハンドルバーC22よりも上方に位置している。タブレット端末TMは、タッチパネル35の画面を手前にしてポールC4の先端部に取り付けられている。リーダ37は、カードスリットが手前側に位置するようにタブレット端末TMに取り付けられている。図4においては、リーダ37を磁気カードリーダとしている。カメラ38は、籠受部C3に置かれた籠60の全体を上方から撮像するように、ポールC4の中途部に取り付けられている。
バッテリBTは、ハンドルフレーム部C2の下端側に、縦フレームC21,C21に亘って取り付けられている。バッテリBTは、タブレット端末TM、スキャナ36、リーダ37及びカメラ38の駆動電源となる。
図5は、籠60の上面図である。籠60は、長方形の底壁61の各縁から4面の側壁62A,62B,62C,62Dを外側に若干傾斜するように上方に立設することで、その内部に上面開口の収容部63を形成している。また籠60は、各側壁62A,62B,62C,62Dの上端部63A,63B,63C,63Dに、コの字形の一対の取っ手64A,64Bを取り付けている。一方の取っ手64Aは、底壁61の長手方向の縁から立設した一対の側壁62A,62Cの各上端部63A,63Cの間の側壁62D寄りに掛け渡され、各上端部63A,63Cに対して回動自在に支持されている。そして、取っ手64Aは、側壁62Dの側に回動すると、側壁62Dの上端部63Dに当接して、取っ手64Aと上端部63A,63D,63Cとが重なった状態となる。他方の取っ手64Bは、同じく上端部63Aと上端部63Cとの間の側壁62B寄りに掛け渡され、各上端部63A,63Cに対して回動自在に支持されている。そして取っ手64Bは、側壁62Bの側に回動すると、側壁62Bの上端部63Bに当接して、取っ手64Bと上端部63A,63B,63Cとが重なった状態となる。
前述したように、カートCに設けられたカメラ38は、籠受部C3に置かれた籠60を上方から撮影する。籠60は、底壁61の長手方向が、客がカートCを押したときに進む方向と平行となるように籠受部C3に載置されている。このため、空の籠60を籠受部C3に載置した場合には、カメラ38によって撮影される籠60の画像は、籠60の位置がその長手方向に若干ずれることはあるものの、略同じ画像となる。一方、籠60の収容部63に商品が収容された場合には、その収容部63の画像が籠60毎に異なる。
そこで第1の実施形態では、図6に示すように、籠60を上方から見たときの各側壁62A,62B,62C,62Dの上端部63A,63B,63C,63Dと、この上端部63A,63B,63C,63Dに重ねられた一対の取っ手64A,64Bとの画像を基本画像P1とし、補助記憶デバイス33で記憶する。そして情報端末30は、カメラ38で撮影された画像から籠60の上縁、すなわち上端部63A,63B,63C,63Dが映し出されていると推定される部分を切出し、基本画像P1と比較する。そして、一致率が第1の閾値Aよりも低い場合には、情報端末30は、カメラ38の画角が遮られていると判定して、客若しくはアテンダントに通知する。ここに、情報端末30は、カメラ異常検出装置としての機能を有する。
以下、このような第1の実施形態の動作について、具体的に説明する。
はじめに、カートCを使用して買物を行う客は、籠受部C3に空の籠60を載置する。そして客は、タッチパネル35にタッチする。タッチパネル35がタッチされると、アイドル状態であったプロセッサ31が起動する。プロセッサ31は、図7の流れ図に示す手順の情報処理を開始する。
はじめに、カートCを使用して買物を行う客は、籠受部C3に空の籠60を載置する。そして客は、タッチパネル35にタッチする。タッチパネル35がタッチされると、アイドル状態であったプロセッサ31が起動する。プロセッサ31は、図7の流れ図に示す手順の情報処理を開始する。
図7は、情報端末30のプロセッサ31が、プログラムに従って実行する処理の主要な手順を示す流れ図である。プログラムは、メインメモリ32または補助記憶デバイス33に記憶されている。なお、図7の流れ図に示すとともに以下に説明する処理の内容は一例である。同様な結果が得られるのであれば、その処理の手順は特に限定されるものではない。
プロセッサ31は、Act1としてタッチパネル35に登録画面を表示させる。登録画面は、例えば当該情報端末30で登録された商品の名称、価格等を表示するための画面である。登録画面は、客が買上商品の会計を指示するための会計ボタンの画像を含む。プロセッサ31は、Act2として補助記憶デバイス33から基本画像P1を読出し、第2画像メモリM2に記憶する。プロセッサ31は、Act3としてカメラ38を起動する。プロセッサ31は、Act4として警告カウンタメモリM3の警告カウンタnを“0”にリセットする。なお、Act1乃至Act4の各処理の順序はこれに限定されるものではなく、適宜入れ替えてもよい。プロセッサ31は、いかなる順序であっても、Act1乃至Act4の処理を実行すればよい。
Act1乃至Act4の処理を終えると、プロセッサ31は、Act5へと進む。プロセッサ31は、Act5として商品の識別コードを取得したか否かを確認する。識別コードを取得していない場合、プロセッサ31は、Act5においてNOと判定し、Act6へと進む。プロセッサ31は、Act6として会計ボタンがタッチされたか否かを確認する。会計ボタンがタッチされていない場合、プロセッサ31は、Act6においてNOと判定し、Act9へと進む。そしてプロセッサ31は、後述するAct9乃至Act19の処理を実行する。そしてAct9乃至Act19の処理を終えると、プロセッサ31は、Act5へと戻る。
ここにプロセッサ31は、Act5及びAct6において、商品の識別コードを取得するか、会計ボタンがタッチされるのを待ち受ける。そして待ち受けている間、プロセッサ31は、Act9乃至Act19の処理を繰り返し実行する。
客は、タッチパネル35に登録画面が表示されたことを確認した後、買物を開始する。そして購入を希望する商品を見つけると、客は、その商品に付されたバーコード等のコードシンボルをスキャナ36で読み取らせてから、商品を籠60に入れる。コードシンボルには、そのコードシンボルが付された商品の識別コードが含まれている。なお、商品にコードシンボルが付されていない場合には、客は、タッチパネル35を操作してコードシンボルがない商品の一覧をタッチパネル35に表示させ、その一覧の中から購入を希望する商品を選択する。商品を選択することで、その商品の識別コードが入力されるので、客は、その商品を籠60に入れる。
Act5及びAct6の待ち受け状態において、プロセッサ31は、スキャナ36又はタッチパネル35を介して商品の識別コードを取得すると、Act5においてYESと判定し、Act7へと進む。プロセッサ31は、Act7として買上商品の登録処理を行う。
すなわちプロセッサ31は、商品登録データをサーバ10へと送信するように無線ユニット34を制御する。この制御により、無線ユニット34は、商品登録データをサーバ10宛に送信する。商品登録データには、取得した商品の識別コードが含まれる。商品登録データには、当該情報端末30を個々に識別するために端末毎に設定された端末IDも含まれる。商品登録データを受信したサーバ10は、情報端末30の端末ID別に買上商品のリストデータを作成する。またサーバ10は、買上商品の商品名、価格等の商品データを情報端末30宛に送信する。情報端末30のプロセッサ31は、サーバ10から受信した商品データが登録画面に表示されるように、登録画面を更新する。
なお、籠60に入れた商品を戻す場合には、客は、先ず、タッチパネル35を操作して返品モードとする。次いで客は、買上時と同様に、その商品の識別コードを情報端末30に入力した後、商品を元の棚に戻す。このときプロセッサ31は、買上商品の返品処理を行う。すなわちプロセッサ31は、商品返品データをサーバ10へと送信するように無線ユニット34を制御する。この制御により、無線ユニット34は、商品返品データをサーバ10宛に送信する。商品返品データには、取得した商品の識別コードが含まれる。商品返品データには、当該情報端末30の端末IDも含まれる。商品返品データを受信したサーバ10は、端末ID別のリストデータから返品商品のデータを削除する。またサーバ10は、返品商品の商品名、価格等の商品データを情報端末30宛に送信する。情報端末30のプロセッサ31は、サーバ10から受信した商品データが登録画面から削除されるように、登録画面を更新する。
プロセッサ31は、買上商品の登録処理又は返品商品の返品処理を終えると、Act6へと進む。すなわちプロセッサ31は、会計ボタンがタッチされたか否かを確認する。会計ボタンがタッチされていない場合、プロセッサ31は、Act9乃至Act19の処理を実行する。そしてAct9乃至Act19の処理を終えると、プロセッサ31は、Act5へと戻る。すなわちプロセッサ31は、Act5及びAct6の待ち受け状態に戻る。
こうして、買物を終えた客は、登録画面に表示されている会計ボタンにタッチする。 Act5及びAct6の待ち受け状態において、プロセッサ31は、タッチパネル35を介して会計ボタンがタッチされたこと検知すると、Act6においてYESと判定し、Act8へと進む。プロセッサ31は、Act8として会計処理を行う。
すなわちプロセッサ31は、会計指示データをサーバ10へと送信するように無線ユニット34を制御する。この制御により、無線ユニット34は、会計指示データをサーバ10宛に送信する。会計指示データには、当該情報端末30の端末IDが含まれる。会計指示データを受信したサーバ10は、会計を行う会計機20を選択する。例えばサーバ10は、空いている会計機20を選択する。そしてサーバ10は、その会計機20で会計を行うことを案内するためのデータを、情報端末30宛に送信する。情報端末30のプロセッサ31は、サーバから受信したデータを基に客を会計機20へと案内する画面をタッチパネル35に表示させる。
プロセッサ31は、会計処理を終えると、この流れ図に示す手順の情報処理を終了する。その後、プロセッサ31は、操作入力のない時間が一定時間経過すると、アイドル状態となる。
次に、Act5及びAct6の待ち受け状態のときにプロセッサ31が実行するAct9乃至Act19の処理について具体的に説明する。
プロセッサ31は、Act9としてカメラ38で撮影されているフレーム画像を取り込み、その画像を第1画像メモリM1に記憶する。プロセッサ31は、Act10として第1画像メモリM1に記憶した画像を解析して、籠60の上縁、すなわち上端部63A,63B,63C,63Dが映し出されていると推定される部分を切出す。そしてプロセッサ31は、Act11として切出した画像と、第2画像メモリM2において記憶している基本画像P1とを比較する。例えばプロセッサ31は、切出した画像と基本画像P1とを画素毎に輝度、色成分等を照合し、全画素に対して一致している画素の比率、すなわち一致率を求める。
プロセッサ31は、Act12として一致率が第1の閾値Aよりも低いか否かを判定する。第1の閾値Aは任意である。例えば、全長が長い商品を一方の側壁に立て掛けて籠60に収容した場合、籠60を上から見ると、商品の一部によって側壁の上端部が隠される場合がある。側壁の上端部が商品によって隠されると、一致率が低下する。しかし、カメラ38の画角が遮られているわけではない。これに対し、カメラ38のレンズの手前に全長が長い商品が立て掛けられてカメラ38の画角の大部分が遮られた場合には、一致率は大きく低下する。また、客が意図的にレンズを布等で覆った場合にも、一致率は大きく低下する。第1の閾値Aは、カメラ38の画角が遮られているか否かを識別するための値である。システムの管理者は、上記の事象を考慮して第1の閾値Aを設定する。
プロセッサ31は、一致率が第1の閾値A以上である場合、Act12においてNOと判定し、Act13へと進む。プロセッサ31は、Act13として警告カウンタnが“1”以上であるか否かを確認する。警告カウンタnが“1”以上でない、つまり警告が発生していない場合には、プロセッサ31は、Act13においてNOと判定し、Act5へと戻る。
一致率が第1の閾値Aよりも低い場合には、プロセッサ31は、Act14として警告カウンタnを“1”だけカウントアップする。そしてプロセッサ31は、Act15として警告カウンタnが第3の閾値N1を超えたか否かを判定する。
本実施形態では、一致率が第1の閾値Aよりも低い場合には、情報端末30のユーザである客に対して、カメラ38の画角が遮られていることを警告する。しかし、その後も一致率が第1の閾値Aよりも低い状況が改善されないまま一定時間Tを超えた場合には、アテンダントに対してカメラ38の画角が遮られていること通知する。つまり第3の閾値N1は、警告カウンタnが一定時間Tに達するまでのカウント値となる。なお、一定時間Tをどの程度の時間とするかは任意である。
プロセッサ31は、警告カウンタnが第3の閾値N1を超えていない場合、Act15においてNOと判定し、Act16へと進む。プロセッサ31は、Act16として第1警告を行う。第1警告とは、例えば、情報端末30のタッチパネル35に、カメラ38の画角が遮られていることを通知するためのメッセージを表示させる処理である。第1警告とは、情報端末30にブザーが備えられている場合、メッセージの表示とともにブザーを鳴動させてもよい。第1警告を行ったプロセッサ31は、Act5へと戻る。
プロセッサ31は、警告カウンタnが第3の閾値N1を超えた場合には、Act15においてYESと判定し、Act17へと進む。プロセッサ31は、Act17として第2警告を行う。第2警告とは、例えば、第1警告の処理に加えて、無線ユニット34からサーバ10宛に警告信号を送信する処理を含むものである。第2警告の処理により、無線ユニット34からサーバ10宛に警告信号が送信される。警告信号には、当該情報端末30のIDが含まれる。サーバ10は、そのIDで識別される情報端末30においてカメラ38の画角が遮られていることをアテンダントに通知するためのメッセージがアテンダント端末40の表示デバイスに表示されるように、アテンダント端末40を制御する。第2警告を行ったプロセッサ31は、Act5へと戻る。
一致率が第1の閾値A以上の場合において、警告カウンタnが“1”以上である場合、プロセッサ31は、Act13においてYESと判定し、Act18へと進む。プロセッサ31は、Act18として警告解除を行う。この警告解除により、第1警告が解除される。すなわち、タッチパネル35に表示されていた警告のためのメッセージが消去される。また、第2警告が行われていた場合には、その第2警告も解除される。すなわち、アテンダント端末40の表示デバイスに表示されていた同様のメッセージが消去される。
プロセッサ31は、Act19として警告カウンタnを“0”にリセットする。その後、プロセッサ31は、Act5へと戻る。
ここに、プロセッサ31を主体とするコンピュータは、Act9及びAct10の処理により、取得手段を構成する。また同コンピュータは、Act11,Act12,Act14乃至Act17の処理により、通知手段を構成する。
このように第1の実施形態において、プロセッサ31は、カートCの籠受部C3に置かれた籠60の全体を撮影可能にカートCに設けられたカメラ38で撮影された画像から、籠60の上縁が写されていると推定される画像を取得し、第1画像メモリM1に記憶する。一方、第2画像メモリM2には、籠60を上方から見たときの各側壁62A,62B,62C,62Dの上端部63A,63B,63C,63Dと、この上端部63A,63B,63C,63Dに重ねられた一対の取っ手64A,64Bとの画像が基本画像P1として記憶されている。
プロセッサ31は、第1画像メモリM1の画像と第2画像メモリM2の基本画像P1とを比較し、その一致率を求める。そしてその一致率が第1の閾値Aよりも低い場合、プロセッサ31は、第1警告を行う。これにより、カメラ38の画角が遮られていることを警告するためのメッセージが情報端末30のタッチパネル35に表示される。したがって、カートCを使用する客は、タッチパネル35に表示されたメッセージから、カメラ38の画角が遮られていることを知り得る。
例えば、籠60に入れた商品がカメラ38のレンズの手前に位置していたために、カメラ38の画角の大部分が遮られる場合がある。このような場合、メッセージを確認した客は、カメラ38の画角を遮らないように、籠60の中の商品を移動させる。その結果、一致率が第1の閾値A以上になると、メッセージは消去される。かくしてカメラ38は、客が買上商品を籠60に入れる動作、あるいは返品商品を籠60から取り出す動作を安定に撮影できるので、カメラ38による監視効果を高めることができる。
その一方で、意図的にレンズあるいは籠60の開口部を布等で覆ってしまい、カメラ38で籠60が撮影されないようにする客がいる場合が想定される。このような場合もカメラ38の画角が遮られていることを警告するためのメッセージが情報端末30のタッチパネル35に表示されるが、客は、警告を無視してそのまま放置すると考えられる。そのような場合、本実施形態では、警告カウンタnが第3の閾値Nを超えると、プロセッサ31は、第2警告を行う。これにより、当該情報端末30においてカメラ38の画角が遮られていることをアテンダントに通知するためのメッセージがアテンダント端末40の表示デバイスに表示される。
したがって、例えばアテンダントが売場まで行き、カメラ38のレンズあるいは籠60の開口部を覆っている布などを取り除くように客に注意することができる。そして、このような注意が行われることを客に周知させることで、意図的にレンズあるいは籠60の開口部を布等で覆うような不正を未然に防止できるようになるので、カメラ38による監視効果をより一層高めることができる。
[第2の実施形態]
次に、第2の実施形態について説明する。
第1の実施形態では、籠受部C3に置かれた籠60の上縁を表す画像を基本画像P1とした。第2の実施形態では、初期段階として、籠受部C3に置かれた空の籠60を表す画像を基本画像P2とする。そして基本画像P2は、籠60の収容部63の状態が変化する事象が発生する毎に、変化後の画像に更新される。なお、第1の実施形態において、図1乃至図5を用いて説明した部分は第2の実施形態においても共通であるので、同一部分には同一符号を付して、ここでの説明は省略する。
次に、第2の実施形態について説明する。
第1の実施形態では、籠受部C3に置かれた籠60の上縁を表す画像を基本画像P1とした。第2の実施形態では、初期段階として、籠受部C3に置かれた空の籠60を表す画像を基本画像P2とする。そして基本画像P2は、籠60の収容部63の状態が変化する事象が発生する毎に、変化後の画像に更新される。なお、第1の実施形態において、図1乃至図5を用いて説明した部分は第2の実施形態においても共通であるので、同一部分には同一符号を付して、ここでの説明は省略する。
図8は、初期段階の基本画像P2の一例である。図示するように基本画像P2は、籠60の底壁61と、4面の側壁62A,62B,62C,62Dと、各側壁62A,62B,62C,62Dの上端部63A,63B,63C,63Dと、コの字形の一対の取っ手64A,64Bと、を表したものである。収容部63は、空となっている。
情報端末30は、基本画像P2を補助記憶デバイス33で記憶する。そして情報端末30は、カメラ38で撮影された画像から籠60の収容部63が写されていると推定される領域を含む画像を取得する。また情報端末30は、籠60の収容部63の状態が変化する事象を認識する。すなわち情報端末30は、収容部63に商品が投入される事象又は収容部63から商品が取り除かれる事象を認識する。
このような事象を認識すると、情報端末30は、取得した画像と基本画像P2とを比較して変化の度合いを求める。このとき、変化の度合いが第2の閾値Bよりも大きい場合には、情報端末30は、基本画像P2を、取得した画像に更新する。そして、再び籠60の収容部63が変化する事象を認識すると、情報端末30は、新たに取得した画像と、更新後の基本画像P2とを比較して変化の度合いを求める。このとき、変化の度合いが第2の閾値B以下の場合には、情報端末30は、カメラ38の画角が遮られていると判定して、客若しくはアテンダントに通知する。ここに、情報端末30は、カメラ異常検出装置としての機能を有する。
以下、このような第2の実施形態の動作について、具体的に説明する。
第2の実施形態においても、カートCを使用して買物を行う客は、籠受部C3に空の籠60を載置する。そして客は、タッチパネル35にタッチする。タッチパネル35がタッチされると、アイドル状態であったプロセッサ31が起動する。プロセッサ31は、図9の流れ図に示す手順の情報処理を開始する。
第2の実施形態においても、カートCを使用して買物を行う客は、籠受部C3に空の籠60を載置する。そして客は、タッチパネル35にタッチする。タッチパネル35がタッチされると、アイドル状態であったプロセッサ31が起動する。プロセッサ31は、図9の流れ図に示す手順の情報処理を開始する。
図9は、情報端末30のプロセッサ31が、プログラムに従って実行する処理の主要な手順を示す流れ図である。プログラムは、メインメモリ32または補助記憶デバイス33に記憶されている。なお、図9の流れ図に示すとともに以下に説明する処理の内容は一例である。同様な結果が得られるのであれば、その処理の手順は特に限定されるものではない。
プロセッサ31は、Act21としてタッチパネル35に登録画面を表示させる。登録画面は、第1の実施形態と共通である。プロセッサ31は、Act22として補助記憶デバイス33から基本画像P2を読出し、第2画像メモリM2に記憶する。プロセッサ31は、Act23としてカメラ38を起動する。プロセッサ31は、Act24として警告カウンタメモリM3の警告カウンタnを“0”にリセットする。なお、Act21乃至Act24の各処理の順序はこれに限定されるものではなく、適宜入れ替えてもよい。プロセッサ31は、いかなる順序であっても、Act21乃至Act24の処理を実行すればよい。
上記Act21乃至Act24の処理を終えると、プロセッサ31は、Act25へと進む。プロセッサ31は、Act25として商品の識別コードを取得したか否かを確認する。識別コードを取得していない場合、プロセッサ31は、Act25においてNOと判定し、Act26へと進む。プロセッサ31は、Act26として登録画面の会計ボタンがタッチされたか否かを確認する。会計ボタンがタッチされていない場合、プロセッサ31は、Act26においてNOと判定し、Act25へと戻る。
ここにプロセッサ31は、Act25及びAct26において、商品の識別コードを取得するか、会計ボタンがタッチされるのを待ち受ける。この待ち受け状態において、プロセッサ31は、スキャナ36又はタッチパネル35を介して商品の識別コードを取得すると、Act25においてYESと判定し、Act27へと進む。プロセッサ31は、Act27として第1の実施形態と同様に買上商品の登録処理又は返品処理を行う。
買上商品の登録処理又は返品処理を終えると、プロセッサ31は、Act29へと進む。そしてプロセッサ31は、Act29乃至Act40の処理を実行する。このAct29乃至Act40の処理については、後述する。
Act25及びAct26の待ち受け状態において、プロセッサ31は、タッチパネル35を介して会計ボタンがタッチされたこと検知すると、Act26においてYESと判定し、Act28へと進む。プロセッサ31は、Act28として第1の実施形態と同様に会計処理を行う。プロセッサ31は、会計処理を終えると、この流れ図に示す手順の情報処理を終了する。その後、プロセッサ31は、操作入力のない時間が一定時間経過すると、アイドル状態となる。
次に、プロセッサ31が実行するAct29乃至Act40の処理について具体的に説明する。
買上商品の登録処理又は返品処理を終えると、プロセッサ31は、Act29としてカメラ38で撮影されているフレーム画像を取り込み、その画像を第1画像メモリM1に記憶する。プロセッサ31は、Act30として第1画像メモリM1に記憶した画像を解析して、籠60の収容部63を含む全域が映し出されていると推定される部分を切出す。そしてプロセッサ31は、Act31として切出した画像と、第2画像メモリM2において記憶している基本画像P2とを比較する。例えばプロセッサ31は、切出した画像と基本画像P2とを画素毎に輝度、色成分等を照合し、全画素に対して変化している画素の比率、すなわち変化率を求める。
プロセッサ31は、Act32として変化率が第2の閾値Bよりも大きいか否かを判定する。第2の閾値Bは任意である。例えば、籠60の収容部63に商品が投入されると、その商品の投入前と投入後とで、収容部63の画像に変化が生じる。これに対し、カメラ38のレンズが遮られていた場合には、たとえ商品が投入されても、商品の投入前と投入後とで撮影画像に変化は生じない。収容部63から商品が取り除かれた場合も同様である。第2の閾値Bは、カメラ38の画角が遮られているか否かを識別するための値である。システムの管理者は、上記の事象を考慮して第2の閾値Bを設定する。
プロセッサ31は、変化率が第2の閾値Bよりも大きい場合、Act32においてYESと判定し、Act33へと進む。プロセッサ31は、Act33として警告カウンタnが“1”以上であるか否かを確認する。警告カウンタnが“1”以上でない、つまり警告が発生していない場合には、プロセッサ31は、Act33においてNOと判定し、Act40へと進む。
これに対し、変化率が第2の閾値B以下の場合には、プロセッサ31は、Act32においてNOと判定し、Act34へと進む。プロセッサ31は、Act34として警告カウンタnを“1”だけカウントアップする。そしてプロセッサ31は、Act35として警告カウンタnが第4の閾値N2を超えたか否かを判定する。
本実施形態では、変化率が第2の閾値B以下の場合に、情報端末30のユーザに対して、カメラ38の画角が遮られていることを警告する。しかし、その後も変化率が第2の閾値B以下の状況が改善されないまま一定回数Kの登録処理又は返品処理が実施された場合には、アテンダントに対してカメラ38の画角が遮られていることを通知する。つまり第4の閾値N2は、一定回数Kよりも“1”だけ小さい値となる。なお、一定回数Kを何回とするかは任意である。
プロセッサ31は、警告カウンタnが第4の閾値N2を超えていない場合、Act35においてNOと判定し、Act36へと進む。プロセッサ31は、Act36として第1警告を行う。第1警告の内容は、第1の実施形態と同様でよい。第1警告を行ったプロセッサ31は、Act40へと進む。
プロセッサ31は、警告カウンタnが第4の閾値N2を超えた場合、Act35においてYESと判定し、Act37へと進む。プロセッサ31は、Act37として第2警告を行う。第2警告の内容は、第1の実施形態と同様でよい。第2警告を行ったプロセッサ31は、Act40へと進む。
変化率が第2の閾値Bよりも大きい場合において、警告カウンタnが“1”以上である場合、プロセッサ31は、Act33においてYESと判定し、Act38へと進む。プロセッサ31は、Act38として第1の実施形態と同様に警告解除を行う。またプロセッサ31は、Act39として警告カウンタnを“0”にリセットする。その後、プロセッサ31は、Act40へと進む。
このように、プロセッサ31は、Act33において、警告カウンタnが“0”の場合、あるいはAct36、Act37またはAct39の処理を終えると、Act40へと進む。プロセッサ31は、Act40として第2画像メモリM2に、Act30の処理で切り出した画像を記憶する。すなわちプロセッサ31は、第2画像メモリM2で記憶される基本画像P2を、その時点で籠60の収容部63を含む全域が映し出されていると推定される画像に更新する。
こうして、第2画像メモリM2で記憶される基本画像P2が、登録処理又は返品処理が行われた後の籠60の収容部63を含む画像に変更されたならば、プロセッサ31は、Act25へと戻る。したがってプロセッサ31は、新たに商品の識別コードを取得し、その識別コードで登録処理又は返品処理を行ったならば、Act29乃至Act40の処理を再び実行する。
ここに、プロセッサ31を主体とするコンピュータは、Act25及びAct27の処理により、認識手段を構成する。また同コンピュータは、Act29及びAct30の処理により、取得手段を構成する。また同コンピュータは、Act31,Act32,Act34乃至Act37の処理により、通知手段を構成する。
このように第2の実施形態において、プロセッサ31は、スキャナ36又はタッチパネル35を介して買上商品又は返品商品の識別コードが入力され、その識別コードを基に登録又は返品処理を実行すると、籠60に収容されている商品が変化する事象が生じたと認識する。そしてプロセッサ31は、その事象が発生する前の籠60の収容部63を含む画像、つまりは第2画像メモリM2で記憶している画像と、事象が発生した後の籠60の収容部63を含む画像、つまりは第1画像メモリM1で記憶している画像とを比較する。その結果、両画像の変化率が第2の閾値Bよりも大きいと判定した場合には、プロセッサ31は、カメラ38の画角が遮られていないと判定する。
例えば、図10に示すように籠60の収容部63に商品71が収納されている状態を第1の状態し、図11に示すように収容部63に商品71と商品72とが収納されている状態を第2の状態とする。この例において、第1の状態から商品72が収納されて第2の状態に変化すると、カメラ38で撮影されている画像も、第1の状態の画像から第2の状態の画像に変化する。同様に、第2の状態から商品72が取り除かれて第1の状態に変化すると、カメラ38で撮影されている画像も、第2の状態の画像から第1の状態の画像に変化する。
このように、カメラ38で撮影されている画像が変化していることをプロセッサ31が認識した場合、情報端末30では、警告処理が行われない。ところが、カメラ38の画角が遮られていると、第1の状態から第2の状態又は第2の状態から第1の状態に変化しても、カメラ38で撮影されている画像に変化を生じない。このときプロセッサ31は、第1警告、さらには第2警告を行う。したがって、第2の実施形態においても、第1の実施形態と同様の作用効果を奏することができる。
以上、カメラ38の画角が遮られた状況をリアルタイムに検出でき、カメラ38による監視効果を高め得るカメラ異常検出装置の実施形態について説明したが、かかる実施形態はこれに限定されるものではない。
例えば第1の実施形態では、籠60を上方から見たときの各側壁62A,62B,62C,62Dの上端部63A,63B,63C,63Dと、この上端部63A,63B,63C,63Dに重ねられた一対の取っ手64A,64Bとの画像を基本画像P1とした。他の実施形態としては、籠60を上方から見たときの各側壁62A,62B,62C,62Dの上端部63A,63B,63C,63Dの画像を基本画像P1としてもよい。
第1又は第2の実施形態では、第2警告として、第1警告の処理に加えて、無線ユニット34からサーバ10宛に警告信号を送信する処理を含むものとした。他の実施形態としては、第1警告の処理を止めて、無線ユニット34からサーバ10宛に警告信号を送信する処理だけとする。その場合も、情報端末30においてカメラ38の画角が遮られていることをアテンダントに通知するためのメッセージがアテンダント端末40の表示デバイスに表示されるので、アテンダントによりカメラ38の画角が遮られている状況を改善することができる。
第1又は第2の実施形態では、カメラ38の画角が遮られた状況を異常として検出する場合を例示した。他の実施形態としては、カメラ38の画角が遮られていない状況を正常として検出して、客若しくはアテンダントに通知することが考えられる。例えば第1の実施形態では、図7のAct12において一致率が第1の閾値A以上であるとき、カメラ38の画角が遮られていない正常な状態であることを通知するメッセージをタッチパネル35に表示させるとともにアテンダント端末40に通知する。こうすることにより、客又はアテンダントは、メッセージが表示されなくなったならばカメラ38の画角が遮られていると判断することができる。
情報端末30に対するプログラムの譲渡は、リムーバブルな記録媒体に記録して、あるいはネットワークを介した通信により行うことができる。記録媒体は、CD-ROM,メモリカード等のようにプログラムを記憶でき、かつ装置が読み取り可能であれば、その形態は問わない。
この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態及びその変形は、発明の範囲に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1…カートPOSシステム、10…サーバ、20…会計機、30…情報端末、31…プロセッサ、32…メインメモリ、33…補助記憶デバイス、34…無線ユニット、35…タッチパネル、36…スキャナ、37…リーダ、38…カメラ、40…アテンダント端末、50…ネットワーク、60…籠、C…カート。
一実施形態において、カメラ異常検出装置は、記憶手段と、取得手段と、通知手段と、を備える。記憶手段は、搬送体の籠受部に置かれた籠の上縁とその上縁に重ねられた取っ手とを表す基本画像を記憶する。取得手段は、籠受部に置かれた籠の全体を上方から撮影するように搬送体のハンドルバーよりも上方に設けられたカメラで撮影された画像から籠の上縁とその上縁に重ねられた取っ手とが写されていると推定される領域の画像を取得する。通知手段は、取得手段で取得した画像と記憶手段で記憶される基本画像との一致率に応じて、カメラの画角が遮られているか否かを、搬送体に対してカメラよりも上方に設けられた端末を介して搬送体のユーザに通知する。
この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態及びその変形は、発明の範囲に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[1]搬送体の籠受部に置かれた籠の内部を撮影可能に前記搬送体に設けられたカメラで撮影された画像から前記籠の上縁が写されていると推定される領域の画像を取得する取得手段と、この取得手段で取得した画像を基に、前記カメラの画角が遮られているか否かを通知する通知手段と、を具備するカメラ異常検出装置。
[2]前記通知手段は、前記取得手段で取得した画像と前記籠の上縁を表す基本画像との一致率に応じて、前記カメラの画角が遮られているか否かを通知する、付記[1]記載のカメラ異常検出装置。
[3]前記通知手段は、前記取得手段で取得した画像と前記籠の上縁を表す基本画像との一致率が第1の閾値よりも低い場合に、前記カメラの画角が遮られていることを通知し、前記一致率が前記第1の閾値よりも低い状態が一定時間以上継続すると通知先を追加または変更する、付記[2]記載のカメラ異常検出装置。
[4]搬送体の籠受部に置かれた籠の内部を撮影可能に前記搬送体に設けられたカメラで撮影された画像から前記籠の内部が写されていると推定される領域の画像を取得する取得手段と、前記籠に収容されている品が変化する事象を認識する認識手段と、前記事象が発生する前後に前記取得手段で取得した画像の変化の度合いから、前記カメラの画角が遮られているか否かを通知する通知手段と、を具備するカメラ異常検出装置。
[5]前記通知手段は、前記画像の変化の度合いが第2の閾値よりも大きい場合に、前記カメラの画角が遮られていることを通知し、前記変化の度合いが前記第2の閾値よりも大きい状態が一定時間以上継続すると通知先を追加または変更する、請求項4記載のカメラ異常検出装置。
[6]搬送体の籠受部に置かれた籠の内部を撮影可能に前記搬送体に設けられたカメラで撮影された画像を取り込むコンピュータに、前記カメラで撮影された画像から前記籠の上縁が写されていると推定される領域の画像を取得する機能、及び、この取得した画像を基に、前記カメラの画角が遮られているか否かを通知する機能、を実現させるためのプログラム。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[1]搬送体の籠受部に置かれた籠の内部を撮影可能に前記搬送体に設けられたカメラで撮影された画像から前記籠の上縁が写されていると推定される領域の画像を取得する取得手段と、この取得手段で取得した画像を基に、前記カメラの画角が遮られているか否かを通知する通知手段と、を具備するカメラ異常検出装置。
[2]前記通知手段は、前記取得手段で取得した画像と前記籠の上縁を表す基本画像との一致率に応じて、前記カメラの画角が遮られているか否かを通知する、付記[1]記載のカメラ異常検出装置。
[3]前記通知手段は、前記取得手段で取得した画像と前記籠の上縁を表す基本画像との一致率が第1の閾値よりも低い場合に、前記カメラの画角が遮られていることを通知し、前記一致率が前記第1の閾値よりも低い状態が一定時間以上継続すると通知先を追加または変更する、付記[2]記載のカメラ異常検出装置。
[4]搬送体の籠受部に置かれた籠の内部を撮影可能に前記搬送体に設けられたカメラで撮影された画像から前記籠の内部が写されていると推定される領域の画像を取得する取得手段と、前記籠に収容されている品が変化する事象を認識する認識手段と、前記事象が発生する前後に前記取得手段で取得した画像の変化の度合いから、前記カメラの画角が遮られているか否かを通知する通知手段と、を具備するカメラ異常検出装置。
[5]前記通知手段は、前記画像の変化の度合いが第2の閾値よりも大きい場合に、前記カメラの画角が遮られていることを通知し、前記変化の度合いが前記第2の閾値よりも大きい状態が一定時間以上継続すると通知先を追加または変更する、請求項4記載のカメラ異常検出装置。
[6]搬送体の籠受部に置かれた籠の内部を撮影可能に前記搬送体に設けられたカメラで撮影された画像を取り込むコンピュータに、前記カメラで撮影された画像から前記籠の上縁が写されていると推定される領域の画像を取得する機能、及び、この取得した画像を基に、前記カメラの画角が遮られているか否かを通知する機能、を実現させるためのプログラム。
Claims (6)
- 搬送体の籠受部に置かれた籠の内部を撮影可能に前記搬送体に設けられたカメラで撮影された画像から前記籠の上縁が写されていると推定される領域の画像を取得する取得手段と、
この取得手段で取得した画像を基に、前記カメラの画角が遮られているか否かを通知する通知手段と、
を具備するカメラ異常検出装置。 - 前記通知手段は、前記取得手段で取得した画像と前記籠の上縁を表す基本画像との一致率に応じて、前記カメラの画角が遮られているか否かを通知する、請求項1記載のカメラ異常検出装置。
- 前記通知手段は、前記取得手段で取得した画像と前記籠の上縁を表す基本画像との一致率が第1の閾値よりも低い場合に、前記カメラの画角が遮られていることを通知し、前記一致率が前記第1の閾値よりも低い状態が一定時間以上継続すると通知先を追加または変更する、請求項2記載のカメラ異常検出装置。
- 搬送体の籠受部に置かれた籠の内部を撮影可能に前記搬送体に設けられたカメラで撮影された画像から前記籠の内部が写されていると推定される領域の画像を取得する取得手段と、
前記籠に収容されている品が変化する事象を認識する認識手段と、
前記事象が発生する前後に前記取得手段で取得した画像の変化の度合いから、前記カメラの画角が遮られているか否かを通知する通知手段と、
を具備するカメラ異常検出装置。 - 前記通知手段は、前記画像の変化の度合いが第2の閾値よりも大きい場合に、前記カメラの画角が遮られていることを通知し、前記変化の度合いが前記第2の閾値よりも大きい状態が一定時間以上継続すると通知先を追加または変更する、請求項4記載のカメラ異常検出装置。
- 搬送体の籠受部に置かれた籠の内部を撮影可能に前記搬送体に設けられたカメラで撮影された画像を取り込むコンピュータに、
前記カメラで撮影された画像から前記籠の上縁が写されていると推定される領域の画像を取得する機能、及び、
この取得した画像を基に、前記カメラの画角が遮られているか否かを通知する機能、を実現させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023132332A JP2023166411A (ja) | 2018-10-18 | 2023-08-15 | カメラ異常検出装置及びプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018196726A JP7333688B2 (ja) | 2018-10-18 | 2018-10-18 | カメラ異常検出装置及びプログラム |
JP2023132332A JP2023166411A (ja) | 2018-10-18 | 2023-08-15 | カメラ異常検出装置及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018196726A Division JP7333688B2 (ja) | 2018-10-18 | 2018-10-18 | カメラ異常検出装置及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023166411A true JP2023166411A (ja) | 2023-11-21 |
Family
ID=69801627
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018196726A Active JP7333688B2 (ja) | 2018-10-18 | 2018-10-18 | カメラ異常検出装置及びプログラム |
JP2023132332A Pending JP2023166411A (ja) | 2018-10-18 | 2023-08-15 | カメラ異常検出装置及びプログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018196726A Active JP7333688B2 (ja) | 2018-10-18 | 2018-10-18 | カメラ異常検出装置及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (2) | US11138713B2 (ja) |
EP (1) | EP3641300A1 (ja) |
JP (2) | JP7333688B2 (ja) |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08147560A (ja) * | 1994-11-24 | 1996-06-07 | Nippondenso Co Ltd | 商品自動清算システム |
JP3844398B2 (ja) * | 1998-06-16 | 2006-11-08 | セコム株式会社 | 画像センサ |
JP4613724B2 (ja) | 2005-07-15 | 2011-01-19 | ソニー株式会社 | 撮像装置および撮像方法 |
JP2008040999A (ja) * | 2006-08-10 | 2008-02-21 | Uchida Yoko Co Ltd | ショッピングカートの監視システム |
DE102006044365A1 (de) * | 2006-09-20 | 2008-04-03 | Mettler-Toledo (Albstadt) Gmbh | Automatische Erkennungsvorrichtung |
JP5558433B2 (ja) * | 2011-08-17 | 2014-07-23 | 東芝テック株式会社 | 店舗システム、および商品登録方法 |
JP2013152634A (ja) * | 2012-01-25 | 2013-08-08 | Toshiba Tec Corp | 防犯装置及びプログラム |
JP2016179887A (ja) * | 2015-03-24 | 2016-10-13 | 株式会社日立ビルシステム | エレベーターかご内監視装置 |
WO2017053874A1 (en) * | 2015-09-23 | 2017-03-30 | Datalogic ADC, Inc. | Imaging systems and methods for tracking objects |
JP6585475B2 (ja) | 2015-11-16 | 2019-10-02 | 東芝テック株式会社 | チェックアウト装置およびプログラム |
WO2017159681A1 (ja) | 2016-03-14 | 2017-09-21 | 凸版印刷株式会社 | 識別装置、識別方法、識別プログラム、及び識別プログラムを含むコンピュータ可読媒体 |
US10600043B2 (en) * | 2017-01-31 | 2020-03-24 | Focal Systems, Inc. | Automated checkout system through mobile shopping units |
JP7130355B2 (ja) * | 2017-03-06 | 2022-09-05 | 東芝テック株式会社 | チェック装置、及びチェックプログラム |
US20180260799A1 (en) * | 2017-03-13 | 2018-09-13 | Benjamin Doerr | Smart Shopping Object Detection System |
CN107833083B (zh) * | 2017-09-25 | 2020-09-04 | 阿里巴巴集团控股有限公司 | 一种货物订单处理方法、装置、服务器、购物终端及*** |
US11397077B2 (en) * | 2018-01-05 | 2022-07-26 | Stmicroelectronics, Inc. | Power and security adjustment for face identification with reflectivity detection by a ranging sensor |
-
2018
- 2018-10-18 JP JP2018196726A patent/JP7333688B2/ja active Active
-
2019
- 2019-07-25 US US16/521,693 patent/US11138713B2/en active Active
- 2019-08-23 EP EP19193332.4A patent/EP3641300A1/en not_active Withdrawn
-
2021
- 2021-08-17 US US17/403,934 patent/US11854179B2/en active Active
-
2023
- 2023-08-15 JP JP2023132332A patent/JP2023166411A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US20200126206A1 (en) | 2020-04-23 |
EP3641300A1 (en) | 2020-04-22 |
US20210374934A1 (en) | 2021-12-02 |
JP2020064500A (ja) | 2020-04-23 |
JP7333688B2 (ja) | 2023-08-25 |
US11854179B2 (en) | 2023-12-26 |
US11138713B2 (en) | 2021-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5535508B2 (ja) | セルフpos装置及びその動作方法 | |
US20170140360A1 (en) | Checkout apparatus | |
US11669823B2 (en) | Log-in control apparatus, control method of log-in control apparatus, and information terminal | |
US20220031093A1 (en) | Information processing apparatus and control method thereof | |
US20210295672A1 (en) | Monitoring Device and Monitoring Program | |
CN114764962A (zh) | 不正当行为识别装置及存储介质、不正当行为识别方法 | |
JP5896489B2 (ja) | セルフpos装置及びその動作方法 | |
US20190385141A1 (en) | Check-out system with merchandise reading apparatus and pos terminal | |
JP6008405B2 (ja) | セルフpos装置及びその動作方法 | |
US20200202684A1 (en) | Store server, store system and control method of store system | |
JP7333688B2 (ja) | カメラ異常検出装置及びプログラム | |
US10360475B2 (en) | Object recognition apparatus | |
US11966899B2 (en) | Information processing system, information terminal, information processing device, and control program | |
US20240104541A1 (en) | Monitoring device, payment system including a monitoring device, and control method for a monitoring device | |
US20220284434A1 (en) | Fraudulent act recognition device and control program therefor and fraudulent act recognition method | |
US20240104535A1 (en) | Commodity registration apparatus and monitoring apparatus | |
JP7458798B2 (ja) | 情報処理装置及びプログラム | |
JP7360863B2 (ja) | 袋収納装置及び商品販売データ処理システム | |
US20220180343A1 (en) | Checkout apparatus, monitoring apparatus, and monitoring method | |
CN116266398A (zh) | 不正当行为推测装置、存储介质及不正当行为推测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230815 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230815 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240422 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240507 |