JP6417917B2 - 商品登録装置、緊急通報方法及び緊急通報装置 - Google Patents

Description

本発明は、商品登録装置、緊急通報方法及び緊急通報装置に関する。

従来、物品を撮影した画像データから当該対象物の特徴量を抽出し、予め用意された照合用のデータ（特徴量）と比較することで、当該物品の種別等を認識する一般物体認識に係る技術が知られている。そして、この一般物体認識に係る技術を、青果品等の商品の識別に用いて、識別された商品を売上登録する商品登録装置が提案されている（特許文献１参照）。

また、従来、商品登録装置が設置される店舗では、防犯上の観点から種々の対応が行われている。例えば、防犯カメラや防犯ベルを店舗内に設置することや、店員が防犯ブザーを所持することが一般的に知られている。

特許第５５１８９１８号公報

しかしながら、防犯カメラの設置は、強盗などの犯罪の抑止効果があると共に、撮影した映像が犯罪の証拠資料となる点で有効であるが、実際に犯行が行われた場合に、その事を外部に即時かつ確実に連絡することが出来ない。

一方、防犯ベルの設置や防犯ブザーの所持は、強盗などの犯行が実際に行われた場合に、その事を外部に即時かつ確実に連絡することが可能であるが、防犯ベル等を操作する意図を犯人に知られた場合に、危害を加えられる虞がある。また、防犯ベル等の存在やその操作方法を犯人に予め知られていた場合に、犯人に防犯ベル等の操作を妨害されてしまう虞がある。

本発明の課題は、秘匿性の高い操作で緊急通報を行うことである。

前記課題を解決するため、本発明の商品登録装置は、画像撮影により商品を認識することによって当該商品の売上登録処理を行う商品登録装置であって、現金を収容するキャッシュドロワが開放されている期間中に撮影手段によって撮影された撮影画像から緊急状態を判定する判定手段と、前記判定手段による判定結果に基づいて、予め設定した通報先に緊急通報を送信する通報手段と、を備え、前記判定手段は、緊急状態を示す事象の特徴量と、前記撮影画像から算出した撮影対象物の特徴量とを比較した類似度から前記緊急状態を判定し、前記緊急状態を示す事象は、前記キャッシュドロワの鍵または収容される現金、ならびに予め決められた手形状またはジェスチャーである。
本発明の商品登録装置は、画像撮影により商品を認識することによって当該商品の売上登録処理を行う商品登録装置であって、現金を収容するキャッシュドロワが開放されている期間中に撮影手段によって撮影された撮影画像から緊急状態を判定する判定手段と、前記判定手段による判定結果に基づいて、予め設定した通報先に緊急通報を送信する通報手段と、を備え、前記判定手段は、緊急状態を示す事象の特徴量と、前記撮影画像から算出した撮影対象物の特徴量とを比較した類似度から前記緊急状態を判定し、前記緊急状態を示す事象は、最高額紙幣である。

本発明によれば、秘匿性の高い操作で緊急通報を行うことができる。

第１の実施形態における商品登録装置を示す外観斜視図である。 第１の実施形態における商品登録装置を示す概略の構成図である。 第１の実施形態における商品登録装置を示す論理ブロック図である。 第１の実施形態における商品登録装置の商品登録処理の全体動作を示すフローチャートを例示した図である。 第１の実施形態における商品登録処理の画面遷移の例を示す図である。 第１の実施形態における商品登録装置の緊急通報処理の全体動作を示すフローチャートを例示した図である。 第１の実施形態における緊急通報処理の画面例を示す図であり、（ａ）は最高額紙幣を撮影した場合を示し、（ｂ）は犯行に利用される物を撮影した場合を示し、（ｃ）はオペレータ（店員）が持った状態の最高額紙幣を撮影した場合を示す。 第２の実施形態における商品登録装置を示す論理ブロック図である。 第２の実施形態における商品登録装置の緊急通報処理の全体動作を示すフローチャートを例示した図である。 第２の実施形態における緊急通報処理の画面例を示す図であり、（ａ）は両手を広げた状態を撮影した場合を示し、（ｂ）は両手を握った場合を示し、（ｃ）は手を左右に移動させた動作を撮影した場合を示す。 変形例における商品登録装置を示す外観斜視図である。

以下、本発明の実施をするための形態を、適宜図面を参照しながら詳細に説明する。
各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。また、参照する図面において、本発明を構成する部材の寸法は、説明を明確にするために誇張して表現されている場合がある。なお、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。

［第１の実施形態］
図１は、第１の実施形態における商品登録装置１を示す斜視図である。
図１に示すように、商品登録装置１は、キャッシュレジスタ１ａと、商品識別装置１ｂとを備え、商品販売店のカウンタ台２に設置される。
キャッシュレジスタ１ａは、顧客用ディスプレイ１１と、タッチディスプレイ１２と、キャッシュドロワ１３と、プリンタ１４を備えて構成される。商品識別装置１ｂは、撮影装置１５と、撮影台１６、バックライト光源１７を備えて構成される。

商品識別装置１ｂは、撮影装置１５によって撮影された画像を処理することで、トレー３の上の取扱商品６（例えば、パン）の種類と個数とを識別し、識別情報としてキャッシュレジスタ１ａに送信する。ここで、取扱商品とは、商品登録装置１が設置されている店舗で販売されている（取り扱っている）商品を意味する。キャッシュレジスタ１ａは、識別情報を受けて、合計代金等の表示や、販売管理・売上実績管理等の演算・入出力を実行する。
なお、取扱商品の会計を行う際、商品登録装置１を扱うオペレータ（店員）は、カウンタ台２の図面手前側に立つ。一方、顧客は、カウンタ台２の図面奥側に立つ。

顧客用ディスプレイ１１は、例えば液晶表示装置であり、顧客側である図面奥を向いている。顧客用ディスプレイ１１は、顧客に対して取扱商品の会計に関する情報（商品名、金額など）を表示する。
タッチディスプレイ１２は、例えば液晶表示装置であるディスプレイ１２Ａ（図２参照）の表面にタッチパネル１２Ｂが積層されたものであり、オペレータ側である図面手前を向いている。このタッチディスプレイ１２は、オペレータに対して撮影画像や各種情報（商品名、金額など）を表示するとともに、オペレータによるタッチ操作入力を受け付ける。

キャッシュドロワ（省略して「ドロワ」とよぶ場合がある）１３は、取扱商品の会計時に扱われる紙幣、硬貨、金券などを保管する引出しであり、タッチディスプレイ１２の直下に位置している。キャッシュドロワ１３は、オペレータ（店員）によるタッチディスプレイ１２の操作により、図面手前側（破線で示した位置）にスライドすることで開放される。
プリンタ１４は、タッチディスプレイ１２の左下に位置しており、取扱商品の会計時に会計の内容（商品名、金額など）をレシートに印字する。

撮影装置１５は、撮影台１６に置かれたトレー３、および、トレー３の上の取扱商品を真上から撮影する。照明装置（不図示）は、この撮影装置１５に隣接して取り付けられており、撮影装置１５による撮影領域１５１を照射する。取扱商品とは、例えば自家製のパンである。撮影装置１５が撮影する際、トレー３上のパン６には、照明装置から照明光が照射され、トレー３の下からは、バックライト光源１７からのバックライトが上向きに照射される。このトレー３は、透明ではないものの、上下方向に光を透過するよう半透明で、かつ、模様等のない単一色に形成されている。トレー３の色は白色または淡色とすることが望ましい。更にトレー３は、その上面に微細なマット加工を付すことが望ましい。これにより、照明装置からの照明光の反射を抑止することができる。
顧客は、トレー３に取扱商品である任意数のパン６を載せて、このトレー３を撮影台１６に載せる。図１の例では２個のパン６がトレー３の上に載せられている。
撮影台１６は、取扱商品を購入する顧客が会計時に取扱商品を載せたトレー３を置く台である。
撮影領域１５１は、撮影台１６における撮影装置１５によって撮影可能な領域である。

バックライト光源１７は、撮影台１６の内部に収容されており、撮影装置１５によってトレー３の上の取扱商品を撮影する際に取扱商品の撮影画像がより鮮明になるように、トレー３の下からバックライトを上向きに照射する。バックライト光源１７は、例えば、ＬＥＤ（Light Emitting Diode）で実現することができるが、これに限定されない。
トレー３は、光を透過するように半透明となっている。そして、トレー３に載った状態のパン６を撮影装置１５により撮影する際には、そのトレー３の背後である裏面側に、バックライト光源１７からバックライトを照射する。これにより、照明装置からの照明光によって取扱商品であるパン６の周囲に形成される影を可及的に排除し得る。撮影装置１５により撮影する際にバックライト光源１７からバックライトが照射された状態にするには、常にバックライト光源１７を点灯させる。しかし、これに限られず、バックライト光源１７の点灯と撮影装置１５の撮影とを同期させてもよい。これを実現するため、商品識別装置１ｂが撮影装置１５とバックライト光源１７を統括して制御してもよく、撮影装置１５の撮影時にバックライト光源１７が同期して点灯するように構成してもよい。

図２は、第１の実施形態における商品登録装置１を示す概略の構成図である。
商品登録装置１は、図１で示した構成以外に、ＣＰＵ（Central Processing Unit）１０１と、ＲＡＭ（Random Access Memory）１０２と、ＲＯＭ（Read Only Memory）１０３と、記憶部１０４と、通信部１８とを備えている。なお、図２に示す商品登録装置１の各構成は、内部バスや各入出力回路（不図示）を介して互いに通信可能に接続されている。

ＣＰＵ１０１は、中央制御装置であり、商品登録装置１全体の制御を司る。
ＲＡＭ１０２は、ＣＰＵ１０１によって使用される一時記憶手段であり、ＣＰＵ１０１が実行するプログラムに係る画像データや各種変数などを一時的に記憶する。
ＲＯＭ１０３は、不揮発性の記憶手段であり、ＣＰＵ１０１によって実行されるプログラムなどを記憶する。

顧客用ディスプレイ１１は、ＣＰＵ１０１によって制御され、顧客に対して取扱商品の撮影画像や取扱商品の会計に関する情報（商品名、金額など）などを表示する。
ディスプレイ１２Ａは、ＣＰＵ１０１によって制御され、オペレータに対して取扱商品の撮影画像や取扱商品の会計に関する情報（商品名、金額など）を表示する。
タッチパネル１２Ｂは、ディスプレイ１２Ａに表示した情報に対するオペレータのタッチ操作入力を受け付ける。

記憶部１０４は、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などによって構成され、各種プログラムや各種ファイルを記憶する。記憶部１０４に記憶されている各種プログラムや各種ファイルは、商品登録装置１の起動時に、その全部または一部がＲＡＭ１０２にコピーされてＣＰＵ１０１により実行される。この記憶部１０４には、各種のデータが記憶されている。

撮影装置１５は、カラーＣＣＤ（Charge Coupled Device）イメージセンサやカラーＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから構成され、ＣＰＵ１０１の制御の下で撮影を行う撮影手段である。撮影装置１５は、例えば３０ｆｐｓ（frame per second）の動画像の撮影を行う。撮影装置１５が所定のフレームレートで順次撮影したフレーム画像（撮影画像）は、ＲＡＭ１０２に保存される。

バックライト光源１７は、ＣＰＵ１０１の制御の下で、撮影装置１５によってトレー３の上の取扱商品を撮影する際に撮影画像がより鮮明になるように、トレー３の下からバックライトを上向きに照射する。これにより、照明装置からの照明光や店内の他の照明によって形成される撮影領域１５１内の影を薄くし、画像処理の精度を高めることができる。バックライト光源１７によるバックライト照射のタイミングは、例えば、撮影装置１５の撮影のタイミングに合わせてもよいし、あるいは、常時でもよい。

キャッシュドロワ１３は、ＣＰＵ１０１の指示により開放される。キャッシュドロワ１３は、ドロワ開閉センサ１３ａを備えている。ドロワ開閉センサ１３ａは、例えば、キャッシュドロワ１３の開放状態および閉鎖状態の内の少なくとも何れか一方の状態を検出し、検出結果をＣＰＵ１０１に対して送信してもよいし、キャッシュドロワ１３が開放状態から閉鎖状態に状態変化した場合および閉鎖状態から開放状態に状態変化した場合に状態変化を検出し、検出結果をＣＰＵ１０１に対して送信してもよい。
プリンタ１４は、例えば熱転写プリンタであり、レシートを発行する。具体的には、プリンタ１４は、取扱商品の会計時にＣＰＵ１０１の指示により、会計の内容をレシート用紙に印字する。

通信部１８は、例えばネットワークインタフェースコントローラであり、ネットワークを介して外部装置４に接続されている。外部装置４は、商品登録装置１が設置されている空間と隔離された空間に設置される装置であり、例えば、バックヤード、本社、データセンター、セキュリティ会社などに設置される。ＣＰＵ１０１は、この通信部１８を用いて、後記する緊急通報を外部装置４に送信させる。

図３は、第１の実施形態における商品登録装置１を示す論理ブロック図である。
商品登録装置１のＣＰＵ１０１（図２参照）は、ＲＯＭ１０３（図２参照）に格納された不図示のプログラムを実行することにより、処理部９として、画像記憶部９１と、注文時オブジェクト認識処理部９２と、確定通知部９３と、候補商品提示部９４と、入力取得部９５と、売上登録部９６と、情報出力部９７と、緊急時オブジェクト認識処理部９８と、緊急通報部９９との各部を具現化する。この注文時オブジェクト認識処理部９２は、物体検出部９２１と、類似度演算部９２２と、類似度判断部９２３とを備えている。また、緊急時オブジェクト認識処理部９８は、物体検出部９８１と、類似度演算部９８２と、類似度判断部９８３とを備えている。
処理部９は、記憶部１０４に格納された注文時オブジェクト認識用データ１０５と、商品内容データ１０６と、売上マスタ１０７と、緊急時オブジェクト認識用データ１０８とを参照する。

注文時オブジェクト認識用データ１０５は、取扱商品の種類毎にモデル化された特徴量を組み合わせたテンプレート情報が予め登録される。注文時オブジェクト認識用データ１０５は、例えば、店舗に陳列して販売する取扱商品の各々について、商品名または商品ＩＤと、その取扱商品の特徴量との関連付けが設定されたデータファイルであり、取扱商品の認識用の辞書として機能する。
商品内容データ１０６は、取扱商品の内容情報が設定されたデータファイルである。商品内容データ１０６には、取扱商品の内容情報として、商品ＩＤ（IDentifier）、商品名、単価、値引き情報などが設定される。
売上マスタ１０７は、取扱商品の売上登録を記録するファイルであり、顧客に売り上げた商品ＩＤと、これに対応する商品分類、商品名、単価、販売個数などが記録される。

緊急時オブジェクト認識用データ１０８は、緊急状態を示す事象毎にモデル化された特徴量を組み合わせたテンプレート情報が予め登録される。緊急時オブジェクト認識用データ１０８は、例えば、商品登録装置１の周辺で発生する緊急状態を示す事象について、緊急状態の内容とその緊急状態を示す事象の特徴量との関連付けが設定されたデータファイルであり、緊急状態の認識用の辞書として機能する。
緊急状態とは、第三者の行為によりオペレータ（店員）が助けを求める必要が生じている状態であり、本実施形態では、第三者がオペレータに対してキャッシュドロワ１３内の紙幣の提供を要求する場合（強盗や恐喝などの犯罪行為）を想定する。
緊急状態を示す事象とは、例えば、犯人が提供を要求する物（紙幣、硬貨、防犯ブザー、外部との連絡が可能な携帯型電話機など）、犯行に利用される物（店舗や車両の鍵、武器など）などが挙げられる。ここで、日本国における場合を想定すると、紙幣の種類は、千円札、二千円札、五千円札、一万円札があるが、緊急状態を示す事象としては特に最高額紙幣である一万円札が有効である。それは、最高額紙幣は商取引のお釣りとして使用されることがないので、緊急状態を示す事象として最高額紙幣を用いることで後記する緊急通報の誤送信を防止することができる。

画像記憶部９１は、撮影されて撮影装置１５が撮影したフレーム画像（カラーデジタル画像）を順次取り込んで記憶する。

物体検出部９２１は、エッジ検出等の技術を用いて、取り込んだフレーム画像における取扱商品の候補となる画像を背景から分離する、すなわち識別対象の物体だけを切り出して検出する。具体的には、顧客がトレー３を撮影台１６に載せて、オペレータが撮影を指示すると、処理部９は、撮影装置１５によって撮影台１６上の撮影領域１５１を撮影する。物体検出部９２１は、取り込まれたフレーム画像を二値化して輪郭線を抽出する。次いで物体検出部９２１は、前回のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較して画像を各領域に分離して、物体を検出する。

類似度演算部９２２は、個々の取扱商品の種類を、検出された各物体の分離画像に基づいて識別する。類似度演算部９２２は、各分離画像について、大きさ、形状、色合い、表面の凹凸具合などの表面の状態を特徴量として演算する。類似度演算部９２２は更に、各分離画像の特徴量と、注文時オブジェクト認識用データ１０５に記録された取扱商品の各特徴量とをそれぞれ比較することで、各分離画像とオブジェクト認識用データ１０５に記録された取扱商品との類似度をそれぞれ算出する。ここで類似度とは、注文時オブジェクト認識用データ１０５に記録されている取扱商品が想定する特徴量を１００％の類似度とした場合に、各分離画像の特徴量がどの程度まで類似しているかを示すものである。なお、類似度演算部９２２は、特徴量が複数種類ある場合には複数の特徴量に基づいて総合評価をするが、そのとき、特徴量ごとに重み付けをしてもよい。

このように、画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。下記の柳井啓司著の「一般物体認識の現状と今後」では、一般物体認識の研究のサーベイを手法に加えて、データセット、評価ベンチマークを行い、更にその今後について展望している。
柳井啓司，「一般物体認識の現状と今後」，[online]、情報処理学会論文誌，２００７年１１月１５日，Vol.48，No.SIG16、1-24頁，[平成２６年１０月３１日検索]，インターネット<URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>

また、画像をオブジェクト（物体）ごとに領域分割することによって一般物体認識を行う技術は、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”， Computer Vision and Pattern Recognition, 2008. CVPR 2008. IEEE Conference on，[平成２６年１０月３１日検索]，インターネット<URL:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf>

なお、撮影された商品画像の特徴量と、注文時オブジェクト認識用データ１０５に記録された取扱商品の商品画像の特徴量との類似度の算出方法は特に問わないものとする。例えば、撮影された商品画像の特徴量と、注文時オブジェクト認識用データ１０５に記録された各取扱商品の特徴量との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。

類似度を絶対評価として算出する場合には、分離画像の特徴量と、注文時オブジェクト認識用データ１０５として記憶された取扱商品の特徴量とを１対１で比較し、この比較の結果算出される類似度（０〜１００％）をそのまま採用すればよい。
また、類似度を相対評価として算出する場合には、各取扱商品との類似度の総和が１．０（１００％）となるよう算出する。例えば、注文時オブジェクト認識用データ１０５として取扱商品Ａ、Ｂの特徴量が記憶されていたとする。このとき分離画像について、例えば、取扱商品Ａに対して類似度が０．６５、取扱商品Ｂに対しては類似度が０．２、などのように算出する。

類似度判断部９２３は、物体の分離画像ごとに、類似度演算部９２２が算出した類似度に基づいて、例えば、対応する取扱商品に関して次の３択で判断する。
（１）分離画像に対応する取扱商品が一意に決定された。
（２）分離画像に対応する取扱商品の候補が１つ以上存在する。
（３）分離画像に対応する取扱商品が無いと決定する。
この判断のための条件として、例えば、記憶部１０４は、条件Ｘ，Ｙを予め記憶している。以下、類似度の算出方法が絶対評価の場合を例にとって説明する。

条件Ｘは、充足すれば上記（１）と判断するための条件である。条件Ｘは、例えば、「類似度の一番大きい取扱商品の類似度が９０％以上」、かつ、「類似度の一番大きい取扱商品の類似度と、類似度の二番目に大きい取扱商品の類似度の差が２０％以上」である。具体的には、例えば、ある分離画像の物体について、類似度の一番大きい取扱商品の類似度が９５％の取扱商品Ａで、その次が類似度６０％の取扱商品Ｂであったとする。このとき条件Ｘを満たすので、分離画像に対応する取扱商品Ａは、一意に決定される。

条件Ｘを満たさない場合、条件Ｙが用いられる。
条件Ｙは、充足すれば上記（２）と判断するための条件である。条件Ｙは、例えば、「類似度６０％以上の取扱商品が１つ以上あること」である。具体的には、例えば、ある分離画像の物体について、類似度の一番大きい取扱商品が類似度８０％の取扱商品Ａで、二番目が類似度７５％の取扱商品Ｂで、三番目が類似度６５％の取扱商品Ｃで、四番目が類似度５５％の取扱商品Ｄであったとする。このとき条件Ｙを満たすので、分離画像に対応する候補として類似度６０％以上の対象である取扱商品Ａ，Ｂ，Ｃが存在する。

条件Ｘ、Ｙを両方とも満たさない場合、上記（３）と判断する。なお、上記した条件Ｘ、Ｙは一例であり、これらに限定されない。
また、類似度の算出方法が相対評価の場合も、同様にして条件を設定すればよい。

確定通知部９３は、類似度判断部９２３が上記（１）と判断した分離画像の物体について、取扱商品が一意に確定されたことを、ディスプレイ１２Ａや顧客用ディスプレイ１１への表示や音声出力などによってオペレータや顧客に報知する。
より詳細には、確定通知部９３は、類似度判断部９２３が上記（１）と判断した分離画像を、緑の枠線と共に顧客用ディスプレイ１１やディスプレイ１２Ａに表示することで、分離画像に対応した取扱商品が一意に確定されたことを示す。

候補商品提示部９４は、類似度判断部９２３が上記（２）と判断した分離画像を、黄色の枠線と共にディスプレイ１２Ａや顧客用ディスプレイ１１に表示することで、分離画像に対応した取扱商品の候補が１つ以上存在することを示す。更に、この分離画像をオペレータがタッチパネル１２Ｂを介してタッチすることで、ディスプレイ１２Ａには、取扱商品の候補である写真画像および商品名が、類似度の高いものから順に表示される。
このとき候補商品提示部９４は、条件Ｙを満たした取扱商品の写真画像および商品名を注文時オブジェクト認識用データ１０５および商品内容データ１０６から読み出し、類似度演算部９２２が算出した類似度の高いものから、ディスプレイ１２Ａに順次出力する。

なお、ディスプレイ１２Ａに取扱商品の候補の写真画像が表示されていても、これら取扱商品の候補に対する選択操作を受け付けない場合には、撮影装置１５による撮影と、画像記憶部９１による画像の記憶処理と、物体検出部９２１による物体の検出処理と、類似度演算部９２２による類似度の演算処理とは継続される。

入力取得部９５は、タッチパネル１２Ｂを介してディスプレイ１２Ａの表示に対応する各種入力操作を受け付ける。例えば、上記（２）と判断され、黄色の枠線と共にディスプレイ１２Ａに分離画像が表示された場合、入力取得部９５は、オペレータによるタッチパネル１２Ｂを用いた分離画像の選択のタッチ入力操作を受け付ける。更に、取扱商品の候補の１つ以上の画像がディスプレイ１２Ａに表示された場合、オペレータによるタッチパネル１２Ｂを用いた商品選択のタッチ入力操作を受け付ける。

売上登録部９６は、情報出力部９７から出力された商品ＩＤに基づいて、対応する取扱商品の売上登録を行う。具体的には、売上登録部９６は、通知された商品ＩＤおよび、これに対応する商品分類、商品名、単価、販売個数などを売上マスタ１０７などに記録して売上登録を行う。

情報出力部９７は、上述のようにして確定された取扱商品について、商品内容データ１０６を参照して、その取扱商品を示す情報（例えば、商品ＩＤ（IDentifier）、商品名、値引き情報など）を顧客用ディスプレイ１１、ディスプレイ１２Ａ、プリンタ１４に出力する。

物体検出部９８１は、エッジ検出等の技術を用いて、取り込んだフレーム画像における緊急状態を示す事象（例えば、紙幣）の候補となる画像を背景から分離する、すなわち識別対象の事象だけを切り出して検出する。具体的には、キャッシュドロワ１３の開放をドロワ開閉センサ１３ａが検出すると、処理部９は、撮影装置１５によって撮影台１６上の撮影領域１５１を撮影する。物体検出部９８１は、取り込まれたフレーム画像を二値化して輪郭線を抽出する。次いで物体検出部９８１は、前回のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較して画像を各領域に分離して、緊急状態を示す事象を検出する。

類似度演算部９８２は、緊急状態を示す事象（例えば、紙幣）を、検出された各物体の分離画像に基づいて識別する。類似度演算部９８２は、各分離画像について、大きさ、形状、色合い、表面の凹凸具合などの表面の状態を特徴量として演算する。類似度演算部９８２は更に、各分離画像の特徴量と、緊急時オブジェクト認識用データ１０８に記録された緊急状態を示す事象の各特徴量とをそれぞれ比較することで、各分離画像と緊急時オブジェクト認識用データ１０８に記録された緊急状態を示す事象との類似度をそれぞれ算出する。ここで類似度とは、緊急時オブジェクト認識用データ１０８に記録されている緊急状態を示す事象が想定する特徴量を１００％の類似度とした場合に、各分離画像の特徴量がどの程度まで類似しているかを示すものである。なお、類似度演算部９８２は、特徴量が複数種類ある場合には複数の特徴量に基づいて総合評価をするが、そのとき、特徴量ごとに重み付けをしてもよい。

なお、撮影された緊急状態を示す事象（例えば、紙幣）の画像の特徴量と、緊急時オブジェクト認識用データ１０８に記録された緊急状態を示す事象の画像の特徴量との類似度の算出方法は特に問わないものとする。例えば、撮影された事象の特徴量と、緊急時オブジェクト認識用データ１０８に記録された各緊急状態を示す事象の特徴量との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。

類似度を絶対評価として算出する場合には、分離画像の特徴量と、緊急時オブジェクト認識用データ１０８として記憶された緊急状態を示す事象（例えば、紙幣）の特徴量とを１対１で比較し、この比較の結果算出される類似度（０〜１００％）をそのまま採用すればよい。
また、類似度を相対評価として算出する場合には、各緊急状態を示す事象との類似度の総和が１．０（１００％）となるよう算出する。例えば、緊急時オブジェクト認識用データ１０８として事象Ａ、Ｂの特徴量が記憶されていたとする。このとき分離画像について、例えば、事象Ａに対して類似度が０．６５、事象Ｂに対しては類似度が０．２、などのように算出する。

類似度判断部９８３は、物体の分離画像ごとに、類似度演算部９８２が算出した類似度に基づいて、例えば、対応する事象に関して次の２択で判断する。
（４）分離画像に対応する事象が一意に決定された。
（５）分離画像に対応する事象が無いと決定する。
この判断のための条件として、例えば、記憶部１０４は、条件Ｚを予め記憶している。以下、類似度の算出方法が絶対評価の場合を例にとって説明する。

条件Ｚは、充足すれば上記（４）と判断するための条件である。条件Ｚは、例えば、「類似度の一番大きい事象の類似度が９０％以上」、かつ、「類似度の一番大きい事象の類似度と、類似度の二番目に大きい事象の類似度の差が２０％以上」である。具体的には、例えば、ある分離画像の物体について、類似度の一番大きい事象の類似度が９５％の事象Ａで、その次が類似度６０％の事象Ｂであったとする。このとき条件Ｚを満たすので、分離画像に対応する事象Ａは、一意に決定される。この場合、上記（４）と判断した分離画像の物体について、緊急状態を示す事象が一意に確定されたことを、ディスプレイ１２Ａや顧客用ディスプレイ１１への表示や音声出力などによって報知しないことが望ましい。第三者（特に、犯人）に緊急通報の判断を行っていることを知らせないためである。

条件Ｚを満たさない場合、上記（５）と判断する。類似度の算出方法が相対評価の場合も、同様にして条件を設定すればよい。
なお、上記した条件Ｚは一例であり、これらに限定されない。例えば、条件Ｚは、「類似度６０％以上の事象が１つ以上あること」であってもよい。具体的には、例えば、ある分離画像の物体について、類似度の一番大きい事象が類似度８０％の事象Ａで、二番目が類似度７５％の事象Ｂであったとする。このとき条件Ｚを満たすので、分離画像に対応する候補として類似度６０％以上の対象である事象Ａ，Ｂが存在することになる。その場合、分離画像に対応した事象の候補が１つ以上存在することをディスプレイ１２Ａや顧客用ディスプレイ１１に表示しないことが望ましい。第三者（特に、犯人）に緊急通報の判断を行っていることを知らせないためである。

緊急通報部９９は、緊急状態であると判断した場合（例えば、上記（４）と判断した場合）に、通信部１８（図２参照）を介して緊急通報を外部装置４に送信する。緊急通報の手段および内容は種々のものが想定される。例えば、単純に緊急状態である事のみを情報として送信してもよいし、緊急状態であると判断した撮影画像を送信してもよい。また、緊急状態である事および緊急状態であると判断した撮影画像を併せて送信してもよい。

（商品登録処理）
次に、商品登録装置１を用いた商品登録処理について図４および図５を参照して説明する（適宜、図１ないし図３参照）。図４は、商品登録装置１の商品登録処理の全体動作を示すフローチャートを例示した図である。図５は、商品登録装置１の画面遷移の例を示す図である。

最初に、処理部９は、撮影装置１５に撮影オン信号を出力して撮影を開始させる（ステップＳ１）。撮影装置１５が撮影したフレーム画像（カラーデジタル画像）は、順次取り込まれて画像記憶部９１に記憶される。物体検出部９２１は、画像記憶部９１に保存されたフレーム画像（撮影画像）を取り込み（ステップＳ２）、取り込んだ画像から取扱商品の認識を行う（ステップＳ３）。具体的にいうと、オペレータが取扱商品の撮影指示を行うと、この取扱商品がオブジェクトとして認識される（図５（ａ）参照）。図５（ａ）では、２個の取扱商品６がオブジェクトとして認識されている。

続いて、類似度演算部９２２は、取扱商品の画像から取扱商品の特徴量を読み取り、注文時オブジェクト認識用データ１０５に登録された各商品画像の特徴量と比較することで登録商品との類似度を算出する（ステップＳ４）。次に、類似度判断部９２３は、取扱商品が一意に決定された場合には、その取扱商品を登録商品として確定し、一方、取扱商品が一意に決定できずに複数の候補が存在する場合には、候補商品提示部９４が候補商品を表す情報をディスプレイ１２Ａに表示し、オペレータによる選択操作により登録商品を確定する（ステップＳ５）。そして、確定通知部９３は、確定した登録商品を表す情報（確定画面）をディスプレイ１２Ａおよび顧客用ディスプレイ１１に表示する（ステップＳ６）。図５（ｂ）では、「カレーパン」および「メロンパン」が取扱商品として決定され、これらの取扱商品が登録商品として確定されている（図５（ｃ）参照）。そして、オペレータは精算を行う。

続いて、処理部９は、オペレータから業務の終了の指示が行われたか否かを判定する（ステップＳ７）。業務を継続する場合（ステップＳ７で“Ｎｏ”）、処理部９は、ステップＳ２へ処理を戻して次の商品登録処理を継続させる。オペレータの指示により業務を終了する場合（ステップＳ７で“Ｙｅｓ”）、処理部９は、撮影装置１５に撮影オフ信号を出力して撮影装置１５による撮影を終了する（ステップＳ８）。

（緊急通報処理）
次に、商品登録装置１を用いた緊急通報処理について図６を参照して説明する（適宜、図１ないし図３参照）。図６は、商品登録装置１の緊急通報処理の全体動作を示すフローチャートを例示した図である。
ここでは、犯人が取扱商品の購入を装い、商品登録装置１のオペレータ（店員）に金銭を要求する場合を想定する。犯人は、金銭を要求した後、指示に従わせる為および外部への連絡を行わせないようにするために、所持している武器（ナイフや拳銃）で威嚇すると共にオペレータの動向を厳しく観察する。したがって、オペレータは、大声で助けを求めたり、非常ベルを操作することができない。その為、オペレータは、仕方なく犯人の指示に従い、キャッシュドロワ１３内部の一万円札（紙幣）を犯人に渡すことになる。なお、この時点では、キャッシュドロワ１３は閉じられている。

オペレータ（店員）がキャッシュドロワ１３（図２参照）を開放すると、ドロワ開閉センサ１３ａ（図２参照）がキャッシュドロワ１３の開放を検出し、処理部９は、撮影装置１５に撮影オン信号を出力して撮影を開始させる（ステップＳ１１）。撮影装置１５が撮影したフレーム画像（カラーデジタル画像）は、順次取り込まれて画像記憶部９１（図３参照）に記憶される。具体的にいうと、キャッシュドロワ１３から取り出した一万円札５１をオペレータが撮影台１６の上に置くと、その一万円札５１を撮影装置１５が撮影する（図７（ａ）参照）。

続いて、物体検出部９８１は、画像記憶部９１に保存されたフレーム画像（撮影画像）を取り込み（ステップＳ１２）、取り込んだ画像から撮影対象物の検出を行う（ステップＳ１３）。具体的にいうと、オペレータにより撮影台１６の上に置かれた紙幣がオブジェクトとして認識される。

続いて、類似度演算部９８２は、撮影した画像から撮影対象物の特徴量を読み取り、緊急時オブジェクト認識用データ１０８に登録された各緊急状態を示す事象（例えば、紙幣）の特徴量と比較することで緊急状態を示す事象との類似度を算出する（ステップＳ１４）。
続いて、類似度判断部９８３は、撮影対象物が緊急状態を示す事象の何れかに類似するか否かを判定する（ステップＳ１５）。類似する場合（ステップＳ１５で“Ｙｅｓ”）に処理をステップＳ１６に進め、一方、類似しない場合（ステップＳ１５で“Ｎｏ”）に処理をステップＳ１８に進める。類似しない場合には、何も撮影されていない場合も含まれている。

撮影対象物が緊急状態を示す事象の何れかに類似する場合（ステップＳ１５で“Ｙｅｓ”）に、処理部９は、キャッシュドロワ１３が開放された時点で撮影対象物が撮影台１６の上に置かれていたか否かを判定する（ステップＳ１６）。この処理は、誤って緊急通報を送信するのを防ぐものであり、例えば、顧客が買い物をした際に、撮影台１６の上に誤って落とした紙幣を撮影した場合を想定している。その為、この処理を行わなくてもよいし、緊急通報の誤送信を防ぐ他の処理であってもよい。
開放された時点で撮影対象物が撮影台１６の上に置かれていない場合（ステップＳ１６で“Ｎｏ”）に、処理をステップＳ１７に進め、一方、開放された時点で撮影対象物が撮影台１６の上に置かれていた場合（ステップＳ１６で“Ｙｅｓ”）に処理をステップＳ１９に進める。

開放された時点で撮影対象物が撮影台１６の上に置かれていない場合（ステップＳ１６で“Ｎｏ”）に、緊急通報部９９は、通信部１８を介して外部装置４や警察、警備会社等の予め設定されている通報先に緊急通報を送信する（ステップＳ１７）。そして、この緊急通報を受信した外部装置４の操作者は、例えば、商品登録装置１が設置されている店舗の防犯カメラや店舗に連絡を取り、その後の対応を行う。ステップＳ１７に続いて、処理はステップＳ１９に進む。

撮影対象物が緊急状態を示す事象の何れかに類似しない場合（ステップＳ１５で“Ｎｏ”）に、処理部９は、ドロワ開閉センサ１３ａがキャッシュドロワ１３の閉鎖を検出したか否かを判定する（ステップＳ１８）。キャッシュドロワ１３が閉鎖されていない場合（ステップＳ１８で“Ｎｏ”）に、処理をステップＳ１２に戻して新たに画像データを取り込み、所定の間隔で撮影対象物の検出を続ける。一方、キャッシュドロワ１３が閉鎖されている場合（ステップＳ１８で“Ｙｅｓ”）に、処理をステップＳ１９に進める。具体的にいうと、オペレータがキャッシュドロワ１３を開放している期間中、撮影台１６に緊急状態を示す事象が出現していないかを検出している。

ステップＳ１６またはステップＳ１８で“Ｙｅｓ”と判定された場合、ならびにステップＳ１７に続いて、処理部９は、撮影装置１５に撮影オフ信号を出力して撮影を終了させる（ステップＳ１９）。

なお、ここでは、図７（ａ）に示すように最高額紙幣である一万円札５１を撮影した場合を説明したが、図７（ｂ）に示すように鍵５２やスマートフォン５３を撮影した場合に緊急状態であると判定してもよい。また、ここでは、撮影台１６の上に置かれた一万円札５１を撮影した場合を説明したが、図７（ｃ）に示すようにオペレータ（店員）が持った状態の一万円札５４を撮影した場合に緊急状態であると判定してもよい。

以上のように、第１実施形態に係る商品登録装置１は、キャッシュドロワ１３が開放されている期間中に撮影した撮影対象物と緊急状態を示す事象（例えば、紙幣）とを比較することで、緊急状態を示す事象に対する類似度を判定する。ここで、緊急状態とは、第三者の行為によりオペレータ（店員）が助けを求める必要が生じている状態であり、本実施形態では、第三者がオペレータに対してキャッシュドロワ１３内の紙幣の提供を要求する場合（強盗や恐喝などの犯罪行為）を想定していた。また、緊急状態を示す事象とは、例えば、犯人が提供を要求する物（犯行目的の紙幣、防犯ブザー、外部との連絡が可能な携帯型電話機など）、犯行に利用される物（店舗や車両の鍵、武器など）が挙げられる。そして、撮影対象物が緊急状態を示す事象に類似するかを類似度に応じて判定し、類似している場合に、緊急通報を外部に送信する。その為、商品登録装置１を用いることで、物体認識技術を用いた秘匿性の高い操作で緊急通報を行うことができる。

［第２の実施形態］
第１の実施形態に係る商品登録装置１では、犯人が提供を要求する物（犯行目的の紙幣、外部との連絡が可能な携帯型電話機など）、犯行に利用される物（キャッシュドロワ１３の鍵、店舗や車両の鍵、武器など）などを、キャッシュドロワ１３が開放された状態において撮影装置１５で撮影した場合に緊急状態であると判定し、緊急通報を外部装置４に対して送信していた。しかしながら、犯人の指示の仕方によっては、緊急通報を外部装置４や警察、警備会社等の予め設定されている通報先に送信できない虞がある。例えば、犯人がキャッシュドロワ１３の開放だけを指示し、犯人自らがカウンタ台２（図１参照）越しに手を伸ばしてキャッシュドロワ１３内の紙幣を取るような場合である。この場合には、撮影台１６に犯人が提供を要求する物（例えば、紙幣）などが置かれる可能性が低いので、緊急通報を外部装置４に送信できない。

そこで、第２の実施形態に係る商品登録装置１では、オペレータ（店員）が行う特定のジェスチャーを撮影装置１５で撮影した場合に緊急状態であると判定し、緊急通報を外部装置４に対して送信する。犯行時、犯人は自分の目の届かない所でのオペレータの行動を警戒するが、犯人の目の届く範囲の動作に対しては警戒心が薄い場合がある。例えば、前記した犯人自らがカウンタ台２越しに手を伸ばしてキャッシュドロワ１３内の紙幣を取るような場合を考えると、犯人の意識は、キャッシュドロワ１３内の紙幣や犯人の死角となるカウンタ台２の下部におけるオペレータの動作に向いている。その為、犯人の目の前に差し出された手の動作を犯人が不審に感じる可能性は低いと考えられる。以下、第２の実施形態に係る商品登録装置１の具体的な構成などについて説明する。

図８は、第２の実施形態における商品登録装置を示す論理ブロック図である。
第２の実施形態では、記憶部１０４内の緊急時オブジェクト認識用データ１０８Ａの内容、および緊急時オブジェクト認識処理部９８Ａが第１の実施形態と異なっている。以下では、第１の実施形態との相違点について説明する。

緊急時オブジェクト認識用データ１０８Ａは、緊急状態を示す事象毎にモデル化された特徴量を組み合わせたテンプレート情報が予め登録される。
ここで、第２の実施形態で想定する緊急状態を示す事象とは、犯行時（緊急状態時）に実行が可能な手形状やジェスチャーであり、望ましくは犯人を刺激しない動作やそれが緊急状態を外部に連絡しているものだということを犯人に知られない自然な動作であるのが望ましい。例えば、指を伸ばした状態の手形状や指を曲げた状態の手形状であってもよいし、手を開いたり閉じたりする動作や手を上下または左右に振る動作であってもよい。この緊急状態を示す手形状やジェスチャーは、オペレータに事前に通知されているものとする。

緊急時オブジェクト認識処理部９８Ａは、物体検出部９８１Ａと、類似度演算部９８２Ａと、類似度判断部９８３とを備えている。
物体検出部９８１Ａは、第１の実施形態における物体検出部９８１の機能である識別対象の事象（例えば、手形状やジェスチャー）だけを切り出して検出することに加えて、検出した事象の位置を特定する。これにより、識別対象の事象が手形状やジェスチャーの場合に、手がオペレータ側から差し出されたものなのか、顧客側から差し出されたものなのかを検出する。顧客は緊急通報を行うジェスチャーを知らないので、顧客側から手が差し出された場合には、緊急通報を行わないようにする。

類似度演算部９８２Ａは、個々の取扱商品の種類を、検出された各物体の分離画像に基づいて識別する。類似度演算部９８２Ａは、各分離画像について、大きさ、形状、色合い、表面の凹凸具合などの表面の状態を特徴量として演算する。類似度演算部９８２は更に、各分離画像の特徴量と、緊急時オブジェクト認識用データ１０８Ａに記録された緊急状態を示す事象（例えば、手形状やジェスチャー）の各特徴量とをそれぞれ比較することで、各分離画像と緊急時オブジェクト認識用データ１０８に記録された緊急状態を示す事象との類似度をそれぞれ算出する。ここで類似度とは、緊急時オブジェクト認識用データ１０８Ａに記録されている緊急状態を示す事象が想定する特徴量を１００％の類似度とした場合に、各分離画像の特徴量がどの程度まで類似しているかを示すものである。なお、類似度演算部９８２Ａは、特徴量が複数種類ある場合には複数の特徴量に基づいて総合評価をするが、そのとき、特徴量ごとに重み付けをしてもよい。

なお、撮影された商品画像の特徴量と、緊急時オブジェクト認識用データ１０８Ａに記録された緊急状態を示す事象（例えば、手形状やジェスチャー）の画像の特徴量との類似度の算出方法は特に問わないものとする。例えば、撮影された事象の特徴量と、緊急時オブジェクト認識用データ１０８Ａに記録された各緊急状態を示す事象の特徴量との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。

次に、第２の実施形態に係る商品登録装置１の緊急通報処理について図９を参照して説明する。ステップＳ２１〜ステップＳ２３の処理は、図６に示すステップＳ１１〜ステップＳ１３の処理と同様であり、また、ステップＳ２７〜ステップＳ２９の処理は、図６に示すステップＳ１７〜ステップＳ１９の処理と同様である。その為、これらの処理の説明については省略する。

ステップＳ２３に続いて、類似度演算部９８２Ａは、撮影した画像から撮影対象物の特徴量を読み取り、緊急時オブジェクト認識用データ１０８Ａに登録された各緊急状態を示す事象（例えば、手形状やジェスチャー）の特徴量と比較することで緊急状態を示す事象との類似度を算出する（ステップＳ２４）。この際、撮影対象物の位置を特定することで、識別対象の事象が手形状やジェスチャーの場合には、手がオペレータ側から差し出されたものなのか、顧客側から差し出されたものなのかを検出する。

続いて、類似度判断部９８３は、撮影対象物が緊急状態を示す事象（例えば、手形状やジェスチャー）の何れかに類似するか否かを判定する（ステップＳ２５）。類似する場合（ステップＳ２５で“Ｙｅｓ”）に処理をステップＳ２６に進め、一方、類似しない場合（ステップＳ２５で“Ｎｏ”）に処理をステップＳ２８に進める。類似しない場合には、何も撮影されていない場合も含まれている。具体的にいうと、両手を開いた状態や両手を握った状態が緊急状態を示すと事前に決められていた場合に、図１０（ａ）に示すように、指を開いた状態の手５５，５５を撮影したときや、図１０（ｂ）に示すように、指を閉じた状態の手５６，５６を撮影したときに、撮影対象物が緊急状態を示す事象に類似すると判定される。また、手を左右に移動させるジェスチャーが緊急状態を示すと事前に決められていた場合に、図１０（ｃ）に示すように、手５７を左右に移動させる動作を撮影したときに、撮影対象物が緊急状態を示す事象に類似すると判定される。

撮影対象物が緊急状態を示す事象の何れかに類似する場合（ステップＳ２５で“Ｙｅｓ”）に、処理部９は、手がオペレータ（店員）側から差し出されているか否かを判定する（ステップＳ２６）。この処理は、誤って緊急通報を送信するのを防ぐものであり、例えば、誤って撮影台１６の上に差し出した顧客の手を撮影した場合を想定している。その為、この処理を行わなくてもよいし、緊急通報の誤送信を防ぐ他の処理であってもよい。手がオペレータ側から差し出されている場合（ステップＳ２６で“Ｙｅｓ”）に、処理をステップＳ２７に進め、一方、手がオペレータ側から差し出されていない場合（ステップＳ２６で“Ｎｏ”）に、処理をステップＳ２９に進める。

以上のように、第２の実施形態に係る商品登録装置１は、事前に決められた手形状やジェスチャーを撮影装置１５で撮影した場合に緊急状態であると判定し、緊急通報を外部装置４や警察、警備会社等の予め設定されている通報先に対して送信する。その為、犯人の指示に関わらずに緊急通報を行うことができる。

［変形例］
以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく、特許請求の範囲の趣旨を変えない範囲で実施することができる。各実施形態の変形例を以下に示す。

第１および第２の実施形態では、緊急通報装置として、撮影台１６に置かれた取扱商品を真上から撮影するスタンド型の撮影装置１５を備える商品登録装置１を想定して説明した。しかしながら、商品登録装置１はこれに限定されるものではなく、種々の構成にすることが可能である。例えば、図１１に示すように、カウンタ台２の上部に設置される薄型の矩形状のハウジング２ａを有する構成でもよい。このハウジング２ａの正面には、読取窓を介して撮影装置１５が配置されている。

また、第１の実施形態では、紙幣などを撮影装置１５で撮影した場合に緊急状態であると判定し、緊急通報を外部装置４に対して送信していた。しかしながら、緊急状態の判定はこれに限定されず、撮影した紙幣の合計金額や撮影した物の組合せまたは順番で緊急状態を判定してもよい。これにより、商取引で誤って紙幣を撮影装置１５で撮影した場合でも、緊急通報の誤送信を防止することができる。
具体的には、店舗における一回の商取引で使用される金額よりも撮影装置１５で撮影された紙幣の合計金額が大きい場合に緊急状態であると判定してもよい。
また、通常の商取引で使用される可能性が低い紙幣の組合せを撮影装置１５で撮影した場合に緊急状態であると判定してもよい。商取引で使用される可能性が低い紙幣の組合せとは、例えば、五千円札を２枚以上撮影した場合や千円札を１０枚以上撮影したような場合である。
また、通常の商取引で使用される可能性が低い順番で撮影装置１５が撮影を撮影した場合に緊急状態であると判定してもよい。商取引で使用される可能性が低い順番とは、例えば、一万円札を撮影した数秒後にまた一万円札を撮影したような場合である。

また、第２の実施形態では、事前に決められた手形状やジェスチャーを撮影装置１５で撮影した場合に緊急状態であると判定し、緊急通報を外部装置４や警察、警備会社等の予め設定されている通報先に対して送信していた。しかしながら、緊急状態の判定はこれに限定されず、犯行時（緊急状態時）に撮影が可能であるなら手形状やジェスチャーでなくてもよく、例えば、事前に決められた特定の物を撮影した場合に緊急状態であると判定してもよい。その場合、商品登録を行う取扱商品と区別できるように、緊急状態の判定に用いる物は、店舗で取り扱っていない商品であることが望ましい。店舗で取り扱っていない商品には、架空の物（例えば、赤色の大根）も含まれる。この緊急状態の判定に用いる物は、例えば、商品登録装置１の側に常に置かれているのがよい。

また、第１および第２の実施形態では、商品登録装置１が外部装置４や警察、警備会社等の予め設定されている通報先に対して緊急通報を送信していたが、緊急通報に代えてヘルプサイン等の他の情報を送信してもよい。

以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
画像撮影により商品を認識することによって当該商品の売上登録処理を行う商品登録装置であって、
現金を収容するキャッシュドロワが開放されている期間中に撮影手段によって撮影された撮影画像から緊急状態を判定する判定手段と、
前記判定手段による判定結果に基づいて、予め設定した通報先に緊急通報を送信する通報手段と、
を備える商品登録装置。
＜請求項２＞
前記判定手段は、緊急状態を示す事象の特徴量と、前記撮影画像から算出した撮影対象物の特徴量とを比較した類似度から前記緊急状態を判定する、
ことを特徴とする請求項１に記載の商品登録装置。
＜請求項３＞
前記緊急状態を示す事象は、前記キャッシュドロワの鍵または収容される現金、ならびに予め決められた手形状またはジェスチャーである、
ことを特徴とする請求項２に記載の商品登録装置。
＜請求項４＞
前記緊急状態を示す事象は、最高額紙幣であることを特徴とする請求項２に記載の商品登録装置。
＜請求項５＞
現金を収容するキャッシュドロワが開放されている期間中に撮影手段によって撮影された撮影画像から緊急状態を判定する判定ステップと、
前記判定ステップによる判定結果に基づいて、予め設定した通報先に緊急通報を送信する通報ステップと、
を有する緊急通報方法。
＜請求項６＞
商取引における商品を撮影する撮影手段によって、現金を収容するキャッシュドロワが開放されている期間中に撮影された撮影画像から緊急状態を判定する判定手段と、
前記判定手段による判定結果に基づいて、予め設定した通報先に緊急通報を送信する通報手段と、
を備える緊急通報装置。
＜請求項７＞
現金を収容するキャッシュドロワの状態を取得する取得手段と、
商取引における商品を撮影する撮影手段によって、前記キャッシュドロワが開放されている期間中に撮影された撮影画像から、緊急状態を判定する判定手段と、
前記判定手段による判定結果に基づいて、予め設定した通報先に緊急通報を送信する通報手段と、
を備える緊急通報装置。
＜請求項８＞
前記判定手段は、緊急状態を示す事象の特徴量と、前記撮影画像から算出した撮影対象物の特徴量とを比較した類似度から前記緊急状態を判定する、
ことを特徴とする請求項６または7に記載の緊急通報装置。
＜請求項９＞
前記緊急状態を示す事象は、前記キャッシュドロワの鍵または収容される現金、ならびに予め決められた手形状またはジェスチャーである、
ことを特徴とする請求項８に記載の緊急通報装置。
＜請求項１０＞
前記緊急状態を示す事象は、最高額紙幣であることを特徴とする請求項８に記載の緊急通報装置。
＜請求項１１＞
撮影手段を用いて商取引における商品の登録処理を行う商品登録装置のコンピュータを、緊急通報処理を行うように制御する緊急通報方法であって、
前記コンピュータを、
現金を収容するキャッシュドロワの状態を取得する取得手段、
前記撮影手段によって前記キャッシュドロワが開放されている期間中に撮影された撮影画像から、緊急状態を判定する判定手段、
前記判定手段による判定結果に基づいて、予め設定した通報先に緊急通報を送信する通報手段、
として機能させるようにした緊急通報方法。

１ 商品登録装置
１ａ キャッシュレジスタ
１ｂ 商品識別装置
２ カウンタ台
４ 外部装置
６ パン（商品）
１１ 顧客用ディスプレイ
１２ タッチディスプレイ
１３ キャッシュドロワ
１３ａ ドロワ開閉センサ
１５ 撮影装置
１６ 撮影台
１８ 通信部
９１ 画像記憶部
９２ 注文時オブジェクト認識処理部
９３ 確定通知部
９４ 候補商品提示部
９５ 入力取得部
９６ 売上登録部
９７ 情報出力部
９８，９８Ａ 緊急時オブジェクト認識処理部（判定手段）
９９ 緊急通報部（通報手段）
１０５ 注文時オブジェクト認識用データ
１０８，１０８Ａ 緊急時オブジェクト認識用データ

Claims (6)

1. 画像撮影により商品を認識することによって当該商品の売上登録処理を行う商品登録装置であって、
   現金を収容するキャッシュドロワが開放されている期間中に撮影手段によって撮影された撮影画像から緊急状態を判定する判定手段と、
   前記判定手段による判定結果に基づいて、予め設定した通報先に緊急通報を送信する通報手段と、
   を備え、
   前記判定手段は、緊急状態を示す事象の特徴量と、前記撮影画像から算出した撮影対象物の特徴量とを比較した類似度から前記緊急状態を判定し、
   前記緊急状態を示す事象は、前記キャッシュドロワの鍵または収容される現金、ならびに予め決められた手形状またはジェスチャーである、
   ことを特徴とする商品登録装置。
2. 画像撮影により商品を認識することによって当該商品の売上登録処理を行う商品登録装置であって、
   現金を収容するキャッシュドロワが開放されている期間中に撮影手段によって撮影された撮影画像から緊急状態を判定する判定手段と、
   前記判定手段による判定結果に基づいて、予め設定した通報先に緊急通報を送信する通報手段と、
   を備え、
   前記判定手段は、緊急状態を示す事象の特徴量と、前記撮影画像から算出した撮影対象物の特徴量とを比較した類似度から前記緊急状態を判定し、
   前記緊急状態を示す事象は、最高額紙幣である
   ことを特徴とする商品登録装置。
3. 商取引における商品を撮影する撮影手段によって、現金を収容するキャッシュドロワが開放されている期間中に撮影された撮影画像から緊急状態を判定する判定手段と、
   前記判定手段による判定結果に基づいて、予め設定した通報先に緊急通報を送信する通報手段と、を備え、
   前記判定手段は、緊急状態を示す事象の特徴量と、前記撮影画像から算出した撮影対象物の特徴量とを比較した類似度から前記緊急状態を判定し、
   前記緊急状態を示す事象は、前記キャッシュドロワの鍵、収容される現金または最高額紙幣、ならびに予め決められた手形状またはジェスチャーである、
   ことを特徴とする緊急通報装置。
4. 現金を収容するキャッシュドロワの状態を取得する取得手段と、
   商取引における商品を撮影する撮影手段によって、前記キャッシュドロワが開放されている期間中に撮影された撮影画像から、緊急状態を判定する判定手段と、
   前記判定手段による判定結果に基づいて、予め設定した通報先に緊急通報を送信する通報手段と、を備え、
   前記判定手段は、緊急状態を示す事象の特徴量と、前記撮影画像から算出した撮影対象物の特徴量とを比較した類似度から前記緊急状態を判定し、
   前記緊急状態を示す事象は、前記キャッシュドロワの鍵、収容される現金または最高額紙幣、ならびに予め決められた手形状またはジェスチャーである、
   ことを特徴とする緊急通報装置。
5. 撮影手段を用いて商取引における商品の登録処理を行う商品登録装置のコンピュータを、緊急通報処理を行うように制御する緊急通報方法であって、
   前記コンピュータを、
   現金を収容するキャッシュドロワの状態を取得する取得手段、
   前記撮影手段によって前記キャッシュドロワが開放されている期間中に撮影された撮影画像から、緊急状態を判定する判定手段、
   前記判定手段による判定結果に基づいて、予め設定した通報先に緊急通報を送信する通報手段、 として機能させ、
   前記判定手段は、前記撮影画像として、前記キャッシュドロワの鍵または収容される現金、ならびに予め決められた手形状またはジェスチャーが撮影された場合に前記緊急状態と判断する、
   ことを特徴とする緊急通報方法。
6. 撮影手段を用いて商取引における商品の登録処理を行う商品登録装置のコンピュータを、緊急通報処理を行うように制御する緊急通報方法であって、
   前記コンピュータを、
   現金を収容するキャッシュドロワの状態を取得する取得手段、
   前記撮影手段によって前記キャッシュドロワが開放されている期間中に撮影された撮影画像から、緊急状態を判定する判定手段、
   前記判定手段による判定結果に基づいて、予め設定した通報先に緊急通報を送信する通報手段、として機能させ、
   前記判定手段は、前記撮影画像として、最高額紙幣が撮影された場合に前記緊急状態と判断する、
   ことを特徴とする緊急通報方法。

Images