JP6715683B2 - 貨幣処理システム - Google Patents

貨幣処理システム Download PDF

Info

Publication number
JP6715683B2
JP6715683B2 JP2016111377A JP2016111377A JP6715683B2 JP 6715683 B2 JP6715683 B2 JP 6715683B2 JP 2016111377 A JP2016111377 A JP 2016111377A JP 2016111377 A JP2016111377 A JP 2016111377A JP 6715683 B2 JP6715683 B2 JP 6715683B2
Authority
JP
Japan
Prior art keywords
money
image
user
camera
drawer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016111377A
Other languages
English (en)
Other versions
JP2017219890A (ja
Inventor
崇明 大塚
崇明 大塚
悠葵 永井
悠葵 永井
荘太郎 盛脇
荘太郎 盛脇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Glory Ltd
Original Assignee
Glory Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Glory Ltd filed Critical Glory Ltd
Priority to JP2016111377A priority Critical patent/JP6715683B2/ja
Publication of JP2017219890A publication Critical patent/JP2017219890A/ja
Application granted granted Critical
Publication of JP6715683B2 publication Critical patent/JP6715683B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Description

この発明は、カメラを有する監視装置によって、貨幣処理装置で行われる貨幣処理を監視して監視画像を記録する貨幣処理システムに関する。
従来、貨幣処理装置で行う貨幣処理作業を記録するためにカメラが利用されている。例えば、特許文献1には、貨幣収納庫で出し入れされた貨幣の金種等の情報を、貨幣収納庫を撮像した映像と関連付けるシステムが開示されている。貨幣処理に係る情報と映像とを関連付けて保存することにより、映像を記録した際の貨幣処理の内容を確認することができる。
監視映像を記録したデータは膨大な量になるため、例えば、ある人物が写った画像を確認したいという場合に、この画像を探し出す作業は手間と時間のかかる作業となる。このため、特許文献2には、長時間に亘ってカメラ映像を記録した後、映像データの解析や検索を行うシステムが開示されている。画像をメッシュ状に分割して輝度変化等を解析することにより、映像データ内に記録されている人の移動等を検出することができる。また、特許文献3には、移動体を監視して記録した監視映像データから移動体を検出してグループ化する画像装置が開示されている。移動体を検出してグループ化することにより、再生確認すべき映像データを絞り込むことができる。
特許第5386320号公報 特開2002−112244号公報 特許第5349632号公報
しかしながら、上記従来技術では、記録した膨大なデータを事後的に解析する必要がある。また、解析結果を得てデータを確認するまでに時間がかかる。
本発明は、上述した従来技術による問題点を解消するためになされたもので、貨幣処理装置で行われる貨幣処理を監視して記録した画像の中から所望の画像を検索して再生する作業を容易に行うことができる貨幣処理システムを提供することを目的とする。
上述した課題を解決し、目的を達成するため、本発明は、貨幣処理装置及び監視装置を含む貨幣処理システムであって、前記監視装置は、前記貨幣処理装置及び前記貨幣処理装置の利用者を含む撮像対象の画像及び前記撮像対象を三次元的に認識可能な情報を取得する第1カメラと、前記第1カメラで取得した情報に基づいて、予め設定された所定イベントを検知するイベント検知部と、前記第1カメラで取得した画像と、前記イベント検知部がイベントを検知した日時とを関連付けて管理するデータ管理部とを備え、前記イベント検知部は、前記貨幣処理装置が設置された監視エリア内への人物の進入及び退出と、前記貨幣処理装置が有する開閉可能な貨幣収納庫の開放操作及び閉塞操作とをイベントとして検知することを特徴とする。
また、本発明は、上記発明において、 前記イベント検知部は、前記貨幣処理装置から取得した情報に基づいて、予め設定された所定イベントを検知することを特徴とする。
また、本発明は、上記発明において、前記第1カメラで取得した画像には、可視光画像、赤外光画像及び深度画像が含まれることを特徴とする。
また、本発明は、上記発明において、前記監視装置は、操作表示部をさらに備え、前記データ管理部は、前記イベント検知部が検知した複数のイベントを前記操作表示部に一覧表示すると共に、前記操作表示部でフィルタを選択する操作がなされた場合には、前記一覧表示を、前記フィルタによる条件を満たすイベントのみに絞り込んで一覧表示することを特徴とする。
また、本発明は、上記発明において、前記データ管理部は、前記一覧表示の画面上でイベントを選択する操作がなされた場合には、選択されたイベントを検知した日時に記録された画像を前記操作表示部で再生することを特徴とする。
また、本発明は、上記発明において、前記監視装置は、前記貨幣処理装置の利用者の顔画像を取得する第2カメラをさらに備え、前記データ管理部は、前記第2カメラで取得した画像と、前記イベント検知部がイベントを検知した日時とを関連付けて管理する
ことを特徴とする。
本発明によれば、第1カメラで撮像した画像及び第2カメラで撮像した画像を連続して記録しながら、イベント検知部が所定イベントを検知した日時を記録する。データ管理部は、第1カメラによる画像及び第2カメラによる画像と、イベントの検知日時とを関連付けて管理しているので、イベントを指定すれば、このイベントを検知した際に記録された画像を容易に確認することができる。
図1は、監視装置及び貨幣管理装置を含む貨幣処理システムの外観を示す斜視図である。 図2は、監視装置及び貨幣管理装置の機能構成概略を示すブロック図である。 図3は、監視装置と貨幣管理装置の接続について説明する図である。 図4は、監視装置による画像の撮像範囲を示す図である。 図5は、第1カメラによる深度情報の取得について説明する図である。 図6は、ドロアの位置を検知する方法を説明する図である。 図7は、ドロアの検知に反射材を利用する方法を説明する図である。 図8は、収納部の検知に反射材を利用する方法を示す図である。 図9は、収納部内の貨幣量を検知する方法を説明するための断面模式図である。 図10は、貨幣の高さ又は体積に基づいて貨幣量を算出する方法を示す図である。 図11は、立位状態で収納された貨幣の貨幣量を算出する方法を示す図である。 図12は、貨幣の監視方法を示すフローチャートである。 図13は、貨幣管理装置の利用者の監視方法を示すフローチャートである。 図14は、画像データ及び監視データの記録について説明する図である。 図15は、記録する画像の設定例を説明する図である。 図16は、監視データの例を示す図である。 図17は、イベントリスト画面の例を示す図である。 図18は、フィルタリングソート画面の例を示す図である。 図19は、画像の再生画面の例を示す図である。 図20は、貨幣情報画面の例を示す図である。
以下に、添付図面を参照して、本発明に係る貨幣処理システムについて詳細に説明する。貨幣処理システムは、監視装置及び貨幣処理装置を含み、貨幣処理装置で行われる貨幣処理を、監視装置に設けた複数のカメラを利用して監視する機能を有する。
まず、貨幣処理システムの概要を説明すると、貨幣処理システムでは、監視装置が、貨幣処理装置で行われる貨幣処理に関する情報を取得して、この貨幣処理が正しく行われたか否かを監視する。監視装置は、貨幣処理装置の利用者を識別する利用者ID等を含む利用者情報と、この利用者が貨幣処理中に出し入れする貨幣の種類や数量等を含む貨幣処理情報とを、貨幣処理装置から取得する。そして、貨幣処理開始後に、貨幣処理装置の利用者の顔画像をカメラで撮像して顔認証する処理を複数回実行することにより、処理権限を有さない人物のなりすまし等の不正がないことを確認する。また、監視装置は、貨幣処理装置及び利用者をカメラで撮像しながら、利用者が貨幣処理装置で出し入れした貨幣が適正であるか否かを監視する。監視装置は、カメラで撮像した利用者、装置、貨幣等の撮像対象を三次元的に認識する機能を有し、貨幣が出し入れされた貨幣収納庫の位置、出し入れされた貨幣の種類や数量等を検知できる点に一つの特徴を有している。監視装置は、利用者が実際に出し入れした貨幣を検知して、検知結果と貨幣処理で出し入れされるはずの貨幣との間に矛盾がある場合には、貨幣処理中にこれを報知することができる。また、監視装置は、カメラを利用して、貨幣処理装置が設置された監視エリア内への人の進入や退出、貨幣収納庫の開閉等をイベントとして検知する。そして、貨幣処理中に利用者等を撮像した複数種類の画像を、検知したイベントと関連付けて記録して管理する。これにより、過去に行われた貨幣処理装置の利用者や貨幣処理内容を確認する際には、記録されている複数イベントの中からイベントを選択して、このイベントを検知した際に撮像された画像を確認することができる。
本実施形態では、銀行等の金融機関で、大量の貨幣を収納して管理するために利用する貨幣管理装置(貨幣処理装置)を例に、貨幣処理システムについて具体的に説明する。貨幣管理装置では、バラ紙幣、結束紙幣、バラ硬貨、包装硬貨等、複数種類の貨幣が管理されるが、各貨幣の処理は同様に行われるため、以下では主に結束紙幣を例に説明する。また、監視装置では、静止画像及び動画像を取得することができるが、以下では、静止画像又は動画像のいずれか一方に限定されない場合には単に「画像」と記載する。
[システム構成]
まず、図1及び図2を参照しながら貨幣処理システムの機能及び構成について説明する。図1は、監視装置2及び貨幣管理装置3を含む貨幣処理システム1の外観を示す斜視図である。図2は、監視装置2及び貨幣管理装置3の機能構成概略を示すブロック図である。図1に示すように、貨幣処理システム1は、大量の貨幣を収納して管理する貨幣管理装置3と、貨幣管理装置3とデータ通信可能に接続された監視装置2とを含んで構成される。
監視装置2は、貨幣管理装置3及び貨幣管理装置3の利用者を上方から撮像する第1カメラ10と、利用者を前方から撮像する第2カメラ20と、タッチパネル式の液晶表示装置から成る操作表示部30とを有している。第2カメラ20及び操作表示部30が設けられた本体部と、第1カメラ10との間は、L字型のアーム部によって接続されている。
貨幣管理装置3は、現金バスと呼ばれる貨幣処理装置で、傾斜した上面部には、IDカード等から情報を読み取るカードリーダ120と、貨幣管理装置3で出し入れされる貨幣の金種や数量等の貨幣処理情報を入力するためのキーから成る操作部131と、各種情報を表示するための液晶表示部から成る表示部132とが設けられている。なお、IDカードには、利用者を特定するために各利用者に付与された利用者ID等の情報が書き込まれている。
また、貨幣管理装置3には、装置前面側へ引き出し可能な複数のドロア110〜114が設けられている。複数のドロア110〜114は上下方向に配列されており、各ドロアはそれぞれ床面からの高さが異なる位置に配置されている。
鍵穴109に鍵を差し込んで施解錠する予備ドロア110には、小切手等の有価証券、貨幣処理に係る書類等、貨幣以外の紙葉類を収納する。貨幣を収納する貨幣収納庫として設けられた第1ドロア111、第2ドロア112、第3ドロア113及び第4ドロア114には、バラ紙幣、所定枚数のバラ紙幣を結束した結束紙幣、バラ硬貨、所定枚数のバラ硬貨を包装した包装硬貨等を収納する。上面が開放された箱形形状の各ドロアは、内部が複数の収納部に区分されている。ドロア毎又は収納部毎に、収納する貨幣の種類が設定されており、貨幣はドロア毎又は収納部毎に金種別に収納される。
図2に示すように、監視装置2は、図1に示す構成の他に、貨幣管理装置3等の外部装置とデータ通信を行う通信部40と、以下に説明する各機能及び動作を実現するために監視装置2の各部を制御する制御部50と、制御部50が利用する各種情報や制御部50が取得した各種情報を保存するための記憶部60とを有している。
第1カメラ10は、画像センサ11及び深度センサ12を有している。監視装置2は、画像センサ11を利用して、貨幣管理装置3や貨幣管理装置3の利用者等を上方から撮像したカラーの可視光静止画像及び可視光動画像を取得する。深度センサ12は、所定パターンに配列した赤外線スポット光を照射する照射部と、各スポット光の反射光を受光する赤外線カメラとを含む。監視装置2は、深度センサ12を利用して、所定パターンに配列した赤外線スポット光を撮像対象に照射して、得られた反射光の状態から、撮像対象の位置及び奥行き(深度)を認識する。そして、撮像範囲内で得られた深度情報を利用して、深度の違いを色の違いで表した深度静止画像及び深度動画像を取得することができる。また、監視装置2は、深度センサ12を利用して照射部から赤外光を照射し、貨幣管理装置3や貨幣管理装置3の利用者等を上方から撮像した赤外光静止画像及び赤外光動画像を取得する。
このように、画像センサ11及び深度センサ12を有する第1カメラ10として、例えば、マイクロソフト社製のKinect(登録商標)を利用する。専用のソフトウェアプログラムを利用することにより、監視装置2は、予め監視エリアとして設定した三次元空間内で人や物体を三次元的に認識することができる。
具体的には、撮像対象の上方に第1カメラ10を配置することにより、第1カメラ10が配置されている基準位置から撮像対象までの鉛直距離を、深度として取得することができる。そして、撮像範囲内の深度分布から、撮像対象を三次元的に認識して、撮像範囲内における撮像対象の位置、撮像対象の形状、撮像対象の体積等を検知することができる。
これにより、監視エリア内で、人と人以外の物体とを区別して検知して人の動きを追跡したり、貨幣管理装置3の各ドロアを区別して検知してドロア内の貨幣や貨幣処理で出し入れされた貨幣を検知したりすることができる。
第2カメラ20は、画像センサ21を有する。監視装置2は、画像センサ21を利用して、貨幣管理装置3の利用者を撮像したカラーの可視光静止画像及び可視光動画像を取得する。第2カメラ20を利用して、貨幣管理装置3に対向して立つ利用者を前方から撮像することにより、利用者の顔画像を取得することができる。
制御部50は、画像取得部51、利用者検知部52、作業部位検知部53、貨幣量検知部54、照合判定部55、報知部56、イベント検知部57及びデータ管理部58を含む。画像取得部51は、第1カメラ10及び第2カメラ20を利用して画像を取得する機能を有する。利用者検知部52は、貨幣管理装置3を利用する利用者を検知する機能を有する。作業部位検知部53は、貨幣が出し入れされるドロア、ドロア内の収納部の位置等、利用者が貨幣管理装置3で作業を行う位置を検知する機能を有する。
貨幣量検知部54は、貨幣量を検知する機能を有する。具体的には、ドロア毎又はドロア内の収納部毎に予め設定されている収納貨幣の金種に基づいて、第1カメラ10で取得した情報から、貨幣処理で貨幣が出し入れされる前にドロア内に収納されている貨幣と、貨幣処理で貨幣が出し入れされた後の貨幣と、貨幣処理前後の貨幣量の変化、すなわちドロアで出し入れされた貨幣とを検知することができる。貨幣量として検知する数量は、貨幣枚数や束数であってもよいし金額であってもよい。
照合判定部55は、貨幣管理装置3から取得した情報と、監視装置2で取得した情報とを照合して貨幣処理作業に異常がないか否か、対応する情報が一致するか否かを判定する機能を有する。報知部56は、照合判定部55による判定結果に基づいて、操作表示部30で情報を表示したり音や光を発したりする報知処理を実行する機能を有する。
例えば、照合判定部55は、貨幣処理時に貨幣が出し入れされるドロアの位置情報を貨幣管理装置3から取得して、作業部位検知部53で検知した、実際に貨幣が出し入れされるドロアの位置と照合する。また、例えば、貨幣処理時に出し入れされる貨幣の金種や数量等の情報を貨幣管理装置3から取得して、貨幣量検知部54で検知した、実際に出し入れされた貨幣の金種や数量等の情報と照合する。そして、照合判定部55による照合の結果、両者が一致せず貨幣処理作業に異常があると判定された場合には、報知部56が、音や光を発すると共に、ドロアの位置の誤り、貨幣の金種の誤り、貨幣の数量の誤り等を示す情報を操作表示部30に表示して異常を報知する。
イベント検知部57は、貨幣管理装置3から取得した情報、第1カメラ10で取得した情報、第2カメラ20で取得した情報等を利用して、予め設定された所定イベントを検知する機能を有する。例えば、イベント検知部57は、監視エリア内への人の進入や監視エリア内からの人の退出、貨幣管理装置3で行われるログイン操作やログアウト操作、貨幣管理装置3のドロアの開放操作やドロアの閉塞操作、監視エリア内における貨幣の放置や放置された貨幣の消失等を、イベントとして検知する。
データ管理部58は、画像取得部51が第1カメラ10及び第2カメラ20から取得した画像と、イベント検知部57が検知したイベントの検知結果とを関連付けて、記憶部60に保存して管理する機能を有する。データ管理部58が管理する画像データ62には、第1カメラ10で取得した可視光の静止画像及び動画像、赤外光の静止画像及び動画像、深度を色の違いで示した静止画像及び動画像と、第2カメラで取得した可視光の静止画像及び動画像とが含まれる。また、監視データ63には、イベント検知部57が検知したイベントの種類や検知日時等、監視装置2による監視で得られた各種情報が含まれる。画像を保存する際に、イベントの検知日時等の情報を画像と関連付けて管理することにより、イベントを指定して、イベント検知時に取得した画像を再生できるようになっている。
記憶部60は、半導体メモリやハードディスク等の不揮発性の記憶装置から成り、顔認証データ61、画像データ62、監視データ63等の保存に利用される。顔認証データ61には、利用者検知部52が顔認証処理を実行して利用者を特定するために必要なデータが含まれる。画像データ62には、データ管理部58が管理する画像データが含まれる。監視データ63には、データ管理部58が管理するイベントデータの種類等が含まれる。
図2に示すように、貨幣管理装置3は、図1に示す構成の他に、監視装置2等の外部装置とデータ通信を行う通信部140と、以下に説明する各機能及び動作を実現するために貨幣管理装置3の各部を制御する制御部150と、制御部150が利用する各種情報や制御部150が取得した各種情報を保存するための記憶部160とを有している。
記憶部160は、半導体メモリやハードディスク等の不揮発性の記憶装置から成り、利用者認証データ161及び貨幣管理データ162の保存に利用される。制御部150は、利用者認証部151、ドロアロック制御部152、貨幣管理部153を含む。
利用者認証部151は、カードリーダ120でIDカードから読み取った利用者ID等の情報、操作部131を利用して入力された利用者IDやパスワード等の情報と、予め記憶部160に利用者認証データ161として準備されている情報とを照合して、貨幣管理装置3の利用者を認証する機能を有する。利用者認証処理の実行方法は特に限定されず、IDカードから読み取った情報のみで行う態様、IDカードから読み取った情報と操作部131で入力された情報の両方を利用する態様、操作部131で入力された情報のみを利用する態様のいずれであってもよい。
ドロアロック制御部152は、貨幣管理装置3内部に設けられた電磁ロック等のロック機構を制御して、第1ドロア111〜第4ドロア114の各ドロアの開閉を制御する機能を有する。第1ドロア111〜第4ドロア114は、通常、ロック機構によってロックされており開くことができない。ログイン操作を行って認証された利用者が、操作部131を操作して、貨幣管理装置3で入出金する貨幣の金種と、貨幣枚数又は貨幣金額とを入力すると、ドロアロック制御部152が、最初に貨幣を出し入れするドロアのロックを解錠する。利用者は、解錠されたドロアを手前側に引き出して、収納部へ貨幣を収納する入金処理、収納部から貨幣を取り出す出金処理等を開始する。利用者が、貨幣の出し入れを終えたドロアを押し込むと、ドロアロック制御部152は、このドロアをロックして、次に貨幣を出し入れするドロアのロックを解錠する。このように、ドロアロック制御部152は、貨幣を出し入れするドロアが1つずつ順次解錠されるようにロック機構を制御するようになっている。利用者が、貨幣を出し入れする全ての処理を終えてドロアを閉じ、貨幣処理を完了するログアウト操作を行うと、ドロアロック制御部152により、再び全てのドロアがロックされた状態になる。
貨幣管理部153は、第1ドロア111〜第4ドロア114内の各収納部に収納されている貨幣の金種等の種類と数量(枚数及び金額)とを、在高として管理する機能を有する。各ドロアの内部は複数の収納部に区切られており、各収納部には、バラ紙幣、結束紙幣、バラ硬貨、包装硬貨のいずれかの貨幣が金種別に収納される。各収納部に収納されている貨幣の種類と数量は、貨幣管理データ162として、記憶部160で管理される。
[監視装置の初期設定]
次に、図3及び図4を参照しながら、監視装置2の利用開始時に行う初期設定について説明する。図3は、監視装置2と貨幣管理装置3の接続について説明する図である。図4は、監視装置2による画像の撮像範囲を示す図である。
図1に示すように貨幣管理装置3の上面に設置される監視装置2は、図3に示すように貨幣管理装置3の上面に対して着脱できるようになっている。貨幣管理装置3の他にも様々な貨幣処理装置の上面に監視装置2を設置して利用することができる。
監視装置2の第1カメラ10で貨幣処理を監視する監視エリアは、監視対象とする貨幣処理装置のサイズや形状等によって異なるが、監視装置2は、監視対象とする貨幣処理装置の種類を認識して、監視エリアを自動的に設定する。監視対象とする貨幣処理装置の種類に応じて、撮像範囲内に設定する監視エリア、監視エリア内における監視対象、監視する貨幣処理の種類、監視方法等を設定した設定情報が、予め記憶部60に準備されている。なお、監視エリアについては、第1カメラ10による撮像範囲内の一部の領域を監視エリアとして設定することもできるし、第1カメラ10による撮像範囲全体を監視エリアとして設定することもできる。
監視装置2を、貨幣処理装置の筐体上面に設置して起動すると、監視装置2の制御部50は、通信部40を制御して、有線又は無線で貨幣処理装置との通信を開始する。LAN(Local Area Network)等のネットワークや、NFC(Near Field Communication)等の近距離無線技術を利用して通信を開始した制御部50は、貨幣処理装置の種類を認識すると、貨幣処理装置に対応する設定を呼び出して、この設定に基づく動作を開始する。
例えば、監視装置2を、出納機と呼ばれる大型の貨幣処理装置の筐体上に設置すると、監視対象が出納機であることを認識した制御部50は、予め出納機用に準備されている設定を呼び出して初期設定を開始する。出納機上に監視装置2を設置する際には、入金口、出金口、操作表示部等、所定部位を第1カメラ10で撮像できるように、出納機上で監視装置2を設置可能な範囲が、設置領域として定められている。出納機用の設定を呼び出した制御部50は、監視装置2が設置領域内に正しく設置されていることを確認する処理を開始する。
具体的には、制御部50は、第1カメラ10で撮像した画像内で、出納機の筐体上面四隅の位置、筐体上面のエッジの位置、入金口の位置等、予め設定されている基準位置を認識する。例えば、画像内で、基準位置として設定されている入金口を検出できない場合、制御部50は、監視装置2の設置位置に異常があると判定する。そして、制御部50は、第1カメラ10による撮像画像を操作表示部30の画面上にリアルタイム表示しながら、画面上に矩形マークをオーバーレイ表示する。そして、この矩形マーク内に入金口が入るように監視装置2の設置位置を調整するよう指示する情報を画面上に表示する。装置利用者は、操作表示部30の画面を確認しながら、矩形マーク内に入金口が入るように、監視装置2の設置位置を調整する。監視装置2が設置領域内に設置され、第1カメラ10によって、入金口等の基準位置を撮像可能な状態になると、制御部50は、監視装置2が適正に設置されたことを示す情報を操作表示部30に表示するなどして、利用者にこれを報知する。続いて制御部50は、入金口を基準に、第1カメラ10による撮像画像に、出金口等の各監視対象が含まれていることを確認し、監視対象を検出できない等の異常があればこれを利用者に報知し、異常がなければ設置位置の確認処理を終了する。
こうして監視装置2が適正な設置位置に設置され、第1カメラ10によって、予め設定されている各撮像対象を撮像可能であることが確認できると、制御部50は、出納機用の設定に基づいて、入金口から入金される貨幣や、出金口から出金される貨幣等の監視を開始する。
なお、監視装置2の設置位置調整に利用する基準位置の設定方法については、入金口や筐体の一部を利用する態様に限定されず、例えば、所定の色や模様を有するシールを出納機の筐体上に貼り付けて基準位置とする態様であってもよい。また、第1カメラ10で基準位置を撮像できるように位置を調整する方法については、監視装置2の設置位置を動かして調整する態様に限定されない。例えば、監視装置2の操作表示部30と第1カメラ10との間を接続するアーム部が可動機構を含んで構成され、監視装置本体の位置を固定したまま、アーム部の可動機構によって、第1カメラ10の設置位置や角度を調整する態様であってもよい。さらに、例えば、第1カメラ10が、レンズの向きや撮像範囲を変更する可動機構を含んで構成され、この可動機構によって、第1カメラ10の向きや撮像範囲を変更する態様であってもよい。また、監視装置2が、アーム部及び第1カメラ10の可動機構をモータ等で駆動する駆動機構を備え、制御部50が、駆動機構を制御して、第1カメラ10による撮像範囲や撮像方向を自動調整する態様であってもよい。
なお、第2カメラ20については、監視装置2が予め設定された設置領域内に設置され、第1カメラ10により所定の監視領域を撮像可能な状態になれば、出納機の操作表示部を操作する利用者の顔を撮像できるようになっている。ただし、第2カメラ20についても、第1カメラ10と同様に、初期設定時に、装置利用者の顔画像を取得できるように撮像範囲や撮像方向を調整する態様であってもよい。
出納機に設置していた監視装置2を、図3に示すように貨幣管理装置3の上面に移動して起動すると、監視装置2の制御部50は、貨幣管理装置3が監視対象であることを自動的に認識して撮像範囲や撮像対象に問題がないか確認する初期設定を実行する。初期設定を終了すると、図4に示すように、貨幣管理装置3のカードリーダ120、操作部131及び表示部132が、破線で示した第1カメラ10による撮像範囲201に含まれる。これにより、カードリーダ120、操作部131及び表示部132を利用して貨幣処理を行う利用者の様子を、第1カメラ10で上方から撮像して画像や深度情報を取得することができる。
貨幣管理装置3で入金処理や出金処理を行う際には、図3に示すように、ドロアを手前に引き出して貨幣を出し入れするが、図4に示すように、予備ドロア110、第1ドロア111、第2ドロア112、第3ドロア113及び第4ドロア114のいずれを全開にしても、ドロア全体が第1カメラ10による撮像範囲201に収まるようになっている。これにより、有価証券や貨幣をドロア内部に収納したりドロア内部から取り出したりする貨幣処理作業を、第1カメラ10で上方から撮像して画像や深度を取得することができる。
また、第2カメラ20は、図4に一点鎖線で示すように、第2カメラ20の前方を撮像範囲202として、カードリーダ120、操作部131、表示部132等で操作を行う利用者を、利用者の前方から撮像して顔画像を取得することができる。
[ドロア検知]
次に、図5〜図7を参照しながら、監視装置2が、貨幣管理装置3で開閉されるドロアを検知する方法について説明する。監視装置2の作業部位検知部53は、第1カメラ10を利用してドロアの位置を検知する。第1カメラ10で撮像した画像の変化や、第1カメラ10で取得した深度の変化から、貨幣管理装置3のドロアが開いたことを認識した作業部位検知部53は、開いたドロアの位置を特定する位置検知処理を実行する。
図5は、第1カメラ10による深度情報の取得について説明する図である。図5に示すように、第1ドロア111には装置左右方向に2つの収納部111a、111bが配置されている。左右方向に配置された2つの収納部は、装置前後方向に5列設けられている。すなわち、各ドロア内の空間が2行5列に分割されて、上面が開放された箱形形状の収納部が10個形成されている(図6(c)参照)。
第1ドロア111が開くと、作業部位検知部53は、図5に示すように第1カメラ10の配置位置を深度0mmの基準位置として、基準位置から第1ドロア111の前面上端までの鉛直距離(深度H1)を計測する。同様に、第2ドロア112が開くと、作業部位検知部53は、基準位置から第2ドロア112の前面上端までの鉛直距離(深度H2)を計測する。作業部位検知部53は、開いたドロアの深度の違い、すなわち床面から、開いたドロアの前面上端までの鉛直距離(高さ)の違いから、複数ドロアのうちいずれのドロアが開いたかを検知する。
なお、貨幣管理装置3では4段のドロア111〜114が上下方向に一列に配置されているが、ドロアが複数列に配置されている場合も作業部位検知部53は、各ドロアの位置を検知することができる。監視装置2は、第1カメラ10による撮像範囲内全域で深度を測定するので、開いたドロア上面の位置や形状を三次元的に認識することができる。これにより、ドロアの配置状態によらず、開いたドロアの位置を検知することができる。
このように、深度情報に基づいてドロアの位置を検知可能であるが、ドロアの位置を確実に検知するため、監視装置2は、予め設定した検出領域内における深度の変化に基づいてドロアの位置を検知する。
図6は、ドロアの位置を検知する方法を説明する図である。図6(a)〜(c)は、第1カメラ10で上方から撮像した貨幣管理装置3を示している。第1カメラ10で撮像されるのは、操作部131、表示部132及びカードリーダ120が設けられた貨幣管理装置3の傾斜上面部より前方側の領域で、図6(c)に示すように、4つのドロア111〜114のうちどのドロアを全開にした場合でも、第1カメラ10によってドロア全体を撮像できるようになっている。なお、以下では、図5に示す深度の基準位置から、貨幣管理装置3が設置されている床面までの鉛直距離、すなわち床面の深度が、2000mmであるものとして説明する。
ドロアの位置を特定するための深度検出領域204は、図6(a)に示すように全てのドロア111〜114を全閉にした貨幣管理装置3の前方外側で、かつ、図6(c)に示すようにどのドロアを全開にした場合でも第1カメラ10の設置位置から見てドロアの内側となる位置に設けられている。全てのドロア111〜114が全閉状態にあるときを基準とするため、全てのドロア111〜114が全閉状態であれば、深度検出領域204内で深度が変化した領域の面積割合を示す深度変化割合は0%となる。すなわち、全てのドロアが全閉状態にあるときは、深度検出領域204全域の面積に対して、深度が2000mmより小さくなった領域の面積の割合を示す深度変化割合は0%となる。
また、図6(a)に示すように、全てのドロア111〜114が全閉状態にあるときは、第1カメラ10によって深度検出領域204内で撮像されるのは、貨幣管理装置3が設置されている床面のみであるため、深度検出領域204内の深度は全域で2000mmとなる。このため、深度検出領域204内で得られた深度の平均値を示す深度平均値は2000mmとなる。図6(d)に示すように、第1ドロア111〜第4ドロア114のいずれのドロアについても、深度検出領域204内でドロアが検知されない深度変化割合0%における深度平均値は2000mmとなる。
一方、図6(b)に示すようにドロアの一部を引き出した半開状態や、図6(c)に示すようにドロア全体を引き出した全開状態では、深度平均値が、ドロア毎に異なる値を示す。例えば、図6(b)に示すように、深度変化割合が40%の場合、深度検出領域204内で床面が撮像されている部分領域で深度が2000mmとなるのに対し、ドロアが撮像されている40%の部分領域では深度が2000mmより小さくなる。具体的には、図6(b)に示す収納部の底面211、収納部を形成する側壁の上面212、ドロア前面部の上面213の順に深度の値が2000mmより小さくなる。深度検出領域204内で得られた深度を平均した深度平均値は、図6(d)に示すように、第1ドロア111で1623mm、第2ドロア112で1736mmとなる。同様に、図6(c)に示すように深度変化割合が100%の場合、深度検出領域204内の全ての領域でドロアまでの深度が得られるため、深度平均値はドロアによって異なる値を示す。深度平均値は、図6(d)に示すように、第1ドロア111で1247mm、第2ドロア112で1472mmとなる。
図6(d)に示すように、深度検出領域204における深度変化割合と各ドロアの深度平均値との関係を示す深度テーブルが、貨幣管理装置3の監視用設定として、予め準備されている。監視装置2の作業部位検知部53は、監視エリア内における深度分布を第1カメラ10で取得して、深度検出領域204における深度変化割合及び深度平均値を算出する。そして、深度テーブルを参照することにより、第1ドロア111〜第4ドロア114のうち、どのドロアが開いたかを特定する。
具体的には、図6(a)に示すように、深度変化割合が0%であれば全てのドロアが全閉状態であると判定する。また、例えば、図6(b)に示すように、深度検出領域204の深度変化割合が40%である場合、深度検出領域204で得られた深度平均値が、所定の誤差範囲内で、1623mmと一致するときは第1ドロア111が開いたと判定し、1736mmと一致するときは第2ドロア112が開いたと判定する。同様に、図6(c)に示すように、深度検出領域204の深度変化割合が100%である場合、深度検出領域204で得られた深度平均値が、所定の誤差範囲内で、1247mmと一致するときは第1ドロア111が開いたと判定し、1472mmと一致するときは第2ドロア112が開いたと判定する。なお、位置判定を行う際の深度の誤差範囲は、ドロア内の収納部が空の状態と貨幣で満杯になった状態とを考慮して、各ドロア毎に設定されている。
このように、監視装置2では、貨幣管理装置3のドロアが開いた際に、第1カメラ10で得られた深度情報を利用して、複数のドロアのうち、どのドロアが開いたかを検知するが、ドロアの検知に反射材を利用することも可能となっている。例えば、光源から受けた光を光源へ向けて反射する再帰性反射材を利用して、第1カメラ10から照射した赤外光の反射光を効率よく受光し、受光状態に基づいてドロア等の位置を検知する。
図7は、ドロアの検知に反射材を利用する方法を説明する図である。図7(a)は、反射材170〜172を貼り付けた貨幣管理装置3の外観を示す斜視図で、図7(b)〜(d)は、第1カメラ10で上方から貨幣管理装置3を撮像した際に得られる反射材170〜172の反射パターンを示している。
図7(a)に示すように、第1カメラ10で撮像可能な貨幣管理装置3の筐体上に、赤外光を反射する再帰性反射材170を貼り付ける。また、第1ドロア111の前面部上面に、再帰性反射材171を貼り付ける。図7(b)に示すように、全てのドロアを閉じた状態では、筐体上の再帰性反射材170で反射された赤外光のみが第1カメラ10で受光される。第1ドロア111を開くと、図7(c)に示すように、筐体上の再帰性反射材170で反射された赤外光と、第1ドロア111の再帰性反射材171で反射された赤外光との両方が第1カメラ10で受光される。これにより、赤外反射光の状態から、第1ドロア111が開いたことを検知することができる。
また、図7(a)に示すように、第2ドロア112には、第1ドロア111に貼り付ける再帰性反射材171と異なる形状の再帰性反射材172を貼り付ける。第2ドロア112を開いた際には、図7(d)に示すように、再帰性反射材170、172による反射光が、第1ドロア111を開いた際とは異なる反射パターンを示す。これにより、第1カメラ10で受光した赤外反射光の反射パターンに基づいて、第1ドロア111の開閉と、第2ドロア112の開閉とを区別して検知することができる。
赤外反射光の位置や形状に基づいて各ドロアを区別できるように、各ドロアに貼り付ける反射材の貼付位置と形状の少なくともいずれか一方を変更すれば、第1カメラ10で得られた赤外反射光のパターンに基づいて、第1ドロア111〜第4ドロア114それぞれの開閉を区別して検知することができる。
このように、監視装置2では、図5に示す各ドロア上面の深度、図6に示す深度テーブル、図7に示す再帰性反射材170〜172による赤外反射パターンの少なくともいずれか一つを利用して、第1ドロア111〜第4ドロア114のうち、どのドロアが開いたのかを特定することができる。また、ドロアが全開状態であるか半開状態であるかを検知することもできる。例えば、図6に示す深度検出領域204における深度変化割合及び深度平均値に基づくドロアの位置検知と、図7示す反射材を利用するドロアの位置検知とを併用すれば、ドロアの位置及び開閉状態を確実に検知することができる。
[収納部検知]
次に、図8を参照しながら、監視装置2が、貨幣管理装置3のドロア内に設けられている各収納部の位置を検知する方法について説明する。監視装置2の作業部位検知部53は、図5に示すように深度を測定して、開いたドロアを含む監視エリア内の深度分布を取得する。作業部位検知部53は、深度分布に基づいて、ドロア内の各収納部の位置及び形状を認識することができる。具体的には、各収納部を形成する四方の側壁上面で同じ深度が得られるので、側壁上面を示す深度の分布形状に基づいて、各収納部の位置及び形状を認識することができる。また、監視装置2では、ドロアの位置検知と同様に、収納部の位置及び形状を検知する際にも反射材を利用することができる。
図8は、収納部の検知に反射材を利用する方法を示す図である。図8は、第1カメラ10で上方から撮像した貨幣管理装置3を示している。なお、各ドロアで同様に反射材を利用することができるため、図8では、第1ドロア111を例に反射材の利用方法を説明する。
図8(a)は、第1ドロア111内に設けられた10個の収納部111a〜111j全ての位置及び形状の検知に、再帰性反射材173を利用する例である。再帰性反射材173は、ドロアを形成する左側、右側、前面側及び背面側の4つの側壁の上面と、ドロア内部を10個の収納部111a〜111jに仕切る全ての隔壁の上面に貼り付けられている。すなわち、各収納部を形成する四方の側壁の上面全周に再帰性反射材173が貼り付けられている。第1カメラ10で、再帰性反射材173で反射された赤外反射光を受光することにより、各収納部の位置及び形状を認識することができる。
第1ドロア111を途中まで引き出した半開状態で貨幣が出し入れされる場合も、貨幣管理装置3の外側へ露出している収納部を検知することができる。例えば、図8(b)に示すように、第1ドロア111を途中まで引き出して、3列目の収納部111e及び111fの途中までを貨幣管理装置3の前面から露出させた半開状態で貨幣の収納作業を開始した場合、1列目の2つの収納部111a及び111bと、2列目の2つの収納部111c及び111dでは、各収納部の四方の側壁上面に貼り付けられた再帰性反射材173から矩形形状の赤外反射光が得られる。これに対して、途中までしか引き出されていない3列目の収納部111e及び111fでは、背面側の側壁が貨幣管理装置3内に隠れた状態となるため、矩形形状の赤外反射光は得られない。作業部位検知部53は、第1カメラ10で受光した赤外反射パターンから、第1ドロア111が途中まで引き出された半開の状態であり、1列目及び2列目の4つの収納部111a〜111dは貨幣管理装置3の外側に全体を露出して、3列目の2つの収納部111e及び111fは一部のみが露出していることを認識することができる。
なお、再帰性反射材の利用方法については、ドロア内の全ての収納部で利用する態様に限定されず、一部の収納部のみで利用する態様であってもよい。例えば、図8(c)に示すように、一部の収納部に反射材を貼り付ける態様であってもよい。
収納部内に貨幣が収納されている場合でも収納部の位置及び形状が分かるように、反射材は、収納部を形成する側壁上面に貼り付けることが好ましいが、反射材の貼付位置がこれに限定されるものではない。具体的には、例えば、図8(c)に示す収納部111aのように四方の側壁上面の角部にのみ再帰性反射材174を貼り付ける態様であってもよいし、収納部111eのように底面上の外周部全周にわたって四方の側壁内面に沿わせて矩形形状に再帰性反射材175を貼り付ける態様であってもよい。また、底面上に、格子模様や水玉模様を形成するように所定パターンで、再帰性反射材を貼り付ける態様であっても構わない。例えば、図8(c)に示す収納部111b、111dのように、底面上に再帰性反射材176を格子状に貼り付ければ、収納部111dで示すように紙幣等の物体300を収納した際に、収納された物体300の位置や形状を容易に認識することができる。
なお、図8(c)に示すように、一部の収納部に再帰性反射材174〜176を貼り付ける場合には、ドロア111を一番手前まで引き出した状態、すなわちドロア111を全開にした状態でのみ、第1カメラ10で撮像できるドロア上の位置に、全開位置であることを示す所定形状の再帰性反射材177a、177bを貼り付ける。これにより、作業部位検知部53は、第1カメラ10で撮像した画像に、全開位置を示す再帰性反射材177a、177bが含まれていれば、ドロア111は全開状態にあると認識することができる。一方、撮像画像に再帰性反射材177a、177bが含まれていなければ、ドロア111は途中までしか引き出されていない半開状態にあることを認識することができる。
[貨幣量検知]
次に、図9〜図11を参照しながら、監視装置2が、ドロアの収納部内で貨幣量を検知する方法について説明する。監視装置2の貨幣量検知部54は、第1カメラ10を利用して、収納部内の貨幣量を検知する。第1カメラ10を利用すれば、監視エリア内の深度分布を取得して、監視エリア内の物体の位置、形状、体積等を検知することができる。貨幣量検知部54は、開いたドロア全面で、貨幣処理開始時、すなわち貨幣が出し入れされる前の各収納部の貨幣量と、貨幣処理終了後、すなわち貨幣が出し入れされた後の各収納部の貨幣量とを検知する。また、貨幣処理前後で変化した貨幣量、すなわち貨幣処理で出し入れされた貨幣量を検知することもできる。
図9は、収納部内の貨幣量を検知する方法を説明するための断面模式図である。図9(a)は、第1ドロア111内部の収納部111aに収納された複数の結束紙幣301aを示している。また、図9(b)は、この収納部111aから一部の結束紙幣を取り出す貨幣処理が行われた後、収納部111a内に残っている結束紙幣301bを示している。
貨幣管理装置3では、各収納部に収納する貨幣の種類が予め設定されている。貨幣量検知部54は、各収納部に収納されている貨幣の種類に係る情報を取得して、図9(a)に示す結束紙幣301a、1束分の厚みtを認識する。なお、厚みtの認識方法については、厚みtの値を貨幣管理装置3から直接取得する態様であってもよいし、監視装置2内に各金種と結束紙幣の厚みの関係を示すテーブルを予め準備しておいて、貨幣管理装置3から結束紙幣の金種情報を取得してテーブルを参照し、厚みを特定する態様であってもよい。また、貨幣管理装置3から、収納部111a内に収納されている結束紙幣301aの束数Nを示す情報を取得して、深度の実測値から厚みt(=(H3−H4)/N)を算出する態様であってもよい。
貨幣量検知部54は、第1カメラ10で取得した収納部111aの底面までの深度H3と、図9(a)に示す複数の結束紙幣301aのうち一番上にある結束紙幣の上面までの深度H4とを取得して、結束紙幣301aの束数p(=(H3−H4)/t)を算出する。また、結束紙幣301aの一部が取り出された後、収納部111aの底面までの深度H3と、図9(b)に示す複数の結束紙幣301bのうち一番上にある結束紙幣の上面までの深度H5とに基づいて、結束紙幣301bの束数q(=(H3−H5)/t)を算出する。これにより、貨幣処理時に取り出された結束紙幣の束数r(=p−q)を算出することができる。
なお、貨幣量検知部54が貨幣処理前後の貨幣量の変化を直接算出する態様であってもよい。図10は、貨幣の高さ又は体積に基づいて貨幣量を算出する方法を示す図である。図10(a)に示す結束紙幣301aのうち、図10(b)に示すように一部の結束紙幣302が貨幣処理時に取り出されて結束紙幣301bが残った場合には、深度H4とH5の差に基づいて、貨幣処理時に取り出された結束紙幣302の束数r(=(H5−H4)/t)を直接算出することができる。
また、例えば、貨幣処理開始時の深度H4と貨幣処理後の深度H5とを得た後、貨幣処理開始時に深度がH4であった領域の面積又は貨幣処理後に深度がH5であった領域の面積として面積S1(=a×b)を算出することができるので、貨幣処理で取り出された結束紙幣302の体積V1(=S1×(H5−H4))を算出し、結束紙幣1束分の体積Va(=S×t)に基づいて、結束紙幣302の束数r(=V1/Va)を算出することができる。
また、例えば、図10(b)に示すように貨幣処理時に取り出された結束紙幣302、すなわち貨幣処理前後の変化領域302の体積を、変化領域302を第1カメラ10で撮像した画像の画素毎の深度変化量に基づいて算出することもできる。
具体的には、貨幣量検知部54は、貨幣処理開始時に深度がH4であった領域を第1カメラ10で撮像した画像、又は貨幣処理後に深度がH5であった領域を第1カメラ10で撮像した画像を利用して、図10(c)に示すように、変化領域302を上方から撮像した画像の長辺の画素数がm画素、短辺の画素数がn画素であることを認識する。続いて、貨幣量検知部54は、変化領域302の貨幣処理前後の深度分布の変化に基づいて、変化領域302の高さを1画素毎に算出する。例えば、図10(c)に示す画素302aで、貨幣処理開始時の深度がH4a、貨幣処理後の深度がH5aであれば、この画素位置における変化領域302の高さh(1,1)が、これらの深度の差分(=H5a−H4a)として算出される。また、画素302bで、貨幣処理開始時の深度がH4b、貨幣処理後の深度がH5bであれば、この画素位置における変化領域302の高さh(1,2)が、これらの深度の差分(=H5b−H4b)として算出される。こうして各画素位置の高さh(i,j)を算出すると、図10(c)に示すように、変化領域302を形成する各画素位置の高さh(i,j)の総和に補正係数kを掛けることにより、変化領域302の体積V2を算出することができる。そして、貨幣量検知部54は、この変化領域302の体積V2を、結束紙幣1束分の体積Vaで割って、結束紙幣302の束数r(=V2/Va)を算出することができる。このように、第1カメラ10で取得した深度に基づいて、画素単位で変化領域302内の高さを求めて、変化領域302の体積を算出することにより、例えばドロア内に複数の包装硬貨が収納されている場合でも、隣り合う包装硬貨の隙間があればこれを除外して、包装硬貨の高さを画素単位で求められるので、包装硬貨の出し入れによる体積の変化を正確に算出することができる。
ここで、補正係数kについては、体積を算出する領域の深度と関連付けて予め記憶部60内に準備されている。例えば、図1に示す第1ドロア111に収納されている結束紙幣を撮像した場合、紙幣面の画像の長辺がm1画素、短辺がn1画素であったとする。第1カメラ10から第1ドロア111までの鉛直距離(深度)に比べて、第1カメラ10から第2ドロア112までの鉛直距離(深度)が長くなるため、同じ結束紙幣を第2ドロア112に収納して撮像すると、紙幣面が小さく撮像されて、長辺がm2(m2<m1)画素、短辺がn2(n2<n1)画素となる。補正係数kは、このような画素数と面積の関係の変化を補正するために、予め準備されている。例えば、各ドロア毎、又は各ドロアの収納部毎に、予め補正係数kが準備されており、貨幣が出し入れされたドロア及び収納部を作業部位検知部53が検知すると、検知結果に対応する補正係数kを利用して貨幣量検知部54が体積を算出する。また、例えば、深度の値に応じて予め補正係数kが準備されており、貨幣量検知部54は、変化領域302の深度H4、H5に対応する補正係数kを利用して体積を算出する。
なお、結束紙幣1束分の厚みtと同様に、結束紙幣1束分の体積Vaについても、深度の実測値を利用して算出する態様に限定されず、貨幣管理装置3から体積Vaの値を直接取得する態様であってもよい。また、各金種と結束紙幣1束分の体積の関係を示すテーブルを予め監視装置2内に準備しておいて、貨幣管理装置3から結束紙幣の金種情報を取得してこのテーブルを参照し、体積Vaを特定する態様であってもよい。
図9及び図10に示すように結束紙幣301a、301bが紙幣面を収納部底面に沿わせて集積された場合だけではなく、紙幣面を収納部側壁に沿わせて立位状態で収納された場合も同様に貨幣量を検知することができる。
図11は、立位状態で収納された貨幣の貨幣量を算出する方法を示す図である。図11(a)は、貨幣処理前の結束紙幣303aの収納状態を示し、図11(b)は、貨幣処理で一部の結束紙幣304が取り出された後に残った結束紙幣303bの収納状態を示している。図11(a)に示すように、収納部の側壁に沿って紙幣面に垂直な方向にH6の深度が得られた距離aと、図11(b)に示すようにH6の深度が得られた距離c1とに基づいて、貨幣処理時に取り出された結束紙幣304の束数u(=(a−c1)/t)を算出することができる。ただし、図11(a)で深度H6が得られかつ図11(b)で深度H3が得られた距離c2に基づいて、結束紙幣304の束数u(=c2/t)を算出する態様であってもよい。
また、図11(a)に示す貨幣処理開始前にはH6であった深度が、図11(b)に示す貨幣処理後にはH3に変化した領域の面積S2(=b×c2)に基づいて、貨幣処理で取り出された結束紙幣304の体積V3(=S2×(H3−H6))を算出した後、結束紙幣1束分の体積Vaに基づいて結束紙幣304の束数u(=V3/Va)を算出することができる。なお、この場合も、図10(c)を参照しながら説明したように、貨幣処理前後の深度分布の変化から、変化領域304を形成する各画素位置における高さを求めて体積V3を算出することもできる。
なお、図9に示す収納部111aの底面の深度H3等、収納部底面の深度については、貨幣量を検知する際に実測する態様に限定されず、各収納部毎に予め準備されている深度の値を利用する態様であってもよい。具体的には、作業部位検知部53が、第1ドロア111の収納部111aで貨幣量が変化したことを検知すると、この検知結果を受けた貨幣量検知部54は、この収納部111aについて予め準備されている深度H3の値を利用する。これにより、収納部の側壁と貨幣との間に隙間がなく収納部底面の深度を取得できない場合でも、上述したように貨幣量を算出することができる。
貨幣処理で貨幣が追加収納された場合も、同様に、深度に基づいて、貨幣処理前後の貨幣量や、貨幣量の変化を検知することができる。監視装置2で出し入れされた貨幣の貨幣量を検知する方法については、上述した複数の算出方法の中から、どの算出方法を利用するかを設定できるようになっている。いずれか1つの算出方法で貨幣量を算出する設定とすることもできるし、複数の算出方法で貨幣量を算出して各算出方法による算出結果が一致することを確認して貨幣量を決定する設定とすることもできる。また、例えば、結束紙幣と包装硬貨で算出方法を変更するというように、貨幣の種類に応じて異なる算出方法を設定することも可能となっている。
このように、監視装置2では、第1カメラ10で上方からドロア内全域の深度分布を取得することにより、収納部内の貨幣の集積高さや体積を検知することができる。そして、貨幣処理前の貨幣量、貨幣処理後の貨幣量、貨幣処理時に出し入れされた貨幣量を検知することができる。
[貨幣処理の監視]
次に、図12及び図13を参照しながら、貨幣管理装置3で行われる貨幣処理を監視する方法について説明する。貨幣管理装置3で貨幣処理を開始した利用者が、カードリーダ120へIDカードを通したり、操作部131で利用者IDやパスワードを入力したりするなどしてログイン操作を行うと、利用者認証部151は、記憶部160の利用者認証データ161を利用して利用者認証を行う。貨幣管理装置3の利用権限を有する者として認証された利用者は、続いて操作部131を操作して、貨幣管理装置3から結束紙幣を取り出す出金処理、貨幣管理装置3に結束紙幣を収納する入金処理等、実行する貨幣処理の種類を選択する。入金処理を選択した場合、利用者は、操作部131を操作して、貨幣管理装置3のドロアに収納する結束紙幣の金種及び数量(束数又は金額)を入力する。また、出金処理を選択した場合、利用者は、操作部131を操作して、貨幣管理装置3のドロアから取り出す結束紙幣の金種及び数量(束数又は金額)を入力する。この操作を受けて、ドロアロック制御部152が、各ドロア内の貨幣の種類や在高が管理されている記憶部160の貨幣管理データ162を参照して、最初に結束紙幣が出し入れされるドロアのロックを解錠する。貨幣管理装置3の表示部132には、ロックを解錠したドロアの位置を示す情報と、このドロア内の所定収納部で貨幣の入出を実行するよう指示する情報とが表示される。利用者は、表示情報に従って入金処理又は出金処理を開始する。
制御部150は、通信部140を介して、貨幣処理を行う利用者を特定する利用者情報と、貨幣処理の種類、貨幣処理で出し入れされる結束紙幣の金種及び数量等を含む貨幣処理情報とを監視装置2へ送信する。これを受けて、監視装置2では、貨幣管理装置3で出し入れされる貨幣の監視と、貨幣管理装置3で貨幣処理を行う利用者の監視とを開始する。以下、貨幣量の監視方法について説明した後、利用者の監視方法について説明する。
図12は、貨幣の監視方法を示すフローチャートである。監視装置2は、貨幣管理装置3で出し入れされる結束紙幣の金種や束数等を含む貨幣処理情報を取得すると(ステップS1)、第1カメラ10を利用して貨幣管理装置3のドロアの監視を開始する。具体的には、作業部位検知部53が、第1カメラ10の画像センサ11で取得した画像における変化や、深度センサ12で取得した深度の変化等を監視する。作業部位検知部53は、貨幣管理装置3のドロアが開いたことを検知するまで監視を続ける(ステップS2;No)。
ドロア開閉前後の画像の変化や深度の変化から、ドロアが開いたことを検知した作業部位検知部53は(ステップS2;Yes)、図5〜図8を参照しながら説明した方法で、第1ドロア111〜第4ドロア114のうち、どのドロアが開いたかを特定する(ステップS3)。また、作業部位検知部53は、特定したドロアで、貨幣処理の前後で深度が変化した位置に基づいて、貨幣が出し入れされた収納部の位置を特定する。
なお、貨幣管理装置3では、貨幣処理時に貨幣が出し入れされるドロアのロックのみが自動的に解錠され、他のドロアを開くことはできない。このため、ドロアの誤り検知は行われないが、監視対象とする貨幣処理装置で、誤って異なるドロアを開く可能性がある場合、監視装置2は、開いたドロアが、貨幣処理時に貨幣を出し入れするドロアであるか否かを判定して、誤ったドロアを開いた場合は、利用者にこれを報知するようになっている。
作業部位検知部53によってドロア及び収納部が特定されると、収納部に収納されている結束紙幣の金種に基づいて結束紙幣1束分の厚みや体積を特定して、貨幣量を検知可能な状態となる。貨幣量検知部54は、図9〜図11を参照しながら説明した方法で、収納部に収納された結束紙幣の束数又は収納部から取り出された結束紙幣の束数を特定する(ステップS4)。すなわち、貨幣量検知部54は、貨幣管理装置3で出し入れされた結束紙幣の金種及び数量を特定する。
貨幣量検知部54が、収納部に収納された結束紙幣の束数又は収納部から取り出された結束紙幣の束数を特定すると、続いて、照合判定部55が、特定された貨幣に異常がないか判定する(ステップS5)。
具体的には、入金処理時には、貨幣管理装置3で利用者が入力した入金貨幣の金種及び数量と、実際に貨幣管理装置3のドロアに収納された結束紙幣の金種及び束数とを照合して異常がないか判定する。また、出金処理時には、貨幣管理装置3で利用者が入力した出金貨幣の金種及び数量と、実際に貨幣管理装置3のドロアから取り出された結束紙幣の金種及び束数とを照合して異常がないか判定する。
利用者が貨幣管理装置3で入力した貨幣処理情報と、監視装置2が特定した貨幣情報との間に矛盾がある場合、照合判定部55は、利用者が貨幣処理作業中に貨幣管理装置3で出し入れした貨幣に異常があると判定して(ステップS5;No)、判定結果を報知部56に通知する。通知を受けた報知部56は、操作表示部30に情報を表示して、利用者に異常を報知する(ステップS7)。
具体的には、利用者が実際に貨幣管理装置3に収納した結束紙幣の金種が、貨幣管理装置3に収納するはずの結束紙幣の金種と異なる場合、又は貨幣管理装置3から実際に取り出した結束紙幣の金種が、貨幣管理装置3から取り出すはずの結束紙幣の金種と異なる場合、報知部56は、音や光を発して利用者に異常を報知すると共に、貨幣量検知部54による検知結果と、結束紙幣の金種を確認するよう指示する情報とを操作表示部30に表示する。また、利用者が実際に貨幣管理装置3に収納した結束紙幣の束数が、貨幣管理装置3に収納するはずの結束紙幣の束数を超えた場合、又は実際に貨幣管理装置3から取り出した結束紙幣の束数が、貨幣管理装置3から取り出すはずの結束紙幣の束数を超えた場合も、同様に、報知部56は、音や光を発して利用者に異常を報知すると共に、貨幣量検知部54による検知結果と、結束紙幣の束数を確認するよう指示する情報とを操作表示部30に表示する。
報知を受けた利用者は、貨幣管理装置3で入力した貨幣処理情報や、貨幣管理装置3で出し入れした結束紙幣の金種や束数を確認して対応することができる。具体的には、取り出すべきではないのに取り出してしまった結束紙幣を元のドロアに戻し、収納すべきではないのに収納してしまった結束紙幣をドロアから取り出せば、引き続き貨幣処理を行うことができる。
利用者が貨幣管理装置3で入力した貨幣処理情報と、監視装置2が特定した貨幣情報との間に矛盾がなく、出し入れされた貨幣に異常はないと判定した場合(ステップS5;Yes)、監視装置2の制御部50は、全てのドロアが閉じられてから所定時間が経過したか否かを判定する(ステップS6)。開いているドロアがある場合や、全てのドロアが閉じられてから所定時間内に別のドロアが開いた場合は(ステップS6;No)、ドロア及び収納部の位置を特定して、収納部へ収納される結束紙幣の金種及び束数、又は収納部から取り出される結束紙幣の金種及び束数を特定し、作業内容に異常がないかを判定する処理が継続して行われる。
全てのドロアが閉じられてから所定時間が経過すると、貨幣処理が完了したものとして(ステップS6;Yes)、照合判定部55は、貨幣処理中に出し入れされた全ての貨幣に異常がないか判定する(ステップS8)。具体的には、利用者が貨幣処理中に出し入れするとして貨幣管理装置3に入力した貨幣の金種及び数量と、実際に貨幣管理装置3のドロアで出し入れした結束紙幣の金種及び束数とが一致するか否かを判定する。両者が一致しなければ(ステップS8;No)、報知部56が、音や光を発して利用者に異常を報知する(ステップS9)。また、報知部56は、貨幣処理で出し入れされるはずの貨幣と実際に出し入れされた貨幣の差違を示す情報と、出し入れした結束紙幣を確認するよう指示する情報とを操作表示部30に表示する。
この場合、利用者が、貨幣管理装置3で入力した貨幣処理情報や、貨幣管理装置3で出し入れした全ての結束紙幣の金種や束数を確認して、取り出すべきではないのに取り出してしまった結束紙幣を元のドロアに戻し、収納すべきではないのに収納してしまった結束紙幣をドロアから取り出す作業を行えば、貨幣処理を正常終了することができる(ステップS8;Yes)。
利用者が貨幣管理装置3で入力した貨幣処理情報と、監視装置2が特定した貨幣情報との間に矛盾がなく、貨幣処理中に出し入れされた貨幣に異常はないと判定した場合(ステップS8;Yes)、データ管理部58が、貨幣処理を監視している間に画像取得部51が取得した画像等のデータを記憶部60に記録して(ステップS10)、管理を開始し、貨幣処理の監視を終了する。このとき、記憶部60には、イベント検知部57によるイベントの検知結果も記録されるが詳細は後述する。
このように、監視装置2は、貨幣管理装置3で出し入れされる貨幣の画像及び深度情報を第1カメラ10で取得して、貨幣の種類や数量を特定することができる。また、監視装置2は、貨幣処理中に出し入れされた貨幣の種類や数量に異常があれば、これを検知して報知することができる。
図13は、貨幣管理装置3の利用者の監視方法を示すフローチャートである。監視装置2は、貨幣管理装置3で認証された利用者を特定する利用者情報を取得すると(ステップS11)、第1カメラ10及び第2カメラ20を利用して貨幣管理装置3の利用者の監視を開始する。
まず、利用者検知部52は、第2カメラ20で利用者を撮像して顔認証及び画像記録の処理を行う(ステップS12)。具体的には、利用者を前方から撮像した画像と、この画像から利用者の顔部分を抽出した顔画像とを画像データ62として記憶部60に記録すると共に、記憶部60に予め準備されている顔認証データ61を参照して、利用者を特定する顔認証処理を実行し、利用者ID等、利用者を特定する情報を監視データ63として記憶部60に記録する。
第2カメラ20で別人の写真を撮像させてログインする、なりすまし等の不正を防止するため、監視装置2では、顔認証処理を複数回実行するようになっている。具体的には、利用者検知部52は、第2カメラ20で取得した画像で1回目の顔認証処理を実行した後、第1カメラ10を利用して利用者の動きを監視する。そして、利用者の頭部が、撮像範囲内で所定距離以上移動したことを検知すると、第2カメラ20で再び利用者の画像を撮像して2回目の顔認証処理を実行する。
利用者検知部52は、利用者の頭部が移動したにも拘わらず、1回目の顔認証処理で取得した画像と2回目の顔認証処理で取得した画像との間で、頭部の移動に対応する変化を検出できない場合は、第2カメラ20の前に写真が貼り付けられている等の可能性があるため、異常があると判定する。また、1回目に得た画像と2回目に得た画像との間で、顔認証処理によって特定した利用者が異なる場合には、1回目の顔認証処理は第2カメラ20で別人の写真を撮像させるなどして不正に行われた可能性があるため、異常があると判定する。
なお、異常があると判定した場合、報知部56により異常が報知され、貨幣管理装置3では利用者認証の再実行が要求される。具体的には、報知部56によって異常が報知され、異常を示す判定結果が貨幣管理装置3にも通知される。通知を受けた貨幣管理装置3では、利用者認証処理を再度実行するよう求められるので、利用者は、カードリーダ120にIDカードを通したり、操作部131で利用者IDやパスワードを入力したりするなどして再度利用者認証を行う必要がある。一方、異常がないと判定された場合には、利用者は、貨幣管理装置3で利用者認証を再実行することなく貨幣処理を続けることができる。
このように、貨幣処理を開始した後、第1カメラ10で利用者の動きを監視しながら、第2カメラ20で利用者を撮像して顔認証する顔認証処理を複数回実行することにより、なりすまし等の不正を検知することができる。
利用者が、貨幣管理装置3で貨幣処理を開始すると、利用者検知部52は、第1カメラ10及び第2カメラ20の2つのカメラを利用して利用者を監視する(ステップS13)。図4に示すように、第2カメラ20は、貨幣管理装置3の前に立つ利用者の顔を撮像できるように配置されているが、貨幣管理装置3の前方でしゃがみこんだ利用者を撮像することはできない。一方、第1カメラ10は、利用者の顔を正面から撮像することは困難であるが、利用者が通常通りに貨幣処理を行う限り、貨幣処理を行う間、継続して利用者を撮像できる位置に配置されている。これにより、ドロアで貨幣を出し入れするために利用者がしゃがむなどして第2カメラ20で撮像できない状態になった場合も、第1カメラ10で、利用者が貨幣処理を継続していることを検知することができる。
貨幣管理装置3で貨幣処理を開始した利用者が、処理の途中で居なくなり(ステップS13;Yes)、第1カメラ10及び第2カメラ20で検知できない状態になると、これを認識した利用者検知部52は、無人になった監視エリア内への人の進入を監視する(ステップS14;No)。そして、監視エリア内への人の進入を検知すると(ステップS14;Yes)、利用者検知部52は、この人物を第2カメラ20で撮像して顔認証処理及び画像の記録を行う(ステップS15)。具体的には、検知した人物を貨幣管理装置3の利用者であると認識して、第2カメラ20で利用者を撮像した画像と、この画像から顔部分を抽出した顔画像とを画像データ62として記憶部60に記録する。また、記憶部60に予め準備されている顔認証データ61を参照して、利用者を特定するための顔認証処理を実行し、利用者ID等、利用者を特定する情報を監視データ63として記憶部60に記録する。
利用者が貨幣処理を行っている間(ステップS13;No)、監視装置2の制御部50は、全てのドロアが閉じられてから所定時間が経過したか否かを判定している(ステップS16)。開いているドロアがある場合や、全てのドロアが閉じられてから所定時間内に別のドロアが開いた場合は(ステップS16;No)、利用者の監視を継続する。
全てのドロアが閉じられてから所定時間が経過すると、貨幣処理が完了したものとして(ステップS16;Yes)、利用者検知部52は、貨幣処理中に利用者の不在を検知したか否かを判定する(ステップS17)。貨幣処理中に利用者の不在を検知していなければ(ステップS17;No)、利用者の監視を終了する。
一方、貨幣処理中に一度でも利用者の不在を検知していれば(ステップS17;Yes)、利用者検知部52は、貨幣処理を完了した利用者を第2カメラ20で撮像して顔認証及び画像記録の処理を行う(ステップS18)。具体的には、利用者を撮像した画像と、この画像から顔部分を抽出した顔画像とを画像データ62として記憶部60に記録する。また、記憶部60に予め準備されている顔認証データ61を参照して、利用者を特定するための顔認証処理を実行し、利用者ID等、利用者を特定する情報を監視データ63として記憶部60に記録して利用者の監視を終了する。
なお、ステップS15及びステップS18の顔認証処理では情報の記録のみを行う設定例を示したが、これらの顔認証処理時にも、ステップS12で2回目の顔認証処理を行った場合と同様に、利用者が入れ替わったことが検知された場合には、報知部56によって異常を報知すると共に、貨幣管理装置3で利用者認証処理の再実行を要求する設定とすることもできる。
また、なりすまし等の不正を防ぐために、利用者の頭部の動きを検知して顔認証処理を複数回実行する処理が、ステップS12のみで行われる態様に限定されるものではなく、ステップS15及びステップS18で行われる態様であってもよい。
このように、監視装置2は、貨幣管理装置3で貨幣処理を行う利用者を監視して顔認証処理を実行し、利用者を撮像した画像や、利用者を特定する情報を記録する。また、監視装置2は、利用者が、貨幣処理を中断して途中で居なくなった場合には、戻ってきた利用者を検知した際、又は別の利用者を検知した際に、顔認証処理を実行して、この利用者を撮像した画像や利用者を特定する利用者ID等の情報を記録する。
また、監視装置2では、新たに検知した利用者が、中断されていた貨幣処理の継続操作や終了操作を実行可能な権限を有する場合、顔認証処理によりこれを確認することができるので、利用者は、貨幣管理装置3のカードリーダ120や操作部131で認証情報を入力する操作を行わずに、中断していた貨幣処理の継続操作又は終了操作を行うことができる。
[画像データ及び監視データ]
次に、図14〜図20を参照しながら、監視装置2が記憶部60に記録する画像データ62及び監視データ63について説明する。記憶部60の画像データ62には、監視装置2が取得した複数種類の画像が含まれる。また、記憶部60の監視データ63には、監視装置2が取得した利用者を特定する情報、貨幣処理時に開閉されたドロアや収納部を特定する情報、貨幣処理時に出し入れされた貨幣に係る情報等が含まれる。
図14は、画像データ62及び監視データ63の記録について説明する図である。図14(b)〜(e)に示すように、画像データ62には、第1カメラ10で取得した可視光画像、赤外光画像及び深度画像と、第2カメラ20で取得した可視光画像とが含まれる。保存される画像データは、例えば、静止画像を切出可能な動画像で、貨幣管理装置3の監視映像として、貨幣処理が行われていない間も連続して常時記録されている。なお、図14には示していないが、画像データ62には、顔認証処理に利用した顔画像等の静止画像等も含まれている。
監視装置2では、24時間常時保存される動画像の中から、所定タイミングの画像を選択して確認できるように、イベント検知部57が、予め設定されたイベントを検知して、イベントの種類及びイベント検知日時等の情報を、監視データ63として記憶部60に記録している。具体的には、図14(b)〜(e)に示すように各画像を画像データ62として常時記録しながら、図14(f)に示すようにイベントを検知した日時t1〜t9と、検知したイベントの種類とが監視データ63として記録される。
例えば、図14(f)に示すように、貨幣処理に関するイベントとして、貨幣管理装置3で行われたログイン操作(t2のログイン)、全閉状態のドロアを引き出す開放操作(t3のドロアオープン)、引き出したドロアの全開状態(t4のドロア全開)、開いていたドロアを閉じて全閉状態にする閉塞操作(t5のドロアクローズ)、貨幣処理を終了するログアウト操作(t7のログアウト)等を検知する。また、イベント検知部57は、この他、監視エリア内への人の進入(t1の人物進入)、監視エリア内からエリア外への人の退出(t9の人物退出)、監視エリア内での貨幣の放置(t6の貨幣放置)、監視エリア内からの貨幣の消失(t8の貨幣消失)等をイベントとして検知する。なお、貨幣の放置とは、例えば、貨幣管理装置3の筐体上に置かれた貨幣を検知した際に記録されるイベントで、貨幣の消失とは、例えば、筐体上に置かれた貨幣が持ち去られたことを検知した際に記録するイベントである。
イベントとして検知する処理や操作の内容と、検知方法は、予め設定されている。例えば、図14(f)に示すログイン及びログアウトのイベントは、貨幣管理装置3でログイン操作やログアウト操作が行われた際に、操作が行われた日時情報を貨幣管理装置3から取得して検知する。また、人物進入及び人物退出のイベントは、第1カメラ10及び第2カメラ20で取得した画像の変化や、第1カメラで取得した深度の変化に基づいて検知する。また、ドロアオープン、ドロア全開及びドロアクローズのイベントは、第1カメラ10で取得した画像の変化や深度の変化に基づいて検知する。
データ管理部58は、画像データ62として記録した画像と、監視データ63として記録したイベント検知結果とを関連付けて管理しており、監視データ63に含まれるイベントを操作表示部30に一覧表示して、この中から選択したイベントの画像を再生できるようになっているが詳細は後述する。
監視装置2では、常時記録する画像のデータ容量を削減するため、画像の重要度等に基づいて、記録する画像の種類や画像品質等を設定できるようになっている。図15は、記録する画像の設定例を説明する図である。例えば、図15(b)に示すように、昼間や照明が点灯された夜間等、明るい状態の明環境と、照明が消された夜間等、暗い状態の暗環境との間で環境光が変化する場合に、図15(c)に示すように、記録する画像の種類を変更するよう設定することができる。具体的には、明環境では、可視光画像、赤外光画像及び深度画像を記録して、暗環境では赤外光画像及び深度画像のみを記録するように設定する。また、例えば、深度画像は記録せずに、明環境では可視光画像及び赤外光画像を記録して、暗環境では赤外光画像のみを記録するように設定することもできる。
また、図15(d)に示すように、イベント検知部57が、所定の第1イベントを検知してから所定の第2イベントを検知するまでの間を、イベント検知期間として(図中「イベント」)、図15(e)に示すように、イベント検知期間は、他の期間に比べて高品質な画像を記録するように設定することができる。例えば、図14に示すように、監視エリア内への人の進入を検知すると(t1)、記録する画像を低品質画像から高品質画像に変更する。そして、監視エリア内からの人の退出を検知すると(t9)、記録する画像を高品質画像から低品質画像に変更する。すなわち、監視エリア内への人の進入を検知してから、貨幣処理を完了して、監視エリア内からの人の退出を検知するまでの間、イベント検知期間(t1〜t9)として高品質画像を記録する。
高品質画像と低品質画像では、例えば、画像の解像度及びフレームレートが異なっている。例えば、高品質画像は960×540画素の画像を15fpsで連続記録した画像で、低解像度画像は386×216画素の画像を5fpsで連続記録した画像である。なお、可視光画像と赤外光画像で、解像度及びフレームレートが異なる態様であってもよい。例えば、解像度について、可視光画像の高品質画像は960×540画素、低解像度画像は386×216画素として、赤外光画像の高品質画像は512×424画素、低解像度画像は256×212画素としてもよい。また、画像品質の差が、解像度及びフレームレートの違いに限定されるものではなく、高品質画像と低品質画像との間で、画像の階調、色数、フォーマット等を変更する態様であってもよい。
監視装置2の記憶部60では、画像が画像データ62として保存され、イベント検知結果等の情報が監視データ63として保存される。図16は、監視データ63の例を示す図である。図16に示すように、監視データ63には、例えば、処理内容、処理日、時刻、イベント、利用者ID、検出人数、顔認証結果、顔画像及び備考が含まれている。「処理内容」は貨幣管理装置3で行われた貨幣処理の種類を示し、「処理日」は貨幣処理を実行した日付を示している。「時刻」は各イベントを検知した時刻を示し、「イベント」は検知したイベントの種類を示している。「利用者ID」は貨幣処理を実行中の利用者を特定する識別情報であり、「検出人数」は第1カメラ10及び第2カメラ20で検出した人数を示している。「顔認証結果」は、利用者の顔認証処理を行って特定した利用者の利用者IDを示している。「顔画像」は、顔認証処理に利用した画像を特定する情報を示し、「備考」は、イベントの検知結果から判定した情報等を示している。
図16の例は、2016年4月18日に処理番号No.0015の出金処理を行った際に、検知したイベント等の情報を示している。このように、監視データ63では、1つの貨幣処理中に検知されたイベント等の情報が関連付けて管理されている。
図16に示す各イベントを、「時刻」の項目に示した(a)〜(l)で示しながら説明する。図16(a)は、第1カメラ10と第2カメラ20の少なくともいずれか一方により、監視エリア内で、1人の人を検知したことを示している。図16(b)は、検知した人が、貨幣管理装置3で利用者認証処理を含むログイン操作を行い、利用者IDが「A001」の利用者として認証されたことを示している。
図16(c)は、貨幣管理装置3で利用者ID「A001」として認証された利用者の顔画像を第2カメラ20で取得して監視装置2で顔認証処理を行った結果、この利用者の利用者IDが「A001」であると認識されて、顔認証結果の項目に利用者IDが記録され、顔認証処理に利用した顔画像がファイル名「D001」として記憶部60に保存されたことを示している。
図16(d)は、監視装置2の第1カメラ10で取得した情報を利用して、利用者による貨幣管理装置3のドロアの開放操作を検知したことを示している。また、ドロアを開く間に、利用者の頭部の位置が、図16(c)で1回目の顔認証処理を実行した位置から所定距離以上移動したため、2回目の顔認証処理が実行されて、利用者ID「A001」の利用者であることが再確認されたため、顔認証結果の項目に認証結果が記録されている。このとき、顔認証処理を実行した結果、なりすまし等の不正が行われた可能性があれば、異常事態と判定され、顔認証処理に利用した画像を保存すると共に、音や光で異常を報知する処理が行われる。また、貨幣管理装置3で利用者認証の再実行を要求されることになる。
図16(e)は、利用者が開いたドロアが全開状態となったことを示している。図16(f)は、途中で貨幣処理を中断して利用者が監視エリア内から退出し、第1カメラ10及び第2カメラ20によって監視エリア内で人を検知できない無人状態となったことを示している。この結果、検出人数が0人となり、備考として、利用者が不在となったことが記録されている。
図16(g)は、監視装置2の第1カメラ10と第2カメラ20の少なくともいずれか一方で、監視エリア内への1人の人の進入を検知したことを示している。図13に示したように、貨幣処理を途中で中断して利用者不在状態になった後、監視エリア内への人の進入が検知されると顔認証処理が実行される。
図16(h)は、監視装置2の第2カメラ20で利用者の画像を取得して顔認証処理を行った結果、この利用者の利用者IDが「B001」であると認識されて、顔認証結果の項目に認証結果が記録され、顔認証処理に利用した顔画像がファイル名「D002」として記憶部60に保存されたことを示している。また、中断していた貨幣処理は、利用者ID「A001」の利用者が実行していた処理であるため、貨幣処理を実行していた利用者と、新たに検知した利用者とが異なることを示す情報が、備考に記録されている。また、中断していた貨幣処理を再開する利用者の利用者IDを「A001」から「B001」に変更することを示す情報が備考に記録され、図16(i)では、利用者IDの項目で、利用者IDが「A001」から「B001」に変更されている。
図16(i)は、監視装置2の第1カメラ10で取得した情報を利用して、利用者ID「B001」の利用者が開いていたドロアを閉じる閉塞操作を検知したことを示している。図16(j)は、利用者ID「B001」の利用者が、貨幣管理装置3の全てのドロアを閉じてログアウト操作を行ったことを示している。
図13に示したように、貨幣処理の途中で利用者の不在状態を検知した場合、この貨幣処理を完了した利用者の顔認証処理が実行される。図16(k)は、利用者の画像を第2カメラ20で取得して顔認証処理を行い、利用者IDが「B001」であると認識されて、顔認証結果の項目に認証結果が記録され、顔画像がファイル名「D003」として記憶部60に保存されたことを示している。
図16(l)は、第1カメラ10及び第2カメラ20によって監視エリア内の利用者を検知できなくなり、利用者が退出して無人となったことを示している。この結果、検出人数が0人となり、備考として、利用者が不在となったことが記録されている。
このように、貨幣処理を途中で中断して利用者が退出した後、監視エリア内で新たに検知した利用者が、中断されていた貨幣処理の継続操作や終了操作を実行可能な権限を有する場合、認証処理によりこれを確認することができるので、利用者は、貨幣管理装置3のカードリーダ120や操作部131で認証情報を入力する操作を行わずに、中断していた貨幣処理の継続操作又は終了操作を行うことができる。
同様に、貨幣処理の途中で利用者が退出した後、この利用者が戻ってきた場合にも、顔認証処理により、退出した利用者であることが確認されれば、貨幣管理装置3のカードリーダ120や操作部131で認証情報を再入力する操作を行わずに、中断していた貨幣処理を継続することができる。なお、貨幣処理中に、利用者が、通常にはない動きをして第1カメラ10及び第2カメラ20による撮像範囲から外れた場合にも、次に利用者を検知した後、自動的に顔認証処理が実行される。そして、同じ利用者が継続して貨幣処理を行っていることが確認できると、利用者は、認証情報を再入力する操作を行わずに、そのまま貨幣処理を続けることができる。
一方、貨幣処理中断後に新たに検知した人物が貨幣処理権限を有さない場合については、権限を有する利用者の場合と同様に、イベント検知及び情報記録の処理のみを行う設定とすることもできるし、音や光を発して異常を報知する設定とすることもできる。金融機関内で金融機関の従業者が利用する貨幣処理システム1では、イベント検知及び情報記録の処理のみを行えば問題ないことが多いが、必要に応じて異常を報知する設定とすることもできる。
監視装置2では、日時、貨幣処理の処理番号等を指定して、図16に示すデータを操作表示部30の画面に呼び出し、各イベントの検知時に記録した画像を再生して確認できるようになっている。具体的には、図14に示すように、データ管理部58が、各画像とイベントとを関連付けて管理しているので、図16(a)〜(l)の中からイベントを選択すると、このイベントに対応する日時(図14t1〜t9)の画像を、操作表示部30の画面上に再生することができる。また、顔画像の項目に記録されたファイル名を選択すれば、操作表示部30の画面上に顔画像を呼び出して再生することも可能となっている。
また、監視装置2では、図16に示すように、貨幣処理と関連付けられたイベントを一覧表示する他、全てのイベントをイベントリストとして一覧表示することも可能となっている。
図17は、イベントリスト画面の例を示す図である。イベントリスト画面では、図17に示すように、日時、利用者ID、イベント、作業部位、第1カメラ画像及び第2カメラ画像が一覧表示される。イベントリストに表示する項目は、設定により変更することができる。例えば、図17に示す作業部位等の項目を非表示に設定することができる。また、例えば、図14に示す検出人数、顔認証結果、顔画像、備考や、図16に示す処理内容、検出人数、顔認証結果等の中から項目を選択して、イベントリストに表示する設定とすることもできる。
イベントリストで表示される「日時」はイベントを検知した日時を示し、「利用者ID」はイベント検知時に第1カメラ10と第2カメラ20の少なくともいずれか一方で検知した利用者を示している。ただし、図16(f)に示すように利用者不在の場合は、同図と同様に、貨幣処理を実行している利用者の利用者IDが表示される。「イベント」は、検知されたイベントの種類を示している。「作業部位」は、イベント検知時に利用者が貨幣を出し入れしたドロアを示している。「第1カメラ画像」はイベント検知時に第1カメラ10で撮像した画像を示し、「第2カメラ画像」はイベント検知時に第2カメラ20で撮像した画像を示している。
イベントリスト画面の左側には、イベントリストで表示されたイベントの中から一部のイベントのみを抽出して表示するための複数種類のフィルタが表示され、その下部には、選択したフィルタを適用するためのフィルタ適用ボタンと、適用したフィルタを解除するためのフィルタ解除ボタンとが表示されている。図17の例では、フィルタとして、日付、利用者ID、イベントの種類及び作業部位を選択できるようになっている。ただし、フィルタとして利用する項目は設定により変更することができる。
図18は、フィルタリングソート画面の例を示す図である。図17の画面左側で、日付、利用者ID、イベントの種類及び作業部位を指定して、フィルタ適用ボタンを押すと、図18に示すように、フィルタで指定した条件を満たすイベントのみが一覧表示される。なお、この画面でフィルタ解除ボタンを押すとフィルタリングが解除され、図17に示すイベントリスト画面に戻る。
図17に示すイベントリスト画面、図18に示すフィルタリングソート画面で、一覧表示されたイベントの中からイベントを選択すると、選択したイベントの検知時に第1カメラ10で取得した画像及び第2カメラ20で取得した画像を、操作表示部30の画面上に拡大して再生することができる。
図19は、画像の再生画面の例を示す図である。図19に示すように、画面上には、第1カメラ10で撮像された可視光画像、赤外光画像及び深度画像と、第2カメラ20で撮像した可視光画像とが表示される。図14に示すように、監視装置2のデータ管理部58は、イベント検知部57が検知したイベントと、第1カメラ10で撮像した画像及び第2カメラで撮像した画像とを関連付けて管理している。イベントリスト画面やフィルタリングソート画面でイベントを選択すると、データ管理部58は、図19に示すように、選択されたイベントに対応する日時の静止画像を画面上に並べて表示する。
図19に示すように、画面右下には、イベントを検知した日時、イベント検知時の利用者ID、イベントの種類等のイベント情報が表示される。また、再生ボタン、停止ボタン、一時停止ボタン、及び貨幣情報ボタンが表示される。例えば、図14に示す日時t4の各静止画像が画面上に表示されている状態で、再生ボタンを押すと、日時t4から各動画像を再生することができる。動画像の再生時には、停止ボタンによる再生停止、一時停止ボタンによる再生の一時停止を行うことができる。また、貨幣情報ボタンを押すと、貨幣管理装置3のドロアで出し入れされた貨幣情報を確認することができる。
図20は、貨幣情報画面の例を示す図である。貨幣情報画面には、左上にイベント情報が表示される。また、第2カメラ20で利用者を撮像した可視光画像と、この可視光画像の顔部分を拡大した顔画像と、第1カメラ10で貨幣管理装置3及び利用者を上方から撮像した可視光画像及び深度画像とが表示される。また、これらの画像を動画像として再生するための再生ボタン、再生を制御するための停止ボタン及び一時停止ボタンと、図19に示す再生画面に戻るための戻るボタンとが表示される。例えば、図14に示す貨幣処理の情報を表示している場合、再生ボタンを押すと、ドロアが開いてから閉じるまでの間(図14のt3〜t5)に記録された各動画像が再生される。
また、貨幣情報画面の右側には作業部位及び貨幣入出量が表示される。作業部位は、イベントを検知した貨幣処理時に、貨幣が出し入れされたドロアの位置を示す。図20の例では、画面上に表示されている画像は、第1ドロア111を全開、他のドロアを全閉にした状態で行われた貨幣処理時の画像であることを示している。
また、貨幣入出量は、イベントを検知した貨幣処理時に、作業部位として検知したドロアで出し入れされた貨幣量を示している。図20の例では、第1ドロア111の一番手前にある1列目の収納部111a、111bから、それぞれ金種Aの結束紙幣が5つずつ取り出されて減少し、2列目の収納部111c、111dには、それぞれ金種Bの結束紙幣が5つずつ収納されて増加したことを示している。また、他の収納部111e〜111jでは貨幣の増減がなかったことを示している。
なお、図20では、貨幣入出量として、金種及び貨幣量の変化を表示する例を示しているが、表示する情報は設定により変更できるようになっている。具体的には、金種、貨幣処理前の貨幣量、貨幣処理後の貨幣量、貨幣処理前後の貨幣量の変化から、表示する情報を選択することができる。また、貨幣量及び貨幣量の変化の表示方法を、貨幣枚数、束数、貨幣金額の中から選択することも可能となっている。
このように、監視装置2では、図14に示すように画像を連続して記録しながら、検知したイベントを記録することができる。そして、操作表示部30の画面上に、複数のイベントを一覧表示することができる。また、フィルタを適用して、所定条件を満たすイベントのみに絞り込んだフィルタリングソート画面を表示することもできる。画面上に表示した複数イベントの中からイベントを選択すれば、このイベントを検知した際に、第1カメラ10で撮像した静止画像及び第2カメラ20で撮像した静止画像を画面上に表示することもできるし、画面上のボタンを操作して動画像を再生することもできる。さらに、貨幣情報画面を表示して、イベントを検知した貨幣処理で貨幣が出し入れされたドロア及び収納部の位置や、このドロアの各収納部で出し入れされた貨幣の金種や数量等の情報を確認することも可能となっている。
本実施形態では、貨幣処理時に出し入れされた貨幣について、金種及び数量を検知する例を示したが、検知する情報がこれらに限定されるものではない。例えば、各収納部に収納するよう設定されている貨幣の種類の情報に基づいて、貨幣が、傷みがない又は少ない正貨であるか、傷みの激しい損貨であるかを示す正損情報を検知することもできる。また、バラ紙幣、結束紙幣、バラ硬貨、包装硬貨等、貨幣の形態を検知することもできる。これにより、例えば、正貨を取り出すべきであるのに損貨を取り出した場合や、バラ硬貨を取り出すべきであるのに包装硬貨を取り出した場合等に、これを検知して異常を報知することができる。
また、貨幣量検知部54が、第1カメラ10で取得した深度情報を利用して、貨幣処理で出し入れされた貨幣を検知する例を示したが、第1カメラ10で取得した画像を利用する態様であってもよい。例えば、各金種の結束紙幣が、所定の色の結束帯で結束されている場合には、結束紙幣を撮像した可視光画像で結束帯の色を認識する。そして、貨幣量検知部54が、深度情報に基づく検知結果と可視光画像に基づく検知結果の両方を利用して貨幣の金種を特定すれば貨幣の種類を正確に検知することができる。紙幣や硬貨の色、包装硬貨の包装の色等が金種毎に異なる場合も同様に、これらの情報を貨幣検知に利用することができる。
また、貨幣処理時に結束紙幣が出し入れされる例を示したが、包装硬貨が出し入れされる場合も、収納部内に整列状態で積み重ねられた包装硬貨の高さや体積の変化に基づいて、貨幣処理で出し入れされた貨幣量を検知することができる。同様に、バラ硬貨についても、収納部内に整列状態で積み上げられたバラ硬貨の高さや体積の変化に基づいて、貨幣処理で出し入れされた貨幣量を検知することができる。なお、例えばバラ紙幣のように数量検知が困難な貨幣については、貨幣量に係る判定は行わず、金種や正損等、紙幣の種類に係る判定のみを行うように監視内容を設定することも可能となっている。
上述してきたように、本実施形態に係る貨幣処理システム1によれば、監視装置2を利用して、貨幣管理装置3で貨幣処理を行う利用者や、貨幣管理装置3で出し入れされる貨幣を監視することができる。なりすまし等の不正、貨幣処理で出し入れされる貨幣の種類や数量の誤り等を貨幣処理中に検知した場合には、画像と検知情報を関連付けて記録すると共に、検知結果を報知することができる。また、予め設定したイベントを検知して、イベントを検知した日時やイベントの種類等の情報と、利用者が貨幣処理を行う様子を撮像した画像とを関連付けて保存することができる。これにより、確認したい画像に関連するイベントを指定すれば、大量のデータの中から所望の画像を呼び出して確認することができる。
以上のように、本発明に係る貨幣処理システムは、貨幣処理装置で行われる貨幣処理を監視して記録した大容量データの中から、所望の画像を検索して確認するために有用である。
1 貨幣処理システム
2 監視装置
3 貨幣管理装置
10 第1カメラ
11 画像センサ
12 深度センサ
20 第2カメラ
21 画像センサ
30 操作表示部
40、140 通信部
50、150 制御部
51 画像取得部
52 利用者検知部
53 作業部位検知部
54 貨幣量検知部
55 照合判定部
56 報知部
57 イベント検知部
58 データ管理部
60、160 記憶部
110〜114 ドロア
120 カードリーダ
131 操作部
132 表示部
151 利用者認証部
152 ドロアロック制御部
153 貨幣管理部
160 記憶部

Claims (6)

  1. 貨幣処理装置及び監視装置を含む貨幣処理システムであって、
    前記監視装置は、
    前記貨幣処理装置及び前記貨幣処理装置の利用者を含む撮像対象の画像及び前記撮像対象を三次元的に認識可能な情報を取得する第1カメラと、
    前記第1カメラで取得した情報に基づいて、予め設定された所定イベントを検知するイベント検知部と、
    前記第1カメラで取得した画像と、前記イベント検知部がイベントを検知した日時とを関連付けて管理するデータ管理部と
    を備え
    前記イベント検知部は、前記貨幣処理装置が設置された監視エリア内への人物の進入及び退出と、前記貨幣処理装置が有する開閉可能な貨幣収納庫の開放操作及び閉塞操作とをイベントとして検知する
    ことを特徴とする貨幣処理システム。
  2. 前記イベント検知部は、前記貨幣処理装置から取得した情報に基づいて、予め設定された所定イベントを検知することを特徴とする請求項1に記載の貨幣処理システム。
  3. 前記第1カメラで取得した画像には、可視光画像、赤外光画像及び深度画像が含まれることを特徴とする請求項1又は2に記載の貨幣処理システム。
  4. 前記監視装置は、操作表示部をさらに備え、
    前記データ管理部は、前記イベント検知部が検知した複数のイベントを前記操作表示部に一覧表示すると共に、前記操作表示部でフィルタを選択する操作がなされた場合には、前記一覧表示を、前記フィルタによる条件を満たすイベントのみに絞り込んで一覧表示する
    ことを特徴とする請求項1〜3のいずれか1項に記載の貨幣処理システム。
  5. 前記データ管理部は、前記一覧表示の画面上でイベントを選択する操作がなされた場合には、選択されたイベントを検知した日時に記録された画像を前記操作表示部で再生する
    ことを特徴とする請求項4に記載の貨幣処理システム。
  6. 前記監視装置は、
    前記貨幣処理装置の利用者の顔画像を取得する第2カメラ
    をさらに備え、
    前記データ管理部は、前記第2カメラで取得した画像と、前記イベント検知部がイベントを検知した日時とを関連付けて管理する
    ことを特徴とする請求項1〜5のいずれか1項に記載の貨幣処理システム。
JP2016111377A 2016-06-02 2016-06-02 貨幣処理システム Active JP6715683B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016111377A JP6715683B2 (ja) 2016-06-02 2016-06-02 貨幣処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016111377A JP6715683B2 (ja) 2016-06-02 2016-06-02 貨幣処理システム

Publications (2)

Publication Number Publication Date
JP2017219890A JP2017219890A (ja) 2017-12-14
JP6715683B2 true JP6715683B2 (ja) 2020-07-01

Family

ID=60657693

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016111377A Active JP6715683B2 (ja) 2016-06-02 2016-06-02 貨幣処理システム

Country Status (1)

Country Link
JP (1) JP6715683B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6885358B2 (ja) * 2018-02-23 2021-06-16 京セラドキュメントソリューションズ株式会社 電子機器
JP6839823B2 (ja) * 2018-07-09 2021-03-10 旭精工株式会社 貨幣処理装置の監視装置
JP7372061B2 (ja) * 2019-07-01 2023-10-31 株式会社日立製作所 遠隔作業支援システム
JP7381014B2 (ja) * 2019-12-04 2023-11-15 株式会社デジタル・ナレッジ 試験システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4509655B2 (ja) * 2004-06-04 2010-07-21 株式会社メガチップス 画像記録システム
JP2009116636A (ja) * 2007-11-07 2009-05-28 Hitachi Omron Terminal Solutions Corp 自動取引装置の取引監視方法
JP2009145929A (ja) * 2007-12-11 2009-07-02 Hitachi Omron Terminal Solutions Corp 自動取引装置
JP5457158B2 (ja) * 2009-12-17 2014-04-02 富士通フロンテック株式会社 窓口業務システム
JP6288703B2 (ja) * 2014-02-28 2018-03-07 グローリー株式会社 貨幣処理支援システム及び貨幣処理支援方法
JP2015222488A (ja) * 2014-05-22 2015-12-10 株式会社東芝 紙葉類処理システム及び紙葉類処理装置

Also Published As

Publication number Publication date
JP2017219890A (ja) 2017-12-14

Similar Documents

Publication Publication Date Title
JP6715683B2 (ja) 貨幣処理システム
JP5227070B2 (ja) 現金自動取引装置
JP6288703B2 (ja) 貨幣処理支援システム及び貨幣処理支援方法
JP6127518B2 (ja) 自動取引装置
US11482065B2 (en) Money handling apparatus and money handling method
JP4275162B2 (ja) 貨幣処理装置
JP5386320B2 (ja) 現金管理システム
US20160371913A1 (en) Note verify
JP5564767B2 (ja) 自動取引装置
JP2017219889A (ja) 貨幣処理システム
JP2017219888A (ja) 貨幣処理システム
JP6858815B2 (ja) 貨幣処理システム、貨幣処理装置および貨幣処理方法
JP3865968B2 (ja) 貨幣入金機
JP6797016B2 (ja) 貨幣処理装置、貨幣処理システムおよび貨幣処理方法
JP5217943B2 (ja) 自動取引装置
JP5478940B2 (ja) 貨幣入金処理装置
JP6774867B2 (ja) 貨幣処理機および貨幣処理方法
JP6778057B2 (ja) 貨幣処理システム及び貨幣処理方法
JP5820752B2 (ja) 貨幣取扱機
JP6670614B2 (ja) 貨幣管理システム、貨幣管理装置および在高データ管理方法
JP2016081085A (ja) 貨幣処理装置および貨幣処理方法
JP6839823B2 (ja) 貨幣処理装置の監視装置
JP6958092B2 (ja) 金銭処理装置
WO2017110378A1 (ja) 紙幣処理装置
WO2019208444A1 (ja) 貨幣処理装置及び貨幣処理システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190516

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200403

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200609

R150 Certificate of patent or registration of utility model

Ref document number: 6715683

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150