JP2008269235A

JP2008269235A - 端末監視装置

Info

Publication number: JP2008269235A
Application number: JP2007110609A
Authority: JP
Inventors: Tatsuhiko Kagehiro; 達彦影広; Masanori Miyoshi; 雅則三好; Takashi Watanabe; 高志渡邊
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2007-04-19
Filing date: 2007-04-19
Publication date: 2008-11-06
Anticipated expiration: 2027-04-19
Also published as: JP4945297B2; US20100026808A1

Abstract

【課題】利用者に対する問い合わせメッセージを表示することにより、誤報あるいは虚報の発生を抑制する。
【解決手段】利用者の個人情報を取得する個人情報取得部および操作案内を表示して利用者による入力を受け付ける操作案内情報表示部を備えた端末装置２０１と、前記端末装置を撮影する監視カメラ２０５と、該監視カメラが撮影した利用者の映像をもとに利用者の不審挙動を検知する異常検知装置と、前記異常検知装置が利用者の挙動不審を検知したとき、前記端末装置の操作案内情報表示部に利用者に対する問い合わせ情報を表示する表示制御部２０９を備え、前記異常検知装置は、問い合わせ情報に対する利用者の入力情報に応じて後続する処理を選択する。
【選択図】図１

Description

本発明は、端末監視技術に係り、特に、端末に対する不正操作を監視することのできる端末監視装置に関する。

端末装置，特にＡＴＭ端末のように不正行為の対象となり易い機器に対しては、監視カメラあるいは各種センサを装着して、不正行為を監視している。しかしながら、多数の監視カメラあるいはセンサからの信号を人手により常時監視することは、多大なコストがかかる。このため、画像処理、あるいは信号処理技術の応用による自動監視化が期待されている。

例えば、特許文献１には、自動取引機およびその周辺を画像により監視する画像監視手段と、自動取引機およびその周辺に対する異常発生要素の個々に対応して検知すべく設けた複数の異常発生要素検知手段と、この異常発生要素検知手段の少なくとも１つが異常発生要素を検知したとき、上記画像監視手段で監視した画像を記録するとともに警報を発することが示されている。

特許文献２には、利用客が自動取引装置を使用し、キャッシュカードを始めとする媒体を取り忘れた場合、あるいは自動取引装置の操作卓上に私物を置き忘れた場合に、それを検知して、利用客に忘れ物があるのを知らせることが示されている。

特許文献３には、監視カメラにより不審物の設置を監視し、検知した場合は警報を発することが示されている。
特開平７−４９９１５号公報特開平６−１６２３１６号公報特開２００５−３４６５１４号公報

端末を監視する監視装置においては、監視カメラによる画像情報あるいはセンサ信号を入力して、端末の異常を自動検知する場合、誤りなく異常を検知することは困難である。また、異常を検知した結果が誤報であった場合、その後の処理手順を制御することはできない。また、利用者の複雑な端末操作に対応することも困難である。

例えば、画像認識技術は未だ完成されておらず、多様な外乱の中で、不審物や異常な挙動を検知しようとした場合、誤報（虚報あるいは失報）が発生する可能性がある。また、カメラ、センサの故障あるいはノイズの発生に伴い検知精度が低下する。

監視システムの誤検出は、結果として人的コストを押し上げ、顧客サービス低下を招くため、精度の向上および誤報発生時の対策が必要とされている。なお、異常挙動を検知するために、正常操作を学習しておき、そこから逸脱した挙動を異常と判別する手法が知られている。しかし、端末に対する操作は、個人の癖や定型作業など固有特徴が存在する。このため、全利用者の正常挙動を１つの特徴として学習し判別を行うと、特定の利用者に対し誤報が発生する可能性がある。

本発明は、これらの問題点に鑑みてなされたもので、誤報を抑制することのできる端末監視技術を提供するものである。

本発明は上記課題を解決するため、次のような手段を採用した。

利用者の個人情報を取得する個人情報取得部および操作案内を表示して利用者による入力を受け付ける操作案内情報表示部を備えた端末装置と、前記端末装置およびその周辺を撮影する監視カメラと、該監視カメラが撮影した利用者の映像をもとに利用者の不審挙動を検知する異常検知装置と、前記異常検知装置が利用者の挙動不審を検知したとき、前記端末装置の操作案内情報表示部に利用者に対する問い合わせ情報を表示する表示制御部を備え、前記異常検知装置は、問い合わせ情報に対する利用者の入力情報に応じて後続する処理を選択する。

本発明は、以上の構成を備えるため、誤報を抑制することのできる端末監視技術を提供することができる。

以下、最良の実施形態を添付図面を参照しながら説明する。ここでは、端末としてＡＴＭを想定する。図１は、このＡＴＭを監視するＡＴＭ監視装置の処理を説明する図である。まず、ＡＴＭの電源を投入し（ステップＳ１０１）、監視カメラおよびセンサによりＡＴＭ筐体の状況あるいは顧客の操作状況の情報を取得し（ステップＳ１０２）、取得した情報をもとに各種の異常を検知する。

まず、ＡＴＭ端末上に設置した物理センサにより物体が設置されているか否かを検知し（ステップＳ１０４）、ＡＴＭ筐体上に物体を検知した場合には利用者（顧客）にメッセージを表示する（ステップＳ１０９）。また、監視カメラの映像を用いて異常な物体が存在するか否かを検知し、異常な物体の存在を検知した場合、利用者にメッセージを表示する（ステップＳ１０９）。このメッセージに対し、利用者が対応せず異常な物体が継続して検知された場合（ステップＳ１１１）においては、警報を発する（ステップＳ１１３）。

また、利用者がカード（キャッシュカード）を挿入したか、あるいは生体認証により利用者を認証することができたか否かを判定し（ステップＳ１０３）、認証することができた場合には、個別顧客特徴辞書を参照して、認証した顧客の正常状態における特徴（正常特徴）を抽出する（ステップＳ１１５）。

次に、前記抽出した正常特徴と、前記監視カメラあるいはセンサにより取得した利用者（顧客）の特徴を比較し、取得した前記利用者の特徴に異常（異常な挙動、異常な取り引き形態等）があるか否かを判定する。これらの判定に際しては、監視カメラからの映像を入力とする異常挙動検知（ステップＳ１０６）、取引記録を参照して通常と異なる取引をしていることを検知する取引異常検知（ステップＳ１０７）、媒体である紙幣を鑑別した結果に基づく紙幣のリジェクト数の異常検知（ステップＳ１０８）を行う。

なお、これらの異常検知は、利用者を認証できない場合にも行うことができる。但し、この場合には、前記認証した顧客の正常状態における特徴（正常特徴）に代えて、多数の顧客の特徴分布から推定した正常特徴を用いる。

次に、前記ステップＳ１０６，１０７，１０８の何れかにおいて異常を検知した場合、利用者に対しメッセージを出力する。このメッセージは、例えばＡＴＭの利用者が操作する操作案内情報表示部に表示することにより行うことができる（ステップＳ１１０）。このメッセージに対する利用者の応答が正常であるか否かを判断し（ステップＳ１１２）、異常であると判断した場合には、警報を発する（ステップＳ１１３）。係員は警報を確認した後、端末の運用を停止する等の処置を施す（ステップＳ１１４）。なお、ステップＳ１１１，１１２において異常なしと判定した場合はステップＳ１０２に戻る。

このように、本実施形態によれば、ステップＳ１０４、１０５，１０６，１０７，１０８において、異常を検知した場合、そのまま警報として報知するのではなく、利用者（顧客）に異なる情報として提示する。すなわち、直接、警報として報知するのではなく、柔らかな表現の問合せメッセージとして表示する。そして、このメッセージに対する利用者の反応に応じて、その後の処理を切り替える。

ここで柔らかな問合せは、例えば「何かお困りですか？」、「係員をお呼びしましょうか？」、「忘れ物はございませんか？」等である。これらの問い合わせに対し、通常の応答（係員を呼んで欲しい、操作の仕方を質問する等）の場合は、異常検知装置の警告は虚報であったと判断することができる。また、どちらとも判断できない応答の場合は、検知感度を変更して（上げて）、更に異常検知を繰り返す。

なお、パスワードの入力、カードによる認証、生体認証等により顧客が特定できている場合には、前述のように個別顧客特徴辞書に蓄積されている顧客の特徴を参照して挙動特徴の判別を行うことができる。また、この個別顧客特徴辞書は、顧客が通常の操作をしている間にそれを観測して逐次学習を行い強化することができる。

図２は、ＡＴＭ監視装置の構成を説明する図である。図２において、２０１は端末としてのＡＴＭ、２０５はＡＴＭを監視する監視カメラであり、ＡＴＭの筐体の上部、利用者の手挙動、および利用者全体の動きを撮像している。また、ＡＴＭ２０１は、入金された紙幣を鑑別する鑑別装置２０４を備え、投入された紙幣の情報を出力する。また、カードリーダ装置２０２を備え、該装置は読み込んだカード情報から得られた個人情報を出力する。また、生体認証装置２０３を備え、該装置は利用者の生体情報をもとに得られた個人情報を出力する。

このようにして得られた映像情報および紙幣情報は、異常検知装置２０６に送信される。これらの情報は、ここで個別顧客特徴辞書１１５に格納された前記正常特徴と比較されて、異常挙動および紙幣リジェクト数の異常が検知される。

カードリーダ装置２０２および生体認証装置２０３から得られる個人情報は、異常検知装置２０６に入力され、ここで個別顧客特徴辞書１１５を参照するための情報として使用される。異常検知装置２０６から出力される検知結果は、表示制御装置２０９へ入力される。表示制御装置２０９は、映像出力モニタ２１０と接続されており、異常が検知された場合、モニタ２１０上に異常を示す警告および監視カメラからの映像を表示する。

モニタ２１０を監視している係員は、表示された警告および映像を参照して、ＡＴＭ２０１に対する後続する処理を決定する。また、表示制御装置２０９には記憶装置２０８が接続されており、監視カメラで撮像された映像および異常検知の警告を記録する。

図３は、利用者に対するメッセージ出力の例を示す図である。初期状態において、ＡＴＭ２０１の操作案内情報表示部には、初期画面（ａ）を表示して利用者の操作入力を待つ（ステップＳ３０１）。利用者がＡＴＭの操作を開始し、異常検知装置２０６が利用者の異常な挙動あるいは異常な取引を検知すると、異常挙動検知画面（ｂ）を表示して利用者の応答を待つ（ステップＳ３０２）。ここで、利用者が「問題ない」と応答した場合、定常状態における処理戻る。また「係員を呼んで欲しい」と応答した場合は、ステップＳ３０４において係員が必要な処理を行う。

しかし、前記のように「問題ない」と応答した場合に、利用者が善意である保証はない。このため検知感度を変更して（上げて）異常検知を繰り返し行うことが望ましい。また、ＡＴＭ筐体上に不審物を検知した場合は、異常物体検知画面（ｃ）表示して異常物体の検知を継続して行う（ステップＳ３０３）。その後、所定期間内に不審物が検知されなくなった場合、正常復帰画面（ｄ）を表示して処理を終了する。なお、前記所定時間を超えて不審物が検知され続けた場合には、係員に通知し、係員が必要な処理を行う。

図４は、利用者の挙動解析および不審物検知の連携処理を説明する図である。ＡＴＭの電源投入後、監視カメラおよびセンサによりＡＴＭ端末筐体の状況および顧客の操作状況の情報を収集する（ステップＳ４０１）。収集した情報は不審物検知と挙動解析に使用される。

まず、挙動解析について説明する。利用者が挿入した取り引きカードあるいは利用者の生体認証により利用者を特定できるか否かを判断する（ステップＳ４０２）。利用者を特定できる場合、利用者を特定する情報を用いて個別顧客特徴辞書を参照して、利用者の正常な特徴を抽出する（ステップＳ４０５）。利用者を特定できない場合、再度、カードの挿入、生体認証を促す（ステップＳ４０３）。利用者が挿入した取り引きカードあるいは利用者の生体認証により利用者を特定できるか否かを判断し、利用者が特定できる場合はステップＳ４０５に進み、そうでない場合はステップＳ４０７に進む（ステップＳ４０４）。

ステップＳ４０４において利用者が特定できない場合、標準の特徴辞書を用いて挙動を解析し（ステップＳ４０７）、異常挙動が継続する時間を測定する（ステップＳ４０９）。異常挙動が検知されなかった場合、ステップＳ４０１に戻る。また、異常挙動が所定時間以上継続した場合（異常挙動が検知された場合）は、取り引きを停止し、係員に報知してその後の処理を依頼する（ステップＳ４１１、４１９）。

ステップＳ４０２あるいはＳ４０４において利用者を特定できた場合は、前述のように利用者を特定する情報を用いて個別顧客特徴辞書を参照して、利用者の正常な特徴を抽出する（ステップＳ４０５）。次いで、抽出した特徴をもとに利用者の挙動解析を行い、異常を検知した場合は利用者に向けてメッセージ（異常挙動検知画面）を出力する（ステップＳ４０６，Ｓ４０８，Ｓ４１０）。

ここで、出力されるメッセージに対し利用者が「係員を呼んでほしい」と応答した場合、係員処理を行う（ステップＳ４１３，Ｓ４１９）。「係員を呼んでほしい」以外の応答をした場合は、不審物検知処理の感度を上げる（ステップＳ４１２）。次いで感度を上げた状態で不審物検知処理を実行し、不審物が検知された場合、利用者に向けてメッセージ（異常物体検知画面）を出力する（ステップＳ４１４，Ｓ４１５，Ｓ４１６）。その後も不審物の検知処理を継続して行い、所定時間以上、不審物を継続して検知した場合、取り引きを停止し、係員に報知して係員にその後の処理を依頼する（ステップＳ４１７，Ｓ４１８，Ｓ４１９）。

図５は、監視カメラから得られるＡＴＭ筐体上の画像をもとに行う不審物検知処理処理の詳細を説明する図である。

まず、監視カメラ２０５で撮影した画像を入力し（ステップＳ５０１）、入力画像における時間軸方向の変動あるいは頻度情報をもとに最適な背景画像を生成し、更新する（ステップＳ５０２）。更新された背景画像と入力画像の差分画像を生成し（ステップＳ５０３）、差分画像に対し閾値処理により２値化を行い、ＡＴＭ筐体上に置かれた物体（異常物体）を抽出する（ステップＳ５０４）。

次いで、抽出された物体を別途用意した累積頻度マップ上にプロットし、連続出現時間を測定する（ステップＳ５０５，５０６）。この累積頻度マップでは、不審な物体を観測しなかった部分では累積値を０にする。これにより、連続して観測される物体のみを累積頻度マップ上で計測する。このマップ上での出現頻度が閾値以上になった場合（ステップＳ５０６）、不審物が所定時間以上ＡＴＭ筐体上に設置されたと判断し、検知結果を出力する（ステップＳ５０７）。

図６は、監視カメラから得られる利用者の画像をもとに行う不審挙動検知処理の詳細を説明する図である。

この例では、監視カメラ２０５で利用者を撮影した画像を入力し（ステップＳ６０１）、入力画像における動き特徴をもとに異常挙動検知（ステップＳ６０２〜Ｓ６０６）を行い、また、入力画像における手先の位置情報をもとに異常挙動検知（ステップＳ６０３〜Ｓ６０８）を行う。

動き特徴をもとにした異常挙動検知では、まず、異なるフレーム間の差分画像を生成し（ステップＳ６０２）、利用者の動き成分を抽出して動き特徴を生成する（ステップＳ６０４）。この動き特徴生成法としては、オプティカルフロー、ＣＨＬＡＣなどが知られている。利用者を撮影して生成した前記動き特徴と予め正常な操作を撮影して生成した正常特徴とを比較し、特徴空間内における距離を算出する（ステップＳ６０６）。

手先の位置情報をもとに異常挙動検知では、まず、ＲＧＢ空間からＨＳＶ空間への色空間変換を行い、その際得られる彩度画像をもとに肌色領域を抽出する（ステップＳ６０３，Ｓ６０５）。これは、ＡＴＭ筐体は無彩色である場合が多く、肌色のように彩度の高い領域（手）を抽出し易いからである。

抽出された肌色領域から、手先位置を抽出する（ステップＳ６０７）。なお、撮像環境においては、監視カメラの位置が固定であり、かつ、利用者とＡＴＭ端末の位置関係は固定である。このため利用者の手が画像中に入る方向は制約される。このため、画像中の特定方向からラスタースキャンすると、最初に肌色領域と重なる位置が手先位置となる。このようにして抽出した手先位置と、予め正常な操作の映像から学習した手先位置の頻度分布とをもとに手先位置の異常の程度（異常度）を算出する（ステップＳ６０８）。

次に、動き特徴から算出した特徴空間内における距離と、手先の位置情報をもとに算出した異常度を統合して統合異常度を算出する（ステップＳ６０９）。次に、算出された統合異常度を閾値と比較し、閾値より大きい場合には利用者の挙動は不審であるとして不審挙動検知の結果を出力する。

以上説明したように、本実施形態によれば、異常検知装置が異常を検知しても、検知出力を警報として出力する前に、操作案内情報表示部に問合せメッセージを表示し、このメッセージに対する利用者の反応に応じて、その後の処理を切り替える。これにより、監視装置の誤報を減少させることができる。また、誤報を減少させることで、警報発生時に対応するための人件費を削減することができる。

また、問い合わせに対する利用者の応答の仕方により、検知感度を可変に制御するため、疑わしい場合における誤報（虚報および失報）を減らすことができる。また、異常検知装置の警報を利用者への問い合わせの形で提示するため、誤報発生時の顧客心理への悪影響を低減することができる。

また、利用者が特定できる場合には、個別顧客特徴辞書を検索することにより、利用者特有の挙動の癖あるいは取引手順を取得し、これと観測している利用者の特徴とを比較することで、挙動の異常等を高精度に判別することができる。すなわち、ある人にとっては異常な挙動であっても、別の人にとっては通常の挙動である場合もある。このように利用者毎に正常な挙動の特徴を特定することにより、異常検知の判別精度を向上することができる。

また、特定の取引（例えば、引き出しのみ）しか行わない利用者の取り引きデータを個別顧客特徴辞書に登録し、利用者が通常行わない操作を行った場合に、検知感度を変更する等の対応をとることがができる。このため、非日常的な操作に対して厳密なチェックを行うことができる。

ＡＴＭを監視するＡＴＭ監視装置の処理を説明する図である。ＡＴＭ監視装置の構成を説明する図である。利用者に対するメッセージ出力の例を示す図である。利用者の挙動解析および不審物検知の連携処理を説明する図である。ＡＴＭ筐体上の画像をもとに行う不審物検知処理処理の詳細を説明する図である。利用者の画像をもとに行う不審挙動検知処理の詳細を説明する図である。

符号の説明

２０１ＡＴＭ
２０２カードリーダ
２０３生体認証装置
２０４紙幣鑑別装置
２０５監視カメラ
２０６異常検知装置
２０７個別顧客特徴辞書
２０８記憶装置
２０９表示制御装置
２１０表示装置

Claims

利用者の個人情報を取得する個人情報取得部および操作案内を表示して利用者による入力を受け付ける操作案内情報表示部を備えた端末装置と、
前記端末装置およびその周辺を撮影する監視カメラと、
該監視カメラが撮影した利用者の映像をもとに利用者の不審挙動を検知する異常検知装置と、
前記異常検知装置が利用者の挙動不審を検知したとき、前記端末装置の操作案内情報表示部に利用者に対する問い合わせ情報を表示する表示制御部を備え、
前記異常検知装置は、問い合わせ情報に対する利用者の入力情報に応じて後続する処理を選択することを特徴とする端末監視装置。
請求項１記載の端末監視装置において、
前記異常検知装置は、利用者の手先位置の情報をもとに利用者の不審挙動を検知することを特徴とする端末監視装置。
請求項１記載の端末監視装置において、
前記異常検知装置は、前記問い合わせに対する利用者の異常なしの応答入力に受信したとき、後続する検知動作の検知感度を上げることを特徴とする端末監視装置。
請求項１記載の端末監視装置において、
利用者の特徴情報を蓄積した個別顧客特徴辞書を備え、前記異常検知装置は、前記個人情報取得部が取得した個人情報をもとに前記個別顧客情報を検索し、検索した特徴情報をもとに利用者の不審挙動を判定することを特徴とする端末監視装置。
請求項４記載の端末監視装置において、
前記個別顧客特徴辞書に格納された情報は、端末装置の使用に際して入力された情報に基づいて更新することを特徴とする端末監視装置。
利用者の個人情報を取得する個人情報取得部および操作案内を表示して利用者による入力を受け付ける操作案内情報表示部を備えた端末装置と、
前記端末装置およびその周辺を撮影する監視カメラと、
該監視カメラが撮影した前記端末装置の映像をもとに端末装置上に置かれた不審物を検知するとともに利用者の映像をもとに利用者の不審挙動を検知する異常検知装置と、
前記異常検知装置が前記不審物あるいは挙動不審を検知したとき、前記端末装置の操作案内情報表示部に利用者に対する問い合わせ情報を表示する表示制御部を備え、
前記異常検知装置は、問い合わせ情報に対する利用者の入力情報に応じて後続する処理を選択することを特徴とする端末監視装置。
利用者の個人情報を取得する個人情報取得部および操作案内を表示して利用者による入力を受け付ける操作案内情報表示部を備えた端末装置並びにその周辺を監視カメラにより監視する端末装置の監視方法において、
該監視カメラが撮影した前記端末装置の映像をもとに端末装置上に置かれた不審物を検知するとともに利用者の映像をもとに利用者の不審挙動を監視し、
前記異常検知装置が前記不審物あるいは挙動不審を検知したとき、前記端末装置の操作案内情報表示部に利用者に対する問い合わせ情報を表示し、該問い合わせ情報に対する利用者の入力情報に応じて後続する処理を選択することを特徴とする端末装置の監視方法。
請求項７記載の端末装置の監視方法において、
利用者の手先位置の情報をもとに利用者の不審挙動を検知することを特徴とする端末装置の監視方法。
請求項７記載の端末監視装置において、
前記問い合わせに対する利用者の応答入力に応じて後続する検知動作の検知感度を変更することを特徴とする端末装置の監視方法。