JP2018013913A - 行動認識装置、行動認識方法、学習方法、およびプログラム - Google Patents
行動認識装置、行動認識方法、学習方法、およびプログラム Download PDFInfo
- Publication number
- JP2018013913A JP2018013913A JP2016142414A JP2016142414A JP2018013913A JP 2018013913 A JP2018013913 A JP 2018013913A JP 2016142414 A JP2016142414 A JP 2016142414A JP 2016142414 A JP2016142414 A JP 2016142414A JP 2018013913 A JP2018013913 A JP 2018013913A
- Authority
- JP
- Japan
- Prior art keywords
- moving
- moving image
- feature
- feature extraction
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
[1.1.第1の実施形態の概要]
まず、本発明の第1の実施形態の概要について説明する。上述したとおり、本発明は、動画像を用いた行動認識において、撮像された動物体の動作速度に依存しない特徴を抽出することができる。すなわち、本発明は、種々の行動における動作速度に関する動作主体の個体差を吸収することを可能とする。
本実施形態に係る撮像装置10は、動画像を取得することが可能な種々の装置により実現され得る。本実施形態に係る撮像装置10は、例えば、操作端末20の周辺または操作端末20に一体に設置される監視カメラであってもよい。撮像装置10は、操作端末20を操作するユーザU1による動作を撮像する機能を有する。この際、本実施形態に係る撮像装置10は、時系列の複数のフレーム画像からなる動画像を撮像してよい。撮像装置10は、例えば、図1に示すように、ユーザU1が操作端末20を操作する際の指、手、腕の動作などを撮像することができる。
本実施形態に係る操作端末20は、ユーザU1の操作対象となる種々の装置により実現され得る。本実施形態に係る操作端末20は、例えば、ATM(Automated Teller Machine)や、キャッシュディスペンサーなどの自動取引装置であってもよい。以下の説明では、操作端末20がATMである場合を例に説明する。
本実施形態に係る行動認識装置30は、撮像装置10により取得された動画像を解析し、ユーザU1の行動を識別する機能を有する。具体的には、本実施形態に係る行動認識装置30は、上記の動画像から抽出した特徴と学習済みの行動辞書とを照合することで、ユーザU1の行動を識別することができる。本実施形態に係る行動認識装置30は、上記の機能を有する種々の情報処理装置であってよい。
ネットワーク40は、撮像装置10、操作端末20、および行動認識装置30を接続する機能を有する。ネットワーク40は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、ネットワーク40は、IP−VPN(Internt Protocol−Virtual Private Network)などの専用回線網を含んでもよい。また、ネットワーク40は、Wi−Fi(登録商標)、Bluetooth(登録商標)など無線通信網を含んでもよい。
次に、本発明の第1の実施形態に係る行動認識装置30の機能構成例について説明する。図4は、本実施形態に係る行動認識装置30の機能ブロック図の一例である。図4を参照すると、本実施形態に係る行動認識装置30は、動画読込部310、移動量算出部320、特徴抽出部330、学習部340、識別部350、出力制御部360、および行動辞書370を備える。以下、上記の各構成について詳細に説明する。
動画読込部310は、撮像装置10により撮像された動画像の読み込みを行う機能を有する。この際、動画読込部310は、入力される動画像を時系列のデータに変換することができる。すなわち、動画読込部310は、動画像を構成する時系列のフレーム画像(静止画像)を一枚ずつ読み込むことができる。動画読込部310は、上記の時系列のフレーム画像を移動量算出部320および特徴抽出部330に出力する。
移動量算出部320は、動画読込部310から入力された時系列のフレーム画像に基づいて、動物体の移動量を算出する機能を有する。この際、移動量算出部320は、例えば、オプティカルフローを用いて、動物体の移動量を算出してよい。移動量算出部320による移動量算出の詳細については、後述する。
特徴抽出部330は、動画読込部310から入力された時系列のフレーム画像に基づいて、動画像の特徴を抽出する機能を有する。この際、本実施形態に係る特徴抽出部330は、移動量算出部320により算出された動物体の移動量に基づいて、上記の特徴抽出を行うことができる。具体的には、本実施形態に係る特徴抽出部330は、動物体の移動量の大きさに基づく間隔で選択したフレーム画像を用いて、動画像の特徴を抽出してよい。例えば、特徴抽出部330は、動物体の移動量が小さいほど、フレーム画像の選択に係る間隔を大きく設定してもよい。
学習部340は、特徴抽出部330が抽出したCHLAC特徴と動物体の行動とを関連付けて学習を行う機能を有する。すなわち、本実施形態に係る学習部340は、上記のCHLAC特徴に基づいて、予め設定された行動を識別するモデル学習を行い、当該モデル学習の結果を行動辞書370に記憶させることができる。
識別部350は、特徴抽出部330が抽出したCHLAC特徴と予め学習により作成された行動辞書370とに基づいて、動物体の行動を識別する機能を有する。また、本実施形態に係る識別部350は、例えば、部分空間法を用いて、動物体の行動を識別してもよい。識別部350による行動識別の詳細については、後述する。
出力制御部360は、識別部350により識別された識別結果の出力を制御する機能を有する。出力制御部360は、例えば、行動認識装置30の内部または外部に備えられる表示装置(図示しない)に、上記の識別結果を表示させてもよい。また、出力制御部360は、上記の識別結果に異常が認められる場合、接続されるスピーカなどにアラート音などを出力させてもよい。
行動辞書370は、学習部340によるモデル学習の結果を記憶する機能を有する。本実施形態に係る行動辞書370は、例えば、学習が行われる行動(ATM専用カードの挿入やピンパッドの操作など)ごとに生成されてもよい。
次に、本実施形態に係る移動量算出の詳細について説明する。上述したとおり、本実施形態に係る移動量算出部320は、オプティカルフローを用いて、動物体の移動量を算出することができる。
次に、本実施形態に係る特徴抽出の詳細について説明する。上述したとおり、本実施形態に係る特徴抽出部330は、移動量算出部320により算出された動物体の移動量に基づいて、CHLAC特徴の抽出を行うことができる。図6〜図8は、本実施形態に係る動物体の移動量に基づく特徴抽出を説明するための図である。
次に、本実施形態の効果について述べる。上述した特許文献1および特許文献2に開示される手法では、予め静的に設定された条件に基づき選択されたフレーム画像を用いてCHALC特徴を抽出している。このため、当該手法では、同一の動作でも動作速度が異なる場合、同様の特徴を得ることが困難である。
次に、本実施形態に係る行動認識装置30の動作の流れについて詳細に説明する。
まず、本実施形態に係る行動認識装置30による行動認識の流れについて説明する。図11は、本実施形態に係る行動認識装置30による行動認識の流れを示すフローチャートである。
次に、本実施形態に係る移動量算出の詳細フローについて説明する。図12は、本実施形態に係る移動量算出部320による動物体の移動量算出の流れを示すフローチャートである。なお、図12に示す各ステップは、図11に示したステップS1120の詳細フローに該当する。
次に、本実施形態に係る行動辞書370の作成の流れについて詳細に説明する。本実施形態に係る行動辞書370の作成は、行動認識の流れと同様に動物体の移動量に基づき実行されてよい。すなわち、本実施形態に係る行動認識装置30は、動物体の移動量の大きさに基づく間隔で選択したフレーム画像から特徴量を抽出し、当該特徴量と動物体の行動とを関連付けて学習する。
[2.1.第2の実施形態の概要]
次に、本発明の第2の実施形態の概要について説明する。近年、ATMなどの自動取引装置に対する犯罪は巧妙化しており、当該犯罪に対する防止策や早期検知のしくみなどが求められている。上記のような犯罪には、例えばスキミング装置による情報の不正入手などが含まれるが、設置されたスキミング装置を発見することが困難である場合もある。
まず、本発明の第2の実施形態に係る行動認識装置30の機能構成例について説明する。図14は、本実施形態に係る行動認識装置30の機能ブロック図である。図14を参照すると、本実施形態に係る行動認識装置30は、第1の実施形態と共通する機能構成に加えて、外部情報取得部380を備える。
外部情報取得部380は、操作端末20から外部情報を取得する機能を有する。上述したとおり、本実施形態に係る外部情報は、操作端末20のステータス情報であってよい。外部情報取得部380は、取得した外部情報を移動量算出部320に出力する。
続いて、本実施形態に係る外部情報に基づいた行動認識装置30の動作の流れについて詳細に説明する。
まず、本実施形態に係る行動認識装置30による外部情報に基づく行動認識の流れについて説明する。図15は、本実施形態に係る行動認識装置30による外部情報に基づく行動認識の流れを示すフローチャートである。
次に、本実施形態に係る外部情報に基づく移動量算出の詳細フローについて説明する。第1の実施形態における移動量算出では、予め設定された所定数Nのフレーム画像からオプティカルフローの算出を行ったが、本実施形態では、外部情報に基づく間隔でオプティカルフローを算出してよい。すなわち、本実施形態に係る移動量算出部320は、操作端末20のステータスに応じた間隔でオプティカルフローの算出を行うことができる。
次に、本実施形態に係る外部情報に基づく行動辞書370の作成の流れについて詳細に説明する。図17は、本実施形態に係る外部情報に基づく行動辞書370の作成の流れを示すフローチャートである。
次に、本発明に係る行動認識装置30のハードウェア構成例について説明する。図18は、本発明に係る行動認識装置30のハードウェア構成例を示すブロック図である。図18を参照すると、行動認識装置30は、例えば、CPU871と、ROM872と、RAM873と、ホストバス874と、ブリッジ875と、外部バス876と、インターフェース877と、入力部878と、出力部879と、記憶部880と、ドライブ881と、接続ポート882と、通信部883と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
CPU871は、例えば、演算処理装置又は制御装置として機能し、ROM872、RAM873、記憶部880、又はリムーバブル記録媒体901に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
ROM872は、CPU871に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。RAM873には、例えば、CPU871に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
CPU871、ROM872、RAM873は、例えば、高速なデータ伝送が可能なホストバス874を介して相互に接続される。一方、ホストバス874は、例えば、ブリッジ875を介して比較的データ伝送速度が低速な外部バス876に接続される。また、外部バス876は、インターフェース877を介して種々の構成要素と接続される。
入力部878には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、マイク、及びレバー等が用いられる。さらに、入力部878としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ(以下、リモコン)が用いられることもある。
出力部879には、例えば、CRT(Cathode Ray Tube)、LCD、又は有機EL等のディスプレイ装置(表示装置)、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。
記憶部880は、各種のデータを格納するための装置である。記憶部880としては、例えば、ハードディスクドライブ(HDD)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
ドライブ881は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体901に記録された情報を読み出し、又はリムーバブル記録媒体901に情報を書き込む装置である。
リムーバブル記録媒体901は、例えば、DVDメディア、Blu−ray(登録商標)メディア、HD DVDメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体901は、例えば、非接触型ICチップを搭載したICカード、又は電子機器等であってもよい。
接続ポート882は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)、RS−232Cポート、又は光オーディオ端子等のような外部接続機器902を接続するためのポートである。
外部接続機器902は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はICレコーダ等である。
通信部883は、通信網903に接続するための通信デバイスであり、例えば、有線又は無線LAN、Bluetooth(登録商標)、又はWUSB(Wireless USB)用の通信カード、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は各種通信用のモデム等である。また、内線電話網や携帯電話事業者網等の電話網に接続してもよい。
以上説明したように、本発明に係る行動認識装置30は、動画像から算出された動物体の移動量に基づいて、特徴抽出に用いるフレーム画像を動的に選択することが可能である。より具体的には、行動認識装置30は、動物体の移動量の大きさに基づく間隔で選択したフレーム画像を用いて、動画像の特徴を抽出することができる。係る構成によれば、行動認識において動作速度の差を吸収した特徴抽出を実現することが可能となる。
20 操作端末
30 行動認識装置
310 動画読込部
320 移動量算出部
330 特徴抽出部
340 学習部
350 識別部
360 出力制御部
370 行動辞書
380 外部情報取得部
40 ネットワーク
Claims (11)
- 入力された時系列の複数のフレーム画像からなる動画像から算出された動物体の移動量に基づいて、前記動画像の特徴を抽出する特徴抽出部と、
前記動画像の特徴に基づいて前記動物体の行動を識別する識別部と、
を備え、
前記特徴抽出部は、前記移動量の大きさに基づく間隔で選択した前記フレーム画像を用いて、前記動画像の特徴を抽出する、
行動認識装置。 - 前記特徴抽出部は、前記移動量が小さいほど、前記フレーム画像の選択に係る間隔を大きく設定する、
請求項1に記載の行動認識装置。 - 前記特徴抽出部は、前記動画像のCHLAC特徴あるいはST−patch特徴を抽出する、
請求項1または2に記載の行動認識装置。 - 前記識別部は、部分空間法を用いて前記動物体の行動を識別する、
請求項1〜3のいずれかに記載の行動認識装置。 - 前記動画像の特徴と前記動物体の行動とを関連付けて学習を行う学習部、
をさらに備える、
請求項1〜4のいずれかに記載の行動認識装置。 - 前記特徴抽出部は、前記移動量の大きさが所定の基準を上回ることに基づいて、時系列の前記フレーム画像間を補間する補間フレーム画像を生成し、前記フレーム画像と前記補間フレーム画像とを用いて前記動画像の特徴を抽出する、
請求項1〜5のいずれかに記載の行動認識装置。 - 入力された前記動画像における前記動物体の前記移動量を算出する算出部、
をさらに備える、
請求項1〜6のいずれかに記載の行動認識装置。 - 前記算出部は、前記動物体の行動の対象となる装置から取得される外部情報に基づいて前記移動量を算出する、
請求項7に記載の行動認識装置。 - コンピュータを、
入力された時系列の複数のフレーム画像からなる動画像から算出された動物体の移動量に基づいて、前記動画像の特徴を抽出する特徴抽出部と、
前記動画像の特徴に基づいて前記動物体の行動を識別する識別部と、
を備え、
前記特徴抽出部は、前記移動量の大きさに基づく間隔で選択した前記フレーム画像を用いて、前記動画像の特徴を抽出する、
行動認識装置、
として機能させるためのプログラム。 - 入力された時系列の複数のフレーム画像からなる動画像から算出された動物体の移動量に基づいて、前記動画像の特徴を抽出することと、
前記動画像の特徴に基づいて前記動物体の行動を識別することと、
を含み、
前記抽出することは、前記移動量の大きさに基づく間隔で選択した前記フレーム画像を用いて、前記動画像の特徴を抽出すること、
をさらに含む、
行動認識方法。 - 入力された時系列の複数のフレーム画像からなる動画像から算出された動物体の移動量に基づいて、前記動画像の特徴を抽出することと、
前記動画像の特徴と前記動物体の行動とを関連付けて学習することと、
を含み、
前記抽出することは、前記移動量の大きさに基づく間隔で選択した前記フレーム画像を用いて、前記動画像の特徴を抽出すること、
をさらに含む、
学習方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016142414A JP2018013913A (ja) | 2016-07-20 | 2016-07-20 | 行動認識装置、行動認識方法、学習方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016142414A JP2018013913A (ja) | 2016-07-20 | 2016-07-20 | 行動認識装置、行動認識方法、学習方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018013913A true JP2018013913A (ja) | 2018-01-25 |
Family
ID=61019494
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016142414A Pending JP2018013913A (ja) | 2016-07-20 | 2016-07-20 | 行動認識装置、行動認識方法、学習方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018013913A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019181140A1 (ja) * | 2018-03-22 | 2019-09-26 | 沖電気工業株式会社 | 画像処理装置、画像処理方法、記録媒体および画像処理システム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02151981A (ja) * | 1988-12-02 | 1990-06-11 | Agency Of Ind Science & Technol | 動画像処理による運動計測方法 |
JPH04260979A (ja) * | 1990-11-28 | 1992-09-16 | Hitachi Ltd | 移動物体の検出追跡システム |
JPH06282655A (ja) * | 1993-03-30 | 1994-10-07 | Toyota Motor Corp | 移動体認識装置 |
WO2006064749A1 (ja) * | 2004-12-16 | 2006-06-22 | Sharp Kabushiki Kaisha | 動画像再生方法および動画像再生装置 |
JP2012138646A (ja) * | 2009-04-23 | 2012-07-19 | Panasonic Corp | 映像処理装置及び映像処理方法 |
-
2016
- 2016-07-20 JP JP2016142414A patent/JP2018013913A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02151981A (ja) * | 1988-12-02 | 1990-06-11 | Agency Of Ind Science & Technol | 動画像処理による運動計測方法 |
JPH04260979A (ja) * | 1990-11-28 | 1992-09-16 | Hitachi Ltd | 移動物体の検出追跡システム |
JPH06282655A (ja) * | 1993-03-30 | 1994-10-07 | Toyota Motor Corp | 移動体認識装置 |
WO2006064749A1 (ja) * | 2004-12-16 | 2006-06-22 | Sharp Kabushiki Kaisha | 動画像再生方法および動画像再生装置 |
JP2012138646A (ja) * | 2009-04-23 | 2012-07-19 | Panasonic Corp | 映像処理装置及び映像処理方法 |
Non-Patent Citations (2)
Title |
---|
久野 友規: "速度不変特徴量を用いた動作識別", 映像情報メディア学会技術報告 VOL.40 NO.11, vol. AIT2016-48 (Mar.2016), JPN6020028970, 2 March 2016 (2016-03-02), JP, pages 25 - 28, ISSN: 0004320754 * |
弓場 竜: "時空間特徴の統計的学習を用いた異常行動検知", 電子情報通信学会論文誌 (J95−D) 第6号, vol. 95, no. 6, JPN6020028971, 1 June 2012 (2012-06-01), JP, pages 1369 - 1379, ISSN: 0004320755 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019181140A1 (ja) * | 2018-03-22 | 2019-09-26 | 沖電気工業株式会社 | 画像処理装置、画像処理方法、記録媒体および画像処理システム |
JP2019168740A (ja) * | 2018-03-22 | 2019-10-03 | 沖電気工業株式会社 | 画像処理装置、画像処理方法、プログラムおよび画像処理システム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11450146B2 (en) | Gesture recognition method, apparatus, and device | |
JP5554984B2 (ja) | パターン認識方法およびパターン認識装置 | |
JP6161257B2 (ja) | イベント検出装置及びその方法、動作認識装置及びその方法、プログラム | |
JP6007682B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6570786B2 (ja) | 動作学習装置、技能判別装置および技能判別システム | |
JP2013164834A (ja) | 画像処理装置および方法、並びにプログラム | |
WO2011161579A1 (en) | Method, apparatus and computer program product for providing object tracking using template switching and feature adaptation | |
JP2008271268A5 (ja) | ||
JP6071002B2 (ja) | 信頼度取得装置、信頼度取得方法および信頼度取得プログラム | |
JP2008146329A (ja) | 顔特徴点検出装置及びその方法 | |
JP5879188B2 (ja) | 顔表情解析装置および顔表情解析プログラム | |
CN109086725B (zh) | 手部跟踪方法及机器可读存储介质 | |
JP5441151B2 (ja) | 顔画像追跡装置及び顔画像追跡方法並びにプログラム | |
CN114613006A (zh) | 一种远距离手势识别方法及装置 | |
JP5552946B2 (ja) | 顔画像サンプル採取装置、顔画像サンプル採取方法、プログラム | |
JP2006293720A (ja) | 顔検出装置、顔検出方法、及び顔検出プログラム | |
JP2018013913A (ja) | 行動認識装置、行動認識方法、学習方法、およびプログラム | |
JP2021144359A (ja) | 学習装置、推定装置、学習方法、及びプログラム | |
KR101521136B1 (ko) | 얼굴 인식 방법 및 얼굴 인식 장치 | |
JP6393495B2 (ja) | 画像処理装置および物体認識方法 | |
JP6098498B2 (ja) | 情報処理装置、情報処理方法、並びにプログラム | |
US20220309704A1 (en) | Image processing apparatus, image processing method and recording medium | |
JP5800557B2 (ja) | パターン認識装置、パターン認識方法及びプログラム | |
JP4449483B2 (ja) | 画像解析装置、および画像解析方法、並びにコンピュータ・プログラム | |
JP5283267B2 (ja) | コンテンツ識別方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190327 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190328 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190515 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200626 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200811 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201009 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20201020 |