JP4996404B2 - 人物行動検索装置 - Google Patents
人物行動検索装置 Download PDFInfo
- Publication number
- JP4996404B2 JP4996404B2 JP2007243307A JP2007243307A JP4996404B2 JP 4996404 B2 JP4996404 B2 JP 4996404B2 JP 2007243307 A JP2007243307 A JP 2007243307A JP 2007243307 A JP2007243307 A JP 2007243307A JP 4996404 B2 JP4996404 B2 JP 4996404B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- image
- behavior
- recording
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005259 measurement Methods 0.000 claims description 51
- 238000012545 processing Methods 0.000 claims description 50
- 238000012544 monitoring process Methods 0.000 claims description 30
- 230000005484 gravity Effects 0.000 claims description 27
- 238000000605 extraction Methods 0.000 claims description 15
- 238000003384 imaging method Methods 0.000 claims description 8
- 210000000744 eyelid Anatomy 0.000 claims description 4
- 230000006399 behavior Effects 0.000 description 90
- 238000000034 method Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 9
- 230000037303 wrinkles Effects 0.000 description 9
- 210000003128 head Anatomy 0.000 description 3
- 230000001747 exhibiting effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000002131 composite material Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 208000008918 voyeurism Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Television Signal Processing For Recording (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
撮像装置により撮像される監視領域の撮像画像を動画データとして画像記録部に録画させる録画装置と、
上記撮像装置又は上記画像記録部から連続的に送られる撮像画像上で個々の人を認識して当該人の仮想重心点の移動を追跡し、上記監視領域の特定場所での人の行動を把握するために撮像画像上の一定範囲内に予め設定された計測領域において撮像画像上に現われた人の仮想重心点が撮像画像上に予め設定された計測領域内に進入してから計測領域外へ退出するまでの当該人の行動情報を取得する画像処理装置と、
上記画像処理装置で取得した当該人の行動情報より、所定の挙動判定基準に基づいて当該人の挙動を判定する挙動判定装置と、
上記挙動判定装置で挙動判定された結果から当該人の挙動を示す栞データを作成する栞データ作成部と、
上記画像処理装置で追跡した当該人の仮想重心点の移動軌跡を示す追跡線を記録する移動軌跡記録部と、
上記撮像画像上において監視領域内の人が通過する位置に代表画像抽出ラインを予め設定し、上記画像処理装置での撮像画像の中から撮像画像上に現われた人の仮想重心点が上記代表画像抽出ラインを最初に通過したときの撮像画像を当該人の顔が明瞭に写った代表画像として抽出し、当該代表画像に上記移動軌跡記録部に記録された追跡線を合成した当該人の栞画像を作成する栞画像作成部と、
当該人が認識されている動画データの録画位置を記録する録画位置記録部と、
上記の当該人による栞画像と栞データと録画位置とを関連付ける人物キーを作成し、これを栞記憶部に記憶させる人物キー作成部と、
上記人物キーの栞データを検索させて上記栞記憶部から当該栞データと関連付けられた栞画像を呼び出し、当該栞画像を表示装置に一覧表示させる検索部と、
上記一覧表示された栞画像の選択により上記録画装置によって記録された動画データを当該栞画像と関連付けられた録画位置から上記表示装置に再生させる表示編集部とを備え、
上記栞データは、
(1)当該人の複数の異なる計測領域間の移動があるかを示す移動順序、
(2)当該人の計測領域内での平均速度を示す移動速度、
(3)当該人が計測領域内で停止していた時間を示す停止時間、及び
(4)当該人が計測領域内に滞在していた時間を示す滞在時間
の各項目(1)(2)(3)(4)のすべての組み合わせによって構成される。
(5)当該人が計測領域内を2人で並行して移動していたかを示す共連れ、及び
(6)当該人を含めて計測領域内に同時に存在していた人数を示す滞在人数
の各項目(5)(6)のうちの1つ又はこれら項目(5)(6)のすべてを備えることができる。
上記栞画像作成部は、撮像画像上において監視領域内の人が通過する位置に代表画像抽出ラインを予め設定することにより、当該人の顔が明瞭に写る位置で撮像された撮像画像から代表画像を抽出し栞画像を作成するようにしてもよい。
上記画像処理装置は、上記撮像画像において等間隔に配置する処理点ごとにその処理点を中心点とする円の円周上での各画素のピクセル値に対し基本波フーリエ変換を実行し、得られた位相より処理点ごとに人物画像の概略的な輪郭を法線ベクトルで認識し、当該法線ベクトルを基にその人物画像を上記仮想重心点として捉えるとともに、当該仮想重心点を経時的に追跡する人認識手段を含むことでもよい。
このように、特定の挙動を示す人が録画されている動画データの位置を容易に検索し、その人が現われる場面からの再生を簡易に且つ素早く行うことができる。
本実施の形態は、人物行動検索装置の一適用例として、銀行等の店舗内に設置したATM機(現金自動預払機)の利用者である人の行動を監視し録画した動画データから所定の挙動を示した人を検索し素早く再生表示可能としたものである。図1は、ATM機100を3台(M1〜M3)並べて設置したATM室S内(監視領域)を、1台のカメラ9によって上方から常時撮影している様子を模式的に示している。
は画素のピクセル値にフーリエ変換の余弦波を積和した積和値、ATANはアークタンジェント、sitaはフーリエ変換で得られる位相値を示す。)
なお、この挙動判定基準41は、上記の各挙動に限らず、監視目的に応じてその挙動内容を適宜に決定することができる。
検索部61は、上記人物キーの栞データを検索キーとして検索させて上記栞記憶部50から当該人物キーと関連付けられた栞画像を呼び出し、当該栞画像を表示装置8に一覧表示させる。
表示編集部62は、上記一覧表示された栞画像の選択により上記録画装置2によって記録された動画データを当該栞画像と関連付けられた録画位置から上記表示装置8に再生させる。すなわち、栞画像が選択されると、この栞画像と関連付けられた動画位置が示す開始フレームから動画データがジャンプ再生され、そして、この動画位置が示す終了フレームで上記再生が停止される。これにより、選択された栞画像の人が現われる場面に対して、上記動画データの再生が表示装置8において行われる。
まず、操作手段7によって、画像処理装置3に対してカメラ9で撮像する撮像画像1上に計測領域Aを設定すると共に、挙動判定装置4に対して挙動判定基準41を設定する。計測領域Aとしては、図1に示すように、ATM機100を操作している利用者が完全に包囲されるように、ATM機100の前面位置の一定範囲を四角形状に囲むように設定される。挙動判定基準41としては、上述した(1)移動順序、(2)共連れ、(3)移動速度、(4)停止時間、(5)滞在時間、及び(6)滞在人数の各項目が設定される。また、操作手段7によって、撮像画像1上の所定位置に代表画像抽出ラインLを引いて、カメラ9で撮像される一人ひとりの代表画像を抽出する位置を設定する。以上の設定が完了すると、ATM機100の利用者の行動分析のために、撮像画像1の録画とともに個人毎に人物キーが作成される。
すなわち、図6を参照して、カメラ9から撮像画像1が画像処理装置3に連続的に入力されると(S1)、録画装置2によって画像記録部21に動画データとして録画される一方、画像処理装置3では、撮像画像1内に人が存在するか人認識を行う。人の存在が認識されると、その画像フレーム番号を当該人が初めて撮像画像1中に現われた時点を示す開始フレームとして記録される(S2)。すなわち、図11に示すように、撮像画像1上に初めて人が認識されると、そのときの画像フレーム番号が録画されている動画データにおいて当該人が現われる録画位置を示す開始フレームとなる。
すなわち、図9を参照して、上記人物キーの栞データを検索キーとして検索すると(S20)、当該人物キーと関連付けられた全ての栞画像が上記栞記憶部50から呼び出され表示装置8に一覧表示される(S21)。この一覧表示は、例えば、図10に示すように、栞画像(追跡線付きの人物代表画像)をサムネイル表示することができる。
例えば、上記実施の形態では、カメラ9からの撮像画像1を画像処理装置3に入力し栞生成装置5によって人物キーを作成するようにしたが、録画装置2によって既に録画された動画データ(撮像画像1)を画像処理装置3に入力して、上記同様に、栞生成装置5によって人物キーを作成するようにしてもよい。
2 録画装置
3 画像処理装置
4 挙動判定装置
5 栞生成装置
6 再生制御装置
7 操作手段
8 表示装置
9 カメラ(撮像装置)
21 画像記録部
31 人認識手段
32 行動計測手段
41 挙動判定基準
50 栞記憶部
51 録画位置記録部
52 移動軌跡記録部
53 栞画像作成部
55 人物キー作成部
54 栞データ作成部
61 検索部
62 表示編集部
100 ATM機
A 計測領域
G 仮想重心点
h 人物画像
L 代表画像抽出ライン
S ATM室(監視領域)
Claims (3)
- 人の行動を監視し録画した動画データを、所定の挙動を示した人を検索し当該人が現われる場面から再生可能とするための人物行動検索装置であって、
撮像装置により撮像される監視領域の撮像画像を動画データとして画像記録部に録画させる録画装置と、
上記撮像装置又は上記画像記録部から連続的に送られる撮像画像上で個々の人を認識して当該人の仮想重心点の移動を追跡し、上記監視領域の特定場所での人の行動を把握するために撮像画像上の一定範囲内に予め設定された計測領域において撮像画像上に現われた人の仮想重心点が撮像画像上に予め設定された計測領域内に進入してから計測領域外へ退出するまでの当該人の行動情報を取得する画像処理装置と、
上記画像処理装置で取得した当該人の行動情報より、所定の挙動判定基準に基づいて当該人の挙動を判定する挙動判定装置と、
上記挙動判定装置で挙動判定された結果から当該人の挙動を示す栞データを作成する栞データ作成部と、
上記画像処理装置で追跡した当該人の仮想重心点の移動軌跡を示す追跡線を記録する移動軌跡記録部と、
上記撮像画像上において監視領域内の人が通過する位置に代表画像抽出ラインを予め設定し、上記画像処理装置での撮像画像の中から撮像画像上に現われた人の仮想重心点が上記代表画像抽出ラインを最初に通過したときの撮像画像を当該人の顔が明瞭に写った代表画像として抽出し、当該代表画像に上記移動軌跡記録部に記録された追跡線を合成した当該人の栞画像を作成する栞画像作成部と、
当該人が認識されている動画データの録画位置を記録する録画位置記録部と、
上記の当該人による栞画像と栞データと録画位置とを関連付ける人物キーを作成し、これを栞記憶部に記憶させる人物キー作成部と、
上記人物キーの栞データを検索させて上記栞記憶部から当該栞データと関連付けられた栞画像を呼び出し、当該栞画像を表示装置に一覧表示させる検索部と、
上記一覧表示された栞画像の選択により上記録画装置によって記録された動画データを当該栞画像と関連付けられた録画位置から上記表示装置に再生させる表示編集部とを備え、
上記栞データは、
(1)当該人の複数の異なる計測領域間の移動があるかを示す移動順序、
(2)当該人の計測領域内での平均速度を示す移動速度、
(3)当該人が計測領域内で停止していた時間を示す停止時間、及び
(4)当該人が計測領域内に滞在していた時間を示す滞在時間
の各項目(1)(2)(3)(4)のすべての組み合わせによって構成される人物行動検索装置。 - 請求項1に記載の人物行動検索装置において、
上記栞データは、さらに、
(5)当該人が計測領域内を2人で並行して移動していたかを示す共連れ、及び
(6)当該人を含めて計測領域内に同時に存在していた人数を示す滞在人数
の各項目(5)(6)のうちの1つ又はこれら項目(5)(6)のすべてを備える人物行動検索装置。 - 請求項1又は2に記載の人物行動検索装置において、
上記画像処理装置は、上記撮像画像において等間隔に配置する処理点ごとにその処理点を中心点とする円の円周上での各画素のピクセル値に対し基本波フーリエ変換を実行し、得られた位相より処理点ごとに人物画像の概略的な輪郭を法線ベクトルで認識し、当該法線ベクトルを基にその人物画像を上記仮想重心点として捉えるとともに、当該仮想重心点を経時的に追跡する人認識手段を含む人物行動検索装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007243307A JP4996404B2 (ja) | 2007-09-20 | 2007-09-20 | 人物行動検索装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007243307A JP4996404B2 (ja) | 2007-09-20 | 2007-09-20 | 人物行動検索装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009075802A JP2009075802A (ja) | 2009-04-09 |
JP4996404B2 true JP4996404B2 (ja) | 2012-08-08 |
Family
ID=40610714
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007243307A Active JP4996404B2 (ja) | 2007-09-20 | 2007-09-20 | 人物行動検索装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4996404B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104966090A (zh) * | 2015-07-21 | 2015-10-07 | 公安部第三研究所 | 实现面向图像理解的视觉单词生成和评价的***及方法 |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4944818B2 (ja) * | 2008-02-28 | 2012-06-06 | 綜合警備保障株式会社 | 検索装置および検索方法 |
US9293060B2 (en) | 2010-05-06 | 2016-03-22 | Ai Cure Technologies Llc | Apparatus and method for recognition of patient activities when obtaining protocol adherence data |
US9875666B2 (en) | 2010-05-06 | 2018-01-23 | Aic Innovations Group, Inc. | Apparatus and method for recognition of patient activities |
US9883786B2 (en) | 2010-05-06 | 2018-02-06 | Aic Innovations Group, Inc. | Method and apparatus for recognition of inhaler actuation |
RU2546327C1 (ru) | 2011-03-28 | 2015-04-10 | Нек Корпорейшн | Устройство для отслеживания человека, способ отслеживания человека и невременный машиночитаемый носитель, хранящий программу для отслеживания человека |
JP5354401B2 (ja) | 2011-09-06 | 2013-11-27 | カシオ計算機株式会社 | 動画再生装置、動画再生方法及びプログラム |
CN105120827B (zh) * | 2013-03-14 | 2019-10-15 | 艾治疗技术公司 | 用于可疑活动辨别的装置和方法 |
JP6027070B2 (ja) | 2014-09-24 | 2016-11-16 | 富士フイルム株式会社 | 領域検出装置、領域検出方法、画像処理装置、画像処理方法、プログラムおよび記録媒体 |
CN104881651B (zh) * | 2015-05-29 | 2017-12-15 | 南京信息工程大学 | 一种基于随机投影和Fisher向量的人物行为识别方法 |
JP6772609B2 (ja) * | 2015-09-25 | 2020-10-21 | ソニー株式会社 | 代表画像生成装置、代表画像生成方法及びプログラム |
JP6548306B2 (ja) * | 2016-02-23 | 2019-07-24 | Kddi株式会社 | カメラの撮影画像に映る人物を追跡する画像解析装置、プログラム及び方法 |
CN115331174B (zh) * | 2022-08-19 | 2023-06-13 | 中国安全生产科学研究院 | 一种企业安全生产标准化智能监管***及方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04340178A (ja) * | 1991-03-11 | 1992-11-26 | Mitsubishi Electric Corp | 侵入監視装置 |
JP3489491B2 (ja) * | 1999-06-24 | 2004-01-19 | 日本電気株式会社 | 人物行動解析装置及び人物行動解析プログラムを記録した記録媒体 |
JP3406587B2 (ja) * | 2000-08-30 | 2003-05-12 | 技研トラステム株式会社 | 物体像識別方法 |
JP2002344946A (ja) * | 2001-05-16 | 2002-11-29 | Oki Electric Ind Co Ltd | 監視装置 |
JP2003022309A (ja) * | 2001-07-06 | 2003-01-24 | Hitachi Ltd | 動線情報を基にした施設管理装置 |
JP2005148863A (ja) * | 2003-11-11 | 2005-06-09 | Konica Minolta Holdings Inc | 人数計数システム |
JP4168940B2 (ja) * | 2004-01-26 | 2008-10-22 | 三菱電機株式会社 | 映像表示システム |
JP2007087150A (ja) * | 2005-09-22 | 2007-04-05 | Matsushita Electric Ind Co Ltd | 画像再生方法、画像再生機、画像再生プログラム |
-
2007
- 2007-09-20 JP JP2007243307A patent/JP4996404B2/ja active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104966090A (zh) * | 2015-07-21 | 2015-10-07 | 公安部第三研究所 | 实现面向图像理解的视觉单词生成和评价的***及方法 |
CN104966090B (zh) * | 2015-07-21 | 2018-08-14 | 公安部第三研究所 | 实现面向图像理解的视觉单词生成和评价的***及方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2009075802A (ja) | 2009-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4996404B2 (ja) | 人物行動検索装置 | |
CN108292364B (zh) | 在全向视频中的跟踪感兴趣对象 | |
JP4939968B2 (ja) | 監視画像処理方法、監視システム及び監視画像処理プログラム | |
JP4760892B2 (ja) | 表示制御装置、表示制御方法及びプログラム | |
JP4168940B2 (ja) | 映像表示システム | |
US7881505B2 (en) | Video retrieval system for human face content | |
JP6148480B2 (ja) | 画像処理装置、画像処理方法 | |
JP5106271B2 (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
JP4797761B2 (ja) | 動画表示装置 | |
US10037467B2 (en) | Information processing system | |
US20020175997A1 (en) | Surveillance recording device and method | |
KR101484844B1 (ko) | 실시간 영상에 프라이버시 마스킹 툴을 제공하는 장치 및 방법 | |
KR101960667B1 (ko) | 저장 영상에서 용의자 추적 장치 및 방법 | |
WO2013069605A1 (ja) | 類似画像検索システム | |
JP2003046911A (ja) | 監視記録装置及びその方法 | |
JP2007281858A (ja) | 動画編集装置 | |
KR20180022568A (ko) | 정보 처리장치 및 그 방법과, 컴퓨터 판독가능한 기억매체 | |
JP6292540B2 (ja) | 情報処理システム、情報処理方法及びプログラム | |
US10146870B2 (en) | Video playback method and surveillance system using the same | |
JPWO2014045843A1 (ja) | 画像処理システム、画像処理方法及びプログラム | |
JPH07200632A (ja) | 情報処理装置 | |
JP6214762B2 (ja) | 画像検索システム、検索画面表示方法 | |
JP2006163527A (ja) | 画像検索装置及び方法 | |
JP4492124B2 (ja) | 書込解析装置、方法、およびプログラム | |
US9767564B2 (en) | Monitoring of object impressions and viewing patterns |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100616 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20120112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120406 Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20120406 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120508 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120511 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150518 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4996404 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |