JP6909575B2 - 監視情報収集システム - Google Patents
監視情報収集システム Download PDFInfo
- Publication number
- JP6909575B2 JP6909575B2 JP2016232989A JP2016232989A JP6909575B2 JP 6909575 B2 JP6909575 B2 JP 6909575B2 JP 2016232989 A JP2016232989 A JP 2016232989A JP 2016232989 A JP2016232989 A JP 2016232989A JP 6909575 B2 JP6909575 B2 JP 6909575B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- face
- information
- face data
- movement locus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims description 61
- 238000001514 detection method Methods 0.000 claims description 41
- 238000003384 imaging method Methods 0.000 claims description 37
- 238000004458 analytical method Methods 0.000 claims description 22
- 230000007717 exclusion Effects 0.000 claims description 10
- 238000004891 communication Methods 0.000 description 12
- 238000000034 method Methods 0.000 description 12
- 230000037237 body shape Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 210000000887 face Anatomy 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 235000012149 noodles Nutrition 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 235000019640 taste Nutrition 0.000 description 1
Images
Landscapes
- Cash Registers Or Receiving Machines (AREA)
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
- Alarm Systems (AREA)
Description
指名手配犯の顔の特徴点をデータベースに登録しておけば、潜伏している指名手配犯の発見に利用可能となる。
前記撮像手段で撮影される画像から人を検知する人検知手段と、
前記人検知手段で検知された人を前記画像上で解析して移動軌跡を求める軌跡解析手段と、
前記人検知手段で検知されるとともに前記軌跡解析手段で前記移動軌跡が求められる人の前記画像上の顔から他の顔と識別可能な顔データを求めて顔を認識する顔認識手段と、
異なる人の前記顔データを互いに識別可能とする識別符号に関連付けて前記顔データと前記顔データに対応する前記移動軌跡を記録する記録手段と、
前記記録手段に記録されている前記顔データに対して前記顔認識手段で求められた前記顔データを比較し、前記顔データが前記記録手段に登録済みであるという条件を満たすか否かを判定する顏判定手段と、
前記条件を満たす場合に、前記顔認識手段で求められた前記顔データに対応する前記移動軌跡を、当該顔データと一致する前記記録手段に記録された前記顔データに関連付けられた前記識別符号と関連付けて前記記録手段に記録し、
前記条件を満たさない場合に、前記顔認識手段で求められた前記顔データおよび当該顔データに対応する前記移動軌跡に、未だ前記顔データに関連付けられていない前記識別符号を関連付けて前記記録手段に記録する顔データ取集手段と、
を備え、
前記撮像手段は、顔認識エリアと、顔認識エリアよりも広い人検知エリアとをその撮影範囲内に含むとともに、前記監視エリアに対する前記入出口が前記顔認識エリア内に含まれる第1の撮像手段と、前記立入禁止エリアをその前記人検知エリア内に含む第2の撮像手段とを有することを特徴とする。
前記記録手段は、前記属性解析手段により求められた前記属性情報を前記識別符号に関連付けて記録することが好ましい。
前記属性解析手段は、前記外部情報として前記商品の配置を示す配置情報が入力され、前記配置情報および前記移動軌跡とに基づいて、顏認識された人が近づいた商品を示す情報を前記属性情報とすることが好ましい。
したがって、顔データで識別される各顧客がよく利用する売り場を把握して顧客管理に利用可能であるとともに、商品の陳列の仕方を検討する際に客の移動軌跡と商品の配列の関係を容易に把握することができる。属性解析の際に撮影された画像も利用すれば、顧客が手に取った商品や、買い物かごに入れた商品を画像認識して属性情報とすることも可能である。
前記属性解析手段は、前記外部情報として入力された前記会計情報を、当該会計情報に対応する会計が前記キャッシュレジスタで行われた際に、前記キャッシュレジスタに近い位置となる前記移動軌跡に対応する前記属性情報とすることが好ましい。
図1に示すように、本実施の形態の監視情報収集システムは、監視エリアに設置される監視用のカメラ1を有するものである。本実施の形態では、カメラ1は、単に監視エリアを撮影するものではなく、人の検知、検知した人の移動軌跡の解析、検知されて移動軌跡を解析される人の顔認識等を行い、これらの監視情報を識別符号としてのIDに関連付けて記録する機能を有する。なお、これらの機能の全てをカメラ1に設ける必要はなく、撮影と画像出力以外の機能を、カメラ1から出力される画像が入力されるサーバ等の外部機器側に設けるものとしてもよい。
まず、店舗50の入出口56から客40が入店すると、入店した客40がカメラ1に撮影され、撮影された画像において入出口56から入店する客40がカメラ1の検知/認識手段3に人として検知される(ステップS1)。画像上で検知された人を検知認識手段3が追跡して移動を解析し、検知された人の検知がなくなるまで、例えば、店舗50から退出するまでの移動軌跡を時間経過に対応して検出する(ステップS2)。
次に客40が未だ店舗50内(エリア内)に居るか否かが判定される(ステップS10)。客40が店舗50内に居らず、エリア外と判断された場合には、移動軌跡の検出が終了し、記録手段5において、移動軌跡の情報を含むIDに関連付けられた情報の記録(ファイル等)がクローズされる(ステップS11)。
また、店舗50内のレイアウトの検討用データとしては、記録手段5に外部から入力されて外部情報として、商品の配置(商品棚の配置を含む)を示す配置情報を記録している状態で、上述のように求められた移動軌跡と商品の配置を解析して、客が近づいた商品、客が近づいて立ち止まった商品等を属性情報として記録するようにしてもよい。この場合の商品は、大まかな商品種類であってもよく、例えば、メーカー等が分かる商品名であってもよいが、そこまで特定できない場合に、ノートや文房具を商品の情報としてもよい。
さらに、画像認識により、商品棚54,55の客40が立ち止まった位置にある商品の情報や、客40が商品を手に取った際の商品の画像や手に取られる前の商品の位置から客が手に取った商品の情報を記録してもよい。
2 撮像手段
3 検知/認識手段
31 人検知手段
32 軌跡解析手段
33 顔認識手段
4 制御手段(顔データ取集手段、顏判定手段、属性解析手段)
5 記録手段
6 通信手段
Claims (7)
- 人の立ち入りが禁止された立入禁止エリアと入出口とを含む監視エリアを撮像する撮像手段と、
前記撮像手段で撮影される画像から人を検知する人検知手段と、
前記人検知手段で検知された人を前記画像上で解析して移動軌跡を求める軌跡解析手段と、
前記人検知手段で検知されるとともに前記軌跡解析手段で前記移動軌跡が求められる人の前記画像上の顔から他の顔と識別可能な顔データを求めて顔を認識する顔認識手段と、
異なる人の前記顔データを互いに識別可能とする識別符号に関連付けて前記顔データと前記顔データに対応する前記移動軌跡を記録する記録手段と、
前記記録手段に記録されている前記顔データに対して前記顔認識手段で求められた前記顔データを比較し、前記顔データが前記記録手段に登録済みであるという条件を満たすか否かを判定する顏判定手段と、
前記条件を満たす場合に、前記顔認識手段で求められた前記顔データに対応する前記移動軌跡を、当該顔データと一致する前記記録手段に記録された前記顔データに関連付けられた前記識別符号と関連付けて前記記録手段に記録し、
前記条件を満たさない場合に、前記顔認識手段で求められた前記顔データおよび当該顔データに対応する前記移動軌跡に、未だ前記顔データに関連付けられていない前記識別符号を関連付けて前記記録手段に記録する顔データ取集手段と、
を備え、
前記撮像手段は、顔認識エリアと、顔認識エリアよりも広い人検知エリアとをその撮影範囲内に含むとともに、前記監視エリアに対する前記入出口が前記顔認識エリア内に含まれる第1の撮像手段と、前記立入禁止エリアをその前記人検知エリア内に含む第2の撮像手段とを有することを特徴とする監視情報収集システム。 - 前記軌跡解析手段は、複数の前記撮像手段でそれぞれ撮影される画像に基づいて、複数の前記撮像手段の各撮影範囲を合わせた範囲内で移動軌跡を求めることを特徴とする請求項1に記載の監視情報収集システム。
- 前記顔データの属性となる属性情報を、少なくとも前記画像、前記移動軌跡または外部から入力される外部情報から求める属性解析手段を備え、
前記記録手段は、前記属性解析手段により求められた前記属性情報を前記識別符号に関連付けて記録することを特徴とする請求項1または2に記載の監視情報収集システム。 - 前記撮像手段が、商品が陳列されている店舗に配置され、
前記属性解析手段は、前記外部情報として前記商品の配置を示す配置情報が入力され、前記配置情報および前記移動軌跡とに基づいて、顏認識された人が近づいた商品を示す情報を前記属性情報とすることを特徴とする請求項3に記載の監視情報収集システム。 - 前記撮像手段が、会計された商品を示す会計情報を出力可能なキャッシュレジスタを有する店舗に配置され、
前記属性解析手段は、前記外部情報として入力された前記会計情報を、当該会計情報に対応する会計が前記キャッシュレジスタで行われた際に、前記キャッシュレジスタに近い位置となる前記移動軌跡に対応する前記属性情報とすることを特徴とする請求項3または請求項4に記載の監視情報収集システム。 - 前記記録手段には、特定の人に対する顔データが特定の人であることを識別可能に記録され、前記顔認識手段は、前記顔データから特定の人を識別することを特徴とする請求項1〜請求項5のいずれか1項に記載の監視情報収集システム。
- 前記記録手段には、前記人検知手段により検知された人が前記識別符号に関連付けて前記立入禁止エリア内への侵入を許可されているかの情報が記録され、
前記検知された人の前記移動軌跡が前記立入禁止エリア内と重なり、かつ、当該検知された人が前記立入禁止エリア内への侵入を許可されていない場合に、警報を発生する警報手段を更に備えることを特徴とする請求項1〜請求項6のいずれか1項に記載の監視情報収集システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016232989A JP6909575B2 (ja) | 2016-11-30 | 2016-11-30 | 監視情報収集システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016232989A JP6909575B2 (ja) | 2016-11-30 | 2016-11-30 | 監視情報収集システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018093283A JP2018093283A (ja) | 2018-06-14 |
JP6909575B2 true JP6909575B2 (ja) | 2021-07-28 |
Family
ID=62565681
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016232989A Active JP6909575B2 (ja) | 2016-11-30 | 2016-11-30 | 監視情報収集システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6909575B2 (ja) |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020021618A (ja) * | 2018-07-31 | 2020-02-06 | 積水化学工業株式会社 | 公衆設備、サーバ装置、サーバプログラム及び学習モデル |
CN110969644B (zh) * | 2018-09-28 | 2023-12-01 | 杭州海康威视数字技术股份有限公司 | 人员轨迹追踪方法、装置及*** |
CN109543312B (zh) * | 2018-11-27 | 2023-04-07 | 珠海市新德汇信息技术有限公司 | 一种时空侦查分析方法及*** |
JP6573185B1 (ja) * | 2018-12-07 | 2019-09-11 | 株式会社鈴康 | 情報処理システム、情報処理方法及びプログラム |
JP2020102135A (ja) * | 2018-12-25 | 2020-07-02 | 清水建設株式会社 | 追跡システム、追跡処理方法、及びプログラム |
CN111382650B (zh) * | 2018-12-28 | 2023-05-02 | 阿里巴巴集团控股有限公司 | 商品购物处理***、方法、装置及电子设备 |
JP7233292B2 (ja) * | 2019-04-24 | 2023-03-06 | 株式会社日立製作所 | 画像処理装置および画像処理方法 |
WO2020241034A1 (ja) * | 2019-05-30 | 2020-12-03 | アースアイズ株式会社 | 監視システム及び監視方法 |
JP6593948B1 (ja) * | 2019-05-30 | 2019-10-23 | アースアイズ株式会社 | 共用スペース用の監視システム及び監視方法 |
JP2020204942A (ja) * | 2019-06-18 | 2020-12-24 | 凸版印刷株式会社 | 顧客情報取得支援システム及び顧客情報取得支援方法 |
US20220245855A1 (en) * | 2019-06-25 | 2022-08-04 | Nec Corporation | Trajectory linking apparatus, trajectory linking method, and non-transitory computer readable medium storing program |
JP6707774B2 (ja) * | 2019-08-01 | 2020-06-10 | 株式会社鈴康 | 情報処理システム、情報処理方法及びプログラム |
CN110411455A (zh) * | 2019-08-22 | 2019-11-05 | 广东鉴面智能科技有限公司 | 一种基于人脸识别的定位导航及轨迹回放***及方法 |
CN110992397B (zh) * | 2019-10-21 | 2023-07-21 | 浙江大华技术股份有限公司 | 人员出入轨迹追踪方法、***、计算机设备和存储介质 |
TWI705383B (zh) * | 2019-10-25 | 2020-09-21 | 緯創資通股份有限公司 | 人物追蹤系統及人物追蹤方法 |
CN112906439A (zh) * | 2019-12-04 | 2021-06-04 | 上海稻知信息科技有限公司 | 一种基于目标追踪和行为检测的客流分析方法和*** |
US20230094972A1 (en) * | 2020-03-02 | 2023-03-30 | Nec Corporation | Customer management apparatus, customer management method, and non-transitory computer-readable medium |
CN111476183A (zh) * | 2020-04-13 | 2020-07-31 | 腾讯科技(深圳)有限公司 | 客流信息处理方法及装置 |
WO2021240889A1 (ja) * | 2020-05-28 | 2021-12-02 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP7476681B2 (ja) * | 2020-06-10 | 2024-05-01 | 東芝ライテック株式会社 | 照明システム |
CN111709382A (zh) * | 2020-06-19 | 2020-09-25 | 腾讯科技(深圳)有限公司 | 人体轨迹处理方法、装置、计算机存储介质以及电子设备 |
CN112305558B (zh) * | 2020-10-22 | 2023-08-01 | 中国人民解放军战略支援部队信息工程大学 | 一种利用激光点云数据的移动机器人轨迹确定方法及装置 |
WO2022190652A1 (ja) | 2021-03-09 | 2022-09-15 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、追跡システム、および撮像方法 |
WO2023113006A1 (ja) * | 2021-12-17 | 2023-06-22 | 日本電気通信システム株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
CN115018433B (zh) * | 2022-08-10 | 2022-11-29 | 四川港投新通道物流产业投资集团有限公司 | 一种酒品供应链监控方法、装置、设备及介质 |
CN115576378B (zh) * | 2022-11-18 | 2023-03-28 | 南京运享通信息科技有限公司 | 一种智慧体育场馆的供电能耗优化分析方法 |
CN115546703B (zh) * | 2022-11-21 | 2023-04-07 | 浙江莲荷科技有限公司 | 自助收银的风险识别方法、装置、设备及存储介质 |
CN116343395B (zh) * | 2023-03-28 | 2024-07-12 | 广东便捷神科技股份有限公司 | 一种基于资源复用和区块链链网的补货***及方法 |
CN117850599B (zh) * | 2024-02-22 | 2024-07-30 | 荣耀终端有限公司 | 距离确定方法、距离检测模型生成方法和距离确定*** |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003263641A (ja) * | 2002-03-11 | 2003-09-19 | Mitsubishi Heavy Ind Ltd | 移動分析装置 |
JP2009265839A (ja) * | 2008-04-23 | 2009-11-12 | Toshiba Corp | 記憶装置 |
JP4753193B2 (ja) * | 2008-07-31 | 2011-08-24 | 九州日本電気ソフトウェア株式会社 | 動線管理システムおよびプログラム |
JP4805330B2 (ja) * | 2008-11-10 | 2011-11-02 | 株式会社シーイーシー | 購買分析システム |
-
2016
- 2016-11-30 JP JP2016232989A patent/JP6909575B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018093283A (ja) | 2018-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6909575B2 (ja) | 監視情報収集システム | |
JP7371614B2 (ja) | 店舗管理装置および店舗管理方法 | |
JP7448065B2 (ja) | 店舗装置、店舗システム、店舗管理方法、プログラム | |
TWI778030B (zh) | 店鋪裝置、店鋪管理方法及程式 | |
JP6854881B2 (ja) | 顔画像照合システムおよび顔画像検索システム | |
US8457354B1 (en) | Movement timestamping and analytics | |
JP2020115344A6 (ja) | 自律店舗追跡システム | |
JP4991440B2 (ja) | 商品販売装置、商品販売管理システム、商品販売管理方法およびプログラム | |
JP4069932B2 (ja) | 人間検知装置および人間検知方法 | |
JP2004348618A (ja) | 顧客情報収集管理方法及びそのシステム | |
JP2011248836A (ja) | 滞留検出システム及びプログラム | |
US11227496B1 (en) | Parking lot use monitoring for small businesses | |
JP7225434B2 (ja) | 情報処理システム | |
JP2011086045A (ja) | 店員顧客分離集計装置 | |
JP2006285409A (ja) | 店舗等における人数及び人流カウント方法並びにこれらを利用したインストアマーチャンダイジングの提言方法。 | |
JP7264401B2 (ja) | 会計方法、装置及びシステム | |
CN111222870B (zh) | 结算方法、装置和*** | |
JP2021093649A (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム | |
JP2016219065A (ja) | 滞留分析システム及び方法 | |
JP2015133131A (ja) | 販売機会損失分析用データ出力システム及び方法 | |
JP6498065B2 (ja) | 情報処理装置、処理方法およびプログラム | |
JP7135329B2 (ja) | 情報処理方法、情報処理装置、および情報処理プログラム | |
KR102544908B1 (ko) | 상품 입출입 감지용 센서를 구비한 무인 판매대 | |
JP6734891B2 (ja) | 販売実績の分析システムおよび分析方法 | |
JP7337625B2 (ja) | 購買行動データ収集システム、及び購買行動データ収集プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20171110 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191114 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200819 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200825 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201023 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210309 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210330 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210629 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210705 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6909575 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |