JP6531804B2 - 情報処理装置、制御方法、及びプログラム - Google Patents
情報処理装置、制御方法、及びプログラム Download PDFInfo
- Publication number
- JP6531804B2 JP6531804B2 JP2017171525A JP2017171525A JP6531804B2 JP 6531804 B2 JP6531804 B2 JP 6531804B2 JP 2017171525 A JP2017171525 A JP 2017171525A JP 2017171525 A JP2017171525 A JP 2017171525A JP 6531804 B2 JP6531804 B2 JP 6531804B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- captured image
- camera
- determination unit
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Alarm Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
Description
<情報処理装置2000の概要>
図1は、実施形態1の情報処理装置2000が利用する複数の種類のカメラの設置場所を例示する図である。情報処理装置2000が利用される店舗には、第1カメラ10、第2カメラ20、及び第3カメラ30が設置されている。第1カメラ10は、店舗の出口(出口50)を撮像可能に設置されている。第2カメラ20は、店舗における商品の陳列場所(陳列場所60)を撮像可能に設置されている。例えば商品は、陳列場所60に設置されている商品棚に陳列される。第3カメラ30は、商品の会計が行われる場所(会計エリア70)を撮像可能に設置されている。
出口50で撮像された人物が陳列場所60でも撮像されている場合、その人物は、店舗の商品を取得した後、店舗から出ようとしている可能性がある。さらにその人物の不審度が高い場合、その人物は、盗難等の不正な目的で商品を取得した可能性がある。ただし、その人物が会計エリア70において商品の会計をしていれば、その人物は取得した商品を購入したと考えられる。
図3は、実施形態1の情報処理装置2000の構成を例示する図である。情報処理装置2000は、検出部2020、第1判定部2040、第2判定部2060、及び警告部2080を有する。検出部2020は、第1撮像画像11から人物を検出する。第1判定部2040は、第1撮像画像11から検出された人物が第2撮像画像21に含まれるか否かを判定する。第2判定部2060は、第1撮像画像11から検出された人物が第2撮像画像21に含まれ、なおかつその人物の不審度が高い場合に、第3撮像画像31にその人物が含まれるか否かを判定する。警告部2080は、その人物が第3撮像画像31に含まれない場合に警告処理を行う。
情報処理装置2000の各機能構成部は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、情報処理装置2000の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
第1カメラ10、第2カメラ20、及び第3カメラ30はそれぞれ、繰り返し撮像を行って複数の撮像画像を生成することができる任意のカメラである。各カメラは、動画データを生成するビデオカメラであってもよいし、静止画像データを生成するスチルカメラであってもよい。前者の場合、第1撮像画像11、第2撮像画像21、及び第3撮像画像31は、動画データを構成する画像フレームである。上記各カメラは、例えば監視カメラである。
図5は、実施形態1の情報処理装置2000によって実行される処理の流れを例示するフローチャートである。検出部2020は、第1撮像画像11を取得する(S102)。検出部2020は、第1撮像画像11から人物を検出する(S104)。第1撮像画像11から人物が検出されなかった場合(S106:NO)、図5の処理は終了する。
検出部2020は第1撮像画像11を取得する(S102)。ここで、検出部2020が第1撮像画像11を取得する方法は任意である。例えば検出部2020は、第1カメラ10から送信される第1撮像画像11を受信する。また例えば、検出部2020は、第1カメラ10にアクセスし、第1カメラ10に記憶されている第1撮像画像11を取得する。
検出部2020は、第1撮像画像11から人物を検出する(S104)。具体的には、検出部2020は、第1撮像画像11から人物を表す領域を検出することにより、第1撮像画像11から人物を検出する。以下、人物を表す領域を人物領域と呼ぶ。
第1判定部2040は、第1撮像画像11から検出された人物が第2撮像画像21に含まれるか否かを判定する。この判定を行うためには、第1撮像画像11から検出された人物を特定する情報が必要となる。
第1判定部2040は第2撮像画像21を取得する(S108)。第1判定部2040が第2撮像画像21を取得する方法には、検出部2020が第1撮像画像11を取得する方法と同様の方法を採用できる。
第1判定部2040は、第1撮像画像11から検出された人物が第2撮像画像21に含まれるか否かを判定する(S110)。前述したように、第1撮像画像11から検出された人物は、検出部2020によって生成される人物情報で特定される。そこで第1判定部2040は、検出部2020によって生成された人物情報を利用して、上記判定を行う。判定に利用される第2撮像画像21は、対象の人物が検出された第1撮像画像11の生成時点よりも前の時点において生成された第2撮像画像21である。
第1判定部2040は、各第2撮像画像21を対象に、人物情報によって特定される人物の検出を試みる。そして、その人物がいずれかの第2撮像画像21から検出された場合、第1判定部2040は、第1撮像画像11から検出された人物が第2撮像画像21に含まれると判定する(S110:YES)。一方、その人物がどの第2撮像画像21からも検出されない場合、第1判定部2040は、第1撮像画像11から検出された人物が第2撮像画像21に含まれないと判定する。(S110:NO)
第1判定部2040は、検出部2020が第1撮像画像11から人物を検出する方法と同様の方法で、第2撮像画像21からも人物を検出する。さらに第1判定部2040は、第2撮像画像21から検出された人物の中に、第1撮像画像11から検出された人物と同じ人物が含まれるか否かを判定する。
第2判定部2060は第3撮像画像31を取得する(S114)。第2判定部2060が第3撮像画像31を取得する方法には、検出部2020が第1撮像画像11を取得する方法と同様の方法を採用できる。
第2判定部2060は、(1)第1撮像画像11及び第2撮像画像21の双方に含まれている、及び(2)不審度が高いという2つの条件を満たす人物が、第3撮像画像に含まれているか否かを判定する(S116)。第1撮像画像11及び第2撮像画像21の双方に含まれている人物は、検出部2020から検出された人物で、なおかつ第1判定部2040によって第2撮像画像21に含まれていると判定された人物である。
前述したように、第2判定部2060は、検出部2020から検出された人物で、なおかつ第1判定部2040によって第2撮像画像21に含まれていると判定された人物について、その人物の不審度が高いか否かを判定する(S112)。例えば第2判定部2060は、人物の不審度を数値で算出する。そして第2判定部2060は、算出した不審度が所定値以上である場合に、その人物の不審度が高いと判定する。この所定値は、第2判定部2060に予め設定されていてもよいし、第2判定部2060からアクセス可能な記憶装置に記憶されていてもよい。
例えば第2判定部2060は、対象の人物(第1撮像画像11から検出された人物)が第2撮像画像21に含まれる期間の前後における商品の減少量を、その人物の不審度として算出する。つまり、その人物が陳列場所60の前に現れる前後で商品が多く減少しているほど、その人物の不審度が高くなる。
例えば第2判定部2060は、陳列場所60における対象の人物の滞留時間を、その人物の不審度として算出する。この場合、陳列場所60における人物の滞留時間が長いほど、その人物の不審度が高くなる。
例えば第2判定部2060は、陳列場所60において対象の人物が行った動作に基づいて、その人物の不審度を算出する。具体的には、人が行いうる様々な不審な動作に対し、その動作の不審度合いを表すスコアを予め定義しておく。そして第2判定部2060は、或る人物が行った各動作に対応するスコアを積算し、算出された積算値をその人物の不審度とする。
例えば第2判定部2060は、店舗における対象の人物の移動の軌跡(動線)に基づいて、その人物の不審度を算出する。具体的には、動線の様々な特徴に対し、その特徴の不審度合いを表すスコアを予め定義しておく。そして第2判定部2060は、或る人物の店舗における動線の各特徴に対応するスコアを積算し、算出された積算値をその人物の不審度とする。
条件(1)及び(2)を満たす人物がいずれの第3撮像画像31にも含まれない場合(S116:NO)、警告部2080は警告処理を実行する(S118)。ここで、警告部2080が行う警告処理としては、様々なものを採用できる。例えば警告部2080は、情報処理装置2000に接続されている出力装置から、警告メッセージを出力する。出力装置は、例えばディスプレイ装置やスピーカなどである。
図11は、実施形態2の情報処理装置2000を例示するブロック図である。下記で説明する事項を除き、実施形態2の情報処理装置2000は、実施形態1の情報処理装置2000と同様の機能を有する。
実施形態2の情報処理装置2000を実現する計算機のハードウエア構成は、実施形態1と同様に、例えば図4によって表される。ただし、本実施形態の情報処理装置2000を実現する計算機1000のストレージデバイス1080には、本実施形態の情報処理装置2000の機能を実現するプログラムモジュールがさらに記憶される。
1. 店舗の出口を撮像可能に設置された第1カメラによって生成される第1撮像画像から人物を検出する検出手段と、
前記第1撮像画像から検出された人物が、前記店舗の商品の陳列場所を撮像可能に設置された第2カメラによって生成される第2撮像画像に含まれるか否かを判定する第1判定手段と、
前記第2撮像画像に含まれなおかつ不審度が高い前記人物が、前記店舗の会計エリアを撮像可能に設置された第3カメラによって生成される第3撮像画像に含まれるか否かを判定する第2判定手段と、
前記第2判定手段によって前記人物が前記第3撮像画像に含まれないと判定された場合、警告処理を行う警告手段と、
を有する情報処理装置。
2. 前記第2判定手段は、前記第2撮像画像に前記人物が含まれる期間の前後における前記陳列場所の商品の量の変化、前記陳列場所における前記人物の滞留時間、前記人物の動作の不審さ、又は前記人物の移動の軌跡の不審さを表す値を算出し、前記算出した値が所定値以上である場合に、前記人物の不審度が高いと判定する、1.に記載の情報処理装置。
3. 前記第2判定手段が利用する第2撮像画像は、前記第2カメラによって前記人物が撮像された時点と、前記第1カメラによって前記人物が撮像された時点との間の期間の映像である、1.又は2.に記載の情報処理装置。
4. 前記検出手段、前記第1判定手段、及び前記第2判定手段はそれぞれ、人物が背後から撮像されている撮像画像を利用する、1.乃至3.いずれか一つに記載の情報処理装置。
5. 前記第1判定手段は、前記第1撮像画像から検出された人物の服装、体型、髪の色、肌の色、及び所持品のいずれか1つ以上に基づいて、その人物が前記第2撮像画像に含まれるか否かを判定し、
前記第2判定手段は、前記第1撮像画像から検出された人物の服装、体型、髪の色、肌の色、及び所持品のいずれか1つ以上に基づいて、その人物が前記第3撮像画像に含まれるか否かを判定する、4.に記載の情報処理装置。
6. 前記第1判定手段は、前記第1撮像画像から検出された人物が前記第2撮像画像に含まれるか否かの判定に、その人物の目、鼻、及び口を用いず、
前記第2判定手段は、前記第1撮像画像から検出された人物が前記第3撮像画像に含まれるか否かの判定に、その人物の目、鼻、及び口を用いない、4.又は5.に記載の情報処理装置。
7. 前記検出手段が利用する前記第1撮像画像、前記第1判定手段が利用する前記第2撮像画像、及び前記第2判定手段が利用する前記第3撮像画像には、人物の目、鼻、及び口のいずれもが含まれない、6.に記載の情報処理装置。
8. 第1判定手段により前記人物が第2撮像画像に含まれないと判定された後か、前記第2判定手段により前記人物の不審度は高くないと判定された後か、又は前記第2判定手段により前記人物が前記第3撮像画像に含まれるか否かが判定された後に、前記検出手段、前記第1判定手段、及び前記第2判定手段それぞれが処理する撮像画像から、前記人物以外の人物が含まれない撮像画像を除外する除外手段を有する、1.乃至7.いずれか一つに記載の情報処理装置。
9. 前記出口にゲートが設けられており、
前記警告手段が行う警告処理は、前記ゲートを通行不可の状態に設定する処理である、1.乃至8.いずれか一つに記載の情報処理装置。
店舗の出口を撮像可能に設置された第1カメラによって生成される第1撮像画像から人物を検出する検出ステップと、
前記第1撮像画像から検出された人物が、前記店舗の商品の陳列場所を撮像可能に設置された第2カメラによって生成される第2撮像画像に含まれるか否かを判定する第1判定ステップと、
前記第2撮像画像に含まれなおかつ不審度が高い前記人物が、前記店舗の会計エリアを撮像可能に設置された第3カメラによって生成される第3撮像画像に含まれるか否かを判定する第2判定ステップと、
前記第2判定ステップによって前記人物が前記第3撮像画像に含まれないと判定された場合、警告処理を行う警告ステップと、
を有する制御方法。
11. 前記第2判定ステップにおいて、前記第2撮像画像に前記人物が含まれる期間の前後における前記陳列場所の商品の量の変化、前記陳列場所における前記人物の滞留時間、前記人物の動作の不審さ、又は前記人物の移動の軌跡の不審さを表す値を算出し、前記算出した値が所定値以上である場合に、前記人物の不審度が高いと判定する、10.に記載の制御方法。
12. 前記第2判定ステップにおいて利用する第2撮像画像は、前記第2カメラによって前記人物が撮像された時点と、前記第1カメラによって前記人物が撮像された時点との間の期間の映像である、10.乃至11.いずれか一つに記載の制御方法。
13. 前記検出ステップ、前記第1判定ステップ、及び前記第2判定ステップそれぞれにおいて、人物が背後から撮像されている撮像画像を利用する、10.乃至12.いずれか一つに記載の制御方法。
14. 前記第1判定ステップにおいて、前記第1撮像画像から検出された人物の服装、体型、髪の色、肌の色、及び所持品のいずれか1つ以上に基づいて、その人物が前記第2撮像画像に含まれるか否かを判定し、
前記第2判定ステップにおいて、前記第1撮像画像から検出された人物の服装、体型、髪の色、肌の色、及び所持品のいずれか1つ以上に基づいて、その人物が前記第3撮像画像に含まれるか否かを判定する、13.に記載の制御方法。
15. 前記第1判定ステップにおいて、前記第1撮像画像から検出された人物が前記第2撮像画像に含まれるか否かの判定に、その人物の目、鼻、及び口を用いず、
前記第2判定ステップにおいて、前記第1撮像画像から検出された人物が前記第3撮像画像に含まれるか否かの判定に、その人物の目、鼻、及び口を用いない、13.又は14.に記載の制御方法。
16. 前記検出ステップにおいて利用する前記第1撮像画像、前記第1判定ステップにおいて利用する前記第2撮像画像、及び前記第2判定ステップにおいて利用する前記第3撮像画像には、人物の目、鼻、及び口のいずれもが含まれない、15.に記載の制御方法。
17. 第1判定ステップにおいて前記人物が第2撮像画像に含まれないと判定された後か、前記第2判定ステップにおいて前記人物の不審度は高くないと判定された後か、又は前記第2判定ステップにおいて前記人物が前記第3撮像画像に含まれるか否かが判定された後に、前記検出ステップ、前記第1判定ステップ、及び前記第2判定ステップそれぞれにおいて処理する撮像画像から、前記人物以外の人物が含まれない撮像画像を除外する除外ステップを有する、10.乃至16.いずれか一つに記載の制御方法。
18. 前記出口にゲートが設けられており、
前記警告ステップにおいて行う警告処理は、前記ゲートを通行不可の状態に設定する処理である、10.乃至17.いずれか一つに記載の制御方法。
Claims (4)
- 出口に向かっている人物を撮像した画像である第1撮像画像から検出された人物の背面が、店舗の商品の陳列場所を撮像可能に設置された第2カメラによって生成される第2撮像画像に含まれるか否かを判定する判定手段と、
前記第2撮像画像に含まれると判定された場合において、前記人物の背面が、前記店舗の会計エリアを撮像可能に設置された第3カメラによって生成される第3撮像画像に含まれない場合、警告処理を行う警告手段と、
を有する情報処理装置。 - 前記警告手段は、前記第2撮像画像に前記人物が含まれる期間の前後における前記陳列場所の商品の量の変化、前記陳列場所における前記人物の滞留時間、前記人物の不審な動作、又は前記人物の不審な移動の軌跡の少なくともいずれか一つに基づいて警告処理を行う、請求項1に記載の情報処理装置。
- コンピュータによって実行される制御方法であって、
出口に向かっている人物を撮像した画像である第1撮像画像から検出された人物の背面が、店舗の商品の陳列場所を撮像可能に設置された第2カメラによって生成される第2撮像画像に含まれるか否かを判定する判定ステップと、
前記第2撮像画像に含まれると判定された場合において、前記人物の背面が、前記店舗の会計エリアを撮像可能に設置された第3カメラによって生成される第3撮像画像に含まれない場合、警告処理を行う警告ステップと、
を有する制御方法。 - コンピュータに、
出口に向かっている人物を撮像した画像である第1撮像画像から検出された人物の背面が、店舗の商品の陳列場所を撮像可能に設置された第2カメラによって生成される第2撮像画像に含まれるか否かを判定する判定ステップと、
前記第2撮像画像に含まれると判定された場合において、前記人物の背面が、前記店舗の会計エリアを撮像可能に設置された第3カメラによって生成される第3撮像画像に含まれない場合、警告処理を行う警告ステップと、
を実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017171525A JP6531804B2 (ja) | 2017-09-06 | 2017-09-06 | 情報処理装置、制御方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017171525A JP6531804B2 (ja) | 2017-09-06 | 2017-09-06 | 情報処理装置、制御方法、及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017534848A Division JP6206627B1 (ja) | 2016-12-05 | 2016-12-05 | 情報処理装置、制御方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018092598A JP2018092598A (ja) | 2018-06-14 |
JP6531804B2 true JP6531804B2 (ja) | 2019-06-19 |
Family
ID=62564673
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017171525A Active JP6531804B2 (ja) | 2017-09-06 | 2017-09-06 | 情報処理装置、制御方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6531804B2 (ja) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9036028B2 (en) * | 2005-09-02 | 2015-05-19 | Sensormatic Electronics, LLC | Object tracking and alerts |
JP2016057908A (ja) * | 2014-09-10 | 2016-04-21 | 宮田 清蔵 | 万引き予防システム及びソフトウエア |
-
2017
- 2017-09-06 JP JP2017171525A patent/JP6531804B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018092598A (ja) | 2018-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11157778B2 (en) | Image analysis system, image analysis method, and storage medium | |
RU2753959C2 (ru) | Модуль видеоанализа и способ формирования материалов расследования поведения пользователя | |
US9124778B1 (en) | Apparatuses and methods for disparity-based tracking and analysis of objects in a region of interest | |
US10846537B2 (en) | Information processing device, determination device, notification system, information transmission method, and program | |
US20180115749A1 (en) | Surveillance system and surveillance method | |
JP2011248836A (ja) | 滞留検出システム及びプログラム | |
US11881090B2 (en) | Investigation generation in an observation and surveillance system | |
JP6206627B1 (ja) | 情報処理装置、制御方法、及びプログラム | |
US20190327451A1 (en) | Video image analysis apparatus and video image analysis method | |
JP6536643B2 (ja) | 情報処理装置、制御方法、及びプログラム | |
JP2016131288A (ja) | 情報処理装置及びプログラム | |
CN111161486A (zh) | 基于结算箱的商品防盗方法及*** | |
JP2021093649A5 (ja) | 情報処理システム、情報処理システムの制御方法及びプログラム | |
JP2021196741A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US11600158B2 (en) | Information processing apparatus, control method, and program | |
JP5758165B2 (ja) | 物品検出装置および静止人物検出装置 | |
KR101648786B1 (ko) | 객체 인식 방법 | |
US20230394556A1 (en) | Information processing method, information processing device, and recording medium | |
US10783365B2 (en) | Image processing device and image processing system | |
CN112419637B (zh) | 安防图像数据的处理方法及装置 | |
JP6531804B2 (ja) | 情報処理装置、制御方法、及びプログラム | |
CA3068692A1 (en) | Investigation generation in an observation and surveillance system | |
JP2021012657A (ja) | 情報処理装置、情報処理方法、カメラ | |
JP7039084B1 (ja) | セルフレジ監視システム及びセルフレジ監視方法 | |
US10891491B2 (en) | In-store monitoring device, in-store monitoring method, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180925 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181002 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181129 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190423 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190506 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6531804 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |