JP2022011666A - 画像処理装置、画像処理方法およびプログラム - Google Patents
画像処理装置、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JP2022011666A JP2022011666A JP2020112960A JP2020112960A JP2022011666A JP 2022011666 A JP2022011666 A JP 2022011666A JP 2020112960 A JP2020112960 A JP 2020112960A JP 2020112960 A JP2020112960 A JP 2020112960A JP 2022011666 A JP2022011666 A JP 2022011666A
- Authority
- JP
- Japan
- Prior art keywords
- person
- input
- information
- video
- product
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims description 48
- 238000003672 processing method Methods 0.000 title claims description 3
- 238000000034 method Methods 0.000 claims description 54
- 238000000605 extraction Methods 0.000 claims description 32
- 238000003860 storage Methods 0.000 claims description 24
- 239000000284 extract Substances 0.000 claims description 5
- 230000003542 behavioural effect Effects 0.000 abstract 2
- 238000001514 detection method Methods 0.000 description 28
- 230000006399 behavior Effects 0.000 description 12
- 238000012790 confirmation Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000007726 management method Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 206010038743 Restlessness Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19665—Details related to the storage of video surveillance data
- G08B13/19671—Addition of non-video data, i.e. metadata, to video stream
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19678—User interface
- G08B13/19682—Graphic User Interface [GUI] presenting system data to the user, e.g. information on a screen helping a user interacting with an alarm system
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Library & Information Science (AREA)
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
- Burglar Alarm Systems (AREA)
Abstract
【課題】盗難の被疑者によるその他の盗難品の特定を迅速に行うことができるようにする。【解決手段】映像内における人物を検出し、検出した人物の特徴や行動履歴などの人物情報を取得し、記憶しておく。盗難発生時において、被疑者の情報を入力し、記憶している人物情報と被疑者の情報を照らし合わせる。その結果、合致する人物情報における行動履歴と、店内の商品情報とに基づいて、被疑者による他の盗難品の特定を行う。【選択図】図1
Description
本発明は、画像処理装置、画像処理方法およびプログラムに関する。
近年、大型店舗に限らず、小規模店舗においても、防犯や窃盗被害の防止のために、監視システムの導入が進んでいる。カメラを店内に設置することで、一定の防犯の効果や、犯罪を防止する効果はあるものの、その効果は時間が経過するとともに薄れる。例えば、店舗では、店舗商品の棚卸や品出しの時まで在庫数が少ないことに気づかず、万引き被害が発覚することが多々ある。このとき、監視システムの録画映像を再生し、盗難被害を確認しようとするが、その作業は多くの時間を要する。また、必ずしも盗難現場が録画されているとは限らない。そのため、店舗側は時間をかけて調査したにも関わらず犯行を発見できず追及をあきらめてしまうことも少なくない。
こうした作業を容易にするため、特許文献1では、録画された人物の行動を時系列に表示し、犯行を特定する方法が提案されている。この方法では、あらかじめ、監視カメラの映像中の人物から顔や全身の特徴を抽出しておき、顔、全身の画像、などの条件を元に映像を検索する。そして、人物の行動に基づき、時系列に画像を表示し、被疑者を探し出す作業を補助するとしている。
特許文献1による検索技術を利用することで、被写体の特徴に基づいて条件に合致する人物を抽出することが可能である。しかし、例えば万引きの犯人がその他の商品を万引きしているかを探そうとすると、抽出した人物がそれぞれ盗難商品を手に取りカバンに入れるなどの行動をしたことを目視で見返す必要があり、多くの作業時間を要する。
本発明は上述した問題を解決するためになされたものであり、盗難が発覚した場合に、被疑者によるその他の盗難品の特定を迅速に行うことができるようにすることを目的としている。
本発明の画像処理装置は、映像の中から人物を検出し、前記人物の行動履歴を含む人物情報を取得する取得手段と、前記取得手段によって取得された人物情報を記憶する記憶手段と、検索対象の人物の情報を入力する入力手段と、前記入力手段により入力された人物に係る人物情報を前記記憶手段から検索し、前記検索された人物情報における行動履歴に基づいて、所定の条件を満たす商品のうち、前記入力手段により入力された人物に関連する商品を抽出する抽出手段と、を有することを特徴とする。
本発明によれば、盗難の被疑者によるその他の盗難品の特定を迅速に行うことができる。
(第1の実施形態)
以下、添付の図面を参照して、本発明の第1の実施形態について詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
本実施形態では、監視システムの一例として、コンビニエンスストアなどの小売店舗にカメラを設置し、撮影と録画とを行い、窃盗が発生した場合に被疑者を撮影した画像を含むレポート作成を行う例について説明する。
以下、添付の図面を参照して、本発明の第1の実施形態について詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
本実施形態では、監視システムの一例として、コンビニエンスストアなどの小売店舗にカメラを設置し、撮影と録画とを行い、窃盗が発生した場合に被疑者を撮影した画像を含むレポート作成を行う例について説明する。
図1(a)は、本実施形態の画像処理装置に係る監視システムのシステム構成の一例を示すブロック図である。また、図1(b)は、本実施形態に係る映像処理装置200のハードウェア構成例を示すブロック図である。本システムは、撮像装置100、映像処理装置200、および操作装置300を備えている。
撮像装置100は、撮像部101と映像送信部102とを有する。撮像部101は、撮像レンズや、CCDやCMOSなどの撮像センサや、A/D変換および所定の信号処理を行う映像信号処理部などから構成される。撮像部101で撮像された映像は、所定の時間間隔で静止画(フレーム画像)に変換され、映像送信部102に送られる。映像送信部102では、受信したフレーム画像に、撮像装置情報、時刻などの付加情報が付与され、ネットワーク上に送信可能なデータに変換され、映像処理装置200へ送信される。
撮像装置100は、撮像部101と映像送信部102とを有する。撮像部101は、撮像レンズや、CCDやCMOSなどの撮像センサや、A/D変換および所定の信号処理を行う映像信号処理部などから構成される。撮像部101で撮像された映像は、所定の時間間隔で静止画(フレーム画像)に変換され、映像送信部102に送られる。映像送信部102では、受信したフレーム画像に、撮像装置情報、時刻などの付加情報が付与され、ネットワーク上に送信可能なデータに変換され、映像処理装置200へ送信される。
次に、映像処理装置200のハードウェア構成について図1(b)を参照しながら説明する。
映像処理装置200は、CPU11と、ROM12と、RAM13と、HDD14と、表示部15と、入力I/F16と、通信部17とを有している。CPU11は、ROM12に記憶された制御プログラムを読み出して各種処理を実行する。RAM13は、CPU11の主メモリ、ワークエリア等の一時記憶領域として用いられる。HDD14は、各種データや各種プログラム等を記憶する。表示部15は、各種情報を表示する。なお、表示部15はタッチパネルと一体型の表示装置であってもよい。入力I/F16は、操作装置300の操作情報を入力するためのインターフェースである。通信部17は、有線または無線によりネットワークを介して撮像装置100等の外部装置との通信処理を行う。
映像処理装置200は、CPU11と、ROM12と、RAM13と、HDD14と、表示部15と、入力I/F16と、通信部17とを有している。CPU11は、ROM12に記憶された制御プログラムを読み出して各種処理を実行する。RAM13は、CPU11の主メモリ、ワークエリア等の一時記憶領域として用いられる。HDD14は、各種データや各種プログラム等を記憶する。表示部15は、各種情報を表示する。なお、表示部15はタッチパネルと一体型の表示装置であってもよい。入力I/F16は、操作装置300の操作情報を入力するためのインターフェースである。通信部17は、有線または無線によりネットワークを介して撮像装置100等の外部装置との通信処理を行う。
なお、後述する映像処理装置200の機能や処理は、CPU11がROM12又はHDD14に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。また、他の例としては、CPU11は、ROM12等に替えて、SDカード等の記録媒体に格納されているプログラムを読み出してもよい。
なお、本実施形態では、映像処理装置200は、1つのプロセッサ(CPU11)が1つのメモリ(ROM12)を用いて後述するフローチャートに示す各処理を実行するものとするが、他の様態であっても構わない。例えば複数のプロセッサーや複数のRAM、ROM及びストレージを協働させて後述するフローチャートに示す各処理を実行することもできる。また、ハードウェア回路を用いて一部の処理を実行するようにしても良い。また、CPU以外のプロセッサーを用いて後述する映像処理装置200の機能や処理を実現することとしてもよい(例えば、CPUに替えてGPU(Graphics Processing Unit)を用いることとしてもよい。)。
次に、映像処理装置200の機能構成について図1(a)を参照しながら説明する。映像処理装置200は、以下の構成を有する。
映像受信部201は、通信部17を介して撮像装置100の内部にある映像送信部102から送信されたフレーム画像を受信し、受信したフレーム画像を、録画部202と人体検出追尾部204とに送信する。録画部202は、映像受信部201から送られた所定間隔のフレーム画像を所定の形式に変換し、映像録画部203にその映像を記録する。
映像受信部201は、通信部17を介して撮像装置100の内部にある映像送信部102から送信されたフレーム画像を受信し、受信したフレーム画像を、録画部202と人体検出追尾部204とに送信する。録画部202は、映像受信部201から送られた所定間隔のフレーム画像を所定の形式に変換し、映像録画部203にその映像を記録する。
人体検出追尾部204は、映像受信部201から送信されたフレーム画像に写っている人物の検出処理および追尾処理を行う。なお、人物の検出処理において、画像から人物を検出する方法は任意でよい。例えば、画像上のエッジと人物形状とをパターンマッチングする方法や、CNN(Convolutional Neural Network)を用いた方法や、背景差分法などによってもよい。人体検出追尾部204で検出された人物は、フレーム画像の左上を原点とし、人物を囲む矩形の左上と右下の2点の座標で表す。また、人物の追尾処理は、検出された人物を時間方向の複数の画像で対応付ける処理である。なお、追尾処理を行う方法は任意でよい。例えば前フレーム画像に含まれる人物の中心位置と移動ベクトルとから現フレーム画像における人物の位置を予測し、人物の予測位置と現フレーム画像に含まれる人物の中心位置とに基づいて、人物の対応付けを行う。対応付けされた人物にはIDを付与し同一人物として扱われる。人体検出追尾部204で得られたデータ(メタデータ)は、人体属性検出部205に出力され、さらに人物情報記憶部206に記憶される。
人体属性検出部205は、人体検出追尾部204で得られた情報(メタデータ)に基づいて、付与された人物IDごとに、人体属性の取得処理および人物の行動認識処理を行う。ここで、人体属性とは、年齢、性別、身長、体格、髪型特徴、顔特徴などの、主に外見から得られる特性を意味する。行動認識とは、例えば人物の不審行動の行動履歴を検出し、それに基づいて不審度を取得することを意味する。つまり、不審行動である、特定の行動、例えばきょろきょろしていることや鞄をごそごそしているなど、通常とは異なる行動(不審行動)の度合いを数値化して不審度として取得するものである。
また、人体属性検出部205は、棚の前にいつ滞在したかといった人物の行動と、人物IDとを関連付ける。ここで、棚がどの撮像装置で撮影され画像上のどの座標に配置されているかといった棚の情報は、棚位置記憶部211に記憶されている。棚の情報と人物とを関連させておくことで、棚に置かれた商品と人物IDとを関連させることができる。
また、人体属性検出部205は、棚だけでなく、商品を手に取ったことや、商品をかごに入れたこと、商品を手に取ったが、棚に戻したなどの情報も、人物行動のデータとして取得する。これらの情報は、画像から抽出することも可能であり、例えば姿勢検知、姿勢推定などを行い、人物が商品に触ったことを検出する方法によって取得してもよい。また、画像から情報を取得する方法のみでなく、例えば棚にセンサを取り付け、商品に触れたことを検知する手法によってこれらの情報を取得してもよい。人体属性検出部205が出力するデータ(メタデータ)は、人体検出追尾部204が出力する情報と共に、人物情報記憶部206で記憶される。
商品情報管理部207では、商品コードや外観情報、そして商品が置かれている場所、および商品の在庫と販売数と廃棄数とを含む商品情報を記憶している。
映像抽出部208は、商品情報管理部207からの商品情報と人物情報記憶部206からの情報をもとに、映像録画部203に保存されている映像から条件に合う映像を抽出する。
候補表示部209は、映像抽出部208で抽出された映像を表示部15に表示する制御を行う。
出力部210は、被害品情報、被疑者、被疑者確認情報をまとめてレポートを作成し、出力する。
映像抽出部208は、商品情報管理部207からの商品情報と人物情報記憶部206からの情報をもとに、映像録画部203に保存されている映像から条件に合う映像を抽出する。
候補表示部209は、映像抽出部208で抽出された映像を表示部15に表示する制御を行う。
出力部210は、被害品情報、被疑者、被疑者確認情報をまとめてレポートを作成し、出力する。
操作装置300は、被疑者情報入力部301と操作入力部302とを有する。被疑者情報入力部301は、ユーザの操作により盗難の被疑者情報を入力し、映像処理装置200へ送る。また、操作入力部302は、映像処理装置200を操作するためのインターフェースとして使用される。なお、表示部15がタッチパネルを搭載した表示装置である場合は、被疑者情報入力部301を映像処理装置200の内部に含む構成としてもよい。
次に、本実施形態の撮像装置100の処理について、図2のフローチャートを用いて説明する。
ステップS101において、撮像装置100の内部にある撮像部101は、映像を撮像し、所定のフレームレートでフレーム画像を取得する。
ステップS101において、撮像装置100の内部にある撮像部101は、映像を撮像し、所定のフレームレートでフレーム画像を取得する。
ステップS102において、映像送信部102は、撮像部101によって取得された画像に撮像装置固有番号や時間情報などの付加情報を付与し、ネットワーク上に送信可能な形式に加工して、フレーム画像を映像処理装置200に送信する。
ステップS103において、撮像装置100は、画像送信を終了する要求があるか否かを判断する。終了する要求があった場合、処理を終了する。一方、終了する要求がなかった場合、再度、ステップS101に戻り、フレーム画像の取得を行う。
ステップS103において、撮像装置100は、画像送信を終了する要求があるか否かを判断する。終了する要求があった場合、処理を終了する。一方、終了する要求がなかった場合、再度、ステップS101に戻り、フレーム画像の取得を行う。
次に、本実施形態の映像処理装置200の録画・メタデータ保存処理について、図3のフローチャートを用いて説明する。
ステップS201において、映像処理装置200の内部にある映像受信部201は、撮像装置100から送られたフレーム画像を受信し、所定のフレームレートのフレーム画像を取得する。
ステップS202において、録画部202は、映像受信部201により取得されたフレーム画像を蓄積して、タイムスタンプや撮像装置番号などの付与情報と共に、映像録画部203に映像として保存する。
ステップS201において、映像処理装置200の内部にある映像受信部201は、撮像装置100から送られたフレーム画像を受信し、所定のフレームレートのフレーム画像を取得する。
ステップS202において、録画部202は、映像受信部201により取得されたフレーム画像を蓄積して、タイムスタンプや撮像装置番号などの付与情報と共に、映像録画部203に映像として保存する。
ステップS203において、人体検出追尾部204は、映像受信部201により取得されたフレーム画像の人体の検出処理および追尾処理をする。さらに、人体検出追尾部204は、人体検出結果である人体の画像上の矩形座標、および追尾処理結果となる人物IDや画像上の座標などのメタデータを生成する。
ステップS204において、人体属性検出部205は、人体検出追尾部204により生成されたメタデータに基づいて、人体属性検出処理をする。本処理において、人体属性検出部205は、年齢、性別、身長、体格、髪型特徴、顔特徴などの人体の属性情報を検出する。また、人体属性検出部205は、人物の行動認識処理を行い、人物の不審度の数値を出力する。
ステップS204において、人体属性検出部205は、人体検出追尾部204により生成されたメタデータに基づいて、人体属性検出処理をする。本処理において、人体属性検出部205は、年齢、性別、身長、体格、髪型特徴、顔特徴などの人体の属性情報を検出する。また、人体属性検出部205は、人物の行動認識処理を行い、人物の不審度の数値を出力する。
ステップS205において、人体検出追尾部204は、ステップS203において生成されたメタデータを人物情報記憶部206に記憶する。さらに、人体属性検出部205は、ステップS204において生成されたメタデータを人物情報記憶部206に記憶する。以上までのステップは、フレーム画像が取得されるごとに行われる処理である。ステップS206において、映像受信部201は、フレーム画像の受信が終了したか否かを判断する。フレーム画像の受信が終了した場合、処理は終了する。一方、フレーム画像の受信がまだ終了していない場合は、処理は再度、ステップS201へ戻り、フレーム画像の受信が行われる。
次に、本実施形態の映像処理装置200の盗難商品抽出処理について、図4のフローチャートおよび図5~図12を用いて説明する。
まず、ステップS301において、映像抽出部208は、操作装置300から検索対象の人物(盗難の被疑者)の情報を入力する。
まず、ステップS301において、映像抽出部208は、操作装置300から検索対象の人物(盗難の被疑者)の情報を入力する。
本システムにおける盗難商品抽出処理は、ステップS301において、盗難の被疑者情報の入力から始まる。盗難の被疑者情報は、ユーザが操作装置300を操作することにより被疑者情報入力部301から入力される。被疑者情報入力画面の一例を、図5から図7に示す。この例では、被疑者情報の入力方法として、映像から被疑者を探して選択する方法と、被疑者が映っている画像ファイルを指定する方法とがある。図5~図7に示す画面は、映像抽出部208の表示制御により表示部15に表示される画面であり、ユーザが図5のボタン701を選択すると、映像から被疑者を探して選択する画面(図6)へ遷移する。また、ユーザが図5のボタン702を選択すると、被疑者が映っている画像ファイルを指定する画面(図7)へ遷移する。
図6において、ユーザは映像表示部801に映っている被疑者を選択すると、選択された被疑者の画像が選択画像表示部802へ表示される。ユーザが画像決定ボタン803を選択すると、選択画像は被疑者画像として決定され、被疑者画像が被疑者情報として映像抽出部208へ通知され、次のステップS302へ進む。異なる時間の映像を確認する場合は、時間変更部804を操作することで異なる時間の映像が映像表示部801へ表示させる。また、異なるカメラの映像を表示させたい場合は、ユーザはカメラ切り換えボタン805を選択すれば、異なるカメラの映像へ切り換えることができる。
図7は、図6とは別の被疑者画像指定方法で表示される画面の例を示す図である。図7では、ユーザは、被疑者の画像ファイルを指定する。画像ファイル一覧表示部901には、画像フォルダパス902で指定されたフォルダ内の画像ファイルが一覧表示される。ユーザが被疑者を選択すると、選択された画像のファイルパスが、選択中画像ファイルパス表示部903に表示されるとともに、選択された被疑者画像が、選択画像表示部904へ表示される。画像決定ボタン905が選択されると、選択画像は被疑者画像として決定され、被疑者画像が被疑者情報として映像抽出部208へ通知され、次のステップS302へ進む。
ステップS302において、映像抽出部208は、ステップS301で受信した被疑者画像から顔の特徴量を抽出し、抽出した顔の特徴量と、人物情報記憶部206に記憶されている各人物情報の顔の特徴量とを照合する。照合した結果、照合が成功した人物情報を被疑者の人物情報とする。人物情報には、各時刻における人物の位置の情報が含まれるので、この処理により、被疑者がいつどの位置にいたかを知ることができる。
ステップS303において、映像抽出部208は、商品情報管理部207から商品情報を取得して、商品の在庫数、販売数、および廃棄数の和に不整合がある場合は被害品候補商品として挙げる。被害品候補商品の判定方法について、図8および図9で説明する。
図8および図9は、商品情報管理部207から取得する商品情報の例であり、それぞれ同じ商品について別の日時の商品情報の例を示している。商品情報には、店舗での設置場所(店舗棚番)、在庫数、販売数、廃棄数などが含まれる。図8は商品の入荷時の情報であり、在庫数は100個であり、販売数は0個であり、廃棄数は0個なので、在庫数と販売数と廃棄数との和は100個である。図9は商品の最新の情報であり、在庫数は10個であり、販売数は89個であり、廃棄数は0個なので、在庫数と販売数と廃棄数との和は99個である。つまり図8の商品情報の時点から図9の商品情報の時点までの間に、1個の商品が消えており、商品の在庫数、販売数、および廃棄数の和に不整合が起きている。映像抽出部208は、このように不整合が発生している商品を、被害品候補商品と判定する。なお、在庫数の更新については、店員による棚卸しの他、商品棚に備え付けられたセンサでカウントしてもよいし、監視カメラの映像から商品をカウントしてもよい。
ステップS304において、映像抽出部208は、ステップS302で取得した被疑者の人物情報と、ステップS303で判定した被害品候補商品とを比較する。比較した結果、被疑者が被害品候補商品の配置された棚(棚にある商品)に接近した時間帯があれば、その時刻の映像を映像録画部203から抽出する。
ステップS305において、候補表示部209は、ステップS304で映像抽出部208により抽出された画像を表示部15に表示する。ここで、抽出される画像の表示例を図10に示す。図10の例では、被疑者が被害品候補商品に接近した映像1001が4個抽出されている。ユーザは確認したい映像を選んでから、選択映像の確認ボタン1002を選択すると、その映像についての画面例である図11へと遷移する。
図11は、被害品候補商品に被疑者が接近している映像の確認画面の例を示す図である。図11の例では、商品情報表示部1101に、商品情報が表示されている。映像表示部1102には、被疑者が被害品候補商品に接近している時の映像が映っている。異なる時間の映像を確認する場合は、時間変更部1104を操作することで異なる時間の映像を映像表示部1102へ表示させる。盗難被害を確認出来た場合に、ユーザは被害品確定ボタン1103を選択すると、被害品候補商品が被害品として登録され、また、被疑者情報および商品に接近している映像がレポート用情報として登録されて、図10の画面へ遷移する。
ステップS306において、ユーザによる操作の待機状態となる。被害品確定ボタン1103が選択されずに、図10の終了ボタン1003あるいは図11の終了ボタン1105が選択された場合は、処理は終了する。また、終了指示がなされていない場合は、ステップS305に戻り、処理を継続する。一方、被害品確定ボタン1103が選択され、被害品が確定されている状態で図10の終了ボタン1003あるいは図11の終了ボタン1105が選択された場合は、ステップS307に進む。ステップS307においては、出力部210は、被疑者レポート作成処理を行う。
次に、ステップS307における被疑者レポート作成処理について、図12を用いて説明する。図12は、被疑者レポート情報の例を示す図であり、被疑者レポート情報が、これまでの処理結果をもとに表示部15に表示される。被害品情報表示部1201には、確定した被害品情報が、商品情報管理部207から取り出された商品情報と共に表示されている。被疑者情報表示部1202には、指定した被疑者に関する情報が表示されている。被疑者画像表示部1203には特定した被疑者のサムネイル画像が表示されている。被疑者特徴表示部1204には、被疑者の外的特徴が表示されている。なお、外的特徴は、人体属性検出部205により作成されたメタデータ情報に基づいて表示されている。被疑者確認画像表示部1205には、被疑者が被害品に接近した際の録画された映像の一部が表示されている。確認画像情報表示部1206には、画像に付加された情報である録画時刻および場所、さらに人物情報に関連付けられた商品棚情報が表示されている。また、追加情報表示部1207は被疑者報告書に追加情報やコメントを追加したいときのためのスペースである。本被疑者レポート情報では、商品情報や被疑者情報が抽出されるが、ユーザが操作装置300を操作してさらに情報を追加することも可能である。ステップS307において、図12の被疑者レポート情報が表示部15に表示されている状態でユーザにより印刷ボタン1208が選択されると、出力部210は、不図示の外部の印刷装置に対してレポート印刷を指示する。また、ページ移動ボタン1209が選択されると、例えば被害品情報入力ページなどへ移動し、次の被害商品に関する被疑者特定作業に戻ることができる。
以上のように、本システムでは、映像録画と共に人体属性検出によるメタデータを保存し、被疑者情報を入力することで、被害候補商品リストを作成し、被疑者によるその他の盗難商品の特定作業を迅速かつ容易に行うことができる。これによりユーザは、その他の盗難商品を特定してレポート作成作業を、迅速かつ容易に行うことができる。
(第2の実施形態)
続いて、本発明の第2の実施形態について説明する。第2の実施形態の構成は第1の実施形態と同様であり、差分について説明する。
本実施形態の映像処理装置200の盗難商品抽出処理について、図13のフローチャートおよび図14を用いて説明する。ここで、図4と同様の処理については、図13に同じ部番を付与して説明を省略する。
続いて、本発明の第2の実施形態について説明する。第2の実施形態の構成は第1の実施形態と同様であり、差分について説明する。
本実施形態の映像処理装置200の盗難商品抽出処理について、図13のフローチャートおよび図14を用いて説明する。ここで、図4と同様の処理については、図13に同じ部番を付与して説明を省略する。
ステップS1303において、映像抽出部208は、ユーザの操作により、操作装置300から映像抽出条件を入力する。ここで、映像抽出条件を入力するための画面例を図14に示す。図14に示す画面の抽出条件1401から、ユーザは、映像抽出に使いたい条件を選択する。ここで、選択されている条件を太字で表記する。図14の例では、被疑者の不審行動を検知した時刻の前後15分で、商品を手に取った映像を、期間指定された期間の中で抽出する。選択画像表示部1402には、ステップS301で選択された被疑者画像が表示される。ユーザが被害品抽出開始ボタン1403を選択すると、選択された被疑者の映像の中から、抽出条件1401の条件を満たす映像を抽出する。抽出された映像は、図10のように一覧表示される。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
203 映像録画部、204 人体検出追尾部、205 人体属性検出部、206 人体情報記憶部、207 商品情報管理部、208 映像抽出部
Claims (9)
- 映像の中から人物を検出し、前記人物の行動履歴を含む人物情報を取得する取得手段と、
前記取得手段によって取得された人物情報を記憶する記憶手段と、
検索対象の人物の情報を入力する入力手段と、
前記入力手段により入力された人物に係る人物情報を前記記憶手段から検索し、前記検索された人物情報における行動履歴に基づいて、所定の条件を満たす商品のうち、前記入力手段により入力された人物に関連する商品を抽出する抽出手段と、
を有することを特徴とする画像処理装置。 - 前記所定の条件は、商品の数に不整合が生じていることである、
ことを特徴とする請求項1に記載の画像処理装置。 - 前記抽出手段は、前記入力手段により入力された人物が接近した商品を、前記人物に関連する商品として抽出する、
ことを特徴とする請求項1又は2に記載の画像処理装置。 - 前記抽出手段は、前記入力手段により入力された人物が特定の行動を取った際の商品を、前記人物に関連する商品として抽出する、
ことを特徴とする請求項1~3の何れか1項に記載の画像処理装置。 - 前記特定の行動は、商品を触ることである、
ことを特徴とする請求項4に記載の画像処理装置。 - 前記映像における検索する期間を指定する指定手段を有し、
前記抽出手段は、前記指定手段で指定された期間の中で商品を抽出する、
ことを特徴とする請求項1~5の何れか1項に記載の画像処理装置。 - 前記取得手段は、さらに前記映像の中から人物を検出して追尾した結果、および前記人物の外見に係る人体属性を前記人物情報として取得する、
ことを特徴とする請求項1~6の何れか1項に記載の画像処理装置。 - 映像の中から人物を検出し、前記人物の行動履歴を含む人物情報を取得する取得工程と、
前記取得工程によって取得された人物情報を記憶手段に記憶する記憶工程と、
検索対象の人物の情報を入力する入力工程と、
前記入力工程により入力された人物に係る人物情報を前記記憶手段から検索し、前記検索された人物情報における行動履歴に基づいて、所定の条件を満たす商品のうち、前記入力工程により入力された人物に関連する商品を抽出する抽出工程と、
を有することを特徴とする画像処理方法。 - 映像の中から人物を検出し、前記人物の行動履歴を含む人物情報を取得する取得工程と、
前記取得工程によって取得された人物情報を記憶手段に記憶する記憶工程と、
検索対象の人物の情報を入力する入力工程と、
前記入力工程により入力された人物に係る人物情報を前記記憶手段から検索し、前記検索された人物情報における行動履歴に基づいて、所定の条件を満たす商品のうち、前記入力工程により入力された人物に関連する商品を抽出する抽出工程と、
をコンピュータに実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020112960A JP2022011666A (ja) | 2020-06-30 | 2020-06-30 | 画像処理装置、画像処理方法およびプログラム |
US17/353,036 US20210407265A1 (en) | 2020-06-30 | 2021-06-21 | Image processing apparatus, image processing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020112960A JP2022011666A (ja) | 2020-06-30 | 2020-06-30 | 画像処理装置、画像処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022011666A true JP2022011666A (ja) | 2022-01-17 |
JP2022011666A5 JP2022011666A5 (ja) | 2023-07-05 |
Family
ID=79031246
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020112960A Pending JP2022011666A (ja) | 2020-06-30 | 2020-06-30 | 画像処理装置、画像処理方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20210407265A1 (ja) |
JP (1) | JP2022011666A (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022011704A (ja) * | 2020-06-30 | 2022-01-17 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030107650A1 (en) * | 2001-12-11 | 2003-06-12 | Koninklijke Philips Electronics N.V. | Surveillance system with suspicious behavior detection |
US9158975B2 (en) * | 2005-05-31 | 2015-10-13 | Avigilon Fortress Corporation | Video analytics for retail business process monitoring |
US9036028B2 (en) * | 2005-09-02 | 2015-05-19 | Sensormatic Electronics, LLC | Object tracking and alerts |
JP4866754B2 (ja) * | 2007-02-19 | 2012-02-01 | パナソニック株式会社 | 行動履歴検索装置及び行動履歴検索方法 |
JP5506990B1 (ja) * | 2013-07-11 | 2014-05-28 | パナソニック株式会社 | 追跡支援装置、追跡支援システムおよび追跡支援方法 |
US10937289B2 (en) * | 2014-09-18 | 2021-03-02 | Indyme Solutions, Llc | Merchandise activity sensor system and methods of using same |
US20180115749A1 (en) * | 2015-03-19 | 2018-04-26 | Nec Corporation | Surveillance system and surveillance method |
WO2017029779A1 (ja) * | 2015-08-17 | 2017-02-23 | パナソニックIpマネジメント株式会社 | 警備システム、人物画像表示方法、及びレポート作成方法 |
JP5871296B1 (ja) * | 2015-08-19 | 2016-03-01 | 株式会社 テクノミライ | スマートセキュリティ・デジタルシステム、方法及びプログラム |
JP6284086B2 (ja) * | 2016-02-05 | 2018-02-28 | パナソニックIpマネジメント株式会社 | 追跡支援装置、追跡支援システムおよび追跡支援方法 |
US10706386B2 (en) * | 2017-09-14 | 2020-07-07 | Sensormatic Electronics, LLC | Machine learning inventory management |
US10186124B1 (en) * | 2017-10-26 | 2019-01-22 | Scott Charles Mullins | Behavioral intrusion detection system |
JP7170411B2 (ja) * | 2018-03-29 | 2022-11-14 | キヤノン株式会社 | 情報処理装置および方法およびコンピュータプログラム、並びに監視システム |
CN110866429B (zh) * | 2018-08-28 | 2024-03-08 | 阿里巴巴集团控股有限公司 | 漏扫识别方法、装置、自助收银终端及*** |
US11055518B2 (en) * | 2019-08-05 | 2021-07-06 | Sensormatic Electronics, LLC | Methods and systems for monitoring potential losses in a retail environment |
US11636744B2 (en) * | 2020-02-06 | 2023-04-25 | Shenzhen Malong Technologies Co., Ltd. | Retail inventory shrinkage reduction via action recognition |
-
2020
- 2020-06-30 JP JP2020112960A patent/JP2022011666A/ja active Pending
-
2021
- 2021-06-21 US US17/353,036 patent/US20210407265A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20210407265A1 (en) | 2021-12-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6674584B2 (ja) | 映像監視システム | |
JP6885682B2 (ja) | 監視システム、管理装置、及び監視方法 | |
JP6362674B2 (ja) | 映像監視支援装置、映像監視支援方法、およびプログラム | |
JP5227911B2 (ja) | 監視映像検索装置及び監視システム | |
JP5058279B2 (ja) | 画像検索装置 | |
US20180115749A1 (en) | Surveillance system and surveillance method | |
US11308158B2 (en) | Information processing system, method for controlling information processing system, and storage medium | |
JP5077164B2 (ja) | 追跡装置及び追跡方法 | |
JP7485447B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2019020777A (ja) | 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体 | |
JP2014016968A (ja) | 人物検索装置及びデータ収集装置 | |
JP6687199B2 (ja) | 商品棚位置登録プログラム、及び情報処理装置 | |
KR20170119630A (ko) | 정보 처리장치, 정보 처리방법 및 기억매체 | |
JP2019153920A (ja) | 情報処理装置、情報処理装置の制御方法、被写体検出システム、及び、プログラム | |
JP2022011666A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2022073882A (ja) | 行動推定装置、行動推定方法、プログラム及び行動推定システム | |
JP6702402B2 (ja) | 画像処理システム、画像処理方法および画像処理プログラム | |
JP2022117096A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2022011704A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2022052538A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP6738213B2 (ja) | 情報処理装置及び情報処理方法 | |
JP2010087937A (ja) | 映像検出装置、映像検出方法および映像検出プログラム | |
JP2020191585A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP7371806B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP7098508B2 (ja) | 物体認証システム、物体登録装置、物体認証方法及び物体認証プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230627 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230627 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240415 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240514 |