JP7284867B2 - 人物追跡管理サーバ - Google Patents
人物追跡管理サーバ Download PDFInfo
- Publication number
- JP7284867B2 JP7284867B2 JP2022503311A JP2022503311A JP7284867B2 JP 7284867 B2 JP7284867 B2 JP 7284867B2 JP 2022503311 A JP2022503311 A JP 2022503311A JP 2022503311 A JP2022503311 A JP 2022503311A JP 7284867 B2 JP7284867 B2 JP 7284867B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- face
- person
- car number
- management server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Description
従来の監視カメラを用いた映像監視システムは、犯罪防止や事故検証を目的として、ビル、道路等の公共施設に設置されている。
近年、監視カメラで撮影された画像をデジタル化し、デジタル化した画像データをサーバで記憶するシステムが普及している。
記憶された画像データは、事件があったときに犯人を追跡するデータとして、また、人物の行動を調査するデータとして、使用されることが多くなっている。
尚、関連する先行技術として、特開2005-088626号公報「広域監視装置」(特許文献1)がある。
特許文献1には、カメラによって撮影された画像データから顔画像を用いて人物を追跡する実施例と、車両画像を用いて車両を追跡する実施例が示されている。
また、複数の位置で撮影された画像から人物を追跡する人物追跡管理サーバであって、画像から取得された顔情報と車番情報を紐づけて記憶し、指定された車両の車番と同一の車番情報及び当該車番情報に紐づけて記憶している顔情報を時系列に出力することを特徴とする。
[実施の形態の概要]
本発明の実施の形態に係る人物追跡管理サーバ(本サーバ)は、監視カメラで撮影された映像データから顔情報と車番情報とを紐付けて、紐付けられて記憶された顔情報と車番情報について時系列に顔情報又は車番情報の一方、若しくは、双方を出力するものであり、撮影された映像データの中から顔情報と車番情報とを連携させて人物追跡の精度を向上できるものである。
本システムは、複数の監視カメラと、人物追跡管理サーバと、操作装置(操作PC)とから基本的に構成され、各構成がネットワークを介して接続されている。
本システムは、以下に説明する第1の実施例のシステム(第1のシステム)と第2の実施例のシステム(第2のシステム)がある。
第1のシステムの概略について図1を参照しながら説明する。図1は、第1のシステムの概略図である。
第1のシステムは、図1に示すように、人物追跡管理サーバ(管理サーバ)1と、監視カメラ2と、操作装置(操作PC)3と、ネットワーク4とを基本的に有している。
図1では、監視カメラ2が1台のみネットワーク4に接続しているが、実際は複数の監視カメラ2がネットワーク4に接続している。
また、ネットワーク4は、有線でも無線でも構わない。
次に、第1のシステムの各部について具体的に説明する。
[管理サーバ1]
管理サーバ1は、図1に示すように、制御部11と、記憶部12と、画像データベース(画像DB)13と、ネットワーク通信部14とを備えている。
ネットワーク通信部14は、監視カメラ2からネットワーク4を介して顔情報又は/及び車番情報に関連付けられた映像データを画像データとして受信する。
制御部11は、記憶部12に記憶する処理プログラムを読み込んで、ネットワーク通信部14で受信した画像データを画像DB13に格納する。
画像DB13は、制御部11によって入力される画像データを記憶する。
監視カメラ2は、ビル、道路等に設置され、図1に示すように、カメラ撮像部21と、画像処理部22と、画像記憶部23と、顔検出部24と、ナンバープレート検出部25と、ネットワーク通信部26とを備えている。
図1の監視カメラは、顔検知及びナンバープレート検知の機能を備えるものである。
画像処理部22は、カメラ撮像部21から入力された映像データをデジタル化して画像記憶部23に記憶する。
ナンバープレート検出部25は、画像記憶部23に記憶する映像データの中から車両のナンバープレートを検出し、検出したナンバープレートの内容を示す車番情報(車両情報)を生成する。
ここで、顔検出及びナンバープレート検出は、人工知能(AI)の学習機能により学習させることで、精度を向上させることができるものである。
映像データには、時刻情報と位置情報が必ず付与されるが、顔やナンバープレートが検出されなければ、顔情報や車番情報は付加されない。
操作PC3は、パーソナルコンピュータであり、処理装置に加えて表示部、入力部、印刷部等を備えている。
そして、入力部からの操作によって、映像データから追跡対象の人物を探索し、後述する人物と車両の連携による追跡結果を表示部又は印刷部に出力する。
次に、管理サーバ1に送信される画像データのフォーマットについて図2を参照しながら説明する。図2は、画像データのフォーマットを示す概略図である。
画像データは、図2に示すように、ヘッダに設けられるメタデータと、その後ろに設けられる映像データとから構成されている。
時刻情報は、映像データの撮影時刻の情報を用いている。
位置情報は、監視カメラ2の位置を示す情報で、GPS(Global Positioning System
)で得られる情報を用いている。
顔情報は、顔の特徴量を示すもので、人物の検索をし易くするために、その特徴量に対応するID(顔ID)を含めてもよい。
車番情報は、ナンバープレートを検出して認識した数字、文字の情報である。
なお、メタデータは、顔情報と車番情報のどちらかを含むようにしてもよい。この場合、メタデータは、顔情報と車番情報を区別するための種別情報を含む。例えば、監視カメラ2が顔情報のみを検出した場合、メタデータは、顔情報と、顔情報を示す種別情報と、を含む。
次に、第1のシステムにおける処理について図3を参照しながら説明する。図3は、第1のシステムにおける処理を示すフロー図である。
まず、処理が開始されると、監視カメラ2のカメラ撮像部21で画像取得が為され(S101)、画像処理部22で取得した画像をデジタル化する画像処理が為される(S102)。
いずれも検出されなければ(Noの場合)、最初の処理に戻り、いずれか一方又は双方が検出されたならば(Yesの場合)、ネットワーク通信部26がメタデータ(付属情報)に時刻情報、位置情報、顔情報又は/及び車番情報を付加し、付属情報と映像データを画像データとして配信する(S105)。
図3の例では、顔検出又はナンバープレート検出が為されない場合には、映像データを配信せず、データの送信量を低減している。
次に、操作PC3の操作者(ユーザ)が画像DB13に記憶された映像データを表示部に表示させて確認しながら、操作PC3から特定の人物又は/及び車両を選択して、人物又は/及び車両の追跡指示(出力指示)が入力されたか否かを判定する(S108)。
判定の結果、出力指示がなければ(Noの場合)、処理S106に戻り、出力指示があれば(Yesの場合)、出力指示された人物の顔に類似した顔情報又は出力指示された車両の車番と同一の車番情報を画像DB13から検索し、該当する顔情報又は車番情報を含む付属情報を読み出す。また、該当する顔情報又は車番情報に紐づけされた車番情報又は顔情報を含む付属情報も画像DB13から読み出す(S109)。尚、顔情報と車番情報の紐づけについては、後述する。その後、出力フォーマットに付加情報を追加して(S110)、操作PC3に出力し(S111)、処理を終了する。尚、出力例については、後述する。
次に、第2のシステムについて図4を参照しながら説明する。図4は、第2のシステムの概略図である。
第2のシステムは、監視カメラ20では顔検出、ナンバープレート検出を行わず、撮影した映像データに時刻情報と位置情報を付加して画像データとして管理サーバ1に送信し、管理サーバ1では受信した画像データから顔検出とナンバープレート検出を行い、映像データに顔情報、車番情報を付加する処理を行うものである。
つまり、監視カメラ20では、メタデータに時刻情報と位置情報が付与され、管理サーバ1では、メタデータに顔情報と車番情報が付与されるものである。
監視カメラ20は、第1のシステムにおける監視カメラ2での顔検出部24とナンバープレート検出部25を取り除き、撮影した映像データを全て管理サーバ1に送信している。
管理サーバ1の制御部11は、監視カメラ20からネットワーク4を介して受信した画像データをネットワーク通信部14から入力し、画像DB13に記憶する。記憶される画像データは、メタデータとして時刻情報と位置情報が付属情報に含まれている。
操作PC3からの指示で顔検出とナンバープレート検出を行ったが、制御部11が画像DB13に画像データを記憶する際に、顔検出とナンバープレート検出を行うようにしてもよい。
次に、第2のシステムにおける処理について図5を参照しながら説明する。図5は、第2のシステムにおける処理を示すフロー図である。
第2のシステムでは、監視カメラ20のカメラ撮像部21で画像を取得し(S201)、画像処理部22でデジタル化する画像処理を行い(S202)、時刻情報と位置情報をメタデータに含めて映像データにメタデータを付加して管理サーバ1に配信する(S203)。
次に、操作PC3から出力指示があるか否かを判定し(S206)、出力指示がなければ(Noの場合)、処理S204に戻る。
出力指示があれば(Yesの場合)、次に、顔検出及びナンバープレート検出を行う(S207)。顔検出及びナンバープレート検出は、画像DB13に記憶されている画像データを対象に行うものである。
なお、操作PC3から出力指示を受ける前に、画像データから顔及びナンバープレートを検出し、顔情報又は/及び車番情報を追加してもよい。これにより、S207~S209の処理が不要となるため、操作PC3の出力指示を受けてから操作PC3への出力までに要する処理時間を短縮できる。
そして、制御部11が、操作PC3からの出力指示された人物の顔に類似した顔情報又は出力指示された車両の車番と同一の車番情報を画像DB13から検索し、該当する顔情報又は車番情報を含む付属情報を画像DB13から読み出す。また、該当する顔情報又は車番情報に紐づけされた車番情報又は顔情報を含む付属情報も画像DB13から読み出す(S211)。尚、顔情報と車番情報の紐づけについては、後述する。その後、出力フォーマットに付属情報を追加し(S211)、操作PC3に出力を行い(S212)、処理を終了する。
次に、人物追跡の出力例について図6を参照しながら説明する。図6は、操作者が操作PC3から所定の人物の追跡指示をした場合の出力例である。なお、所定の人物の顔に類似した顔情報は、ナンバープレートが「12-34」を示す車番情報に紐づいているものとする。
図6に示すように、出力例では、時系列の順番、時刻情報、顔情報、車番情報の一覧表が表示され、更に、地図が表示され、その地図上で人物の移動が時系列に分かるように、順番と時刻が表示されるようになっている。顔情報の列には、追跡指示をした人物の顔に類似した顔情報が見つかったことを示す「○」が表示される。なお、顔情報の列には、監視カメラ20が撮影した画像から顔を検出した部分を切り出した画像が表示されてもよい。
車番情報の列には、追跡指示をした人物の顔に類似した顔情報に紐づけられた車番情報に含まれる「12-34」のナンバープレートの情報が表示される。
顔情報と車番情報(車両情報)とは、本来別々に検出されるものであるが、同一映像データで顔情報と車番情報が一緒に検出されると、両者が紐付け(関連付け)されることになり、人物追跡の出力例では、一方のみの検出でも表示されることになる。
また、顔情報と車番情報が同じ映像データで検出されなくても、人物が写っている映像データの時間的に前後の映像データ(撮影時刻が近傍している映像データ)に写っている車番情報を紐付けするようにしてもよい。
また、複数の車番情報が検出された場合、人物(顔情報)の近傍で検出した車番を、当該人物の顔情報に紐付けるようにしてもよい。これにより、追跡対象の人物が乗車している可能性が高い車両を紐付けられるため、追跡の精度を上げられる。
また、複数の車番情報を顔情報に紐づけてもよい。これにより、追跡対象の人物が車両を乗り換えた場合でも追跡できる。
これら紐付けの処理は、監視カメラ2または管理サーバ1の制御部11で行うようになっている。
尚、紐付けは、操作PC3のオペレータが行ってもよい。
本サーバ(管理サーバ1)によれば、監視カメラ2,20で撮影された映像データから顔情報と車番情報とを紐付けて、紐付けられて記憶された顔情報と車番情報について時系列に顔情報又は車番情報の一方、若しくは、双方を出力するようにしているので、撮影された映像データの中から顔情報と車番情報とを連携させて人物追跡の精度を向上できる効果がある。
Claims (5)
- 複数の位置で撮影された画像から人物を追跡する人物追跡管理サーバであって、
前記画像から取得された顔情報と車番情報を紐づけて記憶し、指定された人物の顔に類似した顔情報及び当該顔情報に紐づけて記憶している車番情報を時系列に出力することを特徴とする人物追跡管理サーバ。 - 顔情報と位置情報及び車番情報と位置情報を紐づけて記憶し、顔情報に紐づけて記憶した位置情報及び車番情報に紐づけて記憶した位置情報に基づいて、人物の移動が時系列に分かるよう地図上に出力することを特徴とする請求項1記載の人物追跡管理サーバ。
- 前記顔情報を検出した画像の撮影時刻と、前記車番情報を検出した画像の撮影時刻と、が近傍している場合、当該顔情報と当該車番情報を紐づけて記憶することを特徴とする請求項1又は2記載の人物追跡管理サーバ。
- 同じ画像から顔情報と複数の車番情報が検出された場合、当該顔情報の近傍で検出した車番情報を紐づけて記憶することを特徴とする請求項1乃至3のいずれか記載の人物追跡管理サーバ。
- 複数の位置で撮影された画像から人物を追跡する人物追跡管理サーバであって、
撮影された画像から取得された顔情報と車番情報を紐づけて記憶し、指定された車両の車番と同一の車番情報及び当該車番情報に紐づけて記憶している顔情報を時系列に出力することを特徴とする人物追跡管理サーバ。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020029175 | 2020-02-25 | ||
JP2020029175 | 2020-02-25 | ||
PCT/JP2021/006163 WO2021172168A1 (ja) | 2020-02-25 | 2021-02-18 | 人物追跡管理サーバ |
Publications (3)
Publication Number | Publication Date |
---|---|
JPWO2021172168A1 JPWO2021172168A1 (ja) | 2021-09-02 |
JPWO2021172168A5 JPWO2021172168A5 (ja) | 2022-11-01 |
JP7284867B2 true JP7284867B2 (ja) | 2023-05-31 |
Family
ID=77490948
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022503311A Active JP7284867B2 (ja) | 2020-02-25 | 2021-02-18 | 人物追跡管理サーバ |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7284867B2 (ja) |
WO (1) | WO2021172168A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006134072A (ja) | 2004-11-05 | 2006-05-25 | Toshiba Corp | 入出場管理システム及び生体特徴情報照合装置 |
JP2017157036A (ja) | 2016-03-02 | 2017-09-07 | パナソニックIpマネジメント株式会社 | 駐車誘導システムおよび駐車誘導方法 |
JP2018142834A (ja) | 2017-02-27 | 2018-09-13 | パナソニックIpマネジメント株式会社 | 監視カメラシステム及び監視方法 |
JP2020137070A (ja) | 2019-02-25 | 2020-08-31 | パナソニックi−PROセンシングソリューションズ株式会社 | 捜査支援システムおよび捜査支援方法 |
JP2020191508A (ja) | 2019-05-20 | 2020-11-26 | パナソニックi−PROセンシングソリューションズ株式会社 | 車両監視システムおよび車両監視方法 |
-
2021
- 2021-02-18 WO PCT/JP2021/006163 patent/WO2021172168A1/ja active Application Filing
- 2021-02-18 JP JP2022503311A patent/JP7284867B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006134072A (ja) | 2004-11-05 | 2006-05-25 | Toshiba Corp | 入出場管理システム及び生体特徴情報照合装置 |
JP2017157036A (ja) | 2016-03-02 | 2017-09-07 | パナソニックIpマネジメント株式会社 | 駐車誘導システムおよび駐車誘導方法 |
JP2018142834A (ja) | 2017-02-27 | 2018-09-13 | パナソニックIpマネジメント株式会社 | 監視カメラシステム及び監視方法 |
JP2020137070A (ja) | 2019-02-25 | 2020-08-31 | パナソニックi−PROセンシングソリューションズ株式会社 | 捜査支援システムおよび捜査支援方法 |
JP2020191508A (ja) | 2019-05-20 | 2020-11-26 | パナソニックi−PROセンシングソリューションズ株式会社 | 車両監視システムおよび車両監視方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2021172168A1 (ja) | 2021-09-02 |
JPWO2021172168A1 (ja) | 2021-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109886078B (zh) | 目标对象的检索定位方法和装置 | |
JP7218535B2 (ja) | 交通違反車両識別システム及びサーバ | |
JP4391839B2 (ja) | 撮影条件設定プログラム、撮影条件設定方法および撮影条件設定装置 | |
JP7258596B2 (ja) | 捜査支援システムおよび捜査支援方法 | |
JP4984728B2 (ja) | 被写体照合装置および被写体照合方法 | |
JP4569190B2 (ja) | 不審者対策システム及び不審者検出装置 | |
JP2003187352A (ja) | 特定人物検出システム | |
KR20130088480A (ko) | 차량용 감시 카메라를 이용한 통합 관제 시스템 및 그 방법 | |
JP2006260483A (ja) | 顔照合システム及び顔照合方法 | |
JP2005086626A (ja) | 広域監視装置 | |
KR20120066393A (ko) | 차량용 영상 기록 및 제공 장치와 이를 이용한 지역 정보 획득 장치 및 방법 | |
JP6605883B2 (ja) | 駐停車監視支援システム及び駐停車監視支援方法 | |
US11373499B2 (en) | Rescue system and rescue method, and server used for rescue system and rescue method | |
KR100906203B1 (ko) | 지리정보시스템를 이용한 차량 추적 시스템 | |
JP2020137069A5 (ja) | ||
WO2019097775A1 (ja) | 通信装置、通信システムおよび移動体追跡方法 | |
CN112419120A (zh) | 群体性聚集事件预警方法、装置、***和电子设备 | |
KR20160103459A (ko) | 노드-링크 기반 카메라 네트워크 통합 감시 시스템 및 감시 방법 | |
JP2007328572A (ja) | 顔認証装置および顔認証方法 | |
CN111950471B (zh) | 目标对象识别方法及装置 | |
KR101324221B1 (ko) | 영상 촬영을 통한 물체 추적 시스템 및 그 방법 | |
WO2021100574A1 (ja) | 捜査支援システムおよび捜査支援方法 | |
JP7284867B2 (ja) | 人物追跡管理サーバ | |
KR100877930B1 (ko) | 과속감지시스템을 이용한 수배차량 검색 방법 | |
KR102328199B1 (ko) | 추적 가능한 비식별화 방법, 장치 및 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220823 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220823 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221024 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230509 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230519 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7284867 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |