JP6997449B2 - 画像処理装置、画像処理方法、プログラム - Google Patents
画像処理装置、画像処理方法、プログラム Download PDFInfo
- Publication number
- JP6997449B2 JP6997449B2 JP2018095389A JP2018095389A JP6997449B2 JP 6997449 B2 JP6997449 B2 JP 6997449B2 JP 2018095389 A JP2018095389 A JP 2018095389A JP 2018095389 A JP2018095389 A JP 2018095389A JP 6997449 B2 JP6997449 B2 JP 6997449B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- acquired
- monitoring
- images
- same
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
図1は、この実施の形態に係る画像処理システム1Aの全体構造を示す機能ブロック図である。
図1に示す画像処理システム1Aは、「撮影手段」としての監視カメラ1、この実施の形態に係る画像処理装置2、「端末」としての監視装置3を備えている。監視カメラ1と画像処理装置2、画像処理装置2と監視装置3とはネットワーク4,5によって接続されている。
監視カメラ1は、遠隔地の監視に用いられるカメラである。監視カメラ1は、CCDイメージセンサやCMOSイメージセンサ等の撮像素子6を備えている。監視カメラ1は、監視を行う所定の空間、たとえば所定の室内や所定の屋外の地域などに設置される。監視カメラ1の撮像素子6は、監視カメラ1のレンズ(図示せず)から撮影された映像を、所定の画素数、たとえば1フレームあたり7680(横)×4320(縦)の画像(いわゆる8K画像)、1フレームあたり(横)4096×(縦)2048画素の画像(いわゆる4K画像)、あるいは1フレームあたり1920×1080画素(いわゆる2K画像)等で、所定のフレーム数、たとえば1秒あたり30フレームの動画として撮像する。ただし、監視カメラ1によって撮像される画像の画素の大きさや単位時間あたりのフレーム数はどのようなものでもよい。なお、この実施の形態では、監視カメラ1は8K画像の動画を撮影するものとして以下説明する。
画像処理装置2は、監視カメラ1で撮影した画像を用いて監視画像(後述)を生成して監視装置3に送る機能を有する。画像処理装置2は、例えば、監視カメラ1内に設けられていてもよいし、監視カメラ1とは別に設けられていてもよい。画像処理装置2は、CPUを用いた処理やハードウェアロジックを用いた処理等により、所定の画像処理を行う。
監視装置3は、パーソナルコンピュータ、スマートフォン、タブレット等、ネットワーク5を介して画像処理装置2とデータや信号の送受信が可能な端末である。監視装置3は、マウス、キーボード等の操作部31と、LCDディスプレイ等の表示部32とを有する。なお、操作部31と表示部32とは、タッチパネル式ディスプレイのように一体になったものであってもよい。
ネットワーク4は監視カメラ1と画像処理装置2とを有線接続する通信媒体である。ネットワーク5は画像処理装置2と監視装置3とを有線接続又は無線接続する通信媒体である。ネットワーク4,5は、画像データと画像処理システム1Aを制御する信号とを送受信できるものならば、どのような通信形式や通信媒体であってもよい。
この実施の形態において、特徴量抽出部14が領域画像から抽出する特徴量情報は、画像に含まれるベクトルの情報(つまり、画像の情報としては、「目」「鼻」等の顔101のパーツの位置、大きさ等の情報などよりも抽象的な、画像の特徴を表す情報)として取得される。そして、特徴量情報は、人物100の顔101の識別に用いる特徴量の情報であり、具体的には、複数の領域画像に含まれる人物100の顔101が同一人物の顔か否かを判定するために用いられる情報である。特徴量抽出部14は、備えているニューラルネットワークの特徴量検出機能に取得画像を入力し、それぞれの領域画像から人物100の顔101の識別に用いる特徴量情報を抽出する。そして、判定・並べ替え部15においては、この特徴量情報を用いて、それぞれの領域画像に含まれる画像が同一画像か否か、即ち、同一人物の顔101か否かを判定する。
図2は、この実施の形態の画像処理システム1Aの画像処理装置2における、領域画像を監視用画像に配置する際の処理の原理を模式的に示す図である。
図3は、この実施の形態の画像処理システム1Aの処理手順を示すフローチャートである。以下、このフローチャートに基づいてこの実施の形態の処理手順を説明する。
2・・・画像処理装置
7・・・画像取得部(画像取得手段)
8・・・顔画像検出部(対象物画像抽出手段、対象物画像検出手段)
9・・・顔画像抽出部(対象物画像抽出手段、領域画像抽出手段)
10・・・監視用画像生成部(監視用画像生成手段)
11・・・画像縮小部(画像縮小手段)
13・・・送信部(送信手段)
15・・・判定・並べ替え部(同一画像判定配置手段)
21,211,212・・・取得画像
22,221,222・・・監視用画像
23,231,232,233・・・領域画像
24・・・取得画像用ストリーム(第一のストリーム送信手段)
25・・・監視用画像用ストリーム(第二のストリーム送信手段)
26・・・配置画像
27・・・重ね合わせ画像
100,1001,1002,1003,1004・・・人物
101,1011,1012,1013,1014・・・顔
Claims (10)
- 動画像から、該動画像中の特定時点の画像としての取得画像を時系列に沿って複数取得する画像取得手段と、
前記画像取得手段によって取得されたそれぞれの前記取得画像に含まれる、対象物の対象物画像を抽出する対象物画像抽出手段と、
前記対象物画像抽出手段によって抽出された1以上の対象物画像を配置した監視用画像を生成する監視用画像生成手段と、
前記時系列の変化に伴って取得された複数の前記取得画像にそれぞれ複数の前記対象物が含まれ、かつ、前記複数の対象物のうちの少なくとも一部が同一の前記対象物である場合、それぞれの前記取得画像を用いて生成されるそれぞれの前記監視用画像に含まれる同一の位置に、同一の前記対象物の対象物画像を配置すると共に、前記時系列の変化に伴って、前記取得画像に含まれる一の前記対象物が他の前記対象物に置き換わった場合、前記一の前記対象物の前記対象物画像が表示されていた位置に、前記他の前記対象物の前記対象物画像を表示させる同一画像判定配置手段と
を備えたことを特徴とする画像処理装置。 - 前記同一画像判定配置手段は、前記取得画像から対象物の識別に用いる特徴量情報を抽出し、抽出した前記特徴量情報を用いて、複数の対象物画像が同一の画像か否かを判定する
ことを特徴とする請求項1に記載の画像処理装置。 - 前記同一画像判定配置手段は、ニューラルネットワークを用いて前記特徴量情報の抽出、及び前記複数の対象物画像が同一の画像か否かの判定のうち少なくとも一方を行う
ことを特徴とする請求項2に記載の画像処理装置。 - 前記対象物画像抽出手段は、
前記対象物画像を含む領域の領域画像を抽出する領域画像抽出手段を備え、
前記監視用画像生成手段は、前記領域画像抽出手段によって抽出された1以上の前記領域画像を配置した監視用画像を生成する
ことを特徴とする請求項1乃至3の何れか一つに記載の画像処理装置。 - 前記画像の画素数を削減して前記取得画像、及び前記監視用画像のうち少なくとも一方を縮小する画像縮小手段を備え、
前記画像縮小手段は、前記取得画像、又は、前記取得画像及び前記監視用画像を、前記取得画像における前記対象物画像を含む領域の方が前記監視用画像における前記対象物画像を含む領域よりも高い縮小率となるように縮小する
ことを特徴とする請求項1乃至4の何れか一つに記載の画像処理装置。 - 前記取得画像を送信する第一のストリーム送信手段と、前記監視用画像を送信する第二のストリーム送信手段とを含み、前記取得画像、及び前記監視用画像のうち少なくとも一方を送信する送信手段を備えることを特徴とする請求項1乃至5の何れか一つに記載の画像処理装置。
- 前記監視用画像生成手段は、
前記取得画像と前記対象物画像とを含む監視用画像とを並べて配置した配置画像を生成し、
前記取得画像、前記監視用画像、及び前記配置画像のうち少なくとも何れか一つを送信する送信手段を備えることを特徴とする請求項1乃至5の何れか一つに記載の画像処理装置。 - 前記監視用画像生成手段は、
前記取得画像上に前記対象物画像を含む監視用画像を重ね合わせて配置した重ね合わせ画像を生成し、
前記取得画像、前記監視用画像、及び前記重ね合わせ画像のうち少なくとも何れか一つを送信する送信手段を備えることを特徴とする請求項1乃至5の何れか一つに記載の画像処理装置。 - コンピュータによって実行される画像処理方法であって、
動画像から、該動画像中の特定時点の画像としての取得画像を時系列に沿って複数取得する処理と、
前記画像を取得する処理によって取得されたそれぞれの前記取得画像に含まれる、対象物の対象物画像を抽出する処理と、
前記対象物の対象物画像を抽出する処理によって抽出された1以上の対象物画像を配置した監視用画像を生成する処理と、
前記時系列の変化に伴って取得された複数の前記取得画像にそれぞれ複数の前記対象物が含まれ、かつ、前記複数の対象物のうちの少なくとも一部が同一の前記対象物である場合、それぞれの前記取得画像を用いて生成されるそれぞれの前記監視用画像に含まれる同一の位置に、同一の前記対象物の対象物画像を配置すると共に、前記時系列の変化に伴って、前記取得画像に含まれる一の前記対象物が他の前記対象物に置き換わった場合、前記一の前記対象物の前記対象物画像が表示されていた位置に、前記他の前記対象物の前記対象物画像を表示させる処理とを備えたことを特徴とする画像処理方法。 - 動画像から、該動画像中の特定時点の画像としての取得画像を時系列に沿って複数取得する処理と、
前記画像を取得する処理によって取得されたそれぞれの前記取得画像に含まれる、対象物の対象物画像を抽出する処理と、
前記対象物の対象物画像を抽出する処理によって抽出された1以上の対象物画像を配置した監視用画像を生成する処理と、
前記時系列の変化に伴って取得された複数の前記取得画像にそれぞれ複数の前記対象物が含まれ、かつ、前記複数の対象物のうちの少なくとも一部が同一の前記対象物である場合、それぞれの前記取得画像を用いて生成されるそれぞれの前記監視用画像に含まれる同一の位置に、同一の前記対象物の対象物画像を配置すると共に、前記時系列の変化に伴って、前記取得画像に含まれる一の前記対象物が他の前記対象物に置き換わった場合、前記一の前記対象物の前記対象物画像が表示されていた位置に、前記他の前記対象物の前記対象物画像を表示させる処理とをコンピュータに実行させることを特徴とする画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018095389A JP6997449B2 (ja) | 2018-05-17 | 2018-05-17 | 画像処理装置、画像処理方法、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018095389A JP6997449B2 (ja) | 2018-05-17 | 2018-05-17 | 画像処理装置、画像処理方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019201344A JP2019201344A (ja) | 2019-11-21 |
JP6997449B2 true JP6997449B2 (ja) | 2022-01-17 |
Family
ID=68613275
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018095389A Active JP6997449B2 (ja) | 2018-05-17 | 2018-05-17 | 画像処理装置、画像処理方法、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6997449B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021118478A (ja) | 2020-01-28 | 2021-08-10 | パナソニックi−PROセンシングソリューションズ株式会社 | 監視カメラ、カメラパラメータ決定方法およびプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001320437A (ja) | 2000-05-02 | 2001-11-16 | Sony Corp | データ受信装置及び方法、データ送信装置及び方法 |
JP2005269473A (ja) | 2004-03-22 | 2005-09-29 | Mitsubishi Electric Corp | 監視システム |
JP2007158829A (ja) | 2005-12-06 | 2007-06-21 | Hitachi Kokusai Electric Inc | 画像処理装置、画像処理方法およびプログラム |
JP2014220723A (ja) | 2013-05-10 | 2014-11-20 | ソニー株式会社 | 表示制御装置、表示制御方法、およびプログラム |
JP2018506788A (ja) | 2015-04-03 | 2018-03-08 | 三菱電機株式会社 | 物体の再同定の方法 |
-
2018
- 2018-05-17 JP JP2018095389A patent/JP6997449B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001320437A (ja) | 2000-05-02 | 2001-11-16 | Sony Corp | データ受信装置及び方法、データ送信装置及び方法 |
JP2005269473A (ja) | 2004-03-22 | 2005-09-29 | Mitsubishi Electric Corp | 監視システム |
JP2007158829A (ja) | 2005-12-06 | 2007-06-21 | Hitachi Kokusai Electric Inc | 画像処理装置、画像処理方法およびプログラム |
JP2014220723A (ja) | 2013-05-10 | 2014-11-20 | ソニー株式会社 | 表示制御装置、表示制御方法、およびプログラム |
JP2018506788A (ja) | 2015-04-03 | 2018-03-08 | 三菱電機株式会社 | 物体の再同定の方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2019201344A (ja) | 2019-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11798211B2 (en) | Image processing system, image processing method and program, and device | |
US8675065B2 (en) | Video monitoring system | |
IL261696A (en) | System and method for training a classified object through computational learning | |
KR101570339B1 (ko) | 영상분석 서버를 통한 미래 발생범죄 예측 시스템 | |
US9807300B2 (en) | Display apparatus for generating a background image and control method thereof | |
CN104796756B (zh) | 图像记录*** | |
EP3471398B1 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
AU2012340862A1 (en) | Geographic map based control | |
KR20160126861A (ko) | 비디오 카메라 내의 비디오 스트림을 프로세싱하는 방법 및 디바이스 | |
US20150334299A1 (en) | Monitoring system | |
US20200145623A1 (en) | Method and System for Initiating a Video Stream | |
JP2013066016A (ja) | 輪郭抽出システム、輪郭抽出装置及び輪郭抽出プログラム | |
US20180213185A1 (en) | Method and system for monitoring a scene based on a panoramic view | |
JP6997449B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JPH09252467A (ja) | 移動体検出装置 | |
KR101374313B1 (ko) | 배경 영상을 제외한 단순화된 움직임 정보를 전송하고 아바타를 이용하여 디스플레이하는 장치와 그 방법 | |
US20210136327A1 (en) | Video summarization systems and methods | |
KR102056858B1 (ko) | 아이피(ip) 비디오 월 시스템 및 이의 구동방법 | |
JP6648923B2 (ja) | 制御装置、制御方法及びプログラム | |
JP5769468B2 (ja) | 物体検出システム及び物体検出方法 | |
KR101436283B1 (ko) | 영상분석 서버를 통한 미래 발생범죄 예측 시스템 | |
KR20180017329A (ko) | 촬상 장치 | |
JP7322972B2 (ja) | 物体検出方法 | |
JP2001094969A (ja) | 映像処理装置 | |
JP7004786B1 (ja) | 検出装置及び検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200529 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210427 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210511 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210712 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211210 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6997449 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |