JP5762250B2 - 画像信号処理装置および画像信号処理方法 - Google Patents
画像信号処理装置および画像信号処理方法 Download PDFInfo
- Publication number
- JP5762250B2 JP5762250B2 JP2011243491A JP2011243491A JP5762250B2 JP 5762250 B2 JP5762250 B2 JP 5762250B2 JP 2011243491 A JP2011243491 A JP 2011243491A JP 2011243491 A JP2011243491 A JP 2011243491A JP 5762250 B2 JP5762250 B2 JP 5762250B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image block
- current frame
- frame
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
具体的には、撮影した画像フレームを複数のブロックに分割し、各ブロックの平均輝度値およびフレーム全体の平均輝度値を算出し、現フレームと前フレームにおいて各ブロックの平均輝度値およびフレーム全体の平均輝度値を用いた差分演算を行い、差分演算で得られた値をあらかじめ設定した閾値と比較することにより、動きを含むブロックを検出する動き検出装置が開示されている(特許文献1参照)。
図1は、この発明の実施の形態1による画像信号処理装置の構成を示すブロック図である。
実施の形態1の画像信号処理装置10は、メモリ部1、画像情報抽出部2、オフセット算出部3、動き検出判定部4および表示制御部5で構成されている。また、画像信号処理装置10にはカメラ20が接続されており、該カメラ20が撮影した画像データが画像信号処理装置10に入力される。なお、この実施の形態1では、画像信号処理装置10が監視システムなどに適用される場合を想定し、動いている対象物の検出を例に説明する。そのため、画像信号処理装置10には、所定領域を撮影するカメラ20が接続され、撮影された画像データが画像処理装置10に入力される。以下では、カメラ20から入力されるリアルタイムの画像フレームデータを現フレームと称し、現フレームより前の異なる時間にカメラ20から入力された画像フレームデータを参照フレームと称して説明を行う。
画像情報抽出部2は、あらかじめ設定された分割数に基づいて画像フレームを水平方向および垂直方向に分割する。図2の例では画像フレーム30が水平方向に水平ブロック数bhおよび垂直方向に垂直ブロック数bvとなるように分割される。分割されたブロックがそれぞれ画像ブロック40を構成する。
動き検出判定部4は、画素差分値が閾値未満であると判定された画像ブロックについて、さらに画像情報抽出部2が抽出した輪郭情報を参照して輪郭情報の変化が閾値以上である画像ブロックについても動きを有する対象物が存在すると判定する。
図3は、この発明の実施の形態1による画像信号処理装置の動作を示すフローチャートである。
画像情報抽出部2は、カメラ20から画像データが入力されると(ステップST1)、入力された画像データである現フレームおよびメモリ部1に蓄積された参照フレームをあらかじめ設定された分割数で分割して複数の画像ブロックとし、各フレームの画像ブロック毎に輝度平均値および輪郭情報などの画像特徴情報を算出する(ステップST2)。オフセット算出部3は、ステップST2で算出された画像特徴情報の輝度平均値を参照し、現フレームと参照フレームにおける同位置の画像ブロックの輝度平均値差分を算出し、算出した輝度平均値差分があらかじめ設定された閾値以上であるか判定を行う(ステップST3)。ここで、同位置の画像ブロックとは、現フレームと参照フレームとのそれぞれにおいて水平位置と垂直位置が同一である画像ブロックである。
図4(a)に示した参照フレーム200、および図4(b)に示した現フレーム100は、共に水平ブロック数bh、垂直ブロック数bvで分割された複数の画像ブロックで構成され、対象物50が写っている。図4に示すように、対象物50の存在位置が参照フレーム200と現フレーム100において異なり、対象物50が動いていると判定された場合、現フレーム100内の対象物50を含むブロックそれぞれに対して動き検出マーク60を表示する。なお、参照フレーム200または/および現フレーム100において対象物50が写っていない場合も存在し、対象物50の存在の有無が本願発明に影響を与えるものではない。
上述した実施の形態1では、参照フレームとして、現フレームより前の異なる時間にカメラ20から入力された画像フレームデータを用いる構成を示したが、この実施の形態2では対象物が写っていない背景のみの画像フレームデータを背景参照フレームとして用いる構成を示す。
なお、この実施の形態2による画像信号処理装置10の構成要素は実施の形態1と同一であるため、画像信号処理装置10のブロック図の記載を省略し、実施の形態1で使用した符号と同一の符号を用いて説明を行う。
図5は、この発明の実施の形態2による画像信号処理装置10の表示結果を示す説明図である。図5(a)は背景参照フレームを示し、図5(b)は現フレームを示している。
図5に示すように、対象物が写っていない背景参照フレーム300を用いることにより、対象物が写っている参照フレームを用いる場合に比べて対象物50を容易に検出することができる。これは現フレーム100と背景参照フレーム300において、外光や照明の変化が除外された場合に現フレーム100と背景参照フレーム300とで画素差分を取ることにより、差分値が小さい領域は背景領域、差分値が大きい領域は対象物50が存在する領域として判定し易くなるためである。
上述した実施の形態1では、現フレームと参照フレームにおける同位置の画像ブロックの輝度平均値差分に基づいて、輝度変化があったか否かを判定し、輝度変化があったと判定した場合に動き検出用輝度値オフセットを考慮して動きを有する対象物の検出を行い、さらに動き非検出の場合に輪郭情報の変化を考慮して動きを有する対象物の検出を行うことにより、高精度な動き検出を実現している。一方、この実施の形態1の構成では、動いていた対象物が静止した場合、ユーザは画面上でそれまで動いていた対象物が存在したことを認識することが困難である。そこで、この実施の形態3では、動き検出した画像ブロックに所定時間マーカを付すことにより、監視対象を明確化する構成を示す。
動き検出判定部4は、実施の形態1で示した構成に加えて、フラグ設定部6およびフラグ判定部7を備えている。また、メモリ部1は、実施の形態1で示した構成に加え、フラグ判定部7が判定処理を行う際に必要となる情報を記憶する。
まず、ステップST1からステップST10まで、実施の形態1と同様の処理を行う。その後、ステップST8において、現フレームと参照フレームとの間に動き検出がなされたと判定した場合、フラグ設定部6は動き検出された画像ブロックの動き検出フラグを「ON」に設定する(ステップST21)。さらに、設定した動き検出フラグ、初期化したフラグ判定時間、および該画像ブロックの位置情報をメモリ部1に出力し、記憶させる(ステップST22)。その後、フローはステップST11の処理に進む。
この実施の形態4では、上述した実施の形態1の構成に加え、動き検出した画像ブロックのうち同一の動きをとる画像ブロックをグルーピングして表示する構成について示す。
図9は、この実施の形態4の画像信号処理装置の構成を示すブロック図である。
表示制御部5に、グルーピング処理部8を追加して設けている。
表示制御部5のグルーピング処理部8は、動き検出判定部4から入力された検出結果を参照し、動き検出された画像ブロックが複数存在するか判定を行う(ステップST31)。複数存在すると判定された場合(ステップST31;YES)、該複数の画像ブロックのうち、同一の動きベクトルを有する画像ブロックが存在するか判定を行う(ステップST32)。
Claims (8)
- 入力された画像データを蓄積する記憶手段と、
入力される画像データを現フレームとし、前記記憶手段に蓄積された前記現フレームから所定時間前の画像データを参照フレームとして取得し、前記現フレームおよび前記参照フレームを複数の画像ブロックに分割し、分割した画像ブロック毎に輝度平均値を抽出する画像情報抽出手段と、
前記画像情報抽出手段が抽出した輝度平均値を参照し、前記現フレームの画像ブロックの輝度平均値と、前記現フレームの画像ブロックと同一地点に位置する前記参照フレームの画像ブロックの輝度平均値との差分値が閾値以上であった場合に、前記現フレームの画像ブロックと前記参照フレームの画像ブロックとの間で輝度変化が発生したと判定すると共に、前記画像データの明るさの変化による輝度変化の変化量を差し引くためのオフセット値を算出するオフセット算出手段と、
前記オフセット算出手段が算出したオフセット値を考慮して、前記現フレームの画像ブロックの画素値と、前記現フレームの画像ブロックと同位置の前記参照フレームの画像ブロックの画素値との差分値が閾値以上であるか判定を行い、前記現フレームと前記参照フレームの画像ブロックの画素値の差分値が閾値以上であった場合に、当該画像ブロック内に動きを有する対象物が存在すると検出する動き検出判定手段とを備えた画像信号処理装置。 - 前記画像情報抽出手段は、前記分割した画像ブロック毎に輪郭情報を抽出し、
前記動き検出判定手段は、前記現フレームと前記参照フレームの画像ブロックの画素値の差分値が閾値未満であった場合に、前記画像情報抽出手段が抽出した輪郭情報を参照し、前記現フレームと前記参照フレームの画像ブロックの輪郭情報の変化量が閾値以上であるか判定を行い、前記現フレームと前記参照フレームの画像ブロックの輪郭情報の変化量が閾値以上であった場合に、当該画像ブロック内に動きを有する対象物が存在すると検出することを特徴とする請求項1記載の画像信号処理装置。 - 前記動き検出判定手段において動きを有する対象物が存在すると検出された前記現フレームの画像ブロックに、検出フラグをセットし、セットした検出フラグおよび検出フラグをセットした画像ブロックの位置情報を前記記憶手段に記憶させるフラグ設定手段と、
前記動き検出判定手段において動きを有する対象物が存在しないと検出された前記現フレームの画像ブロックについて、前記記憶手段を参照して当該現フレームの画像ブロックと同位置の画像ブロックの検出フラグがセットされているか否か判定を行い、検出フラグがセットされている場合に、さらに前記現フレームの画像ブロックに静止状態の対象物が存在するか否か判定を行うフラグ判定手段とを備えたことを特徴とする請求項1または請求項2記載の画像信号処理装置。 - 前記記憶手段は、画像フレームの記憶時間および前記検出フラグがセットされてからの経過時間を記憶し、
前記フラグ判定手段は、前記フレームの記憶時間と前記経過時間との差分値があらかじめ設定した閾値以下である場合に、前記動きを有する対象物が存在しないと検出された前記現フレームの画像ブロックに静止状態の対象物が存在すると判定することを特徴とする請求項3記載の画像信号処理装置。 - 前記動き検出判定手段が動きを有する対象物が存在すると検出した画像ブロックに、当該対象物の存在を示す表示を行う表示制御手段とを備えたことを特徴とする請求項1から請求項4のうちのいずれか1項記載の画像信号処理装置。
- 前記動き検出判定手段が動きを有する対象物が存在すると検出した画像ブロックに、当該対象物の存在を示す表示を行い、前記フラグ判定手段において画像ブロック内に静止状態の対象物が存在すると判定された画像ブロックに、当該対象物の停止を示す表示を行う表示制御手段を備えたことを特徴とする請求項3または請求項4記載の画像信号処理装置。
- 前記表示制御手段は、複数の画像ブロックをグルーピングするグルーピング処理手段を備え、
前記動き検出判定手段は、前記現フレームと前記参照フレームとを比較して前記動きを有する対象物が存在すると判定した画像ブロックの動きベクトルを算出し、
前記グルーピング処理手段は、前記動き検出判定手段が算出した動きベクトルを参照し、略同一のベクトル方向の動きベクトルを有する複数の画像ブロックをグルーピングし、
前記表示制御手段は、前記グルーピング処理手段がグルーピングした画像ブロックが同一の対象物を構成する旨を表示することを特徴とする請求項5または請求項6記載の画像信号処理装置。 - 入力された画像データを蓄積する記憶ステップと、
入力される画像データを現フレームとし、前記記憶ステップにて蓄積された前記現フレームから所定時間前の画像データを参照フレームとして取得し、前記現フレームおよび前記参照フレームを複数の画像ブロックに分割し、分割した画像ブロック毎に輝度平均値を抽出する画像情報抽出ステップと、
前記画像情報抽出ステップにて抽出した輝度平均値を参照し、前記現フレームの画像ブロックの輝度平均値と、前記現フレームの画像ブロックと同一地点に位置する前記参照フレームの画像ブロックの輝度平均値との差分値が閾値以上であった場合に、前記現フレームの画像ブロックと前記参照フレームの画像ブロックとの間で輝度変化が発生したと判定すると共に、前記画像データの明るさの変化による輝度変化の変化量を差し引くためのオフセット値を算出するオフセット算出ステップと、
前記オフセット算出ステップにて算出したオフセット値を考慮して、前記現フレームの画像ブロックの画素値と、前記現フレームの画像ブロックと同位置の前記参照フレームの画像ブロックの画素値との差分値が閾値以上であるか判定を行い、前記現フレームと前記参照フレームの画像ブロックの画素値の差分値が閾値以上であった場合に、当該画像ブロック内に動きを有する対象物が存在すると検出する動き検出判定ステップとを備えた画像信号処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011243491A JP5762250B2 (ja) | 2011-11-07 | 2011-11-07 | 画像信号処理装置および画像信号処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011243491A JP5762250B2 (ja) | 2011-11-07 | 2011-11-07 | 画像信号処理装置および画像信号処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013101419A JP2013101419A (ja) | 2013-05-23 |
JP2013101419A5 JP2013101419A5 (ja) | 2014-10-30 |
JP5762250B2 true JP5762250B2 (ja) | 2015-08-12 |
Family
ID=48622001
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011243491A Expired - Fee Related JP5762250B2 (ja) | 2011-11-07 | 2011-11-07 | 画像信号処理装置および画像信号処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5762250B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9020194B2 (en) * | 2013-06-14 | 2015-04-28 | Qualcomm Incorporated | Systems and methods for performing a device action based on a detected gesture |
JP5935779B2 (ja) * | 2013-09-30 | 2016-06-15 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP6297822B2 (ja) * | 2013-11-19 | 2018-03-20 | ルネサスエレクトロニクス株式会社 | 検知装置、検知システム及び検知方法 |
JP6655973B2 (ja) * | 2015-12-16 | 2020-03-04 | 三菱電機株式会社 | 車載表示制御装置 |
WO2019244341A1 (ja) * | 2018-06-22 | 2019-12-26 | 日本電気株式会社 | 処理装置、処理方法及びプログラム |
CN111127342B (zh) * | 2019-12-05 | 2023-08-08 | Oppo广东移动通信有限公司 | 一种图像处理方法、装置、存储介质以及终端设备 |
WO2021217428A1 (zh) * | 2020-04-28 | 2021-11-04 | 深圳市思坦科技有限公司 | 图像处理方法、装置、摄像设备和存储介质 |
CN117861082A (zh) * | 2024-03-12 | 2024-04-12 | 普希斯(广州)科技股份有限公司 | 美容仪控制方法、装置、设备及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4203736B2 (ja) * | 2002-09-09 | 2009-01-07 | 日本ビクター株式会社 | 画像の動き検出装置及びコンピュータプログラム |
-
2011
- 2011-11-07 JP JP2011243491A patent/JP5762250B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013101419A (ja) | 2013-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5762250B2 (ja) | 画像信号処理装置および画像信号処理方法 | |
US8773548B2 (en) | Image selection device and image selecting method | |
US9213896B2 (en) | Method for detecting and tracking objects in image sequences of scenes acquired by a stationary camera | |
WO2020029518A1 (zh) | 一种监控视频处理方法、装置及计算机可读介质 | |
US10791252B2 (en) | Image monitoring device, image monitoring method, and recording medium | |
US8355079B2 (en) | Temporally consistent caption detection on videos using a 3D spatiotemporal method | |
JP4373840B2 (ja) | 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置 | |
KR101750094B1 (ko) | 영상의 실시간 모니터링을 통한 비정상 집단행동 분류 방법 | |
JP2007156655A (ja) | 変動領域検出装置及びその方法 | |
KR101712136B1 (ko) | 열화상 카메라를 이용한 객체의 실신 상황 감지 방법 및 장치 | |
JP5060264B2 (ja) | 人物検出装置 | |
CN101715070B (zh) | 特定监控视频中的背景自动更新方法 | |
US10593044B2 (en) | Information processing apparatus, information processing method, and storage medium | |
JP2010057105A (ja) | オブジェクトの3次元追跡方法およびシステム | |
JP7125843B2 (ja) | 障害検知システム | |
US20210089818A1 (en) | Deposit detection device and deposit detection method | |
JP4780564B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
CN113936242B (zh) | 一种视频图像干扰检测方法、***、设备以及介质 | |
Xu et al. | Features based spatial and temporal blotch detection for archive video restoration | |
CN116228712A (zh) | 一种多尺度边坡灾害监测方法、***及装置 | |
CN115661194A (zh) | 一种运动目标提取方法、***、电子设备及介质 | |
JP2004295416A (ja) | 画像処理装置 | |
JP2012104053A (ja) | 背景差分処理装置、背景差分処理方法及びコンピュータプログラム | |
JP5838112B2 (ja) | 複数の被写体領域を分離する方法、プログラム及び装置 | |
KR20040078538A (ko) | 움직이는 타겟의 윤곽을 검지하는 화상 처리 장치 및 그방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140121 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140912 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141020 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141028 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150512 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150609 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5762250 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |