JP6851241B2 - 画像解析装置 - Google Patents
画像解析装置 Download PDFInfo
- Publication number
- JP6851241B2 JP6851241B2 JP2017071179A JP2017071179A JP6851241B2 JP 6851241 B2 JP6851241 B2 JP 6851241B2 JP 2017071179 A JP2017071179 A JP 2017071179A JP 2017071179 A JP2017071179 A JP 2017071179A JP 6851241 B2 JP6851241 B2 JP 6851241B2
- Authority
- JP
- Japan
- Prior art keywords
- region
- extraction
- image
- density
- degree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 claims description 154
- 238000004458 analytical method Methods 0.000 claims description 55
- 238000010191 image analysis Methods 0.000 claims description 21
- 238000003384 imaging method Methods 0.000 claims description 20
- 239000000284 extract Substances 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 description 35
- 238000000034 method Methods 0.000 description 30
- 230000006399 behavior Effects 0.000 description 28
- 238000004891 communication Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 16
- 230000010354 integration Effects 0.000 description 14
- 238000012544 monitoring process Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 238000012986 modification Methods 0.000 description 12
- 230000004048 modification Effects 0.000 description 12
- 230000008859 change Effects 0.000 description 10
- 238000012806 monitoring device Methods 0.000 description 10
- 238000012706 support-vector machine Methods 0.000 description 9
- 230000009471 action Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 2
- 238000005206 flow analysis Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 241001494479 Pecora Species 0.000 description 1
- 206010034719 Personality change Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
図1は画像監視装置1の概略の構成を示すブロック図である。画像監視装置1は、撮影部2、通信部3、記憶部4、画像処理部5、および表示部6からなる。
図2は画像監視装置1の機能を示す機能ブロック図である。通信部3は画像取得手段30および要注視情報出力手段31等として機能し、記憶部4は密度推定器記憶手段40および全体識別器記憶手段41等として機能する。画像処理部5は、密度推定手段50、抽出基準設定手段51、全体撮影度推定手段52、軽度隠蔽領域抽出手段53および物体情報解析手段54等として機能する。
その際に、抽出基準設定手段51は、密度推定手段50から入力された密度分布を参照し、軽度隠蔽領域の候補である候補領域ごとに当該候補領域の密度に応じて抽出基準を変更する。
すなわち、抽出基準設定手段51は、撮影画像において、密度に応じた高さの抽出閾値を、次式に従って設定する。
TE(i)=TMIN+α×D(i) (1)
ただし、TE(i)は代表点が画素iである候補領域の抽出閾値、TMINは下限閾値、αは係数、D(i)は画素iにおける密度である。密度D(i)は画素iにおける推定密度の代表値であり、低密度クラスの推定密度の代表値を1人/m2、中密度クラスの推定密度の代表値を3人/m2、高密度クラスの推定密度の代表値を6人/m2などとすることができる。下限閾値TMINは、事前の実験を通じて0以上の値に予め定められ、例えば0である。また係数αは事前の実験を通じて予め定められた正の値である。
または、α×D(i)の代わりに予め定めた単調増加関数f(D(i))を用いてもよいし、式(1)の代わりに密度と抽出閾値の関係をテーブル化して定めておいてもよい。
このように密度が低い候補領域ほど低く密度が高い候補領域ほど高い抽出閾値が設定される。
具体的には、抽出基準設定手段51は、統合が候補領域間の重複割合に基づいて行われる場合は、統合閾値を密度が低い候補領域ほど小さく、密度が高い候補領域ほど大きく設定する。統合が候補領域間の距離に基づいて行われる場合は、抽出基準設定手段51は、統合閾値を密度が低い候補領域ほど大きく、密度が高い候補領域ほど小さく設定する。
そして、全体撮影度推定手段52は、画素ごとに当該画素に対応して抽出した識別用特徴量を全体識別器に入力することによってその出力値であるスコアを取得する。
そして、軽度隠蔽領域抽出手段53は、特定した候補領域のうち互いに近接する複数の候補領域を一つに統合し、統合した候補領域を軽度隠蔽領域と決定する。統合するか否かの判定は候補領域に対応する画素の抽出基準に含まれる統合閾値を用いて行う。
そして、軽度隠蔽領域抽出手段53は、比較領域のうち当該比較領域と注目領域との重複割合が当該注目領域の統合閾値より大きい比較領域の情報を削除することで複数の候補領域を一つに統合する。
なお、重複割合の代わりに距離を用いる場合は、軽度隠蔽領域抽出手段53は、比較領域のうち当該比較領域と注目領域との距離が当該注目領域の統合閾値より小さい比較領域の情報を削除することで複数の候補領域を一つに統合する。
なお、低いピークをより確実に除外するために、軽度隠蔽領域抽出手段53は、全体撮影度が予め定めた足切り閾値より低い局所領域にはピーク強調フィルタを施さずに、上述した下限閾値TMINよりも低い値を設定するのが好適である。
または、ピーク強調フィルタを、DoG(Difference-of-Gaussian)フィルタ、LoG(Laplacian of Gaussian)フィルタ、ブロブ(Blob)フィルタなど種々の公知のフィルタとしてもよい。
また、物体情報解析手段54は、軽度隠蔽領域ごとの推定値と要注視行動の各姿勢に対応する参照値との相違度を算出して各相違度を判定閾値TPと比較する。
また、物体情報解析手段54は、相違度が判定閾値TP以下である軽度隠蔽領域が抽出された場合に、当該軽度隠蔽領域に撮影されている人の行動が要注視行動であると判定して、撮影画像、当該軽度隠蔽領域および当該軽度隠蔽領域における人の姿勢の推定値等を含めた要注視情報を要注視情報出力手段31に出力する。
また、本実施形態においては、物体の集団の情報についての要注視基準は、集団の中の少数の人が逆行などの要注視行動をとった場合の、局所方向分布と全体方向分布の間の距離が要注視行動を表すか否かを判定するための判定閾値TMである。具体的には、物体情報解析手段54は、局所方向分布のそれぞれと全体方向分布との間の距離を算出して各距離を判定閾値TMと比較する。
そして、物体情報解析手段54は、距離が判定閾値TM以上である局所領域が検出された場合に、混雑領域に撮影されている集団において要注視行動が発生しているとして、撮影画像、検出された局所領域の局所方向分布および全体方向分布等を含めた要注視情報を要注視情報出力手段31に出力する。
図3〜図5のフローチャートを参照して画像監視装置1の動作を説明する。
軽度隠蔽領域抽出手段53は、抽出結果を物体情報解析手段54に入力する。
図6〜図9を参照して、軽度隠蔽領域を抽出する処理の例を説明する。
位置611の密度が低密度であることに応じて低く設定した抽出閾値によって当該位置611の候補領域はより確実に正しく軽度隠蔽領域として抽出され、さらにはピーク形状を強調して補正済み全体撮影度911を抽出閾値と比較することによってさらに確実に正しく軽度隠蔽領域として抽出されるようになる。
しかし、位置612の密度が低密度であることに応じて低く設定した抽出閾値によって当該位置612の候補領域は正しく軽度隠蔽領域として抽出されるようになり、さらにはピーク形状を強調して補正済み全体撮影度912を抽出閾値と比較することによってさらに確実に正しく軽度隠蔽領域として抽出されるようになる。
しかし、位置613の密度が中密度であることに応じて高く設定した抽出閾値によって当該位置613の候補領域は誤抽出されなくなる、さらには補正済み全体撮影度913もピーク強調フィルタによって過剰に高い値となることはなく誤抽出されない。
位置614の密度が高密度であることに応じて高く設定した抽出閾値によっても当該位置614の候補領域は正しく軽度隠蔽領域として抽出され、さらにはピーク形状を強調して補正済み全体撮影度914もピーク強調フィルタによって抽出閾値と比較することによってさらに確実に正しく軽度隠蔽領域として抽出されるようになる。
(1)上記実施形態においては、解析対象の物体を人とする例を示したが、これに限らず、解析対象の物体を車両、牛や羊等の動物等とすることもできる。
或いは識別型のCNNを用いた密度推定器とすることもできる。
すなわち、例えば、抽出基準設定手段51および全体撮影度推定手段52のそれぞれは、推定密度が背景クラス以外(低密度クラス、中密度クラスおよび高密度クラス)の領域に限定して候補領域を設定してもよい。
または、密度推定手段50、抽出基準設定手段51および全体撮影度推定手段52のそれぞれは、変化領域内に限定して候補領域を設定してもよい。その場合、記憶部4は監視空間の背景画像を記憶する背景画像記憶手段(不図示)を備え、画像処理部5は、撮影画像と背景画像との差分処理を行って差分値が所定の差分閾値以上である画素の集まりを変化領域として抽出する、または撮影画像と背景画像との相関処理を行って相関値が所定の相関閾値以下である画素の集まりを変化領域として抽出する変化領域抽出手段(不図示)を備え、密度推定手段50、抽出基準設定手段51および全体撮影度推定手段52のそれぞれは、変化領域抽出手段が抽出した変化領域を参照して候補領域を設定する。なお、変化領域を用いる場合、撮影部2の視野は固定することが好適である。
このような候補領域を設定する領域の限定によって、背景に対する高いスコアの偶発的な算出を防止でき、軽度隠蔽領域の誤抽出を低減できる。
31・・・要注視情報出力手段
40・・・密度推定器記憶手段
41・・・全体識別器記憶手段
50・・・密度推定手段
51・・・抽出基準設定手段
52・・・全体撮影度推定手段
53・・・軽度隠蔽領域抽出手段
54・・・物体情報解析手段
Claims (6)
- 所定の物体による混雑が生じ得る空間が撮影された撮影画像から前記物体についての情報を解析する画像解析装置であって、
所定の密度ごとに当該密度にて前記物体が存在する空間を撮影した密度画像それぞれの特徴を学習した密度推定器を用いて、前記撮影画像に撮影されている前記物体の前記密度の分布を推定する密度推定手段と、
単独の前記物体の全体が撮影された全体画像の特徴を学習した全体識別器を用いて、前記撮影画像に前記物体の全体が撮影されている度合いを表す全体撮影度の分布を推定する全体撮影度推定手段と、
単独の前記物体についての所定の物体情報の解析に要する軽度な隠蔽状態の前記物体が撮影されている軽度隠蔽領域を抽出するための抽出基準を設定する抽出基準設定手段と、
前記撮影画像から前記全体撮影度が前記抽出基準を満たす前記軽度隠蔽領域を抽出する軽度隠蔽領域抽出手段と、
前記軽度隠蔽領域における前記撮影画像から単独の前記物体についての前記物体情報を解析する物体情報解析手段と、
を備え、
前記抽出基準設定手段は、前記軽度隠蔽領域の候補である候補領域ごとに当該候補領域の前記密度に応じて前記抽出基準を変更することを特徴とする画像解析装置。
- 前記抽出基準設定手段は、前記撮影画像において、前記密度が低い前記候補領域ほど前記軽度隠蔽領域が抽出されやすい前記抽出基準を設定し、前記密度が高い前記候補領域ほど前記軽度隠蔽領域が抽出されにくい前記抽出基準を設定する、請求項1に記載の画像解析装置。
- 前記抽出基準設定手段は、前記密度に応じた高さの抽出閾値を設定し、
前記軽度隠蔽領域抽出手段は、前記撮影画像から少なくとも前記全体撮影度が前記抽出閾値以上である前記軽度隠蔽領域を抽出する、
請求項2に記載の画像解析装置。
- 前記軽度隠蔽領域抽出手段は、前記撮影画像の局所領域ごとに当該局所領域における前記全体撮影度の尖鋭度が高いほど当該局所領域における前記全体撮影度を強調する補正を施し、前記補正後の全体撮影度が前記抽出基準を満たす前記軽度隠蔽領域を抽出する、請求項1〜3のいづれかひとつに記載の画像解析装置。
- 前記物体情報解析手段は、前記軽度隠蔽領域以外の前記密度が少なくとも0よりも大きな領域の前記撮影画像から前記物体の集団の情報を解析する、請求項1〜4のいづれかひとつに記載の画像解析装置。
- 所定の物体による混雑が生じ得る空間が撮影された撮影画像から前記物体についての情報を解析する画像解析装置であって、
単独の前記物体の全体が撮影された全体画像の特徴を学習した全体識別器を用いて、前記撮影画像に前記物体の全体が撮影されている度合いを表す全体撮影度の分布を推定する全体撮影度推定手段と、
単独の前記物体についての所定の物体情報の解析に要する軽度な隠蔽状態の物体が撮影されている軽度隠蔽領域を抽出するための抽出基準を設定する抽出基準設定手段と、
前記撮影画像から前記全体撮影度が前記抽出基準を満たす前記軽度隠蔽領域を抽出する軽度隠蔽領域抽出手段と、
前記軽度隠蔽領域における前記撮影画像から単独の前記物体についての前記物体情報を解析する物体情報解析手段と、
を備え、
前記軽度隠蔽領域抽出手段は、前記撮影画像の局所領域ごとに当該局所領域における前記全体撮影度の尖鋭度が高いほど当該局所領域における前記全体撮影度を強調する補正を施し、前記補正後の全体撮影度が前記抽出基準を満たす前記軽度隠蔽領域を抽出することを特徴とする画像解析装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017071179A JP6851241B2 (ja) | 2017-03-31 | 2017-03-31 | 画像解析装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017071179A JP6851241B2 (ja) | 2017-03-31 | 2017-03-31 | 画像解析装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018173799A JP2018173799A (ja) | 2018-11-08 |
JP2018173799A5 JP2018173799A5 (ja) | 2020-02-06 |
JP6851241B2 true JP6851241B2 (ja) | 2021-03-31 |
Family
ID=64107735
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017071179A Active JP6851241B2 (ja) | 2017-03-31 | 2017-03-31 | 画像解析装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6851241B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116862919B (zh) * | 2023-09-05 | 2023-12-05 | 武汉工程大学 | 基于高斯超拉普拉斯分布的线结构光中心提取方法及装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5027741B2 (ja) * | 2008-06-18 | 2012-09-19 | セコム株式会社 | 画像監視装置 |
JP5027758B2 (ja) * | 2008-08-19 | 2012-09-19 | セコム株式会社 | 画像監視装置 |
JP2010237872A (ja) * | 2009-03-30 | 2010-10-21 | Sogo Keibi Hosho Co Ltd | 人物領域検出装置、人物領域検出方法、及び人物領域検出プログラム |
JP5394952B2 (ja) * | 2010-03-03 | 2014-01-22 | セコム株式会社 | 移動物体追跡装置 |
JP5687082B2 (ja) * | 2011-01-31 | 2015-03-18 | セコム株式会社 | 移動物体追跡装置 |
JP5841390B2 (ja) * | 2011-09-30 | 2016-01-13 | セコム株式会社 | 移動物体追跡装置 |
JP6309913B2 (ja) * | 2015-03-31 | 2018-04-11 | セコム株式会社 | 物体検出装置 |
JP6628494B2 (ja) * | 2015-04-17 | 2020-01-08 | Kddi株式会社 | 実空間情報によって学習する識別器を用いて物体を追跡する装置、プログラム及び方法 |
JP6577397B2 (ja) * | 2015-08-27 | 2019-09-18 | 株式会社東芝 | 画像解析装置、画像解析方法、画像解析プログラム、および画像解析システム |
JP6444283B2 (ja) * | 2015-08-31 | 2018-12-26 | セコム株式会社 | 姿勢判定装置 |
-
2017
- 2017-03-31 JP JP2017071179A patent/JP6851241B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018173799A (ja) | 2018-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11470241B2 (en) | Detecting facial expressions in digital images | |
US9247155B2 (en) | Method and system for robust scene modelling in an image sequence | |
JP6494253B2 (ja) | 物体検出装置、物体検出方法、画像認識装置及びコンピュータプログラム | |
EP2079039A2 (en) | Face collation apparatus | |
US10529103B2 (en) | Image processing apparatus and method for collating a plurality of images | |
US20120288198A1 (en) | Information processing apparatus, information processing method, and non-transitory computer-readable storage medium | |
US10096117B2 (en) | Video segmentation method | |
KR20180109665A (ko) | 객체 검출을 위한 영상 처리 방법 및 장치 | |
JP5106356B2 (ja) | 画像監視装置 | |
JP6654789B2 (ja) | 変化点で複数候補を考慮して物体を追跡する装置、プログラム及び方法 | |
US20160261808A1 (en) | Information processing apparatus, information processing method, and storage medium | |
CN110059666B (zh) | 一种注意力检测方法及装置 | |
CN109255360B (zh) | 一种目标分类方法、装置及*** | |
JP7354767B2 (ja) | 物体追跡装置および物体追跡方法 | |
KR20190093799A (ko) | Cctv를 통한 실시간 실종자 얼굴 인식 시스템 및 그 방법 | |
CN115346060A (zh) | 画面异常识别方法、装置、电子设备和存储介质 | |
CN111444758A (zh) | 一种基于时空信息的行人重识别方法及装置 | |
JP7005213B2 (ja) | 画像解析装置 | |
JP6851241B2 (ja) | 画像解析装置 | |
US10916016B2 (en) | Image processing apparatus and method and monitoring system | |
JP2009044526A (ja) | 撮影装置、撮影方法、人物認識装置および人物認識方法 | |
JP2021149687A (ja) | 物体認識装置、物体認識方法及び物体認識プログラム | |
JP6893812B2 (ja) | 物体検出装置 | |
JP6920944B2 (ja) | 物体検出装置 | |
CN117280708A (zh) | 利用基于ai的对象识别的监控摄像机的快门值调节 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191216 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210302 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210309 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6851241 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |