JP4628860B2 - 画像センサ - Google Patents
画像センサ Download PDFInfo
- Publication number
- JP4628860B2 JP4628860B2 JP2005137867A JP2005137867A JP4628860B2 JP 4628860 B2 JP4628860 B2 JP 4628860B2 JP 2005137867 A JP2005137867 A JP 2005137867A JP 2005137867 A JP2005137867 A JP 2005137867A JP 4628860 B2 JP4628860 B2 JP 4628860B2
- Authority
- JP
- Japan
- Prior art keywords
- region
- distance
- object candidate
- area
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003860 storage Methods 0.000 claims description 33
- 238000004364 calculation method Methods 0.000 claims description 32
- 238000003384 imaging method Methods 0.000 claims description 31
- 230000008859 change Effects 0.000 claims description 30
- 238000012544 monitoring process Methods 0.000 claims description 28
- 238000009434 installation Methods 0.000 claims description 20
- 239000000284 extract Substances 0.000 claims description 5
- 230000004075 alteration Effects 0.000 claims description 2
- 238000000034 method Methods 0.000 description 40
- 238000012545 processing Methods 0.000 description 40
- 230000008569 process Effects 0.000 description 31
- 230000005856 abnormality Effects 0.000 description 22
- 238000001514 detection method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 9
- 238000000605 extraction Methods 0.000 description 6
- 230000005484 gravity Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008034 disappearance Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Description
しかしながら、従来の侵入物検出装置では、画像から実空間上の移動距離を求めて移動物体の移動速度を算出するために、遠方に存在する移動物体に対しては移動速度の計測精度が低下するという問題がある。
例えば、撮像範囲を広範とするためにカメラ光軸の俯角を小さくするように設置した場合、入力画像にはカメラ近傍から遠方までが含まれることとなるが、従来の侵入物検出装置による手法では、カメラ近傍に存在する侵入者しか検出することができず、遠方に存在する侵入者を検出することが困難となる。
他方、撮像画像に写り込む物体の位置が近傍となる程、画像上での移動距離は長くなるが、画像上での移動距離を変換して得られた実空間上の距離は、信頼性の高い値となる。
本発明によれば、実空間上の距離の信頼性が低くなる遠方の領域については、実空間上の距離に依存することなく移動物体を追跡(トラッキング)することが可能となり、遠方の移動物体であっても追跡することが可能となる。
本発明の画像センサは、監視空間を撮像した画像において、撮像画像に写り込んだ遠方の領域を抽出し、この遠方の領域とそれ以外の領域とで異なるロジックにより移動物体のトラッキング処理を実行して、移動物体を検出するものである。
本実施の形態では、検出対象となる移動物体として監視空間内に侵入した人間(侵入者)を検出する例について説明する。
画像センサ1は、図1に示すように、撮像部10、記憶部20、画像処理部30、出力部40を含んで構成される。以下に各部を説明する。
設置情報とは、撮像部10の設置環境を示す情報で、撮像部10の設置高Hと撮像部10の俯角Φと、撮像部10より得られる画像の垂直方向(Y軸)画素数Y及び水平方向(X軸)画素数Xと、垂直画角θh及び水平画角θvとを含んでいる。画素数Y及び画素数Xは、撮像部10が出力する撮像画像から得てもよく、また、垂直画角θh及び水平画角θvは撮像部10に含まれる撮像装置の焦点距離から算出してもよい。
遠方領域情報とは、画像中の消失線周りに広がる遠方を写し込んだ領域を特定する情報である。遠方領域情報は、設置情報に基づき遠方領域設定部31によって算出されて記憶される。
画像処理部30は、遠方領域設定部31と、変動領域抽出部32と、物体候補検出部33と、存在位置判定部34と、物体候補追跡部35と、画像距離算出部36と、特徴算出部37と、異常判定部38とを含んで構成される。物体候補追跡部35は、実距離追跡部351と画素距離追跡部352とを含んでいる。
遠方領域設定部31は、記憶部20に記憶された設置情報に基づき、撮像部10が撮像する画像において、消失点(無限遠点)の集合となる消失線の周りに広がる領域を遠方領域として算出し、この遠方領域を特定するための座標情報を遠方領域情報として記憶部20に記憶する。遠方領域の算出方法の詳細については後述する。
なお、背景画像は、所定時間毎に撮像された画像で更新する構成としてもよい。また、所定フレーム前に取得された撮像画像を背景画像として用いることにより、フレーム間における差分画像を求めてもよい。
なお、物体候補領域の重心座標を算出し、この重心座標が遠方領域上に位置する場合に物体候補領域が遠方領域上に存在すると判定してもよく、他、物体候補領域が遠方領域上に完全に含まれる場合にのみ物体候補領域が遠方領域上に存在すると判定してもよい。
また、直前フレームの物体候補領域と対応付けがなされない場合、現フレームで抽出された物体候補領域は監視空間に新規に出現した物体候補領域として判定される。新規に出現した物体候補領域は、その重心点の座標が出現位置座標として記憶部20に記憶される。
まず、物体候補領域が遠方領域上に位置していない場合について説明する。図4は、連続するフレームの差分2値画像であり、物体候補領域が遠方領域外で抽出された例を説明する図である。
図4に示すように、直前フレームの物体候補領域及び現フレームの物体候補領域の何れも遠方領域上に位置していない(遠方領域外に位置している)場合、実距離追跡部351によりトラッキング処理が行われる。実距離追跡部351は、トラッキングの検索範囲を、監視空間における実空間上の距離(実距離)に基づき設定して、検索範囲内の物体候補領域を探索する。即ち、物体候補領域が移動した(両フレームにおける物体候補領域間の)実距離に基づきトラッキング処理を行う。実距離追跡部351は、現フレームにおいて、直前フレームの物体候補領域の重心座標と現フレームの物体候補領域の重心座標との間の実距離が、トラッキングの検索範囲内となる物体候補領域を探索する。トラッキングの検索範囲として設定される実距離は、人の移動速度に基づき設定され、例えば、5フレーム/秒で撮像画像を取得している場合は200cmなどに設定される。実距離追跡部351にてトラッキング処理に用いられる実距離は、画像距離算出部36にて算出される。
本実施の形態では、物体間の実距離を重心間距離で算出する例について説明する。ここで、物体候補領域の重心位置は、床面からHman/2の位置にあると仮定している。Hmanは検出対象の物体となる人間の身長に基づき設定された値で、予め記憶部20に記憶されている。
図5は、撮像部と物体との間を側面から見たときの説明図である。
まず、物体が写り込んだ物体候補領域の重心座標を(xg,yg)とすると、図5に示すように、撮像部10に含まれる撮像装置と物体間を側面から見たときの床面上の距離dgは、記憶部20に記憶された設置情報に基づき数1の式を用いて算出することができる。
次に、図6に示すように、撮像装置と物体間を鉛直方向(図5中矢印Q方向)から見た床面上の距離agは、記憶部20に記憶された設置情報に基づき数2の式を用いて算出することができる。
図7に示すように、直前フレームの物体候補領域又は現フレームの物体候補領域の少なくとも何れか一方が遠方領域上に位置している場合、画素距離追跡部352によりトラッキング処理が行われる。画素距離追跡部352は、両フレーム間におけるトラッキングの検索範囲を、撮像画像上における画素数(画素距離)に基づき設定して、検索範囲内の物体候補領域を探索する。即ち、物体候補領域が移動した(両フレームにおける物体候補領域間の)画素距離に基づきトラッキング処理を行う。画素距離追跡部352は、直前フレームの物体候補領域の重心座標と現フレームの物体候補領域の重心座標との間の画素距離が、トラッキングの検索範囲内となる物体候補領域を探索する。検索範囲として設定される画素距離は、外乱を除去できる程度の値に設定され、例えば、5フレーム/秒で撮像画像を取得している場合は70pixelなどに設定される。
遠方領域設定部31は、画像距離算出部36により撮像画像上の座標(画素)に対応する実距離の変化率を算出し、算出された実距離の変化率に基づき遠方領域を設定する。
画像の垂直方向(Y軸)の画素列には、監視空間の奥行き方向の情報が表れている。そこで、撮像画像のY軸上における物体候補領域の重心座標yg1に対する実距離の変化率、詳しく言えば、Y軸上の座標yg1の値が1画素ずれたときに座標yg1に関して計算される実距離Dがどの程度変化するか、を調べるには実距離Dの導関数を計算すればよい。この結果、導関数の値が大きい箇所は座標yg1の値が変化したときに実距離Dの変化が大きく距離分解能が低いところ、その逆は座標yg1の値が変化したときに実距離Dの変化が小さく距離分解能が高いところとなる。
今、任意の2つの物体候補領域の重心座標(xg1,yg1)(xg2,yg2)間の実距離DをY軸上の座標yg1の関数としてみたときに、座標yg1に対する実距離Dの変化率(導関数)rgは、数4の式を用いて算出することができる。
図8において、漸近線は、Y軸上の座標yg1に対して実距離Dの変化率rgが無限大となる位置を示しており、消失線を表している。即ち、図8における漸近線のyg1軸座標は、撮像画像のY軸上における消失線の座標となる。
本実施の形態では、物体特徴量として、物体候補領域に写り込んだ物体の移動量を算出する例について説明する。移動量は、異なる時刻に取得された撮像画像において、物体候補追跡部35により同一の物体であると対応付けられた物体候補領域同士の距離に基づくものである。
また、特徴算出部37は、画素距離追跡部352により同一の物体であるとラベリングされた物体候補領域について記憶されている出現位置座標を記憶部20から読み出して、この出現位置座標と、対応する現フレームの物体候補領域の重心座標との間の画素距離を物体の画素距離移動量として算出する。
また、異常判定部38は、特徴算出部37から入力された画素距離移動量が所定画素距離以上となる場合に、対応する物体候補領域は侵入者であると判定し、異常発生と判定する。所定画素距離は、画素距離追跡部352にてトラッキングした物体候補領域が人であるか否かを判定するしきい値であり、監視空間内の遠方領域を人が移動する際の画素距離などを基準として外乱を除去できる程度の所定画素数に設定され、例えば50pixel等に任意に設定される。
なお、出力部40は、警備装置や遠隔の監視センタなどと通信線により接続され、画像処理部30から入力された異常信号を通信線に送出する通信I/Fとして構成されてもよい。
次に、撮像部10により監視空間の画像が取得される。撮像画像は、画像処理部30に出力される(ST2)。
他方、撮像画像に変動領域が含まれていれば(ST3−Yes)、物体候補検出部33にて各変動領域に固有のラベルが付与されるとともに背景画像とのテクスチャ類似度が算出され、テクスチャ類似度が所定値以下の変動領域が物体候補領域として検出される(ST4)。
物体候補領域m及び物体候補領域nの双方が、ステップST1で算出された遠方領域の領域上に存在しない場合、即ち遠方領域外に位置する場合(図4参照)(ST507−Yes)、実距離追跡部351にて実距離によるトラッキング処理が行われる(ST508)。
検索範囲内に物体候補領域mが存在すれば、即ち、物体候補領域nと物体候補領域mとの間の実距離が検索範囲以内であれば(ST510−Yes)、物体候補領域nと物体候補領域mとの類似度が算出される(ST511)。
検索範囲内に物体候補領域mが存在すれば、即ち、物体候補領域nと物体候補領域mとの間の画素距離が検索範囲以内であれば(ST515−Yes)、物体候補領域nと物体候補領域mとの類似度が算出される(ST516)。
次に、現フレームにおいて、直前フレームの何れの物体候補領域とも対応付けがなされなかった物体候補領域mnewが存在する場合(ST525−Yes)、物体候補領域mnewに写り込んだ物体は監視空間に新規に出現した物体と判定して、物体候補領域mnewの重心座標を出現位置座標として記憶部20に記憶する。
サブルーチン内の処理が終了すると、メインルーチンに処理を戻す。
次に、物体候補領域mが、監視空間に新規に出現した物体(物体候補領域mnew)であるか否かが判定される(ST602)。新規に出現した物体であれば(ST602−Yes)、ST607へと進む。
他方、画素距離でトラッキング処理されていれば(ST604−No)、物体候補領域mの現在の重心座標と出現位置座標との間の画素距離を算出し、画素距離移動量として記憶部20に記憶する(ST605)。
異常判定部38が侵入者なしと判定した場合(ST7−No)、又は、出力部40が異常発生を報知した後には、ステップST2へ戻り、次の撮像画像取得タイミングにて次のフレームとなる撮像画像を取得する。
Claims (3)
- 撮像部にて順次取得される監視空間の撮像画像と過去の画像との差分から変動領域を抽出するとともに該変動領域の移動を追跡する画像センサであって、
前記撮像画像において前記監視空間の遠方が写り込んだ領域を遠方領域として設定する遠方領域設定部と、
前記撮像部の設置高・俯角・画角を含む設置情報、前記遠方領域、及び抽出した変動領域の位置を記憶する記憶部と、
前記変動領域が前記遠方領域に位置しているか否かを判定する存在位置判定部と、
前記設置情報に基づいて前記撮像画像上の距離を前記監視空間上の実距離に変換する画像距離算出部と、
前記存在位置判定部が時間的に前後して抽出された変動領域の少なくとも一方の位置を前記遠方領域内と判定すれば当該変動領域間の前記撮像画像上の距離を対応付けの条件とし、前記存在位置判定部が時間的に前後して抽出された変動領域の両方の位置を前記遠方領域外と判定すれば当該変動領域間の前記実距離を対応付けの条件として変動領域の移動を追跡する追跡部と、
を備え、
前記遠方領域設定部は、前記撮像画像において隣接画素間の前記実距離が予め設定された基準を超える領域を前記遠方領域として設定することを特徴とした画像センサ。 - 前記遠方領域設定部は、前記隣接画素間の実距離が第一のしきい値以上である領域を前記遠方領域として設定する請求項1に記載の画像センサ。
- 前記遠方領域設定部は、前記隣接画素間の実距離の変化率を算出し、該変化率が第二のしきい値以上である領域を前記遠方領域として設定する請求項1に記載の画像センサ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005137867A JP4628860B2 (ja) | 2005-05-10 | 2005-05-10 | 画像センサ |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005137867A JP4628860B2 (ja) | 2005-05-10 | 2005-05-10 | 画像センサ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006318064A JP2006318064A (ja) | 2006-11-24 |
JP4628860B2 true JP4628860B2 (ja) | 2011-02-09 |
Family
ID=37538720
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005137867A Active JP4628860B2 (ja) | 2005-05-10 | 2005-05-10 | 画像センサ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4628860B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009295063A (ja) * | 2008-06-09 | 2009-12-17 | Meidensha Corp | 侵入物検知装置 |
JP5261331B2 (ja) * | 2009-09-11 | 2013-08-14 | 富士フイルム株式会社 | 画像解析装置、画像解析方法およびプログラム |
JP5877722B2 (ja) * | 2012-01-18 | 2016-03-08 | セコム株式会社 | 画像監視装置 |
JP6614611B2 (ja) * | 2016-02-29 | 2019-12-04 | Kddi株式会社 | 画像間類似度を考慮して物体を追跡する装置、プログラム及び方法 |
JP6866581B2 (ja) * | 2016-06-30 | 2021-04-28 | 株式会社ニコン | 撮像装置および電子部品 |
JP6996353B2 (ja) * | 2018-03-06 | 2022-01-17 | トヨタ自動車株式会社 | 物体認識装置及び車両走行制御システム |
JP7511540B2 (ja) | 2021-12-22 | 2024-07-05 | 三菱重工業株式会社 | 対象物検知装置、対象物検知方法及び対象物検知プログラム |
CN116170693B (zh) * | 2023-04-25 | 2023-07-21 | 山西乐宸科技有限公司 | 一种安防监控***控制方法、装置、电子设备及存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3083918B2 (ja) * | 1992-06-26 | 2000-09-04 | 本田技研工業株式会社 | 画像処理装置 |
JP3153718B2 (ja) * | 1994-11-07 | 2001-04-09 | ニッタン株式会社 | 侵入物検出装置および侵入物検出方法 |
JPH11222882A (ja) * | 1998-02-05 | 1999-08-17 | Komatsu Ltd | 危険領域監視装置 |
JPH11252587A (ja) * | 1998-03-03 | 1999-09-17 | Matsushita Electric Ind Co Ltd | 物体追跡装置 |
-
2005
- 2005-05-10 JP JP2005137867A patent/JP4628860B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2006318064A (ja) | 2006-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4628860B2 (ja) | 画像センサ | |
KR102213328B1 (ko) | 영상 처리장치, 영상 처리방법 및 프로그램 | |
US10212324B2 (en) | Position detection device, position detection method, and storage medium | |
KR100519782B1 (ko) | 스테레오 카메라를 이용한 사람 검출 방법 및 장치 | |
JP4429298B2 (ja) | 対象個数検出装置および対象個数検出方法 | |
JP6806188B2 (ja) | 情報処理システム、情報処理方法及びプログラム | |
KR20080020595A (ko) | 보안 어플리케이션을 위한 사람을 감지하고 추적하는시스템 | |
JPWO2010140578A1 (ja) | 画像処理装置、画像処理方法、及び画像処理用プログラム | |
JP5262705B2 (ja) | 運動推定装置及びプログラム | |
JP2002024807A (ja) | 物体運動追跡手法及び記録媒体 | |
KR101972582B1 (ko) | Ptz 촬상장치 기반 변위 측정 시스템 및 방법 | |
KR102295183B1 (ko) | Cctv 프로젝션 모델을 이용한 cctv 영상의 객체 추적 방법 | |
JP2006236184A (ja) | 画像処理による人体検知方法 | |
JP4935769B2 (ja) | 平面領域推定装置及びプログラム | |
KR101290517B1 (ko) | 촬영장치 및 이의 대상 추적방법 | |
CN111553342B (zh) | 一种视觉定位方法、装置、计算机设备和存储介质 | |
JP4887540B2 (ja) | 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法 | |
JP6659095B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP7243372B2 (ja) | 物体追跡装置および物体追跡方法 | |
JP4070558B2 (ja) | 画像追跡装置および方法 | |
JP2011090708A (ja) | 対象個数検出装置および対象個数検出方法 | |
JP5877725B2 (ja) | 画像監視装置 | |
JP5419925B2 (ja) | 通過物体数計測方法、通過物体数計測装置、及びプログラム | |
JP2009076094A (ja) | 移動物体監視装置 | |
JP4674920B2 (ja) | 対象個数検出装置および対象個数検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080229 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100813 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100824 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101021 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101109 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101110 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131119 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4628860 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |