JP4042602B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP4042602B2 JP4042602B2 JP2003086084A JP2003086084A JP4042602B2 JP 4042602 B2 JP4042602 B2 JP 4042602B2 JP 2003086084 A JP2003086084 A JP 2003086084A JP 2003086084 A JP2003086084 A JP 2003086084A JP 4042602 B2 JP4042602 B2 JP 4042602B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- contour
- similarity
- detection target
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、所定の検知エリアを撮像した画像から検知エリア内の人や車輌などの検出対象の有無や動きを検知する画像処理装置に関するものである。
【0002】
【従来の技術】
従来の画像処理装置では、所定の検知エリアの画像から人や車輌などの検出対象の有無や動きを検知するために背景差分方法やフレーム間差分方法などの手法が用いられていた。
【0003】
背景差分方法を用いるものでは、予め検出対象が存在しない画像を撮像し、この画像を背景画像として記憶させる。その後、検知エリアの画像を逐次撮像して、背景画像との差分を抽出し(この処理を背景差分と言う。)、抽出された部位の領域の特徴に基づいて検出対象の有無を検出していた。例えば背景差分により抽出された領域の画像を二値化し、その大きさや形状と検出対象(例えば人)のテンプレート画像とのずれが所定の範囲内にあれば人であると判断し、所定の範囲から外れていれば人ではないと判断する。
【0004】
またフレーム間差分方法を用いるものでは、時刻(t−1)に撮像した画像と時刻tに撮像した画像との差分を抽出し、抽出された部位の領域の特徴に基づいて検出対象の有無を検出していた。なおフレーム間差分方法においても背景差分方法と同様の処理を行って検出対象か否かを判断していた(例えば特許文献1参照)。
【0005】
【特許文献1】
特開平6−201715号公報(第3頁、及び、第4図)
【0006】
【発明が解決しようとする課題】
上述した画像処理装置の内、背景差分方法を用いるものでは、背景画像が適切な画像であれば検出対象の領域を精度良く検出できるが、検出対象の存在しない画像を撮像し、背景画像として記憶しておく必要があり、背景画像の撮像は容易ではない。例えば背景画像を手動で撮像する場合には、検出対象が存在していないタイミングで撮像しなければならないため人手がかかるという問題があった。また、日照の変化などの影響を受けて検知エリアの明るさが変化する場合は、その変化が背景差分で求めた画像に残るため、このような環境下では検知エリアの明るさが変化する毎に背景画像を更新する必要があり、人手では対応できなかった。そのため背景画像を自動的に撮像する方法も提案されており、例えば長時間撮像した画像の平均値を背景画像とする方法や、画像内の画素毎に輝度変化が大きい場合には更新を遅く、小さい場合には更新を早くして画素毎に背景画像を順次更新する方法があるが、いずれの方法でも検知エリア内で人が長時間静止していると、人が背景画像の中に埋もれてしまい、人を検出できなくなるという問題があった。
【0007】
またフレーム間差分方法を用いるものでは、異なる時刻に撮像された2枚の画像の差分を求めているので、その間に検出対象が大きく移動していれば、検出対象を精度良く抽出できるものの、検出対象の動きが小さい場合や同じ場所で停止している場合には、検出対象の一部しか抽出できないか、或いは全く抽出できなくなるという問題があった。また検出対象の動きが遅い場合でも検出対象を精度良く抽出するためには、検知エリアの画像を撮像する間隔を長くすることによって、フレーム間での検出対象の移動量を大きくすることが考えられるが、この場合、動きの大きな検出対象ではフレーム間で検出対象の位置が非常に大きく変化するため、検出対象の探索が難しくなるという問題があった。
【0008】
本発明は上記問題点に鑑みて為されたものであり、その目的とするところは、検出対象の動きが速くても、遅くても、又は静止していても、どんな動きに対しても検出対象を精度良く検出できる画像処理装置を提供することにある。
【0009】
【課題を解決するための手段】
上記目的を達成するために、請求項1の発明では、所定の検知エリアを撮像した画像から人や車輌などの検出対象の有無及び動きを検出する画像処理装置において、検知エリアの画像を所定の時間間隔で撮像する撮像手段と、撮像手段が撮像した画像から輪郭を抽出した輪郭画像を作成する輪郭抽出手段と、輪郭抽出手段が作成した輪郭画像を記憶する輪郭画像記憶手段と、輪郭画像記憶手段に記憶された1乃至複数の輪郭画像をもとに所定期間内で変化のあった輪郭の部分を抽出し、検出対象時間における移動輪郭画像を作成する第1の移動輪郭抽出手段と、輪郭画像記憶手段に記憶された複数の輪郭画像をもとに前記所定期間よりも長い期間内で変化のあった輪郭の部分を抽出し、検出対象時間における移動輪郭画像を作成する第2の移動輪郭抽出手段と、第1の移動輪郭抽出手段が作成した画像に対し、前回の検出対象の検出位置から当該検出対象が移動可能な範囲を第1の探索範囲として設定する第1の探索範囲設定手段と、第1の探索範囲において第1の移動輪郭抽出手段が抽出した輪郭と検出対象との類似度を算出する第1の類似度算出手段と、第2の移動輪郭抽出手段が作成した画像に対し、前回の検出対象の検出位置近傍で第1の探索範囲よりも狭い範囲を第2の探索範囲として設定する第2の探索範囲設定手段と、第2の探索範囲において第2の移動輪郭抽出手段が抽出した輪郭と検出対象との類似度を算出する第2の類似度算出手段と、輪郭抽出手段が作成した検出対象時間における輪郭画像に対し、前回の検出対象の検出位置近傍で第2の探索範囲よりも狭い範囲を第3の探索範囲として設定する第3の探索範囲設定手段と、第3の探索範囲において今回輪郭抽出手段が抽出した輪郭と検出対象との類似度を算出する第3の類似度算出手段と、第1、第2及び第3の類似度算出手段がそれぞれ算出した類似度をもとに検出対象の有無を判断する検知判断手段とを備えて成ることを特徴とする。
【0010】
請求項2の発明では、請求項1の発明において、第1の移動輪郭抽出手段を、輪郭画像記憶手段に記憶された前々回撮像時の輪郭画像と前回撮像時の輪郭画像との差分を抽出した第1の差分画像を作成する第1の輪郭画像差分手段と、輪郭画像記憶手段に記憶された前回撮像時の輪郭画像と今回輪郭抽出手段が作成した輪郭画像との差分を抽出した第2の差分画像を作成する第2の輪郭画像差分手段と、第1の差分画像と第2の差分画像との共通部分を抽出した画像を作成する共通輪郭抽出手段とで構成したことを特徴とする。
【0011】
請求項3の発明では、請求項1の発明において、第2の移動輪郭抽出手段を、輪郭画像記憶手段に記憶された前々回撮像時の輪郭画像と今回輪郭抽出手段が作成した輪郭画像との差分を抽出した第1の差分画像を作成する第1の輪郭画像差分手段と、輪郭画像記憶手段に記憶された前回撮像時の輪郭画像と今回輪郭抽出手段が作成した輪郭画像との差分を抽出した第2の差分画像を作成する第2の輪郭画像差分手段と、第1の差分画像と第2の差分画像とを合成した画像を作成する輪郭合成手段とで構成したことを特徴とする。
【0012】
請求項4の発明では、請求項1の発明において、第1の類似度算出手段を、検出対象の輪郭を表すテンプレート画像を記憶する記憶手段と、第1の移動輪郭抽出手段が作成した画像を探索対象の画像として第1の探索範囲内を走査し、各走査点においてテンプレート画像の各画素と探索対象の画像の対応する画素とで共に輪郭が存在する画素の数を計数する計数手段と、計数手段の計数値をテンプレート画像の総画素数で正規化することで類似度を算出する手段とで構成したことを特徴とする。
【0013】
請求項5の発明では、請求項1の発明において、第2の類似度算出手段を、検出対象の輪郭を表すテンプレート画像を記憶する記憶手段と、第2の移動輪郭抽出手段が作成した画像を探索対象の画像として第2の探索範囲内を走査し、各走査点においてテンプレート画像の各画素と探索対象の画像の対応する画素とで共に輪郭がある画素の数を計数する第1の計数手段と、各走査点においてテンプレート画像の各画素と探索対象の画像の対応する画素とで共に輪郭がない画素の数を計数する第2の計数手段と、第1の計数手段の計数結果をテンプレート画像の輪郭がある画素数で正規化した値と第2の計数手段の計数結果をテンプレート画像の輪郭がない画素数で正規化した値とを加算することによって類似度を算出する手段とで構成したことを特徴とする。
【0014】
請求項6の発明では、請求項1の発明において、第3の類似度算出手段を、検出対象の輪郭を表すテンプレート画像を記憶する記憶手段と、今回輪郭抽出手段が作成した画像を探索対象の画像として第3の探索範囲内を走査し、各走査点においてテンプレート画像の各画素と探索対象の画像の対応する画素とで共に輪郭がある画素の数を計数する第1の計数手段と、各走査点においてテンプレート画像の各画素と探索対象の画像の対応する画素とで共に輪郭がない画素の数を計数する第2の計数手段と、第1の計数手段の計数結果をテンプレート画像の輪郭がある画素数で正規化した値と第2の計数手段の計数結果をテンプレート画像の輪郭がない画素数で正規化した値とを加算することによって類似度を算出する手段とで構成したことを特徴とする。
【0015】
請求項7の発明では、請求項1の発明において、検知判断手段は、第3の類似度算出手段で算出した第3の類似度が第1のしきい値以上であれば検出対象が静止していると判断するとともに、第3の類似度が第1のしきい値よりも低い場合に第2の類似度算出手段で算出した第2の類似度が第2のしきい値以上であれば検出対象が微少な動きをしていると判断し、第3の類似度が第1のしきい値よりも低く且つ第2の類似度が第2のしきい値よりも低い場合に第1の類似度算出手段で算出した第1の類似度が第3のしきい値以上であれば検出対象がより大きな動きをしていると判断することを特徴とする。
【0016】
【発明の実施の形態】
(実施形態1)
本発明の実施形態1を図1〜図7に基づいて説明する。本実施形態の画像処理装置は所定の検知エリアにおける人や車輌などの検出対象の有無や動きを検出するためのものである。図1は画像処理装置の概略構成を示すブロック図であり、例えば天井面に設置され、所定の時間間隔で天井面から室内を撮影するTVカメラのような撮像手段1と、撮像手段1から入力される画像信号を取り込む画像入力手段2と、画像入力手段を介して入力される画像信号をもとに物体の輪郭(エッジ)を抽出して輪郭画像を作成する輪郭抽出手段3と、輪郭抽出手段3が抽出した輪郭の画像を記憶する輪郭画像記憶手段4と、輪郭画像記憶手段4に記憶された1乃至複数の輪郭画像をもとに所定期間内で変化のあった輪郭の部分を抽出し、検出対象時間における移動輪郭画像を作成する第1の移動輪郭抽出手段51と、第1の移動輪郭抽出手段51が作成した画像(移動輪郭画像)に対し検出対象が移動可能な範囲を第1の探索範囲として設定する第1の探索範囲設定手段61と、第1の探索範囲内の輪郭と検出対象(例えば人体)との類似度を計算する第1の類似度算出手段71と、輪郭画像記憶手段4に記憶された複数の輪郭画像をもとに上記所定期間よりも長い期間内で変化のあった輪郭の部分を抽出し、検出対象時間における移動輪郭画像を作成する第2の移動輪郭抽出手段52と、第2の移動輪郭抽出手段52が作成した画像(移動輪郭画像)に対し、前回の検出対象の検出位置近傍で第1の探索範囲よりも狭い範囲を第2の探索範囲として設定する第2の探索範囲設定手段62と、第2の探索範囲内の輪郭と検出対象(人体)との類似度を計算する第2の類似度算出手段72と、輪郭抽出手段3が作成した検出対象時間における輪郭画像に対し、前回の検出対象の検出位置近傍で第2の探索範囲よりも狭い範囲を第3の探索範囲として設定する第3の探索範囲設定手段63と、第3の探索範囲内の輪郭と検出対象(人体)との類似度を計算する第3の類似度算出手段73と、第1〜第3の類似度算出手段71〜73が算出した類似度をもとに検出対象が検知エリア内に存在するか否か、また存在する場合には検出対象の存在位置を検出する検知判断手段8とで構成される。尚、輪郭抽出手段3、第1及び第2の移動輪郭抽出手段51,52、第1〜第3の探索範囲設定手段61〜63、第1〜第3の類似度算出手段71〜73、及び検知判断手段8は例えばパーソナルコンピュータの演算機能により構成される。
【0017】
輪郭抽出手段3は例えばSOBEL演算子を用いて輪郭を抽出する。SOBEL演算子は3×3のフィルタであり、3ライン分のラインバッファを用いることで、画像入力を行いながら輪郭を抽出することができる。尚、1画面分の画像信号を記憶するフレームメモリを設け、画像入力手段2から入力される1画面分の画像信号をフレームメモリに記憶させた後、輪郭抽出手段3がフレームメモリから必要な画像信号を読み出し、読み出した画像信号にSOBEL演算子を用いた演算処理を施して、抽出した輪郭を輪郭画像記憶手段4に書き込むようにしても良い。
【0018】
第1の移動輪郭抽出手段51は、検出対象が大きく移動したりその動きが大きい場合にその輪郭を精度良く抽出できるような処理を行う。例えば図2に示すように第1の移動輪郭抽出手段51は、輪郭画像記憶手段4に記憶された前回撮像時(時刻(t−1))の輪郭画像B2と今回撮像時(時刻t)の輪郭画像B3との間で差分処理及び二値化処理を行うことによって、所定期間内(前回撮像時と今回撮像時との間)で変化のあった輪郭の部分を抽出し、検出対象時間における移動輪郭画像C1を出力する。因みに検出対象が完全に静止している場合には前回撮像時の輪郭画像B1と今回の輪郭画像B2との間に差分が存在しないので、移動輪郭画像C1には輪郭が抽出されない。
【0019】
第1の探索範囲設定手段61は、図3に示すように検出対象が検出される前の状態では検出対象が画面のどこに現れるか分からないので、画像W0の全体を探索範囲として、検出対象を探索する。つまり、初期動作時には画像W0内で移動している全ての輪郭から検出対象を探し出すようにしている。そして、一旦検出対象が検出された後は、前回撮像時の検出対象の検出位置を記憶しておき、前回撮像時の検出位置を中心に検出対象が移動可能な範囲を第1の探索範囲W1とし、第1の探索範囲W1に限定して探索することで、外乱の影響を受けにくくしている。
【0020】
第1の類似度算出手段71は、図示しないメモリ(記憶手段)に予め記憶させておいた検出対象の輪郭の特徴(テンプレート画像)と、移動輪郭画像C1に現れた輪郭Xの特徴との類似度を算出する。第1の類似度算出手段71では検出対象の移動量や動きが大きい場合に精度良く検出できるような処理を行っており、この場合は検出対象のほぼ全体の輪郭が抽出されるが、大きさや形状は比較的大きく変化する傾向がある。したがって、第1の類似度算出手段71では、その特徴を厳密に評価するのではなく、比較的大まかな評価を行っている。例えば第1の類似度算出手段71では、予め検出対象のテンプレート画像の輪郭部分の画素数を参照特徴量として記憶しておき、移動輪郭画像C1内の第1の探索範囲を走査し、各走査点においてテンプレート画像と同じサイズの枠を設定し、枠内に存在する輪郭の画素数を計算しており、計算で求めた画素数と上記参照特徴量との比率を類似度として求めている。そして、第1の探索範囲において画素数の比率(類似度)が最も1に近く、且つ、所定の閾値よりも1に近ければ、その走査点に検出対象が存在すると判断し、その位置を検出対象の存在位置として出力する。
【0021】
第2の移動輪郭抽出手段52は、検出対象がわずかに移動したり、その動きが小さい場合にその輪郭を精度良く抽出できるような処理を行う。例えば図4に示すように第2の移動輪郭抽出手段52は、輪郭画像記憶手段4に記憶された前々回撮像時(時刻(t−2))の輪郭画像B1と、今回輪郭抽出手段3が作成した輪郭画像B3との間で差分処理及び二値化処理を行うことによって、上記所定期間よりも長い期間内(前々回撮像時と今回撮像時との間)で変化のあった輪郭の部分を抽出し、検出対象時間における移動輪郭画像C2を出力する。上述した第1の移動輪郭抽出手段51に比べて差分処理を行う2つの輪郭画像B1,B2のサンプリング間隔が2倍になるため、動きの遅い検出対象の輪郭Yを抽出するのに適している。因みに検出対象が静止している場合には前々回撮像時の輪郭画像B1と今回の輪郭画像B3との間に差分が存在しないので、移動輪郭画像C2には輪郭が抽出されない。
【0022】
検出対象の移動量や動きが小さい場合には前回撮像時の検出位置の近傍に検出対象が存在していると想定されるので、第2の探索範囲設定手段62では、図5に示すように前回の検出対象の検出位置の近傍で第1の探索範囲W1よりも狭い範囲を第2の探索範囲W2とし、第2の探索範囲W2に限定して検出対象を探索することで外乱の影響を受けにくくしている。
【0023】
第2の類似度算出手段72は、メモリに予め記憶させておいた検出対象の輪郭の特徴(テンプレート画像)と、移動輪郭画像C2に現れた輪郭Xの特徴との類似度を算出する。第2の類似度算出手段72では検出対象の移動量や動きが小さい場合に精度良く検出できるような処理を行っており、この場合は検出対象の大きさや形状があまり変化しない傾向がある。したがって、第2の類似度算出手段72では輪郭の特徴を比較的厳密に評価しており、例えば移動輪郭画像C2内の探索範囲W2を走査し、各走査点においてテンプレート画像と同じサイズの枠を設定して、枠内の輪郭とテンプレート画像とを比較する。そして、対応する画素に共に輪郭が存在する場合、又は、共に輪郭が存在しない場合にカウントアップし、そのカウント値が探索範囲W2内で最も高く、且つ所定の閾値よりも高ければ、その走査点に検出対象が存在すると判断し、その位置を検出対象の存在位置として出力する。
【0024】
また輪郭抽出手段3は、検出対象が静止している場合にその輪郭を精度良く抽出できるような処理を行う。例えば図6に示すように輪郭抽出手段3は、時刻tにおいて画像入力手段2から入力された画像Aに対して輪郭抽出及び二値化処理を行って、輪郭画像B3を出力する。この輪郭画像B3には検出対象の移動、静止に関わらず、背景も含め検出対象の全ての輪郭が抽出される。
【0025】
検出対象が静止している場合には前回撮像時の検出位置のごく近傍に検出対象が存在していると想定されるので、第3の探索範囲設定手段63では、図7に示すように前回の検出対象の検出位置又はその近傍であって第2の探索範囲よりも狭い範囲W3又はW4を第3の探索範囲とし、第3の探索範囲W3又はW4に限定して検出対象を探索することで、外乱の影響を受けにくくしている。輪郭抽出手段3の抽出した輪郭画像B3には検出対象以外の物体(背景など)の輪郭が多く含まれているため、第3の探索範囲をできるだけ絞り込むことが望ましい。尚、図7中のW3は検出対象の前回の検出位置に範囲を限定した場合の探索範囲、W4は前回の検出位置の近傍に範囲を限定した場合の探索範囲である。
【0026】
第3の類似度算出手段73は、メモリに予め記憶させておいた検出対象の輪郭の特徴(テンプレート画像)と、今回輪郭抽出手段3が作成した輪郭画像B3の輪郭の特徴との類似度を計算する。ここでは検出対象が静止している場合に精度良く検出できるよう考慮しており、この場合は検出対象の大きさや形状は殆ど変化しないものと想定される。したがって、第3の類似度算出手段73は輪郭の特徴を厳密に評価しており、例えば輪郭画像B3内の探索範囲を走査して、各走査点においてテンプレート画像と同じサイズの枠を設定し、この枠内の輪郭とテンプレート画像とを比較する。そして、対応する画素に共に輪郭がある場合、又は、共に輪郭がない場合にカウントアップし、そのカウント値が探索範囲W3内で最も高く、且つ所定の閾値よりも高ければ、その走査点に検出対象が存在すると判断し、その位置を検出対象の存在位置として出力する。
【0027】
そして、検知判断手段8は、第1〜第3の類似度算出手段71〜73の算出結果をもとに検出対象の有無などを判定しており、例えば第1の類似度算出手段71の算出結果を最優先として、第2の類似度算出手段72の算出結果、第3の類似度算出手段73の算出結果の順番に重み付けし、何れかの類似度算出手段71〜73から検出対象の位置が出力されていれば検出対象(例えば人)が存在し、出力がなければ人が存在しないと判断する。
【0028】
以上説明したように本実施形態では、検出対象の移動量や動きが大きい場合に検出対象を精度良く検出できる第1の移動輪郭抽出手段51と、移動量や動きが比較的小さい場合に検出対象を精度良く検出できる第2の移動輪郭抽出手段52と、検出対象が静止している場合に検出対象を精度良く検出できる輪郭抽出手段3とを設け、しかも検出対象の移動量や動きが大きい場合は探索範囲を広く設定し、検出対象の移動量や動きが比較的小さい場合は前回撮像時の検出位置の近傍に第2の探索範囲を設定し、検出対象が静止している場合は前回撮像時の検出位置の近傍で第2の探索範囲よりも狭い範囲を第3の探索範囲として設定しているので、検出対象がどのような挙動をしていても検出対象を精度良く確実に検出することができる。
【0029】
(実施形態2)
本発明の実施形態2を図8及び図9に基づいて説明する。本実施形態では、上述した実施形態1において、第1の移動輪郭抽出手段51を、輪郭画像記憶手段4に記憶された前々回撮像時(時刻(t−2))の輪郭画像B1と前回撮像時(時刻(t−1))の輪郭画像B2との差分をとることによって、所定期間内(前々回撮像時と前回撮像時との間)で変化した部分の輪郭を抽出した第1の差分画像D1を作成する第1の輪郭画像差分手段51aと、輪郭画像記憶手段4に記憶された前回撮像時の輪郭画像B2と今回撮像時(時刻t)の輪郭画像B3との差分をとることによって、所定期間内(前回撮像時と今回撮像時との間)で変化した部分の輪郭を抽出した第2の差分画像D2を作成する第2の輪郭画像差分手段51bと、第1の差分画像D1と第2の差分画像D2との共通部分を抽出することにより、検出対象時間における画像(移動輪郭画像)を出力する共通輪郭抽出手段51cとで構成している。尚、第1の移動輪郭抽出手段51以外の構成は実施形態1と同様であるので、共通する構成要素には同一の符号を付して、その説明は省略する。
【0030】
以下に第1の移動輪郭抽出手段51の動作を図9に基づいて説明する。撮像手段1は所定の時間間隔で検知エリアの画像を撮像しており、輪郭抽出手段3は画像入力手段2を介して入力された撮像手段1の画像信号をもとに輪郭を抽出した輪郭画像を作成し、作成した画像を輪郭画像記憶手段4に逐次記憶させている。そして、第1の移動輪郭抽出手段51では、第1の輪郭画像差分手段51aが、前々回撮像時の輪郭画像B1と前回撮像時の輪郭画像B2との差分処理を行い、前々回撮像時と前回撮像時との間で変化した輪郭を抽出して差分画像D1を作成する。また、第2の輪郭画像差分手段51bは、前回撮像時の輪郭画像B2と今回の輪郭画像B3との差分処理を行い、前回撮像時と今回撮像時との間で変化した輪郭を抽出して差分画像D2を作成する。そして、共通輪郭抽出手段51cが、第1及び第2の輪郭画像差分手段51a,51bから出力された差分画像D1,D2の共通部分を抽出した画像D1を作成する。
【0031】
例えば前々回撮像時から今回撮像時にかけて検出対象が大きく移動した場合、第1の輪郭画像差分手段51aが輪郭画像B1,B2の差分をとることで差分画像D1に検出対象の輪郭Xが抽出されるが、前々回撮像時に検出対象の影に隠れていた背景部分の輪郭が前回撮像時の輪郭画像B2に現れるため、この部分も差分画像D1に抽出されることになる。同様に、第2の輪郭画像差分手段51bが輪郭画像B2,B3の差分をとることで差分画像D2に検出対象の輪郭Xが抽出されるが、前回撮像時に検出対象の影に隠れていた背景部分の輪郭が今回の輪郭画像B3に現れるため、この部分も差分画像D2に抽出されることになる。そして、共通輪郭抽出手段51cでは差分画像D1,D2に共通する輪郭を抽出し(MIN処理)、二値化処理を行って、移動輪郭画像C1を作成しており、差分画像D1,D2にそれぞれ現れた背景部分の輪郭は一方の画像にしか存在しないので、共通部分を抽出する際に背景部分の輪郭を取り除くことができ、検出対象時間における検出対象の輪郭Xのみを精度良く抽出することができる。
【0032】
そして、第2の類似度算出手段71では、上述の処理で得られた移動輪郭画像C1から検出対象の有無を探索しているので、検出対象の移動量や動きが大きい場合にも背景の影響を受けずに精度良く検出対象を検出することができる。
【0033】
(実施形態3)
本発明の実施形態2を図10及び図11に基づいて説明する。本実施形態では、上述した実施形態1において、第2の移動輪郭抽出手段52を、輪郭画像記憶手段4に記憶された前々回撮像時(時刻(t−2))の輪郭画像B1と今回撮像時(時刻t)の輪郭画像B3との差分をとり、この間に変化した部分の輪郭を抽出した第1の差分画像D3を作成する第1の輪郭画像差分手段52aと、輪郭画像記憶手段4に記憶された前回撮像時(時刻(t−1))の輪郭画像B2と今回の輪郭画像B3との差分をとり、この間に変化した部分の輪郭を抽出した第2の差分画像D4を作成する第2の輪郭画像差分手段52bと、第1の差分画像D3と第2の差分画像D4とを合成した画像C2を出力する輪郭合成手段52cとで構成している。このように、前々回撮像時と今回撮像時の輪郭画像B1,B3との差分をとって、この間に変化した部分の輪郭画像を抽出するとともに、前回撮像時と今回撮像時の輪郭画像B2,B3との差分をとって、この間に変化した部分の輪郭画像を抽出し、それらを合成しているので、上記所定期間よりも長い期間で変化した部分の輪郭を抽出することになる。尚、第2の移動輪郭抽出手段52以外の構成は実施形態1と同様であるので、共通する構成要素には同一の符号を付して、その説明は省略する。
【0034】
以下に第2の移動輪郭抽出手段52による画像処理の手順を図11に基づいて説明する。撮像手段1は所定の時間間隔で検知エリアの画像を撮像しており、輪郭抽出手段3は画像入力手段2を介して入力された撮像手段1の画像信号をもとに輪郭を抽出した輪郭画像を作成し、作成した画像を輪郭画像記憶手段4に逐次記憶させている。第2の移動輪郭抽出手段52では、第1の輪郭画像差分手段52aが前々回撮像時の輪郭画像B1と今回の輪郭画像B3との差分処理を行い、前々回撮像時と今回撮像時との間で変化した輪郭を抽出して差分画像D3を作成する。また、第2の輪郭画像差分手段52bは、前回撮像時の輪郭画像B2と今回撮像時の輪郭画像B3との差分処理を行い、前回撮像時と今回との間で変化した輪郭の部位を抽出して差分画像D4を作成する。そして、輪郭合成手段52cが、第1及び第2の差分画像D3,D4を合成して、二値化処理を行い、移動輪郭抽出画像C2を作成する。
【0035】
このように第2の移動輪郭抽出手段52では、前々回撮像時と今回撮像時との間の動きと、前回撮像時と今回撮像時との間の動きの両方が抽出され、その結果を合成しているため、例えば前々回撮像時から前回撮像時の間で検出対象の人が手をある位置まで動かし、その後今回撮像時までの間に前々回撮像時にあった位置まで手を戻した場合を考えると、前々回撮像時と今回撮像時との間では人の動きがないため輪郭画像B1,B3の差分をとっても移動輪郭として抽出することはできないが、前回撮像時と今回撮像時との間では人の動きがあるため、輪郭画像B2,B3の差分をとれば移動輪郭として抽出することができる。また、前々回撮像時から前回撮像時の間で検出対象の人が手をある位置まで動かし、その後今回撮像時では前回撮像時と同じ位置に手があった場合(つまり前回撮像時から今回撮像時までの間で手を止めた場合)を考えると、前回撮像時と今回撮像時との間では人の動きがないため、輪郭画像B2,B3の差分をとっても移動輪郭として抽出することはできないが、前々回撮像時と今回撮像時との間では人の動きがあるため、輪郭画像B1,B3の差分をとれば移動輪郭として抽出することができる。
【0036】
検出対象の人物が上述のように動いた場合、本実施形態では第1又は第2の輪郭画像差分手段52a,52bの何れか一方で移動輪郭を抽出することができるから、輪郭合成手段52cが第1、第2の輪郭画像差分手段52a,52bの出力を合成しているので、何れの場合にも移動輪郭を抽出することができ、このようにして得られた移動輪郭画像C2から検出対象の有無を探索しているので、検出対象又はその一部の移動量や動きが小さい場合や動いたり止まったりしている場合でも、精度良く検出対象を検出することができる。
【0037】
(実施形態4)
本発明の実施形態4を図12及び図13に基づいて説明する。本実施形態は、第1の類似度算出手段71による類似度の算出処理以外は実施形態1と同様であるので、共通する構成要素には同一の符号を付してその説明は省略し、本実施形態の特徴部分のみを説明する。
【0038】
第1の類似度算出手段71は、図12に示すように検出対象の画像W0内で第1の探索範囲設定手段61が設定した第1の探索範囲W1を走査し、各走査点において予め記憶した検出対象のテンプレート画像Tと同じサイズの枠を設定し、この枠内の画像Eとテンプレート画像Tとの間でマッチング処理を行う。第1の類似度算出手段71は、実施形態1で説明したように第2及び第3の類似度算出手段72,73に比べて厳密でない類似度演算を行っており、テンプレート画像T内の画素と、この画素に対応する画像Eの画素とで共に輪郭のある画素の数を計数し、その計数値をテンプレート画像Tのサイズ(総画素数)で正規化する。
【0039】
ここで、第1の類似度算出手段71による類似度の演算手順を図13(a)〜(d)の画像を例に説明する。図13(a)はテンプレート画像Tの一例を示し、このテンプレート画像Tは7×8画素の二値画像(総画素数56画素)からなる。個々の升目が画素を示しており、白抜きの画素は輪郭がある部分、斜線を付した画素は輪郭のない部分である。図13(b)〜(d)は、それぞれ、第1の探索範囲W1内の3つの走査点で設定した枠内の画像E1,E2,E3を示し、画像E1は比較的輪郭の多い画像で、画像E1の画素とテンプレート画像Tの対応する画素とで共に輪郭がある画素の数は17、共に輪郭がない画素の数は21である。また画像E2はやや輪郭の少ない画像で、画像E2の画素とテンプレート画像Tの対応する画素とで共に輪郭がある画素の数は11、共に輪郭がない画素の数は35である。また画像E3は、3つの画像E1〜E3の中で輪郭が最も少なく、画像E3の画素とテンプレート画像Tの対応する画素とで共に輪郭がある画素の数は3、共に輪郭がない画素の数は35である。第1の類似度算出手段71は、テンプレート画像T内の画素と、この画素に対応する探索対象の画像E1〜E3の画素とで共に輪郭がある画素の数を計数し、その結果をテンプレート画像Tのサイズ(総画素数)で正規化することで類似度(一致度)を求めており、画像E1の場合は共に輪郭がある画素の数が17であるから、類似度は17/56=0.304、画像E2の場合は共に輪郭がある画素の数が11であるから、類似度は11/56=0.196、画像E3の場合は共に輪郭がある画素の数が3であるから、類似度は3/56=0.0536となり、3つの画像E1〜E3の中では画像E1の類似度が最も高くなる。
【0040】
このように第1の類似度算出手段71は第1の探索範囲W1内の全ての走査点においてテンプレート画像Tと同じサイズの枠を設定し、枠内の画像とテンプレート画像Tとの類似度を求めており、類似度の最大値が所定の閾値よりも高ければ、類似度が最大の画像内に検出対象が存在すると判断し、その走査点を検出対象の存在位置として出力する。なお本実施形態の演算の特徴は、比較的輪郭の多い位置で類似度が高くなることであり、これは検出対象の移動量や動きが大きい場合を想定しているからである。またテンプレート画像Tのサイズ(総画素数)で正規化することで類似度を求めているので、テンプレート画像Tの大きさに関わらず類似度を同じ尺度で使用できるという利点がある。
【0041】
(実施形態5)
本発明の実施形態5を図14及び図15に基づいて説明する。本実施形態は、第2の類似度算出手段72による類似度の算出処理以外は実施形態1と同様であるので、共通する構成要素には同一の符号を付してその説明は省略し、本実施形態の特徴部分のみを説明する。
【0042】
第2の類似度算出手段72は、図14に示すように検出対象の画像W0内で第2の探索範囲設定手段62が設定した第2の探索範囲W2を走査し、各走査点において予め記憶した検出対象のテンプレート画像Tと同じサイズの枠を設定し、この枠内の画像Fとテンプレート画像Tとの間でマッチング処理を行う。第2の類似度算出手段72は、実施形態1で説明したように第1の類似度算出手段71に比べて比較的厳密な類似度演算を行っており、テンプレート画像T内の画素と、この画素に対応する画像F内の画素とで共に輪郭がある画素の数と共に輪郭がない画素とを各々別個に計数し、輪郭がある画素とない画素との割合で正規化することにより類似度を求めているので、輪郭のある部分も無い部分もバランス良くテンプレート画像に一致している画像の類似度が高くなり、逆の場合は類似度が低くなる。
【0043】
ここで、第2の類似度算出手段72による類似度の演算手順を図15(a)〜(d)の画像を例に説明する。図15(a)はテンプレート画像Tの一例を示し、このテンプレート画像Tは7×8画素の二値画像(総画素数56画素)からなる。各々の升目は画素を示し、輪郭のある画素(白抜きの画素)の数が21、輪郭のない画素(斜線部の画素)の数が35である。図15(b)〜(d)は、それぞれ、第2の探索範囲W2内の3つの走査点で設定した枠内の画像F1,F2,F3を示し、画像F1は比較的輪郭の多い画像で、画像F1の画素とテンプレート画像Tの対応する画素とで共に輪郭がある画素の数は17、共に輪郭がない画素の数は21である。また画像F2はやや輪郭の少ない画像で、画像F2の画素とテンプレート画像Tの対応する画素とで共に輪郭がある画素の数は11、共に輪郭がない画素の数は35である。また画像F3は、3つの画像F1〜F3の中で輪郭が最も少なく、画像F3の画素とテンプレート画像Tの対応する画素とで共に輪郭がある画素の数は3、共に輪郭がない画素の数は35である。
【0044】
第2の類似度算出手段72は、テンプレート画像T内の画素と、この画素に対応する探索対象の画像F1〜F3の画素とで共に輪郭がある画素の数と、共に輪郭がない画素の数とを各々別個に計数し、各々の計数結果をテンプレート画像Tの輪郭がある画素の数と輪郭がない画素の数とでそれぞれ正規化することによって類似度(一致度)を求め、輪郭がある画素の類似度と輪郭がない画素の類似度とを加算してトータルの類似度を求めている。すなわち、画像F1の場合は共に輪郭がある画素の数が17、共に輪郭がない画素の数が21であるから、共に輪郭がある部分の類似度は17/21=0.810、共に輪郭がない部分の類似度は21/35=0.60で、トータルの類似度(類似度の和)は1.410である。また、画像F2の場合は共に輪郭がある画素の数が11、共に輪郭がない画素の数が35であるから、共に輪郭がある部分の類似度は11/21=0.524、共に輪郭がない部分の類似度は35/35=1.0で、トータルの類似度は1.524である。また、画像F3の場合は共に輪郭がある画素の数が3、共に輪郭がない画素の数が35であるから、共に輪郭がある部分の類似度は3/21=0.143、共に輪郭がない部分の類似度は35/35=1.0で、トータルの類似度は1.143である。而して、3つの画像F1〜F3の中では画像F2の類似度が最も高くなる。
【0045】
このように第2の類似度算出手段72は第2の探索範囲W2内の全ての走査点においてテンプレート画像Tと同じサイズの枠を設定し、枠内の画像とテンプレート画像Tとの類似度をそれぞれ求めており、類似度の最大値が所定の閾値よりも高ければ、類似度が最大の画像内に検出対象が存在すると判断し、その走査点を検出対象の存在位置として出力する。なお本実施形態の演算の特徴は、輪郭のある部分も輪郭の無い部分もバランス良くテンプレート画像と一致している場合に類似度が高くなることであり、これは検出対象の移動量や動きが小さい場合を想定しているからである。
【0046】
(実施形態6)
本発明の実施形態6を図16に基づいて説明する。本実施形態は、第3の類似度算出手段73による類似度の算出処理以外は実施形態1と同様であるので、共通する構成要素には同一の符号を付してその説明は省略し、本実施形態の特徴となる部分のみを説明する。
【0047】
第3の類似度算出手段73は、検出対象の画像W0内で第3の探索範囲設定手段63が設定した第3の探索範囲W3又はW4を走査しており、本実施形態では前回撮像時の検出位置のみで予め記憶した検出対象のテンプレート画像Tと同じサイズの枠を設定し、この枠内の画像Gとテンプレート画像Tとの間でマッチング処理を行う。ここで、第3の類似度算出手段73は、実施形態5で説明した第2の類似度算出手段72による算出処理と同様の算出処理を行って類似度を求めており、類似度の算出結果が所定の閾値よりも高ければ画像G内に検出対象が存在すると判断し、その走査点を検出対象の存在位置として出力する。本実施形態による類似度の演算の特徴は、輪郭のある部分も輪郭の無い部分もバランス良くテンプレート画像Tと一致している場合に類似度が高くなることであり、これは検出対象が静止していることを想定しているからである。尚、静止の度合いをより厳密にする場合は類似度の閾値を高めれば良い。
【0048】
(実施形態7)
本発明の実施形態7を図16に基づいて説明する。本実施形態は、検知判断手段8による判断処理以外は実施形態1と同様であるので、共通する構成要素には同一の符号を付してその説明は省略し、本実施形態の特徴部分のみを説明する。
【0049】
検知判断手段8は、先ず第3の類似度算出手段73が求めた類似度(第3の類似度)の最大値が第1のしきい値以上か否かを判定し(S1)、第3の類似度の最大値が第1のしきい値以上であれば検出対象が静止していると判断する(S2)。またS1の判定の結果、第3の類似度の最大値が第1のしきい値よりも低い場合は、検知判断手段8は第2の類似度算出手段72が求めた類似度(第2の類似度)の最大値が第2のしきい値以上か否かを判定し(S3)、第2の類似度の最大値が第2のしきい値以上であれば検出対象が微少な動きをしていると判断する(S4)。さらにS3の判定の結果、第2の類似度の最大値が第2のしきい値よりも低い場合は、検知判断手段8は第1の類似度算出手段71が求めた類似度(第1の類似度)の最大値が第3のしきい値以上か否かを判定し(S5)、第1の類似度の最大値が第3のしきい値以上であれば検出対象が大きな動きをしていると判断する(S6)。またS5の判定の結果、第3の類似度の最大値が第3のしきい値よりも低ければ、検知判断手段8は検出対象が存在しないと判断する。
【0050】
このように検知判断手段8は、先ず検出対象が静止しているか否かを判断し、ついで微少な動きをしているか否かを判断した後、大きな動きをしているか否かを判断しているので、外乱の影響を受けにくく、精度良く検出対象を検知できる。また、第1〜第3の類似度算出手段71〜73がそれぞれ類似度を求めた第1〜第3の探索範囲は、第1の探索範囲よりも第2の探索範囲の方が狭く、且つ、第2の探索範囲よりも第3の探索範囲の方が狭くなっているので、検出対象が複数ある場合でも各検出対象の近傍から探索を行うので、複数の検出対象の間の識別が可能となり、個々の検出対象の追跡が容易に行えるという利点がある。
【0051】
【発明の効果】
上述のように、請求項1の発明は、所定の検知エリアを撮像した画像から人や車輌などの検出対象の有無及び動きを検出する画像処理装置において、検知エリアの画像を所定の時間間隔で撮像する撮像手段と、撮像手段が撮像した画像から輪郭を抽出した輪郭画像を作成する輪郭抽出手段と、輪郭抽出手段が作成した輪郭画像を記憶する輪郭画像記憶手段と、輪郭画像記憶手段に記憶された1乃至複数の輪郭画像をもとに所定期間内で変化のあった輪郭の部分を抽出し、検出対象時間における移動輪郭画像を作成する第1の移動輪郭抽出手段と、輪郭画像記憶手段に記憶された複数の輪郭画像をもとに前記所定期間よりも長い期間内で変化のあった輪郭の部分を抽出し、検出対象時間における移動輪郭画像を作成する第2の移動輪郭抽出手段と、第1の移動輪郭抽出手段が作成した画像に対し、前回の検出対象の検出位置から当該検出対象が移動可能な範囲を第1の探索範囲として設定する第1の探索範囲設定手段と、第1の探索範囲において第1の移動輪郭抽出手段が抽出した輪郭と検出対象との類似度を算出する第1の類似度算出手段と、第2の移動輪郭抽出手段が作成した画像に対し、前回の検出対象の検出位置近傍で第1の探索範囲よりも狭い範囲を第2の探索範囲として設定する第2の探索範囲設定手段と、第2の探索範囲において第2の移動輪郭抽出手段が抽出した輪郭と検出対象との類似度を算出する第2の類似度算出手段と、輪郭抽出手段が作成した検出対象時間における輪郭画像に対し、前回の検出対象の検出位置近傍で第2の探索範囲よりも狭い範囲を第3の探索範囲として設定する第3の探索範囲設定手段と、第3の探索範囲において今回輪郭抽出手段が抽出した輪郭と検出対象との類似度を算出する第3の類似度算出手段と、第1、第2及び第3の類似度算出手段がそれぞれ算出した類似度をもとに検出対象の有無を判断する検知判断手段とを備えて成ることを特徴とする。
【0052】
而して、第2の移動輪郭抽出手段は、第1の移動輪郭抽出手段のサンプリング間隔(上記所定期間)よりも長い期間内で変化のあった輪郭の部分を抽出した画像を作成しているので、第1の移動輪郭抽出手段に比べてサンプリングの時間間隔を長くすることで、検出対象の移動量や動きが小さい場合でも検出対象の輪郭を確実に抽出することができ、さらに検出対象の移動量や動きが小さい場合は前回撮像時の検出位置付近に検出対象が存在すると考えられるので、第2の探索範囲設定手段が前回の検出位置の近傍で第1の探索範囲よりも狭い範囲を第2の探索範囲とし、第2の探索範囲内で第2の類似度算出手段が検出対象との類似度を求めているから、検出対象以外の輪郭の影響を受けにくく、移動量や動きの小さい検出対象を精度良く検知できる。また第1の移動輪郭抽出手段は、第2の移動輪郭抽出手段のサンプリング間隔よりも短い所定期間内で変化のあった輪郭の部分を抽出した画像を作成しているので、検出対象の移動量や動きが比較的大きい場合でも検出対象の輪郭を確実に抽出することができ、そのうえ第1の探索範囲設定手段は検出対象が移動可能な範囲を第1の探索範囲とし、第1の探索範囲において第1の類似度算出手段が検出対象との類似度を求めているので、検出対象の移動量や動きが比較的大きい場合でも検出対象を精度良く検知できる。また更に、第3の探索範囲設定手段は、今回輪郭画像抽出手段が抽出した輪郭画像に対し、前回撮像時の検出対象の検出位置近傍で第2の探索範囲よりも狭い範囲を第3の探索範囲として、第3の探索範囲内で第3の類似度算出手段が検出対象との類似度を求めており、今回輪郭画像抽出手段が抽出した輪郭画像には背景も含めて全ての輪郭が現れるので、検出物体が静止している場合でもその輪郭を正確に抽出することができ、且つ検出物体が静止している場合は前回の検出位置付近にいると考えられるので、前回の検出位置近傍で第2の探索範囲よりも狭い範囲を第3の探索範囲とすることで、検出対象以外の輪郭の影響を受けにくくして、静止している検出対象を精度良く検知できる。そして、検知判断手段は第1、第2及び第3の類似度算出手段の算出結果をもとに検出物体の有無及び動きを判断しており、移動量や動きの比較的大きな検出物体は第1の類似度算出手段で、移動量や動きの小さい検出物体は第2の類似度算出手段で、静止している検出物体は第3の類似度算出手段でそれぞれ検出しているから、各類似度算出手段の算出結果をもとに検出対象の有無及び動きを判断することによって、検出物体がどのような挙動をしていても検出対象を精度良く確実に検出できるという効果がある。
【0053】
請求項2の発明は、請求項1の発明において、第1の移動輪郭抽出手段を、輪郭画像記憶手段に記憶された前々回撮像時の輪郭画像と前回撮像時の輪郭画像との差分を抽出した第1の差分画像を作成する第1の輪郭画像差分手段と、輪郭画像記憶手段に記憶された前回撮像時の輪郭画像と今回輪郭抽出手段が作成した輪郭画像との差分を抽出した第2の差分画像を作成する第2の輪郭画像差分手段と、第1の差分画像と第2の差分画像との共通部分を抽出した画像を作成する共通輪郭抽出手段とで構成したことを特徴とし、前々回撮像時と前回撮像時と今回とで時間間隔が比較的長い場合(つまり検出対象の移動量や動きが大きい場合)、第1の差分画像では、前々回撮像時に検出対象の影に隠れて前回撮像時に現れた背景の輪郭が抽出されるが、この背景の輪郭が前回撮像時の輪郭画像と今回の輪郭画像に共に現れていれば第2の差分画像には現れないので、共通輪郭抽出手段が第1の差分画像と第2の差分画像との共通部分を抽出することによって背景の輪郭を除去することができ、背景の影響を受けずに検出対象の輪郭を精度良く抽出できるという効果がある。
【0054】
請求項3の発明は、請求項1の発明において、第2の移動輪郭抽出手段を、輪郭画像記憶手段に記憶された前々回撮像時の輪郭画像と今回輪郭抽出手段が作成した輪郭画像との差分を抽出した第1の差分画像を作成する第1の輪郭画像差分手段と、輪郭画像記憶手段に記憶された前回撮像時の輪郭画像と今回輪郭抽出手段が作成した輪郭画像との差分を抽出した第2の差分画像を作成する第2の輪郭画像差分手段と、第1の差分画像と第2の差分画像とを合成した画像を作成する輪郭合成手段とで構成したことを特徴とし、第1の輪郭画像差分手段が前々回撮像時の輪郭画像と今回撮像時の輪郭画像との差分を取って第1の差分画像を作成するとともに、第2の輪郭画像差分手段が前回撮像時の輪郭画像と今回撮像時の輪郭画像との差分を取って第2の差分画像を作成し、輪郭合成手段が第1の差分画像と第2の差分画像とを合成しているので、前々回撮像時と今回との間で変化のあった部分に加え、前回撮像時と今回との間で変化のあった部分も抽出できるから、検出対象の移動量や動きが小さい場合でも検出対象の輪郭を精度良く抽出できるという効果がある。
【0055】
請求項4の発明は、請求項1の発明において、第1の類似度算出手段を、検出対象の輪郭を表すテンプレート画像を記憶する記憶手段と、第1の移動輪郭抽出手段が作成した画像を探索対象の画像として第1の探索範囲内を走査し、各走査点においてテンプレート画像の各画素と探索対象の画像の対応する画素とで共に輪郭が存在する画素の数を計数する計数手段と、計数手段の計数値をテンプレート画像の総画素数で正規化することで類似度を算出する手段とで構成したことを特徴とし、各走査点においてテンプレート画像の各画素と、探索対象の画像の対応する画素とで共に輪郭がある画素の数を計数しているので、検出対象の形状や大きさの変化の影響を受けにくいという効果があり、さらに計数結果をテンプレート画像の総画素数で正規化しているから、検出対象の大きさに関わらず同じ尺度で類似度を評価できるという効果がある。
【0056】
請求項5の発明は、請求項1の発明において、第2の類似度算出手段を、検出対象の輪郭を表すテンプレート画像を記憶する記憶手段と、第2の移動輪郭抽出手段が作成した画像を探索対象の画像として第2の探索範囲内を走査し、各走査点においてテンプレート画像の各画素と探索対象の画像の対応する画素とで共に輪郭がある画素の数を計数する第1の計数手段と、各走査点においてテンプレート画像の各画素と探索対象の画像の対応する画素とで共に輪郭がない画素の数を計数する第2の計数手段と、第1の計数手段の計数結果をテンプレート画像の輪郭がある画素数で正規化した値と第2の計数手段の計数結果をテンプレート画像の輪郭がない画素数で正規化した値とを加算することによって類似度を算出する手段とで構成したことを特徴とし、第1及び第2の計数手段により、テンプレート画像の各画素と探索対象の画像の対応する画素とで共に輪郭がある画素の数、共に輪郭がない画素の数をそれぞれ計数しているので、移動量や動きの小さい検出対象を精度良く検知でき、さらに第1及び第2の計数手段の計数結果をテンプレート画像の輪郭が存在する画素の数、輪郭が存在しない画素の数でそれぞれ正規化しているから、検出対象の輪郭の抽出度合いや大きさに関わらず同じ尺度で類似度を評価できるという効果もある。
【0057】
請求項6の発明は、請求項1の発明において、第3の類似度算出手段を、検出対象の輪郭を表すテンプレート画像を記憶する記憶手段と、今回輪郭抽出手段が作成した画像を探索対象の画像として第3の探索範囲内を走査し、各走査点においてテンプレート画像の各画素と探索対象の画像の対応する画素とで共に輪郭がある画素の数を計数する第1の計数手段と、各走査点においてテンプレート画像の各画素と探索対象の画像の対応する画素とで共に輪郭がない画素の数を計数する第2の計数手段と、第1の計数手段の計数結果をテンプレート画像の輪郭がある画素数で正規化した値と第2の計数手段の計数結果をテンプレート画像の輪郭がない画素数で正規化した値とを加算することによって類似度を算出する手段とで構成したことを特徴とし、第1及び第2の計数手段により、テンプレート画像の各画素と探索対象の画像の対応する画素とで共に輪郭がある画素の数、共に輪郭がない画素の数をそれぞれ計数しているので、移動量や動きの小さい検出対象を精度良く検知でき、さらに第1及び第2の計数手段の計数結果をテンプレート画像の輪郭がある画素の数、輪郭がない画素の数でそれぞれ正規化しているから、検出対象の輪郭の抽出度合いや大きさに関わらず同じ尺度で類似度を評価できるという効果もある。
【0058】
請求項7の発明は、請求項1の発明において、検知判断手段は、第3の類似度算出手段で算出した第3の類似度が第1のしきい値以上であれば検出対象が静止していると判断するとともに、第3の類似度が第1のしきい値よりも低い場合に第2の類似度算出手段で算出した第2の類似度が第2のしきい値以上であれば検出対象が微少な動きをしていると判断し、第3の類似度が第1のしきい値よりも低く且つ第2の類似度が第2のしきい値よりも低い場合に第1の類似度算出手段で算出した第1の類似度が第3のしきい値以上であれば検出対象がより大きな動きをしていると判断することを特徴とし、先ず探索範囲の最も狭い第3の探索範囲について第3の類似度算出手段で算出した第3の類似度と第1のしきい値との高低を比較することで、検出対象が静止しているか否かを判断し、次いで探索範囲が二番目に狭い第2の探索範囲について第2の類似度算出手段で算出した第2の類似度と第2のしきい値との高低を比較することで、検出対象が比較的小さな動きをしているか否かを判断した後、探索範囲が最も広い第1の探索範囲について第1の類似度算出手段で算出した第1の類似度と第3のしきい値との高低を比較することで、検出対象が比較的大きな動きをしているか否かを判断しているので、外乱の影響を受け難くして検出対象を精度良く検出することができる。また、第1の探索範囲よりも第2の探索範囲の方が狭く、且つ、第2の探索範囲よりも第3の探索範囲の方が狭くなっているので、検出対象が複数ある場合でも検出対象の前回撮像時の検出位置の近傍から探索を行うので、複数の検出対象の間の識別が可能となり、個々の検出対象の追跡が容易に行えるという効果がある。
【図面の簡単な説明】
【図1】実施形態1の画像処理装置の概略構成のブロック図である。
【図2】同上の画像処理の手順を説明する説明図である。
【図3】同上の第1の探索範囲の説明図である。
【図4】同上の別の画像処理の手順を説明する説明図である。
【図5】同上の第2の探索範囲の説明図である。
【図6】同上のまた別の画像処理の手順を説明する説明図である。
【図7】同上の第3の探索範囲の説明図である。
【図8】実施形態2の画像処理装置の要部のブロック図である。
【図9】同上の画像処理の手順を説明する説明図である。
【図10】実施形態3の画像処理装置の要部のブロック図である。
【図11】同上の画像処理の手順を説明する説明図である。
【図12】実施形態4の画像処理装置による画像処理の説明図である。
【図13】(a)はテンプレート画像の一例であり、(b)〜(d)は探索対象の画像の一例である。
【図14】実施形態5の画像処理装置による画像処理の説明図である。
【図15】(a)はテンプレート画像の一例であり、(b)〜(d)は探索対象の画像の一例である。
【図16】実施形態6の画像処理装置による画像処理の説明図である。
【図17】実施形態7の画像処理装置による画像処理のフロー図である。
【符号の説明】
3 輪郭抽出手段
4 輪郭画像記憶手段
8 検知判断手段
51,52 第1、第2の移動輪郭抽出手段
61〜63 第1〜第3の探索範囲設定手段
71〜73 第1〜第3の類似度算出手段
Claims (7)
- 所定の検知エリアを撮像した画像から人や車輌などの検出対象の有無及び動きを検出する画像処理装置において、検知エリアの画像を所定の時間間隔で撮像する撮像手段と、撮像手段が撮像した画像から輪郭を抽出した輪郭画像を作成する輪郭抽出手段と、輪郭抽出手段が作成した輪郭画像を記憶する輪郭画像記憶手段と、輪郭画像記憶手段に記憶された1乃至複数の輪郭画像をもとに所定期間内で変化のあった輪郭の部分を抽出し、検出対象時間における移動輪郭画像を作成する第1の移動輪郭抽出手段と、輪郭画像記憶手段に記憶された複数の輪郭画像をもとに前記所定期間よりも長い期間内で変化のあった輪郭の部分を抽出し、検出対象時間における移動輪郭画像を作成する第2の移動輪郭抽出手段と、第1の移動輪郭抽出手段が作成した画像に対し、前回の検出対象の検出位置から当該検出対象が移動可能な範囲を第1の探索範囲として設定する第1の探索範囲設定手段と、第1の探索範囲において第1の移動輪郭抽出手段が抽出した輪郭と検出対象との類似度を算出する第1の類似度算出手段と、第2の移動輪郭抽出手段が作成した画像に対し、前回の検出対象の検出位置近傍で第1の探索範囲よりも狭い範囲を第2の探索範囲として設定する第2の探索範囲設定手段と、第2の探索範囲において第2の移動輪郭抽出手段が抽出した輪郭と検出対象との類似度を算出する第2の類似度算出手段と、輪郭抽出手段が作成した検出対象時間における輪郭画像に対し、前回の検出対象の検出位置近傍で第2の探索範囲よりも狭い範囲を第3の探索範囲として設定する第3の探索範囲設定手段と、第3の探索範囲において今回輪郭抽出手段が抽出した輪郭と検出対象との類似度を算出する第3の類似度算出手段と、第1、第2及び第3の類似度算出手段がそれぞれ算出した類似度をもとに検出対象の有無を判断する検知判断手段とを備えて成ることを特徴とする画像処理装置。
- 第1の移動輪郭抽出手段を、輪郭画像記憶手段に記憶された前々回撮像時の輪郭画像と前回撮像時の輪郭画像との差分を抽出した第1の差分画像を作成する第1の輪郭画像差分手段と、輪郭画像記憶手段に記憶された前回撮像時の輪郭画像と今回輪郭抽出手段が作成した輪郭画像との差分を抽出した第2の差分画像を作成する第2の輪郭画像差分手段と、第1の差分画像と第2の差分画像との共通部分を抽出した画像を作成する共通輪郭抽出手段とで構成したことを特徴とする請求項1記載の画像処理装置。
- 第2の移動輪郭抽出手段を、輪郭画像記憶手段に記憶された前々回撮像時の輪郭画像と今回輪郭抽出手段が作成した輪郭画像との差分を抽出した第1の差分画像を作成する第1の輪郭画像差分手段と、輪郭画像記憶手段に記憶された前回撮像時の輪郭画像と今回輪郭抽出手段が作成した輪郭画像との差分を抽出した第2の差分画像を作成する第2の輪郭画像差分手段と、第1の差分画像と第2の差分画像とを合成した画像を作成する輪郭合成手段とで構成したことを特徴とする請求項1記載の画像処理装置。
- 第1の類似度算出手段を、検出対象の輪郭を表すテンプレート画像を記憶する記憶手段と、第1の移動輪郭抽出手段が作成した画像を探索対象の画像として第1の探索範囲内を走査し、各走査点においてテンプレート画像の各画素と探索対象の画像の対応する画素とで共に輪郭が存在する画素の数を計数する計数手段と、計数手段の計数値をテンプレート画像の総画素数で正規化することで類似度を算出する手段とで構成したことを特徴とする請求項1記載の画像処理装置。
- 第2の類似度算出手段を、検出対象の輪郭を表すテンプレート画像を記憶する記憶手段と、第2の移動輪郭抽出手段が作成した画像を探索対象の画像として第2の探索範囲内を走査し、各走査点においてテンプレート画像の各画素と探索対象の画像の対応する画素とで共に輪郭がある画素の数を計数する第1の計数手段と、各走査点においてテンプレート画像の各画素と探索対象の画像の対応する画素とで共に輪郭がない画素の数を計数する第2の計数手段と、第1の計数手段の計数結果をテンプレート画像の輪郭がある画素数で正規化した値と第2の計数手段の計数結果をテンプレート画像の輪郭がない画素数で正規化した値とを加算することによって類似度を算出する手段とで構成したことを特徴とする請求項1記載の画像処理装置。
- 第3の類似度算出手段を、検出対象の輪郭を表すテンプレート画像を記憶する記憶手段と、今回輪郭抽出手段が作成した画像を探索対象の画像として第3の探索範囲内を走査し、各走査点においてテンプレート画像の各画素と探索対象の画像の対応する画素とで共に輪郭がある画素の数を計数する第1の計数手段と、各走査点においてテンプレート画像の各画素と探索対象の画像の対応する画素とで共に輪郭がない画素の数を計数する第2の計数手段と、第1の計数手段の計数結果をテンプレート画像の輪郭がある画素数で正規化した値と第2の計数手段の計数結果をテンプレート画像の輪郭がない画素数で正規化した値とを加算することによって類似度を算出する手段とで構成したことを特徴とする請求項1記載の画像処理装置。
- 検知判断手段は、第3の類似度算出手段で算出した第3の類似度が第1のしきい値以上であれば検出対象が静止していると判断するとともに、第3の類似度が第1のしきい値よりも低い場合に第2の類似度算出手段で算出した第2の類似度が第2のしきい値以上であれば検出対象が微少な動きをしていると判断し、第3の類似度が第1のしきい値よりも低く且つ第2の類似度が第2のしきい値よりも低い場合に第1の類似度算出手段で算出した第1の類似度が第3のしきい値以上であれば検出対象がより大きな動きをしていると判断することを特徴とする請求項1記載の画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003086084A JP4042602B2 (ja) | 2003-03-26 | 2003-03-26 | 画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003086084A JP4042602B2 (ja) | 2003-03-26 | 2003-03-26 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004295416A JP2004295416A (ja) | 2004-10-21 |
JP4042602B2 true JP4042602B2 (ja) | 2008-02-06 |
Family
ID=33400838
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003086084A Expired - Fee Related JP4042602B2 (ja) | 2003-03-26 | 2003-03-26 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4042602B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4649640B2 (ja) * | 2004-11-18 | 2011-03-16 | 学校法人慶應義塾 | 画像処理方法、画像処理装置、及びコンテンツ作成システム |
JP4828265B2 (ja) * | 2006-03-13 | 2011-11-30 | セコム株式会社 | 画像センサ |
JP5578816B2 (ja) * | 2009-09-02 | 2014-08-27 | キヤノン株式会社 | 画像処理装置 |
JP5267596B2 (ja) * | 2011-02-23 | 2013-08-21 | 株式会社デンソー | 移動体検出装置 |
JP5747695B2 (ja) * | 2011-07-07 | 2015-07-15 | 富士通株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
JP6337377B2 (ja) * | 2014-08-21 | 2018-06-06 | パナソニックIpマネジメント株式会社 | 検知装置、検知システム、およびプログラム |
WO2016027410A1 (ja) * | 2014-08-21 | 2016-02-25 | パナソニックIpマネジメント株式会社 | 検知装置および検知システム |
JP7078894B2 (ja) * | 2018-06-11 | 2022-06-01 | オムロン株式会社 | 制御システム、制御装置、画像処理装置およびプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3060433B2 (ja) * | 1991-08-12 | 2000-07-10 | 日本電信電話株式会社 | 動きベクトル算出方法 |
JPH07263482A (ja) * | 1994-03-18 | 1995-10-13 | Fujitsu Ltd | パターンマッチング方法及び半導体装置の製造方法 |
JPH08185521A (ja) * | 1994-12-28 | 1996-07-16 | Clarion Co Ltd | 移動体カウント装置 |
JPH0973543A (ja) * | 1995-09-06 | 1997-03-18 | Toshiba Corp | 画像処理装置 |
JP2001167282A (ja) * | 1999-12-10 | 2001-06-22 | Toshiba Corp | 移動物体抽出装置及びその方法 |
JP2002183666A (ja) * | 2000-12-12 | 2002-06-28 | Fujitsu Kiden Ltd | パターン認識装置、画像読取装置、パターン認識方法、及び記録媒体 |
JP4470342B2 (ja) * | 2001-05-29 | 2010-06-02 | パナソニック電工株式会社 | 画像処理方法及びそれを用いた画像処理装置 |
-
2003
- 2003-03-26 JP JP2003086084A patent/JP4042602B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004295416A (ja) | 2004-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10599228B2 (en) | Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data | |
KR101971866B1 (ko) | 동화상에 있어서 물체를 검출하는 방법 및 장치, 및 그 프로그램을 기억한 기억 매체 | |
JP6554169B2 (ja) | 物体認識装置及び物体認識システム | |
JP4915655B2 (ja) | 自動追尾装置 | |
TWI380223B (en) | Image processing apparatus and image processing method | |
JP4373840B2 (ja) | 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置 | |
WO2012127618A1 (ja) | 動体検出装置、動体検出方法、動体検出プログラム、動体追跡装置、動体追跡方法及び動体追跡プログラム | |
US9349207B2 (en) | Apparatus and method for parsing human body image | |
JP6095817B1 (ja) | 物体検出装置 | |
JP2012088787A (ja) | 画像処理装置、画像処理方法 | |
US10762372B2 (en) | Image processing apparatus and control method therefor | |
JP2021108193A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US9947106B2 (en) | Method and electronic device for object tracking in a light-field capture | |
JP4042602B2 (ja) | 画像処理装置 | |
JP4728795B2 (ja) | 人物オブジェクト判定装置及び人物オブジェクト判定プログラム | |
JP2008288684A (ja) | 人物検出装置及びプログラム | |
JP2008035301A (ja) | 移動体追跡装置 | |
JP2007164690A (ja) | 画像処理装置及び画像処理方法 | |
JP3230509B2 (ja) | 動画像処理装置 | |
JP5470529B2 (ja) | 動き検出装置、動き検出方法及び動き検出プログラム | |
JP2003162724A (ja) | 画像センサ | |
CN111597893B (zh) | 一种行人图像的匹配方法、装置、存储介质及终端 | |
JP2001094976A (ja) | 画像抽出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050915 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071018 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071023 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071105 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101122 Year of fee payment: 3 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101122 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111122 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121122 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121122 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131122 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |