現在、駐車場の入口や遊園地の乗物の乗車入口にて、車高や身長などの高さ制限の調査が行われている。また、コンビニエンスストアなどの監視においても、タイムラプスビデオに録画された事後の映像で、目視による犯人の身長測定判断が行われている。さらに、高さに対する侵入制限の他に、狭い道幅に対する車両侵入規制がある。
駐車場では、入場車両の車高を制限するポールや看板がある。駐車場入口にて、この車高制限ポール等に接触することにより、車両ドライバーへの警告および、車両誘導者への判断情報を提供し、入場拒否や駐車エリアの変更を行っている。遊園地乗物乗車入口では、乗車者の身長を制限する人の形をした身長比較看板がある。乗り物の乗車入口にて、この身長比較看板と比較することにより、乗車者への警告および、乗車誘導員への判断情報を提供し、安全の為、乗車拒否を行っている。また、コンビニエンスストアでは、出口に身長測定用の色別けされたテープがあり、監視カメラおよび、タイムラプスビデオにより、常時監視されている。事後、この録画された映像を目視による判断により、犯人の身長測定の判断が行われている。さらに、狭い道幅道路に対しても、車両や大型侵入禁止の道路標識に規制されている。これらの比較看板やポール、シール、道路標識は、特定の場所に移動する物体(以下では、移動体という)の侵入を高さや幅を測定することにより、事故を未然に防止することや測定情報の収集を目的としている。しかし、現在、映像記録の分析は技術的な問題から人の目視および判断に頼らざるをえない状況にある。そのため、コンピュータなどによる測定処理の自動化が求められており、様々な方法が提案されている。
移動体を検出する方法としては、特許文献1の「移動体検出・抽出装置及び方法」が提案されている。この方法では、複雑背景下での移動体検出・抽出と、映像処理時間の短縮とを実現している。以下に図2を用いてこの方法を説明する。
図2のうち、フレーム画像F1(241)からF5(245)は、それぞれ時刻T1(221)からT5(225)での入力映像のフレーム画像である。図2のフレーム画像中に記されている線分S(231)は、入力映像中での監視を行なう着目領域を線分として指定したものであり、以降この線分状の着目領域をスリットと呼ぶことにする。図2の201から205は、それぞれ時刻T1(221)からT5(225)までの、スリットS上の画像(以降スリット画像と呼ぶ)と背景画像を表したものである。本例では、処理開始時の背景画像として、移動体がカメラに移っていない時の監視着目領域の画像を設定している。
本方法では、それぞれのフレーム画像について、次の処理を行なう。(1)ある特定のフレームにおけるスリット画像と背景画像を抽出し、(2)スリット画像と背景画像の画像構造の変化度合いを求め、(3)該画像構造変化量を時系列的に眺め、画像構造変化量が山形のパターン等に従って変移していた場合、移動体と判断し、(4)画像構造変化量の変動がなく平坦な場合、背景画像と判断する。
上記のステップ(3)について、図2のフレーム画像列を用いて説明する。本例のように、物体がスリットを横切る場合、画像構造変化量は図2の画像構造変化グラフ(211)のように山形に遷移する。
ここで画像構造変化量とは、画像中の物体の位置や形といった、物体の構造がどの程度変化したかを表す度合いである。画像構造変化量は、画像の照度に変化されない特徴量であり、画像中の画素の変化量を表す画像変化量とは異なる。画像構造変化量の詳細な算出方法は後述する。
まず、物体がスリットに入る前(時刻T1(221))では、スリット上の画像と背景画像はほぼ同一(201)なので、画像構造変化量は小さい。次に、物体がスリットを横切り始める(時刻T2(222))と、スリット画像と背景画像は異なる(202)ため、画像構造変化量は大きくなる。最後に、物体がスリットを通り抜けると(時刻T3(223))、画像構造変化量は、また小さい値に戻る。このように物体がスリットを横切ると画像構造変化量は山形になる。したがって、移動体を見つけるには、画像構造変化量を時系列的に眺めて、山形になった瞬間を見つければよい。本例では、山形になった瞬間として、画像構造変化量が、しきい値a(213)を超えて、かつ、その後しきい値a(213)を下回った時点を用いている。
上記のステップ(4)について、図2のフレーム画像列を用いて説明する。本例のように、スリット上に荷物(252)などが放置されると(時刻T4(224))、当初画像構造変化量が増加するが、その後荷物(252)は静止したままなので、画像構造変化量は、高どまりしたまま変動しなくなる(時刻T4(224)から時刻T5(225))。この方法では、このように一定時間以上画像構造変化量の変動値が小さかった場合、その時点のスリット画像を背景として、背景の自動更新を行なっている。
最後にステップ(2)の画像構造変化量の算出方法について、図13,図14,図15を用いて説明する。13は、スリット画像に対する照度変化の影響を示したものである。まず、図13(a)のように各画素の明るさがP1…PNで与えられるスリット1301を考える。次に、横軸を画素の位置、縦軸を画素の明るさとするグラフを考えると、図13(b)1305のようになる。ここで、影などによって暗くなった場合など、急激な照度変化が生じて、スリット画像1301全体が暗くなったとすると、スリット画像1301中の各画素P1…PNの明るさは図13(c)のように相対的な関係を保ったまま、1305から1307のように一様に小さくなる。この照度変化を、スリット画像をベクトルに見た立てて考えると次の図14のようになる。
図14(a)のように、スリット画像1401は各画素の明るさを要素とするベクトルV(1401)と考えることができる。各画素P1…PN毎の基底ベクトルをb1,b2,b3,…,bnとすると、ベクトルV(1401)は、図14(b)のようなn次元のベクトル空間上の一点と表すことができる。次に、このベクトル(1401)に対し、影などによって暗くなった場合などによって、急激な照度変化が生じてスリットベクトルが変化し、図14(c)のスリットベクトルV’(1403)のようになったとする。このとき、図13の考察から、変化したスリットベクトルV’(1403)は、ベクトルV(1401)とほとんど同一直線上に存在し、ベクトルV(1401)のスカラー倍になっていると考えることができる。このように、もとのスリットベクトル1401と照度によって変化したスリットベクトルV’(1403)は、ベクトル空間上での座標位置は大きく異なってもその向きはほとんど同一であることが分かる。これに対し、構造変化の生じたスリットベクトルでは、座標位置だけでなく、その向きも大きく異なると予想される。従って、スリット1301の照度変化と構造変化を区別するには、ベクトルの向きを考慮すればよい。
図15は、通常のスリットベクトルV(1401)と、照度変化の影響を受けたスリットベクトルV’(1403)の単位球面上への射影である。図15に示されるように、ベクトルV(1401)の単位球上への射影ベクトルP(1501)と、ベクトルV’(1403)の単位球上への射影ベクトルQ(1503)との距離PQは、元の距離VV’に比べて非常に近づく。二つの異なるスリット画像の関係が、単なる照度差の違いか構造変化の違いかは、単位球上でのベクトル距離が非常に小さいかどうかで判定できるということである。以降では、この正規化されたベクトル間の距離を、正規化距離と呼ぶこととする。この正規化距離を用いることによって、画像中の物体の構造変化の度合いを求めることができる。この方法では、この画像構造変化量を、ステップ(3)に示した移動体の検出や、ステップ(4)に示した背景の検出・自動更新に用いている。これによって、従来は監視が難しかった、昼から夜、夜から昼といった照明条件が変化した場合や、背景位置に物体をおかれた場合などの監視条件に対しても、それが移動体であるか、新しい背景であるか、それとも単なる影の変化なのかを、正しく分類することができる。
以上が「移動体検出・抽出装置及び方法」の概略である。この方法では、監視を行なう着目領域として線分を用いることができるため、画面全体を着目領域とするそれ以前の方法に比べ、画像構造変化量の算出時間を大幅に短縮できる。また、この方法では、画像構造変化量の時系列変化を見ることにより背景更新のタイミングを見つけることができるため、屋外の映像などのように、背景が常時変更される可能性のある場所でも、監視処理を適用できる。また、この方法では、画素の差分量である画像変化量を用いるのではなく、画像中の物体の構造変化の度合いを用いるため、照明条件の変化や背景画像に構造的な変化があった場合でも、正しく背景と移動体を区別できる
また、特許文献2の「移動体組合せ検出抽出装置および方法」が提案されている。この方法では、移動体検出装置で用いる着目領域を複数個持ち、格子状の監視着目領域により検出された移動体検出情報の組み合わせから、移動体の位置と移動体の大きさを判定している。以下に図3を用いてこの方法を説明する。
図3のうち、入力されたTV映像300の中に存在する移動体341の縦の位置と横の位置を、格子状に配列されたスリット群(311から315と、321から324)を用いて検出する。このスリット群は、縦線の形状のスリットを複数並べた、スリットV1(311)、スリットV2(312)、スリットV3(313)、スリットV4(314)、スリットV5(315)から構成される縦スリット群と、同様に横線の形状のスリットを複数並べた、スリットH1(321)、スリットH2(322)、スリットH3(323)、スリットH4(324)から構成される横スリット群とを、直交に配置することによって、構成される。縦スリット群の各々のスリットは、幅Lw(332)の間隔で平行に並んでいる。同様に、横スリット群の各々のスリットは、高さLh(331)の間隔で平行に並んでいる。
なお、図2の移動体検出手段は、画像構造変化量がしきい値a(213)を超えている間、つまり時刻T2(222)から時刻T3(223)までの区間と、時刻T4(224)以降の区間において、常に移動体検出イベントが発行される(例えば、一秒間に30枚の画面があるとすると、その1枚、1枚について移動体があるかどうかを調べている。そして、画像構造変化量がしきい値を越えている間移動体が検出されていることを示す信号が発行され続ける。)ものとする。
また、移動体検出情報のスリット識別子として、図3に示したスリットの一本一本を識別するために、“V1”、“V2”、“H1”、“H4”といったスリットの名称に値する文字列を設定されるものとする。
次に、以上で述べたスリット群を用いて移動体の大きさを判定する方法について説明する。図3のうち、移動体341の場合、縦のスリットV2(312)とスリットV3(313)、横のスリットH2(322)とスリットH2(322)が検出される。そして、縦のスリットは、V2(312)の左スリットであるV1(311)と縦のスリットV3(313)の右スリットであるV4(314)が検出されない。横のスリットは、H2(322)の上スリットであるH1(321)と横のスリットH3(323)の下スリットであるH4(324)が検出されない。つまり幅は検出された縦のスリットV2(312)とスリットV3(313)により、幅Lw(332)以上で、検出されなかったV1(311)とV4(314)により、幅Lw(332)×2未満であることがわかる。高さは検出された横のスリットH2(322)とスリットH3(323)により、高さLh(331)以上で、検出されなかったH1(321)とH4(324)により、高さLh(331)×2未満であることがわかる。
以上が「移動体組合せ検出抽出装置および方法」の大きさを判定する概略である。この方法では、入力された映像から移動体を検出する手段を格子状に定義し、それぞれの検出を組にして、高さと幅と位置を同時に判定している。また、この方法では、時間軸毎についても判定しているため、入力されたTV映像上で移動体の追尾ができる。
特開平8−221577号公報
特開平9−299948号公報
以下に本発明の実施例について細かく説明する。
本発明の移動体検出測定の判定手段の一例について以下に述べる。
図1は、移動体検出測定装置の構成図である。図4は、基本線における検出での侵入予想から侵入までの区間の画像構造変化量値の変化の例である。図5は、移動体検出手段で用いる、リスト定義・検出情報の列の例である。図6は、検出結果をコード化する手段で用いる、測定コードテーブルの例である。図7と図8は、基本線および分割線からなる同一直線上で映像を定義する手段の例である。図9は、基本線の検出での侵入予想から侵入までの区間の画像変化量値が最も大きい時のフレームにおける基本線および分割線の検出結果をコード化し、予め設定した測定コードとを比較判定を行う手段の処理手順例である。
本発明の一実施例である図1の移動体検出測定装置(100)の構成内容について他の図面も参照しながら述べる。これは実際にはコンピュータにより実現される。
移動体検出測定装置(100)は、以下の手段から構成される。映像入力手段(111)は、ビデオカメラ(110)により構成される映像作成手段によって作成された映像を、移動体検出測定装置(100)内に読込む機能を実現している。
この場合、ビデオカメラ(110)の映像は映像入力手段(111)にへと入力される。次に映像入力手段(111)に読込まれた映像は、映像を構成するフレーム画像の列として、検出位置設定手段(112)に備えられた移動体検出手段1(113)に入力され、移動体の有無が検出される。以下同様に、i番目の移動体検出手段iにおいて、映像入力手段(111)に読込まれた映像は、移動体検出手段iに入力され、移動体の有無が検出される。移動体検出手段1(113)は、入力されたある特定のフレームにおける着目領域のデータと各フレームでの着目領域のデータとの相関を算出し、算出された少なくとも1つの相関値のパターンから、移動体の存在有無や背景画像の変更などの移動体検出イベントを判定する。この実現方法として、本実施例では、「従来の技術」で述べた図2に示される方法を用いるものとする。移動体検出手段1(113)の出力(114)には、移動体が基本線スリットに触れた時点や、移動体がスリットを抜け出た時点や、背景が更新された時点など、相関値のパターンとして求めることが可能な、様々な移動体検出イベントを想定することができる。
たとえば図2を用いて説明すると、移動体がスリットに触れた時点は、図2の画像構造変化量があるしきい値a(213)を超えた時点(時刻T2(222),フレーム画像F2(242))として検出できる。また同様に、移動体がスリットを抜け出た時点は、画像構造変化量がしきい値a(213)を超えた後に、また画像構造変化量がしきい値a(213)を下回った時点(時刻T3(223),フレーム画像F3(243))として検出できる。また同様に、背景が更新された時点は、画像構造変化量があるしきい値a(213)を超えた後、数秒間(数フレーム間)画像構造変化量が動かなかった時点(時刻T5(225),フレーム画像F5(245))として検出結果を出力するものとする。
本実施例ではビデオカメラ(110)はある定位置、例えばコンビニエンスストアの出入り口や乗り物の入場口に向かって設置されている。被写体はこのときコンビニエンスストアの出入り口や乗り物の入場口といった制約された位置を通過する。したがって、ビデオカメラ(110)と被写体との距離はいつもほぼ一定であると推定される。したがって、被写体が通る位置を想定した上で被写体の検出のための着目領域である基本線と各分割線を設定する。
本実施例では検出位置設定手段(112)は、映像を定義する基本線および分割線からなる同一直線上で複数個定義される。設定は、図1の入力映像に対して、キーボード(115)やマウス(116)で行う。詳細な設定については、たとえば図7を用いて説明すると、基本線および分割線からなる定義線で用いる着目領域を、同一線上に複数分割して配置する場合、まず始めに、基本線V0(710)の開始点と終了点を定義する。次に分割線V1(721)から、分割線V5(725)間で定義するが、基本線V0(710)を分割した線のため、以下の定義ができる。
分割線V1(721)は、開始点を基本線V0(710)の開始点と同じ位置にして終点を新たに定義する。分割線V2(722)は、開始点を分割線V1(721)の終了点と同じ位置にして終点を新たに定義する。分割線V3(723)は、開始点を分割線V2(722)の終了点と同じ位置にして終点を新たに定義する。分割線V4(724)は、開始点を分割線V3(723)の終了点と同じ位置にして終点を新たに定義する。分割線V5(725)は、開始点を分割線V4(724)の終了点と同じ位置にして終点を基本線V0(710)の終点と同じ位置に定義する。これらは図示の都合上基本線V0と別の位置に示してあるが、V1〜V5までは基本線V0と同じ位置にある。
701に実際の身長の検出測定を行った場合の定義位置と測定コードおよび高さの関係を説明する。基本線V0の位置を0.0mから2.0m、分割線V1の位置を0.0mから1.6m、分割線V2の位置を1.6mから1.7m、分割線V3の位置を1.7mから1.8m、分割線V4の位置を1.8mから1.9m、分割線V5の位置を1.9mから2.0mにする。図2の移動体検出手段を用いて取得した図5の検出種別は、未侵入:0と侵入:1になる。フレーム画像毎に各スリットの検出種別を図6の測定コードテーブルに渡す。従って、測定コード「000000」の高さに関する情報は「未通過」、測定コード「110000」の高さに関する情報は「1.6m未満」、測定コード「111000」の高さに関する情報は「1.6m以上1.7m未満」、測定コード「111100」の高さに関する情報は「1.7m以上1.8m未満の」、測定コード「111110」の高さに関する情報は「1.8m以上1.9m未満」、測定コード「111111」の高さに関する情報は「1.9m以上」になる。
ここで、侵入、未侵入について述べたことから図5について説明する。
図5は、移動体測定判定手段(101)が内部に持つ移動体検出イベントの列(スリット定義・検出情報)である。スリット定義・検出情報は、先に述べた移動体検出手段が作成した移動体検出情報を、リスト構造により複数個格納している。スリット定義・検出情報は、その先頭を表す先頭ポインタ500を持ち、そのリスト構造の1要素として1つの移動体検出情報を格納し、各要素間をポインタによって連結している。図5の例では、イベントリストの要素として、要素501と要素502があり、それらは先頭ポインタ500、要素501の次ポインタ領域next(551)などにより、連鎖的に繋がっている。本例では、基本線は、スリット定義・検出情報のスリットID(552)の手段1になり、各分割線は、スリット・検出情報のスリットID(552)は手段2から最後の手段までになる。
ここで、手段1、手段2などは、図1の移動体検出手段1(113)、移動体検出手段n(123)などを意味している。
イベントリスト(501)、(502)などはそれぞれ上記分割線V0〜V5の1つに対応しポインタ551によって順次検索されるように連結されている。なお、本図で黒丸はポインタを表す。スリットID(552)はV0〜V5の一つであることを示すものであり、V0から順に手段1、手段2というIDが付与されている。検出種別(553)はそのスリットに移動体が入ると侵入:1の情報が書き込まれ、そのスリットに移動体がなければ未侵入:0の情報が書き込まれているものである。画像構造変化量値(554)はそのスリットにどの程度の移動体の映像が入ったかを数値化したもので、全く移動体がなければ値は0であり、スリット内の移動体の映像の量が増えるにしたがってその値は大きくなる。
定義モード(555)は図7に示すスリットの定義か図8に示すスリットの定義かを示すものである。分割定義数(556)はスリットがいくつ定義されているかを示す値であって、この例の場合、V0〜V5の6個であるから6が記入してある。
開始点X(557)、開始点Y(557)はスリットが画面上どの位置にあるかを示したものでイベントリスト(501)の場合、画面左下を座標(0,0)として、X方向に160cm、Y方向に5cmを開始点としていることを示す。また、終了点X(559)、終了点Y(560)はスリットの終了点がX方向に160cm、Y方向に235cmの点であることを示す。イベントリスト(502)の場合は開始点がX方向に160cm、Y方向に180cm、終了点がX方向に160cm、Y方向に235cmであることを示している。これらの数字はキーボード115から設定可能である。最新スリット画像(561)はスリット画像(511)へのポインタであり、背景スリット画像(562)は比較の対象となるスリット画像(512)へのポインタである。更に、フレーム画像(563)はフレーム画像(513)へのポインタである。
次に、測定コードに言及したことから図6について説明する。
図6は、検出結果をコード化する手段で用いる測定コードテーブル(600)の例である。基本線および分割線のスリット・検出情報から、検出測定コードを作成するスリット定義・検出情報の検出種別(553)が検出結果の測定コードに渡される。測定コードテーブル(600)の桁数は、スリット定義・検出情報の分割定義数(556)である。なお、検出種別は、未侵入:0と侵入:1になる。本例では、スリット・検出情報から、分割定義数は6で、基本線の検出種別は6桁目、5桁目から1桁目は順に分割線1から分割線5の検出種別が渡される。
更に、番号を参照して測定コードテーブルの構成を説明する。ビット(610)はスリットV0の範囲のどこかに移動体が検出されたとき1がセットされる。同様にビット(611)はスリットV1の範囲に移動体が検出されたときに1がセットされる。以下同様にビット(612)からビット(615)はそれぞれの対応するスリットに移動体が検出されると1がセットされる。したがって、測定コードテーブル(600)はそれぞれのビットが一つのスリットでの侵入、未侵入を表すビットパターンである。
図8は図7と分割線の設定の異なる実施形態を示す。図8を用いて説明すると、基本線および分割線からなる定義線で用いる着目領域を、同一線上に基準点より長さを変えて複数重畳して配置する場合、まず初めに、基本線V0(810)の開始点と終了点を定義する。次に分割線V1(821)から、分割線V5(825)間で定義するが、基本線V0(810)の終了点が同じであるため、以下の定義ができる。分割線V1(821)は、開始点を基本線V0(810)の開始点と同じ位置にして終点を基本線V0(810)の終点と同じ位置に定義する。分割線V2(822)は、開始点を分割線V1(821)より短い位置にして終点を基本線V0(810)の終点と同じ位置に定義する。分割線V3(823)は、開始点を分割線V2(822)より短い位置にして終点を基本線V0(810)の終点と同じ位置に定義する。分割線V4(824)は、開始点を分割線V3(823)より短い位置にして終点を基本線V0(810)の終点と同じ位置に定義する。分割線V5(825)は、開始点を分割線V4(824)より短い位置にして終点を基本線V0(810)の終点と同じ位置に定義する。
801に実際の身長の検出測定を行った場合の定義位置と測定コードおよび高さの関係を説明する。基本線V0の位置を0.0mから2.0m、分割線V1の位置を0.0mから2.0m、分割線V2の位置を1.6mから2.0m、分割線V3の位置を1.7mから2.0m、分割線V4の位置を1.8mから2.0m、分割線V5の位置を1.9mから2.0mにする。図2の移動体検出手段を用いて取得した図5の検出種別は、未侵入:0と侵入:1になる。フレーム画像毎に各スリット検出種別を図6の測定コードテーブルに渡す。従って、測定コード「000000」の高さに関する情報は「未通過」、測定コード「110000」の高さに関する情報は「1.6m未満」、測定コード「111000」の高さに関する情報は「1.6m以上1.7m未満」、測定コード「111100」の高さに関する情報は「1.7m以上1.8m未満の」、測定コード「111110」の高さに関する情報は「1.8m以上1.9m未満」、測定コード「111111」の高さに関する情報は「1.9m以上」になる。
基本線の検出における最大画像構造変化量値の最適フレーム情報は、たとえば図4を用いて説明すると、移動体がスリットに触れた時点は、図4の画像構造変化量があるしきい値a(413)を超えた時点(フレーム画像F2(442))から、移動体がスリットを抜け出た時点は、画像構造変化量がしきい値a(413)を超えた後に、また画像構造変化量がしきい値a(413)を下回った時点(フレーム画像F3(243))までの間になる。つまり、この間の各フレーム毎の画像構造変化量を比較することにより、画像構造変化量が最大に変化した時点(フレーム画像F3(443))の情報は、求めることができる。
移動体検出手段1(113)から移動体検出手段n(123)までのそれぞれの移動体検出手段は、検出した移動体検出イベントを、移動体検出イベントの種類や発生フレーム画像などの移動体検出情報とともに、移動体測定判定手段(101)に入力する。
本例での移動体検出情報は、図5のスリット定義・検出情報のうちの1要素(501)に示されるような、移動体検出手段の識別子id(552)(以降ではスリットIDと呼ぶ。文字列などにより実現する)、スリットに触れた時点や背景更新の時点などの検出した移動体検出イベントの種類type(553)、フレーム画像毎の情報画像構造変化量値ci(554)、基本線を分割線として定義するモード(分割点設定または開始点設定)mode(555)基本線および分割線の分割定義数ti(556)、基本線および各分割線の開始点X xbi(557)、基本線および各分割線の開始点Y ybi(558)、基本線および各分割線の終了点X xebi(559)、基本線および各分割線の開始点Y
yei(560)、移動体検出処理に用いたスリット画像slit(561)、同じく背景画像bgr(562)、および、同じくフレーム全体の画像img(563)、から構成されている。
本例では、スリット画像slit(561)、背景画像bgr(562)、フレーム画像img(563)は、実際の画像データを指すポインタとして実現されており、それぞれ画像511、512、513を指している。
次に、移動体検出手段などから出力された、移動体検出イベントやそれに付随する移動体検出情報(114、124など)は、移動体測定判定手段101により、その情報をコード化され、測定コードとの比較判定され、判定された結果が、より高度な移動体検出イベント(102)となって出力される。結果出力手段(103)では、より高度な移動体検出イベント(102)を、ディスプレイ装置(104)やスピーカー(105)などによって最終的な移動体検出測定結果をユーザに提示する。
なお、本例では、上記の移動体検出測定装置(100)を、メモリと入出力装置と演算装置などから構成されるコンピュータによって実現している。
次に、図8の基本線および分割線からなる定義線で用いる着目領域を、同一線上に基準点から長さを変えて複数重畳して配置する場合の手続きについて、図9の900でステップを追いながら説明する。
まず、フレーム毎の基本線および分割線のスリット・検出情報を取得する(901)。次に基本線の検出種別が侵入であるか判定し(902)、侵入でなければ、検出測定コードをすべて0にして(903)、未侵入であることを結果出力手段に渡し(904)、次のフレームのスリット・検出情報を取得する。侵入であれば、基本線および分割線のスリット・検出情報から、図6に示す検出測定コードを作成する(905)。次に図5に示す基本線の画像構造変化量値が最大であるか判定する(906)。最大でなければ、次のフレームのスリット・検出情報を取得する。最大であれば、予め設定した設定コードおよび高さとの関係に関する情報を取得する(907)。次に検出測定コードと予め設定した設定コードが同じか判定する(908)。同じでなければ、次の予め設定した設定コードおよび高さに関する情報を取得する。同じであれば、比較結果の測定情報を結果出力手段(103)に渡す(909)。最後に、フレーム画像の終りか判定し(910)、終りでなければ、次のフレームのスリット・検出情報を取得する。終りであれば、本手続きを終了する。結果出力手段(103)の出力はディスプレイ(104)に表示され、また、スピーカ、プリンタまたは通信装置を通して遠隔地に出力する通信機構である外部出力手段(105)に与えられる。外部出力手段は測定判断手段によって得られた結果によって、結果の表示や警報または案内を出力するものである。
なお、予め設定する測定コードおよび高さに関する情報は、測定コード毎にテーブルデータなどに持つ。これが検出測定コードと比較される。測定コードの設定方法については、以降の実施例において詳しく説明する。
本発明の他の応用例として、映像を定義する基本線および2本の分割線からなるスリットの検出測定判定の結果出力方法の一例とスリットの定義の一例について以下に述べる。図10は、基本線および分割線2本を定義して車両の高さを測定し誘導駐車場を表示する画面の一例である。
ここでは自動車の車高の検査を例にしている。ビデオカメラは駐車場の入り口など、非常に制限された場所を自動車が通る位置に向けて設置される。したがって、ビデオカメラと自動車との距離や位置関係はほぼ一定の関係にあると推定される。
図11は、基本線および分割線からなる定義線で用いる着目領域を、同一線上に複数分割して配置し、測定コードに対する表示内容を設定する画面の一例である。図12は、基本線および分割線からなる定義線で用いる着目領域を、同一線上に基準点から長さを変えて複数重畳して配置し、測定コードに対する表示内容を設定する画面の一例である。
まず、図10は、映像を定義する基本線および分割線2本からなるスリットの検出測定装置の結果出力例方法を示している。ウィンドウ(1000)は、結果を表示する領域であり、コンピュータなどにより表示される。ウィンドウ(1000)には、入力映像を表示する領域(1001)と、移動体の高さの測定を開始させる測定開始ボタン(1003)と、同じく調査を終了させる調査終了ボタン(1004)と、測定線を設定する測定線設定ボタン(1005)と、入力映像(1001)中に指定したスリット(1002)と、移動体の測定コードと高さと誘導駐車場と移動体の測定フレーム画像などの一台ずつの測定結果を表示する領域(1006)が存在する。入力映像(1001)のスリット(1002)位置の指定は、図11と図12で詳しく説明する。測定開始ボタン(1003)を押下すると、移動体の高さの測定処理が開始し、測定終了ボタン(1004)を押下すると、測定処理を終了する。
以下に、測定処理について簡単に説明する。測定の開始時には、測定結果領域(1006)のフレーム画像と測定コードと車両高さと誘導駐車場を初期化して何も表示しないとする。その後移動体を検出(最大画像構造変化量値のフレーム)するたびに、測定結果領域(1006)に移動体検出測定情報を追加表示する。
本例では、移動体検出情報の表示方法として、図中の1021のように、上から移動体の測定フレーム画像、測定コード、車両高さ、誘導駐車場を順に表示している。
移動体検出測定結果出力時の処理では、この他にも、測定コードを元に警告するために、測定結果領域(1006)の文字や画像の枠を赤色で点滅させたり、スピーカー(105)から音を発生したりして、注意を促すと更によい。
次に、図11の基本線および分割線からなる定義線で用いる着目領域を、同一線上に複数分割して配置し、測定コードに対する表示内容を設定する画面について説明する。ウィンドウ(1100)は、スリットと測定コードに対する表示内容を設定する領域であり、コンピュータなどにより表示される。
ウィンドウ(1100)には、定義映像を表示する領域(1101)と、定義方法を設定する定義モードを指定するチェックボックス(1106)と、基本線0スリットの座標位置を入力可能なエディットボックス群(1107)と、分割線1スリットの座標位置を入力可能なエディットボックス群(1108)と、分割線2スリットの座標位置を入力可能なエディットボックス群(1109)と、定義条件である測定コード、車両高さ、誘導駐車場を入力可能なエディットボックス群(1110)と、設定の反映を表すOKボタン(1111)と、設定を取り消すキャンセルボタン(1112)から構成される。定義映像表示領域(1101)には、現在指定されているスリット(1102)が表示され、そのスリット上の開始点や終了点(1103、1104、1105)は丸などにより強調表示される。定義モードを指定するチェックボックス(1106)は、分割点設定か開始点設定のどちらか1つだけが選択可能になるように設定されている。
本画面では、基本線が1本と分割線2本のスリットの条件を設定できるようになっている。次にその画面の操作方法について概説する。図で白抜きの部分は入力項目を表す。まず、定義モードのチェックボックス(1106)を分割点設定(図7のスリットの設定方法に相当する)にすることにより、分割線1スリットの座標位置を入力可能なエディットボックス群(1108)の開始点の座標位置と分割線2スリットの座標位置を入力可能なエディットボックス群(1109)の開始点と終了点の座標位置は他の値が決まると自ずとその値が決まるので入力の必要はないために入力できなくなる。
次に基本線0スリットの座標位置を画面左下を座標の原点(0,0)とし、入力可能なエディットボックス群(1107)の開始点の座標位置X:160、Y:005を入力すると、分割線1スリットの座標位置を入力可能なエディットボックス群(1108)の開始点の座標位置が自動的に反映される。基本線0スリットの座標位置を入力可能なエディットボックス群(1107)の終了点の座標位置X:160、Y:235を入力すると、分割線2スリットの座標位置を入力可能なエディットボックス群(1109)の終了点の座標位置が自動的に反映される。分割線1スリットの座標位置を入力可能なエディットボックス群(1108)の終了点の座標位置X:160、Y:210を入力すると、分割線2スリットの座標位置を入力可能なエディットボックス群(1109)の開始点の座標位置が自動的に反映される。
(本例では、 予め測定し、基本線0スリットの開始点(1103)と終了点(1104)の間を「2.3m」、基本線0スリットの開始点(1103)と分割する点(1105)の間を「2.05m」としている。本例では車高210cmで駐車場の振り分けを決めることとしたものであって、この値は任意に決められるものである。)
次に定義条件である測定コード、車両高さ、誘導駐車場を入力可能なエディットボックス群(1110)を入力する。この3桁の測定コードは、侵入の値が1、未侵入の値が0とする。左が基本線0スリット、中央が分割線1スリット、右が分割線2スリットとするため、たとえば、測定コード110は、2.1m未満の車両が駐車できるA駐車場へ誘導するように指定する。測定コード111は、2.1m以上の車両が駐車できるB駐車場へ誘導するように指定する。
次に、図12の基本線および分割線からなる定義線で用いる着目領域を、同一線上に基準点より長さ変え複数重畳して配置し、測定コードに対する表示内容を設定する画面について説明する。これは、図8の形式のスリットに相当する。図11と同様に白抜き文字の項目が入力項目である。ウィンドウ(1200)は、図11のウィンドウ(1100)基本線および分割線からなる定義線で用いる着目領域を、同一線上に複数分割して配置し、測定コードに対する表示内容を設定する画面と同じ構成である。
本画面では、基本線が1本と分割線2本のスリットの条件を設定できるようになっている。次にその画面の操作方法について概説する。まず、定義モードのチェックボックス(1206)を開始点設定にしてすることにより、分割線1スリットの座標位置を入力可能なエディットボックス群(1208)の開始点と終了の座標位置と分割線2スリットの座標位置を入力可能なエディットボックス群(1109)の終了点の座標位置が入力できなくなる。
次に基本線0スリットの座標位置を入力可能なエディットボックス群(1207)の開始点の座標位置を画面左下を座標原点(0,0)とし、X:160、Y:005と入力すると、分割線1スリットの座標位置を入力可能なエディットボックス群(1208)の開始点の座標位置が自動的に反映される。基本線0スリットの座標位置を入力可能なエディットボックス群(1207)の終了点の座標位置X:160、Y:235を入力すると、分割線1スリットの座標位置を入力可能なエディットボックス群(1208)の終了点と分割線2スリットの座標位置を入力可能なエディットボックス群(1209)の終了点の座標位置が自動的に反映される。分割線2スリットの座標位置を入力可能なエディットボックス群(1109)の開始点の座標位置X:160、Y:210を入力する。(本例では、予め測定し、基本線0スリットの開始点(1203)と終了点(1204)の間を「2.3m」、基本線0スリットの開始点(1203)と分割線2スリットの開始点(1205)の間を「2.05m」としている。)
次に定義条件である測定コード、車両高さ、誘導駐車場を入力可能なエディットボックス群(1210)を入力する。この3桁の測定コードは、侵入の値が1、未侵入の値が0とする。左が基本線0スリット、中央が分割線1スリット、右が分割線2スリットとするため、たとえば、測定コード110は、2.1m未満の車両が駐車できるA駐車場へ誘導するように指定する。測定コード111は、2.1m以上の車両が駐車できるB駐車場へ誘導するように指定する。
本実施例で用いるスリット位置情報は、図5のスリット定義検出情報に格納される。基本線0スリットの情報(501)は、スリット定義・検出情報の先頭ポインタ(500)が示すリストであり、開始点の座標位置Xは、開始点X(557)、開始点Y(558)に格納される。基本線0スリットの終了点の座標位置Xは、開始点X(559)、開始点Y(560)に格納される。分割線1スリットの情報(502)は、基本スリット0スリットの情報(501)の次ポインタ(551)が示すリストに分割線1スリットの開始点と終了点の座標位置が格納されている。分割線1スリットの情報(502)には、分割線2スリットの次ポインタが示されている。
更に、他の応用例として次のものが挙げられる。ビデオカメラを自動車の通る入り口の真上に設置する。そして、自動車の屋根の部分を撮像する。前記のスリットは自動車の長さ方向に直角に設定する。すると、車幅がどのくらいかが推定できる。これによって、自動車の進行を中止させたり、より適当な経路に誘導することが自動的に行なえる。