JPH06337938A - 画像処理装置及び距離測定装置 - Google Patents
画像処理装置及び距離測定装置Info
- Publication number
- JPH06337938A JPH06337938A JP5122563A JP12256393A JPH06337938A JP H06337938 A JPH06337938 A JP H06337938A JP 5122563 A JP5122563 A JP 5122563A JP 12256393 A JP12256393 A JP 12256393A JP H06337938 A JPH06337938 A JP H06337938A
- Authority
- JP
- Japan
- Prior art keywords
- image
- marker
- background
- speed
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Indicating Or Recording The Presence, Absence, Or Direction Of Movement (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
も、静止している物体が存在する場合でも短時間でこれ
らの動きを解析できる画像処理装置を提供する。 【構成】 背景及び物体を含む画像を入力する画像入力
手段1と、背景を保持、出力する背景画像抽出手段2
と、第1の速度までの移動物体と背景が含まれる画像を
抽出する第1平均背景抽出手段3と、第2の速度までの
移動物体と背景が含まれる画像を抽出する第2平均背景
抽出手段4と、背景画像抽出手段2の出力と、前記第1
平均背景抽出手段のいずれかの出力との差分を求めて速
度画像を生成する第1差分演算処理手段5と、前記2つ
の平均背景抽出手段の出力の差分を求めて速度画像を生
成する第2差分演算処理手段6と、前記画像入力手段1
の出力と、前記2つの平均背景抽出手段のいずれかの出
力との差分を求めて速度画像を生成する第3差分演算処
理手段7を具備した。
Description
またはある速度までの移動物体と背景が含まれる画像を
組み合わせ、差分処理を行うことにより静止物体または
移動物体を同定したり、移動物体の動きを解析できるよ
うにした画像処理装置に関する。
し、マーカを画像処理で抽出してマーカが定常状態か否
かを検出することにより、移動体とマーカの重なり部分
を断定し、移動物体間に存在する定常状態のマーカサイ
ズを算出して移動物体間の距離を求めることができるよ
うにした画像処理装置に関する。
かの情報を得る技術は様々な産業分野において必要不可
欠である。例えば人間や動物等生物の動きを解析し、そ
れから得た知識を基にして商品の設計等に応用するよう
なことは、より安全で合理的な商品開発に必要である。
おいて利用されており、事故や災害等の発見に寄与して
いる。しかも近年では単に異常や有事を検知するのみに
とどまらず、事故や災害を未然に防ぐという防災の目的
が強くなってきている。
動きを示す対象物をいち早く検出する必要がある。そこ
で移動物体の動きを捕らえ解析したり、移動物体間の距
離を精度よく算出したりして、その値からいち早く事故
や災害をもたらす異常な動きをする移動物体を検出する
効率的な手法が必要である。
の解析として、本特許出願人の出願にかかる例えば特願
平3−320594号、特願平3−320597号等が
先行技術としてあるが、これらでは始めに移動物体があ
るかも知れない領域抽出を行い、それらの領域のサイズ
や中心位置等の特徴から対象物を区別し、この対象物の
時間的な変化からその動きを捕らえている。
解析したい部分を抽出する。この抽出した対象に対して
投影値や領域の中心値等の特徴量を算出し、この特徴量
を基にして物体を区別する。次にこのような上記の特徴
量の算出処理を時間的な流れのある画像つまり連続画像
に対して処理を行い、特徴量から画像間での物体の対応
付けを行い、動きを解析している。
では、時系列画像それぞれに対して、物体全ての領域抽
出・同定処理を行い、且つ画像間での物体の対応付けを
求めなければ、移動物体の属性の抽出、例えば速度を求
めることができない。
対応付けは単純であり、比較的簡単にこの時間軸の変化
を含めた、例えば速度の如き属性を求めることができ
る。しかし移動物体が数多く存在する場合においては画
像間の対応付けは難しく、しかも物体が静止していた
り、別々の速度で移動している場合は、それら全てにつ
いてビデオレート処理を行うのは困難である。
存在する場合でも、静止していたり異なる速度で移動し
ている場合でもビデオレートでこれらの動きが解析でき
る画像処理装置を提供することである。
め、本発明では、図1に示す如く、ビデオカメラの如き
画像入力部1と、背景画像抽出部2と、第1平均背景抽
出部3と、第2平均背景抽出部4と、第1差分演算処理
部5と、第2差分演算処理部6と、第3差分演算処理部
7を設ける。
を除き背景のみを抽出し、保持するものであり、例えば
静止物体も移動物体も抽出されない時に入力画像を保持
蓄積するものである。この背景は予めシステムに組み込
んでおくこともできる。第1平均背景抽出部3は、停止
物体と低速移動物体及び背景を抽出するもの、第2平均
背景抽出部4は、停止物体と低速移動物体と中速移動物
体及び背景を抽出するものである。
部2の保持している背景と、第1平均背景抽出部3の出
力との差分を取るものである。第2差分演算処理部6は
第1平均背景抽出部3の出力と第2平均背景抽出部4の
出力との差分を取るものである。第3差分演算処理部7
は第2平均背景抽出部4の出力と画像入力部1の出力と
の差分を取るものである。
停止車両が存在しかつ低速車両が走行し、黒印で示す障
害物が存在しており、また右車線に2台の中速車両が走
行している場合について、本発明の動作を説明する。
第1平均背景抽出部3からcで示す画像が出力され、第
2平均背景抽出部4からdで示す画像が出力される。ま
た背景画像抽出部2ではbで示す背景画像が保持、出力
されている。
背景画像bと画像cとの差分である画像eが出力され、
第2差分演算処理部6からは画像cと画像dとの差分で
ある画像fが出力される。そして第3差分演算処理部7
からは画像dと画像aの差分である画像gが出力され
る。
左車線に存在する2台の停止車両又は低速車両と障害物
が画像eとして出力され、第2差分演算処理部6からは
右車線に存在する2台の中速車両が画像fとして出力さ
れる。しかし画像aには中速より速く走行する車両が存
在しないので、第3差分演算処理部6の出力する画像g
には何も出力されないものとなる。
の移動物体の動きをビデオレートで処理することができ
る。
図2は本発明の一実施例構成図、図3は本発明における
原画像説明図、図4は本発明における局所領域説明図、
図5は本発明における速度画像抽出説明図、図6は本発
明における局所領域内特徴量抽出部の説明図、図7は停
止物体と低速移動物体の存在する場合の説明図、図8は
中速移動物体説明図、図9は高速移動物体説明図、図1
0は大型移動物体説明図である。
像入力部、2は背景画像抽出部、3は第1平均背景抽出
部、4′は第n平均背景抽出部、5は第1差分演算処理
部、6は第2差分演算処理部、7′は第n+1差分演算
処理部、8は第1局所領域内特徴量抽出部、9は第2局
所領域内特徴量抽出部、10は第n+1局所領域内特徴
量抽出部、20は軌跡算出部である。
デオレートで入力するものであり、例えばビデオカメラ
である。背景画像抽出部2は監視すべき領域の背景画像
を入力し、保持するものであり、後述するように移動物
体と静止物体のいずれも抽出されないときに随時入力し
て、後述する図5(A)で示す背景画像メモリ2−1に
蓄積したり、予めシステムに保持しておくこともでき
る。
動物体及び背景を抽出するものであり、また第n平均背
景抽出部4′は停止物体と低速〜高速の移動物体及び背
景を抽出するものである。これらの第1平均背景抽出部
3〜第n平均背景抽出部4′により移動物体の速度別画
像を作成することができる。
抽出部4′との間に、停止物体と低速〜中速の移動物体
及び背景を抽出する他の平均背景抽出部(例えば図1に
おける第2平均背景抽出部4)を設けれることもでき
る。
の出力と第1平均背景抽出部3の出力との差分を取るも
のであり、第2差分演算処理部6は第1平均背景抽出部
3の出力と第n平均背景抽出部4′の出力との差分を取
るものである。そして第n+1差分演算処理部7′は第
n平均背景抽出部4′の出力と画像入力部1の出力との
差分を取るものである。
で移動している物体のみを抽出することができる。勿論
図1に示す如く、n=2の状態で構成することもでき
る。差分演算処理部の種類は前段の平均画像抽出部に依
存しており、その種類つまりどの平均画像抽出部間の出
力差を求めるのかということは定まったものではない。
しかし最大数は、平均背景画像抽出部の数と背景画像抽
出部と原画像すなわち画像入力部の出力画像の和をX
(図1の場合は4)とすると、X*(X−1)/2(*
は乗算を示す)だけの種類の差分演算処理部を設定する
ことができる。
分演算処理部5の出力を受けて、後述するように、その
定められた領域内の特徴量の有無や物体の形状特徴等を
求める。ここで求めた特徴量の有無とは位置変化を表
し、形状特徴は例えばバス乗用車等の対象物体の属性を
表すものである。
分演算処理部6の出力を受けてその定められた領域内の
特徴の有無や物体の形状特徴等を求めるものである。第
n+1局所領域内特徴量抽出部10は、同様に第n+1
差分演算処理部7′の出力を受けてその定められた領域
内の特徴の有無や物体の形状特徴等を求めるものであ
る。
徴抽出部9〜第n+1局所領域内特徴部10の出力にも
とづき、特徴量の有無の時系列変化から物体の軌跡を算
出したり、さらに形状特徴から同一物体の軌跡を求める
等の処理を行うものであり、物体の形状特徴解析を行う
特徴解析部20−1、作表を行う作表部20−2、表の
解析を行う表解析部20−3等を具備している。
監視用に使用した場合について以下に説明する。図3
(A)はトンネル内に設置した画像入力部1で撮影した
ある時刻の画像であり、同(B)はそれから数秒後に撮
影した画像である。画像入力部1ではビデオレートで連
続して撮影しているので、この2つの画像の間に図示省
略した画像が連続撮影されている。
常に車両が流れているが、左車線には故障車P1 が停車
しており尾燈を点滅させている。しかもこの故障車P1
の後方には障害物P2 があり、この障害物P2 に気づい
た後続車両P3 は減速して低速走行しているものと仮定
する。以後この2枚を用いて説明するが、ビデオレート
で連続して処理を行っているものと仮定する。
は、図4に示す如く、複数の局所領域に設定される。図
4においてL0〜L4は左車線用の車両追跡用局所領域
であり、このうちL0は大型車検出用の局所領域であ
り、L1〜L4は追跡用の局所領域である。同様にR0
〜R4は右車線用の車両追跡用局所領域であり、R0は
右車線での大型車検出用局所領域であり、R1〜R4は
追跡用の局所領域である。
出状態を説明する。図5は、停止物体と低速移動物体、
中速移動物体、高速移動物体の3種類をそれぞれ出力す
るものであり図1に対応するものであり、また図2に関
して対応させる場合には、n=2の場合における背景画
像抽出部2、第1平均背景抽出部3、第n平均背景抽出
部4′、第1差分演算処理部5、第2差分演算処理部
6、第n+1差分演算処理部7′に相当するものであ
る。
背景が保持されており、この背景がルックアップテーブ
ルのiとして入力される。ルックアップテーブルの
他方の入力jは、ルックアップテーブルの出力である
背景+停止物体+低速物体が入力される。
示す如く、|i−j|の値が閾値th2(例えばth2
=50)より大きいとき|i−j|を出力する。したが
って背景の部分についてはi=jのためルックアップテ
ーブルからの出力kはk=0であるので、ルックアッ
プテーブルの出力は停止物体と低速物体の存在する部
分だけ|i−j|が出力され、ルックアップテーブル
にiとして入力される。
入力jには画像入力部1で撮影された入力画像が入力さ
れる。この入力画像は、背景と停止物体(障害物も含
む)と低速物体と中速物体と高速物体が含まれており、
このうち、停止物体(障害物も含む)と低速物体の存在
する部分にのみ|i−j|の値が入力されることにな
る。
(B)に示す如く、iの値が閾値th1(例えばth1
=5)のときjからの入力を出力kとし、それ以外はk
=0となる。それ故、ルックアップテーブルから入力
画像の内の停止物体(障害物も含む)と低速物体のみが
出力される。
力部1で撮影された入力画像がiとして入力され、画像
メモリ3−1に保持された画像がjとして入力される。
そしてi=jのとき出力kとして画像メモリ3−1に保
持された画像が、そのまま出力されまた画像メモリ3−
1に保持される。
閾値th31=10)の場合はjにオフセット値α31
(例えばα31=1)を加算した値のk=j+α31を
出力し、同時に画像メモリ3−1に保持する。0≦(j
−1)≦th31の場合はjからα31を減算した値の
k=j−α31を出力し、同時に画像メモリ3−1に保
持する。
閾値th32=255)の場合はjにオフセット値α3
2(例えばα32=3)を加算した値のk=j+α32
を出力し、同時に画像メモリ3−1に保持する。th3
1<(j−i)≦th32の場合はjからα32を減算
した値のk=j−α32を出力し、同時に画像メモリ3
−1に保持する。
停止物体(これらはいずれもi=j)の外に低速物体の
存在する部分にもルックアップテーブルよりkが出力
され、ルックアップテーブル′にiとして入力され
る。
は、ルックアップテーブルの出力である背景+停止物
体+低速物体+中速物体が入力される。ルックアップテ
ーブル′は、図5(B)のに示す如く設定され、|
i−j|の値が閾値th2より大きいとき|i−j|を
出力する。
i=jのためルックアップテーブル′からの出力kは
k=0であり、このためルックアップテーブル′の出
力は入力画像に中速物体の存在する部分だけ|i−j|
が出力され、ルックアップテーブル′にiとして入力
される。
の入力jには画像入力部1で撮影された入力画像が入力
される。この入力画像は、背景と停止物体と低速物体と
中速物体と高速物体が含まれており、このうち中速物体
の存在する部分のみ|i−j|の値が入力される。ルッ
クアップテーブル′は図5(B)に示すと同様に動
作設定されているので、ルックアップテーブル′から
は中速物体のみが出力される。
1で撮影された入力画像がiとして入力され、画像メモ
リ4−1に保持された画像がjとして入力される。そし
てi=jのとき出力kとして画像メモリ4−1に保持さ
れた画像がそのまま出力され、また画像メモリ4−1に
保持される。
閾値th41=10)の場合はjにオフセット値α41
(例えばα41=1)を加算した値のk=j+α41を
出力し、同時に画像メモリ4−1に保持する。0≦(j
−i)≦th41の場合はjからα41を減算した値の
k=j−α41を出力し、同時に画像メモリ4−1に保
持する。
閾値th42=255)の場合はjにオフセット値α4
2(例えばα42=10)を加算した値のk=j+α4
2を出力し、同時にこれを画像メモリ4−1に保持す
る。th41<(j−i)≦th42の場合はjからα
42を減算した値のk=j−α42を出力し、同時にこ
れを画像メモリ4−1に保持する。
アップテーブルより背景、停止物体、低速物体の外に
中速物体の存在する部分にはkが出力され、ルックアッ
プテーブル′及び″にiとして入力される。
には画像入力部1で撮影された入力画像が入力される。
ルックアップテーブル″は、図5(B)のに示す如
く設定され、|i−j|の値が閾値th2より大きい時
|i−j|を出力する。従って、背景と低速と中速の部
分についてはi=jのため、ルックアップテーブル″
の出力kはk=0であり、入力画像に高速物体の存在す
る部分だけルックアップテーブル″から|i−j|が
出力され、ルックアップテーブル″にiとして入力さ
れる。
の入力jは画像入力部1で撮影された、背景、停止物
体、低速物体、中速物体、高速物体が含まれており、こ
のうち高速物体の存在する部分のみ|i−j|の値が入
力されるので、ルックアップテーブル″からは高速物
体のみが出力されるものとなる。
め、対象物を抽出することで、監視対象を限定すること
ができる。ところで前記の如くルックアップテーブル
又はの出力にオセフット値を加算または減算して画像
メモリ3−1または画像メモリ4−1のデータを修正
し、保持する理由について説明する。
上の場合、オフセット値を加算又は減算して画像メモリ
を修正する。対象物体の動きが遅い場合には小さなオフ
セット値により何度か修正すれば、画像メモリの保持出
力する値が入力画像と同じになる。しかし動きが早い対
象物の場合少ない修正回数で画像メモリの値を修正しな
いと入力画像の領域外に移動し、消えることになる。
てはオフセット値を大きくして早く修正し、速度の小さ
な対象物の検出に対してはオフセット値を小さくして修
正回数を多くして、時間をかけることにより行う。この
ようにオフセット値を変えることにより対象物体の速度
の違いを判断し、目的とする対象物のみを検出すること
ができる。
物体の移動速度に応じて、物体を分離した画像を抽出す
る他の手法を説明する。図6(A)に示す如く、矢印方
向に移動している移動物体Aと停止物体Bが存在してい
るとき、時刻t1 、t2 ・・・tn で移動物体Aと停止
物体Bがそれぞれ図示の状態になるが、これらのt1〜
tn の各画像を図示省略したメモリに累積する。そして
その累積画像を平均して平均背景を算出する。
した値をn等分した値で算出されるが、停止物体Bは各
時刻において停止、つまり位置変化がないので、物体B
は変化なく抽出できる。
の移動速度が速い場合には、各時刻の画像間での移動物
体Aの重なりがなく、1時刻の移動物体Aと、(n−
1)個の背景との平均をとることになるため、平均の濃
度値が小さく閾値より小さな値になり移動物体Aは消失
される。かくして平均背景に停止物体Bが残り、移動物
体Aは存在しないものとなる。
背景と各時刻の画像との差を算出することにより抽出す
ることが可能となる。また図6(B)に示す如く、停止
物体Bに加えて、低速移動物体Dと、中速移動物体Eが
存在する場合、これらの移動物体D、Eは次のようにし
て区分できる。
時刻ではいずれも、時刻t1 の画像とその一部が重複し
ているが時刻t4 の画像は時刻t1 の画像と重なりがな
くなる。
刻t1 の画像とその一部が重複しているが、時刻t3 の
画像は時刻t1 の画像と重なりがない。したがって時刻
t1 とt4 の画像を累積して2等分すれば低速の移動物
体Dと中速の移動物体Eの値は、いずれも閾値以下とな
り停止物体Bが得られる。また時刻t1 とt2 とt3 の
画像を累積して3等分すれば、同様に中速の移動物体E
のみの画像濃度値が閾値以下となる。しかし低速の移動
物体Dは、これらの時刻の重なり部分が存在するため、
これにもとづき得ることができる。このとき停止物体B
も得られるが、停止物体Bは前記の如く別に得たものと
の差で消去すれば低速の移動物体Dを得ることができ
る。
像より消去することにより中速の移動物体Eを抽出する
ことができる。同様にして、更に高速の移動物体が存在
するとき、これを抽出することができる。なお、停止物
体の背景も、停止物体と一緒に得ることができる。
は別の手法により、第1平均背景抽出部から「背景+停
止物体+低速移動物体」を出力し、第2平均背景抽出部
から「背景+停止物体+低速移動物体+中速移動物体」
を出力することができる。これらにもとづき、第1差分
演算処理部において、背景画像抽出部から出力される背
景と、第1平均背景抽出部から出力される「背景+停止
物体+低速移動物体」との差分を求めることにより、第
1差分演算処理部から「停止物体+低速移動物体」が得
られる。
抽出部から出力される「背景+停止物体+低速移動物
体」と第2平均背景抽出部から出力される「背景+停止
物体+低速移動物体+中速移動物体」との差分を求める
ことにより、第2差分演算処理部から中速移動物体が得
られる。
平均背景抽出部から出力される「背景+停止物体+低速
移動物体+中速移動物体」と入力画像との差分を求める
ことにより、第3差分演算処理部から高速移動物体が得
られる。
3が背景+停止物体(障害物も含む)+低速移動物体の
みを抽出し、第2平均背景抽出部4では背景+停止物体
(障害物も含む)+低速移動物体+中速移動物体のみを
抽出する場合、第1平均背景抽出部3より得られるもの
は画像cであり、第2平均背景抽出部4から得られるも
のは画像dとなる。
体+低速移動物体のみの画像eが得られ、第2差分演算
処理部6から中速移動物体のみの画像fが得られ、第3
差分演算処理部7から高速移動物体のみの画像gが得ら
れる。ただし図1の例では画像入力部1から得られた入
力画像に高速移動物体が存在していない場合であり、こ
のとき画像gには何も検出されないものとなる。従っ
て、画像e、f、gに何も存在しない時に画像入力部1
の入力を背景画像抽出部2で蓄積保持することにより背
景を更新することができる。
局所領域内特徴量抽出部9、第n+1局所領域内特徴量
抽出部10については、いずれも同一構成のため、図6
により第1局所領域内特徴量抽出部8について代表的に
説明する。
像領域を予め複数の局所領域に設定しておく。例えば図
4に示す如く、左車線用の車両追跡用局所領域としてL
0〜L4を設定し、右車線用の車両追跡用局所領域とし
てR0〜R4を設定する。
7に示す局所領域内特徴抽出処理部8−1、8−2・・
・8−mが用意されている。従って図4に示す如く、車
両追跡用局所領域L0〜L4、R0〜R4が設定されて
いるときにはm=10即ち10個の局所領域内特徴抽出
処理部が必要となる。
領域決定部11−1と、雑音除去部12−1と、ラベリ
ング処理部13−1と、特徴量算出部14−1を有す
る。局所領域決定部11−1はその局所領域内特徴量抽
出処理部8−1が処理すべき車両追跡用局所領域の1つ
を定義するものであり、L0についての処理を行うもの
であればL0の範囲を定義しておき、この局所領域内の
入力画像を抽出するものである。雑音除去部12−1は
局所領域決定部11−1から伝達された信号より雑音を
除去するものであり、例えばロ−パス・フィルタで構成
されている。
入力画像に対し同一の物体について同一のラベルを付与
するラベリング処理を行うものである。そして特徴算出
部14−1は、ラベル付けされた領域の有無を検出し、
ラベル付けされた領域があれば同一ラベルの領域に対し
てそのラベル領域の重心位置や、面積、横方向・縦方向
の投影値等を求め、各ラベル領域毎の特徴量を算出する
ものである。
8−mも前記局所領域内特徴量抽出処理部8−1と同様
に構成され、それぞれ局所領域決定部11−2・・・1
1−m、雑音除去部12−2・・・12−m、ラベリン
グ処理部13−2・・・13−m、特徴量算出部14−
2・・・14−mを具備している。
いて、ランプの点滅している停止物体P1 と障害物P2
と低速移動物体P3 が存在する場合、図2に示す第1差
分演算処理部5の出力は図8(C)に示す如きものとな
り、この車両抽出画像(障害物も含まれる)に、図4に
示す局所領域を重ねると図8(E)に示す如きものとな
る。この場合、局所領域L1、L2、L4の部分に車両
があり、特徴量を算出することができる。
後の時点において、同(B)に示す如き速度画像とな
り、これにより同(D)に示す如き車両抽出画像が得ら
れる。これに局所領域を重ねると図8(F)に示す如き
ものとなる。この場合は、局所領域L2、L4に車両が
存在するので、これに対して特徴量を計算する。
の作表部20−2により時系列的にまとめられた表1が
作成される。表1における○印は、局所領域L0〜L
4、R0〜R4において各時刻に特徴量が求められたも
の、即ち何らかの物体(障害物も含む)が存在していた
ことを示している。
刻t及びt+数秒時の速度画像、車両抽出画像、局所領
域重ね合わせ状態を示し、図9に対応する時系列的な特
徴量検出状態を表2に示す。
及びt+数秒時の速度画像、車両抽出画像、局所領域重
ね合わせ状態を示すが、この場合高速移動物体が存在し
ていないので、図9には高速移動物体は図示されていな
い。従って、これに対応する表3でも○印はない。
0−3が表3を解析することにより高速で走行している
車両が、この場合は存在していないと判断することがで
きる。
には○印がないので、左車線には中速で走行中の車両が
この時点では存在しないこと、また右車線には時刻tと
t1には○印がR1とR4の2ヶ所に有ることから中速
で走行中の車両が2台走行していることがわかる。
はR1とR2という隣接局所領域であり、続く時刻t4
には○印が1ヶ所しかないことより、時刻t3における
R1に存在する対象物とR2に存在する対象物とは同一
であると判断できる。
前記表1からは、多少複雑であるが以下のことが判断で
きる。R0〜R4には○印がないので、右車線に停止ま
たは低速走行している車両が存在していない。しかしL
1〜L4には○印があり停止または低速走行車両が存在
していると判断できる。
が現れたり消えたりしており、隣接するL3には静止物
体が存在しているものと推測できる。一方L1とL2に
おける○印の時間的変化(t〜t3まではL1に、t4
〜t7はL1とL2と、t8以降はL2に存在)から、
何か低速で移動している物体が存在していることを判断
できる。
いて、対象物体が存在するか否かについてのみ判断した
例について説明したが、これ以外に特徴量として面積や
縦横比等を使用するとより多くの情報を抽出することが
できる。
て示した例であり、いままでの説明から容易に推察でき
る。ある領域にある時刻まで存在していた対象物体が瞬
間的に消える。しかしその時刻と前後して別の領域、特
に隣車線領域に対象物体が出現した場合には車線変更を
行った車両であると判断できる。
た○印が、時刻t4でL1、L2、R2でも○印が表
れ、以下時刻t5、t6、t7においてR2に表れるよ
うなとき、車線変更と判断できる。
さの実測値がわかれば移動物体の速度も算出することが
できる。例えばある局所領域の長さをL、その領域に存
在していた時間をTとするとL/Tで速度を求めること
ができる。
L と小型車PS が走行しているとき、これに図4で示す
局所領域を重ねると図11(B)に示す状態となる。こ
れにより大型車PL の走行によりR0に○印が連続して
存在するので大型車の存在を検出できる。
刻t4ではR4より外に走行した状態を示し、時刻t5
では大型車がR1を走行し終わりR2に入ったことを示
している。
表6により説明する。
領域R1を走行し、他の車(例えば小型車)が局所領域
R3を走行しており、時刻t4において大型車が局所領
域R2を走行していることを示す。そして時刻t7にお
いて大型車がR3を走行しており、このとき大型車がそ
の前を走行中の他の車を隠した状態を示す。なおこの隠
された車は時刻t11において局所領域R4を走行し、
大型車の前方に再び出現した状態を示す。このようなこ
とは表解析部20−3により判断することができる。
1が物体の形状特徴を解析して、同一移動物体を判別
し、これにもとづき同一移動物体の軌跡を作表部20−
2に指示してその軌跡を算出作成することができる。
について説明する。この例では低速で移動している大き
な移動物体(例えば航空機)と、中速或いは、高速で移
動している小さな物体例えば作業用の特殊車両)とを分
離し、その属性について判断するものである。
所領域C0、L0〜L7、R0〜R7を設定した。局所
領域C0は航空機の機体検出を目的としたものであり、
それ以外のL0〜L7、R0〜R7は作業用の特殊車両
を検出するための局所領域である。
している状態を示し、同(C)は特殊車両SP1、SP
2が行き交って走行している状態を示す。そして図12
(B)及び(C)に、同(A)で示す局所領域を被せた
状態を示したのが同(D)及び(E)である。
ると局所領域C0に航空機Jの機体が表れる。この状態
を前記低速移動物体抽出の手法を用いて検出する。この
場合、図13(A)で示すように、局所領域C0内の長
辺方向に航空機Jの投影を落としてその長さを求める
と、機体の長さを測定することができる。そしてこの機
体の長さから機種を判定することができる。航空機がス
ポットに近づき、停止するまでの投影値の変化を示した
のが表7である。
2、t3・・・と変化すると共に投影の長さ即ち投影値
が増加し、ある時刻(この例ではt4)を越えるとその
増加が停止する。そして投影値の変動が止まり安定した
段階で航空機が停止したと判断する。一方投影値と実際
の長さの関係を求めて変換式を求めておけば航空機の実
際の長さが分かり、長さの違いから航空機の種類が判断
できる。
殊車両SP1、SP2に関しては、前記中速・高速移動
物体抽出の手法を用いてこれらを検出できる。航空機と
同様に投影値を求めることにより局所領域内に存在して
いる対象物の個数を求めることができる。
5について投影値を求めたものが図13(B)である。
これにより投影値がそれぞれ2つ存在するので、局所領
域内に2種類の独立した対象物体が存在していることが
判断できる。
合の局所領域における対象物体の検出個数の変化を時系
列的に示したのが表8である。
域内の対象物体の数が変動しているのがわかる。これに
もとづき、時刻t5では、局所領域L6に存在した特殊
車両が局所領域L7に移動して、その個数が2になった
こと、時刻t7では局所領域L7を走行していた2個の
うちの1つが局所領域L5に移動したこと、時刻t9で
は他の1つも局所領域L5に移動して再びその個数が2
になったこと等が解析できる。
て説明したが本発明は勿論これのみに限定されるもので
はない。走行速度も低中高の3種類の例について説明し
たが勿論これに限定されるものではなく、例えば0〜3
0km、30〜60km、60〜90km、90〜12
0km、120〜150km、150km以上というよ
うに細かく区分することも勿論できる。
動物体間の距離を精度よく算出するものである。移動物
体間の距離は、前記第1実施例を適用して検出すること
ができる。
t1 に中速の移動物体が領域R1、R4に存在している
ことがわかる。第1実施例により移動物体間の距離を求
めるために、図14(A)に示す如く、前記の手法によ
り移動物体抽出部100にて移動物体を抽出し、移動物
体対応づけ部101において、サンプリング時間毎にこ
れらの移動物体の特徴量を抽出し、それらの値と移動物
体の速度限界から同一の移動物体を対応づける。このと
き、入力画像から濃淡や色の情報を用いて対象となる移
動物体の輪郭や面の移置/傾き等の特徴量を抽出しても
よい。そして移動物体間の距離測定部102により、対
応づけそして移動物体間の距離測定部102により、対
応づけした移動物体から物体間の距離を測定する。この
ようにして画像データから数値データに情報を圧縮し、
これらを用いて移動物体の動きの解析及び予測を行うこ
とができる。
用いて移動物体間の距離を求める場合、入力画像に存在
する移動物体の速度に応じて画像を分離し、分離した画
像ごとに移動物体の対応づけを行っており、速度の違う
移動物体の対応づけの精度が高くなる。
の距離を抽出する場合には、移動物体の輪郭や面の位置
の情報を使用しており、図14(B)、(C)に例示す
る如く、距離計算上、同じ輪郭の同一点あるいは同じ面
上の同一点で対応づけができず、距離の誤差が大きくな
るという問題がある。
離を求めるために、移動物体の上部にカメラを設置し、
画像を入力したものである。道路の上にカメラを設置
し、その真下を通過する自動車のような移動物体を入力
するとき、道路は黒っぽい色でありその上を走行する移
動物体を入力することになる。
において、車CA1、CA2が存在する場合、これをエ
ッジ抽出処理すると、B2に示す如く車の色の関係によ
り車CA1、CA2の一部が抜けて検出されることがあ
る。そしてこれにもとづき車頭間距離を計算すると、図
14(B)のB3に示す如く計算され、実際値とは大き
な誤差の存在するものとなる。
では1台の大型車LCを入力したにもかかわらず、エッ
ジ抽出によりC2に示す如くなって全てのエッジが完全
に抽出できず、1台の大型車を2台の車と誤って認識し
て、図14(C)のC3に示す如く、1台の大型車を2
台の車と誤認識して車間距離の計算値を求めることがあ
る。
点を解決するために、図15に示す如く、あらかじめ物
体が動く背景にマーカをマーカ設置部110により設置
しておく。その際、マーカの位置、形状、サイズ等を算
出しておく。第3実施例では、道路に白線をある間隔毎
に画くことによりマーカを設置しておくが、マーカは白
線に限定されるべきものではなく、他の適宜形状のもの
が使用できる。なお図15において、114は画像を入
力する入力部である。
出部111が移動物体とマーカが重なっている部分を求
め、移動物体の抽出を行う。そして連続的に入力されて
くる複数の画像に対し、移動物体とマーカの重なり部分
を抽出する。
カの重なり部分の時系列データに対し、マーカ・移動物
体対応づけ部112が対応づけを行って同一の移動物体
を求める。そしてこの異なる移動物体間に存在するマー
カの数にもとづき、移動物体距離測定部113が移動物
体間の距離を算出する。
りに、移動物体間に存在するマーカの時系列データを対
応づけ、同一の移動物体間に存在するマーカを捉えて移
動物体間の距離を算出してもよい。このようにして算出
した移動物体間の距離を解析し、異常を予測することが
できる。
説明する。図16において他図と同記号は同一部を示
し、110はマーカ設置部、111はマーカ・移動体抽
出部、112はマーカ・移動体対応づけ部、113は移
動物体距離測定部、121は処理領域設定部、122は
2値化部、123は雑音除去部、124は連結領域抽出
部、125は連結領域位置・形状算出部、126はマー
カ照合部、127はマーカ辞書部、128は移動物体抽
出部、129は移動物体間マーカ抽出部、131は移動
物体・マーカ時系列テーブル作成部、132は移動物体
・マーカ対応づけ部である。
設置したマーカのデータをマーカ辞書部127に格納す
るものである。マーカとしては、図17(A)に示す如
く、移動物体が車両の場合、道路上に例えば白線P1 、
P2 ・・・P25を等間隔に道路面上に塗装する。図17
の場合は、白線はその幅が50cmであり、これを50
cm間隔で道路面上に例えば25本引いた例を示す。
ズで表示するものとし、白線の左端をx座標で50ドッ
トの位置とし、右端をx座標で500ドットの位置とす
れば、白線P25の左上端の座標(x、y)は(50、4
80)で表示され、右下端の座標(x、y)は(50
0、490)で表示される。このようにして、マーカ設
置部110により、マーカ辞書部127に、マーカ
P1 、P2 ・・・の左上端の座標と右下端の座標が登録
される。この外マーカの形状が矩形であることも登録さ
れる。
内で移動物体が存在したとき測定すべき範囲を設定する
ものである。例えば図18(A)に示す如く、矢印方向
に車が進行する対面通行道路があるとき、斜線した左側
車線範囲及び右側車線範囲だけを処理対象領域と定め、
他は処理対象外領域とするいわゆるマスク処理を行うも
のである。
域を図17の斜線部のように設定する。これに応じてマ
ーカ辞書部127も更新する。図18(B)は左側車線
の処理領域を示すものである。勿論あらかじめ、マーカ
の設置を、このように左側車線、右側車線の処理領域を
考慮して行う場合には、処理領域設定は行わなくともよ
い。
す左上端が(x1、y1)で右下端が(x2、y2)の
場合、画素(i、j)の入力画像をINijとし、その
出力画像をOUTijとするとき、次式(数1)で示す
如く、この処理領域のもののみ入力画像がそのまま出力
画像として出力されるが、処理領域外のものは0が出力
される。
く、入力画像INijがある閾値th1以下で且つ閾値
th2以上であれば出力画像OUTij1を出力し、そ
れ以外は0を出力するものである。ここで閾値th1、
th2は照明環境に応じて適切に設定するが、照明変化
が生じる環境では、濃度ヒストグラムを算出するなどし
て適応的に閾値th1、th2を変える。
力に孤立点が存在する場合これを除去するものであっ
て、4連結等のドットが連続するパターンを抽出するも
のである。このため、図19(C)に示す如く3×3の
論理フィルタFを用いて中心画素(i、j)の上下左右
がいずれも1のとき出力画像OUTij=1を出力する
が、それ以外は0を出力するものである。
接続するパターン(中心画素に対し上下左右方向の外
に、斜め方向の合計8方向の少なくとも1つが1の場
合)に同じラベルを付加する処理を行うものであり、図
20(A)におけるパターンA1の入力画像に対して、
A2の如くラベル付け処理を行うものである。
(B)に示す如くA〜Fの2×3のパターンで入力画像
を走査し、注目画素Eが1のとき周囲のA〜Fの値に応
じてラベルを更新していく。例えばD≠0のときにはD
のラベルを伝播して注目画素Eに付ける。さらにB≠0
でかつB≠Dのときには、BとDのラベルが同一である
ことをテーブルに格納する。B=0でかつC≠Dのとき
にもCとDのラベルが同一であることをテーブルに格納
する。A〜Dまでがすべて0のとき注目画素Eに新しい
ラベルを付ける。
にラベルの対応関係を格納したテーブルを使用して再び
入力画像にラベル付けを行う。これらの詳細は、「ラス
タ走査型ラベリング処理方式」(特願平02−0011
09号、特開平03−206574号公報)を参照する
ことにより明らかとなる。
ディジタルシグナルプロセッサ(DSP)で実現できる
方式であるが、ビデオレート(33ms/画像)の専用
パイプライン・プロセッサにもとづく処理については
「ディジタル画像領域へのラベル付け方式」(特願昭6
0−08412号、特開昭61−243569号公報、
特公平03−044349号公報)、または「連結領域
のラベル付け回路」(特願昭61−164955号、特
開昭63−020578号公報)を参照することにより
明らかとなる。
(C)に示す如く、移動物体が存在しない場合には、処
理対象領域内の各白線には同一のラベルが付与される。
例えば白線P1 にはラベル(1)が付与され、白線P2
にはラベル(2)が付与される。そして白線P25にはラ
ベル(25)が付与される。
ラベルの部分の位置と形状を算出するものであり、図2
1(A)に示す如く、同一ラベルの付与されたラベル画
像LKの水平方向の投影と垂直方向の投影をとり、その
位置・形状を求める。すなわちラベル毎の投影を求め
る。
ラムを求めることにより得ることができ、垂直方向の投
影Vは垂直方向にヒストグラムを求めることができる。
そしてその位置は縦位置及び大きさが(Pjh2、Pj
h1)であり、横位置及び大きさが(Pjv2、Pjv
1)である。このようにしてラベルの形状として縦(P
jh2、Pjh1)、横(Pjv2、Pjv1)及び面
積SUMが得られる。そして縦の大きさ×、横の大きさ
がヒストグラムの面積SUMと等しい場合、このラベル
画像LKは矩形であることが確認できる。
ごと、すなわち各ラベル毎に投影を算出する。具体的に
は、図21(B)に示す如く、画像サイズがM×Nの場
合において、ラベルKについてj行目の水平投影値Pj
h〔k〕〔j〕と、i列目の垂直投影値Pjv〔k〕
〔i〕は、入力画像IN(i、j)について式(1)、
式(2)のようにして算出できる。
て、水平方向、垂直方向にそれぞれ+1加算することに
よりそのj行目、i列目の投影値を算出することができ
る。このようにして投影を求めることができる。
より求めることができる。
形状算出部125により算出された同一ラベル領域が、
移動物体と重なっているマーカか否かを判断するため
に、マーカ辞書127を調べるものである。マーカ辞書
部127内の白線マーカの左上端部Pn(x1、y
1)、右下端部Pn(x2、y2)を読み出す。マーカ
辞書部127には、前記の如く、図17(C)に示す白
線データや、図18(B)に示す如き白線データ等が格
納されている。
いる移動物体を抽出するものである。白線のマーカ上に
黒とか赤とか紺色等の白以外の車両が通過するとき、図
22(A)に示す如く、車両C1 、C2 とマーカ部分が
重なり、これを上よりカメラで画像入力したとき、車両
C1 、C2 がマーカ部分を分離するので、これにより移
動物体例えば車両を抽出することができる。すなわち、
図22(B)に示す如く、マーカと車両が重なった部分
は、1本のマーカが車両で分断されてラベルが2つ付与
されることになる。この結果、図22(B)に示す如
く、ラベル(1)、(2)、(3)、(4)、及び
(6)、(7)、(8)、(9)と分断された部分はラ
ベル数が大幅に増加し、またその1つのラベルの領域も
小面積のものとなるので、マーカ辞書部127を照合す
ることにより、車両が重なったマーカか否かを判断して
車両を抽出できる。
がマーカの色と異なる場合には、図23(A)の如く、
移動物体よりもはるかに大きなマーカLMを道路上に設
置し、同(B)に示す如く、車両C1 、C2 がこのマー
カ上に移動したとき同(C)に示す如く、水平投影値を
求めることにより車両の位置を抽出できるので、ラベリ
ングせずにこれを求めることができる。
た場合、マーカと車両C1 、C2 の状態は図24(A)
に示す状態となる。しかしこれを入力画像としてラベル
付けする場合、車両C1 とそれが重なるマーカの白線部
分が連結してこれらに同一のラベルが付与され、車両C
2 とそれが重なるマーカの白線部分にも同一のラベルが
付与されるので、、例えば図24(B)に示す如くラベ
ル(1)、(3)が付与されることになる。したがっ
て、連結領域位置・形状算出部125における形状算出
では、各ラベルの面積(投影の総和SUM)がマーカ辞
書部127に格納したマーカ1個の面積よりも大きな値
で算出される。また矩形形状の確認においても縦(Pj
h2−Pjh1)×横(Pjv2−Pjv1)の値がマ
ーカの辞書に格納した値と異なるものとなる。このよう
な判断より車両の抽出が可能となる。白の車両と白線の
マーカが重ならない場合は、図23(B)のラベル
(2)の部分のように、マーカ辞書部127に格納した
面積、形状(矩形)が一致するので、車間距離の検出が
可能となる。
体間のマーカを抽出し、その間の距離を算出するもので
あり、白以外の車両が通過する場合は、図22(B)の
ラベル(5)に示す如く、同一ラベルの付与された領域
の大きさと形状(矩形)がマーカ辞書部127に格納さ
れたものと同一か否かを判断し、同一のものをマーカと
して抽出する。これによりマーカ辞書部127よりその
マーカのサイズ、マーカ間隔を求め、移動物体間、例え
ば車両間の距離を算出する。
の場合、同(C)に示す如く、元のマーカの投影値と等
しい連続する領域Pjh1′〜Pjh2′を求めること
により、これを移動物体間の距離として簡単に算出する
ことができる。
31は移動物体とその存在するマーカの時系列テーブル
を作成するものであって、マーカ上の移動物体の時系列
を作る場合には、図25(A)に示す如く、どのマーカ
上に車両の如き移動物体が存在するのかを示すものであ
る。この場合、移動物体の進行方向はP25→P1 とす
る。
(A)に○印で示す如く、移動物体が存在する時刻とマ
ーカ位置を示すマーカの時系列テーブルを作る。また車
両間隔で示すとき、図24(C)に示す如く、移動物体
間に存在するマーカを示すテーブルを作成する。これに
より車間のマーカの軌跡を示すことができる。
25(A)に示す移動物体存在時刻のテーブルから、こ
のテーブル上である距離内にあり、かつ方向性(進行方
向はP25→P1 )を考慮して、同一移動物体と判断され
るものに対して同一の番号を付与し、図24(B)の如
く移動物体の対応づけを行う。
に存在するマーカの時系列テーブルについては、この時
系列テーブル上である距離内にあり、かつ方向性を考慮
して同一の車両間隔情報については同一の番号を付与
し、図25(B)の如く対応づけを行う。
目してマーカを追跡することにより、対応づけの場合の
数が減り、移動物体そのもので処理する場合に比較して
処理速度が速くなる。勿論この手法は、移動物体間の距
離が計測中に急激に変化しないことを前提として、移動
物体間のマーカの大きさ、即ち移動物体間の距離の変化
の滑らかさの条件も導入して対応づけられ、より正確な
対応づけが可能となる。
く、車両間隔が時刻T2 においてP4、P5 であり時刻
T3 においてP3 、P4 の如き場合には、同(E)に示
す如く、複数のマーカにまたがり同一印をつけて車両間
隔を示すこともできる。
の距離を測定するものである。例えば図25(B)に示
す如く、移動物体の対応づけテーブルから、各時刻の移
動物体間の距離をマーカ、つまり白線間の距離で算出す
る。そしてその最大値、最小値および平均値を算出す
る。平均値は、例えば移動物体を時刻Tn〜Tmで対応
づけ、各時刻の白線番号の差をΔn〜Δmとするとき、
式(4)により得られる。
ができる。図16に示す本発明の第3実施例の動作につ
いて説明する。まず実際に道路面に例えば図17に示す
如く、マーカとしての白線を引く。そしてその情報をマ
ーカ設置部110からマーカ辞書部127に記入してお
く。また図17に示す如く、処理領域が設定される場合
には、そのマスク情報も処理領域設定部121にて演算
し、マーカ辞書部127に格納する。
装置から入力画像が伝達されると、処理領域設定部12
1が、図19(A)に示す如く、その処理領域範囲内の
入力画像のみを出力画像として出力する。2値化部12
2は図19(B)に示す如く、これを1または0に2値
化出力する。そして雑音除去部123が、図19(C)
に示す如く、論理フィルタFを用いて孤立点を雑音除去
する。
化された入力画像に対し、図20(A)に示す如く、ラ
ベル付け処理を行う。これにより例えば、白線のマーカ
のみの入力画像に対しては、図20(C)に示す如く、
ラベル(1)〜(25)が付加されることになる。
置・形状算出部125において、同一ラベルの部分に対
する位置と形状を算出する。マーカ照合部126では、
これをマーカ辞書部127と照合してどれが白線のマー
カであるか否かを判別する。
ところはマーカに移動物体が重ね合わされた部分である
ので、移動物体抽出部128がこれにより移動物体を抽
出する。
動物体と重ね合わされていない白線のマーカ部分を抽出
する。これらの情報により移動物体・マーカ時系列テー
ブル作成部131が、例えば図25(A)に示す如き移
動物体存在時刻テーブルを作成する。移動物体・マーカ
対応づけ部132は、この図25(A)に示すテーブル
から、同(B)に示す移動物体の対応づけテーブルを作
成し、これを移動物体間距離測定部113に送出する。
は、マーカ間つまり白線間の距離をこの対応づけした車
両の白線数に乗算し、移動物体間の距離を算出する。勿
論図25(C)、(D)に示す如く、移動物体間のマー
カつまり白線の時系列テーブルを作成してこれにもとづ
き移動物体間の距離を算出することもできる。
いは移動物体間のマーカの数の対応づけを対応テーブル
から時系列的に行い、その距離を算出し、それらの最大
値、最小値および平均値を算出することにより、精度の
よい移動物体の運動の解析、予測を行うことが可能とな
る。従ってこれを車両に応用した場合には事故発生の予
防を行うこともできる。
124及び連結領域位置・形状算出部125の他の例を
図26により説明する。連結領域抽出部124におい
て、2値化されたデータあるいは色抽出(マーカの色)
された、図26(A)に示す如きデータを、その1の部
分又は色抽出された部分の輪郭を抽出する。
小値、周囲長を例えばマーカ辞書部127に格納してお
き、輪郭を一周探索する。探索の際、x、yの最大値、
最小値、周囲長を求める。図26(B)に示す如く、白
線だけの輪郭抽出の場合には、これらの値がマーカ辞書
部127に格納されたものと一致する。しかし移動物体
が白線上に重なっているときは、例えば図26(C)、
(D)に示す如く、これらの値が少なくとも1つは一致
しない。なお色抽出については、例えば「ビデオレート
色抽出装置」(特開昭63−314988号公報)を用
いる。
らの値をマーカ辞書部127に格納された値と比較した
り、縦横の値を乗算することにより物体が重ね合わされ
た状態か、ラベル付けされた形状が矩形か否かあるいは
マーカそれ自体か等の判断ができる。
示す、例えば3×3の論理フィルタを用いて走査しその
中心画素(i、j)の周囲の8区分がオール1のとき、
これをマーカ内部と判断して0を出力し、それ以外を境
界として1を出力する。
得られる。本発明では複数の区分の速度画像を生成する
ことができるので、種々の速度で移動している対象物体
が数多く存在する場合に、ある速度範囲で対象物体を分
離することが可能となり、解析処理を容易に行うことが
できる。
系列変化を求め、特徴量を解析することにより容易に対
象物体の軌跡を求めることができる。さらに局所領域に
おける特徴量を算出し、局所領域毎の特徴量の有無から
時系列変化を求めることにより、これまた対象物体の軌
跡を容易に求めることができる。
り、より詳細な対象物体の軌跡を容易に抽出することも
できる。時刻毎の位置の変化及び面積の変化が極めて少
ない停止物体を容易に抽出することができる。
変化や方向変化を生じた対象物体について特徴量の有無
及び形状特徴の時系列変化または速度画像間変化から軌
跡を算出し移動物体を容易に同定することができる。
象物体の存在を容易に抽出することができる。しかも小
型物体が大型の対象物体に隠された状態でも、同一物体
の軌跡を抽出することができる。
に対し、局所領域における物体の有無や、ランプの点滅
のような同一形状特徴の周期性を解析することにより点
滅している物体を容易に抽出することができる。
しやすいマーカの抽出を基盤としており、移動物体の一
部しか抽出できない場合でも、設置したマーカの抽出に
より、移動物体とマーカが重なった部分を断定できて、
それらの重なった部分間の距離を算出することにより、
物体間の距離を精度の良く算出できる。
抽出ではなく、画像処理のしやすいマーカの抽出を基盤
としており、1つの大型の移動物体を2つの小型の移動
物体と誤ることなく、移動物体のサイズに関係なく安定
に移動物体を抽出でき、物体間の距離など精度の良い解
析、動きの予測ができる。
ていないマーカを背景に用い、連結成分ごとにマーカを
抽出する手段を備えており、移動物体とマーカの色が同
じであっても、その連結成分の形状、面積を調べること
により、容易に移動物体とマーカの重なり部分を断定で
き、移動物体間の距離を算出できる。
動物体間を対応づけ、物体間の距離の最大値、最小値、
平均距離を算出できることから精度のよい物体間の距離
算出と、それの詳細な解析が可能になる。
図である。
図である。
合の説明図である。
図である。
図である。
説明図である。
る。
Claims (15)
- 【請求項1】 背景及び物体を含む画像を入力する画像
入力手段(1)と、 背景を保持、出力する背景画像抽出手段(2)と、 第1の速度までの移動物体と背景が含まれる画像を抽出
する第1平均背景抽出手段(3)と、 第2の速度までの移動物体と背景が含まれる画像を抽出
する第2平均背景抽出手段(4)と、 背景画像抽出手段(2)の出力と、前記第1平均背景抽
出手段のいずれかの出力との差分を求めて速度画像を生
成する第1差分演算処理手段(5)と、 前記2つの平均背景抽出手段の出力の差分を求めて速度
画像を生成する第2差分演算処理手段(6)と、 前記画像入力手段(1)の出力と、前記2つの平均背景
抽出手段のいずれかの出力との差分を求めて速度画像を
生成する第3差分演算処理手段(7)を具備したことを
特徴とする画像処理装置。 - 【請求項2】 前記画像入力手段(1)の出力を、複数
の局所領域に設定する局所領域決定手段(11)と、物
体を分離するラベル処理手段(13)と、特徴量を算出
する特徴量算出手段(14)を有する局所領域内特徴量
抽出処理手段により処理することを特徴とする請求項1
記載の画像処理装置。 - 【請求項3】 背景と低速の平均背景画像との差分をと
り、差分画像に対し連結領域を抽出し、連結領域毎に投
影をとり、物体の位置を算出し、物体の縦横の長さ、面
積等の特徴量を算出し、時刻毎に物体の位置変化と特徴
量の変化を求め、その変化が少ないことにより停止物体
を抽出するようにしたことを特徴とする請求項1記載の
画像処理装置。 - 【請求項4】 前記差分演算処理手段から出力される速
度画像毎に、前記局所領域に対応してそれぞれ局所領域
内特徴量抽出処理手段を具備する局所領域内特徴抽出手
段を設けたことを特徴とする請求項2記載の画像処理装
置。 - 【請求項5】 前記各局所領域内特徴抽出手段の出力に
もとづき各局所領域内の物体の存在を時系列的に検知し
て作表する作表手段(20−2)を有する軌跡算出手段
(20)を設けたことを特徴とする請求項2記載の画像
処理装置。 - 【請求項6】 軌跡算出手段(20)に特徴を抽出する
特徴解析手段(20−1)を設け、前記特徴算出手段
(14)より算出された特徴のうち物体の形状特徴によ
り同一移動物体の軌跡を作表するようにしたことを特徴
とする請求項5記載の画像処理装置。 - 【請求項7】 複数の局所的な処理領域を設定し、各処
理領域における物体の通過の有無と、物体の形状特徴、
通過時の時刻より同一移動物体の軌跡を算出し、物体の
急激な速度変化や方向変化を判別し移動物体を同定する
ことを特徴とする請求項5記載の画像処理装置。 - 【請求項8】 複数の局所領域を物体のサイズに応じて
設定し、前記軌跡算出手段に表解析部(20−3)を設
け、大きい物体が小さい物体を隠す場合でもこれらの局
所領域の軌跡を判別して同一移動物体の軌跡を認識する
ことを特徴とする請求項5記載の画像処理装置。 - 【請求項9】 複数の局所領域を設定し、各局所領域に
おける物体の通過の有無の周期性と同一形状特徴の周期
性を調べ、点滅している物体を同定することを特徴とす
る請求項6記載の画像処理装置。 - 【請求項10】 2つの移動物体間の距離を算出する装
置において、 画像を入力する画像入力手段(114)と、 背景にマーカを設置するマーカ設置手段(110)と、 移動物体を抽出する移動物体抽出手段(128)と、 移動物体を追跡する追跡手段(131)と、 異なる移動物体間に存在するマーカを抽出するマーカ抽
出手段(129)と、 マーカのサイズにもとづき移動物体間の距離を算出する
距離測定手段(113)を具備したことを特徴とする距
離測定装置。 - 【請求項11】 前記マーカ設置手段(110)により
連結していない複数個のマーカを背景に設置するととも
に、マーカのサイズ、形状、個数を算出する連結領域位
置・形状算出手段(125)と、マーカの形状、サイズ
をあらかじめ保持するマーカ辞書手段(127)と、異
なる移動物体間に存在するマーカの形状と辞書を参照す
るマーカ照合手段(126)と、照合によりマーカと確
認できたマーカ数を算出して移動物体間の距離を算出す
ることを特徴とする請求項10記載の距離測定装置。 - 【請求項12】 移動物体間に存在するマーカの数を追
跡して異なる移動物体間の距離を算出することを特徴と
する請求項11記載の距離測定装置。 - 【請求項13】 2つの車両間の距離を算出する装置に
おいて、 背景となる道路上において車両の進行方向に垂直な白線
を等間隔に引く設置手段(110)と、 あらかじめこの白線の縦横の長さを計測してこれを保持
するマーカ辞書手段(127)と、 連結領域の抽出を行う連結領域抽出手段(124)と、 白線領域と同じラベル領域の面積、形状を算出し、縦横
の長さより白線の面積や矩形サイズの確認を行う連結領
域位置・形状算出手段(125)と、 連続する白線領域を追跡する対応づけ部(132)と、 確認した白線の中で連続する白線の本数を求め白線の間
隔より移動車両間の距離を算出する距離測定手段(11
3)を具備することを特徴とする車両間の距離測定装
置。 - 【請求項14】 前記連結領域・形状算出手段(12
5)を、ラベリングにより連結成分に分離し、連結成分
毎に投影値を求め、投影値により連結成分の縦と横の長
さを算出し、縦横の積と投影値の総和を比較して、矩形
か否かを判別するようにしたことを特徴とする請求項1
3記載の車両間の距離測定装置。 - 【請求項15】 前記連結領域位置・形状算出手段(1
25)を、2値化又は色抽出した2次元XY画像に対し
て輪郭抽出を行い、そのX、Yの最大値及び最小値と周
囲長を求め、これらの値があらかじめ保持されているも
のと一致するか否かを比較して一致したとき矩形と判断
することを特徴とする請求項13記載の車両間の距離測
定装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP12256393A JP3288474B2 (ja) | 1993-03-31 | 1993-05-25 | 画像処理装置 |
US08/681,485 US6141435A (en) | 1993-03-31 | 1996-07-23 | Image processing apparatus |
US09/564,535 US6430303B1 (en) | 1993-03-31 | 2000-05-04 | Image processing apparatus |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7331993 | 1993-03-31 | ||
JP5-73319 | 1993-03-31 | ||
JP12256393A JP3288474B2 (ja) | 1993-03-31 | 1993-05-25 | 画像処理装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001345896A Division JP3816785B2 (ja) | 1993-03-31 | 2001-11-12 | 距離測定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH06337938A true JPH06337938A (ja) | 1994-12-06 |
JP3288474B2 JP3288474B2 (ja) | 2002-06-04 |
Family
ID=26414468
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP12256393A Expired - Fee Related JP3288474B2 (ja) | 1993-03-31 | 1993-05-25 | 画像処理装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6141435A (ja) |
JP (1) | JP3288474B2 (ja) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001273499A (ja) * | 2000-03-27 | 2001-10-05 | Nagoya Electric Works Co Ltd | 移動体検出方法およびその装置 |
JP2006277729A (ja) * | 2005-03-01 | 2006-10-12 | Fuji Photo Film Co Ltd | 画像出力装置、画像出力方法、および画像出力プログラム、並びに画像トリミング装置、画像トリミング方法、および画像トリミングプログラム |
JP2007064894A (ja) * | 2005-09-01 | 2007-03-15 | Fujitsu Ten Ltd | 物体検出装置、物体検出方法および物体検出プログラム |
US7372994B2 (en) | 2003-03-03 | 2008-05-13 | Matsushita Electric Works, Ltd. | Image processing device for recognizing outline of moving target and method therefor |
JP2008117228A (ja) * | 2006-11-06 | 2008-05-22 | Nippon Telegr & Teleph Corp <Ntt> | 矩形追跡方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 |
JP2011044970A (ja) * | 2009-08-24 | 2011-03-03 | Canon Inc | 撮影システム |
US8031226B2 (en) | 2005-03-01 | 2011-10-04 | Fujifilm Corporation | Image output apparatus, image output method, image output program, image trimming apparatus, image trimming method, and image trimming program |
WO2013191078A1 (ja) * | 2012-06-19 | 2013-12-27 | 市光工業株式会社 | 車両周辺対象物検出装置 |
JP2014137689A (ja) * | 2013-01-16 | 2014-07-28 | Toyota Motor Corp | 対象物検出装置及び対象物検出方法、警報装置及び警報方法、運転支援装置及び運転支援方法 |
US8818042B2 (en) | 2004-04-15 | 2014-08-26 | Magna Electronics Inc. | Driver assistance system for vehicle |
US8842176B2 (en) | 1996-05-22 | 2014-09-23 | Donnelly Corporation | Automatic vehicle exterior light control |
US8917169B2 (en) | 1993-02-26 | 2014-12-23 | Magna Electronics Inc. | Vehicular vision system |
US8993951B2 (en) | 1996-03-25 | 2015-03-31 | Magna Electronics Inc. | Driver assistance system for a vehicle |
US9171217B2 (en) | 2002-05-03 | 2015-10-27 | Magna Electronics Inc. | Vision system for vehicle |
US9436880B2 (en) | 1999-08-12 | 2016-09-06 | Magna Electronics Inc. | Vehicle vision system |
US9440535B2 (en) | 2006-08-11 | 2016-09-13 | Magna Electronics Inc. | Vision system for vehicle |
US10823851B2 (en) | 2018-01-25 | 2020-11-03 | Fujitsu Limited | Device and method for estimating degree of freedom for movement |
WO2021002001A1 (ja) * | 2019-07-04 | 2021-01-07 | 三菱電機株式会社 | 移動体測位装置および移動体測位システム |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3114668B2 (ja) * | 1997-10-03 | 2000-12-04 | 日本電気株式会社 | 物体検出・背景除去方法、装置およびプログラムを記録した記録媒体 |
JP4157620B2 (ja) * | 1998-06-19 | 2008-10-01 | 株式会社東芝 | 移動物体検出装置及びその方法 |
JP3488104B2 (ja) * | 1998-11-18 | 2004-01-19 | 富士通株式会社 | 移動体の特性抽出装置,特性抽出方法およびそのプログラム記録媒体 |
JP3873554B2 (ja) * | 1999-12-27 | 2007-01-24 | 株式会社日立製作所 | 監視装置、監視プログラムが記録された記録媒体 |
JP4167390B2 (ja) * | 2000-11-20 | 2008-10-15 | 日本電気株式会社 | 物体照合方法,物体照合装置,およびそのプログラムを記録した記録媒体 |
US6819779B1 (en) * | 2000-11-22 | 2004-11-16 | Cognex Corporation | Lane detection system and apparatus |
JP2003098424A (ja) * | 2001-09-25 | 2003-04-03 | Fujitsu Ten Ltd | 画像処理測距装置 |
US7162101B2 (en) * | 2001-11-15 | 2007-01-09 | Canon Kabushiki Kaisha | Image processing apparatus and method |
US7760921B2 (en) * | 2002-12-19 | 2010-07-20 | Casio Computer Co., Ltd. | Pressure activated fingerprint input apparatus |
US20050078873A1 (en) * | 2003-01-31 | 2005-04-14 | Cetin Ahmet Enis | Movement detection and estimation in wavelet compressed video |
US20040223652A1 (en) * | 2003-05-07 | 2004-11-11 | Cetin Ahmet Enis | Characterization of motion of moving objects in video |
US7747041B2 (en) * | 2003-09-24 | 2010-06-29 | Brigham Young University | Automated estimation of average stopped delay at signalized intersections |
JP2005215985A (ja) * | 2004-01-29 | 2005-08-11 | Fujitsu Ltd | 走行車線判定プログラムおよびその記録媒体、走行車線判定装置ならびに走行車線判定方法 |
EP1751619A4 (en) * | 2004-04-30 | 2010-04-14 | Utc Fire & Security Corp | DETECTION OF FRAUDULENT ATTEMPTS MADE ON A CAMERA |
US7639841B2 (en) * | 2004-12-20 | 2009-12-29 | Siemens Corporation | System and method for on-road detection of a vehicle using knowledge fusion |
US8139896B1 (en) | 2005-03-28 | 2012-03-20 | Grandeye, Ltd. | Tracking moving objects accurately on a wide-angle video |
WO2006109217A2 (en) * | 2005-04-14 | 2006-10-19 | Koninklijke Philips Electronics N.V. | Video apparatus having an edition function |
US7920959B1 (en) * | 2005-05-01 | 2011-04-05 | Christopher Reed Williams | Method and apparatus for estimating the velocity vector of multiple vehicles on non-level and curved roads using a single camera |
JP4640155B2 (ja) * | 2005-12-15 | 2011-03-02 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
US20130265419A1 (en) | 2012-04-06 | 2013-10-10 | Xerox Corporation | System and method for available parking space estimation for multispace on-street parking |
KR101747216B1 (ko) | 2012-05-30 | 2017-06-15 | 한화테크윈 주식회사 | 표적 추출 장치와 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록 매체 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4449144A (en) * | 1981-06-26 | 1984-05-15 | Omron Tateisi Electronics Co. | Apparatus for detecting moving body |
CA1287161C (en) * | 1984-09-17 | 1991-07-30 | Akihiro Furukawa | Apparatus for discriminating a moving region and a stationary region in a video signal |
JPS61243569A (ja) * | 1985-04-19 | 1986-10-29 | Fujitsu Ltd | デイジタル画像領域へのラベル付け方式 |
JPS6320578A (ja) * | 1986-07-14 | 1988-01-28 | Fujitsu Ltd | 連結領域のラベル付け回路 |
JPS63314988A (ja) * | 1987-06-18 | 1988-12-22 | Fujitsu Ltd | ビデオレ−ト色抽出装置 |
US4937878A (en) * | 1988-08-08 | 1990-06-26 | Hughes Aircraft Company | Signal processing for autonomous acquisition of objects in cluttered background |
US5109435A (en) * | 1988-08-08 | 1992-04-28 | Hughes Aircraft Company | Segmentation method for use against moving objects |
US5034986A (en) * | 1989-03-01 | 1991-07-23 | Siemens Aktiengesellschaft | Method for detecting and tracking moving objects in a digital image sequence having a stationary background |
JPH03206574A (ja) * | 1990-01-09 | 1991-09-09 | Fujitsu Ltd | ラスタ走査型ラベリング処理方式 |
JP2975629B2 (ja) * | 1990-03-26 | 1999-11-10 | 株式会社東芝 | 画像認識装置 |
US5150426A (en) * | 1990-11-20 | 1992-09-22 | Hughes Aircraft Company | Moving target detection method using two-frame subtraction and a two quadrant multiplier |
US5243418A (en) * | 1990-11-27 | 1993-09-07 | Kabushiki Kaisha Toshiba | Display monitoring system for detecting and tracking an intruder in a monitor area |
US5301239A (en) * | 1991-02-18 | 1994-04-05 | Matsushita Electric Industrial Co., Ltd. | Apparatus for measuring the dynamic state of traffic |
JPH05159057A (ja) * | 1991-12-04 | 1993-06-25 | Fujitsu Ltd | 動的物体の計測装置 |
JPH05159058A (ja) * | 1991-12-04 | 1993-06-25 | Fujitsu Ltd | 動的物体の軌跡解析装置 |
CA2132515C (en) * | 1992-03-20 | 2006-01-31 | Glen William Auty | An object monitoring system |
-
1993
- 1993-05-25 JP JP12256393A patent/JP3288474B2/ja not_active Expired - Fee Related
-
1996
- 1996-07-23 US US08/681,485 patent/US6141435A/en not_active Expired - Fee Related
Cited By (49)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8917169B2 (en) | 1993-02-26 | 2014-12-23 | Magna Electronics Inc. | Vehicular vision system |
US8993951B2 (en) | 1996-03-25 | 2015-03-31 | Magna Electronics Inc. | Driver assistance system for a vehicle |
US8842176B2 (en) | 1996-05-22 | 2014-09-23 | Donnelly Corporation | Automatic vehicle exterior light control |
US9436880B2 (en) | 1999-08-12 | 2016-09-06 | Magna Electronics Inc. | Vehicle vision system |
JP2001273499A (ja) * | 2000-03-27 | 2001-10-05 | Nagoya Electric Works Co Ltd | 移動体検出方法およびその装置 |
JP4504503B2 (ja) * | 2000-03-27 | 2010-07-14 | 名古屋電機工業株式会社 | 移動体検出装置 |
US10118618B2 (en) | 2002-05-03 | 2018-11-06 | Magna Electronics Inc. | Vehicular control system using cameras and radar sensor |
US9834216B2 (en) | 2002-05-03 | 2017-12-05 | Magna Electronics Inc. | Vehicular control system using cameras and radar sensor |
US9643605B2 (en) | 2002-05-03 | 2017-05-09 | Magna Electronics Inc. | Vision system for vehicle |
US10351135B2 (en) | 2002-05-03 | 2019-07-16 | Magna Electronics Inc. | Vehicular control system using cameras and radar sensor |
US9555803B2 (en) | 2002-05-03 | 2017-01-31 | Magna Electronics Inc. | Driver assistance system for vehicle |
US9171217B2 (en) | 2002-05-03 | 2015-10-27 | Magna Electronics Inc. | Vision system for vehicle |
US10683008B2 (en) | 2002-05-03 | 2020-06-16 | Magna Electronics Inc. | Vehicular driving assist system using forward-viewing camera |
US11203340B2 (en) | 2002-05-03 | 2021-12-21 | Magna Electronics Inc. | Vehicular vision system using side-viewing camera |
US7372994B2 (en) | 2003-03-03 | 2008-05-13 | Matsushita Electric Works, Ltd. | Image processing device for recognizing outline of moving target and method therefor |
US9609289B2 (en) | 2004-04-15 | 2017-03-28 | Magna Electronics Inc. | Vision system for vehicle |
US10306190B1 (en) | 2004-04-15 | 2019-05-28 | Magna Electronics Inc. | Vehicular control system |
US8818042B2 (en) | 2004-04-15 | 2014-08-26 | Magna Electronics Inc. | Driver assistance system for vehicle |
US9191634B2 (en) | 2004-04-15 | 2015-11-17 | Magna Electronics Inc. | Vision system for vehicle |
US11503253B2 (en) | 2004-04-15 | 2022-11-15 | Magna Electronics Inc. | Vehicular control system with traffic lane detection |
US9428192B2 (en) | 2004-04-15 | 2016-08-30 | Magna Electronics Inc. | Vision system for vehicle |
US11847836B2 (en) | 2004-04-15 | 2023-12-19 | Magna Electronics Inc. | Vehicular control system with road curvature determination |
US10735695B2 (en) | 2004-04-15 | 2020-08-04 | Magna Electronics Inc. | Vehicular control system with traffic lane detection |
US10462426B2 (en) | 2004-04-15 | 2019-10-29 | Magna Electronics Inc. | Vehicular control system |
US9008369B2 (en) | 2004-04-15 | 2015-04-14 | Magna Electronics Inc. | Vision system for vehicle |
US10187615B1 (en) | 2004-04-15 | 2019-01-22 | Magna Electronics Inc. | Vehicular control system |
US9736435B2 (en) | 2004-04-15 | 2017-08-15 | Magna Electronics Inc. | Vision system for vehicle |
US10110860B1 (en) | 2004-04-15 | 2018-10-23 | Magna Electronics Inc. | Vehicular control system |
US9948904B2 (en) | 2004-04-15 | 2018-04-17 | Magna Electronics Inc. | Vision system for vehicle |
US10015452B1 (en) | 2004-04-15 | 2018-07-03 | Magna Electronics Inc. | Vehicular control system |
US8031226B2 (en) | 2005-03-01 | 2011-10-04 | Fujifilm Corporation | Image output apparatus, image output method, image output program, image trimming apparatus, image trimming method, and image trimming program |
JP2006277729A (ja) * | 2005-03-01 | 2006-10-12 | Fuji Photo Film Co Ltd | 画像出力装置、画像出力方法、および画像出力プログラム、並びに画像トリミング装置、画像トリミング方法、および画像トリミングプログラム |
JP2007064894A (ja) * | 2005-09-01 | 2007-03-15 | Fujitsu Ten Ltd | 物体検出装置、物体検出方法および物体検出プログラム |
US11623559B2 (en) | 2006-08-11 | 2023-04-11 | Magna Electronics Inc. | Vehicular forward viewing image capture system |
US10071676B2 (en) | 2006-08-11 | 2018-09-11 | Magna Electronics Inc. | Vision system for vehicle |
US9440535B2 (en) | 2006-08-11 | 2016-09-13 | Magna Electronics Inc. | Vision system for vehicle |
US10787116B2 (en) | 2006-08-11 | 2020-09-29 | Magna Electronics Inc. | Adaptive forward lighting system for vehicle comprising a control that adjusts the headlamp beam in response to processing of image data captured by a camera |
US11951900B2 (en) | 2006-08-11 | 2024-04-09 | Magna Electronics Inc. | Vehicular forward viewing image capture system |
US11396257B2 (en) | 2006-08-11 | 2022-07-26 | Magna Electronics Inc. | Vehicular forward viewing image capture system |
US11148583B2 (en) | 2006-08-11 | 2021-10-19 | Magna Electronics Inc. | Vehicular forward viewing image capture system |
JP4571115B2 (ja) * | 2006-11-06 | 2010-10-27 | 日本電信電話株式会社 | 矩形追跡方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 |
JP2008117228A (ja) * | 2006-11-06 | 2008-05-22 | Nippon Telegr & Teleph Corp <Ntt> | 矩形追跡方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 |
JP2011044970A (ja) * | 2009-08-24 | 2011-03-03 | Canon Inc | 撮影システム |
WO2013191078A1 (ja) * | 2012-06-19 | 2013-12-27 | 市光工業株式会社 | 車両周辺対象物検出装置 |
JP2014002577A (ja) * | 2012-06-19 | 2014-01-09 | Ichikoh Ind Ltd | 車両周辺対象物検出装置 |
US9367751B2 (en) | 2012-06-19 | 2016-06-14 | Ichikoh Industries, Ltd. | Object detection device for area around vehicle |
JP2014137689A (ja) * | 2013-01-16 | 2014-07-28 | Toyota Motor Corp | 対象物検出装置及び対象物検出方法、警報装置及び警報方法、運転支援装置及び運転支援方法 |
US10823851B2 (en) | 2018-01-25 | 2020-11-03 | Fujitsu Limited | Device and method for estimating degree of freedom for movement |
WO2021002001A1 (ja) * | 2019-07-04 | 2021-01-07 | 三菱電機株式会社 | 移動体測位装置および移動体測位システム |
Also Published As
Publication number | Publication date |
---|---|
JP3288474B2 (ja) | 2002-06-04 |
US6141435A (en) | 2000-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH06337938A (ja) | 画像処理装置及び距離測定装置 | |
Rahman et al. | A real-time wrong-way vehicle detection based on YOLO and centroid tracking | |
US20020126875A1 (en) | Image processing apparatus | |
Kim et al. | Deep traffic light detection for self-driving cars from a large-scale dataset | |
JP2016148962A (ja) | 物体検知装置 | |
CN105550632A (zh) | 交通标志牌识别装置及其工作方法 | |
JPH05307695A (ja) | 交通流計測処理方法及び装置 | |
JP6226368B2 (ja) | 車両監視装置、および車両監視方法 | |
Ghahremannezhad et al. | Real-time accident detection in traffic surveillance using deep learning | |
Messelodi et al. | Vision-based bicycle/motorcycle classification | |
KR102318586B1 (ko) | 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법 | |
Mulyanto et al. | Real-time human detection and tracking using two sequential frames for advanced driver assistance system | |
Widyantoro et al. | Traffic lights detection and recognition based on color segmentation and circle hough transform | |
Wu et al. | Traffic monitoring and vehicle tracking using roadside cameras | |
EP3557529A1 (en) | Lane marking recognition device | |
Anandhalli et al. | Improvised approach using background subtraction for vehicle detection | |
Kanhere et al. | Real-time detection and tracking of vehicle base fronts for measuring traffic counts and speeds on highways | |
Sirbu et al. | Real-time line matching based speed bump detection algorithm | |
Arul et al. | Modelling and Simulation of Smart Traffic Light System for Emergency Vehicle using Image Processing Techniques | |
Nayak et al. | Vision-based techniques for identifying emergency vehicles | |
Cao et al. | Vehicle motion analysis based on a monocular vision system | |
JP3816785B2 (ja) | 距離測定装置 | |
CN110736465B (zh) | 导航方法、装置、机器人及计算机可读存储介质 | |
Kovačić et al. | Real time vehicle detection and tracking on multiple lanes | |
Li et al. | Automated region-based vehicle conflict detection using computer vision techniques |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20020226 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080315 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090315 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100315 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100315 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110315 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |