JP2940357B2 - 自動車の走行制御装置の画像処理機構 - Google Patents
自動車の走行制御装置の画像処理機構Info
- Publication number
- JP2940357B2 JP2940357B2 JP5232992A JP23299293A JP2940357B2 JP 2940357 B2 JP2940357 B2 JP 2940357B2 JP 5232992 A JP5232992 A JP 5232992A JP 23299293 A JP23299293 A JP 23299293A JP 2940357 B2 JP2940357 B2 JP 2940357B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- tracking
- speed
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Measurement Of Optical Distance (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Controls For Constant Speed Travelling (AREA)
Description
画像処理機構に関するものである。更に詳述すると、先
行車を画像処理により認識して追尾しつつ走行する際
に、画像処理を迅速に行って先行車を正確に認識するこ
とができるようにしたものである。
速走行装置が実用化され、また車間距離制御装置が開発
されている。
スピード・コントロール」や「クルーズ・コントロー
ル」とも称ばれている。この装置を備えた自動車では、
セットスイッチを押すと、アクセルペダルから足を離し
ても、設定した車速を維持して走行を行う。設定車速は
コントロールスイッチの操作により変更することができ
る。運転者がブレーキを踏んだり、クラッチを踏んだ
り、ギヤシフトをするなどの操作をすると、この機能が
キャンセルされるようになっている。
全性を確保するため、次のような機能を付加したものも
ある。即ち先行車との距離をレーザレーダ等で検出して
おき、先行車に異常接近したときには、警報を発して運
転者に注意を促したり、ギヤシフト段を4速(オーバー
ドライブ)から3速へシフトダウンしてエンジンブレー
キを作動させるオーバドライブオフにより減速したりす
る。
では、セットスイッチを押すと、そのときの自車の車速
から目標車間距離を演算し、また先行車との車間距離を
検出し、先行車との車間距離が目標車間距離となるよう
にエンジン出力やブレーキの制御をして、先行車を追尾
して走行する。この場合、先行車との車間距離の検出
は、カメラでとらえた画像を画像処理して求めたり、レ
ーザレーダ等により求める。
速の遅い先行車に追いついた場合には、運転者が減速操
作をして定速走行制御を解除しなければならない。その
ため、混雑した道路では操作が頻繁になり、かえって面
倒で危険度が高くなる。一方、従来の「車間距離制御装
置」では、先行車がいないときには制御ができない。
御装置の機能を併せ持った「自動車の走行制御装置」を
開発している。この「自動車の走行制御装置」を備えた
自動車では、詳細は後述するが、先行車がいない場合は
設定車速で定速走行し、先行車が存在する場合には目標
車間距離を保持しつつ先行車を追尾していき、更に割り
込みがあったときや高速の自車が低速の先行車に追いつ
いたときに減速制御をする。この「自動車の走行制御装
置」を高速道路の本線を走行するときに利用すれば、運
転者はハンドル操作するだけで走行でき、いわゆるイー
ジードライブが実現できる。しかもちょっとした傍見や
いねむりをしても、前方車に異常接近したり追突したり
する危険を回避できることを考えれば、安全性の向上も
期待できる。
装置を用いて先行車を追尾しつつ走行していく追尾走行
制御を行うときには、前方の状況をカメラで撮影し、撮
影した画像を処理することにより、距離計測、車両認
識、追尾車両のサーチを行う。このような画像処理は迅
速に行うことが必要であるが、従来では画像処理を迅速
・正確に行う具体的対策は施されていなかった。
により先行車を画像処理で認識して追尾走行制御をする
ときにおける画像処理を、迅速・正確に行うことができ
るようにすることを目的とする。
明は、自車から前方の状況を一対の光学系を通して撮影
して対となった画像を次々と得るカメラ手段と、前記カ
メラ手段で撮影して得た対となった画像の中からそれぞ
れ縦線を抽出し一方の画像から得た縦線と他方の画像か
ら得た縦線の位置を比較することにより撮影対象物まで
の距離を検出し、更に抽出した縦線のうちこの線ではさ
まれるエリアで左右対称な部分を車両であると認識する
物体認識コントローラと、前回得た画像と今回得た画像
の中で前記エリアの画素どうしを比べて相関をとり、相
関が強くてエリア内の対象物が前後方向に移動している
ものを車両として認識しこの車両を画面内で追尾してい
く追尾コントローラと、を有することを特徴とする。
面をラフに画像処理して車両と思われるエリアを決定
し、追尾コントローラにより前記エリア内を詳細に画像
処理して車両を正確に認識する。
現在開発しつつある自動車の走行制御装置を説明する。
この自動車の走行制御装置は、高速道路及び自動車専用
道路(以下両者を代表して「高速道路」と記す)を走行
するときに使用する。
車を示す。同図において、1はステレオ視カメラ、2は
レーザレーダ、3はスロットルアクチュエータ、4はブ
レーキアクチュエータ、5は操作スイッチ・情報表示
部、6はコントローラ、7は車速センサ、7aはハンド
ル角センサ、7bはブレーキスイッチ、7cはブレーキ
ペダルスイッチ、7dはアクセルペダルスイッチであ
る。
に示すように、自動車の前方の景色を撮影する2つのC
CDカメラ11,12を横置き配置したものであり、ボ
ディー13内に映像基板,絞り基板等の電子部品を搭載
している。このステレオ視カメラ1は、車室内でルーム
ミラーの近傍に取り付けられている。各カメラ11,1
2の水平面内での視野角はそれぞれ23度である。そし
てカメラ11,12で撮影した画像を示すビデオ信号が
コントローラ6に送られる。
を、コントローラ6にて画像処理をすることにより、次
の認識をする(詳述は後述する)。 先行する車両の認識。 高速道路の複数の車線(レーン)のうち、自車が走
行している車線を示す白線の認識。 先行する車両と自車との間の車間距離の認識。
置と前端左側位置に1本づつ配置されている。レーザレ
ーダ2から出射するレーザビームの広がり角は2度であ
る。そしてレーザレーダ2からレーザビームを出射して
から、対象物で反射してきたレーザビームが、再びレー
ザレーダ2に戻ってくるまでの時間を計測することによ
り、対象物までの距離を計測することができる。
m)の対象物であっても短時間でその有無を検出できる
が、対象物が自動車であるかどうかの判定はできない。
これに対しカメラを用いた画像処理は、対象物が自動車
であるかどうかの判定は正確にできるが、判定するまで
の処理時間が長くかかってしまう。そこでレーザレーダ
2により対象物の有無を検出し、対象物が存在すること
を確認したら、その検出エリアに絞ってカメラ画像の画
像処理をして自動車の有無を検出するように役割分担を
してもよい。このようにすれば先行車を迅速且つ正確に
検出することができる。
から見た図3に示すように、レーザレーダ2から出射す
るレーザビーム2aは直線状に進むのに対し、カメラ1
の視野1aは23度であるので、自車の前方に他車が急
に割り込んできたときには、まずレーザビーム2aが他
車に当って反射してくる(このとき割り込んできた他車
はカメラ1の視野1aに入ってきていない)。そこで割
り込み車の検出は、割り込み車を先に検出でき且つ応答
の早いレーザレーダ2が担当している。なお図6におい
て8,8a,8bは白線である。連続した白線8は高速
道路の端にあり、点線の白線8a,8bは車線を仕切る
位置にある。
クチュエータ3が作動しスロットルの開度が大きくなっ
ていったら、エンジンの回転数が上昇して車速が大きく
なる。逆にスロットルの開度を小さくしていくとエンジ
ンブレーキが作動して減速していく。後述する追尾走行
制御や定速走行制御は、スロットル開度を調整して実行
する。またコントローラ6の指令によりブレーキアクチ
ュエータ4が作動してブレーキがかかると、急減速して
いく。この急減速は、自車の直前に他車が割り込んでき
たときや、後述するブレーキ制御をするとき、即ち高速
で走行していた自車が低速走行している先行車に近づい
てきて、車間距離が安全車間距離よりも短くなったとき
などに行なう。なお、本システムではコントローラ6の
指令により、急減速することはあっても急停車すること
はなく、急停車は運転者がブレーキペダルを踏むことに
よってのみ行なわれる。
して行う走行制御の概要を説明する。コントローラ6の
物体認識コントローラ61は、ステレオ視カメラ1で撮
影した画像を画像処理し、車両認識部61aでは前方の
景色の中から自動車の画像を認識し、レーン認識部61
bでは自車が走行している車線を示す白線を認識し、車
間距離認識部61cでは先行車と自車との間の車間距離
を認識する。追尾コントローラ62は、自車が走行して
いる車線に先行する自動車があった場合に、画像処理を
することによりこの自動車を目標追尾車両と認識する。
物体認識コントローラ61と追尾コントローラ62が並
行して画像処理をすることが本発明のポイントである
が、この並行処理の詳細は後述する。
両を認識したときには、設定指令部63は追尾走行制御
をする。つまり設定指令部63は車間距離認識部61c
またはレーザレーダ2を利用して目標追尾車両までの車
間距離Dを求めると共に、車速センサ7から得た自車の
車速Va に設定時間(例えば2秒)を乗算して目標車間
距離D0 を求める。そして実際の車間距離Dが目標車間
距離D0 に等しくなるように、スロットルアクチュエー
タ3を作動させてエンジン回転数(∽スロットル開度)
をコントロールする。このようにすれば、車速に応じた
目標車間距離D 0 をとった状態で、目標追尾車両を追尾
しつつ自車が走行していく。したがって、目標追尾車両
が高速走行(例えば120km/h)しているときには、
目標車間距離D0 が長くなり(例えば66.7m)、自
車は目標追尾車両を追尾しつつ高速走行(例えば120
km/h)する。また目標追尾車両が低速走行(例えば6
0km/h)しているときには、目標車間距離D0 が短く
なり(例えば33.3m)、自車は目標追尾車両を追尾
しつつ低速走行(例えば60km/h)する。
車両が高速走行して自車よりも先に進みステレオ視カメ
ラ1やレーザレーダ2により目標追尾車両を捕捉するこ
とができなくなったり、目標追尾車両が他の車線に移っ
たりしたときには、設定指令部63は、その時点の自車
の速度をあらかじめ設定した保持時間(例えば2秒)だ
け保持するように、スロットルアクチュエータ3による
スロットル開度(∽エンジン回転数)をコントロールす
る。つまり追尾走行制御から車速保持制御に移行する
(図5参照)。
行車を目標追尾車両と認識したとき、つまり自車の走行
車線上に先行車を捕捉することができたときには、再び
前述した追尾走行制御をする。上述した保持時間が経過
したら、次に述べる定速走行制御に移る(図5参照)。
は、先行車を捕捉できなくなった時点の速度またはあら
かじめ設定した設定速度Vs で自車が走行するように、
スロットルアクチュエータ3によるスロットル開度(∽
エンジン回転数)をコントロールする。定速走行制御中
に目標追尾車両を捕捉したら追尾走行制御に移る(図5
参照)。
行制御をしているときに、レーザレーダ2により割り込
み車の存在が検出されたときは割り込み制御に移行し、
設定指令部63は、一定時間スロットルを全閉とするよ
うスロットルアクチュエータ3をコントロールする。全
閉とする一定時が経過した後は、目標追尾車両を捕捉で
きるときは追尾走行制御に移行し、目標追尾車両を捕捉
できないときは定速走行制御に移行する(図5参照)。
御、割り込み制御をしている際に、安全車間距離(自車
と先行車との相対速度と、自車車速により決定する)よ
りも近い位置に先行車が存在することを検出したときに
は、減速走行制御に移行する。つまり設定指令部63
は、スロットルアクチュエータ3を作動させてスロット
ルを全閉とすると共に、ブレーキアクチュエータ4を作
動させてブレーキを作動させて減速する。この減速走行
制御は、低速走行している先行車に高速走行している自
車が追いついていったときや、先行車が急に減速したと
きなどに行なわれる。そして減速制御は、先行車との車
間距離が安全車間距離に戻るまで行なわれる。減速走行
制御が終了したときに、目標追尾車両を捕捉できるとき
は追尾走行制御に移行し、目標追尾車両を捕捉できない
ときは車速保持制御に移行する(図5参照)。
御、割り込み制御、減速走行制御をしているときに、運
転者がアクセルペダル、ブレーキペダル、ウインカを操
作したときにはマニュアル操作に移行する。このときに
は、設定指令部63からスロットルアクチュエータ3及
びブレーキアクチュエータ4への制御指令を解除し、運
転者の操作を優先させる。マニュアル操作時にセットス
イッチ(後述)を投入すると、追尾走行制御や定速走行
制御に移行する。
>次に本願発明のポイント部分の説明をする。本発明の
ポイントは、図4に示すように、物体認識コントローラ
61と追尾コントローラ62により画像処理を並行して
実行することにある。
認識部61cは、先行する車両と自車との間の車間距離
の認識を次のようにして行う。即ち、ステレオ視カメラ
1の2つのカメラ11,12からは、図6(a)(b)
に示すように2つの画像が得られる。右側の画像のウイ
ンドウで囲まれた自動車画像と同じ画像は、左側の画像
の中に少し横方向にズレた位置にある。そこで右側の画
像の中の縦線を抽出し、左側の画像内で1画素づつシフ
トしながら、縦線が左右の画像の中で最も整合する画の
位置を求める。このとき図7に示すようにカメラ11,
12のレンズの焦点距離をf、左右カメラ11,12の
光軸間の距離をLとし、CCDの画素ピッチをP、図6
(a)(b)において左右の縦線画像が整合するまでに
右画像をシフトした画素数をnとすると、先行している
自動車までの距離(車間距離)Rは、三角測量の原理に
より、次式で計算できる。 R=(f・L)/(n・P)
cにより画像の中から抽出した縦線を示す画像データを
受けとり、さらに縦線に囲まれるエリアのうち左右対称
で、且つ、次々と取り込んでいく画像の中で位置があま
り動かないものを、車両として認識する。
す白線の認識を例えば次のようにして行う。即ち、図8
(a)に示すように、ステレオ視カメラ1から前方道路
画面の取り込みをし、次に図8(b)に示すように、水
平方向の4本のラインW1〜W4に沿い画素の明度を調
べ、明るい点を白線候補として選定し、図8(c)に示
すように、上方の候補点と下方の候補点を補間して結ん
だ線分を白線として抽出する。
順は一連の処理であり、また、車間距離認識,車両認識
及びレーン認識は、一画面全体を画像処理することによ
り認識できる。よって上記三つの認識は1台の物体認識
コントローラ61で行うのが効率的である。
aにより車両であると認識したエリアのみ(全画面のう
ち一部の画面)を、次のようにして画像処理する。即
ち、現在の画像のうち車両であると認識したエリアの画
像と、前回(100msecまたは200msec前)の同エ
リアの画像とを比べて、画素ごとに相関をとり、いちば
ん相関の強い部分を捜す。更に、前記エリア内の対象物
までの測距を行い、エリア内の全対象物が同一距離にあ
ることを確認し、且つ、エリア内の対象物と自車との相
対速度を演算して移動体であることを確認したら、エリ
ア内の対象物が車両であると正式に認定する。そして自
車が走行している車線と同じ車線を走行している車両を
目標追尾車両であると認定し、この目標追尾車両及び他
の車両を画面内で追尾していく。上述した確認が得られ
なくなったら車両ではないと判定して追尾を中止する。
一部のエリアのみを画像処理しているため、車両を迅速
且つ正確に認識することができる。しかも同時に物体認
識コントローラ61により目標追尾車両のみならず他の
車両も認識しているため、割り込み車両や、合流地点に
おいて入ってくる車両を事前に判定することができる。
ントローラ61により画面全体に対してラフな画像処理
をして車両である可能性の高いエリアを高速で判定し、
判定したエリアに対して追尾コントローラ62により詳
細な画像処理をして車両であるかどうかの正式な認定を
する。追尾コントローラ62は詳細な画像処理をするが
処理対象エリアが狭いので、車両認定をするまでの処理
時間は短かくて済む。結局、コントローラ61,62が
分業しつつ並行的に処理をするため、全体として高速且
つ正確に車両を認識することができる。
ていた目標追尾車両が遠ざかり、他の新たな車両が自車
の前に存在するようになったら、物体認識コントローラ
61で新たな車両を認識し、追尾コントローラ62が新
たな車両を正式に認識してこれを新たな車両として追尾
していく。
に本発明によれば、物体認識コントローラと追尾コント
ローラにより画像処理を分業して並行処理しているた
め、先行する車両を迅速且つ正確に認識することができ
る。
成図。
説明図。
図。
図。
Claims (1)
- 【請求項1】 自車から前方の状況を一対の光学系を通
して撮影して対となった画像を次々と得るカメラ手段
と、 前記カメラ手段で撮影して得た対となった画像の中から
それぞれ縦線を抽出し一方の画像から得た縦線と他方の
画像から得た縦線の位置を比較することにより撮影対象
物までの距離を検出し、更に抽出した縦線のうちこの線
にはさまれるエリアで左右対称な部分を車両であると認
識する物体認識コントローラと、 前回得た画像と今回得た画像の中で前記エリアの画素ど
うしを比べて相関をとり、相関が強くてエリア内の対象
物が前後方向に移動しているものを車両として認識しこ
の車両を画面内で追尾していく追尾コントローラと、を
有することを特徴とする自動車の走行制御装置の画像処
理機構。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5232992A JP2940357B2 (ja) | 1993-09-20 | 1993-09-20 | 自動車の走行制御装置の画像処理機構 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5232992A JP2940357B2 (ja) | 1993-09-20 | 1993-09-20 | 自動車の走行制御装置の画像処理機構 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0781456A JPH0781456A (ja) | 1995-03-28 |
JP2940357B2 true JP2940357B2 (ja) | 1999-08-25 |
Family
ID=16948106
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP5232992A Expired - Fee Related JP2940357B2 (ja) | 1993-09-20 | 1993-09-20 | 自動車の走行制御装置の画像処理機構 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2940357B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5660792B2 (ja) * | 2010-03-24 | 2015-01-28 | ダイハツ工業株式会社 | 追従走行制御装置 |
CN116592831B (zh) * | 2023-07-17 | 2023-09-08 | 四川护邑科技有限公司 | 一种具有激光标线功能的激光测距装置 |
-
1993
- 1993-09-20 JP JP5232992A patent/JP2940357B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH0781456A (ja) | 1995-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3264060B2 (ja) | 自動車の走行制御装置の先行車検出機構 | |
US20150375748A1 (en) | Driving support apparatus for vehicle | |
JP2000172997A (ja) | 走行環境認識装置 | |
JPH0785400A (ja) | 自動車の走行制御装置 | |
JP2874083B2 (ja) | 自動車の走行制御装置 | |
JP3602337B2 (ja) | 車両走行制御装置 | |
US11975715B2 (en) | Driving assistance apparatus | |
JPH0747862A (ja) | 自動車の走行制御装置 | |
JP3476221B2 (ja) | 自動車の走行制御装置 | |
JP3588806B2 (ja) | 自動車の走行制御装置 | |
US11285956B2 (en) | Vehicle control device | |
JP3060795B2 (ja) | 自動車の走行制御装置 | |
JP3019684B2 (ja) | 自動車の走行制御装置 | |
JP3401855B2 (ja) | 自動車の走行制御装置 | |
JP2940357B2 (ja) | 自動車の走行制御装置の画像処理機構 | |
JP3291859B2 (ja) | 自動車の走行制御装置 | |
JP3719029B2 (ja) | 割り込み車両検出装置 | |
JPH0789366A (ja) | 自動車の走行制御装置 | |
JPH07125563A (ja) | 自動車の走行制御装置 | |
JPH1068777A (ja) | 車両用先行車検出装置 | |
JP3246109B2 (ja) | 自動車の走行制御装置 | |
JP3448320B2 (ja) | 自動車の走行制御装置の走行車線検出機構 | |
JP3206252B2 (ja) | 自動車の走行制御装置 | |
JP3510296B2 (ja) | 自動車の走行制御装置の表示機構 | |
JPH0789364A (ja) | 自動車の走行制御装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19990518 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080618 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090618 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100618 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110618 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110618 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120618 Year of fee payment: 13 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120618 Year of fee payment: 13 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130618 Year of fee payment: 14 |
|
LAPS | Cancellation because of no payment of annual fees |