JP2940357B2 - 自動車の走行制御装置の画像処理機構 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は自動車の走行制御装置の
画像処理機構に関するものである。更に詳述すると、先
行車を画像処理により認識して追尾しつつ走行する際
に、画像処理を迅速に行って先行車を正確に認識するこ
とができるようにしたものである。

【０００２】

【従来の技術】自動車の運転操作を軽減するために、定
速走行装置が実用化され、また車間距離制御装置が開発
されている。

【０００３】「定速走行装置」は、「オートマチック・
スピード・コントロール」や「クルーズ・コントロー
ル」とも称ばれている。この装置を備えた自動車では、
セットスイッチを押すと、アクセルペダルから足を離し
ても、設定した車速を維持して走行を行う。設定車速は
コントロールスイッチの操作により変更することができ
る。運転者がブレーキを踏んだり、クラッチを踏んだ
り、ギヤシフトをするなどの操作をすると、この機能が
キャンセルされるようになっている。

【０００４】上述した定速走行装置を利用したときの安
全性を確保するため、次のような機能を付加したものも
ある。即ち先行車との距離をレーザレーダ等で検出して
おき、先行車に異常接近したときには、警報を発して運
転者に注意を促したり、ギヤシフト段を４速（オーバー
ドライブ）から３速へシフトダウンしてエンジンブレー
キを作動させるオーバドライブオフにより減速したりす
る。

【０００５】一方「車間距離制御装置」を備えた自動車
では、セットスイッチを押すと、そのときの自車の車速
から目標車間距離を演算し、また先行車との車間距離を
検出し、先行車との車間距離が目標車間距離となるよう
にエンジン出力やブレーキの制御をして、先行車を追尾
して走行する。この場合、先行車との車間距離の検出
は、カメラでとらえた画像を画像処理して求めたり、レ
ーザレーダ等により求める。

【０００６】ところで従来の「定速走行装置」では、車
速の遅い先行車に追いついた場合には、運転者が減速操
作をして定速走行制御を解除しなければならない。その
ため、混雑した道路では操作が頻繁になり、かえって面
倒で危険度が高くなる。一方、従来の「車間距離制御装
置」では、先行車がいないときには制御ができない。

【０００７】本願発明者は、定速走行装置と車間距離制
御装置の機能を併せ持った「自動車の走行制御装置」を
開発している。この「自動車の走行制御装置」を備えた
自動車では、詳細は後述するが、先行車がいない場合は
設定車速で定速走行し、先行車が存在する場合には目標
車間距離を保持しつつ先行車を追尾していき、更に割り
込みがあったときや高速の自車が低速の先行車に追いつ
いたときに減速制御をする。この「自動車の走行制御装
置」を高速道路の本線を走行するときに利用すれば、運
転者はハンドル操作するだけで走行でき、いわゆるイー
ジードライブが実現できる。しかもちょっとした傍見や
いねむりをしても、前方車に異常接近したり追突したり
する危険を回避できることを考えれば、安全性の向上も
期待できる。

【０００８】

【発明が解決しようとする課題】上述した車間距離制御
装置を用いて先行車を追尾しつつ走行していく追尾走行
制御を行うときには、前方の状況をカメラで撮影し、撮
影した画像を処理することにより、距離計測、車両認
識、追尾車両のサーチを行う。このような画像処理は迅
速に行うことが必要であるが、従来では画像処理を迅速
・正確に行う具体的対策は施されていなかった。

【０００９】本発明は、この「自動車の走行制御装置」
により先行車を画像処理で認識して追尾走行制御をする
ときにおける画像処理を、迅速・正確に行うことができ
るようにすることを目的とする。

【００１０】

【課題を解決するための手段】上記目的を達成する本発
明は、自車から前方の状況を一対の光学系を通して撮影
して対となった画像を次々と得るカメラ手段と、前記カ
メラ手段で撮影して得た対となった画像の中からそれぞ
れ縦線を抽出し一方の画像から得た縦線と他方の画像か
ら得た縦線の位置を比較することにより撮影対象物まで
の距離を検出し、更に抽出した縦線のうちこの線ではさ
まれるエリアで左右対称な部分を車両であると認識する
物体認識コントローラと、前回得た画像と今回得た画像
の中で前記エリアの画素どうしを比べて相関をとり、相
関が強くてエリア内の対象物が前後方向に移動している
ものを車両として認識しこの車両を画面内で追尾してい
く追尾コントローラと、を有することを特徴とする。

【００１１】

【作用】本発明では、物体認識コントローラにより全画
面をラフに画像処理して車両と思われるエリアを決定
し、追尾コントローラにより前記エリア内を詳細に画像
処理して車両を正確に認識する。

【００１２】

【実施例】

＜「自動車の走行制御装置」の全体説明＞まずはじめに
現在開発しつつある自動車の走行制御装置を説明する。
この自動車の走行制御装置は、高速道路及び自動車専用
道路（以下両者を代表して「高速道路」と記す）を走行
するときに使用する。

【００１３】図１は自動車の走行制御装置を備えた自動
車を示す。同図において、１はステレオ視カメラ、２は
レーザレーダ、３はスロットルアクチュエータ、４はブ
レーキアクチュエータ、５は操作スイッチ・情報表示
部、６はコントローラ、７は車速センサ、７ａはハンド
ル角センサ、７ｂはブレーキスイッチ、７ｃはブレーキ
ペダルスイッチ、７ｄはアクセルペダルスイッチであ
る。

【００１４】ステレオ視カメラ１は、正面図である図２
に示すように、自動車の前方の景色を撮影する２つのＣ
ＣＤカメラ１１，１２を横置き配置したものであり、ボ
ディー１３内に映像基板，絞り基板等の電子部品を搭載
している。このステレオ視カメラ１は、車室内でルーム
ミラーの近傍に取り付けられている。各カメラ１１，１
２の水平面内での視野角はそれぞれ２３度である。そし
てカメラ１１，１２で撮影した画像を示すビデオ信号が
コントローラ６に送られる。

【００１５】２つのカメラ１１，１２で撮像した画像
を、コントローラ６にて画像処理をすることにより、次
の認識をする（詳述は後述する）。 先行する車両の認識。 高速道路の複数の車線（レーン）のうち、自車が走
行している車線を示す白線の認識。 先行する車両と自車との間の車間距離の認識。

【００１６】一方、レーザレーダ２は車両の前端右側位
置と前端左側位置に１本づつ配置されている。レーザレ
ーダ２から出射するレーザビームの広がり角は２度であ
る。そしてレーザレーダ２からレーザビームを出射して
から、対象物で反射してきたレーザビームが、再びレー
ザレーダ２に戻ってくるまでの時間を計測することによ
り、対象物までの距離を計測することができる。

【００１７】レーザレーダ２は遠距離（１００ｍ〜数百
ｍ）の対象物であっても短時間でその有無を検出できる
が、対象物が自動車であるかどうかの判定はできない。
これに対しカメラを用いた画像処理は、対象物が自動車
であるかどうかの判定は正確にできるが、判定するまで
の処理時間が長くかかってしまう。そこでレーザレーダ
２により対象物の有無を検出し、対象物が存在すること
を確認したら、その検出エリアに絞ってカメラ画像の画
像処理をして自動車の有無を検出するように役割分担を
してもよい。このようにすれば先行車を迅速且つ正確に
検出することができる。

【００１８】また高速道路を走行している自動車を上方
から見た図３に示すように、レーザレーダ２から出射す
るレーザビーム２ａは直線状に進むのに対し、カメラ１
の視野１ａは２３度であるので、自車の前方に他車が急
に割り込んできたときには、まずレーザビーム２ａが他
車に当って反射してくる（このとき割り込んできた他車
はカメラ１の視野１ａに入ってきていない）。そこで割
り込み車の検出は、割り込み車を先に検出でき且つ応答
の早いレーザレーダ２が担当している。なお図６におい
て８，８ａ，８ｂは白線である。連続した白線８は高速
道路の端にあり、点線の白線８ａ，８ｂは車線を仕切る
位置にある。

【００１９】コントローラ６の指令によりスロットルア
クチュエータ３が作動しスロットルの開度が大きくなっ
ていったら、エンジンの回転数が上昇して車速が大きく
なる。逆にスロットルの開度を小さくしていくとエンジ
ンブレーキが作動して減速していく。後述する追尾走行
制御や定速走行制御は、スロットル開度を調整して実行
する。またコントローラ６の指令によりブレーキアクチ
ュエータ４が作動してブレーキがかかると、急減速して
いく。この急減速は、自車の直前に他車が割り込んでき
たときや、後述するブレーキ制御をするとき、即ち高速
で走行していた自車が低速走行している先行車に近づい
てきて、車間距離が安全車間距離よりも短くなったとき
などに行なう。なお、本システムではコントローラ６の
指令により、急減速することはあっても急停車すること
はなく、急停車は運転者がブレーキペダルを踏むことに
よってのみ行なわれる。

【００２０】次に図４を基に、コントローラ６を中心と
して行う走行制御の概要を説明する。コントローラ６の
物体認識コントローラ６１は、ステレオ視カメラ１で撮
影した画像を画像処理し、車両認識部６１ａでは前方の
景色の中から自動車の画像を認識し、レーン認識部６１
ｂでは自車が走行している車線を示す白線を認識し、車
間距離認識部６１ｃでは先行車と自車との間の車間距離
を認識する。追尾コントローラ６２は、自車が走行して
いる車線に先行する自動車があった場合に、画像処理を
することによりこの自動車を目標追尾車両と認識する。
物体認識コントローラ６１と追尾コントローラ６２が並
行して画像処理をすることが本発明のポイントである
が、この並行処理の詳細は後述する。

【００２１】目標追尾車両認識部６２により目標追尾車
両を認識したときには、設定指令部６３は追尾走行制御
をする。つまり設定指令部６３は車間距離認識部６１ｃ
またはレーザレーダ２を利用して目標追尾車両までの車
間距離Ｄを求めると共に、車速センサ７から得た自車の
車速Ｖ_a に設定時間（例えば２秒）を乗算して目標車間
距離Ｄ₀ を求める。そして実際の車間距離Ｄが目標車間
距離Ｄ₀ に等しくなるように、スロットルアクチュエー
タ３を作動させてエンジン回転数（∽スロットル開度）
をコントロールする。このようにすれば、車速に応じた
目標車間距離Ｄ ₀ をとった状態で、目標追尾車両を追尾
しつつ自車が走行していく。したがって、目標追尾車両
が高速走行（例えば１２０km／ｈ）しているときには、
目標車間距離Ｄ₀ が長くなり（例えば６６．７ｍ）、自
車は目標追尾車両を追尾しつつ高速走行（例えば１２０
km／ｈ）する。また目標追尾車両が低速走行（例えば６
０km／ｈ）しているときには、目標車間距離Ｄ₀ が短く
なり（例えば３３．３ｍ）、自車は目標追尾車両を追尾
しつつ低速走行（例えば６０km／ｈ）する。

【００２２】追尾走行制御をしているときに、目標追尾
車両が高速走行して自車よりも先に進みステレオ視カメ
ラ１やレーザレーダ２により目標追尾車両を捕捉するこ
とができなくなったり、目標追尾車両が他の車線に移っ
たりしたときには、設定指令部６３は、その時点の自車
の速度をあらかじめ設定した保持時間（例えば２秒）だ
け保持するように、スロットルアクチュエータ３による
スロットル開度（∽エンジン回転数）をコントロールす
る。つまり追尾走行制御から車速保持制御に移行する
（図５参照）。

【００２３】上述した保持時間が経過する前に、他の先
行車を目標追尾車両と認識したとき、つまり自車の走行
車線上に先行車を捕捉することができたときには、再び
前述した追尾走行制御をする。上述した保持時間が経過
したら、次に述べる定速走行制御に移る（図５参照）。

【００２４】定速走行制御に移ったら、設定指令部６３
は、先行車を捕捉できなくなった時点の速度またはあら
かじめ設定した設定速度Ｖ_s で自車が走行するように、
スロットルアクチュエータ３によるスロットル開度（∽
エンジン回転数）をコントロールする。定速走行制御中
に目標追尾車両を捕捉したら追尾走行制御に移る（図５
参照）。

【００２５】また追尾走行制御や車速保持制御や定速走
行制御をしているときに、レーザレーダ２により割り込
み車の存在が検出されたときは割り込み制御に移行し、
設定指令部６３は、一定時間スロットルを全閉とするよ
うスロットルアクチュエータ３をコントロールする。全
閉とする一定時が経過した後は、目標追尾車両を捕捉で
きるときは追尾走行制御に移行し、目標追尾車両を捕捉
できないときは定速走行制御に移行する（図５参照）。

【００２６】追尾走行制御、車速保持制御、定速走行制
御、割り込み制御をしている際に、安全車間距離（自車
と先行車との相対速度と、自車車速により決定する）よ
りも近い位置に先行車が存在することを検出したときに
は、減速走行制御に移行する。つまり設定指令部６３
は、スロットルアクチュエータ３を作動させてスロット
ルを全閉とすると共に、ブレーキアクチュエータ４を作
動させてブレーキを作動させて減速する。この減速走行
制御は、低速走行している先行車に高速走行している自
車が追いついていったときや、先行車が急に減速したと
きなどに行なわれる。そして減速制御は、先行車との車
間距離が安全車間距離に戻るまで行なわれる。減速走行
制御が終了したときに、目標追尾車両を捕捉できるとき
は追尾走行制御に移行し、目標追尾車両を捕捉できない
ときは車速保持制御に移行する（図５参照）。

【００２７】追尾走行制御、車速保持制御、定速走行制
御、割り込み制御、減速走行制御をしているときに、運
転者がアクセルペダル、ブレーキペダル、ウインカを操
作したときにはマニュアル操作に移行する。このときに
は、設定指令部６３からスロットルアクチュエータ３及
びブレーキアクチュエータ４への制御指令を解除し、運
転者の操作を優先させる。マニュアル操作時にセットス
イッチ（後述）を投入すると、追尾走行制御や定速走行
制御に移行する。

【００２８】＜本発明のポイントに対応した部分の説明
＞次に本願発明のポイント部分の説明をする。本発明の
ポイントは、図４に示すように、物体認識コントローラ
６１と追尾コントローラ６２により画像処理を並行して
実行することにある。

【００２９】まず物体認識コントローラ６１の車間距離
認識部６１ｃは、先行する車両と自車との間の車間距離
の認識を次のようにして行う。即ち、ステレオ視カメラ
１の２つのカメラ１１，１２からは、図６（ａ）（ｂ）
に示すように２つの画像が得られる。右側の画像のウイ
ンドウで囲まれた自動車画像と同じ画像は、左側の画像
の中に少し横方向にズレた位置にある。そこで右側の画
像の中の縦線を抽出し、左側の画像内で１画素づつシフ
トしながら、縦線が左右の画像の中で最も整合する画の
位置を求める。このとき図７に示すようにカメラ１１，
１２のレンズの焦点距離をｆ、左右カメラ１１，１２の
光軸間の距離をＬとし、ＣＣＤの画素ピッチをＰ、図６
（ａ）（ｂ）において左右の縦線画像が整合するまでに
右画像をシフトした画素数をｎとすると、先行している
自動車までの距離（車間距離）Ｒは、三角測量の原理に
より、次式で計算できる。 Ｒ＝（ｆ・Ｌ）／（ｎ・Ｐ）

【００３０】車両認識部６１ａは、車間距離認識部６１
ｃにより画像の中から抽出した縦線を示す画像データを
受けとり、さらに縦線に囲まれるエリアのうち左右対称
で、且つ、次々と取り込んでいく画像の中で位置があま
り動かないものを、車両として認識する。

【００３１】レーン認識部６１ｂは自車の走行車線を示
す白線の認識を例えば次のようにして行う。即ち、図８
（ａ）に示すように、ステレオ視カメラ１から前方道路
画面の取り込みをし、次に図８（ｂ）に示すように、水
平方向の４本のラインＷ１〜Ｗ４に沿い画素の明度を調
べ、明るい点を白線候補として選定し、図８（ｃ）に示
すように、上方の候補点と下方の候補点を補間して結ん
だ線分を白線として抽出する。

【００３２】車間距離を認識してから車両を認識する手
順は一連の処理であり、また、車間距離認識，車両認識
及びレーン認識は、一画面全体を画像処理することによ
り認識できる。よって上記三つの認識は１台の物体認識
コントローラ６１で行うのが効率的である。

【００３３】追尾コントローラ６２は、車両認識部６１
ａにより車両であると認識したエリアのみ（全画面のう
ち一部の画面）を、次のようにして画像処理する。即
ち、現在の画像のうち車両であると認識したエリアの画
像と、前回（１００ｍsecまたは２００ｍsec前）の同エ
リアの画像とを比べて、画素ごとに相関をとり、いちば
ん相関の強い部分を捜す。更に、前記エリア内の対象物
までの測距を行い、エリア内の全対象物が同一距離にあ
ることを確認し、且つ、エリア内の対象物と自車との相
対速度を演算して移動体であることを確認したら、エリ
ア内の対象物が車両であると正式に認定する。そして自
車が走行している車線と同じ車線を走行している車両を
目標追尾車両であると認定し、この目標追尾車両及び他
の車両を画面内で追尾していく。上述した確認が得られ
なくなったら車両ではないと判定して追尾を中止する。

【００３４】この追尾コントローラ６２は、画面のうち
一部のエリアのみを画像処理しているため、車両を迅速
且つ正確に認識することができる。しかも同時に物体認
識コントローラ６１により目標追尾車両のみならず他の
車両も認識しているため、割り込み車両や、合流地点に
おいて入ってくる車両を事前に判定することができる。

【００３５】上述したように本実施例では、物体認識コ
ントローラ６１により画面全体に対してラフな画像処理
をして車両である可能性の高いエリアを高速で判定し、
判定したエリアに対して追尾コントローラ６２により詳
細な画像処理をして車両であるかどうかの正式な認定を
する。追尾コントローラ６２は詳細な画像処理をするが
処理対象エリアが狭いので、車両認定をするまでの処理
時間は短かくて済む。結局、コントローラ６１，６２が
分業しつつ並行的に処理をするため、全体として高速且
つ正確に車両を認識することができる。

【００３６】なお、追尾コントローラ６２により追尾し
ていた目標追尾車両が遠ざかり、他の新たな車両が自車
の前に存在するようになったら、物体認識コントローラ
６１で新たな車両を認識し、追尾コントローラ６２が新
たな車両を正式に認識してこれを新たな車両として追尾
していく。

【００３７】

【発明の効果】以上実施例と共に具体的に説明したよう
に本発明によれば、物体認識コントローラと追尾コント
ローラにより画像処理を分業して並行処理しているた
め、先行する車両を迅速且つ正確に認識することができ
る。

【図面の簡単な説明】

【図１】自動車の走行制御装置を備えた自動車を示す構
成図。

【図２】ステレオ視カメラを示す正面図。

【図３】高速道路を走行している自動車を示す平面図。

【図４】コントローラを示すブロック図。

【図５】走行制御の遷移状態を示す状態図。

【図６】画像処理により車間距離を検出する手法を示す
説明図。

【図７】三角測量の原理により車間距離を算出する原理
図。

【図８】画像処理により白線を検出する手法を示す説明
図。

【符号の説明】

１ ステレオ視カメラ １ａ 視野 １１，１２ ＣＣＤカメラ １３ ボディー ２ レーザレーダ ２ａ レーザビーム ３ スロットルアクチュエータ ３２ スロットル指令部 ４ ブレーキアクチュエータ ５ 操作スイッチ・情報表示部 ６ コントローラ ６１ 物体認識コントローラ ６１ａ 車両認識部 ６１ｂ レーン認識部 ６１ｃ 車間距離認識部 ６２ 追尾コントローラ ６３ 設定指令部 ７ 車速センサ ７ａ ハンドル角センサ ７ｂ ブレーキスイッチ ７ｃ ブレーキペダルスイッチ ７ｄ アクセルペダルスイッチ ８，８ａ，８ｂ 白線

フロントページの続き (56)参考文献 特開 平５−52562（ＪＰ，Ａ) 特開 平４−218900（ＪＰ，Ａ) 特開 平４−120413（ＪＰ，Ａ) 特開 平５−288545（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) B60K 31/00 G01C 3/06

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 自車から前方の状況を一対の光学系を通
   して撮影して対となった画像を次々と得るカメラ手段
   と、 前記カメラ手段で撮影して得た対となった画像の中から
   それぞれ縦線を抽出し一方の画像から得た縦線と他方の
   画像から得た縦線の位置を比較することにより撮影対象
   物までの距離を検出し、更に抽出した縦線のうちこの線
   にはさまれるエリアで左右対称な部分を車両であると認
   識する物体認識コントローラと、 前回得た画像と今回得た画像の中で前記エリアの画素ど
   うしを比べて相関をとり、相関が強くてエリア内の対象
   物が前後方向に移動しているものを車両として認識しこ
   の車両を画面内で追尾していく追尾コントローラと、を
   有することを特徴とする自動車の走行制御装置の画像処
   理機構。