JP2003061087A - 車両用外界認識装置 - Google Patents

Abstract

(57)【要約】 【課題】 雪道などの寒冷地でもワイパー操作に対して
ダメージを受けにくい車両用外界認識装置を提供するこ
と。 【解決手段】 自車両周辺の状況を車内から撮像する撮
像手段１０１と、撮像手段１０１の撮像結果から周辺状
況を把握する周辺状況把握手段１０２と、自車両窓ガラ
スを払拭するワイパー手段１０３と、ワイパー手段１０
３の作動制御とワイパーの位置情報の出力、または、位
置情報に加えて速度情報の出力を行うワイパー制御手段
１０４と、ワイパー制御手段１０４の出力から撮像手段
１０１にて取り込む画像内のワイパー位置を算出する画
像内ワイパー位置算出手段１０５と、前記画像内ワイパ
ー位置算出手段１０５の出力に連動して前記周辺状況把
握手段１０２で行う画像処理に補正を行う画像処理補正
手段１０６と、を備えた。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ＣＣＤカメラやＣ
ＭＯＳカメラなどのイメージセンサを車内に搭載して外
界を認識する装置、または、電磁波レーダとの併用によ
り外界を認識する車両用外界認識装置の技術分野に属す
る。

【０００２】

【従来の技術】従来、車両用外界認識装置としては、例
えば、特開平７−８１４５８号公報に記載のものが知ら
れている。この公報には、車室に搭載したカメラにより
フロントガラスを通して撮像した車両前方の画像に、フ
ロントガラスを払拭するワイパーの画像が含まれるが、
このカメラによる撮像後にワイパー起動指令信号をワイ
パーコントローラに送信することで、入力画像内にワイ
パーを横切らせない認識系の技術が記載されている。

【０００３】また、他の従来の車両用外界認識装置とし
ては、特開２００１−３３２１０号公報に記載のものが
知られている。この公報には、撮像結果にワイパーが含
まれても、ワイパーとカメラの取付位置から撮像し得る
ワイパー姿勢の直線領域を除去することでワイパーの影
響を低減する認識系に関する技術が記載されている。

【０００４】

【発明が解決しようとする課題】一般に、雨や雪が降っ
ていない時であっても雨路走行時や雪道走行時には、フ
ロントガラスが非常に汚れやすく、このような場合、運
転者が手動によりワイパー装置を作動させる頻度が高
い。さらに、フロントガラスが汚れるような場合、ウォ
ッシャー液を吐出させてフロントガラスの汚れを払拭す
る頻度も高くなり、ウォッシャー液がワイパー払拭域の
上部等に残る。特に、低温時には残ったウォッシャー液
がフロントガラスに付着したままとなることがある。

【０００５】しかしながら、上述の特開平７−８１４５
８号公報に記載の技術では、運転者の設定した払拭速度
が高速の場合、ワイパー遅延制御を実行することができ
ないという問題があり、さらに、ウォッシャー液がフロ
ントガラスに付着して画像がゆがんだ場合に、これを補
正することができないという問題があった。

【０００６】また、特開２００１−３３２１０号公報に
記載の技術でも、寒冷地でのワイパー／ウォッシャー操
作を考慮していないため、払拭後の曇った画像を撮像し
てしまい後段の画像処理が困難となる。

【０００７】本発明は、上記問題点に着目してなされた
もので、その目的とするところは、雪道などの寒冷地で
もワイパー操作に対してダメージを受けにくい車両用外
界認識装置を提供することにあり、さらに、原理の異な
る複数の外界検知手段を有するより頑強な車両用外界認
識装置において上記ワイパー操作に対してダメージを受
けにくくし、さらに、このダメージ防止を図るにあたっ
て補正量や重み付けを的確に行って高い外界認識精度を
得ることにある。

【０００８】

【課題を解決するための手段】上記目的を達成するた
め、請求項１に係る発明では、自車両周辺の状況を車内
から撮像する撮像手段と、該撮像手段の撮像結果から周
辺状況を把握する周辺状況把握手段と、自車両窓ガラス
を払拭するワイパー手段と、該ワイパー手段の作動制御
とワイパーの位置情報の出力、または、位置情報に加え
て速度情報の出力を行うワイパー制御手段と、該ワイパ
ー制御手段の出力から前記撮像手段にて取り込む画像内
のワイパー位置を算出する画像内ワイパー位置算出手段
と、前記画像内ワイパー位置算出手段の出力に連動して
前記周辺状況把握手段で行う画像処理に補正を行う画像
処理補正手段と、を備えていることを特徴とする。

【０００９】請求項２に係る発明では、自車両周辺の障
害候補までの距離を検知する距離検知手段と、自車両周
辺の状況を車内から撮像する撮像手段と、該撮像手段の
撮像結果から周辺状況を把握する周辺状況把握手段と、
自車両窓ガラスを払拭するワイパー手段と、該ワイパー
手段の作動制御とワイパーの位置情報の出力、または、
位置情報に加えて速度情報の出力を行うワイパー制御手
段と、該ワイパー制御手段の出力から前記撮像手段にて
取り込む画像内のワイパー位置を算出する画像内ワイパ
ー位置算出手段と、前記距離検知手段の出力と前記周辺
状況把握手段の出力に基づき、自車周辺物体の障害物可
能性認識や物***置補正を行う外界認識手段と、前記外
界認識手段により自車周辺物体の障害物可能性認識や物
***置補正を行う際、前記距離検知手段からの入力によ
り生成する情報と、前記周辺状況把握手段からの入力に
より生成する情報の重み付けを、ワイパーに関する情報
に連動して可変とする重み付け変更手段と、を備えてい
ることを特徴とする。

【００１０】請求項３に係る発明では、請求項２に記載
の車両用外界認識装置において、前記画像内ワイパー位
置算出手段の出力に連動して前記周辺状況把握手段で行
う画像処理に補正を行う画像処理補正手段を備えること
を特徴とする。

【００１１】請求項４に係る発明では、請求項１または
請求項３に記載の車両用外界認識装置において、前記画
像処理補正手段は、前記画像内ワイパー位置算出手段の
出力により、ワイパーが左から右へ、右から左へと画像
内を横切り去る毎に、前記周辺状況把握手段で記憶して
いる注目中の物体に相当する注目領域の画像の基準パタ
ーンを更新することを特徴とする。

【００１２】請求項５に係る発明では、請求項１，請求
項３，請求項４のいずれかに記載の車両用外界認識装置
において、前記画像処理補正手段は、前記画像内ワイパ
ー位置算出手段の出力により、ワイパーが左から右へ、
右から左へと画像内を横切り去る毎に、前記撮像手段で
捉えたカラー画像の彩度補正を行うことを特徴とする。

【００１３】請求項６に係る発明では、請求項１，請求
項３，請求項４のいずれかに記載の車両用外界認識装置
において、前記画像処理補正手段は、前記画像内ワイパ
ー位置算出手段の出力により、ワイパーが左から右へ、
右から左へと画像内を横切り去る毎に、前記撮像手段で
捉えたモノクロ画像から前記周辺状況把握手段で行われ
る濃淡に関する閾値を下げるように補正することを特徴
とする。

【００１４】請求項７に係る発明では、請求項５または
請求項６に記載の車両用外界認識装置において、前記画
像処理補正手段は、前記画像内ワイパー位置算出手段の
出力により、ワイパー払拭後の時間をカウントし、この
時間経過とともに補正を弱めることを特徴とする。

【００１５】請求項８に係る発明では、請求項７に記載
の車両用外界認識装置において、前記画像処理補正手段
は、前記画像内ワイパー位置算出手段の出力により、ワ
イパー払拭後の時間をカウントするとともに、ワイパー
払拭直後から前記注目領域の画素状態を観察し、画素状
態における輝度の分布の差が最大になる経過時間Ｔを算
出し、この経過時間Ｔまで補正を弱めることを特徴とす
る。

【００１６】請求項９に係る発明では、請求項５〜請求
項８のいずれかに記載の車両用外界認識装置において、
前記画像処理補正手段は、前記画像内ワイパー位置算出
手段の出力により、ワイパー払拭後から次回の払拭まで
の間、注目領域の画素状態を観察し、画素状態である輝
度分布の差の最小値と最大値から補正量を求めることを
特徴とする。

【００１７】請求項１０に係る発明では、請求項２また
は請求項３に記載の車両用外界認識装置において、前記
重み付け変更手段は、前記画像内ワイパー位置算出手段
の出力により、前記撮像手段で取り込む画像内を払拭前
後で領域分布し、前記距離検知手段の出力である障害物
候補の画像内における位置が払拭前の領域か払拭後の領
域か、によって重み付けを変更することを特徴とする。

【００１８】請求項１１に係る発明では、請求項２，請
求項３，請求項１０のいずれかに記載の車両用外界認識
装置において、前記重み付け変更手段は、前記ワイパー
制御手段の出力により、現在のワイパー払拭動作がウォ
ッシャー操作によるものと判断した場合には、前記周辺
状況把握手段が画像内におけるウォッシャー液の付着領
域を求め、画像内における前記障害物候補の位置がウォ
ッシャー液の付着領域でない場合には付着領域である場
合よりも、前記周辺状況把握手段からの入力により生成
する情報の重み付けを高くすることを特徴とする。

【００１９】請求項１２に係る発明では、請求項２また
は請求項１０に記載の車両用外界認識装置において、前
記重み付け変更手段は、前記ワイパー制御手段の出力に
より、現在のワイパー払拭動作がウォッシャー操作によ
るものと判断した場合には、ウォッシャー操作後のワイ
パー払拭回数の増加に伴い、前記周辺状況把握手段から
の入力により生成する情報の重み付けを高くすることを
特徴とする。

【００２０】

【発明の作用および効果】請求項１に係る発明にあって
は、画像内ワイパー位置検出手段が画像内におけるワイ
パー位置を求め、この出力に連動して画像処理補正手段
が撮像結果である周辺状況把握手段における画像処理に
対して補正を行う。よって、雪道などの寒冷地でのワイ
パー操作に対してダメージを受けにくい車両用外界認識
装置を提供することができるという効果が得られる。

【００２１】請求項２に係る発明にあっては、距離検知
手段と撮像手段といった原理の異なる外界認識手段を有
するシステムにおいて、外界認識手段で行われる距離検
知手段からの入力により生成する情報の重み付け、なら
びに撮像手段からの入力により生成する情報への重み付
けを、ワイパーに関する情報に基づいて変更する処理を
行う。よって、距離検知手段と撮像手段といった原理の
異なる複数の外界認識手段を有するより頑強な車両用外
界認識装置において、ワイパーの払拭動作による影響を
考慮したシステム構成とすることができるという効果が
得られる。

【００２２】請求項３に係る発明にあっては、請求項１
のワイパーに影響されにくい画像処理システムを含み、
ワイパーの払拭動作による影響を考慮した車両用外界認
識装置の提供が可能となる。

【００２３】請求項４に係る発明にあっては、パターン
マッチングなどの画像処理法によりトラッキング中の障
害物などを示す注目領域において、画像内ワイパー位置
算出手段の出力に基づいて、ワイパーが画像を横切り去
る毎に、周辺状況把握手段で記憶している注目領域の基
準パターンを更新する。よって、ワイパーにより曇った
入力画像に対して頑強な画像処理システムを構成できる
という効果が得られる。

【００２４】請求項５に係る発明にあっては、撮像手段
で取り込むカラー画像に対して、画像内ワイパー位置算
出手段の出力からワイパーが画像を横切り去る毎に、カ
ラー画像の彩度（色情報の強さ）を補正する。よって、
撮像結果が曇る際の影響を低減できるという効果が得ら
れる。

【００２５】請求項６に係る発明にあっては、撮像手段
で取り込むモノクロ画像に対して、画像内ワイパー位置
算出手段の出力からワイパーが画像を横切り去る毎に、
モノクロが増処理における濃淡に関する処理（例えば、
２値化などの処理）の閾値を下げる。よって、撮像結果
が曇る際の影響を低減できるという効果が得られる。

【００２６】請求項７に記載の発明にあっては、請求項
５または６に記載の発明における補正をワイパー払拭後
の時間経過とともに弱めるため、払拭後に曇りがかかっ
た映像が少しずつ晴れていくときでも補正したままとい
う状態、すなわち払拭直後は良いが、やがて補正が悪影
響を及ぼすという不具合を回避することができるという
効果が得られる。

【００２７】請求項８に記載の発明にあっては、ワイパ
ー払拭直後から注目領域の画素状態を観察し、画素状態
における輝度の分布の差が最大になる経過時間Ｔを算出
し、ワイパー動作から経過時間Ｔが経過するまで請求項
７に記載の発明における補正弱め処理を行う。よって、
ワイパー払拭後の時間経過とともに補正量を弱め続ける
際、弱める量と曇った入力画像のクリアになる度合いが
釣り合わないことにより補正処理が逆効果となることを
避けることができるという効果がある。

【００２８】請求項９に記載の発明にあっては、ワイパ
ー払拭直後から次回の払拭までの間、注目領域の画素状
態を観察し、画素状態である輝度分布の差の最小値と最
大値とから補正量を求める処理を行う。よって、ワイパ
ー払拭後に連動して補正する量を実際の入力画像の曇る
度合いにより適用的に変更することができるという効果
が得られる。

【００２９】請求項１０に記載の発明にあっては、距離
検知手段で測距した障害物候補の位置を画像内の座標に
透視変換し、これと画像内ワイパー位置算出手段が画像
内におけるワイパー位置を比較する。この比較結果か
ら、距離検知手段で注目する障害物候補の撮像状態がウ
ォッシャー液により影響を受けている領域に含まれるか
否かに応じて重み付けを変更する。よって、レーダとカ
メラなどにより構成される外界認識系において、雪道な
どの寒冷地でもワイパーによるダメージを考慮した車両
用外界認識装置を提供することができるという効果が得
られる。

【００３０】請求項１１に記載の発明にあっては、距離
検出手段で測距した障害物候補の位置を、画像内の座標
に透視変換し、これと周辺状況把握手段が画像内におけ
るウォッシャー液の付着領域の位置を比較する。比較結
果から、距離検知手段で注目する障害物候補の撮像状態
がウォッシャー液により影響を受けている領域に含まれ
る場合には、センサ融合処理における画像処理の重み付
けを下げ、ウォッシャー液に影響を受けていない領域に
含まれる場合には重み付けを上げる。よって、レーダと
カメラなどにより構成される外界認識系において、ウォ
ッシャー操作によるダメージを考慮した車両用外界認識
装置を提供することができるという効果が得られる。

【００３１】請求項１２に記載の発明にあっては、ウォ
ッシャー操作後からのワイパー払拭回数の増加をカウン
トし、その増加に応じてセンサ融合処理における画像処
理の重み付けを上げる。よって、レーダとカメラなどに
より構成される外界認識系において、ウォッシャー操作
によるダメージを考慮した車両用外界認識装置を提供す
ることができるという効果が得られる。

【００３２】

【発明の実施の形態】以下、この発明の実施の形態を図
面に基づいて説明する。

【００３３】図１は請求項１に係る発明の車両用外界認
識装置を示す基本構成図である。構成を説明すると、図
中の１０１は自車両周辺の状況を撮像する撮像手段、１
０２は撮像手段１０１で撮像した入力画像から周辺状況
を把握する周辺状況把握手段、１０３は自車両窓ガラス
を払拭するワイパー手段、１０４はワイパー手段１０３
の作動制御とワイパーの位置情報の出力、または、位置
情報に加えて速度情報の出力を行うワイパー制御手段、
１０５はワイパー制御手段１０４の出力から撮像手段１
０１の入力画像におけるワイパー位置を算出する画像内
ワイパー位置算出手段、１０６は画像内ワイパー位置算
出手段１０５の出力に連動して周辺状況把握手段１０２
で行う画像処理に補正を行う画像処理補正手段である。

【００３４】以下、本発明における車両用外界認識装置
を実現する実施の形態を、請求項１，５，６，７に対応
する第１実施例と、請求項２〜１２に対応する第２実施
例に基づいて説明する。

【００３５】（第１実施例）まず、構成を説明する。図
２は実施例の車両用外界認識装置を示す全体システム図
であり、図中、１はスキャニング式のレーザレーダ、２
はレーダ処理装置、３はＣＭＯＳカメラ、４は画像処理
装置、５は外界認識装置、６は車速検出装置、７は操舵
角検出装置、８は自動ブレーキ制御装置、９は負圧ブレ
ーキブースタ、１０はワイパー装置、１１はワイパー制
御装置である。

【００３６】前記レーダ処理装置２は、スキャニング式
のレーザレーダ１で走査した結果から障害物候補を抽出
する。このレーダ処理装置２では、一つまたは複数の障
害物候補に対して自車両を原点とする２次元座標値の算
出も実施される。このレーダ処理装置２およびレーザレ
ーダ１が特許請求の範囲の距離検知手段に相当する。

【００３７】また、自車前方の状況を広角かつ高速に把
握するプログレッシブスキャン式のＣＭＯＳカメラ（以
下、単にカメラという）３が搭載され、この撮像結果が
画像処理装置４に入力される。このカメラ３が、特許請
求の範囲の撮像手段に相当する。

【００３８】前記画像処理装置４は、カメラ３の撮像結
果が入力され、この画像処理装置４では、自車レーンの
白線を検知し、その曲率を算出し、さらにレーダ処理装
置２で算出された障害物候補の２次元座標値における物
体のパターンを基準パターンとしてパターンマッチング
処理を行い、レーザレーダ１による検知物体を画像処理
からもトラッキングできるような機能を有するものであ
る。なお、この画像処理装置４が、特許請求の範囲の周
辺状況把握手段に相当する。

【００３９】前記外界認識装置５には、レーダ処理装置
２の出力および画像処理装置４の出力が伝達され、自車
両の状態量を推定するために従属左右車輪速度を検出す
る車速検出装置６の出力と、前輪操舵角を検出する操舵
角検出装置７の出力も伝達される。この外界認識装置５
は、特許請求の範囲の画像内ワイパー位置算出手段、重
み付け変更手段、外界認識手段が含まれている。

【００４０】また、前記外界認識装置５の出力は、自動
ブレーキ制御装置８に伝達される。そして、前後輪には
任意な制動力を発生させる負圧ブースタ９が接続され、
この負圧ブースタ９のソレノイドバルブに自動ブレーキ
制御装置８からの制動力指令電圧が印加されることによ
り自動ブレーキ制御が実行される。

【００４１】なお、前述したレーダ処理装置２や自動ブ
レーキ制御装置８は、それぞれマイクロコンピュータと
その周辺部分や各種アクチュエータの駆動回路などを備
え、互いに通信回路を介して情報を送受信する。

【００４２】次に、作用を説明する。

【００４３】［外界認識制御処理］図３は第１実施例の
外界認識装置５にて実行される外界認識制御処理の手順
を示すフローチャートで、以下、各ステップについて説
明する。なお、このフローチャートは、請求項１，５，
６，７に記載の発明に対応するもので、ワイパー装置１
０の動作に連動してカメラ３からの入力画像に補正を行
う例で、主な画像処理の目的は、自車走行レーンの白線
を検知することにある。

【００４４】このフローチャートに示す処理は、１０ms
ec毎に実施されるもので、最初のステップ２０１では、
カメラ３の撮像周期である１０msec毎に実施される処理
で、車内のカメラ３で撮った画像を画像処理装置４にお
けるＣＰＵがアクセスできるメモリへ転送する読み込み
処理を行う。

【００４５】ステップ２０２では、画像処理装置４がワ
イパー制御装置１１の出力から現在のワイパー位置に関
する情報を読み込む。ここでは、厳密なワイパー角度θ
が得られるものとするが、ワイパー収納位置にワイパー
が存在するか否かの２値信号しか得られない場合でも、
その２値信号の変化する周期から動作速度が一定という
仮定に基づきワイパー角度θを推定することができる。

【００４６】ステップ２０３では、画像処理装置４が読
み込んだワイパー角度θとカメラ撮像周期とに基づき、
画像内におけるワイパーが存在すべき領域を求める。こ
れは、ワイパーの取付位置とカメラ３の取付位置とは固
定であるため、ワイパー角度θが求まれば幾何学的に一
意的に求めることができる。なお、このステップ２０３
の処理を実行する部分が特許請求の範囲の画像内ワイパ
ー位置算出手段に相当する。

【００４７】ステップ２０４では、画像処理装置４が走
行環境を把握する。このとき、寒冷地での走行である場
合にはステップ２０５へ、そうでない場合にはステップ
２０９へ進む。寒冷地での走行であるか否かの判断は、
図外のナビゲーションシステムからの現在の走行域と外
気温度から判断することができる。

【００４８】ステップ２０５では、ステップ２０３で求
めたワイパーの存在する画像領域に基づいて、画像内を
ワイパーが払拭して通り過ぎた直後である場合にはステ
ップ２０６へ、そうでない場合にはステップ２０７へ進
む。

【００４９】ステップ２０６では、ワイパーの払拭動作
に連動してタイマーカウンターＴｗをリセットする。

【００５０】ステップ２０７では、タイマーカウンター
Ｔｗを１０msecずつインクリメントし、補正ゲインＧを
次式（１）により求める。 Ｇ＝funcｌ（Ｔｗ） ……（１） ここでfuncｌとは、図４に示すような特性、すなわち、
払拭直後ほど補正ゲインＧの値が高く、その後、払拭後
からの経過時間が長くなるに連れて値が小さくなって最
終的に１に収束する特性を有する関数である。

【００５１】ステップ２０８では、ステップ２０１で撮
像した画像に対して補正を行う。このとき、カメラ３が
カラーカメラである場合には、入力画像のＲＧＢ情報を
ＨＳＶ変換し、このときのＳ：彩度（色情報の強さ）に
対して次式（２）の補正を行う。なお、上記のステップ
２０７および２０８の処理を行う部分が請求項５〜７に
記載の発明の画像処理補正手段に対応している。 Ｓ＝Ｇ・Ｓ ……（２） 一方、カメラ３がモノクロカメラである場合には、入力
画像Ｉに対して次式（３）による補正を行う。これは、
請求項６に記載の発明に対応している。 Ｉ＝Ｇ・Ｉ ……（３） ステップ２０９では、ステップ２０８で補正した画像か
ら、自車走行レーンの白線を検知し、白線に対する自車
両のヨー角、レーン中央からの自車両の横位置偏差、白
線の形状（道路曲率）を求める。なお、この具体的な方
法としては、特開平１１−２９６６６０号公報に記載さ
れている手段などを用いるものとする。

【００５２】［寒冷地走行時における白線検知作用］寒
冷地走行時には、フロントガラスが泥跳ねなどにより汚
れやすく、運転者がワイパー装置１０を手動操作してウ
ォッシャー作動を行う頻度が高い。このような場合、図
３のフローチャートにおいて、ステップ２０１→ステッ
プ２０２→ステップ２０３→ステップ２０４→ステップ
２０５→ステップ２０６→ステップ２０７→ステップ２
０８と進む流れとなり、ステップ２０８では、ワイパー
がカメラ３の画像内を横切って払拭する毎に、その払拭
直後において、カメラ３により撮像した画像に対し、補
正ゲインＧに基づいて、画像補正（カラーの場合は入力
画像の彩度、モノクロの場合は入力画像の濃淡の強さ）
を実行する。この補正ゲインＧは、ワイパーによる払拭
直後ほど大きく、その後、１に収束される特性であり、
ワイパーの払拭直後ほど、上記補正の程度が強くされ
る。

【００５３】よって、ウォッシャー操作によりフロント
ウインドにウォッシャー液が付着することでカメラ３に
おける入力画像が悪影響を受けることを、ウォッシャー
液の付着程度に応じた補正により防止することができ
る。すなわち、払拭直後は、特に寒冷地にあっては、払
拭範囲に曇りがかかった状態であり、時間経過とともに
この曇りが少しずつ晴れて行くもので、払拭直後の状態
に見合った補正を続けると、曇りが晴れた場合に、その
補正が悪影響を与えるおそれがあるが、ワイパーの払拭
からの経過時間に応じて補正を弱めていくことで、この
ような不具合を防止することができる。

【００５４】次に、効果を説明する。以上のように、第
１実施例の車両用外界認識装置にあっては、寒冷地など
の降雪状況でのワイパー走査に対して、入力画像への補
正を連動して行うため、ワイパーに影響され難い画像処
理システムの構成を実現することができる。

【００５５】（第２実施例）第１実施例では、ワイパー
の動作に連動してカメラ３からの入力画像に補正を行う
ようにしたのに対し、第２実施例では、これに加えてレ
ーザレーダ１で検知した物体に対して画像処理を行う場
合の例であって、本来の画像処理の目的は、レーダ検知
物体の位置補正を画像からも冗長に行うことで頑強性を
高めたものである。なお、構成については、第１実施例
と同様であるので、図示並びに説明を省略する。

【００５６】次に、作用を説明する。

【００５７】［外界認識制御処理］図５は第２実施例の
外界認識装置５にて実行される外界認識制御処理の手順
を示すフローチャートで、以下、各ステップについて説
明する。なお、このフローチャートは、請求項２〜請求
項１２に記載の発明に対応する。

【００５８】ステップ３０１では、レーダ処理装置２の
データ更新周期：１００msec毎に（サンプリング周期が
１０msecなので１０回に１度）実施される処理で、自車
に対する検知物体の相対位置情報を捕捉した検知物体の
数だけ読み込む。

【００５９】ステップ３０２から３０６は第１実施例に
おけるステップ２０１から２０５と同様なので説明を省
略する。

【００６０】ステップ３０７では、第１実施例のステッ
プ２０６と同様にタイマーカウンターＴｗのリセットを
行う。なお、このタイマーカウンターＴｗのリセットに
伴い、第１実施例と同様にステップ３０２においてカメ
ラ３の入力画像の更新が行われ、同時に、ステップ３０
１で読み込んだレーダ検知物体に相当する画像領域の基
準パターンが更新される。

【００６１】ステップ３０８では、第１実施例における
ステップ２０７と同様であるが、本実施例では後述のス
テップ３１２とステップ３１３の処理を行い時間Ｔ１と
差Ｇ１が求まっている場合には、下記式（４）から補正
ゲインＧを求める。 Ｇ＝func２（Ｔｗ） …
…（４） ここでfunc２とは、図６に示すような特性を有する関数
であって、この特性は、補正ゲインＧの値が、払拭直後
が最も高く後述する差Ｇ１に相当する値であり、その
後、時間Ｔ１が経過したときにＧ＝１となるように低下
して、その後は１に保たれる特性となっている。

【００６２】ステップ３０９は、第１実施例におけるス
テップ２０８と同様なので説明を省略する。

【００６３】ステップ３１０では、ステップ３０１で読
み込んだレーダ検知物体に相当する画像領域を次式
（５）により透視変換して求める。 pix_v＝ｆ・Ｈ／ｙ pix_u＝ｆ・ｘ／ｙ ……（５） ここで、pix_v,pix_uは、画像上の縦・横方向の画素数
であり、ｆはレンズから受光面までの距離を画素換算し
た値であり、また、Ｈはカメラ取付高さ[m]を、ｘ，ｙ
はレーザレーダ１で検知した物体との縦方向（車間距離
方向）・横方向（車幅方向）の距離を、それぞれ意味し
ている。

【００６４】ステップ３１１では、ステップ３０４（第
１実施例のステップ２０３と同様）で求めた画像上のワ
イパー位置と、ステップ３１０で求めた画像上のレーダ
検知物***置とを比較する。この比較結果から、ワイパ
ーの払拭中、または、ワイパーの払拭直後のワイパー画
像位置にレーダ検知物体の画像位置が重なっている場合
には、重みＷｃ＝0.2を代入してステップ３１４に進
む。そうでない場合には、Ｗｃ＝0.7を代入してステッ
プ３１２へ進む。

【００６５】ステップ３１２では、ワイパー払拭直後か
ら、ステップ３１０で求めるレーダ検知物体の画像領域
における輝度の分布をヒストグラムから求め、レーダ検
知物体に含まれる車両領域（先行車の領域）と道路領域
との明るさの差または彩度の差が最も大きくなる時間Ｔ
１をタイマーカウンターＴｗから求める（請求項８に記
載の重み付け変更手段）。

【００６６】ステップ３１３では、ワイパー払拭直後か
ら次回のワイパー払拭時まで、ステップ３１０で求める
レーダ検知物体の画像領域における輝度の分布をヒスト
グラムから求め、道路領域と車両領域との明るさの差、
または彩度の差が最大となる値と最小となる値を求め
る。この最大値と最小値の差をＧ１として記憶する（請
求項９に記載の重み付け変更手段）。

【００６７】ステップ３１４では、現在作動中のワイパ
ーはウォッシャー操作によるものか否かを判断し、ウォ
ッシャー操作によるものであれば、ステップ３１５へ進
み、そうでなければ３１７へ進む。

【００６８】ステップ３１５では、まず、ウォッシャー
操作直前の入力画像からウォッシャー操作後の入力画像
を差分し、その差分画像からウォッシャー液の付着領域
を求める。次に、この付着領域とステップ３１０で求め
たレーダ検知物体の画像位置とを比較する。この比較結
果から、付着領域にレーダ検知物体の画像位置が重なっ
ている場合には、重みＷｃ＝Ｗｃ＊0.2を代入する。そ
うでない場合には、Ｗｃ＝Ｗｃ＊１を代入する。なお、
このステップ３１５の処理を実行する部分が、請求項１
１に記載の重み付け変更手段に相当する（請求項１１に
記載の重み付け変更手段）。

【００６９】ステップ３１６では、ウォッシャー操作後
のワイパー払拭回数を求め、この回数が１回増える毎に
Ｗｃ＝Ｗｃ＊1.05の演算を行う。しかし、Ｗｃは上限値
1,0で制限されるものである。なお、このステップ３１
６の処理を実行する部分が、請求項１２に記載の発明の
重み付け変更手段に相当する。

【００７０】ステップ３１７では、レーザレーダ１で検
知した物体の位置に対する画像処理結果による補正を次
式（１３）（１４）により行う。 obst_x[i]=func3(Vx[i])/{func3(Vx[i])+Wc}*obst_x[i] +Wc/{func3(Vx[i])+Wc}*iPx[i] ……（１３） obst_y[i]=func3(Vy[i])/{func3(Vy[i])+Wc}*obst_y[i] +Wc/{func3(Vy[i])+Wc}*iPy[i] ……（１４） ここで、上記式（１３）（１４）の右辺のobst_x[i]とo
bst_y[i]は、レーザ検知物体の横方向と縦方向の距離を
それぞれ表していて、iPx[i]とiPy[i]はステップ３１０
の式（５）を逆変換することで得られる画像処理から求
めた物体の横・縦距離を表している。関数func３とは、
図７で表す特性を有する関数である。Vx[i]とVy[i]は、
obst_x[i]とobst_y[i]の過去１０サンプリング分におけ
る移動平均をもとに算出した分散値であり、ｉは検知し
た物体のＩＤ番号を意味している。

【００７１】［レーダ検知物体の位置補正作用］第２実
施例の車両用外界認識装置を搭載した車両にあっては、
レーザレーダ１からの入力に基づいて、例えば、車線に
沿って自動的に走行する自動走行などを実行し、さら
に、このような自動走行において、先行車に追従して走
行したり、あるいは先行車との車間を最適に制御したり
する。

【００７２】ここで、ワイパー装置１０が作動したとき
には、レーザレーダ１により検知した先行車などのレー
ザ検知物体を示す画像領域を透視変更により求め（ステ
ップ３１０）、このレーザ検知物体がカメラ３が捉えた
ワイパーの画像範囲と重なった場合、ステップ３１１→
ステップ３１２→ステップ３１３の流れに基づいて、ワ
イパー払拭直後から次回のワイパー払拭時までの間で、
カメラ３の画像において道路領域とレーザ検知物体（車
両領域）との明るさの差、または彩度の差が最も大きく
なる時間Ｔ１、ならびに、その差の最大値と最小値との
差を求め、さらに、最大値と最小値との差をＧ１として
求める。

【００７３】これら時間Ｔ１および差Ｇ１に基づいて、
補正ゲインＧを導き出して（ステップ３０８）、カメラ
３の画像に対する補正を実施し（ステップ３０９）、こ
の補正結果に基づいて、レーザレーダ１による検知物体
（例えば、先行車両）の位置ベクトルを、ステップ３１
０の式（５）を逆変換することで得られる画像処理から
求めた物体の横・縦距離iPx[i]とiPy[i]を用いて、上記
式（１３）（１４）により補正する（ステップ３１
７）。

【００７４】このように、ワイパー払拭後の時間経過と
ともに補正量を弱めるにあたり、弱める量と入力画像に
おける曇りが晴れる度合いとを正確に釣り合わせ流とと
もに、この補正量を入力画像の曇り度合いに応じさせ
て、的確な補正量を得ることができる。

【００７５】さらに、第２実施例では、上述のワイパー
の作動がウォッシャー作動である場合には、ステップ３
１４→ステップ３１５→ステップ３１６→ステップ３１
７の流れに基づいて、カメラ３による撮像においてウォ
ッシャー液の付着領域を求め、この付着領域とレーダ検
知物体とが重なるか否かにより、重なっている場合に
は、ステップ３１８にて行う検知物***置補正の重みＷ
ｃをＷｃ＊0.2として、重なっていない場合の重みＷｃ
（＝Ｗｃ＊1.0）に対して低くい値とする。すなわち、
ウォッシャー液が付着している領域では、カメラ３から
取り込んだ画像におけるレーザ検知物体に対する信頼度
が低いため、このような処理を行う。

【００７６】さらに加えて、この重みＷｃはワイパー払
拭回数に応じ、ワイパー払拭回数が増えるに毎に、Ｗｃ
＊1.05の演算に基づいて徐々に増加する。すなわち、ワ
イパー払拭回数が増えれば、ウォッシャー液付着領域に
おける付着量が減少して、レーザ検知物体に対する信頼
度が向上するため、このような処理を行う。

【００７７】このように、レーザレーダ１により認識さ
れる検知物体に対して、カメラ３で撮影した画像におい
て融合させる処理を実行させるにあたり、ウォッシャー
液が付着しているか否かに応じ、かつ、ワイパーの払拭
回数の増加に応じ、融合処理の重み付けを変更するた
め、重み付け程度の適正化を図って、上記融合処理の精
度向上を図ることができる。

【００７８】次に、効果を説明する。

【００７９】以上のように、レーザレーダ１とカメラ３
を用いた第２実施例の車両用外界認識装置にあっては、
レーザレーダ１の測距結果を画像処理結果から補正する
ロバストな認識処理を行うにあたり、ワイパー装置１０
やウォッシャー液による影響を考慮した認識を構成する
ことができ、このため、特に寒冷地での複数センサを用
いた認識系を頑強にすることができる。

【００８０】（他の実施例）以上、本発明の車両用外界
認識装置を第１実施例及び第２実施例に基づき説明して
きたが、具体的な構成については、これらの実施例に限
られるものではなく、特許請求の範囲の各請求項に係る
発明の要旨を逸脱しない限り、設計の変更や追加等は許
容される。

【００８１】例えば、実施例では、距離検知手段として
レーザレーダ１を示したが、他の、光学的あるいは音響
的な手段を用いてもよい。

【図面の簡単な説明】

【図１】請求項１に係る発明の車両用外界認識装置を示
す基本構成図である。

【図２】第１実施例の車両用外界認識装置を示す全体シ
ステム図である。

【図３】第１実施例の外界認識装置にて実行される外界
認識制御処理の手順を示すフローチャートである。

【図４】第１実施例の車両用外界認識装置における補正
関数特性図である。

【図５】第２実施例の外界認識装置にて実行される外界
認識制御処理の手順を示すフローチャートである。

【図６】第２実施例の車両用外界認識装置における補正
関数特性図である。

【図７】第２実施例の車両用外界認識装置における補正
関数特性図である。

【符号の説明】

１ レーザレーダ ２ レーダ処理装置 ３ カメラ ４ 画像処理装置 ５ 外界認識装置 ６ 車速検出装置 ７ 操舵角検出装置 ８ 自動ブレーキ制御装置 ９ 負圧ブースタ １０ ワイパー装置 １１ ワイパー制御装置 １０１ 撮像手段 １０２ 周辺状況把握手段 １０３ ワイパー手段 １０４ ワイパー制御手段 １０５ 画像内ワイパー位置算出手段 １０６ 画像処理補正手段

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｂ６０Ｒ 21/00 ６２６ Ｂ６０Ｒ 21/00 ６２６Ｇ Ｂ６０Ｓ 1/08 Ｂ６０Ｓ 1/08 Ａ Ｇ０１Ｂ 11/00 Ｇ０１Ｂ 11/00 Ｈ Ｆターム(参考） 2F065 AA01 AA03 AA20 CC00 FF04 FF11 FF64 FF65 GG04 JJ03 JJ26 MM06 QQ01 QQ31 3D025 AA01 AC01 AC02 AD02 AE01 AF02 AG01 AG51 5C054 CA04 CC05 CG05 CH02 EA01 ED11 EE08 FA00 FB03 FC03 FC07 FE09 FF03 HA30

Claims (12)

【特許請求の範囲】
1. 【請求項１】 自車両周辺の状況を車内から撮像する撮
   像手段と、 該撮像手段の撮像結果から周辺状況を把握する周辺状況
   把握手段と、 自車両窓ガラスを払拭するワイパー手段と、 該ワイパー手段の作動制御とワイパーの位置情報の出
   力、または、位置情報に加えて速度情報の出力を行うワ
   イパー制御手段と、 該ワイパー制御手段の出力から前記撮像手段にて取り込
   む画像内のワイパー位置を算出する画像内ワイパー位置
   算出手段と、 前記画像内ワイパー位置算出手段の出力に連動して前記
   周辺状況把握手段で行う画像処理に補正を行う画像処理
   補正手段と、 を備えていることを特徴とする車両用外界認識装置。
2. 【請求項２】 自車両周辺の障害候補までの距離を検知
   する距離検知手段と、 自車両周辺の状況を車内から撮像する撮像手段と、 該撮像手段の撮像結果から周辺状況を把握する周辺状況
   把握手段と、 自車両窓ガラスを払拭するワイパー手段と、 該ワイパー手段の作動制御とワイパーの位置情報の出
   力、または、位置情報に加えて速度情報の出力を行うワ
   イパー制御手段と、 該ワイパー制御手段の出力から前記撮像手段にて取り込
   む画像内のワイパー位置を算出する画像内ワイパー位置
   算出手段と、 前記距離検知手段の出力と前記周辺状況把握手段の出力
   に基づき、自車周辺物体の障害物可能性認識や物***置
   補正を行う外界認識手段と、 前記外界認識手段により自車周辺物体の障害物可能性認
   識や物***置補正を行う際、前記距離検知手段からの入
   力により生成する情報と、前記周辺状況把握手段からの
   入力により生成する情報の重み付けを、ワイパーに関す
   る情報に連動して可変とする重み付け変更手段と、 を備えていることを特徴とする車両用外界認識装置。
3. 【請求項３】 請求項２に記載の車両用外界認識装置に
   おいて、 前記画像内ワイパー位置算出手段の出力に連動して前記
   周辺状況把握手段で行う画像処理に補正を行う画像処理
   補正手段を備えることを特徴とする車両用外界認識装
   置。
4. 【請求項４】 請求項１または請求項３に記載の車両用
   外界認識装置において、 前記画像処理補正手段は、前記画像内ワイパー位置算出
   手段の出力により、ワイパーが左から右へ、右から左へ
   と画像内を横切り去る毎に、前記周辺状況把握手段で記
   憶している注目中の物体に相当する注目領域の画像の基
   準パターンを更新することを特徴とする車両用外界認識
   装置。
5. 【請求項５】 請求項１，請求項３，請求項４のいずれ
   かに記載の車両用外界認識装置において、 前記画像処理補正手段は、前記画像内ワイパー位置算出
   手段の出力により、ワイパーが左から右へ、右から左へ
   と画像内を横切り去る毎に、前記撮像手段で捉えたカラ
   ー画像の彩度補正を行うことを特徴とする車両用外界認
   識装置。
6. 【請求項６】 請求項１，請求項３，請求項４のいずれ
   かに記載の車両用外界認識装置において、 前記画像処理補正手段は、前記画像内ワイパー位置算出
   手段の出力により、ワイパーが左から右へ、右から左へ
   と画像内を横切り去る毎に、前記撮像手段で捉えたモノ
   クロ画像から前記周辺状況把握手段で行われる濃淡に関
   する閾値を下げるように補正することを特徴とする車両
   用外界認識装置。
7. 【請求項７】 請求項５または請求項６に記載の車両用
   外界認識装置において、 前記画像処理補正手段は、前記画像内ワイパー位置算出
   手段の出力により、ワイパー払拭後の時間をカウント
   し、この時間経過とともに補正を弱めることを特徴とす
   る車両用外界認識装置。
8. 【請求項８】 請求項７に記載の車両用外界認識装置に
   おいて、 前記画像処理補正手段は、前記画像内ワイパー位置算出
   手段の出力により、ワイパー払拭後の時間をカウントす
   るとともに、ワイパー払拭直後から前記注目領域の画素
   状態を観察し、画素状態における輝度の分布の差が最大
   になる経過時間Ｔを算出し、この経過時間Ｔまで補正を
   弱めることを特徴とする車両用外界認識装置。
9. 【請求項９】 請求項５〜請求項８のいずれかに記載の
   車両用外界認識装置において、 前記画像処理補正手段は、前記画像内ワイパー位置算出
   手段の出力により、ワイパー払拭後から次回の払拭まで
   の間、注目領域の画素状態を観察し、画素状態である輝
   度分布の差の最小値と最大値から補正量を求めることを
   特徴とする車両用外界認識装置。
10. 【請求項１０】 請求項２または請求項３に記載の車両
    用外界認識装置において、 前記重み付け変更手段は、前記画像内ワイパー位置算出
    手段の出力により、前記撮像手段で取り込む画像内を払
    拭前後で領域分布し、前記距離検知手段の出力である障
    害物候補の画像内における位置が払拭前の領域か払拭後
    の領域か、によって重み付けを変更することを特徴とす
    る車両用外界認識装置。
11. 【請求項１１】 請求項２，請求項３，請求項１０のい
    ずれかに記載の車両用外界認識装置において、 前記重み付け変更手段は、前記ワイパー制御手段の出力
    により、現在のワイパー払拭動作がウォッシャー操作に
    よるものと判断した場合には、前記周辺状況把握手段が
    画像内におけるウォッシャー液の付着領域を求め、画像
    内における前記障害物候補の位置がウォッシャー液の付
    着領域でない場合には付着領域である場合よりも、前記
    周辺状況把握手段からの入力により生成する情報の重み
    付けを高くすることを特徴とする車両用外界認識装置。
12. 【請求項１２】 請求項２または請求項１０に記載の車
    両用外界認識装置において、 前記重み付け変更手段は、前記ワイパー制御手段の出力
    により、現在のワイパー払拭動作がウォッシャー操作に
    よるものと判断した場合には、ウォッシャー操作後のワ
    イパー払拭回数の増加に伴い、前記周辺状況把握手段か
    らの入力により生成する情報の重み付けを高くすること
    を特徴とする車両用外界認識装置。