JP3400643B2 - 車載用画像処理装置 - Google Patents

車載用画像処理装置

Info

Publication number
JP3400643B2
JP3400643B2 JP13366196A JP13366196A JP3400643B2 JP 3400643 B2 JP3400643 B2 JP 3400643B2 JP 13366196 A JP13366196 A JP 13366196A JP 13366196 A JP13366196 A JP 13366196A JP 3400643 B2 JP3400643 B2 JP 3400643B2
Authority
JP
Japan
Prior art keywords
vehicle
image processing
image
abnormality
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP13366196A
Other languages
English (en)
Other versions
JPH09319873A (ja
Inventor
早苗 矢部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP13366196A priority Critical patent/JP3400643B2/ja
Publication of JPH09319873A publication Critical patent/JPH09319873A/ja
Application granted granted Critical
Publication of JP3400643B2 publication Critical patent/JP3400643B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、車載撮像手段か
らの画像信号を用いて走行環境を認識するための車載用
画像処理装置に関し、特に画像処理回路の異常を検出す
る機能を備えた車載用画像処理装置に関するものであ
る。
【0002】
【従来の技術】従来より、CCDカメラ等により入力し
た画像データに画像処理(エッジ処理および二値化処
理)を施し、道路上の白線や先行車等の走行環境を認識
する車載用画像処理装置は種々提案されている。
【0003】この種の装置においては、運転者の要求に
応じて通常制御モードが選択されると、定常運転(たと
えば、所定車速以上の運転状態)時に自車両の周辺対象
を検出する処理が実行され、たとえば画像認識結果に応
答して、先行車との車間距離を維持しながら自動追従す
る定速走行制御等が行われる。
【0004】たとえば、特開平3−273498号公報
に記載された装置においては、画像入力部から入力され
た車両周辺画像に基づいてエッジ画像(輪郭画像)を抽
出し、このエッジ画像を二値化することにより白線位置
を認識している。
【0005】また、特公平6−24035号公報に記載
された装置においては、画像入力部から入力された車両
周辺画像に基づいてエッジ画像を抽出し、このエッジ画
像に対してルックアップテーブルによる閾値処理を施
し、ハフ(Hough)変換することによって走行路の
形状を認識している。
【0006】以下、図面を参照しながら、従来の車載用
画像処理装置について説明する。図11はたとえば特開
平7−244717号公報に記載された従来の車載用画
像処理装置の概略構成を示すブロック図であり、図にお
いて、1は撮像手段となるCCDカメラ、2はCCDカ
メラ1で撮像された画像信号Aを処理するためのマイク
ロコンピュータからなる電子制御装置すなわちECUで
ある。
【0007】ECU2は、種々の画像処理用の演算機能
を有するCPU3と、CCDカメラ1からの画像信号A
を増幅するアンプ10と、増幅された画像信号Aをディ
ジタル信号に変換するA/D変換器11と、ディジタル
変換された画像信号Aを画像データDとして格納する画
像メモリ12と、画像データDに画像処理を施してCP
U3に入力する画像処理回路13とを備えている。
【0008】画像処理回路13は、画像メモリ12に格
納された画像データDに対して各種画像処理(エッジ処
理および二値化処理)を施し、処理結果(二値化デー
タ)をCPU3に入力する。
【0009】CPU3は、画像処理回路13を介した二
値化データDcに基づいて走行路上の白線位置および先
行車の位置を検出する白線位置検出手段14および先行
車位置検出手段15を含んでいる。
【0010】なお、ここでは、図示しないが、CPU3
は、運転者の操作により選択される制御モード選択手段
を含み、通常制御モードが選択されたときに各検出手段
14および15の処理機能を有効にするようになってい
る。また、各検出手段14および15の処理結果は、た
とえば、自車両を先行車に自動追従させる定速制御等に
用いられる。
【0011】図12はCPU3内の処理動作を示すフロ
ーチャートであり、図12において、各ステップS14
およびS15は、図11内の白線位置検出手段14およ
び先行車位置検出手段15の処理動作にそれぞれ対応し
ている。CPU3は、画像処理回路13から入力される
二値化データDcに対して、さらに白線検出処理ステッ
プS14および先行車位置検出処理ステップS15を施
すことにより、道路上の白線位置および先行車位置を検
出する。
【0012】図13は画像処理回路13が実行するエッ
ジ処理および二値化処理と白線位置検出手段14が実行
する白線検出処理ステップS14とを具体的に示すフロ
ーチャートである。
【0013】図14はCCDカメラ1で撮像された画像
の一例を示す説明図であり、40は撮像フレーム、41
は撮像フレーム40上の1本の走査線、42は走行車線
上の文字、43は走行車線上の白線、44は先行車であ
る。
【0014】図15は撮像フレーム40内の走査線41
上の画像信号Aに対してデータ処理を施した結果を示す
説明図であり、横軸は撮像フレーム40内の走査位置、
縦軸は各走査位置における輝度値(信号レベル)であ
る。
【0015】図15において、(a)は図14内の走査
線41上の画像信号Aに対応した画像データDを示して
おり、(b)〜(d)は、画像データDに対してエッジ
処理、二値化処理および白線検出処理(図13参照)を
施した結果(各データ)をそれぞれ示している。
【0016】次に、図12〜図15を参照しながら図1
1に示した従来の車載用画像処理装置による白線検出処
理動作について説明する。まず、図13において、画像
処理回路13は、撮像された画像データDのエッジを抽
出する(ステップS20)。
【0017】このとき、エッジの抽出は、画像データD
の上下または左右に隣り合う画素の輝度レベルの差の絶
対値で求められる。このように、画像データDにエッジ
抽出処理(ステップS20)を施すことにより、画像デ
ータDは、図15(a)から図15(b)のようなエッ
ジ画像データDbとなる。
【0018】続いて、画像処理回路13は、エッジ画像
データDbから所定レベル以上のエッジのみを抽出する
ために、特定レベルの閾値Dbr(一点鎖線参照)との
比較結果に基づいて、エッジ画像データDbを、図15
(c)のような二値化データDcにする(ステップS2
1)。
【0019】このように、画像処理回路13において、
エッジ抽出処理(ステップS20)で得られたエッジ画
像データDbに対して二値化処理(ステップS21)を
施すことにより、二値化データDcが得られ、この二値
化データDcは、CPU3に入力される。
【0020】次に、CPU3は、二値化データDcに対
して時間積分処理(ステップS22)を施し、図15
(d)のような積分データDdを得る。このとき、撮像
フレーム40内の1つの画素に注目すると、現在時刻
(t=n)における積分データDd(n)は、現在時刻
における輝度値P(n)、前回時刻(t=n−1)にお
ける積分データDd(n−1)および所定の時定数τを
用いて、以下の式(1)のように求められる。
【0021】 Dd(n)=Dd(n−1)×(1−1/τ)+P(n)/τ…(1)
【0022】ここで、時定数τを大きく設定すると長い
時間の積分となり、時定数τを小さく設定すると短い時
間の積分となる。このように、図15(c)に示す二値
化データDcに対して、式(1)による時間積分処理を
施すと、図15(d)のような積分データDdになる。
【0023】積分データDdは、撮像フレーム40内の
文字42のように時間的に不安定に現れる輪郭線に対し
ては平滑化された小さな値となり、白線43のように時
間的に安定して同じ位置に現れる輪郭線に対しては大き
な値となる。
【0024】次に、所定レベル以上の積分データDdを
白線として抽出するために、積分データDdを所定レベ
ルの閾値Ddrと比較し、閾値Ddr以上を示す位置L
を白線位置として検出する(ステップS23)。
【0025】最後に、走査位置を現在の走査位置の上方
に更新するとともに、走査位置の更新が撮像フレーム4
0の全体にわたって終了したか否かを判定する(ステッ
プS24)。もし、走査位置の更新が終了していない
(すなわち、NO)と判定されれば、ステップS20に
戻って上記処理を繰り返し、走査位置が最上位置に達し
て更新が終了した(すなわち、YES)と判定されれば
図13の処理を終了する。
【0026】以上のように、図13の白線検出処理(ス
テップS20〜S24)を、図14に示す撮像フレーム
40内の画像の下方から上方へ向かって繰り返し行い、
走査線上の白線位置Lを検出することができる。
【0027】次に、図16のフローチャートならびに図
17および図18の説明図を参照しながら、図11内の
先行車位置検出手段15の動作について説明する。図1
6は画像処理回路13が実行するエッジ処理および二値
化処理と先行車位置検出手段15が実行する白線検出処
理ステップS15(図12参照)とを具体的に示すフロ
ーチャートであり、S20〜S22およびS24は前述
(図13参照)と同様のステップである。
【0028】図17はCCDカメラ1で撮像された画像
の一例を示す説明図であり、40、41、43および4
4は前述(図14参照)と同様のものである。図18は
撮像フレーム40内の走査線41上の画像信号Aに対し
てデータ処理を施した結果を示す説明図であり、前述の
図15に対応している。
【0029】図18において、(a)〜(c)は前述
(図15)と同様であり、(d)は画像データDに対し
て先行車検出処理(図16参照)を施した結果を示す。
まず、図16において、画像処理回路13は、エッジ抽
出処理(ステップS20)および二値化処理(ステップ
S21)を施してエッジ画像データDbおよび二値化デ
ータDcを生成し、CPU3は、積分処理(ステップS
22)を施して積分データDdを取得する。
【0030】続いて、CPU3は、所定レベル以上の積
分データDdを先行車候補として抽出するために、積分
データDdを所定レベルの閾値Ddr′と比較し、閾値
Ddr′以上を示す位置L1〜L3を先行車候補として
探索処理する(ステップS33)。
【0031】このとき、自動車は所定以上の幅を有して
いることから、あらかじめ所定幅を設定しておき、先行
車候補L1〜L3の中から所定幅以上を満たしている領
域に先行車44が存在すると推定し、これを先行車位置
として検出する(ステップS34)。
【0032】この場合、先行車候補L1〜L3の各領域
幅と所定幅とを比較すると、先行車候補L1およびL3
の領域幅は所定幅以上の条件を満たさず、先行車候補L
2の領域幅のみが所定幅以上の条件を満たすので、先行
車候補L2の位置を先行車候補位置と決定することがで
きる。
【0033】続いて、ステップS24により、走査位置
を現在の走査位置の上方に更新して撮像フレーム40の
全体にわたって走査が終了したか否かを判定し、終了す
るまでステップS20〜S34の処理を繰り返し実行す
る。そして、走査終了後に、先行車44の位置L2を出
力して(ステップS35)、図16の処理を終了する。
もし、全ての走査位置で先行車位置が検出されなかった
場合には、先行車44が存在しないものと判断する。
【0034】しかしながら、ECU2内の画像処理回路
13に異常が発生した場合には、CPU3に入力される
二値化データDcがエラー状態となるので、白線位置検
出手段14による白線検出処理結果および先行車位置検
出手段15による先行車検出処理結果がエラー状態とな
り、正確に白線43および先行車44を検出することが
できなくなるおそれがある。
【0035】
【発明が解決しようとする課題】従来の車載用画像処理
装置は以上のように、ECU2内の画像処理回路13の
異常発生を検出する手段を具備していないので、画像処
理回路13の異常発生時においても通常制御モードに基
づく画像処理を実行してしまい、白線43および先行車
44の位置情報を誤検出するのを防止することができな
いという問題点があった。
【0036】この発明は上記のような問題点を解決する
ためになされたもので、画像処理回路の異常発生を検出
して異常発生時の誤情報出力を防止することのできる車
載用画像処理装置を得ることを目的とする。
【0037】
【課題を解決するための手段】この発明の請求項1に係
る車載用画像処理装置は、車両に搭載されて車両の周辺
を撮影した画像信号を生成する撮像手段と、画像信号に
基づく画像データからエッジ画像データを抽出して二値
化処理する画像処理回路と、画像処理回路からの二値化
データに基づいて車両の周辺対象の位置を検出する位置
検出手段と、所定のテストパターンが格納されたテスト
パターンメモリと、車両の制御状態に応答して、画像処
理回路に対する入力信号を、画像データからテストパタ
ーンに切り換える切換手段と、画像処理回路を介したテ
ストパターンの二値化データに基づいて画像処理回路の
異常を検出する回路異常検出手段とを備え、回路異常検
出手段は、テストパターンに基づくエッジ画像データの
画素数と、異常判定基準値となる所定画素数とを比較
し、両者の一致条件が満たされない場合に、画像処理回
路の異常と判定するものである。
【0038】また、この発明の請求項2に係る車載用画
像処理装置は、請求項1において、回路異常検出手段
は、テストパターンに基づくエッジ画像データの各画素
値の総和からなる投影値を画素数として求め、投影値を
所定画素数となる判定値と比較し、判定値に基づく許容
範囲から投影値が逸脱した場合に画像処理回路の異常を
判定するものである。
【0039】また、この発明の請求項3に係る車載用画
像処理装置は、請求項1または請求項2において、回路
異常検出手段は、画像処理回路の異常を判定したとき
に、位置検出手段の処理機能を停止させるものである。
【0040】また、この発明の請求項4に係る車載用画
像処理装置は、請求項1から請求項3までのいずれかに
おいて、回路異常検出手段は、車両の制御状態に応じた
タイミングを異常診断モードとして探索するタイミング
探索手段を含み、異常診断モードが探索されたときに、
切換手段を動作させるための切換信号を出力するもので
ある。
【0041】また、この発明の請求項5に係る車載用画
像処理装置は、請求項1から請求項4までのいずれかに
おいて、位置検出手段により検出される周辺対象を、車
両の走行車線上の白線および先行車の少なくとも一方と
したものである。
【0042】また、この発明の請求項6に係る車載用画
像処理装置は、請求項5において、位置検出手段の処理
機能を選択的に有効にして通常制御モードにする制御モ
ード選択手段を備え、タイミング探索手段は、車両の通
常制御モードの非選択時において異常診断モードと判定
し、回路異常検出手段の処理機能を有効にするものであ
る。
【0043】また、この発明の請求項7に係る車載用画
像処理装置は、請求項6において、タイミング探索手段
は、通常制御モードが選択されたときに位置検出手段の
処理機能が無効となる制御状態において異常診断モード
と判定し、回路異常検出手段の処理機能を有効にするも
のである。
【0044】また、この発明の請求項8に係る車載用画
像処理装置は、請求項7において、位置検出手段の処理
機能が無効となる制御状態を、車両の発進時としたもの
である。
【0045】また、この発明の請求項9に係る車載用画
像処理装置は、請求項7において、位置検出手段の処理
機能が無効となる制御状態を、車両の走行速度が所定車
速以下の状態としたものである。
【0046】また、この発明の請求項10に係る車載用
画像処理装置は、請求項7において、位置検出手段の処
理機能が無効となる制御状態を、車両の操舵角度が所定
角度以上の状態としたものである。
【0047】
【発明の実施の形態】
実施の形態1.図1はこの発明の実施の形態1の概略構
成を示すブロック図であり、図1において、2Aおよび
3AはECU2およびCPU3にそれぞれ対応してお
り、1、10〜15、A、DおよびDcは前述と同様の
ものである。また、ECU2A内の画像処理回路13お
よびCPU3Aによる通常制御モードでの検出処理動作
については、前述と同様である。
【0048】この場合、CPU3Aは、画像処理回路1
3の異常の有無を診断するための回路異常検出手段16
を含んでおり、路異常検出手段16は、あらかじめ設定
された所定のタイミング(異常診断モード)で切換信号
Eを出力して、画像処理回路13による異常検出処理を
実行させるようになっている。
【0049】21は画像メモリ12と画像処理回路13
との間に挿入された切換手段であり、第1の切換入力端
子21aおよび第2の切換入力端子21bと、共通出力
端子21cとを有し、第1の切換入力端子21aが画像
メモリ12の出力端子に接続され、共通出力端子21c
が画像処理回路13の入力端子に接続されている。切換
手段21は、CPU3Aからの切換信号Eに応答して、
第1の切換入力端子21aから第2の切換入力端子21
bに切り換えるようになっている。
【0050】22はCPU3Aから生成される所定のテ
ストパターンTを格納するテストパターンメモリであ
り、その出力端子が切換手段21の第2の切換入力端子
21bに接続されている。テストパターンTは、エッジ
画素数が所定数にあらかじめ確定された絵記号等からな
っている。
【0051】たとえば、テストパターンTとしては、白
線43や先行車44(図14参照)に相当する垂直エッ
ジ成分および水平エッジ成分を含むようなパターンが適
している。また、テストパターンTは、CPU3Aから
与えられずに、あらかじめテストパターンメモリ22内
に格納されていてもよい。
【0052】CPU3Aは、異常検出処理の実行時に、
切換手段21に対して切換信号Eを出力し、第1の切換
入力端子21aから第2の切換入力端子21bに切り換
え、画像メモリ12からの画像データDの代わりに、テ
ストパターンメモリ22からのテストパターンTを選択
して画像処理回路13に入力する。
【0053】したがって、画像処理回路13は、異常診
断モード切換時においては、テストパターンメモリ22
に記憶されているテストパターンTの画像に対して各種
画像処理を施し、この処理結果をCPU3Aに入力す
る。これにより、CPU3A内の回路異常検出手段16
は、テストパターンTに基づく二値化データDcに基づ
いて、画像処理回路13の異常の有無を診断するように
なっている。
【0054】図2はCPU3Aの処理動作を示すフロー
チャートであり、S14およびS15は前述(図12参
照)と同様のステップである。図2において、CPU3
Aは、まず、処理動作モードを選択するために、異常診
断モードか否かを判定する(ステップS1)。
【0055】もし、通常処理モード(すなわち、NO)
であれば、前述の白線検出処理(ステップS14)およ
び先行車検出処理(ステップS15)を実行し、異常診
断モード(すなわち、YES)であれば、回路異常検出
手段16による回路異常検出処理(ステップS16)を
実行する。
【0056】なお、ステップS1においては、通常制御
モードの非作動時(所定運転状態でない起動時等)また
は通常制御モードの不要時(定速制御モードの非選択
時)に異常診断モードと判定して、異常診断モードの処
理が選択される。したがって、回路異常検出手段16
は、所定の異常診断モードのタイミングを常に探索する
タイミング探索手段を含み、このタイミングで切換信号
Eを出力して回路異常検出処理を実行するようになって
いる。
【0057】たとえば、回路異常検出手段16は、運転
者の意志に基づく定速走行(自動追従)制御モードが選
択されない場合(すなわち、周辺対象の検出処理が不要
の場合)に異常診断モードと判定し、切換信号Eを出力
してテストパターンTに基づく二値化データDcをCP
U3Aに入力する。
【0058】また、回路異常検出手段16は、運転者の
意志に基づく定速制御モードが選択されたとしても、自
車両の運転状態が以下の条件を満たす場合は、実際には
定速制御が実行されないので、異常診断モードと判定し
て切換信号Eを出力し、テストパターンTに基づく画像
データDをCPU3Aに入力する。
【0059】すなわち、自車両が停止状態から発進中の
場合、走行速度が所定車速(たとえば、定常車速の下限
値に相当する40km/h)以下の場合、または、操舵
角度が所定角度(たとえば、定常走行の上限値に相当す
る30°)以上の場合においては、異常診断モードと判
定される。
【0060】こうして、通常処理モードにおける処理ス
テップS14およびS15、または異常診断モードにお
ける回路異常検出処理ステップS16を実行した後、画
像処理回路13に異常が発生しているか否かを判定する
(ステップS18)。もし、異常が発生していない(す
なわち、NO)と判定されれば、ステップS1に戻って
上記処理を繰り返す。
【0061】また、画像処理回路13に異常が発生して
いる(すなわち、YES)と判定されれば、ECU2A
からなる画像処理装置全体の機能を停止させて、通常制
御モード時における白線位置検出手段14および先行車
位置検出手段15の処理動作を停止させる。こうして、
白線位置および先行車位置の誤検出情報が制御に反映さ
れないようにした後、図2の処理を終了する。
【0062】図3は画像処理回路13により実行される
処理と回路異常検出手段16により実行される回路異常
検出処理ステップS16との具体的処理手順を示すフロ
ーチャートであり、S20およびS21は前述(図13
参照)と同様のステップである。
【0063】図4〜図9はテストパターンTに対する画
像処理後のデータを示す説明図であり、図4は前述の図
17に対応し、図5は図18(a)に対応し、図6およ
び図7は図18(b)に対応し、図8および図9は図1
8(c)に対応している。
【0064】図4、図6および図8において、40a〜
40cは撮像フレーム40に対応したテストパターン画
像であり、40aは初期のテストパターン画像、40b
はエッジ抽出処理後の画像、40cは二値化処理後の画
像である。また、41Aおよび41Bは各画像40a〜
40c内の異なる垂直位置での走査線である。
【0065】また、各画像40a〜40cの水平位置で
の輝度データを示す図5、図7および図9において、
(a)は走査線41Aによる各画像データに対応した輝
度値、(b)は走査線41Bによる各画像データに対応
した輝度値を示している。
【0066】次に、図3〜図9を参照しながら、図1に
示したこの発明の実施の形態1による回路異常検出処理
動作について説明する。この場合、テストパターンT
は、図4のように、「日」の字形のパターンからなるも
のとする。
【0067】まず、CPU3Aからの切換信号Eに応答
して、切換手段21が切換入力端子21bを選択する
と、テストパターンTが画像処理回路13に入力され
る。このとき、初期のテストパターン画像40aに対す
る各走査線41Aおよび41Bでの画像データDaは、
図5(a)および(b)のようになる。
【0068】続いて、図3において、画像処理回路13
が初期のテストパターン画像40a(図4参照)に対し
てエッジ抽出処理(ステップS20)を実行すると、図
6のようにテストパターンTのエッジ抽出画像40bが
求められ、各走査線41Aおよび41B上のエッジ画像
データDbは、図7(a)および(b)のようになる。
【0069】また、画像処理回路13がエッジ抽出画像
40bに対して二値化処理(ステップS21)を施す
と、図8のようにテストパターンTの二値画像40cが
求められ、各走査線41Aおよび41B上の二値化デー
タDcは、図9(a)および(b)のようになる。
【0070】次に、CPU3A内の回路異常検出手段1
6は、ステップ21で求めた二値画像40c(図8参
照)の投影値(エッジ画素数)SUMを検出する(ステ
ップS50)。このとき、投影値SUMは、二値画像4
0cの各画素値の総和で求められ、画像サイズを640
×480画素とし、各画素の値をGij(i=1〜64
0、j=1〜480)とすると、以下の式(2)により
求められる。
【0071】SUM=ΣΣ(Gij) …(2)
【0072】但し、式(2)において、各総和変数iお
よびjは、i=1〜640、j=1〜480の範囲内で
加算されるものとする。続いて、ステップS50で求め
た投影値SUMと、あらかじめ設定されている判定値
(所定画素数)SUMrとを比較判定し、両者の一致状
態から画像処理回路13の異常の有無を判定する。
【0073】なお、判定値SUMrは、正常な画像処理
回路13にテストパターンTを入力したときに得られる
理想的な投影値SUMに相当する値である。しかしなが
ら、実際には、CCDカメラ1の同期分離が完全でなく
テストパターンTが少しずれることや、ノイズの影響等
が考えられるため、完全一致状態から±20%を許容範
囲としている。したがって、回路異常検出手段16は、
ステップS51において、投影値SUMが判定値SUM
rから許容範囲を越えて異なる場合に異常有りと判定す
る。
【0074】ここで、図10に示すような簡略化された
二値画像40cの一例を参照しながら、具体的な比較判
定動作について説明する。図10において、横方向の画
素数iは25、縦方向の画素数jは20であり、白い画
素はデータ値が「0」の部分、黒い画素はデータ値が
「1」の部分を示している。
【0075】この場合、テストパターンTに対する理想
的な投影値SUMは、式(2)から128となり、この
値「128」を判定値SUMrとする。したがって、判
定値SUMr(=128)の±20%(≒26)からな
る許容範囲は102〜154となり、異常のない場合の
投影値SUMの取り得る値は、以下の式(3)のように
表わされる。
【0076】102<SUM<154 …(3)
【0077】式(3)から明らかなように、式(2)に
より算出されたテストパターンTの投影値SUMが、判
定値SUMrの下限値102以下、または、上限値15
4以上の値を示す場合に、投影値SUMおよび判定値S
UMrの不一致状態と見なされ、画像処理回路13に異
常有りと判定されることになる。
【0078】このように、異常診断モードにおいて、切
換信号Eにより切換手段21を動作させ、撮像された画
像データDの代わりにテストパターンTを画像処理回路
13に入力し、テストパターン画像40aに基づくエッ
ジ画像40bおよび二値画像40cを求め、テストパタ
ーンTの形状から取得され得る判定値SUMrと、実際
に求められた投影値SUMとを比較することにより、画
像処理回路13の異常を検出することができる。
【0079】また、回路異常検出手段16内のタイミン
グ探索手段は、定速運転を実行するための通常制御モー
ドの選択状態または動作状態を常に監視しており、通常
制御モードの非作動時(定常運転でない状態)や不要時
(通常制御モードの非選択状態)になると、異常診断モ
ードと判定して、自動的に回路異常検出処理を実行する
ことができる。
【0080】これにより、起動時のみならず、走行中に
おいても、画像処理回路13に異常が発生したことを自
動的に検出することができ、異常発生時には、装置全体
および白線位置検出手段14および先行車位置検出手段
15の処理動作を確実に停止させることができる。
【0081】したがって、異常の生じた画像処理回路1
3を用いて処理が行われることがなく、信頼性の高い画
像処理装置を得ることができる。また、回路異常検出手
段16は、異常診断モードを常に探索しているので、処
理時間を短縮するとともに、異常診断精度を向上させる
ことができる。
【0082】実施の形態2.なお、上記実施の形態1で
は、回路異常検出時に各検出手段14および15の処理
機能を自動的に停止させたが、異常検出状態を警報表示
させて、運転者による停止操作を促すようにしてもよ
い。
【0083】実施の形態3.また、上記実施の形態1で
は、図2内の判定ステップS1における異常診断モード
の選択条件として、通常制御の非作動時または不要時を
用いたが、この条件に限定されることはなく、検出結果
の使用条件や種々の要求仕様等に応じて任意に設定され
得ることは言うまでもない。
【0084】実施の形態4.また、上記実施の形態1で
は、回路異常検出時において、縦および横の両方向のエ
ッジに対応した二値画像データDcを用いて回路異常を
判定したが、要求仕様等に応じて、縦または横の片方向
のみのエッジに対応した二値画像データを用いて判定し
てもよい。
【0085】実施の形態5.また、上記実施の形態1で
は、定速制御モードを考慮して、車両の周辺の撮像対象
を白線43および先行車44としたが、位置検出結果に
対する種々の利用目的を考慮して、車両の前方に位置す
る他の任意の周辺対象を撮像検出対象としてもよい。
【0086】
【発明の効果】以上のように、この発明の請求項1によ
れば、車両に搭載されて車両の周辺を撮影した画像信号
Aを生成する撮像手段(CCDカメラ1)と、画像信号
Aに基づく画像データDaからエッジ画像データDbを
抽出して二値化処理する画像処理回路13と、画像処理
回路13からの二値化データDcに基づいて車両の周辺
対象の位置を検出する位置検出手段14および15と、
所定のテストパターンTが格納されたテストパターンメ
モリ22と、車両の制御状態に応答して、画像処理回路
13に対する入力信号を、画像データDaからテストパ
ターンTに切り換える切換手段21と、画像処理回路1
3を介したテストパターンTの二値化データDcに基づ
いて画像処理回路13の異常を検出する回路異常検出手
段16とを備え、回路異常検出手段16は、テストパタ
ーンTに基づくエッジ画像データの画素数(投影値SU
M)と、異常判定基準値となる所定画素数(判定値SU
Mr)とを比較し、両者の一致条件が満たされない場合
に、画像処理回路13の異常と判定するようにしたの
で、回路異常時の誤検出データの出力を防止することの
できる車載用画像処理装置が得られる効果がある。
【0087】また、この発明の請求項2によれば、請求
項1において、回路異常検出手段16は、テストパター
ンTに基づくエッジ画像データの各画素値Gijの総和
からなる投影値SUMを画素数として求め、投影値SU
Mを所定画素数となる判定値SUMrと比較し、判定値
SUMrに基づく許容範囲から投影値SUMが逸脱した
場合に画像処理回路13の異常を判定するようにしたの
で、回路異常時の誤検出データの出力を防止することの
できる車載用画像処理装置が得られる効果がある。
【0088】また、この発明の請求項3によれば、請求
項1または請求項2において、回路異常検出手段16
は、画像処理回路13の異常を判定したときに、位置検
出手段14および15の処理機能を停止させるようにし
たので、回路異常時の誤検出データの出力を確実に防止
した車載用画像処理装置が得られる効果がある。
【0089】また、この発明の請求項4によれば、請求
項1から請求項3までのいずれかにおいて、回路異常検
出手段16は、車両の制御状態に応じたタイミングを異
常診断モードとして探索するタイミング探索手段を含
み、異常診断モードが探索されたときに、切換手段21
を動作させるための切換信号Eを出力するようにしたの
で、処理時間を短縮するとともに異常診断精度を向上さ
せた車載用画像処理装置が得られる効果がある。
【0090】また、この発明の請求項5によれば、請求
項1から請求項4までのいずれかにおいて、位置検出手
段14および15により検出される周辺対象を、車両の
走行車線上の白線43および先行車44の少なくとも一
方としたので、車両制御に有効な周辺対象について誤デ
ータの出力を効果的に防止することができ、検出結果を
定速制御モードに反映させる場合に特に適した車載用画
像処理装置が得られる効果がある。
【0091】また、この発明の請求項6によれば、請求
項5において、位置検出手段14および15の処理機能
を選択的に有効にして通常制御モードにする制御モード
選択手段を備え、タイミング探索手段は、車両の通常制
御モードの非選択時において異常診断モードと判定し、
回路異常検出手段16の処理機能を有効にするようにし
たので、処理時間を短縮するとともに異常診断精度を向
上させた車載用画像処理装置が得られる効果がある。
【0092】また、この発明の請求項7によれば、請求
項6において、タイミング探索手段は、通常制御モード
が選択されたときに位置検出手段14および15の処理
機能が無効となる制御状態において異常診断モードと判
定し、回路異常検出手段16の処理機能を有効にするよ
うにしたので、通常制御モード中であっても異常診断モ
ードを効果的に探索することのできる車載用画像処理装
置が得られる効果がある。
【0093】また、この発明の請求項8によれば、請求
項7において、位置検出手段の処理機能が無効となる制
御状態を、車両の発進時としたので、通常制御モード中
であっても異常診断モードを効果的に探索することので
きる車載用画像処理装置が得られる効果がある。
【0094】また、この発明の請求項9によれば、請求
項7において、位置検出手段の処理機能が無効となる制
御状態を、車両の走行速度が所定車速以下の状態とした
ので、通常制御モード中であっても異常診断モードを効
果的に探索することのできる車載用画像処理装置が得ら
れる効果がある。
【0095】また、この発明の請求項10によれば、請
求項7において、位置検出手段の処理機能が無効となる
制御状態を、車両の操舵角度が所定角度以上の状態とし
たので、通常制御モード中であっても異常診断モードを
効果的に探索することのできる車載用画像処理装置が得
られる効果がある。
【図面の簡単な説明】
【図1】 この発明の実施の形態1の基本的な構成を概
略的に示すブロック図である。
【図2】 この発明の実施の形態1による回路異常検出
手段のモード切換処理動作を示すフローチャートであ
る。
【図3】 この発明の実施の形態1による回路異常検出
手段の回路異常検出動作を示すフローチャートである。
【図4】 この発明の実施の形態1によるテストパター
ン画像を示す説明図である。
【図5】 この発明の実施の形態1によるテストパター
ン画像の各走査線上のデータレベルを示す説明図であ
る。
【図6】 図4内のテストパターン画像にエッジ抽出処
理を施したエッジ抽出画像を示す説明図である。
【図7】 図6内のエッジ抽出画像の各走査線上のデー
タレベルを示す説明図である。
【図8】 図6内のエッジ抽出画像に二値化処理を施し
た二値画像を示す説明図である。
【図9】 図8内の二値画像の各走査線上のデータレベ
ルを示す説明図である。
【図10】 この発明の実施の形態1による回路異常検
出手段の判定条件を具体的に説明するための二値画像例
を示す説明図である。
【図11】 従来の車載用画像処理装置の基本的な構成
例を示すブロック図である。
【図12】 従来の車載用画像処理装置による周辺対象
の検出処理動作を示すフローチャートである。
【図13】 従来の車載用画像処理装置による白線検出
処理動作を示すフローチャートである。
【図14】 車両走行中に撮像される1フレーム分の画
像例を示す説明図である。
【図15】 図14内の画像例に対して白線位置検出処
理を施した場合の過程を示す説明図である。
【図16】 従来の車載用画像処理装置による先行車検
出処理動作を示すフローチャートである。
【図17】 車両走行中に撮像される1フレーム分の画
像例を示す説明図である。
【図18】 図17内の画像例に対して先行車位置検出
処理を施した場合の過程を示す説明図である。
【符号の説明】
1 CCDカメラ(撮像手段)、2A ECU、3A
CPU、12 画像メモリ、13 画像処理回路、14
白線位置検出手段、15 先行車位置検出手段、16
回路異常検出手段、21 切換手段、22 テストパ
ターンメモリ、40 撮像フレーム、40a テストパ
ターン画像、40b エッジ抽出画像、40c 二値画
像、41A,41B 走査線、43 白線、44 先行
車、A画像信号、D,Da 画像データ、Db エッジ
抽出画像データ、Dc 二値化データ、E 切換信号、
SUM 投影値(画像数)、SUMr 判定値(所定画
像数)、T テストパターン、S1 異常診断モードを
判定するステップ、S14 白線検出処理ステップ、S
15 先行車検出処理ステップ、S16 回路異常検出
処理ステップ、S18 回路異常判定ステップ、S20
エッジ抽出処理ステップ、S21 二値化処理ステッ
プ、S50 投影値を検出するステップ、S51 投影
値を判定値と比較判定するステップ。
フロントページの続き (51)Int.Cl.7 識別記号 FI H04N 7/18 H04N 7/18 J (58)調査した分野(Int.Cl.7,DB名) G06T 7/60 G01B 11/00 G06T 1/00 G08B 21/00 G08G 1/16 H04N 7/18

Claims (10)

    (57)【特許請求の範囲】
  1. 【請求項1】 車両に搭載されて前記車両の周辺を撮影
    した画像信号を生成する撮像手段と、 前記画像信号に基づく画像データからエッジ画像データ
    を抽出して二値化処理する画像処理回路と、 前記画像処理回路からの二値化データに基づいて前記車
    両の周辺対象の位置を検出する位置検出手段と、 所定のテストパターンが格納されたテストパターンメモ
    リと、 前記車両の制御状態に応答して、前記画像処理回路に対
    する入力信号を、前記画像データから前記テストパター
    ンに切り換える切換手段と、 前記画像処理回路を介した前記テストパターンの二値化
    データに基づいて前記画像処理回路の異常を検出する回
    路異常検出手段とを備え、 前記回路異常検出手段は、前記テストパターンに基づく
    エッジ画像データの画素数と、異常判定基準値となる所
    定画素数とを比較し、両者の一致条件が満たされない場
    合に、前記画像処理回路の異常と判定することを特徴と
    する車載用画像処理装置。
  2. 【請求項2】 前記回路異常検出手段は、前記テストパ
    ターンに基づくエッジ画像データの各画素値の総和から
    なる投影値を前記画素数として求め、前記投影値を前記
    所定画素数となる判定値と比較し、前記判定値に基づく
    許容範囲から前記投影値が逸脱した場合に前記画像処理
    回路の異常を判定することを特徴とする請求項1に記載
    の車載用画像処理装置。
  3. 【請求項3】 前記回路異常検出手段は、前記画像処理
    回路の異常を判定したときに、前記位置検出手段の処理
    機能を停止させることを特徴とする請求項1または請求
    項2に記載の車載用画像処理装置。
  4. 【請求項4】 前記回路異常検出手段は、 前記車両の制御状態に応じたタイミングを異常診断モー
    ドとして探索するタイミング探索手段を含み、 前記異常診断モードが探索されたときに、前記切換手段
    を動作させるための切換信号を出力することを特徴とす
    る請求項1から請求項3までのいずれかに記載の車載用
    画像処理装置。
  5. 【請求項5】 前記位置検出手段により検出される前記
    周辺対象は、前記車両の走行車線上の白線および先行車
    の少なくとも一方であることを特徴とする請求項1から
    請求項4までのいずれかに記載の車載用画像処理装置。
  6. 【請求項6】 前記位置検出手段の処理機能を選択的に
    有効にして通常制御モードにする制御モード選択手段を
    備え、 前記タイミング探索手段は、前記車両の通常制御モード
    の非選択時において異常診断モードと判定し、前記回路
    異常検出手段の処理機能を有効にすることを特徴とする
    請求項5に記載の車載用画像処理装置。
  7. 【請求項7】 前記タイミング探索手段は、前記通常制
    御モードが選択されたときに前記位置検出手段の処理機
    能が無効となる制御状態において前記異常診断モードと
    判定し、前記回路異常検出手段の処理機能を有効にする
    ことを特徴とする請求項6に記載の車載用画像処理装
    置。
  8. 【請求項8】 前記位置検出手段の処理機能が無効とな
    る制御状態は、前記車両の発進時であることを特徴とす
    る請求項7に記載の車載用画像処理装置。
  9. 【請求項9】 前記位置検出手段の処理機能が無効とな
    る制御状態は、前記車両の走行速度が所定車速以下の状
    態であることを特徴とする請求項7に記載の車載用画像
    処理装置。
  10. 【請求項10】 前記位置検出手段の処理機能が無効と
    なる制御状態は、前記車両の操舵角度が所定角度以上の
    状態であることを特徴とする請求項7に記載の車載用画
    像処理装置。
JP13366196A 1996-05-28 1996-05-28 車載用画像処理装置 Expired - Fee Related JP3400643B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP13366196A JP3400643B2 (ja) 1996-05-28 1996-05-28 車載用画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP13366196A JP3400643B2 (ja) 1996-05-28 1996-05-28 車載用画像処理装置

Publications (2)

Publication Number Publication Date
JPH09319873A JPH09319873A (ja) 1997-12-12
JP3400643B2 true JP3400643B2 (ja) 2003-04-28

Family

ID=15109984

Family Applications (1)

Application Number Title Priority Date Filing Date
JP13366196A Expired - Fee Related JP3400643B2 (ja) 1996-05-28 1996-05-28 車載用画像処理装置

Country Status (1)

Country Link
JP (1) JP3400643B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3094075A4 (en) * 2014-01-10 2017-09-27 Hitachi Automotive Systems, Ltd. In-vehicle-camera image processing device

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4572826B2 (ja) * 2005-12-06 2010-11-04 トヨタ自動車株式会社 道路区画線検出装置
JP4980089B2 (ja) * 2007-01-31 2012-07-18 富士重工業株式会社 ステレオ画像処理装置
JP2009246803A (ja) * 2008-03-31 2009-10-22 Aisin Seiki Co Ltd 画像認識装置及びコンピュータプログラム
JP6571424B2 (ja) * 2015-07-06 2019-09-04 株式会社トランストロン 故障診断装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3094075A4 (en) * 2014-01-10 2017-09-27 Hitachi Automotive Systems, Ltd. In-vehicle-camera image processing device
US10154255B2 (en) 2014-01-10 2018-12-11 Hitachi Automotive Systems, Ltd. In-vehicle-camera image processing device

Also Published As

Publication number Publication date
JPH09319873A (ja) 1997-12-12

Similar Documents

Publication Publication Date Title
JPH06281455A (ja) 車両周辺監視装置
JPH09113221A (ja) 車載用画像処理装置及びその画像処理方法
JP3429167B2 (ja) 車両用白線検出装置
JP3400643B2 (ja) 車載用画像処理装置
JP3959537B2 (ja) 車種判別装置
JP2005090974A (ja) 先行車認識装置
JP4211681B2 (ja) 走行路認識装置
JP2017058950A (ja) 認識装置、撮像システム、撮像装置並びに認識方法及び認識用プログラム
CN113884123A (zh) 一种传感器校验方法及装置、车辆、存储介质
JP2001307017A (ja) 文字プレート認識装置
JP2001092979A (ja) 不適切画像検出方法
JP2001126192A (ja) 駐車場の駐車スペースの駐/空車判定方法
JP2003076988A (ja) 車輌識別方法及び装置
JPH09128548A (ja) 車両検出方法
JP3331095B2 (ja) 車載用画像処理装置
JP4995555B2 (ja) 画像処理装置
JP3134749B2 (ja) 白線検出方法
JP3196559B2 (ja) ライン認識方法
JP3053723B2 (ja) ナンバープレート文字認識方法およびその装置
JP3671460B2 (ja) ランプ点灯検出方法およびストップランプ点灯検出装置
CN111260929B (zh) 车辆跟踪异常检测方法及装置
JP3380436B2 (ja) 車両等の認識方法
JP2000285379A (ja) 画像形車両感知器
KR101156145B1 (ko) 차량의 이미지 처리 방법과 장치, 및 상기 방법을 이용한 차량용 제어 장치
JP2006268366A (ja) 障害物検知装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080221

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090221

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100221

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100221

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110221

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120221

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees