JP2000149195A - 走路環境認識装置およびそれを用いた安全運転支援装置並びに自動運転装置 - Google Patents

走路環境認識装置およびそれを用いた安全運転支援装置並びに自動運転装置

Info

Publication number
JP2000149195A
JP2000149195A JP10315635A JP31563598A JP2000149195A JP 2000149195 A JP2000149195 A JP 2000149195A JP 10315635 A JP10315635 A JP 10315635A JP 31563598 A JP31563598 A JP 31563598A JP 2000149195 A JP2000149195 A JP 2000149195A
Authority
JP
Japan
Prior art keywords
image
traffic light
camera
traffic signal
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10315635A
Other languages
English (en)
Inventor
Satoshi Terakubo
敏 寺久保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Electric Industries Ltd
Original Assignee
Sumitomo Electric Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Electric Industries Ltd filed Critical Sumitomo Electric Industries Ltd
Priority to JP10315635A priority Critical patent/JP2000149195A/ja
Publication of JP2000149195A publication Critical patent/JP2000149195A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

(57)【要約】 【課題】 車両前方の信号機の点灯状態の認識を安価に
実現することが可能であり、誤認識が少ない走路環境認
識装置を提供すること。 【解決手段】 走路環境認識装置は、車両前方の画像を
撮影するCCDカメラ10と、CCDカメラ10によっ
て撮影された画像から信号機を認識する画像処理装置1
1と、画像処理装置11によって認識された信号機の画
像の中で、輝度が高い部分の位置によって信号機の点灯
状態を判定する判定用CPU12とを含む。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、車両前方の画像を
認識する技術に関し、特に、車両前方の信号機の点灯状
態を認識する走路環境認識装置およびそれを用いた安全
運転支援装置並びに自動運転装置に関する。
【0002】
【従来の技術】近年、より安全性の高い自動車に対する
要望が高まっており、その1つとして車両前方の物体を
検出し、その検出結果によって運転者に危険を知らせた
り、運転を自動的に制御したりする技術が盛んに研究さ
れている。
【0003】その技術の1つとして、特開昭63−78
299号公報に開示された発明がある。この発明は、画
像処理技術を用いて信号機を認識する自動車に関するも
のであり、車両前方を撮影するカラーカメラと、このカ
ラーカメラによって撮影された画像情報を格納するビデ
オRAM(Random Access Memory)と、画像情報から信
号機を認識する信号認識装置と、CPU(Central Proc
essing Unit )とを含んでいる。信号認識装置は、画像
情報の中から信号機を認識し、信号機の画像の中で輝度
が高い領域が青色、黄色または赤色のいずれであるかを
検出する。そして、この信号機の点灯状態と、計算によ
って求められた信号機までの距離とから自動車の安全を
向上させるものである。
【0004】また、関連技術として、特開平4−184
700号公報に開示された発明がある。この発明は、道
路上に設置され、交通情報である車両動態データの収集
に使用される車両動態計測装置に関するものである。こ
の車両動態計測装置は、信号機を撮影するカラービデオ
カメラと、道路上の車両を撮影するカラービデオカメラ
と、2つのカラービデオカメラからの撮像信号を混合す
るビデオミキサと、ビデオミキサから出力される信号に
画像処理を行なう画像処理装置と、画像処理装置によっ
て処理された画像信号から信号機の点灯状態および走行
車両の関係を解析するマイクロコンピュータとを含んで
いる。マイクロコンピュータは、カラービデオカメラに
よって撮影された信号機の画像データを解析して、信号
機の点灯状態を計測している。そして、信号機の点灯状
態を表示するとともに、車両の位置や速度等の車両動態
データを得るようにしている。
【0005】
【発明が解決しようとする課題】上述したように、特開
昭63−78299号公報に開示された発明によれば、
信号認識装置は、カラーカメラによって撮影された画像
情報の中から信号機を認識し、信号機の画像の中で輝度
が高い領域が青色、黄色または赤色のいずれであるかを
検出している。しかし、信号機の撮影がカラーカメラに
よって行なわれるので、装置が高価になるという問題点
があった。また、カラーカメラを使用しているため、信
号機への太陽光の当たり具合、外乱、他の物体からの反
射光、信号機内の電球の劣化、または信号機の表面の汚
損等によって発光色が微妙に変化して誤認識の恐れがあ
るという問題点があった。
【0006】また、特開平4−184700号公報に開
示された発明によれば、信号機の点灯状態を検出してい
るが、この信号機の点灯状態の検出は車両動態データと
の関係を得るためであり、車両の安全性を向上させるた
めに検出しているものではない。さらには、特開昭63
−78299号公報に開示された発明と同様に、信号機
の撮影がカラーカメラによって行なわれるので、装置が
高価になり、誤認識の恐れがあるという問題点があっ
た。
【0007】本発明は、上記問題点を解決するためにな
されたものであり、第1の目的は、車両前方の信号機の
点灯状態の認識を安価に実現することが可能であり、誤
認識が少ない走路環境認識装置を提供することである。
【0008】第2の目的は、安全運転の支援を安価に実
現することが可能であり、より確実な安全運転の支援が
行なえる安全運転支援装置を提供することである。
【0009】第3の目的は、安全性の高い自動運転を安
価に実現することが可能であり、より安全性の高い自動
運転装置を提供することである。
【0010】
【課題を解決するための手段】請求項1に記載の走路環
境認識装置は、車両前方の画像を撮影するカメラと、カ
メラによって撮影された画像から信号機を認識するため
の画像処理手段と、画像処理手段によって認識された信
号機の画像の中で、輝度が高い部分の位置によって信号
機の点灯状態を判定するための判定手段とを含む。
【0011】判定手段は、画像処理手段によって認識さ
れた信号機の画像の中で、輝度が高い部分の位置によっ
て信号機の点灯状態を判定するので、信号機からの発光
色が微妙に変化する場合でも誤認識することがなくな
る。
【0012】請求項2に記載の走路環境認識装置は、請
求項1記載の走路環境認識装置であって、カメラはモノ
クロカメラである。
【0013】カメラにモノクロカメラが使用されるの
で、安価な走路環境認識装置を提供することが可能とな
る。
【0014】請求項3に記載の安全運転支援装置は、車
両前方の画像を撮影するカメラと、カメラによって撮影
された画像から信号機を認識するための画像処理手段
と、画像処理手段によって認識された信号機の画像の中
で、輝度が高い部分の位置によって信号機の点灯状態を
判定するための判定手段と、判定手段による判定結果に
基づいて、使用者に情報を出力するための出力手段とを
含む。
【0015】判定手段は、画像処理手段によって認識さ
れた信号機の画像の中で、輝度が高い部分の位置によっ
て信号機の点灯状態を判定するので、信号機からの発光
色が微妙に変化する場合でも誤認識することがなくな
る。また、出力手段は、判定手段による判定結果に基づ
いて使用者に情報を出力するので、使用者は不注意によ
って信号機の確認を怠った場合でも信号機の点灯状態を
把握することが可能になり、事故を防止できるようにな
る。
【0016】請求項4に記載の自動運転装置は、車両前
方の画像を撮影するカメラと、カメラによって撮影され
た画像から信号機を認識するための画像処理手段と、画
像処理手段によって認識された信号機の画像の中で、輝
度が高い部分の位置によって信号機の点灯状態を判定す
るための判定手段と、判定手段による判定結果に基づい
て、運転を制御するための運転制御手段とを含む。
【0017】判定手段は、画像処理手段によって認識さ
れた信号機の画像の中で、輝度が高い部分の位置によっ
て信号機の点灯状態を判定するので、信号機からの発光
色が微妙に変化する場合でも誤認識することがなくな
る。また、運転制御手段は、判定手段による判定結果に
基づいて運転を制御するので、事故を防止することが可
能になる。
【0018】
【発明の実施の形態】(実施の形態1)図1は、本発明
の実施の形態1における走路環境認識装置が搭載された
車両を説明するための斜視図である。車両1のフロント
ガラスの上部近辺にCCD(Charge Coupled Device )
カメラ(モノクロ)10が設けられ、車両1の前方を撮
影するように設定されている。このCCDカメラ10に
よって、信号機、前方道路および走行レーン等が撮影さ
れる。
【0019】図2は、本実施の形態における走路環境認
識装置の概略構成を示すブロック図である。この走路環
境認識装置は、上述した車両前方を撮影するCCDカメ
ラ10と、CCDカメラ10によって撮影された画像に
対して画像処理を行なう画像処理装置11と、画像処理
装置11によって認識された信号機の点灯状態の検出等
を行なう検出用CPU12とを含む。画像処理装置11
は、CCDカメラ10によって撮影された画像から信号
機を認識する以外に、前方道路(特に、交差点)の形状
および車両1の走行レーン等の認識を行なう。また、検
出用CPU12は、画像処理装置11によって認識され
た信号機の画像から、計算によって交差点(信号機)ま
での距離を求めている。
【0020】図3は、本実施の形態における走路環境認
識装置の処理手順を説明するためのフローチャートであ
る。まず、検出用CPU12は、画像処理装置11によ
る認識結果を入力し、信号機が認識されていればCCD
カメラ10によって撮影された画像から信号機の領域を
切り出す(S10)。画像処理装置11は信号機の認識
時に信号機の大きさや設置高さを抽出しており、検出用
CPU12はこれらの情報と信号機の形状特徴とから信
号機の領域を切り出す。
【0021】次に、検出用CPU12は、切り出した信
号機の画像から信号機の3つの表示位置を特定する(S
11)。ここで、信号機の3つの表示位置が特定できな
ければ、以下の処理には進まない。
【0022】検出用CPU12は、信号機の3つの表示
位置の中で光っている部分(輝度が高い部分)を検出す
ることにより、信号機のどの表示位置が点灯しているか
を認識する。3つの表示位置の中で、左側の表示位置が
光っていれば(S12,Yes)、青信号であると認識
する(S13)。また、左側の表示位置が光っていない
場合(S12,No)、中央の表示位置が光っていれば
(S14,Yes)、黄信号であると認識する(S1
5)。また、中央の表示位置も光っていない場合(S1
4,No)、右側の表示位置が光っていれば(S16,
Yes)、赤信号であると認識する(S17)。また、
右側の表示位置も光っていなければ(S16,No)、
信号機の故障であると認識する(S24)。
【0023】検出用CPU12は、赤信号を認識すると
さらに、信号機の下部に表示される矢印が確認できるか
を調べる。右矢印が確認できれば(S18,Yes)、
右折可能であることを認識する(S19)。また、上矢
印が確認できれば(S20,Yes)、直進可能である
ことを認識する(S21)。また、左矢印が確認できれ
ば(S22、Yes)、左折可能であることを認識する
(S23)。
【0024】以上説明したように、本実施の形態におけ
る走路環境認識装置によれば、信号機の画像の中で輝度
が高い部分を検出することによって信号機の点灯状態を
認識するようにしたので、モノクロCCDカメラを使用
でき、走路環境認識装置を安価にすることが可能となっ
た。また、モノクロCCDカメラを使用しているため、
信号機への太陽光の当たり具合、外乱、他の物体からの
反射光、信号機内の電球の劣化、または信号機の表面の
汚損等によって発光色が微妙に変化した場合でも、誤認
識する恐れがなくなった。
【0025】(実施の形態2)図4は、実施の形態1に
おいて説明した走路環境認識装置を用いた安全運転支援
装置の概略を説明するためのブロック図である。この安
全運転支援装置は、走路環境認識部2と、走路環境認識
部2による認識結果、カーナビゲーション装置3から出
力される地図データ、および車両に搭載されている車載
センサ6の計測結果に基づいて、ブレーキ7、ステアリ
ング8および変速機9等を制御し、安全運転を支援する
ための情報を出力装置5から出力する安全運転支援部4
とを含む。なお、走路環境認識部2は、実施の形態1に
おいて説明した走路環境認識装置と同じ構成および機能
を有しているものとする。また、車載センサ6には、車
速、ウインカ状態、ステアリング状態、変速機状態、ブ
レーキ状態および先行車位置等を検出する計測器が含ま
れる。また、出力装置5には、LCD(Liquid Crystal
Display)やCRT(Cathod Ray Tube )等の表示装置
や、音声合成装置等の報知装置が含まれる。
【0026】たとえば、走路環境認識部2によって信号
機が赤信号であることが認識されており、信号機まで
(交差点まで)の距離が所定以下になっているにもかか
わらず、車載センサ6によって計測された車速が所定速
度以上であり、ブレーキが踏まれていない状態であれ
ば、安全運転支援部4はブレーキ7を制御して車速を落
とし、出力装置5によって危険であることを表示し、音
声によって運転者に知らせる。このように、走路環境認
識部2による認識結果および車載センサ6による計測結
果等に基づいて、安全運転支援部4は、運転者に危険が
迫っていることを報知したり、車両の部品を制御するこ
とによって、運転者による安全運転の支援を行なう。
【0027】以上説明したように、本実施の形態におけ
る安全運転支援装置によれば、実施の形態1における走
路環境認識装置の効果に加えて、信号機の点灯状態の誤
認識の低下により、運転者に対してさらに確実な支援が
行なえるようになった。
【0028】(実施の形態3)図5は、実施の形態1に
おいて説明した走路環境認識装置を用いた自動運転装置
の概略を説明するためのブロック図である。この自動運
転装置は、走路環境認識部2と、走路環境認識部2によ
る認識結果、カーナビゲーション装置3から出力される
地図データ、および車両に搭載されている車載センサ6
の計測結果等に基づいて、ブレーキ7、ステアリング
8、変速機9、アクセル21およびウインカ22等を制
御して自動運転を行なう自動運転部20を含む。なお、
図4に示す実施の形態2における安全運転支援装置と同
じ機能を有する構成については、同じ参照符号を付すこ
ととし、その詳細な説明は繰返さない。
【0029】たとえば、カーナビゲーション装置3から
出力される地図データに基づいて、目的地に向けて自動
運転が行なわれており、交差点で右折をしようとしてい
る場合に、走路環境認識部2によって信号機が赤信号で
あることが認識されており、信号機の下部の右矢印が認
識されているとする。この場合、自動運転部20は、車
載センサ6によって計測された車速が所定速度以上であ
れば、ブレーキ7を制御して車速を所定速度まで落と
し、右折用ウインカ22を点滅させる。そして、ステア
リング8を制御して右折を行なう。このように、カーナ
ビゲーション装置3から出力される地図データ、走路環
境認識部2による認識結果および車載センサ6による計
測結果等に基づいて、自動運転部20は、車両の各部品
を制御して自動運転を行なう。
【0030】以上説明したように、本実施の形態におけ
る自動運転装置によれば、実施の形態1における走路環
境認識装置の効果に加えて、信号機の点灯状態の誤認識
の低下により、さらに確実な自動運転が行なえるように
なった。
【0031】今回開示された実施の形態はすべての点で
例示であって制限的なものではないと考えられるべきで
ある。本発明の範囲は上記した説明ではなくて特許請求
の範囲によって示され、特許請求の範囲と均等の意味お
よび範囲内でのすべての変更が含まれることが意図され
る。
【図面の簡単な説明】
【図1】本発明の実施の形態1における走路環境認識装
置が搭載された車両を説明するための斜視図である。
【図2】本発明の実施の形態1における走路環境認識装
置の概略構成を示すブロック図である。
【図3】本発明の実施の形態1における走路環境認識装
置の処理手順を説明するためのフローチャートである。
【図4】本発明の実施の形態2における安全運転支援装
置の概略を説明するためのブロック図である。
【図5】本発明の実施の形態3における自動運転装置の
概略を説明するためのブロック図である。
【符号の説明】
1 車両 2 走路環境認識部 3 カーナビゲーション装置 4 安全運転支援部 5 出力装置 6 車載センサ 7 ブレーキ 8 ステアリング 9 変速機 10 CCDカメラ 11 画像処理部 12 検出用CPU 20 自動運転部 21 アクセル 22 ウインカ

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 車両前方の画像を撮影するカメラと、 前記カメラによって撮影された画像から信号機を認識す
    るための画像処理手段と、 前記画像処理手段によって認識された信号機の画像の中
    で、輝度が高い部分の位置によって信号機の点灯状態を
    判定するための判定手段とを含む走路環境認識装置。
  2. 【請求項2】 前記カメラはモノクロカメラである、請
    求項1記載の走路環境認識装置。
  3. 【請求項3】 車両前方の画像を撮影するカメラと、 前記カメラによって撮影された画像から信号機を認識す
    るための画像処理手段と、 前記画像処理手段によって認識された信号機の画像の中
    で、輝度が高い部分の位置によって信号機の点灯状態を
    判定するための判定手段と、 前記判定手段による判定結果に基づいて、使用者に情報
    を出力するための出力手段とを含む安全運転支援装置。
  4. 【請求項4】 車両前方の画像を撮影するカメラと、 前記カメラによって撮影された画像から信号機を認識す
    るための画像処理手段と、 前記画像処理手段によって認識された信号機の画像の中
    で、輝度が高い部分の位置によって信号機の点灯状態を
    判定するための判定手段と、 前記判定手段による判定結果に基づいて、運転を制御す
    るための運転制御手段とを含む自動運転装置。
JP10315635A 1998-11-06 1998-11-06 走路環境認識装置およびそれを用いた安全運転支援装置並びに自動運転装置 Pending JP2000149195A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10315635A JP2000149195A (ja) 1998-11-06 1998-11-06 走路環境認識装置およびそれを用いた安全運転支援装置並びに自動運転装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10315635A JP2000149195A (ja) 1998-11-06 1998-11-06 走路環境認識装置およびそれを用いた安全運転支援装置並びに自動運転装置

Publications (1)

Publication Number Publication Date
JP2000149195A true JP2000149195A (ja) 2000-05-30

Family

ID=18067744

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10315635A Pending JP2000149195A (ja) 1998-11-06 1998-11-06 走路環境認識装置およびそれを用いた安全運転支援装置並びに自動運転装置

Country Status (1)

Country Link
JP (1) JP2000149195A (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005182310A (ja) * 2003-12-17 2005-07-07 Denso Corp 車両運転支援装置
JP2006155319A (ja) * 2004-11-30 2006-06-15 Equos Research Co Ltd 走行支援装置
JP2007004500A (ja) * 2005-06-24 2007-01-11 Alpine Electronics Inc 車両周辺物体探知装置
JP2008242986A (ja) * 2007-03-28 2008-10-09 Aisin Aw Co Ltd 運転支援方法及び運転支援装置
ES2306616A1 (es) * 2008-02-12 2008-11-01 Fundacion Cidaut Procedimiento de determinacion de la luminancia de señales de trafico y dispositivo para su realizacion.
JP2013214253A (ja) * 2012-04-04 2013-10-17 Mic Ware:Kk 運転支援装置、運転支援方法、およびプログラム
JP2017130163A (ja) * 2016-01-22 2017-07-27 富士通テン株式会社 信号機の点灯色判定装置および信号機の点灯色判定方法
CN107264570A (zh) * 2017-07-25 2017-10-20 西南交通大学 钢轨光带分布检测装置与方法
JP2022006181A (ja) * 2020-10-26 2022-01-12 アポロ インテリジェント コネクティビティ (ベイジン) テクノロジー カンパニー リミテッド 交通監視方法、装置、機器及び記憶媒体

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005182310A (ja) * 2003-12-17 2005-07-07 Denso Corp 車両運転支援装置
JP4561338B2 (ja) * 2004-11-30 2010-10-13 株式会社エクォス・リサーチ 走行支援装置
JP2006155319A (ja) * 2004-11-30 2006-06-15 Equos Research Co Ltd 走行支援装置
JP2007004500A (ja) * 2005-06-24 2007-01-11 Alpine Electronics Inc 車両周辺物体探知装置
JP2008242986A (ja) * 2007-03-28 2008-10-09 Aisin Aw Co Ltd 運転支援方法及び運転支援装置
WO2009101219A1 (es) 2008-02-12 2009-08-20 Fundacion Cidaut Procedimiento de determinación de la luminancia de señales de tráfico y dispositivo para su realización
ES2306616A1 (es) * 2008-02-12 2008-11-01 Fundacion Cidaut Procedimiento de determinacion de la luminancia de señales de trafico y dispositivo para su realizacion.
US9171362B2 (en) 2008-02-12 2015-10-27 DBI/CIDAUT Technologies, LLC Method for determining the luminance of traffic signs and device for implementing same
US9171360B2 (en) 2008-02-12 2015-10-27 DBI/CIDAUT Technologies, LLC Method for determining the luminance of traffic signs and device for implementing same
US10769458B2 (en) 2008-02-12 2020-09-08 DBI/CIDAUT Technologies, LLC Determination procedure of the luminance of traffic signs and device for its embodiment
JP2013214253A (ja) * 2012-04-04 2013-10-17 Mic Ware:Kk 運転支援装置、運転支援方法、およびプログラム
JP2017130163A (ja) * 2016-01-22 2017-07-27 富士通テン株式会社 信号機の点灯色判定装置および信号機の点灯色判定方法
CN107264570A (zh) * 2017-07-25 2017-10-20 西南交通大学 钢轨光带分布检测装置与方法
CN107264570B (zh) * 2017-07-25 2019-07-05 西南交通大学 钢轨光带分布检测装置与方法
JP2022006181A (ja) * 2020-10-26 2022-01-12 アポロ インテリジェント コネクティビティ (ベイジン) テクノロジー カンパニー リミテッド 交通監視方法、装置、機器及び記憶媒体

Similar Documents

Publication Publication Date Title
JP5421072B2 (ja) 接近物体検知システム
JP4807263B2 (ja) 車両用表示装置
JP3766909B2 (ja) 走行環境認識方法および装置
US11180164B2 (en) Vehicle control apparatus, vehicle, and control method
US20050125121A1 (en) Vehicle driving assisting apparatus
JPH09178505A (ja) 運転支援装置
JP5751423B2 (ja) 運転支援装置
JP2008222153A (ja) 合流支援装置
JP2001211449A (ja) 車両用画像認識装置
KR102199743B1 (ko) 사각지대 영상을 제공하는 운전 보조 시스템 및 그 방법
JP2000251198A (ja) 車両用周辺監視装置
JP2000149195A (ja) 走路環境認識装置およびそれを用いた安全運転支援装置並びに自動運転装置
JP2008217693A (ja) 顔向き警告装置、顔向き警告装置の警告方法
JP2005202787A (ja) 車両用表示装置
JPH0981757A (ja) 車両位置検出装置
JP4269862B2 (ja) 車載用移動体検出装置
KR100282903B1 (ko) 주행도로 차선 이탈 방지장치
JPH01281600A (ja) 走行車両認識装置
JP4028092B2 (ja) 通行区分逸脱警報装置、通行区分逸脱警報方法及び記録媒体
KR20100034281A (ko) 차량의 전방 영상을 이용하는 도로상 요철 검출 시스템
JP4218441B2 (ja) 車載用移動体検出装置
JP2001315575A (ja) 車両周辺視認装置
JP2007022134A (ja) 車両用車線維持支援装置
JP2007261312A (ja) 車両用前照灯制御装置
KR101850030B1 (ko) 조도를 이용한 차선 변경 보조 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070731

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20071218