JP2013092975A - 車両認識装置、車両認識方法、プログラム - Google Patents
車両認識装置、車両認識方法、プログラム Download PDFInfo
- Publication number
- JP2013092975A JP2013092975A JP2011235918A JP2011235918A JP2013092975A JP 2013092975 A JP2013092975 A JP 2013092975A JP 2011235918 A JP2011235918 A JP 2011235918A JP 2011235918 A JP2011235918 A JP 2011235918A JP 2013092975 A JP2013092975 A JP 2013092975A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- pixel
- polarized image
- reflected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
【解決手段】撮影手段50が撮影した画像データからs偏光画像及びp偏光画像を作成する偏光画像作成手段101,102と、前記撮影手段が撮影した画像データから輝度画像を作成する輝度画像作成手段103と、s偏光画像及びp偏光画像から、路面に反射した車両ライトの画素領域を検出する反射領域検出手段104と、前記画素領域を車両認識の認識対象から除外した前記輝度画像から、前方の車両の光源を認識する車両認識手段105と、を有する車両認識装置100を提供する。
【選択図】図1
Description
図1は、本実施形態の車両認識装置による先行車両又は対向車両の認識を説明する図の一例である。自車両の車載カメラ50は同じ走行車線の先行車両又は対向車線の対向車両を含む画像をほぼ周期的に撮影している。図1では先行車両の後部を含む被写体光を撮影しているが、対向車両が含まれる場合もある。撮影される画像データには、先行車両のテイルランプ(以下、対向車両のヘッドライトを含め車両ライトという)だけでなく、路面に反射した先行車両のテイルランプの反射光(以下、反射ライトという)が撮影されている。
図2は、車両認識装置100のハードウェア構成について説明するブロック図の一例である。被写体光10は、まず撮影光学系11を通してCCD(Charge Coupled Device)14等の撮像素子に入射される。撮影素子の種類はCMOS(Complementary Metal Oxide Semiconductor)や裏面照射型CMOSなど制限されない。また、撮影光学系11とCCD14との間には、メカシャッタ12が配置されており、このメカシャッタ12によりCCD14への被写体光10を遮断することができる。また、CCD14の手前に偏光フィルタ13が配置されており、被写体光10は偏光フィルタ13を通過してからCCD14に入射する。なお、撮影光学系11及びメカシャッタ12は、CPU(Central Processing Unit)22により制御されるモータドライバ17より駆動される。
図3は、偏光フィルタ13を説明する図の一例である。この偏光フィルタ13は例えば、CCD14の結像面前に貼りつけられている。CCD14に直接貼り付けるのでなく、CCDの手前に配置してもよい。偏光フィルタ13はs偏光部とp偏光部が市松模様状に配置されたフィルタである。本実施形態ではs偏光部は、垂直方向に振動する被写体光10の通過を抑制し、水平偏光を多く通過させるとし、p偏光部は、水平方向に振動する被写体光10の通過を抑制し、垂直偏光を多く通過させるとする。
図4は、車両認識装置100の機能ブロック図の一例である。車両認識装置100は、垂直偏光画像入力部101、水平偏光画像入力部102、輝度画像作成部103、車両ライト反射光検知部104、車両認識部105、及び、車両検知結果出力部106を有する。各機能ブロックは、CPU22がその他のハードウェアと協働しながら上記のプログラム30を実行することで実現される。
垂直偏光画像入力部101は、1枚の画像データから垂直偏光画像を作成し、水平偏光画像入力部102は、1枚の画像データから水平偏光画像を作成する。
図3に戻り、車両ライト反射光検知部104は、水平偏光画像と垂直偏光画像を使って、画像データから反射ライトを検出する。
f(x)=sign( g(x))
g(x)= ωtx+b
・sign()関数は、括弧内の数値が正の場合に"1"を、負の場合は"-1"を出力する。括弧内の数値が"0"の場合は"0"を出力する。
・xは入力ベクトルであり、本実施形態では水平偏光画像と垂直偏光画像の同じ場所の1組の画素値である。
・ω、bはg(x)のパラメータであり、ω、bを定めることがSVMの学習になる。
・tは転置行列を示す。
ω=Σλi・yi・xi(1組の学習データとλを乗算したものをn個加算する)
b=ys−wt・xs(xsは任意のxiであり、ysはxiに対応するyiである)
以上のようにして学習装置200が求めたf(x)=sign( g(x))を車両ライト反射光検知部104は予め記憶している。車両の走行中、車両ライト反射光検知部104は、垂直偏光画像入力部101が作成した垂直偏光画像と水平偏光画像入力部102が作成した水平偏光画像を判定領域に区分して、それぞれの例えば平均輝度値Is、Ipを算出し、f(x)に入力する。すなわち、Is、Ipが上記入力ベクトルのxiとなる(この場合はx1,x2の2つ)。
図4に戻り、輝度画像作成部103は、SDRAM25に記憶されている水平偏光画像と垂直偏光画像から輝度画像を作成する。作成方法はどのようなものでもよいが、例えば、水平偏光画像と垂直偏光画像の画素単位又はいくつかの画素毎で平均値を算出する。または、開発者などが予め定めておいた重み付けを水平偏光画像と垂直偏光画像に行い加重平均を算出してもよい。
<車両認識>
車両認識部105は、先行車両のテイルランプ及び対向車両のヘッドライトを検出することで、車両を認識する。認識処理の前に、本実施形態の車両認識部105は、輝度画像から、車両ライト反射光検知部104が検知した反射ライトが撮影された判定領域を除外する。
図6(c)は反射ライトが撮影された領域が除外された輝度画像を説明する図の一例である。反射ライトRが撮影されることは、自車両と先行車両の間に別の車両はないことになるので、反射ライトRの領域の近くから車両を認識する必要はない。この場合、例えば、反射ライトRの左端から右端を含み、反射ライトRの上端以下の矩形領域を、認識領域から除外する。なお、対向車両のヘッドライトの反射ライトは、複数の対向車両が撮影されている場合があるので、反射ライトR領域の外接矩形を認識領域から除外する。
x1:車両ライト(輝度が所定以上の領域)の縦横比
x2:明るさ(輝度値)
x3:2つの光源の間の距離
この他、識別に有効な要素を加えることができる。
車両検知結果出力部106は、先行車両や対向車両を認識したことを、車載装置に出力する。例えば、車載装置の1つである前照灯システムは、対向車両を認識したという通知を取得すると、ハイビームをロービームに切り換える。または、車両検知結果出力部106は、車載装置として、メータ系のコンピュータや警告装置に通知してもよい。メータ系のコンピュータや警告装置は、警告音を吹鳴したり、「ハイビームをロービームに切り換えてください」などの音声メッセージをスピーカら出力する。また、液晶などのディスプレイに同様のメッセージを表示してもよい。
図7は、車両認識装置100が動作する手順を示すフローチャート図の一例である。
S100:車載カメラ50が画像データを撮影する。画像データは、垂直偏光画像入力部101と水平偏光画像入力部102にそれぞれ入力される。
S101:垂直偏光画像入力部101は、垂直偏光画像を作成する。
S102:水平偏光画像入力部102は、水平偏光画像を作成する。なお、S101とS102は並行して行われる。
S103:輝度画像作成部103が、垂直偏光画像と水平偏光画像から輝度画像を作成する。
S104:車両ライト反射光検知部104が、識別関数f(x)に垂直偏光画像と水平偏光画像を入力して、反射ライトが撮影されている画素又は画素領域を検出する。
S105:車両認識部105は、輝度画像から、反射ライトが撮影されている画素又は画素領域を除外して、先行車両及びは対向車両のライトを検出する。
S106:車両認識部105は、1枚の画像データ毎に先行車両又は対向車両が検出されたか否かを判定する。なお、先行車両又は対向車両のライトが検出された場合、先行車両又は対向車両が検出されたものとみなす。1枚だけの画像データでなく、所定枚数以上の画像データから先行車両又は対向車両が検出された場合に、先行車両又は対向車両が検出されたものと判定してもよい。こうすることで、認識精度を向上できる。
S107:先行車両又は対向車両が検出された場合、先行車両又は対向車両が検出されたものとして、車両検知結果出力部106が検知結果を出力する。
12 メカシャッタ
13 偏光フィルタ
14 CCD
21 画像処理回路
22 CPU
25 SDRAM
30 プログラム
50 車載カメラ
100 車両認識装置
101 垂直偏光画像入力部
102 水平偏光画像入力部
103 輝度画像作成部
104 車両ライト反射光検知部
105 車両認識部
106 車両検知結果出力部
200 学習装置
Claims (9)
- 撮影手段が撮影した画像データからs偏光画像及びp偏光画像を作成する偏光画像作成手段と、
前記撮影手段が撮影した画像データから輝度画像を作成する輝度画像作成手段と、
s偏光画像及びp偏光画像から、路面に反射した車両ライトが映った画素領域を検出する反射領域検出手段と、
前記画素領域を車両認識の認識対象から除外した前記輝度画像から、前方の車両の光源を認識する車両認識手段と、
を有することを特徴とする車両認識装置。 - 前記反射領域検出手段は、同じ画素位置のs偏光画像及びp偏光画像の画素又は複数の画素の画素値をそれぞれ識別関数に入力して、画素又は複数の画素が、車両ライトが映った前記画素領域か否かを判定する、
ことを特徴とする請求項1記載の車両認識装置。 - 前記識別関数は、
同じ画素位置のs偏光画像及びp偏光画像の所定領域の画素値、及び、該所定領域に路面に反射した車両ライトが映っているか否かを示す情報との組を、学習手段が機械学習することで生成したものである、ことを特徴とする請求項2記載の車両認識装置。 - 前記学習手段はサポートベクターマシンである、ことを特徴とする請求項3記載の車両認識装置。
- 前記識別関数は、路面に反射した車両ライトが映ったs偏光画像及びp偏光画像の前記画素領域のそれぞれの画素値が入力されると"1"を、
路面に反射した車両ライトが映っていないs偏光画像及びp偏光画像の前記画素領域のそれぞれの画素値が入力されると"−1"を出力する、ことを特徴とする請求項4記載の車両認識装置。 - 偏光画像作成手段が、撮影手段が撮影した画像データからs偏光画像及びp偏光画像を作成する偏光画像作成ステップと、
前記撮影手段が撮影した画像データから輝度画像作成手段が輝度画像を作成する輝度画像作成ステップと、
反射領域検出手段が、s偏光画像及びp偏光画像から、路面に反射した車両ライトが映った画素領域を検出する反射領域検出ステップと、
車両認識手段が、前記画素領域を車両認識の認識対象から除外した前記輝度画像から、前方の車両の光源を認識する車両認識ステップと、
を有することを特徴とする車両認識方法。 - 前記反射領域検出手段は、同じ画素位置のs偏光画像及びp偏光画像の画素又は複数の画素の画素値をそれぞれ識別関数に入力して、画素又は複数の画素が、車両ライトが映った前記画素領域か否かを判定する、
ことを特徴とする請求項6記載の車両認識方法。 - 前記識別関数は、同じ画素位置のs偏光画像及びp偏光画像の所定領域の画素値、及び、該所定領域に路面に反射した車両ライトが映っているか否かを示す情報との組を、学習手段が機械学習することで生成したものである、ことを特徴とする請求項7記載の車両認識方法。
- 撮影手段が撮影した画像データからs偏光画像及びp偏光画像を作成する偏光画像作成ステップと、
前記撮影手段が撮影した画像データから輝度画像を作成する輝度画像作成ステップと、
s偏光画像及びp偏光画像から、路面に反射した車両ライトが映った画素領域を検出する反射領域検出ステップと、
前記画素領域を車両認識の認識対象から除外した前記輝度画像から、前方の車両の光源を認識する車両認識ステップと、
を実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011235918A JP5895448B2 (ja) | 2011-10-27 | 2011-10-27 | 車両認識装置、車両認識方法、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011235918A JP5895448B2 (ja) | 2011-10-27 | 2011-10-27 | 車両認識装置、車両認識方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013092975A true JP2013092975A (ja) | 2013-05-16 |
JP5895448B2 JP5895448B2 (ja) | 2016-03-30 |
Family
ID=48616038
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011235918A Expired - Fee Related JP5895448B2 (ja) | 2011-10-27 | 2011-10-27 | 車両認識装置、車両認識方法、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5895448B2 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8965052B2 (en) | 2012-06-01 | 2015-02-24 | Ricoh Company, Ltd. | Target recognition system and target recognition method executed by the target recognition system |
US8977006B2 (en) | 2012-06-01 | 2015-03-10 | Ricoh Company, Ltd. | Target recognition system and target recognition method executed by the target recognition system |
KR101526728B1 (ko) * | 2013-12-09 | 2015-06-05 | 현대자동차주식회사 | 야간 주행 시 전방 장애물 검출 방법 |
US9230165B2 (en) | 2013-03-06 | 2016-01-05 | Ricoh Company, Ltd. | Object detection apparatus, vehicle-mounted device control system and storage medium of program of object detection |
US9286523B2 (en) | 2012-10-10 | 2016-03-15 | Ricoh Company, Ltd. | Line recognition apparatus, line recognition method and line recognition program storage medium |
JP2017182215A (ja) * | 2016-03-28 | 2017-10-05 | 株式会社ショーワ | 画像処理装置、車載用画像処理装置、プログラム、及び記録媒体 |
JP2018147368A (ja) * | 2017-03-08 | 2018-09-20 | スズキ株式会社 | 路面状態推定装置 |
CN111104812A (zh) * | 2019-12-12 | 2020-05-05 | 中国科学院深圳先进技术研究院 | 一种二维码识别装置及二维码检测设备 |
JP2020106724A (ja) * | 2018-12-28 | 2020-07-09 | マクセル株式会社 | 偏光板付きホルダおよび偏光板付きレンズユニット |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0371399A (ja) * | 1989-08-11 | 1991-03-27 | Nagoya Denki Kogyo Kk | 車両検知方法 |
JP2007086720A (ja) * | 2005-08-23 | 2007-04-05 | Photonic Lattice Inc | 偏光イメージング装置 |
JP2011013838A (ja) * | 2009-06-30 | 2011-01-20 | Sumitomo Electric Ind Ltd | 移動体検出装置、移動体検出方法及びコンピュータプログラム |
JP2012033149A (ja) * | 2010-07-01 | 2012-02-16 | Ricoh Co Ltd | 物体識別装置 |
JP2012117872A (ja) * | 2010-11-30 | 2012-06-21 | Ricoh Co Ltd | 物体検出装置及びこれを備えた車載機器制御装置 |
-
2011
- 2011-10-27 JP JP2011235918A patent/JP5895448B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0371399A (ja) * | 1989-08-11 | 1991-03-27 | Nagoya Denki Kogyo Kk | 車両検知方法 |
JP2007086720A (ja) * | 2005-08-23 | 2007-04-05 | Photonic Lattice Inc | 偏光イメージング装置 |
JP2011013838A (ja) * | 2009-06-30 | 2011-01-20 | Sumitomo Electric Ind Ltd | 移動体検出装置、移動体検出方法及びコンピュータプログラム |
JP2012033149A (ja) * | 2010-07-01 | 2012-02-16 | Ricoh Co Ltd | 物体識別装置 |
JP2012117872A (ja) * | 2010-11-30 | 2012-06-21 | Ricoh Co Ltd | 物体検出装置及びこれを備えた車載機器制御装置 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8965052B2 (en) | 2012-06-01 | 2015-02-24 | Ricoh Company, Ltd. | Target recognition system and target recognition method executed by the target recognition system |
US8977006B2 (en) | 2012-06-01 | 2015-03-10 | Ricoh Company, Ltd. | Target recognition system and target recognition method executed by the target recognition system |
US9286523B2 (en) | 2012-10-10 | 2016-03-15 | Ricoh Company, Ltd. | Line recognition apparatus, line recognition method and line recognition program storage medium |
US9230165B2 (en) | 2013-03-06 | 2016-01-05 | Ricoh Company, Ltd. | Object detection apparatus, vehicle-mounted device control system and storage medium of program of object detection |
KR101526728B1 (ko) * | 2013-12-09 | 2015-06-05 | 현대자동차주식회사 | 야간 주행 시 전방 장애물 검출 방법 |
JP2017182215A (ja) * | 2016-03-28 | 2017-10-05 | 株式会社ショーワ | 画像処理装置、車載用画像処理装置、プログラム、及び記録媒体 |
JP2018147368A (ja) * | 2017-03-08 | 2018-09-20 | スズキ株式会社 | 路面状態推定装置 |
JP2020106724A (ja) * | 2018-12-28 | 2020-07-09 | マクセル株式会社 | 偏光板付きホルダおよび偏光板付きレンズユニット |
CN111104812A (zh) * | 2019-12-12 | 2020-05-05 | 中国科学院深圳先进技术研究院 | 一种二维码识别装置及二维码检测设备 |
CN111104812B (zh) * | 2019-12-12 | 2024-01-19 | 中国科学院深圳先进技术研究院 | 一种二维码识别装置及二维码检测设备 |
Also Published As
Publication number | Publication date |
---|---|
JP5895448B2 (ja) | 2016-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5895448B2 (ja) | 車両認識装置、車両認識方法、プログラム | |
JP5867807B2 (ja) | 車両識別装置 | |
JP5761601B2 (ja) | 物体識別装置 | |
JP5437855B2 (ja) | 障害物検知装置およびそれを備えた障害物検知システム、並びに障害物検知方法 | |
WO2016136085A1 (ja) | 画像処理装置と画像処理方法および撮像素子 | |
WO2013077132A1 (ja) | 画像処理装置 | |
JP4584120B2 (ja) | 道路区画線検出装置、道路区画線の検出方法、道路区画線の検出プログラム | |
US9542608B2 (en) | Image processing apparatus | |
JP6728634B2 (ja) | 検知装置、検知方法及びプログラム | |
JP2012027773A (ja) | 擬似濃淡画像生成装置及びプログラム | |
JP2016161973A (ja) | 認識装置、認識方法及びプログラム | |
JP2017174380A (ja) | 認識装置、物体の認識方法、プログラム、及び、記憶媒体 | |
JP2020064681A (ja) | 認識装置、認識方法及びプログラム | |
JP7261006B2 (ja) | 車外環境認識装置 | |
KR100801989B1 (ko) | 번호판 인식 시스템,전처리 장치 및 방법 | |
JP6742736B2 (ja) | 信号機の点灯色判定装置および信号機の点灯色判定方法 | |
JP2007214806A (ja) | 障害物検出システム、及び障害物検出方法 | |
JP2018072884A (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2006317193A (ja) | 画像処理装置、画像処理方法、および画像処理用プログラム | |
JP2007195045A (ja) | 車両用表示装置、プログラム | |
CN112287731B (zh) | 目标的三元图像构建方法和装置及检测方法和装置 | |
JP2011098579A (ja) | 車両のテールランプ検出装置 | |
JP2018055591A (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2008171097A (ja) | 車両用認識装置 | |
WO2020071132A1 (ja) | カメラ装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141003 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150625 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150707 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150904 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160202 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160215 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5895448 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |