JP2013092975A - Vehicle recognition device, vehicle recognition method, and program - Google Patents
Vehicle recognition device, vehicle recognition method, and program Download PDFInfo
- Publication number
- JP2013092975A JP2013092975A JP2011235918A JP2011235918A JP2013092975A JP 2013092975 A JP2013092975 A JP 2013092975A JP 2011235918 A JP2011235918 A JP 2011235918A JP 2011235918 A JP2011235918 A JP 2011235918A JP 2013092975 A JP2013092975 A JP 2013092975A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- pixel
- polarized image
- reflected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、撮影された画像から車両を認識する車両認識装置等に関する。 The present invention relates to a vehicle recognition device that recognizes a vehicle from a photographed image.
前方や周囲を撮影する種々のカメラが車両に搭載される場合がある。このような車載カメラを使用して、夜間、同じ車線の先行車両や対向車線の対向車両を認識することで、運転支援が可能になる。例えば、先行車両が認識された場合、車載側のシステムがドライバに警告を出して、衝突に注意喚起を促す。また、対向車両を認識した場合、車載側のシステムがハイビーム状態の前照灯をロービームに切り換えることで、対向車両のドライバの眩惑を抑制する。 Various cameras for photographing the front and surroundings may be mounted on the vehicle. Using such a vehicle-mounted camera, driving assistance can be achieved by recognizing a preceding vehicle in the same lane or an oncoming vehicle in the opposite lane at night. For example, when a preceding vehicle is recognized, the in-vehicle system issues a warning to the driver to prompt attention to the collision. In addition, when the oncoming vehicle is recognized, the vehicle-mounted system switches the high-beam headlight to the low beam, thereby suppressing dazzling of the driver of the oncoming vehicle.
先行車両や対向車両を認識する方法には種々のものがあるが、夜間であれば、先行車両の画像データからテイルランプを検出することで先行車両を認識でき、また、対向車両のヘッドライトを検出することで、対向車両を認識することができる。 There are various methods for recognizing the preceding vehicle and the oncoming vehicle. At night, the preceding vehicle can be recognized by detecting the tail lamp from the image data of the preceding vehicle, and the headlight of the oncoming vehicle is turned on. By detecting, an oncoming vehicle can be recognized.
しかしながら、雨天の場合、濡れた路面にテイルランプやヘッドライトが反射するため、車載カメラが撮影する画像データにライトそのもの以外にライトの反射光(以下、反斜ライトという)が含まれてしまう。このような外乱光の存在は、先行車両、対向車両の認識率を下げることが知られている。 However, in the case of rain, since tail lamps and headlights are reflected on wet road surfaces, the reflected light of the light (hereinafter referred to as anti-oblique light) is included in the image data captured by the in-vehicle camera. The presence of such disturbance light is known to reduce the recognition rate of preceding vehicles and oncoming vehicles.
そこで、雨天の場合に認識率を向上させる技術が提案されている(例えば、特許文献1参照。)。特許文献1には、連続撮影した画像から背景画像を生成し、新しく入力した画像と背景画像の差分で、路面反射領域と車両領域を検出し、路面反射領域を除去した後、車両領域の矩形を抽出し、車両を認識する車両検出方法が開示されている。 Thus, a technique for improving the recognition rate in the case of rainy weather has been proposed (see, for example, Patent Document 1). In Patent Document 1, a background image is generated from continuously captured images, a road surface reflection area and a vehicle area are detected based on a difference between a newly input image and a background image, and after removing the road surface reflection area, a rectangle of the vehicle area is detected. A vehicle detection method for recognizing a vehicle and recognizing the vehicle is disclosed.
しかしながら、特許文献1に開示された車両検出方法は、車両にカメラが固定されているという前提の下、背景画像を抽出することで、車両を認識できる可能性があるが、背景画像を抽出しなければ、先行車両や対向車両の認識できないという問題がある。特に、車載カメラの向きが可変の場合には背景画像を抽出することが困難になる場合がある。 However, although the vehicle detection method disclosed in Patent Literature 1 may recognize the vehicle by extracting the background image on the assumption that the camera is fixed to the vehicle, the background image is extracted. Otherwise, there is a problem that the preceding vehicle and the oncoming vehicle cannot be recognized. In particular, when the orientation of the in-vehicle camera is variable, it may be difficult to extract the background image.
本発明は、上記課題に鑑み、背景画像を抽出することなく、先行車両や対向車両の認識率を向上させることができる車両認識装置を提供することを目的とする。 In view of the above problems, an object of the present invention is to provide a vehicle recognition device that can improve the recognition rate of preceding vehicles and oncoming vehicles without extracting a background image.
本発明は、撮影手段が撮影した画像データからs偏光画像及びp偏光画像を作成する偏光画像作成手段と、前記撮影手段が撮影した画像データから輝度画像を作成する輝度画像作成手段と、s偏光画像及びp偏光画像から、路面に反射した車両ライトの画素領域を検出する反射領域検出手段と、前記輝度画像から前記画素領域を車両認識の認識対象から除外して、前方の車両の光源を認識する車両認識手段と、を有する車両認識装置を提供する。 The present invention relates to a polarized image creating means for creating an s-polarized image and a p-polarized image from image data photographed by the photographing means, a luminance image creating means for creating a luminance image from the image data photographed by the photographing means, and s-polarized light Reflection area detection means for detecting the pixel area of the vehicle light reflected on the road surface from the image and the p-polarized image, and excluding the pixel area from the recognition target of the vehicle recognition from the luminance image to recognize the light source of the vehicle ahead And a vehicle recognition device.
背景画像を抽出することなく、先行車両や対向車両の認識率を向上させることができる車両認識装置を提供することができる。 It is possible to provide a vehicle recognition device that can improve the recognition rate of preceding vehicles and oncoming vehicles without extracting a background image.
以下、本発明を実施するための形態について図面を参照しながら説明する。 Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings.
〔原理構成の概略〕
図1は、本実施形態の車両認識装置による先行車両又は対向車両の認識を説明する図の一例である。自車両の車載カメラ50は同じ走行車線の先行車両又は対向車線の対向車両を含む画像をほぼ周期的に撮影している。図1では先行車両の後部を含む被写体光を撮影しているが、対向車両が含まれる場合もある。撮影される画像データには、先行車両のテイルランプ(以下、対向車両のヘッドライトを含め車両ライトという)だけでなく、路面に反射した先行車両のテイルランプの反射光(以下、反射ライトという)が撮影されている。
[Summary of principle configuration]
FIG. 1 is an example of a diagram illustrating recognition of a preceding vehicle or an oncoming vehicle by the vehicle recognition device of the present embodiment. The in-
本実施形態の車載カメラ50は、偏光フィルタ13を有している。水面に無偏光の光が入射する場合、垂直偏光(s偏光)は反射しやすく、水平偏光(p偏光)は反射しにくいことが知られている。このため、水面からの反射光はs偏光が多くを占めるようになる。
The in-
偏光フィルタ13は、1つのフィルタでs偏光部とp偏光部を有するように構成されている。s偏光部を通過した反射光はs偏光が多くカットされ、p偏光部を通過した反射光はp偏光が多くカットされる。s偏光部を通過した画像を水平偏光画像と呼び、p偏光部を通過した画像を垂直偏光画像と呼ぶことにする。よって、s偏光部を通過した水平偏光画像は、水面からの反射成分を大きく減衰した画像になるが、p偏光部を通過した垂直偏光画像は水面からの反射成分が多く含まれている。
The polarizing
したがって、画像データにおいて反射ライトが撮影された領域は、水平偏光画像の輝度値が小さく、垂直偏光画像の輝度値が大きい傾向になる。本実施形態の車両認識装置は、水平偏光画像と垂直偏光画像のこの違いを利用して、車両認識用の画像データから反射ライト画素を除外する。 Therefore, in the area where the reflected light is photographed in the image data, the luminance value of the horizontally polarized image tends to be small and the luminance value of the vertically polarized image tends to be large. The vehicle recognition apparatus according to the present embodiment uses this difference between the horizontally polarized image and the vertically polarized image to exclude the reflected light pixel from the image data for vehicle recognition.
車両認識装置は、水平偏光画像と垂直偏光画像の対応する画素位置の画素又はいくつかの画素毎に1組の画素値を取り出し、予め作成している識別関数に入力する。識別関数については後述する。識別関数は、反射ライトが撮影されていると画素と撮影されていない画素を識別する。 The vehicle recognition device takes out one set of pixel values for each pixel or several pixels at corresponding pixel positions in the horizontal polarization image and the vertical polarization image, and inputs them to a discrimination function created in advance. The identification function will be described later. The discriminating function discriminates between pixels that are not photographed when the reflected light is photographed.
また、車両認識装置は水平偏光画像と垂直偏光画像から輝度画像を作成しておく。車両認識装置は、輝度画像から反射ライトが撮影されている領域を除外して、先行車両又は対向車両を認識する。 Further, the vehicle recognition apparatus creates a luminance image from the horizontally polarized image and the vertically polarized image. The vehicle recognition device recognizes the preceding vehicle or the oncoming vehicle by excluding the region where the reflected light is captured from the luminance image.
このように、本実施形態の車両認識装置は、路面からの反射光の偏光特性を利用して偏光フィルタで、濡れた路面による車両ライトの反射ライトを除外することで、車両の認識率を向上させ、誤認識率を低減させることができる。 As described above, the vehicle recognition apparatus of the present embodiment improves the vehicle recognition rate by excluding the reflected light of the vehicle light from the wet road surface with the polarization filter using the polarization characteristic of the reflected light from the road surface. And the false recognition rate can be reduced.
〔構成例〕
図2は、車両認識装置100のハードウェア構成について説明するブロック図の一例である。被写体光10は、まず撮影光学系11を通してCCD(Charge Coupled Device)14等の撮像素子に入射される。撮影素子の種類はCMOS(Complementary Metal Oxide Semiconductor)や裏面照射型CMOSなど制限されない。また、撮影光学系11とCCD14との間には、メカシャッタ12が配置されており、このメカシャッタ12によりCCD14への被写体光10を遮断することができる。また、CCD14の手前に偏光フィルタ13が配置されており、被写体光10は偏光フィルタ13を通過してからCCD14に入射する。なお、撮影光学系11及びメカシャッタ12は、CPU(Central Processing Unit)22により制御されるモータドライバ17より駆動される。
[Configuration example]
FIG. 2 is an example of a block diagram illustrating the hardware configuration of the
CCD14は、撮像面に結像された光学像を電気信号に変換して、YCrCbやRGB各色のアナログの画像データとして出力する。CCD14がRGB信号を出力するカラーCCDの場合、所定の回路で輝度信号に変換される。CCD14から出力された画像データは、CDS(Correlated Double Sampling:相関2重サンプリング)回路15によりノイズ成分が除去され、A/D変換器16によりデジタル値に変換された後、画像処理回路21に対して出力される。図2では撮影光学系11からA/D変換器16までを車載カメラ50としているが、車載カメラ50と画像処理系は別体になっていてもよいし、図のように一体となっていてもよい。
The
また、車両認識装置100では、画像処理回路21、CPU22、RAM(Random Access Memory)23、ROM(Read Only Memory)24、SDRAM(SynchronousDRAM)25、圧縮伸張回路26、メモリ27、及び、操作部28はバス29を介して接続されている。画像処理回路21は、画像データを一時格納するSDRAM25を用いて、YCrCb変換処理や、ホワイトバランス制御処理、コントラスト補正処理、エッジ強調処理、色変換処理などの各種画像処理を行う。ホワイトバランス処理は、画像情報の色濃さを調整し、コントラスト補正処理は、画像情報のコントラストを調整する画像処理である。エッジ強調処理は、画像情報のシャープネスを調整し、色変換処理は、画像情報の色合いを調整する画像処理である。また、画像処理回路21は、信号処理や画像処理が施された画像情報をLCD(液晶ディスプレイ)19に表示する。
In the
また、信号処理、画像処理が施された画像データは、圧縮伸張回路26を介してJPEGなどのフォーマットに変換されメモリ27に記録される。メモリ27は、車載カメラ50に内蔵されたフラッシュメモリ又は脱着可能なメモリカードである。圧縮伸張回路26は、操作部28から取得した指示によって、画像処理回路21から出力される画像データを圧縮してメモリ27に書き込む。また、メモリ27から読み出した画像データを伸張して画像処理回路21に出力する。画像処理回路21はLCD19に読み出した画像データを表示する。
The image data that has undergone signal processing and image processing is converted into a format such as JPEG via the compression /
また、CCD14、CDS回路15、及び、A/D変換器16は、タイミング信号を発生するタイミング信号発生器18によりタイミングが制御されている。CPU22は、周囲の明るさや操作部28からの操作内容によってタイミング信号発生器18が生成するタイミングを制御する。なお、画像処理回路21、圧縮伸張回路26、メモリ27も、CPU22によって制御されている。
The timing of the
CPU22はプログラム30などを格納した読み出し専用メモリであるROM24から読み出したプログラム30に従って各種演算処理を行い。各種の処理過程で、各種データ格納エリアなどに読み出し書き込み自在のメモリであるRAM23などをワークエリアとして利用する。プログラム30は記憶媒体40に記憶された状態で配布され、また、ネットワークを介して車両認識装置にダウンロードされる。
The
CPU22はプログラム30を実行して、車両ライト反射光検知、除去、車両認識などを行う。すなわち、CPU22(プロセッサ)が上記ROM24からプログラム30を読み出して実行することにより、プログラム30がRAM23上にロードされ、車両認識結果を出力する。
The
〔偏光フィルタについて〕
図3は、偏光フィルタ13を説明する図の一例である。この偏光フィルタ13は例えば、CCD14の結像面前に貼りつけられている。CCD14に直接貼り付けるのでなく、CCDの手前に配置してもよい。偏光フィルタ13はs偏光部とp偏光部が市松模様状に配置されたフィルタである。本実施形態ではs偏光部は、垂直方向に振動する被写体光10の通過を抑制し、水平偏光を多く通過させるとし、p偏光部は、水平方向に振動する被写体光10の通過を抑制し、垂直偏光を多く通過させるとする。
[About polarizing filter]
FIG. 3 is an example of a diagram illustrating the
したがって、s偏光部を通過した被写体光10は水平偏光画像となり、p偏光部を通過した被写体光10は垂直偏光画像となる。
Accordingly, the
画像データにおいては、s偏光部、p偏光部を通過した光が到達する画素値はほぼ固定である。したがって、1枚の画像データにおいて、s偏光部を通過した光が結象する画素、p偏光部を通過した光が結象する画素は、それぞれ車両認識装置100において既知となっている。
In the image data, the pixel value reached by the light that has passed through the s-polarization part and the p-polarization part is substantially fixed. Accordingly, in one piece of image data, the pixel recognized by the light passing through the s-polarization unit and the pixel formed by the light passing through the p-polarization unit are each known in the
s偏光部とp偏光部の大きさは、CCD14の素子サイズを所定数以上に分割するようにして定められる。例えば、素子サイズを縦横にそれぞれ10〜1000程度に分割する。分割数は大きいほど好ましいが、大きいとCPU等の処理負荷が大きくなるため、実験的に適切な分割数を定める。
The sizes of the s-polarization unit and the p-polarization unit are determined so that the element size of the
なお、偏光フィルタ13の配置は一例であって、市松模様のように配置する以外に、水平方向にs偏光部とp偏光部をライン状に交互に配置してもよいし、垂直方向にs偏光部とp偏光部をライン状に交互に配置してもよい。または、ライン状に斜めに交互に配置することも可能である。また、s偏光部、p偏光部を無作為に配置してもよい。また、CCD14の全面にs偏光部とp偏光部を配置するのでなく、CCD14にs偏光部とp偏光部がない領域を設けてもよい。
The arrangement of the
〔車両認識装置の機能について〕
図4は、車両認識装置100の機能ブロック図の一例である。車両認識装置100は、垂直偏光画像入力部101、水平偏光画像入力部102、輝度画像作成部103、車両ライト反射光検知部104、車両認識部105、及び、車両検知結果出力部106を有する。各機能ブロックは、CPU22がその他のハードウェアと協働しながら上記のプログラム30を実行することで実現される。
[Functions of the vehicle recognition device]
FIG. 4 is an example of a functional block diagram of the
<垂直偏光画像と水平偏光画像の作成>
垂直偏光画像入力部101は、1枚の画像データから垂直偏光画像を作成し、水平偏光画像入力部102は、1枚の画像データから水平偏光画像を作成する。
<Creation of vertically and horizontally polarized images>
The vertically polarized
図5は垂直偏光画像と水平偏光画像の作成を説明する図の一例である。図5の画像データは説明のため縦横の線で表したが、実際には前方の車両や路面が撮影されている。1枚の画像データにはs偏光部とp偏光部を通過した被写体光10がどちらも撮影されている。図5(a)では、s偏光部を通過した被写体光は水平方向の光の振動を多く含み、p偏光部を通過した被写体光は垂直方向の光の振動を多く含むことを示している。よって、図5(a)の縦横のマスの配置は偏光フィルタ13と逆である。
FIG. 5 is an example of a diagram illustrating creation of a vertically polarized image and a horizontally polarized image. Although the image data in FIG. 5 is represented by vertical and horizontal lines for the sake of explanation, the vehicle and the road surface ahead are actually photographed. In one piece of image data, both the
水平偏光画像入力部102は、s偏光部を通過した光が到達する画素の画素値のみを選択的に取り出し、それ以外の画素の画素値を黒画素ゼロ、白画素255又はNULL値等(以下、単にゼロの画素値とする)にしておく。図5(b)に示すように、水平偏光画像は、市松模様状にs偏光部を通過した光の画素値とゼロの画素値が配置されたものになる。図5(b)では白い領域がゼロの画素値で埋められた画素を示す。
The horizontal polarization
垂直偏光画像入力部101は、p偏光部を通過した光が到達する画素の画素値のみを選択的に取り出し、それ以外の画素の画素値をゼロやNULL値等にしておく。図5(c)に示すように、垂直偏光画像は、市松模様状にs偏光部を通過した光の画素値とゼロの画素値が配置されたものになる。水平偏光画像には反射ライトの成分が少なく、垂直偏光画像には反射ライトの成分が多く含まれている。
The vertical polarization
このままでは、水平偏光画像の画素値がある領域に垂直偏光画像の画素値がなく、垂直偏光画像の画素値がある領域に水平偏光画像の画素値がない、という状態であるため、同じ画素の画素値の比較が困難になる。このため、水平偏光画像入力部102は、図5(d)に示すように、水平偏光画像に補間処理を施すことでゼロの画素値を、s偏光部を通過した被写体光10の画素の画素値で補間する。同様に、垂直偏光画像入力部101は、図5(e)に示すように、垂直偏光画像に補間処理を施すことでゼロの画素値を、p偏光部を通過した被写体光10の画素の画素値で補間する。これにより、車両認識装置100は水平偏光画像の画素値と垂直偏光画像の画素値を比較することができる。水平偏光画像及び垂直偏光画像は、SDRAM25に一時的に保存される。
In this state, there is no pixel value of the vertical polarization image in the region with the pixel value of the horizontal polarization image, and there is no pixel value of the horizontal polarization image in the region with the pixel value of the vertical polarization image. It becomes difficult to compare pixel values. For this reason, as shown in FIG. 5D, the horizontal polarization
なお、画素の補間方法には、ニアレストネイバー(例えば、ゼロの画素を左右上下いずれかの画素値で置き換える)、バイリニア(例えば、ゼロの画素に隣接した左右上下の4つの画素の平均値又は4つの画素を関数に入れて画素値を算出し、ゼロの画素の画素値を置き換える)、バイキュービック(例えば、ゼロの画素に隣接した左右上下の16の画素を使用して、バイリニアと同様に置き換える)等を用いる。 The pixel interpolation method includes nearest neighbor (for example, replaces a zero pixel with one of the left, right, top, and bottom pixel values) and bilinear (for example, an average value of four pixels on the left, right, top, and bottom adjacent to a zero pixel or 4 pixels are put into the function to calculate the pixel value and replace the pixel value of the zero pixel), bicubic (for example, using 16 pixels on the left, right, top and bottom adjacent to the zero pixel, just like bilinear Replace).
<車両ライトの反射ライトの検出>
図3に戻り、車両ライト反射光検知部104は、水平偏光画像と垂直偏光画像を使って、画像データから反射ライトを検出する。
<Detection of vehicle light reflected light>
Returning to FIG. 3, the vehicle light reflected
図6(a)は、反射ライトが撮影された画像データを模式的に説明する図の一例である。夜間に路面が濡れている場合、画像データには先行車両のテイルランプLと、路面に反射された反射ライトRがどちらも高い輝度で撮影される。車両ライト反射光検知部104はこのテイルランプLと反射ライトRを識別する。なお、テイルランプLでなく対向車両の前照灯の場合も、ほぼ同様に、前照灯に近い場所に反射ライトRが撮影される。
FIG. 6A is an example of a diagram for schematically explaining image data obtained by photographing a reflection light. When the road surface is wet at night, the tail lamp L of the preceding vehicle and the reflected light R reflected on the road surface are both photographed with high brightness in the image data. The vehicle light reflected
本実施形態では、SVM(Support vector machine)機械学習方法を使って、画像データから反射ライトを検出する。SVMはパターン認識手法の一種で、教師付きデータにより異なるパターンを識別するための識別関数を作成する。また、教師としての学習データの分布に識別境界を定める際にパターン間(クラス間)の距離が最大になるように識別境界を定める(マージン最大化と呼ばれる)。 In the present embodiment, a reflected light is detected from image data by using a support vector machine (SVM) machine learning method. SVM is a kind of pattern recognition technique, and creates an identification function for identifying different patterns based on supervised data. Further, when the identification boundary is determined in the distribution of learning data as a teacher, the identification boundary is determined so that the distance between patterns (between classes) is maximized (called margin maximization).
この学習機能は車両認識装置100に搭載されている必要はなく、車両認識装置100が車両に搭載される前にコンピュータ等の学習装置200が識別関数を作成しておく。このため、図5では学習装置200を車両認識装置100とは別に示した。なお、車両認識装置100に学習機能を搭載してもよい。学習装置200は、車載カメラ50が撮影した画像データから水平偏光画像及び垂直偏光画像を作成するか、又は、少なくとも取得できるようになっている。
This learning function does not need to be installed in the
まず、学習により作成される識別関数について説明する。SVMの識別関数は以下のように表すことができる。
f(x)=sign( g(x))
g(x)= ωtx+b
・sign()関数は、括弧内の数値が正の場合に"1"を、負の場合は"-1"を出力する。括弧内の数値が"0"の場合は"0"を出力する。
・xは入力ベクトルであり、本実施形態では水平偏光画像と垂直偏光画像の同じ場所の1組の画素値である。
・ω、bはg(x)のパラメータであり、ω、bを定めることがSVMの学習になる。
・tは転置行列を示す。
First, the discriminant function created by learning will be described. The SVM discriminant function can be expressed as:
f (x) = sign (g (x))
g (x) = ω t x + b
-The sign () function outputs "1" if the number in parentheses is positive and "-1" if it is negative. If the value in parentheses is “0”, “0” is output.
X is an input vector, which in this embodiment is a set of pixel values at the same location in the horizontally polarized image and vertically polarized image.
Ω and b are parameters of g (x), and determining ω and b is SVM learning.
T indicates a transposed matrix.
入力ベクトルとしてのxは、夜間の路面に車両ライトが反射した画像データであり、所定の領域毎に、車両ライトが反射した画素領域か否かが教師信号yとして与えられている。所定の領域のサイズは、図5で説明した1つのs偏光部又はp偏光部に対応する領域、この領域を複数個まとめた領域などである。s偏光部又はp偏光部に対応する領域1つ分とすると、水平偏光画像と垂直偏光画像のどちらか一方は補間した領域だけとなってしまうので、複数個まとめた領域とすることが好ましい。以下、入力ベクトルとなる水平偏光画像及び垂直偏光画像の領域を、判定領域という。 X as an input vector is image data in which the vehicle light is reflected on the road surface at night, and for each predetermined area, whether or not the pixel area is reflected by the vehicle light is given as a teacher signal y. The size of the predetermined region is a region corresponding to one s-polarization unit or p-polarization unit described with reference to FIG. 5, a region in which a plurality of these regions are combined, or the like. If one region corresponding to the s-polarization portion or the p-polarization portion is used, either the horizontal polarization image or the vertical polarization image is only an interpolated region, and therefore it is preferable that a plurality of regions are collected. Hereinafter, the regions of the horizontal polarization image and the vertical polarization image that are input vectors are referred to as determination regions.
例えば、開発者は、1枚の画像データから生成された水平偏光画像及び垂直偏光画像を判定領域に区分して、例えば目視により確認した反射ライトが撮影されているか否かの判定結果(これが教師信号となる)を対応づける。したがって、水平偏光画像及び垂直偏光画像の1組の判定領域の画像と判定結果が得られる。これが学習データである。よって、入力ベクトルxは水平偏光画像及び垂直偏光画像の2つになる。また、判定結果は、反射ライトが撮影されている判定領域で"1"、それ以外で"−1"とする。なお、学習データは学習装置200のHDD(Hard Disk Drive)などに記憶される。
For example, the developer divides a horizontally polarized image and a vertically polarized image generated from a single piece of image data into determination regions, and determines whether or not a reflected light confirmed by visual observation is photographed (this is a teacher's result). Signal). Therefore, an image and a determination result of a set of determination regions of a horizontally polarized image and a vertically polarized image are obtained. This is learning data. Therefore, there are two input vectors x, a horizontally polarized image and a vertically polarized image. The determination result is “1” in the determination region where the reflected light is photographed, and “−1” otherwise. The learning data is stored in an HDD (Hard Disk Drive) of the
開発者は、反射ライトが撮影された画像データをいくつか用意し、同様に、学習データを生成する。学習に用いられる画像データは、種々の状況で撮影された画像データであることが好ましい。例えば、夜間でも周囲が明るい場合や暗い場合、雨量が多い場合と少ない場合、先行車両との距離が近い場合と遠い場合などである。種々の状況で撮影された画像データで学習することで、反射ライトを車両ライトとして誤認識することが少なくなる。 The developer prepares some image data in which the reflected light is photographed, and similarly generates learning data. The image data used for learning is preferably image data taken in various situations. For example, there are cases where the surroundings are bright or dark at night, when there is a lot of rain, when there is little, and when the distance from the preceding vehicle is short or far. Learning with image data taken in various situations reduces the chance of erroneously recognizing the reflected light as a vehicle light.
より具体的なSVMの学習処理には、ラグランジュ未定定数λを求める処理が必要になる。求め方は公知なので間単に説明する。学習装置200は、1つの学習データ(判定領域と判定結果)に対応して1つのラグランジュ未定乗数λiを定義する。ラグランジュ未定乗数には適当な初期値を与えておき、例えば、最急降下法によりラグランジュ未定乗数を求めることができる。ラグランジュ未定乗数λiを変えながらΔλiの変化量が十分に小さくなると学習できたことになる。ラグランジュ未定乗数λiが求められるとω、bは学習データの数をnとして以下のように求めることができる。
ω=Σλi・yi・xi(1組の学習データとλを乗算したものをn個加算する)
b=ys−wt・xs(xsは任意のxiであり、ysはxiに対応するyiである)
以上のようにして学習装置200が求めたf(x)=sign( g(x))を車両ライト反射光検知部104は予め記憶している。車両の走行中、車両ライト反射光検知部104は、垂直偏光画像入力部101が作成した垂直偏光画像と水平偏光画像入力部102が作成した水平偏光画像を判定領域に区分して、それぞれの例えば平均輝度値Is、Ipを算出し、f(x)に入力する。すなわち、Is、Ipが上記入力ベクトルのxiとなる(この場合はx1,x2の2つ)。
More specific SVM learning processing requires processing for obtaining Lagrange undetermined constant λ. Since the method of obtaining is well known, it will be described briefly. The
ω = Σλi · yi · xi (add one set of learning data multiplied by λ)
b = ys−w t · xs (xs is an arbitrary xi and ys is yi corresponding to xi)
The vehicle light reflected
識別関数f(Is,Ip)は、反射ライトが撮影された判定領域に対し"1"を、それ以外で"−1"を出力する。車両ライト反射光検知部104はこの出力結果を判定領域に対応づけて車両認識部105に通知する。これにより、車両認識部105は、輝度画像のうち、反射ライトが撮影された領域を取得することができる。
The discriminant function f (Is, Ip) outputs “1” for the determination region where the reflected light is photographed, and “−1” otherwise. The vehicle light reflected
なお、SVM以外の機械学習(例えば、ニューラルネットワーク、最近傍識別器(NN法))を利用して、反射ライトが撮影された領域か否かを判定してもよい。 It should be noted that it may be determined whether or not the reflected light is an imaged area by using machine learning other than SVM (for example, a neural network, nearest neighbor classifier (NN method)).
<輝度画像の作成>
図4に戻り、輝度画像作成部103は、SDRAM25に記憶されている水平偏光画像と垂直偏光画像から輝度画像を作成する。作成方法はどのようなものでもよいが、例えば、水平偏光画像と垂直偏光画像の画素単位又はいくつかの画素毎で平均値を算出する。または、開発者などが予め定めておいた重み付けを水平偏光画像と垂直偏光画像に行い加重平均を算出してもよい。
<Creation of luminance image>
Returning to FIG. 4, the luminance
また、偏光フィルタ13を可動式にしておき、偏光フィルタ13を通過した偏光画像と偏光フィルタ13を通過していない画像を交互に撮影し、偏光フィルタ13を通過していない画像から輝度画像を作成してもよい。例えば、車載カメラ50が30〔フレーム/sec〕で撮影している場合、2枚の画像の撮影時刻には33ミリ秒の差がある。同じ車線を走行している車両のテイルランプの反射ライトであれば、撮影された領域はこの時間内にそれほどずれていないと考えてよい。よって、偏光フィルタ13を通過していない画像から、反射ライトが撮影されている画素の領域を除外しても、ほぼ反射ライトの領域を正確に除外できる。また、ステレオカメラのようにほぼ同じ領域を撮影するカメラが別にあれば、そのカメラの輝度画像を使用してもよい。
<車両認識>
車両認識部105は、先行車両のテイルランプ及び対向車両のヘッドライトを検出することで、車両を認識する。認識処理の前に、本実施形態の車両認識部105は、輝度画像から、車両ライト反射光検知部104が検知した反射ライトが撮影された判定領域を除外する。
Also, the
<Vehicle recognition>
The
図6(b)は、反射ライトが撮影された領域が除外された輝度画像を説明する図の一例である。図6(a)に示したように、画像データには反射ライトRが撮影された領域があり、反射ライトRの場所は車両ライト反射光検知部104により検出されている。車両認識部105は、図示するように、輝度画像から反射ライトRの領域を除外する。この除外とは、輝度値が十分に低ければよいので、例えば、黒画素ゼロで置き換えることをいう。
FIG. 6B is an example of a diagram illustrating a luminance image from which an area where the reflected light is captured is excluded. As shown in FIG. 6A, the image data includes a region where the reflected light R is captured, and the location of the reflected light R is detected by the vehicle light reflected
また、輝度画像の画素値を操作するのでなく、反射ライトRの領域を含む矩形領域を車両認識の対象から除外してもよい。
図6(c)は反射ライトが撮影された領域が除外された輝度画像を説明する図の一例である。反射ライトRが撮影されることは、自車両と先行車両の間に別の車両はないことになるので、反射ライトRの領域の近くから車両を認識する必要はない。この場合、例えば、反射ライトRの左端から右端を含み、反射ライトRの上端以下の矩形領域を、認識領域から除外する。なお、対向車両のヘッドライトの反射ライトは、複数の対向車両が撮影されている場合があるので、反射ライトR領域の外接矩形を認識領域から除外する。
Further, instead of manipulating the pixel value of the luminance image, a rectangular area including the area of the reflected light R may be excluded from the vehicle recognition target.
FIG. 6C is an example of a diagram illustrating a luminance image from which an area where the reflected light is captured is excluded. When the reflected light R is photographed, there is no other vehicle between the host vehicle and the preceding vehicle, and therefore it is not necessary to recognize the vehicle from the vicinity of the area of the reflected light R. In this case, for example, a rectangular area that includes the left end to the right end of the reflected light R and is below the upper end of the reflected light R is excluded from the recognition area. Note that the reflected light of the headlight of the oncoming vehicle excludes the circumscribed rectangle of the reflected light R area from the recognition area because a plurality of oncoming vehicles may be photographed.
こうすることで、認識範囲が狭くなるので、CPU22等の処理負荷を低減し、車両の認識にかかる時間を短縮できる。
By doing so, since the recognition range becomes narrow, the processing load on the
車両の認識方法としては公知の手法を採用できるが、本実施形態では上記のSVMを利用する。 As a vehicle recognition method, a known method can be adopted, but in the present embodiment, the above SVM is used.
まず、開発者等が、学習のため、教師用の画像データとして車両ライトが撮影されている画像データと、車両ライトが撮影されていない画像データを用意する。教師用の画像データは、自車両からの距離に応じて用意することが好適である。 First, a developer or the like prepares image data in which a vehicle light is captured as image data for teachers and image data in which a vehicle light is not captured for learning. The teacher image data is preferably prepared according to the distance from the host vehicle.
入力ベクトルxは例えば以下の要素を有する。
x1:車両ライト(輝度が所定以上の領域)の縦横比
x2:明るさ(輝度値)
x3:2つの光源の間の距離
この他、識別に有効な要素を加えることができる。
The input vector x has the following elements, for example.
x1: Aspect ratio of vehicle lights (areas with brightness above a certain level)
x2: Brightness (luminance value)
x3: Distance between two light sources In addition to this, an element effective for identification can be added.
学習時、学習装置200は、画像データを探索し、x1として輝度が所定以上の領域があるとその領域の縦横比を決定する。また、x2としてその領域の輝度値の平均や最大値、最小値などを決定する。また、水平方向に同程度の明るさの領域があるか否かを判定し、ある場合にはx3として2つの明るい領域の中央間の距離を決定する。この組み合わせを入力ベクトルxとする。これにより、自車両と先行車両との距離が大きい場合は、x1,x2、x3がそれぞれ小さい入力ベクトルが得られ、自車両と先行車両との距離が小さい場合は、x1,x2、x3がそれぞれ大きい入力ベクトルが得られる。
During learning, the
このようにして抽出された複数のx1〜x3の組が、車両認識の学習データとなる。また、判定結果yは、車両ライトが撮影されている画像データから抽出されたx1〜x3に対し"1"、車両ライトが撮影されていない画像データから抽出されたx1〜x3に対し"-1"となる。 A set of a plurality of x1 to x3 extracted in this way becomes learning data for vehicle recognition. The determination result y is “1” for x1 to x3 extracted from the image data where the vehicle light is captured, and “−1” for x1 to x3 extracted from the image data where the vehicle light is not captured. "Become.
学習装置200は、最急降下法によりラグランジュ未定定数λを求めることで、ω、bを求める。ここでは識別関数をT(x)として車両認識部105に記憶しておく。
The
車両認識部105は、車両の走行中、輝度画像からx1〜x3を検出し、T(x)に入力する。識別関数T(x1,x2,x3)は、反射ライトが撮影された画像データに対し"1"を、それ以外で"−1"を出力する。車両認識部105は、T(x)の出力が1になった場合の画像データに車両ライトが撮影されていると判定し、x1〜x3が検出された画素の位置情報を特定する。
The
なお、1枚の画像データに複数台の車両の車両ライトが撮影されている場合があるが、この場合、T(x)が"1"を出力したそれぞれのx1〜x3が検出された画素の位置情報をそれぞれ特定すればよい。 In addition, there are cases where the vehicle lights of a plurality of vehicles are captured in one image data. In this case, each of x1 to x3 in which T (x) outputs “1” is detected. What is necessary is just to specify each positional information.
先行車両は車両ライト(テイルランプ)の移動速度が小さく、対向車両は車両ライト(ヘッドライト)の移動速度が大きいので、先行車両と対向車両は識別することができる。 Since the preceding vehicle has a low moving speed of the vehicle light (tail lamp) and the oncoming vehicle has a high moving speed of the vehicle light (headlight), the preceding vehicle and the oncoming vehicle can be distinguished.
以上のように本実施形態では、反射ライトが除外された輝度画像から車両ライトを認識するので、路面の反射光を先行車両や対向車両のライトと誤認識することを低減し、車両の認識率を向上させることができる。 As described above, in the present embodiment, since the vehicle light is recognized from the luminance image from which the reflected light is excluded, the erroneous recognition of the reflected light from the road surface as the light of the preceding vehicle or the oncoming vehicle is reduced, and the vehicle recognition rate is reduced. Can be improved.
<検知結果の出力>
車両検知結果出力部106は、先行車両や対向車両を認識したことを、車載装置に出力する。例えば、車載装置の1つである前照灯システムは、対向車両を認識したという通知を取得すると、ハイビームをロービームに切り換える。または、車両検知結果出力部106は、車載装置として、メータ系のコンピュータや警告装置に通知してもよい。メータ系のコンピュータや警告装置は、警告音を吹鳴したり、「ハイビームをロービームに切り換えてください」などの音声メッセージをスピーカら出力する。また、液晶などのディスプレイに同様のメッセージを表示してもよい。
<Output of detection result>
The vehicle detection
また、例えば、メータ系のコンピュータや警告装置は、先行車両の急接近を検出して、警告音を吹鳴したり、「前方の車両に接近しています」などのメッセージをスピーカやディスプレイに出力する。また、ブレーキ系のコンピュータが自動的制動してもよい。また、所定のコンピュータがシートベルトを巻き上げることで先行車両の接近を運転者に知らせてもよい。 In addition, for example, a meter computer or warning device detects a sudden approach of a preceding vehicle and emits a warning sound or outputs a message such as “approaching a vehicle ahead” to a speaker or display. . Further, a brake computer may automatically brake. In addition, a predetermined computer may raise the seat belt to notify the driver of the approach of the preceding vehicle.
〔動作手順〕
図7は、車両認識装置100が動作する手順を示すフローチャート図の一例である。
S100:車載カメラ50が画像データを撮影する。画像データは、垂直偏光画像入力部101と水平偏光画像入力部102にそれぞれ入力される。
S101:垂直偏光画像入力部101は、垂直偏光画像を作成する。
S102:水平偏光画像入力部102は、水平偏光画像を作成する。なお、S101とS102は並行して行われる。
S103:輝度画像作成部103が、垂直偏光画像と水平偏光画像から輝度画像を作成する。
S104:車両ライト反射光検知部104が、識別関数f(x)に垂直偏光画像と水平偏光画像を入力して、反射ライトが撮影されている画素又は画素領域を検出する。
S105:車両認識部105は、輝度画像から、反射ライトが撮影されている画素又は画素領域を除外して、先行車両及びは対向車両のライトを検出する。
S106:車両認識部105は、1枚の画像データ毎に先行車両又は対向車両が検出されたか否かを判定する。なお、先行車両又は対向車両のライトが検出された場合、先行車両又は対向車両が検出されたものとみなす。1枚だけの画像データでなく、所定枚数以上の画像データから先行車両又は対向車両が検出された場合に、先行車両又は対向車両が検出されたものと判定してもよい。こうすることで、認識精度を向上できる。
S107:先行車両又は対向車両が検出された場合、先行車両又は対向車両が検出されたものとして、車両検知結果出力部106が検知結果を出力する。
[Operation procedure]
FIG. 7 is an example of a flowchart illustrating a procedure in which the
S100: The in-
S101: The vertically polarized
S102: The horizontally polarized
S103: The luminance
S104: The vehicle light reflected
S105: The
S106: The
S107: When the preceding vehicle or the oncoming vehicle is detected, the vehicle detection
車両認識装置100は、以上の処理を画像データに対し繰り返し行う。また、一度、先行車両又は対向車両が認識された場合、1枚毎ではなく所定枚数毎に図7の手順を実行してもよい。こうすることで、CPU22等の処理負荷を低減できる。
The
以上説明したように、本実施形態の車両認識装置100は、水面に反射した車両ライトを偏光フィルタ13で偏光して水平偏光画像と垂直偏光画像を作成することで、車両ライトの反射ライトが映った画像と映っていない画像を作成できる。そして、この2つの画像データにより反射ライトの有無を学習しておくので、走行中の画像データの輝度画像から反射ライトの判定領域を高精度に除外できる。反射ライトの撮影範囲を除去することで車両の誤認識を抑制して、認識精度を向上させることができる。
As described above, the
11 撮影光学系
12 メカシャッタ
13 偏光フィルタ
14 CCD
21 画像処理回路
22 CPU
25 SDRAM
30 プログラム
50 車載カメラ
100 車両認識装置
101 垂直偏光画像入力部
102 水平偏光画像入力部
103 輝度画像作成部
104 車両ライト反射光検知部
105 車両認識部
106 車両検知結果出力部
200 学習装置
11
21
25 SDRAM
DESCRIPTION OF
Claims (9)
前記撮影手段が撮影した画像データから輝度画像を作成する輝度画像作成手段と、
s偏光画像及びp偏光画像から、路面に反射した車両ライトが映った画素領域を検出する反射領域検出手段と、
前記画素領域を車両認識の認識対象から除外した前記輝度画像から、前方の車両の光源を認識する車両認識手段と、
を有することを特徴とする車両認識装置。 Polarized image creation means for creating an s-polarized image and a p-polarized image from image data captured by the imaging means;
Luminance image creating means for creating a luminance image from the image data photographed by the photographing means;
reflection area detection means for detecting a pixel area in which the vehicle light reflected on the road surface is reflected from the s-polarized image and the p-polarized image;
Vehicle recognition means for recognizing a light source of a preceding vehicle from the luminance image excluding the pixel region from a recognition target for vehicle recognition;
A vehicle recognition apparatus comprising:
ことを特徴とする請求項1記載の車両認識装置。 The reflection area detection means inputs the pixel values of the pixel or the plurality of pixels of the s-polarized image and the p-polarized image at the same pixel position to the discrimination function, and the pixel or the plurality of pixels are the pixels in which the vehicle light is reflected. Determine whether it is an area,
The vehicle recognition apparatus according to claim 1.
同じ画素位置のs偏光画像及びp偏光画像の所定領域の画素値、及び、該所定領域に路面に反射した車両ライトが映っているか否かを示す情報との組を、学習手段が機械学習することで生成したものである、ことを特徴とする請求項2記載の車両認識装置。 The discriminant function is
The learning means performs machine learning of a set of a pixel value of a predetermined area of the s-polarized image and the p-polarized image at the same pixel position and information indicating whether or not the vehicle light reflected on the road surface is reflected in the predetermined area. The vehicle recognition device according to claim 2, wherein the vehicle recognition device is generated.
路面に反射した車両ライトが映っていないs偏光画像及びp偏光画像の前記画素領域のそれぞれの画素値が入力されると"−1"を出力する、ことを特徴とする請求項4記載の車両認識装置。 The discrimination function is “1” when each pixel value of the pixel region of the s-polarized image and the p-polarized image in which the vehicle light reflected on the road surface is reflected,
5. The vehicle according to claim 4, wherein “−1” is output when each pixel value of the pixel region of the s-polarized image and the p-polarized image in which the vehicle light reflected on the road surface is not reflected is input. Recognition device.
前記撮影手段が撮影した画像データから輝度画像作成手段が輝度画像を作成する輝度画像作成ステップと、
反射領域検出手段が、s偏光画像及びp偏光画像から、路面に反射した車両ライトが映った画素領域を検出する反射領域検出ステップと、
車両認識手段が、前記画素領域を車両認識の認識対象から除外した前記輝度画像から、前方の車両の光源を認識する車両認識ステップと、
を有することを特徴とする車両認識方法。 A polarization image creating means for creating an s-polarized image and a p-polarized image from the image data photographed by the photographing means;
A luminance image creating step in which the luminance image creating means creates a luminance image from the image data photographed by the photographing means;
A reflection area detecting step for detecting a pixel area in which the vehicle light reflected on the road surface is reflected from the s-polarized image and the p-polarized image;
Vehicle recognition means for recognizing a light source of a vehicle ahead from the luminance image in which the pixel region is excluded from a recognition target for vehicle recognition;
A vehicle recognition method comprising:
ことを特徴とする請求項6記載の車両認識方法。 The reflection area detection means inputs the pixel values of the pixel or the plurality of pixels of the s-polarized image and the p-polarized image at the same pixel position to the discrimination function, and the pixel or the plurality of pixels are the pixels in which the vehicle light is reflected. Determine whether it is an area,
The vehicle recognition method according to claim 6.
前記撮影手段が撮影した画像データから輝度画像を作成する輝度画像作成ステップと、
s偏光画像及びp偏光画像から、路面に反射した車両ライトが映った画素領域を検出する反射領域検出ステップと、
前記画素領域を車両認識の認識対象から除外した前記輝度画像から、前方の車両の光源を認識する車両認識ステップと、
を実行させるプログラム。 A polarization image creation step of creating an s-polarized image and a p-polarized image from image data captured by the imaging means;
A luminance image creating step of creating a luminance image from the image data photographed by the photographing means;
a reflection area detecting step of detecting a pixel area where the vehicle light reflected on the road surface is reflected from the s-polarized image and the p-polarized image;
A vehicle recognition step of recognizing a light source of a vehicle ahead from the luminance image excluding the pixel region from a recognition target for vehicle recognition;
A program that executes
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011235918A JP5895448B2 (en) | 2011-10-27 | 2011-10-27 | Vehicle recognition device, vehicle recognition method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011235918A JP5895448B2 (en) | 2011-10-27 | 2011-10-27 | Vehicle recognition device, vehicle recognition method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013092975A true JP2013092975A (en) | 2013-05-16 |
JP5895448B2 JP5895448B2 (en) | 2016-03-30 |
Family
ID=48616038
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011235918A Expired - Fee Related JP5895448B2 (en) | 2011-10-27 | 2011-10-27 | Vehicle recognition device, vehicle recognition method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5895448B2 (en) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8965052B2 (en) | 2012-06-01 | 2015-02-24 | Ricoh Company, Ltd. | Target recognition system and target recognition method executed by the target recognition system |
US8977006B2 (en) | 2012-06-01 | 2015-03-10 | Ricoh Company, Ltd. | Target recognition system and target recognition method executed by the target recognition system |
KR101526728B1 (en) * | 2013-12-09 | 2015-06-05 | 현대자동차주식회사 | Method for detecting forward obstacle when driving at night |
US9230165B2 (en) | 2013-03-06 | 2016-01-05 | Ricoh Company, Ltd. | Object detection apparatus, vehicle-mounted device control system and storage medium of program of object detection |
US9286523B2 (en) | 2012-10-10 | 2016-03-15 | Ricoh Company, Ltd. | Line recognition apparatus, line recognition method and line recognition program storage medium |
JP2017182215A (en) * | 2016-03-28 | 2017-10-05 | 株式会社ショーワ | Image processing device, on-vehicle image processing device, program, and recording medium |
JP2018147368A (en) * | 2017-03-08 | 2018-09-20 | スズキ株式会社 | Road surface state estimating apparatus |
CN111104812A (en) * | 2019-12-12 | 2020-05-05 | 中国科学院深圳先进技术研究院 | Two-dimensional code recognition device and two-dimensional code detection equipment |
JP2020106724A (en) * | 2018-12-28 | 2020-07-09 | マクセル株式会社 | Holder equipped with polarizer and lens unit equipped with polarizer |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0371399A (en) * | 1989-08-11 | 1991-03-27 | Nagoya Denki Kogyo Kk | Vehicle detecting method |
JP2007086720A (en) * | 2005-08-23 | 2007-04-05 | Photonic Lattice Inc | Polarization imaging device |
JP2011013838A (en) * | 2009-06-30 | 2011-01-20 | Sumitomo Electric Ind Ltd | Mobile object detection device, mobile object detection method and computer program |
JP2012033149A (en) * | 2010-07-01 | 2012-02-16 | Ricoh Co Ltd | Object identification device |
JP2012117872A (en) * | 2010-11-30 | 2012-06-21 | Ricoh Co Ltd | Object detecting device and vehicle-mounted equipment control apparatus equipped with the same |
-
2011
- 2011-10-27 JP JP2011235918A patent/JP5895448B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0371399A (en) * | 1989-08-11 | 1991-03-27 | Nagoya Denki Kogyo Kk | Vehicle detecting method |
JP2007086720A (en) * | 2005-08-23 | 2007-04-05 | Photonic Lattice Inc | Polarization imaging device |
JP2011013838A (en) * | 2009-06-30 | 2011-01-20 | Sumitomo Electric Ind Ltd | Mobile object detection device, mobile object detection method and computer program |
JP2012033149A (en) * | 2010-07-01 | 2012-02-16 | Ricoh Co Ltd | Object identification device |
JP2012117872A (en) * | 2010-11-30 | 2012-06-21 | Ricoh Co Ltd | Object detecting device and vehicle-mounted equipment control apparatus equipped with the same |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8965052B2 (en) | 2012-06-01 | 2015-02-24 | Ricoh Company, Ltd. | Target recognition system and target recognition method executed by the target recognition system |
US8977006B2 (en) | 2012-06-01 | 2015-03-10 | Ricoh Company, Ltd. | Target recognition system and target recognition method executed by the target recognition system |
US9286523B2 (en) | 2012-10-10 | 2016-03-15 | Ricoh Company, Ltd. | Line recognition apparatus, line recognition method and line recognition program storage medium |
US9230165B2 (en) | 2013-03-06 | 2016-01-05 | Ricoh Company, Ltd. | Object detection apparatus, vehicle-mounted device control system and storage medium of program of object detection |
KR101526728B1 (en) * | 2013-12-09 | 2015-06-05 | 현대자동차주식회사 | Method for detecting forward obstacle when driving at night |
JP2017182215A (en) * | 2016-03-28 | 2017-10-05 | 株式会社ショーワ | Image processing device, on-vehicle image processing device, program, and recording medium |
JP2018147368A (en) * | 2017-03-08 | 2018-09-20 | スズキ株式会社 | Road surface state estimating apparatus |
JP2020106724A (en) * | 2018-12-28 | 2020-07-09 | マクセル株式会社 | Holder equipped with polarizer and lens unit equipped with polarizer |
CN111104812A (en) * | 2019-12-12 | 2020-05-05 | 中国科学院深圳先进技术研究院 | Two-dimensional code recognition device and two-dimensional code detection equipment |
CN111104812B (en) * | 2019-12-12 | 2024-01-19 | 中国科学院深圳先进技术研究院 | Two-dimensional code recognition device and two-dimensional code detection equipment |
Also Published As
Publication number | Publication date |
---|---|
JP5895448B2 (en) | 2016-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5895448B2 (en) | Vehicle recognition device, vehicle recognition method, and program | |
JP5867807B2 (en) | Vehicle identification device | |
JP5761601B2 (en) | Object identification device | |
JP5437855B2 (en) | Obstacle detection device, obstacle detection system including the same, and obstacle detection method | |
WO2016136085A1 (en) | Image processing device, image processing method and image capturing element | |
WO2013077132A1 (en) | Image processing apparatus | |
JP4584120B2 (en) | Road marking line detection device, road marking line detection method, road marking line detection program | |
US9542608B2 (en) | Image processing apparatus | |
JP6728634B2 (en) | Detecting device, detecting method and program | |
JP2012027773A (en) | Pseudo grayscale image generation device and program | |
JP2016161973A (en) | Recognition apparatus, recognition method, and program | |
JP2017174380A (en) | Recognition device, method for recognizing object, program, and storage medium | |
JP2020064681A (en) | Recognition device, recognition method, and program | |
JP7261006B2 (en) | External environment recognition device | |
KR100801989B1 (en) | Recognition system for registration number plate and pre-processor and method therefor | |
JP6742736B2 (en) | Lighting color determination device for traffic light and lighting color determination method for traffic light | |
JP2007214806A (en) | Obstacle detection system and obstacle detecting method | |
JP2018072884A (en) | Information processing device, information processing method and program | |
JP2006317193A (en) | Image processing apparatus, imaging processing method and program for processing image | |
JP2007195045A (en) | On-vehicle display device and program | |
CN112287731B (en) | Method and device for constructing ternary image of target and method and device for detecting ternary image of target | |
JP2011098579A (en) | Vehicle tail lamp detecting device | |
JP2018055591A (en) | Information processing apparatus, information processing method and program | |
JP2008171097A (en) | Vehicle recognition apparatus | |
WO2020071132A1 (en) | Camera device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141003 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150625 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150707 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150904 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160202 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160215 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5895448 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |