JP2010044445A - Vehicle environment recognition device - Google Patents
Vehicle environment recognition device Download PDFInfo
- Publication number
- JP2010044445A JP2010044445A JP2008206050A JP2008206050A JP2010044445A JP 2010044445 A JP2010044445 A JP 2010044445A JP 2008206050 A JP2008206050 A JP 2008206050A JP 2008206050 A JP2008206050 A JP 2008206050A JP 2010044445 A JP2010044445 A JP 2010044445A
- Authority
- JP
- Japan
- Prior art keywords
- color
- vehicle
- environment recognition
- image
- vehicle environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、車両の周辺における環境を認識する装置に関する。 The present invention relates to an apparatus for recognizing an environment around a vehicle.
車載カメラを通じて得られたカラー画像に基づき、車両が走行している道路に設けられている白線または黄色線等のレーンマークを認識するための技術が提案されている（特許文献１参照）。具体的には、まずカラー画像において道路領域に相当する各画素のＲＧＢ平均値に基づいてこの道路領域の明度値が算出される。さらに、この明度値からＲＧＢ平均値が減じられることにより、道路領域の色成分が算出される。そして、この道路領域における色成分に基づき、各画素のＲＧＢ値が補正される。これにより、有彩色の道路等またはヘッドライト等の影響が排除されて白色のレーンマークおよび黄色のレーンマークが識別されうる。
しかし、車両周囲における光の強弱および光の色具合等の光照射状態に応じて、車両が走行している道路に設けられている白線または黄線が赤みまたは青みを帯びた色として認識される等、実際の色とは異なる色が認識される可能性がある。これにより、白線または黄線等のレーンマークの認識精度が低下する可能性がある。 However, the white line or yellow line provided on the road on which the vehicle is traveling is recognized as a reddish or bluish color depending on the light irradiation state such as the intensity of light around the vehicle and the color of light. A color different from the actual color may be recognized. Thereby, the recognition accuracy of lane marks such as white lines or yellow lines may be lowered.
そこで、本発明は、車両の周囲における光照射状態の相違の影響を軽減または解消して、色認識精度の向上を図ることができる装置を提供することを目的とする。 Therefore, an object of the present invention is to provide an apparatus that can reduce or eliminate the influence of the difference in the light irradiation state around the vehicle and improve the color recognition accuracy.
第１発明の車両環境認識装置は、車両の周辺を撮像する撮像装置と、前記撮像装置により撮像された色付きの原画像の基準領域における画素値の平均値を算出し、前記平均値に乗じられることにより前記平均値が実空間における前記基準領域の標準的な色を表わす画素値に一致するような補正係数を算出し、かつ、前記原画像を構成する各画素の画素値に前記補正係数を乗ずることにより色補正画像を生成する第１処理部と、前記第１処理部により生成された前記色補正画像から指定色を有する領域を抽出する第２処理部とを備えていることを特徴とする。 A vehicle environment recognition device according to a first aspect of the present invention calculates an average value of pixel values in a reference region of a colored original image picked up by an image pickup device that picks up the periphery of a vehicle and the image pickup device, and multiplies the average value. As a result, a correction coefficient is calculated such that the average value matches a pixel value representing a standard color of the reference area in real space, and the correction coefficient is applied to the pixel value of each pixel constituting the original image. A first processing unit that generates a color correction image by multiplication; and a second processing unit that extracts a region having a designated color from the color correction image generated by the first processing unit. To do.
第１発明の車両環境認識装置によれば、色付きの原画像の基準領域を構成する画素の画素値の平均値を実空間における当該基準領域の標準的な色を表わす画素値に一致させるような補正係数が算出される。この補正係数は、基準領域の実空間における標準的な色、すなわち、標準的な光照射状態における色から、基準領域の原画像における色がさまざまな光照射状態に応じてどの程度相違しているかを表わす指標となる。したがって、補正係数が原画像を構成する各画素の画素値に乗じられることにより、標準的な光照射状態において撮像装置により撮像された原画像の色を現出させた色補正画像が生成されうる。そして、色補正画像から指定色を有する領域が抽出されることにより、標準的な光照射状態において指定色またはこれに近い色を有する領域が高精度で抽出されうる。このように車両の周囲における光照射状態の相違の影響を軽減または解消して、色認識精度の向上を図ることができる。 According to the vehicle environment recognition device of the first aspect of the invention, the average value of the pixel values constituting the reference area of the colored original image is matched with the pixel value representing the standard color of the reference area in the real space. A correction coefficient is calculated. This correction coefficient is different from the standard color in the real space of the reference area, that is, the color in the standard light irradiation state, according to the various light irradiation conditions. It becomes an index showing. Therefore, the correction coefficient is multiplied by the pixel value of each pixel constituting the original image, so that a color correction image in which the color of the original image captured by the imaging device in the standard light irradiation state appears can be generated. . Then, by extracting a region having a designated color from the color correction image, a region having a designated color or a color close to this in a standard light irradiation state can be extracted with high accuracy. In this way, the influence of the difference in the light irradiation state around the vehicle can be reduced or eliminated, and the color recognition accuracy can be improved.
第２発明の車両環境認識装置は、第１発明の車両環境認識装置において、前記第１処理部が前記原画像を平滑化することにより平滑化画像を生成し、前記基準領域を構成する画素の前記原画像における画素値と前記平滑化画像における画素値との偏差を算出した上で、前記偏差の大きさが指定値を超える画素を前記基準領域から除外した上で前記平均値を算出することを特徴とする。 The vehicle environment recognition apparatus according to a second aspect of the present invention is the vehicle environment recognition apparatus according to the first aspect of the present invention, wherein the first processing unit generates a smoothed image by smoothing the original image, and includes pixels that constitute the reference region. After calculating a deviation between a pixel value in the original image and a pixel value in the smoothed image, excluding pixels whose magnitude of the deviation exceeds a specified value from the reference area, calculating the average value It is characterized by.
第２発明の車両環境認識装置によれば、原画像が平滑化されることにより、原画像において近接する画素間の不規則な画素値の変化の影響が軽減または排除される。このため、原画像における画素値と平滑化画像における画素値との偏差が指定値を超える程度に各画像における画素値が異なるような画素、すなわち、周囲と比較して著しく不規則な画素値を有する画素がノイズとして基準領域から除去される。したがって、ノイズ除去後の基準領域を対象として前記のように補正係数が算出され、かつ、原画像が補正係数に基づいて補正されて色補正画像が生成されることにより、車両の周囲における光照射状態の相違の影響を軽減または解消して、色認識精度の向上を図ることができる。 According to the vehicle environment recognition apparatus of the second aspect of the invention, the influence of irregular pixel value changes between adjacent pixels in the original image is reduced or eliminated by smoothing the original image. For this reason, pixels whose pixel values in each image are different to the extent that the deviation between the pixel value in the original image and the pixel value in the smoothed image exceeds the specified value, that is, pixel values that are significantly irregular compared to the surroundings. Pixels having the same are removed from the reference area as noise. Therefore, the correction coefficient is calculated as described above for the reference area after noise removal, and the original image is corrected based on the correction coefficient to generate a color correction image, so that light irradiation around the vehicle is performed. The influence of the state difference can be reduced or eliminated, and the color recognition accuracy can be improved.
第３発明の車両環境認識装置は、第１発明の車両環境認識装置において、前記第１処理部が前記車両周辺の道路に相当する前記基準領域における画素値の平均値を算出することを特徴とする。 A vehicle environment recognition device according to a third aspect is characterized in that, in the vehicle environment recognition device according to the first aspect, the first processing unit calculates an average value of pixel values in the reference region corresponding to a road around the vehicle. To do.
第３発明の車両環境認識装置によれば、道路の標準的な色を基準として原画像の色または画素値が補正されることにより色補正画像が生成される。そして、前記のように車両の周囲における光照射状態の相違の影響を軽減または解消して、色認識精度の向上を図ることができる。 According to the vehicle environment recognition device of the third aspect of the invention, the color correction image is generated by correcting the color or pixel value of the original image with reference to the standard color of the road. As described above, the influence of the difference in the light irradiation state around the vehicle can be reduced or eliminated to improve the color recognition accuracy.
第４発明の車両環境認識装置は、第１発明の車両環境認識装置において、前記第２処理部が前記指定色として白色または黄色を有する領域を前記色補正画像から抽出することにより、当該領域により構成されるレーンマークを認識することを特徴とする。 The vehicle environment recognition device according to a fourth aspect of the present invention is the vehicle environment recognition device according to the first aspect, wherein the second processing unit extracts a region having white or yellow as the designated color from the color correction image, thereby It is characterized by recognizing a configured lane mark.
第４発明の車両環境認識装置によれば、前記のように車両の周囲における光照射状態の相違の影響を軽減または解消して、色認識精度の向上を図ることができる。このため、標準的な光照射状態において白色または黄色を有するレーンマークの存在が高精度で認識されうる。 According to the vehicle environment recognition device of the fourth aspect of the invention, it is possible to reduce or eliminate the influence of the difference in the light irradiation state around the vehicle as described above and improve the color recognition accuracy. For this reason, the presence of a lane mark having white or yellow in a standard light irradiation state can be recognized with high accuracy.
本発明の車両環境認識装置の実施形態について説明する。まず、車両環境認識装置の構成について説明する。図１および図２に示されている車両環境認識装置１０は車両（四輪自動車）１に搭載されているＥＣＵ（電子制御ユニット）により構成されている。ＥＣＵは、ＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏ回路、Ａ／Ｄ変換回路およびこれらを接続するバスライン等により構成されている。車両１の先端中央部を原点Ｏとし、車両１の右方向、下方向および前方向のそれぞれを＋Ｘ方向、＋Ｙ方向および＋Ｚ方向のそれぞれとする実空間座標系が定義されている。車両環境認識装置１０はＣＣＤカメラまたはＣＭＯＳカラーイメージセンサ等のカメラ（撮像装置）Ｃを備えている。カメラＣは車両１の進行方向前方を撮像範囲とし、車両１の前方道路を含む画像を撮像する。カメラＣは車両１の横幅方向の中心線上に位置するように配置されている。 An embodiment of a vehicle environment recognition device of the present invention will be described. First, the configuration of the vehicle environment recognition device will be described. A vehicle environment recognition device 10 shown in FIGS. 1 and 2 is configured by an ECU (electronic control unit) mounted on a vehicle (four-wheeled vehicle) 1. The ECU includes a CPU, a ROM, a RAM, an I / O circuit, an A / D conversion circuit, a bus line connecting these, and the like. A real space coordinate system is defined in which the center of the front end of the vehicle 1 is the origin O, and the right direction, the downward direction, and the forward direction of the vehicle 1 are the + X direction, the + Y direction, and the + Z direction, respectively. The vehicle environment recognition device 10 includes a camera (imaging device) C such as a CCD camera or a CMOS color image sensor. The camera C captures an image including the road ahead of the vehicle 1 with the forward direction of the vehicle 1 as the imaging range. The camera C is disposed so as to be positioned on the center line of the vehicle 1 in the width direction.
車両環境認識装置１０は第１処理部１１と、第２処理部１２とを備えている。各処理部はたとえばメモリと、このメモリからプログラムを読み出して担当演算処理を実行する演算処理装置（ＣＰＵ）とにより構成されている。第１処理部１１はカメラＣにより撮像されたカラー原画像から基準領域を抽出し、この基準領域における画素値の平均値を算出する。第１処理部１１は算出平均値が実空間における基準領域の標準的な色を表わす画素値に一致するような補正係数を算出する。第１処理部１１は原画像を構成する各画素の画素値に補正係数を乗ずることにより色補正画像を生成する。第２処理部１２は第１処理部１１により生成された色補正画像から指定色を有する領域を抽出する。 The vehicle environment recognition device 10 includes a first processing unit 11 and a second processing unit 12. Each processing unit includes, for example, a memory and an arithmetic processing unit (CPU) that reads a program from the memory and executes assigned arithmetic processing. The first processing unit 11 extracts a reference area from the color original image captured by the camera C, and calculates an average value of pixel values in the reference area. The first processing unit 11 calculates a correction coefficient such that the calculated average value matches the pixel value representing the standard color of the reference area in the real space. The first processing unit 11 generates a color correction image by multiplying the pixel value of each pixel constituting the original image by a correction coefficient. The second processing unit 12 extracts a region having a designated color from the color correction image generated by the first processing unit 11.
車両１には図２に示されているように車両制御装置１００と、車速センサ１０１、加速度センサ１０２およびヨーレートセンサ１０３等のセンサと、操舵装置１１０と、制動装置１２０とがさらに搭載されている。車両制御装置１００は車両環境認識装置１０を構成するＥＣＵと同一のまたは異なるＥＣＵにより構成されている。車速センサ１０１、加速度センサ１０２およびヨーレートセンサ１０３のそれぞれは車両１の速度、加速度およびヨーレートのそれぞれに応じた信号を出力する。操舵装置１１０はステアリングホイールの操作により駆動される前輪操舵機構をアクチュエータにより駆動するように構成されている。なお、操舵装置１１０により前輪駆動機構に代えてまたは加えて後輪操舵機構が駆動されてもよい。車両制御装置１００は車両環境認識装置１０による認識結果等に基づき、操舵装置１１０および制動装置１２０のうち一方または両方の動作を制御することにより車両１の挙動を制御する。 As shown in FIG. 2, the vehicle 1 further includes a vehicle control device 100, sensors such as a vehicle speed sensor 101, an acceleration sensor 102, and a yaw rate sensor 103, a steering device 110, and a braking device 120. . The vehicle control device 100 is configured by an ECU that is the same as or different from the ECU configuring the vehicle environment recognition device 10. Each of the vehicle speed sensor 101, the acceleration sensor 102, and the yaw rate sensor 103 outputs signals corresponding to the speed, acceleration, and yaw rate of the vehicle 1, respectively. The steering device 110 is configured to drive a front wheel steering mechanism driven by operation of a steering wheel by an actuator. The steering device 110 may drive the rear wheel steering mechanism instead of or in addition to the front wheel driving mechanism. The vehicle control device 100 controls the behavior of the vehicle 1 by controlling the operation of one or both of the steering device 110 and the braking device 120 based on the recognition result by the vehicle environment recognition device 10 and the like.
前記構成の車両環境認識装置１０の機能について説明する。まずカメラＣから画像信号が車両環境認識装置１０に入力されることにより第１処理部１１によりカラー原画像が取得される（図３／Ｓ００２）。これにより、たとえば図４（ａ）に示されているように、車両１の前方の様子を示す原画像が取得される。横ｍ画素、縦ｎ画素を有する原画像を構成する各画素ｐij（ｉ＝０〜ｍ−１，ｊ＝０〜ｎ−１）のＲＧＢ値（画素値）（Ｒij，Ｇij，Ｂij）が記憶装置またはメモリに保存される。 The function of the vehicle environment recognition device 10 having the above configuration will be described. First, when an image signal is input from the camera C to the vehicle environment recognition device 10, a color original image is acquired by the first processing unit 11 (FIG. 3 / S002). As a result, for example, as shown in FIG. 4A, an original image showing the front of the vehicle 1 is acquired. The RGB values (pixel values) (Rij, Gij, Bij) of each pixel pij (i = 0 to m-1, j = 0 to n-1) constituting the original image having horizontal m pixels and vertical n pixels are stored. Stored in device or memory.
また、第１処理部１１は原画像を平滑化する（図３／Ｓ００４）。これにより、たとえば図４（ｂ）に示されているような平滑化画像が生成される。平滑化用のカーネルとしては高さ１〜３画素程度であり、かつ、幅１０〜２００画素程度のカーネルが採用される。カーネルの幅は実空間において車両１から遠くなるほど、すなわち、画像において上に位置するほど狭くなるように設定される。なお、ＲＧＢ値のほか、Ｌ*ａ*ｂ*、ＣＭＹ、ＣＭＹＫ、ＣＭＫ、ＨＳＶ、ＨＬＳ等のさまざまな表色系における画素値に基づいて補正係数が算出等されてもよい。たとえば、原画像から生成される輝度画像および彩度画像のうち一方または両方が平滑化されてもよい。各画素ｐijの輝度ＹijはたとえばそのＲＧＢ値（Ｒij，Ｇij，Ｂij）に基づき、関係式（１）にしたがって算出される。各画素ｐijの彩度ＳijはたとえばそのＲＧＢ値の最大値Ｍａｘijおよび最小値Ｍｉｎijに基づき、関係式（２）にしたがって算出される。 The first processing unit 11 smoothes the original image (FIG. 3 / S004). Thereby, for example, a smoothed image as shown in FIG. 4B is generated. As the smoothing kernel, a kernel having a height of about 1 to 3 pixels and a width of about 10 to 200 pixels is employed. The width of the kernel is set to be narrower as it is farther from the vehicle 1 in the real space, that is, as it is positioned higher in the image. In addition to the RGB values, correction coefficients may be calculated based on pixel values in various color systems such as L * a * b * , CMY, CMYK, CMK, HSV, and HLS. For example, one or both of the luminance image and the saturation image generated from the original image may be smoothed. The luminance Yij of each pixel pij is calculated according to the relational expression (1) based on the RGB values (Rij, Gij, Bij), for example. The saturation Sij of each pixel pij is calculated according to the relational expression (2) based on the maximum value Maxij and the minimum value Minij of the RGB values, for example.
Ｙij＝αＲij＋βＧij＋γＢij ‥（１） Yij = αRij + βGij + γBij (1)
Ｓij＝（Ｍａｘij−Ｍｉｎij）／Ｍａｘij ‥（２） Sij = (Maxij−Minij) / Maxij (2)
また、第１処理部１１は基準領域Ｓを構成する各画素ｐijの原画像における画素値および平滑化画像における画素値の偏差εijを算出する（図３／Ｓ００８）。たとえば、図４（ａ）および（ｂ）に太枠で囲まれているように画像下部において車両１の前方道路を包含し、原画像において底辺の上側に頂角を示す頂点が位置する二等辺三角形状の画像領域が基準領域Ｓとして設定されている。なお、基準領域Ｓが車両１の前方道路を包含していれば、その形状は三角形状のほか円形状、楕円形状、矩形状等、さまざまな形状であってもよい。 Further, the first processing unit 11 calculates a deviation εij between the pixel value in the original image and the pixel value in the smoothed image of each pixel pij constituting the reference region S (FIG. 3 / S008). For example, an isosceles side that includes the road ahead of the vehicle 1 in the lower part of the image as shown in a thick frame in FIGS. 4A and 4B, and the vertex indicating the apex angle is located above the base in the original image. A triangular image region is set as the reference region S. As long as the reference region S includes the road ahead of the vehicle 1, the shape may be various shapes such as a circular shape, an elliptical shape, a rectangular shape as well as a triangular shape.
さらに、第１処理部１１は各画素ｐijについて偏差εijが指定値以下であるか否かを判定する（図３／Ｓ０１０）。第１処理部１１は偏差εijの大きさが指定値以下であると判定した場合（図３／Ｓ０１０‥ＹＥＳ）、該当画素ｐijを平均値算出の対象に含ませる（図３／Ｓ０１２）。一方、第１処理部１１は偏差εijが指定値を超えていると判定した場合（図３／Ｓ０１０‥ＮＯ）、該当画素ｐijを平均値算出対象から除外する（図３／Ｓ０１４）。 Further, the first processing unit 11 determines whether or not the deviation εij is equal to or less than a specified value for each pixel pij (FIG. 3 / S010). When the first processing unit 11 determines that the magnitude of the deviation εij is equal to or smaller than the specified value (FIG. 3 / S010... YES), the first pixel 11 includes the corresponding pixel pij in the average value calculation target (FIG. 3 / S012). On the other hand, if the first processing unit 11 determines that the deviation εij exceeds the specified value (FIG. 3 / S010... NO), the first pixel 11 is excluded from the average value calculation target (FIG. 3 / S014).
その上で第１処理部１１は原画像における対象画素のＲＧＢ値（画素値）の平均値（Ｒ^，Ｇ^，Ｂ^）を算出する（図３／Ｓ０１６）。具体的には、各画素ｐijのＲＧＢ値（Ｒij，Ｇij，Ｂij）および対象画素数Ｎに基づき、関係式（３）にしたがって当該平均値（Ｒ^，Ｇ^，Ｂ^）が算出される。「Σ」は対象画素についての和を表わしている。 Then, the first processing unit 11 calculates the average value (R ^, G ^, B ^) of the RGB values (pixel values) of the target pixel in the original image (FIG. 3 / S016). Specifically, based on the RGB value (Rij, Gij, Bij) and the target pixel number N of each pixel pij, the average value (R ^, G ^, B ^) is calculated according to the relational expression (3). . “Σ” represents the sum of the target pixels.
Ｒ^＝ΣＲij／Ｎ，Ｇ^＝ΣＧij／Ｎ，Ｂ^＝ΣＢij／Ｎ ‥（３） R ^ = ΣRij / N, G ^ = ΣGij / N, B ^ = ΣBij / N (3)
さらに、第１処理部１１は平均値（Ｒ^，Ｇ^，Ｂ^）が道路の標準的な色、すなわち、標準的な光照射状態における道路の色を表わすＲＧＢ値（Ｒ0，Ｇ0，Ｂ0）に一致するように補正係数（ｃr，ｃg，ｃb）を算出する（図３／Ｓ０１８）。 Further, the first processing unit 11 has an average value (R ^, G ^, B ^) representing a standard color of the road, that is, an RGB value (R0, G0, B0) representing the color of the road in a standard light irradiation state. ), The correction coefficients (cr, cg, cb) are calculated (FIG. 3 / S018).
そして、第１処理部１１は原画像を構成する各画素ｐijのＲＧＢ値に補正係数を乗じることにより、各画素ｐijが当該乗算結果としてのＲＧＢ値（ｃr・Ｒij，ｃg・Ｇij，ｃb・Ｂij）を有する色補正画像を生成する（図３／Ｓ０２０）。これにより、たとえば図４（ｃ）に示されているような色補正画像が生成される。 The first processing unit 11 multiplies the RGB value of each pixel pij constituting the original image by a correction coefficient, so that each pixel pij has an RGB value (cr · Rij, cg · Gij, cb · Bij) as a result of the multiplication. ) Is generated (FIG. 3 / S020). Thereby, for example, a color correction image as shown in FIG. 4C is generated.
続いて、第２処理部１２が第１処理部１１により生成された色補正画像から指定色を有する領域を抽出する（図３／Ｓ０２２）。具体的には、白色に相当するＲＧＢ値を有する白色画素により構成される白色領域と、黄色に相当するＲＧＢ値を有する黄色画素により構成される黄色領域とが抽出される。そして、実空間（図１参照）において所定のＸ座標範囲に存在し、Ｘ方向およびＺ方向について所定範囲内のサイズを有する等、外形または位置等に関する該当条件を満たす白色領域が白線（白色レーンマーク）として認識される、同様に外形および位置に関する該当条件を満たす黄色領域が黄線（黄色レーンマーク）として認識される。これにより、たとえば図４（ｃ）に示されているように車両１の前方左側において白色レーンマークの存在が認識され、かつ、前方右側において黄色レーンマークの存在が認識される。なお、白色および黄色のほか、青色または赤色等のさまざまな色が指定色として設定され、当該指定色を有する領域が抽出されてもよい。 Subsequently, the second processing unit 12 extracts a region having the designated color from the color correction image generated by the first processing unit 11 (FIG. 3 / S022). Specifically, a white region composed of white pixels having RGB values corresponding to white and a yellow region composed of yellow pixels having RGB values corresponding to yellow are extracted. A white region that satisfies a corresponding condition regarding the outer shape or position, such as having a size within the predetermined range in the X direction and the Z direction, is present in a predetermined space in the real space (see FIG. 1). Similarly, a yellow region that satisfies the relevant conditions regarding the outer shape and position is recognized as a yellow line (yellow lane mark). Thereby, for example, as shown in FIG. 4C, the presence of a white lane mark is recognized on the front left side of the vehicle 1, and the presence of a yellow lane mark is recognized on the front right side. In addition to white and yellow, various colors such as blue or red may be set as the designated color, and an area having the designated color may be extracted.
さらに、この認識結果が車両環境認識装置１０から車両制御装置１００に出力される。これに応じて、車両制御装置１００により一対のレーンマークにより左右が画定される走行帯が決定され、かつ、車両１がこの走行帯からはみ出さないように必要に応じて操舵装置１１０および制動装置１２０のうち一方または両方の動作が制御される。 Further, the recognition result is output from the vehicle environment recognition device 10 to the vehicle control device 100. In response to this, the vehicle control device 100 determines a traveling zone in which left and right are demarcated by the pair of lane marks, and the steering device 110 and the braking device as necessary so that the vehicle 1 does not protrude from the traveling zone. Operation of one or both of 120 is controlled.
前記機能を発揮する車両環境認識装置１０によれば、原画像が平滑化されることにより、原画像において近接する画素間の不規則な画素値の変化の影響が軽減または排除される（図３／Ｓ００４）。このため、原画像における画素値と平滑化画像における画素値との偏差が指定値を超える程度に各画像における画素値が異なるような画素、すなわち、周囲と比較して著しく不規則な画素値を有する画素がノイズとして基準領域から除去される。たとえば、図４（ａ）に示されている原画像において道路にできた溝Ｎ１およびひび割れＮ２に該当する画素の画素値は、図４（ｂ）に示されている平滑化画像において著しく異なるので、補正係数算出に際して考慮されない（図３／Ｓ０１４参照）。 According to the vehicle environment recognition device 10 that exhibits the above function, the influence of irregular pixel value changes between adjacent pixels in the original image is reduced or eliminated by smoothing the original image (FIG. 3). / S004). For this reason, pixels whose pixel values in each image are different to the extent that the deviation between the pixel value in the original image and the pixel value in the smoothed image exceeds the specified value, that is, pixel values that are significantly irregular compared to the surroundings. Pixels having the same are removed from the reference area as noise. For example, the pixel values of the pixels corresponding to the grooves N1 and cracks N2 formed on the road in the original image shown in FIG. 4A are significantly different in the smoothed image shown in FIG. 4B. This is not taken into account when calculating the correction coefficient (see FIG. 3 / S014).
色付きの原画像において車両１の前方道路に相当する基準領域Ｓを構成する画素のＲＧＢ値の平均値を当該基準領域Ｓの実空間における標準的な色、すなわち、道路の標準的な色を表わすＲＧＢ値に一致させるような補正係数が算出される（関係式（４）、図３／Ｓ０１８参照）。この補正係数は、基準領域Ｓの実空間における標準的な色、すなわち、標準的な光照射状態における色から、基準領域Ｓの原画像における色がさまざまな光照射状態に応じてどの程度相違しているかを表わす指標となる。したがって、補正係数が原画像を構成する各画素の画素値に乗じられることにより、標準的な光照射状態においてカメラＣにより撮像された原画像の色を現出させた色補正画像が生成されうる。そして、色補正画像から指定色を有する領域が抽出されることにより、標準的な光照射状態において指定色またはこれに近い色を有する領域が高精度で抽出されうる。このように車両１の周囲における光照射状態の相違の影響を軽減または解消して、色認識精度の向上を図ることができる。特に、ノイズ除去後の基準領域を対象として前記のように補正係数が算出され、かつ、原画像が補正係数に基づいて補正されて色補正画像が生成されることにより、車両の周囲における光照射状態の相違の影響を軽減または解消して、色認識精度の向上を図ることができる。 In the colored original image, the average value of the RGB values of the pixels constituting the reference area S corresponding to the road ahead of the vehicle 1 represents the standard color in the real space of the reference area S, that is, the standard color of the road. A correction coefficient that matches the RGB value is calculated (see relational expression (4), FIG. 3 / S018). This correction coefficient differs from the standard color in the real space of the reference region S, that is, the color in the standard light irradiation state, to the extent that the color in the original image of the reference region S varies depending on various light irradiation states. It becomes an index that shows whether or not. Therefore, the correction coefficient is multiplied by the pixel value of each pixel constituting the original image, so that a color correction image in which the color of the original image captured by the camera C in the standard light irradiation state appears can be generated. . Then, by extracting a region having a designated color from the color correction image, a region having a designated color or a color close to this in a standard light irradiation state can be extracted with high accuracy. Thus, the influence of the difference in the light irradiation state around the vehicle 1 can be reduced or eliminated, and the color recognition accuracy can be improved. In particular, the correction coefficient is calculated as described above for the reference area after noise removal, and the original image is corrected based on the correction coefficient to generate a color correction image. The influence of the state difference can be reduced or eliminated, and the color recognition accuracy can be improved.
１‥車両、１０‥車両環境認識装置、１１‥第１処理部、１２‥第２処理部、Ｃ‥カメラ（撮像装置） DESCRIPTION OF SYMBOLS 1 ... Vehicle, 10 ... Vehicle environment recognition apparatus, 11 ... 1st process part, 12 ... 2nd process part, C ... Cameras (imaging device)
Claims (4)
前記撮像装置により撮像された色付きの原画像の基準領域における画素値の平均値を算出し、前記平均値に乗じられることにより前記平均値が実空間における前記基準領域の標準的な色を表わす画素値に一致するような補正係数を算出し、かつ、前記原画像を構成する各画素の画素値に前記補正係数を乗ずることにより色補正画像を生成する第１処理部と、
前記第１処理部により生成された前記色補正画像から指定色を有する領域を抽出する第２処理部とを備えていることを特徴とする車両環境認識装置。 An imaging device for imaging the periphery of the vehicle;
Pixels representing a standard color of the reference area in real space by calculating an average value of pixel values in a reference area of a colored original image captured by the imaging device and multiplying the average value A first processing unit that calculates a correction coefficient that matches a value, and generates a color correction image by multiplying the pixel value of each pixel constituting the original image by the correction coefficient;
A vehicle environment recognition apparatus comprising: a second processing unit that extracts a region having a designated color from the color correction image generated by the first processing unit.
前記第１処理部が前記原画像を平滑化することにより平滑化画像を生成し、前記基準領域を構成する画素の前記原画像における画素値と前記平滑化画像における画素値との偏差を算出した上で、前記偏差の大きさが指定値を超える画素を前記基準領域から除外した上で前記平均値を算出することを特徴とする車両環境認識装置。 The vehicle environment recognition device according to claim 1,
The first processing unit generates a smoothed image by smoothing the original image, and calculates a deviation between a pixel value in the original image and a pixel value in the smoothed image of pixels constituting the reference region. In the above, the vehicle environment recognition apparatus is characterized in that the average value is calculated after excluding the pixels whose deviation exceeds a specified value from the reference area.
前記第１処理部が前記車両周辺の道路に相当する前記基準領域における画素値の平均値を算出することを特徴とする車両環境認識装置。 The vehicle environment recognition device according to claim 1,
The vehicle environment recognition apparatus, wherein the first processing unit calculates an average value of pixel values in the reference region corresponding to a road around the vehicle.
前記第２処理部が前記指定色として白色または黄色を有する領域を前記色補正画像から抽出することにより、当該領域により構成されるレーンマークを認識することを特徴とする車両環境認識装置。 The vehicle environment recognition device according to claim 1,
The vehicle environment recognition apparatus characterized by recognizing the lane mark comprised by the said 2nd process part by extracting the area | region which has white or yellow as said designated color from the said color correction image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008206050A JP2010044445A (en) | 2008-08-08 | 2008-08-08 | Vehicle environment recognition device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008206050A JP2010044445A (en) | 2008-08-08 | 2008-08-08 | Vehicle environment recognition device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010044445A true JP2010044445A (en) | 2010-02-25 |
Family
ID=42015801
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008206050A Pending JP2010044445A (en) | 2008-08-08 | 2008-08-08 | Vehicle environment recognition device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010044445A (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015219774A (en) * | 2014-05-19 | 2015-12-07 | 本田技研工業株式会社 | Lane mark recognition device |
| EP3016025A2 (en) | 2014-10-27 | 2016-05-04 | Hitachi, Ltd. | Image processing device, image processing method, POI information creation system, warning system, and guidance system |
| EP3096264A1 (en) | 2015-05-20 | 2016-11-23 | Hitachi, Ltd. | Object detection system, object detection method, poi information creation system, warning system, and guidance system |
| CN106650726A (en) * | 2016-12-05 | 2017-05-10 | 渤海大学 | License plate recognition method |
| CN107506686A (en) * | 2017-07-12 | 2017-12-22 | 浙江工业大学 | A kind of vehicle detection at night method based on conspicuousness detection |
| EP2882187B1 (en) * | 2012-08-03 | 2019-03-27 | Clarion Co., Ltd. | In-vehicle imaging device |
| CN110402456A (en) * | 2017-02-28 | 2019-11-01 | 株式会社OPTiM | Abnormality detection system, method for detecting abnormality and program |
-
2008
- 2008-08-08 JP JP2008206050A patent/JP2010044445A/en active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2882187B1 (en) * | 2012-08-03 | 2019-03-27 | Clarion Co., Ltd. | In-vehicle imaging device |
| JP2015219774A (en) * | 2014-05-19 | 2015-12-07 | 本田技研工業株式会社 | Lane mark recognition device |
| EP3016025A2 (en) | 2014-10-27 | 2016-05-04 | Hitachi, Ltd. | Image processing device, image processing method, POI information creation system, warning system, and guidance system |
| JP2016085619A (en) * | 2014-10-27 | 2016-05-19 | 株式会社日立製作所 | Image processing device, image processing method, poi information creation system, warning system, and guidance system |
| US9672606B2 (en) | 2014-10-27 | 2017-06-06 | Hitachi, Ltd. | Image processing device, image processing method, POI information creation system, warning system, and guidance system |
| EP3096264A1 (en) | 2015-05-20 | 2016-11-23 | Hitachi, Ltd. | Object detection system, object detection method, poi information creation system, warning system, and guidance system |
| US9984303B2 (en) | 2015-05-20 | 2018-05-29 | Hitachi, Ltd. | Object detection system, object detection method, POI information creation system, warning system, and guidance system |
| CN106650726A (en) * | 2016-12-05 | 2017-05-10 | 渤海大学 | License plate recognition method |
| CN110402456A (en) * | 2017-02-28 | 2019-11-01 | 株式会社OPTiM | Abnormality detection system, method for detecting abnormality and program |
| CN107506686A (en) * | 2017-07-12 | 2017-12-22 | 浙江工业大学 | A kind of vehicle detection at night method based on conspicuousness detection |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8391555B2 (en) | Lane recognition apparatus for vehicle, vehicle thereof, and lane recognition program for vehicle | |
| JP2010044445A (en) | Vehicle environment recognition device | |
| JP6211614B2 (en) | Imaging apparatus, imaging method, and in-vehicle imaging system | |
| CA2609526C (en) | Vehicle and road sign recognition device | |
| JP5171723B2 (en) | Obstacle detection device and vehicle equipped with the device | |
| US9542608B2 (en) | Image processing apparatus | |
| US20160107645A1 (en) | Departure prevention support apparatus | |
| JP5260696B2 (en) | Edge point extraction device, lane detection device, and program | |
| KR20160023409A (en) | Operating method of lane departure warning system | |
| JP4980939B2 (en) | Image pickup means adjustment device and object detection device | |
| JP7270499B2 (en) | Abnormality detection device, abnormality detection method, posture estimation device, and mobile body control system | |
| CN109523474A (en) | A kind of enhancement method of low-illumination image based on greasy weather degradation model | |
| WO2009119070A1 (en) | Image processing device for vehicle and image processing program | |
| JP2014026396A (en) | Movable surface boundary line recognition device, movable body having movable surface boundary line recognition device, movable surface boundary line recognition method, and movable surface boundary line recognition program | |
| KR102177878B1 (en) | Apparatus and method for processing image | |
| JP7169689B2 (en) | Measurement system, measurement method, and measurement program | |
| JP7122394B2 (en) | Imaging unit controller | |
| JP7148384B2 (en) | Semiconductor device, image processing method and program | |
| WO2020162498A1 (en) | Information processing device | |
| JP5256421B2 (en) | Vehicle environment recognition device | |
| US10614556B2 (en) | Image processor and method for image processing | |
| KR101748649B1 (en) | Apparatus And Method Controlling Head Lamp Using Camera | |
| JP2009245354A (en) | Vehicle drive assist device, vehicle, and vehicle drive assist program | |
| JP2010033173A (en) | Vehicle driving support device | |
| JP2021068125A (en) | Image processor for vehicle |