WO2014129266A1 - 道路標識認識装置 - Google Patents

道路標識認識装置 Download PDF

Info

Publication number
WO2014129266A1
WO2014129266A1 PCT/JP2014/051499 JP2014051499W WO2014129266A1 WO 2014129266 A1 WO2014129266 A1 WO 2014129266A1 JP 2014051499 W JP2014051499 W JP 2014051499W WO 2014129266 A1 WO2014129266 A1 WO 2014129266A1
Authority
WO
WIPO (PCT)
Prior art keywords
road sign
area
light source
luminance
captured image
Prior art date
Application number
PCT/JP2014/051499
Other languages
English (en)
French (fr)
Inventor
泰児 森下
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to DE112014000910.5T priority Critical patent/DE112014000910T5/de
Priority to US14/769,067 priority patent/US20160012307A1/en
Publication of WO2014129266A1 publication Critical patent/WO2014129266A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Definitions

  • the present invention relates to a road sign recognition apparatus for recognizing a road sign in a captured image.
  • the above road sign recognition device has a problem that the processing range for recognizing road signs is wide and the processing load is heavy. Therefore, in view of such problems, it is an object of the present invention to reduce the processing load when a road sign is recognized in a road sign recognition device that recognizes a road sign in a captured image.
  • the first means extracts a high luminance region indicating a region having a luminance higher than a preset reference luminance in the captured image
  • the two means extracts a vehicle light source representing a light source derived from the vehicle in the captured image.
  • the third means excludes the area that matches the vehicle light source in the high brightness area
  • the fourth means recognizes the road sign in the area that excludes the area that matches the vehicle light source in the high brightness area. And a road sign is recognized in the target area.
  • the range for performing the process of recognizing the road sign can be narrowed, and therefore the processing load when recognizing the road sign can be reduced.
  • the computer may be a road sign recognition program for realizing each means constituting the road sign recognition apparatus. Further, the descriptions in the claims can be arbitrarily combined as much as possible. At this time, a part of the configuration may be excluded within a range in which the object of the invention can be achieved.
  • FIG. 1 is a block diagram showing a schematic configuration of a road sign recognition system 1.
  • FIG. It is a flowchart which shows the road sign recognition process which CPU11 of the calculating part 10 performs.
  • (A) is a schematic diagram which shows an example of the captured image by the imaging parameter for imaging a self-light-emitting type road sign
  • (b) is the imaging by the imaging parameter for imaging the road sign which is not a self-light-emitting type.
  • It is a schematic diagram which shows an example of an image. It is explanatory drawing which shows an example of the extraction area
  • a road sign recognition system 1 to which the present invention is applied is mounted on a vehicle that travels on a road such as a passenger car (hereinafter also referred to as a host vehicle), for example. It has a function of recognizing road signs even in a dark road environment such as in a tunnel.
  • the road sign recognition system 1 includes a calculation unit 10, a camera 20, and a display unit 30.
  • the camera 20 uses the traveling direction of the host vehicle (usually in front of the host vehicle) as an imaging range, performs imaging at a predetermined cycle (for example, every 50 ms), and sends the captured image to the calculation unit 10.
  • the camera 20 has a function of setting an imaging parameter indicating a setting at the time of imaging by the camera 20 according to a command from the calculation unit 10.
  • the camera 20 when the camera 20 does not set the imaging parameter by the arithmetic unit 10, the camera 20 sets the imaging parameter by the ambient brightness (the amount of light input to the camera 20, etc.) and performs imaging using the imaging parameter.
  • the imaging parameters include, for example, a gain that represents an amplification factor when a signal generated when light is sensed by the imaging device included in the camera 20, a shutter speed that represents a time during which light is applied to the imaging device, and the like. Can be mentioned.
  • the calculation unit 10 is configured as a known electronic control device including a CPU 11 and a memory 12 such as a ROM or a RAM.
  • the CPU 11 performs various processes such as a road sign recognition process, which will be described later, according to a program (including a road sign recognition program) stored in the memory 12.
  • the calculation unit 10 also includes a database (DB) 13.
  • the database 13 records road sign images and values when the road sign images are digitized by color, brightness, color balance, and the like as sign data for each road sign.
  • the sign data in the database 13 is used for specifying road signs by pattern matching.
  • the database 13 also stores a map for setting the imaging parameters of the camera 20. This map is used in a road sign recognition process described later.
  • the display unit 30 is configured as a well-known display that displays the image generated by the calculation unit 10.
  • the display part 30 is arrange
  • the calculation unit 10 performs a road sign recognition process that is a process of recognizing a road sign from the captured image.
  • the road sign recognition process is a process that is started, for example, when the vehicle is turned on, and is performed at a predetermined cycle (for example, every 100 ms).
  • an image captured by the camera 20 is input (S110).
  • a captured image based on the imaging parameters set by the camera 20 is input.
  • the light source is extracted (S120).
  • a set of pixels having a luminance value equal to or higher than the reference luminance is extracted as a light source (high luminance region) by comparison with a preset reference luminance.
  • a vehicle light source representing a light source derived from the vehicle in the captured image is extracted (S130).
  • a vehicle light source is extracted from the light sources extracted in the process of S110. Note that when extracting the vehicle light source, it is not necessary to extract the vehicle light source from the light sources extracted in the processing of S110, and the vehicle light source can be extracted in any processing.
  • any process can be adopted as the process for extracting the vehicle light source.
  • a known process for identifying a vehicle light source based on a pair of light sources, a moving direction of the light sources, coordinates of the light sources, and the like can be used.
  • the vehicle light source is excluded from the light sources (S140).
  • the extracted light sources that are identified as vehicle light sources are excluded.
  • the vehicle light source can generally be detected at a relatively long distance (for example, 500 to 1000 m), the vehicle light source can be accurately recognized at a distance where the road sign is to be recognized (for example, 100 to 200 m is assumed). High nature. For this reason, in this process, the vehicle light source is accurately removed, and the probability that a road sign at a recognizable distance is erroneously removed is low.
  • a road sign is recognized (S150).
  • the vehicle light source is excluded from the light sources, and a road sign is recognized by performing pattern matching in each remaining region (each target region).
  • the image pattern (luminance, color arrangement, etc.) of the target region is collated with each marker data in the database 13, and a certain degree of consistency is obtained. High signs are recognized as road signs.
  • a relatively bright road sign can be recognized in the captured image by the captured image based on the imaging parameter set by the camera 20 itself. For example, a captured image as shown in FIG. 3A is obtained, and the self-luminous type road sign 41 can be recognized.
  • the imaging parameters are changed so that the road sign 42 that does not emit light can be recognized well (S160).
  • the captured image obtained by changing the imaging parameters as described below is as shown in FIG. 3B, for example. That is, it is understood that the self-luminous type road sign 41 cannot be recognized due to halation, but the non-light-emitting road sign 42 can be recognized well.
  • sign existing areas 51 and 52 representing areas where there is a high possibility that a road sign is present in the captured image already obtained. This is set based on the brightness of the area. However, the imaging parameters are set according to the luminance of the area excluding the vehicle light source in the sign presence areas 51 and 52. This is done so as not to be affected by the brightness of the vehicle light source.
  • the imaging parameter is recorded in the database (the database 13) in which the imaging parameter (gain and shutter time) is uniquely determined. ) To set. In this map, the gain and shutter time are set to increase as the average luminance of the sign presence region (excluding the vehicle light source region) decreases so that a predetermined average luminance and resolution can be obtained in the captured image. Yes.
  • the sign presence area when the sign presence area has a function of recognizing a boundary line (white line or the like) that divides the inside and outside of the travel area, the sign presence area may be set outside the boundary line (outside the travel area).
  • a captured image captured by the camera 20 using the imaging parameters set by the arithmetic unit 10 is input (S210). Then, the same processing as the processing of S120 to S150 described above is performed on this captured image (S220 to S250).
  • the image to be displayed can be a road sign image recorded in the database 13 or another image recorded corresponding to the recognized road sign.
  • the calculation unit 10 extracts a high-brightness region indicating a region whose luminance is higher than a preset reference luminance in the captured image, and is derived from the vehicle in the captured image.
  • a vehicle light source representing a light source to be extracted is extracted.
  • a region that matches the vehicle light source in the high luminance region is excluded), and a region that excludes the region that matches the vehicle light source in the high luminance region is set as a target region for recognizing a road sign, and the target Recognize road signs in the area.
  • the processing load when the road sign is recognized can be reduced.
  • the vehicle light source can be detected farther than the road sign, if the vehicle light source is detected from a distance farther than the distance at which the road sign can be recognized, an area related to the vehicle light source can be excluded early. it can.
  • the calculation unit 10 represents a setting when the camera 20 performs imaging based on the luminance of the sign presence area representing the area where the road sign is highly likely to exist in the captured image. Imaging parameters (such as the shutter speed and gain of the camera 20) are set. And the captured image imaged with the imaging parameter is acquired, and a road sign is recognized from the captured image imaged with the imaging parameter.
  • the imaging is performed again with imaging parameters suitable for imaging the target region, and the road sign is recognized using the captured image. Accuracy can be improved.
  • an auxiliary device such as a configuration for irradiating infrared rays can be eliminated as much as possible.
  • the calculation unit 10 sets imaging parameters based on the luminance of an area excluding an area that matches the vehicle light source in the sign presence area. According to such a road sign recognition system 1, the imaging parameters can be set without being affected by the luminance of the vehicle light source.
  • the calculation unit 10 performs a preset notification corresponding to the recognized road sign. According to such a road sign recognition system 1, since the notification corresponding to the recognized road sign is performed, oversight of the road sign can be suppressed.
  • the calculation unit 10 causes the display unit 30 to display an image indicating the recognized road sign.
  • an image meaning a road sign (the road sign itself or an image showing the meaning of the road sign in characters) is displayed. Even if it exists, a road sign can be alert
  • the same processing as the processing of S120 to S140 is performed on the captured image with the imaging parameter set by the arithmetic unit 10 in the processing of S220 to S240, but at least any of the processing of S220 to S240 is performed. Or may be omitted. That is, it can be said that the captured image (captured image acquired by the process of S110) obtained before changing an imaging parameter, the position of a light source, and the position of a vehicle light source are substantially the same, Therefore Information of these positions is used. (In other words, at least one of the coordinates of the light source and the coordinates of the vehicle light source may be acquired), and the road sign may be recognized using information on these positions.
  • a road sign is recognized in the above process, only the process of S150 or the process of S250 may be performed. Furthermore, in the above-described embodiment, the recognized road sign is displayed on the display unit 30. However, notification by voice or sound may be performed.
  • the road sign recognition system 1 in the above embodiment corresponds to the road sign recognition device referred to in the present invention
  • the camera 20 in the embodiment corresponds to the imaging unit referred to in the present invention.
  • the processes of S120 and S220 correspond to the first means of extracting the high luminance area referred to in the present invention
  • the processes of S130 and S230 extract the vehicle light source referred to in the present invention. This corresponds to the second means.
  • the processes of S140 and S240 correspond to third means for excluding the region that matches the vehicle light source as used in the present invention, and the processes of S150 and S250 are the road referred to in the present invention.
  • the process of S160 corresponds to the fifth means for setting the imaging parameter referred to in the present invention
  • the process of S210 corresponds to the sixth means for acquiring the captured image captured with the imaging parameter referred to in the present invention.
  • the processing corresponds to the seventh means for performing notification in the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Image Processing (AREA)

Abstract

道路標識認識システムにおいては、撮像画像中において予め設定された基準輝度よりも輝度が高い領域を示す高輝度領域を抽出し（Ｓ１２０、Ｓ２２０）、撮像画像中において車両に由来する光源を表す車両光源を抽出する（Ｓ１３０、Ｓ２３０）。そして、高輝度領域のうちの車両光源と一致する領域を除外し（Ｓ１４０、Ｓ２４０）、高輝度領域のうちの車両光源と一致する領域を除外した領域を、道路標識を認識するための対象領域とし、該対象領域において道路標識を認識する（Ｓ１５０、Ｓ２５０）。この結果、道路標識を認識する処理を実施する範囲を狭くすることができ、道路標識を認識する際の処理負荷を軽減することができる。

Description

道路標識認識装置
　本発明は、撮像画像中の道路標識を認識する道路標識認識装置に関する。
　上記の道路標識認識装置として、近赤外線を照射し、道路標識でないことが明らかな黒い領域以外の領域において道路標識を検索し、検索された道路標識を認識するものが知られている（例えば、特許文献１参照）。
特願２００６－１１５６２４号公報
　しかしながら、上記道路標識認識装置では、道路標識を認識する処理を実施する範囲が広く、処理負荷が重いという問題点があった。そこで、このような問題点を鑑み、撮像画像中の道路標識を認識する道路標識認識装置において、道路標識を認識する際の処理負荷を軽減できるようにすることを本発明の目的とする。
　かかる目的を達成するために成された本発明の道路標識認識装置において、第一手段は、撮像画像中において予め設定された基準輝度よりも輝度が高い領域を示す高輝度領域を抽出し、第二手段は、撮像画像中において車両に由来する光源を表す車両光源を抽出する。そして、第三手段は、高輝度領域のうちの車両光源と一致する領域を除外し、第四手段は、高輝度領域のうちの車両光源と一致する領域を除外した領域を、道路標識を認識するための対象領域とし、該対象領域において道路標識を認識する。
　このような道路標識認識装置によれば、道路標識を認識する処理を実施する範囲を狭くすることができるので、道路標識を認識する際の処理負荷を軽減することができる。
　なお、上記目的を達成するためには、コンピュータを、道路標識認識装置を構成する各手段として実現するための道路標識認識プログラムとしてもよい。また、各請求項の記載は、可能な限りにおいて任意に組み合わせることができる。この際、発明の目的を達成できる範囲内において一部構成を除外してもよい。
道路標識認識システム１の概略構成を示すブロック図である。 演算部１０のＣＰＵ１１が実行する道路標識認識処理を示すフローチャートである。 （ａ）は、自発光タイプの道路標識を撮像するための撮像パラメータによる撮像画像の一例を示す模式図であり、（ｂ）は、自発光タイプでない道路標識を撮像するための撮像パラメータによる撮像画像の一例を示す模式図である。 道路標識の抽出領域の一例を示す説明図である。
　以下に本発明にかかる実施の形態を図面と共に説明する。
　［本実施形態の構成］
　本発明が適用された道路標識認識システム１は、例えば乗用車等の道路を走行する車両（以下、自車両ともいう。）に搭載され、昼間のような明るい状態の道路環境だけでなく、夜間やトンネル内のような暗い状態の道路環境においても、道路標識を認識する機能を有する。詳細には、図１に示すように、道路標識認識システム１は、演算部１０と、カメラ２０と、表示部３０とを備えている。
　カメラ２０は、自車両の進行方向（通常は自車両の前方）を撮像範囲とし、所定の周期（例えば５０ｍｓ毎）で撮像を行い、撮像画像を演算部１０に送る。また、カメラ２０は、カメラ２０による撮像時の設定を表す撮像パラメータを演算部１０からの指令によって設定する機能を有する。
　ただし、カメラ２０は演算部１０によって撮像パラメータを設定されないときには、自身において周囲の明るさ（カメラ２０に入力される光量等）によって撮像パラメータを設定し、この撮像パラメータを用いて撮像を行う。なお、撮像パラメータとしては、例えば、カメラ２０が備える撮像素子にて光を感知したとき発生する信号を増幅する際の増幅率を表すゲインや、撮像素子に光を当てる時間を表すシャッタスピード等が挙げられる。
　演算部１０は、ＣＰＵ１１と、ＲＯＭ、ＲＡＭ等のメモリ１２とを備えた周知の電子制御装置として構成されている。ＣＰＵ１１は、メモリ１２に格納されたプログラム（道路標識認識プログラムを含む）に従って、後述する道路標識認識処理等の各種処理を実施する。
　また、この演算部１０は、データベース（ＤＢ）１３も備えている。データベース１３には、道路標識の画像や、道路標識の画像を色や輝度、色のバランス等によって数値化したときの値が、道路標識毎に標識データとして記録されている。データベース１３内の標識データは、道路標識をパターンマッチングにて特定するために利用される。
　また、データベース１３にはカメラ２０の撮像パラメータを設定するためのマップも記録されている。このマップは後述する道路標識認識処理にて利用される。
　表示部３０は、演算部１０にて生成された画像を表示させる周知のディスプレイとして構成されている。表示部３０は、自車両の運転者が運転中に視認可能な位置に配置されている。
　［本実施形態の処理］
　演算部１０は、撮像画像中から道路標識を認識する処理である道路標識認識処理を実施する。道路標識認識処理は、例えば車両の電源が投入されると開始され、所定の周期（例えば１００ｍｓ毎）に実施される処理である。
　道路標識認識処理は、図２に示すように、まず、カメラ２０による撮像画像を入力する（Ｓ１１０）。この処理では、カメラ２０が自ら設定した撮像パラメータに基づく撮像画像を入力する。
　続いて、光源の抽出を行う（Ｓ１２０）。この処理では、撮像画像を構成する画素毎に、予め設定された基準輝度と比較し、基準輝度以上の輝度値を有する画素の集合を光源（高輝度領域）として抽出する。
　そして、撮像画像中において車両に由来する光源を表す車両光源を抽出する（Ｓ１３０）。本処理では、Ｓ１１０の処理にて抽出した光源の中から車両光源を抽出する。なお、車両光源を抽出する際には、Ｓ１１０の処理にて抽出した光源の中から車両光源を抽出する必要はなく、任意の処理において車両光源を抽出することができる。
　また、車両光源を抽出する処理としては任意の処理を採用できる。例えば、光源のペア、光源の移動方向、光源の座標等に基づいて車両光源を特定する周知の処理を利用することができる。
　続いて、光源から車両光源を除外する（Ｓ１４０）。この処理では、抽出された光源のうち、車両光源であると特定されたもの（光源と車両光源との座標が一致するもの）を除外する。
　車両光源は比較的遠方（例えば５００～１０００ｍ）で検出できることが一般的であるため、道路標識を認識しようとする距離（例えば、１００～２００ｍを想定）では車両光源が正確に認識されている可能性が高い。このため、この処理においては車両光源が精度よく除去され、認識可能な距離にある道路標識が誤って除去される確率は低い。
　続いて、道路標識の認識を行う（Ｓ１５０）。この処理では、光源から車両光源を除外し、残った各領域（各対象領域）において、パターンマッチングを行うことで道路標識を認識する。パターンマッチングの際には、対象領域毎に、対象領域の画像パターン（輝度や色の配置等）をデータベース１３中の各標識データと照合し、ある程度の整合性が得られ、かつ最も整合性が高い標識が、道路標識として認識される。
　Ｓ１５０までの処理では、カメラ２０自身が設定した撮像パラメータによる撮像画像によって、撮像画像中において比較的明るい道路標識が認識できると考えられる。例えば、図３（a）に示すような撮像画像が得られ、自発光タイプの道路標識４１が認識できる。
　しかしながら、この撮像画像だけからは発光しない道路標識４２を認識することが難しい。発光しない道路標識４２を認識するには輝度が不足しているからである。そこで、本実施形態では、発光しない道路標識４２も良好に認識できるように、撮像パラメータを変更する（Ｓ１６０）。
　以下に述べるように撮像パラメータを変更して得られる撮像画像は、例えば図３（ｂ）に示すようになる。すなわち、自発光タイプの道路標識４１はハレーションによって認識できなくなっているが、発光しない道路標識４２が良好に認識できるようになっていることが分かる。
　撮像パラメータを設定する際には、図４に示すように、既に得られている撮像画像中の道路標識が存在する可能性が高い領域を表す標識存在領域５１，５２（図４の破線で囲んだ領域）の輝度に基づいて設定する。ただし、撮像パラメータは、標識存在領域５１，５２のうちの、車両光源を除く領域の輝度に従って設定される。このようにするのは、車両光源の明るさの影響を受けないようにするためである。
　撮像パラメータは、例えば、標識存在領域５１，５２（車両光源の領域を除く）の平均輝度が決まると、撮像パラメータ（ゲインやシャッタ時間）が一義的に求められるマップ（データベース１３に記録されている）を利用して設定される。このマップでは、撮像画像において所定の平均輝度と解像度とが得られるように、標識存在領域（車両光源の領域を除く）の平均輝度が低くなるにつれて、ゲインやシャッタ時間が大きくなるよう設定されている。
　ここで、標識存在領域は、走行領域の内外を区分する境界線（白線等）を認識する機能を備えている場合には、その境界線の外側（走行領域外）に設定してもよい。
　続いて、演算部１０によって設定された撮像パラメータを利用してカメラ２０にて撮像された撮像画像を入力する（Ｓ２１０）。そして、この撮像画像に対して、前述のＳ１２０～Ｓ１５０の処理と同様の処理を実施する（Ｓ２２０～Ｓ２５０）。
　続いて、Ｓ１５０の処理およびＳ２５０の処理において認識できた道路標識と同様の標識を、表示部３０に表示させる（Ｓ３１０）。この際、表示させる画像は、データベース１３に記録された道路標識の画像や、認識した道路標識に対応して記録されている別の画像とすることができる。
　このような処理が終了すると、道路標識認識処理を終了する。
　［本実施形態による効果］
　以上のように詳述した道路標識認識システム１において演算部１０は、撮像画像中において予め設定された基準輝度よりも輝度が高い領域を示す高輝度領域を抽出し、撮像画像中において車両に由来する光源を表す車両光源を抽出する。そして、高輝度領域のうちの車両光源と一致する領域を除外し）、高輝度領域のうちの車両光源と一致する領域を除外した領域を、道路標識を認識するための対象領域とし、該対象領域において道路標識を認識する。
　このような道路標識認識システム１によれば、道路標識を認識する処理を実施する範囲を狭くすることができるので、道路標識を認識する際の処理負荷を軽減することができる。また、車両光源は道路標識よりも遠くで検出することができるため、道路標識を認識できる距離よりも遠くから車両光源を検出しておけば、車両光源に関する領域を早期に除外しておくことができる。
　また、上記道路標識認識システム１において演算部１０は、撮像画像中において道路標識が存在する可能性が高い領域を表す標識存在領域の輝度に基づいて、カメラ２０が撮像を行う際の設定を表す撮像パラメータ（カメラ２０のシャッタスピードやゲイン等）を設定する。そして、撮像パラメータで撮像された撮像画像を取得し、撮像パラメータで撮像された撮像画像から道路標識を認識する。
　このような道路標識認識システム１によれば、対象領域を撮像するのに適した撮像パラメータで再度撮像を行い、この撮像画像を利用して道路標識を認識するので、道路標識を認識する際の精度を向上させることができる。また、撮像パラメータを適切に設定するので、例えば赤外線を照射する構成等の補助装置を極力不要とすることができる。
　さらに、上記道路標識認識システム１において演算部１０は、標識存在領域のうちの車両光源と一致する領域を除外した領域の輝度に基づいて、撮像パラメータを設定する。
　このような道路標識認識システム１によれば、車両光源の輝度の影響を受けることなく撮像パラメータを設定することができる。
　また、上記道路標識認識システム１において演算部１０は、認識できた道路標識に対応する予め設定された報知を行う。
　このような道路標識認識システム１によれば、認識した道路標識に対応する報知を行うので、道路標識の見落としを抑制することができる。
　さらに、上記道路標識認識システム１において演算部１０は、認識できた道路標識を意味する画像を表示部３０に表示させる。
　このような道路標識認識システム１によれば、道路標識を意味する画像（道路標識そのものや道路標識の意味を文字で示した画像等）を表示させるので、肉眼では道路標識を認識しにくい場合であっても良好に道路標識を報知することができる。
　［その他の実施形態］
　本発明は、上記の実施形態によって何ら限定して解釈されない。また、上記の実施形態の構成の一部を、課題を解決できる限りにおいて省略した態様も本発明の実施形態である。また、上記の複数の実施形態を適宜組み合わせて構成される態様も本発明の実施形態である。また、特許請求の範囲に記載した文言のみによって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。また、上記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、各請求項に係る発明の理解を容易にする目的で使用しており、各請求項に係る発明の技術的範囲を限定する意図ではない。
　例えば、上記実施形態においては、演算部１０が設定した撮像パラメータによる撮像画像に対してＳ１２０～Ｓ１４０の処理と同様の処理をＳ２２０～Ｓ２４０の処理で実施したが、Ｓ２２０～Ｓ２４０の処理の少なくとも何れかは省略してもよい。すなわち、撮像パラメータを変更する前に得られた撮像画像（Ｓ１１０の処理で取得した撮像画像）と光源の位置や車両光源の位置は概ね同様であるとも言えるため、これらの位置の情報を援用し（つまり、光源の座標および車両光源の座標の少なくとも何れかを取得し）、これらの位置の情報を利用して道路標識の認識を行ってもよい。
　また、上記処理において道路標識を認識する際には、Ｓ１５０の処理またはＳ２５０の処理だけを実施してもよい。さらに、上記実施形態では、認識した道路標識を表示部３０に表示するよう構成したが、音声や音等による報知を行ってもよい。
　［本実施形態の構成と本発明の構成との関係］
　上記実施形態における道路標識認識システム１は、本発明でいう道路標識認識装置に相当し、実施形態におけるカメラ２０は本発明でいう撮像部に相当する。また、演算部１０が実施する処理のうちの、Ｓ１２０，Ｓ２２０の処理は本発明でいう高輝度領域を抽出する第一手段に相当し、Ｓ１３０，Ｓ２３０の処理は本発明でいう車両光源を抽出する第二手段に相当する。
　さらに、演算部１０が実施する処理のうちの、Ｓ１４０，Ｓ２４０の処理は本発明でいう車両光源と一致する領域を除外する第三手段に相当し、Ｓ１５０，Ｓ２５０の処理は本発明でいう道路標識を認識する第四手段に相当する。また、Ｓ１６０の処理は本発明でいう撮像パラメータを設定する第五手段に相当し、Ｓ２１０の処理は本発明でいう撮像パラメータで撮像された撮像画像を取得する第六手段に相当し、Ｓ３１０の処理は本発明でいう報知を行う第七手段に相当する。
　１…道路標識認識システム、１０…演算部、１１…ＣＰＵ、１２…メモリ、１３…データベース、２０…カメラ、３０…表示部。

Claims (5)

  1. 　車両に搭載され、撮像画像中の道路標識を認識する道路標識認識装置（１）であって、
    　撮像画像中において予め設定された基準輝度よりも輝度が高い領域を示す高輝度領域を抽出する第一手段（Ｓ１２０、Ｓ２２０）と、
    　撮像画像中において車両に由来する光源を表す車両光源を抽出する第二手段（Ｓ１３０、Ｓ２３０）と、
    　前記高輝度領域のうちの前記車両光源と一致する領域を除外する第三手段（Ｓ１４０、Ｓ２４０）と、
    　前記高輝度領域のうちの前記車両光源と一致する領域を除外した領域を、道路標識を認識するための対象領域とし、該対象領域において道路標識を認識する第四手段（Ｓ１５０、Ｓ２５０）と、
    　を備えたことを特徴とする道路標識認識装置。
  2. 　請求項１に記載の道路標識認識装置において、
    　前記撮像画像中において前記道路標識が存在する可能性が高い領域を表す標識存在領域の輝度に基づいて、撮像部（２０）が撮像を行う際の設定を表す撮像パラメータを設定する第五手段（Ｓ１６０）と、
    　前記撮像パラメータで撮像された撮像画像を取得する第六手段（Ｓ２１０）と、
    　を備え、
    　前記第四手段は、前記撮像パラメータで撮像された撮像画像から道路標識を認識すること
    　を特徴とする道路標識認識装置。
  3. 　請求項２に記載の道路標識認識装置において、
    　前記第五手段は、前記標識存在領域のうちの前記車両光源と一致する領域を除外した領域の輝度に基づいて、前記撮像パラメータを設定すること
    　を特徴とする道路標識認識装置。
  4. 　請求項１～請求項３の何れか１項に記載の道路標識認識装置において、
    　認識できた道路標識に対応する予め設定された報知を行う第七手段（Ｓ３１０）、
    　を備えたことを特徴とする道路標識認識装置。
  5. 　請求項４に記載の道路標識認識装置において、
    　前記第七手段は、認識できた道路標識を意味する画像を表示部（３０）に表示させること
    　を特徴とする道路標識認識装置。
PCT/JP2014/051499 2013-02-20 2014-01-24 道路標識認識装置 WO2014129266A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE112014000910.5T DE112014000910T5 (de) 2013-02-20 2014-01-24 Straßenzeichenerkennungsvorrichtung
US14/769,067 US20160012307A1 (en) 2013-02-20 2014-01-24 Road sign recognition device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013031266A JP6094252B2 (ja) 2013-02-20 2013-02-20 道路標識認識装置
JP2013-031266 2013-02-20

Publications (1)

Publication Number Publication Date
WO2014129266A1 true WO2014129266A1 (ja) 2014-08-28

Family

ID=51391062

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/051499 WO2014129266A1 (ja) 2013-02-20 2014-01-24 道路標識認識装置

Country Status (4)

Country Link
US (1) US20160012307A1 (ja)
JP (1) JP6094252B2 (ja)
DE (1) DE112014000910T5 (ja)
WO (1) WO2014129266A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101678095B1 (ko) * 2015-07-10 2016-12-06 현대자동차주식회사 차량, 및 그 제어방법
EP3396410A4 (en) * 2015-12-21 2019-08-21 Koito Manufacturing Co., Ltd. IMAGE ACQUISITION DEVICE FOR VEHICLES, CONTROL DEVICE, VEHICLE HAVING IMAGE ACQUISITION DEVICE FOR VEHICLES AND CONTROL DEVICE, AND IMAGE ACQUISITION METHOD FOR VEHICLES
WO2017110418A1 (ja) 2015-12-21 2017-06-29 株式会社小糸製作所 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
JP6851985B2 (ja) 2015-12-21 2021-03-31 株式会社小糸製作所 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
WO2017110414A1 (ja) 2015-12-21 2017-06-29 株式会社小糸製作所 車両用画像取得装置およびそれを備えた車両
US10891496B2 (en) 2016-11-01 2021-01-12 Mitsubishi Electric Corporation Information presentation method
JP6868932B2 (ja) * 2018-01-12 2021-05-12 日立Astemo株式会社 物体認識装置
US11132577B2 (en) 2019-07-17 2021-09-28 Cognizant Technology Solutions India Pvt. Ltd System and a method for efficient image recognition

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59127200A (ja) * 1983-01-11 1984-07-21 株式会社デンソー 車載交通情報報知装置
JPH08240833A (ja) * 1995-03-02 1996-09-17 Mitsubishi Electric Corp 車両用カメラの露光制御装置
JP2011103070A (ja) * 2009-11-11 2011-05-26 Toyota Motor Corp 夜間車両検知装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5638116A (en) * 1993-09-08 1997-06-10 Sumitomo Electric Industries, Ltd. Object recognition apparatus and method
US7342609B2 (en) * 2000-05-09 2008-03-11 Eastman Kodak Company Exposure adjustment in an imaging apparatus
JP4258385B2 (ja) * 2004-01-14 2009-04-30 株式会社デンソー 路面反射検出装置
JP4446201B2 (ja) * 2007-03-30 2010-04-07 アイシン・エィ・ダブリュ株式会社 画像認識装置及び画像認識方法
WO2011093354A1 (ja) * 2010-01-29 2011-08-04 富士通テン株式会社 画像処理装置、および画像処理方法
TWI408625B (zh) * 2010-04-15 2013-09-11 Univ Nat Chiao Tung 車輛追蹤系統及其方法
JP5892876B2 (ja) * 2011-07-28 2016-03-23 クラリオン株式会社 車載用環境認識装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59127200A (ja) * 1983-01-11 1984-07-21 株式会社デンソー 車載交通情報報知装置
JPH08240833A (ja) * 1995-03-02 1996-09-17 Mitsubishi Electric Corp 車両用カメラの露光制御装置
JP2011103070A (ja) * 2009-11-11 2011-05-26 Toyota Motor Corp 夜間車両検知装置

Also Published As

Publication number Publication date
DE112014000910T5 (de) 2015-11-05
JP2014160408A (ja) 2014-09-04
US20160012307A1 (en) 2016-01-14
JP6094252B2 (ja) 2017-03-15

Similar Documents

Publication Publication Date Title
JP6094252B2 (ja) 道路標識認識装置
JP5747549B2 (ja) 信号機検出装置及びプログラム
JP4263737B2 (ja) 歩行者検知装置
JP5065172B2 (ja) 車両灯火判定装置及びプログラム
CN102985957B (zh) 车辆周围监测装置
US10339396B2 (en) Vehicle accessibility determination device
JP6358552B2 (ja) 画像認識装置および画像認識方法
JP5991647B2 (ja) 車両用周辺監視制御装置
JP5760090B2 (ja) 生体認識装置
JP2016109587A (ja) 画像処理装置
JP2015197829A (ja) レーンマーク認識装置
JP2011243161A (ja) 車線境界検出装置、車線境界検出プログラム
JP2007334511A (ja) 対象物検出装置、車両、対象物検出方法、並びに対象物検出用プログラム
JP2016130979A (ja) 検知装置、検知処理プログラム及び検知システム
JP2016012303A (ja) 対象物認識装置
JP5407920B2 (ja) 点灯色識別装置及びプログラム
CN111191482A (zh) 一种刹车灯识别方法、装置及电子设备
JP2005318408A (ja) 車両周囲監視装置および方法
JP2010136207A (ja) 歩行者検出表示システム
JP2010286995A (ja) 車両用画像処理システム
JP2009230530A (ja) 車両認識装置、車両、及び車両認識用プログラム
JP6174960B2 (ja) 車外環境認識装置
KR20170033716A (ko) 공간 피라미드 특징을 이용한 실시간 속도 제한 표지판 검출 및 속도 인식 방법과 그에 관한 장치
JP5310162B2 (ja) 車両灯火判定装置
JP2008230358A (ja) 表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14753612

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14769067

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112014000910

Country of ref document: DE

Ref document number: 1120140009105

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14753612

Country of ref document: EP

Kind code of ref document: A1