JP2008269218A - Image processor, image processing method, and image processing program - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To determine a degree of influence of a shadow in an image on image recognition. <P>SOLUTION: An edge extraction part 210 extracts an edge from a road image picked up by a camera 110. A white line recognition evaluation value calculation part 220 calculates a white line recognition evaluation value showing the degree showing the white line of each edge based on the parallelism of two edges and the matching level of the edges of two road images. A shadow influence evaluation value calculation part 230 calculates a shadow influence evaluation value showing the degree of influence of a shadow based on luminance and sun elevation based on the fact that the shadow is strong when the luminance is high, and that the shadow is large when the sun elevation is low. An integrated recognition evaluation value calculation part 240 calculates the degree showing the white line of the edge based on the white line recognition evaluation value and the shadow influence evaluation value as an integrated recognition evaluation value. A recognition precision decision part 250 specifies an edge showing the white line based on the integrated recognition evaluation value. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、例えば、画像認識に対する画像内の影の影響度を判断したり、画像認識に対する影の影響を軽減または除去したりする画像処理装置、画像処理方法および画像処理プログラムに関するものである。   The present invention relates to an image processing apparatus, an image processing method, and an image processing program that determine, for example, the degree of influence of a shadow in an image on image recognition, or reduce or eliminate the influence of a shadow on image recognition.

従来、車などの移動体（以下、車両とする）に可視光カメラを搭載し、可視光カメラで撮像した画像から白線や地物マーカーや標識等を認識した認識結果を利用して、車両の位置を特定したり、白線や地物マーカーや標識などの位置情報を示す道路情報を得たりするシステムが提案されている。   Conventionally, a visible light camera is mounted on a moving body such as a car (hereinafter referred to as a vehicle), and a recognition result obtained by recognizing a white line, a feature marker, a sign, or the like from an image captured by the visible light camera is used. There have been proposed systems for specifying a position and obtaining road information indicating position information such as a white line, a feature marker, and a sign.

このようなシステムにおいて、夕刻などに近傍の建物や電柱の陰によって、画像に映っている対象物（白線や地物マーカーや標識等の地物）が不明確になり、画像認識処理時に誤認識が生じる場合があった。特に、影が伸びる夕刻時に撮像された画像を用いて画像認識を行った場合には対象物の誤認識が生じ易い。
例えば、図５に示す道路画像７００を用いて画像認識を行った場合、標識７１０の影７３０の影響により、影７３０を白線７２０または標識７１０と誤認識したり、白線７２０を検出できなかったりすることが考えられる。 In such a system, objects (white lines, feature markers, signs, etc.) appearing in the image become unclear due to the shadow of nearby buildings and utility poles in the evening, etc., resulting in false recognition during image recognition processing. May occur. In particular, when image recognition is performed using an image captured in the evening when a shadow extends, erroneous recognition of an object is likely to occur.
For example, when the image recognition is performed using the road image 700 illustrated in FIG. 5, the shadow 730 may be erroneously recognized as the white line 720 or the sign 710 due to the influence of the shadow 730 of the sign 710, or the white line 720 cannot be detected. It is possible.

こうした影の影響を防ぐ方法には、ＩＲカメラ（赤外線カメラ）を用いて撮像する方法や影の影響が出ない状況を待つ方法がある。
特開２００６−１１９５９１号公報 As a method for preventing the influence of the shadow, there are a method of taking an image using an IR camera (infrared camera) and a method of waiting for a situation where the influence of the shadow does not occur.
JP 2006-119951 A

しかし、ＩＲカメラを用いる方法には、ＩＲカメラが高価である、ＩＲカメラの映像は色が無いため人が見る映像としては不自然である、ＩＲカメラのシャッタースピードが高速にしにくいといった課題がある。   However, the method using the IR camera has problems that the IR camera is expensive, the image of the IR camera is uncolored because it has no color, and it is difficult to increase the shutter speed of the IR camera. .

また、太陽が真上にくるのを待ったり曇るのを待ったりする影の影響が出ない状況を待つ方法には、そのような状況を待つ必要があるため撮影に時間がかかるという課題があった。   In addition, there is a problem in that it takes time to shoot because there is a need to wait for such a situation to wait for the situation where there is no shadow effect such as waiting for the sun to be directly above or clouding. It was.

本発明は、例えば、画像認識に対する画像内の影の影響度を判断したり、画像認識に対する影の影響を軽減または除去したりすることを目的とする。   An object of the present invention is to determine, for example, the degree of influence of a shadow in an image on image recognition, or to reduce or eliminate the influence of a shadow on image recognition.

本発明の画像処理装置は、道路が撮像された道路画像に映っている白線を認識する画像認識装置の画像認識精度を推定する画像処理装置であり、道路画像を記憶する道路画像記憶部と、前記道路画像記憶部から道路画像を入力し、入力した道路画像に含まれているエッジをＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いて抽出するエッジ抽出部と、前記エッジ抽出部が抽出したエッジについて当該エッジが道路の白線を表す度合いを示す白線認識評価値をＣＰＵを用いて算出する白線認識評価値算出部と、当該道路画像が撮像されたときの天候状態に基づいて道路画像に映っている影の度合いを示す影影響評価値をＣＰＵを用いて算出する影影響評価値算出部と、前記白線認識評価値算出部が算出した白線認識評価値と前記影影響評価値算出部が算出した影影響評価値とに基づいて当該道路画像を用いた際の前記画像認識装置の画像認識精度を示す総合認識評価値をＣＰＵを用いて算出する総合認識評価値算出部とを備えたことを特徴とする。   An image processing apparatus of the present invention is an image processing apparatus that estimates an image recognition accuracy of an image recognition apparatus that recognizes a white line reflected in a road image in which a road is imaged, a road image storage unit that stores a road image, An edge extraction unit that inputs a road image from the road image storage unit and extracts an edge included in the input road image using a CPU (Central Processing Unit), and the edge extracted by the edge extraction unit A white line recognition evaluation value calculating unit that calculates a white line recognition evaluation value indicating the degree of the white line of the road using a CPU, and a shadow reflected in the road image based on the weather condition when the road image is captured. A shadow influence evaluation value calculation unit that calculates a shadow influence evaluation value indicating a degree using a CPU, and a white line recognition evaluation value calculated by the white line recognition evaluation value calculation unit; Comprehensive recognition evaluation that uses a CPU to calculate a comprehensive recognition evaluation value indicating the image recognition accuracy of the image recognition device when the road image is used based on the shadow influence evaluation value calculated by the shadow influence evaluation value calculation unit And a value calculation unit.

本発明によれば、影影響評価値算出部が天候状態に基づいて道路画像に映っている影の度合いを算出することにより、例えば、当該画像を用いた画像認識に対する影の影響度を判断することができる。また、影の影響度を判断できることにより、認識精度の高い認識結果を出力することができる。つまり、本発明によれば認識精度の高い画像認識結果を得ることができる。   According to the present invention, the shadow influence evaluation value calculation unit calculates the degree of shadow reflected in the road image based on the weather condition, for example, determines the degree of influence of the shadow on image recognition using the image. be able to. Moreover, since the influence degree of the shadow can be determined, a recognition result with high recognition accuracy can be output. That is, according to the present invention, an image recognition result with high recognition accuracy can be obtained.

実施の形態１．
図１は、実施の形態１における画像認識装置２００を搭載した車両１００の構成図である。
車両１００の構成のうち実施の形態１における画像処理方法に関する構成要素について、図１に基づいて以下に説明する。 Embodiment 1 FIG.
FIG. 1 is a configuration diagram of a vehicle 100 equipped with an image recognition device 200 according to the first embodiment.
The components related to the image processing method in the first embodiment in the configuration of the vehicle 100 will be described below with reference to FIG.

車両１００は進行方向の前方または後方を可視光で撮像するカメラ１１０と車外の照度を計測する照度計測装置１２０と各時刻における太陽の高度を示す太陽高度情報を記憶している太陽高度情報記憶部１９０とを備える。
また、車両１００はカメラ１１０が撮像した画像に映っている地物と照度計測装置１２０が計測した撮像時の照度と太陽高度情報が示す撮像時の太陽の高度との関係に基づいて当該画像を用いて画像認識した際の画像認識精度をＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いて推定評価する画像認識装置２００（画像処理装置の一例）を備える。 The vehicle 100 includes a camera 110 that captures the front or rear in the traveling direction with visible light, an illuminance measuring device 120 that measures illuminance outside the vehicle, and a solar altitude information storage unit that stores solar altitude information indicating the altitude of the sun at each time. 190.
In addition, the vehicle 100 captures the image based on the relationship between the feature reflected in the image captured by the camera 110, the illuminance at the time of imaging measured by the illuminance measuring device 120, and the altitude of the sun at the time of imaging indicated by the solar altitude information. An image recognition apparatus 200 (an example of an image processing apparatus) that estimates and evaluates image recognition accuracy when an image is recognized using a CPU (Central Processing Unit) is provided.

図２は、実施の形態１における画像認識装置２００のハードウェア資源の一例を示す図である。
図２において、画像認識装置２００は、プログラムを実行するＣＰＵ９１１（Ｃｅｎｔｒａｌ・Ｐｒｏｃｅｓｓｉｎｇ・Ｕｎｉｔ、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサともいう）を備えている。ＣＰＵ９１１は、バス９１２を介してＲＯＭ９１３、ＲＡＭ９１４、通信ボード９１５、磁気ディスク装置９２０、表示装置９０１と接続され、これらのハードウェアデバイスを制御する。磁気ディスク装置９２０の代わりにその他の記憶装置（例えば、ＲＡＭやフラッシュメモリなどの半導体メモリ）を用いてもよい。
ＲＡＭ９１４は、揮発性メモリの一例である。ＲＯＭ９１３、磁気ディスク装置９２０の記憶媒体は、不揮発性メモリの一例である。これらは、記憶機器、記憶装置あるいは記憶部の一例である。また、入力データが記憶されている記憶機器は入力機器、入力装置あるいは入力部の一例であり、出力データが記憶される記憶機器は出力機器、出力装置あるいは出力部の一例である。
通信ボード９１５は、入出力機器、入出力装置あるいは入出力部の一例である。
表示装置９０１は出力機器の一例である。 FIG. 2 is a diagram illustrating an example of hardware resources of the image recognition apparatus 200 according to the first embodiment.
2, the image recognition apparatus 200 includes a CPU 911 (also referred to as a central processing unit, a central processing unit, a processing unit, an arithmetic unit, a microprocessor, a microcomputer, and a processor) that executes a program. The CPU 911 is connected to the ROM 913, the RAM 914, the communication board 915, the magnetic disk device 920, and the display device 901 via the bus 912, and controls these hardware devices. Instead of the magnetic disk device 920, another storage device (for example, a semiconductor memory such as a RAM or a flash memory) may be used.
The RAM 914 is an example of a volatile memory. The storage medium of the ROM 913 and the magnetic disk device 920 is an example of a nonvolatile memory. These are examples of a storage device, a storage device, or a storage unit. A storage device in which input data is stored is an example of an input device, an input device, or an input unit, and a storage device in which output data is stored is an example of an output device, an output device, or an output unit.
The communication board 915 is an example of an input / output device, an input / output device, or an input / output unit.
The display device 901 is an example of an output device.

通信ボード９１５は、有線または無線で、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネット、ＩＳＤＮ等のＷＡＮ（ワイドエリアネットワーク）、電話回線などの通信網に接続されている。   The communication board 915 is wired or wirelessly connected to a communication network such as a LAN (Local Area Network), the Internet, a WAN (Wide Area Network) such as ISDN, and a telephone line.

磁気ディスク装置９２０には、ＯＳ９２１（オペレーティングシステム）、プログラム群９２３、ファイル群９２４が記憶されている。プログラム群９２３のプログラムは、ＣＰＵ９１１、ＯＳ９２１により実行される。   The magnetic disk device 920 stores an OS 921 (operating system), a program group 923, and a file group 924. The programs in the program group 923 are executed by the CPU 911 and the OS 921.

上記プログラム群９２３には、実施の形態において「〜部」として説明する機能を実行するプログラムが記憶されている。プログラムは、ＣＰＵ９１１により読み出され実行される。   The program group 923 stores a program for executing a function described as “˜unit” in the embodiment. The program is read and executed by the CPU 911.

ファイル群９２４には、実施の形態において、「〜部」の機能を実行した際の「〜の判定結果」、「〜の計算結果」、「〜の処理結果」などの結果データ、「〜部」の機能を実行するプログラム間で受け渡しするデータ、その他の情報やデータや信号値や変数値やパラメータが、「〜ファイル」や「〜データベース」の各項目として記憶されている。カメラ１１０が撮像した画像や照度計測装置１２０が計測した計測値や太陽高度情報記憶部１９０に記憶されている太陽高度情報や画像認識装置２００の画像認識結果などはファイル群９２４に含まれるものの一例である。
「〜ファイル」や「〜データベース」は、ディスクやメモリなどの記録媒体に記憶される。ディスクやメモリなどの記憶媒体に記憶された情報やデータや信号値や変数値やパラメータは、読み書き回路を介してＣＰＵ９１１によりメインメモリやキャッシュメモリに読み出され、抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示などのＣＰＵの動作に用いられる。抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示のＣＰＵの動作の間、情報やデータや信号値や変数値やパラメータは、メインメモリやキャッシュメモリやバッファメモリに一時的に記憶される。
また、実施の形態において説明するフローチャートの矢印の部分は主としてデータや信号の入出力を示し、データや信号値は、ＲＡＭ９１４のメモリ、磁気ディスク装置９２０の磁気ディスク、その他の記録媒体に記録される。また、データや信号値は、バス９１２や信号線やケーブルその他の伝送媒体によりオンライン伝送される。 In the file group 924, in the embodiment, result data such as “determination result”, “calculation result of”, “processing result of” when executing the function of “to part”, “to part” The data to be passed between programs that execute the function “,” other information, data, signal values, variable values, and parameters are stored as items “˜file” and “˜database”. An example of what is included in the file group 924 is an image captured by the camera 110, a measurement value measured by the illuminance measurement device 120, solar altitude information stored in the solar altitude information storage unit 190, an image recognition result of the image recognition device 200, and the like. It is.
The “˜file” and “˜database” are stored in a recording medium such as a disk or a memory. Information, data, signal values, variable values, and parameters stored in a storage medium such as a disk or memory are read out to the main memory or cache memory by the CPU 911 via a read / write circuit, and extracted, searched, referenced, compared, and calculated. Used for CPU operations such as calculation, processing, output, printing, and display. Information, data, signal values, variable values, and parameters are temporarily stored in the main memory, cache memory, and buffer memory during the CPU operations of extraction, search, reference, comparison, operation, calculation, processing, output, printing, and display. Is remembered.
In addition, arrows in the flowcharts described in the embodiments mainly indicate input / output of data and signals, and the data and signal values are recorded in the memory of the RAM 914, the magnetic disk of the magnetic disk device 920, and other recording media. . Data and signal values are transmitted online via a bus 912, signal lines, cables, or other transmission media.

また、実施の形態において「〜部」として説明するものは、「〜回路」、「〜装置」、「〜機器」であってもよく、また、「〜ステップ」、「〜手順」、「〜処理」であってもよい。すなわち、「〜部」として説明するものは、ＲＯＭ９１３に記憶されたファームウェアで実現されていても構わない。或いは、ソフトウェアのみ、或いは、素子・デバイス・基板・配線などのハードウェアのみ、或いは、ソフトウェアとハードウェアとの組み合わせ、さらには、ファームウェアとの組み合わせで実施されても構わない。ファームウェアとソフトウェアは、プログラムとして、磁気ディスクやその他の記録媒体に記憶される。プログラムはＣＰＵ９１１により読み出され、ＣＰＵ９１１により実行される。すなわち、画像認識プログラム（画像処理プログラム）は、「〜部」としてコンピュータを機能させるものである。あるいは、「〜部」の手順や方法をコンピュータに実行させるものである。   In addition, what is described as “˜unit” in the embodiment may be “˜circuit”, “˜device”, “˜device”, and “˜step”, “˜procedure”, “˜”. Processing ". That is, what is described as “˜unit” may be realized by firmware stored in the ROM 913. Alternatively, it may be implemented only by software, or only by hardware such as elements, devices, substrates, and wirings, by a combination of software and hardware, or by a combination of firmware. Firmware and software are stored as programs on a magnetic disk or other recording medium. The program is read by the CPU 911 and executed by the CPU 911. In other words, the image recognition program (image processing program) causes the computer to function as “to part”. Alternatively, the procedure or method of “to part” is executed by a computer.

図３は、実施の形態１における画像認識装置２００の機能構成図である。
図３に示すように、画像認識装置２００（画像処理装置の一例）はエッジ抽出部２１０、白線認識評価値算出部２２０、影影響評価値算出部２３０、総合認識評価値算出部２４０、認識精度判定部２５０、判定結果表示部２６０および画像認識記憶部２９０を備える。 FIG. 3 is a functional configuration diagram of the image recognition apparatus 200 according to the first embodiment.
As shown in FIG. 3, the image recognition apparatus 200 (an example of an image processing apparatus) includes an edge extraction unit 210, a white line recognition evaluation value calculation unit 220, a shadow influence evaluation value calculation unit 230, a comprehensive recognition evaluation value calculation unit 240, and recognition accuracy. A determination unit 250, a determination result display unit 260, and an image recognition storage unit 290 are provided.

画像認識記憶部２９０（道路画像記憶部の一例）にはカメラ１１０が車両１００から走行中の道路を撮像した道路画像が記憶される。
エッジ抽出部２１０は画像認識記憶部２９０から道路画像を取得し、取得した道路画像から白線や標識や影などを表す各エッジ部分をＣＰＵを用いて抽出する。
白線認識評価値算出部２２０は、白線平行度算出部２２１および白線進行方向度算出部２２２を備え、エッジ抽出部２１０が抽出した各エッジについて当該エッジが道路の白線を表す度合いや当該エッジが道路の白線を示す確率・可能性などを示す白線認識評価値をＣＰＵを用いて算出する。
白線平行度算出部２２１は１つの道路画像に含まれている２つのエッジの平行度を白線平行度としてＣＰＵを用いて算出する。
白線進行方向度算出部２２２は異なる時刻に撮像された２つの道路画像に含まれているエッジの一致度を白線進行方向度としてＣＰＵを用いて算出する。
影影響評価値算出部２３０は照度計測装置１２０が計測した車外の照度（照度計測値）や太陽高度情報記憶部１９０に記憶されている太陽高度情報が示す太陽の高度などの天候状態に基づいて道路画像に映っている影の度合いや道路画像に映っている影の量や当該道路画像を用いた画像認識に対する影の影響度などを示す影影響評価値をＣＰＵを用いて算出する。
総合認識評価値算出部２４０は、白線認識評価値算出部２２０が算出した白線認識評価値と影影響評価値算出部２３０が算出した影影響評価値とに基づいて、エッジ抽出部２１０が道路画像から抽出した各エッジ部分を白線と認識した際の画像認識精度を示す総合認識評価値をＣＰＵを用いて算出する。
認識精度判定部２５０は、総合認識評価値算出部２４０が算出した総合認識評価値に基づいて、エッジ抽出部２１０が道路画像から抽出した各エッジについて当該エッジが白線を表すか否かをＣＰＵを用いて判定する。
判定結果表示部２６０（画像認識精度出力部）は認識精度判定部２５０が白線を表していると判定した各エッジ部分の情報（白線情報）を示す認識判定結果を表示装置９０１に表示したり、画像認識記憶部２９０に記憶したりする。 The image recognition storage unit 290 (an example of a road image storage unit) stores a road image obtained by imaging the road on which the camera 110 is traveling from the vehicle 100.
The edge extraction unit 210 acquires a road image from the image recognition storage unit 290, and extracts each edge portion representing a white line, a sign, a shadow, and the like from the acquired road image using the CPU.
The white line recognition evaluation value calculation unit 220 includes a white line parallelism calculation unit 221 and a white line travel direction degree calculation unit 222. For each edge extracted by the edge extraction unit 210, the degree that the edge represents a white line of the road or the edge is a road A white line recognition evaluation value indicating the probability / possibility of indicating a white line is calculated using the CPU.
The white line parallelism calculation unit 221 calculates the parallelism of two edges included in one road image as the white line parallelism using the CPU.
The white line travel direction degree calculation unit 222 calculates the coincidence degree of the edges included in the two road images captured at different times as the white line travel direction degree using the CPU.
The shadow influence evaluation value calculation unit 230 is based on weather conditions such as illuminance outside the vehicle (illuminance measurement value) measured by the illuminance measurement device 120 and solar altitude indicated by solar altitude information stored in the solar altitude information storage unit 190. The CPU calculates a shadow influence evaluation value indicating the degree of shadow reflected in the road image, the amount of shadow reflected in the road image, the degree of influence of the shadow on image recognition using the road image, and the like.
Based on the white line recognition evaluation value calculated by the white line recognition evaluation value calculation unit 220 and the shadow influence evaluation value calculated by the shadow influence evaluation value calculation unit 230, the general recognition evaluation value calculation unit 240 causes the edge extraction unit 210 to perform a road image. A comprehensive recognition evaluation value indicating the image recognition accuracy when each edge portion extracted from the white line is recognized as a white line is calculated using the CPU.
Based on the comprehensive recognition evaluation value calculated by the comprehensive recognition evaluation value calculation unit 240, the recognition accuracy determination unit 250 determines whether or not the edge represents a white line for each edge extracted from the road image by the edge extraction unit 210. Use to determine.
The determination result display unit 260 (image recognition accuracy output unit) displays a recognition determination result indicating information (white line information) of each edge portion determined by the recognition accuracy determination unit 250 to represent a white line on the display device 901, Or stored in the image recognition storage unit 290.

ここで、画像認識記憶部２９０に記憶されるカメラ１１０が撮像した道路画像について説明する。
図４は、実施の形態１における車両１００に取り付けられたカメラ１１０の撮像面Ｔについて示す図である。
図５は、実施の形態１におけるカメラ１１０が撮像した道路画像７００の一例を示す図である。
図４において、カメラ１１０は設置角θ（仰角θ_１、方位角θ_２、回転角θ_３）をもって車両１００に設置され、車両１００の進行方向（車両１００の方位角方向）に位置する道路を画角φ（縦方向φ_１、横方向φ_２）の範囲で撮像する。
そして、カメラ１１０は、図４において、撮像範囲Ａ内に位置する路面、白線、標識、影などの各地物をレンズ中心Ｏから焦点距離Ｆ離れた撮像面Ｔに投影し、撮像面Ｔに投影した各地物を表す２次元の画像データを図５に示すような道路画像７００として得る。
図５に示す道路画像７００は、焦点距離Ｆや画角φや設置角θなどのカメラ１１０の属性（特性、パラメータ）に応じてカメラ１１０の撮像面Ｔに投影された標識７１０、白線７２０および影７３０を示している。例えば、車両１００が走行している道路の両脇において平行に標示されている２本の白線７２０は、カメラ１１０の属性に応じた撮像面Ｔへの投影により、図５に示すように、道路画像７００の左下から中央方向に伸長する白線７２０および道路画像７００の右下から中央方向に伸長する白線７２０として表される。 Here, a road image captured by the camera 110 stored in the image recognition storage unit 290 will be described.
FIG. 4 is a diagram illustrating the imaging surface T of the camera 110 attached to the vehicle 100 in the first embodiment.
FIG. 5 is a diagram illustrating an example of a road image 700 captured by the camera 110 according to the first embodiment.
In FIG. 4, a camera 110 is installed in a vehicle 100 with an installation angle θ (elevation angle θ ₁ , azimuth angle θ ₂ , rotation angle θ ₃ ), and a road located in the traveling direction of the vehicle 100 (azimuth angle direction of the vehicle 100). Imaging is performed within a range of the angle of view φ (vertical direction φ ₁ , horizontal direction φ ₂ ).
In FIG. 4, the camera 110 projects various objects such as road surfaces, white lines, signs, and shadows located within the imaging range A onto the imaging surface T that is away from the lens center O by the focal distance F, and projects onto the imaging surface T. Two-dimensional image data representing each feature is obtained as a road image 700 as shown in FIG.
A road image 700 shown in FIG. 5 includes a sign 710, a white line 720, and a white line 720 projected on the imaging surface T of the camera 110 according to attributes (characteristics, parameters) of the camera 110 such as a focal length F, an angle of view φ, and an installation angle θ. A shadow 730 is shown. For example, two white lines 720 marked in parallel on both sides of the road on which the vehicle 100 is traveling are projected onto the imaging surface T according to the attribute of the camera 110, as shown in FIG. The white line 720 extends from the lower left of the image 700 toward the center, and the white line 720 extends from the lower right of the road image 700 toward the center.

図６は、実施の形態１における画像認識装置２００の画像認識方法を示すフローチャートである。
実施の形態１における画像認識装置２００の画像認識方法（画像処理方法の一例）について、図６に基づいて以下に説明する。
画像認識装置２００が備える各部は図６に基づいて説明する以下の処理をＣＰＵを用いて実行する。 FIG. 6 is a flowchart showing an image recognition method of image recognition apparatus 200 in the first embodiment.
An image recognition method (an example of an image processing method) of the image recognition apparatus 200 according to Embodiment 1 will be described below with reference to FIG.
Each unit included in the image recognition apparatus 200 executes the following processing described with reference to FIG. 6 using the CPU.

＜Ｓ１１０：エッジ抽出処理＞
エッジ抽出部２１０は画像認識記憶部２９０から道路画像を取得し、取得した道路画像から白線や標識や影などを表す各エッジ部分を抽出する。
このとき、エッジ抽出部２１０は道路画像が示す各画素の輝度レベル（輝度値、または、ＲＧＢ、色合い、鮮やかさ、明るさなどの色情報）を微分して二値化することにより道路画像からエッジ部分を抽出する。道路画像は、輝度レベルの微分により、隣り合う画素との輝度変化が大きい画素（隣り合う画素との輝度差が所定値以上の画素）と隣り合う画素との輝度変化が小さい画素との２種類の画素で表される。この隣り合う画素との輝度変化が大きい画素部分がエッジ部分となり、エッジ部分は線または点として現れる。
例えば、図５に示す道路画像７００から抽出されたエッジは図７のように表される。
図７は、実施の形態１における道路画像７００のエッジを示す図である。
図７には、路面と輝度差がある白線７２１および影７３１の路面との境界線や背景との輝度差がある標識７１１の境界線などがエッジとして現れている。 <S110: Edge extraction processing>
The edge extraction unit 210 acquires a road image from the image recognition storage unit 290, and extracts each edge portion representing a white line, a sign, a shadow, or the like from the acquired road image.
At this time, the edge extraction unit 210 differentiates and binarizes the luminance level (luminance value or color information such as RGB, hue, vividness, brightness) of each pixel indicated by the road image. Extract edge part. There are two types of road images: a pixel having a large luminance change with an adjacent pixel (a pixel having a luminance difference between adjacent pixels equal to or greater than a predetermined value) and a pixel having a small luminance change with an adjacent pixel due to differentiation of the luminance level. It is represented by a pixel. A pixel portion having a large luminance change between adjacent pixels becomes an edge portion, and the edge portion appears as a line or a point.
For example, the edge extracted from the road image 700 shown in FIG. 5 is represented as shown in FIG.
FIG. 7 is a diagram illustrating edges of the road image 700 according to the first embodiment.
In FIG. 7, a white line 721 having a luminance difference from the road surface, a boundary line between the shadow 731 and the road surface of the sign 711 having a luminance difference from the background appear as edges.

＜Ｓ１２１〜Ｓ１２３＞
図３において、白線認識評価値算出部２２０はエッジ抽出部２１０が道路画像から抽出した各エッジについて当該エッジが道路の白線を表す度合いを示す白線認識評価値を算出する。
このとき、白線認識評価値算出部２２０は以下に説明する白線平行度や白線進行方向度に基づいて白線認識評価値を算出する。 <S121 to S123>
In FIG. 3, a white line recognition evaluation value calculation unit 220 calculates a white line recognition evaluation value indicating the degree to which the edge represents a white line of the road for each edge extracted by the edge extraction unit 210 from the road image.
At this time, the white line recognition evaluation value calculation unit 220 calculates a white line recognition evaluation value based on the white line parallelism and the white line traveling direction degree described below.

＜Ｓ１２１：白線平行度算出処理＞
まず、白線認識評価値算出部２２０の白線平行度算出部２２１は１つの道路画像に含まれている各エッジについて２つのエッジの平行度を白線平行度として算出する。
道路画像に映っている各白線は、Ｓ１１０においてエッジ抽出部２１０にエッジ抽出されることにより、白線の左端を表す線状のエッジ（例えば、図７に示す左エッジ７２３）と白線の右端を表す線上のエッジ（例えば、図７に示す右エッジ７２２）との２つのエッジで表される。
ここで、白線平行度算出部２２１は、白線が一定の太さを持った線状を形成するため、平行度が高いほど当該２つのエッジが白線を表す度合いが高いと判定する。白線平行度算出部２２１はエッジ抽出部２１０が道路画像から抽出した各エッジについて隣り合って位置するエッジ同士を選択し、選択したエッジ同士の平行度を白線平行度として算出する。ここで、白線の幅程度であれば、道路画像から抽出された白線の左エッジと右エッジとの平行度に撮像面への投影による影響はほとんど出ない。このため、エッジ抽出部２１０は道路画像が表す２次元平面座標上で２つのエッジの平行度を算出して構わない。また、エッジ抽出部２１０は道路画像が表す２次元平面座標上の２つのエッジをカメラ１１０の焦点距離などの特性に応じて３次元空間座標上で表して２つのエッジの平行度を算出してもよい。例えば、白線認識評価値算出部２２０は、各エッジの２次元平面座標上または３次元空間座標上での各エッジの傾きを算出し、各エッジの傾きの差を算出し、傾きの差が少ないほど高い平行度を示すように当該２つのエッジの白線平行度を算出する。また、エッジ抽出部２１０は２つのエッジの間隔が白線の幅に対応するほど当該２つのエッジが白線を表す度合いが高いと判定して白線平行度を算出してもよい。２つのエッジの間隔および白線の幅との対応度は道路画像が表す２次元平面座標上で算出してもよいし、３次元空間座標に変換後に算出してもよい。 <S121: White Line Parallelism Calculation Processing>
First, the white line parallelism calculation unit 221 of the white line recognition evaluation value calculation unit 220 calculates the parallelism of two edges as the white line parallelism for each edge included in one road image.
Each white line shown in the road image is edge-extracted by the edge extraction unit 210 in S110, thereby representing a linear edge representing the left end of the white line (for example, the left edge 723 shown in FIG. 7) and the right end of the white line. It is represented by two edges including an edge on the line (for example, right edge 722 shown in FIG. 7).
Here, since the white line parallelism calculation unit 221 forms a line shape with a constant thickness, the white line parallelism calculation unit 221 determines that the higher the degree of parallelism, the higher the degree that the two edges represent the white line. The white line parallelism calculation unit 221 selects adjacent edges for each edge extracted by the edge extraction unit 210 from the road image, and calculates the parallelism between the selected edges as white line parallelism. Here, as long as the width of the white line is about, the parallelism between the left edge and the right edge of the white line extracted from the road image hardly affects the projection onto the imaging surface. For this reason, the edge extraction unit 210 may calculate the parallelism of two edges on the two-dimensional plane coordinates represented by the road image. Further, the edge extraction unit 210 calculates the parallel degree of the two edges by expressing the two edges on the two-dimensional plane coordinates represented by the road image on the three-dimensional space coordinates according to the characteristics such as the focal length of the camera 110. Also good. For example, the white line recognition evaluation value calculation unit 220 calculates the inclination of each edge on the two-dimensional plane coordinates or the three-dimensional space coordinates of each edge, calculates the inclination difference of each edge, and the difference in inclination is small. The white line parallelism of the two edges is calculated so as to show higher parallelism. Further, the edge extraction unit 210 may calculate the white line parallelism by determining that the degree to which the two edges represent the white line is higher as the interval between the two edges corresponds to the width of the white line. The correspondence between the interval between the two edges and the width of the white line may be calculated on two-dimensional plane coordinates represented by the road image, or may be calculated after conversion into three-dimensional space coordinates.

＜Ｓ１２２：白線進行方向度算出処理＞
また、白線進行方向度算出部２２２は異なる時刻に撮像された２つの道路画像に含まれているエッジの一致度を白線進行方向度として算出する。
ここで、白線は、道路の左端や右端や中央といった決まった位置に連続して、または、断続して標示されるため、異なる時刻に撮像された２つの道路画像に同じように映し出される。
そこで、白線進行方向度算出部２２２は異なる時刻に撮像された２つの道路画像において一致度の高いエッジが白線を表す度合いの高いエッジであると判定する。例えば、白線進行方向度算出部２２２は２つの道路画像間で各エッジの画素位置、傾き、形状を比較して各エッジの差を算出し、算出した差が所定値内であるエッジの組（２つの道路画像のそれぞれから選択したエッジの組）について差が小さいほど大きい値を示すように当該エッジの白線進行方向度を算出する。
車両１００が走行中の異なる時刻に撮像された２つの道路画像のエッジを重ね合わせた場合、図８のように表される。図８は、時刻ａに撮像された道路画像７０１のエッジを実線で表し、時刻ａと連続する異なる時刻ｂ（ａ＋ｔ）に撮像された道路画像７０１のエッジを点線で表している。図８に示すように、異なる時刻に撮像された２つの道路画像において、連続して標示されている白線７２１のエッジは車両１００の移動前と移動後とで道路画像７０１に同様に映し出される。一方、標識７１１や影７３１は車両１００の移動に伴い道路画像７０１に映し出される位置が変化する。つまり、異なる時刻に撮像された２つの道路画像において一致度の高いエッジは白線である可能性が高い。ここで、異なる時刻に撮像された２つの道路画像とは、進行方向への移動により異なる地点で撮像された２つの道路画像を意味する。 <S122: White line traveling direction degree calculation processing>
Also, the white line travel direction degree calculation unit 222 calculates the degree of coincidence of edges included in two road images taken at different times as the white line travel direction degree.
Here, since the white line is displayed continuously or intermittently at fixed positions such as the left end, right end, and center of the road, it is displayed in the same manner on two road images taken at different times.
Therefore, the white line traveling direction degree calculation unit 222 determines that an edge having a high degree of coincidence is an edge having a high degree of white line in two road images taken at different times. For example, the white line advancing direction degree calculation unit 222 compares the pixel position, inclination, and shape of each edge between two road images to calculate the difference between the edges, and a set of edges in which the calculated difference is within a predetermined value ( The white line traveling direction degree of the edge is calculated so as to indicate a larger value as the difference is smaller for a pair of edges selected from each of the two road images.
When the edges of two road images taken at different times while the vehicle 100 is traveling are superimposed, the images are represented as shown in FIG. In FIG. 8, the edge of the road image 701 captured at time a is represented by a solid line, and the edge of the road image 701 captured at a different time b (a + t) continuous with time a is represented by a dotted line. As shown in FIG. 8, in the two road images taken at different times, the edges of the white line 721 that are consecutively displayed are similarly displayed on the road image 701 before and after the movement of the vehicle 100. On the other hand, the position where the sign 711 and the shadow 731 are displayed on the road image 701 changes as the vehicle 100 moves. That is, there is a high possibility that an edge with a high degree of coincidence in two road images taken at different times is a white line. Here, the two road images imaged at different times mean two road images imaged at different points by movement in the traveling direction.

＜Ｓ１２３：白線認識評価値＞
そして、白線認識評価値算出部２２０は、Ｓ１２１において白線平行度算出部２２１が算出した白線平行度とＳ１２２において白線進行方向度算出部２２２が算出した白線進行方向度とに基づいて、白線認識評価値を算出する。
このとき、白線認識評価値算出部２２０は白線平行度と白線認識評価値との間での重み付けや白線認識評価値と後述する影影響評価値との間での重み付けを行って白線認識評価値を算出する。
例えば、白線認識評価値算出部２２０は以下の式１により白線認識評価値を算出する。式１において、“ａ”、“ｂ”はそれぞれ白線平行度、白線進行方向度に対して設定された重み付け用の係数である。 <S123: White line recognition evaluation value>
Then, the white line recognition evaluation value calculation unit 220 performs the white line recognition evaluation based on the white line parallelism calculated by the white line parallelism calculation unit 221 in S121 and the white line travel direction degree calculated by the white line travel direction degree calculation unit 222 in S122. Calculate the value.
At this time, the white line recognition evaluation value calculation unit 220 performs weighting between the white line parallelism and the white line recognition evaluation value and weighting between the white line recognition evaluation value and a shadow influence evaluation value described later, thereby performing the white line recognition evaluation value. Is calculated.
For example, the white line recognition evaluation value calculation unit 220 calculates a white line recognition evaluation value according to the following formula 1. In Equation 1, “a” and “b” are weighting coefficients set for the white line parallelism and the white line traveling direction degree, respectively.

＜式１＞
白線認識評価値 ＝ （ａ×白線平行度）＋（ｂ×白線進行方向度） <Formula 1>
White line recognition evaluation value = (a × white line parallelism) + (b × white line traveling direction degree)

＜Ｓ１３０：影影響評価値算出処理＞
影影響評価値算出部２３０は、照度計測装置１２０が計測した車外の照度（道路の照度）や太陽高度情報記憶部１９０に記憶されている太陽高度情報が示す太陽の高度などの天候状態に基づいて、道路画像に映っている影の度合いを示す影影響評価値を算出する。
本実施の形態では、太陽の高度と撮像時の照度とから影がどの程度撮影内容に影響を与えるかを予測することにより、当該道路画像を用いた場合の画像認識精度を推定する。
例えば、晴天により照度が高ければ（大きければ）影のコントラストが強くなる事により道路画像に対する影の影響度が増し、画像認識精度が低下すると予測できる。また、太陽高度が低いと影の長さが長くなることより道路画像に対する影の影響度が増し、画像認識精度が低下すると予測できる。また、照度が高くても太陽が真上にあるときは影の影響度は少なく、画像認識精度は低下しないと予測できる。
このようにして、本実施の形態における画像認識装置２００は、撮影された道路画像上の影の影響の大小を予測することにより、画像処理における誤認識の状態を予測することができる。
そこで、影影響評価値算出部２３０は、当該道路画像が撮像された際の車外の照度（道路の照度）を照度計測装置１２０から取得し、当該道路画像が撮像された時期・時間帯・地域における太陽の高度を示す太陽高度情報を太陽高度情報記憶部１９０から取得し、照度と太陽高度とに基づいて影影響評価値を算出する。
ここで、カメラ１１０は撮像した道路画像を撮像時刻と共に画像認識記憶部２９０に記憶する。また、照度計測装置１２０はカメラ１１０が道路画像を撮像した際に照度計測を行い、照度計測値を計測時刻と共に記憶し、当該道路画像の撮像時刻に計測した照度計測値を影影響評価値算出部２３０に出力する。影影響評価値算出部２３０は当該道路画像の撮像時刻に基づいて照度計測値を照度計測装置１２０から取得する。
また、太陽高度情報記憶部１９０は時期（例えば、年月日、季節）・時間帯（例えば、１時間単位）に対応付けて撮像地域（例えば、南半球、北半球）の太陽高度、太陽高度に対応する影の影響度を太陽高度情報１９１として、例えば、図９に示すように記憶する。影影響評価値算出部２３０は当該道路画像の撮像時期・撮像時間帯に基づいて太陽高度に対応する影の影響度を太陽高度情報記憶部１９０から取得する。
図９は、実施の形態１における太陽高度情報の一例を示す図である。
影影響評価値算出部２３０は、例えば、以下の式２により影影響評価値を算出する。式２において、“ｃ”、“ｄ”はそれぞれ照度に基づく影の影響度、太陽高度に基づく影の影響度に対して設定された重み付け用の係数である。 <S130: Shadow Influence Evaluation Value Calculation Processing>
The shadow influence evaluation value calculation unit 230 is based on weather conditions such as the illuminance outside the vehicle (road illuminance) measured by the illuminance measurement device 120 and the solar altitude indicated by the solar altitude information stored in the solar altitude information storage unit 190. Thus, a shadow influence evaluation value indicating the degree of shadow reflected in the road image is calculated.
In the present embodiment, the image recognition accuracy when the road image is used is estimated by predicting how much the shadow affects the photographing content from the altitude of the sun and the illuminance at the time of imaging.
For example, if the illuminance is high due to clear weather (if it is large), it can be predicted that the influence of the shadow on the road image increases due to the strong contrast of the shadow, and the image recognition accuracy decreases. Moreover, when the solar altitude is low, it can be predicted that the influence of the shadow on the road image increases due to the length of the shadow increasing, and the image recognition accuracy decreases. Further, even when the illuminance is high, when the sun is directly above, the influence of the shadow is small, and it can be predicted that the image recognition accuracy will not decrease.
In this manner, the image recognition apparatus 200 according to the present embodiment can predict the state of erroneous recognition in image processing by predicting the magnitude of the influence of a shadow on a captured road image.
Therefore, the shadow influence evaluation value calculation unit 230 acquires the illuminance outside the vehicle (the illuminance on the road) when the road image is captured from the illuminance measurement device 120, and the time, time zone, and region when the road image is captured. The solar altitude information indicating the altitude of the sun is acquired from the solar altitude information storage unit 190, and the shadow influence evaluation value is calculated based on the illuminance and the solar altitude.
Here, the camera 110 stores the captured road image together with the imaging time in the image recognition storage unit 290. The illuminance measuring apparatus 120 measures illuminance when the camera 110 captures a road image, stores the illuminance measurement value together with the measurement time, and calculates the illuminance measurement value measured at the imaging time of the road image as a shadow influence evaluation value. Output to the unit 230. The shadow influence evaluation value calculation unit 230 acquires an illuminance measurement value from the illuminance measurement device 120 based on the imaging time of the road image.
Further, the solar altitude information storage unit 190 corresponds to the solar altitude and solar altitude of the imaging region (for example, the southern hemisphere and the northern hemisphere) in association with the time (for example, date, season) and time zone (for example, 1 hour unit). The influence degree of the shadow to be stored is stored as the solar altitude information 191 as shown in FIG. 9, for example. The shadow influence evaluation value calculation unit 230 acquires the shadow influence level corresponding to the solar altitude from the solar altitude information storage unit 190 based on the imaging time and imaging time zone of the road image.
FIG. 9 is a diagram showing an example of solar altitude information in the first embodiment.
For example, the shadow influence evaluation value calculation unit 230 calculates a shadow influence evaluation value by the following Expression 2. In Equation 2, “c” and “d” are weighting coefficients set for the shadow influence degree based on the illuminance and the shadow influence degree based on the solar altitude, respectively.

＜式２＞
影影響評価値 ＝ （ｄ×太陽高度の影響度）−（ｃ×照度） <Formula 2>
Shadow influence evaluation value = (d × influence of solar altitude) − (c × illuminance)

＜Ｓ１４０：総合認識評価値算出処理＞
次に、総合認識評価値算出部２４０は、Ｓ１２３において白線認識評価値算出部２２０が算出した白線認識評価値とＳ１３０において影影響評価値算出部２３０が算出した影影響評価値とに基づいて、エッジ抽出部２１０が道路画像から抽出した各エッジ部分を白線と認識した際の画像認識精度を示す総合認識評価値を算出する。
例えば、総合認識評価値算出部２４０は以下の式３により総合認識評価値を算出する。 <S140: Comprehensive recognition evaluation value calculation process>
Next, the comprehensive recognition evaluation value calculation unit 240 is based on the white line recognition evaluation value calculated by the white line recognition evaluation value calculation unit 220 in S123 and the shadow influence evaluation value calculated by the shadow influence evaluation value calculation unit 230 in S130. The edge extraction unit 210 calculates a comprehensive recognition evaluation value indicating image recognition accuracy when each edge portion extracted from the road image is recognized as a white line.
For example, the comprehensive recognition evaluation value calculation unit 240 calculates a comprehensive recognition evaluation value according to the following Equation 3.

＜式３＞
総合認識評価値 ＝ 白線認識評価値 − 影影響評価値 <Formula 3>
Total recognition evaluation value = White line recognition evaluation value-Shadow effect evaluation value

つまり、高い総合認識評価値は、当該エッジについて、白線を示している可能性が高く、且つ、影の影響が少ないことを示す。そのため、総合認識評価値が高いエッジ部分を白線として認識した場合の画像認識精度は高い。   That is, a high comprehensive recognition evaluation value indicates that there is a high possibility that a white line is indicated for the edge, and the influence of the shadow is small. Therefore, the image recognition accuracy is high when an edge portion having a high overall recognition evaluation value is recognized as a white line.

＜Ｓ１５０：認識精度判定処理＞
次に、認識精度判定部２５０は、Ｓ１４０において総合認識評価値算出部２４０が算出した総合認識評価値に基づいて、エッジ抽出部２１０が道路画像から抽出した各エッジについて当該エッジが白線を表すか否かを判定する。
このとき、認識精度判定部２５０は、各エッジについて、総合認識評価値と認識判定用の所定の閾値とを比較し、総合認識評価値が認識判定用の所定の閾値より大きい場合には当該エッジが白線を表していると判定する。 <S150: Recognition Accuracy Determination Process>
Next, the recognition accuracy determination unit 250 determines whether the edge represents a white line for each edge extracted from the road image by the edge extraction unit 210 based on the total recognition evaluation value calculated by the total recognition evaluation value calculation unit 240 in S140. Determine whether or not.
At this time, the recognition accuracy determination unit 250 compares the total recognition evaluation value and a predetermined threshold for recognition determination for each edge, and if the total recognition evaluation value is larger than the predetermined threshold for recognition determination, the edge Is determined to represent a white line.

＜Ｓ１６０：判定結果出力処理（画像認識精度出力処理）＞
そして、判定結果表示部２６０は認識精度判定部２５０がＳ１５０において白線を表していると判定した各エッジ部分の情報（白線情報）を示す認識判定結果を表示装置９０１に表示したり、画像認識記憶部２９０に記憶したりする。
例えば、判定結果表示部２６０は認識精度判定部２５０が白線を表していると判定したエッジ部分を強調させた道路画像を白線情報として表示装置９０１に表示する。またこのとき、判定結果表示部２６０は総合認識評価値に基づいて画像認識精度を表示装置９０１に表示する。
また例えば、判定結果表示部２６０は、認識精度判定部２５０が白線を表していると判定した各エッジが位置する道路画像上の２次元座標をカメラ１１０の焦点距離などの特性に応じて３次元座標に変換して撮像時におけるカメラ１１０に対する白線の相対位置および相対方位角（白線の伸長方向）を算出する。ここで、車両１００はＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機（図示省略）やジャイロ（図示省略）などを用いて撮像時におけるカメラ１１０の絶対位置（３次元座標）および絶対方位角を測位するものとし、判定結果表示部２６０は測位したカメラ１１０の絶対位置とカメラ１１０に対する白線の相対位置とに基づく白線の絶対位置とカメラ１１０の絶対方位角とカメラ１１０に対する白線の相対方位角とに基づく白線の絶対方位角とを白線情報として算出し、画像認識記憶部２９０に記憶する。またこのとき、判定結果表示部２６０は総合認識評価値に基づいて画像認識精度を画像認識記憶部２９０に記憶する。 <S160: Determination Result Output Process (Image Recognition Accuracy Output Process)>
Then, the determination result display unit 260 displays a recognition determination result indicating information (white line information) of each edge portion that the recognition accuracy determination unit 250 determines to represent a white line in S150 on the display device 901, or an image recognition storage. Or stored in the unit 290.
For example, the determination result display unit 260 displays a road image in which the edge portion determined by the recognition accuracy determination unit 250 as representing a white line is emphasized on the display device 901 as white line information. At this time, the determination result display unit 260 displays the image recognition accuracy on the display device 901 based on the comprehensive recognition evaluation value.
In addition, for example, the determination result display unit 260 converts the two-dimensional coordinates on the road image where each edge determined by the recognition accuracy determination unit 250 to represent a white line is three-dimensionally according to characteristics such as the focal length of the camera 110. By converting to coordinates, the relative position and relative azimuth of the white line with respect to the camera 110 at the time of imaging are calculated. Here, the vehicle 100 measures the absolute position (three-dimensional coordinates) and absolute azimuth of the camera 110 at the time of imaging using a GPS (Global Positioning System) receiver (not shown), a gyro (not shown), or the like. The determination result display unit 260 generates a white line based on the absolute position of the camera 110 measured and the relative position of the white line relative to the camera 110, the absolute azimuth of the camera 110, and the relative azimuth of the white line relative to the camera 110. The absolute azimuth angle is calculated as white line information and stored in the image recognition storage unit 290. At this time, the determination result display unit 260 stores the image recognition accuracy in the image recognition storage unit 290 based on the comprehensive recognition evaluation value.

上記実施の形態１では、エッジ抽出部２１０により道路画像から抽出したエッジを白線認識評価値に基づいて白線と認識し、影影響評価値に基づいて白線認識精度を推定する例について説明した。
但し、任意の画像認識処理により任意の地物を認識し、任意の画像認識処理により認識した地物の認識精度を影影響評価値に基づいて推定してもよい。 In the first embodiment, the example in which the edge extracted from the road image by the edge extraction unit 210 is recognized as a white line based on the white line recognition evaluation value and the white line recognition accuracy is estimated based on the shadow influence evaluation value has been described.
However, an arbitrary feature may be recognized by an arbitrary image recognition process, and the recognition accuracy of the feature recognized by the arbitrary image recognition process may be estimated based on the shadow influence evaluation value.

実施の形態２．
上記実施の形態１に示した画像認識装置２００は、道路画像に影が多く映っているかどうかを判定することにより、当該道路画像を用いた画像認識の精度を推定することができる。
実施の形態２ではより高い精度で画像認識精度を推定できるようにする形態について説明する。
以下、上記実施の形態１と異なる事項について説明し、説明を省略する事項については上記実施の形態１と同様とする。 Embodiment 2. FIG.
The image recognition apparatus 200 shown in the first embodiment can estimate the accuracy of image recognition using the road image by determining whether or not many shadows are reflected in the road image.
In the second embodiment, a mode is described in which the image recognition accuracy can be estimated with higher accuracy.
Hereinafter, matters different from those in the first embodiment will be described, and items that will not be described are the same as those in the first embodiment.

上記実施の形態１では、道路画像に影が多く映っている場合（太陽高度が低い場合）に影の影響が大きいと判断して影影響評価値を算出しているが、カメラ１１０の撮像方向と太陽方位との関係によっては影の影響が小さい場合がありうる。例えば、カメラ１１０の撮像方向が車両１００の進行方向と同じであり、太陽方位が道路方向と同じまたは間逆にある場合（方向同一性がある場合）である。この場合、図１０に示すように、標識７１０や電柱などの路側の地物の影は道路と平行に発生するため道路上には路側の地物の影は落ちないことになる。つまり影の発生量が多くても、道路画像に対する影の影響は少ない場合がありえる。逆に、カメラ１１０の撮像方向と太陽方位とが垂直の関係にある場合（方向非同一の場合）に最も影の影響が大きくなると考えられる。   In Embodiment 1 described above, when the road image includes many shadows (when the solar altitude is low), the shadow influence evaluation value is calculated by determining that the influence of the shadow is large. Depending on the relationship between the sun and the sun, the influence of shadows may be small. For example, this is a case where the imaging direction of the camera 110 is the same as the traveling direction of the vehicle 100 and the sun direction is the same as or opposite to the road direction (when there is direction identity). In this case, as shown in FIG. 10, the shadow of the roadside feature such as the sign 710 or the utility pole is generated in parallel with the road, so that the shadow of the roadside feature does not fall on the road. That is, even if the amount of shadow generation is large, the influence of the shadow on the road image may be small. On the contrary, it is considered that the influence of the shadow becomes the largest when the imaging direction of the camera 110 and the sun azimuth have a vertical relationship (when the directions are not the same).

図１１は、実施の形態２における画像認識装置２００を搭載した車両１００の構成図である。
図１１において、実施の形態２における車両１００は、上記実施の形態１における車両１００の構成に対して、方位計測装置１３０を備えることを特徴とする。 FIG. 11 is a configuration diagram of the vehicle 100 equipped with the image recognition device 200 according to the second embodiment.
In FIG. 11, vehicle 100 in the second embodiment is characterized in that it includes an azimuth measuring device 130 as compared with the configuration of vehicle 100 in the first embodiment.

方位計測装置１３０はジャイロなどを用いて車両１００の進行方向を計測する。ここで、カメラ１１０の撮像方向は車両１００の進行方向と一致するものとする。つまり、方位計測装置１３０はカメラ１１０の撮像方向を計測する。   The direction measuring device 130 measures the traveling direction of the vehicle 100 using a gyro. Here, it is assumed that the imaging direction of the camera 110 coincides with the traveling direction of the vehicle 100. That is, the azimuth measuring device 130 measures the imaging direction of the camera 110.

図１２は、実施の形態２における画像認識装置２００の機能構成図である。
図１２において、実施の形態２における画像認識装置２００は、上記実施の形態１における画像認識装置２００の機能構成に対して、方向非同一度算出部２３１を備えることを特徴とする。 FIG. 12 is a functional configuration diagram of the image recognition apparatus 200 according to the second embodiment.
In FIG. 12, the image recognition apparatus 200 according to the second embodiment is characterized by including a direction non-identity calculation unit 231 with respect to the functional configuration of the image recognition apparatus 200 according to the first embodiment.

方向非同一度算出部２３１は、方位計測装置１３０が計測したカメラ１１０の撮像方向と太陽高度情報記憶部１９０に記憶されている太陽高度情報が示す太陽の方位（後述）とに基づいて、撮像方向に対する影の交差度を示す方向非同一度をＣＰＵを用いて算出する。   The direction non-identity calculation unit 231 performs imaging based on the imaging direction of the camera 110 measured by the azimuth measuring device 130 and the solar azimuth (described later) indicated by the solar altitude information stored in the solar altitude information storage unit 190. The direction non-identity indicating the degree of shadow intersection with the direction is calculated using the CPU.

図１３は、実施の形態２における画像認識装置２００の画像認識方法を示すフローチャートである。
実施の形態２における画像認識装置２００は、上記実施の形態１における画像認識方法に対して、影影響評価値算出処理（Ｓ１３０）において、撮像方向と太陽方位との方向非同一性に基づいて影影響評価値を算出することを特徴とする。
以下、図１３に基づいて、影影響評価値算出処理（Ｓ１３０）について説明する。 FIG. 13 is a flowchart illustrating an image recognition method of the image recognition apparatus 200 according to the second embodiment.
The image recognition apparatus 200 according to the second embodiment is different from the image recognition method according to the first embodiment in the shadow influence evaluation value calculation process (S130) based on the direction non-identity between the imaging direction and the sun direction. An impact evaluation value is calculated.
Hereinafter, the shadow influence evaluation value calculation process (S130) will be described with reference to FIG.

＜Ｓ１３１：方向非同一度算出処理＞
方向非同一度算出部２３１は、当該道路画像が撮像された際の車両１００の進行方向（方位角）を方位計測装置１３０から取得し、当該道路画像が撮像された時期・時間帯・地域における太陽の方位角を示す太陽高度情報を太陽高度情報記憶部１９０から取得し、方位角と太陽方位とに基づいて道路画像が映している撮像方位と太陽方位との方位差を示す方向非同一度を算出する。このとき、カメラ１１０の撮像方向が車両１００の進行方向と同じになるようにカメラ１１０は車両１００に設置されているものとする。つまり、方向非同一度算出部２３１はカメラ１１０の撮像方向を方位計測装置１３０から取得する。また、方向非同一度算出部２３１はエッジ抽出部２１０が道路画像から抽出した各エッジについて、カメラ１１０の焦点距離などの特性に応じて、当該エッジが道路画像上において道路画像の縦軸と成す２次元方位角を当該エッジが撮像方向に対して成す３次元の相対方位角に変換する。そして、方向非同一度算出部２３１は撮像方向と相対方位角とに基づいて当該エッジの３次元の絶対方位角（以下、エッジの方位角とする）を算出する。
ここで、方位計測装置１３０はカメラ１１０が道路画像を撮像した際に方位計測を行い、計測した方位角をカメラ１１０の撮像方向として計測時刻と共に記憶し、当該道路画像の撮像時刻に計測した方位角（カメラ１１０の撮像方向）を方向非同一度算出部２３１に出力する。方向非同一度算出部２３１は当該道路画像の撮像時刻に基づいて当該道路画像が映している撮像方向を示す方位角を方位計測装置１３０から取得する。
また、実施の形態２における太陽高度情報記憶部１９０は、図１４に示すように、時期・時間帯に対応付けて撮像地域の太陽高度、太陽高度に対応する影の影響度および太陽方位角を太陽高度情報１９１として記憶する。方向非同一度算出部２３１は当該道路画像の撮像時期・撮像時間帯に基づいて太陽高度情報記憶部１９０から太陽方位角を取得する。
方向非同一度算出部２３１は、例えば、以下の式４により方向非同一度を算出する。 <S131: Direction non-identity calculation processing>
The direction non-identity calculation unit 231 acquires the traveling direction (azimuth angle) of the vehicle 100 when the road image is captured from the direction measurement device 130, and the time, time zone, and region in which the road image is captured. Solar altitude information indicating the azimuth angle of the sun is obtained from the solar altitude information storage unit 190, and the direction non-identity indicating the azimuth difference between the imaging azimuth and the solar azimuth in which the road image is reflected based on the azimuth angle and the sun azimuth Is calculated. At this time, it is assumed that the camera 110 is installed in the vehicle 100 so that the imaging direction of the camera 110 is the same as the traveling direction of the vehicle 100. That is, the direction non-identity calculation unit 231 acquires the imaging direction of the camera 110 from the orientation measurement device 130. In addition, the direction non-identity calculation unit 231 forms, for each edge extracted from the road image by the edge extraction unit 210, the edge on the road image as the vertical axis of the road image according to characteristics such as the focal length of the camera 110. The two-dimensional azimuth angle is converted into a three-dimensional relative azimuth angle that the edge forms with respect to the imaging direction. Then, the direction non-identity calculation unit 231 calculates a three-dimensional absolute azimuth angle of the edge (hereinafter referred to as an azimuth angle of the edge) based on the imaging direction and the relative azimuth angle.
Here, the azimuth measuring device 130 performs azimuth measurement when the camera 110 captures a road image, stores the measured azimuth angle as the imaging direction of the camera 110 together with the measurement time, and the azimuth measured at the imaging time of the road image. The angle (imaging direction of the camera 110) is output to the direction non-identity calculation unit 231. The direction non-identity calculation unit 231 acquires an azimuth angle indicating the imaging direction in which the road image is shown from the azimuth measuring device 130 based on the imaging time of the road image.
In addition, as shown in FIG. 14, the solar altitude information storage unit 190 in the second embodiment associates the solar altitude of the imaging area, the influence level of the shadow corresponding to the solar altitude, and the solar azimuth angle in association with the time / time zone. Stored as solar altitude information 191. The direction non-identity calculation unit 231 acquires the solar azimuth angle from the solar altitude information storage unit 190 based on the imaging time and imaging time zone of the road image.
The direction non-identity calculation unit 231 calculates the direction non-identity according to the following formula 4, for example.

＜式４＞
方向非同一度 ＝ ｜（エッジの方位角） − （太陽方位角）｜ <Formula 4>
Direction non-identity = | (Edge azimuth)-(Sun azimuth) |

上記式４ではエッジの方位角と太陽方位角との差を当該エッジの方向非同一度としているが、撮像方向と太陽方位角との差を各エッジの方向非同一度としてもよい。   Although the difference between the azimuth angle of the edge and the sun azimuth angle is the degree of non-identity of the edge in Equation 4, the difference between the imaging direction and the sun azimuth angle may be the degree of non-identity of each edge.

＜Ｓ１３２＞
そして、図１３において、影影響評価値算出部２３０は方向非同一度と照度と太陽高度とに基づいて影影響評価値を算出する。
例えば、影影響評価値算出部２３０は以下の式５により影影響評価値を算出する。式５において“ｅ”は方向非同一度に対して設定された重み付け用の係数である。 <S132>
In FIG. 13, the shadow influence evaluation value calculation unit 230 calculates a shadow influence evaluation value based on the direction non-identity, the illuminance, and the solar altitude.
For example, the shadow influence evaluation value calculation unit 230 calculates a shadow influence evaluation value according to the following formula 5. In Expression 5, “e” is a weighting coefficient set for the direction non-identity.

＜式５＞
影影響評価値 ＝ （ｄ×太陽高度の影響度）−（ｃ×照度）＋（ｅ×方向非同一度） <Formula 5>
Shadow influence evaluation value = (d × influence of solar altitude) − (c × illuminance) + (e × direction non-identity)

その他の処理は上記実施の形態１と同様である。   Other processes are the same as those in the first embodiment.

本実施の形態に示した車両１００は方位計測装置１３０を具備することによって、撮影画像上に影が映りやすい状況かどうかをより正確に判定することが出来る。また、本実施の形態における画像認識装置２００は、方位計測装置１３０により計測された撮像方向に基づいて撮影された画像上の影の影響の大小を予測することにより、画像処理における誤認識の状態をより精度よく予測することが出来る。   The vehicle 100 shown in the present embodiment includes the azimuth measuring device 130, so that it is possible to more accurately determine whether or not a shadow is likely to appear on the captured image. In addition, the image recognition apparatus 200 according to the present embodiment predicts the magnitude of the influence of the shadow on the image captured based on the imaging direction measured by the azimuth measuring apparatus 130, thereby causing a state of erroneous recognition in image processing. Can be predicted with higher accuracy.

実施の形態３．
実施の形態３では道路画像から影の影響を軽減または除去した後に道路画像から白線情報を得る形態について説明する。
以下、上記実施の形態１および上記実施の形態２と異なる事項について説明し、説明を省略する事項については上記実施の形態１または上記実施の形態２と同様とする。 Embodiment 3 FIG.
In the third embodiment, a mode in which white line information is obtained from a road image after the influence of a shadow is reduced or removed from the road image will be described.
Hereinafter, matters different from those in the first embodiment and the second embodiment will be described, and matters that will not be described are the same as those in the first embodiment or the second embodiment.

図１５は、実施の形態３における画像認識装置２００を搭載した車両１００の構成図である。
図１５において、実施の形態３における車両１００は、上記実施の形態２における車両１００の構成に対して、レーザスキャナ１４０を備えることを特徴とする。 FIG. 15 is a configuration diagram of the vehicle 100 on which the image recognition device 200 according to the third embodiment is mounted.
In FIG. 15, vehicle 100 in the third embodiment is characterized in that a laser scanner 140 is provided for the configuration of vehicle 100 in the second embodiment.

レーザスキャナ１４０は車両１００の進行方向斜め下方に向けて設置され、左右にレーザ送受信部を振りながらレーザを発信し、地物で反射したレーザを受信することによりレーザスキャナ１４０に対して地物が存在する方向およびレーザスキャナ１４０から地物までの距離を計測する。つまり、車両１００の走行と共に、レーザスキャナ１４０は進行方向において特定の距離離れた地点を含む水平走査線上に位置する地物について計測を続けることにより、車両１００が走行した道路上（道路脇、路側を含む）に存在する全ての地物についてレーザスキャナ１４０からの位置および距離を計測することができる。レーザスキャナ１４０の計測値はレーザスキャナ１４０からの方向および距離を示す点群データとして表される。以下、レーザスキャナ１４０の計測した点群データをレーザデータ（地物形状情報の一例）とする。レーザデータは道路上に存在する標識や電柱や路面などの各地物の表面をレーザスキャナ１４０からの方向および距離を示す点群で表す。つまり、レーザデータに基づいて道路上に存在する各地物の位置および表面形状が特定される。   The laser scanner 140 is installed obliquely downward in the traveling direction of the vehicle 100. The laser is transmitted while swinging the laser transmitting / receiving unit to the left and right, and the laser reflected by the feature is received. The existing direction and the distance from the laser scanner 140 to the feature are measured. In other words, as the vehicle 100 travels, the laser scanner 140 continues to measure the features located on the horizontal scanning line including a point separated by a certain distance in the traveling direction, so that the road on which the vehicle 100 travels (roadside, roadside The position and distance from the laser scanner 140 can be measured for all the features existing in the The measurement value of the laser scanner 140 is expressed as point cloud data indicating the direction and distance from the laser scanner 140. Hereinafter, the point cloud data measured by the laser scanner 140 is referred to as laser data (an example of feature shape information). The laser data represents a surface of each feature such as a sign, a power pole, or a road surface existing on the road as a point group indicating a direction and a distance from the laser scanner 140. That is, the position and surface shape of each feature existing on the road are specified based on the laser data.

本実施の形態では、物体の形状を計測する装置としてレーザスキャナ１４０を具備することにより、影を発生させる地物の形状を計測し、前述の太陽方位、車両方位（撮像方位）などと組み合わせて、この地物がどのように影を発生させるかを演算することが可能である。また、影の発生している部分と影の発生していない部分との明るさの差を照度に基づいて把握することができる。そして、道路画像において影が発生していると予測される部分の明るさを照度差分だけ増すことによって、影の影響を除去又は軽減することができる。つまり、本実施の形態では、影の影響による画像認識処理の誤判定、誤認識を除去または軽減することが出来る。   In this embodiment, the laser scanner 140 is provided as a device for measuring the shape of an object, thereby measuring the shape of a feature that generates a shadow and combining it with the above-described sun direction, vehicle direction (imaging direction), and the like. It is possible to calculate how this feature generates shadows. Further, it is possible to grasp the difference in brightness between the shadowed part and the non-shadowed part based on the illuminance. Then, the influence of the shadow can be removed or reduced by increasing the brightness of the portion where the shadow is predicted to occur in the road image by the illuminance difference. That is, in this embodiment, it is possible to remove or reduce erroneous determination and erroneous recognition of image recognition processing due to the influence of shadows.

図１６は、実施の形態３における画像認識装置２００の機能構成図である。
図１６において、実施の形態３における画像認識装置２００は、上記実施の形態２における画像認識装置２００の機能構成に対して、影除去部２７０を備えることを特徴とする。 FIG. 16 is a functional configuration diagram of the image recognition device 200 according to the third embodiment.
In FIG. 16, the image recognition apparatus 200 according to the third embodiment is characterized by including a shadow removing unit 270 in addition to the functional configuration of the image recognition apparatus 200 according to the second embodiment.

影除去部２７０は、ＣＰＵを用いて、レーザスキャナ１４０が計測したレーザデータに基づいて当該道路画像が示す撮像範囲に位置する標識や電柱などの地物を抽出し、地物の影を推定し、道路画像から地物の影部分を除去する。   The shadow removal unit 270 uses the CPU to extract features such as signs and utility poles located in the imaging range indicated by the road image based on the laser data measured by the laser scanner 140, and estimates the shadow of the feature. , Remove the shadow of the feature from the road image.

影除去部２７０が道路画像から地物の影部分を除去する方法として、影部分の画素の明るさを変更する方法と、道路画像から抽出した各エッジから影部分のエッジを削除する方法とについて以下に説明する。   As a method for the shadow removing unit 270 to remove the shadow portion of the feature from the road image, a method for changing the brightness of the pixel of the shadow portion and a method for deleting the edge of the shadow portion from each edge extracted from the road image This will be described below.

図１７は、実施の形態３における画像認識装置２００の画像認識方法を示すフローチャートである。
まず、影除去部２７０が道路画像から地物の影部分を除去する方法として、影部分の画素の明るさを変更する方法を適用した画像認識方法について、図１７に基づいて以下に説明する。 FIG. 17 is a flowchart illustrating an image recognition method of the image recognition apparatus 200 according to the third embodiment.
First, an image recognition method using a method of changing the brightness of pixels in a shadow portion as a method for the shadow removal unit 270 to remove a shadow portion of a feature from a road image will be described below with reference to FIG.

＜Ｓ１０１：地物抽出処理＞
エッジ抽出処理（Ｓ１１０）前に、影除去部２７０はレーザデータに基づいて地物を抽出する。
このとき、影除去部２７０はレーザスキャナ１４０が計測したレーザデータを画像認識記憶部２９０（地物形状情報記憶部の一例）から取得し、レーザデータの点群が示す方向および位置に基づいて地物の位置および形状を特定する。影除去部２７０は地物の位置および形状を特定するために行うレーザ計測処理として従来の処理を行う。 <S101: Feature extraction processing>
Prior to the edge extraction process (S110), the shadow removal unit 270 extracts features based on the laser data.
At this time, the shadow removal unit 270 acquires the laser data measured by the laser scanner 140 from the image recognition storage unit 290 (an example of the feature shape information storage unit), and based on the direction and position indicated by the point group of the laser data. Identify the position and shape of the object. The shadow removal unit 270 performs a conventional process as a laser measurement process performed to identify the position and shape of the feature.

＜Ｓ１０２：影推定処理＞
次に、影除去部２７０は地物の位置および形状、太陽高度、太陽方位角に基づいて地物の影ができる位置および地物の影の形状を地物と太陽との位置関係に基づいて幾何的に特定する。 <S102: Shadow estimation process>
Next, the shadow removal unit 270 determines the position of the feature based on the position and shape of the feature, the solar altitude, the sun azimuth and the shape of the feature shadow based on the positional relationship between the feature and the sun. Geometrically specified.

＜Ｓ１０３：影除去処理＞
そして、影除去部２７０は道路画像上の地物の影部分の画素の明るさを変更して道路画像から地物の影を除去する。
このとき、影除去部２７０は、カメラ１１０の焦点距離などの特性に応じて、Ｓ１０２で特定した地物の影を表す３次元位置および３次元形状を道路画像上における２次元位置および２次元形状に変換し、変換により得た地物の影を表す２次元位置および２次元形状に基づいて、道路画像において地物の影が位置する画素を特定する。また、影除去部２７０は当該道路画像の撮像時の照度を照度計測装置１２０から取得し、影部分と影でない部分との明るさの差を照度に基づいて算出する。影部分と影でない部分との明るさの差は照度が高いほど大きい値となる。そして、影除去部２７０は当該道路画像に対して地物の影部分の画素の明るさを照度に基づく差に相当する明るさだけ高くする。
図１８は、実施の形態３における影除去処理の概要図である。
図１８において、影除去部２７０は、レーザデータ７０３に基づいて抽出した標識７１３の影７３３を道路画像７００から減算するため、レーザデータ７０３の影７３３に相当する道路画像７００部分（影７３０）の明るさを高める。これにより、影除去部２７０は道路画像７００から影７３０の影響を除去または軽減する。 <S103: Shadow Removal Process>
Then, the shadow removal unit 270 removes the shadow of the feature from the road image by changing the brightness of the pixel of the shadow portion of the feature on the road image.
At this time, the shadow removing unit 270 converts the three-dimensional position and the three-dimensional shape representing the shadow of the feature specified in S102 into the two-dimensional position and the two-dimensional shape on the road image according to the characteristics such as the focal length of the camera 110. Based on the two-dimensional position and the two-dimensional shape representing the shadow of the feature obtained by the conversion, the pixel where the shadow of the feature is located in the road image is specified. Also, the shadow removal unit 270 acquires the illuminance at the time of capturing the road image from the illuminance measurement device 120, and calculates the difference in brightness between the shadow part and the non-shadow part based on the illuminance. The difference in brightness between the shadow portion and the non-shadow portion increases as the illuminance increases. Then, the shadow removal unit 270 increases the brightness of the pixel of the shadow portion of the feature with respect to the road image by a brightness corresponding to the difference based on the illuminance.
FIG. 18 is a schematic diagram of shadow removal processing in the third embodiment.
In FIG. 18, the shadow removal unit 270 subtracts the shadow 733 of the sign 713 extracted based on the laser data 703 from the road image 700, and therefore the road image 700 portion (shadow 730) corresponding to the shadow 733 of the laser data 703. Increase brightness. Thereby, the shadow removal unit 270 removes or reduces the influence of the shadow 730 from the road image 700.

以降の処理は、上記実施の形態１や上記実施の形態２と同様である。
つまり、画像認識装置２００は影を除去した道路画像７００に対して白線の認識および認識精度の推定を行う。 The subsequent processing is the same as in the first embodiment and the second embodiment.
That is, the image recognition apparatus 200 recognizes a white line and estimates the recognition accuracy for the road image 700 from which the shadow is removed.

図１９は、実施の形態３における画像認識装置２００の画像認識方法を示すフローチャートである。
次に、影除去部２７０が道路画像から地物の影部分を除去する方法として、道路画像から抽出した各エッジから影部分のエッジを削除する方法を適用した画像認識方法について、図１９に基づいて以下に説明する。 FIG. 19 is a flowchart illustrating an image recognition method of the image recognition apparatus 200 according to the third embodiment.
Next, based on FIG. 19, an image recognition method in which the shadow removing unit 270 removes the shadow portion of the feature from the road image by applying the method of deleting the shadow portion edge from each edge extracted from the road image is used. Will be described below.

＜Ｓ１０１〜Ｓ１０２＞
影除去部２７０は、図１７に基づく説明と同様に、レーザデータに基づいて地物を抽出し（Ｓ１０１）、抽出した地物が成す影を推定する（Ｓ１０２）。 <S101 to S102>
Similarly to the description based on FIG. 17, the shadow removing unit 270 extracts features based on the laser data (S101), and estimates a shadow formed by the extracted features (S102).

＜Ｓ１０３：エッジ抽出処理＞
次に、影除去部２７０は推定した影のエッジを抽出する。
このとき、影除去部２７０は、カメラ１１０の焦点距離などの特性に応じて、Ｓ１０２で特定した地物の影を表す３次元位置および３次元形状を道路画像上における２次元位置および２次元形状に変換し、変換により得た地物の影を表す２次元位置および２次元形状から地物の影のエッジを抽出する。 <S103: Edge Extraction Processing>
Next, the shadow removal unit 270 extracts the estimated shadow edge.
At this time, the shadow removing unit 270 converts the three-dimensional position and the three-dimensional shape representing the shadow of the feature specified in S102 into the two-dimensional position and the two-dimensional shape on the road image according to the characteristics such as the focal length of the camera 110. The edge of the shadow of the feature is extracted from the two-dimensional position and the two-dimensional shape representing the shadow of the feature obtained by the conversion.

＜Ｓ１１１：影除去処理＞
そして、影除去部２７０はＳ１１０においてエッジ抽出部２１０が道路画像から抽出した各エッジからＳ１０３において抽出したレーザデータに基づく影部分のエッジを削除する。 <S111: Shadow Removal Process>
Then, the shadow removal unit 270 deletes the edge of the shadow portion based on the laser data extracted in S103 from each edge extracted from the road image by the edge extraction unit 210 in S110.

以降の処理は、上記実施の形態１や上記実施の形態２と同様である。
つまり、画像認識装置２００は影を除去した道路画像７００に対して白線の認識および認識精度の推定を行う。 The subsequent processing is the same as in the first embodiment and the second embodiment.
That is, the image recognition apparatus 200 recognizes a white line and estimates the recognition accuracy for the road image 700 from which the shadow is removed.

実施の形態３では、影除去部２７０が道路画像から影部分を除去し、画像認識装置２００が影部分の除去された道路画像を用いて画像認識および画像認識精度の推定を行うことにより、画像認識精度を高めることができる。
つまり、実施の形態３における画像認識装置２００は、影が出る要因である時刻や太陽高度、照度、進行方向、周囲の地物状況を分析することによってカメラ撮影方向の影の状態を予測し、認識映像の影に対する影響を軽減または消去することにより認識率を高めることができる。 In the third embodiment, the shadow removal unit 270 removes a shadow portion from the road image, and the image recognition apparatus 200 performs image recognition and image recognition accuracy estimation using the road image from which the shadow portion is removed. Recognition accuracy can be increased.
That is, the image recognition apparatus 200 according to the third embodiment predicts the state of the shadow in the camera shooting direction by analyzing the time, the solar altitude, the illuminance, the traveling direction, and the surrounding feature conditions that are the factors causing the shadow, The recognition rate can be increased by reducing or eliminating the influence on the shadow of the recognized video.

実施の形態１における画像認識装置２００を搭載した車両１００の構成図。1 is a configuration diagram of a vehicle 100 on which an image recognition device 200 according to Embodiment 1 is mounted. 実施の形態１における画像認識装置２００のハードウェア資源の一例を示す図。3 is a diagram illustrating an example of hardware resources of the image recognition apparatus 200 according to Embodiment 1. FIG. 実施の形態１における画像認識装置２００の機能構成図。FIG. 2 is a functional configuration diagram of an image recognition apparatus 200 in the first embodiment. 実施の形態１における車両１００に取り付けられたカメラ１１０の撮像面Ｔについて示す図。FIG. 3 shows an imaging surface T of a camera 110 attached to the vehicle 100 in the first embodiment. 実施の形態１におけるカメラ１１０が撮像した道路画像７００の一例を示す図。FIG. 5 shows an example of a road image 700 captured by the camera 110 according to Embodiment 1. 実施の形態１における画像認識装置２００の画像認識方法を示すフローチャート。5 is a flowchart illustrating an image recognition method of the image recognition apparatus 200 according to Embodiment 1. 実施の形態１における道路画像７００のエッジを示す図。FIG. 6 shows an edge of a road image 700 in the first embodiment. 実施の形態１における重ね合わせた２枚の道路画像７０１のエッジの一例を示す図。FIG. 6 is a diagram illustrating an example of edges of two superimposed road images 701 according to the first embodiment. 実施の形態１における太陽高度情報の一例を示す図。FIG. 4 shows an example of solar altitude information in the first embodiment. 実施の形態１における道路画像７００の一例を示す図。FIG. 6 shows an example of a road image 700 in the first embodiment. 実施の形態２における画像認識装置２００を搭載した車両１００の構成図。FIG. 3 is a configuration diagram of a vehicle 100 equipped with an image recognition device 200 according to a second embodiment. 実施の形態２における画像認識装置２００の機能構成図。FIG. 6 is a functional configuration diagram of an image recognition apparatus 200 according to Embodiment 2. 実施の形態２における画像認識装置２００の画像認識方法を示すフローチャート。10 is a flowchart illustrating an image recognition method of the image recognition apparatus 200 according to the second embodiment. 実施の形態２における太陽高度情報の一例を示す図。FIG. 11 shows an example of solar altitude information in the second embodiment. 実施の形態３における画像認識装置２００を搭載した車両１００の構成図。FIG. 6 is a configuration diagram of a vehicle 100 on which an image recognition device 200 according to Embodiment 3 is mounted. 実施の形態３における画像認識装置２００の機能構成図。FIG. 10 is a functional configuration diagram of an image recognition apparatus 200 according to Embodiment 3. 実施の形態３における画像認識装置２００の画像認識方法を示すフローチャート。10 is a flowchart illustrating an image recognition method of the image recognition apparatus 200 according to Embodiment 3. 実施の形態３における影除去処理の概要図。FIG. 10 is a schematic diagram of shadow removal processing in the third embodiment. 実施の形態３における画像認識装置２００の画像認識方法を示すフローチャート。10 is a flowchart illustrating an image recognition method of the image recognition apparatus 200 according to Embodiment 3.

符号の説明Explanation of symbols

１００ 車両、１１０ カメラ、１２０ 照度計測装置、１３０ 方位計測装置、１４０ レーザスキャナ、１９０ 太陽高度情報記憶部、１９１ 太陽高度情報、２００ 画像認識装置、２１０ エッジ抽出部、２２０ 白線認識評価値算出部、２２１ 白線平行度算出部、２２２ 白線進行方向度算出部、２３０ 影影響評価値算出部、２３１ 方向非同一度算出部、２４０ 総合認識評価値算出部、２５０ 認識精度判定部、２６０ 判定結果表示部、２７０ 影除去部、２９０ 画像認識記憶部、７００，７０１ 道路画像、７０３ レーザデータ、７１０，７１１ａ，７１１ｂ，７１３ 標識、７２０，７２１ 白線、７２２ 右エッジ、７２３ 左エッジ、７３０，７３１，７３１ａ，７３１ｂ，７３３ 影、９０１ 表示装置、９１１ ＣＰＵ、９１２ バス、９１３ ＲＯＭ、９１４ ＲＡＭ、９１５ 通信ボード、９２０ 磁気ディスク装置、９２１ ＯＳ、９２３ プログラム群、９２４ ファイル群。   DESCRIPTION OF SYMBOLS 100 Vehicle, 110 Camera, 120 Illuminance measuring device, 130 Direction measuring device, 140 Laser scanner, 190 Solar height information storage part, 191 Solar height information, 200 Image recognition apparatus, 210 Edge extraction part, 220 White line recognition evaluation value calculation part, 221 white line parallelism calculation unit, 222 white line travel direction degree calculation unit, 230 shadow influence evaluation value calculation unit, 231 direction non-identity calculation unit, 240 comprehensive recognition evaluation value calculation unit, 250 recognition accuracy determination unit, 260 determination result display unit 270 Shadow removal unit, 290 Image recognition storage unit, 700, 701 Road image, 703 Laser data, 710, 711a, 711b, 713 Sign, 720, 721 White line, 722 Right edge, 723 Left edge, 730, 731, 731a, 731b, 733 shadow, 901 display device, 911 CPU, 12 bus, 913 ROM, 914 RAM, 915 communication board, 920 a magnetic disk device, 921 OS, 923 programs, 924 files.

Claims (16)

道路が撮像された道路画像に映っている白線を認識する画像認識装置の画像認識精度を推定する画像処理装置であり、
道路画像を記憶する道路画像記憶部と、
前記道路画像記憶部から道路画像を入力し、入力した道路画像に含まれているエッジをＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いて抽出するエッジ抽出部と、
前記エッジ抽出部が抽出したエッジについて当該エッジが道路の白線を表す度合いを示す白線認識評価値をＣＰＵを用いて算出する白線認識評価値算出部と、
当該道路画像が撮像されたときの天候状態に基づいて道路画像に映っている影の度合いを示す影影響評価値をＣＰＵを用いて算出する影影響評価値算出部と、
前記白線認識評価値算出部が算出した白線認識評価値と前記影影響評価値算出部が算出した影影響評価値とに基づいて当該道路画像を用いた際の前記画像認識装置の画像認識精度を示す総合認識評価値をＣＰＵを用いて算出する総合認識評価値算出部と
を備えたことを特徴とする画像処理装置。 An image processing device that estimates image recognition accuracy of an image recognition device that recognizes a white line reflected in a road image in which a road is imaged,
A road image storage unit for storing road images;
An edge extraction unit that inputs a road image from the road image storage unit and extracts an edge included in the input road image using a CPU (Central Processing Unit);
A white line recognition evaluation value calculating unit that calculates a white line recognition evaluation value indicating a degree of the edge representing the white line of the road with respect to the edge extracted by the edge extraction unit;
A shadow influence evaluation value calculation unit that calculates a shadow influence evaluation value indicating a degree of shadow reflected in the road image based on a weather state when the road image is captured using a CPU;
The image recognition accuracy of the image recognition apparatus when the road image is used based on the white line recognition evaluation value calculated by the white line recognition evaluation value calculation unit and the shadow influence evaluation value calculated by the shadow influence evaluation value calculation unit. An image processing apparatus comprising: a comprehensive recognition evaluation value calculation unit that calculates a comprehensive recognition evaluation value to be displayed using a CPU. 前記白線認識評価値算出部は、１つの道路画像に含まれている２つのエッジの平行度を算出し、算出した平行度に基づいて当該２つのエッジの前記白線認識評価値を算出する
ことを特徴とする請求項１記載の画像処理装置。 The white line recognition evaluation value calculation unit calculates parallelism of two edges included in one road image, and calculates the white line recognition evaluation value of the two edges based on the calculated parallelism. The image processing apparatus according to claim 1, wherein: 前記白線認識評価値算出部は、異なる時刻に撮像された２つの道路画像に含まれているエッジの一致度を算出し、算出した一致度に基づいて前記白線認識評価値を算出する
ことを特徴とする請求項１〜請求項２いずれかに記載の画像処理装置。 The white line recognition evaluation value calculation unit calculates the degree of coincidence of edges included in two road images captured at different times, and calculates the white line recognition evaluation value based on the calculated degree of coincidence. The image processing apparatus according to claim 1. 前記影影響評価値算出部は、当該道路画像が撮像されたときの太陽の高度に基づいて前記影影響評価値を算出する
ことを特徴とする請求項１〜請求項３いずれかに記載の画像処理装置。 The image according to any one of claims 1 to 3, wherein the shadow influence evaluation value calculation unit calculates the shadow influence evaluation value based on an altitude of the sun when the road image is captured. Processing equipment. 前記影影響評価値算出部は、当該道路画像が撮像されたときの道路の照度に基づいて前記影影響評価値を算出する
ことを特徴とする請求項１〜請求項４いずれかに記載の画像処理装置。 5. The image according to claim 1, wherein the shadow influence evaluation value calculation unit calculates the shadow influence evaluation value based on illuminance of a road when the road image is captured. Processing equipment. 前記影影響評価値算出部は、当該道路画像の撮像方向と当該道路画像が撮像されたときの太陽方位とに基づいて当該道路画像の撮像方向に対する影の交差度を示す方向非同一度を算出し、算出した方向非同一度に基づいて前記影影響評価値を算出する
ことを特徴とする請求項１〜請求項５いずれかに記載の画像処理装置。 The shadow influence evaluation value calculation unit calculates a degree of non-identity indicating a degree of shadow intersection with respect to the imaging direction of the road image based on the imaging direction of the road image and the sun azimuth when the road image is captured. The image processing apparatus according to claim 1, wherein the shadow influence evaluation value is calculated based on the calculated degree of inequality. 前記画像処理装置は、さらに、
地物の位置と形状とを示す地物形状情報を記憶する地物形状情報記憶部と、
前記地物形状情報記憶部に記憶されている地物形状情報と当該道路画像が撮像されたときの太陽方位とに基づいて影の位置と形状とをＣＰＵを用いて特定し、特定した影の位置と形状とに相当する当該道路画像部分の画像の明るさをＣＰＵを用いて高くする影除去部とを備え、
前記エッジ抽出部は、前記影除去部が処理した道路画像に含まれているエッジを抽出する
ことを特徴とする請求項１〜請求項６いずれかに記載の画像処理装置。 The image processing apparatus further includes:
A feature shape information storage unit that stores feature shape information indicating the position and shape of the feature;
Based on the feature shape information stored in the feature shape information storage unit and the sun direction when the road image is captured, the position and shape of the shadow are specified using the CPU, A shadow removing unit that increases the brightness of the image of the road image portion corresponding to the position and shape using a CPU,
The image processing apparatus according to claim 1, wherein the edge extraction unit extracts an edge included in a road image processed by the shadow removal unit. 前記画像処理装置は、さらに、
地物の位置と形状とを示す地物形状情報を記憶する地物形状情報記憶部と、
前記地物形状情報記憶部に記憶されている地物形状情報と当該道路画像が撮像されたときの太陽方位とに基づいて影の位置と形状とをＣＰＵを用いて特定し、特定した影の位置と形状とに基づいて当該影のエッジの位置と形状とをＣＰＵを用いて特定し、前記エッジ抽出部が道路画像から抽出したエッジの内特定した影のエッジの位置と形状とに対応するエッジを削除する影除去部とを備え、
前記白線認識評価値算出部は、前記影除去部が削除しなかったエッジについて白線認識評価値を算出する
ことを特徴とする請求項１〜請求項６いずれかに記載の画像処理装置。 The image processing apparatus further includes:
A feature shape information storage unit that stores feature shape information indicating the position and shape of the feature;
Based on the feature shape information stored in the feature shape information storage unit and the sun direction when the road image is captured, the position and shape of the shadow are specified using the CPU, Based on the position and shape, the position and shape of the edge of the shadow are specified using the CPU, and the edge extraction unit corresponds to the position and shape of the specified shadow edge among the edges extracted from the road image. A shadow removal unit for deleting edges,
The image processing apparatus according to claim 1, wherein the white line recognition evaluation value calculation unit calculates a white line recognition evaluation value for an edge that has not been deleted by the shadow removal unit. 道路が撮像された道路画像に映っている地物を認識する画像認識装置の画像認識精度を推定する画像処理装置であり、
当該道路画像が撮像されたときの天候状態に基づいて道路画像に映っている影の度合いを示す影影響評価値をＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いて算出する影影響評価値算出部と、
前記影影響評価値算出部が算出した影影響評価値に基づいて当該道路画像を用いた画像認識の精度を出力機器に出力する画像認識精度出力部と
を備えたことを特徴とする画像処理装置。 An image processing device that estimates image recognition accuracy of an image recognition device that recognizes a feature reflected in a road image in which a road is imaged,
A shadow influence evaluation value calculation unit that calculates a shadow influence evaluation value indicating a degree of shadow reflected in the road image based on a weather condition when the road image is captured using a CPU (Central Processing Unit);
An image processing apparatus comprising: an image recognition accuracy output unit that outputs image recognition accuracy using the road image to an output device based on the shadow effect evaluation value calculated by the shadow effect evaluation value calculation unit . 道路が撮像された道路画像に映っている地物を認識する画像処理装置であり、
道路画像を記憶する道路画像記憶部と、
地物の位置と形状とを示す地物形状情報を記憶する地物形状情報記憶部と、
前記地物形状情報記憶部に記憶されている地物形状情報と道路画像が撮像されたときの太陽方位とに基づいて影の位置と形状とをＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いて特定し、前記道路画像記憶部に記憶されている道路画像について特定した影の位置と形状とに相当する道路画像部分の画像の明るさをＣＰＵを用いて高くする影除去部と、
前記影除去部が処理した道路画像に映っている地物をＣＰＵを用いて画像認識し、認識した地物の情報を出力機器に出力する認識部と
を備えたことを特徴とする画像処理装置。 An image processing apparatus for recognizing a feature reflected in a road image obtained by imaging a road,
A road image storage unit for storing road images;
A feature shape information storage unit that stores feature shape information indicating the position and shape of the feature;
Based on the feature shape information stored in the feature shape information storage unit and the sun azimuth when the road image is captured, the position and shape of the shadow are specified using a CPU (Central Processing Unit), A shadow removal unit that increases the brightness of the image of the road image portion corresponding to the position and shape of the shadow specified for the road image stored in the road image storage unit using a CPU;
An image processing apparatus comprising: a recognition unit that recognizes an image of a feature reflected in a road image processed by the shadow removal unit using a CPU and outputs information about the recognized feature to an output device. . 道路が撮像された道路画像に映っている地物を認識する画像処理装置であり、
道路画像を記憶する道路画像記憶部と、
地物の位置と形状とを示す地物形状情報を記憶する地物形状情報記憶部と、
前記道路画像記憶部から道路画像を入力し、入力した道路画像に含まれているエッジをＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いて抽出するエッジ抽出部と、
前記地物形状情報記憶部に記憶されている地物形状情報と道路画像が撮像されたときの太陽方位とに基づいて影の位置と形状とをＣＰＵを用いて特定し、特定した影の位置と形状とに基づいて当該影のエッジの位置と形状とをＣＰＵを用いて特定し、前記エッジ抽出部が道路画像から抽出したエッジの内特定した影のエッジの位置と形状とに対応するエッジを削除する影除去部と、
前記影除去部が削除しなかったエッジに基づいて道路画像に映っている地物をＣＰＵを用いて画像認識し、認識した地物の情報を出力機器に出力する認識部と
を備えたことを特徴とする画像処理装置。 An image processing apparatus for recognizing a feature reflected in a road image obtained by imaging a road,
A road image storage unit for storing road images;
A feature shape information storage unit that stores feature shape information indicating the position and shape of the feature;
An edge extraction unit that inputs a road image from the road image storage unit and extracts an edge included in the input road image using a CPU (Central Processing Unit);
Based on the feature shape information stored in the feature shape information storage unit and the sun azimuth when the road image is captured, the position and shape of the shadow are identified using the CPU, and the identified shadow position The edge corresponding to the position and shape of the specified shadow edge among the edges extracted from the road image by the edge extraction unit is specified using the CPU based on the shape and the shape. A shadow remover for deleting
A recognition unit that recognizes an image of a feature reflected in a road image based on an edge that is not deleted by the shadow removal unit using a CPU and outputs information of the recognized feature to an output device; A featured image processing apparatus. 道路が撮像された道路画像に映っている白線を認識する画像認識装置の画像認識精度を推定する画像処理装置の画像処理方法であり、
エッジ抽出部は、道路画像を記憶する道路画像記憶部から道路画像を入力し、入力した道路画像に含まれているエッジをＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いて抽出するエッジ抽出処理を行い、
白線認識評価値算出部は、前記エッジ抽出部が抽出したエッジについて当該エッジが道路の白線を表す度合いを示す白線認識評価値をＣＰＵを用いて算出する白線認識評価値算出処理を行い、
影影響評価値算出部は、当該道路画像が撮像されたときの天候状態に基づいて道路画像に映っている影の度合いを示す影影響評価値をＣＰＵを用いて算出する影影響評価値算出処理を行い、
総合認識評価値算出部は、前記白線認識評価値算出部が算出した白線認識評価値と前記影影響評価値算出部が算出した影影響評価値とに基づいて当該道路画像を用いた際の前記画像認識装置の画像認識精度を示す総合認識評価値をＣＰＵを用いて算出する総合認識評価値算出処理を行う
ことを特徴とする画像処理装置の画像処理方法。 An image processing method of an image processing apparatus for estimating an image recognition accuracy of an image recognition apparatus that recognizes a white line reflected in a road image in which a road is captured,
The edge extraction unit inputs a road image from a road image storage unit that stores the road image, performs an edge extraction process of extracting an edge included in the input road image using a CPU (Central Processing Unit),
The white line recognition evaluation value calculation unit performs white line recognition evaluation value calculation processing for calculating, using the CPU, a white line recognition evaluation value indicating a degree that the edge represents a white line of the road for the edge extracted by the edge extraction unit,
The shadow influence evaluation value calculation unit calculates, using the CPU, a shadow influence evaluation value calculation process that calculates a shadow influence evaluation value indicating a degree of shadow reflected in the road image based on a weather condition when the road image is captured. And
The comprehensive recognition evaluation value calculation unit uses the road image based on the white line recognition evaluation value calculated by the white line recognition evaluation value calculation unit and the shadow influence evaluation value calculated by the shadow influence evaluation value calculation unit. An image processing method for an image processing apparatus, comprising: performing a total recognition evaluation value calculation process for calculating a total recognition evaluation value indicating image recognition accuracy of the image recognition apparatus using a CPU. 道路が撮像された道路画像に映っている地物を認識する画像認識装置の画像認識精度を推定する画像処理装置の画像処理方法であり、
影影響評価値算出部は、当該道路画像が撮像されたときの天候状態に基づいて道路画像に映っている影の度合いを示す影影響評価値をＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いて算出する影影響評価値算出処理を行い、
画像認識精度出力部は、前記影影響評価値算出部が算出した影影響評価値に基づいて当該道路画像を用いた画像認識の精度を出力機器に出力する画像認識精度出力処理を行う
ことを特徴とする画像処理装置の画像処理方法。 An image processing method for an image processing apparatus for estimating an image recognition accuracy of an image recognition apparatus for recognizing a feature reflected in a road image obtained by imaging a road,
The shadow influence evaluation value calculation unit calculates, using a CPU (Central Processing Unit), a shadow influence evaluation value indicating the degree of shadow reflected in the road image based on the weather condition when the road image is captured. Perform impact assessment value calculation processing,
The image recognition accuracy output unit performs image recognition accuracy output processing for outputting the accuracy of image recognition using the road image to an output device based on the shadow influence evaluation value calculated by the shadow influence evaluation value calculation unit. An image processing method of the image processing apparatus. 道路が撮像された道路画像に映っている地物を認識する画像処理装置の画像処理方法であり、
影除去部は、地物の位置と形状とを示す地物形状情報を記憶する地物形状情報記憶部から前記地物形状情報を取得し、取得した地物形状情報と道路画像が撮像されたときの太陽方位とに基づいて影の位置と形状とをＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いて特定し、道路画像について特定した影の位置と形状とに相当する道路画像部分の画像の明るさをＣＰＵを用いて高くする影除去処理を行い、
認識部は、前記影除去部が処理した道路画像に映っている地物をＣＰＵを用いて画像認識し、認識した地物の情報を出力機器に出力する認識処理を行う
ことを特徴とする画像処理装置の画像処理方法。 An image processing method of an image processing apparatus for recognizing a feature reflected in a road image in which a road is imaged,
The shadow removing unit acquires the feature shape information from the feature shape information storage unit that stores the feature shape information indicating the position and shape of the feature, and the acquired feature shape information and the road image are captured. The position and shape of the shadow are specified using a CPU (Central Processing Unit) based on the sun direction at the time, and the brightness of the image of the road image portion corresponding to the position and shape of the shadow specified for the road image is determined. Use the CPU to perform shadow removal processing to be high,
The recognition unit performs image recognition using a CPU to recognize a feature reflected in the road image processed by the shadow removal unit, and performs recognition processing to output information on the recognized feature to an output device. An image processing method for a processing apparatus. 道路が撮像された道路画像に映っている地物を認識する画像処理装置の画像処理方法であり、
エッジ抽出部は、道路画像を記憶する道路画像記憶部から道路画像を入力し、入力した道路画像に含まれているエッジをＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いて抽出するエッジ抽出処理を行い、
影除去部は、地物の位置と形状とを示す地物形状情報を記憶する地物形状情報記憶部から前記地物形状情報を取得し、取得した地物形状情報と道路画像が撮像されたときの太陽方位とに基づいて影の位置と形状とをＣＰＵを用いて特定し、特定した影の位置と形状とに基づいて当該影のエッジの位置と形状とをＣＰＵを用いて特定し、前記エッジ抽出部が道路画像から抽出したエッジの内特定した影のエッジの位置と形状とに対応するエッジを削除する影除去処理を行い、
認識部は、前記影除去部が除去しなかったエッジに基づいて道路画像に映っている地物をＣＰＵを用いて画像認識し、認識した地物の情報を出力機器に出力する認識処理を行う
ことを特徴とする画像処理装置の画像処理方法。 An image processing method of an image processing apparatus for recognizing a feature reflected in a road image in which a road is imaged,
The edge extraction unit inputs a road image from a road image storage unit that stores the road image, performs an edge extraction process of extracting an edge included in the input road image using a CPU (Central Processing Unit),
The shadow removing unit acquires the feature shape information from the feature shape information storage unit that stores the feature shape information indicating the position and shape of the feature, and the acquired feature shape information and the road image are captured. The position and shape of the shadow are specified using the CPU based on the sun direction at the time, the position and shape of the edge of the shadow are specified using the CPU based on the specified position and shape of the shadow, The edge extraction unit performs shadow removal processing to delete the edge corresponding to the position and shape of the edge of the shadow specified from the edges extracted from the road image,
The recognizing unit performs a recognition process of recognizing a feature on the road image using the CPU based on the edge that is not removed by the shadow removing unit, and outputting the recognized feature information to the output device. An image processing method for an image processing apparatus. 請求項１２〜請求項１５いずれかに記載の画像処理方法をコンピュータに実行させる画像処理プログラム。   An image processing program for causing a computer to execute the image processing method according to claim 12.

Images