JP2024007678A - Image processing device and image processing method - Google Patents

Abstract

PROBLEM TO BE SOLVED: To provide an image processing device that correctly calculates parallax by excluding the influence of diffused light components even when a difference in the diffused light components occurs due to different lens characteristics for the left and right sides of a stereo camera that photographs a light source.

SOLUTION: An image processing device of the present invention includes: a light source area identification unit that identifies the area where a light source is photographed in each of multiple images obtained simultaneously by multiple cameras with overlapping fields of view; and a parallax calculation unit that weights pixels in the light source area according to their brightness values and calculates parallax by performing parallax matching of the light source area using each weighted pixel.

SELECTED DRAWING: Figure 2

COPYRIGHT: (C)2024,JPO&INPIT

Description

本発明は、ステレオカメラで同期撮像した一対の画像に基づいて撮像対象物の三次元位置を算出する画像処理装置、および、画像処理方法に関する。 The present invention relates to an image processing device and an image processing method that calculate a three-dimensional position of an object to be imaged based on a pair of images synchronously captured by a stereo camera.

近年の自動車には、自車両周辺の他車両、歩行者、障害物等や、路面の中央線、車線境界線等の撮像対象物の三次元位置を推定し、それらの推定結果に応じて自車両の駆動、制動、操舵等を制御する、先進運転支援システムや自動運転システムを搭載したものが普及しつつある。 In recent years, cars have been able to estimate the three-dimensional positions of objects to be imaged, such as other vehicles, pedestrians, obstacles, etc. around the vehicle, as well as the center line of the road surface, lane boundary lines, etc. Vehicles equipped with advanced driving support systems and automatic driving systems that control driving, braking, steering, etc. of vehicles are becoming popular.

それらのシステムで利用される外界認識装置の一種として、ステレオカメラが知られている。ステレオカメラでは、異なる位置に配置した複数のカメラによって異なる視点から同一対象物を同期撮像し、撮像した複数の画像における同一対象物の見え方のずれ、いわゆる視差に基づいて対象物までの距離を算出することで、撮像対象物の三次元位置を推定している。 Stereo cameras are known as a type of external world recognition device used in these systems. Stereo cameras use multiple cameras placed in different positions to simultaneously capture images of the same object from different viewpoints, and calculate the distance to the object based on the difference in the appearance of the same object in the multiple images, so-called parallax. By calculating, the three-dimensional position of the object to be imaged is estimated.

視差の算出にあたっては、ブロックマッチングなどの手法が用いられる。この手法は、一対のカメラで同期撮像した一対の画像のうち一方の画像を基準画像とし、基準画像上で指定した小領域を抜き出して、他方の参照画像から同一の小領域を探索する視差算出手法である。小領域同士が同一であるかについては、ＳＡＤ（Sum of Absolute Difference）などのコスト関数が用いられる。但し、これらの視差算出手法の利用には、各カメラの光学特性が同一であることが前提となる。 A method such as block matching is used to calculate the parallax. This method uses one of a pair of images taken synchronously with a pair of cameras as a reference image, extracts a specified small area from the reference image, and calculates parallax by searching for the same small area from the other reference image. It is a method. A cost function such as SAD (Sum of Absolute Difference) is used to determine whether small areas are the same. However, the use of these parallax calculation methods requires that the optical characteristics of each camera be the same.

ブロックマッチング処理中の探索は通常、画素単位で行われるが、後段処理によって測距分解能を向上する技術として、特許文献１がある。この文献の要約書には、課題として「ステレオ画像を処理して得られる画素を単位とする視差に起因する遠距離での測距分解能の低下を解消し、近距離から遠距離まで測距分解能を向上する。」と記載されており、解決手段として「ステレオカメラ１０で撮像した一対の画像に対し、ステレオ処理部３０で、各画像の小領域毎にシティブロック距離を計算して互いの相関を求めることで対応する小領域を特定するステレオマッチングを行い、対象物までの距離に応じて生じる画素のズレ（＝視差）を距離データとして画像化した距離画像を生成する。さらに、認識処理部４０で、基準画像及び比較画像のデータを用いてステレオマッチングを行って１画素以下の視差（サブピクセル成分）を求め、距離画像から得られる画素を単位とする視差を１画素以下の分解能で補間する。これにより、遠距離での測距分解能の低下を解消し、近距離から遠距離までの測距精度を確保する。」と記載されている。 Search during block matching processing is usually performed pixel by pixel, but Patent Document 1 is known as a technique for improving distance measurement resolution through post-processing. The abstract of this literature states that the challenge is to ``eliminate the decrease in distance measurement resolution at long distances caused by parallax in units of pixels obtained by processing stereo images, and improve distance measurement resolution from short distances to long distances. As a solution, the document states, ``For a pair of images captured by the stereo camera 10, the stereo processing unit 30 calculates the city block distance for each small area of each image and calculates the correlation between them. Stereo matching is performed to identify the corresponding small area by calculating In step 40, stereo matching is performed using the data of the reference image and comparison image to obtain parallax of one pixel or less (sub-pixel component), and the parallax in units of pixels obtained from the distance image is interpolated with a resolution of one pixel or less. This eliminates the decrease in distance measurement resolution at long distances and ensures distance measurement accuracy from short to long distances.''

特開２０００－２８３７５３号公報Japanese Patent Application Publication No. 2000-283753

特許文献１の技術によって測距精度を確保するには、ステレオカメラの左右カメラの光学特性が同一という前提を必要とした。しかしながら、実際には各カメラの光学特性必ずしも同一ではないため、各カメラの光学特性が同一という前提で視差を算出した場合、視差算出結果には誤差が含まれることになる。 In order to ensure distance measurement accuracy using the technique of Patent Document 1, it is necessary to assume that the optical characteristics of the left and right cameras of the stereo camera are the same. However, in reality, the optical characteristics of each camera are not necessarily the same, so if the parallax is calculated on the assumption that the optical characteristics of each camera are the same, the parallax calculation result will include an error.

各カメラの光学特性が異なる要因の一つとして、各カメラのレンズの拡散特性Ｆの相違が挙げられる。図１に示す通り、レンズ２１（１枚のレンズとして簡略表示しているが、複数のレンズを組み合わせたものであっても良い）と撮像素子２２（ＣＭＯＳイメージセンサーなど）を有するカメラ２では、理想的な点光源Ｓから発された光はレンズ２１を通して撮像素子２２に投影され、画像Ｐが生成される。 One of the reasons why the optical characteristics of each camera differ is the difference in the diffusion characteristics F of the lenses of each camera. As shown in FIG. 1, the camera 2 includes a lens 21 (simplified representation as one lens, but it may be a combination of multiple lenses) and an image sensor 22 (such as a CMOS image sensor). Light emitted from an ideal point light source S is projected onto an image sensor 22 through a lens 21, and an image P is generated.

この場合、大きさを持たない点光源Ｓを撮像していることから、理想的には「理想のモデル」の画像Ｐｉのように、点光源Ｓが撮像素子２２上で結像した１画素にのみ光源が撮像されることが期待される。ところが実際には、レンズ２１の拡散特性Ｆによって点光源Ｓの光が撮像位置周辺に拡散するため、「実際のモデル」の画像Ｐｒのように、点光源Ｓに起因する光が外周に行くほど明るさを減衰しながら広範囲に撮像されることとなる。 In this case, since a point light source S that has no size is being imaged, ideally, the point light source S is imaged on one pixel on the image sensor 22, as in the "ideal model" image Pi. It is expected that only the light source will be imaged. However, in reality, the light from the point light source S is diffused around the imaging position due to the diffusion characteristic F of the lens 21, so as the light from the point light source S goes to the outer periphery, as shown in the "actual model" image Pr. A wide range of images will be captured while the brightness is attenuated.

従って、ステレオカメラの左右カメラの拡散特性Ｆが異なれば、仮に同じ位置から同じ明るさの点光源Ｓを撮像しても、異なる態様の画像が各カメラで撮像されることになる。この結果、各カメラの拡散特性Ｆが異なるステレオカメラを利用して視差を算出する場合は、画像毎に相違する拡散成分を元にブロックマッチングを実施することになるため、光源の視差が正確には算出されず、光源の三次元位置を正確に推定できないことになる。特に、光源が遠方にある場合は、ステレオカメラの特性上、小さな視差誤差でも大きな測距誤差に繋がるという性質があるため、遠方の物体を測距して後段の制御に利用するような処理、例えば、車載ステレオカメラを利用した先行車追従機能などでは、各カメラの拡散特性Ｆの相違に起因する視差誤差が大きな問題となる。 Therefore, if the diffusion characteristics F of the left and right cameras of the stereo camera are different, even if a point light source S of the same brightness is imaged from the same position, images with different aspects will be imaged by each camera. As a result, when calculating parallax using stereo cameras with different diffusion characteristics F for each camera, block matching is performed based on the different diffusion components for each image, so the parallax of the light source is accurately calculated. is not calculated, making it impossible to accurately estimate the three-dimensional position of the light source. In particular, when the light source is far away, due to the characteristics of stereo cameras, even a small parallax error can lead to a large distance measurement error. For example, in a function of following a preceding vehicle using an in-vehicle stereo camera, parallax errors caused by differences in the diffusion characteristics F of each camera pose a major problem.

この問題に対し、ステレオカメラの左右カメラが同一の拡散特性Ｆを持つようにレンズをペアリングすることが１つの解決策として考えられるが、同一設計値のレンズの同一ロット品であっても拡散特性Ｆにはバラツキがあるため、拡散特性の一致するレンズをペアリングするには、レンズ毎に拡散特性Ｆの計測を行い、似た特性のレンズを探し出してペアリングする、という多大な労力を必要とした。 One possible solution to this problem is to pair lenses so that the left and right cameras of a stereo camera have the same diffusion characteristic F, but even if lenses with the same design values are used in the same lot, Because characteristic F varies, pairing lenses with matching diffusion characteristics requires a great deal of effort to measure the diffusion characteristic F of each lens, find lenses with similar characteristics, and pair them. I needed it.

本発明は、このような問題を鑑みてなされたものであり、ステレオカメラを構成する各カメラの拡散特性が異なっても、正しく視差を算出できる画像処理装置、および、画像処理方法を提供することを目的とする。 The present invention has been made in view of such problems, and an object of the present invention is to provide an image processing device and an image processing method that can correctly calculate parallax even if the diffusion characteristics of each camera constituting a stereo camera are different. With the goal.

上記目的を達成するために、本発明は、視野が重複する複数のカメラで同時に得られた複数の画像のそれぞれにおいて光源の撮影される領域を特定する光源領域特定部と、光源領域の画素の輝度値に応じて当該画素に重みづけを行い、重みづけされた各画素を用いて、光源領域の視差マッチングを行うことで視差を求める視差算出部と、を備える。 In order to achieve the above object, the present invention includes a light source region identifying section that identifies a region where a light source is photographed in each of a plurality of images obtained simultaneously by a plurality of cameras with overlapping fields of view; The apparatus includes a parallax calculation unit that weights the pixels according to the luminance value and calculates the parallax by performing parallax matching of the light source region using each weighted pixel.

本発明の画像処理装置、および、画像処理方法によれば、テレオカメラを構成する各カメラの拡散特性が異なっても、正しく視差を算出することができる。上記した以外の課題、構成及び効果は、以下の実施例により明らかにされる。 According to the image processing device and the image processing method of the present invention, it is possible to correctly calculate parallax even if the cameras constituting the teleo camera have different diffusion characteristics. Problems, configurations, and effects other than those described above will be clarified by the following examples.

レンズの拡散特性の説明図Explanatory diagram of lens diffusion characteristics 実施例１の画像処理装置の概略構成図Schematic configuration diagram of the image processing device of Example 1 実施例１の画像処理部の機能ブロック図Functional block diagram of the image processing unit of Example 1 光源判定閾値の動的算出に関する説明図Explanatory diagram regarding dynamic calculation of light source determination threshold 光源判定閾値の動的算出に関する説明図Explanatory diagram regarding dynamic calculation of light source determination threshold 実施例１の視差算出部の機能ブロック図Functional block diagram of the parallax calculation unit of Example 1 実施例１の重み設定部で設定される重みの一例An example of weights set by the weight setting section of Embodiment 1 光源領域と非光源領域の輝度値の一例An example of brightness values for light source area and non-light source area 実施例１の視差マッチング部の機能ブロック図の一例An example of a functional block diagram of the parallax matching unit of Example 1 実施例１の視差マッチング部の機能ブロック図の別例Another example of the functional block diagram of the parallax matching unit of Embodiment 1 重みを反映する輝度減算処理の説明図Explanatory diagram of brightness subtraction processing that reflects weights 実施例２の光源検知部の機能ブロック図Functional block diagram of the light source detection unit of Example 2 実施例２で用いる物体識別結果の一例An example of object identification results used in Example 2 実施例２の視差算出部の機能ブロック図Functional block diagram of the parallax calculation unit of Example 2 統合重み算出処理の例Example of integrated weight calculation process 実施例３の画像処理部の機能ブロック図Functional block diagram of the image processing unit of Example 3 実施例３の信頼度算出部の機能ブロック図の一例An example of a functional block diagram of the reliability calculation unit of Embodiment 3 実施例３の信頼度算出部の機能ブロック図の別例Another example of the functional block diagram of the reliability calculation unit of Embodiment 3 実施例４の視差算出部の機能ブロック図Functional block diagram of the parallax calculation unit of Example 4

以下、本発明の画像処理装置の実施例を、図面を参照して説明する。なお、以下では、車両に搭載した画像処理装置を例に本発明を説明するが、本発明の画像処理装置は車両に搭載されるものに限定されるものではない。 Embodiments of the image processing apparatus of the present invention will be described below with reference to the drawings. Note that, although the present invention will be described below using an example of an image processing device mounted on a vehicle, the image processing device of the present invention is not limited to one that is mounted on a vehicle.

図２から図１０を用いて、本発明の実施例１に係る画像処理装置１を説明する。 The image processing device 1 according to the first embodiment of the present invention will be described using FIGS. 2 to 10.

まず、図２を用いて、実施例１の画像処理装置１の概略構成を説明する。ここに示すように、本実施例の画像処理装置１は、ステレオカメラ１１、メモリ１２、演算処理部１３、画像処理部１４、外部出力部１５を備える。そして、各構成要素は、通信ライン１６を介して相互通信可能に接続されている。 First, the schematic configuration of the image processing apparatus 1 of the first embodiment will be described using FIG. 2. As shown here, the image processing device 1 of this embodiment includes a stereo camera 11, a memory 12, an arithmetic processing section 13, an image processing section 14, and an external output section 15. Each component is connected via a communication line 16 so as to be able to communicate with each other.

ステレオカメラ１１は、左カメラ２Ｌと右カメラ２Ｒを用い、左画像と右画像を同期撮像するカメラシステムである。以下では、同期撮像した左右画像のうち任意の一方を基準画像Ｐ０と称し、他方を参照画像Ｐ１と称する。なお、本実施例の左カメラ２Ｌと右カメラ２Ｒは、視線方向が並行、かつ、視野が重複するように配置されているものとする。 The stereo camera 11 is a camera system that uses a left camera 2L and a right camera 2R to synchronously capture a left image and a right image. Hereinafter, any one of the synchronously captured left and right images will be referred to as a reference image P0, and the other will be referred to as a reference image P1. It is assumed that the left camera 2L and right camera 2R in this embodiment are arranged so that their viewing directions are parallel and their fields of view overlap.

メモリ１２は、基準画像Ｐ０や参照画像Ｐ１を一時記憶したり、演算処理部１３や画像処理部１４が実行するプログラムを記憶したりする、半導体メモリ等の記憶装置である。 The memory 12 is a storage device such as a semiconductor memory that temporarily stores the reference image P0 and the reference image P1, and stores programs executed by the arithmetic processing section 13 and the image processing section 14.

演算処理部１３は、メモリ１２に格納されているプログラムの指示に従って、以降で説明する演算処理を実装するＣＰＵ（Central Processing Unit）等の演算装置である。 The arithmetic processing unit 13 is an arithmetic device such as a CPU (Central Processing Unit) that implements arithmetic processing described below in accordance with instructions from a program stored in the memory 12.

画像処理部１４は、基準画像Ｐ０と参照画像Ｐ１に基づいて視差ｐを算出したりするＧＰＵ（Graphics Processing Unit）等の演算装置である。なお、画像処理部１４で実行される、視差ｐを算出するための具体的な処理については後段で述べる。 The image processing unit 14 is a calculation device such as a GPU (Graphics Processing Unit) that calculates the parallax p based on the reference image P0 and the reference image P1. Note that specific processing for calculating the parallax p, which is executed by the image processing unit 14, will be described later.

外部出力部１５は、画像処理部１４で算出した視差ｐ等を外部（例えば、ＥＣＵ（Electronic Control Unit））に送信するインターフェースである。なお、ＥＣＵは、車両の駆動系、制動系、操舵系等を制御する制御装置であり、外部出力部１５から取得した視差ｐ等を、先進運転支援システムや自動運転システムの一機能である、物体検知や走行路検出等に活用する。なお、これらの機能は、画像処理装置１の一部として組み込まれていても構わない。 The external output unit 15 is an interface that transmits the parallax p etc. calculated by the image processing unit 14 to the outside (for example, an ECU (Electronic Control Unit)). Note that the ECU is a control device that controls the drive system, braking system, steering system, etc. of the vehicle, and uses the parallax p etc. acquired from the external output unit 15 as a function of an advanced driving support system or an automatic driving system. It is used for object detection, travel path detection, etc. Note that these functions may be incorporated as part of the image processing device 1.

＜画像処理部１４＞
次に、図３の機能ブロック図を用いて、画像処理部１４の詳細について説明する。図示するように、画像処理部１４は、光源領域特定部１４１と、視差算出部１４２を有している。以下、各部の詳細を順次説明する。 <Image processing section 14>
Next, details of the image processing section 14 will be explained using the functional block diagram of FIG. 3. As illustrated, the image processing section 14 includes a light source area specifying section 141 and a parallax calculating section 142. The details of each part will be sequentially explained below.

＜＜光源領域特定部１４１＞＞
光源領域特定部１４１は、ステレオカメラ１１で撮像した一対の画像を、基準画像Ｐ０、参照画像Ｐ１として受け取り、受け取った画像内において光源の撮像された領域（以下、光源領域Ｒと称する）を特定する。ここで、本実施例における光源とは、自発光する自動車のヘッドライト・ブレーキランプ・テールランプ、街灯、信号などはもちろん、強い光を反射する鏡など、周辺環境に比べて強い光をカメラ２に向けて発している物体を包括する用語である。 <<Light source area identification unit 141>>
The light source region specifying unit 141 receives a pair of images captured by the stereo camera 11 as a standard image P0 and a reference image P1, and specifies a region in which a light source is captured (hereinafter referred to as a light source region R) in the received images. do. Here, the light sources in this embodiment include self-luminous car headlights, brake lights, tail lights, street lights, traffic lights, etc., as well as mirrors that reflect strong light, and other sources that provide light that is stronger than the surrounding environment to the camera 2. This is a term that encompasses all objects that are emitted towards you.

光源領域Ｒを特定する手法の１つとして、画像内の画素の輝度値を参照し、輝度値が閾値以上である領域を光源領域Ｒとして抽出する手法が考えられる。また、このとき、拡散成分は光源が明るいほど強くなり、拡散成分が視差マッチングに与える影響は周辺が暗いほど強くなる。よって、図４Ａに示すように、画像全体から判定した周辺の暗さが明るいほど、光源判定閾値が大きくなるように、光源領域特定部１４１を設計することが望ましい。 One possible method for specifying the light source region R is to refer to the brightness values of pixels in the image and extract as the light source region R an area whose brightness value is equal to or greater than a threshold value. Furthermore, at this time, the brighter the light source is, the stronger the diffuse component becomes, and the darker the periphery, the stronger the influence of the diffuse component on parallax matching. Therefore, as shown in FIG. 4A, it is desirable to design the light source area specifying unit 141 so that the brighter the darkness of the periphery determined from the entire image, the larger the light source determination threshold value becomes.

また、図４Ｂに、周辺の明るさと、視差マッチングに影響を与える拡散光成分の関係を簡単に示す。この図では、横軸を右に行くほど周辺が明るくなり、縦軸を上に行くほど光源が明るくなる。この図から明らかなように、光源の明るさが同じであり、同様の拡散光を発生させていても、周辺が明るければ、周辺の光に紛れて拡散光成分が小さくなるため、視差マッチングへの影響は相対的に小さくなる。一方、周辺が暗い場合は、比較的暗い光源であっても拡散光成分の影響は相対的に大きくなる。すなわち、図４Ａのように、周辺の明るさを元に光源と判定する閾値を決定することで、視差マッチングに影響のある光源の撮像された領域（光源領域Ｒ）だけを効率よく抽出することができる。 Further, FIG. 4B simply shows the relationship between the surrounding brightness and the diffused light component that affects parallax matching. In this figure, as you move to the right on the horizontal axis, the surrounding area becomes brighter, and as you move upward on the vertical axis, the light source becomes brighter. As is clear from this figure, even if the light source has the same brightness and generates similar diffused light, if the surroundings are bright, the diffused light component will be lost in the surrounding light, so parallax matching will be applied. The impact of this will be relatively small. On the other hand, when the surroundings are dark, the influence of the diffused light component becomes relatively large even if the light source is relatively dark. In other words, as shown in FIG. 4A, by determining the threshold value for determining a light source based on the surrounding brightness, it is possible to efficiently extract only the imaged region of the light source (light source region R) that affects parallax matching. Can be done.

＜＜視差算出部１４２＞＞
視差算出部１４２は、光源領域特定部１４１で特定した光源領域Ｒの各画素に対して重みづけを行い、重みづけされた各画素を用いた視差マッチング処理を行うことで最終的な視差ｐを算出する。 <<Parallax calculation unit 142>>
The parallax calculating unit 142 weights each pixel of the light source region R specified by the light source region specifying unit 141, and performs parallax matching processing using each weighted pixel to determine the final parallax p. calculate.

図５の機能ブロック図に示すように、視差算出部１４２は、重み設定部１４２ａと、視差マッチング部１４２ｂを有している。以下、各部の詳細を順次説明する。 As shown in the functional block diagram of FIG. 5, the parallax calculation section 142 includes a weight setting section 142a and a parallax matching section 142b. The details of each part will be explained below.

重み設定部１４２ａは、ステレオカメラ１１で撮像した基準画像Ｐ０と参照画像Ｐ１、及び、光源領域特定部１４１で特定した光源領域Ｒに基づいて、画像の各画素に対して重みを設定する。 The weight setting section 142a sets a weight for each pixel of the image based on the standard image P0 and reference image P1 captured by the stereo camera 11, and the light source region R specified by the light source region specifying section 141.

重み設定部１４２ａで設定する重みについて図６を用いて説明する。ここに例示するように、基準画像Ｐ０の光源領域Ｒ０においては、光源そのものが撮影されている部分Ａ１が特に輝度値が高く、視差誤差の要因となる拡散光成分Ａ２はその周辺に低輝度で分布している。このことから、この基準画像Ｐ０に対しては、図６左下グラフに示すように、単純に輝度値に応じて重みを設定する方法が考えられる。あるいは、輝度値だけでなく輝度勾配を合わせて考慮して重みを設定しても良い。図６左下グラフでは、重みは離散的に変化しているが、滑らかに変化する輝度値に合わせて滑らかに重みが変化するようモデル化しても良い。 The weights set by the weight setting unit 142a will be explained using FIG. 6. As illustrated here, in the light source region R0 of the reference image P0, the brightness value is particularly high in the part A1 where the light source itself is photographed, and the diffused light component A2, which causes parallax error, has a low brightness around it. It is distributed. Therefore, for this reference image P0, a method of simply setting weights according to the luminance value, as shown in the lower left graph of FIG. 6, can be considered. Alternatively, the weights may be set by considering not only the brightness value but also the brightness gradient. In the lower left graph of FIG. 6, the weights change discretely, but it may be modeled so that the weights change smoothly in accordance with smoothly changing brightness values.

ここで、夜間に撮像した画像Ｐにおいて、光源を含む光源領域Ｒと、光源ではない物体（例えば、林立する柱状物体）を含む非光源領域Ｒ’を例に、各領域に設定すべき重みについて説明する。図７に示すように、非光源領域Ｒ’内の林立する柱状物体は、単純に光量が少ないため低輝度の画素となっているが、視差マッチングに積極的に利用したい画素であるので設定する重みを大きくしたい。一方、光源領域Ｒの拡散光成分は、非光源領域Ｒ’内の柱状物体撮像領域と同程度の低輝度の画素となっているが、視差マッチング時のノイズになると考えられるため、設定する重みを小さくしたい。すなわち、同程度の低輝度の画素でも、光源領域Ｒと非光源領域Ｒ’では、最適な重みが異なっている。 Here, in an image P captured at night, we will take as an example a light source region R that includes a light source and a non-light source region R' that includes objects that are not light sources (for example, columnar objects standing in a forest), and consider the weight that should be set for each region. explain. As shown in Fig. 7, the columnar objects standing in a forest in the non-light source region R' are low-luminance pixels simply because the amount of light is low, but they are pixels that we want to actively use for parallax matching, so we set them. I want to increase the weight. On the other hand, the diffused light component of the light source region R is a pixel with a low luminance comparable to that of the columnar object imaging region in the non-light source region R', but since it is considered to become noise during parallax matching, the weight to be set is I want to make it smaller. That is, even for pixels with similar low luminance, the optimum weights are different between the light source region R and the non-light source region R'.

低輝度の画素が何れに分類されるかを区別する際に参考となりうる、光源領域Ｒと非光源領域Ｒ’の特性を比較すると、両者には次の相違があることが分かる。すなわち、非光源領域Ｒ’では、柱状物体の外縁部で物体の有無によって輝度が急変するため、全体的に輝度値が小さくても、大きな輝度勾配を含む傾向にある。一方、光源領域Ｒの拡散光成分は、輝度値が小さく、かつ、輝度勾配も緩やかである。 Comparing the characteristics of the light source region R and the non-light source region R', which can be used as reference when distinguishing into which category a low-luminance pixel is classified, reveals the following differences between the two. That is, in the non-light source region R', the brightness changes rapidly depending on the presence or absence of the object at the outer edge of the columnar object, so even if the overall brightness value is small, it tends to include a large brightness gradient. On the other hand, the diffused light component of the light source region R has a small brightness value and a gentle brightness gradient.

そこで、両者の特性の差異に鑑み、輝度値が低く、かつ、輝度勾配が小さいときにのみ（すなわち、光源領域Ｒ内の拡散光成分に該当すると考えられるときのみ）小さくなるような重みを設計することで、拡散光成分以外の低輝度部分（例えば、非光源領域Ｒ’内の物体）に対して重みを不当に小さくする危険性を回避することができる。 Therefore, in consideration of the difference in characteristics between the two, we designed a weight that becomes small only when the brightness value is low and the brightness gradient is small (that is, only when it is considered to correspond to the diffuse light component in the light source region R). By doing so, it is possible to avoid the risk of unduly reducing the weight for low-luminance portions other than the diffused light component (for example, objects in the non-light source region R').

本実施例で各画素に設定する重みｗをより具体的に説明すれば、仮に、ある画像座標（ｉ，ｊ）における輝度値をＬ（ｉ，ｊ）、輝度勾配をＬ’（ｉ，ｊ）とする場合、以下の式１で規定されるような重みｗを画像座標（ｉ，ｊ）に与えればよい。ここで、式１のａ，ｂは、輝度値と輝度勾配のスケールを合わせるスケールファクターとしての役割を果たす係数である。 To explain more specifically the weight w set for each pixel in this embodiment, suppose that the luminance value at a certain image coordinate (i, j) is L(i, j), and the luminance gradient is L'(i, j ), it is sufficient to give a weight w as defined by the following equation 1 to the image coordinates (i, j). Here, a and b in Equation 1 are coefficients that serve as a scale factor that matches the scale of the brightness value and the brightness gradient.

視差マッチング部１４２ｂは、重み設定部１４２ａで設定した重みを元に画素ごとに重みづけをしつつ視差マッチングを行い、視差ｐを出力する。以下、重みづけの反映の仕方について説明する。 The parallax matching unit 142b performs parallax matching while weighting each pixel based on the weight set by the weight setting unit 142a, and outputs the parallax p. The method of reflecting the weighting will be explained below.

図８に、視差に先立ち計算する輝度差分に画素毎の重み付けを行う視差マッチング部１４２ｂの機能ブロック図を示す。この例においては、基準画像Ｐ０と参照画像Ｐ１の輝度差分を計算した後に、各輝度差分に対して重み付けを適用する。その後、重みを適用した輝度差分を利用して、視差マッチングにより視差を算出する。但し、この手法では、参照画像Ｐ１側の各画素に設定すべき重みを考慮していないため、重みの低い画素（拡散光成分）の影響を十分に排除できない。 FIG. 8 shows a functional block diagram of the parallax matching unit 142b that weights the luminance difference calculated prior to parallax for each pixel. In this example, after calculating the brightness difference between the standard image P0 and the reference image P1, weighting is applied to each brightness difference. Thereafter, parallax is calculated by parallax matching using the weighted luminance difference. However, this method does not take into account the weight to be set for each pixel on the reference image P1 side, and therefore cannot sufficiently eliminate the influence of pixels with low weights (diffuse light components).

そこで、図８の問題を改善する方策の一例として、図９に、事前に基準画像Ｐ０と参照画像Ｐ１の双方を画像変換することで、両画像について画素毎の重み付けを実現する視差マッチング部１４２ｂの機能ブロック図を示す。この図においては、重みの小さな画素における輝度が後段の差分計算において影響が小さくなるように、輝度画像である基準画像Ｐ０と参照画像Ｐ１を事前に変換する。例えば、重みの低い領域においては、該当する画素の輝度値が左右画像（基準画像Ｐ０と参照画像Ｐ１）ですべて０になるよう変換すれば、その領域内では視差マッチング時に計算される差分は常に０となり、他の領域の差分が優先的に扱われることになる。 Therefore, as an example of a measure to improve the problem in FIG. 8, FIG. 9 shows a parallax matching unit 142b that performs image conversion on both the standard image P0 and the reference image P1 in advance to achieve pixel-by-pixel weighting for both images. The functional block diagram is shown below. In this figure, the standard image P0 and the reference image P1, which are brightness images, are converted in advance so that the brightness of pixels with small weights has a small influence on the subsequent difference calculation. For example, in a region with low weight, if the luminance values of the corresponding pixels are converted to all 0 in the left and right images (standard image P0 and reference image P1), the difference calculated during parallax matching will always be 0, and differences in other areas are treated preferentially.

実際の変換手順の例について、図１０に示す。同図の上段グラフは、基準画像Ｐ０の光源領域Ｒ０の横方向の輝度変化を示したグラフである。この上段グラフの輝度に対して、式１等による重み係数を単純に乗算する方法では、領域に設定された重みをそれぞれの輝度に掛けて画像を生成し、視差マッチングを行う。このやり方は簡単であるが、図１０の中段グラフに示した通り重みを強くした部分と弱くした部分の間で急激に変化する画像となり、元々存在しない部分に新たなエッジが生成されてしまい、元々存在しない物体を検知したと誤解して誤マッチングに繋がる可能性もある。 An example of an actual conversion procedure is shown in FIG. The upper graph in the figure is a graph showing a change in luminance in the lateral direction of the light source region R0 of the reference image P0. In a method of simply multiplying the luminance of the upper graph by a weighting coefficient such as Equation 1, an image is generated by multiplying the luminance of each region by a weight set for the region, and parallax matching is performed. This method is simple, but as shown in the middle graph of Figure 10, the image changes rapidly between the parts where the weight is strengthened and the parts where the weight is weakened, and new edges are generated in parts that do not originally exist. There is also the possibility that the system may misunderstand that it has detected an object that does not originally exist, leading to incorrect matching.

そこで、図１０の下段グラフに示すように、画像全体の輝度を所定量減算した輝度画像を生成し、これを視差マッチングの処理対象とすることで、重み変化箇所の影響を最小限にした視差マッチングを行うことができる。この手法では、光源として特定された領域全体から、一定の輝度値を一律に減算した後にマッチングを行う。明るい部分からも輝度が減算されることから、下段グラフに示したように、高輝度領域では輝度勾配が一定に保たれる。減算する輝度の具体的な数値については、重みが一定以下である画素の輝度値がすべて０になるように減算値を設定しても良いし、光源領域の輝度が初期状態の２０％になるような減算値を設定しても良い。これらは使用するレンズ２１の拡散特性Ｆにも影響されるため、ステレオカメラ１１に要求される視差精度を元に設計する必要がある。 Therefore, as shown in the lower graph of FIG. 10, by generating a luminance image by subtracting the luminance of the entire image by a predetermined amount and using this as the processing target for parallax matching, the parallax can be adjusted to minimize the influence of the weight change location. Matching can be done. In this method, matching is performed after uniformly subtracting a certain luminance value from the entire area identified as a light source. Since the brightness is also subtracted from bright parts, the brightness gradient is kept constant in the high brightness area, as shown in the lower graph. Regarding the specific value of the brightness to be subtracted, the subtraction value may be set so that all the brightness values of pixels whose weight is below a certain level become 0, or the brightness of the light source area becomes 20% of the initial state. You may also set a subtraction value like this. Since these are also affected by the diffusion characteristic F of the lens 21 used, it is necessary to design them based on the parallax accuracy required of the stereo camera 11.

以上で説明した実施例の画像処理装置１によって、光源を撮像して視差算出を行った際、光源周辺の拡散光成分の影響を除去したうえで視差算出を行うため、左右レンズ特性の違いに起因する視差誤差を最小限に抑え、高精度な測距を実現することができる。 When the image processing device 1 of the embodiment described above images the light source and calculates the parallax, the parallax calculation is performed after removing the influence of the diffused light component around the light source. It is possible to minimize the resulting parallax error and achieve highly accurate distance measurement.

次に、図１１から図１４を用いて、本発明の実施例２に係る画像処理装置１を説明する。なお、実施例１との共通点は重複説明を省略する。 Next, an image processing apparatus 1 according to a second embodiment of the present invention will be described using FIGS. 11 to 14. Note that redundant explanation of common points with Example 1 will be omitted.

実施例２は実施例１の変形例であり、光源となり得る物体の物体識別結果Ｉを外部から取得する場合の実施例である。本実施例によれば、本発明の画像処理を行うべき光源領域を画像輝度値以外の情報も活用して特定することができ、重要な光源を見落とすことなく画像処理することができる。 Embodiment 2 is a modification of Embodiment 1, and is an embodiment in which the object identification result I of an object that can be a light source is acquired from the outside. According to this embodiment, it is possible to specify the light source area in which the image processing of the present invention should be performed using information other than the image brightness value, and it is possible to perform image processing without overlooking important light sources.

本実施例における光源領域特定部１４１の機能ブロック図を図１１に示す。ここに示すように、本実施例の光源領域特定部１４１は、基準画像Ｐ０、参照画像Ｐ１、物体識別結果Ｉを入力とし、光源領域Ｒを出力するものであり、監視領域設定部１４１ａと、輝度変化判定部１４１ｂを有している。 FIG. 11 shows a functional block diagram of the light source area specifying unit 141 in this embodiment. As shown here, the light source area specifying unit 141 of this embodiment receives the reference image P0, the reference image P1, and the object identification result I as input, and outputs the light source area R, and the monitoring area setting unit 141a, It has a brightness change determination section 141b.

物体識別結果Ｉは、画像上で立体物を検知した領域と、その立体物の種別を示すラベルを合わせたものであり、図示しない物体識別部でパターンマッチング等を利用して生成される。物体識別結果Ｉの一例を図１２に示す。例えば、物体識別結果Ｉとして車両検知結果Ｏｂ１が得られた場合、ブレーキランプ点灯やテールランプ点灯の可能性があるため、光源領域特定部１４１では、車両検知結果Ｏｂ１が示す領域を光源可能性物体として扱う。具体的には、監視領域設定部１４１ａにて車両のブレーキランプが存在するであろう領域を監視領域として設定する。そして、該当領域を時系列に追跡し、輝度変化判定部１４１ｂで輝度値が大きく変化した瞬間を判定する。輝度値が明るい方向に変化していた場合、ブレーキランプ点灯タイミングであると判定され、該当領域は光源領域であるとして出力する。 The object identification result I is a combination of an area where a three-dimensional object is detected on the image and a label indicating the type of the three-dimensional object, and is generated by an object identification section (not shown) using pattern matching or the like. An example of the object identification result I is shown in FIG. For example, when the vehicle detection result Ob1 is obtained as the object identification result I, there is a possibility that the brake lamp or tail lamp is on, so the light source area specifying unit 141 identifies the area indicated by the vehicle detection result Ob1 as a possible light source object. handle. Specifically, the monitoring area setting unit 141a sets the area where the brake lamp of the vehicle is likely to be present as the monitoring area. Then, the corresponding area is tracked in chronological order, and the brightness change determination unit 141b determines the moment when the brightness value changes significantly. If the brightness value is changing in the brighter direction, it is determined that it is time to turn on the brake lamp, and the corresponding area is output as a light source area.

同様に、物体識別結果Ｉとして信号検知結果Ｏｂ２を得た場合も、監視領域設定部１４１ａは、上記同様に、信号のランプ位置を光源可能性物体として監視領域に設定した後、輝度変化判定部１４１ｂで該領域の輝度変化を監視し、明るくなった場合に光源領域であるとして出力する。 Similarly, when the signal detection result Ob2 is obtained as the object identification result I, the monitoring area setting unit 141a sets the lamp position of the signal as a possible light source object in the monitoring area, and then the brightness change determining unit At step 141b, changes in brightness of the area are monitored, and when the area becomes brighter, it is output as a light source area.

一方、街路樹など光源となりえない物体のその他検知結果Ｏｂ３が得られた場合は、監視領域設定部１４１ａでは、特に監視領域を設定する必要はない。 On the other hand, if the other detection result Ob3 of an object that cannot serve as a light source, such as a street tree, is obtained, the monitoring area setting unit 141a does not need to particularly set a monitoring area.

次に、本実施例の視差算出部１４２の機能ブロック図を図１３に示す。ここに示すように、本実施例の視差算出部１４２は、実施例１の図５等で説明した重み設定部１４２ａと視差マッチング部１４２ｂに加え、種別パラメタ設定部１４２ｃと重みマージ部１４２ｄを有している。 Next, FIG. 13 shows a functional block diagram of the parallax calculation unit 142 of this embodiment. As shown here, the disparity calculation unit 142 of this embodiment includes a type parameter setting unit 142c and a weight merging unit 142d in addition to the weight setting unit 142a and disparity matching unit 142b described in FIG. 5 of the first embodiment. are doing.

種別パラメタ設定部１４２ｃでは、上記した物体識別結果Ｉを受け取り、実施例１の重みとは別に種別パラメタを設定する。種別パラメタとは、対象物体に対する測距の重要度から本発明の重みづけ処理の軽重を決定する重みである。重みづけを強く実施した場合、拡散光成分が除去される効果が高いため測距精度が向上する。一方、視差マッチングに使用しない画素が増えることから、検知の安定性という点で劣る。重みづけを弱くした場合はその逆である。これらの影響はトレードオフであるから、シーンに応じて適切に用いることが重要である。 The type parameter setting unit 142c receives the object identification result I described above, and sets type parameters separately from the weights in the first embodiment. The type parameter is a weight that determines the importance of the weighting process of the present invention based on the importance of distance measurement for the target object. When weighting is strongly applied, the distance measurement accuracy improves because the effect of removing the diffused light component is high. On the other hand, since the number of pixels that are not used for parallax matching increases, the stability of detection is inferior. The opposite is true when the weighting is made weaker. Since these effects are trade-offs, it is important to use them appropriately depending on the scene.

図１２に例示したように、外部から取得した物体識別結果Ｉに基づいて撮像対象物体の種別が予め分かっている場合、例えばブレーキランプ点灯中の先行車両であれば、自車両の緊急ブレーキ対象となる可能性があり、緊急性・測距要求精度ともに高い。よって、本発明による拡散光成分の除去を出来る限り行い、高精度な測距を行うべきである。しかし、テールランプ点灯中の車両であれば、緊急性は低く、ランプがブレーキランプより暗いことから拡散光の影響による誤差量も小さいため、拡散光成分の除去はブレーキランプよりも小さくて良い。さらに、信号や街灯であれば、測距要求精度は低い。 As illustrated in FIG. 12, when the type of the object to be imaged is known in advance based on the object identification result I obtained from the outside, for example, if the preceding vehicle has its brake lamps on, it is considered that the own vehicle is subject to emergency braking. There is a possibility that this will happen, and both the urgency and the accuracy required for distance measurement are high. Therefore, the diffused light component according to the present invention should be removed as much as possible to perform highly accurate distance measurement. However, if the vehicle has a tail lamp on, there is less urgency and since the lamp is darker than the brake lamp, the error amount due to the influence of diffused light is also small, so the removal of the diffused light component may be smaller than that for the brake lamp. Furthermore, in the case of traffic lights and street lights, the required distance measurement accuracy is low.

このように種別に応じて重みづけを変化させることで、測距精度が必要な場合においては本処理を強く実施して精度を優先し、そうでない場合においては本処理を弱めることで安定性を確保する。種別パラメタはこれらの傾向を示すパラメタとして後段処理に出力する。 By changing the weighting according to the type in this way, when distance measurement accuracy is required, this process is strongly implemented to give priority to accuracy, and when it is not, this process is weakened to improve stability. secure. The type parameter is output to subsequent processing as a parameter indicating these trends.

重み設定部１４２ａと種別パラメタ設定部１４２ｃで算出された重みと種別パラメタは、重みマージ部１４２ｄにおいて最終的に視差マッチングに用いるための重みに統合される。説明のため、全く同一の光源を先行車のブレーキランプとして判定した場合の統合重み算出の例と、信号として判定した場合の統合重み算出の例を図１４に示す。 The weights and type parameters calculated by the weight setting unit 142a and type parameter setting unit 142c are finally integrated into weights to be used for parallax matching in a weight merging unit 142d. For the sake of explanation, FIG. 14 shows an example of integrated weight calculation when the same light source is determined to be a brake lamp of a preceding vehicle, and an example of integrated weight calculation when the same light source is determined to be a signal.

図１４左図に示すように、光源をブレーキランプと判定した場合、拡散光の影響を少しでも減らして測距精度を上げるために、光源部分と拡散光部分の重み変化をより急峻に変換する。これは、先進運転支援システムや自動運転システムの制御によって、急減速中の先行車への追突を回避するには、その前提として、先行車のブレーキランプまでの距離を正確に推定する必要があるからである。 As shown in the left diagram of Figure 14, when the light source is determined to be a brake lamp, the weight change of the light source part and the diffused light part is converted to be more steep in order to reduce the influence of the diffused light and improve the distance measurement accuracy. . This means that in order to avoid a rear-end collision with a vehicle in front that is rapidly decelerating through the control of advanced driver assistance systems and automated driving systems, it is necessary to accurately estimate the distance to the brake lights of the vehicle in front. It is from.

一方、図１４右図に示すように、光源を信号と判定した場合は、光源部分では測距精度を向上させず、視差マッチングに使う情報を増やすことで信号検出の安定性を保つ。これは、信号までの距離を正確に推定できなくても、特段の悪影響が無いからである。 On the other hand, as shown in the right diagram of FIG. 14, when the light source is determined to be a signal, the distance measurement accuracy is not improved in the light source part, and the stability of signal detection is maintained by increasing the information used for parallax matching. This is because even if the distance to the signal cannot be accurately estimated, there is no particular adverse effect.

本実施例によれば、重みづけ処理を行うべき光源領域を画像輝度値以外の情報も活用して特定すると共に、該光源の種別に応じた重みづけを行うことで、測距制度の必要な光源についてのみ、適切に拡散光成分を除去した視差マッチングを行うことができる。 According to this embodiment, the light source area to be subjected to weighting processing is specified using information other than the image brightness value, and weighting is performed according to the type of the light source. Parallax matching can be performed with the diffused light component appropriately removed only for the light source.

次に、図１５から図１７を用いて、本発明の実施例３に係る画像処理装置１を説明する。なお、上記の実施例との共通点は重複説明を省略する。 Next, an image processing apparatus 1 according to a third embodiment of the present invention will be described using FIGS. 15 to 17. Note that redundant explanation of common points with the above embodiments will be omitted.

実施例３は実施例１の変化例であり、実施例１の画像処理部１４に、さらに各視差の信頼度マップＭを算出する信頼度算出部１４３を追加したものである。本実施例によれば、出力された視差ｐそれぞれの信頼度マップＭを出力することができ、後段処理で視差ｐを用いる際に、信頼度マップＭが示す信頼度の高い視差ｐだけを用いた高精度な測距や、信頼度の低い点を用いた密な点群処理などを選択的に行うことができる。 Embodiment 3 is a variation of Embodiment 1, in which a reliability calculation unit 143 that calculates a reliability map M for each parallax is added to the image processing unit 14 of Example 1. According to this embodiment, it is possible to output a reliability map M for each output disparity p, and when using the disparity p in subsequent processing, only the disparity p with high reliability indicated by the reliability map M is used. It is possible to selectively perform high-accuracy distance measurement based on the image data, and dense point cloud processing using low-reliability points.

本実施例における画像処理部１４の構成図を図１５に示す。ここに示すように、本実施例の画像処理部１４は、実施例１の画像処理部１４（図３参照）の後端に、信頼度算出部１４３を付加したものである。これにより、前述の手法で視差算出部１４２が視差ｐを算出した後、各視差の信頼度を算出する信頼度算出部１４３で、信頼度マップＭを算出することができる。 FIG. 15 shows a configuration diagram of the image processing section 14 in this embodiment. As shown here, the image processing section 14 of this embodiment is obtained by adding a reliability calculation section 143 to the rear end of the image processing section 14 of the first embodiment (see FIG. 3). Thereby, after the parallax calculation unit 142 calculates the parallax p using the above-described method, the reliability map M can be calculated by the reliability calculation unit 143 that calculates the reliability of each parallax.

信頼度算出部１４３の機能ブロック図の一例を図１６に示す。ここに示す信頼度算出部１４３は、通常視差マッチング部１４３ａと、視差比較部１４３ｂを有する。 FIG. 16 shows an example of a functional block diagram of the reliability calculation unit 143. The reliability calculation section 143 shown here includes a normal parallax matching section 143a and a parallax comparison section 143b.

通常視差マッチング部１４３ａでは、重みづけを行わない単純な視差算出を行う。視差算出の方法には前述したブロックマッチングなどがあるが、視差算出部１４２の視差マッチング部１４２ｂと同一の方法を用い、重みづけの有無だけが差分である。以後、ここで算出された視差ｐを通常視差ｐｎ、視差マッチング部１４２ｂの出力である重みづけ視差ｐｗと呼び、区別する。 The normal parallax matching unit 143a performs simple parallax calculation without weighting. The method of calculating parallax includes the block matching described above, but the same method as that of the parallax matching section 142b of the parallax calculating section 142 is used, and the only difference is whether or not weighting is performed. Hereinafter, the parallax p calculated here will be referred to as a normal parallax pn and a weighted parallax pw, which is the output of the parallax matching unit 142b, to distinguish between them.

次に、視差比較部１４３ｂにおいて、画素ごとに通常視差ｐｎと重みづけ視差ｐｗを比較する。重みが一致した画素では拡散光成分の影響がないと判断されるため、その画素の信頼度は高いと判断することができる。一方、通常視差ｐｎと重みづけ視差ｐｗが異なる場合は拡散光成分の影響があると判断されるため、その画素の信頼度は低いと判断することができる。なお、通常視差ｐｎと重みづけ視差ｐｗが異なる領域は、本発明の拡散光成分の除去によって視差誤差が除去された領域である。 Next, the parallax comparison unit 143b compares the normal parallax pn and the weighted parallax pw for each pixel. Since it is determined that there is no influence of the diffused light component on a pixel whose weights match, it can be determined that the reliability of that pixel is high. On the other hand, if the normal parallax pn and the weighted parallax pw are different, it is determined that there is an influence of the diffused light component, so it can be determined that the reliability of that pixel is low. Note that the area where the normal parallax pn and the weighted parallax pw are different is an area where the parallax error has been removed by removing the diffused light component of the present invention.

しかし、実施例２でも述べた通り、視差マッチング部１４２ｂの出力である重みづけ視差ｐｗは拡散光成分の含まれる画素を除去して視差マッチングしていることに等しく、視差マッチングに使用されている画素の数が通常より少なく、信頼度が落ちる。合わせて、この時の差分が大きいほど拡散光成分の影響が大きいと考えられるため、重みづけによって影響を除去しきれていない可能性を考慮し、信頼度をより低く設定する。以上の思想で設定された信頼度マップＭを、信頼度算出部１４３の最終出力とする。 However, as described in the second embodiment, the weighted parallax pw, which is the output of the parallax matching unit 142b, is equivalent to performing parallax matching by removing pixels that include the diffused light component, and is used for parallax matching. The number of pixels is smaller than usual, reducing reliability. In addition, since it is considered that the larger the difference at this time, the greater the influence of the diffused light component, the reliability is set lower in consideration of the possibility that the influence may not be completely removed by weighting. The reliability map M set based on the above idea is the final output of the reliability calculation unit 143.

あるいは、視差比較部１４３ｂで視差ｐを見比べることなく、左右レンズの拡散特性Ｆから直接信頼度を算出しても良い。この時の信頼度算出部１４３の機能ブロック図を図１７に示す。ここに示す信頼度算出部１４３は、拡散度推定部１４３ｃと、拡散特性による信頼度生成部１４３ｄを有する。以下、図１７の信頼度算出部１４３による信頼度の算出方法を詳細に説明する。 Alternatively, the reliability may be calculated directly from the diffusion characteristics F of the left and right lenses without comparing the parallax p in the parallax comparison unit 143b. A functional block diagram of the reliability calculation unit 143 at this time is shown in FIG. The reliability calculation unit 143 shown here includes a diffusion estimation unit 143c and a reliability generation unit 143d based on diffusion characteristics. Hereinafter, a method for calculating the reliability by the reliability calculation unit 143 in FIG. 17 will be described in detail.

まず、事前のカメラ組み立て工程などにおいて、実際に点光源Ｓを撮像してレンズ２１の拡散特性Ｆを計測する。 First, in a prior camera assembly process, a point light source S is actually imaged and the diffusion characteristic F of the lens 21 is measured.

次に、拡散度推定部１４３ｃにおいて、基準画像Ｐ０の各画像領域での拡散度を推定する。この拡散度は、画像の小領域の周波数成分・輝度勾配などを見ることで該領域のぼやけ具合を推定する処理であり、最終的にレンズ２１の拡散特性Ｆと見比べて、該小領域が光源の撮像による拡散成分に似た成分を含むかどうかを判定する。 Next, the degree of diffusion estimating unit 143c estimates the degree of diffusion in each image region of the reference image P0. This diffusivity is a process that estimates the degree of blur in a small area of the image by looking at the frequency components, brightness gradient, etc. of the area, and finally compares it with the diffusion characteristic F of the lens 21 to determine whether the small area is the light source. Determine whether the image contains a component similar to the diffuse component obtained by imaging.

そして、拡散特性による信頼度生成部１４３ｄでは、レンズ２１の拡散特性Ｆに似た成分を持つ領域においては、物体が存在することによるテクスチャではなく、光源が拡散することで疑似的に撮像された拡散光成分が視差算出に影響を与えていると判断する。すなわち、
このような領域においては、信頼度が低いと判断する。そのため、レンズ２１の拡散特性Ｆに似た領域であるほど信頼度を下げるように信頼度生成部１４３ｄを設計する。 Then, in the reliability generation unit 143d based on the diffusion characteristic, in a region having a component similar to the diffusion characteristic F of the lens 21, the image is pseudo-imaged not due to the texture due to the presence of an object but due to the diffusion of the light source. It is determined that the diffused light component is affecting the parallax calculation. That is,
In such a region, the reliability is determined to be low. Therefore, the reliability generation unit 143d is designed so that the more similar the diffusion characteristic F of the lens 21 is to the region, the lower the reliability is.

図１６と図１７の信頼度算出手法はいずれかのみを選択する必要はなく、同時に用いても良い。 It is not necessary to select only one of the reliability calculation methods shown in FIGS. 16 and 17, and they may be used simultaneously.

本実施例によれば、拡散光成分によって信頼度の低下している視差ｐを抽出すると共に、それぞれの視差ｐの信頼度を表す信頼度マップＭを出力することができ、ＥＣＵ等での後段の処理では信頼度マップＭを用いた処理を実行することができる。 According to this embodiment, it is possible to extract parallaxes p whose reliability is lowered due to the diffused light component, and output a reliability map M representing the reliability of each parallax p, so that it is possible to output a reliability map M representing the reliability of each parallax p. In the process, the process using the reliability map M can be executed.

次に、図１８を用いて、本発明の実施例４に係る画像処理装置１を説明する。なお、上記の実施例との共通点は重複説明を省略する。 Next, using FIG. 18, an image processing apparatus 1 according to a fourth embodiment of the present invention will be described. Note that redundant explanation of common points with the above embodiments will be omitted.

実施例４は実施例１の変化例であり、光源による影響の大小を周辺の明るさから判定する実施例である。本実施例によれば、夜間の強光源など、拡散光成分による影響の大きいシーンでは重みづけの勾配を大きくし、適切に影響を除去することができる。 Embodiment 4 is a variation of Embodiment 1, and is an embodiment in which the magnitude of the influence of a light source is determined from the surrounding brightness. According to this embodiment, in scenes where the influence of diffused light components is large, such as a strong light source at night, the weighting gradient can be increased to appropriately remove the influence.

本実施例における視差算出部１４２の機能ブロック図を図１８に示す。ここに示すように、本実施例の視差算出部１４２は、実施例２の種別パラメタ設定部１４２ｃに代えて明るさパラメタ設定部１４２ｅを設けたものである。 FIG. 18 shows a functional block diagram of the parallax calculation unit 142 in this embodiment. As shown here, the parallax calculation unit 142 of this embodiment is provided with a brightness parameter setting unit 142e in place of the type parameter setting unit 142c of the second embodiment.

本実施例の明るさパラメタ設定部１４２ｅは、基準画像Ｐ０を入力として受け取り、明るさパラメタの設定値を出力する。ここで、明るさパラメタとは、対象物体に対する測距の重要度から本発明の重みづけ処理の軽重を決定する重みである。そして、基準画像Ｐ０の画面全体の輝度値から周辺の明るさを判定し、周辺が暗いと判定した場合には、重みマージ部１４２ｄでは、重みづけを強く実施し、拡散光成分を強く除去する。一方、周辺が明るいと判定した場合には、拡散光成分は他の光に対して十分に小さいと考えられるため、重みマージ部１４２ｄでは、重みづけを弱くし、情報の減少を防ぐ。重みマージ部１４２ｄでの重みづけの強弱がもたらす効果については、実施例２における光源種別と同様である。 The brightness parameter setting unit 142e of this embodiment receives the reference image P0 as an input and outputs a set value of the brightness parameter. Here, the brightness parameter is a weight that determines the importance of the weighting process of the present invention based on the importance of distance measurement for the target object. Then, the brightness of the surrounding area is determined from the luminance value of the entire screen of the reference image P0, and if it is determined that the surrounding area is dark, the weight merging unit 142d strongly weights the area and strongly removes the diffused light component. . On the other hand, if it is determined that the surrounding area is bright, the diffused light component is considered to be sufficiently small compared to other light, so the weight merging unit 142d weakens the weighting to prevent information from decreasing. The effect brought about by the strength of weighting in the weight merging section 142d is the same as that of the light source type in the second embodiment.

ここでは画像から周辺の明るさを判定する実施例について述べたが、例えば外部から時刻情報を取得できる場合は朝昼夜の情報から明るさパラメタを決定しても良いし、ＧＰＳやマップ情報がある場合は、トンネル内外などの情報から決定しても良い。 Here, we have described an example in which the surrounding brightness is determined from an image, but for example, if time information can be obtained from the outside, the brightness parameter may be determined from morning, noon, and night information, or if there is GPS or map information. If so, the decision may be made from information such as the inside and outside of the tunnel.

本実施例によれば、周辺の明るさ変化による拡散光成分の影響の度合いに合わせた重みづけを実施し、拡散光成分の除去が特に必要な夜間において適切に拡散光成分を除去した視差マッチングを行うことができる。 According to this example, weighting is performed according to the degree of influence of the diffused light component due to changes in surrounding brightness, and parallax matching that appropriately removes the diffused light component at night when removal of the diffused light component is especially necessary. It can be performed.

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。 Note that the present invention is not limited to the above-described embodiments, and includes various modifications. For example, the embodiments described above are described in detail to explain the present invention in an easy-to-understand manner, and the present invention is not necessarily limited to having all the configurations described. Furthermore, it is possible to replace a part of the configuration of one embodiment with the configuration of another embodiment, and it is also possible to add the configuration of another embodiment to the configuration of one embodiment. Further, it is possible to add, delete, or replace a part of the configuration of each embodiment with other configurations.

また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。 Further, each of the above configurations may be partially or entirely configured by hardware, or may be configured to be realized by executing a program on a processor. In addition, the control lines and information lines are shown to be necessary for explanation purposes, and not all control lines and information lines are necessarily shown in the product. In reality, almost all components may be considered to be interconnected.

１ 画像処理装置
１１ ステレオカメラ
１２ メモリ
１３ 演算処理部
１４ 画像処理部
１４１ 光源領域特定部
１４１ａ 監視領域設定部
１４１ｂ 輝度変化判定部
１４２ 視差算出部
１４２ａ 重み設定部
１４２ｂ 視差マッチング部
１４２ｃ 種別パラメタ設定部
１４２ｄ 重みマージ部
１４２ｅ 明るさパラメタ設定部
１４３ 信頼度算出部
１４３ａ 通常視差マッチング部
１４３ｂ 視差比較部
１４３ｃ 拡散度推定部
１４３ｄ 拡散特性による信頼度生成部
１５ 外部出力部
１６ 通信ライン
２ カメラ
２１ レンズ
２２ 撮像素子
２Ｌ 左カメラ
２Ｒ 右カメラ
Ｓ 点光源
Ｆ 拡散特性
Ｐｉ 点光源の理想的な画像
Ｐｒ 点光源の実際の画像
Ｐ０ 基準画像
Ｐ１ 参照画像
ｐ 視差
Ｒ 光源領域
Ｒ’ 非光源領域
Ｉ 物体識別結果 1 Image Processing Device 11 Stereo Camera 12 Memory 13 Arithmetic Processing Unit 14 Image Processing Unit 141 Light Source Area Specification Unit 141a Monitoring Area Setting Unit 141b Brightness Change Judgment Unit 142 Parallax Calculation Unit 142a Weight Setting Unit 142b Parallax Matching Unit 142c Type Parameter Setting Unit 142d Weight merging section 142e Brightness parameter setting section 143 Reliability calculation section 143a Normal parallax matching section 143b Parallax comparison section 143c Diffusion degree estimation section 143d Reliability generation section based on diffusion characteristics 15 External output section 16 Communication line 2 Camera 21 Lens 22 Image sensor 2L Left camera 2R Right camera S Point light source F Diffusion characteristic Pi Ideal image of point light source Pr Actual image of point light source P0 Standard image P1 Reference image p Parallax R Light source region R' Non-light source region I Object identification result

Claims (15)

視野が重複する複数のカメラで同時に得られた複数の画像のそれぞれにおいて光源の撮影される領域を特定する光源領域特定部と、
光源領域の画素の輝度値に応じて当該画素に重みづけを行い、重みづけされた各画素を用いて、光源領域の視差マッチングを行うことで視差を求める視差算出部と、
を持つことを特徴とする、画像処理装置。 a light source area identification unit that identifies an area where the light source is photographed in each of a plurality of images obtained simultaneously by a plurality of cameras with overlapping fields of view;
a parallax calculation unit that calculates parallax by weighting pixels in the light source region according to their luminance values and performing parallax matching of the light source region using each weighted pixel;
An image processing device comprising: 請求項１に記載の画像処理装置であって、
前記視差算出部は、輝度値が高い画素に対して、輝度値が低い画素よりも、前記視差マッチングに与える影響が大きくなるように重みづけることを特徴とする、画像処理装置。 The image processing device according to claim 1,
The image processing device is characterized in that the parallax calculation unit weights pixels with high luminance values so that they have a greater influence on the parallax matching than pixels with low luminance values. 請求項１に記載の画像処理装置であって、
前記視差算出部は、光源領域全体の輝度値を一律に減算したうえで視差マッチング処理を行うことを特徴とする、画像処理装置。 The image processing device according to claim 1,
The image processing device is characterized in that the parallax calculation unit performs parallax matching processing after uniformly subtracting the luminance value of the entire light source area. 請求項１に記載の画像処理装置であって、
前記視差算出部は、輝度値及び輝度勾配が高いほど視差マッチングに与える影響が大きくなるように重みづけることを特徴とする、画像処理装置。 The image processing device according to claim 1,
The image processing device is characterized in that the parallax calculation unit weights the luminance value and the luminance gradient so that the higher the luminance value and the luminance gradient, the greater the influence on parallax matching. 請求項１に記載の画像処理装置であって、
前記視差算出部は、光源の種別に応じて重みの変化度合いを変更することを特徴とする、画像処理装置。 The image processing device according to claim 1,
The image processing device is characterized in that the parallax calculation unit changes the degree of weight change depending on the type of light source. 請求項１に記載の画像処理装置であって、
前記光源領域特定部は、撮像された画像のうち輝度値が閾値以上である領域を検出することを特徴とする、画像処理装置。 The image processing device according to claim 1,
The image processing device is characterized in that the light source area specifying unit detects an area whose brightness value is equal to or greater than a threshold value from among the captured images. 請求項６に記載の画像処理装置であって、
前記閾値は、画像全体が明るいほど高くなるよう動的に変化することを特徴とする、画像処理装置。 The image processing device according to claim 6,
The image processing apparatus is characterized in that the threshold value dynamically changes such that the brighter the entire image is, the higher the threshold value becomes. 請求項１に記載の画像処理装置であって、
前記光源領域特定部は、発光可能性のある物体であると識別された物体識別結果を外部から取得し、該物体識別結果により特定される領域の輝度値を時系列に監視し、輝度値が大きくなった際に先行車両に取り付けられた光源が発光したと判定することを特徴とする、画像処理装置。 The image processing device according to claim 1,
The light source area specifying unit externally acquires an object identification result that is identified as an object capable of emitting light, monitors the brightness value of the area specified by the object identification result in time series, and determines whether the brightness value is An image processing device characterized in that it determines that a light source attached to a preceding vehicle has emitted light when the amount of light increases. 請求項１に記載の画像処理装置であって、
さらに前記視差算出部で得られたそれぞれの視差に対応する信頼度を示す信頼度マップを算出する信頼度マップ算出部を備えることを特徴とする、画像処理装置。 The image processing device according to claim 1,
An image processing apparatus further comprising a reliability map calculation unit that calculates a reliability map indicating reliability corresponding to each parallax obtained by the parallax calculation unit. 請求項９に記載の画像処理装置であって、
前記信頼度マップ算出部は、前記重みを用いずに視差算出を行い、重みを用いた視差算出結果と比較し、差分があるほど信頼度が低くなる信頼度マップを算出することを特徴とする、画像処理装置。 The image processing device according to claim 9,
The reliability map calculation unit performs disparity calculation without using the weights, compares the results with the disparity calculation results using the weights, and calculates a reliability map in which the greater the difference, the lower the reliability. , image processing device. 請求項９に記載の画像処理装置であって、
前記信頼度マップ算出部は、事前に計測しておいた複数のカメラの拡散特性差が大きいほど、あるいは対象となる光源の明るさが明るいほど、信頼度が低くなる信頼度マップを算出することを特徴とする、画像処理装置。 The image processing device according to claim 9,
The reliability map calculation unit calculates a reliability map in which the reliability becomes lower as the difference in diffusion characteristics between the plurality of cameras measured in advance is larger or the brightness of the target light source is brighter. An image processing device characterized by: 請求項１に記載の画像処理装置であって、
前記視差算出部は、周辺の明るさ情報によって、暗いほど重みの変化度合いが大きくなるように設定する明るさパラメタ設定部を備えることを特徴とする、画像処理装置。 The image processing device according to claim 1,
The image processing device is characterized in that the parallax calculation unit includes a brightness parameter setting unit that sets the degree of change in weight to be larger as the darkness becomes larger, based on surrounding brightness information. 請求項１２に記載の画像処理装置であって、
前記明るさパラメタ設定部は、外部から取得した時刻情報あるいは地図情報を用いて明るさパラメタを決定することを特徴とする、画像処理装置。 The image processing device according to claim 12,
The image processing device is characterized in that the brightness parameter setting unit determines the brightness parameter using time information or map information acquired from an external source. 請求項１２に記載の画像処理装置であって、
前記明るさパラメタ設定部は、基準画像の輝度値によって明るさパラメタを決定することを特徴とする、画像処理装置。 The image processing device according to claim 12,
The image processing device is characterized in that the brightness parameter setting unit determines the brightness parameter based on a brightness value of a reference image. 視野が重複する複数のカメラで同時に得られた複数の画像のそれぞれにおいて光源の撮影される領域を特定する光源領域特定ステップと、
光源領域の画素の輝度値に応じて当該画素に重みづけを行い、重みづけされた各画素を用いて、光源領域の視差マッチングを行うことで視差を求める視差算出ステップと、
を持つことを特徴とする、画像処理方法。 a light source region specifying step of specifying a region where the light source is photographed in each of a plurality of images obtained simultaneously by a plurality of cameras having overlapping fields of view;
a parallax calculation step of weighting the pixels in the light source region according to their luminance values and performing parallax matching of the light source region using each weighted pixel to calculate parallax;
An image processing method characterized by:

Images