JP2013073306A - Image processing device - Google Patents
Image processing device Download PDFInfo
- Publication number
- JP2013073306A JP2013073306A JP2011210223A JP2011210223A JP2013073306A JP 2013073306 A JP2013073306 A JP 2013073306A JP 2011210223 A JP2011210223 A JP 2011210223A JP 2011210223 A JP2011210223 A JP 2011210223A JP 2013073306 A JP2013073306 A JP 2013073306A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- luminance
- unit
- pixels
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 76
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 16
- 230000002596 correlated effect Effects 0.000 claims abstract description 4
- 239000000284 extract Substances 0.000 claims abstract description 4
- 238000006243 chemical reaction Methods 0.000 claims description 47
- 238000003384 imaging method Methods 0.000 claims description 30
- 230000009466 transformation Effects 0.000 claims description 21
- 230000015572 biosynthetic process Effects 0.000 claims description 14
- 238000003786 synthesis reaction Methods 0.000 claims description 14
- 239000000203 mixture Substances 0.000 claims description 9
- 238000013459 approach Methods 0.000 claims description 6
- 235000019557 luminance Nutrition 0.000 description 106
- 238000000034 method Methods 0.000 description 33
- 230000008569 process Effects 0.000 description 22
- 238000001514 detection method Methods 0.000 description 9
- 239000003086 colorant Substances 0.000 description 8
- 238000012937 correction Methods 0.000 description 8
- 230000000875 corresponding effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000035945 sensitivity Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000009795 derivation Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000009931 harmful effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Landscapes
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、撮像した一対の画像データに基づいてパターンマッチングを実行する画像処理装置に関する。 The present invention relates to an image processing apparatus that executes pattern matching based on a pair of captured image data.
従来、自車両の前方に位置する車両や信号機等の障害物といった対象物を検出し、検出した対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つように制御する技術が知られている(例えば、特許文献1、2)。 Conventionally, an object such as an obstacle such as a vehicle or a traffic light located in front of the host vehicle is detected, and control is performed so as to avoid a collision with the detected object or to keep a distance between the preceding vehicle and a safe distance. Techniques to do this are known (for example, Patent Documents 1 and 2).
先行車両との車間距離は、例えば、異なる位置で撮像された一対の画像データにおける対象物の視差から求めることができる。また、一対の画像データにおける対象物の視差は、画像間のパターンマッチングに基づいて導出される。パターンマッチングとしては、画像間で所定の大きさのブロック同士を比較し(マッチングし)、相関性が高いブロックを特定するといったことが一般的に行われている。また、画像の濃度ヒストグラムを用いてパターンマッチングを実行する技術も開示されている(例えば、特許文献3)。 The inter-vehicle distance from the preceding vehicle can be obtained from the parallax of the object in a pair of image data captured at different positions, for example. Further, the parallax of the object in the pair of image data is derived based on pattern matching between images. As pattern matching, it is generally performed that blocks having a predetermined size are compared (matched) between images and a block having high correlation is specified. In addition, a technique for performing pattern matching using an image density histogram is also disclosed (for example, Patent Document 3).
さらに、パターンマッチングの精度を高めるべく、パターンマッチングの前段で、撮像した画像の光学的な位置ズレを幾何学的に位置補正する技術も公開されている(例えば、特許文献4、5)。 Furthermore, in order to increase the accuracy of pattern matching, a technique for geometrically correcting the optical position shift of a captured image in the previous stage of pattern matching has been disclosed (for example, Patent Documents 4 and 5).
画像を取得する手段として、例えば、格子状に配列された画素に対応する複数の受光部位(フォトダイオード)に、3原色であるRGB信号それぞれのカラーフィルタを規則的かつ排他的に配した、所謂ベイヤー配列が知られている。ベイヤー配列では、画素毎にRGBのうち1の色相しか取得されないため、通常、各画素において未設定の(欠落している)色相の輝度を、隣接する画素に基づいて補間し、色を復元する。そして、色が復元された各画素が、上述したように幾何学的に位置補正され、その後、パターンマッチングが遂行される。 As a means for acquiring an image, for example, a so-called so-called so-called so-called so-called so-called so-called so-called so-called so-called image arrangement, a plurality of light receiving portions (photodiodes) corresponding to pixels arranged in a grid pattern are regularly and exclusively provided with color filters for RGB signals of three primary colors The Bayer array is known. In the Bayer array, only one hue of RGB is acquired for each pixel. Therefore, the luminance of an unset (missing) hue in each pixel is usually interpolated based on adjacent pixels to restore the color. . Then, each pixel whose color is restored is geometrically corrected as described above, and then pattern matching is performed.
しかし、上述した色の復元では、未設定の色相の輝度を、隣接する画素の輝度を線形補間して求めるため、その空間周波数が低下する。そうすると、色の復元処理を行わない画素と、復元処理が必要な画素とで空間周波数の偏差が生じ、パターンマッチングの精度が向上しないといった事態を招いていた。また、幾何学的な位置補正においても、位置補正の必要のない画素と、位置補正が必要な画素とで空間周波数の偏差が生じ、同様に、パターンマッチングの精度の向上を図ることができなかった。 However, in the above-described color restoration, the luminance of an unset hue is obtained by linearly interpolating the luminance of adjacent pixels, so that the spatial frequency is lowered. In this case, a spatial frequency deviation occurs between a pixel that is not subjected to color restoration processing and a pixel that requires restoration processing, resulting in a situation in which the accuracy of pattern matching is not improved. Further, even in geometric position correction, a spatial frequency deviation occurs between a pixel that does not require position correction and a pixel that requires position correction, and similarly, the accuracy of pattern matching cannot be improved. It was.
本発明は、このような課題に鑑み、パターンマッチングの対象となる一対の画像データにおける空間周波数の偏差を抑制することで、適切にパターンマッチングを遂行可能な、画像処理装置を提供することを目的としている。 The present invention has been made in view of the above problems, and an object thereof is to provide an image processing apparatus capable of appropriately performing pattern matching by suppressing a spatial frequency deviation in a pair of image data to be subjected to pattern matching. It is said.
上記課題を解決するために、本発明の画像処理装置は、ベイヤー配列で構成される一対の画像データにおいて、各画素に未設定の色相の輝度を隣接する画素に基づいて復元する色復元部と、一対の画像データにおいて、各画素に予め設定されている色相の輝度を周囲の画素に基づいて合成する色合成部と、一対の画像データそれぞれから所定の大きさのブロックを抽出してマッチングを行い、相関性の高いブロック同士を特定するマッチング処理部と、を備えることを特徴とする。 In order to solve the above problems, an image processing apparatus according to the present invention includes a color restoration unit that restores the luminance of a hue that has not been set for each pixel based on adjacent pixels in a pair of image data configured by a Bayer array. In a pair of image data, a color composition unit that synthesizes the luminance of a hue set in advance for each pixel based on surrounding pixels, and a block of a predetermined size is extracted from each of the pair of image data and matched. And a matching processing unit that identifies highly correlated blocks.
色合成部は、色復元部によって復元されることで低下する空間周波数の最小値に近づくように、各画素に予め設定されている色相の輝度を周囲の画素に基づいて合成してもよい。 The color synthesizing unit may synthesize the luminance of the hue set in advance for each pixel based on the surrounding pixels so as to approach the minimum value of the spatial frequency that is reduced by being restored by the color restoring unit.
色合成部は、色相の輝度が予め設定されている画素の輝度と、周囲の同一色相の輝度とを所定の比率で合成してもよい。 The color synthesizing unit may synthesize the luminance of a pixel in which the luminance of the hue is set in advance and the luminance of the surrounding same hue at a predetermined ratio.
一対の画像データを生成する撮像装置に応じて予め定められた画素毎の位置ズレ特性に基づき各画素を座標変換し、座標変換後の画素の輝度を導出する座標変換部と、座標変換部による座標変換が不要と判断された画素の輝度を周囲の画素に基づいて合成する座標合成部と、をさらに備えてもよい。 A coordinate conversion unit that performs coordinate conversion of each pixel based on a positional deviation characteristic for each pixel determined in advance according to an imaging device that generates a pair of image data, and derives the luminance of the pixel after coordinate conversion, and a coordinate conversion unit A coordinate synthesizing unit that synthesizes the luminance of pixels determined to require no coordinate conversion based on surrounding pixels may be further included.
上記課題を解決するために、本発明の他の画像処理装置は、一対の画像データを生成する撮像装置に応じて予め定められた画素毎の位置ズレ特性に基づき各画素を座標変換し、座標変換後の画素の輝度を導出する座標変換部と、座標変換部による座標変換が不要と判断された画素の輝度を周囲の画素に基づいて合成する座標合成部と、一対の画像データそれぞれから所定の大きさのブロックを抽出してマッチングを行い、相関性の高いブロック同士を特定するマッチング処理部と、を備えることを特徴とする。 In order to solve the above-described problem, another image processing apparatus of the present invention performs coordinate conversion of each pixel based on a positional deviation characteristic for each pixel determined in advance according to an imaging apparatus that generates a pair of image data. A coordinate conversion unit that derives the luminance of the pixel after conversion, a coordinate synthesis unit that combines the luminance of the pixel determined to be unnecessary for coordinate conversion by the coordinate conversion unit based on the surrounding pixels, and a pair of image data. And a matching processing unit that performs matching by extracting blocks having a size of 2 and specifies blocks having high correlation.
座標合成部は、座標変換部によって座標変換されることで低下する空間周波数の最小値に近づくように、座標変換が不要と判断された画素の輝度を周囲の画素に基づいて合成してもよい。 The coordinate synthesizing unit may synthesize the luminance of pixels that are determined not to require coordinate transformation based on the surrounding pixels so as to approach the minimum value of the spatial frequency that is reduced by the coordinate transformation performed by the coordinate transformation unit. .
座標合成部は、座標変換が不要と判断された画素の輝度と、周囲の同一色相の輝度とを所定の比率で合成してもよい。 The coordinate synthesizing unit may synthesize the luminance of a pixel determined not to require coordinate conversion and the luminance of the surrounding same hue at a predetermined ratio.
マッチング処理部は、特定されたブロック同士の相関値と、特定されたブロック同士の一方を水平方向左右に単位画素シフトしたときの2つの相関値とに基づいて、画素単位より分解能の高いマッチング位置を導出してもよい。 The matching processing unit has a matching position having a higher resolution than the pixel unit based on the correlation value between the specified blocks and two correlation values when one of the specified blocks is shifted in the horizontal direction by a unit pixel. May be derived.
本発明によれば、パターンマッチングの対象となる一対の画像データにおける空間周波数の偏差を抑制することで、適切にパターンマッチングを遂行できる。したがって、視差情報を適切に導出でき、対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ制御を適切に行うことが可能となる。 ADVANTAGE OF THE INVENTION According to this invention, pattern matching can be appropriately performed by suppressing the deviation of the spatial frequency in a pair of image data used as the object of pattern matching. Therefore, the parallax information can be appropriately derived, and it is possible to appropriately perform control for avoiding a collision with an object and maintaining a safe distance between the preceding vehicle and the preceding vehicle.
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. The dimensions, materials, and other specific numerical values shown in the embodiment are merely examples for facilitating understanding of the invention, and do not limit the present invention unless otherwise specified. In the present specification and drawings, elements having substantially the same function and configuration are denoted by the same reference numerals, and redundant description is omitted, and elements not directly related to the present invention are not illustrated. To do.
(環境認識システム100)
画像処理装置は、任意の目的を適切に達成するため撮像された画像を加工処理することを目的としている。例えば、画像処理装置を、車両周囲の環境を認識するための環境認識システムに採用した場合、画像処理装置は、撮像装置で撮像された画像を加工処理し、画像内の対象物の相対距離を特定するためその画像の視差情報を導出する。ここでは、画像処理装置の理解を容易にするため、まず、画像処理装置を用いた一実施形態である環境認識システムを説明し、その後、画像処理装置の具体的な構成を詳述する。
(Environment recognition system 100)
The image processing apparatus is intended to process a captured image in order to appropriately achieve an arbitrary object. For example, when the image processing device is employed in an environment recognition system for recognizing the environment around the vehicle, the image processing device processes the image captured by the imaging device, and calculates the relative distance of the object in the image. The parallax information of the image is derived for identification. Here, in order to facilitate understanding of the image processing apparatus, first, an environment recognition system as an embodiment using the image processing apparatus will be described, and then a specific configuration of the image processing apparatus will be described in detail.
図1は、環境認識システム100の接続関係を示したブロック図である。環境認識システム100は、車両1内に設けられた、撮像装置110と、画像処理装置120と、環境認識装置130と、車両制御装置140とを含んで構成される。 FIG. 1 is a block diagram showing a connection relationship of the environment recognition system 100. The environment recognition system 100 includes an imaging device 110, an image processing device 120, an environment recognition device 130, and a vehicle control device 140 provided in the vehicle 1.
(撮像装置110)
撮像装置110は、CCD(Charge-Coupled Device)やCMOS(Complementary Metal-Oxide Semiconductor)等の撮像素子を含んで構成され、カラー画像、即ち、画素単位で3つの色相(赤、緑、青)の輝度を取得する。本実施形態においては、色と輝度とを同等に扱い、同一の文章に両文言が含まれる場合、互いを、色を構成する輝度、または、輝度を有する色と読み替えることができる。ここでは、画素に対応する受光部位(フォトダイオード)にRGB信号それぞれのカラーフィルタを規則的かつ排他的に配した、ベイヤー配列によるカラー画像を得ることとする。また、撮像装置110で撮像されたカラーの画像を輝度画像と呼び、後述する距離画像と区別する。
(Imaging device 110)
The imaging device 110 includes an imaging device such as a CCD (Charge-Coupled Device) or a CMOS (Complementary Metal-Oxide Semiconductor). Get the brightness. In the present embodiment, color and luminance are treated equally, and when both words are included in the same sentence, each other can be read as luminance constituting the color or a color having luminance. Here, it is assumed that a color image by a Bayer arrangement is obtained in which color filters for each of the RGB signals are regularly and exclusively arranged at a light receiving portion (photodiode) corresponding to a pixel. In addition, a color image captured by the imaging device 110 is referred to as a luminance image and is distinguished from a distance image described later.
撮像装置110は、車両1の進行方向側において2つの撮像装置110それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置110は、車両1の前方の検出領域に存在する対象物を撮像した画像データを、例えば1/60秒毎(60fps)に連続して生成する。ここで、対象物は、車両、信号機、道路、ガードレールといった独立して存在する立体物のみならず、テールランプやウィンカー、信号機の各点灯部分等、立体物の部分として特定できる物も含む。以下の実施形態における各機能部は、このような画像データの更新を契機として各処理を遂行する。 The imaging devices 110 are arranged in a substantially horizontal direction so that the optical axes of the two imaging devices 110 are substantially parallel on the traveling direction side of the vehicle 1. The imaging device 110 continuously generates, for example, every 1/60 seconds (60 fps), image data obtained by imaging an object existing in the detection area in front of the vehicle 1. Here, the objects include not only three-dimensional objects that exist independently such as vehicles, traffic lights, roads, and guardrails, but also objects that can be specified as three-dimensional object parts such as taillights, blinkers, and lighting parts of traffic lights. Each functional unit in the following embodiment performs each process triggered by such update of image data.
(画像処理装置120)
画像処理装置120は、2つの撮像装置110それぞれから画像データを取得し、取得した一対の画像データの相関性を評価し、画像中の任意のブロック(所定数の画素を集めたもの)の両画像間の視差を含む視差情報を導出する。画像処理装置120は、一方の画像データから任意に抽出したブロック(例えば水平4画素×垂直4画素の配列)に対応するブロックを他方の画像データから検索する、所謂パターンマッチングを用いて視差を導出する。ここで、水平は、撮像した画像の画面横方向を示し、実空間上の水平に相当する。また、垂直は、撮像した画像の画面縦方向を示し、実空間上の鉛直方向に相当する。かかる相関性の評価およびパターンマッチングに関しては後ほど詳述する。
(Image processing apparatus 120)
The image processing device 120 acquires image data from each of the two imaging devices 110, evaluates the correlation between the acquired pair of image data, and stores both arbitrary blocks (collected a predetermined number of pixels) in the image. Deriving parallax information including parallax between images. The image processing apparatus 120 derives the parallax using so-called pattern matching in which a block corresponding to a block arbitrarily extracted from one image data (for example, an array of horizontal 4 pixels × vertical 4 pixels) is searched from the other image data. To do. Here, the horizontal indicates the horizontal direction of the captured image and corresponds to the horizontal in real space. The vertical indicates the screen vertical direction of the captured image and corresponds to the vertical direction in the real space. Such correlation evaluation and pattern matching will be described in detail later.
ただし、画像処理装置120では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような対象物の一部であるかを認識できない。したがって、視差情報は、対象物単位ではなく、検出領域における検出分解能単位(例えばブロック単位)で独立して導出されることとなる。ここでは、このようにして導出された視差情報を画像データに対応付けた画像を距離画像という。 However, the image processing apparatus 120 can derive the parallax for each block, which is a unit of detection resolution, but cannot recognize what kind of target object the block is. Accordingly, the disparity information is derived independently not in units of objects but in units of detection resolution (for example, blocks) in the detection region. Here, an image in which the parallax information derived in this way is associated with image data is referred to as a distance image.
図2は、輝度画像124と距離画像126を説明するための説明図である。例えば、2つの撮像装置110を通じ、検出領域122について図2(a)のような輝度画像(画像データ)124が生成されたとする。ただし、ここでは、理解を容易にするため、2つの輝度画像124の一方のみを模式的に示している。画像処理装置120は、このような輝度画像124からブロック毎の視差を求め、図2(b)のような距離画像126を形成する。距離画像126における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。 FIG. 2 is an explanatory diagram for explaining the luminance image 124 and the distance image 126. For example, it is assumed that a luminance image (image data) 124 as illustrated in FIG. 2A is generated for the detection region 122 through the two imaging devices 110. However, only one of the two luminance images 124 is schematically shown here for easy understanding. The image processing apparatus 120 obtains the parallax for each block from the luminance image 124 and forms a distance image 126 as shown in FIG. Each block in the distance image 126 is associated with the parallax of the block. Here, for convenience of description, blocks from which parallax is derived are represented by black dots.
(環境認識装置130)
環境認識装置130は、画像処理装置120から輝度画像124と距離画像126とを取得し、輝度画像124に基づく輝度と、距離画像126の視差情報に基づく車両(自車両)1との相対距離とを用いて検出領域122における対象物がいずれの物(車両、信号機、道路、ガードレール、テールランプ、ウィンカー、信号機の各点灯部分等)に対応するかを特定する。このとき、環境認識装置130は、距離画像126における、検出領域122内のブロック毎の視差情報を、所謂ステレオ法を用いて、相対距離を含む三次元の位置情報に変換している。ここで、ステレオ法は、三角測量法を用いることで、対象物の視差からその対象物の撮像装置110に対する相対距離を導出する方法である。
(Environment recognition device 130)
The environment recognition device 130 acquires the luminance image 124 and the distance image 126 from the image processing device 120, and the luminance based on the luminance image 124 and the relative distance to the vehicle (own vehicle) 1 based on the parallax information of the distance image 126. Is used to identify which object (vehicle, traffic light, road, guardrail, tail lamp, blinker, each lighting part of the traffic light, etc.) corresponds to the object in the detection area 122. At this time, the environment recognition apparatus 130 converts the disparity information for each block in the detection region 122 in the distance image 126 into three-dimensional position information including the relative distance using a so-called stereo method. Here, the stereo method is a method of deriving a relative distance of the target object from the imaging device 110 from the parallax of the target object by using a triangulation method.
(車両制御装置140)
車両制御装置140は、環境認識装置130で特定された対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ制御を実行する。具体的に、車両制御装置140は、操舵の角度を検出する舵角センサ142や車両1の速度を検出する車速センサ144等を通じて現在の車両1の走行状態を取得し、アクチュエータ146を制御して先行車両との車間距離を安全な距離に保つ。ここで、アクチュエータ146は、ブレーキ、スロットルバルブ、舵角等を制御するために用いられる車両制御用のアクチュエータである。また、車両制御装置140は、対象物との衝突が想定される場合、運転者の前方に設置されたディスプレイ148にその旨警告表示(報知)を行うと共に、アクチュエータ146を制御して車両1を自動的に制動する。かかる車両制御装置140は、環境認識装置130と一体的に形成することもできる。
(Vehicle control device 140)
The vehicle control device 140 performs control to avoid a collision with an object specified by the environment recognition device 130 or to keep the distance between the vehicle and the preceding vehicle at a safe distance. Specifically, the vehicle control device 140 acquires the current traveling state of the vehicle 1 through the steering angle sensor 142 that detects the steering angle, the vehicle speed sensor 144 that detects the speed of the vehicle 1, and the like, and controls the actuator 146. Maintain a safe distance from the preceding vehicle. Here, the actuator 146 is an actuator for vehicle control used for controlling a brake, a throttle valve, a steering angle, and the like. Further, when a collision with an object is assumed, the vehicle control device 140 displays a warning (notification) to that effect on the display 148 installed in front of the driver, and controls the actuator 146 to control the vehicle 1. Brakes automatically. Such a vehicle control device 140 may be formed integrally with the environment recognition device 130.
(本実施形態における問題点とその解決手段)
カラー画像は様々な態様で取得できる。例えば、(1)撮像装置110への入射光をプリズムによってRGBの各色相に分割し、3つの撮像素子で色相毎に画像を取得したり、(2)RGBそれぞれの感度セルを光路方向に重畳した撮像素子でRGBに基づく画像を一度に取得したり、(3)ベイヤー配列によって画素毎に1の色相を規則的かつ排他的に取得したりすることが可能である。本実施形態では、このうち(3)ベイヤー配列を用いて画像を取得する。
(Problems and solutions in the present embodiment)
Color images can be acquired in various ways. For example, (1) the incident light to the imaging device 110 is divided into RGB hues by a prism and images are acquired for each hue by three imaging elements, or (2) RGB sensitivity cells are superimposed in the optical path direction. It is possible to acquire an image based on RGB at once using the image pickup device, and (3) to acquire one hue regularly and exclusively for each pixel by the Bayer array. In the present embodiment, an image is acquired using (3) Bayer array.
図3は、ベイヤー配列の一例を説明するための説明図である。図3(a)に示すように、ベイヤー配列は、格子状に配列された画素に規則的かつ排他的に各色相RGBを配置したものであり、いずれの色相においても、少なくとも水平方向および垂直方向の2つ隣の画素には同一の色相が配されている。ただし、色相Gは、色相Rと色相Bに対して2倍の密度(占有面積)となっている。これは、図3(b)に示した分光感度特性のように、色相Gの感度分布が高いため、輝度情報を取得しやすく、また、人間の視覚が色相Gに対して高い感度を持っているからである。 FIG. 3 is an explanatory diagram for explaining an example of the Bayer array. As shown in FIG. 3A, the Bayer array is a system in which each hue RGB is regularly and exclusively arranged on pixels arranged in a grid pattern, and in any hue, at least the horizontal direction and the vertical direction. The same hue is arranged in the two adjacent pixels. However, the hue G has a density (occupied area) that is twice that of the hue R and the hue B. This is because, as in the spectral sensitivity characteristic shown in FIG. 3B, the sensitivity distribution of the hue G is high, so that it is easy to acquire luminance information, and human vision has high sensitivity to the hue G. Because.
ベイヤー配列においては、各画素からは1つの色相に関してしか輝度を得られない。そこで、欠落している他の2つの色相に関し、隣接する画素の当該色相の輝度を用いて色復元処理(補間処理)を行う。 In the Bayer array, luminance can be obtained from each pixel only for one hue. Therefore, color restoration processing (interpolation processing) is performed on the other two hues that are missing using the luminance of the hue of adjacent pixels.
図4は、色復元処理を説明するための説明図である。図4を含む以下の図では、画像周囲に付された数字が画素の水平および垂直位置を示す。例えば、色相Rは、ベイヤー配列において図4(a)のように配されている。したがって、既に色相Rについて輝度が取得されている画素(2,1)、(2,3)、(4,1)、(4,3)の輝度は、取得した輝度a、b、c、dをそのまま利用できる。 FIG. 4 is an explanatory diagram for explaining the color restoration processing. In the following figures including FIG. 4, the numbers attached around the image indicate the horizontal and vertical positions of the pixels. For example, the hue R is arranged as shown in FIG. 4A in the Bayer array. Accordingly, the luminances of the pixels (2, 1), (2, 3), (4, 1), and (4, 3) whose luminance has already been acquired for the hue R are the acquired luminances a, b, c, and d. Can be used as is.
また、水平方向または垂直方向に、輝度が取得された2つの画素が隣接する画素(2,2)、(3,1)、(3,3)、(4,2)では、隣接する2つの画素の輝度が線形補間され、画素(2,2)の輝度=(a+b)/2、画素(3,1)の輝度=(a+c)/2、画素(3,3)の輝度=(b+d)/2、画素(4,2)の輝度=(c+d)/2となる。 Also, in the horizontal direction or the vertical direction, in the pixels (2, 2), (3, 1), (3, 3), and (4, 2) where the two pixels whose luminance is acquired are adjacent, The luminance of the pixel is linearly interpolated, the luminance of the pixel (2, 2) = (a + b) / 2, the luminance of the pixel (3,1) = (a + c) / 2, the luminance of the pixel (3,3) = (b + d) / 2, luminance of pixel (4, 2) = (c + d) / 2.
さらに、対角線方向に、輝度が取得された4つの画素が隣接する画素(3,2)では、隣接する4つの画素の輝度が線形補間され、画素(3,2)の輝度=(a+b+c+d)/4となる。ここでは、説明の便宜のため水平方向1行目および垂直方向4行目の画素の導出は省略している。このような画素の補間は、図4(b)に示すように色相Bでも適用できるため、ここでは、色相Bについての説明を省略する。 Further, in the pixel (3, 2) in which the four pixels whose luminance is acquired are adjacent in the diagonal direction, the luminance of the four adjacent pixels is linearly interpolated, and the luminance of the pixel (3, 2) = (a + b + c + d) / 4. Here, for convenience of explanation, derivation of pixels in the first horizontal row and the fourth vertical row is omitted. Such pixel interpolation can also be applied to the hue B as shown in FIG. 4B, and therefore the description of the hue B is omitted here.
また、色相Gは,ベイヤー配列において図4(c)のように配されている。したがって、既に色相Gについて輝度が取得されている画素(2,2)、(3,1)、(3,3)、(4,2)の輝度は、取得した輝度e、f、g、hをそのまま利用できる。また、水平方向および垂直方向に輝度が取得された4つの画素が隣接する画素(3,2)では、隣接する4つの画素の輝度が線形補間され、画素(3,2)の輝度=(e+f+g+h)/4となる。 Further, the hue G is arranged in the Bayer arrangement as shown in FIG. Accordingly, the luminances of the pixels (2, 2), (3, 1), (3, 3), and (4, 2) whose luminance has already been acquired for the hue G are the acquired luminances e, f, g, h. Can be used as is. Further, in the pixel (3, 2) in which the four pixels whose luminance is acquired in the horizontal direction and the vertical direction are adjacent, the luminance of the four adjacent pixels is linearly interpolated, and the luminance of the pixel (3, 2) = (e + f + g + h) ) / 4.
ここで、色復元された画素の輝度における空間周波数に着目する。空間周波数(spatial frequency)は、画像の周期的構造の細かさを示したもので、単位長あたりの周期で表すことができる。また、撮像装置110に適用した場合、空間周波数はレンズの解像度を表す。空間周波数は、加工を施していない状態で高く、平均化や合成により低くなる。 Here, attention is paid to the spatial frequency in the luminance of the color-reconstructed pixel. The spatial frequency indicates the fineness of the periodic structure of the image, and can be expressed by a period per unit length. When applied to the imaging device 110, the spatial frequency represents the resolution of the lens. The spatial frequency is high when no processing is performed, and is low by averaging and synthesis.
したがって、図4(a)の例で、既に色相Rについて輝度が取得されている画素(2,1)、(2,3)、(4,1)、(4,3)の空間周波数を仮に1としたとき、2つの画素の輝度を線形補間した、画素(2,2)、(3,1)、(3,3)、(4,2)の空間周波数は1/2となり、4つの画素を線形補間した画素(3,2)の空間周波数は1/4となる。ただし、ここでは、理解を容易にするため、単純な画素について空間周波数の値を算出しているが、実際に取得された画素によって、空間周波数が異なるのは言うまでもない。 Accordingly, in the example of FIG. 4A, the spatial frequencies of the pixels (2, 1), (2, 3), (4, 1), and (4, 3) for which the luminance has already been acquired for the hue R are assumed. 1, the spatial frequency of the pixels (2, 2), (3, 1), (3, 3), (4, 2) obtained by linear interpolation of the luminance of the two pixels becomes 1/2, The spatial frequency of the pixel (3, 2) obtained by linearly interpolating the pixel is 1/4. However, here, in order to facilitate understanding, the value of the spatial frequency is calculated for a simple pixel, but it goes without saying that the spatial frequency varies depending on the actually acquired pixel.
そうすると、図4(a)の破線で囲んだ隣接する4つの画素において、空間周波数が1、1/2、1/4と異なってしまうこととなり、その空間周波数の最大値と最小値で偏差が生じる。通常、空間周波数が低い画素が生じても、空間周波数が高い画素により、画像の鮮明度が保たれる。しかし、後述するパターンマッチングに関しては、このような空間周波数の偏差が弊害となる場合もある。 Then, in the four adjacent pixels surrounded by the broken line in FIG. 4A, the spatial frequency is different from 1, 1/2, and 1/4, and the deviation is between the maximum value and the minimum value of the spatial frequency. Arise. Normally, even if a pixel having a low spatial frequency is generated, the sharpness of the image is maintained by the pixel having a high spatial frequency. However, with regard to pattern matching described later, such a spatial frequency deviation may be harmful.
即ち、パターンマッチングは、一対の画像データにおける画素同士の相関性を評価するところ、対象物の同一の部位に相当する、同一の輝度を有する画素であっても、その空間周波数が異なれば、相関性が低くなる。ここで、高い空間周波数に揃えることも考えられるが、1/4となった画素の情報量から高い空間周波数を復元するのは困難である。そこで、本実施形態では、空間周波数を低い値に揃えることを試みる。 In other words, pattern matching evaluates the correlation between pixels in a pair of image data, and even if pixels having the same luminance and corresponding to the same part of the object have different spatial frequencies, the correlation Low. Here, it is conceivable to align with a high spatial frequency, but it is difficult to restore the high spatial frequency from the information amount of the pixel that has become 1/4. Therefore, in this embodiment, an attempt is made to align the spatial frequency to a low value.
したがって、本実施形態では、図4(a)において、空間周波数が1/2となった画素(2,2)、(3,1)、(3,3)、(4,2)や、空間周波数が1/4となった画素(3,2)はそのまま維持し、画素(2,1)、(2,3)、(4,1)、(4,3)の空間周波数1を敢えて下げることとする。 Therefore, in the present embodiment, in FIG. 4A, the pixels (2, 2), (3, 1), (3, 3), (4, 2) having a spatial frequency of 1/2, The pixel (3, 2) whose frequency is ¼ is maintained as it is, and the spatial frequency 1 of the pixel (2, 1), (2, 3), (4, 1), (4, 3) is intentionally lowered. I will do it.
こうして空間周波数を均一化(空間周波数の偏差を抑制)する場合、その値が低ければ低い程、パターンマッチングの精度が向上する。これは、一対の画像データの一方における任意の画素と対応する他方の領域が、画像データの2つの画素に跨る場合、空間周波数が高い画素だと、2つの画素のいずれとも相関値が低くなるからである。このとき、空間周波数を下げると、画素自体がぼやけて、任意の画素データとの相関性が高くなる。こうして、適切にパターンマッチングが実行される。ただし、空間周波数を下げ過ぎると、本来は異なる対象物同士であってもマッチングできてしまうので注意を要する。 When the spatial frequency is made uniform (suppressing the spatial frequency deviation) in this way, the lower the value, the better the pattern matching accuracy. This is because when the other region corresponding to an arbitrary pixel in one of the pair of image data straddles two pixels of the image data, if the spatial frequency is a high pixel, the correlation value of both of the two pixels is low. Because. At this time, if the spatial frequency is lowered, the pixel itself is blurred and the correlation with arbitrary pixel data is increased. In this way, pattern matching is appropriately performed. However, if the spatial frequency is lowered too much, it is necessary to be careful because matching can be performed even between different objects.
そして、色復元処理が完了すると、次に、撮像装置110に応じて予め定められた画素毎の位置ズレ(歪み)特性に基づき各画素を座標変換する座標変換処理が遂行される。座標変換は、撮像装置110を通じたことにより本来の位置から歪んで取得されてしまった対象物を本来の位置に戻すための処理である。例えば、図5(a)に示す魚眼レンズを通じたような位置ズレ特性を有する映像を、水平方向や垂直方向への単純シフトやアフィン変換等を用いた回転移動により、図5(b)のような水平方向や垂直方向が直線となる画像に補正する。 When the color restoration processing is completed, next, coordinate conversion processing is performed in which each pixel is coordinate-converted based on a positional deviation (distortion) characteristic for each pixel that is predetermined according to the imaging device 110. The coordinate conversion is a process for returning an object that has been acquired by being distorted from the original position by passing through the imaging device 110 to the original position. For example, an image having a positional shift characteristic as shown in FIG. 5A through a fish-eye lens is rotated as shown in FIG. 5B by a simple shift in the horizontal direction or the vertical direction or rotational movement using affine transformation or the like. Correct the image so that the horizontal and vertical directions are straight.
図6は、座標変換の一例を示す説明図である。例えば、任意の画素150を水平右方向にx、垂直下方向にyだけシフトする座標変換を実行すると、座標が異なる新たな画素152が生成される。かかる画素152の輝度は、図6に破線で示した4つの画素の輝度の合成で表すことができる。例えば、4つの画素の輝度=a、b、c、dから実線で示した1つの画素を幾何補正により復元すると、実線で示した画素152の輝度は、距離x、yを用いて、a×(1−x)(1−y)+b×x(1−y)+c×(1−x)y+d×xyで表される。 FIG. 6 is an explanatory diagram illustrating an example of coordinate transformation. For example, when coordinate conversion is performed to shift an arbitrary pixel 150 by x in the horizontal right direction and y in the vertical downward direction, a new pixel 152 having different coordinates is generated. The luminance of the pixel 152 can be represented by a combination of the luminances of the four pixels indicated by broken lines in FIG. For example, when one pixel indicated by a solid line is restored from the luminances of four pixels = a, b, c, and d by geometric correction, the luminance of the pixel 152 indicated by the solid line is represented by a × using the distances x and y. (1-x) (1-y) + b * x (1-y) + c * (1-x) y + d * xy
そうすると、色復元処理同様、座標変換処理においても、画素152の空間周波数が1/4となってしまう。ただし、画素152が、たまたま2つの画素のみに跨って生成された場合、その空間周波数は1/2となり、さらに、1つの画素と完全に重なった場合、その空間周波数は1となる。このように、空間周波数が1、1/2、1/4と異なってしまうと、色復元処理で説明したように、後述するパターンマッチングにおいて、その空間周波数の偏差が弊害となる。 Then, as in the color restoration process, the spatial frequency of the pixel 152 becomes 1/4 in the coordinate conversion process. However, when the pixel 152 happens to be generated over only two pixels, the spatial frequency is ½, and when the pixel 152 completely overlaps with one pixel, the spatial frequency is 1. As described above, when the spatial frequency is different from 1, 1/2, and 1/4, as described in the color restoration processing, the deviation of the spatial frequency becomes a harmful effect in the pattern matching described later.
そこで、本実施形態においては、空間周波数が1/4となった画素や、空間周波数が1/2となった画素はそのまま維持し、たまたま1つの画素に重なることで座標変換が不要と判断された画素の空間周波数1を敢えて低くする。このように、空間周波数を下げることで、画素自体がぼやけ、任意の画素データとの相関性が高くなる。こうして、適切にパターンマッチングが実行される。 Therefore, in the present embodiment, the pixel having a spatial frequency of ¼ or the pixel having a spatial frequency of ½ is maintained as it is, and it is determined that coordinate conversion is unnecessary by accidentally overlapping one pixel. The spatial frequency 1 of the selected pixel is deliberately lowered. Thus, by lowering the spatial frequency, the pixels themselves are blurred and the correlation with arbitrary pixel data is increased. In this way, pattern matching is appropriately performed.
以下、空間周波数を下げ、空間周波数の偏差を抑制することで、パターンマッチングの精度を向上可能な画像処理装置120の構成を具体的に述べる。 Hereinafter, the configuration of the image processing apparatus 120 capable of improving the accuracy of pattern matching by lowering the spatial frequency and suppressing the spatial frequency deviation will be specifically described.
(画像処理装置120)
図7は、画像処理装置120の概略的な機能を示した機能ブロック図である。図7に示すように、画像処理装置120は、I/F部160と、データ保持部162と、中央制御部164とを含んで構成される。
(Image processing apparatus 120)
FIG. 7 is a functional block diagram illustrating schematic functions of the image processing apparatus 120. As shown in FIG. 7, the image processing apparatus 120 includes an I / F unit 160, a data holding unit 162, and a central control unit 164.
I/F部160は、撮像装置110や環境認識装置130との双方向の情報交換を行うためのインターフェースである。データ保持部162は、RAM、フラッシュメモリ、HDD等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持し、また、撮像装置110から受信した輝度画像124を一時的に保持する。 The I / F unit 160 is an interface for performing bidirectional information exchange with the imaging device 110 and the environment recognition device 130. The data holding unit 162 includes a RAM, a flash memory, an HDD, and the like. The data holding unit 162 holds various information necessary for processing of each function unit described below, and temporarily stores the luminance image 124 received from the imaging device 110. Hold.
中央制御部164は、中央処理装置(CPU)、プログラム等が格納されたROM、ワークエリアとしてのRAM等を含む半導体集積回路で構成され、システムバス166を通じて、I/F部160やデータ保持部162を制御する。また、本実施形態において、中央制御部164は、感度補正部170、色復元部172、色合成部174、座標変換部176、座標合成部178、マッチング処理部180、視差導出部182としても機能する。 The central control unit 164 is configured by a semiconductor integrated circuit including a central processing unit (CPU), a ROM in which programs are stored, a RAM as a work area, and the like, and through the system bus 166, the I / F unit 160 and the data holding unit. 162 is controlled. In the present embodiment, the central control unit 164 also functions as a sensitivity correction unit 170, a color restoration unit 172, a color synthesis unit 174, a coordinate conversion unit 176, a coordinate synthesis unit 178, a matching processing unit 180, and a parallax derivation unit 182. To do.
感度補正部170は、撮像装置110から受信した一対の画像データに、ガンマ補正、ニー処理等の所定の処理を施す。 The sensitivity correction unit 170 performs predetermined processing such as gamma correction and knee processing on the pair of image data received from the imaging device 110.
色復元部172は、図4を用いて説明したように、ベイヤー配列で構成される一対の画像データにおいて、各画素に未設定の色相の輝度を、隣接する画素に基づいて線形補間等により復元する。 As described with reference to FIG. 4, the color restoration unit 172 restores the luminance of the hue not set for each pixel by linear interpolation or the like based on the adjacent pixels in the pair of image data configured by the Bayer array. To do.
色合成部174は、一対の画像データにおいて、各画素に予め設定されている、本来加工しない色相の輝度を周囲の画素に基づいて敢えて合成する。ここで、色合成部174は、色復元部172によって復元されることで低下する空間周波数の最小値に近づくように、各画素に予め設定されている色相の輝度を周囲の画素に基づいて合成している。こうして、空間周波数を、色復元部172で復元した低い空間周波数の画素に合わせることで、空間周波数の偏差を抑制することができ、パターンマッチングの精度を向上することが可能となる。 The color synthesizing unit 174 synthesizes the luminance of the hue that is set in advance for each pixel and is not originally processed in the pair of image data based on the surrounding pixels. Here, the color synthesizing unit 174 synthesizes the luminance of the hue set in advance for each pixel based on the surrounding pixels so as to approach the minimum value of the spatial frequency that is reduced by being restored by the color restoring unit 172. doing. Thus, by matching the spatial frequency to the low spatial frequency pixels restored by the color restoration unit 172, the spatial frequency deviation can be suppressed, and the accuracy of pattern matching can be improved.
また、具体的に、色合成部174は、色相の輝度が予め設定されている画素の輝度と、周囲の同一色相の輝度とを所定の比率で合成する。以下に、図8を用いて色合成部174の合成例を示す。 More specifically, the color composition unit 174 synthesizes the brightness of pixels whose hue is set in advance and the brightness of the surrounding same hue at a predetermined ratio. Hereinafter, a synthesis example of the color synthesis unit 174 will be described with reference to FIG.
ベイヤー配列において、色相Rは、図8(a)のように、1画素ずつ隔てて設定される。例えば、画素(4,3)には、色相Rに関して輝度eが予め設定されているとする。しかし、本実施形態では、輝度eをそのまま利用せず、敢えて空間周波数を下げることとする。即ち、画素(2,1)、(2,3)、(2,5)、(4,1)、(4,5)、(6,1)、(6,3)、(6,5)の輝度をa、b、c、d、f、g、h、iとしたとき、画素(4,3)の輝度eを(a+b+c+d+8e+f+g+h+i)/16に変換する。ここでは、画素(4,3)自体の本来の輝度eの情報を残すべく、「8」を乗算し、他の画素の輝度と加算、最後に「16」で除算している。すなわち、輝度a、b、c、d、e、f、g、h、iを1:1:1:1:8:1:1:1:1の比率で合成している。こうすることで、画素(4,3)の空間周波数を1/16〜1のいずれかの値に下げることができる。 In the Bayer array, the hue R is set to be separated by one pixel as shown in FIG. For example, it is assumed that the luminance e with respect to the hue R is preset in the pixel (4, 3). However, in this embodiment, the luminance e is not used as it is, and the spatial frequency is intentionally lowered. That is, the pixels (2, 1), (2, 3), (2, 5), (4, 1), (4, 5), (6, 1), (6, 3), (6, 5) The luminance e of the pixel (4, 3) is converted to (a + b + c + d + 8e + f + g + h + i) / 16 where a is a, b, c, d, f, g, h, i. Here, in order to leave the information of the original luminance e of the pixel (4, 3) itself, “8” is multiplied, added with the luminance of other pixels, and finally divided by “16”. That is, the luminances a, b, c, d, e, f, g, h, i are synthesized at a ratio of 1: 1: 1: 1: 8: 1: 1: 1: 1. By doing so, the spatial frequency of the pixel (4, 3) can be lowered to any value between 1/16 and 1.
なお、複数の画素の輝度を重み付けして加算し、最終的に均一化する計算さえすれば、乗算や除算の数値は任意に決めることができ、上記の数値「8」や「16」に限定されない。例えば、水平方向および垂直方向の画素のみを参照し、画素(4,3)の輝度eを(b+d+4e+f+h)/8に変換するとしてもよい。 Note that the numerical values for multiplication and division can be arbitrarily determined as long as the luminances of the plurality of pixels are weighted and added and finally uniformized, and are limited to the above numerical values “8” and “16”. Not. For example, the luminance e of the pixel (4, 3) may be converted to (b + d + 4e + f + h) / 8 by referring to only the horizontal and vertical pixels.
色相Bについても、色相R同様、図8(b)のように、画素(1,2)、(1,4)、(1,6)、(3,2)、(3,6)、(5,2)、(5,4)、(5,6)の輝度をa、b、c、d、f、g、h、iとしたとき、画素(3,4)の輝度eを(a+b+c+d+8e+f+g+h+i)/16に変換する。こうして、画素(3,4)の空間周波数を1/16〜1のいずれかの値に下げることができる。 As for the hue B, as in the hue R, as shown in FIG. 8B, the pixels (1, 2), (1, 4), (1, 6), (3, 2), (3, 6), ( 5,2), (5,4), and (5,6) are a, b, c, d, f, g, h, i, and the luminance e of the pixel (3,4) is (a + b + c + d + 8e + f + g + h + i). ) / 16. Thus, the spatial frequency of the pixel (3, 4) can be lowered to any value between 1/16 and 1.
ベイヤー配列において、色相Gは、色相R、B同様、1画素ずつ隔てて設定されているが、色相R、Bと異なり、対角線方向にも予め輝度が設定された画素が隣接している。したがって、色相R、Bより近接した画素を用いて、即ち、本来の輝度に近い値を用いて空間周波数を下げることができる。例えば、図8(c)のように、画素(2,2)、(2,4)、(4,2)、(4,4)の輝度をj、k、m、nとしたとき、画素(3,3)の輝度lを(j+k+4l+m+n)/8に変換する。こうして、画素(3,3)の空間周波数を1/8〜1のいずれかの値に下げることができる。ここでも画素(3,3)自体の本来の輝度のみ4倍の重み付けをして他の画素より輝度の影響を高めている。すなわち、輝度j、k、l、m、nを1:1:4:1:1の比率で合成している。なお、色相Gについても、複数の画素の輝度を重み付けして加算し最終的に均一化する計算さえすれば、乗算や除算の数値は、任意に決めることができる。 In the Bayer array, the hue G is set to be separated by one pixel as in the hues R and B. However, unlike the hues R and B, pixels whose luminance is set in advance in the diagonal direction are adjacent to each other. Therefore, the spatial frequency can be lowered by using pixels closer to the hues R and B, that is, by using a value close to the original luminance. For example, as shown in FIG. 8C, when the luminances of the pixels (2, 2), (2, 4), (4, 2), and (4, 4) are j, k, m, and n, The luminance l of (3, 3) is converted to (j + k + 4l + m + n) / 8. Thus, the spatial frequency of the pixel (3, 3) can be lowered to any value between 1/8 and 1. Again, only the original luminance of the pixel (3, 3) itself is weighted four times to increase the influence of luminance over the other pixels. That is, the luminances j, k, l, m, and n are synthesized at a ratio of 1: 1: 4: 1: 1. For the hue G, the numerical values for multiplication and division can be arbitrarily determined as long as the luminances of a plurality of pixels are weighted and added and finally uniformized.
ただし、参照する他の画素が、既に、上記の変換が施されている場合、想定より空間周波数が下がり過ぎてしまう。したがって、予め設定されている輝度をデータ保持部162に保持しておき、当該色合成を行う場合には、色合成後の輝度を用いず、保持されている本来の輝度を用いるとよい。 However, when other pixels to be referred to have already been subjected to the above conversion, the spatial frequency is too low than expected. Therefore, when the preset luminance is held in the data holding unit 162 and the color composition is performed, it is preferable to use the original luminance that is held without using the luminance after color synthesis.
かかる構成により、空間周波数の偏差を抑制でき、任意の画素のみ色復元処理を行う場合と比べ、パターンマッチングを遂行し易い画像に変換することができる。したがって、パターンマッチングが適切に実行されなかったり、ミスマッチングによって誤った視差情報を導出してしまうといった事態を回避し、パターンマッチングの精度を高めることが可能となる。 With such a configuration, the spatial frequency deviation can be suppressed, and the image can be converted into an image that can be easily subjected to pattern matching as compared with the case where color restoration processing is performed only on an arbitrary pixel. Therefore, it is possible to avoid a situation in which pattern matching is not properly executed or to derive incorrect parallax information due to mismatching, and to improve the accuracy of pattern matching.
また、ここでは、色相Gに関し占有度(密度)が高いことを前提として計算したが、その占有度に応じて各色相の計算式は任意に変更することができる。ここでは、上述したように、複数の画素の輝度を重み付けして加算し、最終的に除算することで、空間周波数を下げさえすればよい。 Here, the calculation is performed on the premise that the degree of occupation (density) of the hue G is high, but the calculation formula of each hue can be arbitrarily changed according to the degree of occupation. Here, as described above, it is only necessary to lower the spatial frequency by weighting and adding the luminances of a plurality of pixels and finally dividing the luminance.
座標変換部176は、図5を用いて説明したように、一対の画像データを生成する撮像装置110に応じて予め定められた画素毎の位置ズレ特性に基づき各画素を座標変換し、座標変換後の画素の輝度を導出(色復元)する。かかる座標変換は、特許第3284190号等、既存の様々な技術を採用することができるので、ここではその詳細な説明を省略する。 As described with reference to FIG. 5, the coordinate conversion unit 176 performs coordinate conversion of each pixel based on a positional deviation characteristic for each pixel that is predetermined according to the imaging device 110 that generates a pair of image data, and performs coordinate conversion. The luminance of the subsequent pixel is derived (color restoration). Such coordinate transformation can employ various existing techniques such as Japanese Patent No. 3284190, and therefore detailed description thereof is omitted here.
座標合成部178は、座標変換部176による座標変換が不要と判断された画素の輝度を周囲の画素に基づいて合成する。ここで、座標合成部178は、座標変換部176によって低下する空間周波数の最小値に近づくように、座標変換が不要と判断された画素の輝度を周囲の画素に基づいて合成する。こうして、空間周波数を、座標変換部176で変換された低い空間周波数の画素に合わせることで、空間周波数の偏差を抑制することができ、パターンマッチングの精度を向上することが可能となる。 The coordinate synthesizing unit 178 synthesizes the luminance of the pixels that are determined not to require coordinate transformation by the coordinate transformation unit 176 based on the surrounding pixels. Here, the coordinate synthesizing unit 178 synthesizes the luminance of the pixels that are determined not to require coordinate transformation based on the surrounding pixels so as to approach the minimum value of the spatial frequency that is lowered by the coordinate transformation unit 176. Thus, by matching the spatial frequency to the low spatial frequency pixels converted by the coordinate conversion unit 176, the spatial frequency deviation can be suppressed, and the accuracy of pattern matching can be improved.
また、具体的に、座標合成部178は、座標変換が不要と判断された画素の輝度と、周囲の同一色相の輝度とを所定の比率で合成する。以下に、図9を用いて座標合成部178の合成例を示す。 Specifically, the coordinate synthesizing unit 178 synthesizes the luminance of the pixel that is determined not to require coordinate conversion and the luminance of the surrounding same hue at a predetermined ratio. Below, the example of a synthesis | combination of the coordinate synthetic | combination part 178 is shown using FIG.
例えば、座標変換後の画素152が画素(2,2)と重なるので、座標変換が不要と判断された場合、画素(2,2)における輝度cをそのまま利用することができる。しかし、本実施形態では、輝度cをそのまま利用せず、敢えて空間周波数を下げることとする。即ち、画素(1,2)、(2,1)、(2,3)、(3,2)の輝度をa、b、d、eとしたとき、画素(2,2)の輝度cを(a+b+4c+d+e)/8に変換する。ここでは、画素(2,2)自体の本来の輝度cの情報を残すべく「4」を乗算し、他の画素の輝度と加算、最後に「8」で除算している。こうすることで、画素(2,2)の空間周波数を1/8〜1のいずれかの値に下げることができる。 For example, since the pixel 152 after coordinate conversion overlaps the pixel (2, 2), if it is determined that coordinate conversion is unnecessary, the luminance c at the pixel (2, 2) can be used as it is. However, in the present embodiment, the luminance c is not used as it is, and the spatial frequency is intentionally lowered. That is, when the luminances of the pixels (1, 2), (2, 1), (2, 3), (3, 2) are a, b, d, e, the luminance c of the pixel (2, 2) is Convert to (a + b + 4c + d + e) / 8. Here, “4” is multiplied to leave the information of the original luminance c of the pixel (2, 2) itself, added with the luminance of other pixels, and finally divided by “8”. By doing so, the spatial frequency of the pixel (2, 2) can be lowered to any value between 1/8 and 1.
かかる構成により、空間周波数の偏差を抑制でき、座標変換処理のみを行う場合と比べ、パターンマッチングを遂行し易い画像に変換することができる。したがって、パターンマッチングが適切に実行されなかったり、ミスマッチングによって誤った視差情報を導出してしまうといった事態を回避し、パターンマッチングの精度を高めることが可能となる。 With this configuration, the spatial frequency deviation can be suppressed, and the image can be converted into an image that can be easily subjected to pattern matching as compared with the case where only the coordinate conversion process is performed. Therefore, it is possible to avoid a situation in which pattern matching is not properly executed or to derive incorrect parallax information due to mismatching, and to improve the accuracy of pattern matching.
マッチング処理部180は、輝度が復元および合成され、かつ、位置ズレが補正された一対のデータそれぞれから所定の大きさのブロックを抽出してマッチングを行い、相関性の高いブロック同士を特定する。 The matching processing unit 180 extracts blocks of a predetermined size from each of a pair of data whose luminance has been restored and combined and whose positional deviation has been corrected, and performs matching to specify blocks having high correlation.
このパターンマッチングとしては、2つの画像データ間において、任意の画像位置を示すブロック単位で輝度値(Y色差信号)を比較することが考えられる。例えば、輝度値の差分をとるSAD(Sum of Absolute Difference)、差分を2乗して用いるSSD(Sum of Squared intensity Difference)や、各画素の輝度値から平均値を引いた分散値の類似度をとるNCC(Normalized Cross Correlation)等の手法がある。画像処理装置120は、このようなブロック単位の視差導出処理を検出領域(例えば600画素×200画素)に映し出されている全てのブロックについて行う。ここでは、ブロックを4画素×4画素としているが、ブロック内の画素数は任意に設定することができる。以下、図10を用いてマッチング処理部180の具体的な動作を述べる。 As this pattern matching, it is conceivable to compare luminance values (Y color difference signals) in units of blocks indicating an arbitrary image position between two pieces of image data. For example, the SAD (Sum of Absolute Difference) that takes the difference in luminance value, the SSD (Sum of Squared intensity Difference) that uses the difference squared, and the similarity of the variance value obtained by subtracting the average value from the luminance value of each pixel. There are methods such as NCC (Normalized Cross Correlation). The image processing apparatus 120 performs such a block-based parallax derivation process for all blocks displayed in the detection area (for example, 600 pixels × 200 pixels). Here, the block is 4 pixels × 4 pixels, but the number of pixels in the block can be arbitrarily set. Hereinafter, a specific operation of the matching processing unit 180 will be described with reference to FIG.
図10における軌跡は、ブロック単位のパターンマッチングにおける相関値(差分値)の推移を示している。このように、ブロック同士をリニアにシフトすることができれば、相関値が最大となる(ここでは差分値が最小となる)具体的な点Aを求めるのが可能となる。しかし、実際は画素単位の移動しかできず、画素単位で移動した…Bn−2、Bn−1、Bn、Bn+1、Bn+2…(nは整数)における相関値(ここでは差分値)のみしか取得することができない。そうすると相関値が最大の点(差分値が最小の点)は、点Bnとなる。 The trajectory in FIG. 10 shows the transition of the correlation value (difference value) in the pattern matching in units of blocks. Thus, if the blocks can be linearly shifted, it is possible to obtain a specific point A where the correlation value is maximized (here, the difference value is minimized). However, in actuality, the movement can only be performed in units of pixels, and the correlation values (here, difference values) in the movements in units of pixels ... Bn-2 , Bn-1 , Bn , Bn + 1 , Bn + 2 (n is an integer). Can only get. Then, the point with the maximum correlation value (the point with the minimum difference value) is the point B n .
ここでは、図10のように相関値の推移が、相関値が最大になる点から上下に延伸した線に対して線対称となっていることを利用し、さらに細かい分解能で水平方向のシフト量を導出する。例えば、マッチング処理部180は、特定されたブロック同士の相関値(相関値が最大と判定された点Bnの相関値)と、特定されたブロック同士の一方を水平方向左右に単位画素シフトしたときの2つの相関値(点Bn−1、Bn+1の相関値)とに基づいて、画素単位より分解能の高いマッチング位置を導出する。 Here, using the fact that the transition of the correlation value is symmetric with respect to a line extending vertically from the point where the correlation value becomes maximum as shown in FIG. 10, the shift amount in the horizontal direction with a finer resolution. Is derived. For example, the matching processing unit 180 shifts the correlation value between the identified blocks (correlation value at the point B n at which the correlation value is determined to be the maximum) and one of the identified blocks by a unit pixel shift left and right in the horizontal direction. Based on the two correlation values at that time (correlation values at points B n−1 and B n + 1 ), a matching position having a higher resolution than the pixel unit is derived.
具体的に、マッチング処理部180は、相関値が最大と判定された、即ち、差分値が最小の点Bnと差分値が最小から3番目の点Bn−1の相関値との結線190を生成する。次に、当該結線190と符号は反転しているが傾きの大きさが等しく、かつ、差分値が最小から2番目の点Bn+1を通る線分192を生成する。そして、その交点194に相当するマッチング位置Cを新たに導出する。かかるマッチング位置Cは真に相関値が最大となる点Aとは少しずれることもあるが、ほぼ相関値が最大となる点を示している。また、このようにして導出された点は、画素単位に比べ8〜16倍程度の分解能で表される。したがって、より詳細なパターンマッチングが可能となる。 Specifically, the matching processor 180, the correlation value is determined to be maximum, i.e., connection point B n and the difference value of the difference value is minimized and third point correlation values B n-1 from the minimum 190 Is generated. Next, a line segment 192 is generated that has the same sign as that of the connection 190 but has the same inclination and a difference value that passes through the second point B n + 1 from the minimum. Then, a matching position C corresponding to the intersection 194 is newly derived. Such a matching position C shows a point where the correlation value is almost maximized although it may be slightly different from the point A where the correlation value is truly maximized. Further, the points derived in this way are represented with a resolution of about 8 to 16 times that of the pixel unit. Therefore, more detailed pattern matching is possible.
本実施形態では、上述したように、一対の画像データにおける空間周波数の偏差を抑制しているので、このような分解能の高いパターンマッチングにおいて、特に、色合成部174や座標合成部178が効果的に機能する。 In the present embodiment, as described above, since the spatial frequency deviation in the pair of image data is suppressed, the color synthesis unit 174 and the coordinate synthesis unit 178 are particularly effective in such high-resolution pattern matching. To work.
視差導出部182は、マッチング処理部180によって特定されたブロック同士の、画像を基準とした分解能の高まった視差を求め、そのブロックに関連付けさせる。かかる視差は視差情報として後段の環境認識装置130に利用される。 The parallax deriving unit 182 obtains a parallax with an increased resolution with reference to the image between the blocks specified by the matching processing unit 180 and associates the parallax with the block. Such parallax is used as parallax information for the environment recognition device 130 in the subsequent stage.
(画像処理方法)
以下、画像処理装置120の具体的な処理を図11〜図13のフローチャートに基づいて説明する。図11は、画像処理装置120が輝度画像124を受信した場合の割込処理に関する全体的な流れを示し、図12、13は、その中の個別のサブルーチンを示している。また、ここでは、600×200画素の輝度画像124の左下隅を原点とし、画像水平方向に1〜600画素、垂直方向に1〜200画素の範囲で当該画像処理方法による処理を遂行する。
(Image processing method)
Hereinafter, specific processing of the image processing apparatus 120 will be described based on the flowcharts of FIGS. 11 to 13. FIG. 11 shows the overall flow related to the interrupt processing when the image processing apparatus 120 receives the luminance image 124, and FIGS. 12 and 13 show individual subroutines therein. Also, here, the processing by the image processing method is performed in the range of 1 to 600 pixels in the horizontal direction of the image and 1 to 200 pixels in the vertical direction with the lower left corner of the luminance image 124 of 600 × 200 pixels as the origin.
図11に示すように、輝度画像124の受信を契機に当該環境認識方法による割込が発生すると、輝度画像124の感度が補正され(S200)、色復元処理(S202)および座標変換処理(S204)が実行される。そして、パターンマッチング処理(S206)が遂行された後、視差情報が生成される(S208)。以下、上記のうち、本実施形態において特徴的な色復元処理S202および座標変換処理S204を具体的に説明する。 As shown in FIG. 11, when the interruption by the environment recognition method occurs when the luminance image 124 is received, the sensitivity of the luminance image 124 is corrected (S200), the color restoration process (S202), and the coordinate conversion process (S204). ) Is executed. Then, after the pattern matching process (S206) is performed, disparity information is generated (S208). Hereinafter, among the above, the characteristic color restoration process S202 and the coordinate conversion process S204 characteristic in the present embodiment will be described in detail.
(色復元処理S202)
図12を参照すると、色復元部172は、画素を特定するための垂直変数jを初期化(「0」を代入)する(S250)。続いて、色復元部172は、垂直変数jに「1」を加算(インクリメント)すると共に水平変数iを初期化(「0」を代入)する(S252)。次に、色復元部172は、水平変数iに「1」を加算する(S254)。ここで、水平変数iや垂直変数jを設けているのは、600×200の画素全てに対して当該色復元処理を実行するためである。
(Color restoration processing S202)
Referring to FIG. 12, the color restoration unit 172 initializes (assigns “0”) a vertical variable j for specifying a pixel (S250). Subsequently, the color restoration unit 172 adds (increments) “1” to the vertical variable j and initializes the horizontal variable i (substitutes “0”) (S252). Next, the color restoration unit 172 adds “1” to the horizontal variable i (S254). Here, the reason why the horizontal variable i and the vertical variable j are provided is to execute the color restoration processing for all 600 × 200 pixels.
続いて、色復元部172は、輝度画像124から画素(i,j)における色相R、G、Bそれぞれの輝度を取得する(S256)。そして、色復元部172は、色相Rについて色復元が必要な画素であるか否か、すなわち、色相Rが予め設定されていない画素であるか否か判定する(S258)。色復元が必要な画素であれば(S258におけるYES)、色復元部172が色復元を行い(S260)、色復元が不要な画素であれば(S258におけるNO)、色合成部174が、周囲の画素に基づいて色を合成する(S262)。 Subsequently, the color restoration unit 172 acquires the luminances of the hues R, G, and B in the pixel (i, j) from the luminance image 124 (S256). Then, the color restoration unit 172 determines whether or not the hue R is a pixel that needs to be restored, that is, whether or not the hue R is a pixel that is not set in advance (S258). If the pixel requires color restoration (YES in S258), the color restoration unit 172 performs color restoration (S260). If the pixel does not require color restoration (NO in S258), the color composition unit 174 Colors are synthesized based on the pixels (S262).
次に、色復元部172は、色相Gについて色復元が必要な画素であるか否か判定する(S264)。色復元が必要な画素であれば(S264におけるYES)、色復元部172が色復元を行い(S266)、色復元が不要な画素であれば(S264におけるNO)、色合成部174が、周囲の画素に基づいて色を合成する(S268)。同様に、色復元部172は、色相Bについても色復元が必要な画素であるか否か判定する(S270)。色復元が必要な画素であれば(S270におけるYES)、色復元部172が色復元を行い(S272)、色復元が不要な画素であれば(S270におけるNO)、色合成部174が、周囲の画素に基づいて色を合成する(S274)。 Next, the color restoration unit 172 determines whether or not the hue G is a pixel that needs to be restored (S264). If the pixel requires color restoration (YES in S264), the color restoration unit 172 performs color restoration (S266). If the pixel does not require color restoration (NO in S264), the color composition unit 174 Colors are synthesized based on the pixels (S268). Similarly, the color restoration unit 172 determines whether the hue B is a pixel that needs to be restored (S270). If the pixel requires color restoration (YES in S270), the color restoration unit 172 performs color restoration (S272). If the pixel does not require color restoration (NO in S270), the color synthesis unit 174 Colors are synthesized based on the pixels (S274).
次に、水平変数iが水平画素の最大値(ここでは600)を超えたか否か判定し(S276)、水平変数iが最大値を超えていなければ(S276におけるNO)、ステップS254の水平変数iのインクリメント処理からを繰り返す。また、水平変数iが最大値を超えていれば(S276におけるYES)、色復元部172は、垂直変数jが垂直画素の最大値(ここでは200)を超えたか否か判定する(S278)。そして、垂直変数jが最大値を超えていなければ(S278におけるNO)、ステップS252の垂直変数jのインクリメント処理からを繰り返す。また、垂直変数jが最大値を超えていれば(S278におけるYES)、当該色復元処理を終了する。 Next, it is determined whether or not the horizontal variable i exceeds the maximum value (here, 600) of the horizontal pixel (S276). If the horizontal variable i does not exceed the maximum value (NO in S276), the horizontal variable in step S254 is determined. Repeat from i increment processing. If the horizontal variable i exceeds the maximum value (YES in S276), the color restoration unit 172 determines whether or not the vertical variable j exceeds the maximum value (200 in this case) of the vertical pixels (S278). If the vertical variable j does not exceed the maximum value (NO in S278), the process of incrementing the vertical variable j in step S252 is repeated. If the vertical variable j exceeds the maximum value (YES in S278), the color restoration process is terminated.
(座標変換処理S204)
図13を参照すると、座標変換部176は、画素を特定するための垂直変数jを初期化(「0」を代入)する(S300)。続いて、座標変換部176は、垂直変数jに「1」を加算(インクリメント)すると共に水平変数iを初期化(「0」を代入)する(S302)。次に、座標変換部176は、水平変数iに「1」を加算する(S304)。ここで、水平変数iや垂直変数jを設けているのは、600×200の画素全てに対して当該座標変換処理を実行するためである。
(Coordinate conversion process S204)
Referring to FIG. 13, the coordinate conversion unit 176 initializes (assigns “0”) a vertical variable j for specifying a pixel (S300). Subsequently, the coordinate conversion unit 176 adds (increments) “1” to the vertical variable j and initializes the horizontal variable i (substitutes “0”) (S302). Next, the coordinate conversion unit 176 adds “1” to the horizontal variable i (S304). Here, the reason why the horizontal variable i and the vertical variable j are provided is to execute the coordinate conversion processing on all 600 × 200 pixels.
続いて、座標変換部176は、輝度画像124から画素(i,j)における色相R、G、Bそれぞれの輝度を取得する(S306)。そして、座標変換部176は、周囲4画素または2画素から色復元を行うか否か、すなわち、座標変換不要と判断されていない画素であるか否か判定する(S308)。色復元を行う画素であれば(S308におけるYES)、座標変換部176が座標変換後の画素の各色相の色復元を行い(S310)、色復元を行わない画素であれば(S308におけるNO)、座標合成部178が、周囲の画素に基づいて色を合成する(S312)。 Subsequently, the coordinate conversion unit 176 acquires the luminances of the hues R, G, and B in the pixel (i, j) from the luminance image 124 (S306). Then, the coordinate conversion unit 176 determines whether or not to perform color restoration from the surrounding four pixels or two pixels, that is, whether or not the pixel is determined not to require coordinate conversion (S308). If it is a pixel that performs color restoration (YES in S308), the coordinate conversion unit 176 performs color restoration of each hue of the pixel after coordinate transformation (S310), and if it is a pixel that does not perform color restoration (NO in S308). The coordinate composition unit 178 composes colors based on surrounding pixels (S312).
次に、水平変数iが水平画素の最大値(ここでは600)を超えたか否か判定し(S314)、水平変数iが最大値を超えていなければ(S314におけるNO)、ステップS304の水平変数iのインクリメント処理からを繰り返す。また、水平変数iが最大値を超えていれば(S314におけるYES)、座標変換部176は、垂直変数jが垂直画素の最大値(ここでは200)を超えたか否か判定する(S316)。そして、垂直変数jが最大値を超えていなければ(S316におけるNO)、ステップS302の垂直変数jのインクリメント処理からを繰り返す。また、垂直変数jが最大値を超えていれば(S316におけるYES)、当該座標変換処理を終了する。 Next, it is determined whether or not the horizontal variable i exceeds the maximum value (here, 600) of the horizontal pixel (S314). If the horizontal variable i does not exceed the maximum value (NO in S314), the horizontal variable in step S304 is determined. Repeat from i increment processing. If the horizontal variable i exceeds the maximum value (YES in S314), the coordinate conversion unit 176 determines whether the vertical variable j exceeds the maximum value (200 in this case) of the vertical pixels (S316). If the vertical variable j does not exceed the maximum value (NO in S316), the process of incrementing the vertical variable j in step S302 is repeated. If the vertical variable j exceeds the maximum value (YES in S316), the coordinate conversion process ends.
以上、説明した画像処理装置120では、パターンマッチングの対象となる一対の画像データにおける空間周波数の偏差を抑制することで、適切にパターンマッチングを遂行できる。したがって、視差情報を適切に導出でき、対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ制御を適切に行うことが可能となる。 As described above, the image processing apparatus 120 described above can appropriately perform pattern matching by suppressing a spatial frequency deviation in a pair of image data to be subjected to pattern matching. Therefore, the parallax information can be appropriately derived, and it is possible to appropriately perform control for avoiding a collision with an object and maintaining a safe distance between the preceding vehicle and the preceding vehicle.
また、コンピュータを、画像処理装置120として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ROM、CD、DVD、BD等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。 Also provided are a program that causes a computer to function as the image processing apparatus 120 and a computer-readable storage medium that stores the program, such as a flexible disk, a magneto-optical disk, a ROM, a CD, a DVD, and a BD. Here, the program refers to data processing means described in an arbitrary language or description method.
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。 As mentioned above, although preferred embodiment of this invention was described referring an accompanying drawing, it cannot be overemphasized that this invention is not limited to this embodiment. It will be apparent to those skilled in the art that various changes and modifications can be made within the scope of the claims, and these are naturally within the technical scope of the present invention. Is done.
例えば、上述した実施形態においては、2つの撮像装置110を用いて同時に取得した画像データを利用しているが、1つの撮像装置110を用いて時系列に対応する一対の画像データを用いることもできる。また、撮像装置110の数は1や2に限らず、3以上の複眼にも適用可能である。 For example, in the above-described embodiment, image data acquired simultaneously using two imaging devices 110 is used, but a pair of image data corresponding to time series may be used using one imaging device 110. it can. Further, the number of imaging devices 110 is not limited to 1 or 2, and can be applied to 3 or more compound eyes.
また、上述した実施形態においては、ベイヤー配列としてRGBの3原色を挙げて説明したが、RGBCの4原色、もしくは異なる5色以上の色を適用することもできる。 In the above-described embodiment, the three primary colors RGB are described as the Bayer array. However, four primary colors of RGBC, or five or more different colors can be applied.
さらに、上述した実施形態では、撮像装置110を介して取得した画像データのみを対象としているが、電波レーザレーダを用い、周波数フィルタを異ならせて上述した特定の色相に相当するレーザ光を取得するとしてもよい。ここで、電波レーザレーダは、検出領域122にレーザビームを投射し、このレーザビームが物体に当たって反射してくる光を受光し、その反射光を分析するものである。さらに、温度測定装置でも、温度測定素子毎の画像データに当該実施形態を適用することも可能である。 Furthermore, in the above-described embodiment, only the image data acquired via the imaging device 110 is targeted. However, the laser light corresponding to the specific hue described above is acquired using a radio wave laser radar with different frequency filters. It is good. Here, the radio wave laser radar projects a laser beam onto the detection region 122, receives light reflected by the laser beam hitting an object, and analyzes the reflected light. Further, even in the temperature measuring device, the embodiment can be applied to image data for each temperature measuring element.
本発明は、撮像した一対の画像データに基づいてパターンマッチングを実行する画像処理装置に利用することができる。 The present invention can be used in an image processing apparatus that performs pattern matching based on a pair of captured image data.
1 …車両
100 …環境認識システム
120 …画像処理装置
170 …感度補正部
172 …色復元部
174 …色合成部
176 …座標変換部
178 …座標合成部
180 …マッチング処理部
DESCRIPTION OF SYMBOLS 1 ... Vehicle 100 ... Environment recognition system 120 ... Image processing apparatus 170 ... Sensitivity correction part 172 ... Color restoration part 174 ... Color composition part 176 ... Coordinate conversion part 178 ... Coordinate composition part 180 ... Matching processing part
Claims (8)
前記一対の画像データにおいて、各画素に予め設定されている色相の輝度を周囲の画素に基づいて合成する色合成部と、
前記一対の画像データそれぞれから所定の大きさのブロックを抽出してマッチングを行い、相関性の高いブロック同士を特定するマッチング処理部と、
を備えることを特徴とする画像処理装置。 In a pair of image data configured with a Bayer array, a color restoration unit that restores the luminance of a hue not set to each pixel based on adjacent pixels;
In the pair of image data, a color synthesizing unit that synthesizes luminance of a hue set in advance for each pixel based on surrounding pixels;
A matching processing unit that extracts blocks of a predetermined size from each of the pair of image data, performs matching, and identifies highly correlated blocks; and
An image processing apparatus comprising:
前記座標変換部による座標変換が不要と判断された画素の輝度を周囲の画素に基づいて合成する座標合成部と、
をさらに備えることを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。 A coordinate conversion unit that performs coordinate conversion of each pixel based on a positional deviation characteristic for each pixel that is predetermined according to the imaging device that generates the pair of image data, and derives the luminance of the pixel after the coordinate conversion;
A coordinate synthesizing unit that synthesizes the luminance of pixels determined not to require coordinate transformation by the coordinate transformation unit based on surrounding pixels;
The image processing apparatus according to claim 1, further comprising:
前記座標変換部による座標変換が不要と判断された画素の輝度を周囲の画素に基づいて合成する座標合成部と、
前記一対の画像データそれぞれから所定の大きさのブロックを抽出してマッチングを行い、相関性の高いブロック同士を特定するマッチング処理部と、
を備えることを特徴とする画像処理装置。 A coordinate conversion unit that performs coordinate conversion of each pixel based on a positional deviation characteristic for each pixel that is predetermined according to an imaging device that generates a pair of image data, and derives the luminance of the pixel after the coordinate conversion;
A coordinate synthesizing unit that synthesizes the luminance of pixels determined not to require coordinate transformation by the coordinate transformation unit based on surrounding pixels;
A matching processing unit that extracts blocks of a predetermined size from each of the pair of image data, performs matching, and identifies highly correlated blocks; and
An image processing apparatus comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011210223A JP5711638B2 (en) | 2011-09-27 | 2011-09-27 | Image processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011210223A JP5711638B2 (en) | 2011-09-27 | 2011-09-27 | Image processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013073306A true JP2013073306A (en) | 2013-04-22 |
JP5711638B2 JP5711638B2 (en) | 2015-05-07 |
Family
ID=48477794
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011210223A Active JP5711638B2 (en) | 2011-09-27 | 2011-09-27 | Image processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5711638B2 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015014686A (en) * | 2013-07-04 | 2015-01-22 | オリンパス株式会社 | Imaging device |
WO2016203616A1 (en) * | 2015-06-18 | 2016-12-22 | 日産自動車株式会社 | Traffic light detection device and traffic light detection method |
CN109461419A (en) * | 2018-12-24 | 2019-03-12 | 惠科股份有限公司 | Display data processing method and system and display device |
JP2019106574A (en) * | 2017-12-08 | 2019-06-27 | キヤノン株式会社 | Imaging apparatus and imaging system |
JP2019106576A (en) * | 2017-12-08 | 2019-06-27 | キヤノン株式会社 | Imaging apparatus and imaging system |
JP2020088464A (en) * | 2018-11-19 | 2020-06-04 | キヤノン株式会社 | Imaging apparatus, image processing system, and image processing method |
CN114359114A (en) * | 2022-03-16 | 2022-04-15 | 宁波杜比医疗科技有限公司 | Mononuclear focus hue reduction method and device, electronic equipment and storage medium |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5596367A (en) * | 1996-02-23 | 1997-01-21 | Eastman Kodak Company | Averaging green values for green photosites in electronic cameras |
JP2003256875A (en) * | 2002-02-27 | 2003-09-12 | Fuji Heavy Ind Ltd | Positional deviation adjusting device amd method for stereoscopic image, and stereoscopic type monitoring device |
JP2008005462A (en) * | 2006-05-22 | 2008-01-10 | Fujitsu Ltd | Image processing system |
JP2010245901A (en) * | 2009-04-07 | 2010-10-28 | Dainippon Printing Co Ltd | Image processing apparatus, image processing method and the like |
JP2011155365A (en) * | 2010-01-26 | 2011-08-11 | Honda Elesys Co Ltd | Image processing apparatus and image processing method |
-
2011
- 2011-09-27 JP JP2011210223A patent/JP5711638B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5596367A (en) * | 1996-02-23 | 1997-01-21 | Eastman Kodak Company | Averaging green values for green photosites in electronic cameras |
JP2003256875A (en) * | 2002-02-27 | 2003-09-12 | Fuji Heavy Ind Ltd | Positional deviation adjusting device amd method for stereoscopic image, and stereoscopic type monitoring device |
JP2008005462A (en) * | 2006-05-22 | 2008-01-10 | Fujitsu Ltd | Image processing system |
JP2010245901A (en) * | 2009-04-07 | 2010-10-28 | Dainippon Printing Co Ltd | Image processing apparatus, image processing method and the like |
JP2011155365A (en) * | 2010-01-26 | 2011-08-11 | Honda Elesys Co Ltd | Image processing apparatus and image processing method |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015014686A (en) * | 2013-07-04 | 2015-01-22 | オリンパス株式会社 | Imaging device |
US9571728B2 (en) | 2013-07-04 | 2017-02-14 | Olympus Corporation | Image acquisition apparatus |
WO2016203616A1 (en) * | 2015-06-18 | 2016-12-22 | 日産自動車株式会社 | Traffic light detection device and traffic light detection method |
JP2019106574A (en) * | 2017-12-08 | 2019-06-27 | キヤノン株式会社 | Imaging apparatus and imaging system |
JP2019106576A (en) * | 2017-12-08 | 2019-06-27 | キヤノン株式会社 | Imaging apparatus and imaging system |
JP2020088464A (en) * | 2018-11-19 | 2020-06-04 | キヤノン株式会社 | Imaging apparatus, image processing system, and image processing method |
CN109461419A (en) * | 2018-12-24 | 2019-03-12 | 惠科股份有限公司 | Display data processing method and system and display device |
CN114359114A (en) * | 2022-03-16 | 2022-04-15 | 宁波杜比医疗科技有限公司 | Mononuclear focus hue reduction method and device, electronic equipment and storage medium |
CN114359114B (en) * | 2022-03-16 | 2022-08-23 | 宁波杜比医疗科技有限公司 | Mononuclear focus hue reduction method and device, electronic equipment and storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP5711638B2 (en) | 2015-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5711638B2 (en) | Image processing device | |
JP5639024B2 (en) | Image processing device | |
JP5612621B2 (en) | Outside environment recognition device | |
EP2437494B1 (en) | Device for monitoring area around vehicle | |
US9443313B2 (en) | Stereo camera apparatus | |
JP5386538B2 (en) | Environment recognition device | |
US20100246901A1 (en) | Operation Support System, Vehicle, And Method For Estimating Three-Dimensional Object Area | |
US11263758B2 (en) | Image processing method and apparatus | |
US8792678B2 (en) | Environment recognition device and environment recognition method | |
US10148938B2 (en) | Vehicle-mounted image recognition device to set a stereoscopic-vision and monocular-vision image areas | |
KR20120098107A (en) | System and method for assisting a driver | |
JP2009206747A (en) | Ambient condition monitoring system for vehicle, and video display method | |
US9118838B2 (en) | Exposure controller for on-vehicle camera | |
JP2015194487A (en) | Disparity deriving apparatus, movable apparatus, robot, method of deriving disparity, method of producing disparity, and program | |
KR20160076271A (en) | Apparatus and method for detecting obstacle | |
JP2017047794A (en) | Distortion correction method for head-up display and distortion correction device for head-up display using the same | |
US20140055572A1 (en) | Image processing apparatus for a vehicle | |
US9813694B2 (en) | Disparity value deriving device, equipment control system, movable apparatus, robot, and disparity value deriving method | |
JPWO2019082628A1 (en) | Image processing equipment, imaging equipment, driving support equipment, moving objects, and image processing methods | |
JP2020052671A (en) | Display control device, vehicle, and display control method | |
JP2014130429A (en) | Photographing device and three-dimensional object area detection program | |
JP2018088217A (en) | Information processing device, imaging device, apparatus control system, information processing method, and program | |
JP2008286648A (en) | Distance measuring device, distance measuring system, and distance measuring method | |
JP6855254B2 (en) | Image processing device, image processing system, and image processing method | |
JP2020126304A (en) | Out-of-vehicle object detection apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140603 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150217 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150306 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5711638 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |