JP2017146309A - Stereo camera - Google Patents
Stereo camera Download PDFInfo
- Publication number
- JP2017146309A JP2017146309A JP2017076400A JP2017076400A JP2017146309A JP 2017146309 A JP2017146309 A JP 2017146309A JP 2017076400 A JP2017076400 A JP 2017076400A JP 2017076400 A JP2017076400 A JP 2017076400A JP 2017146309 A JP2017146309 A JP 2017146309A
- Authority
- JP
- Japan
- Prior art keywords
- value
- distance
- image
- region
- stereo camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 claims abstract description 65
- 239000000284 extract Substances 0.000 claims abstract description 13
- 238000003384 imaging method Methods 0.000 claims abstract description 6
- 238000005259 measurement Methods 0.000 abstract description 49
- 238000000605 extraction Methods 0.000 abstract description 10
- 230000000875 corresponding effect Effects 0.000 description 21
- 238000000034 method Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241000238631 Hexapoda Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、撮像素子を2つ以上用いて撮像した画像により物体までの距離計測をするステレオカメラに関する。 The present invention relates to a stereo camera that measures a distance to an object using an image captured using two or more image sensors.
本技術分野の背景技術として、特許文献1がある。特許文献1では、複数種の物体を精度よく検出することを目的としている。このために、画像を小領域に分割し、複数の画像間で小領域毎に輝度値の類似度に基づいて対応付けることで距離を計測した距離画像データを生成し、計測した距離が近い小領域同士をグループ化することで1つの計測対象として物体を検出し、グループ内の距離の平均値として物体までの距離を計測するステレオカメラが開示されている。
As a background art of this technical field, there is
また、特許文献2では、特許文献1と同様に、計測の対象とする物体を的確に検出して物体までの距離を計測することを目的としている。このために、距離画像データによるグループ化に加えて、1つの画像中において隣接する画素の輝度値が近い小領域同士をグループ化する。これにより、同一物体にも関わらず、小領域のサイズや分割位置などの影響で計測した距離がばらついてグループ化できなかった場合についても、同一物体内では隣接する輝度値が大きく変化しないという仮定のもとで、より確実に1つの計測対象として物体を検出し、グループ内の距離の平均値として物体までの距離を計測するステレオカメラが開示されている。
Further, in
物体の距離や速度の計測を行うステレオカメラは、自動車や建設機械やロボットなどに応用され、周囲の物体までの距離や速度を精度よく計測することにより、衝突回避や自己位置の認識などの運転支援システムを実現することに利用される。 Stereo cameras that measure the distance and speed of objects are applied to automobiles, construction machines, robots, etc., and by measuring the distance and speed to surrounding objects with high accuracy, driving such as collision avoidance and self-position recognition Used to implement a support system.
カメラを2つ以上用いて撮像した画像により物体までの距離を計測するステレオカメラの距離計測の原理は、計測の対象とする物体が撮影された複数のカメラの画像で物体画像をマッチングすることで対応付け、撮像位置とカメラの取り付け位置の関係から三角測量の原理により距離を算出する。このため、対応付けの位置がずれることが距離計測の誤差となる。 The principle of the distance measurement of a stereo camera that measures the distance to an object from images taken by using two or more cameras is to match the object image with the images of multiple cameras where the object to be measured is taken. The distance is calculated by the principle of triangulation from the relationship between the association, the imaging position and the camera mounting position. For this reason, an error in distance measurement is caused by a shift in the correspondence position.
距離計測の誤差要因は主に3つある。1つ目の要因は、計測の対象となる物体よりも手前に別の物体が入り込んで撮像されてしまうことに起因する。具体的には、カメラのレンズやカメラ前面に設けたクリアパネルなどに水滴や汚れが付着することや、カメラと計測の対象となる物体の間に雨が降っていたり、虫が飛び交っていたり、落ち葉が舞い降りるなどが起こるものであり、ステレオカメラを過酷な環境で用いる場合には対応する必要がある。別の物体が撮像されると対応付けの位置に誤差が大きく生じる。これについて、本発明では距離の計測誤差を小さくするために、計測の対象となる物体以外が撮像された画素を取り除いて対応付けをしたいという課題がある。 There are mainly three error factors for distance measurement. The first factor is due to the fact that another object enters and is captured before the object to be measured. Specifically, water drops and dirt adhere to the camera lens and the clear panel on the front of the camera, rain between the camera and the object to be measured, insects are flying around, The fallen leaves fall and fall, and it is necessary to cope with the use of a stereo camera in a harsh environment. When another object is imaged, a large error occurs in the associated position. In this regard, in the present invention, in order to reduce the distance measurement error, there is a problem that it is desired to perform association by removing pixels in which images other than the object to be measured are imaged.
2つ目の要因は、対応付けをする際の画像領域のサイズに起因する。画像領域サイズが小さいと、撮像素子のノイズの影響を受けて対応位置がずれることや、周辺でパターンが類似する領域に誤って対応して対応位置がずれてしまうことがある。このため、本発明では距離の計測誤差を小さくするために、計測の対象物体の大部分となる大領域によって物体全体の画像のマッチングによる対応付けをしたいという課題がある。 The second factor is attributed to the size of the image area at the time of association. If the image area size is small, the corresponding position may be shifted due to the influence of noise of the image sensor, or the corresponding position may be shifted in response to an area similar to the pattern in the vicinity. For this reason, in the present invention, in order to reduce the distance measurement error, there is a problem that it is desired to perform matching by matching the images of the entire object with a large area that is a large part of the measurement target object.
3つ目の要因は、計測の対象となる物体の周囲に背景が撮像されてしまうことに起因する。背景は計測の対象となる物体よりも遠くにある物体のため、対応付けの領域に含むことによって誤差を生じる。これについても、本発明では距離の計測誤差を小さくするために、1つ目の要因と同様に計測の対象となる物体以外が撮像された画素を取り除いて対応付けをしたいという課題がある。 The third factor is that the background is imaged around the object to be measured. Since the background is an object farther than the object to be measured, an error occurs when it is included in the association region. With respect to this as well, the present invention has a problem that, in order to reduce the distance measurement error, it is desired to remove and associate pixels other than the object to be measured as in the first factor.
よって、距離計測の誤差が安定した小さいステレオカメラを実現するには、計測の対象となる物体以外が撮像された領域を画素単位で取り除くとともに、計測の対象物体の全体を含む大領域により対応付けをすることを両立する必要がある。 Therefore, in order to realize a small stereo camera with a stable distance measurement error, the area where the object other than the object to be measured is imaged is removed in pixel units, and the area is correlated with a large area including the entire object to be measured. It is necessary to make it compatible.
これに対し特許文献1のシステムは、誤差の小さい距離計測を目的とする本発明とは狙いが異なり、物体検出が課題である。このため、距離を計測する単位と計測対象の物体以外を取り除く単位がどちらも小領域毎であることから距離計測の誤差が大きい場合がある。また、ヒストグラムの生成では縦方向区切りなどの任意の区分で分けるため、ヒストグラム中に計測対象以外にも多くの異なる物体が含まれ、さらに1つ目の誤差要因である雨滴や汚れ等が含まれた際に代表値を安定して取り出すことができない場合がある。このため、本発明の課題を解決することができない。
On the other hand, the system of
また特許文献2のシステムも、誤差の小さい距離計測を目的とする本発明とは狙いが異なり、物体検出が課題である。特許文献1に比べ適切に同一物体と判定される小領域があるが、特許文献1と同様の性質を有する。このため、本発明の課題を解決することができない。
Also, the system of
そこで、本発明は、これらの課題を解決するものであり、距離計測の誤差が安定して、且つ小さいステレオカメラを提供することを目的とする。 Therefore, the present invention is to solve these problems, and an object of the present invention is to provide a stereo camera in which a distance measurement error is stable and small.
上記課題を解決するために、本発明のステレオカメラは、複数の撮像部で撮像された複数の画像を取得する画像取得部と、画像取得部で取得した複数の画像の各々に対して予め定めた複数の画素からなる第1の領域毎に分割し、分割された第1の領域毎に距離を計測し、第1の距離画像を生成する第1の領域処理部と、距離画像又は画像から、対象物体を抽出し、抽出した対象物体を含む複数の第1の領域からなる第2の領域を抽出する対象物体抽出部と、第2の領域内から所定の代表値を抽出し、第2の領域内の任意の画素の輝度値と任意の画素から代表値の示す視差分だけ移動した位置までの対応領域内の輝度値とを比較し、比較した結果に基づいて誤差要因の判定を行う誤差要因特定部と、誤差要因に基づいて重み値を決定し、重み値を用いて、第2の領域毎に距離を計測し、第2の距離画像を生成する第2の領域処理部と、を有する構成とする。 In order to solve the above-described problem, the stereo camera of the present invention is predetermined for each of an image acquisition unit that acquires a plurality of images captured by a plurality of imaging units and a plurality of images acquired by the image acquisition unit. A first area processing unit that divides each of the first areas including a plurality of pixels, measures a distance for each of the divided first areas, and generates a first distance image; A target object extracting unit that extracts a target object, extracts a second area including a plurality of first areas including the extracted target object, extracts a predetermined representative value from the second area, The luminance value of an arbitrary pixel in the region is compared with the luminance value in the corresponding region from the arbitrary pixel to the position moved by the parallax indicated by the representative value, and the error factor is determined based on the comparison result Determines the weight value based on the error factor identification unit and the error factor, and the weight value Used, the distance for each second region is measured, a structure having a second region processing unit for generating a second distance image.
本発明によれば、距離計測の誤差が安定して、且つ小さいステレオカメラが提供できる。 ADVANTAGE OF THE INVENTION According to this invention, the error of distance measurement can stabilize and a small stereo camera can be provided.
以下では、好ましい実施形態の一例として、本発明における課題を解決するステレオカメラを図面に基づいて説明する。 Hereinafter, as an example of a preferred embodiment, a stereo camera that solves the problems in the present invention will be described with reference to the drawings.
本実施例では、画像中に雨滴や汚れ214等が含まれる場合においても距離計測の誤差を安定して小さくするために、対象物体を1つの大領域として抽出する処理と、誤差要因を画素単位で除去する処理を両立することが可能なステレオカメラの例を説明する。
In this embodiment, in order to stably reduce the error in distance measurement even when raindrops,
図1は、本実施例のステレオカメラのシステム構成図の例であり、以下で符号を用いて詳細を説明する。ステレオカメラ処理装置100は、画像取得手段110、小領域処理手段112、対象物体抽出手段114、誤差要因特定手段116、大領域処理手段118から構成される。
FIG. 1 is an example of a system configuration diagram of the stereo camera of the present embodiment, and the details will be described below using reference numerals. The stereo
そして、ステレオカメラ処理装置100に対し、2台以上の複数の撮像部であるカメラ150で撮像された画像を入力し、ステレオカメラで計測された物体の距離情報等を用いる制御装置160へ処理結果を出力する。なお、図示されないが、前記各手段はステレオカメラ処理装置100に搭載した各種コンピュータ(Central Processing Unit、Micro-Processing Unit、Digital Signal Processor、Application Specific Integrated
Circuit、Field-Programmable Gate Arrayなど)やメモリなどの演算装置を用いて実現
する。
2台以上のカメラ150からの画像撮像情報は、例えばカラー情報・モノクロ情報・赤外線情報などいずれの種類に限定されることなく本発明を実施することができる。
Then, the image captured by the
Circuit, Field-Programmable Gate Array, etc.) and memory.
The image capturing information from the two or
制御装置160は、例えば自動車や建設機械や移動ロボットなどの運動制御用コントローラや、粉塵環境や液体飛散がある環境における検査装置に適するが、この他にもカメラレンズやカメラ前面のクリアパネル等に汚れや雨滴や液体が生じる制御装置であれば本発明を適用することで計測距離の誤差を小さくすることで安定性や信頼性を高くできる。
The
また、図示しないがステレオカメラ処理装置100における処理では、画像取得手段110から取得する画像に対してレンズ歪の補正や平行化処理を前処理として実施しても良いし、制御装置160へ出力する処理結果として計測した距離や速度や加速度(いずれも相対値あるいは絶対値)および、対象物体の認識や検知や検出の結果について後処理として安定化・高精度化のためにフィルタリング処理を実施しても良い。
Although not shown in the figure, in the processing in the stereo
以下、図2から図6を用いて、ステレオカメラ処理装置100を構成する小領域処理手段112、対象物体抽出手段114、誤差要因特定手段116、大領域処理手段118について詳細に説明する。
Hereinafter, the small
図2は、ステレオカメラ処理装置100を構成する画像取得手段110で取得する画像例であり、以下で符号を用いて説明する。
FIG. 2 is an example of an image acquired by the
画像取得手段110は、複数の撮像部であるカメラ150で撮像された複数の画像を取得する。
The
取得する左の画像例200、204、右の画像例202、206のうち画像例200と画像例202が対として雨滴や汚れが含まれない場合であり、画像例200に含まれる計測の対象物体208について、対応付けに用いた画像領域210として適切に大領域を抽出することができれば、画像例202に対し、小さい誤差で対応位置(画像間の視差)212を得ることができる。
This is a case where the image example 200 and the image example 202 of the left image examples 200 and 204 and the right image examples 202 and 206 to be acquired do not contain raindrops or dirt, and the measurement target object included in the image example 200 As for 208, if a large area can be appropriately extracted as the
具体的な対応付けの方法には、画像処理の一般的な対応付け手法(Sum of Abusolute Difference、Sum of Suquared Difference、Normalized Cross-Correlation、Phase-Only Correlation、Lucas-Kanadeなど)のいずれかを用いれば良い。 One of the common image processing methods (Sum of Abusolute Difference, Sum of Suquared Difference, Normalized Cross-Correlation, Phase-Only Correlation, Lucas-Kanade, etc.) is used as a specific matching method. It ’s fine.
これに対し、左の画像例204と右の画像例206の対となる画像のように雨滴や汚れ(計測対象外物体ではない)214等が含まれる場合には、前記した画像処理の一般的な手法をそのまま適用すると、図のように対応位置212がずれてしまうため計測した距離や速度に誤差が生じる。この場合に計測距離の誤差を小さくする本発明は効果を発揮する。
On the other hand, when raindrops or dirt (not an object not to be measured) 214 is included as in a pair of images of the left image example 204 and the right image example 206, general image processing described above is performed. If this method is applied as it is, the
図3は、ステレオカメラ処理装置100を構成する小領域処理手段112の処理概念図であり、以下で符号を用いて説明する。
FIG. 3 is a conceptual diagram of processing of the small
第1の領域処理部である小領域処理手段112は、画像取得手段110で取得した複数の画像の各々を、予め定めた複数の画素からなる第1の領域である小領域300毎に分割し、分割された第1の領域毎に距離を計測し、第1の距離画像である距離画像304を生成する。
The small
具体的には、小領域処理手段112では、左の画像例204を任意の固定したサイズの小領域ごとに分割する。なお、小領域の定義は別途説明する。
Specifically, the small
前記対応付け手法を用いて、画像例204の小領域毎に対応する画像例206の対応位置である小領域を得る。 Using the association method, a small region that is a corresponding position of the image example 206 corresponding to each small region of the image example 204 is obtained.
一例としては、左の画像例204における任意の小領域300に対する、右の画像例206における対応位置の小領域は、小領域302である。各小領域の計測距離の集合として1つの距離画像304(第1の距離画像)が得られる。図示されないが、距離画像304は、小領域1つ1つの距離計測の結果を持ち、計測誤差の大きいものから小さいものまで様々な結果が含まれる。
As an example, the
小領域のサイズについては、カメラの画素数や画角などから経験的に決定する必要があり、領域を小さくし過ぎると撮像素子のノイズの影響や周辺の類似した領域との誤対応が生じる問題があり、領域を大きくし過ぎると計測の対象物体以外にも複数の物体を含み易くなることで誤差の小さい計測結果が少なくなる問題がある。これらを考慮し、小領域は、複数の画素からなる。つまり、数画素×数画素〜数十画素×数十画素として設定する。また、上記では小領域のサイズを固定で説明したが、ノイズの多さなどの状況に応じて可変としたり、複数のサイズを試行して計測した距離の傾向から最も適切なサイズを選択したりしても良い。 The size of the small area must be determined empirically based on the number of pixels and angle of view of the camera. If the area is made too small, the effects of noise from the image sensor and incorrect correspondence with surrounding similar areas may occur. However, if the region is too large, there is a problem that the measurement result with a small error is reduced because it becomes easy to include a plurality of objects in addition to the measurement target object. Considering these, the small area is composed of a plurality of pixels. That is, it is set as several pixels × several pixels to several tens of pixels × several tens of pixels. In the above description, the size of the small area is fixed. However, it can be made variable according to the situation such as the amount of noise, or the most appropriate size can be selected from the tendency of the distance measured by trying multiple sizes. You may do it.
図4は、処理部であるステレオカメラ処理装置100を構成する対象物体抽出手段114の処理概念図であり、以下で符号を用いて説明する。
FIG. 4 is a conceptual diagram of processing of the target
対象物体抽出手段114は、第1の領域処理部である小領域処理手段112で求めた距離画像304、又は一方の画像から、対象物体208を抽出し、抽出した対象物体208を含む複数の第1の領域(小領域300)からなる第2の領域である大領域306を抽出する。
The target
つまり、対象物体抽出手段114では計測の対象物体を含む複数の小領域からなる大領域306を1つの塊として抽出をする。図4(a)に示すように小領域処理手段112で生成した距離画像304のグルーピングから1つの立体物を抽出しても良いし、図4(b
)に示すように画像例204から画像の色(モノクロ、カラー、赤外線など)の隣接画素間の類似性からグルーピングにより抽出しても良いし、計測の対象物体の画像パターンが定まっている場合には画像処理において一般的な特徴量や識別器を用いて認識・検知・検出する方法を用いても良い。距離の計測の誤差を小さくするには、いずれの方法を用いて対象物体を含む大領域として抽出した場合においても、本発明に適用することができる。
That is, the target
), It may be extracted by grouping from the similarity between adjacent pixels of the image color (monochrome, color, infrared, etc.) from the image example 204, or when the image pattern of the measurement target object is fixed May be a method of recognizing / detecting / detecting using a general feature amount or classifier in image processing. In order to reduce the distance measurement error, the method can be applied to the present invention regardless of which method is used to extract a large region including the target object.
図5は、ステレオカメラ処理装置100を構成する誤差要因特定手段116の処理概念図であり、以下で符号を用いて説明する。なお、矢印の順に処理ステップが構成される。
FIG. 5 is a conceptual diagram of processing of the error factor specifying means 116 constituting the stereo
誤差要因特定手段116は、対象物体抽出手段114で抽出された第2の領域(大領域306)内から所定の代表値502を抽出し、その第2の領域内の任意の画素504の輝度値と任意の画素504から代表値502の示す視差分だけ移動した位置までの対応領域506内の輝度値とを比較し、比較した結果に基づいて誤差要因の判定を行う。つまり輝度値の差分基づいて、その差分が予め定めた閾値以上であれば、誤差要因であると判定し、閾値未満であれば、誤差要因ではないとの判定を行う。一例としては、代表値502を抽出した後に、頻度ヒストグラム500のピーク値が予め定めた閾値以上、又は前記ピーク値と2番目以降のピーク値との比又は差が閾値以上、か否かを判定する。
The error
具体的には、誤差要因特定手段116では、対象物体抽出手段114において抽出した対象物体208を含む第2の領域である大領域306の内側における、第1の距離画像である距離画像304の計測値について頻度ヒストグラム500を作成する。頻度ヒストグラム500の横軸の単位は視差量とすることが望ましいが、距離量を用いても良い。頻度ヒストグラム500からピーク値を代表値502として取り出す。代表値502は、計測の対象物体までの視差(あるいは距離)を表している。頻度ヒストグラムのピークを抽出することで雨滴や汚れ214等の影響を受けにくい性質があると共に、頻度ヒストグラムを生成するために用いる距離画像304を大領域306の内側に限定することで、情報全体のうち計測の対象物体の頻度が高いため雨滴や汚れ214等が含まれる場合についても計測の対象物体を示すピークを安定して抽出することができる。ただし、代表値502で得られた計測の対象物体までの距離は、小領域300ごとに求めた距離であることにより誤差が大きいため、この段階では本発明の課題を解決するには至らない。また、ピークが安定して得られていることを確認するために、代表値502から頻度ヒストグラムの横軸上で一定値以上離れた範囲に存在する次に大きなピーク値を取り出し、2つのピークの比や差に基づいて、その2つのピークの比や差が所定の閾値以上である場合、つまり、最大のピークが設定した閾値を次のピークの値が超えている場合(代表値502(最大のピーク)が周囲に対して突出している)、安定しているように、安定性を判定し、抽出した大領域に除去困難なほどに他の物体が含まれていないかを判定しても良い。また、頻度ヒストグラム500の生成における距離画像304の値の投票においては、ガウシアンフィルタを重畳することで、代表値502を安定して得られるようにしても良い。
Specifically, the error
次に対象物体を含む大領域306の内側における各画素について以下の処理を実施する。
Next, the following processing is performed for each pixel inside the
左の画像例204にある大領域306内の任意の画素504は、右の画像例206では同一位置では無く代表値502の示す視差分だけ移動した位置の周辺にある。
An
よって、左の画像例204の任意の画素504は、別のカメラで取得した右の画像例206上で、代表値502だけ移動した位置から代表値502が持つ誤差の範囲を考慮した対応領域506において対応すると考えられる。もしも、任意の画素504と対応領域506が共に雨滴や汚れ214の影響を受けていなければ、任意の画素504の輝度値と、対応領域506が取る輝度値の範囲が一致する(前者が後者の内側に含まれる)ことになる。逆に、どちらかが雨滴や汚れ214の影響を受けていれば図5に示すように輝度値が不一致(前者が後者の外側に含まれる)となる矛盾が生じる。
Therefore, an
不一致の画素は、対象物体を含む大領域306の全体を複数の画像間で対応位置の計算をする際に誤差となるため、この一致度合いに応じて除去すれば良い。なお、代表値502に生じうる誤差を整数値とするならば対応領域506は整数個の画素からなる領域となるが、誤差に小数を含むのであれば線形補間の考え方などにより、中間の輝度値を生成しても良いし、整数に切り上げをしても良い。また、複数の画像について平行化がされていない場合についても、対応領域506を補間処理で計算すれば良い。なお、画像例204と画像例206における輝度のオフセット誤差が計算上無視できないほど大きい場合については、対象物体208を含む大領域306の範囲について、代表値502だけずれた位置で対応することを仮定してオフセット値を計算して差し引く処理を追加しても良い。また、各画素の輝度値のばらつき誤差が計算上無視できないほど大きい場合については、輝度の一致度合いから想定するばらつき誤差を差し引く処理を追加しても良い。
Mismatched pixels cause errors when calculating the corresponding positions of the entire
図6は、ステレオカメラ処理装置100を構成する大領域処理手段118の処理概念図であり、以下で符号を用いて説明する。
FIG. 6 is a conceptual diagram of processing of the large area processing means 118 constituting the stereo
第2の領域処理部である大領域処理手段118は、誤差要因特定手段116で特定した誤差要因に基づいて重み値を決定し、その重み値を用いて、第2の領域である大領域毎に距離を計測し、第2の距離画像を生成する。このとき、誤差要因特定手段116で判定した結果、頻度ヒストグラム500のピーク値が予め定めた閾値以上、又はピーク値と2番目以降のピーク値との比又は差が閾値以上の場合、閾値未満の画素に比べ、重み値を小さく設定する、又は閾値以上の画素を削除する。
The large
具体的には、大領域処理手段118では、左の画像例204の大領域306を1つの塊として右の画像例206に対して対応付けを行い、視差を計算することで対象物体208までの距離を導出する。小領域処理手段112では小領域ごとで対応付けて距離を導出したのに対し、大領域306を1つの塊として対応付けることで情報量が多いことからより安定して高精度な距離を導出することができる。大領域306内には距離計測の精度を低下させる誤差要因の画素が含まれるが、誤差要因特定手段116で抽出した各画素の左右の画像間での輝度値の差分からなる誤差要因情報を特定しているため、これを用いて大領域306の距離を導出する。
Specifically, the large
具体的には、大領域306内の全画素Σの範囲の各点pについて、対応関数fで評価値eを最小あるいは最大化する視差を探索することで対応付けを行う計算処理において、e=Σ(f(p)W(p))として誤差要因情報を重み値Wとして係数とする。最小あるいは最大値の探索では、種々の画像処理の手法を適用できるが、例としては対応関数fにSum of Squared Differenceを適用し、大領域306を代表値502の視差だけ移動した位置の周辺で評価値eを計算し、最小値を抽出すれば良い。重み値Wは、誤差要因特定手段116で計算した左の画像例204と右の画像例206の間における各画素の輝度値の差分に基づいて決定し、評価値eを最小化する場合には、輝度値の差分が小さい場合に重み値Wを大きくし、評価値eを最大化する場合には、輝度値の差分が小さい場合に重み値Wを小さくする。例えば、例えば任意の画素504の輝度値と対応領域506の取る輝度値の範囲の差分に比例して小さくなるように重み値Wを決定しても良いし、輝度値の差分に閾値を設けて各画素の利用可否を決定する方式でも良い。
Specifically, in a calculation process in which each point p in the range of all the pixels Σ in the
以上の計算を適用することで、左の画像例204と右の画像例206を用いて対象物体208までの距離を導出する際に、誤差要因となる画素の影響を小さくし、かつ大領域306を1つの塊として対応付けることで情報量が多く安定して高精度な計算をすることができる。
By applying the above calculation, when the distance to the
また、重み値Wを画像の画素配列と同様に配列化して重み配列600を生成し、画像処理における各認識・抽出・計測処理の評価値計算において、各画素の重み調整に用いる、つまり、第2の領域処理部である大領域処理手段118は、誤差要因特定手段116で判定された誤差要因である輝度値の差分に基づいて大領域306内の重み配列600を生成し、その重み配列600を用いて、大領域306毎に距離を計測し、第2の距離画像を生成することで、誤差要因の影響を抑えることができるため性能を向上することができる。
Further, the weight value W is arranged in the same manner as the pixel array of the image to generate the
なお、図1の大領域処理手段118から誤差要因特定手段116に戻る破線の矢印に示すように、大領域処理手段118の実施後には雨滴や汚れ214の影響を除去した誤差の小さい視差(対応位置、あるいは距離)が得られるため、この誤差の小さい視差を用いて再び誤差要因特定手段116を実施することで、雨滴や汚れ214などの大きな誤差の要因となる計測の対象物体208以外の、より小さな誤差の要因となる計測の対象物体208以外の情報についても除去あるいは重みを小さくして高精度化をしても良い。具体的には、計測の対象物体208の周辺に存在する背景の情報がこれに該当し、1度目の誤差要因特定手段116では代表値502の持つ誤差が大きいため特定することができないが、誤差の小さい視差を利用することで特定できるようになる。また、さらに繰り返して誤差要因特定手段116を実施する処理を複数回のループとすることで高精度化をしても良い
。
It should be noted that, as indicated by the broken arrow returning from the large area processing means 118 to the error factor specifying means 116 in FIG. (Position or distance) is obtained, and by performing the error factor specifying means 116 again using the parallax with a small error, the
図7は、本発明の効果を確認するための実験結果であり、以下で符号を用いて説明する。 FIG. 7 shows experimental results for confirming the effects of the present invention, and will be described below using reference numerals.
実験の条件は、停止する自動車(自車)に搭載したステレオカメラを用いて、約30m前方に停止する自動車(前方車両)を計測の対象物体208として距離の計測を行い、霧吹きによりステレオカメラの前部に位置するフロントガラスを濡らしたものである。 The experimental conditions are that a stereo camera mounted on a car that is to be stopped (own car) is used to measure the distance of a car (front car) that stops approximately 30 meters ahead of the object to be measured 208, and the The windshield located in the front is wetted.
図7のグラフにおいて、本発明を適用しない(本発明なし)場合は水滴の影響を受けて計測距離に最大で±5m程度の誤差を生じているが、本発明を適用した(本発明あり)場合の計測距離は最大で±1m程度の誤差に抑えられている。以上より、本発明を適用することで画像中に雨滴や汚れ214などが含まれる場合にも計測距離の誤差が小さいステレオカメラを実現できる。
In the graph of FIG. 7, when the present invention is not applied (without the present invention), an error of about ± 5 m at maximum occurs in the measurement distance due to the influence of water droplets, but the present invention was applied (with the present invention). The measurement distance in this case is suppressed to an error of about ± 1 m at the maximum. As described above, by applying the present invention, a stereo camera with a small measurement distance error can be realized even when raindrops,
本実施例では画像の輝度値のみを扱うことでモノクロ画像として説明したが、本発明の考え方は各色表現におけるカラー画像や赤外線画像に対しても同様に適用可能である。また、説明では画像例204と画像例206の2つの画像を用いる場合について説明したが、本発明の考え方は2つ以上の画像と、その画像を撮影したカメラ位置・姿勢の幾何関係が得られる場合には適用可能である。 Although the present embodiment has been described as a monochrome image by handling only the luminance value of the image, the concept of the present invention can be similarly applied to a color image or an infrared image in each color expression. Further, in the description, the case where two images of the image example 204 and the image example 206 are used has been described. However, the idea of the present invention is that two or more images and a geometrical relationship between the camera position / posture that captured the images can be obtained. Applicable in case.
本実施例の代表的な適用例として、自動車に搭載し運転支援機能を実現するステレオカメラがある。この場合のステレオカメラでは、主に周囲の自動車や歩行者を計測の対象物体208として扱うが、自車および計測の対象物体208が移動していることを制御に含めるために、相対速度を計測する場合がある。相対速度を計測する際には、現在の相対距離と過去の相対距離の差分を計測間隔で除算する計算方法の他に、現在の相対距離と過去の見え方と現在の見え方の拡大縮小率に基づく計算方法がある。拡大縮小率を求める場合においても、本発明の大領域処理手段118で作成した重み配列600を各画素の計算の係数として用いる、つまり、重み値、又はその配列である重み配列600を用いて相対速度を算出することで誤差要因となりうる画素の影響を低減し、高精度化をしても良い。
As a typical application example of this embodiment, there is a stereo camera that is mounted on an automobile and realizes a driving support function. The stereo camera in this case mainly treats surrounding cars and pedestrians as the
また、拡大縮小率を求める際に、例えば各画素の計算上の寄与率を補正するために輝度勾配の大きさに応じて別途重み配列を作成する場合などには、大領域処理手段118で作成した重み配列600と掛け合わせて用いても良い。
Further, when obtaining the enlargement / reduction ratio, for example, when a separate weight array is created according to the magnitude of the luminance gradient in order to correct the calculation contribution ratio of each pixel, the large area processing means 118 creates it. The
以下に、本発明の実施例1と同一、あるいは、より効果的に目的を果たすための実施例1と異なる複数の実施例について説明する。この実施例は、次に述べる点で実施例1と相違するものであり、その他の点については実施例1と基本的には同一であるので、重複する説明を省略する。 In the following, a plurality of embodiments different from the first embodiment for achieving the same purpose as the first embodiment of the present invention or more effectively will be described. This embodiment is different from the first embodiment in the following points, and the other points are basically the same as those in the first embodiment, so that the duplicated explanation is omitted.
実施例1では、画像中に雨滴や汚れが含まれる場合においても計測距離の誤差が小さくするステレオカメラを説明したが、同様の考え方を用いて計測の対象物体の認識(あるいは検出、検知)においても性能を向上することができる。 In the first embodiment, the stereo camera is described in which the error of the measurement distance is small even when raindrops or dirt are included in the image. However, in the recognition (or detection, detection) of the measurement target object using the same concept, Can also improve performance.
このために、図1の大領域処理手段118から対象物体抽出手段114に戻る破線の矢印が示す処理を構成する。
For this purpose, the process indicated by the broken arrow returning from the large area processing means 118 to the target
1度目の対象物体抽出手段114において計測の対象物体208を1つの大領域として抽出する。その際に、その大領域がシステムにおいて計測したい物体であるか否かを判定する必要がある。実施例1では、雨滴や汚れ214などの影響を除去しない従来通り手順により大領域を抽出するため、雨滴や汚れ214の影響により大領域の抽出に失敗することや、誤認識を生じる場合がある。これに対し、1度目の対象物体抽出手段114においてこの判定の閾値を緩くしておき大領域処理手段118までを実施する。
The first target object extraction means 114 extracts the
そして、2度目の対象物体抽出手段114では、大領域処理手段118で得られた重み配列600を各画素の計算の寄与率として用いることで、計測の対象物体208以外の画素を除去した上で、その大領域がシステムにおいて計測したい物体であるか否かを判定することができる。2度目の対象物体抽出手段114では誤差の要因を除去しているため、この判定の閾値を厳しくしても誤ることなく判定することができる。このため、計測の対象とする物体の抽出性能を向上することができる。
Then, the second target
100 ステレオカメラ処理装置
110 画像取得手段
112 小領域処理手段
114 対象物体抽出手段
116 誤差要因特定手段
118 大領域処理手段
150 カメラ
160 制御装置
200,202,204,206 画像例
208 対象物体
210 画像領域
212 対応位置
214 雨滴や汚れ
300 小領域
302 小領域
304 距離画像
306 大領域
500 頻度ヒストグラム
502 代表値
504 任意の画素
506 対応領域
600 重み配列
100 stereo
Claims (5)
前記画像取得部で取得した複数の画像の各々に対して予め定めた複数の画素からなる第1の領域毎に分割し、分割された第1の領域毎に距離を計測し、第1の距離画像を生成する第1の領域処理部と、
前記距離画像又は前記画像から、対象物体を抽出し、抽出した前記対象物体を含む複数の第1の領域からなる第2の領域を抽出する対象物体抽出部と、
抽出された前記第2の領域内から所定の代表値を抽出し、前記第2の領域内の任意の画素の輝度値と前記任意の画素から前記代表値の示す視差分だけ移動した位置までの対応領域内の輝度値とを比較し、比較した結果に基づいて誤差要因の判定を行う誤差要因特定部と、
前記誤差要因に基づいて重み値を決定し、前記重み値を用いて、第2の領域毎に距離を計測し、第2の距離画像を生成する第2の領域処理部と、を有することを特徴とするステレオカメラ。 An image acquisition unit that acquires a plurality of images captured by a plurality of imaging units;
Each of the plurality of images acquired by the image acquisition unit is divided for each first region composed of a plurality of predetermined pixels, the distance is measured for each divided first region, and the first distance A first region processing unit for generating an image;
A target object extracting unit that extracts a target object from the distance image or the image, and extracts a second region including a plurality of first regions including the extracted target object;
A predetermined representative value is extracted from the extracted second area, and the luminance value of an arbitrary pixel in the second area and the position moved from the arbitrary pixel by the parallax indicated by the representative value An error factor specifying unit that compares the luminance value in the corresponding region and determines an error factor based on the comparison result;
A second region processing unit that determines a weight value based on the error factor, measures a distance for each second region using the weight value, and generates a second distance image. A featured stereo camera.
前記誤差要因特定部は、前記距離画像から頻度ヒストグラムを生成し、抽出された前記第2の領域内の頻度ヒストグラムのピーク値を前記代表値として抽出することを特徴とするステレオカメラ。 The stereo camera according to claim 1,
The error factor specifying unit generates a frequency histogram from the distance image, and extracts a peak value of the extracted frequency histogram in the second region as the representative value.
前記誤差要因特定部は、前記代表値を抽出した後に、ピーク値が予め定めた閾値以上、又は前記ピーク値と2番目以降のピーク値との比又は差が前記閾値以上、か否かを判定し、
前記第2の領域処理部は、前記誤差要因特定部で判定した結果、ピーク値が予め定めた閾値以上、又は前記ピーク値と2番目以降のピーク値との比又は差が前記閾値以上の場合、前記閾値未満の画素に比べ、重み値を小さく設定する、又は前記閾値以上の画素を削除することを特徴とするステレオカメラ。 The stereo camera according to claim 2,
After the representative value is extracted, the error factor specifying unit determines whether or not the peak value is equal to or greater than a predetermined threshold value, or the ratio or difference between the peak value and the second and subsequent peak values is equal to or greater than the threshold value. And
As a result of the determination by the error factor specifying unit, the second region processing unit has a peak value equal to or greater than a predetermined threshold value, or a ratio or difference between the peak value and the second and subsequent peak values is equal to or greater than the threshold value. A stereo camera characterized in that a weight value is set to be smaller than pixels less than the threshold value, or pixels having the threshold value or more are deleted.
前記第2の領域処理部は、前記誤差要因特定部で判定された前記誤差要因である輝度値の差分に基づいて第2の領域内の重み配列を生成し、前記重み配列を用いて、第2の領域毎に距離を計測し、第2の距離画像を生成することを特徴とするステレオカメラ。 The stereo camera according to claim 1,
The second region processing unit generates a weight array in the second region based on a difference in luminance value that is the error factor determined by the error factor specifying unit, and uses the weight array to generate a second A stereo camera that measures a distance for each of the two areas and generates a second distance image.
前記重み値を用いて相対速度を算出することを特徴とするステレオカメラ。 The stereo camera according to claim 1,
A stereo camera that calculates a relative speed using the weight value.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017076400A JP6334773B2 (en) | 2017-04-07 | 2017-04-07 | Stereo camera |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017076400A JP6334773B2 (en) | 2017-04-07 | 2017-04-07 | Stereo camera |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012144906A Division JP2014009975A (en) | 2012-06-28 | 2012-06-28 | Stereo camera |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017146309A true JP2017146309A (en) | 2017-08-24 |
JP6334773B2 JP6334773B2 (en) | 2018-05-30 |
Family
ID=59681307
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017076400A Active JP6334773B2 (en) | 2017-04-07 | 2017-04-07 | Stereo camera |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6334773B2 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH112519A (en) * | 1996-07-17 | 1999-01-06 | Fuji Electric Co Ltd | Distance measuring device |
JPH11108660A (en) * | 1997-10-03 | 1999-04-23 | Kansei Corp | Equipment for detecting distance |
JP2009110173A (en) * | 2007-10-29 | 2009-05-21 | Fuji Heavy Ind Ltd | Object detection device |
US20090290786A1 (en) * | 2008-05-22 | 2009-11-26 | Matrix Electronic Measuring, L.P. | Stereoscopic measurement system and method |
-
2017
- 2017-04-07 JP JP2017076400A patent/JP6334773B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH112519A (en) * | 1996-07-17 | 1999-01-06 | Fuji Electric Co Ltd | Distance measuring device |
JPH11108660A (en) * | 1997-10-03 | 1999-04-23 | Kansei Corp | Equipment for detecting distance |
JP2009110173A (en) * | 2007-10-29 | 2009-05-21 | Fuji Heavy Ind Ltd | Object detection device |
US20090290786A1 (en) * | 2008-05-22 | 2009-11-26 | Matrix Electronic Measuring, L.P. | Stereoscopic measurement system and method |
Also Published As
Publication number | Publication date |
---|---|
JP6334773B2 (en) | 2018-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2014002692A1 (en) | Stereo camera | |
JP6670071B2 (en) | Vehicle image recognition system and corresponding method | |
KR101411668B1 (en) | A calibration apparatus, a distance measurement system, a calibration method, and a computer readable medium recording a calibration program | |
CN107305632B (en) | Monocular computer vision technology-based target object distance measuring method and system | |
CN110023951B (en) | Information processing apparatus, image forming apparatus, device control system, information processing method, and computer-readable recording medium | |
WO2015104898A1 (en) | Vehicle-surroundings recognition device | |
CN109997148B (en) | Information processing apparatus, imaging apparatus, device control system, moving object, information processing method, and computer-readable recording medium | |
CN107750213B (en) | Front vehicle collision warning device and warning method | |
WO2017138245A1 (en) | Image processing device, object recognition device, device control system, and image processing method and program | |
JP6021689B2 (en) | Vehicle specification measurement processing apparatus, vehicle specification measurement method, and program | |
CN107787496B (en) | Vanishing point correcting device and method | |
JP6516012B2 (en) | Image processing apparatus, object recognition apparatus, device control system, image processing method and program | |
JP6592991B2 (en) | Object detection apparatus, object detection method, and program | |
KR20180098945A (en) | Method and apparatus for measuring speed of vehicle by using fixed single camera | |
JPH11351862A (en) | Foregoing vehicle detecting method and equipment | |
JP6699323B2 (en) | Three-dimensional measuring device and three-dimensional measuring method for train equipment | |
JP6701905B2 (en) | Detection device, parallax value derivation device, object recognition device, device control system, and program | |
JP6334773B2 (en) | Stereo camera | |
WO2014050285A1 (en) | Stereo camera device | |
Wong et al. | Shared-use motion vector algorithm for moving objects detection for automobiles | |
JP6416654B2 (en) | White line detector | |
JP2018092608A (en) | Information processing device, imaging device, apparatus control system, movable body, information processing method, and program | |
JP7134780B2 (en) | stereo camera device | |
JP7064400B2 (en) | Object detection device | |
EP3879810A1 (en) | Imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170605 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180403 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180426 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6334773 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |