JP5946294B2 - Object detection device, object detection method, object detection program, and autonomous vehicle - Google Patents
Object detection device, object detection method, object detection program, and autonomous vehicle Download PDFInfo
- Publication number
- JP5946294B2 JP5946294B2 JP2012046820A JP2012046820A JP5946294B2 JP 5946294 B2 JP5946294 B2 JP 5946294B2 JP 2012046820 A JP2012046820 A JP 2012046820A JP 2012046820 A JP2012046820 A JP 2012046820A JP 5946294 B2 JP5946294 B2 JP 5946294B2
- Authority
- JP
- Japan
- Prior art keywords
- detection
- image data
- unit
- distance image
- object detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 303
- 238000003384 imaging method Methods 0.000 claims description 51
- 230000007704 transition Effects 0.000 claims description 46
- 238000000034 method Methods 0.000 claims description 30
- 238000004364 calculation method Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 23
- 230000015654 memory Effects 0.000 description 15
- 230000002093 peripheral effect Effects 0.000 description 13
- 238000003860 storage Methods 0.000 description 9
- 238000009826 distribution Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 230000000593 degrading effect Effects 0.000 description 6
- 239000000470 constituent Substances 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- 244000025254 Cannabis sativa Species 0.000 description 3
- 230000004931 aggregating effect Effects 0.000 description 3
- 230000005674 electromagnetic induction Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000002420 orchard Substances 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
Description
本発明は、撮像対象が予め定められた検出対象物を含むか否かを判定する対象物検出装置、対象物検出方法、対象物検出プログラムおよび自動走行車両に関する。 The present invention relates to an object detection device, an object detection method, an object detection program, and an automatic traveling vehicle that determine whether or not an imaging object includes a predetermined detection object.
ゴルフカート等の自動走行車両には、障害物の存在および障害物までの距離を検出するために超音波センサが用いられる。 In an automatic traveling vehicle such as a golf cart, an ultrasonic sensor is used to detect the presence of an obstacle and the distance to the obstacle.
特許文献1に記載されたゴルフカートに設けられた対象物センサは、前方に超音波を発信し、障害物により反射される超音波を受信することにより前方に障害物があることを検出するとともにその大きさを検出する。対象物センサが障害物を検出したときにはその大きさに応じてコントローラがゴルフカートの走行を制御する。
The object sensor provided in the golf cart described in
しかしながら、特許文献1のゴルフカートに設けられた対象物センサは、超音波を用いることから、風の影響を受けやすい。
However, since the object sensor provided in the golf cart of
一方、ステレオカメラから得られる左画像および右画像の対応点を求めることにより距離画像を取得するステレオマッチングの手法がある。ステレオマッチングにより得られる距離画像を用いることにより、風の影響を受けずに障害物を検出することが可能である。ステレオマッチングでは、左のカメラにより得られた左画像にマッチング窓(以下、左マッチングと呼ぶ。)が設定され、右のカメラにより得られた右画像にマッチング窓(以下、右マッチング窓と呼ぶ。)が設定される。左画像上で左マッチング窓が異なる複数の位置に順次設定される。左マッチング窓が左画像の各位置にあるときに、右画像上で右マッチング窓が移動される。左マッチング窓内の画像と右マッチング窓内の画像とが一致(マッチング)するときの左マッチング窓と右マッチング窓とのずれ量に基づいて距離画像が生成される。距離画像により物体までの距離が検出される。 On the other hand, there is a stereo matching method for obtaining a distance image by obtaining corresponding points of a left image and a right image obtained from a stereo camera. By using a distance image obtained by stereo matching, it is possible to detect an obstacle without being affected by wind. In stereo matching, a matching window (hereinafter referred to as left matching) is set in the left image obtained by the left camera, and a matching window (hereinafter referred to as right matching window) is obtained in the right image obtained by the right camera. ) Is set. The left matching window is sequentially set at a plurality of different positions on the left image. When the left matching window is at each position of the left image, the right matching window is moved on the right image. A distance image is generated based on the amount of deviation between the left matching window and the right matching window when the image in the left matching window matches the image in the right matching window. The distance to the object is detected from the distance image.
ステレオマッチングでは、マッチング窓のサイズが小さいと、距離画像にノイズが発生しやすい。そのため、ノイズの影響によりマッチングエラーが生じやすい。マッチングエラーを低減するためには、マッチング窓のサイズを大きくする必要がある。しかしながら、マッチング窓のサイズを大きくすると、物体の検出に有用な輪郭情報が損なわれやすい。また、ステレオマッチングにおける計算量が増加する。 In stereo matching, if the size of the matching window is small, noise is likely to occur in the distance image. Therefore, a matching error is likely to occur due to the influence of noise. In order to reduce matching errors, it is necessary to increase the size of the matching window. However, when the size of the matching window is increased, contour information useful for object detection tends to be lost. In addition, the amount of calculation in stereo matching increases.
本発明の目的は、計算量を増加させることなくかつ輪郭情報を損なうことなく距離画像データにおけるノイズの影響を抑制することが可能な対象物検出装置、対象物検出方法および対象物検出プログラムを提供することである。 An object of the present invention is to provide an object detection device, an object detection method, and an object detection program capable of suppressing the influence of noise in distance image data without increasing the amount of calculation and without impairing contour information. It is to be.
本発明の他の目的は、計算量を増加させることなくかつ輪郭情報を損なうことなく距離画像データにおけるノイズの影響を抑制することが可能な対象物検出装置を備える自動走行車両を提供することである。 Another object of the present invention is to provide an automatic traveling vehicle including an object detection device capable of suppressing the influence of noise in distance image data without increasing the amount of calculation and without damaging contour information. is there.
(1)第1の発明に係る対象物検出装置は、撮像対象が予め定められた検出対象物を含むか否かを判定する対象物検出装置であって、異なる複数の位置に配置され、撮像対象の画像を撮像画像データとしてそれぞれ取得する複数の画像取得部と、複数の画像取得部により取得された複数の撮像画像データを用いたステレオマッチングにより撮像対象までの距離を示す距離画像を距離画像データとして生成する距離画像生成部と、距離画像生成部により生成された距離画像データに基づいて撮像対象が検出対象物を含むか否かを判定する処理部とを備え、処理部は、距離画像生成部により生成された距離画像データの複数の画素についてLBP(ローカルバイナリパターン)を生成するとともに、距離画像生成部により生成された距離画像データに複数の画素から構成される複数の単位領域を設定し、各単位領域について複数種類のLBPのヒストグラムを作成し、各ヒストグラムにおいて設定値以下の数の0−1遷移を有する複数種類のLBPをそれぞれ複数のビンに設定するとともに設定値を超える数の0−1遷移を有する1または複数種類のLBPを一のビンに集約して設定し、複数の単位領域についての複数のヒストグラムの複数のビンのうち予め選択された複数のビンに対応する複数種類のLBPの度数を複数の特徴量の値として用いて検出対象物の有無を判定するように構成されるものである。 (1) An object detection device according to a first invention is an object detection device that determines whether or not an imaging target includes a predetermined detection target, and is disposed at a plurality of different positions and is imaged. A distance image representing a distance image indicating a distance to an imaging target by stereo matching using a plurality of image acquisition units each acquiring a target image as captured image data and a plurality of captured image data acquired by the plurality of image acquisition units A distance image generation unit that generates data, and a processing unit that determines whether or not the imaging target includes a detection target based on the distance image data generated by the distance image generation unit. The LBP (local binary pattern) is generated for a plurality of pixels of the distance image data generated by the generation unit, and the distance image data generated by the distance image generation unit is generated. A plurality of unit areas composed of a plurality of pixels are set, a plurality of types of LBP histograms are created for each unit area, and a plurality of types of LBPs having 0-1 transitions equal to or less than a set value in each histogram are selected. A plurality of bins of a plurality of histograms for a plurality of unit areas are set by setting one or a plurality of types of LBPs, each of which is set to a plurality of bins and having a number of 0-1 transitions exceeding the set value, in one bin. Among them , the presence / absence of a detection target is determined using the frequencies of a plurality of types of LBPs corresponding to a plurality of pre-selected bins as values of a plurality of feature amounts.
その対象物検出装置においては、異なる複数の位置に配置された複数の画像取得部により撮像対象の画像が撮像画像データとしてそれぞれ取得される。取得された複数の撮像画像データを用いたステレオマッチングにより撮像対象までの距離を示す距離画像が距離画像生成部により距離画像データとして生成される。生成された距離画像データに基づいて撮像対象が検出対象物を含むか否かが処理部により判定される。 In the target object detection apparatus, images of the imaging target are respectively acquired as captured image data by a plurality of image acquisition units arranged at a plurality of different positions. A distance image indicating a distance to the imaging target is generated as distance image data by the distance image generation unit by stereo matching using the plurality of acquired captured image data. The processing unit determines whether or not the imaging target includes a detection target based on the generated distance image data.
この場合、距離画像データの複数の画素についてLBPが生成されるとともに、距離画像データに複数の画素から構成される複数の単位領域が設定され、各単位領域について複数種類のLBPのヒストグラムが作成される。各ヒストグラムにおいて設定値以下の数の0−1遷移を有する複数種類のLBPがそれぞれ複数のビンに設定されるとともに設定値を超える数の0−1遷移を有する1または複数種類のLBPが一のビンに集約されて設定される。複数の単位領域についての複数のヒストグラムの複数のビンのうち予め選択された複数のビンに対応する複数種類のLBPの度数を複数の特徴量の値として用いて検出対象物の有無が判定される。 In this case, an LBP is generated for a plurality of pixels of the distance image data, a plurality of unit regions composed of a plurality of pixels are set in the distance image data, and a plurality of types of LBP histograms are created for each unit region. The In each histogram, a plurality of types of LBP having 0-1 transitions equal to or less than a set value are set in a plurality of bins, and one or more types of LBPs having 0-1 transitions exceeding the set value are one. It is aggregated into bins Ru is set. Presence / absence of a detection target is determined using a plurality of types of LBP frequencies corresponding to a plurality of bins selected in advance among a plurality of bins of a plurality of histograms for a plurality of unit regions as a plurality of feature values. .
ここで、LBPを用いることにより検出対象物の輪郭を検出対象物と背景との距離差により識別することができる。ステレオマッチングのマッチング窓のサイズを小さくすることにより、ステレオマッチングにおける計算量を増加させることなく検出対象物の有無の判定に有用な輪郭情報を高精度で得ることができる。距離画像データにノイズが発生した場合には、0−1遷移の数が大きくなる。そこで、設定値を超える数の0−1遷移を有する1または複数種類のLBPが一のビンに集約されて設定される。それにより、検出対象物の有無の判定においてノイズの影響を抑制することができる。したがって、上記のように構成されたLBPのヒストグラムの度数を複数の特徴量の値として用いることにより、計算量を増加させることなくかつ輪郭情報を損なうことなく、距離画像データにおけるノイズの影響を抑制することができる。その結果、検出対象物の有無を正確に判定することが可能となる。 Here, by using LBP, the contour of the detection object can be identified by the difference in distance between the detection object and the background. By reducing the size of the matching window for stereo matching, contour information useful for determining the presence / absence of the detection target can be obtained with high accuracy without increasing the amount of calculation in stereo matching. When noise occurs in the distance image data, the number of 0-1 transitions increases. Therefore, Ru is set are collected into one or more types of LBP is one bottle having a 0-1 transition of the number exceeds the set value. Thereby, the influence of noise can be suppressed in the determination of the presence or absence of the detection target. Therefore, by using the frequency of the LBP histogram configured as described above as a plurality of feature values, the influence of noise in the distance image data is suppressed without increasing the amount of calculation and without degrading the contour information. can do. As a result, the presence / absence of the detection object can be accurately determined.
(2)処理部は、各特徴量の値がそれぞれ予め設定されたしきい値よりも大きいか否かに基づいて撮像対象が検出対象物を含むか否かを示す識別値を生成し、複数の特徴量についての識別値とそれぞれ予め設定された重み付け係数との積の合計に基づいて検出対象物の有無を判定するように構成されてもよい。 (2) The processing unit generates an identification value indicating whether or not the imaging target includes a detection target based on whether or not the value of each feature amount is greater than a preset threshold value. The presence / absence of the detection target may be determined based on the sum of the products of the identification values of the feature amounts and weighting coefficients set in advance.
この場合、各特徴量についてのしきい値を適切に設定するとともに各識別値に対応する重み付け係数を適切に設定することにより、検出対象物の有無をより正確に判定することができる。 In this case, the presence / absence of the detection target can be more accurately determined by appropriately setting the threshold value for each feature amount and appropriately setting the weighting coefficient corresponding to each identification value.
(3)しきい値、および複数の特徴量についての識別値に対応する重み付け係数は、検出対象物を含む複数の画像および検出対象物を含まない複数の画像を用いた学習により予め設定されてもよい。 (3) The threshold value and the weighting coefficient corresponding to the identification values for the plurality of feature amounts are set in advance by learning using a plurality of images including the detection target object and a plurality of images not including the detection target object. Also good.
この場合、検出対象物の有無の判定精度が高くなるように各特徴量についてのしきい値および重み付け係数を設定することが可能となる。それにより、検出対象物の有無をより正確に判定することができる。 In this case, it is possible to set the threshold value and the weighting coefficient for each feature amount so that the determination accuracy of the presence / absence of the detection object is high. Thereby, the presence or absence of the detection target can be determined more accurately.
(4)処理部は、距離画像生成部により生成された距離画像データに、複数の単位領域をそれぞれ含む複数の検出窓を位置および面積の少なくとも一方が異なるように順次設定し、各検出窓について検出対象物の有無を判定するように構成されてもよい。 (4) The processing unit sequentially sets a plurality of detection windows each including a plurality of unit regions in the distance image data generated by the distance image generation unit so that at least one of the position and the area is different, and for each detection window You may be comprised so that the presence or absence of a detection target object may be determined.
この場合、任意の位置にある検出対象物または任意の大きさを有する検出対象物を正確に検出することができる。 In this case, a detection target at an arbitrary position or a detection target having an arbitrary size can be accurately detected.
(5)処理部は、複数の検出窓に含まれる複数の単位領域の数が等しくなるように各単位領域に含まれる画素の数を調整し、各ヒストグラムを対応する単位領域に含まれる画素の数を用いて正規化するように構成されてもよい。 (5) The processing unit adjusts the number of pixels included in each unit region so that the number of the plurality of unit regions included in the plurality of detection windows is equal, and sets each histogram of pixels included in the corresponding unit region. It may be configured to normalize using numbers.
この場合、複数の検出窓の面積が異なる場合でも、予め定められた数の特徴量を正確に選択することができる。 In this case, even when the areas of the plurality of detection windows are different, a predetermined number of feature amounts can be accurately selected.
(6)第2の発明に係る対象物検出方法は、撮像対象が予め定められた検出対象物を含むか否かを判定する対象物検出方法であって、異なる複数の位置に配置された複数の画像取得部により撮像対象の画像を撮像画像データとしてそれぞれ取得するステップと、取得された複数の撮像画像データを用いたステレオマッチングにより撮像対象までの距離を示す距離画像を距離画像データとして生成するステップと、生成された距離画像データに基づいて撮像対象が検出対象物を含むか否かを判定するステップとを備え、撮像対象が検出対象物を含むか否かを判定するステップは、生成された距離画像データに複数の画素から構成される複数の単位領域を設定するステップと、各単位領域の複数の画素についてLBP(ローカルバイナリパターン)を生成するステップと、各単位領域について複数種類のLBPのヒストグラムを作成し、各ヒストグラムにおいて設定値以下の数の0−1遷移を有する複数種類のLBPをそれぞれ複数のビンに設定するとともに設定値を超える数の0−1遷移を有する1または複数種類のLBPを一のビンに集約して設定するステップと、複数の単位領域についての複数のヒストグラムの複数のビンのうち予め選択された複数のビンに対応する複数種類のLBPの度数を複数の特徴量の値として用いて検出対象物の有無を判定するステップとを含むものである。 (6) The object detection method according to the second invention is an object detection method for determining whether or not an imaging target includes a predetermined detection object, and is a plurality of objects arranged at a plurality of different positions. Each acquiring an image to be imaged as captured image data by the image acquisition unit, and generating a distance image indicating the distance to the imaged object as distance image data by stereo matching using the plurality of acquired image data A step of determining whether the imaging target includes a detection target based on the generated distance image data, and determining whether the imaging target includes a detection target is generated. Setting a plurality of unit areas composed of a plurality of pixels in the distance image data, and a LBP (local binary pattern) for a plurality of pixels in each unit area Generating a histogram of a plurality of types of LBPs for each unit area, and setting each of the plurality of types of LBPs having 0-1 transitions equal to or less than a set value in each histogram to a plurality of bins and setting values A step of aggregating and setting one or a plurality of types of LBPs having more than 0-1 transitions in one bin, and a plurality of pre-selected plurality of bins of a plurality of histograms for a plurality of unit regions And determining the presence / absence of a detection object using the frequencies of a plurality of types of LBPs corresponding to a bin as values of a plurality of feature amounts.
その対象物検出方法によれば、LBPを用いることにより検出対象物の輪郭を検出対象物と背景との距離差により識別することができる。ステレオマッチングのマッチング窓のサイズを小さくすることにより、ステレオマッチングにおける計算量を増加させることなく検出対象物の有無の判定に有用な輪郭情報を高精度で得ることができる。距離画像データにノイズが発生した場合には、0−1遷移の数が大きくなる。そこで、設定値を超える数の0−1遷移を有する1または複数種類のLBPが一のビンに集約されて設定される。それにより、検出対象物の有無の判定においてノイズの影響を抑制することができる。したがって、上記のように構成されたLBPのヒストグラムの度数を複数の特徴量の値として用いることにより、計算量を増加させることなくかつ輪郭情報を損なうことなく、距離画像データにおけるノイズの影響を抑制することができる。その結果、検出対象物の有無を正確に判定することが可能となる。 According to the object detection method, the contour of the detection object can be identified by the difference in distance between the detection object and the background by using LBP. By reducing the size of the matching window for stereo matching, contour information useful for determining the presence / absence of the detection target can be obtained with high accuracy without increasing the amount of calculation in stereo matching. When noise occurs in the distance image data, the number of 0-1 transitions increases. Therefore, Ru is set are collected into one or more types of LBP is one bottle having a 0-1 transition of the number exceeds the set value. Thereby, the influence of noise can be suppressed in the determination of the presence or absence of the detection target. Therefore, by using the frequency of the LBP histogram configured as described above as a plurality of feature values, the influence of noise in the distance image data is suppressed without increasing the amount of calculation and without degrading the contour information. can do. As a result, the presence / absence of the detection object can be accurately determined.
(7)検出対象物の有無を判定するステップは、各特徴量の値がそれぞれ予め設定されたしきい値よりも大きいか否かに基づいて撮像対象が検出対象物を含むか否かを示す識別値を生成するステップと、複数の特徴量についての識別値とそれぞれ予め設定された重み付け係数との積の合計に基づいて検出対象物の有無を判定するステップとを含んでもよい。 (7) The step of determining the presence or absence of the detection target object indicates whether or not the imaging target includes the detection target object based on whether or not each feature value is larger than a preset threshold value. You may include the step which produces | generates an identification value, and the step which determines the presence or absence of a detection target based on the sum total of the product of the identification value about a some feature-value, and the respectively set weighting coefficient.
この場合、各特徴量についてのしきい値を適切に設定するとともに各識別値に対応する重み付け係数を適切に設定することにより、検出対象物の有無をより正確に判定することができる。 In this case, the presence / absence of the detection target can be more accurately determined by appropriately setting the threshold value for each feature amount and appropriately setting the weighting coefficient corresponding to each identification value.
(8)対象物検出方法は、しきい値、および複数の特徴量についての識別値に対応する重み付け係数を、検出対象物を含む複数の画像および検出対象物を含まない複数の画像を用いた学習により予め設定するステップをさらに備えてもよい。 (8) In the object detection method, a plurality of images including the detection object and a plurality of images not including the detection object are used as the weighting coefficient corresponding to the threshold value and the identification value for the plurality of feature amounts. You may further provide the step preset by learning.
この場合、検出対象物の有無の判定精度が高くなるように各特徴量についてのしきい値および重み付け係数を設定することが可能となる。それにより、検出対象物の有無をより正確に判定することができる。 In this case, it is possible to set the threshold value and the weighting coefficient for each feature amount so that the determination accuracy of the presence / absence of the detection object is high. Thereby, the presence or absence of the detection target can be determined more accurately.
(9)学習にはアダブーストが適用されてもよい。この場合、検出対象物の有無の判定の結果が環境変動の影響を受けにくくなる。 (9) Adaboost may be applied to learning. In this case, the result of the determination of the presence / absence of the detection target is less affected by environmental fluctuations.
(10)第3の発明に係る対象物検出プログラムは、撮像対象が予め定められた検出対象物を含むか否かを判定するために、コンピュータにより実行可能な対象物検出プログラムであって、異なる複数の位置に配置された複数の画像取得部により撮像対象の画像を撮像画像データとしてそれぞれ取得する処理と、取得された複数の撮像画像データを用いたステレオマッチングにより撮像対象までの距離を示す距離画像を距離画像データとして生成するステップと、生成された距離画像データに基づいて撮像対象が検出対象物を含むか否かを判定する処理とを、コンピュータに実行させ、撮像対象が検出対象物を含むか否かを判定する処理は、生成された距離画像データに複数の画素から構成される複数の単位領域を設定する処理と、各単位領域の複数の画素についてLBP(ローカルバイナリパターン)を生成する処理と、各単位領域について複数種類のLBPのヒストグラムを作成し、各ヒストグラムにおいて設定値以下の数の0−1遷移を有する複数種類のLBPをそれぞれ複数のビンに設定するとともに設定値を超える数の0−1遷移を有する1または複数種類のLBPを一のビンに集約して設定する処理と、複数の単位領域についての複数のヒストグラムの複数のビンのうち予め選択された複数のビンに対応する複数種類のLBPの度数を複数の特徴量の値として用いて検出対象物の有無を判定する処理とを含むものである。 (10) The object detection program according to the third invention is an object detection program that can be executed by a computer in order to determine whether or not the imaging target includes a predetermined detection object, and is different. A distance indicating the distance to the imaging target by a process of acquiring the imaging target image as captured image data by a plurality of image acquisition units arranged at a plurality of positions, and stereo matching using the acquired plurality of captured image data A step of generating an image as distance image data and a process of determining whether or not the imaging target includes a detection target based on the generated distance image data are executed by a computer, and the imaging target determines the detection target. The process for determining whether or not to include a process for setting a plurality of unit areas composed of a plurality of pixels in the generated distance image data, A process of generating LBP (local binary pattern) for a plurality of pixels and a histogram of a plurality of types of LBPs for each unit region, and a plurality of types of LBPs having 0-1 transitions equal to or less than a set value in each histogram Are set to a plurality of bins and one or more types of LBPs having 0-1 transitions exceeding the set value are aggregated and set in one bin, and a plurality of histograms for a plurality of unit regions are set . And a process of determining the presence / absence of a detection object using the frequencies of a plurality of types of LBPs corresponding to a plurality of bins selected in advance as a plurality of feature values.
その対象物検出プログラムによれば、LBPを用いることにより検出対象物の輪郭を検出対象物と背景との距離差により識別することができる。ステレオマッチングのマッチング窓のサイズを小さくすることにより、ステレオマッチングにおける計算量を増加させることなく検出対象物の有無の判定に有用な輪郭情報を高精度で得ることができる。距離画像データにノイズが発生した場合には、0−1遷移の数が大きくなる。そこで、設定値を超える数の0−1遷移を有する1または複数種類のLBPが一のビンに集約して設定される。それにより、検出対象物の有無の判定においてノイズの影響を抑制することができる。したがって、上記のように構成されたLBPのヒストグラムの度数を複数の特徴量の値として用いることにより、計算量を増加させることなくかつ輪郭情報を損なうことなく、距離画像データにおけるノイズの影響を抑制することができる。その結果、検出対象物の有無を正確に判定することが可能となる。 According to the object detection program, the contour of the detection object can be identified by the difference in distance between the detection object and the background by using LBP. By reducing the size of the matching window for stereo matching, contour information useful for determining the presence / absence of the detection target can be obtained with high accuracy without increasing the amount of calculation in stereo matching. When noise occurs in the distance image data, the number of 0-1 transitions increases. Therefore, one or a plurality of types of LBPs having 0-1 transitions exceeding the set value are aggregated and set in one bin. Thereby, the influence of noise can be suppressed in the determination of the presence or absence of the detection target. Therefore, by using the frequency of the LBP histogram configured as described above as a plurality of feature values, the influence of noise in the distance image data is suppressed without increasing the amount of calculation and without degrading the contour information. can do. As a result, the presence / absence of the detection object can be accurately determined.
(11)第4の発明に係る自動走行車両は、予め定められた経路を移動可能に構成された本体部と、本体部を移動させるように構成された駆動部と、第1の発明に係る対象物検出装置と、対象物検出装置の判定結果に基づいて駆動部を制御する制御部とを備えるものである。 (11) An automatic traveling vehicle according to a fourth invention relates to a main body configured to be movable along a predetermined route, a drive unit configured to move the main body, and the first invention The apparatus includes an object detection device and a control unit that controls the drive unit based on the determination result of the object detection device.
その自動走行車両においては、上記の対象物検出装置が用いられるので、計算量を増加させることなくかつ輪郭情報を損なうことなく、距離画像データにおけるノイズの影響を抑制することができる。その結果、検出対象物の有無を正確に判定することが可能となる。 In the automatic traveling vehicle, since the object detection device described above is used, it is possible to suppress the influence of noise in the distance image data without increasing the amount of calculation and without damaging the contour information. As a result, the presence / absence of the detection object can be accurately determined.
(12)本体部は、予め定められた経路を移動可能に構成されてもよい。この場合、対象物検出装置により検出対象物の有無を正確に判定することが可能となる。 (12) The main body may be configured to be movable along a predetermined route. In this case, the presence / absence of the detection target can be accurately determined by the target detection device.
本発明によれば、計算量を増加させることなくかつ輪郭情報を損なうことなく、距離画像データにおけるノイズの影響を抑制することができる。その結果、検出対象物の有無を正確に判定することが可能となる。 According to the present invention, it is possible to suppress the influence of noise in distance image data without increasing the amount of calculation and without damaging the contour information. As a result, the presence / absence of the detection object can be accurately determined.
以下、本発明の一実施の形態に係る対象物検出装置およびそれを備えた自動走行車両について図面を参照しながら説明する。以下の実施の形態では、自動走行車両の一例としてゴルフカートについて説明する。 Hereinafter, an object detection device according to an embodiment of the present invention and an automatic traveling vehicle including the same will be described with reference to the drawings. In the following embodiments, a golf cart will be described as an example of an autonomous vehicle.
(1)ゴルフカートの構成
図1は、本実施の形態に係るゴルフカートの外観側面図である。図1に示すように、ゴルフカート100は、車体20、一対の前輪11および一対の後輪12を有する。車体20は、下部車体20a、左右側の支持枠20bおよび屋根部20cを有する。下部車体20aの四隅から上方に延びるように支持枠20bが設けられ、支持枠20bの上端部に屋根部20cが取り付けられる。一対の前輪11および一対の後輪12は、車体20を支持するように下部車体20aのそれぞれ前端部および後端部に回転可能に取り付けられる。左側の支持枠20bには、左画像用のカメラ1Lが取り付けられる。右側の支持枠20bには、右画像用のカメラ1Rが取り付けられる。図1には、右側の支持枠20bおよび右画像用のカメラ1Rは図示されていない。カメラ1L,1Rは例えばCCD(電荷結合素子)カメラである。
(1) Configuration of Golf Cart FIG. 1 is an external side view of a golf cart according to the present embodiment. As shown in FIG. 1, the
下部車体20a上の略中央部には前部シート13が設けられ、下部車体20a上の後部には後部シート14が設けられる。前部シート13の前方にはハンドル15が設けられる。前部シート13に着座する搭乗者がハンドル15を操作することにより、前輪11の向きが調整され、ゴルフカート100の操舵が行われる。下部車体20aの後端部には、ゴルフバッグ等を載置するためのキャリア16が設けられる。
A
本実施の形態に係るゴルフカート100は、搭乗者の任意の選択により、自動走行モードおよび手動走行モードのいずれかで動作を行う。自動走行モードでは、ゴルフカート100は予め定められた経路を自動的に走行する。手動走行モードでは、搭乗者によりハンドル15ならびに後述のアクセルペダルおよびブレーキペダルが操作される。
図2は、ゴルフカート100の内部構成を示すブロック図である。図2に示すように、ゴルフカート100は、対象物検出装置10、車両制御部50、バッテリ51、駆動モータ21、トランスミッション22、電磁ブレーキ23、アクセルペダル24、ブレーキペダル25およびブレーキ駆動部26を備える。
FIG. 2 is a block diagram showing the internal configuration of the
対象物検出装置10は、左画像用のカメラ1L、右画像用のカメラ1R、左画像用の画像メモリ2L、右画像用の画像メモリ2R、演算処理部30および外部記憶装置40を含む。
The
車両制御部50は、バッテリ51の充放電制御を行うとともに、バッテリ51の電力を用いて後述の各部の動作を制御する。
The
駆動モータ21、トランスミッション22および電磁ブレーキ23は、ゴルフカート100の後部に設けられる。後輪12の車軸12aにトランスミッション22が接続され、駆動モータ21および電磁ブレーキ23がトランスミッション22に取り付けられる。駆動モータ21の回転力は、トランスミッション22を介して後輪12の車軸12aに伝達される。それにより、後輪12が駆動される。
The
ゴルフカート100の停止動作時には、電磁ブレーキ23が作動して駆動モータ21の回転を制止する。
During the stop operation of the
アクセルペダル24およびブレーキペダル25は、ゴルフカート100の前部に設けられ、前部シート13(図1)に着座する搭乗者により操作される。アクセルペダル24にはアクセルセンサ24aが接続される。アクセルペダル24の踏み込み量がアクセルセンサ24aにより検出され、その検出値が車両制御部50に与えられる。車両制御部50は、アクセルセンサ24aの検出値に基づいて駆動モータ21を制御する。
The
ブレーキペダル25はブレーキ駆動部26に接続される。一対の前輪11および一対の後輪12の各々には、ディスクブレーキ等のブレーキ機構BMが取り付けられる。ブレーキ駆動部26はこれらのブレーキ機構BMに接続される。搭乗者によってブレーキペダル25が踏み込まれると、ブレーキ駆動部26が各ブレーキ機構BMを駆動して前輪11および後輪12を制動する。また、ブレーキ駆動部26は車両制御部50により制御される。
The
車両制御部50には、誘導線センサS1が電気的に接続される。ゴルフ場には、ゴルフカート100が予め定められた経路を1方向(予め決められた方向)に走行するようにゴルフカート100を誘導するための電磁誘導線(図示せず)が埋設されている。その電磁誘導線が誘導線センサS1によって磁気的に検出され、誘導線センサS1から車両制御部50に検出信号が与えられる。自動走行モードでは、車両制御部50が誘導線センサS1からの検出信号に基づいて図示しない操舵機構を制御する。それにより、ゴルフカート100が予め定められた経路から逸脱することなく走行する。
The
(2)演算処理部30の構成
図3は、演算処理部30の構成を示すブロック図である。図3に示すように、演算処理部30は、例えば、入出力インタフェース31、CPU(中央演算処理装置)32、ROM(リードオンリメモリ)33、RAM(ランダムアクセスメモリ)34および内部バス35を含む。入出力インタフェース31、CPU32、ROM33およびRAM34は内部バス35に接続される。
(2) Configuration of
画像メモリ2L,2Rは、例えば半導体メモリおよびハードディスク等の記憶媒体からなる。外部記憶装置40は、例えばハードディスクまたは半導体メモリ等の記憶媒体からなる。
The
画像メモリ2L,2Rおよび外部記憶装置40は、入出力インタフェース31に接続される。ROM33には、システムプログラムが記憶される。CPU32は、ROM33または外部記憶装置40に記憶される対象物検出プログラムをRAM34上で実行することにより後述する対象物検出処理を実行する。
The
(3)対象物検出装置10の構成
図4は、対象物検出装置10の構成を示す機能ブロック図である。図4に示すように、演算処理部30は、ステレオマッチング部3、LBP(ローカルバイナリパターン)生成部4、対象物検出窓設定部5および対象物検出部6を含む。ステレオマッチング部3、LBP生成部4、対象物検出窓設定部5および対象物検出部6は対象物検出プログラムを構成するモジュールに相当する。この場合、図3のCPU32がROM33または外部記憶装置40に記憶される対象物検出プログラムを実行することによりステレオマッチング部3、LBP生成部4、対象物検出窓設定部5および対象物検出部6の機能が実現される。
(3) Configuration of
対象物検出用辞書8は、図3の外部記憶装置40内に構築される。対象物検出用辞書8には、予め学習により取得された対象物検出用情報が格納される。対象物検出用情報については、後述する。
The
カメラ1L,1Rは、ゴルフカート100の撮像対象である前方の空間の物体および背景を撮像する。カメラ1Lにより得られる画像(以下、左画像と呼ぶ。)は、左画像データLVとして画像メモリ2Lに与えられる。カメラ1Rにより得られる画像(以下、右画像と呼ぶ。)は、右画像データRVとして画像メモリ2Rに与えられる。画像メモリ2Lはカメラ1Lから与えられる左画像データLVを記憶し、画像メモリ2Rはカメラ1Rから与えられる右画像データRVを記憶する。
The
ステレオマッチング部3は、画像メモリ2Lに記憶された左画像データLVおよび画像メモリ2Rに記憶された右画像データRVに基づいて、ステレオマッチングにより距離画像を示す距離画像データDVを生成する。LBP生成部4は、ステレオマッチング部3により生成された距離画像データDVに関するLBP(ローカルバイナリパターン)を生成する。LBPの生成方法については後述する。また、LBP生成部4、対象物検出窓設定部5および対象物検出部6の動作については後述する。
The
対象物検出部6は、撮像対象が検出対象物を含むか否かを判定し、判定結果を車両制御部50に出力する。本実施の形態では、検出対象物は人間である。車両制御部50は、対象物検出部6の判定結果に基づいて駆動モータ21および電磁ブレーキ23を制御する。例えば、撮像対象が検出対象物を含む場合には、車両制御部50はゴルフカート100を減速もしくは停止させ、または警報を発生する。
The object detection unit 6 determines whether or not the imaging target includes the detection object, and outputs the determination result to the
(4)ステレオマッチング
次に、図5および図6を参照しながらステレオマッチングについて説明する。図5(a),(b)は、それぞれカメラ1L,1Rにより得られる左画像LIおよび右画像RIの一例を示す図である。左画像LIは、左画像データLVに基づいて表示され、右画像RIは右画像データRVに基づいて表示される。図5には、矢印によりX方向(水平方向)およびY方向(垂直方向)が示される。
(4) Stereo matching Next, stereo matching is demonstrated, referring FIG. 5 and FIG. FIGS. 5A and 5B are diagrams showing examples of the left image LI and the right image RI obtained by the
図5(a)に示すように、左画像LIには、左マッチング窓LMが設定され、図5(b)に示すように、右画像RIには、右マッチング窓RMが設定される。 As shown in FIG. 5A, the left matching window LM is set in the left image LI, and as shown in FIG. 5B, the right matching window RM is set in the right image RI.
図4のステレオマッチング部3は、左マッチング窓LMを左画像LI上でX方向に左から右に1画素ずつ移動させた後、Y方向に下へ1画素移動させ、X方向に左から右に1画素ずつ移動させる。ステレオマッチング部3は、この操作を繰り返すことにより、左マッチング窓LMを左画像LIの全範囲で移動させる。
The
ステレオマッチング部3は、左マッチング窓LMが各位置にあるときに、右マッチング窓RMを右画像RI上で移動させ、左マッチング窓LM内の左画像データLVと右マッチング窓RM内の右画像データRVとの一致度合いが最大となる右マッチング窓RMの位置を探索する。
The
図6(a),(b)は、それぞれ左マッチング窓LMおよび右マッチング窓RMを示す模式図である。図6に示すように、左マッチング窓LMおよび右マッチング窓RMは、同じサイズの矩形形状を有し、同じ数の画素を含む。図6(a)の例では、左マッチング窓LMはm個の画素に対応する左画像データL1〜Lmを含む。ここで、mは例えば4以上の整数である。同様に、図6(b)の例では、右マッチング窓RMはm個の画素に対応する右画像データR1〜Rmを含む。左画像データL1〜Lmおよび右画像データR1〜Rmは、それぞれ左画像LIおよび右画像RIの各画素の輝度値を示す。
(15)参考形態
第1の参考形態に係る対象物検出装置は、撮像対象が予め定められた検出対象物を含むか否かを判定する対象物検出装置であって、異なる複数の位置に配置され、撮像対象の画像を撮像画像データとしてそれぞれ取得する複数の画像取得部と、複数の画像取得部により取得された複数の撮像画像データを用いたステレオマッチングにより撮像対象までの距離を示す距離画像を距離画像データとして生成する距離画像生成部と、距離画像生成部により生成された距離画像データに基づいて撮像対象が検出対象物を含むか否かを判定する処理部とを備え、処理部は、距離画像生成部により生成された距離画像データの複数の画素についてLBP(ローカルバイナリパターン)を生成するとともに、距離画像生成部により生成された距離画像データに複数の画素から構成される複数の単位領域を設定し、各単位領域について複数種類のLBPのヒストグラムを作成し、各ヒストグラムにおいて設定値以下の数の0−1遷移を有する複数種類のLBPをそれぞれ複数のビンに設定するとともに設定値を超える数の0−1遷移を有する1または複数種類のLBPを一のビンに集約し、複数の単位領域についての複数のヒストグラムにおける複数種類のLBPの度数を複数の特徴量の値として用いて検出対象物の有無を判定するように構成されるものである。
その対象物検出装置においては、異なる複数の位置に配置された複数の画像取得部により撮像対象の画像が撮像画像データとしてそれぞれ取得される。取得された複数の撮像画像データを用いたステレオマッチングにより撮像対象までの距離を示す距離画像が距離画像生成部により距離画像データとして生成される。生成された距離画像データに基づいて撮像対象が検出対象物を含むか否かが処理部により判定される。
この場合、距離画像データの複数の画素についてLBPが生成されるとともに、距離画像データに複数の画素から構成される複数の単位領域が設定され、各単位領域について複数種類のLBPのヒストグラムが作成される。各ヒストグラムにおいて設定値以下の数の0−1遷移を有する複数種類のLBPがそれぞれ複数のビンに設定されるとともに設定値を超える数の0−1遷移を有する1または複数種類のLBPが一のビンに集約される。複数の単位領域についての複数のヒストグラムにおける複数種類のLBPの度数を複数の特徴量の値として用いて検出対象物の有無が判定される。
ここで、LBPを用いることにより検出対象物の輪郭を検出対象物と背景との距離差により識別することができる。ステレオマッチングのマッチング窓のサイズを小さくすることにより、ステレオマッチングにおける計算量を増加させることなく検出対象物の有無の判定に有用な輪郭情報を高精度で得ることができる。距離画像データにノイズが発生した場合には、0−1遷移の数が大きくなる。そこで、設定値を超える数の0−1遷移を有する1または複数種類のLBPが一のビンに集約される。それにより、検出対象物の有無の判定においてノイズの影響を抑制することができる。したがって、上記のように構成されたLBPのヒストグラムの度数を複数の特徴量の値として用いることにより、計算量を増加させることなくかつ輪郭情報を損なうことなく、距離画像データにおけるノイズの影響を抑制することができる。その結果、検出対象物の有無を正確に判定することが可能となる。
第2の参考形態に係る対象物検出方法は、撮像対象が予め定められた検出対象物を含むか否かを判定する対象物検出方法であって、異なる複数の位置に配置された複数の画像取得部により撮像対象の画像を撮像画像データとしてそれぞれ取得するステップと、取得された複数の撮像画像データを用いたステレオマッチングにより撮像対象までの距離を示す距離画像を距離画像データとして生成するステップと、生成された距離画像データに基づいて撮像対象が検出対象物を含むか否かを判定するステップとを備え、撮像対象が検出対象物を含むか否かを判定するステップは、生成された距離画像データに複数の画素から構成される複数の単位領域を設定するステップと、各単位領域の複数の画素についてLBP(ローカルバイナリパターン)を生成するステップと、各単位領域について複数種類のLBPのヒストグラムを作成し、各ヒストグラムにおいて設定値以下の数の0−1遷移を有する複数種類のLBPをそれぞれ複数のビンに設定するとともに設定値を超える数の0−1遷移を有する1または複数種類のLBPを一のビンに集約するステップと、複数の単位領域についての複数のヒストグラムにおける複数種類のLBPの度数を複数の特徴量の値として用いて検出対象物の有無を判定するステップとを含むものである。
その対象物検出方法によれば、LBPを用いることにより検出対象物の輪郭を検出対象物と背景との距離差により識別することができる。ステレオマッチングのマッチング窓のサイズを小さくすることにより、ステレオマッチングにおける計算量を増加させることなく検出対象物の有無の判定に有用な輪郭情報を高精度で得ることができる。距離画像データにノイズが発生した場合には、0−1遷移の数が大きくなる。そこで、設定値を超える数の0−1遷移を有する1または複数種類のLBPが一のビンに集約される。それにより、検出対象物の有無の判定においてノイズの影響を抑制することができる。したがって、上記のように構成されたLBPのヒストグラムの度数を複数の特徴量の値として用いることにより、計算量を増加させることなくかつ輪郭情報を損なうことなく、距離画像データにおけるノイズの影響を抑制することができる。その結果、検出対象物の有無を正確に判定することが可能となる。
第3の参考形態に係る対象物検出プログラムは、撮像対象が予め定められた検出対象物を含むか否かを判定するために、コンピュータにより実行可能な対象物検出プログラムであって、異なる複数の位置に配置された画像取得部により撮像対象の画像を撮像画像データとしてそれぞれ取得する処理と、取得された複数の撮像画像データを用いたステレオマッチングにより撮像対象までの距離を示す距離画像を距離画像データとして生成するステップと、生成された距離画像データに基づいて撮像対象が検出対象物を含むか否かを判定する処理とを、コンピュータに実行させ、撮像対象が検出対象物を含むか否かを判定する処理は、生成された距離画像データに複数の画素から構成される複数の単位領域を設定する処理と、各単位領域の複数の画素についてLBP(ローカルバイナリパターン)を生成する処理と、各単位領域について複数種類のLBPのヒストグラムを作成し、各ヒストグラムにおいて設定値以下の数の0−1遷移を有する複数種類のLBPをそれぞれ複数のビンに設定するとともに設定値を超える数の0−1遷移を有する1または複数種類のLBPを一のビンに集約する処理と、複数の単位領域についての複数のヒストグラムにおける複数種類のLBPの度数を複数の特徴量の値として用いて検出対象物の有無を判定する処理とを含むものである。
その対象物検出プログラムによれば、LBPを用いることにより検出対象物の輪郭を検出対象物と背景との距離差により識別することができる。ステレオマッチングのマッチング窓のサイズを小さくすることにより、ステレオマッチングにおける計算量を増加させることなく検出対象物の有無の判定に有用な輪郭情報を高精度で得ることができる。距離画像データにノイズが発生した場合には、0−1遷移の数が大きくなる。そこで、設定値を超える数の0−1遷移を有する1または複数種類のLBPが一のビンに集約される。それにより、検出対象物の有無の判定においてノイズの影響を抑制することができる。したがって、上記のように構成されたLBPのヒストグラムの度数を複数の特徴量の値として用いることにより、計算量を増加させることなくかつ輪郭情報を損なうことなく、距離画像データにおけるノイズの影響を抑制することができる。その結果、検出対象物の有無を正確に判定することが可能となる。
第4の参考形態に係る自動走行車両は、予め定められた経路を移動可能に構成された本体部と、本体部を移動させるように構成された駆動部と、第1の参考形態に係る対象物検出装置と、対象物検出装置の判定結果に基づいて駆動部を制御する制御部とを備えるものである。
その自動走行車両においては、上記の対象物検出装置が用いられるので、計算量を増加させることなくかつ輪郭情報を損なうことなく、距離画像データにおけるノイズの影響を抑制することができる。その結果、検出対象物の有無を正確に判定することが可能となる。
FIGS. 6A and 6B are schematic diagrams showing the left matching window LM and the right matching window RM, respectively. As shown in FIG. 6, the left matching window LM and the right matching window RM have the same rectangular shape and include the same number of pixels. In the example of FIG. 6A, the left matching window LM includes left image data L 1 to L m corresponding to m pixels. Here, m is an integer of 4 or more, for example. Similarly, in the example of FIG. 6B, the right matching window RM includes right image data R 1 to R m corresponding to m pixels. The left image data L 1 to L m and the right image data R 1 to R m indicate the luminance value of each pixel of the left image LI and the right image RI, respectively.
(15) Reference form
An object detection device according to a first reference form is an object detection device that determines whether or not an imaging target includes a predetermined detection target, and is disposed at a plurality of different positions, A distance image indicating a distance to an imaging target by stereo matching using a plurality of image acquisition units that respectively acquire images as captured image data and a plurality of captured image data acquired by the plurality of image acquisition units as distance image data A distance image generation unit to generate, and a processing unit that determines whether or not the imaging target includes a detection target based on the distance image data generated by the distance image generation unit, the processing unit is a distance image generation unit The distance image data generated by the distance image generation unit and the LBP (local binary pattern) for the plurality of pixels of the distance image data generated by A plurality of unit regions composed of a plurality of pixels are set, a plurality of types of LBP histograms are created for each unit region, and a plurality of types of LBPs having a number of 0-1 transitions equal to or less than a set value in each histogram are respectively set. One or a plurality of types of LBPs that are set in a plurality of bins and have a number of 0-1 transitions exceeding the set value are aggregated into one bin, and the frequencies of the plurality of types of LBPs in a plurality of histograms for a plurality of unit areas are obtained. It is configured to determine the presence / absence of a detection target using a plurality of feature values.
In the target object detection apparatus, images of the imaging target are respectively acquired as captured image data by a plurality of image acquisition units arranged at a plurality of different positions. A distance image indicating a distance to the imaging target is generated as distance image data by the distance image generation unit by stereo matching using the plurality of acquired captured image data. The processing unit determines whether or not the imaging target includes a detection target based on the generated distance image data.
In this case, an LBP is generated for a plurality of pixels of the distance image data, a plurality of unit regions composed of a plurality of pixels are set in the distance image data, and a plurality of types of LBP histograms are created for each unit region. The In each histogram, a plurality of types of LBP having 0-1 transitions equal to or less than a set value are set in a plurality of bins, and one or more types of LBPs having 0-1 transitions exceeding the set value are one. Aggregated into bins. The presence / absence of a detection target is determined using the frequencies of a plurality of types of LBPs in a plurality of histograms for a plurality of unit areas as values of a plurality of feature amounts.
Here, by using LBP, the contour of the detection object can be identified by the difference in distance between the detection object and the background. By reducing the size of the matching window for stereo matching, contour information useful for determining the presence / absence of the detection target can be obtained with high accuracy without increasing the amount of calculation in stereo matching. When noise occurs in the distance image data, the number of 0-1 transitions increases. Therefore, one or a plurality of types of LBPs having 0-1 transitions exceeding the set value are collected in one bin. Thereby, the influence of noise can be suppressed in the determination of the presence or absence of the detection target. Therefore, by using the frequency of the LBP histogram configured as described above as a plurality of feature values, the influence of noise in the distance image data is suppressed without increasing the amount of calculation and without degrading the contour information. can do. As a result, the presence / absence of the detection object can be accurately determined.
The object detection method according to the second reference form is an object detection method for determining whether or not an imaging target includes a predetermined detection object, and a plurality of images arranged at a plurality of different positions. Acquiring each image of the imaging target by the acquisition unit as captured image data; generating a distance image indicating the distance to the imaging target by stereo matching using the plurality of acquired captured image data as distance image data; Determining whether or not the imaging target includes a detection target based on the generated distance image data, and determining whether or not the imaging target includes a detection target. A step of setting a plurality of unit areas composed of a plurality of pixels in the image data, and an LBP (local binary pattern) for a plurality of pixels in each unit area Generating a plurality of types of LBP histograms for each unit region, and setting each of the plurality of types of LBPs having 0-1 transitions equal to or less than a set value in each histogram to a plurality of bins and setting values Aggregating one or a plurality of types of LBPs having a greater number of 0-1 transitions into one bin, and using the frequencies of a plurality of types of LBPs in a plurality of histograms for a plurality of unit regions as values of a plurality of feature amounts And determining the presence or absence of the detection object.
According to the object detection method, the contour of the detection object can be identified by the difference in distance between the detection object and the background by using LBP. By reducing the size of the matching window for stereo matching, contour information useful for determining the presence / absence of the detection target can be obtained with high accuracy without increasing the amount of calculation in stereo matching. When noise occurs in the distance image data, the number of 0-1 transitions increases. Therefore, one or a plurality of types of LBPs having 0-1 transitions exceeding the set value are collected in one bin. Thereby, the influence of noise can be suppressed in the determination of the presence or absence of the detection target. Therefore, by using the frequency of the LBP histogram configured as described above as a plurality of feature values, the influence of noise in the distance image data is suppressed without increasing the amount of calculation and without degrading the contour information. can do. As a result, the presence / absence of the detection object can be accurately determined.
An object detection program according to the third reference form is an object detection program that can be executed by a computer to determine whether or not an imaging target includes a predetermined detection object. A distance image representing a distance image indicating a distance to the imaging target by processing of acquiring each of the imaging target images as captured image data by the image acquisition unit arranged at the position and stereo matching using the plurality of acquired captured image data Whether to generate a data and a process of determining whether the imaging target includes a detection target based on the generated distance image data, and whether the imaging target includes the detection target Is determined by setting a plurality of unit regions composed of a plurality of pixels in the generated distance image data, and a plurality of unit regions A process of generating an LBP (local binary pattern) for each element and a histogram of a plurality of types of LBPs for each unit region are created, and a plurality of types of LBPs each having a number of 0-1 transitions equal to or less than a set value in each histogram. A process of aggregating one or more types of LBPs having 0-1 transitions exceeding the set value into one bin, and the frequency of a plurality of types of LBPs in a plurality of histograms for a plurality of unit areas And determining the presence / absence of a detection object using a plurality of feature value values.
According to the object detection program, the contour of the detection object can be identified by the difference in distance between the detection object and the background by using LBP. By reducing the size of the matching window for stereo matching, contour information useful for determining the presence / absence of the detection target can be obtained with high accuracy without increasing the amount of calculation in stereo matching. When noise occurs in the distance image data, the number of 0-1 transitions increases. Therefore, one or a plurality of types of LBPs having 0-1 transitions exceeding the set value are collected in one bin. Thereby, the influence of noise can be suppressed in the determination of the presence or absence of the detection target. Therefore, by using the frequency of the LBP histogram configured as described above as a plurality of feature values, the influence of noise in the distance image data is suppressed without increasing the amount of calculation and without degrading the contour information. can do. As a result, the presence / absence of the detection object can be accurately determined.
An automatic traveling vehicle according to a fourth reference form includes a main body configured to be movable along a predetermined route, a drive unit configured to move the main body, and an object according to the first reference form. An object detection device and a control unit that controls the drive unit based on the determination result of the object detection device are provided.
In the automatic traveling vehicle, since the object detection device described above is used, it is possible to suppress the influence of noise in the distance image data without increasing the amount of calculation and without damaging the contour information. As a result, the presence / absence of the detection object can be accurately determined.
左マッチング窓LM内の左画像データL1〜Lmと右マッチング窓RM内の右画像データR1〜Rmとの一致度合いは、次式の絶対差合計SAD(Sum of Absolute Difference)により求められる。次式におけるiは1,2,・・・,mである。 The degree of coincidence between the left image data L 1 to L m in the left matching window LM and the right image data R 1 to R m in the right matching window RM is obtained by the sum of absolute differences SAD (Sum of Absolute Difference) of the following equation. It is done. I in the following equation is 1, 2,.
左マッチング窓LMの各位置において、上式(1)の絶対差合計SADが最小となる右マッチング窓RMの位置が求められる。この場合、左画像LIにおける左マッチング窓LMの特定部分と右画像RIにおける右マッチング窓RMの特定部分とのずれ量が視差に相当する。特定部分は、例えば、中央部分または左上部分等である。左画像LIまたは右画像RIの各画素について視差が求められる。視差は、カメラ1L,1Rの拘束条件に基づいてカメラ1L,1Rからの奥行き方向(前方)の距離に変換される。それにより、距離画像データDVが得られる。カメラ1L,1Rの拘束条件とは、例えば、カメラ1L,1R間の距離である。
At each position of the left matching window LM, the position of the right matching window RM that minimizes the absolute difference sum SAD of the above equation (1) is obtained. In this case, the amount of deviation between the specific portion of the left matching window LM in the left image LI and the specific portion of the right matching window RM in the right image RI corresponds to parallax. The specific portion is, for example, a central portion or an upper left portion. The parallax is obtained for each pixel of the left image LI or the right image RI. The parallax is converted into a distance in the depth direction (front) from the
図7は、距離画像データDVにより表される距離画像DIの一例を示す図である。図7の距離画像DIにおいては、濃いパターンほど距離が短いことを示している。 FIG. 7 is a diagram illustrating an example of the distance image DI represented by the distance image data DV. In the distance image DI of FIG. 7, the darker the pattern, the shorter the distance.
図4のステレオマッチング部3は、左画像データLVおよび右画像データRVに基づいてステレオマッチングにより距離画像データDVを算出する。距離画像データDVの各画素の値は、撮像対象までの距離を示す。
The
以下、左マッチング窓LMおよび右マッチング窓RMをマッチング窓と総称する。マッチング窓のサイズ(画素数)には、次のトレードオフの関係がある。マッチング窓のサイズを大きく設定すると、マッチングミスによる距離画像DI上のノイズが減少するが、物体の輪郭部分の位置ずれが増加するとともに一致度合いの計算時間が増加する。逆に、マッチング窓のサイズを小さく設定すると、物体の輪郭部分の位置ずれが減少するとともに一致度合いの計算時間が減少するが、マッチングミスによる距離画像DI上のノイズが増加する。 Hereinafter, the left matching window LM and the right matching window RM are collectively referred to as a matching window. The size (number of pixels) of the matching window has the following trade-off relationship. If the size of the matching window is set large, noise on the distance image DI due to a matching error is reduced, but the positional deviation of the contour portion of the object increases and the calculation time of the matching degree increases. Conversely, if the size of the matching window is set to be small, the positional deviation of the contour portion of the object is reduced and the calculation time of the matching degree is reduced, but the noise on the distance image DI due to a matching error is increased.
(5)LBP(ローカルバイナリパターン)
LBPは、任意の注目画素と、これを中心とする半径rの円周上に等間隔に並ぶn個の周辺画素(近傍画素)との濃度の大小関係を示す。
(5) LBP (local binary pattern)
LBP indicates the magnitude relationship between the density of an arbitrary pixel of interest and n peripheral pixels (neighboring pixels) arranged at equal intervals on the circumference of a radius r centered on the target pixel.
図8は、LBPの生成方法を説明するための模式図である。図8の左側には、注目画素OPおよび8個の周辺画素P1〜P8の値(画像データの値)が示される。各画素の値は、画像の濃度(階調)を表す。周辺画素P1〜P8を所定のしきい値で2値化する。それにより、図8の中央に示すように、周辺画素P1,P2,P7の値が“0”となり、周辺画素P3〜P6,P8の値が“1”となる。周辺画素P1〜P8の2値化された値を一次元に配列することにより、注目画素OPのLBP(00111101)を生成する。 FIG. 8 is a schematic diagram for explaining an LBP generation method. On the left side of FIG. 8, the values of the target pixel OP and the eight peripheral pixels P1 to P8 (values of image data) are shown. The value of each pixel represents the density (gradation) of the image. The peripheral pixels P1 to P8 are binarized with a predetermined threshold value. Thereby, as shown in the center of FIG. 8, the values of the peripheral pixels P1, P2, and P7 are “0”, and the values of the peripheral pixels P3 to P6 and P8 are “1”. LBP (00111101) of the pixel of interest OP is generated by arranging the binarized values of the peripheral pixels P1 to P8 in one dimension.
図8の例では、LBPの理解を容易にするために、LBPの生成に注目画素OPを中心として矩形状に配列された周辺画素P1〜P8の値を用いているが、実際には、注目画素OPを中心とする円周上に等間隔に並ぶ複数の画素部分の値をバイ・リニア(Bi−Linear)内挿により取得する。 In the example of FIG. 8, in order to facilitate understanding of the LBP, the values of the peripheral pixels P1 to P8 arranged in a rectangular shape with the pixel of interest OP as the center are used to generate the LBP. The values of a plurality of pixel portions arranged at equal intervals on the circumference centered on the pixel OP are obtained by bi-linear interpolation.
図9は、バイ・リニア内挿による複数の画素部分の値の取得を示す模式図である。図9において、注目画素OPの中心点Cを中心とする半径rの円周上に複数の画素部分p1〜p8を等間隔に設定する。注目画素OPおよび周辺画素P1〜P8の値を用いてバイ・リニア内挿により画素部分p1〜p8の値を取得する。画素部分p1〜p8の値の2値化および一次元への配列により、注目画素OPのLBPを生成する。 FIG. 9 is a schematic diagram showing acquisition of values of a plurality of pixel portions by bilinear interpolation. In FIG. 9, a plurality of pixel portions p1 to p8 are set at equal intervals on the circumference of the radius r centered on the center point C of the target pixel OP. The values of the pixel portions p1 to p8 are obtained by bilinear interpolation using the values of the target pixel OP and the peripheral pixels P1 to P8. An LBP of the pixel of interest OP is generated by binarizing the values of the pixel portions p1 to p8 and arranging them in one dimension.
図4のLBP生成部4は、図7の距離画像DIの上端の1行、下端の1行、左端の1列および右端の1列の画素を除く他の全ての画素についてLBPを生成する。
The
(6)均一(uniform)パターンの定義
各画素について生成されたLBPを設定値uを用いて均一(uniform)パターンまたは不均一(nonuniform)パターンに分類する。
(6) Definition of uniform pattern The LBP generated for each pixel is classified into a uniform pattern or a nonuniform pattern using a set value u.
ここで、LBPにおける0−1遷移の数が設定値u以下である場合には、そのLBPは均一パターンであると定義する。LBPにおける0−1遷移の数が設定値uよりも大きい場合には、そのLBPは不均一パターンである。0−1遷移とは、LBPにおける“0”から“1”への遷移および“1”から“0”への遷移を含み、LBPの右端の値から左端の値への遷移も含む。例えば、LBP(00111101)には0−1遷移が4個含まれる。 Here, when the number of 0-1 transitions in the LBP is equal to or less than the set value u, the LBP is defined as a uniform pattern. If the number of 0-1 transitions in an LBP is greater than the set value u, the LBP is a non-uniform pattern. The 0-1 transition includes a transition from “0” to “1” and a transition from “1” to “0” in the LBP, and also includes a transition from the rightmost value of the LBP to the leftmost value. For example, LBP (00111101) includes four 0-1 transitions.
均一パターンの定義をLBPu n,rの形で記述する。nはLBPを生成する際の周辺画素の数であり、rは周辺画素が配置される円周の半径であり、uは上記の設定値である。図8の例では、半径rは1(画素)であり、周辺画素の数nは8である。 Describing the definition of uniform pattern LBP u n, in the form of r. n is the number of peripheral pixels when generating the LBP, r is the radius of the circumference where the peripheral pixels are arranged, and u is the above set value. In the example of FIG. 8, the radius r is 1 (pixel), and the number n of peripheral pixels is 8.
設定値uを2とした場合、均一パターンの定義はLBP2 8,1で記述される。この場合、LBP(00111101)は不均一パターンである。設定値uを4とした場合、均一パターンの定義はLBP4 8,1で記述される。この場合、LBP(00111101)は均一パターンである。周辺画素の数nが8である場合、設定値uは2以上4以下であることが好ましい。周辺画素の数nが4である場合、設定値uは2であることが好ましい。 When the set value u is 2, the definition of the uniform pattern is described by LBP 2 8,1 . In this case, LBP (00111101) is a non-uniform pattern. When the set value u is 4, the definition of the uniform pattern is described by LBP 4 8,1 . In this case, LBP (00111101) is a uniform pattern. When the number n of peripheral pixels is 8, the set value u is preferably 2 or more and 4 or less. When the number n of peripheral pixels is 4, the setting value u is preferably 2.
8ビットのLBPは、256種類の配列パターンを有する。LBP2 8,1の場合には、58種類の均一パターンが存在し、198種類の不均一パターンが存在する。 The 8-bit LBP has 256 kinds of arrangement patterns. In the case of LBP 2 8,1 , there are 58 types of uniform patterns and 198 types of non-uniform patterns.
距離画像DIにおいて、ノイズ成分が少ない領域では、0−1遷移の数が少なくなり、LBPが均一パターンとなる。一方、距離画像DIにおいて、ノイズ成分が多い領域では、0−1遷移の数が多くなり、LBPが不均一パターンとなる。 In the distance image DI, in a region having a small noise component, the number of 0-1 transitions is small, and the LBP becomes a uniform pattern. On the other hand, in the range image DI, in a region with a lot of noise components, the number of 0-1 transitions increases, and the LBP becomes a nonuniform pattern.
(7)検出窓の設定
次に、図10〜図13を参照しながら検出窓の設定について説明する。図10(a),(b)は、距離画像DIに設定された検出窓DWの例を示す図である。
(7) Detection Window Setting Next, detection window setting will be described with reference to FIGS. FIGS. 10A and 10B are diagrams showing examples of the detection window DW set in the distance image DI.
検出対象物の大きさおよび位置が不明であるため、図4の対象物検出窓設定部5は、距離画像DIの種々の位置に種々のサイズを有する検出窓DWを設定する。図10(a),(b)の例では、対象物検出窓設定部5は、距離画像DI上で検出窓DWをそのサイズを変化させながらX方向に左から右に移動させた後、Y方向に下へ移動させ、X方向に左から右に移動させる。対象物検出窓設定部5は、この操作を繰り返すことにより、種々のサイズを有する検出窓DWを距離画像DIの全範囲で移動させる。これにより、任意のサイズを有しかつ任意の位置に存在する検出対象物を検出することが可能となる。図10(a)には、比較的小さいサイズの検出窓DWが設定された状態が示される。また、図10(b)には、比較的大きいサイズの検出窓DWが設定された状態が示される。
Since the size and position of the detection object are unknown, the object detection
図11は、図10(a)の検出窓DWの構成を示す模式図である。図12は、図10(b)の検出窓DWの構成を示す模式図である。 FIG. 11 is a schematic diagram showing the configuration of the detection window DW of FIG. FIG. 12 is a schematic diagram showing the configuration of the detection window DW in FIG.
検出窓DWは、複数のセルCEにより構成される。各セルCEは複数の画素により構成される。検出窓DWのサイズに関らず検出窓DW内のセルCEの数は一定である。図11および図12の例では、検出窓DWは横8個および縦16個のセルCEを含む。検出窓DWのサイズが大きくなると、各セルCEのサイズが大きくなり、すなわち各セルCEを構成する画素の数が多くなる。各セルCEは、8×8個以上の画素を含むことが好ましい。図11の検出窓DWを構成する各セルCEは横8個および縦8個の画素を含む。図12の検出窓DWを構成する各セルCEは横16個および縦16個の画素を含む。 The detection window DW includes a plurality of cells CE. Each cell CE is composed of a plurality of pixels. Regardless of the size of the detection window DW, the number of cells CE in the detection window DW is constant. In the example of FIGS. 11 and 12, the detection window DW includes 8 horizontal and 16 vertical cells CE. When the size of the detection window DW is increased, the size of each cell CE is increased, that is, the number of pixels constituting each cell CE is increased. Each cell CE preferably includes 8 × 8 or more pixels. Each cell CE constituting the detection window DW of FIG. 11 includes 8 horizontal pixels and 8 vertical pixels. Each cell CE constituting the detection window DW of FIG. 12 includes 16 horizontal pixels and 16 vertical pixels.
(8)LBPのヒストグラム
図4の対象物検出部6は、各検出窓DW内の各セルCEについてLBPのヒストグラムを以下の方法で作成する。
(8) LBP Histogram The object detection unit 6 in FIG. 4 creates an LBP histogram for each cell CE in each detection window DW by the following method.
図13は、1つのセルCEを示す図である。図13の例では、1つのセルCEが8×8個の画素を含む。したがって、64個のLBPが生成される。 FIG. 13 is a diagram showing one cell CE. In the example of FIG. 13, one cell CE includes 8 × 8 pixels. Therefore, 64 LBPs are generated.
図14は、1つのセルCEについてのLBPのヒストグラムの一例を示す図である。図14の横軸はビンを表し、縦軸は出現頻度(度数)を表す。 FIG. 14 is a diagram illustrating an example of an LBP histogram for one cell CE. The horizontal axis of FIG. 14 represents the bin, and the vertical axis represents the appearance frequency (frequency).
ヒストグラムにおいては、設定値u以下の数の0−1遷移を有する複数種類のLBPをそれぞれビンに設定する。また、設定値uを超える数の0−1遷移を有する1以上のLBPを1つのビンに集約する。 In the histogram, a plurality of types of LBPs having 0-1 transitions equal to or less than the set value u are set in each bin. Further, one or more LBPs having 0-1 transitions exceeding the set value u are aggregated into one bin.
上記の例では、LBPが8ビットを有する。したがって、LBPは、256種類の配列パターンを有する。設定値uが2である場合、58種類の均一パターンが存在し、198種類の不均一パターンが存在する。例えば、58種類の均一パターンがパターン1〜58としてヒストグラムの58個のビンに設定される。また、198種類の不均一パターンがパターン59として1つのビンに集約される。
In the above example, the LBP has 8 bits. Therefore, LBP has 256 kinds of arrangement patterns. When the set value u is 2, there are 58 types of uniform patterns and 198 types of non-uniform patterns. For example, 58 types of uniform patterns are set as 58 patterns in the histogram as
例えば、パターン1はLBP(00000000)であり、パターン2はLBP(00000001)であり、パターン3はLBP(00000010)である。また、LBP(00000101)、LBP(00001010)、LBP(00010100)等の不均一パターンはパターン59とみなされる。
For example,
ヒストグラムの複数のビンに対応する複数のLBPが特徴量として用いられ、複数のビンにおける出現頻度が検出対象物の有無を判定のための特徴量の値として用いられる。図14のヒストグラムでは、59個の特徴量が得られる。 A plurality of LBPs corresponding to a plurality of bins of the histogram are used as feature amounts, and the appearance frequency in the plurality of bins is used as a feature amount value for determining the presence or absence of a detection target. In the histogram of FIG. 14, 59 feature values are obtained.
上記のように、検出窓DWのサイズが異なる場合、各検出窓DWに含まれるセルCEの数は一定であり、各セルCEに含まれる画素の数が異なる。そのため、各セルCEについて、ヒストグラムの出現頻度が各セルCE内の画素の数で正規化される。 As described above, when the sizes of the detection windows DW are different, the number of cells CE included in each detection window DW is constant, and the number of pixels included in each cell CE is different. Therefore, for each cell CE, the histogram appearance frequency is normalized by the number of pixels in each cell CE.
1つの検出窓DWについては、セルCEの数と同数のヒストグラムが得られる。したがって、1つの検出窓DWについて、(ヒストグラムのビン数)×(セルCEの数)の特徴量が得られる。図11〜図14の例では、1つの検出窓DWのセルCEの数が8×16であり、1つのセルCEについてのヒストグラムのビン数が59であるので、1つの検出窓DWから7552個(=8×16×59)の特徴量が得られる。なお、処理負荷の軽減のために、インテグラルヒストグラムの方法を用いてもよい。 For one detection window DW, the same number of histograms as the number of cells CE are obtained. Therefore, for one detection window DW, a feature amount of (number of bins of histogram) × (number of cells CE) is obtained. In the example of FIGS. 11 to 14, the number of cells CE in one detection window DW is 8 × 16, and the number of histogram bins for one cell CE is 59. Therefore, 7552 from one detection window DW. A feature amount of (= 8 × 16 × 59) is obtained. In order to reduce the processing load, an integral histogram method may be used.
(9)検出器の動作
図4の対象物検出部6は、対象物検出窓設定部5により距離画像DIに設定される各検出窓DWについて検出器を動作させることにより、検出対象物の有無を判定する。
(9) Operation of Detector The object detection unit 6 in FIG. 4 operates to detect the presence or absence of a detection object by operating the detector for each detection window DW set in the distance image DI by the object detection
図15は、1つの検出窓DWについての特徴量を示す図である。対象物検出部6は、各検出窓DWから得られる複数の特徴量のうち一部または全部を検出器の演算のためのT個の特徴量vt(t=1,2,…,T)として用いる。図11〜図14の例では、7552個の特徴量からT個の特徴量vt(t=1,2,…,T)が予め選択される。図15に示すように、特徴量v1,v2,…,vTにそれぞれしきい値θ1,θ2,…,θTが予め設定される。しきい値θt(t=1,2,…,T)は、後述する学習により予め特徴量vtごとに求められる。 FIG. 15 is a diagram illustrating feature amounts for one detection window DW. The object detection unit 6 uses a part or all of the plurality of feature amounts obtained from each detection window DW as T feature amounts v t (t = 1, 2,..., T) for calculation of the detector. Used as In the example of FIGS. 11 to 14, T feature amounts v t (t = 1, 2,..., T) are selected in advance from 7552 feature amounts. As shown in FIG. 15, the feature quantity v 1, v 2, ..., v respectively T threshold θ 1, θ 2, ..., θ T is set in advance. The threshold value θ t (t = 1, 2,..., T) is obtained in advance for each feature amount v t by learning described later.
検出器は、次式で表される弱識別器(Weak Classifier)により各特徴量vtの値が肯定的結論を表すか否定的結論を表すかを識別する。 Detector identifies or represents a negative conclusion or weak classifier represented by the following formula (Weak Classifier) the value of each feature quantity v t by representing a positive conclusion.
上式(2)において、ht(I)は、I番目の検出窓DWについての特徴量vtの識別値(弱識別結果)を表す。ここで、Iは2以上の自然数である。上式(2)より、特徴量vtの値がしきい値θtよりも大きい場合には、識別値ht(I)は、+1(肯定的結論を表す弱仮説(Weak Hypothesis))となる。特徴量vtの値がしきい値θt以下の場合には、識別値ht(I)は、−1(否定的結論を表す弱仮説)となる。T個の特徴量v1,v2,…,vTおよびT個のしきい値θ1,θ2,…,θTによりT個の弱識別器h1,h2,…,hTが得られる。また、T個の弱識別器h1,h2,…,hTによりT個の識別値h1(I),h2(I),…,hT(I)が得られる。 In the above equation (2), h t (I) represents the identification value (weak identification result) of the feature quantity v t for the I-th detection window DW. Here, I is a natural number of 2 or more. From the above equation (2), when the value of the feature quantity v t is larger than the threshold value θ t , the identification value h t (I) is +1 (Weak Hypothesis representing a positive conclusion) and Become. When the value of the feature quantity v t is equal to or smaller than the threshold θ t , the identification value h t (I) is −1 (weak hypothesis representing a negative conclusion). T T feature values v 1 , v 2 ,..., V T and T threshold values θ 1 , θ 2 ,..., Θ T generate T weak classifiers h 1 , h 2 ,. can get. Further, T number of weak classifiers h 1, h 2, ..., T number of decision values h 1 by h T (I), h 2 (I), ..., h T (I) is obtained.
各識別値ht(I)(t=1,2,…,T)には、後述する学習により重み付け係数wt(t=1,2,…,T)が予め設定される。検出器は、次式で示すように、T個の識別値h1(I)〜hT(I)とそれぞれに予め設定された重み付け係数w1〜wTとの積の合計からしきい値αを減算することにより、I番目の検出窓DWについて検出対象物の有無の判定結果H(I)を得る。 Each identification value h t (I) (t = 1, 2,..., T) is preset with a weighting coefficient w t (t = 1, 2,..., T) by learning to be described later. As shown by the following equation, the detector uses a threshold value from the sum of products of T identification values h 1 (I) to h T (I) and weighting factors w 1 to w T set in advance. By subtracting α, the determination result H (I) of the presence or absence of the detection target for the I-th detection window DW is obtained.
上式(3)において、signは正負の符号を表す。上式(3)を識別演算式と呼ぶ。正の判定結果H(I)は、検出対象物が存在することを示す。また、負の判定結果H(I)は、検出対象物が存在しないことを示す。 In the above formula (3), sign represents a positive or negative sign. The above equation (3) is called an identification operation equation. A positive determination result H (I) indicates that a detection target exists. Further, the negative determination result H (I) indicates that there is no detection target.
また、しきい値αは、検出率と誤検出率とのバランスを適正に調整するために用いられる。検出率は、検出対象物を検出対象物として正しく検出する確率であり、例えば、人物を人物と判定する確率である。誤検出率は、検出対象物以外の対象物を検出対象物として誤って検出する確率であり、例えば、人物以外の物体を人物と判定する確率である。 The threshold value α is used to properly adjust the balance between the detection rate and the false detection rate. The detection rate is the probability of correctly detecting the detection object as the detection object, for example, the probability of determining a person as a person. The false detection rate is a probability of erroneously detecting a target object other than the detection target object as a detection target object, for example, a probability of determining an object other than a person as a person.
しきい値αを大きく設定した場合には、検出率が高くなるが、誤検出率も高くなる。一方、しきい値αを小さく設定した場合には、誤検出率が低くなるが、検出率も低くなる。しきい値αは、対象物検出装置10が使用される状況に応じて任意に設定することができる。
When the threshold value α is set large, the detection rate increases, but the false detection rate also increases. On the other hand, when the threshold value α is set small, the false detection rate is low, but the detection rate is also low. The threshold value α can be arbitrarily set according to the situation in which the
T個の特徴量v1〜vT、T個のθ1〜θT、T個の重み付け係数w1〜wTおよびしきい値αは、対象物検出用情報として図4の対象物検出用辞書8に予め記憶される。
T feature quantities v 1 to v T , T θ 1 to θ T , T weighting factors w 1 to w T and threshold α are used for object detection in FIG. 4 as object detection information. Stored in the
(10)対象物検出処理
次に、図16を参照しながら対象物検出処理について説明する。図16は、図4の演算処理部30により行われる対象物検出処理を示すフローチャートである。
(10) Object Detection Process Next, the object detection process will be described with reference to FIG. FIG. 16 is a flowchart showing the object detection process performed by the
まず、図4のステレオマッチング部3が、画像メモリ2Lに記憶される左画像データLVおよび画像メモリ2Rに記憶される右画像データRVを取得する(ステップS1)。ステレオマッチング部3は、取得した左画像データLVおよび右画像データRVにステレオマッチングを行うことにより距離画像データDVを生成する(ステップS2)。
First, the
次に、図4のLBP生成部4が、ステレオマッチング部3により生成された距離画像データDVの複数の画素についてのLBPを生成する(ステップS3)。さらに、図4の対象物検出窓設定部5が、距離画像データDVに検出窓DWを設定する(ステップS4)。
Next, the
次に、図4の対象物検出部6が、検出窓DW内における検出対象物の有無を判定する(ステップS5)。具体的には、検出窓DWについてのLBPのヒストグラムが作成される。次に、対象物検出用辞書8に記憶された複数の特徴量v1〜vTおよびしきい値θ1〜θTを用いてLBPのヒストグラムにおける複数の特徴量v1〜vTの値について上式(2)より識別値h1(I)〜hT(I)が算出される。さらに、識別値h1(I)〜hT(I)ならびに対象物検出用辞書8に記憶された重み付け係数w1〜wTおよびしきいαを用いて上式(3)より判定結果H(I)が算出される。
Next, the object detection unit 6 in FIG. 4 determines the presence / absence of the detection object in the detection window DW (step S5). Specifically, an LBP histogram for the detection window DW is created. Next, the values of a plurality of
対象物検出部6は、予め設定された数の検出窓DWについての検出対象物の有無の判定が終了したか否かを判別する(ステップS6)。予め設定された数の検出窓DWについての検出対象物の有無の判定が終了していない場合には、対象物検出部6は、ステップS4に戻る。この場合、対象物検出窓設定部5が距離画像データDVに前の検出窓DWとはサイズまたは位置が異なる次の検出窓DWを設定し(ステップS4)、対象物検出部6が検出窓DW内における検出対象物の有無を判定する(ステップS5)。
The object detection unit 6 determines whether or not the determination of the presence / absence of the detection object for the preset number of detection windows DW has been completed (step S6). If the determination of the presence / absence of the detection target for the preset number of detection windows DW has not been completed, the target detection unit 6 returns to step S4. In this case, the object detection
ステップS4において、予め設定された数の検出窓DWについての検出対象物の有無の判定が終了した場合には、対象物検出部6は、対象物検出処理を終了する。 In step S4, when the determination of the presence / absence of the detection target for the preset number of detection windows DW is completed, the target detection unit 6 ends the target detection process.
(11)検出対象物の判定のための学習
T個の弱識別器h1〜hTにおける特徴量v1〜vTおよびしきい値θ1〜θTならびにT個の重み付け係数w1〜wTは、事前の学習によって設定される。この学習には、例えば、非特許文献2に記載されたブースティング学習アルゴリズム(アダブースト:AdaBoost)が適用される。
(11), wherein the
図17は、アダブーストによる学習を示すフローチャートである。検出対象物を含む複数組の左画像および右画像に対応する複数組の左画像データおよび右画像データがポジティブサンプルとして予め準備される。また、検出対象物を含まない複数組の左画像および右画像に対応する複数組の左画像データおよび右画像データがネガティブサンプルとして予め準備される。 FIG. 17 is a flowchart showing learning by Adaboost. A plurality of sets of left image data and right image data corresponding to a plurality of sets of left and right images including the detection target are prepared in advance as positive samples. In addition, a plurality of sets of left image data and right image data corresponding to a plurality of sets of left and right images not including the detection target are prepared in advance as negative samples.
初期化処理として、全ポジティブサンプルおよび全ネガティブサンプルに均等にウェイト(重み;weight)が配分される(ステップS11)。 As an initialization process, weights are equally distributed to all positive samples and all negative samples (step S11).
次に、全ポジティブサンプルおよび全ネガティブサンプルについて、ステレオマッチングによる距離画像データDVの生成、LBPの生成、検出窓DWの設定およびLBPのヒストグラムの作成を行うことにより、全ての特徴量の値が算出される(ステップS12)。 Next, for all positive samples and all negative samples, all feature values are calculated by generating distance image data DV by stereo matching, generating LBP, setting detection window DW, and creating LBP histogram. (Step S12).
その後、T個の特徴量v1〜vTを選択しかつT個の弱識別器h1〜hTにおけるしきい値θ1〜θTおよびT個の重み付け係数w1〜wTを決定するためのT回の学習が開始される。最初は、変数tが1に設定される(ステップS13)。 Thereafter, T feature quantities v 1 to v T are selected, and threshold values θ 1 to θ T and T weighting coefficients w 1 to w T in T weak classifiers h 1 to h T are determined. T times of learning are started. Initially, the variable t is set to 1 (step S13).
まず、未選択の各特徴量について、ウェイトが与えられた全ポジティブサンプルおよび全ネガティブサンプルのヒストグラム(全サンプルの重み付きヒストグラム)がそれぞれ作成される(ステップS14)。t=1の場合には、全ての特徴量について、全サンプルの重み付きヒストグラムがそれぞれ作成される。図18は、1つの特徴量についての全ポジティブサンプルおよび全ネガティブサンプルのヒストグラムの例を示す図である。図18においては、縦軸はサンプル数を表し、横軸は特徴量の値を表す。 First, for each unselected feature quantity, histograms of all positive samples and all negative samples to which weights are given (weighted histograms of all samples) are created (step S14). When t = 1, weighted histograms of all samples are created for all feature quantities. FIG. 18 is a diagram illustrating an example of a histogram of all positive samples and all negative samples for one feature amount. In FIG. 18, the vertical axis represents the number of samples, and the horizontal axis represents the feature value.
一般に、特徴量の値の比較的小さな範囲にネガティブサンプルの分布が現れ、特徴量の値の比較的大きな範囲にポジティブサンプルの分布が現れる。しきい値θを大きく設定すると、ネガティブサンプルをポジティブサンプルとして誤識別する確率は低くなるが、ポジティブサンプルをネガティブサンプルとして誤識別する確率は高くなる。逆に、しきい値θを小さく設定すると、ポジティブサンプルをネガティブサンプルとして誤識別する確率は低くなるが、ネガティブサンプルをポジティブサンプルとして誤識別する確率は高くなる。 In general, the distribution of negative samples appears in a relatively small range of feature values, and the distribution of positive samples appears in a relatively large range of feature values. When the threshold value θ is set large, the probability of misidentifying a negative sample as a positive sample is low, but the probability of misidentifying a positive sample as a negative sample is high. Conversely, if the threshold value θ is set small, the probability of misidentifying a positive sample as a negative sample is low, but the probability of misidentifying a negative sample as a positive sample is high.
例えば、ポジティブサンプルの分布範囲とネガティブサンプルの分布範囲とが互いに分離している場合には、それらの分布範囲の間の値がしきい値θとして設定される。ポジティブサンプルの分布範囲とネガティブサンプルの分布範囲とが互い重なり合う場合には、それらの重なり区間の値がしきい値θとして設定される。図18の例では、ポジティブサンプルの特徴量の値の下限θpは、ネガティブサンプルの特徴量の値の上限θnよりも小さい。本例では、ポジティブサンプルのヒストグラムとネガティブサンプルのヒストグラムとが交差する点における特徴量の値がしきい値θとして設定される。この場合、下限θpとしきい値θとの間の特徴量の値を有するポジティブサンプルは、ネガティブサンプルとして誤識別される。また、上限θnとしきい値θとの間の特徴量の値を有するネガティブサンプルは、ポジティブサンプルとして誤識別される。全ポジティブサンプルおよび全ネガティブサンプルの総数に対して誤識別されるポジティブサンプルおよびネガティブサンプルの数の割合を誤識別率(エラー率)と呼ぶ。 For example, when the distribution range of the positive sample and the distribution range of the negative sample are separated from each other, a value between these distribution ranges is set as the threshold value θ. When the distribution range of the positive sample and the distribution range of the negative sample overlap each other, the value of the overlapping section is set as the threshold value θ. In the example of FIG. 18, the lower limit θ p of the feature value of the positive sample is smaller than the upper limit θ n of the feature value of the negative sample. In this example, the feature value at the point where the positive sample histogram and the negative sample histogram intersect is set as the threshold value θ. In this case, positive samples having a value of the feature quantity between the lower theta p and threshold theta is erroneously identified as negative samples. Further, a negative sample having a feature value between the upper limit θ n and the threshold value θ is erroneously identified as a positive sample. The ratio of the number of positive samples and negative samples that are misidentified with respect to the total number of all positive samples and all negative samples is called the misidentification rate (error rate).
このようにして、未選択の全ての特徴量の各々について誤識別率が最小になるようにしきい値θが設定される(ステップS15)。これにより、未選択の全特徴量に対応する弱識別器が作成される。各特徴量に対応するしきい値θとともに、当該しきい値θに対応する誤識別率が算出される。 In this way, the threshold value θ is set so that the misidentification rate is minimized for each of all unselected feature values (step S15). Thereby, weak classifiers corresponding to all unselected feature quantities are created. A misidentification rate corresponding to the threshold value θ is calculated together with the threshold value θ corresponding to each feature amount.
作成された弱識別器のうち最小の誤識別率を有する弱識別器が第t番目の弱識別器htとして決定される(ステップS16)。これにより、第t番目の特徴量vtが選択されるとともにしきい値θtが決定される。t=1の場合には、最小の誤識別率を有する弱識別器が第1番目の弱識別器h1として決定される。また、第1番目の特徴量v1が選択されるとともにしきい値θ1が決定される。 Weak classifier is determined as the t-th weak classifier h t with a minimum of false identification rate of the weak classifiers that have been created (Step S16). As a result, the t-th feature value v t is selected and the threshold value θ t is determined. When t = 1, the weak classifier having the minimum misclassification rate is determined as the first weak classifier h 1 . Further, the first feature value v 1 is selected and the threshold value θ 1 is determined.
また、決定された第t番目の弱識別器htの誤識別率に基づいて弱識別器htに対応する重み付け係数wtが決定される(ステップS17)。この場合、誤識別率が小さいほど重み付け係数wtは大きく設定される。t=1の場合には、重み付け係数w1が決定される。 Further, weighting coefficient w t corresponding to the weak classifier h t is determined based on the erroneous recognition rate of the t-th weak classifier h t determined (step S17). In this case, the weighting coefficient w t is set larger as the misidentification rate is smaller. In the case of t = 1, the weighting coefficients w 1 is determined.
次に、変数tがTに等しいか否かが判定される(ステップS18)。すなわち、T個の特徴量が選択されたか否かが判定される。T個の特徴量が選択されていない場合には、ポジティブサンプルおよびネガティブサンプルにウェイトが再配分(re-weighting)される(ステップS19)。この場合、第t番目の弱識別器htにより正解が得られるサンプルには小さなウェイトが与えられ、第t番目の弱識別器htにより不正解が得られるサンプルには大きなウェイトが与えられる。 Next, it is determined whether or not the variable t is equal to T (step S18). That is, it is determined whether or not T feature amounts have been selected. If T feature values are not selected, weights are re-weighted to the positive sample and the negative sample (step S19). In this case, the sample correct by the t-th weak classifier h t is obtained given a small weight, the sample incorrect is obtained by the t-th weak classifier h t is given greater weight.
この状態で、変数tがt+1に更新され(ステップS20)、ステップS14〜S18の処理が実行される。t=2の場合には、特徴量v1を除く未選択の各特徴量について、全サンプルの重み付きヒストグラムがそれぞれ作成される(ステップS14)。また、特徴量v1を除く未選択の全ての特徴量の各々について誤識別率が最小になるようにしきい値θが設定される(ステップS15)。さらに、作成された弱識別器のうち最小の誤識別率を有する弱識別器が第2番目の弱識別器h2として決定される(ステップS16)。また、決定された第2番目の弱識別器h2の誤識別率に基づいて弱識別器h2に対応する重み付け係数w2が決定される(ステップS17)。その後、tが3に更新される。 In this state, the variable t is updated to t + 1 (step S20), and the processes of steps S14 to S18 are executed. When t = 2, a weighted histogram of all samples is created for each unselected feature quantity excluding the feature quantity v 1 (step S14). Further, the threshold value θ is set so that the misidentification rate is minimized for each of all the unselected feature quantities excluding the feature quantity v 1 (step S15). Further, the weak classifier having the lowest misclassification rate among the created weak classifiers is determined as the second weak classifier h2 (step S16). Further, weighting coefficient w 2 which corresponds to the weak classifier h 2 is determined based on the second th misidentification rate of weak classifiers h 2 determined (step S17). Thereafter, t is updated to 3.
同様にして、T個の特徴量v1〜vTが選択されるとともにT個の弱識別器h1〜hTにおけるしきい値θ1〜θTが決定され、弱識別器h1〜hTにそれぞれに対応する重み付け係数w1〜wTが決定される。ステップS18において変数tがTに等しい場合には、学習が終了する。
Similarly, T feature values v 1 to v T are selected, and threshold values θ 1 to θ T in T weak classifiers h 1 to h T are determined, and weak classifiers h 1 to h are determined.
このようにして決定されたT個の弱識別器h1〜hTとこれらに対応するT個の重み付け係数w1〜wTとの乗算結果を線形結合するとともに、適切なしきい値αを設定することにより、上式(3)の識別演算式が得られる。 A multiplication result between this way the T weak classifiers h 1 which is determined to h T and the T weighting coefficients w 1 to w T corresponding to these as well as linear combinations, setting an appropriate threshold value α By doing so, the discrimination calculation formula of the above formula (3) is obtained.
(12)本実施の形態の効果
本実施の形態に係る対象物検出装置10においては、LBPを用いることにより検出対象物の輪郭を検出対象物と背景との距離差により識別することができる。この場合、ステレオマッチングのマッチング窓のサイズを小さくすることにより、ステレオマッチングにおける計算量を増加させることなく検出対象物の有無に有用な輪郭情報を高精度で得ることができる。また、設定値uを超える数の0−1遷移を有する1または複数種類のLBPが一のビンに集約される。それにより、検出対象物の有無の判定において距離画像データDVにおけるノイズの影響を抑制することができる。したがって、上記のように構成されたLBPのヒストグラムの度数を複数の特徴量の値として用いることにより、計算量を増加させることなくかつ輪郭情報を損なうことなく、距離画像データDVにおけるノイズの影響を抑制することができる。その結果、検出対象物の有無を正確に判定することが可能となる。
(12) Effect of this Embodiment In the
また、各特徴量vt(t=1,2,…,T)についてのしきい値θt(t=1,2,…,T)を適切に設定するとともに各弱識別器ht(t=1,2,…,T)に対応する重み付け係数wt(t=1,2,…,T)を適切に設定することにより、検出対象物の有無をより正確に判定することができる。 Further, the threshold value θ t (t = 1, 2,..., T) for each feature quantity v t (t = 1, 2,..., T) is appropriately set and each weak classifier h t (t = 1, 2,..., T) can be determined more accurately by appropriately setting the weighting coefficients w t (t = 1, 2,..., T).
さらに、学習によりT個の特徴量v1〜vTが選択されるとともにT個の弱識別器h1〜hTにおけるしきい値θ1〜θTが決定され、弱識別器h1〜hTにそれぞれに対応する重み付け係数w1〜wTが決定される。それにより、検出対象物の有無の判定に重要な情報を含む特徴量を用いて検出対象物の有無を高い精度で判定することが可能となる。
Further, T feature values v 1 to v T are selected by learning, and threshold values θ 1 to θ T in T weak classifiers h 1 to h T are determined, and weak classifiers h 1 to h are determined.
特に、アダブースト学習によりT個の特徴量v1〜vTの選択、T個の弱識別器h1〜hTにおけるしきい値θ1〜θTの決定および弱識別器h1〜hTにそれぞれに対応する重み付け係数w1〜wTの決定が行われることにより、環境変動に対して頑健な(ロバストな)対象物検出装置10が実現される。
In particular, the selection of the
また、距離画像データDVに複数の検出窓DWが位置およびサイズの少なくとも一方が異なるように順次設定されるので、任意の位置にある検出対象物または任意の大きさを有する検出対象物を正確に検出することができる。 Further, since the plurality of detection windows DW are sequentially set in the distance image data DV so that at least one of the position and the size is different, the detection object at an arbitrary position or the detection object having an arbitrary size can be accurately detected. Can be detected.
この対象物検出装置10によれば、人と植物とを区別することが可能となる。ゴルフカート100の経路に成長した樹木の枝または草が延びている場合、または経路のカーブ前方に樹木等が植えられている場合に、それらの枝、草または樹木等を人として検出することが防止される。したがって、このような枝、草または樹木等が実際にはゴルフカート100の走行上問題がない場合に、ゴルフカート100の無駄な停止、減速または警告の発生が行われることが防止される。
According to this
(13)他の実施の形態
(a)上記実施の形態では、対象物検出装置10が予め定められた経路を自動的に走行するゴルフカート100に適用されているが、本発明はこれに限定されない。本発明に係る対象物検出装置は、工場等で予め定められた経路を走行する無人搬送車(AGV)、果樹園等で薬剤散布等を行う無人作業車等の他の自動走行車両にも同様に適用可能である。また、本発明に係る対象物検出装置は、任意の経路を走行可能な自動走行車両にも適用可能ある。
(13) Other Embodiments (a) In the above embodiment, the
(b)上記実施の形態では、ステレオマッチング部3、LBP生成部4、対象物検出窓設定部5および対象物検出部6がCPU32および対象物検出プログラムにより実現されるが、本発明はこれに限定されない。例えば、ステレオマッチング部3、LBP生成部4、対象物検出窓設定部5および対象物検出部6の一部または全部が電子回路等のハードウエアにより構成されてもよい。
(B) In the above embodiment, the
(c)上記実施の形態では、各特徴量vtがしきい値θtよりも大きい場合に識別値ht(I)を1とし、その他の場合に識別値ht(I)を−1としているが、検出対象物の有無の判定方法はこれに限定さない。例えば、各特徴量vtがしきい値θtよりも大きい場合に識別値ht(I)を−1とし、その他の場合に識別値ht(I)を1としてもよい。また、各特徴量vtがしきい値θtよりも大きい場合に識別値ht(I)を他の値とし、その他の場合に識別値ht(I)をさらに他の値としてもよい。 (C) In the above embodiment, the identification value h t (I) is set to 1 when each feature quantity v t is larger than the threshold value θ t , and the identification value h t (I) is set to −1 in other cases. However, the determination method of the presence or absence of the detection target is not limited to this. For example, the identification value h t (I) was a -1 if the characteristic values v t is larger than the threshold value theta t, otherwise identification value h t a (I) may be 1. Further, the identification value h t (I) in each case feature value v t is larger than the threshold value theta t and other values, may further other values an identification value h t (I) in other cases .
(d)上記実施の形態では、検出対象物の有無に応じて判定結果H(I)が正または負となるように識別演算式が構成されるが、識別演算式の構成はこれに限定されない。例えば、検出対象物の有無に応じて判定結果H(I)がある値以上または以下になるように識別演算式が構成されてもよい。 (D) In the above embodiment, the discrimination calculation formula is configured so that the determination result H (I) is positive or negative depending on the presence or absence of the detection target, but the configuration of the discrimination calculation formula is not limited to this. . For example, the identification arithmetic expression may be configured so that the determination result H (I) is greater than or less than a certain value depending on the presence or absence of the detection target.
また、上記の識別演算式では、しきい値αが用いられるが、しきい値αが用いられなくてもよい。 Further, although the threshold value α is used in the above identification calculation formula, the threshold value α may not be used.
(14)請求項の各構成要素と実施の形態の各部との対応関係
以下、請求項の各構成要素と実施の形態の各部との対応の例について説明するが、本発明は下記の例に限定されない。
(14) Correspondence relationship between each constituent element of claim and each part of the embodiment Hereinafter, an example of correspondence between each constituent element of the claim and each part of the embodiment will be described. It is not limited.
上記実施の形態においては、カメラ1L,1Rが画像取得部の例であり、ステレオマッチング部3が距離画像生成部の例であり、LBP生成部4、対象物検出窓設定部5および対象物検出部6が処理部の例である。左画像LIおよび右画像RIが撮像対象の画像の例であり、左画像データLVおよび右画像データRVが撮像画像データの例であり、距離画像DIが距離画像の例であり、距離画像データDVが距離画像データの例であり、セルCEまたは検出窓DWが単位領域の例であり、設定値uが設定値の例であり、複数の特徴量v1〜vTが複数の特徴量の例である。
In the above embodiment, the
しきい値θ1〜θTがしきい値の例であり、識別値h(I)1〜h(I)Tが識別値の例であり、重み付け係数w1〜wTが重み付け係数の例であり、検出窓DWが検出窓の例である。 The threshold values θ 1 to θ T are examples of threshold values, the identification values h (I) 1 to h (I) T are examples of identification values, and the weighting factors w 1 to w T are examples of weighting factors. The detection window DW is an example of the detection window.
車体20が本体部の例であり、駆動モータ21および後輪12が駆動部の例であり、CPU32がコンピュータの例である。車両制御部50が制御部の例である。
The
請求項の各構成要素として、上記実施の形態に記載された構成要素の他、請求項に記載されている構成または機能を有する他の種々の構成要素を用いることもできる。 As each constituent element of the claims, in addition to the constituent elements described in the above embodiments, various other constituent elements having configurations or functions described in the claims can be used.
本発明は、撮像対象が予め定められた検出対象物を含むか否かを判定するため等に利用することができる。 The present invention can be used for determining whether or not an imaging target includes a predetermined detection target.
1L,1R カメラ
2L,2R 画像メモリ
3 ステレオマッチング部
4 LBP生成部
5 対象物検出窓設定部
6 対象物検出部
8 対象物検出用辞書
10 対象物検出装置
11 前輪
12 後輪
13 前部シート
14 後部シート
15 ハンドル
16 キャリア
20 車体
20a 下部車体
20b 支持枠
20c 屋根部
21 駆動モータ
22 トランスミッション
23 電磁ブレーキ
24 アクセルペダル
25 ブレーキペダル
26 ブレーキ駆動部
30 演算処理部
31 入出力インタフェース
32 CPU(中央演算処理装置)
33 ROM(リードオンリメモリ)
34 RAM(ランダムアクセスメモリ)
35 内部バス
40 外部記憶装置
50 車両制御部
51 バッテリ
57 受信部
100 ゴルフカート
CE セル
DI 距離画像
DV 距離画像データ
DW 検出窓
h,h1〜hT 弱識別器
LV,L1〜Lm 左画像データ
LI 左画像
LM 左マッチング窓
OP 注目画素
p1〜p8 画素部分
P1〜P8 周辺画素
r 半径
RV,R1〜Rm 右画像データ
RI 右画像
RM 右マッチング窓
vt,v1〜vT 特徴量
wt,w1〜wT 重み付け係数
θp 下限
θn 上限
θ,θt,θ1〜θT しきい値
1L,
33 ROM (Read Only Memory)
34 RAM (Random Access Memory)
35
Claims (12)
異なる複数の位置に配置され、撮像対象の画像を撮像画像データとしてそれぞれ取得する複数の画像取得部と、
前記複数の画像取得部により取得された複数の撮像画像データを用いたステレオマッチングにより撮像対象までの距離を示す距離画像を距離画像データとして生成する距離画像生成部と、
前記距離画像生成部により生成された距離画像データに基づいて撮像対象が検出対象物を含むか否かを判定する処理部とを備え、
前記処理部は、前記距離画像生成部により生成された距離画像データの複数の画素についてLBP(ローカルバイナリパターン)を生成するとともに、前記距離画像生成部により生成された距離画像データに複数の画素から構成される複数の単位領域を設定し、各単位領域について複数種類のLBPのヒストグラムを作成し、各ヒストグラムにおいて設定値以下の数の0−1遷移を有する複数種類のLBPをそれぞれ複数のビンに設定するとともに前記設定値を超える数の0−1遷移を有する1または複数種類のLBPを一のビンに集約して設定し、前記複数の単位領域についての複数のヒストグラムの複数のビンのうち予め選択された複数のビンに対応する複数種類のLBPの度数を複数の特徴量の値として用いて検出対象物の有無を判定するように構成される、対象物検出装置。 An object detection device for determining whether an imaging target includes a predetermined detection object,
A plurality of image acquisition units arranged at different positions and respectively acquiring images to be captured as captured image data;
A distance image generation unit that generates a distance image indicating distance to an imaging target by stereo matching using a plurality of captured image data acquired by the plurality of image acquisition units;
A processing unit that determines whether the imaging target includes a detection target based on the distance image data generated by the distance image generation unit,
The processing unit generates an LBP (local binary pattern) for a plurality of pixels of the distance image data generated by the distance image generation unit, and converts the distance image data generated by the distance image generation unit from a plurality of pixels. A plurality of unit areas to be configured are set, histograms of a plurality of types of LBPs are created for each unit area, and a plurality of types of LBPs having a number of 0-1 transitions equal to or less than a set value in each histogram are respectively set to a plurality of bins. One or a plurality of types of LBPs that are set and have a number of 0-1 transitions exceeding the set value are aggregated and set in one bin, and a plurality of histogram bins for the plurality of unit areas are preliminarily set in advance. determine the presence or absence of the detection object by using the frequency of a plurality of types of LBP corresponding to the selected plurality of bins as the value of the plurality of feature amounts Configured so that, the object detecting device.
異なる複数の位置に配置された複数の画像取得部により撮像対象の画像を撮像画像データとしてそれぞれ取得するステップと、
前記取得された複数の撮像画像データを用いたステレオマッチングにより撮像対象までの距離を示す距離画像を距離画像データとして生成するステップと、
前記生成された距離画像データに基づいて撮像対象が検出対象物を含むか否かを判定するステップとを備え、
撮像対象が検出対象物を含むか否かを判定するステップは、
前記生成された距離画像データに複数の画素から構成される複数の単位領域を設定するステップと、
各単位領域の複数の画素についてLBP(ローカルバイナリパターン)を生成するステップと、
各単位領域について複数種類のLBPのヒストグラムを作成し、各ヒストグラムにおいて設定値以下の数の0−1遷移を有する複数種類のLBPをそれぞれ複数のビンに設定するとともに前記設定値を超える数の0−1遷移を有する1または複数種類のLBPを一のビンに集約して設定するステップと、
前記複数の単位領域についての複数のヒストグラムの複数のビンのうち予め選択された複数のビンに対応する複数種類のLBPの度数を複数の特徴量の値として用いて検出対象物の有無を判定するステップとを含む、対象物検出方法。 An object detection method for determining whether or not an imaging target includes a predetermined detection object,
Acquiring each image to be imaged as captured image data by a plurality of image acquisition units arranged at different positions; and
Generating a distance image indicating a distance to an imaging target as distance image data by stereo matching using the acquired plurality of captured image data;
Determining whether an imaging target includes a detection target based on the generated distance image data,
The step of determining whether or not the imaging target includes a detection target is:
Setting a plurality of unit regions composed of a plurality of pixels in the generated distance image data;
Generating an LBP (local binary pattern) for a plurality of pixels in each unit region;
Histograms of a plurality of types of LBPs are created for each unit region, and a plurality of types of LBPs having 0-1 transitions equal to or less than a set value in each histogram are set in a plurality of bins, and a number of 0 exceeding the set value is set. A step of collecting and setting one or more types of LBPs having a −1 transition in one bin;
The presence / absence of a detection target is determined using the frequencies of a plurality of types of LBPs corresponding to a plurality of bins selected in advance among a plurality of bins of a plurality of histograms for the plurality of unit regions as a plurality of feature values. And a method for detecting an object.
各特徴量の値がそれぞれ予め設定されたしきい値よりも大きいか否かに基づいて撮像対象が検出対象物を含むか否かを示す識別値を生成するステップと、
前記複数の特徴量についての識別値とそれぞれ予め設定された重み付け係数との積の合計に基づいて検出対象物の有無を判定するステップとを含む、請求項6記載の対象物検出方法。 The step of determining the presence or absence of the detection target is
Generating an identification value indicating whether or not the imaging target includes a detection target based on whether or not each feature value is greater than a preset threshold value; and
The object detection method according to claim 6, further comprising a step of determining the presence or absence of a detection object based on a sum of products of identification values for the plurality of feature amounts and weighting coefficients set in advance.
異なる複数の位置に配置された複数の画像取得部により撮像対象の画像を撮像画像データとしてそれぞれ取得する処理と、
前記取得された複数の撮像画像データを用いたステレオマッチングにより撮像対象までの距離を示す距離画像を距離画像データとして生成するステップと、
前記生成された距離画像データに基づいて撮像対象が検出対象物を含むか否かを判定する処理とを、前記コンピュータに実行させ、
撮像対象が検出対象物を含むか否かを判定する処理は、
前記生成された距離画像データに複数の画素から構成される複数の単位領域を設定する処理と、
各単位領域の複数の画素についてLBP(ローカルバイナリパターン)を生成する処理と、
各単位領域について複数種類のLBPのヒストグラムを作成し、各ヒストグラムにおいて設定値以下の数の0−1遷移を有する複数種類のLBPをそれぞれ複数のビンに設定するとともに前記設定値を超える数の0−1遷移を有する1または複数種類のLBPを一のビンに集約して設定する処理と、
前記複数の単位領域についての複数のヒストグラムの複数のビンのうち予め選択された複数のビンに対応する複数種類のLBPの度数を複数の特徴量の値として用いて検出対象物の有無を判定する処理とを含む、対象物検出プログラム。 An object detection program executable by a computer to determine whether an imaging target includes a predetermined detection object,
Processing for acquiring images to be imaged as captured image data by a plurality of image acquisition units arranged at different positions; and
Generating a distance image indicating a distance to an imaging target as distance image data by stereo matching using the acquired plurality of captured image data;
A process of determining whether an imaging target includes a detection target based on the generated distance image data, and causing the computer to execute
The process of determining whether the imaging target includes a detection target is:
A process of setting a plurality of unit regions composed of a plurality of pixels in the generated distance image data;
A process of generating an LBP (local binary pattern) for a plurality of pixels in each unit area;
Histograms of a plurality of types of LBPs are created for each unit region, and a plurality of types of LBPs having 0-1 transitions equal to or less than a set value in each histogram are set in a plurality of bins, and a number of 0 exceeding the set value is set. A process of collecting and setting one or a plurality of types of LBPs having -1 transition in one bin;
The presence / absence of a detection target is determined using the frequencies of a plurality of types of LBPs corresponding to a plurality of bins selected in advance among a plurality of bins of a plurality of histograms for the plurality of unit regions as a plurality of feature values. An object detection program including processing.
前記本体部を移動させるように構成された駆動部と、
請求項1〜5のいずれかに記載の対象物検出装置と、
前記対象物検出装置の判定結果に基づいて前記駆動部を制御する制御部とを備える、自動走行車両。 A main body configured to be movable along a predetermined route;
A drive unit configured to move the body part;
The object detection device according to any one of claims 1 to 5 ,
An automatic traveling vehicle comprising: a control unit that controls the drive unit based on a determination result of the object detection device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012046820A JP5946294B2 (en) | 2012-03-02 | 2012-03-02 | Object detection device, object detection method, object detection program, and autonomous vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012046820A JP5946294B2 (en) | 2012-03-02 | 2012-03-02 | Object detection device, object detection method, object detection program, and autonomous vehicle |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013182494A JP2013182494A (en) | 2013-09-12 |
JP5946294B2 true JP5946294B2 (en) | 2016-07-06 |
Family
ID=49273085
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012046820A Active JP5946294B2 (en) | 2012-03-02 | 2012-03-02 | Object detection device, object detection method, object detection program, and autonomous vehicle |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5946294B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109094442A (en) * | 2018-07-18 | 2018-12-28 | 河海大学 | A kind of unmanned transport vehicle for Concrete Dam Construction |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6320806B2 (en) * | 2014-03-17 | 2018-05-09 | 国立大学法人豊橋技術科学大学 | 3D model search method and 3D model search system |
JP6452324B2 (en) * | 2014-06-02 | 2019-01-16 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
KR101598712B1 (en) * | 2014-10-15 | 2016-02-29 | 유상희 | Study method for object detection and the object detection method |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010067144A (en) * | 2008-09-12 | 2010-03-25 | Muratec Automation Co Ltd | Conveyance system and collision prevention system |
WO2010140613A1 (en) * | 2009-06-03 | 2010-12-09 | 学校法人中部大学 | Object detection device |
-
2012
- 2012-03-02 JP JP2012046820A patent/JP5946294B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109094442A (en) * | 2018-07-18 | 2018-12-28 | 河海大学 | A kind of unmanned transport vehicle for Concrete Dam Construction |
Also Published As
Publication number | Publication date |
---|---|
JP2013182494A (en) | 2013-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106980871B (en) | Low-fidelity classifier and high-fidelity classifier applied to road scene images | |
US10157441B2 (en) | Hierarchical system for detecting object with parallel architecture and hierarchical method thereof | |
WO2019137137A1 (en) | Activity recognition method using videotubes | |
KR102279350B1 (en) | Method and device for generating image data set to be used for learning cnn capable of detecting obstruction in autonomous driving circumstance, and testing method, and testing device using the same | |
EP3644276A1 (en) | Methods and systems for the fast estimation of three-dimensional bounding boxes and drivable surfaces using lidar point clouds | |
US8487991B2 (en) | Clear path detection using a vanishing point | |
US9971934B2 (en) | System and method for partially occluded object detection | |
Jeong et al. | Efficient and robust classification method using combined feature vector for lane detection | |
US10474930B1 (en) | Learning method and testing method for monitoring blind spot of vehicle, and learning device and testing device using the same | |
JP5946294B2 (en) | Object detection device, object detection method, object detection program, and autonomous vehicle | |
CN110659550A (en) | Traffic sign recognition method, traffic sign recognition device, computer equipment and storage medium | |
CN112862845B (en) | Lane line reconstruction method and device based on confidence evaluation | |
EP2741234B1 (en) | Object localization using vertical symmetry | |
CN113052873A (en) | Single-target tracking method for on-line self-supervision learning scene adaptation | |
CN109325966B (en) | Method for carrying out visual tracking through space-time context | |
US20070223785A1 (en) | Image processor and method | |
CN113221739B (en) | Monocular vision-based vehicle distance measuring method | |
CN113954838B (en) | Vehicle lane change control method and device, electronic device and storage medium | |
CN109726621B (en) | Pedestrian detection method, device and equipment | |
US10984262B2 (en) | Learning method and testing method for monitoring blind spot of vehicle, and learning device and testing device using the same | |
KR101050687B1 (en) | Pedestrian recognition device and method using posterior probability and pedestrian protection device using it | |
JP7230896B2 (en) | In-vehicle sensing device and sensor parameter optimization device. | |
CN110827327A (en) | Long-term target tracking method based on fusion | |
CN113706580B (en) | Target tracking method, system, equipment and medium based on relevant filtering tracker | |
JP2022148383A (en) | Learning method, learning device and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150213 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151023 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160129 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160510 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160531 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5946294 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |