JP5946294B2

JP5946294B2 - Object detection device, object detection method, object detection program, and autonomous vehicle

Info

Publication number: JP5946294B2
Application number: JP2012046820A
Authority: JP
Inventors: 吉田　睦; 睦吉田
Original assignee: Yamaha Motor Co Ltd
Current assignee: Yamaha Motor Co Ltd
Priority date: 2012-03-02
Filing date: 2012-03-02
Publication date: 2016-07-06
Anticipated expiration: 2032-03-02
Also published as: JP2013182494A

Description

本発明は、撮像対象が予め定められた検出対象物を含むか否かを判定する対象物検出装置、対象物検出方法、対象物検出プログラムおよび自動走行車両に関する。 The present invention relates to an object detection device, an object detection method, an object detection program, and an automatic traveling vehicle that determine whether or not an imaging object includes a predetermined detection object.

ゴルフカート等の自動走行車両には、障害物の存在および障害物までの距離を検出するために超音波センサが用いられる。 In an automatic traveling vehicle such as a golf cart, an ultrasonic sensor is used to detect the presence of an obstacle and the distance to the obstacle.

特許文献１に記載されたゴルフカートに設けられた対象物センサは、前方に超音波を発信し、障害物により反射される超音波を受信することにより前方に障害物があることを検出するとともにその大きさを検出する。対象物センサが障害物を検出したときにはその大きさに応じてコントローラがゴルフカートの走行を制御する。 The object sensor provided in the golf cart described in Patent Document 1 detects that there is an obstacle ahead by transmitting ultrasonic waves forward and receiving ultrasonic waves reflected by the obstacles. The size is detected. When the object sensor detects an obstacle, the controller controls the running of the golf cart according to the size.

特開２００９−１１６８６０号公報JP 2009-116860 A

Y. Freund and R. Schapire, “A decision-theoretic generalization of on-line learning and an application to boosting,” Journal of Computer and System Sciences, pp. 119-139, 1997.Y. Freund and R. Schapire, “A decision-theoretic generalization of on-line learning and an application to boosting,” Journal of Computer and System Sciences, pp. 119-139, 1997.

しかしながら、特許文献１のゴルフカートに設けられた対象物センサは、超音波を用いることから、風の影響を受けやすい。 However, since the object sensor provided in the golf cart of Patent Document 1 uses ultrasonic waves, it is easily affected by wind.

一方、ステレオカメラから得られる左画像および右画像の対応点を求めることにより距離画像を取得するステレオマッチングの手法がある。ステレオマッチングにより得られる距離画像を用いることにより、風の影響を受けずに障害物を検出することが可能である。ステレオマッチングでは、左のカメラにより得られた左画像にマッチング窓（以下、左マッチングと呼ぶ。）が設定され、右のカメラにより得られた右画像にマッチング窓（以下、右マッチング窓と呼ぶ。）が設定される。左画像上で左マッチング窓が異なる複数の位置に順次設定される。左マッチング窓が左画像の各位置にあるときに、右画像上で右マッチング窓が移動される。左マッチング窓内の画像と右マッチング窓内の画像とが一致（マッチング）するときの左マッチング窓と右マッチング窓とのずれ量に基づいて距離画像が生成される。距離画像により物体までの距離が検出される。 On the other hand, there is a stereo matching method for obtaining a distance image by obtaining corresponding points of a left image and a right image obtained from a stereo camera. By using a distance image obtained by stereo matching, it is possible to detect an obstacle without being affected by wind. In stereo matching, a matching window (hereinafter referred to as left matching) is set in the left image obtained by the left camera, and a matching window (hereinafter referred to as right matching window) is obtained in the right image obtained by the right camera. ) Is set. The left matching window is sequentially set at a plurality of different positions on the left image. When the left matching window is at each position of the left image, the right matching window is moved on the right image. A distance image is generated based on the amount of deviation between the left matching window and the right matching window when the image in the left matching window matches the image in the right matching window. The distance to the object is detected from the distance image.

ステレオマッチングでは、マッチング窓のサイズが小さいと、距離画像にノイズが発生しやすい。そのため、ノイズの影響によりマッチングエラーが生じやすい。マッチングエラーを低減するためには、マッチング窓のサイズを大きくする必要がある。しかしながら、マッチング窓のサイズを大きくすると、物体の検出に有用な輪郭情報が損なわれやすい。また、ステレオマッチングにおける計算量が増加する。 In stereo matching, if the size of the matching window is small, noise is likely to occur in the distance image. Therefore, a matching error is likely to occur due to the influence of noise. In order to reduce matching errors, it is necessary to increase the size of the matching window. However, when the size of the matching window is increased, contour information useful for object detection tends to be lost. In addition, the amount of calculation in stereo matching increases.

本発明の目的は、計算量を増加させることなくかつ輪郭情報を損なうことなく距離画像データにおけるノイズの影響を抑制することが可能な対象物検出装置、対象物検出方法および対象物検出プログラムを提供することである。 An object of the present invention is to provide an object detection device, an object detection method, and an object detection program capable of suppressing the influence of noise in distance image data without increasing the amount of calculation and without impairing contour information. It is to be.

本発明の他の目的は、計算量を増加させることなくかつ輪郭情報を損なうことなく距離画像データにおけるノイズの影響を抑制することが可能な対象物検出装置を備える自動走行車両を提供することである。 Another object of the present invention is to provide an automatic traveling vehicle including an object detection device capable of suppressing the influence of noise in distance image data without increasing the amount of calculation and without damaging contour information. is there.

（１）第１の発明に係る対象物検出装置は、撮像対象が予め定められた検出対象物を含むか否かを判定する対象物検出装置であって、異なる複数の位置に配置され、撮像対象の画像を撮像画像データとしてそれぞれ取得する複数の画像取得部と、複数の画像取得部により取得された複数の撮像画像データを用いたステレオマッチングにより撮像対象までの距離を示す距離画像を距離画像データとして生成する距離画像生成部と、距離画像生成部により生成された距離画像データに基づいて撮像対象が検出対象物を含むか否かを判定する処理部とを備え、処理部は、距離画像生成部により生成された距離画像データの複数の画素についてＬＢＰ（ローカルバイナリパターン）を生成するとともに、距離画像生成部により生成された距離画像データに複数の画素から構成される複数の単位領域を設定し、各単位領域について複数種類のＬＢＰのヒストグラムを作成し、各ヒストグラムにおいて設定値以下の数の０−１遷移を有する複数種類のＬＢＰをそれぞれ複数のビンに設定するとともに設定値を超える数の０−１遷移を有する１または複数種類のＬＢＰを一のビンに集約して設定し、複数の単位領域についての複数のヒストグラムの複数のビンのうち予め選択された複数のビンに対応する複数種類のＬＢＰの度数を複数の特徴量の値として用いて検出対象物の有無を判定するように構成されるものである。 (1) An object detection device according to a first invention is an object detection device that determines whether or not an imaging target includes a predetermined detection target, and is disposed at a plurality of different positions and is imaged. A distance image representing a distance image indicating a distance to an imaging target by stereo matching using a plurality of image acquisition units each acquiring a target image as captured image data and a plurality of captured image data acquired by the plurality of image acquisition units A distance image generation unit that generates data, and a processing unit that determines whether or not the imaging target includes a detection target based on the distance image data generated by the distance image generation unit. The LBP (local binary pattern) is generated for a plurality of pixels of the distance image data generated by the generation unit, and the distance image data generated by the distance image generation unit is generated. A plurality of unit areas composed of a plurality of pixels are set, a plurality of types of LBP histograms are created for each unit area, and a plurality of types of LBPs having 0-1 transitions equal to or less than a set value in each histogram are selected. A plurality of bins of a plurality of histograms for a plurality of unit areas are set by setting one or a plurality of types of LBPs, each of which is set to a plurality of bins and having a number of 0-1 transitions exceeding the set value, in one bin. Among them , the presence / absence of a detection target is determined using the frequencies of a plurality of types of LBPs corresponding to a plurality of pre-selected bins as values of a plurality of feature amounts.

その対象物検出装置においては、異なる複数の位置に配置された複数の画像取得部により撮像対象の画像が撮像画像データとしてそれぞれ取得される。取得された複数の撮像画像データを用いたステレオマッチングにより撮像対象までの距離を示す距離画像が距離画像生成部により距離画像データとして生成される。生成された距離画像データに基づいて撮像対象が検出対象物を含むか否かが処理部により判定される。 In the target object detection apparatus, images of the imaging target are respectively acquired as captured image data by a plurality of image acquisition units arranged at a plurality of different positions. A distance image indicating a distance to the imaging target is generated as distance image data by the distance image generation unit by stereo matching using the plurality of acquired captured image data. The processing unit determines whether or not the imaging target includes a detection target based on the generated distance image data.

この場合、距離画像データの複数の画素についてＬＢＰが生成されるとともに、距離画像データに複数の画素から構成される複数の単位領域が設定され、各単位領域について複数種類のＬＢＰのヒストグラムが作成される。各ヒストグラムにおいて設定値以下の数の０−１遷移を有する複数種類のＬＢＰがそれぞれ複数のビンに設定されるとともに設定値を超える数の０−１遷移を有する１または複数種類のＬＢＰが一のビンに集約されて設定される。複数の単位領域についての複数のヒストグラムの複数のビンのうち予め選択された複数のビンに対応する複数種類のＬＢＰの度数を複数の特徴量の値として用いて検出対象物の有無が判定される。 In this case, an LBP is generated for a plurality of pixels of the distance image data, a plurality of unit regions composed of a plurality of pixels are set in the distance image data, and a plurality of types of LBP histograms are created for each unit region. The In each histogram, a plurality of types of LBP having 0-1 transitions equal to or less than a set value are set in a plurality of bins, and one or more types of LBPs having 0-1 transitions exceeding the set value are one. It is aggregated into bins Ru is set. Presence / absence of a detection target is determined using a plurality of types of LBP frequencies corresponding to a plurality of bins selected in advance among a plurality of bins of a plurality of histograms for a plurality of unit regions as a plurality of feature values. .

ここで、ＬＢＰを用いることにより検出対象物の輪郭を検出対象物と背景との距離差により識別することができる。ステレオマッチングのマッチング窓のサイズを小さくすることにより、ステレオマッチングにおける計算量を増加させることなく検出対象物の有無の判定に有用な輪郭情報を高精度で得ることができる。距離画像データにノイズが発生した場合には、０−１遷移の数が大きくなる。そこで、設定値を超える数の０−１遷移を有する１または複数種類のＬＢＰが一のビンに集約されて設定される。それにより、検出対象物の有無の判定においてノイズの影響を抑制することができる。したがって、上記のように構成されたＬＢＰのヒストグラムの度数を複数の特徴量の値として用いることにより、計算量を増加させることなくかつ輪郭情報を損なうことなく、距離画像データにおけるノイズの影響を抑制することができる。その結果、検出対象物の有無を正確に判定することが可能となる。 Here, by using LBP, the contour of the detection object can be identified by the difference in distance between the detection object and the background. By reducing the size of the matching window for stereo matching, contour information useful for determining the presence / absence of the detection target can be obtained with high accuracy without increasing the amount of calculation in stereo matching. When noise occurs in the distance image data, the number of 0-1 transitions increases. Therefore, Ru is set are collected into one or more types of LBP is one bottle having a 0-1 transition of the number exceeds the set value. Thereby, the influence of noise can be suppressed in the determination of the presence or absence of the detection target. Therefore, by using the frequency of the LBP histogram configured as described above as a plurality of feature values, the influence of noise in the distance image data is suppressed without increasing the amount of calculation and without degrading the contour information. can do. As a result, the presence / absence of the detection object can be accurately determined.

（２）処理部は、各特徴量の値がそれぞれ予め設定されたしきい値よりも大きいか否かに基づいて撮像対象が検出対象物を含むか否かを示す識別値を生成し、複数の特徴量についての識別値とそれぞれ予め設定された重み付け係数との積の合計に基づいて検出対象物の有無を判定するように構成されてもよい。 (2) The processing unit generates an identification value indicating whether or not the imaging target includes a detection target based on whether or not the value of each feature amount is greater than a preset threshold value. The presence / absence of the detection target may be determined based on the sum of the products of the identification values of the feature amounts and weighting coefficients set in advance.

この場合、各特徴量についてのしきい値を適切に設定するとともに各識別値に対応する重み付け係数を適切に設定することにより、検出対象物の有無をより正確に判定することができる。 In this case, the presence / absence of the detection target can be more accurately determined by appropriately setting the threshold value for each feature amount and appropriately setting the weighting coefficient corresponding to each identification value.

（３）しきい値、および複数の特徴量についての識別値に対応する重み付け係数は、検出対象物を含む複数の画像および検出対象物を含まない複数の画像を用いた学習により予め設定されてもよい。 (3) The threshold value and the weighting coefficient corresponding to the identification values for the plurality of feature amounts are set in advance by learning using a plurality of images including the detection target object and a plurality of images not including the detection target object. Also good.

この場合、検出対象物の有無の判定精度が高くなるように各特徴量についてのしきい値および重み付け係数を設定することが可能となる。それにより、検出対象物の有無をより正確に判定することができる。 In this case, it is possible to set the threshold value and the weighting coefficient for each feature amount so that the determination accuracy of the presence / absence of the detection object is high. Thereby, the presence or absence of the detection target can be determined more accurately.

（４）処理部は、距離画像生成部により生成された距離画像データに、複数の単位領域をそれぞれ含む複数の検出窓を位置および面積の少なくとも一方が異なるように順次設定し、各検出窓について検出対象物の有無を判定するように構成されてもよい。 (4) The processing unit sequentially sets a plurality of detection windows each including a plurality of unit regions in the distance image data generated by the distance image generation unit so that at least one of the position and the area is different, and for each detection window You may be comprised so that the presence or absence of a detection target object may be determined.

この場合、任意の位置にある検出対象物または任意の大きさを有する検出対象物を正確に検出することができる。 In this case, a detection target at an arbitrary position or a detection target having an arbitrary size can be accurately detected.

（５）処理部は、複数の検出窓に含まれる複数の単位領域の数が等しくなるように各単位領域に含まれる画素の数を調整し、各ヒストグラムを対応する単位領域に含まれる画素の数を用いて正規化するように構成されてもよい。 (5) The processing unit adjusts the number of pixels included in each unit region so that the number of the plurality of unit regions included in the plurality of detection windows is equal, and sets each histogram of pixels included in the corresponding unit region. It may be configured to normalize using numbers.

この場合、複数の検出窓の面積が異なる場合でも、予め定められた数の特徴量を正確に選択することができる。 In this case, even when the areas of the plurality of detection windows are different, a predetermined number of feature amounts can be accurately selected.

（６）第２の発明に係る対象物検出方法は、撮像対象が予め定められた検出対象物を含むか否かを判定する対象物検出方法であって、異なる複数の位置に配置された複数の画像取得部により撮像対象の画像を撮像画像データとしてそれぞれ取得するステップと、取得された複数の撮像画像データを用いたステレオマッチングにより撮像対象までの距離を示す距離画像を距離画像データとして生成するステップと、生成された距離画像データに基づいて撮像対象が検出対象物を含むか否かを判定するステップとを備え、撮像対象が検出対象物を含むか否かを判定するステップは、生成された距離画像データに複数の画素から構成される複数の単位領域を設定するステップと、各単位領域の複数の画素についてＬＢＰ（ローカルバイナリパターン）を生成するステップと、各単位領域について複数種類のＬＢＰのヒストグラムを作成し、各ヒストグラムにおいて設定値以下の数の０−１遷移を有する複数種類のＬＢＰをそれぞれ複数のビンに設定するとともに設定値を超える数の０−１遷移を有する１または複数種類のＬＢＰを一のビンに集約して設定するステップと、複数の単位領域についての複数のヒストグラムの複数のビンのうち予め選択された複数のビンに対応する複数種類のＬＢＰの度数を複数の特徴量の値として用いて検出対象物の有無を判定するステップとを含むものである。 (6) The object detection method according to the second invention is an object detection method for determining whether or not an imaging target includes a predetermined detection object, and is a plurality of objects arranged at a plurality of different positions. Each acquiring an image to be imaged as captured image data by the image acquisition unit, and generating a distance image indicating the distance to the imaged object as distance image data by stereo matching using the plurality of acquired image data A step of determining whether the imaging target includes a detection target based on the generated distance image data, and determining whether the imaging target includes a detection target is generated. Setting a plurality of unit areas composed of a plurality of pixels in the distance image data, and a LBP (local binary pattern) for a plurality of pixels in each unit area Generating a histogram of a plurality of types of LBPs for each unit area, and setting each of the plurality of types of LBPs having 0-1 transitions equal to or less than a set value in each histogram to a plurality of bins and setting values A step of aggregating and setting one or a plurality of types of LBPs having more than 0-1 transitions in one bin, and a plurality of pre-selected plurality of bins of a plurality of histograms for a plurality of unit regions And determining the presence / absence of a detection object using the frequencies of a plurality of types of LBPs corresponding to a bin as values of a plurality of feature amounts.

その対象物検出方法によれば、ＬＢＰを用いることにより検出対象物の輪郭を検出対象物と背景との距離差により識別することができる。ステレオマッチングのマッチング窓のサイズを小さくすることにより、ステレオマッチングにおける計算量を増加させることなく検出対象物の有無の判定に有用な輪郭情報を高精度で得ることができる。距離画像データにノイズが発生した場合には、０−１遷移の数が大きくなる。そこで、設定値を超える数の０−１遷移を有する１または複数種類のＬＢＰが一のビンに集約されて設定される。それにより、検出対象物の有無の判定においてノイズの影響を抑制することができる。したがって、上記のように構成されたＬＢＰのヒストグラムの度数を複数の特徴量の値として用いることにより、計算量を増加させることなくかつ輪郭情報を損なうことなく、距離画像データにおけるノイズの影響を抑制することができる。その結果、検出対象物の有無を正確に判定することが可能となる。 According to the object detection method, the contour of the detection object can be identified by the difference in distance between the detection object and the background by using LBP. By reducing the size of the matching window for stereo matching, contour information useful for determining the presence / absence of the detection target can be obtained with high accuracy without increasing the amount of calculation in stereo matching. When noise occurs in the distance image data, the number of 0-1 transitions increases. Therefore, Ru is set are collected into one or more types of LBP is one bottle having a 0-1 transition of the number exceeds the set value. Thereby, the influence of noise can be suppressed in the determination of the presence or absence of the detection target. Therefore, by using the frequency of the LBP histogram configured as described above as a plurality of feature values, the influence of noise in the distance image data is suppressed without increasing the amount of calculation and without degrading the contour information. can do. As a result, the presence / absence of the detection object can be accurately determined.

（７）検出対象物の有無を判定するステップは、各特徴量の値がそれぞれ予め設定されたしきい値よりも大きいか否かに基づいて撮像対象が検出対象物を含むか否かを示す識別値を生成するステップと、複数の特徴量についての識別値とそれぞれ予め設定された重み付け係数との積の合計に基づいて検出対象物の有無を判定するステップとを含んでもよい。 (7) The step of determining the presence or absence of the detection target object indicates whether or not the imaging target includes the detection target object based on whether or not each feature value is larger than a preset threshold value. You may include the step which produces | generates an identification value, and the step which determines the presence or absence of a detection target based on the sum total of the product of the identification value about a some feature-value, and the respectively set weighting coefficient.

（８）対象物検出方法は、しきい値、および複数の特徴量についての識別値に対応する重み付け係数を、検出対象物を含む複数の画像および検出対象物を含まない複数の画像を用いた学習により予め設定するステップをさらに備えてもよい。 (8) In the object detection method, a plurality of images including the detection object and a plurality of images not including the detection object are used as the weighting coefficient corresponding to the threshold value and the identification value for the plurality of feature amounts. You may further provide the step preset by learning.

（９）学習にはアダブーストが適用されてもよい。この場合、検出対象物の有無の判定の結果が環境変動の影響を受けにくくなる。 (9) Adaboost may be applied to learning. In this case, the result of the determination of the presence / absence of the detection target is less affected by environmental fluctuations.

（１０）第３の発明に係る対象物検出プログラムは、撮像対象が予め定められた検出対象物を含むか否かを判定するために、コンピュータにより実行可能な対象物検出プログラムであって、異なる複数の位置に配置された複数の画像取得部により撮像対象の画像を撮像画像データとしてそれぞれ取得する処理と、取得された複数の撮像画像データを用いたステレオマッチングにより撮像対象までの距離を示す距離画像を距離画像データとして生成するステップと、生成された距離画像データに基づいて撮像対象が検出対象物を含むか否かを判定する処理とを、コンピュータに実行させ、撮像対象が検出対象物を含むか否かを判定する処理は、生成された距離画像データに複数の画素から構成される複数の単位領域を設定する処理と、各単位領域の複数の画素についてＬＢＰ（ローカルバイナリパターン）を生成する処理と、各単位領域について複数種類のＬＢＰのヒストグラムを作成し、各ヒストグラムにおいて設定値以下の数の０−１遷移を有する複数種類のＬＢＰをそれぞれ複数のビンに設定するとともに設定値を超える数の０−１遷移を有する１または複数種類のＬＢＰを一のビンに集約して設定する処理と、複数の単位領域についての複数のヒストグラムの複数のビンのうち予め選択された複数のビンに対応する複数種類のＬＢＰの度数を複数の特徴量の値として用いて検出対象物の有無を判定する処理とを含むものである。 (10) The object detection program according to the third invention is an object detection program that can be executed by a computer in order to determine whether or not the imaging target includes a predetermined detection object, and is different. A distance indicating the distance to the imaging target by a process of acquiring the imaging target image as captured image data by a plurality of image acquisition units arranged at a plurality of positions, and stereo matching using the acquired plurality of captured image data A step of generating an image as distance image data and a process of determining whether or not the imaging target includes a detection target based on the generated distance image data are executed by a computer, and the imaging target determines the detection target. The process for determining whether or not to include a process for setting a plurality of unit areas composed of a plurality of pixels in the generated distance image data, A process of generating LBP (local binary pattern) for a plurality of pixels and a histogram of a plurality of types of LBPs for each unit region, and a plurality of types of LBPs having 0-1 transitions equal to or less than a set value in each histogram Are set to a plurality of bins and one or more types of LBPs having 0-1 transitions exceeding the set value are aggregated and set in one bin, and a plurality of histograms for a plurality of unit regions are set . And a process of determining the presence / absence of a detection object using the frequencies of a plurality of types of LBPs corresponding to a plurality of bins selected in advance as a plurality of feature values.

その対象物検出プログラムによれば、ＬＢＰを用いることにより検出対象物の輪郭を検出対象物と背景との距離差により識別することができる。ステレオマッチングのマッチング窓のサイズを小さくすることにより、ステレオマッチングにおける計算量を増加させることなく検出対象物の有無の判定に有用な輪郭情報を高精度で得ることができる。距離画像データにノイズが発生した場合には、０−１遷移の数が大きくなる。そこで、設定値を超える数の０−１遷移を有する１または複数種類のＬＢＰが一のビンに集約して設定される。それにより、検出対象物の有無の判定においてノイズの影響を抑制することができる。したがって、上記のように構成されたＬＢＰのヒストグラムの度数を複数の特徴量の値として用いることにより、計算量を増加させることなくかつ輪郭情報を損なうことなく、距離画像データにおけるノイズの影響を抑制することができる。その結果、検出対象物の有無を正確に判定することが可能となる。 According to the object detection program, the contour of the detection object can be identified by the difference in distance between the detection object and the background by using LBP. By reducing the size of the matching window for stereo matching, contour information useful for determining the presence / absence of the detection target can be obtained with high accuracy without increasing the amount of calculation in stereo matching. When noise occurs in the distance image data, the number of 0-1 transitions increases. Therefore, one or a plurality of types of LBPs having 0-1 transitions exceeding the set value are aggregated and set in one bin. Thereby, the influence of noise can be suppressed in the determination of the presence or absence of the detection target. Therefore, by using the frequency of the LBP histogram configured as described above as a plurality of feature values, the influence of noise in the distance image data is suppressed without increasing the amount of calculation and without degrading the contour information. can do. As a result, the presence / absence of the detection object can be accurately determined.

（１１）第４の発明に係る自動走行車両は、予め定められた経路を移動可能に構成された本体部と、本体部を移動させるように構成された駆動部と、第１の発明に係る対象物検出装置と、対象物検出装置の判定結果に基づいて駆動部を制御する制御部とを備えるものである。 (11) An automatic traveling vehicle according to a fourth invention relates to a main body configured to be movable along a predetermined route, a drive unit configured to move the main body, and the first invention The apparatus includes an object detection device and a control unit that controls the drive unit based on the determination result of the object detection device.

その自動走行車両においては、上記の対象物検出装置が用いられるので、計算量を増加させることなくかつ輪郭情報を損なうことなく、距離画像データにおけるノイズの影響を抑制することができる。その結果、検出対象物の有無を正確に判定することが可能となる。 In the automatic traveling vehicle, since the object detection device described above is used, it is possible to suppress the influence of noise in the distance image data without increasing the amount of calculation and without damaging the contour information. As a result, the presence / absence of the detection object can be accurately determined.

（１２）本体部は、予め定められた経路を移動可能に構成されてもよい。この場合、対象物検出装置により検出対象物の有無を正確に判定することが可能となる。 (12) The main body may be configured to be movable along a predetermined route. In this case, the presence / absence of the detection target can be accurately determined by the target detection device.

本発明によれば、計算量を増加させることなくかつ輪郭情報を損なうことなく、距離画像データにおけるノイズの影響を抑制することができる。その結果、検出対象物の有無を正確に判定することが可能となる。 According to the present invention, it is possible to suppress the influence of noise in distance image data without increasing the amount of calculation and without damaging the contour information. As a result, the presence / absence of the detection object can be accurately determined.

本実施の形態に係るゴルフカートの外観側面図である。1 is an external side view of a golf cart according to an embodiment. ゴルフカートの内部構成を示すブロック図である。It is a block diagram which shows the internal structure of a golf cart. 演算処理部の構成を示すブロック図である。It is a block diagram which shows the structure of an arithmetic processing part. 対象物検出装置の構成を示す機能ブロック図である。It is a functional block diagram which shows the structure of a target object detection apparatus. （ａ），（ｂ）は、それぞれカメラより得られる左画像および右画像の一例を示す図である。(A), (b) is a figure which shows an example of the left image and right image which are respectively obtained from a camera. （ａ），（ｂ）は、それぞれ左マッチング窓および右マッチング窓を示す模式図である。(A), (b) is a schematic diagram which shows a left matching window and a right matching window, respectively. 距離画像データにより表される距離画像の一例を示す図である。It is a figure which shows an example of the distance image represented by distance image data. ＬＢＰの生成方法を説明するための模式図である。It is a schematic diagram for demonstrating the production | generation method of LBP. バイ・リニア内挿による複数の画素部分の値の取得を示す模式図である。It is a schematic diagram which shows acquisition of the value of the several pixel part by bilinear interpolation. （ａ），（ｂ）は、距離画像に設定された検出窓の例を示す図である。(A), (b) is a figure which shows the example of the detection window set to the distance image. 図１０（ａ）の検出窓の構成を示す模式図である。It is a schematic diagram which shows the structure of the detection window of Fig.10 (a). 図１０（ｂ）の検出窓の構成を示す模式図である。It is a schematic diagram which shows the structure of the detection window of FIG.10 (b). １つのセルを示す図である。It is a figure which shows one cell. １つのセルについてのＬＢＰのヒストグラムの一例を示す図である。It is a figure which shows an example of the histogram of LBP about one cell. １つの検出窓についての特徴量を示す図であるIt is a figure which shows the feature-value about one detection window. 図４の演算処理部により行われる対象物検出処理を示すフローチャートである。It is a flowchart which shows the target object detection process performed by the arithmetic processing part of FIG. アダブーストによる学習を示すフローチャートである。It is a flowchart which shows learning by Adaboost. １つの特徴量についての全ポジティブサンプルおよび全ネガティブサンプルのヒストグラムの例を示す図である。It is a figure which shows the example of the histogram of all the positive samples about one feature-value, and all the negative samples.

以下、本発明の一実施の形態に係る対象物検出装置およびそれを備えた自動走行車両について図面を参照しながら説明する。以下の実施の形態では、自動走行車両の一例としてゴルフカートについて説明する。 Hereinafter, an object detection device according to an embodiment of the present invention and an automatic traveling vehicle including the same will be described with reference to the drawings. In the following embodiments, a golf cart will be described as an example of an autonomous vehicle.

（１）ゴルフカートの構成
図１は、本実施の形態に係るゴルフカートの外観側面図である。図１に示すように、ゴルフカート１００は、車体２０、一対の前輪１１および一対の後輪１２を有する。車体２０は、下部車体２０ａ、左右側の支持枠２０ｂおよび屋根部２０ｃを有する。下部車体２０ａの四隅から上方に延びるように支持枠２０ｂが設けられ、支持枠２０ｂの上端部に屋根部２０ｃが取り付けられる。一対の前輪１１および一対の後輪１２は、車体２０を支持するように下部車体２０ａのそれぞれ前端部および後端部に回転可能に取り付けられる。左側の支持枠２０ｂには、左画像用のカメラ１Ｌが取り付けられる。右側の支持枠２０ｂには、右画像用のカメラ１Ｒが取り付けられる。図１には、右側の支持枠２０ｂおよび右画像用のカメラ１Ｒは図示されていない。カメラ１Ｌ，１Ｒは例えばＣＣＤ（電荷結合素子）カメラである。 (1) Configuration of Golf Cart FIG. 1 is an external side view of a golf cart according to the present embodiment. As shown in FIG. 1, the golf cart 100 includes a vehicle body 20, a pair of front wheels 11, and a pair of rear wheels 12. The vehicle body 20 includes a lower vehicle body 20a, left and right support frames 20b, and a roof portion 20c. Support frames 20b are provided so as to extend upward from the four corners of the lower vehicle body 20a, and a roof portion 20c is attached to the upper end of the support frame 20b. The pair of front wheels 11 and the pair of rear wheels 12 are rotatably attached to the front end portion and the rear end portion of the lower vehicle body 20a so as to support the vehicle body 20, respectively. A left image camera 1L is attached to the left support frame 20b. The right image camera 1R is attached to the right support frame 20b. In FIG. 1, the right support frame 20b and the right image camera 1R are not shown. The cameras 1L and 1R are, for example, CCD (charge coupled device) cameras.

下部車体２０ａ上の略中央部には前部シート１３が設けられ、下部車体２０ａ上の後部には後部シート１４が設けられる。前部シート１３の前方にはハンドル１５が設けられる。前部シート１３に着座する搭乗者がハンドル１５を操作することにより、前輪１１の向きが調整され、ゴルフカート１００の操舵が行われる。下部車体２０ａの後端部には、ゴルフバッグ等を載置するためのキャリア１６が設けられる。 A front seat 13 is provided at a substantially central portion on the lower vehicle body 20a, and a rear seat 14 is provided at a rear portion on the lower vehicle body 20a. A handle 15 is provided in front of the front seat 13. When the passenger sitting on the front seat 13 operates the handle 15, the direction of the front wheel 11 is adjusted, and the golf cart 100 is steered. A carrier 16 for placing a golf bag or the like is provided at the rear end of the lower vehicle body 20a.

本実施の形態に係るゴルフカート１００は、搭乗者の任意の選択により、自動走行モードおよび手動走行モードのいずれかで動作を行う。自動走行モードでは、ゴルフカート１００は予め定められた経路を自動的に走行する。手動走行モードでは、搭乗者によりハンドル１５ならびに後述のアクセルペダルおよびブレーキペダルが操作される。 Golf cart 100 according to the present embodiment operates in either an automatic travel mode or a manual travel mode, depending on a passenger's arbitrary selection. In the automatic travel mode, the golf cart 100 automatically travels on a predetermined route. In the manual travel mode, the handle 15 and an accelerator pedal and a brake pedal described later are operated by the passenger.

図２は、ゴルフカート１００の内部構成を示すブロック図である。図２に示すように、ゴルフカート１００は、対象物検出装置１０、車両制御部５０、バッテリ５１、駆動モータ２１、トランスミッション２２、電磁ブレーキ２３、アクセルペダル２４、ブレーキペダル２５およびブレーキ駆動部２６を備える。 FIG. 2 is a block diagram showing the internal configuration of the golf cart 100. As shown in FIG. 2, the golf cart 100 includes an object detection device 10, a vehicle control unit 50, a battery 51, a drive motor 21, a transmission 22, an electromagnetic brake 23, an accelerator pedal 24, a brake pedal 25, and a brake drive unit 26. Prepare.

対象物検出装置１０は、左画像用のカメラ１Ｌ、右画像用のカメラ１Ｒ、左画像用の画像メモリ２Ｌ、右画像用の画像メモリ２Ｒ、演算処理部３０および外部記憶装置４０を含む。 The object detection device 10 includes a left image camera 1L, a right image camera 1R, a left image image memory 2L, a right image image memory 2R, an arithmetic processing unit 30, and an external storage device 40.

車両制御部５０は、バッテリ５１の充放電制御を行うとともに、バッテリ５１の電力を用いて後述の各部の動作を制御する。 The vehicle control unit 50 performs charge / discharge control of the battery 51 and controls the operation of each unit described later using the power of the battery 51.

駆動モータ２１、トランスミッション２２および電磁ブレーキ２３は、ゴルフカート１００の後部に設けられる。後輪１２の車軸１２ａにトランスミッション２２が接続され、駆動モータ２１および電磁ブレーキ２３がトランスミッション２２に取り付けられる。駆動モータ２１の回転力は、トランスミッション２２を介して後輪１２の車軸１２ａに伝達される。それにより、後輪１２が駆動される。 The drive motor 21, the transmission 22 and the electromagnetic brake 23 are provided at the rear part of the golf cart 100. A transmission 22 is connected to the axle 12 a of the rear wheel 12, and a drive motor 21 and an electromagnetic brake 23 are attached to the transmission 22. The rotational force of the drive motor 21 is transmitted to the axle 12 a of the rear wheel 12 via the transmission 22. Thereby, the rear wheel 12 is driven.

ゴルフカート１００の停止動作時には、電磁ブレーキ２３が作動して駆動モータ２１の回転を制止する。 During the stop operation of the golf cart 100, the electromagnetic brake 23 is operated to stop the rotation of the drive motor 21.

アクセルペダル２４およびブレーキペダル２５は、ゴルフカート１００の前部に設けられ、前部シート１３（図１）に着座する搭乗者により操作される。アクセルペダル２４にはアクセルセンサ２４ａが接続される。アクセルペダル２４の踏み込み量がアクセルセンサ２４ａにより検出され、その検出値が車両制御部５０に与えられる。車両制御部５０は、アクセルセンサ２４ａの検出値に基づいて駆動モータ２１を制御する。 The accelerator pedal 24 and the brake pedal 25 are provided at the front portion of the golf cart 100 and are operated by a passenger sitting on the front seat 13 (FIG. 1). An accelerator sensor 24 a is connected to the accelerator pedal 24. The depression amount of the accelerator pedal 24 is detected by the accelerator sensor 24a, and the detected value is given to the vehicle control unit 50. The vehicle control unit 50 controls the drive motor 21 based on the detection value of the accelerator sensor 24a.

ブレーキペダル２５はブレーキ駆動部２６に接続される。一対の前輪１１および一対の後輪１２の各々には、ディスクブレーキ等のブレーキ機構ＢＭが取り付けられる。ブレーキ駆動部２６はこれらのブレーキ機構ＢＭに接続される。搭乗者によってブレーキペダル２５が踏み込まれると、ブレーキ駆動部２６が各ブレーキ機構ＢＭを駆動して前輪１１および後輪１２を制動する。また、ブレーキ駆動部２６は車両制御部５０により制御される。 The brake pedal 25 is connected to the brake drive unit 26. A brake mechanism BM such as a disc brake is attached to each of the pair of front wheels 11 and the pair of rear wheels 12. The brake drive unit 26 is connected to these brake mechanisms BM. When the brake pedal 25 is depressed by the passenger, the brake drive unit 26 drives each brake mechanism BM to brake the front wheels 11 and the rear wheels 12. The brake drive unit 26 is controlled by the vehicle control unit 50.

車両制御部５０には、誘導線センサＳ１が電気的に接続される。ゴルフ場には、ゴルフカート１００が予め定められた経路を１方向（予め決められた方向）に走行するようにゴルフカート１００を誘導するための電磁誘導線（図示せず）が埋設されている。その電磁誘導線が誘導線センサＳ１によって磁気的に検出され、誘導線センサＳ１から車両制御部５０に検出信号が与えられる。自動走行モードでは、車両制御部５０が誘導線センサＳ１からの検出信号に基づいて図示しない操舵機構を制御する。それにより、ゴルフカート１００が予め定められた経路から逸脱することなく走行する。 The vehicle control unit 50 is electrically connected to the guide wire sensor S1. An electromagnetic induction line (not shown) for guiding the golf cart 100 is embedded in the golf course so that the golf cart 100 travels in one direction (predetermined direction) along a predetermined route. . The electromagnetic induction line is magnetically detected by the induction line sensor S1, and a detection signal is given to the vehicle control unit 50 from the induction line sensor S1. In the automatic travel mode, the vehicle control unit 50 controls a steering mechanism (not shown) based on the detection signal from the guide wire sensor S1. Thereby, the golf cart 100 travels without departing from a predetermined route.

（２）演算処理部３０の構成
図３は、演算処理部３０の構成を示すブロック図である。図３に示すように、演算処理部３０は、例えば、入出力インタフェース３１、ＣＰＵ（中央演算処理装置）３２、ＲＯＭ（リードオンリメモリ）３３、ＲＡＭ（ランダムアクセスメモリ）３４および内部バス３５を含む。入出力インタフェース３１、ＣＰＵ３２、ＲＯＭ３３およびＲＡＭ３４は内部バス３５に接続される。 (2) Configuration of Arithmetic Processing Unit 30 FIG. 3 is a block diagram showing the configuration of the arithmetic processing unit 30. As shown in FIG. 3, the arithmetic processing unit 30 includes, for example, an input / output interface 31, a CPU (central processing unit) 32, a ROM (read only memory) 33, a RAM (random access memory) 34, and an internal bus 35. . The input / output interface 31, the CPU 32, the ROM 33 and the RAM 34 are connected to the internal bus 35.

画像メモリ２Ｌ，２Ｒは、例えば半導体メモリおよびハードディスク等の記憶媒体からなる。外部記憶装置４０は、例えばハードディスクまたは半導体メモリ等の記憶媒体からなる。 The image memories 2L and 2R are composed of storage media such as a semiconductor memory and a hard disk, for example. The external storage device 40 is composed of a storage medium such as a hard disk or a semiconductor memory.

画像メモリ２Ｌ，２Ｒおよび外部記憶装置４０は、入出力インタフェース３１に接続される。ＲＯＭ３３には、システムプログラムが記憶される。ＣＰＵ３２は、ＲＯＭ３３または外部記憶装置４０に記憶される対象物検出プログラムをＲＡＭ３４上で実行することにより後述する対象物検出処理を実行する。 The image memories 2L and 2R and the external storage device 40 are connected to the input / output interface 31. The ROM 33 stores a system program. The CPU 32 executes an object detection process to be described later by executing an object detection program stored in the ROM 33 or the external storage device 40 on the RAM 34 .

（３）対象物検出装置１０の構成
図４は、対象物検出装置１０の構成を示す機能ブロック図である。図４に示すように、演算処理部３０は、ステレオマッチング部３、ＬＢＰ（ローカルバイナリパターン）生成部４、対象物検出窓設定部５および対象物検出部６を含む。ステレオマッチング部３、ＬＢＰ生成部４、対象物検出窓設定部５および対象物検出部６は対象物検出プログラムを構成するモジュールに相当する。この場合、図３のＣＰＵ３２がＲＯＭ３３または外部記憶装置４０に記憶される対象物検出プログラムを実行することによりステレオマッチング部３、ＬＢＰ生成部４、対象物検出窓設定部５および対象物検出部６の機能が実現される。 (3) Configuration of Object Detection Device 10 FIG. 4 is a functional block diagram showing the configuration of the object detection device 10. As shown in FIG. 4, the arithmetic processing unit 30 includes a stereo matching unit 3, an LBP (local binary pattern) generation unit 4, an object detection window setting unit 5, and an object detection unit 6. The stereo matching unit 3, the LBP generation unit 4, the object detection window setting unit 5, and the object detection unit 6 correspond to modules constituting the object detection program. In this case, the stereo matching unit 3, the LBP generation unit 4, the object detection window setting unit 5, and the object detection unit 6 are executed by the CPU 32 in FIG. 3 executing the object detection program stored in the ROM 33 or the external storage device 40. The function is realized.

対象物検出用辞書８は、図３の外部記憶装置４０内に構築される。対象物検出用辞書８には、予め学習により取得された対象物検出用情報が格納される。対象物検出用情報については、後述する。 The object detection dictionary 8 is constructed in the external storage device 40 of FIG. The object detection dictionary 8 stores object detection information acquired in advance by learning. The object detection information will be described later.

カメラ１Ｌ，１Ｒは、ゴルフカート１００の撮像対象である前方の空間の物体および背景を撮像する。カメラ１Ｌにより得られる画像（以下、左画像と呼ぶ。）は、左画像データＬＶとして画像メモリ２Ｌに与えられる。カメラ１Ｒにより得られる画像（以下、右画像と呼ぶ。）は、右画像データＲＶとして画像メモリ２Ｒに与えられる。画像メモリ２Ｌはカメラ１Ｌから与えられる左画像データＬＶを記憶し、画像メモリ２Ｒはカメラ１Ｒから与えられる右画像データＲＶを記憶する。 The cameras 1 </ b> L and 1 </ b> R take an image of an object and a background in the front space that is an imaging target of the golf cart 100. An image (hereinafter referred to as a left image) obtained by the camera 1L is given to the image memory 2L as left image data LV. An image (hereinafter referred to as a right image) obtained by the camera 1R is given to the image memory 2R as right image data RV. The image memory 2L stores the left image data LV given from the camera 1L, and the image memory 2R stores the right image data RV given from the camera 1R.

ステレオマッチング部３は、画像メモリ２Ｌに記憶された左画像データＬＶおよび画像メモリ２Ｒに記憶された右画像データＲＶに基づいて、ステレオマッチングにより距離画像を示す距離画像データＤＶを生成する。ＬＢＰ生成部４は、ステレオマッチング部３により生成された距離画像データＤＶに関するＬＢＰ（ローカルバイナリパターン）を生成する。ＬＢＰの生成方法については後述する。また、ＬＢＰ生成部４、対象物検出窓設定部５および対象物検出部６の動作については後述する。 The stereo matching unit 3 generates distance image data DV indicating a distance image by stereo matching based on the left image data LV stored in the image memory 2L and the right image data RV stored in the image memory 2R. The LBP generation unit 4 generates an LBP (local binary pattern) related to the distance image data DV generated by the stereo matching unit 3. The LBP generation method will be described later. The operations of the LBP generation unit 4, the object detection window setting unit 5, and the object detection unit 6 will be described later.

対象物検出部６は、撮像対象が検出対象物を含むか否かを判定し、判定結果を車両制御部５０に出力する。本実施の形態では、検出対象物は人間である。車両制御部５０は、対象物検出部６の判定結果に基づいて駆動モータ２１および電磁ブレーキ２３を制御する。例えば、撮像対象が検出対象物を含む場合には、車両制御部５０はゴルフカート１００を減速もしくは停止させ、または警報を発生する。 The object detection unit 6 determines whether or not the imaging target includes the detection object, and outputs the determination result to the vehicle control unit 50. In the present embodiment, the detection target is a human. The vehicle control unit 50 controls the drive motor 21 and the electromagnetic brake 23 based on the determination result of the object detection unit 6. For example, when the imaging target includes a detection target, the vehicle control unit 50 decelerates or stops the golf cart 100 or generates an alarm.

（４）ステレオマッチング
次に、図５および図６を参照しながらステレオマッチングについて説明する。図５（ａ），（ｂ）は、それぞれカメラ１Ｌ，１Ｒにより得られる左画像ＬＩおよび右画像ＲＩの一例を示す図である。左画像ＬＩは、左画像データＬＶに基づいて表示され、右画像ＲＩは右画像データＲＶに基づいて表示される。図５には、矢印によりＸ方向（水平方向）およびＹ方向（垂直方向）が示される。 (4) Stereo matching Next, stereo matching is demonstrated, referring FIG. 5 and FIG. FIGS. 5A and 5B are diagrams showing examples of the left image LI and the right image RI obtained by the cameras 1L and 1R, respectively. The left image LI is displayed based on the left image data LV, and the right image RI is displayed based on the right image data RV. In FIG. 5, the X direction (horizontal direction) and the Y direction (vertical direction) are indicated by arrows.

図５（ａ）に示すように、左画像ＬＩには、左マッチング窓ＬＭが設定され、図５（ｂ）に示すように、右画像ＲＩには、右マッチング窓ＲＭが設定される。 As shown in FIG. 5A, the left matching window LM is set in the left image LI, and as shown in FIG. 5B, the right matching window RM is set in the right image RI.

図４のステレオマッチング部３は、左マッチング窓ＬＭを左画像ＬＩ上でＸ方向に左から右に１画素ずつ移動させた後、Ｙ方向に下へ１画素移動させ、Ｘ方向に左から右に１画素ずつ移動させる。ステレオマッチング部３は、この操作を繰り返すことにより、左マッチング窓ＬＭを左画像ＬＩの全範囲で移動させる。 The stereo matching unit 3 in FIG. 4 moves the left matching window LM one pixel at a time from left to right in the X direction on the left image LI, and then moves one pixel downward in the Y direction, and from left to right in the X direction. Are moved one pixel at a time. By repeating this operation, the stereo matching unit 3 moves the left matching window LM over the entire range of the left image LI.

ステレオマッチング部３は、左マッチング窓ＬＭが各位置にあるときに、右マッチング窓ＲＭを右画像ＲＩ上で移動させ、左マッチング窓ＬＭ内の左画像データＬＶと右マッチング窓ＲＭ内の右画像データＲＶとの一致度合いが最大となる右マッチング窓ＲＭの位置を探索する。 The stereo matching unit 3 moves the right matching window RM on the right image RI when the left matching window LM is at each position, and the left image data LV in the left matching window LM and the right image in the right matching window RM. The position of the right matching window RM that maximizes the degree of coincidence with the data RV is searched.

図６（ａ），（ｂ）は、それぞれ左マッチング窓ＬＭおよび右マッチング窓ＲＭを示す模式図である。図６に示すように、左マッチング窓ＬＭおよび右マッチング窓ＲＭは、同じサイズの矩形形状を有し、同じ数の画素を含む。図６（ａ）の例では、左マッチング窓ＬＭはｍ個の画素に対応する左画像データＬ_１〜Ｌ_ｍを含む。ここで、ｍは例えば４以上の整数である。同様に、図６（ｂ）の例では、右マッチング窓ＲＭはｍ個の画素に対応する右画像データＲ_１〜Ｒ_ｍを含む。左画像データＬ_１〜Ｌ_ｍおよび右画像データＲ_１〜Ｒ_ｍは、それぞれ左画像ＬＩおよび右画像ＲＩの各画素の輝度値を示す。
（１５）参考形態
第１の参考形態に係る対象物検出装置は、撮像対象が予め定められた検出対象物を含むか否かを判定する対象物検出装置であって、異なる複数の位置に配置され、撮像対象の画像を撮像画像データとしてそれぞれ取得する複数の画像取得部と、複数の画像取得部により取得された複数の撮像画像データを用いたステレオマッチングにより撮像対象までの距離を示す距離画像を距離画像データとして生成する距離画像生成部と、距離画像生成部により生成された距離画像データに基づいて撮像対象が検出対象物を含むか否かを判定する処理部とを備え、処理部は、距離画像生成部により生成された距離画像データの複数の画素についてＬＢＰ（ローカルバイナリパターン）を生成するとともに、距離画像生成部により生成された距離画像データに複数の画素から構成される複数の単位領域を設定し、各単位領域について複数種類のＬＢＰのヒストグラムを作成し、各ヒストグラムにおいて設定値以下の数の０−１遷移を有する複数種類のＬＢＰをそれぞれ複数のビンに設定するとともに設定値を超える数の０−１遷移を有する１または複数種類のＬＢＰを一のビンに集約し、複数の単位領域についての複数のヒストグラムにおける複数種類のＬＢＰの度数を複数の特徴量の値として用いて検出対象物の有無を判定するように構成されるものである。
その対象物検出装置においては、異なる複数の位置に配置された複数の画像取得部により撮像対象の画像が撮像画像データとしてそれぞれ取得される。取得された複数の撮像画像データを用いたステレオマッチングにより撮像対象までの距離を示す距離画像が距離画像生成部により距離画像データとして生成される。生成された距離画像データに基づいて撮像対象が検出対象物を含むか否かが処理部により判定される。
この場合、距離画像データの複数の画素についてＬＢＰが生成されるとともに、距離画像データに複数の画素から構成される複数の単位領域が設定され、各単位領域について複数種類のＬＢＰのヒストグラムが作成される。各ヒストグラムにおいて設定値以下の数の０−１遷移を有する複数種類のＬＢＰがそれぞれ複数のビンに設定されるとともに設定値を超える数の０−１遷移を有する１または複数種類のＬＢＰが一のビンに集約される。複数の単位領域についての複数のヒストグラムにおける複数種類のＬＢＰの度数を複数の特徴量の値として用いて検出対象物の有無が判定される。
ここで、ＬＢＰを用いることにより検出対象物の輪郭を検出対象物と背景との距離差により識別することができる。ステレオマッチングのマッチング窓のサイズを小さくすることにより、ステレオマッチングにおける計算量を増加させることなく検出対象物の有無の判定に有用な輪郭情報を高精度で得ることができる。距離画像データにノイズが発生した場合には、０−１遷移の数が大きくなる。そこで、設定値を超える数の０−１遷移を有する１または複数種類のＬＢＰが一のビンに集約される。それにより、検出対象物の有無の判定においてノイズの影響を抑制することができる。したがって、上記のように構成されたＬＢＰのヒストグラムの度数を複数の特徴量の値として用いることにより、計算量を増加させることなくかつ輪郭情報を損なうことなく、距離画像データにおけるノイズの影響を抑制することができる。その結果、検出対象物の有無を正確に判定することが可能となる。
第２の参考形態に係る対象物検出方法は、撮像対象が予め定められた検出対象物を含むか否かを判定する対象物検出方法であって、異なる複数の位置に配置された複数の画像取得部により撮像対象の画像を撮像画像データとしてそれぞれ取得するステップと、取得された複数の撮像画像データを用いたステレオマッチングにより撮像対象までの距離を示す距離画像を距離画像データとして生成するステップと、生成された距離画像データに基づいて撮像対象が検出対象物を含むか否かを判定するステップとを備え、撮像対象が検出対象物を含むか否かを判定するステップは、生成された距離画像データに複数の画素から構成される複数の単位領域を設定するステップと、各単位領域の複数の画素についてＬＢＰ（ローカルバイナリパターン）を生成するステップと、各単位領域について複数種類のＬＢＰのヒストグラムを作成し、各ヒストグラムにおいて設定値以下の数の０−１遷移を有する複数種類のＬＢＰをそれぞれ複数のビンに設定するとともに設定値を超える数の０−１遷移を有する１または複数種類のＬＢＰを一のビンに集約するステップと、複数の単位領域についての複数のヒストグラムにおける複数種類のＬＢＰの度数を複数の特徴量の値として用いて検出対象物の有無を判定するステップとを含むものである。
その対象物検出方法によれば、ＬＢＰを用いることにより検出対象物の輪郭を検出対象物と背景との距離差により識別することができる。ステレオマッチングのマッチング窓のサイズを小さくすることにより、ステレオマッチングにおける計算量を増加させることなく検出対象物の有無の判定に有用な輪郭情報を高精度で得ることができる。距離画像データにノイズが発生した場合には、０−１遷移の数が大きくなる。そこで、設定値を超える数の０−１遷移を有する１または複数種類のＬＢＰが一のビンに集約される。それにより、検出対象物の有無の判定においてノイズの影響を抑制することができる。したがって、上記のように構成されたＬＢＰのヒストグラムの度数を複数の特徴量の値として用いることにより、計算量を増加させることなくかつ輪郭情報を損なうことなく、距離画像データにおけるノイズの影響を抑制することができる。その結果、検出対象物の有無を正確に判定することが可能となる。
第３の参考形態に係る対象物検出プログラムは、撮像対象が予め定められた検出対象物を含むか否かを判定するために、コンピュータにより実行可能な対象物検出プログラムであって、異なる複数の位置に配置された画像取得部により撮像対象の画像を撮像画像データとしてそれぞれ取得する処理と、取得された複数の撮像画像データを用いたステレオマッチングにより撮像対象までの距離を示す距離画像を距離画像データとして生成するステップと、生成された距離画像データに基づいて撮像対象が検出対象物を含むか否かを判定する処理とを、コンピュータに実行させ、撮像対象が検出対象物を含むか否かを判定する処理は、生成された距離画像データに複数の画素から構成される複数の単位領域を設定する処理と、各単位領域の複数の画素についてＬＢＰ（ローカルバイナリパターン）を生成する処理と、各単位領域について複数種類のＬＢＰのヒストグラムを作成し、各ヒストグラムにおいて設定値以下の数の０−１遷移を有する複数種類のＬＢＰをそれぞれ複数のビンに設定するとともに設定値を超える数の０−１遷移を有する１または複数種類のＬＢＰを一のビンに集約する処理と、複数の単位領域についての複数のヒストグラムにおける複数種類のＬＢＰの度数を複数の特徴量の値として用いて検出対象物の有無を判定する処理とを含むものである。
その対象物検出プログラムによれば、ＬＢＰを用いることにより検出対象物の輪郭を検出対象物と背景との距離差により識別することができる。ステレオマッチングのマッチング窓のサイズを小さくすることにより、ステレオマッチングにおける計算量を増加させることなく検出対象物の有無の判定に有用な輪郭情報を高精度で得ることができる。距離画像データにノイズが発生した場合には、０−１遷移の数が大きくなる。そこで、設定値を超える数の０−１遷移を有する１または複数種類のＬＢＰが一のビンに集約される。それにより、検出対象物の有無の判定においてノイズの影響を抑制することができる。したがって、上記のように構成されたＬＢＰのヒストグラムの度数を複数の特徴量の値として用いることにより、計算量を増加させることなくかつ輪郭情報を損なうことなく、距離画像データにおけるノイズの影響を抑制することができる。その結果、検出対象物の有無を正確に判定することが可能となる。
第４の参考形態に係る自動走行車両は、予め定められた経路を移動可能に構成された本体部と、本体部を移動させるように構成された駆動部と、第１の参考形態に係る対象物検出装置と、対象物検出装置の判定結果に基づいて駆動部を制御する制御部とを備えるものである。
その自動走行車両においては、上記の対象物検出装置が用いられるので、計算量を増加させることなくかつ輪郭情報を損なうことなく、距離画像データにおけるノイズの影響を抑制することができる。その結果、検出対象物の有無を正確に判定することが可能となる。 FIGS. 6A and 6B are schematic diagrams showing the left matching window LM and the right matching window RM, respectively. As shown in FIG. 6, the left matching window LM and the right matching window RM have the same rectangular shape and include the same number of pixels. In the example of FIG. 6A, the left matching window LM includes left image data L _{1 to} L _m corresponding to m pixels. Here, m is an integer of 4 or more, for example. Similarly, in the example of FIG. 6B, the right matching window RM includes right image data R _{1 to} R _m corresponding to m pixels. The left image data L _{1 to} L _m and the right image data R _{1 to} R _m indicate the luminance value of each pixel of the left image LI and the right image RI, respectively.
(15) Reference form
An object detection device according to a first reference form is an object detection device that determines whether or not an imaging target includes a predetermined detection target, and is disposed at a plurality of different positions, A distance image indicating a distance to an imaging target by stereo matching using a plurality of image acquisition units that respectively acquire images as captured image data and a plurality of captured image data acquired by the plurality of image acquisition units as distance image data A distance image generation unit to generate, and a processing unit that determines whether or not the imaging target includes a detection target based on the distance image data generated by the distance image generation unit, the processing unit is a distance image generation unit The distance image data generated by the distance image generation unit and the LBP (local binary pattern) for the plurality of pixels of the distance image data generated by A plurality of unit regions composed of a plurality of pixels are set, a plurality of types of LBP histograms are created for each unit region, and a plurality of types of LBPs having a number of 0-1 transitions equal to or less than a set value in each histogram are respectively set. One or a plurality of types of LBPs that are set in a plurality of bins and have a number of 0-1 transitions exceeding the set value are aggregated into one bin, and the frequencies of the plurality of types of LBPs in a plurality of histograms for a plurality of unit areas are obtained. It is configured to determine the presence / absence of a detection target using a plurality of feature values.
In the target object detection apparatus, images of the imaging target are respectively acquired as captured image data by a plurality of image acquisition units arranged at a plurality of different positions. A distance image indicating a distance to the imaging target is generated as distance image data by the distance image generation unit by stereo matching using the plurality of acquired captured image data. The processing unit determines whether or not the imaging target includes a detection target based on the generated distance image data.
In this case, an LBP is generated for a plurality of pixels of the distance image data, a plurality of unit regions composed of a plurality of pixels are set in the distance image data, and a plurality of types of LBP histograms are created for each unit region. The In each histogram, a plurality of types of LBP having 0-1 transitions equal to or less than a set value are set in a plurality of bins, and one or more types of LBPs having 0-1 transitions exceeding the set value are one. Aggregated into bins. The presence / absence of a detection target is determined using the frequencies of a plurality of types of LBPs in a plurality of histograms for a plurality of unit areas as values of a plurality of feature amounts.
Here, by using LBP, the contour of the detection object can be identified by the difference in distance between the detection object and the background. By reducing the size of the matching window for stereo matching, contour information useful for determining the presence / absence of the detection target can be obtained with high accuracy without increasing the amount of calculation in stereo matching. When noise occurs in the distance image data, the number of 0-1 transitions increases. Therefore, one or a plurality of types of LBPs having 0-1 transitions exceeding the set value are collected in one bin. Thereby, the influence of noise can be suppressed in the determination of the presence or absence of the detection target. Therefore, by using the frequency of the LBP histogram configured as described above as a plurality of feature values, the influence of noise in the distance image data is suppressed without increasing the amount of calculation and without degrading the contour information. can do. As a result, the presence / absence of the detection object can be accurately determined.
The object detection method according to the second reference form is an object detection method for determining whether or not an imaging target includes a predetermined detection object, and a plurality of images arranged at a plurality of different positions. Acquiring each image of the imaging target by the acquisition unit as captured image data; generating a distance image indicating the distance to the imaging target by stereo matching using the plurality of acquired captured image data as distance image data; Determining whether or not the imaging target includes a detection target based on the generated distance image data, and determining whether or not the imaging target includes a detection target. A step of setting a plurality of unit areas composed of a plurality of pixels in the image data, and an LBP (local binary pattern) for a plurality of pixels in each unit area Generating a plurality of types of LBP histograms for each unit region, and setting each of the plurality of types of LBPs having 0-1 transitions equal to or less than a set value in each histogram to a plurality of bins and setting values Aggregating one or a plurality of types of LBPs having a greater number of 0-1 transitions into one bin, and using the frequencies of a plurality of types of LBPs in a plurality of histograms for a plurality of unit regions as values of a plurality of feature amounts And determining the presence or absence of the detection object.
According to the object detection method, the contour of the detection object can be identified by the difference in distance between the detection object and the background by using LBP. By reducing the size of the matching window for stereo matching, contour information useful for determining the presence / absence of the detection target can be obtained with high accuracy without increasing the amount of calculation in stereo matching. When noise occurs in the distance image data, the number of 0-1 transitions increases. Therefore, one or a plurality of types of LBPs having 0-1 transitions exceeding the set value are collected in one bin. Thereby, the influence of noise can be suppressed in the determination of the presence or absence of the detection target. Therefore, by using the frequency of the LBP histogram configured as described above as a plurality of feature values, the influence of noise in the distance image data is suppressed without increasing the amount of calculation and without degrading the contour information. can do. As a result, the presence / absence of the detection object can be accurately determined.
An object detection program according to the third reference form is an object detection program that can be executed by a computer to determine whether or not an imaging target includes a predetermined detection object. A distance image representing a distance image indicating a distance to the imaging target by processing of acquiring each of the imaging target images as captured image data by the image acquisition unit arranged at the position and stereo matching using the plurality of acquired captured image data Whether to generate a data and a process of determining whether the imaging target includes a detection target based on the generated distance image data, and whether the imaging target includes the detection target Is determined by setting a plurality of unit regions composed of a plurality of pixels in the generated distance image data, and a plurality of unit regions A process of generating an LBP (local binary pattern) for each element and a histogram of a plurality of types of LBPs for each unit region are created, and a plurality of types of LBPs each having a number of 0-1 transitions equal to or less than a set value in each histogram. A process of aggregating one or more types of LBPs having 0-1 transitions exceeding the set value into one bin, and the frequency of a plurality of types of LBPs in a plurality of histograms for a plurality of unit areas And determining the presence / absence of a detection object using a plurality of feature value values.
According to the object detection program, the contour of the detection object can be identified by the difference in distance between the detection object and the background by using LBP. By reducing the size of the matching window for stereo matching, contour information useful for determining the presence / absence of the detection target can be obtained with high accuracy without increasing the amount of calculation in stereo matching. When noise occurs in the distance image data, the number of 0-1 transitions increases. Therefore, one or a plurality of types of LBPs having 0-1 transitions exceeding the set value are collected in one bin. Thereby, the influence of noise can be suppressed in the determination of the presence or absence of the detection target. Therefore, by using the frequency of the LBP histogram configured as described above as a plurality of feature values, the influence of noise in the distance image data is suppressed without increasing the amount of calculation and without degrading the contour information. can do. As a result, the presence / absence of the detection object can be accurately determined.
An automatic traveling vehicle according to a fourth reference form includes a main body configured to be movable along a predetermined route, a drive unit configured to move the main body, and an object according to the first reference form. An object detection device and a control unit that controls the drive unit based on the determination result of the object detection device are provided.
In the automatic traveling vehicle, since the object detection device described above is used, it is possible to suppress the influence of noise in the distance image data without increasing the amount of calculation and without damaging the contour information. As a result, the presence / absence of the detection object can be accurately determined.

左マッチング窓ＬＭ内の左画像データＬ_１〜Ｌ_ｍと右マッチング窓ＲＭ内の右画像データＲ_１〜Ｒ_ｍとの一致度合いは、次式の絶対差合計ＳＡＤ(Sum of Absolute Difference)により求められる。次式におけるｉは１，２，・・・，ｍである。 The degree of coincidence between the left image data L _{1 to} L _m in the left matching window LM and the right image data R _{1 to} R _m in the right matching window RM is obtained by the sum of absolute differences SAD (Sum of Absolute Difference) of the following equation. It is done. I in the following equation is 1, 2,.

左マッチング窓ＬＭの各位置において、上式（１）の絶対差合計ＳＡＤが最小となる右マッチング窓ＲＭの位置が求められる。この場合、左画像ＬＩにおける左マッチング窓ＬＭの特定部分と右画像ＲＩにおける右マッチング窓ＲＭの特定部分とのずれ量が視差に相当する。特定部分は、例えば、中央部分または左上部分等である。左画像ＬＩまたは右画像ＲＩの各画素について視差が求められる。視差は、カメラ１Ｌ，１Ｒの拘束条件に基づいてカメラ１Ｌ，１Ｒからの奥行き方向（前方）の距離に変換される。それにより、距離画像データＤＶが得られる。カメラ１Ｌ，１Ｒの拘束条件とは、例えば、カメラ１Ｌ，１Ｒ間の距離である。 At each position of the left matching window LM, the position of the right matching window RM that minimizes the absolute difference sum SAD of the above equation (1) is obtained. In this case, the amount of deviation between the specific portion of the left matching window LM in the left image LI and the specific portion of the right matching window RM in the right image RI corresponds to parallax. The specific portion is, for example, a central portion or an upper left portion. The parallax is obtained for each pixel of the left image LI or the right image RI. The parallax is converted into a distance in the depth direction (front) from the cameras 1L and 1R based on the constraint conditions of the cameras 1L and 1R. Thereby, distance image data DV is obtained. The constraint conditions for the cameras 1L and 1R are, for example, the distance between the cameras 1L and 1R.

図７は、距離画像データＤＶにより表される距離画像ＤＩの一例を示す図である。図７の距離画像ＤＩにおいては、濃いパターンほど距離が短いことを示している。 FIG. 7 is a diagram illustrating an example of the distance image DI represented by the distance image data DV. In the distance image DI of FIG. 7, the darker the pattern, the shorter the distance.

図４のステレオマッチング部３は、左画像データＬＶおよび右画像データＲＶに基づいてステレオマッチングにより距離画像データＤＶを算出する。距離画像データＤＶの各画素の値は、撮像対象までの距離を示す。 The stereo matching unit 3 in FIG. 4 calculates distance image data DV by stereo matching based on the left image data LV and the right image data RV. The value of each pixel in the distance image data DV indicates the distance to the imaging target.

以下、左マッチング窓ＬＭおよび右マッチング窓ＲＭをマッチング窓と総称する。マッチング窓のサイズ（画素数）には、次のトレードオフの関係がある。マッチング窓のサイズを大きく設定すると、マッチングミスによる距離画像ＤＩ上のノイズが減少するが、物体の輪郭部分の位置ずれが増加するとともに一致度合いの計算時間が増加する。逆に、マッチング窓のサイズを小さく設定すると、物体の輪郭部分の位置ずれが減少するとともに一致度合いの計算時間が減少するが、マッチングミスによる距離画像ＤＩ上のノイズが増加する。 Hereinafter, the left matching window LM and the right matching window RM are collectively referred to as a matching window. The size (number of pixels) of the matching window has the following trade-off relationship. If the size of the matching window is set large, noise on the distance image DI due to a matching error is reduced, but the positional deviation of the contour portion of the object increases and the calculation time of the matching degree increases. Conversely, if the size of the matching window is set to be small, the positional deviation of the contour portion of the object is reduced and the calculation time of the matching degree is reduced, but the noise on the distance image DI due to a matching error is increased.

（５）ＬＢＰ（ローカルバイナリパターン）
ＬＢＰは、任意の注目画素と、これを中心とする半径ｒの円周上に等間隔に並ぶｎ個の周辺画素（近傍画素）との濃度の大小関係を示す。 (5) LBP (local binary pattern)
LBP indicates the magnitude relationship between the density of an arbitrary pixel of interest and n peripheral pixels (neighboring pixels) arranged at equal intervals on the circumference of a radius r centered on the target pixel.

図８は、ＬＢＰの生成方法を説明するための模式図である。図８の左側には、注目画素ＯＰおよび８個の周辺画素Ｐ１〜Ｐ８の値（画像データの値）が示される。各画素の値は、画像の濃度（階調）を表す。周辺画素Ｐ１〜Ｐ８を所定のしきい値で２値化する。それにより、図８の中央に示すように、周辺画素Ｐ１，Ｐ２，Ｐ７の値が“０”となり、周辺画素Ｐ３〜Ｐ６，Ｐ８の値が“１”となる。周辺画素Ｐ１〜Ｐ８の２値化された値を一次元に配列することにより、注目画素ＯＰのＬＢＰ（００１１１１０１）を生成する。 FIG. 8 is a schematic diagram for explaining an LBP generation method. On the left side of FIG. 8, the values of the target pixel OP and the eight peripheral pixels P1 to P8 (values of image data) are shown. The value of each pixel represents the density (gradation) of the image. The peripheral pixels P1 to P8 are binarized with a predetermined threshold value. Thereby, as shown in the center of FIG. 8, the values of the peripheral pixels P1, P2, and P7 are “0”, and the values of the peripheral pixels P3 to P6 and P8 are “1”. LBP (00111101) of the pixel of interest OP is generated by arranging the binarized values of the peripheral pixels P1 to P8 in one dimension.

図８の例では、ＬＢＰの理解を容易にするために、ＬＢＰの生成に注目画素ＯＰを中心として矩形状に配列された周辺画素Ｐ１〜Ｐ８の値を用いているが、実際には、注目画素ＯＰを中心とする円周上に等間隔に並ぶ複数の画素部分の値をバイ・リニア（Ｂｉ−Ｌｉｎｅａｒ）内挿により取得する。 In the example of FIG. 8, in order to facilitate understanding of the LBP, the values of the peripheral pixels P1 to P8 arranged in a rectangular shape with the pixel of interest OP as the center are used to generate the LBP. The values of a plurality of pixel portions arranged at equal intervals on the circumference centered on the pixel OP are obtained by bi-linear interpolation.

図９は、バイ・リニア内挿による複数の画素部分の値の取得を示す模式図である。図９において、注目画素ＯＰの中心点Ｃを中心とする半径ｒの円周上に複数の画素部分ｐ１〜ｐ８を等間隔に設定する。注目画素ＯＰおよび周辺画素Ｐ１〜Ｐ８の値を用いてバイ・リニア内挿により画素部分ｐ１〜ｐ８の値を取得する。画素部分ｐ１〜ｐ８の値の２値化および一次元への配列により、注目画素ＯＰのＬＢＰを生成する。 FIG. 9 is a schematic diagram showing acquisition of values of a plurality of pixel portions by bilinear interpolation. In FIG. 9, a plurality of pixel portions p1 to p8 are set at equal intervals on the circumference of the radius r centered on the center point C of the target pixel OP. The values of the pixel portions p1 to p8 are obtained by bilinear interpolation using the values of the target pixel OP and the peripheral pixels P1 to P8. An LBP of the pixel of interest OP is generated by binarizing the values of the pixel portions p1 to p8 and arranging them in one dimension.

図４のＬＢＰ生成部４は、図７の距離画像ＤＩの上端の１行、下端の１行、左端の１列および右端の１列の画素を除く他の全ての画素についてＬＢＰを生成する。 The LBP generation unit 4 in FIG. 4 generates LBPs for all other pixels except the pixels in the uppermost row, the lowermost row, the leftmost column, and the rightmost column of the distance image DI in FIG.

（６）均一（uniform）パターンの定義
各画素について生成されたＬＢＰを設定値ｕを用いて均一（uniform）パターンまたは不均一（nonuniform）パターンに分類する。 (6) Definition of uniform pattern The LBP generated for each pixel is classified into a uniform pattern or a nonuniform pattern using a set value u.

ここで、ＬＢＰにおける０−１遷移の数が設定値ｕ以下である場合には、そのＬＢＰは均一パターンであると定義する。ＬＢＰにおける０−１遷移の数が設定値ｕよりも大きい場合には、そのＬＢＰは不均一パターンである。０−１遷移とは、ＬＢＰにおける“０”から“１”への遷移および“１”から“０”への遷移を含み、ＬＢＰの右端の値から左端の値への遷移も含む。例えば、ＬＢＰ（００１１１１０１）には０−１遷移が４個含まれる。 Here, when the number of 0-1 transitions in the LBP is equal to or less than the set value u, the LBP is defined as a uniform pattern. If the number of 0-1 transitions in an LBP is greater than the set value u, the LBP is a non-uniform pattern. The 0-1 transition includes a transition from “0” to “1” and a transition from “1” to “0” in the LBP, and also includes a transition from the rightmost value of the LBP to the leftmost value. For example, LBP (00111101) includes four 0-1 transitions.

均一パターンの定義をＬＢＰ^ｕ _ｎ，ｒの形で記述する。ｎはＬＢＰを生成する際の周辺画素の数であり、ｒは周辺画素が配置される円周の半径であり、ｕは上記の設定値である。図８の例では、半径ｒは１（画素）であり、周辺画素の数ｎは８である。 Describing the definition of uniform pattern ^LBP _{u n,} in the form of _r. n is the number of peripheral pixels when generating the LBP, r is the radius of the circumference where the peripheral pixels are arranged, and u is the above set value. In the example of FIG. 8, the radius r is 1 (pixel), and the number n of peripheral pixels is 8.

設定値ｕを２とした場合、均一パターンの定義はＬＢＰ^２ _８，１で記述される。この場合、ＬＢＰ（００１１１１０１）は不均一パターンである。設定値ｕを４とした場合、均一パターンの定義はＬＢＰ^４ _８，１で記述される。この場合、ＬＢＰ（００１１１１０１）は均一パターンである。周辺画素の数ｎが８である場合、設定値ｕは２以上４以下であることが好ましい。周辺画素の数ｎが４である場合、設定値ｕは２であることが好ましい。 When the set value u is 2, the definition of the uniform pattern is described by LBP ² _8,1 . In this case, LBP (00111101) is a non-uniform pattern. When the set value u is 4, the definition of the uniform pattern is described by LBP ⁴ _8,1 . In this case, LBP (00111101) is a uniform pattern. When the number n of peripheral pixels is 8, the set value u is preferably 2 or more and 4 or less. When the number n of peripheral pixels is 4, the setting value u is preferably 2.

８ビットのＬＢＰは、２５６種類の配列パターンを有する。ＬＢＰ^２ _８，１の場合には、５８種類の均一パターンが存在し、１９８種類の不均一パターンが存在する。 The 8-bit LBP has 256 kinds of arrangement patterns. In the case of LBP ² _8,1 , there are 58 types of uniform patterns and 198 types of non-uniform patterns.

距離画像ＤＩにおいて、ノイズ成分が少ない領域では、０−１遷移の数が少なくなり、ＬＢＰが均一パターンとなる。一方、距離画像ＤＩにおいて、ノイズ成分が多い領域では、０−１遷移の数が多くなり、ＬＢＰが不均一パターンとなる。 In the distance image DI, in a region having a small noise component, the number of 0-1 transitions is small, and the LBP becomes a uniform pattern. On the other hand, in the range image DI, in a region with a lot of noise components, the number of 0-1 transitions increases, and the LBP becomes a nonuniform pattern.

（７）検出窓の設定
次に、図１０〜図１３を参照しながら検出窓の設定について説明する。図１０（ａ），（ｂ）は、距離画像ＤＩに設定された検出窓ＤＷの例を示す図である。 (7) Detection Window Setting Next, detection window setting will be described with reference to FIGS. FIGS. 10A and 10B are diagrams showing examples of the detection window DW set in the distance image DI.

検出対象物の大きさおよび位置が不明であるため、図４の対象物検出窓設定部５は、距離画像ＤＩの種々の位置に種々のサイズを有する検出窓ＤＷを設定する。図１０（ａ），（ｂ）の例では、対象物検出窓設定部５は、距離画像ＤＩ上で検出窓ＤＷをそのサイズを変化させながらＸ方向に左から右に移動させた後、Ｙ方向に下へ移動させ、Ｘ方向に左から右に移動させる。対象物検出窓設定部５は、この操作を繰り返すことにより、種々のサイズを有する検出窓ＤＷを距離画像ＤＩの全範囲で移動させる。これにより、任意のサイズを有しかつ任意の位置に存在する検出対象物を検出することが可能となる。図１０（ａ）には、比較的小さいサイズの検出窓ＤＷが設定された状態が示される。また、図１０（ｂ）には、比較的大きいサイズの検出窓ＤＷが設定された状態が示される。 Since the size and position of the detection object are unknown, the object detection window setting unit 5 in FIG. 4 sets detection windows DW having various sizes at various positions in the distance image DI. In the example of FIGS. 10A and 10B, the object detection window setting unit 5 moves the detection window DW from the left to the right in the X direction while changing its size on the distance image DI. Move down in the direction and move from left to right in the X direction. By repeating this operation, the object detection window setting unit 5 moves the detection window DW having various sizes over the entire range of the distance image DI. Thereby, it becomes possible to detect a detection target having an arbitrary size and existing at an arbitrary position. FIG. 10A shows a state where a detection window DW having a relatively small size is set. FIG. 10B shows a state where a detection window DW having a relatively large size is set.

図１１は、図１０（ａ）の検出窓ＤＷの構成を示す模式図である。図１２は、図１０（ｂ）の検出窓ＤＷの構成を示す模式図である。 FIG. 11 is a schematic diagram showing the configuration of the detection window DW of FIG. FIG. 12 is a schematic diagram showing the configuration of the detection window DW in FIG.

検出窓ＤＷは、複数のセルＣＥにより構成される。各セルＣＥは複数の画素により構成される。検出窓ＤＷのサイズに関らず検出窓ＤＷ内のセルＣＥの数は一定である。図１１および図１２の例では、検出窓ＤＷは横８個および縦１６個のセルＣＥを含む。検出窓ＤＷのサイズが大きくなると、各セルＣＥのサイズが大きくなり、すなわち各セルＣＥを構成する画素の数が多くなる。各セルＣＥは、８×８個以上の画素を含むことが好ましい。図１１の検出窓ＤＷを構成する各セルＣＥは横８個および縦８個の画素を含む。図１２の検出窓ＤＷを構成する各セルＣＥは横１６個および縦１６個の画素を含む。 The detection window DW includes a plurality of cells CE. Each cell CE is composed of a plurality of pixels. Regardless of the size of the detection window DW, the number of cells CE in the detection window DW is constant. In the example of FIGS. 11 and 12, the detection window DW includes 8 horizontal and 16 vertical cells CE. When the size of the detection window DW is increased, the size of each cell CE is increased, that is, the number of pixels constituting each cell CE is increased. Each cell CE preferably includes 8 × 8 or more pixels. Each cell CE constituting the detection window DW of FIG. 11 includes 8 horizontal pixels and 8 vertical pixels. Each cell CE constituting the detection window DW of FIG. 12 includes 16 horizontal pixels and 16 vertical pixels.

（８）ＬＢＰのヒストグラム
図４の対象物検出部６は、各検出窓ＤＷ内の各セルＣＥについてＬＢＰのヒストグラムを以下の方法で作成する。 (8) LBP Histogram The object detection unit 6 in FIG. 4 creates an LBP histogram for each cell CE in each detection window DW by the following method.

図１３は、１つのセルＣＥを示す図である。図１３の例では、１つのセルＣＥが８×８個の画素を含む。したがって、６４個のＬＢＰが生成される。 FIG. 13 is a diagram showing one cell CE. In the example of FIG. 13, one cell CE includes 8 × 8 pixels. Therefore, 64 LBPs are generated.

図１４は、１つのセルＣＥについてのＬＢＰのヒストグラムの一例を示す図である。図１４の横軸はビンを表し、縦軸は出現頻度（度数）を表す。 FIG. 14 is a diagram illustrating an example of an LBP histogram for one cell CE. The horizontal axis of FIG. 14 represents the bin, and the vertical axis represents the appearance frequency (frequency).

ヒストグラムにおいては、設定値ｕ以下の数の０−１遷移を有する複数種類のＬＢＰをそれぞれビンに設定する。また、設定値ｕを超える数の０−１遷移を有する１以上のＬＢＰを１つのビンに集約する。 In the histogram, a plurality of types of LBPs having 0-1 transitions equal to or less than the set value u are set in each bin. Further, one or more LBPs having 0-1 transitions exceeding the set value u are aggregated into one bin.

上記の例では、ＬＢＰが８ビットを有する。したがって、ＬＢＰは、２５６種類の配列パターンを有する。設定値ｕが２である場合、５８種類の均一パターンが存在し、１９８種類の不均一パターンが存在する。例えば、５８種類の均一パターンがパターン１〜５８としてヒストグラムの５８個のビンに設定される。また、１９８種類の不均一パターンがパターン５９として１つのビンに集約される。 In the above example, the LBP has 8 bits. Therefore, LBP has 256 kinds of arrangement patterns. When the set value u is 2, there are 58 types of uniform patterns and 198 types of non-uniform patterns. For example, 58 types of uniform patterns are set as 58 patterns in the histogram as patterns 1 to 58. Also, 198 kinds of non-uniform patterns are collected as one pattern 59 in one bin.

例えば、パターン１はＬＢＰ（００００００００）であり、パターン２はＬＢＰ（０００００００１）であり、パターン３はＬＢＰ（００００００１０）である。また、ＬＢＰ（０００００１０１）、ＬＢＰ（００００１０１０）、ＬＢＰ（０００１０１００）等の不均一パターンはパターン５９とみなされる。 For example, pattern 1 is LBP (00000000), pattern 2 is LBP (00000001), and pattern 3 is LBP (00000010). A non-uniform pattern such as LBP (00000101), LBP (000001010), or LBP (00010100) is regarded as the pattern 59.

ヒストグラムの複数のビンに対応する複数のＬＢＰが特徴量として用いられ、複数のビンにおける出現頻度が検出対象物の有無を判定のための特徴量の値として用いられる。図１４のヒストグラムでは、５９個の特徴量が得られる。 A plurality of LBPs corresponding to a plurality of bins of the histogram are used as feature amounts, and the appearance frequency in the plurality of bins is used as a feature amount value for determining the presence or absence of a detection target. In the histogram of FIG. 14, 59 feature values are obtained.

上記のように、検出窓ＤＷのサイズが異なる場合、各検出窓ＤＷに含まれるセルＣＥの数は一定であり、各セルＣＥに含まれる画素の数が異なる。そのため、各セルＣＥについて、ヒストグラムの出現頻度が各セルＣＥ内の画素の数で正規化される。 As described above, when the sizes of the detection windows DW are different, the number of cells CE included in each detection window DW is constant, and the number of pixels included in each cell CE is different. Therefore, for each cell CE, the histogram appearance frequency is normalized by the number of pixels in each cell CE.

１つの検出窓ＤＷについては、セルＣＥの数と同数のヒストグラムが得られる。したがって、１つの検出窓ＤＷについて、（ヒストグラムのビン数）×（セルＣＥの数）の特徴量が得られる。図１１〜図１４の例では、１つの検出窓ＤＷのセルＣＥの数が８×１６であり、１つのセルＣＥについてのヒストグラムのビン数が５９であるので、１つの検出窓ＤＷから７５５２個（＝８×１６×５９）の特徴量が得られる。なお、処理負荷の軽減のために、インテグラルヒストグラムの方法を用いてもよい。 For one detection window DW, the same number of histograms as the number of cells CE are obtained. Therefore, for one detection window DW, a feature amount of (number of bins of histogram) × (number of cells CE) is obtained. In the example of FIGS. 11 to 14, the number of cells CE in one detection window DW is 8 × 16, and the number of histogram bins for one cell CE is 59. Therefore, 7552 from one detection window DW. A feature amount of (= 8 × 16 × 59) is obtained. In order to reduce the processing load, an integral histogram method may be used.

（９）検出器の動作
図４の対象物検出部６は、対象物検出窓設定部５により距離画像ＤＩに設定される各検出窓ＤＷについて検出器を動作させることにより、検出対象物の有無を判定する。 (9) Operation of Detector The object detection unit 6 in FIG. 4 operates to detect the presence or absence of a detection object by operating the detector for each detection window DW set in the distance image DI by the object detection window setting unit 5. Determine.

図１５は、１つの検出窓ＤＷについての特徴量を示す図である。対象物検出部６は、各検出窓ＤＷから得られる複数の特徴量のうち一部または全部を検出器の演算のためのＴ個の特徴量ｖ_ｔ（ｔ＝１，２，…，Ｔ）として用いる。図１１〜図１４の例では、７５５２個の特徴量からＴ個の特徴量ｖ_ｔ（ｔ＝１，２，…，Ｔ）が予め選択される。図１５に示すように、特徴量ｖ_１，ｖ_２，…，ｖ_Ｔにそれぞれしきい値θ_１，θ_２，…，θ_Ｔが予め設定される。しきい値θ_ｔ（ｔ＝１，２，…，Ｔ）は、後述する学習により予め特徴量ｖ_ｔごとに求められる。 FIG. 15 is a diagram illustrating feature amounts for one detection window DW. The object detection unit 6 uses a part or all of the plurality of feature amounts obtained from each detection window DW as T feature amounts v _t (t = 1, 2,..., T) for calculation of the detector. Used as In the example of FIGS. 11 to 14, T feature amounts v _t (t = 1, 2,..., T) are selected in advance from 7552 feature amounts. As shown in FIG. 15, the feature quantity _{_{v 1, v 2, ...,}} v respectively _T threshold _{_{θ 1, θ 2, ...,}} θ T is set in advance. The threshold value θ _t (t = 1, 2,..., T) is obtained in advance for each feature amount v _t by learning described later.

検出器は、次式で表される弱識別器（Weak Classifier）により各特徴量ｖ_ｔの値が肯定的結論を表すか否定的結論を表すかを識別する。 Detector identifies or represents a negative conclusion or weak classifier represented by the following formula (Weak Classifier) the value of each feature quantity v _t by representing a positive conclusion.

上式（２）において、ｈ_ｔ（Ｉ）は、Ｉ番目の検出窓ＤＷについての特徴量ｖ_ｔの識別値（弱識別結果）を表す。ここで、Ｉは２以上の自然数である。上式（２）より、特徴量ｖ_ｔの値がしきい値θ_ｔよりも大きい場合には、識別値ｈ_ｔ（Ｉ）は、＋１（肯定的結論を表す弱仮説(Weak Hypothesis)）となる。特徴量ｖ_ｔの値がしきい値θ_ｔ以下の場合には、識別値ｈ_ｔ（Ｉ）は、−１（否定的結論を表す弱仮説）となる。Ｔ個の特徴量ｖ_１，ｖ_２，…，ｖ_ＴおよびＴ個のしきい値θ_１，θ_２，…，θ_ＴによりＴ個の弱識別器ｈ_１，ｈ_２，…，ｈ_Ｔが得られる。また、Ｔ個の弱識別器ｈ_１，ｈ_２，…，ｈ_ＴによりＴ個の識別値ｈ_１（Ｉ），ｈ_２（Ｉ），…，ｈ_Ｔ（Ｉ）が得られる。 In the above equation (2), h _t (I) represents the identification value (weak identification result) of the feature quantity v _t for the I-th detection window DW. Here, I is a natural number of 2 or more. From the above equation (2), when the value of the feature quantity v _t is larger than the threshold value θ _t , the identification value h _t (I) is +1 (Weak Hypothesis representing a positive conclusion) and Become. When the value of the feature quantity v _t is equal to or _smaller than the threshold θ _t , the identification value h _t (I) is −1 (weak hypothesis representing a negative conclusion). T T feature values v ₁ , v ₂ ,..., V _T and T threshold values θ ₁ , θ ₂ ,..., Θ _T generate T weak classifiers h ₁ , h ₂ _,. can get. Further, T number of weak classifiers _{_{h 1, h 2, ...,}} T number of decision values _h 1 by _{_{h T (I), h 2}} (I), ..., h T (I) is obtained.

各識別値ｈ_ｔ（Ｉ）（ｔ＝１，２，…，Ｔ）には、後述する学習により重み付け係数ｗ_ｔ（ｔ＝１，２，…，Ｔ）が予め設定される。検出器は、次式で示すように、Ｔ個の識別値ｈ_１（Ｉ）〜ｈ_Ｔ（Ｉ）とそれぞれに予め設定された重み付け係数ｗ_１〜ｗ_Ｔとの積の合計からしきい値αを減算することにより、Ｉ番目の検出窓ＤＷについて検出対象物の有無の判定結果Ｈ（Ｉ）を得る。 Each identification value h _t (I) (t = 1, 2,..., T) is preset with a weighting coefficient w _t (t = 1, 2,..., T) by learning to be described later. As shown by the following equation, the detector uses a threshold value from the sum of products of _T identification values h ₁ (I) to h _T (I) and weighting factors w _{1 to} w _T set in advance. By subtracting α, the determination result H (I) of the presence or absence of the detection target for the I-th detection window DW is obtained.

上式（３）において、ｓｉｇｎは正負の符号を表す。上式（３）を識別演算式と呼ぶ。正の判定結果Ｈ（Ｉ）は、検出対象物が存在することを示す。また、負の判定結果Ｈ（Ｉ）は、検出対象物が存在しないことを示す。 In the above formula (3), sign represents a positive or negative sign. The above equation (3) is called an identification operation equation. A positive determination result H (I) indicates that a detection target exists. Further, the negative determination result H (I) indicates that there is no detection target.

また、しきい値αは、検出率と誤検出率とのバランスを適正に調整するために用いられる。検出率は、検出対象物を検出対象物として正しく検出する確率であり、例えば、人物を人物と判定する確率である。誤検出率は、検出対象物以外の対象物を検出対象物として誤って検出する確率であり、例えば、人物以外の物体を人物と判定する確率である。 The threshold value α is used to properly adjust the balance between the detection rate and the false detection rate. The detection rate is the probability of correctly detecting the detection object as the detection object, for example, the probability of determining a person as a person. The false detection rate is a probability of erroneously detecting a target object other than the detection target object as a detection target object, for example, a probability of determining an object other than a person as a person.

しきい値αを大きく設定した場合には、検出率が高くなるが、誤検出率も高くなる。一方、しきい値αを小さく設定した場合には、誤検出率が低くなるが、検出率も低くなる。しきい値αは、対象物検出装置１０が使用される状況に応じて任意に設定することができる。 When the threshold value α is set large, the detection rate increases, but the false detection rate also increases. On the other hand, when the threshold value α is set small, the false detection rate is low, but the detection rate is also low. The threshold value α can be arbitrarily set according to the situation in which the object detection device 10 is used.

Ｔ個の特徴量ｖ_１〜ｖ_Ｔ、Ｔ個のθ_１〜θ_Ｔ、Ｔ個の重み付け係数ｗ_１〜ｗ_Ｔおよびしきい値αは、対象物検出用情報として図４の対象物検出用辞書８に予め記憶される。 T feature quantities v _{1 to} v _T , T θ ₁ to θ _T , T weighting factors w _{1 to} w _T and threshold α are used for object detection in FIG. 4 as object detection information. Stored in the dictionary 8 in advance.

（１０）対象物検出処理
次に、図１６を参照しながら対象物検出処理について説明する。図１６は、図４の演算処理部３０により行われる対象物検出処理を示すフローチャートである。 (10) Object Detection Process Next, the object detection process will be described with reference to FIG. FIG. 16 is a flowchart showing the object detection process performed by the arithmetic processing unit 30 of FIG.

まず、図４のステレオマッチング部３が、画像メモリ２Ｌに記憶される左画像データＬＶおよび画像メモリ２Ｒに記憶される右画像データＲＶを取得する（ステップＳ１）。ステレオマッチング部３は、取得した左画像データＬＶおよび右画像データＲＶにステレオマッチングを行うことにより距離画像データＤＶを生成する（ステップＳ２）。 First, the stereo matching unit 3 in FIG. 4 acquires the left image data LV stored in the image memory 2L and the right image data RV stored in the image memory 2R (step S1). The stereo matching unit 3 generates distance image data DV by performing stereo matching on the acquired left image data LV and right image data RV (step S2).

次に、図４のＬＢＰ生成部４が、ステレオマッチング部３により生成された距離画像データＤＶの複数の画素についてのＬＢＰを生成する（ステップＳ３）。さらに、図４の対象物検出窓設定部５が、距離画像データＤＶに検出窓ＤＷを設定する（ステップＳ４）。 Next, the LBP generation unit 4 in FIG. 4 generates LBPs for a plurality of pixels of the distance image data DV generated by the stereo matching unit 3 (step S3). Further, the object detection window setting unit 5 in FIG. 4 sets the detection window DW in the distance image data DV (step S4).

次に、図４の対象物検出部６が、検出窓ＤＷ内における検出対象物の有無を判定する（ステップＳ５）。具体的には、検出窓ＤＷについてのＬＢＰのヒストグラムが作成される。次に、対象物検出用辞書８に記憶された複数の特徴量ｖ_１〜ｖ_Ｔおよびしきい値θ_１〜θ_Ｔを用いてＬＢＰのヒストグラムにおける複数の特徴量ｖ_１〜ｖ_Ｔの値について上式（２）より識別値ｈ_１（Ｉ）〜ｈ_Ｔ（Ｉ）が算出される。さらに、識別値ｈ_１（Ｉ）〜ｈ_Ｔ（Ｉ）ならびに対象物検出用辞書８に記憶された重み付け係数ｗ_１〜ｗ_Ｔおよびしきいαを用いて上式（３）より判定結果Ｈ（Ｉ）が算出される。 Next, the object detection unit 6 in FIG. 4 determines the presence / absence of the detection object in the detection window DW (step S5). Specifically, an LBP histogram for the detection window DW is created. Next, the values of a plurality of feature quantity _v 1 to v _T in the histogram of the LBP by using a plurality of feature quantity _v 1 to v _T and threshold theta ₁ through? _T which is stored in the object detecting dictionary 8 Identification values h ₁ (I) to h _T (I) are calculated from the above equation (2). Further, using the identification values h ₁ (I) to h _T (I), the weighting coefficients w _{1 to} w _T and the threshold α stored in the object detection dictionary 8, the determination result H ( I) is calculated.

対象物検出部６は、予め設定された数の検出窓ＤＷについての検出対象物の有無の判定が終了したか否かを判別する（ステップＳ６）。予め設定された数の検出窓ＤＷについての検出対象物の有無の判定が終了していない場合には、対象物検出部６は、ステップＳ４に戻る。この場合、対象物検出窓設定部５が距離画像データＤＶに前の検出窓ＤＷとはサイズまたは位置が異なる次の検出窓ＤＷを設定し（ステップＳ４）、対象物検出部６が検出窓ＤＷ内における検出対象物の有無を判定する（ステップＳ５）。 The object detection unit 6 determines whether or not the determination of the presence / absence of the detection object for the preset number of detection windows DW has been completed (step S6). If the determination of the presence / absence of the detection target for the preset number of detection windows DW has not been completed, the target detection unit 6 returns to step S4. In this case, the object detection window setting unit 5 sets the next detection window DW having a different size or position from the previous detection window DW in the distance image data DV (step S4), and the object detection unit 6 detects the detection window DW. The presence / absence of a detection object in the inside is determined (step S5).

ステップＳ４において、予め設定された数の検出窓ＤＷについての検出対象物の有無の判定が終了した場合には、対象物検出部６は、対象物検出処理を終了する。 In step S4, when the determination of the presence / absence of the detection target for the preset number of detection windows DW is completed, the target detection unit 6 ends the target detection process.

（１１）検出対象物の判定のための学習
Ｔ個の弱識別器ｈ_１〜ｈ_Ｔにおける特徴量ｖ_１〜ｖ_Ｔおよびしきい値θ_１〜θ_ＴならびにＴ個の重み付け係数ｗ_１〜ｗ_Ｔは、事前の学習によって設定される。この学習には、例えば、非特許文献２に記載されたブースティング学習アルゴリズム（アダブースト：AdaBoost）が適用される。 (11), wherein the amount _v 1 to v _T and threshold theta ₁ through? _T and the T weighting coefficients _w 1 in the learning the T weak classifiers _h 1 to h _T for the determination of the detection object ~w _T is set by prior learning. For this learning, for example, a boosting learning algorithm (AdaBoost) described in Non-Patent Document 2 is applied.

図１７は、アダブーストによる学習を示すフローチャートである。検出対象物を含む複数組の左画像および右画像に対応する複数組の左画像データおよび右画像データがポジティブサンプルとして予め準備される。また、検出対象物を含まない複数組の左画像および右画像に対応する複数組の左画像データおよび右画像データがネガティブサンプルとして予め準備される。 FIG. 17 is a flowchart showing learning by Adaboost. A plurality of sets of left image data and right image data corresponding to a plurality of sets of left and right images including the detection target are prepared in advance as positive samples. In addition, a plurality of sets of left image data and right image data corresponding to a plurality of sets of left and right images not including the detection target are prepared in advance as negative samples.

初期化処理として、全ポジティブサンプルおよび全ネガティブサンプルに均等にウェイト（重み；weight）が配分される（ステップＳ１１）。 As an initialization process, weights are equally distributed to all positive samples and all negative samples (step S11).

次に、全ポジティブサンプルおよび全ネガティブサンプルについて、ステレオマッチングによる距離画像データＤＶの生成、ＬＢＰの生成、検出窓ＤＷの設定およびＬＢＰのヒストグラムの作成を行うことにより、全ての特徴量の値が算出される（ステップＳ１２）。 Next, for all positive samples and all negative samples, all feature values are calculated by generating distance image data DV by stereo matching, generating LBP, setting detection window DW, and creating LBP histogram. (Step S12).

その後、Ｔ個の特徴量ｖ_１〜ｖ_Ｔを選択しかつＴ個の弱識別器ｈ_１〜ｈ_Ｔにおけるしきい値θ_１〜θ_ＴおよびＴ個の重み付け係数ｗ_１〜ｗ_Ｔを決定するためのＴ回の学習が開始される。最初は、変数ｔが１に設定される（ステップＳ１３）。 Thereafter, T feature quantities v _{1 to} v _T are selected, and threshold values θ _{1 to} θ _T and T weighting coefficients w _{1 to} w _T in _T weak classifiers h _{1 to} h _T are determined. T times of learning are started. Initially, the variable t is set to 1 (step S13).

まず、未選択の各特徴量について、ウェイトが与えられた全ポジティブサンプルおよび全ネガティブサンプルのヒストグラム（全サンプルの重み付きヒストグラム）がそれぞれ作成される（ステップＳ１４）。ｔ＝１の場合には、全ての特徴量について、全サンプルの重み付きヒストグラムがそれぞれ作成される。図１８は、１つの特徴量についての全ポジティブサンプルおよび全ネガティブサンプルのヒストグラムの例を示す図である。図１８においては、縦軸はサンプル数を表し、横軸は特徴量の値を表す。 First, for each unselected feature quantity, histograms of all positive samples and all negative samples to which weights are given (weighted histograms of all samples) are created (step S14). When t = 1, weighted histograms of all samples are created for all feature quantities. FIG. 18 is a diagram illustrating an example of a histogram of all positive samples and all negative samples for one feature amount. In FIG. 18, the vertical axis represents the number of samples, and the horizontal axis represents the feature value.

一般に、特徴量の値の比較的小さな範囲にネガティブサンプルの分布が現れ、特徴量の値の比較的大きな範囲にポジティブサンプルの分布が現れる。しきい値θを大きく設定すると、ネガティブサンプルをポジティブサンプルとして誤識別する確率は低くなるが、ポジティブサンプルをネガティブサンプルとして誤識別する確率は高くなる。逆に、しきい値θを小さく設定すると、ポジティブサンプルをネガティブサンプルとして誤識別する確率は低くなるが、ネガティブサンプルをポジティブサンプルとして誤識別する確率は高くなる。 In general, the distribution of negative samples appears in a relatively small range of feature values, and the distribution of positive samples appears in a relatively large range of feature values. When the threshold value θ is set large, the probability of misidentifying a negative sample as a positive sample is low, but the probability of misidentifying a positive sample as a negative sample is high. Conversely, if the threshold value θ is set small, the probability of misidentifying a positive sample as a negative sample is low, but the probability of misidentifying a negative sample as a positive sample is high.

例えば、ポジティブサンプルの分布範囲とネガティブサンプルの分布範囲とが互いに分離している場合には、それらの分布範囲の間の値がしきい値θとして設定される。ポジティブサンプルの分布範囲とネガティブサンプルの分布範囲とが互い重なり合う場合には、それらの重なり区間の値がしきい値θとして設定される。図１８の例では、ポジティブサンプルの特徴量の値の下限θ_ｐは、ネガティブサンプルの特徴量の値の上限θ_ｎよりも小さい。本例では、ポジティブサンプルのヒストグラムとネガティブサンプルのヒストグラムとが交差する点における特徴量の値がしきい値θとして設定される。この場合、下限θ_ｐとしきい値θとの間の特徴量の値を有するポジティブサンプルは、ネガティブサンプルとして誤識別される。また、上限θ_ｎとしきい値θとの間の特徴量の値を有するネガティブサンプルは、ポジティブサンプルとして誤識別される。全ポジティブサンプルおよび全ネガティブサンプルの総数に対して誤識別されるポジティブサンプルおよびネガティブサンプルの数の割合を誤識別率（エラー率）と呼ぶ。 For example, when the distribution range of the positive sample and the distribution range of the negative sample are separated from each other, a value between these distribution ranges is set as the threshold value θ. When the distribution range of the positive sample and the distribution range of the negative sample overlap each other, the value of the overlapping section is set as the threshold value θ. In the example of FIG. 18, the lower limit θ _p of the feature value of the positive sample is smaller than the upper limit θ _n of the feature value of the negative sample. In this example, the feature value at the point where the positive sample histogram and the negative sample histogram intersect is set as the threshold value θ. In this case, positive samples having a value of the feature quantity between the lower theta _p and threshold theta is erroneously identified as negative samples. Further, a negative sample having a feature value between the upper limit θ _n and the threshold value θ is erroneously identified as a positive sample. The ratio of the number of positive samples and negative samples that are misidentified with respect to the total number of all positive samples and all negative samples is called the misidentification rate (error rate).

このようにして、未選択の全ての特徴量の各々について誤識別率が最小になるようにしきい値θが設定される（ステップＳ１５）。これにより、未選択の全特徴量に対応する弱識別器が作成される。各特徴量に対応するしきい値θとともに、当該しきい値θに対応する誤識別率が算出される。 In this way, the threshold value θ is set so that the misidentification rate is minimized for each of all unselected feature values (step S15). Thereby, weak classifiers corresponding to all unselected feature quantities are created. A misidentification rate corresponding to the threshold value θ is calculated together with the threshold value θ corresponding to each feature amount.

作成された弱識別器のうち最小の誤識別率を有する弱識別器が第ｔ番目の弱識別器ｈ_ｔとして決定される（ステップＳ１６）。これにより、第ｔ番目の特徴量ｖ_ｔが選択されるとともにしきい値θ_ｔが決定される。ｔ＝１の場合には、最小の誤識別率を有する弱識別器が第１番目の弱識別器ｈ_１として決定される。また、第１番目の特徴量ｖ_１が選択されるとともにしきい値θ_１が決定される。 Weak classifier is determined as the t-th weak classifier h _t with a minimum of false identification rate of the weak classifiers that have been created (Step S16). As a result, the t-th feature value v _t is selected and the threshold value θ _t is determined. When t = 1, the weak classifier having the minimum misclassification rate is determined as the _first weak classifier h ₁ . Further, the first feature value v ₁ is selected and the threshold value θ ₁ is determined.

また、決定された第ｔ番目の弱識別器ｈ_ｔの誤識別率に基づいて弱識別器ｈ_ｔに対応する重み付け係数ｗ_ｔが決定される（ステップＳ１７）。この場合、誤識別率が小さいほど重み付け係数ｗ_ｔは大きく設定される。ｔ＝１の場合には、重み付け係数ｗ_１が決定される。 Further, weighting coefficient w _t corresponding to the weak classifier h _t is determined based on the erroneous recognition rate of the t-th weak classifier h _t determined (step S17). In this case, the weighting coefficient w _t is set larger as the misidentification rate is smaller. In the case of t = 1, the weighting coefficients _{w 1} is determined.

次に、変数ｔがＴに等しいか否かが判定される（ステップＳ１８）。すなわち、Ｔ個の特徴量が選択されたか否かが判定される。Ｔ個の特徴量が選択されていない場合には、ポジティブサンプルおよびネガティブサンプルにウェイトが再配分（re-weighting）される（ステップＳ１９）。この場合、第ｔ番目の弱識別器ｈ_ｔにより正解が得られるサンプルには小さなウェイトが与えられ、第ｔ番目の弱識別器ｈ_ｔにより不正解が得られるサンプルには大きなウェイトが与えられる。 Next, it is determined whether or not the variable t is equal to T (step S18). That is, it is determined whether or not T feature amounts have been selected. If T feature values are not selected, weights are re-weighted to the positive sample and the negative sample (step S19). In this case, the sample correct by the t-th weak classifier h _t is obtained given a small weight, the sample incorrect is obtained by the t-th weak classifier h _t is given greater weight.

この状態で、変数ｔがｔ＋１に更新され（ステップＳ２０）、ステップＳ１４〜Ｓ１８の処理が実行される。ｔ＝２の場合には、特徴量ｖ_１を除く未選択の各特徴量について、全サンプルの重み付きヒストグラムがそれぞれ作成される（ステップＳ１４）。また、特徴量ｖ_１を除く未選択の全ての特徴量の各々について誤識別率が最小になるようにしきい値θが設定される（ステップＳ１５）。さらに、作成された弱識別器のうち最小の誤識別率を有する弱識別器が第２番目の弱識別器ｈ_２として決定される（ステップＳ１６）。また、決定された第２番目の弱識別器ｈ_２の誤識別率に基づいて弱識別器ｈ_２に対応する重み付け係数ｗ_２が決定される（ステップＳ１７）。その後、ｔが３に更新される。 In this state, the variable t is updated to t + 1 (step S20), and the processes of steps S14 to S18 are executed. When t = 2, a weighted histogram of all samples is created for each unselected feature quantity excluding the feature quantity v ₁ (step S14). Further, the threshold value θ is set so that the misidentification rate is minimized for each of all the unselected feature quantities excluding the feature quantity v ₁ (step S15). Further, the weak classifier having the lowest misclassification rate among the created weak classifiers is determined as the _second weak classifier h2 (step S16). Further, weighting coefficient w ₂ which corresponds to the weak classifier h ₂ is determined based on the second th misidentification rate of weak classifiers h ₂ determined (step S17). Thereafter, t is updated to 3.

同様にして、Ｔ個の特徴量ｖ_１〜ｖ_Ｔが選択されるとともにＴ個の弱識別器ｈ_１〜ｈ_Ｔにおけるしきい値θ_１〜θ_Ｔが決定され、弱識別器ｈ_１〜ｈ_Ｔにそれぞれに対応する重み付け係数ｗ_１〜ｗ_Ｔが決定される。ステップＳ１８において変数ｔがＴに等しい場合には、学習が終了する。 Similarly, T feature values v _{1 to} v _T are selected, and threshold values θ _{1 to} θ _T in _T weak classifiers h _{1 to} h _T are determined, and weak classifiers h _{1 to} h are determined. weighting coefficients _w 1 to w _T corresponding to each _T is determined. If the variable t is equal to T in step S18, learning ends.

このようにして決定されたＴ個の弱識別器ｈ_１〜ｈ_Ｔとこれらに対応するＴ個の重み付け係数ｗ_１〜ｗ_Ｔとの乗算結果を線形結合するとともに、適切なしきい値αを設定することにより、上式（３）の識別演算式が得られる。 A multiplication result between this way the T weak classifiers h ₁ which is determined to h _T and the T weighting coefficients w ₁ to w _T corresponding to these as well as linear combinations, setting an appropriate threshold value α By doing so, the discrimination calculation formula of the above formula (3) is obtained.

（１２）本実施の形態の効果
本実施の形態に係る対象物検出装置１０においては、ＬＢＰを用いることにより検出対象物の輪郭を検出対象物と背景との距離差により識別することができる。この場合、ステレオマッチングのマッチング窓のサイズを小さくすることにより、ステレオマッチングにおける計算量を増加させることなく検出対象物の有無に有用な輪郭情報を高精度で得ることができる。また、設定値ｕを超える数の０−１遷移を有する１または複数種類のＬＢＰが一のビンに集約される。それにより、検出対象物の有無の判定において距離画像データＤＶにおけるノイズの影響を抑制することができる。したがって、上記のように構成されたＬＢＰのヒストグラムの度数を複数の特徴量の値として用いることにより、計算量を増加させることなくかつ輪郭情報を損なうことなく、距離画像データＤＶにおけるノイズの影響を抑制することができる。その結果、検出対象物の有無を正確に判定することが可能となる。 (12) Effect of this Embodiment In the object detection apparatus 10 according to this embodiment, the contour of the detection object can be identified by the distance difference between the detection object and the background by using LBP. In this case, by reducing the size of the matching window for stereo matching, contour information useful for the presence or absence of the detection target can be obtained with high accuracy without increasing the amount of calculation in stereo matching. In addition, one or a plurality of types of LBPs having 0-1 transitions exceeding the set value u are collected in one bin. Thereby, the influence of noise in the distance image data DV can be suppressed in the determination of the presence / absence of the detection target. Therefore, by using the frequency of the LBP histogram configured as described above as a plurality of feature value values, the influence of noise in the distance image data DV can be reduced without increasing the amount of calculation and without damaging the contour information. Can be suppressed. As a result, the presence / absence of the detection object can be accurately determined.

また、各特徴量ｖ_ｔ（ｔ＝１，２，…，Ｔ）についてのしきい値θ_ｔ（ｔ＝１，２，…，Ｔ）を適切に設定するとともに各弱識別器ｈ_ｔ（ｔ＝１，２，…，Ｔ）に対応する重み付け係数ｗ_ｔ（ｔ＝１，２，…，Ｔ）を適切に設定することにより、検出対象物の有無をより正確に判定することができる。 Further, the threshold value θ _t (t = 1, 2,..., T) for each feature quantity v _t (t = 1, 2,..., T) is appropriately set and each weak classifier h _t (t = 1, 2,..., T) can be determined more accurately by appropriately setting the weighting coefficients w _t (t = 1, 2,..., T).

さらに、学習によりＴ個の特徴量ｖ_１〜ｖ_Ｔが選択されるとともにＴ個の弱識別器ｈ_１〜ｈ_Ｔにおけるしきい値θ_１〜θ_Ｔが決定され、弱識別器ｈ_１〜ｈ_Ｔにそれぞれに対応する重み付け係数ｗ_１〜ｗ_Ｔが決定される。それにより、検出対象物の有無の判定に重要な情報を含む特徴量を用いて検出対象物の有無を高い精度で判定することが可能となる。 Further, T feature values v _{1 to} v _T are selected by learning, and threshold values θ _{1 to} θ _T in _T weak classifiers h _{1 to} h _T are determined, and weak classifiers h _{1 to} h are determined. weighting coefficients _w 1 to w _T corresponding to each _T is determined. Accordingly, it is possible to determine the presence / absence of the detection target with high accuracy using the feature amount including information important for the determination of the presence / absence of the detection target.

特に、アダブースト学習によりＴ個の特徴量ｖ_１〜ｖ_Ｔの選択、Ｔ個の弱識別器ｈ_１〜ｈ_Ｔにおけるしきい値θ_１〜θ_Ｔの決定および弱識別器ｈ_１〜ｈ_Ｔにそれぞれに対応する重み付け係数ｗ_１〜ｗ_Ｔの決定が行われることにより、環境変動に対して頑健な（ロバストな）対象物検出装置１０が実現される。 In particular, the selection of the T feature quantity _v 1 to v _T by Adaboost learning, determination and weak classifiers threshold theta ₁ through? _T in the T weak classifiers _h 1 to h _T _h to 1 to h _T By determining the weighting coefficients w _{1 to} w _T corresponding to each of them, the object detection device 10 that is robust against environmental fluctuations (robust) is realized.

また、距離画像データＤＶに複数の検出窓ＤＷが位置およびサイズの少なくとも一方が異なるように順次設定されるので、任意の位置にある検出対象物または任意の大きさを有する検出対象物を正確に検出することができる。 Further, since the plurality of detection windows DW are sequentially set in the distance image data DV so that at least one of the position and the size is different, the detection object at an arbitrary position or the detection object having an arbitrary size can be accurately detected. Can be detected.

この対象物検出装置１０によれば、人と植物とを区別することが可能となる。ゴルフカート１００の経路に成長した樹木の枝または草が延びている場合、または経路のカーブ前方に樹木等が植えられている場合に、それらの枝、草または樹木等を人として検出することが防止される。したがって、このような枝、草または樹木等が実際にはゴルフカート１００の走行上問題がない場合に、ゴルフカート１００の無駄な停止、減速または警告の発生が行われることが防止される。 According to this object detection apparatus 10, it becomes possible to distinguish a person and a plant. When branches or grass grown on the path of the golf cart 100 extends or when trees or the like are planted in front of the curve of the path, the branches, grass or trees may be detected as a person. Is prevented. Therefore, when such a branch, grass, tree, or the like actually has no problem in running the golf cart 100, it is possible to prevent the golf cart 100 from being wastefully stopped, decelerated, or generated.

（１３）他の実施の形態
（ａ）上記実施の形態では、対象物検出装置１０が予め定められた経路を自動的に走行するゴルフカート１００に適用されているが、本発明はこれに限定されない。本発明に係る対象物検出装置は、工場等で予め定められた経路を走行する無人搬送車（ＡＧＶ）、果樹園等で薬剤散布等を行う無人作業車等の他の自動走行車両にも同様に適用可能である。また、本発明に係る対象物検出装置は、任意の経路を走行可能な自動走行車両にも適用可能ある。 (13) Other Embodiments (a) In the above embodiment, the object detection device 10 is applied to the golf cart 100 that automatically travels on a predetermined route, but the present invention is limited to this. Not. The object detection device according to the present invention is also applied to other automatic traveling vehicles such as an automatic guided vehicle (AGV) traveling on a predetermined route in a factory or the like, an unmanned working vehicle performing chemical spraying or the like in an orchard or the like. It is applicable to. The object detection device according to the present invention can also be applied to an autonomous vehicle that can travel on an arbitrary route.

（ｂ）上記実施の形態では、ステレオマッチング部３、ＬＢＰ生成部４、対象物検出窓設定部５および対象物検出部６がＣＰＵ３２および対象物検出プログラムにより実現されるが、本発明はこれに限定されない。例えば、ステレオマッチング部３、ＬＢＰ生成部４、対象物検出窓設定部５および対象物検出部６の一部または全部が電子回路等のハードウエアにより構成されてもよい。 (B) In the above embodiment, the stereo matching unit 3, the LBP generation unit 4, the object detection window setting unit 5, and the object detection unit 6 are realized by the CPU 32 and the object detection program. It is not limited. For example, a part or all of the stereo matching unit 3, the LBP generation unit 4, the object detection window setting unit 5, and the object detection unit 6 may be configured by hardware such as an electronic circuit.

（ｃ）上記実施の形態では、各特徴量ｖ_ｔがしきい値θ_ｔよりも大きい場合に識別値ｈ_ｔ（Ｉ）を１とし、その他の場合に識別値ｈ_ｔ（Ｉ）を−１としているが、検出対象物の有無の判定方法はこれに限定さない。例えば、各特徴量ｖ_ｔがしきい値θ_ｔよりも大きい場合に識別値ｈ_ｔ（Ｉ）を−１とし、その他の場合に識別値ｈ_ｔ（Ｉ）を１としてもよい。また、各特徴量ｖ_ｔがしきい値θ_ｔよりも大きい場合に識別値ｈ_ｔ（Ｉ）を他の値とし、その他の場合に識別値ｈ_ｔ（Ｉ）をさらに他の値としてもよい。 (C) In the above embodiment, the identification value h _t (I) is set to 1 when each feature quantity v _t is larger than the threshold value θ _t , and the identification value h _t (I) is set to −1 in other cases. However, the determination method of the presence or absence of the detection target is not limited to this. For example, the identification value _h t (I) was a -1 if the characteristic values _{v t} is larger than the threshold value theta _t, otherwise identification value _h t a (I) may be 1. Further, the identification value h _{t (I)} in each case feature value v _t is larger than the threshold value theta _t and other values, may further other values an identification value h _{t (I)} in other cases .

（ｄ）上記実施の形態では、検出対象物の有無に応じて判定結果Ｈ（Ｉ）が正または負となるように識別演算式が構成されるが、識別演算式の構成はこれに限定されない。例えば、検出対象物の有無に応じて判定結果Ｈ（Ｉ）がある値以上または以下になるように識別演算式が構成されてもよい。 (D) In the above embodiment, the discrimination calculation formula is configured so that the determination result H (I) is positive or negative depending on the presence or absence of the detection target, but the configuration of the discrimination calculation formula is not limited to this. . For example, the identification arithmetic expression may be configured so that the determination result H (I) is greater than or less than a certain value depending on the presence or absence of the detection target.

また、上記の識別演算式では、しきい値αが用いられるが、しきい値αが用いられなくてもよい。 Further, although the threshold value α is used in the above identification calculation formula, the threshold value α may not be used.

（１４）請求項の各構成要素と実施の形態の各部との対応関係
以下、請求項の各構成要素と実施の形態の各部との対応の例について説明するが、本発明は下記の例に限定されない。 (14) Correspondence relationship between each constituent element of claim and each part of the embodiment Hereinafter, an example of correspondence between each constituent element of the claim and each part of the embodiment will be described. It is not limited.

上記実施の形態においては、カメラ１Ｌ，１Ｒが画像取得部の例であり、ステレオマッチング部３が距離画像生成部の例であり、ＬＢＰ生成部４、対象物検出窓設定部５および対象物検出部６が処理部の例である。左画像ＬＩおよび右画像ＲＩが撮像対象の画像の例であり、左画像データＬＶおよび右画像データＲＶが撮像画像データの例であり、距離画像ＤＩが距離画像の例であり、距離画像データＤＶが距離画像データの例であり、セルＣＥまたは検出窓ＤＷが単位領域の例であり、設定値ｕが設定値の例であり、複数の特徴量ｖ_１〜ｖ_Ｔが複数の特徴量の例である。 In the above embodiment, the cameras 1L and 1R are examples of image acquisition units, the stereo matching unit 3 is an example of a distance image generation unit, the LBP generation unit 4, the object detection window setting unit 5, and the object detection Unit 6 is an example of a processing unit. The left image LI and the right image RI are examples of images to be captured, the left image data LV and the right image data RV are examples of captured image data, the distance image DI is an example of a distance image, and the distance image data DV Is an example of distance image data, the cell CE or the detection window DW is an example of a unit area, the setting value u is an example of a setting value, and a plurality of feature amounts v _{1 to} v _T are examples of a plurality of feature amounts. It is.

しきい値θ_１〜θ_Ｔがしきい値の例であり、識別値ｈ（Ｉ）_１〜ｈ（Ｉ）_Ｔが識別値の例であり、重み付け係数ｗ_１〜ｗ_Ｔが重み付け係数の例であり、検出窓ＤＷが検出窓の例である。 The threshold values θ _{1 to} θ _T are examples of threshold values, the identification values h (I) _{1 to} h (I) _T are examples of identification values, and the weighting factors w _{1 to} w _T are examples of weighting factors. The detection window DW is an example of the detection window.

車体２０が本体部の例であり、駆動モータ２１および後輪１２が駆動部の例であり、ＣＰＵ３２がコンピュータの例である。車両制御部５０が制御部の例である。 The vehicle body 20 is an example of a main body, the drive motor 21 and the rear wheel 12 are examples of a drive unit, and the CPU 32 is an example of a computer. The vehicle control unit 50 is an example of the control unit.

請求項の各構成要素として、上記実施の形態に記載された構成要素の他、請求項に記載されている構成または機能を有する他の種々の構成要素を用いることもできる。 As each constituent element of the claims, in addition to the constituent elements described in the above embodiments, various other constituent elements having configurations or functions described in the claims can be used.

本発明は、撮像対象が予め定められた検出対象物を含むか否かを判定するため等に利用することができる。 The present invention can be used for determining whether or not an imaging target includes a predetermined detection target.

１Ｌ，１Ｒカメラ
２Ｌ，２Ｒ画像メモリ
３ステレオマッチング部
４ＬＢＰ生成部
５対象物検出窓設定部
６対象物検出部
８対象物検出用辞書
１０対象物検出装置
１１前輪
１２後輪
１３前部シート
１４後部シート
１５ハンドル
１６キャリア
２０車体
２０ａ下部車体
２０ｂ支持枠
２０ｃ屋根部
２１駆動モータ
２２トランスミッション
２３電磁ブレーキ
２４アクセルペダル
２５ブレーキペダル
２６ブレーキ駆動部
３０演算処理部
３１入出力インタフェース
３２ＣＰＵ（中央演算処理装置）
３３ＲＯＭ（リードオンリメモリ）
３４ＲＡＭ（ランダムアクセスメモリ）
３５内部バス
４０外部記憶装置
５０車両制御部
５１バッテリ
５７受信部
１００ゴルフカート
ＣＥセル
ＤＩ距離画像
ＤＶ距離画像データ
ＤＷ検出窓
ｈ，ｈ_１〜ｈ_Ｔ弱識別器
ＬＶ，Ｌ_１〜Ｌ_ｍ左画像データ
ＬＩ左画像
ＬＭ左マッチング窓
ＯＰ注目画素
ｐ１〜ｐ８画素部分
Ｐ１〜Ｐ８周辺画素
ｒ半径
ＲＶ，Ｒ_１〜Ｒ_ｍ右画像データ
ＲＩ右画像
ＲＭ右マッチング窓
ｖ_ｔ，ｖ_１〜ｖ_Ｔ特徴量
ｗ_ｔ，ｗ_１〜ｗ_Ｔ重み付け係数
θ_ｐ下限
θ_ｎ上限
θ，θ_ｔ，θ_１〜θ_Ｔしきい値 1L, 1R Camera 2L, 2R Image memory 3 Stereo matching unit 4 LBP generation unit 5 Object detection window setting unit 6 Object detection unit 8 Object detection dictionary 10 Object detection device 11 Front wheel 12 Rear wheel 13 Front seat 14 Rear seat 15 Handle 16 Carrier 20 Vehicle body 20a Lower vehicle body 20b Support frame 20c Roof portion 21 Drive motor 22 Transmission 23 Electromagnetic brake 24 Accelerator pedal 25 Brake pedal 26 Brake drive portion 30 Arithmetic processor 31 Input / output interface 32 CPU (Central processing unit) )
33 ROM (Read Only Memory)
34 RAM (Random Access Memory)
35 internal bus 40 external storage device 50 vehicle control unit 51 battery 57 receiving unit 100 golf cart CE cell DI distance image DV distance image data DW detection window h, h _{1 to} h _T weak discriminator LV, L _{1 to} L _m left image data LI left image LM left matching window OP target pixel p1~p8 pixel portion P1~P8 surrounding pixels r radius _RV, R 1 ~R _m right image data RI right image RM right matching windows _v _t, v 1 ~v _{_T} characteristic quantity w _t , w _{1 to} w _T weighting coefficient θ _p lower limit θ _n upper limit θ, θ _t , θ _{1 to} θ _T threshold

Claims

撮像対象が予め定められた検出対象物を含むか否かを判定する対象物検出装置であって、
異なる複数の位置に配置され、撮像対象の画像を撮像画像データとしてそれぞれ取得する複数の画像取得部と、
前記複数の画像取得部により取得された複数の撮像画像データを用いたステレオマッチングにより撮像対象までの距離を示す距離画像を距離画像データとして生成する距離画像生成部と、
前記距離画像生成部により生成された距離画像データに基づいて撮像対象が検出対象物を含むか否かを判定する処理部とを備え、
前記処理部は、前記距離画像生成部により生成された距離画像データの複数の画素についてＬＢＰ（ローカルバイナリパターン）を生成するとともに、前記距離画像生成部により生成された距離画像データに複数の画素から構成される複数の単位領域を設定し、各単位領域について複数種類のＬＢＰのヒストグラムを作成し、各ヒストグラムにおいて設定値以下の数の０−１遷移を有する複数種類のＬＢＰをそれぞれ複数のビンに設定するとともに前記設定値を超える数の０−１遷移を有する１または複数種類のＬＢＰを一のビンに集約して設定し、前記複数の単位領域についての複数のヒストグラムの複数のビンのうち予め選択された複数のビンに対応する複数種類のＬＢＰの度数を複数の特徴量の値として用いて検出対象物の有無を判定するように構成される、対象物検出装置。 An object detection device for determining whether an imaging target includes a predetermined detection object,
A plurality of image acquisition units arranged at different positions and respectively acquiring images to be captured as captured image data;
A distance image generation unit that generates a distance image indicating distance to an imaging target by stereo matching using a plurality of captured image data acquired by the plurality of image acquisition units;
A processing unit that determines whether the imaging target includes a detection target based on the distance image data generated by the distance image generation unit,
The processing unit generates an LBP (local binary pattern) for a plurality of pixels of the distance image data generated by the distance image generation unit, and converts the distance image data generated by the distance image generation unit from a plurality of pixels. A plurality of unit areas to be configured are set, histograms of a plurality of types of LBPs are created for each unit area, and a plurality of types of LBPs having a number of 0-1 transitions equal to or less than a set value in each histogram are respectively set to a plurality of bins. One or a plurality of types of LBPs that are set and have a number of 0-1 transitions exceeding the set value are aggregated and set in one bin, and a plurality of histogram bins for the plurality of unit areas are preliminarily set in advance. determine the presence or absence of the detection object by using the frequency of a plurality of types of LBP corresponding to the selected plurality of bins as the value of the plurality of feature amounts Configured so that, the object detecting device.

前記処理部は、各特徴量の値がそれぞれ予め設定されたしきい値よりも大きいか否かに基づいて撮像対象が検出対象物を含むか否かを示す識別値を生成し、前記複数の特徴量についての識別値とそれぞれ予め設定された重み付け係数との積の合計に基づいて検出対象物の有無を判定するように構成される、請求項１記載の対象物検出装置。 The processing unit generates an identification value indicating whether the imaging target includes a detection target based on whether each feature value is larger than a preset threshold value, and The target object detection apparatus according to claim 1, wherein the target object detection apparatus is configured to determine the presence / absence of a detection target object based on a sum of products of identification values for feature amounts and weighting coefficients set in advance.

前記しきい値、および前記複数の特徴量についての識別値に対応する重み付け係数は、検出対象物を含む複数の画像および検出対象物を含まない複数の画像を用いた学習により予め設定される、請求項２記載の対象物検出装置。 The threshold value and the weighting coefficient corresponding to the identification values for the plurality of feature quantities are set in advance by learning using a plurality of images including the detection target and a plurality of images not including the detection target. The object detection apparatus according to claim 2.

前記処理部は、前記距離画像生成部により生成された距離画像データに、前記複数の単位領域をそれぞれ含む複数の検出窓を位置および面積の少なくとも一方が異なるように順次設定し、各検出窓について検出対象物の有無を判定するように構成される、請求項１〜３のいずれかに記載の対象物検出装置。 The processing unit sequentially sets a plurality of detection windows each including the plurality of unit regions in the distance image data generated by the distance image generation unit so that at least one of the position and the area is different. The target object detection apparatus according to claim 1, wherein the target object detection apparatus is configured to determine presence or absence of a detection target object.

前記処理部は、前記複数の検出窓に含まれる前記複数の単位領域の数が等しくなるように各単位領域に含まれる画素の数を調整し、各ヒストグラムを対応する単位領域に含まれる画素の数を用いて正規化するように構成される、請求項４記載の対象物検出装置。 The processing unit adjusts the number of pixels included in each unit region so that the number of the plurality of unit regions included in the plurality of detection windows is equal, and sets each histogram of pixels included in the corresponding unit region. The object detection device according to claim 4, wherein the object detection device is configured to normalize using a number.

撮像対象が予め定められた検出対象物を含むか否かを判定する対象物検出方法であって、
異なる複数の位置に配置された複数の画像取得部により撮像対象の画像を撮像画像データとしてそれぞれ取得するステップと、
前記取得された複数の撮像画像データを用いたステレオマッチングにより撮像対象までの距離を示す距離画像を距離画像データとして生成するステップと、
前記生成された距離画像データに基づいて撮像対象が検出対象物を含むか否かを判定するステップとを備え、
撮像対象が検出対象物を含むか否かを判定するステップは、
前記生成された距離画像データに複数の画素から構成される複数の単位領域を設定するステップと、
各単位領域の複数の画素についてＬＢＰ（ローカルバイナリパターン）を生成するステップと、
各単位領域について複数種類のＬＢＰのヒストグラムを作成し、各ヒストグラムにおいて設定値以下の数の０−１遷移を有する複数種類のＬＢＰをそれぞれ複数のビンに設定するとともに前記設定値を超える数の０−１遷移を有する１または複数種類のＬＢＰを一のビンに集約して設定するステップと、
前記複数の単位領域についての複数のヒストグラムの複数のビンのうち予め選択された複数のビンに対応する複数種類のＬＢＰの度数を複数の特徴量の値として用いて検出対象物の有無を判定するステップとを含む、対象物検出方法。 An object detection method for determining whether or not an imaging target includes a predetermined detection object,
Acquiring each image to be imaged as captured image data by a plurality of image acquisition units arranged at different positions; and
Generating a distance image indicating a distance to an imaging target as distance image data by stereo matching using the acquired plurality of captured image data;
Determining whether an imaging target includes a detection target based on the generated distance image data,
The step of determining whether or not the imaging target includes a detection target is:
Setting a plurality of unit regions composed of a plurality of pixels in the generated distance image data;
Generating an LBP (local binary pattern) for a plurality of pixels in each unit region;
Histograms of a plurality of types of LBPs are created for each unit region, and a plurality of types of LBPs having 0-1 transitions equal to or less than a set value in each histogram are set in a plurality of bins, and a number of 0 exceeding the set value is set. A step of collecting and setting one or more types of LBPs having a −1 transition in one bin;
The presence / absence of a detection target is determined using the frequencies of a plurality of types of LBPs corresponding to a plurality of bins selected in advance among a plurality of bins of a plurality of histograms for the plurality of unit regions as a plurality of feature values. And a method for detecting an object.

検出対象物の有無を判定するステップは、
各特徴量の値がそれぞれ予め設定されたしきい値よりも大きいか否かに基づいて撮像対象が検出対象物を含むか否かを示す識別値を生成するステップと、
前記複数の特徴量についての識別値とそれぞれ予め設定された重み付け係数との積の合計に基づいて検出対象物の有無を判定するステップとを含む、請求項６記載の対象物検出方法。 The step of determining the presence or absence of the detection target is
Generating an identification value indicating whether or not the imaging target includes a detection target based on whether or not each feature value is greater than a preset threshold value; and
The object detection method according to claim 6, further comprising a step of determining the presence or absence of a detection object based on a sum of products of identification values for the plurality of feature amounts and weighting coefficients set in advance.

前記しきい値、および前記複数の特徴量についての識別値に対応する重み付け係数を、検出対象物を含む複数の画像および検出対象物を含まない複数の画像を用いた学習により予め設定するステップをさらに備える、請求項７記載の対象物検出方法。 The step of presetting the threshold value and the weighting coefficient corresponding to the identification values for the plurality of feature quantities by learning using a plurality of images including the detection target and a plurality of images not including the detection target. The object detection method according to claim 7, further comprising:

前記学習にはアダブーストが適用される、請求項８記載の対象物検出方法。 The object detection method according to claim 8, wherein Adaboost is applied to the learning.

撮像対象が予め定められた検出対象物を含むか否かを判定するために、コンピュータにより実行可能な対象物検出プログラムであって、
異なる複数の位置に配置された複数の画像取得部により撮像対象の画像を撮像画像データとしてそれぞれ取得する処理と、
前記取得された複数の撮像画像データを用いたステレオマッチングにより撮像対象までの距離を示す距離画像を距離画像データとして生成するステップと、
前記生成された距離画像データに基づいて撮像対象が検出対象物を含むか否かを判定する処理とを、前記コンピュータに実行させ、
撮像対象が検出対象物を含むか否かを判定する処理は、
前記生成された距離画像データに複数の画素から構成される複数の単位領域を設定する処理と、
各単位領域の複数の画素についてＬＢＰ（ローカルバイナリパターン）を生成する処理と、
各単位領域について複数種類のＬＢＰのヒストグラムを作成し、各ヒストグラムにおいて設定値以下の数の０−１遷移を有する複数種類のＬＢＰをそれぞれ複数のビンに設定するとともに前記設定値を超える数の０−１遷移を有する１または複数種類のＬＢＰを一のビンに集約して設定する処理と、
前記複数の単位領域についての複数のヒストグラムの複数のビンのうち予め選択された複数のビンに対応する複数種類のＬＢＰの度数を複数の特徴量の値として用いて検出対象物の有無を判定する処理とを含む、対象物検出プログラム。 An object detection program executable by a computer to determine whether an imaging target includes a predetermined detection object,
Processing for acquiring images to be imaged as captured image data by a plurality of image acquisition units arranged at different positions; and
Generating a distance image indicating a distance to an imaging target as distance image data by stereo matching using the acquired plurality of captured image data;
A process of determining whether an imaging target includes a detection target based on the generated distance image data, and causing the computer to execute
The process of determining whether the imaging target includes a detection target is:
A process of setting a plurality of unit regions composed of a plurality of pixels in the generated distance image data;
A process of generating an LBP (local binary pattern) for a plurality of pixels in each unit area;
Histograms of a plurality of types of LBPs are created for each unit region, and a plurality of types of LBPs having 0-1 transitions equal to or less than a set value in each histogram are set in a plurality of bins, and a number of 0 exceeding the set value is set. A process of collecting and setting one or a plurality of types of LBPs having -1 transition in one bin;
The presence / absence of a detection target is determined using the frequencies of a plurality of types of LBPs corresponding to a plurality of bins selected in advance among a plurality of bins of a plurality of histograms for the plurality of unit regions as a plurality of feature values. An object detection program including processing.

予め定められた経路を移動可能に構成された本体部と、
前記本体部を移動させるように構成された駆動部と、
請求項１〜５のいずれかに記載の対象物検出装置と、
前記対象物検出装置の判定結果に基づいて前記駆動部を制御する制御部とを備える、自動走行車両。 A main body configured to be movable along a predetermined route;
A drive unit configured to move the body part;
The object detection device according to any one of claims 1 to 5 ,
An automatic traveling vehicle comprising: a control unit that controls the drive unit based on a determination result of the object detection device.

前記本体部は、予め定められた経路を移動可能に構成される、請求項１１記載の自動走行車両。 The automatic traveling vehicle according to claim 11, wherein the main body is configured to be movable along a predetermined route.