JP5996421B2 - Obstacle detection device and vehicle using the same - Google Patents

Description

本発明は、画像センサにより走路上の障害物を検出する障害物検出装置及びそれを備えた車両に関する。   The present invention relates to an obstacle detection device that detects an obstacle on a road using an image sensor and a vehicle including the obstacle detection device.

従来、ゴルフ場内の走路を走行するゴルフカートには自動走行機能を有しているものがある。自動走行は電磁誘導線から発生する磁界を検出することで行われる。また、ゴルフカートの前面に超音波センサを設けて、ゴルフカート前方の障害物を検出する障害物検出装置を備えるものもある。超音波センサにより障害物が検出されると、ゴルフカートは減速または停止の制御が実施される。   2. Description of the Related Art Conventionally, some golf carts that run on a course in a golf course have an automatic running function. Automatic traveling is performed by detecting a magnetic field generated from an electromagnetic induction wire. In addition, there is an apparatus provided with an obstacle detection device that detects an obstacle in front of the golf cart by providing an ultrasonic sensor in front of the golf cart. When an obstacle is detected by the ultrasonic sensor, the golf cart is controlled to decelerate or stop.

（１）特許文献１の技術
特許文献１に記載のゴルフカートには自動走行装置が搭載されている。これにより、走路上に設けられた誘導線に従って走路を自動走行することができる。超音波センサにより障害物までの距離を計測し、その距離に応じて障害物の有無を判定する。 (1) Technology of Patent Document 1 The golf cart described in Patent Document 1 is equipped with an automatic traveling device. Thereby, the traveling road can be automatically traveled according to the guide line provided on the traveling road. The distance to the obstacle is measured by the ultrasonic sensor, and the presence or absence of the obstacle is determined according to the distance.

特開２００３−５８３２号公報JP 2003-5832 A

従来のゴルフカートは、図１６に示すように、車両前方の距離Ｌ_１の範囲内に障害物が存在するか否かで、走行速度の制御をしている。この距離Ｌ_１は、走路外の障害物が含まれない範囲に設定されている。しかしながら、ゴルフカートの走行速度を上げると、制動距離が長くなるので、より前方の障害物を検出しなければならない。 Conventional golf carts, as shown in FIG. 16, depending on whether an obstacle within the front of the vehicle distance L ₁ is present, and the control of the travel speed. The distance L ₁ is set to a range that does not contain the track out of the obstacle. However, if the running speed of the golf cart is increased, the braking distance becomes longer, and therefore obstacles ahead must be detected.

そこで、走行速度を上げる場合、図１７に示すように、車両前方の距離Ｌ_２の範囲内に障害物が存在するか否かの判定結果を基に、走行速度の制御をする。しかしながら、障害物の判定距離を長くすることで走路外にある障害物を検出してしまうことがある。走路外の障害物の検出によりゴルフカートが減速または停止され、走行速度を上げたにもかかわらずゴルフカートの走行効率が悪くなる問題がある。 Therefore, when increasing the running speed, as shown in FIG. 17, based on whether the judgment result obstacle within the front of the vehicle distance L ₂ is present, the control of the travel speed. However, an obstacle outside the track may be detected by increasing the obstacle determination distance. The golf cart is decelerated or stopped by detection of an obstacle outside the running road, and there is a problem that the running efficiency of the golf cart is deteriorated even though the running speed is increased.

本発明は、このような事情に鑑みてなされたものであって、障害物が走路内に存在するか否かを判定することができる障害物検出装置及びそれを用いた車両を提供することを目的とする。   This invention is made | formed in view of such a situation, Comprising: The obstacle detection apparatus which can determine whether an obstacle exists in a runway, and a vehicle using the same are provided. Objective.

上記目的を達成するために、本発明は次のような構成をとる。
すなわち、本発明に係る障害物検出装置は、走路の地面領域と走路外の地面領域との間で画像情報の特性が異なる場合において、前方の画像を撮影する画像センサと、前記画像内の障害物を検出する障害物検出部と、前記画像内の前記障害物の地面領域を設定する障害物地面領域設定部と、前記画像内の前記障害物の地面領域と前記走路の地面領域との前記特性の類似度を算出する類似度算出部とを備える。 In order to achieve the above object, the present invention has the following configuration.
That is, the obstacle detection device according to the present invention includes an image sensor that captures a front image when the characteristics of image information are different between the ground area of the road and the ground area outside the road , and the obstacle in the image. said the obstacle detecting unit for detecting an object, the obstacle ground area setting unit for setting a ground area of the obstacle in the image, the ground area and the ground area of the runway of the obstacle in the image A similarity calculation unit that calculates the similarity of the characteristics .

本発明によれば、画像センサが前方の画像を撮影する。障害物検出部は、撮影された画像内の障害物を検出する。障害物地面領域設定部は、撮影された画像内において、検出された障害物の地面領域を設定する。類似度判定部は画像内の前記障害物の地面領域と走路の地面領域との類似度を算出する。算出された類似度の値が大きければ、障害物地面領域と走路地面領域とが類似しているので、障害物が走路上に存在すると判定することができる。また、算出された類似度の値が小さければ、障害物地面領域と走路地面領域とが類似していないので、障害物が走路上に存在しないと判定することができる。このように、検出された障害物が走路内に存在するのか、または、走路外に存在するのかを判定することができる。   According to the present invention, the image sensor captures a front image. The obstacle detection unit detects an obstacle in the captured image. The obstacle ground area setting unit sets the ground area of the detected obstacle in the captured image. The similarity determination unit calculates the similarity between the ground area of the obstacle and the ground area of the runway in the image. If the calculated similarity value is large, the obstacle ground area and the road ground area are similar, and therefore it can be determined that the obstacle exists on the road. If the calculated similarity value is small, the obstacle ground area and the road ground area are not similar, and therefore it can be determined that no obstacle exists on the road. In this way, it can be determined whether the detected obstacle is present in the runway or outside the runway.

また、前方の物体との距離情報を検出する距離情報検出部を備え、前記障害物検出部は前記距離情報を基に前記画像内の障害物を検出することが好ましい。距離情報を用いて障害物を検出するので、障害物の検出精度を向上させることができる。   In addition, it is preferable that a distance information detection unit that detects distance information with a front object is provided, and the obstacle detection unit detects an obstacle in the image based on the distance information. Since the obstacle is detected using the distance information, the obstacle detection accuracy can be improved.

また、前記画像センサを平行ステレオの位置関係で複数個備え、各画像センサの画像を基に視差画像を作成する視差画像作成部を備えることが好ましい。画像センサを平行ステレオの位置関係で複数個備え、さらに、各画像センサの画像を基に視差画像を作成する視差画像作成部を備えるので、車両前方の画像情報および画像情報と関係づけられた距離情報を精度よく取得することができる。   Preferably, the image sensor includes a plurality of image sensors in a parallel stereo positional relationship, and further includes a parallax image creation unit that creates a parallax image based on an image of each image sensor. Since the image sensor includes a plurality of image sensors in a parallel stereo positional relationship and further includes a parallax image creation unit that creates a parallax image based on the image of each image sensor, the distance associated with the image information and the image information in front of the vehicle Information can be acquired with high accuracy.

また、前記障害物の地面領域の実空間上における面積と同じ面積を有する走路の地面領域を前記画像内に設定する走路地面領域設定部を備えることが好ましい。障害物の地面領域と走路の地面領域とが実空間上で同じ面積であるので、それぞれの濃度値を基に適切に類似度を算出することができる。   Moreover, it is preferable to provide a runway ground area setting unit that sets, in the image, a ground area of a runway having the same area as the area of the obstacle ground area in real space. Since the ground area of the obstacle and the ground area of the runway have the same area in real space, the similarity can be appropriately calculated based on the respective density values.

また、前記走路地面領域設定部は、前記障害物の地面領域の実空間上における面積を算出する面積算出部と、算出された面積と実空間上において同じ大きさの走路の地面領域を前記画像内に設定する地面領域設定部ととを備えることが好ましい。この構成によれば、走路の地面領域を実空間上で障害物の地面領域と同じ面積を有するように適切に設定することができる。   In addition, the runway ground area setting unit calculates an area of the ground area of the obstacle in real space, and calculates the ground area of the runway having the same size in the real space as the calculated area. And a ground area setting unit that is set inside. According to this configuration, the ground area of the running road can be appropriately set so as to have the same area as the obstacle ground area in real space.

また、障害物の地面領域の濃度値と走路の地面領域の濃度値とをそれぞれ諧調を低減して量子化したヒストグラムに対して正規化する正規化部を備えることが好ましい。障害物地面領域の濃度値と、走路地面領域の濃度値とをそれぞれ諧調を低減して量子化したヒストグラムを作成する。これらのヒストグラムに対して正規化するので、類似度算出の演算量の低減により類似度の算出時間を低減し、さらに、類似度の精度を向上することができる。   In addition, it is preferable to include a normalization unit that normalizes the density value of the ground area of the obstacle and the density value of the ground area of the runway with respect to the histogram obtained by quantizing the gradation while reducing the gradation. A histogram is created by quantizing the density value of the obstacle ground area and the density value of the runway ground area while reducing gradation. Since normalization is performed on these histograms, it is possible to reduce the calculation time of similarity by reducing the amount of calculation of similarity, and further improve the accuracy of similarity.

また、前記類似度と予め定められた閾値と比較することで、障害物が走路上に存在するか否かを判定する比較部を備えることが好ましい。類似度と予め定められた閾値と比較することで、障害物が走路上に存在するか否かを容易に判定することができる。   Moreover, it is preferable to provide a comparison unit that determines whether or not an obstacle exists on the runway by comparing the similarity with a predetermined threshold value. By comparing the similarity with a predetermined threshold value, it can be easily determined whether or not an obstacle exists on the road.

また、本発明に係る車両は、上記障害物検出装置を備える車両である。上記障害物検出装置を備えるので、検出された障害物が走路上に存在するのかしないのかを精度良く判定することができる。走路外にある障害物を検出した場合でも、障害物が走路外にあることを適切に認識することができるので、走路外にある障害物のために車両を減速または停止するのを防止することができる。これにより、車両の走行効率を向上させることができる。   Moreover, the vehicle which concerns on this invention is a vehicle provided with the said obstacle detection apparatus. Since the obstacle detection device is provided, it can be accurately determined whether or not the detected obstacle exists on the road. Even if an obstacle outside the track is detected, it can be properly recognized that the obstacle is outside the track, thus preventing the vehicle from decelerating or stopping due to an obstacle outside the track. Can do. Thereby, the running efficiency of the vehicle can be improved.

また、前記障害物までの距離と第１距離とを比較することで車両の減速制御を実施するか否かを判定し、前記障害物までの距離と前記第１距離よりも長い第２距離とを比較することで障害物の地面領域と車両の地面領域との類似度を算出するか否かの判定をする障害物距離判定部を備えることが好ましい。   Further, it is determined whether or not the vehicle deceleration control is to be performed by comparing the distance to the obstacle and the first distance, and the distance to the obstacle and the second distance longer than the first distance are determined. It is preferable to provide an obstacle distance determination unit that determines whether or not the similarity between the ground area of the obstacle and the ground area of the vehicle is calculated by comparing.

検出された障害物までの距離に対して２段階の距離基準で車両の車速制御を実施する。障害物までの距離と第１段階の第１距離とを比較して車両の減速制御を実施するか否かを判定する。これにより、障害物と車両との距離が近い場合は車両の減速制御を実施することができ、車両と障害物との衝突を回避することができる。   The vehicle speed control of the vehicle is performed on the basis of the two-step distance reference with respect to the detected distance to the obstacle. It is determined whether or not the vehicle deceleration control is to be performed by comparing the distance to the obstacle with the first distance in the first stage. Thereby, when the distance between the obstacle and the vehicle is short, the deceleration control of the vehicle can be performed, and the collision between the vehicle and the obstacle can be avoided.

また、障害物までの距離と第１段階よりも長い第２段階の第２距離とを比較して障害物の地面領域と車両の地面領域との類似度を算出するか否かの判定をする。これにより、障害物と車両との距離がある程度離れている場合は、障害物地面領域と走路地面領域との類似度を算出し、障害物が走路上に有るか否かを判定した上で、車両の車速制御を実施することができる。   Further, it is determined whether or not the similarity between the ground area of the obstacle and the ground area of the vehicle is calculated by comparing the distance to the obstacle with the second distance of the second stage longer than the first stage. . By this, when the distance between the obstacle and the vehicle is some distance away, after calculating the similarity between the obstacle ground area and the road ground area, and determining whether the obstacle is on the road, Vehicle speed control of the vehicle can be implemented.

本発明によれば、障害物が走路内に存在するのか走路外に存在するのかを判定することができる障害物検出装置及びそれを用いた車両を提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, the obstruction detection apparatus which can determine whether an obstruction exists in a runway, or exists out of a runway, and a vehicle using the same can be provided.

実施例１に係る車両の前面図である。1 is a front view of a vehicle according to a first embodiment. 実施例に係る車両の構成を示すブロック図である。It is a block diagram which shows the structure of the vehicle which concerns on an Example. 実施例１に係る障害物検出装置の構成を示すブロック図である。1 is a block diagram illustrating a configuration of an obstacle detection device according to Embodiment 1. FIG. 障害物領域設定を示す説明図である。It is explanatory drawing which shows an obstruction area | region setting. 障害物地面領域および走路地面領域を示す説明図である。It is explanatory drawing which shows an obstruction ground area | region and a runway ground area | region. 実施例１に係る障害物判定の流れを示すフローチャートである。6 is a flowchart illustrating a flow of obstacle determination according to the first embodiment. 実施例２に係る車両の前面図である。FIG. 6 is a front view of a vehicle according to a second embodiment. 実施例２に係る障害物検出装置の構成を示すブロック図である。It is a block diagram which shows the structure of the obstruction detection apparatus which concerns on Example 2. FIG. 実施例２に係る障害物検出を示す説明図である。It is explanatory drawing which shows the obstacle detection which concerns on Example 2. FIG. 実施例２に係る障害物検出装置の一部構成を示すブロック図である。It is a block diagram which shows the partial structure of the obstruction detection apparatus which concerns on Example 2. FIG. 障害物地面領域および走路地面領域を示す説明図である。It is explanatory drawing which shows an obstruction ground area | region and a runway ground area | region. 障害物地面領域の濃度ヒストグラムを示す説明図である。It is explanatory drawing which shows the density | concentration histogram of an obstruction ground area | region. 走路地面領域の濃度ヒストグラムを示す説明図である。It is explanatory drawing which shows the density | concentration histogram of a runway ground area | region. 障害物地面領域の濃度ヒストグラムを示す説明図である。It is explanatory drawing which shows the density | concentration histogram of an obstruction ground area | region. 実施例２に係る障害物検出の流れを示すフローチャートである。10 is a flowchart illustrating a flow of obstacle detection according to the second embodiment. 従来例に係る障害物検出領域を示す説明図である。It is explanatory drawing which shows the obstruction detection area | region which concerns on a prior art example. 従来例に係る障害物検出領域を示す説明図である。It is explanatory drawing which shows the obstruction detection area | region which concerns on a prior art example.

以下、図面を参照して本発明の実施例１を説明する。本発明における車両の実施形態として、自動走行するゴルフカートを挙げる。車両は４輪車に限られず、３輪車でもよいし、モノレール型でもよい。また、車両はゴルフカートに限られず、工場や果樹園で走行する無人搬送車も含まれる。なお、以下の説明で、前後および左右とは車両１の前進する方向を基準としている。   Embodiment 1 of the present invention will be described below with reference to the drawings. As an embodiment of a vehicle in the present invention, a golf cart that automatically runs is given. The vehicle is not limited to a four-wheeled vehicle, and may be a three-wheeled vehicle or a monorail type. Further, the vehicle is not limited to a golf cart, and includes an automatic guided vehicle that runs in a factory or an orchard. In the following description, front and rear and left and right are based on the direction in which the vehicle 1 moves forward.

１．車両の概略構成
図１および図２を参照する。図１は、実施例に係る車両１の前面図であり、図２は車両１の構成を示す機能ブロック図である。車両１はゴルフ場内を自動または手動走行するゴルフカートである。車両１は、走路に埋め込まれた誘導線から発せられる電磁波に誘導されて自動走行することができる。車両１の前面中央部に画像センサ３が設けられている。画像センサ３の一例として可視光カメラが挙げられる。 1. Schematic configuration of vehicle Referring to FIGS. 1 and 2. FIG. 1 is a front view of a vehicle 1 according to the embodiment, and FIG. 2 is a functional block diagram showing a configuration of the vehicle 1. The vehicle 1 is a golf cart that travels automatically or manually in a golf course. The vehicle 1 can be automatically driven by being guided by electromagnetic waves emitted from a guide wire embedded in the runway. An image sensor 3 is provided in the center of the front surface of the vehicle 1. An example of the image sensor 3 is a visible light camera.

また、車両１には、車両１が走行する走路上の障害物を検出する障害物検出装置５と、車両１が誘導線に沿って自動走行するのを制御する自動走行制御部７と、障害物検出装置５が障害物を検出すると運転者および周囲に警告を発生する警告出力部８と、障害物の検出により減速または停止の制御をする車速制御部９と、車輪を駆動し、車速制御部９により回転数が制御される駆動モータ１１とが設けられている。本実施例において、車両１はモータで駆動されるがこれに限らず、エンジンにより駆動されてもよい。   Further, the vehicle 1 includes an obstacle detection device 5 that detects an obstacle on the road on which the vehicle 1 travels, an automatic travel control unit 7 that controls the vehicle 1 to automatically travel along the guide line, When the object detection device 5 detects an obstacle, the warning output unit 8 generates a warning to the driver and the surroundings, the vehicle speed control unit 9 that controls deceleration or stop by detecting the obstacle, and the wheel is driven to control the vehicle speed. A drive motor 11 whose rotational speed is controlled by the unit 9 is provided. In the present embodiment, the vehicle 1 is driven by a motor, but is not limited thereto, and may be driven by an engine.

２．障害物検出装置の構成
次に図３を参照して車両１に備えられた障害物検出装置５の構成を説明する。図３は、障害物検出装置の構成を示すブロック図である。 2. Configuration of Obstacle Detection Device Next, the configuration of the obstacle detection device 5 provided in the vehicle 1 will be described with reference to FIG. FIG. 3 is a block diagram illustrating a configuration of the obstacle detection apparatus.

障害物検出装置５は、車両１の前方の画像を撮影する画像センサ３と、画像センサ３により撮影された画像を基に障害物を検出する障害物検出部１５と、検出された障害物の地面領域を設定する障害物地面領域設定部１７と、障害物の地面領域と走路の地面領域とのテキスチャの類似度から障害物が走路上に存在するか否かを判定する障害物判定部２３とを備える。障害物検出部１５、障害物地面領域設定部１７、障害物判定部２３はマイクロプロセッサまたはＦＰＧＡ（Field Programmable Gate Array;再構成可能なゲートアレイ）で構成される。次にそれぞれの構成部について順に説明する。   The obstacle detection device 5 includes an image sensor 3 that captures an image in front of the vehicle 1, an obstacle detection unit 15 that detects an obstacle based on an image captured by the image sensor 3, and the detected obstacle. An obstacle ground area setting unit 17 that sets a ground area, and an obstacle determination unit 23 that determines whether an obstacle exists on the road from the similarity of the texture between the ground area of the obstacle and the ground area of the road. With. The obstacle detection unit 15, the obstacle ground area setting unit 17, and the obstacle determination unit 23 are configured by a microprocessor or an FPGA (Field Programmable Gate Array). Next, each component will be described in order.

障害物検出部１５は、画像センサ３から送られる画像に対して、例えばテンプレートマッチングにより障害物を検出する。テンプレートの一例として、人および車両の形状のものが挙げられる。また、テンプレートマッチングの他にも、ＨＯＧ（Histograms of Oriented Gradients）特徴を用いて人や車両などの物体を障害物として検出してもよい。   The obstacle detection unit 15 detects an obstacle from the image sent from the image sensor 3 by, for example, template matching. An example of a template is one in the form of a person and a vehicle. In addition to template matching, an object such as a person or a vehicle may be detected as an obstacle using a HOG (Histograms of Oriented Gradients) feature.

障害物地面領域設定部１７は、検出された障害物の地面領域を設定する。障害物地面領域設定部１７は、検出された障害物の画像上の領域を設定する障害物領域設定部１９と、設定された障害物領域の下方画素領域を障害物地面領域として設定する地面領域設定部２１とを有する。   The obstacle ground area setting unit 17 sets the ground area of the detected obstacle. The obstacle ground area setting unit 17 sets an area on the detected obstacle image on the obstacle area setting unit 19 and a ground area that sets a lower pixel area of the set obstacle area as an obstacle ground area. And a setting unit 21.

図４を参照して説明する。図４は障害物領域設定を示す説明図である。障害物領域設定部１９は、検出された障害物Ｂｓ１の画像ＤＰ１上のｕｖ座標の最大値と最小値を抽出することで、障害物を外接矩形で囲む障害物領域Ｂａ１を設定する。   This will be described with reference to FIG. FIG. 4 is an explanatory diagram showing the obstacle area setting. The obstacle area setting unit 19 sets the obstacle area Ba1 that surrounds the obstacle with a circumscribed rectangle by extracting the maximum value and the minimum value of the uv coordinates on the image DP1 of the detected obstacle Bs1.

地面領域設定部２１は、設定された障害物領域Ｂａ１の直下の下方画素領域を障害物地面領域Ｂｇ１として設定する。障害物地面領域Ｂｇ１のｕ軸方向の幅は、障害物領域Ｂａ１の幅と同じ大きさで設定する。障害物地面領域Ｂｇ１のｖ軸方向の高さは、予め決められた大きさで設定する。設定された障害物地面領域Ｂｇ１の各画素の濃度値のデータが障害物判定部２３へ出力される。   The ground area setting unit 21 sets the lower pixel area immediately below the set obstacle area Ba1 as the obstacle ground area Bg1. The width in the u-axis direction of the obstacle ground area Bg1 is set to the same size as the width of the obstacle area Ba1. The height of the obstacle ground area Bg1 in the v-axis direction is set to a predetermined size. Data of the density value of each pixel of the set obstacle ground area Bg1 is output to the obstacle determination unit 23.

障害物判定部２３は、障害物地面領域Ｂｇ１と走路地面領域Ｃｇ１との類似度Ｓを基に、障害物が走路上に存在するか否かの判定をする。障害物判定部２３は、画像内の障害物地面領域Ｂｇ１と走路地面領域Ｃｇ１との類似度Ｓを算出する類似度算出部２５と、算出された類似度Ｓを閾値Ｔと比較する比較部２７とを有する。   The obstacle determination unit 23 determines whether an obstacle exists on the road, based on the similarity S between the obstacle ground area Bg1 and the road ground area Cg1. The obstacle determination unit 23 calculates a similarity S between the obstacle ground region Bg1 and the road ground region Cg1 in the image, and a comparison unit 27 that compares the calculated similarity S with a threshold T. And have.

類似度算出部１９は、予め定められた走路地面領域Ｃｇ１の画素の濃度ヒストグラムと障害物地面領域Ｂｇ１の画素の濃度ヒストグラムとの類似度Ｓを算出する。走路地面領域Ｃｇ１は画像Ｄｐ１において、ｕ軸方向において中央部に位置し、ｖ軸方向において下部に位置する。すなわち、車両１（画像センサ３）に直近の中央手前を撮影した部分を走路地面領域Ｃｇ１と定めている。走路地面領域Ｃｇ１は走路Ｒｄ上を撮影している。障害物地面領域Ｂｇ１と走路地面領域Ｃｇ１との類似度Ｓを算出することで、障害物地面領域Ｂｇ１と走路Ｒｄとの類似度を算出することになる。   The similarity calculation unit 19 calculates a similarity S between a predetermined density histogram of pixels in the road ground area Cg1 and a density histogram of pixels in the obstacle ground area Bg1. The runway ground region Cg1 is located in the center in the u-axis direction and in the lower part in the v-axis direction in the image Dp1. That is, a portion obtained by photographing the center front closest to the vehicle 1 (image sensor 3) is defined as a runway ground region Cg1. The runway ground area Cg1 is taken on the runway Rd. By calculating the similarity S between the obstacle ground area Bg1 and the running road ground area Cg1, the similarity between the obstacle ground area Bg1 and the running road Rd is calculated.

類似度Ｓは、例えば、下式に示されるバタチャリア（Bhattacharyya）係数を用いることで算出することができる。通常、濃度値は０〜２５５の２５６段階の値を取りうる。この場合、ｑの値は０〜２５５の値を取り、Ｎの値は２５６である。   The similarity S can be calculated, for example, by using a Bhattacharyya coefficient represented by the following equation. Usually, the density value can take a value of 256 steps from 0 to 255. In this case, the value of q takes a value from 0 to 255, and the value of N is 256.

比較部２７は、算出された類似度Ｓを予め定められた閾値Ｔと比較する。類似度Ｓが閾値Ｔよりも大きければ、障害物Ｂｓ１は走路Ｒｄ上に存在すると判定する。類似度Ｓが閾値Ｔ以下であれば、障害物Ｂｓ１は走路Ｒｄ上に存在しないと判定する。障害物Ｂｓ１は走路Ｒｄ上に存在すると判定された場合、判定信号が警告出力部８および車速制御部９へ送られる。障害物Ｂｓ１は走路Ｒｄ上に存在しないと判定された場合、判定信号は出力されない。   The comparison unit 27 compares the calculated similarity S with a predetermined threshold T. If the similarity S is greater than the threshold value T, it is determined that the obstacle Bs1 exists on the track Rd. If the similarity S is less than or equal to the threshold T, it is determined that the obstacle Bs1 does not exist on the track Rd. When it is determined that the obstacle Bs1 exists on the road Rd, a determination signal is sent to the warning output unit 8 and the vehicle speed control unit 9. When it is determined that the obstacle Bs1 does not exist on the track Rd, the determination signal is not output.

次に、実施例１における障害物検出の動作を図６を用いて説明する。図６は障害物検出の処理手順を示すフローチャートである。   Next, the operation of obstacle detection in the first embodiment will be described with reference to FIG. FIG. 6 is a flowchart showing a processing procedure for obstacle detection.

車両１の前面に設けられた画像センサ３により画像を撮影する（ステップＳ０１）。次に、障害物検出部１５は、撮影された画像Ｄｐ１内の障害物Ｂｓ１を検出する（ステップＳ０２）。障害物領域設定部１９は、検出された障害物Ｂｓ１を囲む外接矩形の領域を障害物領域Ｂａ１として設定する（ステップＳ０３）。地面領域設定部２１は、障害物領域Ｂａ１の下方の予め決められた大きさの領域を障害物地面領域Ｂｇ１として設定する（ステップＳ０４）。画像ＤＰ１内の中央下部の予め決められた領域を走路地面領域Ｃｇ１として、この走路地面領域Ｃｇ１の画素の濃度値と障害物地面領域Ｂａ１の画素の濃度値とのそれぞれのヒストグラムの類似度Ｓを算出する（ステップＳ０５）。算出された類似度Ｓにより、検出された障害物Ｂｓ１が車両１の走路上に有るか否かの障害物判定をする（ステップＳ０６）。類似度Ｓが閾値Ｔよりも大きければ障害物Ｂｓ１は走路Ｒｄ上にあると判定され、類似度Ｓが閾値Ｔ以下であれば障害物Ｂｓ１は走路Ｒｄ上に無いと判定する。   An image is taken by the image sensor 3 provided on the front surface of the vehicle 1 (step S01). Next, the obstacle detection unit 15 detects the obstacle Bs1 in the photographed image Dp1 (step S02). The obstacle area setting unit 19 sets a circumscribed rectangular area surrounding the detected obstacle Bs1 as the obstacle area Ba1 (step S03). The ground area setting unit 21 sets an area having a predetermined size below the obstacle area Ba1 as the obstacle ground area Bg1 (step S04). A predetermined area at the lower center of the image DP1 is defined as a road ground area Cg1, and the histogram similarity S between the density value of the pixel of the road ground area Cg1 and the density value of the pixel of the obstacle ground area Ba1 is expressed as follows. Calculate (step S05). Based on the calculated similarity S, an obstacle determination is made as to whether or not the detected obstacle Bs1 is on the road of the vehicle 1 (step S06). If the similarity S is greater than the threshold T, it is determined that the obstacle Bs1 is on the road Rd, and if the similarity S is equal to or less than the threshold T, it is determined that the obstacle Bs1 is not on the road Rd.

なお、障害物Ｂｓ１が走路Ｒｄ上に存在するとの判定に応じて、スピーカ等で構成される警告出力部８から操縦者および周囲に対して警報を発する。また、障害物Ｂｓ１が走路Ｒｄ上に存在するとの判定に応じて、車速制御部９が減速の制御およびブレーキ制動を実施し、駆動モータ１１および車輪の回転が制動され、車両１が減速または停止する。   In response to the determination that the obstacle Bs1 exists on the road Rd, the warning output unit 8 including a speaker or the like issues a warning to the driver and the surroundings. Further, in response to the determination that the obstacle Bs1 exists on the travel path Rd, the vehicle speed control unit 9 performs the deceleration control and the brake braking, the drive motor 11 and the wheel rotation are braked, and the vehicle 1 is decelerated or stopped. To do.

このように、実施例１によれば、検出された障害物Ｂｓ１の地面領域Ｂｇ１の濃度値と、走路地面領域Ｃｇ１すなわち走路Ｒｄ領域の濃度値との類似度Ｓを算出する。この類似度Ｓを基に検出した障害物Ｂｓ１が走路Ｒｄ上に存在するか否かを判別するので、走路上に存在する障害物を精度良く判別することができる。また、障害物が走路上に存在すると判別された場合だけ、車両１の減速制御が実施されるので、車両１の走行効率を上げることができる。   As described above, according to the first embodiment, the similarity S between the detected density value of the ground area Bg1 of the obstacle Bs1 and the density value of the runway ground area Cg1, that is, the runway Rd area is calculated. Since it is determined whether or not the obstacle Bs1 detected on the basis of the similarity S exists on the road Rd, it is possible to accurately determine the obstacle present on the road. Moreover, since the deceleration control of the vehicle 1 is performed only when it is determined that an obstacle exists on the road, the traveling efficiency of the vehicle 1 can be increased.

次に、図７および図８を参照して実施例２に係る障害物検出装置について説明する。図７は実施例２における車両の前面図である。図８は実施例２における障害物検出装置の構成を示すブロック図である。実施例２において、実施例１に示した符号と同一の符号で示した部分は、実施例１と同様の構成であるのでここでの説明は省略する。また、以下に記載した以外の車両および障害物検出装置の構成は実施例１と同様である。   Next, an obstacle detection apparatus according to the second embodiment will be described with reference to FIGS. 7 and 8. FIG. 7 is a front view of the vehicle in the second embodiment. FIG. 8 is a block diagram illustrating the configuration of the obstacle detection apparatus according to the second embodiment. In the second embodiment, the parts indicated by the same reference numerals as those in the first embodiment have the same configuration as in the first embodiment, and thus the description thereof is omitted here. The configurations of the vehicle and the obstacle detection device other than those described below are the same as those in the first embodiment.

実施例２の特徴は、検出された障害物が走路上に存在するか否かの判定精度をより向上させた点である。実施例１では画像情報を基に障害物が走路上に存在するか否かの判定をしていたが、実施例２では画像情報にさらに距離情報を加えて障害物が走路上に存在するか否かの判定をする。   A feature of the second embodiment is that the accuracy of determining whether or not the detected obstacle exists on the road is further improved. In the first embodiment, whether or not an obstacle exists on the road is determined based on the image information. In the second embodiment, whether or not an obstacle exists on the road by adding distance information to the image information. Determine whether or not.

実施例２における障害物検出装置６は、ステレオカメラ４と、メモリ１０と、視差画像作成部１２と、距離画像演算部１３と、障害物検出部１４と、障害物距離判定部１６と、障害物地面領域設定部１８と、走路地面領域設定部２６と、障害物判定部２４とを有する。視差画像作成部１２、距離画像演算部１３、障害物検出部１４、障害物距離判定部１６、障害物地面領域設定部１８、走路地面領域設定部２６、および、障害物判定部２４は、マイクロプロセッサまたはＦＰＧＡで構成される。   The obstacle detection apparatus 6 according to the second embodiment includes a stereo camera 4, a memory 10, a parallax image creation unit 12, a distance image calculation unit 13, an obstacle detection unit 14, an obstacle distance determination unit 16, and an obstacle. The object ground area setting unit 18, the runway ground area setting unit 26, and the obstacle determination unit 24 are included. The parallax image creation unit 12, the distance image calculation unit 13, the obstacle detection unit 14, the obstacle distance determination unit 16, the obstacle ground region setting unit 18, the runway ground region setting unit 26, and the obstacle determination unit 24 It consists of a processor or FPGA.

ステレオカメラ４は、車両１の前面中央部に設けられた２個の画像センサ４ａ、４ｂで構成される。ステレオカメラ４は、左画像センサ４ａおよび右画像センサ４ｂで構成される。左画像センサ４ａおよび右画像センサ４ｂのいずれかを基準カメラとする。なお、ステレオカメラ３は２台の画像センサに限られず、３台以上の画像センサを用いてもよい。   The stereo camera 4 is composed of two image sensors 4 a and 4 b provided in the center of the front surface of the vehicle 1. The stereo camera 4 includes a left image sensor 4a and a right image sensor 4b. Either the left image sensor 4a or the right image sensor 4b is set as a reference camera. The stereo camera 3 is not limited to two image sensors, and three or more image sensors may be used.

ステレオカメラ４の画像センサ４ａ、４ｂは予め定められた幾何条件の下で設置されている。本実施例では、画像センサ４ａ、４ｂは水平方向に一定距離を保たれて設置されている。すなわち、画像センサ４ａ、４ｂは平行ステレオである。画像センサ４ａ、４ｂは、ＣＣＤやＣＭＯＳなど一般的な可視光センサである。各画像センサ４ａ、４ｂは、それぞれ撮像された画像の行の位置が一致するように、すなわち、エピポーラ線が一致するように、予めカメラキャリブレーションが実施されている。なお、左画像センサ４ａで撮影された画像を左画像とし、右画像センサ４ｂで撮影された画像を右画像とする。   The image sensors 4a and 4b of the stereo camera 4 are installed under a predetermined geometric condition. In this embodiment, the image sensors 4a and 4b are installed at a constant distance in the horizontal direction. That is, the image sensors 4a and 4b are parallel stereo. The image sensors 4a and 4b are general visible light sensors such as a CCD and a CMOS. Each of the image sensors 4a and 4b has been subjected to camera calibration in advance so that the positions of the rows of the captured images are matched, that is, the epipolar lines are matched. Note that an image photographed by the left image sensor 4a is a left image, and an image photographed by the right image sensor 4b is a right image.

メモリ１０は、ステレオカメラ４の各画像センサが撮影した画像を一旦、保管する画像バッファである。保管された、画像センサ４ａ、４ｂの各画像は順に視差画像作成部１２へ出力される。   The memory 10 is an image buffer that temporarily stores images taken by the image sensors of the stereo camera 4. The stored images of the image sensors 4a and 4b are sequentially output to the parallax image creation unit 12.

視差画像作成部１２は、入力される左画像および右画像からステレオマッチングにより視差画像を作成する。ステレオマッチングの方法は、例えば、ＳＡＤを用いる方法またはハミング距離を用いる方法が挙げられる。   The parallax image creation unit 12 creates a parallax image by stereo matching from the input left image and right image. Examples of the stereo matching method include a method using SAD or a method using a Hamming distance.

距離画像演算部１３は、視差画像を基に、各画素が表示する物体までの実空間上の距離を演算する。視差画像から距離を演算する方法は、従来から利用されている平行ステレオ法を用いる。すなわち、２台の撮像センサ４ａ、４ｂ間の距離、および、２台の撮像センサ４ａ、４ｂの焦点距離と視差画像を用いることで、基準画像である左画像の各画素に距離情報が付された距離画像を演算することができる。   The distance image calculation unit 13 calculates a distance in real space to the object displayed by each pixel based on the parallax image. As a method for calculating the distance from the parallax image, a conventionally used parallel stereo method is used. That is, by using the distance between the two imaging sensors 4a and 4b and the focal length and the parallax image of the two imaging sensors 4a and 4b, distance information is attached to each pixel of the left image that is the reference image. A distance image can be calculated.

障害物検出部１４は、実空間上の予め定められた空間内に点が検出されれば、そこになにかしらの障害物が存在すると判定する。図９を参照して説明する。図９は、障害物検出を示す説明図である。車両１の進行方向の実空間ＸＹＺにおいて、予め定められた検出範囲の空間Ｓｐ内で、車両１からほぼ同じ距離にある点群ＰＧを検出する。これらの点群ＰＧを障害物として検出し、基準画像内の対応する障害物のｕｖ座標の最大値と最小値とを抽出することで、障害物を外接矩形で囲む障害物領域Ｂａ２を設定する。また、点群ＰＧまでの距離Ｌ_０を距離画像から検出する。 If a point is detected in a predetermined space in the real space, the obstacle detection unit 14 determines that some obstacle exists. This will be described with reference to FIG. FIG. 9 is an explanatory diagram showing obstacle detection. In the real space XYZ in the traveling direction of the vehicle 1, a point group PG that is at substantially the same distance from the vehicle 1 is detected within the space Sp of a predetermined detection range. By detecting these point groups PG as obstacles and extracting the maximum and minimum values of the uv coordinates of the corresponding obstacles in the reference image, an obstacle region Ba2 that surrounds the obstacles with a circumscribed rectangle is set. . Further, to detect the distance L ₀ to the point group PG from the distance image.

障害物距離判定部１６は、検出された障害物までの距離Ｌ_０と予め定められた閾値とを比較して、障害物までの距離Ｌ_０に応じて車両１の車速制御を実施するか否かを判定する。障害物までの距離Ｌ_０が第１の閾値Ｌ_１より小さければ、車両１を減速する判定を行い、車速制御部９へ減速の指示をする。閾値Ｌ_１は、カーブにおいても走路脇の樹木および構造物と車両１との距離が最低でも確保されている距離が好ましい。すなわち、走路上に障害物が存在しない場合、車両１から距離Ｌ_１の範囲内には、障害物が検出されない距離である。 The obstacle distance determining unit 16 compares the predetermined threshold with the distance L ₀ to the detected obstacle, whether to implement the speed control of the vehicle 1 according to the distance L ₀ to the obstacle Determine whether. If the distance L ₀ to the obstacle is smaller than the first threshold L ₁ , the vehicle 1 is determined to be decelerated and the vehicle speed control unit 9 is instructed to decelerate. Threshold L _1, the distance the distance also trees and structures the vehicle 1 runway aside in the curve is secured at least is preferred. That is, if there is no obstacle on the road, the range from the vehicle 1 of the distance L _1, the distance of the obstacle is not detected.

また、自動走行時の車速は、制動距離が距離Ｌ_１に対して十分余裕を持つように設定される。なお、車両１がＧＰＳを備えることにより、自車両の位置を認識できる場合は、車両１が走行するコースごとに第１の閾値Ｌ_１を用意してもよい。 Further, the vehicle speed when the automatic travel is set to have a sufficient margin braking distance relative to the distance L _1. In addition, when the vehicle 1 is equipped with GPS and can recognize the position of the own vehicle, the first threshold L ₁ may be prepared for each course on which the vehicle 1 travels.

また第１の閾値Ｌ_１に加えて、障害物距離判定部１６は検出された障害物までの距離Ｌ_０と第２の閾値Ｌ_２とも比較する。第２の閾値Ｌ_２は第１の閾値Ｌ_１よりも大きい。障害物までの距離Ｌ_０が第１の閾値Ｌ_１以上で第２の閾値Ｌ_２よりも小さい場合、障害物地面領域と走路地面領域とのテキスチャの類似度を判定する処理が実施される。障害物までの距離Ｌ_０が第２の閾値Ｌ_２以上の場合、車両１と障害物との距離が遠いので、車両１の車速制御は実施されない。 In addition to the first threshold value L _1, the obstacle distance determining section 16 compares the distance L ₀ between ₂ both the second threshold value L to the detected obstacle. The second threshold value _{L 2} larger than the first threshold value _{L 1.} If the distance L ₀ to the obstacle is smaller than the second threshold value L ₂ at the first threshold value L ₁ or more, processing of determining the similarity of textures of the obstacle ground area and runway ground area is performed. When the distance L ₀ to the obstacle is greater than or equal to the second threshold value L ₂ , the vehicle 1 is not far away from the obstacle, so that the vehicle speed control of the vehicle 1 is not performed.

走路地面領域設定部１８は、障害物距離判定部１６より障害物地面領域設定の指示が入力されると、実施例１と同様に、検出された障害物の地面領域を設定する。図１１を参照する。図１１は、障害物地面領域および走路地面領域を示す説明図である。障害物領域設定部２０は、検出された点群ＰＧに対応する画像Ｄｐ２上の障害物Ｂｓ２のｕｖ座標の最大値と最小値を抽出することで、障害物Ｂｓ２を外接矩形で囲む障害物領域Ｂａ２を設定する。また、検出範囲の空間Ｓｐ内で樹木が検出された場合も同様に、検出された点群に対応する画像Ｄｐ２上の障害物Ｂｓ３のｕｖ座標の最大値と最小値を抽出することで、障害物Ｂｓ３を外接矩形で囲む障害物領域Ｂａ３を設定する。   The runway ground area setting unit 18 sets the ground area of the detected obstacle as in the first embodiment when an instruction to set the obstacle ground area is input from the obstacle distance determination unit 16. Please refer to FIG. FIG. 11 is an explanatory diagram showing an obstacle ground area and a runway ground area. The obstacle region setting unit 20 extracts the maximum value and the minimum value of the uv coordinates of the obstacle Bs2 on the image Dp2 corresponding to the detected point group PG, thereby surrounding the obstacle Bs2 with a circumscribed rectangle. Ba2 is set. Similarly, when a tree is detected in the space Sp of the detection range, the maximum value and the minimum value of the uv coordinates of the obstacle Bs3 on the image Dp2 corresponding to the detected point group are extracted, thereby An obstacle region Ba3 that surrounds the object Bs3 with a circumscribed rectangle is set.

地面領域設定部２２は、設定された障害物領域Ｂａ２およびＢａ３の直下の下方画素領域を障害物地面領域Ｂｇ２およびＢｇ３として設定する。障害物地面領域Ｂｇ２、Ｂｇ３のｕ軸方向の幅は、それぞれ、障害物領域Ｂａ２、Ｂａ３の幅と同じ大きさで設定する。障害物地面領域Ｂｇ２、Ｂｇ３のｖ軸方向の高さは、予め決められた大きさで設定する。予め決められた大きさとして、例えば、実空間上で５０ｃｍ程度に対応する大きさである。すなわち、障害物地面領域Ｂｇ２、Ｂｇ３は、障害物領域Ｂａ２、Ｂａ３の下方に実空間上で５０ｃｍ程度の大きさの領域を画像Ｄｐ２に投影した画素領域である。なお、図９には、障害物地面領域Ｂｇ２および走路地面領域Ｃｇ２の実空間上において対応する領域が示されている。   The ground area setting unit 22 sets the lower pixel area immediately below the set obstacle areas Ba2 and Ba3 as the obstacle ground areas Bg2 and Bg3. The width in the u-axis direction of the obstacle ground areas Bg2 and Bg3 is set to the same size as the width of the obstacle areas Ba2 and Ba3, respectively. The height in the v-axis direction of the obstacle ground areas Bg2 and Bg3 is set to a predetermined size. The predetermined size is, for example, a size corresponding to about 50 cm in real space. That is, the obstacle ground areas Bg2 and Bg3 are pixel areas obtained by projecting an area having a size of about 50 cm in real space below the obstacle areas Ba2 and Ba3 onto the image Dp2. In FIG. 9, corresponding regions in the real space of the obstacle ground region Bg2 and the running road ground region Cg2 are shown.

走路地面領域設定部２６は、実空間上で障害物地面領域と同じ面積の領域を、画像上に走路地面領域として設定する。走路地面領域設定部２６は、面積算出部２８と地面領域設定部２９とを備える。   The runway ground area setting unit 26 sets an area having the same area as the obstacle ground area in the real space as a runway ground area on the image. The runway ground area setting unit 26 includes an area calculation unit 28 and a ground area setting unit 29.

面積算出部２８は、距離画像を基に、画像Ｄｐ２上に設定された障害物地面領域Ｂｇ２およびＢｇ３の実空間上の面積を算出する。   The area calculation unit 28 calculates the area in the real space of the obstacle ground areas Bg2 and Bg3 set on the image Dp2 based on the distance image.

地面領域設定部２９は、面積算出部２８が算出した面積と同じ大きさの領域を、画像Ｄｐ２においてｕ軸方向において中央部に位置し、ｖ軸方向において下部に位置する走路地面領域Ｃｇ２を設定する。すなわち、走路地面領域Ｃｇ２の実空間における地面上での面積が、障害物地面領域Ｂｇ２の実空間における地面上での面積とほぼ同じになるように、走路地面領域Ｃｇ２を撮影画像Ｄｐ２上に設定する。撮影画像Ｄｐ２内においては、車両１から遠方の物体は車両１の近辺の物体よりも小さく写るので、走路地面領域Ｃｇ２は、障害物地面領域Ｂｇ２よりも大きくなる。また同様に、障害物地面領域Ｂｇ３の実空間における地面上での面積とほぼ同じ面積の車両前方の走路地面領域Ｃｇ３（図示省略）を撮影画像Ｄｐ２上に設定する。設定された各障害物地面領域の各画素の濃度値のデータが障害物判定部２３へ出力される。   The ground area setting unit 29 sets an area having the same size as the area calculated by the area calculating unit 28, the runway ground area Cg2 positioned in the center in the u-axis direction and in the lower part in the v-axis direction in the image Dp2. To do. That is, the runway ground area Cg2 is set on the photographed image Dp2 so that the area on the ground in the real space of the road ground area Cg2 is substantially the same as the area on the ground in the real space of the obstacle ground area Bg2. To do. In the captured image Dp2, an object far from the vehicle 1 appears smaller than an object in the vicinity of the vehicle 1, so the runway ground area Cg2 is larger than the obstacle ground area Bg2. Similarly, a road ground area Cg3 (not shown) in front of the vehicle having an area substantially the same as the area on the ground in the real space of the obstacle ground area Bg3 is set on the photographed image Dp2. Data of the density value of each pixel of each set obstacle ground area is output to the obstacle determination unit 23.

障害物判定部２４は、正規化部３０と、走路地面領域と障害物地面領域とのテキスチャの類似度を算出する類似度算出部３１と、比較部２７とを有する。   The obstacle determination unit 24 includes a normalization unit 30, a similarity calculation unit 31 that calculates the degree of texture similarity between the runway ground region and the obstacle ground region, and a comparison unit 27.

正規化部３０は、障害物地面領域Ｂｇ２、Ｂｇ３および走路地面領域Ｃｇ２、Ｃｇ３の濃度値のヒストグラムを正規化する。このヒストグラムは量子化されたものを用いる。すなわち、障害物地面領域Ｂｇ２、Ｂｇ３の濃度値と走路地面領域Ｃｇ２、Ｃｇ３の濃度値とをそれぞれ諧調を低減して量子化したヒストグラムに対して正規化する。通常、濃度値は０〜２５５の２５６段階の値を取りうるのを、例えば、８段階に量子化する。これにより、類似度の算出のデータ量を抑制することができるので、高速に類似度の判定をすることができる。また、走路地面領域Ｃｇ２、Ｃｇ３に含まれる画素数と、障害物地面領域Ｂｇ２、Ｂｇ３に含まれる画素数とは異なるが、正規化することにより、量子化されたヒストグラムの総和を１になるようにすることで、２つの領域を均等に扱うことができ、類似度の精度を向上させることができる。図１２は、障害物地面領域Ｂｇ２の濃度ヒストグラムを示す説明図であり、図１３は、走路地面領域Ｃｇ２の濃度ヒストグラムを示す説明図である。車両１および障害物Ｂｓ２も共に、例えば舗装された走路上にあるので、どちらのヒストグラムも類似している。図１４は、障害物地面領域Ｂｇ３の濃度ヒストグラムを示す説明図である。障害物Ｂｓ３は、走路外の例えば芝生上にあるので、障害物地面領域Ｂｇ３の濃度ヒストグラムは、走路上の走路地面領域Ｃｇ２の濃度ヒストグラムとは異なる傾向を持つ。   The normalization unit 30 normalizes the histograms of the density values of the obstacle ground areas Bg2, Bg3 and the runway ground areas Cg2, Cg3. This histogram is quantized. That is, the density values of the obstacle ground areas Bg2 and Bg3 and the density values of the runway ground areas Cg2 and Cg3 are normalized with respect to the quantized histogram by reducing gradation. Normally, the density value can take 256 levels from 0 to 255, and is quantized into, for example, 8 levels. Thereby, since the data amount of calculation of similarity can be suppressed, similarity can be determined at high speed. Further, although the number of pixels included in the runway ground areas Cg2 and Cg3 is different from the number of pixels included in the obstacle ground areas Bg2 and Bg3, the sum of the quantized histograms becomes 1 by normalization. By doing so, the two regions can be handled equally, and the accuracy of the similarity can be improved. FIG. 12 is an explanatory diagram showing a density histogram of the obstacle ground area Bg2, and FIG. 13 is an explanatory diagram showing a density histogram of the road ground area Cg2. Since both the vehicle 1 and the obstacle Bs2 are on, for example, a paved runway, both histograms are similar. FIG. 14 is an explanatory diagram showing a density histogram of the obstacle ground area Bg3. Since the obstacle Bs3 is on the grass, for example, outside the road, the density histogram of the obstacle ground area Bg3 tends to be different from the density histogram of the road ground area Cg2 on the road.

類似度算出部３１は、正規化された障害物地面領域Ｂｇ２の濃度値のヒストグラムと正規化された走路地面領域Ｃｇ２の濃度値のヒストグラムとの類似度Ｓ’を算出することで、障害物地面領域Ｂｇ２と走路Ｒｄとの類似度Ｓ’を算出する。類似度Ｓ’の算出には、実施例１と同様にバタチャリア（Bhattacharyya）係数を用いる。実施例２において、数式１におけるｑの値は０〜７の値を取り、Ｎの値は濃度値の量子化数である８である。また、正規化された障害物地面領域Ｂｇ３の濃度値のヒストグラムと正規化された走路地面領域Ｃｇ３の濃度値のヒストグラムとの類似度Ｓ’’も算出される。   The similarity calculation unit 31 calculates the similarity S ′ between the normalized histogram of the density value of the obstacle ground area Bg2 and the normalized histogram of the density value of the runway ground area Cg2, thereby obtaining the obstacle ground. The similarity S ′ between the region Bg2 and the runway Rd is calculated. For the calculation of the similarity S ′, a Bhattacharyya coefficient is used as in the first embodiment. In Example 2, the value of q in Equation 1 takes a value of 0 to 7, and the value of N is 8, which is the quantization number of the density value. Also, a similarity S ″ between the normalized histogram of the density value of the obstacle ground area Bg3 and the normalized histogram of the density value of the runway ground area Cg3 is calculated.

比較部２７は、算出された類似度Ｓ’を予め定められた閾値Ｔ_２と比較する。類似度Ｓ’が閾値Ｔ_２よりも大きければ、障害物Ｂｓ２は走路Ｒｄ上に存在すると判定する。類似度Ｓ’が閾値Ｔ_２以下であれば、障害物Ｂｓ２は走路Ｒｄ上に存在しないと判定する。障害物Ｂｓ２が走路Ｒｄ上に存在すると判定された場合、判定信号が警告出力部８および車速制御部９へ送られる。障害物Ｂｓ２は走路Ｒｄ上に存在しないと判定された場合、判定信号は出力されない。 Comparing unit 27 compares the threshold value T ₂ which predetermined the calculated degree of similarity S '. If the similarity S 'is larger than the threshold value T _2, it determines the obstacle Bs2 is present on the runway Rd. If the similarity S 'is the threshold T ₂ or less, it is determined that the obstacle Bs2 is not on track Rd. When it is determined that the obstacle Bs2 exists on the road Rd, a determination signal is sent to the warning output unit 8 and the vehicle speed control unit 9. When it is determined that the obstacle Bs2 does not exist on the runway Rd, the determination signal is not output.

地面テキスチャの類似度Ｓ’が予め定められた閾値Ｔ_２よりも大きければ、検出された障害物Ｂｓ２は走路Ｒｄ上にあると判断されるので、減速制御を実施する。地面テキスチャの類似度Ｓ’が予め定められた閾値Ｔ_２以下であれば、検出された障害物Ｂｓ２は走路Ｒｄ上に無いと判断されるので、減速制御は実施されない。図１１の場合、障害物地面領域Ｂｇ２と走路地面領域Ｃｇ２との類似度Ｓ’は閾値Ｔ_２よりも大きいと判定され、障害物Ｂｓ２は走路Ｒｄ上に存在すると判定される。また、障害物地面領域Ｂｇ３と走路地面領域Ｃｇ３との類似度Ｓ’’は閾値Ｔ_２以下であると判定され、障害物Ｂｓ３は走路Ｒｄ上に存在しないと判定される。 Is greater than the threshold value T ₂ the similarity S of the ground texture 'is predetermined, the detected obstacle Bs2 since it is determined to be on the track Rd, implementing the deceleration control. If the similarity S of the ground texture 'threshold T ₂ less than or equal to a predetermined detected obstacle Bs2 since it is determined that there is no on track Rd, deceleration control is not performed. For Figure 11, the similarity S of the obstacle ground region Bg2 and runway ground region Cg2 'is determined to be greater than the threshold value T _2, the obstacle Bs2 is determined to be present on the runway Rd. Further, the similarity S of the obstacle ground region Bg3 and runway ground area Cg3 '' is determined to be the threshold value T ₂ or less, the obstacle Bs3 is determined not to exist on the runway Rd.

次に、実施例２における障害物検出の動作を図１５を用いて説明する。図１５は障害物検出の処理手順を示すフローチャートである。   Next, an obstacle detection operation according to the second embodiment will be described with reference to FIG. FIG. 15 is a flowchart showing a processing procedure for obstacle detection.

車両１の前面に設けられたステレオカメラ４により車両前方の複数の画像を撮影する（ステップＳ１１）。次に、撮影された左画像および右画像を基にステレオマッチングを行い視差画像を作成する（ステップＳ１２）。作成された視差画像を基に、基準カメラの画像Ｄｐ２の各画素に実空間における距離情報を付した距離画像を演算する（ステップＳ１３）。予め定められた検出空間Ｓｐの範囲内の距離が一定な点群ＰＧを障害物として検出する（ステップＳ１４）。検出された障害物までの距離Ｌ_０と第１閾値Ｌ_１とを比較する（ステップＳ１５）。 A plurality of images ahead of the vehicle are taken by the stereo camera 4 provided on the front surface of the vehicle 1 (step S11). Next, stereo matching is performed based on the taken left image and right image to create a parallax image (step S12). Based on the created parallax image, a distance image obtained by adding distance information in real space to each pixel of the image Dp2 of the reference camera is calculated (step S13). A point group PG having a constant distance within the predetermined detection space Sp is detected as an obstacle (step S14). The distance L ₀ to the detected obstacle is compared with the first threshold value L ₁ (step S15).

距離Ｌ_０が第１閾値Ｌ_１未満であれば（ステップＳ１５のＹｅｓ）、車両１と障害物との距離が接近しているので、車速制御部９が減速の制御を実施する（ステップＳ１６）。距離Ｌ_０が第１閾値Ｌ_１以上であれば（ステップＳ１５のＮｏ）、さらに、検出された障害物までの距離Ｌ_０と第２閾値Ｌ_２とを比較する（ステップＳ２１）。 If the distance L ₀ is less than the first threshold value L ₁ (Yes in step S15), the vehicle speed control unit 9 controls the deceleration because the distance between the vehicle 1 and the obstacle is close (step S16). . If the distance _{L 0} is the first threshold value _{L 1} or more (No in step S15), and further, compared with the distance _{L 0} to the detected obstacle and a second threshold value _{L 2} (step S21).

障害物までの距離Ｌ_０が第２閾値Ｌ_２以上であれば（ステップＳ２１のＮｏ）、車両１と障害物とが十分に離れているので、車両１の車速制御は行わず、再びステップＳ１１の処理に戻る。 If the distance L ₀ to the obstacle is equal to or greater than the second threshold L ₂ (No in step S21), the vehicle 1 and the obstacle are sufficiently separated from each other, so that the vehicle speed control of the vehicle 1 is not performed and step S11 is performed again. Return to the process.

障害物までの距離Ｌ_０が第２閾値Ｌ_２未満であれば（ステップＳ２１のＹｅｓ）、障害物が走路上に存在するか否かを判定するステップに進む。基準画像Ｄｐ２において検出された点群ＰＧと対応する障害物Ｂｓ２を囲む外接矩形の領域を障害物領域Ｂａ２として設定する（ステップＳ２２）。障害物領域Ｂａ２の下方の予め決められた大きさの領域を障害物地面領域Ｂｇ２として設定する（ステップＳ２３）。設定された障害物地面領域Ｂｇ２の実空間（ＸＹＺ空間）上の面積を算出する（ステップＳ２４）。算出された障害物地面領域Ｂｇ２の実空間上の面積と同じ面積の領域を、画像Ｄｐ２（ｕｖ平面）上のｕ軸方向の中央部かつｖ軸方向の下部に走路地面領域Ｃｇ２を設定する（ステップＳ２５）。 If the distance L ₀ to the obstacle is smaller than the second threshold value L ₂ (Yes in step S21), and proceeds to determining whether an obstacle is present on the track. A circumscribed rectangular area surrounding the obstacle Bs2 corresponding to the point group PG detected in the reference image Dp2 is set as the obstacle area Ba2 (step S22). An area having a predetermined size below the obstacle area Ba2 is set as the obstacle ground area Bg2 (step S23). The area of the set obstacle ground area Bg2 on the real space (XYZ space) is calculated (step S24). An area having the same area as the real area of the obstacle ground area Bg2 thus calculated is set as a runway ground area Cg2 at the center in the u-axis direction and the lower part in the v-axis direction on the image Dp2 (uv plane) ( Step S25).

次に、障害物地面領域Ｂｇ２の画素の濃度値のヒストグラムと走路地面領域Ｃｇ２の画素の濃度値のヒストグラムとを正規化する（ステップＳ２６）。正規化されたそれぞれのヒストグラムの類似度Ｓ’を算出する（ステップＳ２７）。算出された類似度Ｓ’を予め定められた閾値Ｔ_２と比較する（ステップＳ２８）。類似度Ｓ’が閾値Ｔ_２よりも大きい場合（ステップＳ２８のＹｅｓ）、障害物地面領域Ｂｇ２と走路地面領域Ｃｇ２とのそれぞれのテキスチャが類似しているので、障害物が走路上に存在すると判定される。そこで、車速制御部９が減速の制御およびブレーキ制動を実施する（ステップＳ１６）。これにより、駆動モータ１１および車輪の回転が制動され、車両１が減速または停止する。また、障害物Ｂｓ２が走路Ｒｄ上に存在するとの判定に応じて、スピーカ等で構成される警告出力部８から操縦者および周囲に対して警報を発する。 Next, the histogram of the density values of the pixels in the obstacle ground area Bg2 and the histogram of the density values of the pixels in the road ground area Cg2 are normalized (step S26). The similarity S ′ of each normalized histogram is calculated (step S27). Calculated similarity S 'is compared with a threshold value T ₂ which is determined in advance (step S28). If the similarity S ′ is greater than the threshold T ₂ (Yes in step S28), the obstacle ground area Bg2 and the runway ground area Cg2 are similar in texture, so it is determined that an obstacle exists on the runway. Is done. Therefore, the vehicle speed control unit 9 performs deceleration control and brake braking (step S16). Thereby, rotation of drive motor 11 and a wheel is braked, and vehicle 1 decelerates or stops. Further, in response to the determination that the obstacle Bs2 exists on the runway Rd, a warning is issued to the driver and the surroundings from the warning output unit 8 constituted by a speaker or the like.

類似度Ｓ’が閾値Ｔ_２以下の場合（ステップＳ２８のＮｏ）、障害物地面領域Ｂｇ２と走路地面領域Ｃｇ２とのそれぞれのテキスチャが類似していないので、障害物が走路上に存在しないと判定される。そこで、車両１の車速制御は行わず、再びステップＳ１１の処理に戻る。また、障害物が複数個検出された場合、すなわち、障害物Ｂｓ２の他にも、障害物Ｂｓ３が検出された場合でも、それぞれの障害物に対して、上記ステップに従って各障害物が走路Ｒｄ上に存在するか否かが判別される。 If the similarity S 'is the threshold T ₂ or less (No in step S28), since each of the texture of the obstacle ground region Bg2 and runway ground region Cg2 are not similar, it determines that the obstacle is not on track Is done. Therefore, the vehicle speed control of the vehicle 1 is not performed, and the process returns to step S11 again. Further, when a plurality of obstacles are detected, that is, when the obstacle Bs3 is detected in addition to the obstacle Bs2, each obstacle is detected on the road Rd according to the above steps. It is determined whether or not it exists.

このように、実施例２によれば、検出された障害物Ｂｓ２の地面領域Ｂｇ２の濃度値の量子化したヒストグラムと、走路地面領域Ｃｇ２の濃度値の量子化したヒストグラムとを正規化するので、類似度算出のデータ量を抑制することができ、類似度Ｓ’の算出を高速にすることができる。さらに、画素数の異なる２つの領域を均等に扱うことができるので、類似度の精度を向上することができる。また、障害物地面領域Ｂｇ２と走路地面領域Ｃｇ２の実空間上の面積が等しいので、濃度値のヒストグラムの傾向を偏りなく検出することができ、類似度Ｓ’の精度を向上することができる。   Thus, according to Example 2, since the quantized histogram of the density value of the ground area Bg2 of the detected obstacle Bs2 and the quantized histogram of the density value of the runway ground area Cg2 are normalized, The amount of data for calculating the similarity can be suppressed, and the calculation of the similarity S ′ can be performed at high speed. Furthermore, since two regions having different numbers of pixels can be handled equally, the accuracy of similarity can be improved. In addition, since the area in the real space of the obstacle ground area Bg2 and the runway ground area Cg2 is the same, the tendency of the histogram of the density value can be detected without bias, and the accuracy of the similarity S 'can be improved.

さらに、類似度Ｓ’を基に、検出した障害物Ｂｓ２が走路Ｒｄ上に存在するか否かを判別することができるので、走路上に存在する障害物を精度良く判別することができる。また、障害物Ｂｓ２が走路Ｒｄ上に存在すると判別された場合だけ、車両１の減速制御が実施されるので、車両１の走行効率を上げることができる。   Furthermore, since it is possible to determine whether or not the detected obstacle Bs2 exists on the road Rd based on the similarity S ′, it is possible to accurately determine the obstacle present on the road. In addition, since the deceleration control of the vehicle 1 is performed only when it is determined that the obstacle Bs2 exists on the travel path Rd, the traveling efficiency of the vehicle 1 can be increased.

本発明は、上記実施例のものに限らず、次のように変形実施することができる。   The present invention is not limited to the above embodiment, and can be modified as follows.

（１）上記実施例２において、ステレオカメラ４を採用して視差画像を作成し、ステレオマッチングを実施することで距離情報を取得していた。これに限られず、距離情報を、例えば、レーダースキャナにより取得してもよい。この場合、単眼の画像センサにより取得された画像とレーダースキャナにより取得された距離情報とを予め対応づけされている必要がある。   (1) In the second embodiment, the stereo camera 4 is used to create a parallax image, and distance information is acquired by performing stereo matching. For example, the distance information may be acquired by a radar scanner. In this case, the image acquired by the monocular image sensor needs to be associated with the distance information acquired by the radar scanner in advance.

（２）上記実施例において、障害物検出装置５または６は車両に備えられていたがこれに限られない。他にも、例えば、自律走行するロボット用のビジョンシステムや視覚障害者の支援システムなどに採用してもよい。   (2) In the above embodiment, the obstacle detection device 5 or 6 is provided in the vehicle, but is not limited thereto. In addition, for example, it may be adopted in a vision system for a robot that travels autonomously or a support system for a visually impaired person.

１ … 車両
３ … 画像センサ
４ａ … 左画像センサ
４ｂ … 右画像センサ
５、６ … 障害物検出装置
１２ … 視差画像作成部
１３ … 距離画像演算部
１４、１５ … 障害物検出部
１６ … 障害物距離判定部
１７、１８ … 障害物地面領域設定部
２５、３１ … 類似度算出部
２６ … 走路地面領域設定部
２７ … 比較部
２８ … 面積算出部
２９ … 地面領域設定部
３０ … 正規化部 DESCRIPTION OF SYMBOLS 1 ... Vehicle 3 ... Image sensor 4a ... Left image sensor 4b ... Right image sensor 5, 6 ... Obstacle detection apparatus 12 ... Parallax image creation part 13 ... Distance image calculating part 14, 15 ... Obstacle detection part 16 ... Obstacle distance Determination unit 17, 18 ... Obstacle ground area setting unit 25, 31 ... Similarity calculation unit 26 ... Runway ground area setting unit
27: Comparison unit 28 ... Area calculation unit 29 ... Ground area setting unit 30 ... Normalization unit

Claims (9)

走路の地面領域と走路外の地面領域との間で画像情報の特性が異なる場合において、
前方の画像を撮影する画像センサと、
前記画像内の障害物を検出する障害物検出部と、
前記画像内の前記障害物の地面領域を設定する障害物地面領域設定部と、
前記画像内の前記障害物の地面領域と前記走路の地面領域との前記特性の類似度を算出する類似度算出部と
を備える障害物検出装置。 When the characteristics of the image information are different between the ground area of the runway and the ground area outside the runway,
An image sensor for taking a forward image;
An obstacle detection unit for detecting obstacles in the image;
An obstacle ground area setting unit for setting a ground area of the obstacle in the image;
An obstacle detection apparatus comprising: a similarity calculation unit configured to calculate a similarity of the characteristic between the ground area of the obstacle and the ground area of the runway in the image. 請求項１に記載の障害物検出装置において、
前方の物体との距離情報を検出する距離情報検出部を備え、
前記障害物検出部は前記距離情報を基に前記画像内の障害物を検出する
障害物検出装置。 The obstacle detection device according to claim 1,
A distance information detection unit that detects distance information with a front object,
The obstacle detection device detects an obstacle in the image based on the distance information. 請求項１または２に記載の障害物検出装置において、
前記画像センサを平行ステレオの位置関係で複数個備え、
各画像センサの画像を基に視差画像を作成する視差画像作成部を備える
障害物検出装置。 In the obstacle detection device according to claim 1 or 2,
A plurality of the image sensors in a parallel stereo positional relationship,
An obstacle detection device including a parallax image creation unit that creates a parallax image based on an image of each image sensor. 請求項２または３に記載の障害物検出装置において、
前記障害物の地面領域の実空間上における面積と同じ面積を有する走路の地面領域を前記画像内に設定する走路地面領域設定部
を備える障害物検出装置。 In the obstacle detection device according to claim 2 or 3,
An obstacle detection device comprising: a road ground area setting unit that sets, in the image, a ground area of a road having the same area as the area of the obstacle ground area in real space. 請求項４に記載の障害物検出装置において、前記走路地面領域設定部は、
前記障害物の地面領域の実空間上における面積を算出する面積算出部と、
算出された面積と実空間上において同じ大きさの走路の地面領域を前記画像内に設定する地面領域設定部と
を備える障害物検出装置。 The obstacle detection device according to claim 4, wherein the runway ground region setting unit includes:
An area calculation unit for calculating an area of the ground area of the obstacle in real space;
An obstacle detection apparatus comprising: a ground area setting unit configured to set a ground area of a running road having the same size in real space as the calculated area. 請求項１から５のいずれか１つに記載の障害物検出装置において、
障害物の地面領域の濃度値と走路の地面領域の濃度値とをそれぞれ諧調を低減して量子化したヒストグラムに対して正規化する正規化部
を備える障害物検出装置。 In the obstacle detection device according to any one of claims 1 to 5,
An obstacle detection apparatus comprising: a normalization unit that normalizes a density value of an obstacle ground area and a density value of a ground area of a runway with respect to a histogram obtained by reducing gradation and quantizing. 請求項１から６のいずれか１つに記載の障害物検出装置において、
前記類似度と予め定められた閾値と比較することで、障害物が走路上に存在するか否かを判定する比較部
を備える障害物検出装置。 In the obstacle detection device according to any one of claims 1 to 6,
An obstacle detection device comprising: a comparison unit that determines whether an obstacle is present on the road by comparing the similarity with a predetermined threshold value. 請求項１から７のいずれか１つに記載の障害物検出装置を備えた車両。   A vehicle comprising the obstacle detection device according to any one of claims 1 to 7. 請求項８に記載の車両において、
前記障害物までの距離と第１距離とを比較することで車両の減速制御を実施するか否かを判定し、前記障害物までの距離と前記第１距離よりも長い第２距離とを比較することで障害物の地面領域と車両の地面領域との類似度を算出するか否かの判定をする障害物距離判定部
を備える車両。 The vehicle according to claim 8, wherein
It is determined whether or not vehicle deceleration control is to be performed by comparing the distance to the obstacle and the first distance, and the distance to the obstacle and the second distance longer than the first distance are compared. A vehicle including an obstacle distance determination unit that determines whether to calculate the similarity between the ground area of the obstacle and the ground area of the vehicle.

Images