JP2019086406A

JP2019086406A - Object detector

Info

Publication number: JP2019086406A
Application number: JP2017214855A
Authority: JP
Inventors: 陽平鈴木; Yohei Suzuki; 岳人原田; Takehito Harada; 博彦柳川; Hirohiko Yanagawa
Original assignee: Denso Corp; Soken Inc
Current assignee: Denso Corp; Soken Inc
Priority date: 2017-11-07
Filing date: 2017-11-07
Publication date: 2019-06-06

Abstract

To suppress a reduction in detection accuracy in an object detector using a camera.SOLUTION: An object detector of the present invention comprises an ultrasonic sensor 10, a camera system 20, and an object determination unit 30 for determining whether or not the ultrasonic sensor 10 and the camera system 20 have detected the same object. The camera system 20 includes a feature pixel extraction unit 22 for extracting a pixel having a feature associated with luminance from a plurality of images in which the surroundings of a vehicle are imaged, and a feature point detection unit 23 for detecting the position of a feature point, the feature point being a pixel extracted in common from the plurality of images by the feature pixel extraction unit 22. When the number of feature points included in a region R is greater than or equal to a prescribed number, with a region that includes a detection point of the ultrasonic sensor 10 in a plane passing through the ultrasonic sensor 10 defined as R, the object determination unit 30 determines that the ultrasonic sensor 10 and the camera system 20 have detected the same object.SELECTED DRAWING: Figure 1

Description

本発明は、物体検知装置に関するものである。 The present invention relates to an object detection device.

従来、車両に搭載されたカメラを用いて車両の周囲の物体を検知する技術が提案されている。例えば特許文献１では、車両の移動中にカメラによって車両の周囲を２回撮像し、これにより得られた２つの画像に基づいて障害物の位置を検出する技術が提案されている。 Conventionally, a technique has been proposed for detecting an object around a vehicle using a camera mounted on the vehicle. For example, Patent Document 1 proposes a technique for imaging the surroundings of a vehicle twice with a camera while the vehicle is moving, and detecting the position of an obstacle based on two images obtained thereby.

特開２００１−１８７５５３号公報JP 2001-187553 A

しかしながら、このようにカメラが撮像した画像に基づいて物体を検知する方法では、車両と物体との距離の測定精度にばらつきが生じやすいため、物体の検知精度が低下するおそれがある。 However, in the method of detecting an object based on the image captured by the camera as described above, the measurement accuracy of the distance between the vehicle and the object is likely to vary, so the detection accuracy of the object may be reduced.

本発明は上記点に鑑みて、カメラを用いた物体検知装置において、検知精度の低下を抑制することを目的とする。 In view of the above-described points, the present invention has an object to suppress a decrease in detection accuracy in an object detection apparatus using a camera.

上記目的を達成するため、請求項１に記載の発明では、車両に搭載されて、車両の外部の物体を検知する物体検知装置であって、超音波の送受信により物体を検知し、物体の位置を検出する超音波センサ（１０）と、車両の周囲を撮像して複数の画像を取得し、該複数の画像に基づいて物体を検知するカメラシステム（２０）と、超音波センサおよびカメラシステムが同一の物体を検知したか否かを判定する物体判定部（３０）と、を備え、カメラシステムは、複数の画像から輝度に特徴を有する画素を抽出する特徴画素抽出部（２２）と、特徴画素抽出部によって複数の画像から共通して抽出された画素を特徴点として、特徴点の位置を検出する特徴点検出部（２３）と、を備え、超音波センサを通る平面において、超音波センサが検出した物体の位置を示す点をＰ_ｓとし、点Ｐ_ｓを含む領域をＲとし、領域Ｒに含まれる特徴点の数をＮ_１として、物体判定部は、数Ｎ_１が所定数以上であるとき、超音波センサおよびカメラシステムが同一の物体を検知したと判定する。 In order to achieve the above object, the invention according to claim 1 is an object detection device mounted on a vehicle for detecting an object outside the vehicle, wherein the object is detected by transmission and reception of ultrasonic waves, and the position of the object is detected. An ultrasonic sensor (10) for detecting a camera, a camera system (20) for capturing a plurality of images by imaging the surroundings of a vehicle, and detecting an object based on the plurality of images, an ultrasonic sensor and a camera system An object determination unit (30) that determines whether the same object is detected or not, and the camera system includes a feature pixel extraction unit (22) that extracts a pixel having a feature in luminance from a plurality of images; And a feature point detection unit (23) for detecting the position of the feature point with the pixel commonly extracted from the plurality of images by the pixel extraction unit, and the ultrasonic sensor on a plane passing through the ultrasonic sensor Detected The point indicating the position of the object as P _s, a region including the point P _s and R, the number of feature points included in the region R as N _1, the object determination unit, when the number N ₁ is equal to or more than a predetermined number It is determined that the ultrasonic sensor and the camera system have detected the same object.

このように、カメラシステムと超音波センサを組み合わせて用い、超音波センサの検出点に近い特徴点の数をカウントして物体の検知結果を確定させることにより、検知精度の低下を抑制することができる。 As described above, by using the camera system and the ultrasonic sensor in combination and counting the number of feature points close to the detection point of the ultrasonic sensor to determine the detection result of the object, it is possible to suppress the decrease in detection accuracy. it can.

なお、上記各手段の括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係の一例を示すものである。 In addition, the code | symbol in the parenthesis of each said means shows an example of the correspondence with the specific means as described in embodiment mentioned later.

第１実施形態にかかる物体検知装置の構成を示す図である。It is a figure showing composition of an object sensing device concerning a 1st embodiment. 第１実施形態における超音波センサの作動を説明するための図である。It is a figure for demonstrating the action | operation of the ultrasonic sensor in 1st Embodiment. カメラが撮像した画像を示す図である。It is a figure which shows the image which the camera imaged. 図３に示す画像の鳥瞰変換画像を示す図である。It is a figure which shows the bird's-eye view conversion image of the image shown in FIG. 第１実施形態における物体検知処理のフローチャートである。It is a flow chart of object detection processing in a 1st embodiment. 第２実施形態における超音波センサの作動を説明するための図である。It is a figure for demonstrating the action | operation of the ultrasonic sensor in 2nd Embodiment. 第３実施形態における超音波センサの作動を説明するための図である。It is a figure for demonstrating the action | operation of the ultrasonic sensor in 3rd Embodiment. 第４実施形態における超音波センサの作動を説明するための図である。It is a figure for demonstrating the action | operation of the ultrasonic sensor in 4th Embodiment. 第５実施形態における鳥瞰変換画像を示す図である。It is a figure which shows the bird's-eye view conversion image in 5th Embodiment. 第６実施形態における鳥瞰変換画像を示す図である。It is a figure which shows the bird's-eye view conversion image in 6th Embodiment. 第７実施形態における物体検知処理のフローチャートである。It is a flow chart of object detection processing in a 7th embodiment. 他の実施形態における特徴点の分布を示す図である。It is a figure which shows distribution of the feature point in other embodiment. 他の実施形態における特徴点の分布を示す図である。It is a figure which shows distribution of the feature point in other embodiment. 他の実施形態における特徴点の分布を示す図である。It is a figure which shows distribution of the feature point in other embodiment. 他の実施形態における特徴点の分布を示す図である。It is a figure which shows distribution of the feature point in other embodiment.

以下、本発明の実施形態について図に基づいて説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、同一符号を付して説明を行う。 Hereinafter, an embodiment of the present invention will be described based on the drawings. In the following embodiments, parts that are the same as or equivalent to each other will be described with the same reference numerals.

（第１実施形態）
第１実施形態について説明する。本実施形態の物体検知装置は、車両に搭載された超音波センサとカメラによって車両の外部の物体を検知するものである。図１に示すように、物体検知装置は、超音波センサ１０と、カメラシステム２０と、ＥＣＵ３０とを備えている。なお、本実施形態では、物体検知装置は超音波センサ１０を複数備えており、図１では、物体検知装置が備える複数の超音波センサ１０のうちの１つを図示している。 First Embodiment
The first embodiment will be described. The object detection apparatus of this embodiment detects an object outside the vehicle by an ultrasonic sensor and a camera mounted on the vehicle. As shown in FIG. 1, the object detection device includes an ultrasonic sensor 10, a camera system 20, and an ECU 30. In the present embodiment, the object detection device includes a plurality of ultrasonic sensors 10. In FIG. 1, one of the plurality of ultrasonic sensors 10 included in the object detection device is illustrated.

超音波センサ１０は、超音波の送受信により物体を検知し、物体の位置を検出するものであり、マイクロホン１１と、送波部１２と、パルス生成部１３と、受波部１４と、距離算出部１５とを備えている。距離算出部１５、および、後述する特徴画素抽出部２２等は、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏなどを備えた周知のマイクロコンピュータによって構成され、ＲＯＭなどに記憶されたプログラムに従って各種演算などの処理を実行する。 The ultrasonic sensor 10 detects an object by transmitting and receiving ultrasonic waves, and detects the position of the object. The ultrasonic sensor 10 detects the distance between the microphone 11, the transmitter 12, the pulse generator 13, the receiver 14, and the distance calculation. And a unit 15. The distance calculating unit 15 and the feature pixel extracting unit 22 described later are constituted by a known microcomputer including a CPU, a ROM, a RAM, an I / O and the like, and various operations are performed according to a program stored in the ROM. Execute the process

マイクロホン１１は、車両の外表面に面して配置されており、物体を検知するための超音波を車両の外側に向けて送信するものである。具体的には、マイクロホン１１は、互いに対向する２つの電極の間に圧電膜が配置された構成の図示しない圧電素子を備えている。そして、２つの電極は送波部１２に接続されており、送波部１２から交流電圧が印加されて圧電膜が変形することにより、マイクロホン１１から車両の外側へ超音波が送信される。 The microphone 11 is disposed facing the outer surface of the vehicle, and transmits an ultrasonic wave for detecting an object toward the outside of the vehicle. Specifically, the microphone 11 includes a not-shown piezoelectric element having a configuration in which a piezoelectric film is disposed between two electrodes facing each other. The two electrodes are connected to the transmission unit 12, and an AC voltage is applied from the transmission unit 12 to deform the piezoelectric film, whereby ultrasonic waves are transmitted from the microphone 11 to the outside of the vehicle.

送波部１２は、入力された信号をＤ／Ａ変換し、これにより生成された電圧を出力するものである。送波部１２にはパルス信号を生成するパルス生成部１３が接続されており、送波部１２は、パルス生成部１３から入力されたパルス信号をＤ／Ａ変換し、これにより生成された交流電圧をマイクロホン１１に印加する。 The wave transmission unit 12 D / A converts the input signal and outputs a voltage generated thereby. A pulse generation unit 13 for generating a pulse signal is connected to the transmission unit 12, and the transmission unit 12 D / A converts the pulse signal input from the pulse generation unit 13 and generates an alternating current generated thereby A voltage is applied to the microphone 11.

また、マイクロホン１１は、超音波を受信し、受信した超音波の音圧に応じた電圧を出力するように構成されている。具体的には、マイクロホン１１が備える圧電素子の２つの電極は、受波部１４にも接続されており、超音波を受信して圧電膜が変形したときの２つの電極間の電圧が受波部１４に入力されるようになっている。受波部１４は、マイクロホン１１から入力された電圧をＡ／Ｄ変換し、これにより生成された信号を出力する。 Further, the microphone 11 is configured to receive an ultrasonic wave and to output a voltage according to the sound pressure of the received ultrasonic wave. Specifically, the two electrodes of the piezoelectric element included in the microphone 11 are also connected to the wave receiving unit 14, and the voltage between the two electrodes is received when the piezoelectric film is deformed by receiving the ultrasonic wave. It is input to the section 14. The wave receiver 14 A / D converts the voltage input from the microphone 11 and outputs a signal generated thereby.

距離算出部１５は、受波部１４がＡ／Ｄ変換によって生成した信号を用いて物体との距離を算出するものである。距離算出部１５は、受波部１４から信号が入力されると、この信号に対して直交復調を行い、受信波の振幅を検出する。そして、距離算出部１５は、受信波の振幅を所定の閾値と比較し、パルス生成部１３がパルス信号の生成を開始してから受信波の振幅が閾値以上となるまでの時間に基づいて、物体との距離を算出する。 The distance calculating unit 15 calculates a distance to an object using a signal generated by the wave receiving unit 14 by A / D conversion. When a signal is input from the wave receiver 14, the distance calculator 15 performs quadrature demodulation on the signal to detect the amplitude of the received wave. Then, the distance calculation unit 15 compares the amplitude of the received wave with a predetermined threshold, and based on the time from when the pulse generation unit 13 starts generating the pulse signal to when the amplitude of the received wave becomes equal to or more than the threshold. Calculate the distance to the object.

カメラシステム２０は、車両の周囲を撮像して複数の画像を取得し、該複数の画像に基づいて物体を検知するものであり、カメラ２１と、特徴画素抽出部２２と、特徴点検出部２３とを備えている。 The camera system 20 picks up the surroundings of the vehicle to obtain a plurality of images, and detects an object based on the plurality of images. The camera 21, the feature pixel extraction unit 22, and the feature point detection unit 23 And have.

カメラ２１は、車両の周囲を撮像して複数の画像を取得するものである。カメラ２１としては、同時に２枚の画像を撮像可能なステレオカメラや、時間差を設けて２枚の画像を撮像する移動ステレオカメラを用いることができる。カメラ２１は、撮像した画像を特徴画素抽出部２２に送信する。 The camera 21 captures the periphery of the vehicle and acquires a plurality of images. As the camera 21, it is possible to use a stereo camera capable of capturing two images at the same time, and a moving stereo camera capturing two images by providing a time difference. The camera 21 transmits the captured image to the feature pixel extraction unit 22.

特徴画素抽出部２２は、カメラ２１が撮像した複数の画像から、輝度に特徴を有する画素を抽出するものである。 The feature pixel extraction unit 22 extracts a pixel having a feature in luminance from a plurality of images captured by the camera 21.

例えば、特徴画素抽出部２２は、画像を複数の領域に分割し、各領域の中で輝度がある程度大きく変化しているか否かを判定し、輝度がある程度大きく変化している場合には、領域内の１つの画素を輝度に特徴を有する画素として抽出する。特徴画素抽出部２２は、抽出した画素の情報を特徴点検出部２３に送信する。 For example, the feature pixel extraction unit 22 divides the image into a plurality of areas, and determines whether the luminance largely changes to some extent in each area. If the luminance largely changes to some extent, the area One of the pixels is extracted as a pixel having a feature in luminance. The feature pixel extraction unit 22 transmits information of the extracted pixel to the feature point detection unit 23.

特徴点検出部２３は、特徴画素抽出部２２が抽出した画素のうち、複数の画像から共通して抽出された画素を特徴点として、特徴点の位置を検出するものである。カメラシステム２０では、特徴点検出部２３が特徴点を１つ以上検出することにより、物体を検知する。 The feature point detection unit 23 detects the position of the feature point, using the pixels extracted in common from the plurality of images among the pixels extracted by the feature pixel extraction unit 22 as feature points. In the camera system 20, the feature point detection unit 23 detects an object by detecting one or more feature points.

このように、物体検知装置では、超音波センサ１０およびカメラシステム２０がそれぞれ物体を検知する。そして、超音波センサ１０とカメラシステム２０の検知結果、すなわち、距離算出部１５が算出した距離、および、特徴点検出部２３が検出した特徴点の位置は、ＥＣＵ３０に送信される。 Thus, in the object detection apparatus, the ultrasonic sensor 10 and the camera system 20 each detect an object. Then, detection results of the ultrasonic sensor 10 and the camera system 20, that is, the distance calculated by the distance calculation unit 15, and the position of the feature point detected by the feature point detection unit 23 are transmitted to the ECU 30.

ＥＣＵ３０は、超音波センサ１０とカメラシステム２０が同一の物体を検知したか否かを判定するものであり、物体判定部に相当する。ＥＣＵ３０によって超音波センサ１０とカメラシステム２０が同一の物体を検知したと判定されると、物体の検知結果が確定し、検出された距離に応じて自動ブレーキングや運転者への報知が行われる。 The ECU 30 determines whether or not the ultrasonic sensor 10 and the camera system 20 detect the same object, and corresponds to an object determination unit. If it is determined by the ECU 30 that the ultrasonic sensor 10 and the camera system 20 detect the same object, the detection result of the object is determined, and automatic braking or notification to the driver is performed according to the detected distance. .

物体検知装置の作動について説明する。物体検知装置では、ＥＣＵ３０が超音波センサ１０およびカメラシステム２０に定期的に物体検知指示を送信する。 The operation of the object detection device will be described. In the object detection apparatus, the ECU 30 periodically transmits an object detection instruction to the ultrasonic sensor 10 and the camera system 20.

超音波センサ１０は、ＥＣＵ３０からの物体検知指示を受信すると、三角測量によって物体との距離を検知する。ここでは、図２に示すように、車両４０に搭載された複数の超音波センサ１０のうちの２つを超音波センサ１０ａ、１０ｂとして、超音波センサ１０ａが超音波を送信するとともに、超音波センサ１０ａ、１０ｂが超音波を受信する場合について説明する。超音波センサ１０ａ、１０ｂは、それぞれ第１センサ、第２センサに相当する。 When receiving the object detection instruction from the ECU 30, the ultrasonic sensor 10 detects the distance to the object by triangulation. Here, as shown in FIG. 2, while two of the plurality of ultrasonic sensors 10 mounted on the vehicle 40 are ultrasonic sensors 10a and 10b, the ultrasonic sensor 10a transmits ultrasonic waves, and ultrasonic waves are transmitted. The case where the sensors 10a and 10b receive ultrasonic waves will be described. The ultrasonic sensors 10a and 10b correspond to a first sensor and a second sensor, respectively.

超音波センサ１０ａが超音波を送信してから超音波を受信するまでの時間をＴ_Ａとし、超音波センサ１０ａが超音波を送信してから超音波センサ１０ｂが超音波を受信するまでの時間をＴ_Ｂとする。そして、時間Ｔ_Ａ、Ｔ_Ｂの間に超音波が進む距離をＬ_Ａ１、Ｌ_Ｂ１とすると、超音波センサ１０ａと物体との距離はＬ_Ａ１／２、超音波センサ１０ｂと物体との距離はＬ_Ｂ１−Ｌ_Ａ１／２となる。 Time to the ultrasonic sensor 10a is the time to receive the ultrasonic wave from the transmission of the ultrasonic waves and T _A, ultrasonic sensors 10a ultrasonic sensor 10b from the transmission of the ultrasonic wave is received by the ultrasonic Let T be _B. Then, assuming that distances traveled by the ultrasonic wave during the time T _A and T _B are L _A1 and L _B1 , the distance between the ultrasonic sensor 10 a and the object is L _A1 / 2, and the distance between the ultrasonic sensor 10 b and the object is It becomes L _B1 -L _A1 / 2.

したがって、超音波センサ１０ａ、１０ｂの位置を示す点をＡ_１、Ｂ_１とし、物体の位置を示す点をＰ_ｓ１とすると、点Ｐ_ｓ１は、点Ａ_１を中心とした半径Ｌ_Ａ１／２の円と、点Ｂ_１を中心とした半径Ｌ_Ｂ１−Ｌ_Ａ１／２の円との交点となる。 Therefore, assuming that the points indicating the positions of the ultrasonic sensors 10a and 10b are A ₁ and B ₁ and the point indicating the position of the object is P _s1 , the point P _s1 has a radius L _A1 / 2 centered on the point A ₁ and a circle, is the intersection of a circle with a radius _L B1 _{-L A1} / 2 centered on the point _{B 1.}

例えば、超音波センサ１０ａ、１０ｂのいずれか一方の距離算出部１５が、Ｌ_Ａ１、Ｌ_Ｂ１を用いて点Ｐ_ｓ１の位置を求め、点Ｐ_ｓ１に物体が存在するものとして物体との距離を算出する。 For example, the distance calculation unit 15 of one of the ultrasonic sensors 10a and 10b _obtains the position of the point P _s1 using L _A1 and L _B1 and determines the distance to the object as the object exists at the point P _s1. calculate.

なお、ここでは、後述する平面Ｓに物体が存在するものとして物体の位置を算出している。また、距離算出部１５は、例えば線分Ａ_１Ｂ_１の中点と点Ｐ_ｓ１との距離を車両４０と物体との距離として算出する。距離算出部１５が算出した距離をｄ_ｓとする。 Here, the position of the object is calculated on the assumption that the object exists on a plane S described later. The distance calculation unit 15, for example, calculates the distance between the line segment _A 1 _{B 1} of the midpoint and the point _{P s1} as the distance between the vehicle 40 and the object. Let the distance calculated by the distance calculation unit 15 be d _s .

カメラシステム２０は、ＥＣＵ３０からの物体検知指示を受信すると、カメラ２１によって車両の周囲を撮像する。これにより、例えば図３に示すような物体５０が撮像された画像が取得される。カメラ２１は、このような画像を複数撮像する。そして、特徴画素抽出部２２は、複数の画像それぞれから輝度に特徴を有する画素を抽出する。 When receiving an object detection instruction from the ECU 30, the camera system 20 captures an image of the surroundings of the vehicle by the camera 21. Thereby, for example, an image obtained by capturing an object 50 as shown in FIG. 3 is acquired. The camera 21 captures a plurality of such images. Then, the feature pixel extraction unit 22 extracts a pixel having a feature in luminance from each of the plurality of images.

特徴点検出部２３は、特徴画素抽出部２２が抽出した画素に基づいて特徴点を抽出し、特徴点の位置をＥＣＵ３０に送信する。なお、特徴点検出部２３は、カメラ２１が撮像した画像を図４に示すような鳥瞰画像に変換して特徴点の位置を算出する。 The feature point detection unit 23 extracts feature points based on the pixels extracted by the feature pixel extraction unit 22, and transmits the positions of the feature points to the ECU 30. The feature point detection unit 23 converts the image captured by the camera 21 into a bird's-eye view image as shown in FIG. 4 to calculate the position of the feature point.

この画像は、超音波センサ１０を通る平面内の画像である。この平面を平面Ｓとする。平面Ｓは、例えば車両の前後左右方向を含む平面や、水平面とされる。平面Ｓに含まれる互いに垂直な２つの方向をそれぞれｘ方向、ｙ方向として、本実施形態では、ｘ方向は、超音波センサ１０ａ、１０ｂが並ぶ方向とされている。 This image is an image in a plane passing through the ultrasonic sensor 10. This plane is referred to as a plane S. The plane S is, for example, a plane including the front, rear, left, and right directions of the vehicle or a horizontal surface. In the present embodiment, the x direction is the direction in which the ultrasonic sensors 10a and 10b are arranged, with the two directions perpendicular to each other included in the plane S being the x direction and the y direction, respectively.

特徴点検出部２３は、図４に示す画像での特徴点の位置、すなわち、平面Ｓ内での特徴点の位置、および、特徴点の高さを求め、ＥＣＵ３０に送信する。なお、図４において、ｈは特徴点の高さ［ｃｍ］である。 The feature point detection unit 23 obtains the position of the feature point in the image shown in FIG. 4, that is, the position of the feature point in the plane S, and the height of the feature point, and transmits it to the ECU 30. In FIG. 4, h is the height [cm] of the feature point.

ＥＣＵ３０は、超音波センサ１０およびカメラシステム２０から送信された情報に基づいて、図５に示すステップＳ１１〜Ｓ１４によって物体の検知結果を確定させる。ＥＣＵ３０は、超音波センサ１０およびカメラシステム２０に定期的に物体検知指示を送信し、超音波センサ１０およびカメラシステム２０から検知結果を受信すると、図５に示す処理を行う。 The ECU 30 determines the detection result of the object at steps S11 to S14 shown in FIG. 5 based on the information transmitted from the ultrasonic sensor 10 and the camera system 20. The ECU 30 periodically transmits an object detection instruction to the ultrasonic sensor 10 and the camera system 20, and when receiving the detection result from the ultrasonic sensor 10 and the camera system 20, performs the process shown in FIG.

ステップＳ１１では、ＥＣＵ３０は、平面Ｓにおいて、超音波センサ１０が検出した物体の位置を示す点Ｐ_ｓを含むように、領域Ｒを設定する。前述したように、本実施形態では超音波センサ１０ａ、１０ｂによって点Ｐ_ｓ１が検出されており、ＥＣＵ３０は、点Ｐ_ｓとして点Ｐ_ｓ１を用いて、領域Ｒを設定する。 In step S11, the ECU 30 sets the region R so that the point P _s indicating the position of the object detected by the ultrasonic sensor 10 is included in the plane S. As described above, in the present embodiment has been detected the point _{P s1} by the ultrasonic sensor 10a, 10b, ECU 30 uses the point _{P s1} as a point _{P s,} sets a region R.

図４に示すように、本実施形態では、領域Ｒは、点Ｐ_ｓ１を中心としてｘ方向に平行な所定長さの２つの辺およびｙ方向に平行な所定長さの２つの辺を有する長方形状とされている。このように領域Ｒを簡単な形状とすることで、領域Ｒの設定や、ステップＳ１２における演算が容易になる。 As shown in FIG. 4, in the present embodiment, the region R is a rectangle having two sides of a predetermined length parallel to the x direction centering on the point P _s1 and two sides of a predetermined length parallel to the y direction. It is in the form of By setting the region R to a simple shape as described above, setting of the region R and calculation in step S12 become easy.

ＥＣＵ３０は、ステップＳ１１からステップＳ１２に進み、特徴点検出部２３から送信された特徴点の位置に基づいて、特徴点検出部２３が検出した特徴点のうち領域Ｒに含まれるものの数Ｎ_１を求め、Ｎ_１が所定数以上であるか否かを判定する。 The ECU 30 proceeds from step S11 to step S12, and the number N ₁ of the feature points detected by the feature point detection unit 23 based on the position of the feature points transmitted from the feature point detection unit 23 is ₁ determined, N ₁ is equal to or more than a predetermined number.

例えば、Ｎ_１≧５であると判定すると、ＥＣＵ３０はステップＳ１３に進み、超音波センサ１０およびカメラシステム２０が同一の物体を検知したと判定する。そして、ＥＣＵ３０は、超音波センサ１０およびカメラシステム２０が検出した物体の位置に基づいて、車両から所定距離以内に物体が存在するか否かを判定し、所定距離以内に物体が存在すると判定した場合には運転者への報知などを行い、処理を終了する。 For example, when it is determined that N ₁ 55, the ECU 30 proceeds to step S13 and determines that the ultrasonic sensor 10 and the camera system 20 detect the same object. Then, the ECU 30 determines whether an object exists within a predetermined distance from the vehicle based on the position of the object detected by the ultrasonic sensor 10 and the camera system 20, and determines that the object exists within the predetermined distance. In this case, the driver is notified, etc., and the process ends.

一方、ステップＳ１２にてＮ_１≧５でないと判定すると、ＥＣＵ３０はステップＳ１４に進み、所定距離以内に物体が存在するか否かの判定をせずに処理を終了する。 On the other hand, when it is determined in step S12 that N ₁ 55 does not hold, the ECU 30 proceeds to step S14 and ends the process without determining whether an object is present within a predetermined distance.

以上説明したように、本実施形態の物体検知装置は、超音波センサ１０とカメラシステム２０の検知結果を組み合わせて用いることにより、物体の検知結果を確定させている。 As described above, the object detection apparatus of the present embodiment uses the detection results of the ultrasonic sensor 10 and the camera system 20 in combination to determine the detection result of the object.

例えばカメラシステムのみで物体を検知する方法では、車両と物体との距離を測定する際に、特に奥行き方向の測定精度にばらつきが生じやすく、検知精度が低下するおそれがある。カメラシステムにおいて、クラスタリング処理などで精度を向上させることも可能であるが、処理負荷が増加する。また、例えばミリ波レーダとカメラの検知を組み合わせて判定する方法では、精度の高い距離検出が難しいため、特に駐車時のような高い距離分解能が求められるシーンには適していない。 For example, in the method of detecting an object only with a camera system, when measuring the distance between the vehicle and the object, the measurement accuracy in the depth direction is likely to vary, and the detection accuracy may be reduced. In the camera system, although it is possible to improve the accuracy by clustering processing or the like, the processing load increases. Further, for example, in the method of determining by combining the detection of the millimeter wave radar and the camera, it is difficult to detect the distance with high accuracy, so it is not particularly suitable for a scene where high distance resolution is required such as parking.

これに対して、本実施形態では、カメラシステム２０に比べて奥行き方向の精度が良い超音波センサ１０をカメラシステム２０に組み合わせて用いることにより、検知精度の低下を抑制することができる。また、領域Ｒに含まれる特徴点の数をカウントするという簡易な方法で検知結果の一致判定を行うので、処理負荷の増加を抑制することができる。 On the other hand, in the present embodiment, a decrease in detection accuracy can be suppressed by using the ultrasonic sensor 10 having higher accuracy in the depth direction than the camera system 20 in combination with the camera system 20. Further, since the coincidence determination of the detection result is performed by a simple method of counting the number of feature points included in the region R, an increase in processing load can be suppressed.

また、カメラシステム２０が通常多数の特徴点を検出するのに対し、超音波センサ１０は物体の位置としてカメラシステム２０よりも少ない数、例えば１つの位置を検出する。そのため、超音波センサ１０をカメラシステム２０に組み合わせて用いることにより、複数の障害物が存在し特徴点の集合の分布が分かれる場合等に、車両と接触する可能性がより高い物体を優先的に検知することができる。 Also, while the camera system 20 usually detects a large number of feature points, the ultrasonic sensor 10 detects a smaller number of object positions than the camera system 20, for example, one position. Therefore, by using the ultrasonic sensor 10 in combination with the camera system 20, an object having a high possibility of coming into contact with the vehicle is preferentially given when a plurality of obstacles exist and the distribution of the set of feature points is divided. It can be detected.

（第２実施形態）
第２実施形態について説明する。本実施形態は、第１実施形態に対して超音波センサ１０による物体の検知方法を変更したものであり、その他については第１実施形態と同様であるため、第１実施形態と異なる部分についてのみ説明する。 Second Embodiment
The second embodiment will be described. The present embodiment is the same as the first embodiment except that the method of detecting an object by the ultrasonic sensor 10 is changed from the first embodiment, and only the parts different from the first embodiment are different. explain.

第１実施形態では、物体を点として考えて、物体の位置を示す点Ｐ_ｓ１を検出したが、図６に示すような方法によれば、物体を幅がある面として考えて物***置を検出することができる。 In the first embodiment, the object is regarded as a point, and the point P _s1 indicating the position of the object is detected. However, according to the method as shown in FIG. can do.

すなわち、超音波センサ１０ａに戻る超音波が反射する位置を示す点をＰ_ｓ２とすると、点Ｐ_ｓ２は、点Ａ_１を中心とした半径Ｌ_Ａ１／２の円周上にある。そして、物体を面として考えるなら、この面は点Ｐ_ｓ２を通り、直線Ｐ_ｓ２Ａ_１に垂直である。図６では、この面を直線Ｌ_１で示している。 That is, when the point indicating the position of ultrasonic waves back to the ultrasonic sensor 10a is reflected and _{P s2,} point _{P s2} is on the circumference of a radius _{L A1} / 2 centered on the point _{A 1.} Then, we consider the object as a face, this face passes through the point _{P s2,} which is perpendicular to the straight line _P s2 _{A 1.} FIG. 6 shows the surface in a straight line L _1.

また、入射角と反射角の関係を考慮すれば、超音波センサ１０ｂに到達する超音波が反射する位置を示す点Ｐ_ｓ３は、直線Ｌ_１に対して点Ａ_１に対称な点と点Ｂ_１とを結ぶ直線と、直線Ｌ_１との交点となる。直線Ｌ_１に対して点Ａ_１に対称な点をＯとすると、線分Ｐ_ｓ３Ａ_１の長さは線分ＯＰ_ｓ３の長さに等しく、直線ＯＢ_１の長さはＬ_Ｂ１となる。したがって、点Ｏは、点Ａ_１を中心とする半径Ｌ_Ａ１の円と、点Ｂ_１を中心とする半径Ｌ_Ｂ１の円との交点である。 Furthermore, considering the relationship between reflection and incident angles, the ultrasonic sensor 10b P _s3 point indicating the position where the ultrasonic wave is reflected to reach a symmetric point to the point A ₁ with respect to the straight line L ₁ and the point B a straight line connecting the ₁ and, the intersection of the straight line L _1. When symmetric point to point _{A 1} and O with respect to the straight line _{L 1,} the length of the line segment _P s3 _{A 1} is equal to the length of the line segment _{OP s3,} the length of the straight line OB ₁ becomes _{L B1.} Therefore, the point O is an intersection point of a circle of radius L _A1 centered on the point A ₁ and a circle of radius L _B1 centered on the point B ₁ .

距離算出部１５は、超音波の送受信によって距離Ｌ_Ａ１、Ｌ_Ｂ１が得られたとき、点Ａ_１を中心とする半径Ｌ_Ａ１の円と点Ｂ_１を中心とする半径Ｌ_Ｂ１の円との交点をＯとし、線分ＯＡ_１の中点をＰ_ｓ２とし、点Ｐ_ｓ２を通る直線ＯＡ_１の垂線と直線ＯＢ_１との交点をＰ_ｓ３とする。そして、距離算出部１５は、線分Ｐ_ｓ２Ｐ_ｓ３上に物体があるものとして、物体との距離を算出する。ＥＣＵ３０は、点Ｐ_ｓとして線分Ｐ_ｓ２Ｐ_ｓ３上の１つの点、あるいは複数の点を用いて、線分Ｐ_ｓ２Ｐ_ｓ３の一部または全体が含まれるように領域Ｒを設定する。 Distance calculation unit 15, when the distance _L _{A1, L B1} by transmission and reception of ultrasonic waves is obtained, with a circle of radius _{L B1} around the circle and the point _{B 1} of a radius _{L A1} centered on the point _{A 1} intersection was with O, and the midpoint of the line segment OA ₁ and _{P s2,} the intersection of the perpendicular and the line OB ₁ linear OA ₁ passing through the point _{P s2} and _{P s3.} Then, the distance calculation unit 15 calculates the distance to the object on the assumption that the object is present on the line segment P _s2 P _s3 . The ECU 30 sets the region R so that a part or all of the line segment P _s2 P _s3 is included, using one point or a plurality of points on the line segment P _s2 P _s3 as the point P _s .

（第３実施形態）
第３実施形態について説明する。本実施形態は、第１実施形態に対して超音波センサ１０による物体の検知方法を変更したものであり、その他については第１実施形態と同様であるため、第１実施形態と異なる部分についてのみ説明する。 Third Embodiment
A third embodiment will be described. The present embodiment is the same as the first embodiment except that the method of detecting an object by the ultrasonic sensor 10 is changed from the first embodiment, and only the parts different from the first embodiment are different. explain.

図７に示すように、本実施形態の超音波センサ１０は、車両の移動の前後で超音波の送受信を２回行う。なお、ここでは、１回目に超音波を送信してから反射波を受信するまでの間に超音波センサ１０が移動する距離、および、２回目に超音波を送信してから反射波を受信するまでの間に超音波センサ１０が移動する距離を無視して物体との距離を算出する。 As shown in FIG. 7, the ultrasonic sensor 10 according to the present embodiment transmits and receives ultrasonic waves twice before and after movement of the vehicle. Here, the distance by which the ultrasonic sensor 10 moves between the first transmission of the ultrasonic wave and the reception of the reflected wave, and the second transmission of the ultrasonic wave and reception of the reflected wave. The distance between the ultrasonic sensor 10 and the object is calculated ignoring the distance traveled by the ultrasonic sensor 10 during this period.

本実施形態では、ｘ方向は、超音波センサが１回目に超音波を送信した位置と、２回目に超音波を送信した位置とを結ぶ方向とされている。 In the present embodiment, the x direction is a direction connecting the position where the ultrasonic sensor transmitted the ultrasonic wave for the first time and the position where the ultrasonic wave was transmitted for the second time.

超音波センサ１０が１回目に超音波を送信した位置を示す点をＡ_２とし、超音波センサ１０が１回目に超音波を送信してから反射波を受信するまでの間に超音波が進んだ距離をＬ_Ａ２とすると、点Ａ_２と物体との距離はＬ_Ａ２／２となる。 The point at which the ultrasonic sensor 10 indicates a position where the transmitted ultrasonic waves for the first time and A _2, ultrasonic waves until the ultrasonic sensor 10 receives the reflected waves from the transmission of the ultrasonic waves for the first time is progressing When distance and _{L A2,} the distance between the point _{a 2} and the object becomes _{L A2} / 2.

また、超音波センサ１０が２回目に超音波を送信した位置を示す点をＢ_２とし、超音波センサ１０が２回目に超音波を送信してから反射波を受信するまでの間に超音波が進んだ距離をＬ_Ｂ２とすると、点Ｂ_２と物体との距離はＬ_Ｂ２／２となる。 Further, a point that the ultrasonic sensor 10 indicates a position where ultrasonic waves are transmitted to the second and B _2, ultrasound until the ultrasonic sensor 10 receives the reflected waves from the transmission of the ultrasonic waves for the second time _Letting L ₂ be the distance traveled by the point B ₂ , the distance between the point B ₂ and the object is L _{B 2/2} .

距離算出部１５は、点Ａ_２を中心とする半径Ｌ_Ａ２／２の円と、点Ｂ_２を中心とする半径Ｌ_Ｂ２／２の円との交点Ｐ_ｓ４に対応する位置に物体があるものとして、物体との距離を算出する。ＥＣＵ３０は、点Ｐ_ｓとして交点Ｐ_ｓ４を用いて、交点Ｐ_ｓ４が含まれるように領域Ｒを設定する。 The distance calculation unit 15 has an object at a position corresponding to an intersection point P _s4 of a circle of radius L _A2 / 2 centered on the point A ₂ and a circle of radius L _B2 / 2 centered on the point B ₂ The distance to the object is calculated as ECU30 uses the intersection _{P s4} as the point _{P s,} and sets an area R to include intersection _{P s4.}

（第４実施形態）
第４実施形態について説明する。本実施形態は、第１実施形態に対して超音波センサ１０による物体の検知方法を変更したものであり、その他については第１実施形態と同様であるため、第１実施形態と異なる部分についてのみ説明する。 Fourth Embodiment
A fourth embodiment will be described. The present embodiment is the same as the first embodiment except that the method of detecting an object by the ultrasonic sensor 10 is changed from the first embodiment, and only the parts different from the first embodiment are different. explain.

第３実施形態では、物体を点として考えて、物体の位置を示す点Ｐ_ｓ４を検出したが、図８に示すような方法によれば、超音波の送受信を車両の移動の前後で２回行う場合に、物体を幅がある面として考えて物***置を検出することができる。 In the third embodiment, an object is considered as a point, and a point _Ps4 indicating the position of the object is detected. However, according to the method as shown in FIG. 8, transmission and reception of ultrasonic waves are performed twice before and after movement of the vehicle. When performing, the object position can be detected by considering the object as a wide surface.

すなわち、１回目の送受信で超音波センサ１０に戻る超音波が反射する位置を示す点をＰ_ｓ５とすると、点Ｐ_ｓ５は、点Ａ_２を中心とする半径Ｌ_Ａ２／２の円周上にある。また、２回目の送受信で超音波センサ１０に戻る超音波が反射する位置を示す点をＰ_ｓ６とすると、点Ｐ_ｓ６は、点Ｂ_２を中心とする半径Ｌ_Ｂ２／２の円周上にある。 That is, _assuming that a point indicating a position at which the ultrasonic wave returning to the ultrasonic sensor 10 is reflected in the first transmission and reception is P _s5 , the point P _s5 is on the circumference of the radius L _A2 / 2 centering on the point A ₂ is there. Further, _assuming that a point indicating a position at which the ultrasonic wave returning to the ultrasonic sensor 10 is reflected in the second transmission and reception is P _s6 , the point P _s6 is on the circumference of radius L _B2 / 2 centering on the point B ₂ is there.

そして、物体を面として考えるなら、この面は点Ｐ_ｓ５および点Ｐ_ｓ６を通り、かつ、直線Ｐ_ｓ５Ａ_２および直線Ｐ_ｓ６Ｂ_２に垂直である。したがって、上記の２つの円の共通接線をＬ_２とすると、点Ｐ_ｓ５および点Ｐ_ｓ６は、上記の２つの円と接線Ｌ_２の接点となる。 Then, we consider the object as a face, this face passes through the point _{P s5} and the point _{P s6,} and is perpendicular to the straight line _P s5 _{A 2} and linear _P s6 _{B 2.} Therefore, when the common tangent of two circles above and L _2, the point P _s5 and the point P _s6 is a two circles and contact of the tangent L ₂ above.

距離算出部１５は、距離Ｌ_Ａ２、Ｌ_Ｂ２を用いて、上記の距離Ｌ_Ａ２、距離Ｌ_Ｂ２、点Ｐ_ｓ５、点Ｐ_ｓ６、直線Ｌ_２の関係に基づいて点Ｐ_ｓ５および点Ｐ_ｓ６の位置を求め、線分Ｐ_ｓ５Ｐ_ｓ６上に物体があるものとして、物体との距離を算出する。ＥＣＵ３０は、点Ｐ_ｓとして線分Ｐ_ｓ５Ｐ_ｓ６上の１つの点、あるいは複数の点を用いて、線分Ｐ_ｓ５Ｐ_ｓ６の一部または全体が含まれるように領域Ｒを設定する。 The distance calculation unit 15 uses the distances L _A2 and L _B2 to set the points P _s5 and P _s6 based on the relationship between the distances L _A2 , L _B2 , the points P _s5 , the points P _s6 , and the straight line L ₂ . The position is determined, and the distance to the object is calculated, assuming that the object is on the line segment P _s5 P _s6 . The ECU 30 sets the region R so that a part or all of the line segment P _s5 P _s6 is included, using one point or a plurality of points on the line segment P _s5 P _s6 as the point P _s .

（第５実施形態）
第５実施形態について説明する。本実施形態は、第１実施形態に対して領域Ｒの形状を変更したものであり、その他については第１実施形態と同様であるため、第１実施形態と異なる部分についてのみ説明する。 Fifth Embodiment
A fifth embodiment will be described. The present embodiment is the same as the first embodiment except that the shape of the region R is modified with respect to the first embodiment, and therefore only the portions different from the first embodiment will be described.

本実施形態では、領域Ｒが台形状とされている。具体的には、図９に示すように、領域Ｒの形状は、ｘ方向に平行な２つの辺を有する台形状とされており、この２つの辺のうち車両から遠い方が車両に近い方よりも長くされている。 In the present embodiment, the region R is trapezoidal. Specifically, as shown in FIG. 9, the shape of the region R is a trapezoidal shape having two sides parallel to the x direction, and one of the two sides which is farther from the vehicle is closer to the vehicle It is longer than that.

カメラシステム２０による物***置の検出では、カメラ２１を中心とする円周方向に誤差が生じやすい。したがって、検出誤差が生じやすい方向に沿って領域Ｒを広げ、特徴点をカウントすることにより、超音波センサ１０とカメラシステム２０の検知結果が関連づけされやすくなり、ＥＣＵ３０の判定精度が向上する。 In the detection of the object position by the camera system 20, an error is likely to occur in the circumferential direction around the camera 21. Therefore, the detection result of the ultrasonic sensor 10 and the camera system 20 can be easily associated with each other by widening the region R along the direction in which the detection error is likely to occur and counting the feature points, and the determination accuracy of the ECU 30 is improved.

（第６実施形態）
第６実施形態について説明する。本実施形態は、第１実施形態に対して領域Ｒの形状を変更したものであり、その他については第１実施形態と同様であるため、第１実施形態と異なる部分についてのみ説明する。 Sixth Embodiment
A sixth embodiment will be described. The present embodiment is the same as the first embodiment except that the shape of the region R is modified with respect to the first embodiment, and therefore only the portions different from the first embodiment will be described.

図１０に示すように、本実施形態の領域Ｒは、中心に対して車両とは反対側に広がる扇状とされている。領域Ｒをこのような形状とすることで、領域Ｒの広がる方向がカメラシステム２０の検出誤差が生じやすい方向にさらによく一致するようになり、ＥＣＵ３０の判定精度がさらに向上する。 As shown in FIG. 10, the region R of the present embodiment is fan-shaped and extends on the side opposite to the vehicle with respect to the center. By setting the region R to such a shape, the direction in which the region R extends is more in line with the direction in which the detection error of the camera system 20 is likely to occur, and the determination accuracy of the ECU 30 is further improved.

（第７実施形態）
第７実施形態について説明する。本実施形態は、第１実施形態に対して検知結果の一致判定処理を変更したものであり、その他については第１実施形態と同様であるため、第１実施形態と異なる部分についてのみ説明する。 Seventh Embodiment
A seventh embodiment will be described. The present embodiment is the same as the first embodiment except that the matching determination processing of the detection result is changed with respect to the first embodiment, and only the parts different from the first embodiment will be described.

本実施形態では、ＥＣＵ３０は、図１１に示す処理によって検知結果の一致判定を行う。すなわち、ＥＣＵ３０は、ステップＳ１１からステップＳ２１に進み、特徴点検出部２３が検出した特徴点のうち、領域Ｒに含まれ、かつ、高さが所定の範囲内にあるものの数をＮ_２として、Ｎ_２が所定数以上であるか否かを判定する。ＥＣＵ３０は、例えば、領域Ｒに含まれる特徴点のうち２０≦ｈであるものの数が５以上であるか否かを判定する。 In the present embodiment, the ECU 30 determines the coincidence of the detection results by the process shown in FIG. That, ECU 30 proceeds from step S11 to step S21, among the feature points by the feature point detection unit 23 detects, included in the region R, and the number of those heights is within a predetermined range as N _2, It is determined whether N ₂ is a predetermined number or more. The ECU 30 determines, for example, whether or not the number of feature points included in the region R is 20 ≦ h is 5 or more.

上記の所定の範囲については、物体の検知範囲と処理負荷を考慮して設定される。例えば、所定の範囲の下限を、車両が備えるバンパの下端の高さの０．５倍以上２倍以下の高さとし、上限を、車両の高さより大きい値とすることにより、必要な検知範囲の広さを確保しつつ処理負荷を軽減することができる。 The predetermined range is set in consideration of the detection range of the object and the processing load. For example, by setting the lower limit of the predetermined range to a height not less than 0.5 times and not more than twice the height of the lower end of the bumper provided in the vehicle, the upper limit is a value larger than the height of the vehicle. The processing load can be reduced while securing the area.

ステップＳ２１にてＮ_２が所定数以上であると判定すると、ＥＣＵ３０は、ステップＳ２２に進み、車両と特徴点との平均距離ｄ_ｃ、および、車両と特徴点との距離の標準偏差σを算出する。例えば、距離ｄ_ｃとして、領域Ｒに含まれる特徴点とカメラ２１とのｙ方向における距離の平均値ｄ_ｃｙ１を用い、標準偏差σとして、領域Ｒに含まれる特徴点とカメラ２１とのｙ方向における距離の標準偏差σ_ｙを用いる。また、距離ｄ_ｃとして、領域Ｒに含まれる特徴点とカメラ２１とのｘ方向における距離の平均値ｄ_ｃｘ１を用い、標準偏差σとして、領域Ｒに含まれる特徴点とカメラ２１とのｘ方向における距離の標準偏差σ_ｘを用いてもよい。 If it is determined in step S21 that N ₂ is equal to or greater than the predetermined number, the ECU 30 proceeds to step S22 and calculates the average distance d _c between the vehicle and the feature point and the standard deviation σ of the distance between the vehicle and the feature point Do. For example, the distance as d _c, using the mean value d _cy1 distance in the y direction between the feature points and the camera 21 included in the region R, as the standard deviation sigma, y directions of the feature points and the camera 21 included in the region R The standard deviation σ _y of the distance at is used. The distance as d _c, using the mean value d _cx1 distance in the x-direction between the feature points and the camera 21 included in the region R, as the standard deviation sigma, the x-direction between the feature points and the camera 21 included in the region R The standard deviation σ _x of the distance at may be used.

ＥＣＵ３０は、ステップＳ２２からステップＳ２３に進み、所定の係数をｋとして、距離ｄ_ｓと距離ｄ_ｃとの差の絶対値がｋσ以下であるか否かを判定する。距離ｄ_ｃとしてｄ_ｃｙ１を用い、標準偏差σとしてσ_ｙを用いる場合には、距離ｄ_ｓとして、点Ｐ_ｓと車両とのｙ方向における距離ｄ_ｓｙを用いる。また、距離ｄ_ｃとしてｄ_ｃｘ１を用い、標準偏差σとしてσ_ｘを用いる場合には、距離ｄ_ｓとして、点Ｐ_ｓと車両とのｘ方向における距離ｄ_ｓｘを用いる。 The ECU 30 proceeds from step S22 to step S23, and determines that the absolute value of the difference between the distance d _s and the distance d _c is equal to or less than kσ, where k is a predetermined coefficient. When d _cy1 is used as the distance d _{c and} σ _y is used as the standard deviation σ, the distance d _sy in the y direction between the point P _s and the vehicle is used as the distance d _s . Further, using the _{d cx1} as the distance _{d c,} in the case of using a sigma _x as the standard deviation sigma is the distance _{d s,} using the distance _{d sx} in the x direction between the point _{P s} and the vehicle.

｜ｄ_ｓ−ｄ_ｃ｜≦ｋσであると判定すると、ＥＣＵ３０は、ステップＳ１３に進み、超音波センサ１０およびカメラシステム２０が同一の物体を検知したと判定する。 When it is determined that | d _s −d _c | ≦ kσ, the ECU 30 proceeds to step S13 and determines that the ultrasonic sensor 10 and the camera system 20 detect the same object.

ステップＳ２１にてＮ_２が所定数以上でないと判定するか、または、ステップＳ２３にて｜ｄ_ｓ−ｄ_ｃ｜≦ｋσでないと判定すると、ＥＣＵ３０はステップＳ１４に進む。 Or at step S21 _{N 2} is determined not to be the predetermined number or more, or, at step _{_{S23 | d s -d c | ≦}} kσ not equal when determining, ECU 30 proceeds to step S14.

このように、検知結果の一致判定に複数の条件を用いることにより、物体の検知精度がさらに向上する。 As described above, the object detection accuracy is further improved by using a plurality of conditions for the coincidence determination of the detection results.

（他の実施形態）
なお、本発明は上記した実施形態に限定されるものではなく、特許請求の範囲に記載した範囲内において適宜変更が可能である。 (Other embodiments)
In addition, this invention is not limited to above-described embodiment, In the range described in the claim, it can change suitably.

例えば、上記第１実施形態では２つの超音波センサ１０によって検出した物体の位置を判定に用いたが、３つ以上の超音波センサ１０によって検出した位置を判定に用いてもよい。 For example, although the position of the object detected by the two ultrasonic sensors 10 is used for determination in the first embodiment, the position detected by three or more ultrasonic sensors 10 may be used for the determination.

また、上記第７実施形態とは異なる高さの範囲について特徴点をカウントしてもよい。例えば、２０≦ｈ＜４０の特徴点のみをカウントしてもよい。 In addition, feature points may be counted in a range of height different from that of the seventh embodiment. For example, only feature points of 20 ≦ h <40 may be counted.

また、上記第７実施形態のステップＳ２３において、｜ｄ_ｓ−ｄ_ｃ｜≦ｋσとは別の条件を用いてもよい。また、上記第１実施形態において、Ｎ_１が所定数以上であることに加え、｜ｄ_ｓ−ｄ_ｃ｜≦ｋσ、あるいは、｜ｄ_ｓ−ｄ_ｃ｜≦ｋσとは別の条件を用いて判定を行ってもよい。 Further, in step S23 of the seventh embodiment, another condition may be used other than | d _s −d _c | ≦ kσ. In the first embodiment, in addition to the fact that N ₁ is a predetermined number or more, another condition is used other than | d _s −d _c | ≦ kσ or | d _s −d _c | ≦ kσ. The determination may be made.

例えば、領域Ｒに含まれる特徴点の平均位置を示す点をＰ_ｃとし、点Ｐ_ｓと点Ｐ_ｃとの距離が所定値以下であるときに、超音波センサ１０およびカメラシステム２０が同一の物体を検知したと判定してもよい。 For example, the point indicating the average position of the characteristic point included in the region R and P _c, when the distance between the point P _s and the point P _c is equal to or less than the predetermined value, the ultrasonic sensor 10 and the camera system 20 is the same It may be determined that an object has been detected.

また、超音波センサが点Ｐ_ｓとして複数の点を検出した場合に、複数の点の平均位置と点Ｐ_ｃとの距離が所定値以下であるときに、超音波センサ１０およびカメラシステム２０が同一の物体を検知したと判定してもよい。また、超音波センサが点Ｐ_ｓとして複数の点を検出した場合に、複数の点のうち車両に最も近い点と点Ｐ_ｃとの距離が所定値以下であるときに、超音波センサ１０およびカメラシステム２０が同一の物体を検知したと判定してもよい。 When the ultrasonic sensor detects a plurality of points as the point P _s , the ultrasonic sensor 10 and the camera system 20 detect the distance between the average position of the plurality of points and the point P _c is equal to or less than a predetermined value. It may be determined that the same object has been detected. Further, when the ultrasonic sensor detects a plurality of points as the point P _s , the ultrasonic sensor 10 and the ultrasonic sensor 10 when the distance between the point closest to the vehicle and the point P _c among the plurality of points is equal to or less than a predetermined value It may be determined that the camera system 20 has detected the same object.

超音波センサ１０が検出した複数の点の平均位置を用いることで、超音波センサ１０の検出誤差の影響を低減することができる。また、複数の点のうち車両に近いものを用いることで、車両により近い物体が優先的に検知されるようになり、車両と物体との接触を回避する性能が向上する。 By using the average position of the plurality of points detected by the ultrasonic sensor 10, the influence of the detection error of the ultrasonic sensor 10 can be reduced. In addition, by using one closer to the vehicle among the plurality of points, an object closer to the vehicle is preferentially detected, and the performance of avoiding contact between the vehicle and the object is improved.

また、点Ｐ_ｓと点Ｐ_ｃとを比較する場合には、点Ｐ_ｓと点Ｐ_ｃとのｘ方向の距離ｄ_ｘを用いてもよいし、ｙ方向の距離ｄ_ｙを用いてもよい。また、距離ｄ_ｘおよび距離ｄ_ｙの両方を用いてもよい。 Furthermore, when comparing the point P _s and the point P _c may be used in the x-direction distance d _x between the point P _s and the point P _c, it may be used the distance d _y in the y-direction . Also, both the distance d _x and the distance d _y may be used.

なお、上記第１、第３実施形態のようにｘ方向を定めた場合、超音波センサ１０による位置の検出は、ｘ方向よりもｙ方向の精度が高くなる。そこで、物体の検知精度を向上させるために距離の判定の基準範囲を狭くする場合には、距離ｄ_ｘよりも距離ｄ_ｙについての基準範囲を狭くしてもよい。すなわち、所定の値をｋ_ｘ１、ｋ_ｙ１とし、ｋ_ｘ１＞ｋ_ｙ１として、距離ｄ_ｘがｋ_ｘ１以下であり、かつ、距離ｄ_ｙがｋ_ｙ１以下であるとき、超音波センサ１０およびカメラシステム２０が同一の物体を検知したと判定してもよい。ｋ_ｘ１、ｋ_ｙ１は第１の値、第２の値に相当する。 When the x direction is determined as in the first and third embodiments, the detection of the position by the ultrasonic sensor 10 has a higher accuracy in the y direction than in the x direction. Therefore, in the case where the reference range for determining the distance is narrowed in order to improve the detection accuracy of the object, the reference range for the distance d _y may be narrower than the distance d _x . That is, assuming that predetermined values are k _x1 and k _y1, and k _x1 > k _y1 , when the distance d _x is equal to or less than k _x1 and the distance d _y is equal to or less than k _y1 , the ultrasonic sensor 10 and the camera system It may be determined that 20 has detected the same object. k _x1 and k _y1 correspond to a first value and a second value.

また、検知精度を向上させるために、特徴点の分布のばらつきが大きいときは検知結果を確定しないようにしてもよい。例えば、標準偏差σ_ｘが所定値以下のとき、あるいは、標準偏差σ_ｙが所定値以下のときに、超音波センサ１０およびカメラシステム２０が同一の物体を検知したと判定してもよい。 Further, in order to improve the detection accuracy, the detection result may not be determined when the variation of the distribution of the feature points is large. For example, it may be determined that the ultrasonic sensor 10 and the camera system 20 detect the same object when the standard deviation σ _x is less than a predetermined value or when the standard deviation σ _y is less than a predetermined value.

特徴点の分布のばらつきを用いる場合にも、特徴点の平均位置を用いる場合と同様に、ｘ方向の距離よりもｙ方向の距離についての基準範囲を狭くしてもよい。すなわち、所定の値をｋ_ｘ２、ｋ_ｙ２とし、ｋ_ｘ２＞ｋ_ｙ２として、標準偏差σ_ｘがｋ_ｘ２以下であり、かつ、標準偏差σ_ｙがｋ_ｙ２以下であるとき、超音波センサ１０およびカメラシステム２０が同一の物体を検知したと判定してもよい。ｋ_ｘ２、ｋ_ｙ２は第１の値、第２の値に相当する。 Also in the case of using the variation of the distribution of the feature points, as in the case of using the average position of the feature points, the reference range for the distance in the y direction may be narrower than the distance in the x direction. That is, assuming that predetermined values are k _x2 and k _y2, and k _x2 > k _y2 , when the standard deviation σ _x is less than or equal to k _x2 and the standard deviation σ _y is less than or equal to k _y2 , the ultrasonic sensor 10 and the ultrasonic sensor 10 It may be determined that the camera system 20 has detected the same object. k _x2 and k _y2 correspond to a first value and a second value.

また、領域Ｒに含まれる特徴点のｙ方向における分布について、分布がピークとなる位置と車両との距離をｄ_ｃｙ２として、距離ｄ_ｓｙと距離ｄ_ｃｙ２との差が所定値以下であるときに、超音波センサ１０およびカメラシステム２０が同一の物体を検知したと判定してもよい。例えば、図１２に示すように距離のピークが２つ存在する場合には、いずれか一方のピークと距離ｄ_ｓｙとの差が所定値以下となればよい。 Also, the distribution in the y-direction of the feature points included in the region R, the distance between the position and the vehicle the distribution has a peak as d _cy2, when the difference between the distance d _sy and the distance d _cy2 is equal to or less than a predetermined value Alternatively, it may be determined that the ultrasonic sensor 10 and the camera system 20 have detected the same object. For example, as shown in FIG. 12, when there are two peaks of distance, the difference between one of the peaks and the distance d _sy may be equal to or less than a predetermined value.

分布のピーク位置は平均位置よりも物体の実際の位置に近いので、ピーク位置を判定に用いることにより、平均位置を用いる場合に比べて、物体の検知精度をさらに向上させることができる。 Since the peak position of the distribution is closer to the actual position of the object than the average position, by using the peak position for determination, the detection accuracy of the object can be further improved as compared with the case where the average position is used.

また、車両との距離が距離ｄ_ｃｙ２と等しい特徴点の数が所定数以上であるときに、超音波センサ１０およびカメラシステム２０が同一の物体を検知したと判定してもよい。なお、ここで、車両との距離が距離ｄ_ｃｙ２と等しい特徴点には、車両との距離が距離ｄ_ｃｙ２とほぼ等しい特徴点も含まれる。 Alternatively, it may be determined that the ultrasonic sensor 10 and the camera system 20 detect the same object when the number of feature points whose distance to the vehicle is equal to the distance d _cy2 is a predetermined number or more. Here, the same characteristic point distance is the distance d _cy2 of the vehicle, the distance between the vehicle is also included approximately equal feature points and the distance d _cy2.

また、領域Ｒに含まれる特徴点の分布について、分布がピークとなる位置と超音波センサとの距離をｄ_ｃｘ２として、距離ｄ_ｓｘと距離ｄ_ｃｘ２との差が所定値以下であるときに、超音波センサ１０およびカメラシステム２０が同一の物体を検知したと判定してもよい。 Moreover, the distribution of the feature points included in the region R, when the difference of the distance between the position and the ultrasonic sensor distribution reaches a peak as d _cx2, the distance d _sx and distance d _cx2 is equal to or less than a predetermined value, It may be determined that the ultrasonic sensor 10 and the camera system 20 have detected the same object.

また、車両との距離が距離ｄ_ｃｘ２と等しい特徴点の数が所定数以上であるときに、超音波センサ１０およびカメラシステム２０が同一の物体を検知したと判定してもよい。ここで、車両との距離が距離ｄ_ｃｘ２と等しい特徴点には、車両との距離が距離ｄ_ｃｘ２とほぼ等しい特徴点も含まれる。 Alternatively, it may be determined that the ultrasonic sensor 10 and the camera system 20 detect the same object when the number of feature points whose distance to the vehicle is equal to the distance _dcx2 is a predetermined number or more. Here, the same characteristic point distance is the distance d _cx2 with the vehicle, the distance between the vehicle is also included approximately equal feature points and the distance d _cx2.

また、所定の値をｋ_ｘ３、ｋ_ｙ３とし、ｋ_ｘ３＞ｋ_ｙ３として、｜ｄ_ｓｘ−ｄ_ｃｘ２｜≦ｋ_ｘ３であり、かつ、｜ｄ_ｓｙ−ｄ_ｃｙ２｜≦ｋ_ｙ３であるとき、超音波センサ１０およびカメラシステム２０が同一の物体を検知したと判定してもよい。ｋ_ｘ３、ｋ_ｙ３は第１の値、第２の値に相当する。 Also, a predetermined value and _k _{x3, k _y3,} as _{_{k x3> k y3, | d}} sx -d cx2 | a ≦ _{k x3,} _and, | d _{sy -d cy2} | when a ≦ _{k y3,} super It may be determined that the sound wave sensor 10 and the camera system 20 have detected the same object. k _x3 and k _y3 correspond to a first value and a second value.

また、｜ｄ_ｓ−ｄ_ｃ｜が所定値以下のときに、超音波センサ１０およびカメラシステム２０が同一の物体を検知したと判定してもよい。また、標準偏差σが所定値以下であるときに、超音波センサ１０およびカメラシステム２０が同一の物体を検知したと判定してもよい。 Further, when | d _s −d _c | is equal to or less than a predetermined value, it may be determined that the ultrasonic sensor 10 and the camera system 20 detect the same object. Also, when the standard deviation σ is equal to or less than a predetermined value, it may be determined that the ultrasonic sensor 10 and the camera system 20 detect the same object.

また、領域Ｒに含まれる特徴点を高さによって複数のグループに分け、各グループについてＥＣＵ３０による判定を行ってもよい。この場合に、１つ以上のグループについてＮ_１等に関する条件が満たされたときに、超音波センサ１０とカメラシステム２０が同一の物体を検知したと判定してもよい。 In addition, the feature points included in the region R may be divided into a plurality of groups according to the height, and the determination by the ECU 30 may be performed on each group. In this case, it may be determined that the ultrasonic sensor 10 and the camera system 20 detect the same object when the condition relating to N ₁ etc. is satisfied for one or more groups.

例えば、｜ｄ_ｓ−ｄ_ｃ｜が所定値以下であるという条件を用いる場合に、３０≦ｈ、２０≦ｈ＜３０、ｈ＜２０の特徴点がそれぞれ図１３〜図１５に示すように分布することがある。すなわち、３０≦ｈ、２０≦ｈ＜３０の特徴点について、ｈ＜２０の特徴点に比べて｜ｄ_ｓ−ｄ_ｃ｜が大きくなることがある。このような場合、３０≦ｈ、２０≦ｈ＜３０の特徴点について｜ｄ_ｓ−ｄ_ｃ｜が所定値以下でなくても、ｈ＜２０の特徴点について｜ｄ_ｓ−ｄ_ｃ｜が所定値以下であれば、ＥＣＵ３０は、超音波センサ１０とカメラシステム２０が同一の物体を検知したと判定する。 For example, when using the condition that | d _s −d _c | is a predetermined value or less, the feature points of 30 ≦ h, 20 ≦ h <30, h <20 are distributed as shown in FIGS. 13 to 15, respectively. There is something to do. That is, for the feature points of 30 ≦ h and 20 ≦ h <30, | d _s −d _c | may be larger than the feature points of h <20. In such a case, for the feature points of 30 ≦ h and 20 ≦ h <30, | d _s −d _c | is predetermined for h <20 feature points even though | d _s −d _c | If it is below the value, the ECU 30 determines that the ultrasonic sensor 10 and the camera system 20 detect the same object.

例えば、幅の広い土台を有する柱や、直立せず斜めに立っている柵など、高さによって水平方向の幅や位置が異なる形状の物体が車両の周囲に存在すると、特徴点の分布ピークの奥行距離と超音波センサ１０が検出した距離とが異なる場合がある。このような場合に、特徴点の高さのグループごとに超音波センサ１０とカメラシステム２０の検知結果の一致判定を行うことで、物体を正しく検知することができる。また、点Ｐ_ｓが物体のどの高さから検出されたかを調べることができるため、超音波センサ１０とカメラシステム２０の検知結果を精度よく対応させることができる。 For example, if an object with a shape that differs in horizontal width or position depending on the height, such as a pillar with a wide base or a fence that stands upright and does not stand upright, is present around the vehicle, The depth distance may be different from the distance detected by the ultrasonic sensor 10. In such a case, it is possible to correctly detect an object by performing coincidence determination of detection results of the ultrasonic sensor 10 and the camera system 20 for each group of heights of feature points. In addition, since it is possible to check from which height of the object the point P _s is detected, the detection results of the ultrasonic sensor 10 and the camera system 20 can be corresponded with high accuracy.

１０超音波センサ
２０カメラシステム
２２特徴画素抽出部
２３特徴点検出部
３０ＥＣＵ 10 ultrasonic sensor 20 camera system 22 feature pixel extraction unit 23 feature point detection unit 30 ECU

Claims

車両に搭載されて、前記車両の外部の物体を検知する物体検知装置であって、
超音波の送受信により物体を検知し、物体の位置を検出する超音波センサ（１０）と、
前記車両の周囲を撮像して複数の画像を取得し、該複数の画像に基づいて物体を検知するカメラシステム（２０）と、
前記超音波センサおよび前記カメラシステムが同一の物体を検知したか否かを判定する物体判定部（３０）と、を備え、
前記カメラシステムは、
前記複数の画像から輝度に特徴を有する画素を抽出する特徴画素抽出部（２２）と、
前記特徴画素抽出部によって前記複数の画像から共通して抽出された画素を特徴点として、前記特徴点の位置を検出する特徴点検出部（２３）と、を備え、
前記超音波センサを通る平面において、前記超音波センサが検出した物体の位置を示す点をＰ_ｓとし、前記点Ｐ_ｓを含む領域をＲとし、
前記領域Ｒに含まれる前記特徴点の数をＮ_１として、
前記物体判定部は、前記数Ｎ_１が所定数以上であるとき、前記超音波センサおよび前記カメラシステムが同一の物体を検知したと判定する物体検知装置。 An object detection apparatus mounted on a vehicle for detecting an object outside the vehicle, comprising:
An ultrasonic sensor (10) that detects an object by transmitting and receiving ultrasonic waves and detects the position of the object;
A camera system (20) for imaging a periphery of the vehicle to acquire a plurality of images and detecting an object based on the plurality of images;
An object determining unit (30) that determines whether the ultrasonic sensor and the camera system have detected the same object;
The camera system is
A feature pixel extraction unit (22) for extracting a pixel having a feature in luminance from the plurality of images;
And a feature point detection unit (23) for detecting the position of the feature point using a pixel commonly extracted from the plurality of images by the feature pixel extraction unit as a feature point,
Wherein in a plane passing through the ultrasonic sensor, the point indicating the position of an object the ultrasonic sensor detects the P _s, the area including the point P _s and R,
Assuming that the number of the feature points included in the region R is N ₁
The object determination unit, when the number N ₁ is equal to or more than a predetermined number, said the determined target detector ultrasonic sensor and the camera system detects the same object.

前記カメラシステムが有するカメラ（２１）は、同時に２枚の画像を撮像可能なステレオカメラであるか、または、時間差を設けて２枚の画像を撮像する移動ステレオカメラである請求項１に記載の物体検知装置。 The camera (21) of the camera system is a stereo camera capable of capturing two images at the same time, or a mobile stereo camera that captures two images with a time difference. Object detection device.

前記領域Ｒは、長方形状とされている請求項１または２に記載の物体検知装置。 The object detection apparatus according to claim 1, wherein the region R has a rectangular shape.

前記領域Ｒは、台形状とされている請求項１または２に記載の物体検知装置。 The object detection apparatus according to claim 1, wherein the region R is trapezoidal.

前記領域Ｒは、扇状とされている請求項１または２に記載の物体検知装置。 The object detection apparatus according to claim 1, wherein the region R is fan-shaped.

前記物体判定部は、前記特徴点検出部が検出した特徴点のうち、前記領域Ｒに含まれ、かつ、高さが所定の範囲内にあるものの数をＮ_２として、前記数Ｎ_２が所定数以上であるとき、前記超音波センサおよび前記カメラシステムが同一の物体を検知したと判定する請求項１ないし５のいずれか１つに記載の物体検知装置。 Among the feature points detected by the feature point detection unit, the object determination unit determines that the number N ₂ is the number of the feature points included in the region R and whose height is within a predetermined range as N _2. The object detection apparatus according to any one of claims 1 to 5, wherein it is determined that the ultrasonic sensor and the camera system detect the same object when the number is more than a number.

前記所定の範囲の下限は、前記車両が備えるバンパの下端の高さの０．５倍以上２倍以下の高さである請求項６に記載の物体検知装置。 The object detection device according to claim 6, wherein the lower limit of the predetermined range is 0.5 times or more and 2 times or less the height of the lower end of the bumper provided in the vehicle.

前記所定の範囲の上限は、前記車両の高さより大きい値である請求項６または７に記載の物体検知装置。 The object detection device according to claim 6, wherein the upper limit of the predetermined range is a value larger than the height of the vehicle.

前記超音波センサとしての第１センサ（１０ａ）および第２センサ（１０ｂ）を備え、
前記平面に含まれる互いに垂直な２つの方向をそれぞれｘ方向、ｙ方向として、
前記ｘ方向は、前記第１センサおよび前記第２センサが並ぶ方向とされている請求項１ないし８のいずれか１つに記載の物体検知装置。 A first sensor (10a) and a second sensor (10b) as the ultrasonic sensor;
Let two directions perpendicular to each other included in the plane be an x direction and ay direction, respectively.
The object detection apparatus according to any one of claims 1 to 8, wherein the x direction is a direction in which the first sensor and the second sensor are aligned.

前記第１センサが超音波を送信し、前記第１センサおよび前記第２センサが該超音波の反射波を受信したときに、
前記第１センサの位置を示す点をＡ_１とし、
前記第１センサが超音波を送信してから反射波を受信するまでの間に超音波が進んだ距離をＬ_Ａ１とし、
前記第２センサの位置を示す点をＢ_１とし、
前記第１センサが超音波を送信してから前記第２センサが反射波を受信するまでの間に超音波が進んだ距離をＬ_Ｂ１とし、
前記点Ａ_１を中心とする半径Ｌ_Ａ１／２の円と、前記点Ｂ_１を中心とする半径Ｌ_Ｂ１−Ｌ_Ａ１／２の円との交点に対応する位置に物体が存在するものとして物体との距離が算出される請求項９に記載の物体検知装置。 When the first sensor transmits an ultrasonic wave and the first sensor and the second sensor receive a reflected wave of the ultrasonic wave,
Let A ₁ be a point indicating the position of the first sensor,
The distance traveled by the ultrasonic wave after the first sensor transmits the ultrasonic wave and the time the reflected wave is received is L _A1 .
Let B ₁ be a point indicating the position of the second sensor,
The distance traveled by the ultrasonic wave after the first sensor transmits the ultrasonic wave and the second sensor receives the reflected wave is L _B1 ,
And a circle with a radius _{L A1} / 2 centered on the point _{A 1,} the object as the object at the intersection corresponding to the position of the radius _L B1 _{-L A1} / 2 of a circle centered on the said point _{B 1} is present The object detection apparatus according to claim 9, wherein the distance between

前記第１センサが超音波を送信し、前記第１センサおよび前記第２センサが該超音波の反射波を受信したときに、
前記第１センサの位置を示す点をＡ_１とし、
前記第１センサが超音波を送信してから反射波を受信するまでの間に超音波が進んだ距離をＬ_Ａ１とし、
前記第２センサの位置を示す点をＢ_１とし、
前記第１センサが超音波を送信してから前記第２センサが反射波を受信するまでの間に超音波が進んだ距離をＬ_Ｂ１とし、
前記点Ａ_１を中心とする半径Ｌ_Ａ１の円と、前記点Ｂ_１を中心とする半径Ｌ_Ｂ１の円との交点をＯとし、
線分ＯＡ_１の中点をＰ_ｓ２とし、
前記中点Ｐ_ｓ２を通る直線ＯＡ_１の垂線と直線ＯＢ_１との交点をＰ_ｓ３とし、
線分Ｐ_ｓ２Ｐ_ｓ３に対応する位置に物体が存在するものとして物体との距離が算出される請求項９に記載の物体検知装置。 When the first sensor transmits an ultrasonic wave and the first sensor and the second sensor receive a reflected wave of the ultrasonic wave,
Let A ₁ be a point indicating the position of the first sensor,
The distance traveled by the ultrasonic wave after the first sensor transmits the ultrasonic wave and the time the reflected wave is received is L _A1 .
Let B ₁ be a point indicating the position of the second sensor,
The distance traveled by the ultrasonic wave after the first sensor transmits the ultrasonic wave and the second sensor receives the reflected wave is L _B1 ,
_Let O be the point of intersection of a circle of radius L _A1 centered on the point A ₁ and a circle of radius L _B1 centered on the point B ₁ ,
Let the middle point of line segment OA _{1 be} P _s2 ,
The intersection of the perpendicular and the line OB ₁ linear OA ₁ passing through the middle point _{P s2} and _{P s3,}
The object detection apparatus according to claim 9, wherein a distance to the object is calculated assuming that the object exists at a position corresponding to the line segment P _s2 P _s3 .

前記超音波センサは、前記車両の移動の前後で超音波の送受信を２回行い、
前記平面に含まれる互いに垂直な２つの方向をそれぞれｘ方向、ｙ方向として、
前記ｘ方向は、前記超音波センサが１回目に超音波を送信した位置と、２回目に超音波を送信した位置とを結ぶ方向とされている請求項１ないし８のいずれか１つに記載の物体検知装置。 The ultrasonic sensor transmits and receives ultrasonic waves twice before and after movement of the vehicle.
Let two directions perpendicular to each other included in the plane be an x direction and ay direction, respectively.
The direction according to any one of claims 1 to 8, wherein the x direction is a direction connecting a position at which the ultrasonic sensor transmitted ultrasonic waves for the first time and a position at which ultrasonic waves were transmitted for the second time. Object detection device.

前記超音波センサが１回目に超音波を送信した位置を示す点をＡ_２とし、
前記超音波センサが１回目に超音波を送信してから該超音波の反射波を受信するまでの間に超音波が進んだ距離をＬ_Ａ２とし、
前記超音波センサが２回目に超音波を送信した位置を示す点をＢ_２とし、
前記超音波センサが２回目に超音波を送信してから該超音波の反射波を受信するまでの間に超音波が進んだ距離をＬ_Ｂ２とし、
前記点Ａ_２を中心とする半径Ｌ_Ａ２／２の円と、前記点Ｂ_２を中心とする半径Ｌ_Ｂ２／２の円との交点に対応する位置に物体が存在するものとして物体との距離が算出される請求項１２に記載の物体検知装置。 Let A ₂ be a point indicating the position where the ultrasonic sensor transmitted the ultrasonic wave for the first time,
Let L _A2 be the distance that the ultrasonic wave travels between the time when the ultrasonic sensor transmits the ultrasonic wave for the first time and the time when the reflected wave of the ultrasonic wave is received.
The ultrasonic sensor is a point indicating a position which transmits ultrasound to the second and B _2,
The distance traveled ultrasound between from the transmission of the ultrasonic waves to the ultrasonic sensor a second time until receiving the reflected wave of the ultrasonic wave and L _B2,
A distance to an object at a position corresponding to an intersection point of a circle of radius L _A2 / 2 centered on the point A ₂ and a circle of radius L _B2 / 2 centered on the point B ₂ The object detection device according to claim 12, wherein is calculated.

前記超音波センサが１回目に超音波を送信した位置を示す点をＡ_２とし、
前記超音波センサが１回目に超音波を送信してから該超音波の反射波を受信するまでの間に超音波が進んだ距離をＬ_Ａ２とし、
前記超音波センサが２回目に超音波を送信した位置を示す点をＢ_２とし、
前記超音波センサが２回目に超音波を送信してから該超音波の反射波を受信するまでの間に超音波が進んだ距離をＬ_Ｂ２とし、
前記点Ａ_２を中心とする半径Ｌ_Ａ２／２の円と、前記点Ｂ_２を中心とする半径Ｌ_Ｂ２／２の円との共通接線をＬ_２とし、
前記点Ａ_２を中心とする半径Ｌ_Ａ２／２の円と前記共通接線Ｌ_２との接点をＰ_ｓ５とし、
前記点Ｂ_２を中心とする半径Ｌ_Ｂ２／２の円と前記共通接線Ｌ_２との接点をＰ_ｓ６とし、
線分Ｐ_ｓ５Ｐ_ｓ６に対応する位置に物体が存在するものとして物体との距離が算出される請求項１２に記載の物体検知装置。 Let A ₂ be a point indicating the position where the ultrasonic sensor transmitted the ultrasonic wave for the first time,
Let L _A2 be the distance that the ultrasonic wave travels between the time when the ultrasonic sensor transmits the ultrasonic wave for the first time and the time when the reflected wave of the ultrasonic wave is received.
The ultrasonic sensor is a point indicating a position which transmits ultrasound to the second and B _2,
The distance traveled ultrasound between from the transmission of the ultrasonic waves to the ultrasonic sensor a second time until receiving the reflected wave of the ultrasonic wave and L _B2,
And a circle with a radius _{L A2} / 2 centered on the point _{A 2,} the common tangent of a circle with a radius _{L B2} / 2 centered at the point _{B 2} and _{L 2,}
_Let a point of contact between a circle of radius L _A2 / 2 centered on the point A ₂ and the common tangent L ₂ be P _s5 ,
_Let a point of contact between the circle of radius L _B2 / 2 centered on the point B ₂ and the common tangent L ₂ be P _s6 ,
The object detection device according to claim 12, wherein the distance to the object is calculated assuming that the object exists at a position corresponding to the line segment P _s5 P _s6 .

前記領域Ｒに含まれる前記特徴点の平均位置を示す点をＰ_ｃとし、
前記物体判定部は、前記点Ｐ_ｓと前記点Ｐ_ｃとの距離が所定値以下であるとき、前記超音波センサおよび前記カメラシステムが同一の物体を検知したと判定する請求項９ないし１４のいずれか１つに記載の物体検知装置。 Let P _c be a point indicating the average position of the feature points included in the region R,
The object determining unit determines that the ultrasonic sensor and the camera system detect the same object when the distance between the point P _s and the point P _c is equal to or less than a predetermined value. An object detection device according to any one of the preceding claims.

前記超音波センサが前記点Ｐ_ｓとして複数の点を検出したとき、
前記物体判定部は、該複数の点の平均位置と前記点Ｐ_ｃとの距離が所定値以下であるとき、または、該複数の点のうち前記車両に最も近い点と前記点Ｐ_ｃとの距離が所定値以下であるとき、前記超音波センサおよび前記カメラシステムが同一の物体を検知したと判定する請求項１５に記載の物体検知装置。 When the ultrasonic sensor detects a plurality of points as the point P _s ,
When the distance between the average position of the plurality of points and the point P _c is equal to or less than a predetermined value, the object determining unit determines that the point closest to the vehicle and the point P _c among the plurality of points. The object detection apparatus according to claim 15, wherein it is determined that the ultrasonic sensor and the camera system detect the same object when the distance is equal to or less than a predetermined value.

前記点Ｐ_ｓと前記点Ｐ_ｃとの距離は、前記ｘ方向の距離である請求項１５または１６に記載の物体検知装置。 The object detection device according to claim 15, wherein a distance between the point P _s and the point P _c is a distance in the x direction.

前記点Ｐ_ｓと前記点Ｐ_ｃとの距離は、前記ｙ方向の距離である請求項１５または１６に記載の物体検知装置。 The object detection device according to claim 15, wherein a distance between the point P _s and the point P _c is a distance in the y direction.

前記領域Ｒに含まれる前記特徴点の平均位置を示す点をＰ_ｃとし、
前記物体判定部は、前記ｘ方向における前記点Ｐ_ｓと前記点Ｐ_ｃとの距離が第１の値以下であり、かつ、前記ｙ方向における前記点Ｐ_ｓと前記点Ｐ_ｃとの距離が前記第１の値よりも小さい第２の値以下であるとき、前記超音波センサおよび前記カメラシステムが同一の物体を検知したと判定する請求項９ないし１４のいずれか１つに記載の物体検知装置。 Let P _c be a point indicating the average position of the feature points included in the region R,
In the object determination unit, the distance between the point P _s and the point P _c in the x direction is equal to or less than a first value, and the distance between the point P _s and the point P _c in the y direction is The object detection according to any one of claims 9 to 14, wherein it is determined that the ultrasonic sensor and the camera system have detected the same object when the second value is smaller than or equal to the second value. apparatus.

前記物体判定部は、前記領域Ｒに含まれる前記特徴点と前記車両との前記ｙ方向における距離の標準偏差が所定値以下のとき、前記超音波センサおよび前記カメラシステムが同一の物体を検知したと判定する請求項９ないし１４のいずれか１つに記載の物体検知装置。 When the standard deviation of the distance between the feature point included in the region R and the vehicle in the y direction is less than or equal to a predetermined value, the object determination unit detects the same object by the ultrasonic sensor and the camera system. The object detection apparatus according to any one of claims 9 to 14, wherein it is determined that

前記物体判定部は、前記領域Ｒに含まれる前記特徴点と前記車両との前記ｘ方向における距離の標準偏差が所定値以下のとき、前記超音波センサおよび前記カメラシステムが同一の物体を検知したと判定する請求項９ないし１４のいずれか１つに記載の物体検知装置。 When the standard deviation of the distance between the feature point included in the region R and the vehicle in the x direction is equal to or less than a predetermined value, the object determination unit detects the same object by the ultrasonic sensor and the camera system The object detection apparatus according to any one of claims 9 to 14, wherein it is determined that

前記物体判定部は、前記領域Ｒに含まれる前記特徴点と前記車両との前記ｘ方向における距離の標準偏差が第１の値以下であり、かつ、前記領域Ｒに含まれる前記特徴点と前記車両との前記ｙ方向における距離の標準偏差が前記第１の値よりも小さい第２の値以下であるとき、前記超音波センサおよび前記カメラシステムが同一の物体を検知したと判定する請求項９ないし１４のいずれか１つに記載の物体検知装置。 The object determination unit determines that the standard deviation of the distance between the feature point included in the area R and the vehicle in the x direction is equal to or less than a first value, and the feature point and the area included in the area R It is determined that the ultrasonic sensor and the camera system detect the same object when the standard deviation of the distance from the vehicle in the y direction is equal to or less than a second value smaller than the first value. 15. Object detection device according to any one of 14.

前記点Ｐ_ｓと前記車両との前記ｙ方向における距離をｄ_ｓｙとし、
前記領域Ｒに含まれる前記特徴点と前記車両との前記ｙ方向における距離の平均値をｄ_ｃｙ１とし、
前記領域Ｒに含まれる前記特徴点と前記車両との前記ｙ方向における距離の標準偏差をσ_ｙとして、
前記物体判定部は、前記距離ｄ_ｓｙと前記距離ｄ_ｃｙ１との差の絶対値が、前記標準偏差σ_ｙに所定の係数を掛けて得られる値以下であるとき、前記超音波センサおよび前記カメラシステムが同一の物体を検知したと判定する請求項９ないし１４のいずれか１つに記載の物体検知装置。 Let d _sy be the distance between the point P _s and the vehicle in the y direction,
An average value of distances in the y direction between the feature point included in the region R and the vehicle is set as d _cy1 .
The standard deviation of the distance in the y direction between the feature point included in the region R and the vehicle is taken as σ _y
When the absolute value of the difference between the distance d _sy and the distance d _cy1 is equal to or less than a value obtained by multiplying the standard deviation σ _y by a predetermined coefficient, the object determination unit determines the ultrasonic sensor and the camera The object detection apparatus according to any one of claims 9 to 14, which determines that the system has detected the same object.

前記点Ｐと前記車両との前記ｘ方向における距離をｄ_ｓｘとし、
前記領域Ｒに含まれる前記特徴点と前記車両との前記ｘ方向における距離の平均値をｄ_ｃｘ１とし、
前記領域Ｒに含まれる前記特徴点と前記車両との前記ｘ方向における距離の標準偏差をσ_ｘとして、
前記物体判定部は、前記距離ｄ_ｓｘと前記距離ｄ_ｃｘ１との差の絶対値が、前記標準偏差σ_ｘに所定の係数を掛けて得られる値以下であるとき、前記超音波センサおよび前記カメラシステムが同一の物体を検知したと判定する請求項９ないし１４のいずれか１つに記載の物体検知装置。 Let d _sx be the distance between the point P and the vehicle in the x direction,
The average value of the distances in the x direction between the feature points included in the region R and the vehicle is _represented by d _cx1 .
The standard deviation of the distance in the x direction between the feature point included in the region R and the vehicle is taken as σ _x
When the absolute value of the difference between the distance d _sx and the distance d _cx1 is equal to or less than a value obtained by multiplying the standard deviation σ _x by a predetermined coefficient, the object determination unit determines the ultrasonic sensor and the camera The object detection apparatus according to any one of claims 9 to 14, which determines that the system has detected the same object.

前記点Ｐ_ｓと前記車両との前記ｙ方向における距離をｄ_ｓｙとし、
前記領域Ｒに含まれる前記特徴点の前記ｙ方向における分布について、該分布がピークとなる位置と前記車両との距離をｄ_ｃｙ２として、
前記物体判定部は、前記距離ｄ_ｓｙと前記距離ｄ_ｃｙ２との差が所定値以下であるとき、前記超音波センサおよび前記カメラシステムが同一の物体を検知したと判定する請求項９ないし１４のいずれか１つに記載の物体検知装置。 Let d _sy be the distance between the point P _s and the vehicle in the y direction,
Regarding the distribution of the feature points included in the region R in the y direction, the distance between the peak position of the distribution and the vehicle is d _{cy 2}
The object determining unit determines that the ultrasonic sensor and the camera system detect the same object when the difference between the distance d _sy and the distance d _cy2 is equal to or less than a predetermined value. An object detection device according to any one of the preceding claims.

前記物体判定部は、前記車両との距離が前記距離ｄ_ｃｙ２と等しい前記特徴点の数が所定数以上であるとき、前記超音波センサおよび前記カメラシステムが同一の物体を検知したと判定する請求項２５に記載の物体検知装置。 The object determination unit determines that the ultrasonic sensor and the camera system detect the same object when the number of the feature points _whose distance to the vehicle is equal to the distance d _cy2 is a predetermined number or more. An object detection device according to Item 25.

前記点Ｐ_ｓと前記車両との前記ｘ方向における距離をｄ_ｓｘとし、
前記領域Ｒに含まれる前記特徴点の前記ｘ方向における分布について、該分布がピークとなる位置と前記車両との距離をｄ_ｃｘ２として、
前記物体判定部は、前記距離ｄ_ｓｘと前記距離ｄ_ｃｘ２との差が所定値以下であるとき、前記超音波センサおよび前記カメラシステムが同一の物体を検知したと判定する請求項９ないし１４のいずれか１つに記載の物体検知装置。 Let d _sx be the distance between the point P _s and the vehicle in the x direction,
Regarding the distribution of the feature points included in the region R in the x direction, the distance between the peak position of the distribution and the vehicle is d _cx2 .
The object determining unit determines that the ultrasonic sensor and the camera system detect the same object when the difference between the distance d _sx and the distance d _cx2 is equal to or less than a predetermined value. An object detection device according to any one of the preceding claims.

前記物体判定部は、前記車両との距離が前記距離ｄ_ｃｘ２と等しい前記特徴点の数が所定数以上であるとき、前記超音波センサおよび前記カメラシステムが同一の物体を検知したと判定する請求項２７に記載の物体検知装置。 The object determination unit determines that the ultrasonic sensor and the camera system detect the same object when the number of the feature points _whose distance to the vehicle is equal to the distance _dcx2 is a predetermined number or more. An object detection device according to Item 27.

前記点Ｐ_ｓと前記車両との前記ｘ方向における距離をｄ_ｓｘとし、
前記領域Ｒに含まれる前記特徴点の前記ｘ方向における分布について、該分布がピークとなる位置と前記車両との距離をｄ_ｃｘ２とし、
前記点Ｐ_ｓと前記車両との前記ｙ方向における距離をｄ_ｓｙとし、
前記領域Ｒに含まれる前記特徴点の前記ｙ方向における分布について、該分布がピークとなる位置と前記車両との距離をｄ_ｃｙ２として、
前記物体判定部は、前記距離ｄ_ｓｘと前記距離ｄ_ｃｘ２との差が第１の値以下であり、かつ、前記距離ｄ_ｓｙと前記距離ｄ_ｃｙ２との差が前記第１の値よりも小さい第２の値以下であるとき、前記超音波センサおよび前記カメラシステムが同一の物体を検知したと判定する請求項９ないし１４のいずれか１つに記載の物体検知装置。 Let d _sx be the distance between the point P _s and the vehicle in the x direction,
Regarding the distribution in the x direction of the feature points included in the region R, let d _cx2 be the distance between the position at which the distribution peaks and the vehicle
Let d _sy be the distance between the point P _s and the vehicle in the y direction,
Regarding the distribution of the feature points included in the region R in the y direction, the distance between the peak position of the distribution and the vehicle is d _{cy 2}
The object determination unit determines that the difference between the distance d _sx and the distance d _cx2 is equal to or less than a first value, and the difference between the distance d _sy and the distance d _cy2 is smaller than the first value. The object detection device according to any one of claims 9 to 14, wherein it is determined that the ultrasonic sensor and the camera system detect the same object when the second value or less.

前記物体判定部は、前記特徴点を高さによって複数のグループに分け、各グループについて、前記超音波センサおよび前記カメラシステムが同一の物体を検知したか否かを判定する請求項１ないし２９のいずれか１つに記載の物体検知装置。 30. The apparatus according to claim 1, wherein the object determining unit divides the feature points into a plurality of groups according to heights, and determines whether the ultrasonic sensor and the camera system detect the same object for each group. An object detection device according to any one of the preceding claims.