JP7119627B2 - Target object detection method and device for vehicle - Google Patents

Target object detection method and device for vehicle Download PDF

Info

Publication number
JP7119627B2
JP7119627B2 JP2018116267A JP2018116267A JP7119627B2 JP 7119627 B2 JP7119627 B2 JP 7119627B2 JP 2018116267 A JP2018116267 A JP 2018116267A JP 2018116267 A JP2018116267 A JP 2018116267A JP 7119627 B2 JP7119627 B2 JP 7119627B2
Authority
JP
Japan
Prior art keywords
vehicle
distance
radar
spectrum
pedestrian
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018116267A
Other languages
Japanese (ja)
Other versions
JP2019219252A (en
Inventor
友和 奥木
秀行 山田
将太 寺島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazda Motor Corp
Original Assignee
Mazda Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazda Motor Corp filed Critical Mazda Motor Corp
Priority to JP2018116267A priority Critical patent/JP7119627B2/en
Publication of JP2019219252A publication Critical patent/JP2019219252A/en
Application granted granted Critical
Publication of JP7119627B2 publication Critical patent/JP7119627B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Radar Systems Or Details Thereof (AREA)

Description

本発明は、自車両から発信されるレーダを用いて自車両周辺の物標を検出する技術に関する。 The present invention relates to a technology for detecting targets around a vehicle using radar transmitted from the vehicle.

近年、車両の安全性向上の観点から、自車両の周囲の障害物をレーダにより認識し、必要に応じて自動ブレーキ等の回避措置をとる運転支援機能を搭載した車両が増えてきている。このような運転支援機能付きの車両において、自車両の周囲に他車両および歩行者の双方が存在する場合には、両者を区別して認識すること(特に歩行者を車両と区別して認識すること)が望ましく、そのための技術が種々提案されている。 2. Description of the Related Art In recent years, from the viewpoint of improving vehicle safety, an increasing number of vehicles are equipped with a driving support function that recognizes obstacles around the vehicle using radar and takes avoidance measures such as automatic braking as necessary. In such a vehicle with a driving support function, if there are both other vehicles and pedestrians around the vehicle, the two should be recognized separately (in particular, pedestrians should be recognized separately from the vehicle). is desirable, and various techniques for that purpose have been proposed.

例えば、下記特許文献1には、自車両からレーダを照射してその反射信号を受信する信号取得手段と、受信された反射信号をFFT処理することにより、歩行者からの反射信号に由来する周波数成分と先行車両からの反射信号に由来する周波数成分とを含んだ離散的な第1のスペクトル信号を得るスペクトル信号取得手段と、自車両と先行車両との相対距離および相対速度の計測結果を用いた所定の演算により、先行車両の周波数成分を示す離散的な第2のスペクトル信号を得るスペクトル信号算出手段と、第1のスペクトル信号から第2のスペクトル信号を減算するスペクトル信号減算手段と、減算後のスペクトル信号に基づいて歩行者を検出する(自車両と歩行者との相対距離および相対速度を算出する)距離速度算出手段とを備えたレーダ装置が開示されている。 For example, in Patent Document 1 below, a signal acquisition means for radiating radar from the vehicle and receiving the reflected signal, and performing FFT processing on the received reflected signal, the frequency derived from the reflected signal from the pedestrian spectrum signal acquisition means for obtaining a discrete first spectrum signal containing a component and a frequency component derived from a reflected signal from a preceding vehicle; spectral signal calculating means for obtaining a discrete second spectral signal indicating the frequency component of the preceding vehicle by a predetermined calculation; spectral signal subtracting means for subtracting the second spectral signal from the first spectral signal; A radar apparatus is disclosed that includes a distance/velocity calculation means for detecting pedestrians (calculating the relative distance and relative velocity between the own vehicle and pedestrians) based on the subsequent spectral signals.

特開2016-102675号公報JP 2016-102675 A

上記特許文献1では、反射信号をFFT処理することで得られるスペクトルデータ(第1のスペクトル信号)から、理論的に(演算により)求められる他車両のスペクトルデータ(第2のスペクトル信号)が減算されるので、自車両の周囲に他車両と歩行者とが混在する状況であっても、上記減算後のデータに基づいて精度よく歩行者を検出できるとされている。 In the above Patent Document 1, spectral data (second spectral signal) of another vehicle, which is theoretically (by calculation) obtained, is subtracted from spectral data (first spectral signal) obtained by subjecting a reflected signal to FFT processing. Therefore, even in a situation where other vehicles and pedestrians coexist around the own vehicle, pedestrians can be accurately detected based on the data after the subtraction.

しかしながら、上記特許文献1では、周波数が離れた離散的なスペクトルデータがFFT処理によって生成されるので、例えば歩行者が他車両に近接して存在するような場合には、歩行者からの反射信号が他車両からの反射信号に埋もれてしまい、歩行者を示す周波数成分と他車両を示す周波数成分とが同じ周波数をもった1つの成分として抽出されるおそれがある。この場合において、仮に上記のように他車両のスペクトルデータを減算する処理を行った場合には、この減算後のデータ中に歩行者を示す周波数成分が残らなくなり、歩行者は存在しないと誤って認識されるおそれがある。このように、上記特許文献1の方法では、歩行者の検出精度が期待通りには向上しないと考えられる。 However, in Patent Document 1, discrete spectral data with separated frequencies are generated by FFT processing. is buried in reflected signals from other vehicles, and the frequency component indicating the pedestrian and the frequency component indicating the other vehicle may be extracted as one component having the same frequency. In this case, if the process of subtracting the spectrum data of the other vehicle is performed as described above, the frequency component indicating the pedestrian will not remain in the data after this subtraction, and it will be mistakenly assumed that the pedestrian does not exist. There is a risk of being recognized. Thus, it is considered that the method of Patent Document 1 does not improve the pedestrian detection accuracy as expected.

本発明は、上記のような事情に鑑みてなされたものであり、他車両と歩行者とが近接している場合でも精度よく歩行者を検出することが可能な車両用物標検出方法および装置を提供することを目的とする。 SUMMARY OF THE INVENTION The present invention has been made in view of the circumstances as described above. intended to provide

前記課題を解決するためのものとして、本発明は、レーダを発信する送信部と、当該送信部からのレーダの反射信号を受信する受信部と、当該受信部が受信した信号を解析する処理部と、データを記憶する記憶部と、を備えた自車両の前記送信部から発信されるレーダを用いて自車両周辺の物標を検出する方法であって、前記レーダの反射信号を前記受信部が受信し、受信した信号に基づいて前記処理部が、自車両からの距離と信号強度との関係を表す連続的な距離スペクトルを得る第1のステップと、前記処理部が、前記第1のステップで得られた距離スペクトルから、前記物標が他車両であった場合に得られる標準的な距離スペクトルである車両モデルデータを差し引いた差分スペクトルを得る第2のステップと、前記処理部が、前記第2のステップで得られた差分スペクトルを調べ、当該差分スペクトルの中に所定の閾値以上の強度をもった成分が含まれる場合に歩行者が存在すると判定する第3のステップとを含み、前記車両モデルデータは、自車両周辺に他車両のみが存在する場合に前記第1のステップと同様の処理により得られる距離スペクトルであり、前記記憶部に予め記憶されている、ことを特徴とするものである(請求項1)。 In order to solve the above-mentioned problems, the present invention provides a transmitting unit that transmits radar, a receiving unit that receives a reflected radar signal from the transmitting unit, and a processing unit that analyzes the signal received by the receiving unit. and a storage unit for storing data, a method for detecting a target around the own vehicle using radar transmitted from the transmitting unit of the own vehicle, wherein a reflected signal of the radar is received by the receiving unit a first step in which the processing unit obtains a continuous distance spectrum representing the relationship between the distance from the host vehicle and the signal strength based on the received signal; a second step of obtaining a difference spectrum by subtracting vehicle model data, which is a standard distance spectrum obtained when the target is another vehicle, from the distance spectrum obtained in the step ; A third step of examining the difference spectrum obtained in the second step and determining that a pedestrian exists when the difference spectrum includes a component having an intensity equal to or higher than a predetermined threshold. , the vehicle model data is a distance spectrum obtained by the same processing as in the first step when only other vehicles exist around the own vehicle, and is stored in advance in the storage unit. (Claim 1).

他車両および歩行者の双方に自車両からレーダを発信した場合、一般に、他車両から返ってくる反射信号の強度は、歩行者から返ってくる反射信号の強度に比べてかなり大きい。このため、仮に歩行者が他車両に近接している状況でレーダを発信し、その反射信号に基づいて距離スペクトルを得たとしても、ほとんどの場合、歩行者の位置を明確に示すようなピークが当該距離スペクトルに現れることはない。このため、前記距離スペクトルをそのままの状態で解析したのでは、歩行者の存在を見落とすおそれがある。これに対し、本発明では、レーダの反射信号から得られる連続的な距離スペクトルから、他車両からの反射信号による(他車両が存在し且つ歩行者が存在しない場合に得られる)標準的な距離スペクトルである車両モデルデータが差し引かれ、これによって車両由来の成分を除去したとみなせる差分スペクトルが算出されるので、この差分スペクトルを用いて歩行者の有無を調べることにより、たとえ歩行者が他車両に近接している場合であっても、当該歩行者の存在を精度よく検出することができる。 When radar is transmitted from one's own vehicle to both other vehicles and pedestrians, the intensity of the reflected signal returned from the other vehicle is generally much higher than the intensity of the reflected signal returned from the pedestrian. For this reason, even if a radar is transmitted when a pedestrian is close to another vehicle and a distance spectrum is obtained based on the reflected signal, in most cases there will be a peak that clearly indicates the position of the pedestrian. does not appear in the range spectrum. Therefore, if the distance spectrum is analyzed as it is, there is a possibility that the presence of the pedestrian may be overlooked. On the other hand, in the present invention, from the continuous distance spectrum obtained from the reflected signal of the radar, the standard distance (obtained when there is another vehicle and no pedestrians) by the reflected signal from another vehicle The vehicle model data, which is the spectrum, is subtracted, and a difference spectrum is calculated from which the component derived from the vehicle can be considered to be removed. , the presence of the pedestrian can be detected with high accuracy.

好ましくは、前記第3のステップにおいて、前記処理部は、前記第2のステップで得られた差分スペクトルから、前記車両モデルデータのピーク位置の周辺に対応する一部の距離範囲のデータを抽出し、当該抽出したデータの中に前記閾値以上の成分が含まれる場合に歩行者が存在すると判定する(請求項2)。 Preferably, in the third step , the processing section extracts data of a partial distance range corresponding to the vicinity of the peak position of the vehicle model data from the difference spectrum obtained in the second step. , it is determined that a pedestrian exists when the extracted data includes a component equal to or greater than the threshold value (claim 2).

この構成によれば、解析対象となるデータ範囲を絞り込んで処理負担を軽減しながら、他車両の近くに存在する歩行者を差分スペクトルを用いた前記の方法により精度よく検出することができる。 According to this configuration, a pedestrian present near another vehicle can be accurately detected by the method using the difference spectrum while reducing the processing load by narrowing down the data range to be analyzed.

好ましくは、前記第2のステップにおいて、前記処理部は、前記第1のステップで得られた距離スペクトルを増幅し、この増幅後の距離スペクトルから、同様の方法で増幅された前記車両モデルデータを差し引くことにより、前記差分スペクトルを得る(請求項3)。 Preferably, in the second step , the processing unit amplifies the distance spectrum obtained in the first step, and extracts the vehicle model data amplified in a similar manner from the amplified distance spectrum. By subtracting, the difference spectrum is obtained (claim 3).

この構成によれば、増幅処理によって差分スペクトルの強度の最大値と最小値との差が拡大されるので、歩行者を判定するのに適したレベルの閾値を容易に設定することができ、この閾値を用いて歩行者を精度よく検出することができる。 According to this configuration, since the difference between the maximum value and the minimum value of the intensity of the differential spectrum is enlarged by the amplification process, it is possible to easily set a threshold level suitable for judging a pedestrian. A pedestrian can be detected with high accuracy using a threshold value.

前記第2のステップにおいて、前記処理部は、コヒーレント積分を用いて前記距離スペクトルを増幅することができる(請求項4)。 In the second step, the processing unit can amplify the distance spectrum using coherent integration (claim 4).

この構成によれば、増減を繰り返すノイズについては基本的に増幅されないので、ノイズ以外の成分を選択的に増幅することができ、ノイズに起因した誤検出を効果的に防止することができる。 According to this configuration, noise that repeatedly increases and decreases is basically not amplified, so components other than noise can be selectively amplified, and erroneous detection due to noise can be effectively prevented.

また、本発明は、自車両から発信されるレーダを用いて自車両周辺の物標を検出する装置であって、前記レーダを発信する送信部と、前記送信部からのレーダの反射信号を受信する受信部と、前記受信部が受信した信号を解析することにより歩行者の存在の有無を判定する処理部と、データを記憶する記憶部とを備え、前記処理部は、前記受信部が受信した信号に基づいて、自車両からの距離と信号強度との関係を表す連続的な距離スペクトルを得る第1の処理と、前記第1の処理で得られた距離スペクトルから、前記物標が他車両であった場合に得られる標準的な距離スペクトルである車両モデルデータを差し引いて差分スペクトルを得る第2の処理と、前記第2の処理で得られた差分スペクトルを調べ、当該差分スペクトルの中に所定の閾値以上の強度をもった成分が含まれる場合に歩行者が存在すると判定する第3の処理とを実行し、前記車両モデルデータは、自車両周辺に他車両のみが存在する場合に前記第1の処理と同様の処理により得られる距離スペクトルであり、前記記憶部に予め記憶されている、ことを特徴とするものである(請求項5)。 Further, the present invention is a device for detecting a target around the own vehicle using radar transmitted from the own vehicle, comprising: a transmitter for transmitting the radar; and a reflected signal of the radar from the transmitter. a receiving unit, a processing unit that determines the presence or absence of a pedestrian by analyzing a signal received by the receiving unit , and a storage unit that stores data; a first process for obtaining a continuous distance spectrum representing the relationship between the distance from the host vehicle and the signal strength based on the obtained signal; A second process of obtaining a differential spectrum by subtracting vehicle model data, which is a standard distance spectrum obtained in the case of a vehicle; includes a component having an intensity equal to or greater than a predetermined threshold value, a third process is executed to determine that a pedestrian exists, and the vehicle model data is obtained when only other vehicles exist around the own vehicle. The distance spectrum is obtained by the same processing as the first processing, and is pre-stored in the storage section (claim 5).

この物標検出装置によれば、上述した物標検出方法の発明と同様に、他車両に近接している歩行者を精度よく検出することができる。 According to this target detection device, similarly to the invention of the target detection method described above, it is possible to accurately detect a pedestrian approaching another vehicle.

以上説明したように、本発明によれば、他車両と歩行者とが近接している場合でも精度よく歩行者を検出することができる。 As described above, according to the present invention, pedestrians can be detected with high accuracy even when other vehicles and pedestrians are close to each other.

本発明の物標検出方法(または装置)が適用された車両の好ましい実施形態を示す概略平面図である。1 is a schematic plan view showing a preferred embodiment of a vehicle to which a target object detection method (or device) of the present invention is applied; FIG. 上記車両の制御系統を示すブロック図である。3 is a block diagram showing a control system of the vehicle; FIG. 上記車両の走行中に実行される歩行者の検出処理の前半部を示すフローチャートである。It is a flowchart which shows the first half part of the pedestrian detection process performed while the said vehicle is driving|running|working. 上記歩行者の検出処理の後半部を示すフローチャートである。It is a flow chart which shows the second half part of the above-mentioned pedestrian detection processing. 図4のステップS11の処理により得られるコヒーレント積分後の距離スペクトルの一例を示す図である。5 is a diagram showing an example of a distance spectrum after coherent integration obtained by the process of step S11 in FIG. 4; FIG. 図4のステップS12の処理により読み出される車両モデルデータの一例を示す図である。FIG. 5 is a diagram showing an example of vehicle model data read out by the process of step S12 in FIG. 4; FIG. 図4のステップS13の処理により算出される差分スペクトルの一例を示す図である。5 is a diagram showing an example of a difference spectrum calculated by the process of step S13 in FIG. 4; FIG. 他車両(駐車車両)の影から飛び出そうとする歩行者を示す説明図である。It is an explanatory view showing a pedestrian trying to jump out from the shadow of another vehicle (parked vehicle).

図1は、本発明の物標検出方法(または装置)が適用された車両の好ましい実施形態を示す概略平面図である。本図に示される車両は、自車両の周囲の障害物を検出するための複数のレーダユニット1(1A~1E)および複数のカメラユニット2(2A,2B)を備えている。 FIG. 1 is a schematic plan view showing a preferred embodiment of a vehicle to which the target object detection method (or device) of the present invention is applied. The vehicle shown in this figure comprises a plurality of radar units 1 (1A to 1E) and a plurality of camera units 2 (2A, 2B) for detecting obstacles around the vehicle.

上記複数のレーダユニット1は、車両の前端部の中央に配置された第1レーダユニット1Aと、車両の前端部の左端に配置された第2レーダユニット1Bと、車両の前端部の右端に配置された第3レーダユニット1Cと、車両の後端部の左端に配置された第4レーダユニット1Dと、車両の後端部の右端に配置された第5レーダユニット1Eとを含んでいる。第1レーダユニット1Aは、例えばフロントグリルに配置され、第2・第3レーダユニット1B,1Cは、例えばフロントバンパーフェースの裏面に配置され、第4・第5レーダユニット1D,1Eは、例えばリヤバンパーフェースの裏面に配置されている。 The plurality of radar units 1 are a first radar unit 1A arranged at the center of the front end of the vehicle, a second radar unit 1B arranged at the left end of the front end of the vehicle, and a right end of the front end of the vehicle. a fourth radar unit 1D arranged at the left end of the rear end of the vehicle; and a fifth radar unit 1E arranged at the right end of the rear end of the vehicle. The first radar unit 1A is arranged, for example, on the front grille, the second and third radar units 1B, 1C are arranged, for example, on the rear surface of the front bumper face, and the fourth and fifth radar units 1D, 1E are arranged, for example, on the rear bumper. Located on the back of the face.

第1~第5レーダユニット1A~1Eは、それぞれ、自車両の周囲に向けてレーダ(例えばミリ波レーダ)を発信する送信部5と、送信部5から発信されたレーダの反射信号、つまり周囲の障害物等で反射して自車両に返ってくるレーダを受信する受信部6とを有している(いずれも図2参照)。各レーダユニット1A~1Eは、それぞれ、自身を中心に扇状に拡がる領域を検出範囲とするレーダ検出器であり、これら各レーダユニット1A~1Eが図1に示した車両の各位置に分散して配置されることにより、車両のほぼ全周囲がレーダによる検出範囲とされている。なお、以下では、第1~第5レーダユニット1A~1Eを特に区別せずに指すときは、単にレーダユニット1というものとする。 The first to fifth radar units 1A to 1E respectively include a transmitter 5 that transmits radar (for example, millimeter wave radar) toward the surroundings of the vehicle, and a reflected radar signal transmitted from the transmitter 5, that is, the surroundings. and a receiver 6 for receiving the radar reflected by an obstacle or the like and returned to the own vehicle (see FIG. 2 for both). Each of the radar units 1A to 1E is a radar detector whose detection range is a fan-shaped area centered on itself. By arranging them, almost the entire circumference of the vehicle is made the detection range of the radar. In the following description, the first to fifth radar units 1A to 1E are simply referred to as the radar unit 1 when they are referred to without particular distinction.

上記複数のカメラユニット2は、車室内からフロントガラスを通じて車両の前方を撮像する第1カメラユニット2Aと、車両の後端部から車両の後方を撮像する第2カメラユニット2Bとを含んでいる。第1カメラユニット2Aは、例えばフロントガラスの上端部における車室内側の面に配置されており、第2カメラユニット2Bは、例えばリヤゲートに配置されている。 The plurality of camera units 2 include a first camera unit 2A that captures an image of the front of the vehicle through the windshield from inside the vehicle, and a second camera unit 2B that captures an image of the rear of the vehicle from the rear end of the vehicle. The first camera unit 2A is arranged, for example, at the upper end of the windshield on the inside of the vehicle interior, and the second camera unit 2B is arranged, for example, at the rear gate.

図示を省略するが、第1・第2カメラユニット2A,2Bは、それぞれ、レンズ部と、レンズ部を通じて入光された光を電気信号に変換するイメージセンサと、イメージセンサからの信号を処理して画像データとして出力するデータ処理部とを有している。各カメラユニット2A,2Bは、それぞれ、自身を中心に扇状に拡がる領域を撮像範囲とする撮像装置であり、これら各カメラユニット2A,2Bが車両の前後に分かれて配置されることにより、車両の前方および後方の比較的広角な範囲がカメラによる撮像範囲とされている。なお、以下では、第1・第2カメラユニット2A,2Bを特に区別せずに指すときは、単にカメラユニット2というものとする。 Although illustration is omitted, the first and second camera units 2A and 2B each have a lens portion, an image sensor that converts light incident through the lens portion into an electrical signal, and a signal that is processed from the image sensor. and a data processing unit for outputting as image data. Each of the camera units 2A and 2B is an imaging device whose imaging range is a fan-shaped area centered on itself. A relatively wide-angle range in front and rear is taken as an imaging range by the camera. In the following description, when referring to the first and second camera units 2A and 2B without distinguishing them, they will simply be referred to as the camera unit 2. As shown in FIG.

図2は、当実施形態の車両の制御系統を示すブロック図である。本図に示されるコントローラ10は、車両の各部を制御するためのマイクロプロセッサであり、周知のCPU、RAM、ROM等から構成されている。 FIG. 2 is a block diagram showing the vehicle control system of this embodiment. A controller 10 shown in this figure is a microprocessor for controlling each part of the vehicle, and is composed of a well-known CPU, RAM, ROM and the like.

コントローラ10は、レーダユニット1およびカメラユニット2と電気的に接続されており、各ユニット1,2との間で種々の信号を送受信する。例えば、コントローラ10は、レーダユニット1の送信部5に対し所定の制御信号を出力するとともに、レーダユニット1の受信部6からレーダの反射信号を示すデータを受け付ける。また、コントローラ10は、カメラユニット2に対し所定の制御信号を出力するとともに、カメラユニット2から画像データを受け付ける。 The controller 10 is electrically connected to the radar unit 1 and camera unit 2 and transmits and receives various signals to and from each unit 1 and 2 . For example, the controller 10 outputs a predetermined control signal to the transmitter 5 of the radar unit 1 and receives data representing a radar reflected signal from the receiver 6 of the radar unit 1 . The controller 10 also outputs a predetermined control signal to the camera unit 2 and receives image data from the camera unit 2 .

コントローラ10は、処理部11および記憶部12を機能的に有している。処理部11は、レーダユニット1およびカメラユニット2の各動作を制御しつつ各ユニット1,2から入力されるデータに基づいて種々の解析や判定等を行うものである。記憶部12は、処理部11による処理に必要な各種データを記憶するものである。 The controller 10 functionally has a processing unit 11 and a storage unit 12 . The processing section 11 controls each operation of the radar unit 1 and the camera unit 2 and performs various analyzes and judgments based on the data input from each unit 1 and 2 . The storage unit 12 stores various data necessary for processing by the processing unit 11 .

図3および図4は、以上のようなコントローラ10によって実行される歩行者の検出処理の具体的手順を示すフローチャートである。なお、このフローチャートは、レーダを用いて歩行者を検出する処理を示しているが、当実施形態の車両では、このフローチャートに示す処理以外にも、カメラを用いて歩行者または他車両を検出したり、レーダを用いて他車両を検出する処理を併せて実行することが可能である。言い換えると、このフローチャートは、カメラでは見逃すおそれのある歩行者をレーダを用いて検出するための処理を示しているといえる。また、このフローチャートの処理は、第1~第5レーダユニット1A~1Eごとに個別に行われるが、いずれのレーダユニット1A~1Eを用いた場合の処理も基本的に同じであるので、以下では特に断らない限り、第1~第5レーダユニット1A~1Eを総称して単に「レーダユニット1」というものとする。 3 and 4 are flow charts showing specific procedures of pedestrian detection processing executed by the controller 10 as described above. Although this flowchart shows a process of detecting pedestrians using radar, the vehicle of the present embodiment detects pedestrians or other vehicles using a camera in addition to the processes shown in this flowchart. Alternatively, a process of detecting other vehicles using radar can be executed together. In other words, it can be said that this flowchart shows processing for detecting a pedestrian, which may be overlooked by the camera, using the radar. Further, the processing of this flowchart is performed individually for each of the first to fifth radar units 1A to 1E. Unless otherwise specified, the first to fifth radar units 1A to 1E will be collectively referred to simply as "radar unit 1".

図3に示す処理がスタートすると、コントローラ10の処理部11は、ステップS1において、レーダユニット1の送信部5からレーダを発信させる。 When the process shown in FIG. 3 starts, the processing section 11 of the controller 10 causes the transmitting section 5 of the radar unit 1 to transmit radar in step S1.

次いで、処理部11は、ステップS2に移行して、送信部5から発信されたレーダの反射信号、つまり自車両の周囲で反射してレーダユニット1の受信部6で受信されたレーダの信号を取り込む。 Next, the processing unit 11 shifts to step S2 to transmit the reflected radar signal transmitted from the transmitting unit 5, that is, the radar signal reflected around the own vehicle and received by the receiving unit 6 of the radar unit 1. take in.

次いで、処理部11は、ステップS3に移行して、受信部6から取り込んだデータをアナログデータからデジタルデータに変換するAD変換を実行する。 Next, the processing unit 11 proceeds to step S3 and performs AD conversion for converting the data fetched from the receiving unit 6 from analog data to digital data.

次いで、処理部11は、ステップS4に移行して、上記ステップS3によるAD変換後のデータに基づいて、IQデータを生成する。IQデータとは、時系列の信号を正弦波の振幅、周波数、位相の時間関数で表した極座標形式のデータのことである。 Next, the processing unit 11 proceeds to step S4 and generates IQ data based on the data after AD conversion in step S3. The IQ data is polar coordinate format data in which a time-series signal is expressed as a time function of the amplitude, frequency, and phase of a sine wave.

次いで、処理部11は、ステップS5に移行して、上記ステップS4の処理により得られたIQデータをフーリエ変換することにより、周波数と信号強度(振幅)との関係を示す周波数スペクトルを生成するFFT処理を実行する。 Next, the processing unit 11 proceeds to step S5, and Fourier transforms the IQ data obtained by the processing of step S4 to generate a frequency spectrum indicating the relationship between frequency and signal strength (amplitude) FFT Execute the process.

次いで、処理部11は、ステップS6に移行して、上記ステップS5の処理により得られた周波数スペクトルに基づいて、自車両からの距離と信号強度との関係を表す距離スペクトルを生成する。すなわち、周波数と距離との間にはレーダの送受信方式(例えばFMCW方式など)に応じて定まる1対1の相関関係があるので、この相関関係に基づいた所定の演算処理を施すことにより、上記周波数スペクトルから上記距離スペクトルを生成することができる。なお、後述する図5にも示されるように、上記ステップS6の処理により得られる距離スペクトルは、自車両からの距離が連続的に変化した場合の信号強度(受信電力)の連続的な変化を示すデータとなる。 Next, the processing unit 11 proceeds to step S6, and generates a distance spectrum representing the relationship between the distance from the own vehicle and the signal intensity based on the frequency spectrum obtained by the process of step S5. That is, since there is a one-to-one correlation between the frequency and the distance that is determined according to the radar transmission/reception system (for example, the FMCW system), by performing a predetermined arithmetic processing based on this correlation, the above-mentioned The distance spectrum can be generated from the frequency spectrum. As shown in FIG. 5, which will be described later, the distance spectrum obtained by the processing in step S6 above represents continuous changes in signal strength (received power) when the distance from the host vehicle changes continuously. data shown.

以上のようなレーダ信号の処理と並行して、コントローラ10は、ステップS7,S8にて撮像処理を実行する。すなわち、コントローラ10の処理部11は、カメラユニット2(第1・第2カメラユニット2A,2B)に撮像動作を行わせるとともに(ステップS7)、当該撮像動作により取得された画像に所定の画像処理を施す(ステップS8)。 In parallel with the radar signal processing as described above, the controller 10 executes imaging processing in steps S7 and S8. That is, the processing unit 11 of the controller 10 causes the camera units 2 (the first and second camera units 2A and 2B) to perform an imaging operation (step S7), and performs predetermined image processing on the image obtained by the imaging operation. is applied (step S8).

次いで、処理部11は、図4のステップS10に移行して、上記ステップS8による画像処理後のデータに基づいて、自車両の進行方向に駐車車両が存在するか否かを判定する。例えば、自車両が前進している場合、処理部11は、自車両の前方を撮像範囲とする第1カメラユニット2Aによる撮像画像の中に駐車中の他車両が含まれるか否かを判定する。また、自車両が後退している場合、処理部11は、自車両の後方を撮像範囲とする第2カメラユニット2Bによる撮像画像の中に駐車中の他車両が含まれるか否かを判定する。なお、撮像画像に他車両が含まれるか否かは、パターンマッチング等の処理を経て判定することができ、当該他車両が駐車車両であるか否か(停止しているか否か)は、カメラユニット2による撮像画像(あるいはレーダの受信信号でもよい)から測定される自車両から他車両までの距離の変化に基づいて判定することができる。このため、上記ステップS10で駐車車両が特定された場合、当該駐車車両と自車両との間の距離も併せて特定されたことになる。言い換えると、上記ステップS10の処理は、駐車車両までの距離(車間距離)を特定する処理でもある。 Next, the processing unit 11 proceeds to step S10 in FIG. 4, and determines whether or not there is a parked vehicle in the traveling direction of the own vehicle based on the data after the image processing in step S8. For example, when the own vehicle is moving forward, the processing unit 11 determines whether or not another parked vehicle is included in the image captured by the first camera unit 2A whose imaging range is in front of the own vehicle. . Further, when the own vehicle is moving backward, the processing unit 11 determines whether or not another parked vehicle is included in the captured image by the second camera unit 2B whose imaging range is the rear of the own vehicle. . Whether or not another vehicle is included in the captured image can be determined through processing such as pattern matching. It can be determined based on the change in the distance from the own vehicle to the other vehicle measured from the image captured by the unit 2 (or the signal received by the radar). Therefore, when the parked vehicle is identified in step S10, the distance between the parked vehicle and the own vehicle is also identified. In other words, the process of step S10 is also the process of specifying the distance to the parked vehicle (inter-vehicle distance).

ここで、カメラユニット2を用いた上記の判定によって駐車車両が検出されなかった場合でも、それが画像処理精度の限界による誤判断である可能性もある。そこで、上記ステップS10において、カメラユニット2により駐車車両が検出されなかった場合には、さらにレーダユニット1を用いて駐車車両の有無が判定される。すなわち、処理部11は、自車両の進行方向を検出範囲とするレーダユニット1(1A~1Eのいずれか)による検出信号の中に、駐車車両からの反射信号と推定されるような高い強度の信号の有無を調べ、このような強い信号が確認された場合に、駐車車両が存在すると判定する。例えば、自車両が前進している場合、処理部11は、自車両の前方を検出範囲とする第1~第3レーダユニット1A~1Cによる検出信号に基づき駐車車両の有無を判定する。また、自車両が後退している場合、処理部11は、自車両の後方を検出範囲とする第4・第5レーダユニット1D,1Eによる検出信号に基づき駐車車両の有無を判定する。なお、後のステップS12等でも説明するとおり、他車両でレーダが反射した場合にどの程度の強度の反射信号が得られるかは予め分かっているので、この既知の信号パターンに基づいて、他車両の存在の有無を判定することができる。また、当該他車両が駐車車両であるか否かは、距離スペクトルのピーク位置から推定される自車両から他車両までの距離の変化に基づいて判定することができる。このように、レーダユニット1を用いて駐車車両が特定された場合にも、その駐車車両まで距離(車間距離)が併せて特定される。 Here, even if a parked vehicle is not detected by the above determination using the camera unit 2, it may be an erroneous determination due to the limit of image processing accuracy. Therefore, if the camera unit 2 does not detect a parked vehicle in step S10, the radar unit 1 is further used to determine whether there is a parked vehicle. That is, the processing unit 11 detects a high-intensity signal that is estimated to be a reflected signal from a parked vehicle, among detection signals from the radar unit 1 (one of 1A to 1E) whose detection range is the traveling direction of the own vehicle. The presence or absence of a signal is checked, and when such a strong signal is confirmed, it is determined that there is a parked vehicle. For example, when the own vehicle is moving forward, the processing section 11 determines whether there is a parked vehicle based on detection signals from the first to third radar units 1A to 1C whose detection range is in front of the own vehicle. When the own vehicle is moving backward, the processing unit 11 determines whether there is a parked vehicle based on detection signals from the fourth and fifth radar units 1D and 1E whose detection range is the rear of the own vehicle. As will be explained later in step S12 and the like, since it is known in advance how strong a reflected signal can be obtained when the radar is reflected by another vehicle, based on this known signal pattern, the other vehicle It is possible to determine the presence or absence of the existence of Further, whether or not the other vehicle is a parked vehicle can be determined based on the change in the distance from the own vehicle to the other vehicle estimated from the peak position of the distance spectrum. In this way, even when a parked vehicle is identified using the radar unit 1, the distance (inter-vehicle distance) to the parked vehicle is also identified.

上記ステップS10でYESと判定された場合、つまり、カメラユニット2による撮像画像もしくはレーダユニット1による検出信号に基づき自車両の進行方向に駐車車両が存在することが確認された場合、処理部11は、ステップS11に移行して、上記ステップS6の処理により得られた距離スペクトルをコヒーレント積分する処理を実行する。具体的に、このステップS11では、上記ステップS10においてその存在が確認された駐車車両の位置を検出範囲とするレーダユニット1(第1~第5レーダユニット1A~1Eのいずれか)に基づく距離スペクトルに対しコヒーレント積分を実施する。 If it is determined YES in step S10, that is, if it is confirmed that there is a parked vehicle in the traveling direction of the own vehicle based on the image captured by the camera unit 2 or the detection signal by the radar unit 1, the processing unit 11 , the process proceeds to step S11 to perform coherent integration of the distance spectrum obtained by the process of step S6. Specifically, in this step S11, the distance spectrum based on the radar unit 1 (any one of the first to fifth radar units 1A to 1E) whose detection range is the position of the parked vehicle whose presence was confirmed in the above step S10. Perform coherent integration on .

ここで、コヒーレント積分とは、波構造が変化しないとみなせる(コヒーレントな)時間の間、取得した信号を時間領域で足し合わせる処理のことである。このコヒーレント積分により、レーダユニット1のサンプリング周期ごと(例えば1msecごと)に生成される複数の距離スペクトルが足し合わされる(時間的に積分される)結果、ノイズ以外の成分が増幅される。すなわち、ノイズは不規則に増減する信号である一方で、ノイズ以外の成分、つまり車両や歩行者といった反射体からの反射信号は、コヒーレント積分の時間の間ほぼ一定の強度を保っていると考えられる。そこで、上記ステップS11のようにコヒーレント積分を実施して、複数の距離スペクトルを足し合わせることにより、ノイズ以外の成分を際立たせた増幅データを得ることができる。図5は、コヒーレント積分を実施した後の距離スペクトル(以下、増幅距離スペクトルともいう)の一例を示している。この図5の例による増幅距離スペクトルの波形は、距離約10mの位置に大きなピークを有しているが、これは、自車両から距離約10mの位置に駐車車両が存在することを意味している。 Here, coherent integration is a process of summing acquired signals in the time domain during a (coherent) time during which it can be assumed that the wave structure does not change. By this coherent integration, a plurality of distance spectra generated at each sampling period (for example, every 1 msec) of the radar unit 1 are added (integrated over time), and as a result, components other than noise are amplified. In other words, while noise is a signal that increases and decreases irregularly, the non-noise components, i.e., reflected signals from reflectors such as vehicles and pedestrians, maintain a constant intensity during coherent integration. be done. Therefore, by performing coherent integration as in step S11 and adding up a plurality of distance spectra, it is possible to obtain amplified data in which components other than noise are emphasized. FIG. 5 shows an example of a distance spectrum after performing coherent integration (hereinafter also referred to as an amplified distance spectrum). The waveform of the amplified distance spectrum according to the example of FIG. 5 has a large peak at a distance of about 10 m, which means that a parked vehicle exists at a distance of about 10 m from the own vehicle. there is

次いで、処理部11は、ステップS12に移行して、記憶部12に予め記憶されている車両モデルデータを読み出す。車両モデルデータとは、自車両の周囲に他車両のみが存在する場合に得られる標準的な距離スペクトルのことである。より詳しくは、記憶部12には、上記車両モデルデータとして、他車両のみが存在する場合に得られる標準的な距離スペクトルに対し、上記ステップS11と同様の手法によるコヒーレント積分を実施した場合の増幅データが予め記憶されている。また、記憶部12には、自車両と他車両との距離が少しずつ異なった種々の車両モデルデータが予め記憶されており、処理部11は、これらの種々の車両モデルデータの中から、上記ステップS10においてその存在が確認された駐車車両の位置に対応する(自車両からの距離が一致またはほぼ一致する)車両モデルデータを読み出す。 Next, the processing unit 11 proceeds to step S12 and reads vehicle model data pre-stored in the storage unit 12 . Vehicle model data is a standard distance spectrum obtained when only other vehicles exist around the own vehicle. More specifically, in the storage unit 12, as the vehicle model data, the standard distance spectrum obtained when only the other vehicle exists is amplified by coherent integration in the same manner as in step S11. Data is pre-stored. Further, the storage unit 12 stores in advance various vehicle model data in which the distances between the own vehicle and other vehicles are slightly different. In step S10, the vehicle model data corresponding to the position of the parked vehicle whose presence has been confirmed (the distance from the host vehicle matches or substantially matches) is read.

図6は、上記のようにして読み出された車両モデルデータの一例を示している。この図6の例では、自車両から駐車車両までの距離が約10mであることに対応して、距離約10mの位置にピークを有する車両モデルデータが読み出されている。すなわち、上記ステップS10で駐車車両の存在が確認されたときに、自車両から駐車車両までの距離は、画像またはレーダを用いた測定により約10mと特定されている。そこで、上記ステップS12では、自車両から約10mの距離に他車両が存在する場合の標準的な距離スペクトルとして、距離約10mの位置にピークを有する車両モデルデータが、記憶部12に記憶されている種々の車両モデルデータの中から読み出される。 FIG. 6 shows an example of vehicle model data read out as described above. In the example of FIG. 6, vehicle model data having a peak at a distance of about 10 m is read, corresponding to the fact that the distance from the own vehicle to the parked vehicle is about 10 m. That is, when the presence of the parked vehicle is confirmed in step S10, the distance from the own vehicle to the parked vehicle is specified as approximately 10 m by measurement using images or radar. Therefore, in step S12, the vehicle model data having a peak at a distance of about 10 m is stored in the storage unit 12 as a standard distance spectrum when another vehicle exists at a distance of about 10 m from the host vehicle. It is read from among various vehicle model data available.

なお、上記ステップS12では、種々の距離に対応する種々の車両モデルデータの中から1つのデータを選択的に読み出すようにしたが、このような方法に代えて、所定の距離に対応する単一または複数の車両モデルデータを必要に応じ補正したもの(例えば距離の相違に応じた所定の演算式により補正したもの)を用いるようにしてもよい。 In step S12, one data is selectively read out of various vehicle model data corresponding to various distances. Alternatively, a plurality of vehicle model data may be corrected as necessary (for example, corrected by a predetermined arithmetic expression corresponding to the difference in distance).

上記のようにして車両モデルデータの読み出しが終了すると、処理部11は、ステップS13に移行して、上記ステップS11で得られた距離スペクトル(増幅距離スペクトル)から、上記ステップS12で読み出された車両モデルデータを差し引くことにより、差分スペクトルを算出する。図7は、この差分スペクトルの一例を示している。この図7では、距離約10mの位置にピークを有する車両モデルデータ(図6)が差し引かれたことに対応して、距離10m付近の位置にピークは見られなくなっている。 When the reading of the vehicle model data is completed as described above, the processing unit 11 proceeds to step S13, and the distance spectrum (amplified distance spectrum) obtained in step S11 is read out in step S12. A difference spectrum is calculated by subtracting the vehicle model data. FIG. 7 shows an example of this differential spectrum. In FIG. 7, no peak is seen at a position near the distance of 10 m, corresponding to the subtraction of the vehicle model data (FIG. 6) having a peak at a distance of about 10 m.

次いで、処理部11は、ステップS14に移行して、上記ステップS13で得られた差分スペクトルから、上記ステップS12で読み出された車両モデルデータのピーク位置(ここでは距離約10mの位置)の周辺にあたる特定距離範囲のデータを抽出する。詳しくは、ステップS14において、処理部11は、車両モデルデータのピーク位置(言い換えれば駐車車両の推定位置)から、車両の進行方向に所定距離だけ離れた位置までを特定距離範囲X(図7)として、この特定距離範囲Xに含まれる差分スペクトルのデータを抽出する。例えば、車両が前進している場合には、図7に示すように、駐車車両の推定位置である自車両の前方約10mの位置から、車両の進行方向(プラスの方向)にさらに所定距離だけ離れた位置までが、特定距離範囲Xとして選ばれる。所定距離は、例えば7~10mのいずれかとすることができる。 Next, the processing unit 11 proceeds to step S14, and from the difference spectrum obtained in step S13, the peak position of the vehicle model data read out in step S12 (here, the position at a distance of about 10 m). Extract data within a specific distance range corresponding to . More specifically, in step S14, the processing unit 11 selects a specific distance range X (FIG. 7) from the peak position of the vehicle model data (in other words, the estimated position of the parked vehicle) to a position a predetermined distance away in the traveling direction of the vehicle. , the difference spectrum data included in this specific distance range X is extracted. For example, when the vehicle is moving forward, as shown in FIG. 7, from the estimated position of the parked vehicle, which is about 10 m ahead of the own vehicle, the vehicle is further moved in the traveling direction (positive direction) by a predetermined distance. A specific distance range X is selected up to a distant position. The predetermined distance can be anywhere from 7 to 10 m, for example.

次いで、処理部11は、ステップS15に移行して、後のステップS16での判定(歩行者の有無の判定)に使用される閾値を設定する。この閾値は、自車両から駐車車両までの距離が長いほど小さくされる。これは、自車両からの距離が長いほど反射信号の強度が弱まることに由来している。 Next, the processing unit 11 proceeds to step S15 and sets a threshold value used for determination (determination of the presence or absence of a pedestrian) in step S16 later. This threshold is made smaller as the distance from the own vehicle to the parked vehicle is longer. This is because the intensity of the reflected signal weakens as the distance from the own vehicle increases.

次いで、処理部11は、ステップS16に移行して、上記ステップS14で抽出された特定距離範囲Xの差分スペクトル(図7)の中に、上記ステップS15で設定された閾値以上の強度をもったピークが存在するか否かを判定する。より詳しくは、処理部11は、レーダのサンプリング周期(例えば1~10msec)ごとに生成される上記差分スペクトルを所定期間(例えば50~100msec)に亘って継続的に調べ、当該所定期間に亘って上記閾値以上の強度をもったピークが継続的に検出されるか否かを判定する。 Next, the processing unit 11 proceeds to step S16, and the differential spectrum (FIG. 7) of the specific distance range X extracted in step S14 has an intensity equal to or greater than the threshold set in step S15. Determine whether a peak exists. More specifically, the processing unit 11 continuously examines the differential spectrum generated at each radar sampling period (eg, 1 to 10 msec) over a predetermined period (eg, 50 to 100 msec), and A determination is made as to whether or not peaks having an intensity equal to or greater than the threshold value are continuously detected.

図7では、上記ステップS14での判定に用いられる閾値をZと表記している。この閾値Zは、これ以上の強度のピークがあると歩行者が存在すると判断できる値であり、車両からの反射信号により得られるピーク強度よりも小さい値に設定される。すなわち、歩行者からの反射信号の強度は、一般に、他車両からの反射信号の強度よりもかなり小さい。このため、他車両の存在を判定するのに適した閾値を車両用の閾値W(図5参照)とすると、歩行者用の閾値Zは、この車両用の閾値Wよりも十分に小さい値に設定する必要がある。例えば、車両用の閾値Wが-40~-50dBであるとすると、歩行者用の閾値Zは-60~-80dBに設定するのが好ましい。 In FIG. 7, Z denotes the threshold used for the determination in step S14. This threshold value Z is a value at which it can be determined that a pedestrian is present when there is a peak of intensity greater than or equal to this value, and is set to a value smaller than the peak intensity obtained from the reflected signal from the vehicle. That is, the strength of reflected signals from pedestrians is generally much lower than the strength of reflected signals from other vehicles. Therefore, if the vehicle threshold W (see FIG. 5) is the threshold suitable for determining the presence of another vehicle, the pedestrian threshold Z is sufficiently smaller than the vehicle threshold W. Must be set. For example, if the vehicle threshold value W is -40 to -50 dB, the pedestrian threshold value Z is preferably set to -60 to -80 dB.

なお、図7の例では、閾値Z以上の強度をもつピークとして、距離約12mの位置に、符号Pで示すピークが現れている。このピークPは、上記所定期間に亘って継続的に検出されるピークである。上記ステップS16では、このようなピーク(閾値Z以上の継続的なピーク)の存在が確認された場合に、その判定がYESとされる。一方、図7に破線の波形で示すように、上記ピークPよりも左側の位置(距離が短い側)にも、閾値Z以上の強度をもったピークが存在している。ただし、この破線のピークは、上記所定期間に亘って継続的に現れるピークではなく、瞬間的に現れては消えるピークである。このような瞬間的なピークは、歩行者からの反射信号によるものではなく、ノイズ等に起因したものである可能性が高い。そこで、仮にこのようなピークが存在しても、上述した符号Pのような継続的なピークが他に確認されない限り、上記ステップS16での判定はNOとされる。 In the example of FIG. 7, as a peak having an intensity equal to or higher than the threshold value Z, a peak indicated by symbol P appears at a distance of approximately 12 m. This peak P is a peak continuously detected over the predetermined period. In step S16, if the presence of such a peak (a continuous peak equal to or greater than the threshold value Z) is confirmed, the determination is YES. On the other hand, as indicated by the dashed waveform in FIG. 7, there is also a peak having an intensity equal to or higher than the threshold value Z at a position on the left side of the peak P (on the short side). However, the peak of this dashed line is not a peak that appears continuously over the predetermined period, but a peak that appears and disappears momentarily. Such momentary peaks are highly likely to be caused by noise or the like, not by reflected signals from pedestrians. Therefore, even if such a peak exists, the determination in step S16 is NO unless another continuous peak such as the symbol P described above is confirmed.

上記ステップS16でNOと判定された場合、つまり、閾値Z以上の強度をもった継続的なピークが検出されなかった場合には、自車両の進行方向(且つ駐車車両の近傍)に歩行者は存在しないと考えられる。そこで、処理部11は、後述するステップS17,S18の処理を実行することなく、リターンする。 If the determination in step S16 is NO, that is, if no continuous peak having an intensity equal to or greater than the threshold value Z is detected, the pedestrian is in the direction of travel of the vehicle (and in the vicinity of the parked vehicle). presumed not to exist. Therefore, the processing unit 11 returns without executing the processing of steps S17 and S18, which will be described later.

一方、上記ステップS16でYESと判定されて閾値Z以上の強度をもった継続的なピークが検出された場合、つまり自車両の進行方向(且つ駐車車両の近傍)に歩行者が存在することが確認された場合、処理部11は、ステップS17に移行して、上記ステップS16において所定期間に亘り検出された閾値Z以上のピークの動向を調べ、近接するデータをひとかたまりのデータとして捉えるクラスタリング処理を実行する。すなわち、サンプリング周期ごとに都度特定される図7のピークPについて、各ピークPの横軸の値(つまり距離)を含むデータを上記所定期間に亘り座標系にプロットし、近接するプロットをセグメント化して1つの塊のデータ(つまり同じ歩行者に由来するデータ)として捉える処理を実行する。 On the other hand, if the determination in step S16 is YES and a continuous peak having an intensity equal to or greater than the threshold value Z is detected, that is, it is possible that a pedestrian is present in the traveling direction of the own vehicle (and in the vicinity of the parked vehicle). If confirmed, the processing unit 11 proceeds to step S17, examines the trend of peaks equal to or greater than the threshold value Z detected over a predetermined period in step S16, and clusters adjacent data as a cluster of data. Run. That is, for the peaks P in FIG. 7 that are specified each sampling period, the data containing the horizontal axis value (that is, the distance) of each peak P is plotted on the coordinate system over the predetermined period, and the adjacent plots are segmented. Then, the data is treated as a single block of data (that is, data derived from the same pedestrian).

次いで、処理部11は、ステップS18に移行して、上記ステップS17によるクラスタリング処理後のデータに基づいて、歩行者までの距離(自車両から歩行者までの距離)と人数を特定する。例えば、ステップS17のクラスタリング処理によって抽出されたセグメントが1つであった場合、処理部11は、上記ステップS18において歩行者は1人であると認識するとともに、その1人の歩行者までの距離を上記セグメント内の平均値に基づいて算出する。同様に、抽出されたセグメントが2つであった場合、処理部11は、歩行者は2人であると認識するとともに、各歩行者までの距離を各セグメント内の平均値に基づいて算出する。なお、図7のように自車両からの距離約12mの位置に閾値Z以上の1つのピークPが検出されるケースでは、歩行者は1人であり、且つ歩行者までの距離は約12mと特定されることになる。 Next, the processing unit 11 proceeds to step S18 and specifies the distance to pedestrians (the distance from the vehicle to the pedestrians) and the number of pedestrians based on the data after the clustering process in step S17. For example, if there is one segment extracted by the clustering process in step S17, the processing unit 11 recognizes that there is one pedestrian in step S18, and the distance to the pedestrian is calculated based on the average value within the segment. Similarly, when two segments are extracted, the processing unit 11 recognizes that there are two pedestrians, and calculates the distance to each pedestrian based on the average value in each segment. . In the case where one peak P equal to or greater than the threshold value Z is detected at a position about 12 m away from the vehicle as shown in FIG. 7, there is only one pedestrian and the distance to the pedestrian is about 12 m. will be identified.

以上説明したように、当実施形態では、レーダユニット1から送信されたレーダの反射信号に基づいて自車両からの距離と信号強度との関係を表す連続的な距離スペクトル(図5)が生成されるとともに、この距離スペクトルから、他車両が存在する場合に得られる標準的な距離スペクトルである車両モデルデータ(図6)が差し引かれて差分スペクトル(図7)が算出される。そして、この差分スペクトルの中に閾値Z以上の強度をもった成分が含まれるか否かが判定され、当該成分の存在が確認された場合(より詳しくは閾値Z以上のピークPが所定期間に亘り継続して検出された場合)に、自車両の周囲に歩行者が存在すると判定される。このような構成によれば、他車両と歩行者とが近接している場合でも精度よく歩行者を検出できるという利点がある。 As described above, in this embodiment, a continuous distance spectrum (FIG. 5) representing the relationship between the distance from the own vehicle and the signal strength is generated based on the reflected radar signal transmitted from the radar unit 1. At the same time, vehicle model data (FIG. 6), which is a standard distance spectrum obtained when there is another vehicle, is subtracted from this distance spectrum to calculate a differential spectrum (FIG. 7). Then, it is determined whether or not the difference spectrum contains a component having an intensity equal to or higher than the threshold value Z, and when the existence of the component is confirmed (more specifically, a peak P equal to or higher than the threshold value Z is detected in a predetermined period of time). , it is determined that a pedestrian exists around the vehicle. According to such a configuration, there is an advantage that the pedestrian can be detected with high accuracy even when the other vehicle and the pedestrian are close to each other.

すなわち、他車両および歩行者の双方に自車両からレーダを発信した場合、一般に、他車両から返ってくる反射信号の強度は、歩行者から返ってくる反射信号の強度に比べてかなり大きい。このため、仮に歩行者が他車両に近接している状況でレーダを発信し、その反射信号に基づいて距離スペクトルを得たとしても、ほとんどの場合、他車両の位置に対応する距離において強度が最も大きくなる概ね山型の距離スペクトルの波形が得られるだけで(図5参照)、歩行者の位置を明確に示すような別の大きなピークが当該波形の中に現れることは少ない。このため、上記距離スペクトルをそのままの状態で解析したのでは、歩行者の存在を見落とすおそれがある。これに対し、上記実施形態では、レーダの反射信号から得られる連続的な距離スペクトルから、他車両からの反射信号による(他車両が存在し且つ歩行者が存在しない場合に得られる)標準的な距離スペクトルである車両モデルデータ(図6)が差し引かれ、これによって車両由来の成分を除去したとみなせる差分スペクトル(図7)が算出されるので、この差分スペクトルを用いて歩行者の有無を調べることにより、たとえ歩行者が他車両に近接している場合であっても、当該歩行者の存在を精度よく検出することができる。 That is, when radar is transmitted from the own vehicle to both other vehicles and pedestrians, the intensity of the reflected signal returned from the other vehicle is generally much higher than the intensity of the reflected signal returned from the pedestrian. For this reason, even if a pedestrian is close to another vehicle and the radar is transmitted and the distance spectrum is obtained based on the reflected signal, in most cases the intensity at the distance corresponding to the position of the other vehicle is low. Only a roughly mountain-shaped distance spectrum waveform that is the largest is obtained (see FIG. 5), and another large peak that clearly indicates the position of the pedestrian rarely appears in the waveform. Therefore, if the distance spectrum is analyzed as it is, there is a possibility that the existence of the pedestrian may be overlooked. On the other hand, in the above-described embodiment, from the continuous distance spectrum obtained from the reflected signal of the radar, the reflected signal from the other vehicle (obtained when the other vehicle is present and the pedestrian is not present). The vehicle model data (Fig. 6), which is the distance spectrum, is subtracted, and a difference spectrum (Fig. 7) that can be regarded as removing vehicle-derived components is calculated. Thus, even if the pedestrian is close to another vehicle, the presence of the pedestrian can be detected with high accuracy.

また、上記実施形態では、自車両の進行方向に駐車中の他車両(駐車車両)が存在するか否かがカメラユニット2またはレーダユニット1を用いて調べられ、当該駐車車両が存在する場合にのみ、上述した歩行者の有無を調べる処理(差分スペクトルを特定して閾値Z以上の成分の有無を調べる処理)が実行されるので、安全性を担保しながらコントローラ10の処理負担を軽減することができる。 Further, in the above-described embodiment, it is checked using the camera unit 2 or the radar unit 1 whether or not there is another vehicle (parked vehicle) parked in the traveling direction of the own vehicle. Only, the above-described process of checking the presence of a pedestrian (processing of specifying the difference spectrum and checking the presence or absence of a component equal to or higher than the threshold value Z) is executed, so that the processing load on the controller 10 can be reduced while ensuring safety. can be done.

すなわち、自車両の進行方向に駐車車両が存在するということは、図8に示すように、その駐車車両の陰から歩行者が飛び出してくる可能性があることを意味する。逆に、このような駐車車両が存在しない場合、つまり、自車両の進行方向に他車両が全く存在しないか、他車両が存在してもそれが走行車両である場合には、通常、上記のような歩行者の飛び出しは想定されない。これに対し、上記実施形態では、自車両の進行方向に駐車車両が存在する場合にのみ、差分スペクトルを解析して歩行者の有無を判定する上記処理が実行されるので、歩行者の飛び出しに備える必要がある場合にのみ差分スペクトルの解析等を行うことができ、安全性を担保しつつ処理負担を軽減することができる。 That is, the presence of a parked vehicle in the traveling direction of the own vehicle means that a pedestrian may jump out from behind the parked vehicle, as shown in FIG. Conversely, when such a parked vehicle does not exist, that is, when there is no other vehicle in the traveling direction of the own vehicle, or when there is another vehicle but it is the traveling vehicle, the above-mentioned operation is normally performed. Such a pedestrian jumping out is not assumed. In contrast, in the above-described embodiment, the above-described processing for determining the presence or absence of a pedestrian by analyzing the difference spectrum is executed only when there is a parked vehicle in the traveling direction of the own vehicle. Analysis of the difference spectrum can be performed only when it is necessary to have it, and the processing load can be reduced while ensuring safety.

また、上記実施形態では、上述した差分スペクトル(図7)から、車両モデルデータのピーク位置(つまり駐車車両の推定位置)から車両の進行方向に所定距離だけ離れた位置までの範囲である特定距離範囲X分のデータが抽出され、当該抽出後のデータを用いて歩行者の有無が調べられるので、図8に示したように、駐車車両の奥側(自車両から遠い側)に位置するためにカメラユニット2による撮像画像からはその存在を特定し難い歩行者を、差分スペクトルを用いた上記の方法により精度よく検出することができる。 Further, in the above-described embodiment, the specific distance, which is the range from the peak position of the vehicle model data (that is, the estimated position of the parked vehicle) to the position separated by a predetermined distance in the traveling direction of the vehicle, is determined from the difference spectrum (FIG. 7). Data for the range X is extracted, and the presence or absence of a pedestrian is checked using the extracted data. Therefore, as shown in FIG. Moreover, a pedestrian whose existence is difficult to identify from the image captured by the camera unit 2 can be accurately detected by the above-described method using the difference spectrum.

また、上記実施形態では、レーダの反射信号から得られる距離スペクトルがコヒーレント積分により増幅され、この増幅後の距離スペクトルから、同様の方法で増幅された車両モデルデータが差し引かれることにより、上述した差分スペクトルが特定されるので、コヒーレント積分(増幅処理)が省略された場合に比べて、差分スペクトルの強度の最大値と最小値との差が拡大する。このため、歩行者を判定するのに適したレベルの閾値Zを容易に設定することができ、この閾値Zを用いて歩行者を精度よく検出することができる。特に、上記実施形態では、増幅の手段としてコヒーレント積分が用いられるので、増減を繰り返すノイズについては基本的に増幅されず、ノイズ以外の成分を選択的に増幅することができる。これにより、ノイズに起因した誤検出を効果的に防止することができる。 Further, in the above-described embodiment, the distance spectrum obtained from the reflected signal of the radar is amplified by coherent integration, and the vehicle model data amplified by the same method is subtracted from the amplified distance spectrum, thereby obtaining the above-described difference Since the spectrum is specified, the difference between the maximum and minimum intensities of the difference spectrum is enlarged compared to when coherent integration (amplification processing) is omitted. Therefore, it is possible to easily set the threshold value Z of a level suitable for judging a pedestrian, and to detect a pedestrian with high accuracy using this threshold value Z. In particular, in the above embodiment, since coherent integration is used as means for amplification, noise that repeatedly increases and decreases is basically not amplified, and components other than noise can be selectively amplified. As a result, erroneous detection due to noise can be effectively prevented.

以上、本発明の好ましい実施形態について説明したが、本発明はこの実施形態に限定して解釈されるべきものでなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。 Although the preferred embodiments of the present invention have been described above, the present invention should not be construed as being limited to these embodiments, and various modifications can be made without departing from the scope of the present invention.

例えば、上記実施形態では、画像もしくはレーダにより自車両の進行方向に駐車中の他車両(駐車車両)が存在するか否かを判定し、当該駐車車両の存在が確認された場合にのみ、図4のステップS11~S18による歩行者の検出処理(差分スペクトルを求めてこれを解析する処理)を実行するようにしたが、他車両が駐車車両でなく走行車両であった場合にも、同様の歩行者の検出処理を実行するようにしてもよい。 For example, in the above-described embodiment, it is determined whether or not there is another vehicle (parked vehicle) parked in the direction in which the host vehicle is traveling using an image or radar, and only when the existence of the parked vehicle is confirmed, the 4 (steps S11 to S18 of step S11 to step S18) of detecting a pedestrian (a process of obtaining a difference spectrum and analyzing it) is executed. A pedestrian detection process may be executed.

また、上記実施形態では、他車両(駐車車両)の推定位置から自車両の進行方向に所定距離だけ離れた位置までの範囲を特定距離範囲X(図7)として、この特定距離範囲Xに含まれる差分スペクトルのデータのみを用いて歩行者の有無を調べるようにしたが、他車両の推定位置(つまり車両モデルデータのピーク位置)を中心にして進行方向プラス側の範囲とマイナス側の範囲とを含む所定の距離範囲を、上記特定距離範囲Xとして設定してもよい。 Further, in the above-described embodiment, the range from the estimated position of the other vehicle (parked vehicle) to the position separated by a predetermined distance in the traveling direction of the own vehicle is defined as the specific distance range X (FIG. 7), and is included in the specific distance range X. The presence or absence of pedestrians was investigated using only the difference spectrum data obtained from the vehicle model data. may be set as the specific distance range X.

5 送信部
6 受信部
11 処理部
12 記憶部
X 特定距離範囲(差分スペクトルの一部の距離範囲)
Z 閾値
5 transmitter 6 receiver 11 processor
12 storage unit
X specific distance range (partial distance range of difference spectrum)
Z threshold

Claims (5)

レーダを発信する送信部と、当該送信部からのレーダの反射信号を受信する受信部と、当該受信部が受信した信号を解析する処理部と、データを記憶する記憶部と、を備えた自車両の前記送信部から発信されるレーダを用いて自車両周辺の物標を検出する方法であって、
前記レーダの反射信号を前記受信部が受信し、受信した信号に基づいて前記処理部が、自車両からの距離と信号強度との関係を表す連続的な距離スペクトルを得る第1のステップと、
前記処理部が、前記第1のステップで得られた距離スペクトルから、前記物標が他車両であった場合に得られる標準的な距離スペクトルである車両モデルデータを差し引いた差分スペクトルを得る第2のステップと、
前記処理部が、前記第2のステップで得られた差分スペクトルを調べ、当該差分スペクトルの中に所定の閾値以上の強度をもった成分が含まれる場合に歩行者が存在すると判定する第3のステップとを含み、
前記車両モデルデータは、自車両周辺に他車両のみが存在する場合に前記第1のステップと同様の処理により得られる距離スペクトルであり、前記記憶部に予め記憶されている、ことを特徴とする車両用物標検出方法。
a transmitter that transmits radar, a receiver that receives a reflected radar signal from the transmitter, a processor that analyzes the signal received by the receiver, and a storage that stores data; A method for detecting a target around the own vehicle using radar transmitted from the transmission unit of the vehicle,
a first step in which the receiving unit receives the reflected signal of the radar, and based on the received signal, the processing unit obtains a continuous distance spectrum representing the relationship between the distance from the host vehicle and the signal strength;
A second step in which the processing unit obtains a difference spectrum by subtracting vehicle model data, which is a standard distance spectrum obtained when the target is another vehicle, from the distance spectrum obtained in the first step. a step of
a third step in which the processing unit examines the difference spectrum obtained in the second step and determines that a pedestrian exists when the difference spectrum includes a component having an intensity equal to or greater than a predetermined threshold; and
The vehicle model data is a distance spectrum obtained by the same processing as in the first step when only another vehicle exists in the vicinity of the own vehicle, and is stored in advance in the storage unit. Target object detection method for vehicle.
請求項1に記載の車両用物標検出方法において、
前記第3のステップにおいて、前記処理部は、前記第2のステップで得られた差分スペクトルから、前記車両モデルデータのピーク位置の周辺に対応する一部の距離範囲のデータを抽出し、当該抽出したデータの中に前記閾値以上の成分が含まれる場合に歩行者が存在すると判定する、ことを特徴とする車両用物標検出方法。
In the vehicle target object detection method according to claim 1,
In the third step , the processing unit extracts, from the difference spectrum obtained in the second step, data in a partial distance range corresponding to the vicinity of the peak position of the vehicle model data, and and determining that a pedestrian is present when the obtained data includes a component equal to or greater than the threshold value.
請求項1または2に記載の車両用物標検出方法において、
前記第2のステップにおいて、前記処理部は、前記第1のステップで得られた距離スペクトルを増幅し、この増幅後の距離スペクトルから、同様の方法で増幅された前記車両モデルデータを差し引くことにより、前記差分スペクトルを得る、ことを特徴とする車両用物標検出方法。
In the vehicle target object detection method according to claim 1 or 2,
In the second step , the processing unit amplifies the distance spectrum obtained in the first step, and subtracts the vehicle model data amplified in a similar manner from the amplified distance spectrum. , obtaining the difference spectrum.
請求項3に記載の車両用物標検出方法において、
前記第2のステップにおいて、前記処理部は、コヒーレント積分を用いて前記距離スペクトルを増幅する、ことを特徴とする車両用物標検出方法。
In the vehicle target object detection method according to claim 3,
The vehicle target detection method, wherein in the second step, the processing unit amplifies the distance spectrum using coherent integration .
自車両から発信されるレーダを用いて自車両周辺の物標を検出する装置であって、
前記レーダを発信する送信部と、
前記送信部からのレーダの反射信号を受信する受信部と、
前記受信部が受信した信号を解析することにより歩行者の存在の有無を判定する処理部と
データを記憶する記憶部とを備え、
前記処理部は、
前記受信部が受信した信号に基づいて、自車両からの距離と信号強度との関係を表す連続的な距離スペクトルを得る第1の処理と、
前記第1の処理で得られた距離スペクトルから、前記物標が他車両であった場合に得られる標準的な距離スペクトルである車両モデルデータを差し引いて差分スペクトルを得る第2の処理と、
前記第2の処理で得られた差分スペクトルを調べ、当該差分スペクトルの中に所定の閾値以上の強度をもった成分が含まれる場合に歩行者が存在すると判定する第3の処理とを実行し、
前記車両モデルデータは、自車両周辺に他車両のみが存在する場合に前記第1の処理と同様の処理により得られる距離スペクトルであり、前記記憶部に予め記憶されている、ことを特徴とする車両用物標検出装置。
A device for detecting targets around the own vehicle using radar transmitted from the own vehicle,
a transmitting unit that transmits the radar;
a receiving unit that receives a reflected radar signal from the transmitting unit;
a processing unit that determines the presence or absence of a pedestrian by analyzing the signal received by the receiving unit ;
a storage unit for storing data ,
The processing unit is
A first process of obtaining a continuous distance spectrum representing the relationship between the distance from the host vehicle and the signal strength based on the signal received by the receiving unit;
a second process of obtaining a difference spectrum by subtracting vehicle model data, which is a standard range spectrum obtained when the target is another vehicle, from the range spectrum obtained in the first process;
and executing a third process of examining the difference spectrum obtained in the second process and determining that a pedestrian exists when the difference spectrum contains a component having an intensity equal to or greater than a predetermined threshold. ,
The vehicle model data is a distance spectrum obtained by the same processing as the first processing when only other vehicles exist around the own vehicle, and is stored in advance in the storage unit. Vehicle target detection device.
JP2018116267A 2018-06-19 2018-06-19 Target object detection method and device for vehicle Active JP7119627B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018116267A JP7119627B2 (en) 2018-06-19 2018-06-19 Target object detection method and device for vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018116267A JP7119627B2 (en) 2018-06-19 2018-06-19 Target object detection method and device for vehicle

Publications (2)

Publication Number Publication Date
JP2019219252A JP2019219252A (en) 2019-12-26
JP7119627B2 true JP7119627B2 (en) 2022-08-17

Family

ID=69096317

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018116267A Active JP7119627B2 (en) 2018-06-19 2018-06-19 Target object detection method and device for vehicle

Country Status (1)

Country Link
JP (1) JP7119627B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111580089A (en) * 2020-05-11 2020-08-25 北京小狗智能机器人技术有限公司 Positioning method and related device

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000199786A (en) 1999-01-05 2000-07-18 Nec Corp Fw-cw radar apparatus
JP2001324566A (en) 2000-05-17 2001-11-22 Nec Corp Fm-cw radar device and target detecting method
JP2005009886A (en) 2003-06-16 2005-01-13 Japan Radio Co Ltd Fm-cw radar device
US20070247352A1 (en) 2005-10-05 2007-10-25 Dean Michael Detecting objects within a near-field of a frequency modulated continuous wave (FMCW) radar system
WO2015151507A1 (en) 2014-03-31 2015-10-08 ミツミ電機株式会社 Radar module, transport equipment, and object identification method
JP2016102675A (en) 2014-11-27 2016-06-02 三菱電機株式会社 Radar device and radar signal processing method
JP2016148515A (en) 2015-02-10 2016-08-18 株式会社豊田中央研究所 Radar device
JP2017203736A (en) 2016-05-13 2017-11-16 住友電気工業株式会社 Radio wave sensor and detection program

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3039509B2 (en) * 1998-03-13 2000-05-08 日本電気株式会社 Underground exploration radar apparatus and method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000199786A (en) 1999-01-05 2000-07-18 Nec Corp Fw-cw radar apparatus
JP2001324566A (en) 2000-05-17 2001-11-22 Nec Corp Fm-cw radar device and target detecting method
JP2005009886A (en) 2003-06-16 2005-01-13 Japan Radio Co Ltd Fm-cw radar device
US20070247352A1 (en) 2005-10-05 2007-10-25 Dean Michael Detecting objects within a near-field of a frequency modulated continuous wave (FMCW) radar system
WO2015151507A1 (en) 2014-03-31 2015-10-08 ミツミ電機株式会社 Radar module, transport equipment, and object identification method
JP2016102675A (en) 2014-11-27 2016-06-02 三菱電機株式会社 Radar device and radar signal processing method
JP2016148515A (en) 2015-02-10 2016-08-18 株式会社豊田中央研究所 Radar device
JP2017203736A (en) 2016-05-13 2017-11-16 住友電気工業株式会社 Radio wave sensor and detection program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
小倉 一峰 ほか,位相情報を用いた微小変位検出レーダによる複数物体識別方式,電子情報通信学会技術研究報告,日本,一般社団法人電子情報通信学会,2017年05月18日,第117巻 第56号,Pages: 123-126,ISSN: 0913-5685

Also Published As

Publication number Publication date
JP2019219252A (en) 2019-12-26

Similar Documents

Publication Publication Date Title
US10429502B2 (en) Target detecting device for avoiding collision between vehicle and target captured by sensor mounted to the vehicle
JP6396838B2 (en) Vehicle control apparatus and vehicle control method
JP4883246B2 (en) Object detection apparatus and object detection method
JP6212880B2 (en) Target recognition device
US11003924B2 (en) System and method for detecting close cut-in vehicle based on free space signal
US20170146646A1 (en) Target detector and target detection method for detecting target using radar waves
JP2009174900A (en) Object detecting device, object detection method, and object detecting system
JP2013019684A (en) Vehicle periphery monitoring device
US20160299216A1 (en) Axial misalignment determination apparatus
WO2016031919A1 (en) Axial displacement diagnosis apparatus
JP7119627B2 (en) Target object detection method and device for vehicle
JP7119628B2 (en) Target object detection method and device for vehicle
US10909850B2 (en) Movement track detection apparatus, moving object detection apparatus, and movement track detection method
JP5012163B2 (en) Detection apparatus and program
JP2008026239A (en) Radar
JP4407315B2 (en) Target estimation device
EP2735996B1 (en) Image processing device and method for processing image
JP5783163B2 (en) Target detection device
JP5790627B2 (en) Target detection device
JP6169221B1 (en) Radar device and roadside snow wall detection method
KR102662229B1 (en) Method for detecting target object and apparatus thereof
JP7435426B2 (en) Vehicle control device
CN109747647B (en) Object recognition apparatus and method for vehicle
JP2023149894A (en) Learning device, learning method, and program
JPH02158900A (en) Obstacle detector

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210525

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220601

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220718

R150 Certificate of patent or registration of utility model

Ref document number: 7119627

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150