JP5130959B2 - Vehicle ambient environment detection device - Google Patents
Vehicle ambient environment detection device Download PDFInfo
- Publication number
- JP5130959B2 JP5130959B2 JP2008055002A JP2008055002A JP5130959B2 JP 5130959 B2 JP5130959 B2 JP 5130959B2 JP 2008055002 A JP2008055002 A JP 2008055002A JP 2008055002 A JP2008055002 A JP 2008055002A JP 5130959 B2 JP5130959 B2 JP 5130959B2
- Authority
- JP
- Japan
- Prior art keywords
- detection means
- vehicle
- accuracy
- detected
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Optical Radar Systems And Details Thereof (AREA)
Description
本発明は、車両周囲の歩行者等、車両周囲の環境を検出する車両周囲環境検出装置に関する。 The present invention relates to a vehicle surrounding environment detection device that detects an environment around a vehicle such as a pedestrian around the vehicle.
特許文献1では、レーダの反射波の強度やばらつきに応じて検出物体の属性(車両か否か)を判定し、検出物体が非車両の場合、そのエリアのみ画像処理をして、レーダで検出した物体が人間であるか否かを判定している。この技術では、カメラで撮像した全エリアを画像処理して歩行者を検出するのではなく、レーダ反射波の強度やばらつきを基に、他の車両以外の位置に相当する画像領域に限定して画像処理することで、歩行者検出のための画像処理の処理負荷を低減している。
しかしながら、特許文献1では、レーダの反射波の強度やばらつきのみで車両か否かを判別しているため、車両の判別精度が低くなる、といった課題がある。またその結果として、誤検出した車両に対しても画像処理を行ってしまうため、歩行者検出のための画像処理の処理負荷が多くなる、といった課題がある。
本発明の課題は、レーダを用いて物体の属性を高い精度で判別することである。
However, in
An object of the present invention is to determine an object attribute with high accuracy using a radar.
前記課題を解決するために、本発明に係る請求項1に記載の車両周囲環境検出装置は、検出用信号を出射し、その反射信号を受信して、物体検出手段が検出した車両周囲の物体の動きと、前記物体検出手段の受信状態とを基に、物体検出手段が検出した物体が特定の物体である確度を確度算出手段により算出する。ここで、特定の物体とは例えば歩行者である。確度算出手段は、例えば進路予測手段が予測した車両の予測進路と、その予測進路における前記動き検出手段が検出した物体の動きとを基に、前記物体検出手段が検出した物体が特定の物体である確度を算出する。
In order to solve the above-described problem, the vehicle surrounding environment detection device according to
本発明によれば、物体検出手段による物体の属性の判別結果となる特定の物体である確度の算出精度を高めることができる。これにより、この確度を物体識別手段の処理に反映させることで、物体識別手段の処理負荷の低減が可能となる。 According to the present invention, it is possible to increase the accuracy of calculating the accuracy of a specific object that is a result of determining the attribute of an object by the object detection unit. Thereby, the processing load of the object identification means can be reduced by reflecting this accuracy in the processing of the object identification means.
本発明を実施するための最良の形態(以下、実施形態という。)を図面を参照しながら詳細に説明する。
(第1の実施形態)
(構成)
第1の実施形態は、本発明を適用した車両である。図1は、その車両の構成を示す。
図1に示すように、車両は、レーザレーダ1、レーダ処理装置2、CCD(Charge Coupled Device)カメラ3、画像処理装置4、外界認識装置5、車速検出装置6、操舵角検出装置7、自動ブレーキ制御装置8、負圧ブレーキブースタ9及び警報ブザー10を備える。
The best mode for carrying out the present invention (hereinafter referred to as an embodiment) will be described in detail with reference to the drawings.
(First embodiment)
(Constitution)
The first embodiment is a vehicle to which the present invention is applied. FIG. 1 shows the configuration of the vehicle.
As shown in FIG. 1, the vehicle includes a
レーザレーダ1は、車両前方を走査するスキャニング式レーザレーダであり、走査結果をレーダ処理装置2に出力する。レーダ処理装置2は、レーザレーダ1の走査結果を基に、歩行者候補物体を抽出する。具体的には、レーダ処理装置2は、一つ又は複数の物体(歩行者候補物体)に対して自車両を原点とする2次元(車間距離方向と車幅方向)座標値を算出し、物体の幅(大きさ)を算出する。CCDカメラ3は、プログレッシブスキャン式3CCDカメラであり、自車両前方の状況を高速に把握する。CCDカメラ3は、撮像結果(撮像画像)を画像処理装置4に出力する。画像処理装置4は、画像処理により歩行者の認識処理を実施する。レーダ処理装置2及び画像処理装置4は、認識処理の結果を外界認識装置5に出力する。また、車速検出装置6は、自車両の状態量を推定するために、従属左右車輪速度を検出する。操舵角検出装置7は、前輪操舵角を検出する。車速検出装置6及び操舵角検出装置7は、検出結果を外界認識装置5に出力する。
The
外界認識装置5は、レーダ処理装置2が算出した物体(歩行者候補物体)の位置と、画像処理装置4で認識した歩行者の位置からセンサーフュージョンによる位置精度向上や追跡の頑強化及び歩行者の判別の処理を行う。外界認識装置5は、処理結果を自動ブレーキ制御装置8に出力する。自動ブレーキ制御装置8は、外界認識装置5が判別した歩行者との距離を基に、制動力を算出し、その算出結果を基に、負圧ブレーキブースタ9を制御(自動制動制御)する。負圧ブレーキブースタ9は、前後輪の任意の制動力を達成するためのものである。自動ブレーキ制御装置8は、負圧ブレーキブースタ9のソレノイドバルブに制動力指令電圧を印加して、制動力を付与し、自車両を減速させる。また、自動ブレーキ制御装置8は、外界認識装置5が判別した歩行者との距離を基に、警報タイミングを算出し、その算出結果を基に、警報ブザー10を制御(自動警報出力制御)する。これにより、警報ブザー10により警報出力して、運転者に注意を促す。これらのレーダ処理装置2や自動ブレーキ制御装置8はそれぞれ、マイクロコンピュータとその周辺部品や各種アクチュエータの駆動回路等を備え、互いに通信回路を介して情報を送受信する。
The external
図2は、外界認識装置5の処理手順を示す。ここで、処理を全て100(msec)毎に実施する(サンプリング周期=100msec)。
図2に示すように、処理を開始すると、先ずステップS1において、外界認識装置5は、車速検出装置6及び操舵検出装置7から車速Vsp_z0(m/sec)及び操舵角Str_z0(rad)を読み込む。ここで、操舵角Str_z0は、右方向への操舵が正値になる。また、Vsp_z0、Str_z0の「_z0」は、今回のサンプリングにおける値を意味し、「_z1」であれば、前回のサンプリングにおける値を意味する。
FIG. 2 shows a processing procedure of the external
As shown in FIG. 2, when the process is started, first, in step S1, the external
続いてステップS2において、外界認識装置5は、左右位置(横方向位置)Px_z0[i]、前後位置(縦方向位置)Py_z0[i]及び大きさobjW_z0[i]を読み込む(レーダ処理装置2の処理結果を読み込む)。ここで、左右位置(横方向位置)Px_z0[i]、前後位置(縦方向位置)Py_z0[i]及び大きさobjW_z0[i]は、レーザレーダ1が検出した物体(歩行者候補物体)の情報である。物体の左右位置Px_z0[i]及び物体の前後位置Py_z0[i]は、自車両位置を原点とした位置になる。また、外界認識装置5は、受光強度の平均値L_av_z0[i]、受光強度の分散値L_dv_z0及び受光強度の過去1秒間における時間的なバラツキ(例えば標準偏差)L_sdv[i]を読み込む(レーダ処理装置2の処理結果を読み込む)。ここで、受光強度の平均値L_av_z0[i]、受光強度の分散値L_dv_z0及び受光強度の過去1秒間における時間的なバラツキL_sdv[i]は、レーザレーダ1そのものの情報である。また、各値の[i]は、検出物体ごとに割り当てたID番号を意味する。よって、ステップS2では、レーザレーダ1が検出した物体[i]の全て(i=1〜N、N:整数)について、左右位置Px_z0[i]等の各種値を読み込んでいる。
Subsequently, in step S2, the external
続いてステップS3において、外界認識装置5は、前記ステップS2で検出した各物体[i]について、自車両に対する横方向相対速度rVx_z0[i]及び縦方向相対速度rVy_z0[i]を下記(1)式で表す伝達関数により算出する。
G(Z)=(c・Z2−c)/(Z2−a・Z+b) ・・・(1)
ここで、Zは進み演算子である。また、a,b,cは正数であり、これらは所望の擬似微分特性を有するようにサンプリング周期100msecで離散化したものである。また、以下の説明中の相対速度の符号については、負値の縦方向相対速度は、自車両との接近方向の値を意味し、負値の横方向相対速度は、自車両進行方向に対して右側方向の値を意味する。
Subsequently, in step S3, the external
G (Z) = (c · Z 2 −c) / (Z 2 −a · Z + b) (1)
Here, Z is a lead operator. Further, a, b, and c are positive numbers, and these are discretized at a sampling period of 100 msec so as to have a desired pseudo-differential characteristic. Regarding the sign of relative speed in the following description, a negative vertical relative speed means a value in the direction of approach to the host vehicle, and a negative lateral relative speed is relative to the traveling direction of the host vehicle. Means the value in the right direction.
続いてステップS4において、外界認識装置5は、物体の前後の動きに関して、該物体が歩行者らしい度合い(以下、第1歩行者確度という。)R1[i]を算出する。具体的には、外界認識装置5は、前記ステップS1で読み込んだ車速Vsp_z0及びステップS3で算出した縦方向相対速度rVy_z0[i]を用いて、下記(2)式により第1歩行者確度R1[i]を算出する。
R1[i]=func1(rVy_z0[i]+Vsp_z0) ・・・(2)
ここで、関数func1(A)は、その変数Aに対して図3に示すような特性を有する。図3に示すように、変数Aが0となる値を中心として、ある値±A1の範囲内で、変数Aが0に近づくほど、第1歩行者確度R1[i]は大きくなる。そして、ある値±A2(|A2|<|A1|)の範囲内で、第1歩行者確度R1[i]は正値となる(R1[i]>0)。
Subsequently, in step S4, the external
R1 [i] = func1 (rVy_z0 [i] + Vsp_z0) (2)
Here, the function func1 (A) has the characteristics shown in FIG. As shown in FIG. 3, the first pedestrian accuracy R1 [i] increases as the variable A approaches 0 within a range of a certain value ± A1 around the value at which the variable A becomes 0. The first pedestrian accuracy R1 [i] becomes a positive value (R1 [i]> 0) within a range of a certain value ± A2 (| A2 | <| A1 |).
この(2)式中、変数(rVy_z0[i]+Vsp_z0)は、レーザレーダ1が検出した物体の自車両の前後方向における速度そのものを示すものである。そして、変数(rVy_z0[i]+Vsp_z0)は、レーザレーダ1が検出した物体が真の歩行者であれば、その歩行速度は限定的となる(小さくなる)。よって、(2)式によれば、レーザレーダ1が検出した物体の速度が大きくなるほど、第1歩行者確度R1[i]は小さくなるから、自車両の前後方向における移動速度が歩行者としてあり得ない値の場合には、第1歩行者確度R1[i]は小さくなる。これを考慮して、例えば、A1は4(m/sec)であり、A2は3(m/sec)である。また、第1歩行者確度R1[i]のとり得る値の範囲は−0.5〜0.5となる(R1[i]∈[−0.5,0.5])。
In the equation (2), the variable (rVy_z0 [i] + Vsp_z0) indicates the speed of the object detected by the
続いてステップS5において、外界認識装置5は、物体の左右の動きに関して、該物体が歩行者らしい度合い(以下、第2歩行者確度という。)R2[i]を算出する。具体的には、外界認識装置5は、前記ステップS3で算出した横方向相対速度rVx_z0[i]を用いて、下記(3)式により第2歩行者確度R2[i]を算出する。
R2[i]=func1(rVx_z0[i]) ・・・(3)
Subsequently, in step S5, the external
R2 [i] = func1 (rVx_z0 [i]) (3)
この(3)式の関数func1(A)も、その変数Aに対して図3に示すような特性を有する。この(3)式中、変数rVx_z0[i]は、レーザレーダ1が検出した物体の自車両の左右方向における速度そのものに等しい値を示している。そして、レーザレーダ1が検出した物体が真の歩行者であれば、その歩行速度は限定的となる(歩行速度は小さい)。よって、(3)式によれば、レーザレーダ1が検出した物体の速度が大きくなるほど、第2歩行者確度R2[i]は小さくなるから、自車両の左右方向における移動速度が歩行者として有り得ない値の場合、第2歩行者確度R2[i]は小さくなる。また、第2歩行者確度R2[i]のとり得る値の範囲は−0.5〜0.5となる(R2[i]∈[−0.5,0.5])。
The function func1 (A) of the equation (3) also has characteristics as shown in FIG. In this equation (3), the variable rVx_z0 [i] indicates a value equal to the speed of the object detected by the
続いてステップS6において、外界認識装置5は、さらに物体が歩行者らしい度合い(以下、第3歩行者確度という。)R3[i]を算出する。具体的には、外界認識装置5は、前記ステップS2で読み込んだ受光強度の平均値L_av_z0[i]及び物体の前後位置Py_z0[i]を用いて、下記(4)式により第3歩行者確度R3[i]を算出する。
R3[i]=func3(L_av_z0[i]−func2(Py_z0[i])) ・・・(4)
ここで、関数func2(A)は、その変数Aに対して図4に示すような特性を有する。また、関数func3(A)は、その変数Aに対して図5に示すような特性を有する。なお、図4及び図5中、RefMaxは反射強度(受光強度)の最大値を示す。
Subsequently, in step S6, the external
R3 [i] = func3 (L_av_z0 [i] −func2 (Py_z0 [i])) (4)
Here, the function func2 (A) has characteristics as shown in FIG. Further, the function func3 (A) has the characteristics shown in FIG. 4 and 5, RefMax represents the maximum value of the reflection intensity (light reception intensity).
この(4)式中、関数func2は、物体の前後位置Py_z0[i]が自車両から遠くの位置になるほど(自車両との距離が長くなるほど)、小さくなる。よって、(4)式によれば、物体の前後位置Py_z0[i]を基に関数func2で得た値と、受光強度の平均値L_av_z0[i]との差分が大きくなるほど、第3歩行者確度R3[i]は小さくなる。例えば、自車両から物体が遠くに位置しているのにもかかわらず、反射強度が大きい場合には、第3歩行者確度R3[i]はより1に近くなる。例えば、検出した物体が道路脇に設置されている路側構造物であるリフレクターの場合、それが自車両から遠くに位置していても、反射強度が大きくなる。このような場合に、第3歩行者確度R3[i]はより1に近くなる。 In the equation (4), the function func2 becomes smaller as the front / rear position Py_z0 [i] of the object becomes farther from the own vehicle (the longer the distance from the own vehicle). Therefore, according to the equation (4), the third pedestrian accuracy increases as the difference between the value obtained by the function func2 based on the front / rear position Py_z0 [i] of the object and the average value L_av_z0 [i] of the received light intensity increases. R3 [i] becomes small. For example, the third pedestrian accuracy R3 [i] is closer to 1 when the reflection intensity is high even though the object is located far from the host vehicle. For example, in the case where the detected object is a reflector that is a roadside structure installed on the side of the road, the reflection intensity is increased even if it is located far from the host vehicle. In such a case, the third pedestrian accuracy R3 [i] is closer to 1.
すなわち、関数func2(Py_z0[i])の値は、自車両と物体との距離から、予想される反射強度の値を示すものである。このため、第3歩行者確度R3[i](関数func3の値)は、その予想される反射強度と、実際に物体から得た反射強度との乖離度合いを評価する値となる。このような第3歩行者確度R3[i]により、物体との距離の情報に加えて、レーザレーダ1の反射強度の情報を基に、物体の属性を判定できるようにしている。この第3歩行者確度R3[i]のとり得る値の範囲は0〜1となる(R3[i]∈[0,1])。
なお、この実施形態では、受光強度の平均値L_av_z0[i]を用いた。これに代えて、前記ステップS2で読み込んだグルーピングした各反射地点の分散値L_dv_z0や受光強度の過去1秒間における時間的なバラツキL_sdv[i]を用いても良い。
That is, the value of the function func2 (Py_z0 [i]) indicates the value of the reflection intensity that is expected from the distance between the host vehicle and the object. Therefore, the third pedestrian accuracy R3 [i] (value of the function func3) is a value for evaluating the degree of deviation between the expected reflection intensity and the reflection intensity actually obtained from the object. With such third pedestrian accuracy R3 [i], the attribute of the object can be determined based on the information on the reflection intensity of the
In this embodiment, the average value L_av_z0 [i] of the received light intensity is used. Instead, the dispersion value L_dv_z0 of each grouped reflection point read in step S2 or temporal variation L_sdv [i] of the received light intensity in the past 1 second may be used.
続いてステップS7において、外界認識装置5は、最終的な歩行者らしい度合い(以下、総歩行者確度という。)R[i]を算出する。具体的には、外界認識装置5は、前記ステップS4〜ステップS6で算出した第1〜第3歩行者確度R1[i],R2[i],R3[i]を用いて、下記(5)式により総歩行者確度R[i]を算出する。
tmp[i]=(R1[i]+R2[i])・R3[i]
if(tmp[i]<0) {R[i]=0}
else{R[i]=tmp[i]}
・・・(5)
Subsequently, in step S7, the external
tmp [i] = (R1 [i] + R2 [i]) · R3 [i]
if (tmp [i] <0) {R [i] = 0}
else {R [i] = tmp [i]}
... (5)
ここで、if(expression) statement1 else statement2は、expressionを満たす場合にstatement1を実施し、expressionを満たさない場合にはstatement2を実施する関数である。この(5)式によれば、総歩行者確度R[i]は、その値が大きくなるほど(その確度が高くなるほど)、レーザレーダ1で検出した物体が歩行者である可能性が高くなることを示す。ここで、総歩行者確度R[i]のとり得る値の範囲は0〜1となる(R[i]∈[0,1])。ここで、物体の移動速度が歩行者としてあり得ないほど大きい場合を考える。すなわち、第1歩行者確度R1[i]や第2歩行者確度R2[i]が負値になり、第1歩行者確度R1[i]と第2歩行者確度R2[i]との合算値(R1[i]+R2[i])が負値となる場合を考える。この場合、(5)式によれば、レーザレーダ1の受光強度が弱く、第3歩行者確度R3[i]が大きくなるときでも、総歩行者確度R[i]は正値を示すことはない。すなわち、第3歩行者確度R3[i]は、物体の移動速度が歩行者としてあり得ないほど大きければ、それを支配的なものとして扱い、レーザレーダ1の受光強度に関係なく、物体が歩行者である可能性を常に低く見積もることが可能な値になっている。
Here, if (expression) statement1 else statement2 is a function that executes statement1 when expression is satisfied, and executes statement2 when expression is not satisfied. According to this equation (5), as the total pedestrian accuracy R [i] increases (the accuracy increases), the possibility that the object detected by the
続いてステップS8において、外界認識装置5は、微分演算等で用いる変数の過去値を更新して終了する。すなわち、前記ステップS3の伝達関数を離散式として解く場合に、そのときに用いる変数の過去値を更新する。
(動作)
一連の動作は次のようになる。
車両走行中、レーザレーダ1が走査結果をレーダ処理装置2に出力し、レーダ処理装置2は、レーザレーダ1の走査結果を基に、歩行者候補物体を抽出する。その一方で、CCDカメラ3は、自車両前方の状況の撮像画像を画像処理装置4に出力し、画像処理装置4は、画像処理により歩行者の認識処理を実施する。そして、レーダ処理装置2及び画像処理装置4は、認識処理の結果を外界認識装置5に出力する。また、車速検出装置6及び操舵角検出装置7は、検出結果を外界認識装置5に出力する。外界認識装置5は、入力を基に、物体が人間である確度を算出する。すなわち、外界認識装置5は、車速検出装置6及び操舵検出装置7から車速Vsp_z0(m/sec)及び操舵角Str_z0(rad)を読み込む(前記ステップS1)。さらに、外界認識装置5は、レーザレーダ1が検出した各物体の情報として、左右位置Px_z0[i]、前後位置Py_z0[i]及び大きさobjW_z0[i]を読み込む(前記ステップS2)。
Subsequently, in step S8, the external
(Operation)
A series of operations are as follows.
While the vehicle is traveling, the
そして、外界認識装置5は、自車両に対する横方向相対速度rVx_z0[i]及び縦方向相対速度rVy_z0[i]を算出する(前記ステップS3)。外界認識装置5は、算出した縦方向相対速度rVy_z0[i]及び横方向相対速度rVx_z0[i]を基に、第1歩行者確度R1[i]及び第2歩行者確度R2[i]を算出する(前記ステップS4、ステップS5)。ここで、自車両の前後方向における移動速度が歩行者としてあり得ないほど大きい場合、第1歩行者確度R1[i]は小さい値になる。また、自車両の前後方向における移動速度が歩行者としてあり得ないほど大きい場合、第2歩行者確度R2[i]は小さい値になる。
Then, the external
また、外界認識装置5は、レーザレーダ1の受光強度を基に、第3歩行者確度R3[i]を算出する(前記ステップS6)。ここで、受光強度が強い場合、第3歩行者確度R3[i]は1に近い値となる。そして、外界認識装置5は、第1〜第3歩行者確度R1[i]〜R3[i]を基に、総歩行者確度R[i]を算出する(前記ステップS7)。レーザレーダ1が検出した物体が歩行者である可能性が高くなるほど、総歩行者確度R[i]は大きくなる(1に近づく)。そして、外界認識装置5は、処理結果を自動ブレーキ制御装置8に出力する。自動ブレーキ制御装置8は、警報ブザー10により警報出力することで、運転者に注意を促す。また、自動ブレーキ制御装置8は、負圧ブレーキブースタ9のソレノイドバルブに制動力指令電圧を印加して、制動力を付与し、自車両を減速させる。
Further, the external
なお、この第1の実施形態を次のような構成により実現することもできる。
すなわち、この第1の実施形態では、画像処理等する特定の物体を人間としている。しかし、これに限定されるものではない。例えば、人間以外の他の物体を特定の物体とすることができる。この場合、特定の物体を認識する処理に対応して、図3の特性図等、処理内容を適宜変更する。
The first embodiment can also be realized by the following configuration.
That is, in the first embodiment, a specific object for image processing or the like is a human. However, it is not limited to this. For example, an object other than a human can be set as a specific object. In this case, corresponding to the process of recognizing a specific object, the processing content such as the characteristic diagram of FIG.
なお、この第1の実施形態の車両は、図6に示すように、検出用信号を出射し、その反射信号を受信して、車両周囲の物体を検出する物体検出手段101と、前記物体検出手段101が検出した物体の動きを検出する動き検出手段102と、前記物体検出手段101における反射信号の受信状態を検出する受信状態検出手段103と、前記動き検出手段102が検出した物体の動きと、前記受信状態検出手段103が検出した受信状態とを基に、前記物体検出手段101が検出した物体が特定の物体である確度を算出する確度算出手段104とを備える。そして、前記実施形態の車両は、車両周囲を撮像するCCDカメラ3に相当する撮像手段105と、前記撮像手段105の撮像画像を画像処理して、車両周囲の物体を識別する画像処理装置4に相当する物体識別手段106とを備える。
As shown in FIG. 6, the vehicle according to the first embodiment emits a detection signal, receives the reflection signal, and detects an object around the vehicle, and the object detection unit. A
また、この第1の実施形態において、レーザレーダ1は、検出用信号を出射し、その反射信号を受信して、車両周囲の物体を検出する物体検出手段を実現している。また、外界認識装置5のステップS3の処理は、前記物体検出手段が検出した物体の動きを検出する動き検出手段を実現している。また、外界認識装置5のステップS2の処理は、前記物体検出手段における反射信号の受信状態を検出する受信状態検出手段を実現している。また、外界認識装置5のステップS4〜ステップS7の処理は、前記動き検出手段が検出した物体の動きと、前記受信状態検出手段が検出した受信状態とを基に、前記物体検出手段が検出した物体が特定の物体である確度を算出する確度算出手段を実現している。
In the first embodiment, the
(作用及び効果)
(1)検出用信号となるレーザの反射光を受光して、レーザレーダ1が検出した車両周囲の物体(歩行者候補物体)の動きと、レーザレーダ1の受光強度とを基に、レーザレーダ1が検出した物体が人間である確度を算出している。このように、レーザレーダ1の受光強度のみならず、車両周囲の物体(歩行者候補物体)の動きを基に、レーザレーダ1が検出した物体が人間である確度を算出している。これにより、レーザレーダ1による物体の属性の判別結果となる人間である確度の算出精度を高めることができる。これにより、この確度を画像処理装置4の処理(認識結果や実施タイミング等)に反映させることで、画像処理装置4の処理負荷の低減が可能となる。
(Function and effect)
(1) A laser radar that receives reflected light of a laser serving as a detection signal and based on the movement of an object (pedestrian candidate object) around the vehicle detected by the
(2)車両の進路に対する物体の左右方向の運動を示す横方向相対速度rVx_z0[i]及び車両の進路に対する物体の前後方向の運動を示す値(rVy_z0[i]+Vsp_z0)を基に、レーザレーダ1が検出した物体が人間である確度を算出している。これにより、物体の動き情報を用いることで、物体が歩行者か否かの判別を高い精度で行うことができる。 (2) Laser radar based on the lateral relative speed rVx_z0 [i] indicating the lateral movement of the object with respect to the vehicle path and the value (rVy_z0 [i] + Vsp_z0) indicating the longitudinal movement of the object with respect to the vehicle path. The probability that the object detected by 1 is a human is calculated. Thereby, by using the motion information of the object, it is possible to determine with high accuracy whether or not the object is a pedestrian.
(3)レーザレーダ1の受光強度が強い場合、レーザレーダ1が検出した物体が人間である確度を低くしている。路側構造物では反射率が高くなることが多いことから、レーザレーダ1の受光強度が強い場合、レーザレーダ1が検出した物体が人間である確度を低くすることで、物体が歩行者か否かの判別を高い精度で行うことができる。
(4)物体の動きの情報を横方向相対速度rVx_z0[i]及び縦方向相対速度rVy_z0[i]として得ている。これにより、簡単な処理により確度を算出できる。
(3) When the received light intensity of the
(4) Information on the motion of the object is obtained as the horizontal relative speed rVx_z0 [i] and the vertical relative speed rVy_z0 [i]. Thereby, the accuracy can be calculated by a simple process.
(第2の実施形態)
(構成)
第2の実施形態も、本発明を適用した車両である。第2の実施形態の車両も、前記第1の実施形態と同様、図1に示すような構成となる。第2の実施形態では、前記第1の実施形態の処理動作(図2)を一部異ならせている。
図7は、第2の実施形態における処理動作を示す。図7に示すように、処理を開始すると、先ずステップS21において、画像処理装置4は、CCDカメラ3の入力画像を取り込む。
続いてステップS22において、外界認識装置5は、前記第1の実施形態のステップS1と同様に、車速検出装置6及び操舵検出装置7から車速Vsp_z0及び操舵角Str_z0を読み込む。
(Second Embodiment)
(Constitution)
The second embodiment is also a vehicle to which the present invention is applied. Similarly to the first embodiment, the vehicle according to the second embodiment has a configuration as shown in FIG. In the second embodiment, the processing operation (FIG. 2) of the first embodiment is partially different.
FIG. 7 shows the processing operation in the second embodiment. As shown in FIG. 7, when the process is started, first, in step S21, the
Subsequently, in step S22, the external
続いてステップS23において、外界認識装置5は、自車両の将来の進路を予測する。具体的には、外界認識装置5は、前記ステップS22で読み込んだ車速Vsp_z0及び操舵角Str_z0を用いて、下記(6)式により走行路の曲率半径(m)の逆数Row(1/m)を算出する。
Row=1/((1+A・Vsp_z02・LWB)/Str_z0) ・・・(6)
ここで、Aは、車両固有の値であるスタビリティファクタ(車重、ホールベース長、重心位置、タイヤの横力で決まる定数とみなせる値)である。また、LWB(m)はホイールベース長である。
Subsequently, in step S23, the external
Row = 1 / ((1 + A · Vsp_z0 2 · L WB ) / Str_z0) (6)
Here, A is a stability factor (value that can be regarded as a constant determined by the vehicle weight, the hole base length, the center of gravity position, and the lateral force of the tire), which is a value unique to the vehicle. L WB (m) is the wheelbase length.
続いてステップS24において、外界認識装置5は、前記第1の実施形態のステップS2と同様に、左右位置Px_z0[i]、前後位置Py_z0[i]及び大きさobjW_z0[i]を読み込む。これらの値は、レーザレーダ1が検出した物体の情報である。また、外界認識装置5は、受光強度の平均値L_av_z0[i]、受光強度の分散値L_dv_z0及び受光強度の過去1秒間における時間的なばらつきL_sdv[i]を読み込む。これらの値は、レーザレーダ1そのものの情報である。
Subsequently, in step S24, the external
続いてステップS25において、外界認識装置5は、前記第1の実施形態のステップS3と同様に、前記ステップS2で検出した各物体[i]について、自車両との横方向相対速度rVx_z0[i]及び縦方向相対速度rVy_z0[i]を伝達関数により算出する(前記(1)式)。
続いてステップS26において、外界認識装置5は、レーザレーダ1で検出した物体が自車両にとって注目すべき度合い(以下、注目必要度合いという。)At[i]を算出する。具体的には、外界認識装置5は、前記ステップS24で読み込んだ物体の左右位置Px_z0[i]及び物体の前後位置Py_z0[i]、並びに前記ステップS23で算出した値Rowを用いて、下記(7)式により注目必要度合いAt[i]を算出する。
At[i]=func4(Px_z0[i],Py_z0[i],Row) ・・・(7)
Subsequently, in step S25, as in step S3 of the first embodiment, the external
Subsequently, in step S26, the external
At [i] = func4 (Px_z0 [i], Py_z0 [i], Row) (7)
ここで、関数func4(X,Y,R)は、その変数X,Y,Rに対して図8及び図9に示すような特性を有する。図8に示すように、X軸、Y軸、関数func4の軸は、それぞれが直行する3次元の関係となる。そして、関数func4(X,Y,R)の値は、Y軸付近で最大値を有する分布となっており、その最大値が、X−Y平面内で変数Rに応じて変化する(Y軸からずれる)ようになっている。すなわち、変数Rに応じて関数func4(X,Y,R)の値の分布が遷移する。これにより、関数func4(X,Y,R)の値は、変数X,Yに対応し、変数Rに応じて変化する値として得られる。この関数func4のとり得る値の範囲は0〜1となる(func4∈[0,1])。 Here, the function func4 (X, Y, R) has characteristics as shown in FIGS. 8 and 9 with respect to the variables X, Y, R. As shown in FIG. 8, the axes of the X axis, the Y axis, and the function func4 have a three-dimensional relationship in which each is orthogonal. The value of the function func4 (X, Y, R) has a distribution having a maximum value near the Y axis, and the maximum value changes in accordance with the variable R in the XY plane (Y axis). It is supposed to be out of place). That is, the distribution of the value of the function func4 (X, Y, R) changes according to the variable R. Thus, the value of the function func4 (X, Y, R) is obtained as a value corresponding to the variables X and Y and changing according to the variable R. The range of values that the function func4 can take is 0 to 1 (func4ε [0,1]).
この関数func4を用いた(7)式により、注目必要度合いAt[i]は、走行路の曲率半径の逆数Rowを基に得た、予測進路の走路中央で最大値となる分布において、物体の位置に対応する値を示すものとなる。ここで、物体の位置は、物体の左右位置Px_z0[i]及び物体の前後位置Py_z0[i]である。これにより、物体の位置が予測進路の走路中央に近くなるほど、注目必要度合いAt[i]は大きくなる(1に近くなる)。 According to the equation (7) using this function func4, the required degree of attention At [i] is obtained based on the reciprocal number Row of the radius of curvature of the road, and is distributed at the maximum value at the center of the road of the predicted path. The value corresponding to the position is indicated. Here, the positions of the object are the left-right position Px_z0 [i] of the object and the front-rear position Py_z0 [i] of the object. Thereby, the attention required degree At [i] becomes larger (closer to 1) as the position of the object is closer to the center of the predicted course.
図9は、前記図8の視点を変えて示す図である(2次元として示す)。ここで、図9に示すように、自車両は、自車両の走行方向の右側に物体[i]を検出し、自車両の走行方向の左側に他の物体[i+1]を検出しているものとする。この場合、右側に検出した物体[i]の注目必要度合いAt[i]は、その物体[i+1]の左右位置Px_z0[i]及び前後位置Py_z0[i]で決まる位置が、値Rowで決まる予測進路(右旋回の進路)の走路中央に近くなるほど、大きくなる(1に近くなる)。また、左側に検出した物体[i+1]の注目必要度合いAt[i+1]は、その物体[i+1]の左右位置Px_z0[i+1]及び前後位置Py_z0[i+1]で決まる位置が、値Rowで決まる予測進路(左旋回の進路)の走路中央に近くなるほど、大きくなる(1に近くなる)。よって、自車両の走行方向の右側で検出した物体[i]と自車両の走行方向の左側で検出した物体[i+1]とが、自車両と横方向位置(左右位置Px_z0の絶対値)で同じになる場合でも、値Rowによってそれらは異なる値を示すものとなる。 FIG. 9 is a diagram showing the viewpoint of FIG. 8 changed (shown as two-dimensional). Here, as shown in FIG. 9, the own vehicle detects an object [i] on the right side of the traveling direction of the own vehicle and detects another object [i + 1] on the left side of the traveling direction of the own vehicle. And In this case, the degree of attention At [i] of the object [i] detected on the right side is predicted to be determined by the value Row, the position determined by the left-right position Px_z0 [i] and the front-rear position Py_z0 [i] of the object [i + 1]. The closer to the center of the path (the course of the right turn), the larger (closer to 1). Further, the attention degree At [i + 1] of the object [i + 1] detected on the left side is a predicted course determined by the value Row at a position determined by the left-right position Px_z0 [i + 1] and the front-rear position Py_z0 [i + 1] of the object [i + 1]. The closer to the center of the runway (left turn course), the larger (closer to 1). Therefore, the object [i] detected on the right side of the traveling direction of the host vehicle and the object [i + 1] detected on the left side of the traveling direction of the host vehicle are the same in the lateral position (absolute value of the left and right position Px_z0). Even in the case of, they will show different values depending on the value Row.
このように、自車両の予測進路の走路近くに位置する物体について、その横位置が自車両に近くなるほど、注目必要度合いAt[i]は大きくなる。注目必要度合いAt[i]は、その値が1のとき、物体[i]が自車両の予測進路の走路中央に位置していることを意味し、このような物体[i]については最も注目しなければならないことを意味する。
続いてステップS27において、外界認識装置5は、レーザレーダ1だけでなく画像処理で物体の冗長検知を行うための要求レベルReqIP[i]を算出する。具体的には、外界認識装置5は、前記ステップS26で算出した注目必要度合いAt[i]を用いて、下記(8)式により要求レベルReqIP[i]を算出する。
ReqIP[i]=func5(At[i]) ・・・(8)
In this way, the degree of attention At [i] increases as the lateral position of an object positioned near the predicted course of the host vehicle approaches the host vehicle. The attention required degree At [i], when the value is 1, means that the object [i] is located at the center of the predicted track of the host vehicle, and the most attention is paid to such an object [i]. Means you have to do.
Subsequently, in step S27, the external
ReqIP [i] = func5 (At [i]) (8)
ここで、関数func5(A)は、その変数Aに対して図10に示すような特性を有する。図10に示すように、変数Aに応じて関数func5(A)の値が段階的に変化し、変数が大きくなるほど、関数func5(A)の値が大きくなる。また、ヒステリシス(同図中の矢印)を考慮して、変数Aと関数func5(A)の値との関係を得ている。このような関数func5を用いた(8)式により、注目必要度合いAt[i]が大きくなるほど、要求レベルReqIP[i]は段階的に大きくなる。よって、自車両の予測進路の走路近くに位置する物体について、その横位置が自車両に近くなるほど、注目必要度合いAt[i]が大きくなるので、要求レベルReqIP[i]も大きくなる。 Here, the function func5 (A) has the characteristics as shown in FIG. As shown in FIG. 10, the value of the function func5 (A) changes stepwise according to the variable A, and the value of the function func5 (A) increases as the variable increases. In addition, the relationship between the variable A and the value of the function func5 (A) is obtained in consideration of hysteresis (arrow in the figure). According to equation (8) using such a function func5, the required level ReqIP [i] increases stepwise as the attention required degree At [i] increases. Therefore, the degree of attention At [i] increases as the lateral position of the object located near the traveling path of the predicted course of the own vehicle becomes closer to the own vehicle, and the required level ReqIP [i] also increases.
続いてステップS28〜ステップS30において、外界認識装置5は、前記第1の実施形態のステップS4〜ステップS6と同様にして、第1〜第3歩行者確度R1[i]〜R3[i]を算出する。
続いてステップS31において、外界認識装置5は、第4歩行者確度R4[i]を算出する。具体的には、外界認識装置5は、下記(9)式により算出する。
Pv_T[i]=func6(Py_z0[i]/Vsp_z0)
Tmp1[i]=func4(Px_z0[i]+Pv_T[i]・rVx_z0[i],Py_z0[i],Row)
Tmp2[i]=R2[i]+0.5
R4[i]=Tmp1[i]・Tmp2[i]
・・・(9)
Subsequently, in steps S28 to S30, the external
Subsequently, in step S31, the external
Pv_T [i] = func6 (Py_z0 [i] / Vsp_z0)
Tmp1 [i] = func4 (Px_z0 [i] + Pv_T [i] · rVx_z0 [i], Py_z0 [i], Row)
Tmp2 [i] = R2 [i] +0.5
R4 [i] = Tmp1 [i] · Tmp2 [i]
... (9)
ここで、関数func6(A)は、その変数Aに対して図11に示すような特性を有する。図11に示すように、関数func6(A)の値は、変数Aが1になるまで該変数Aと同じ値をとり、変数Aが1よりも大きくなると、変数Aにかかわらず1になる。このような関数func6を用いた(9)式において、関数func6の変数(Py_z0[i]/Vsp_z0)は、自車両が現在位置から物体の前後位置y_z0[i]を通過するまでの予測時間を示す。このようなことから、func6(Py_z0[i]/Vsp_z0)の値Pv_T[i]は、検出した物体の位置に自車両が到達するまでの時間に応じて変化する。また、(9)式中、関数func4の変数(Px_z0[i]+Pv_T[i]・rVx_z0[i])は、自車両が現在位置から物体の前後位置Py_z0[i]を通過するまでの予測時間Pv_T[i]における、該物体の横方向の位置を示す。これにより、Tmp1[i]は、自車両が物体を検出した位置を通過する際に、該物体が自車両に近づいているか否かを、値Rowを用いることで道路形状を反映させつつ、判定するための値となる。ここで、Tmp1[i]のとり得る値の範囲は0〜1となる(Tmp1[i]∈[0,1])。さらに、横方向の移動速度から歩行者らしさを判定するための第2歩行者確度R2[i]のとり得る値の範囲が−0.5〜0.5となる(R2[i]∈[−0.5,0.5])。これに対応して、(9)式中、Tmp2[i]は、そのとり得る値の範囲が0.5だけシフトし、0〜1となる(Tmp2[i]∈[0,1])。 Here, the function func6 (A) has the characteristics shown in FIG. As shown in FIG. 11, the value of the function func6 (A) takes the same value as the variable A until the variable A becomes 1, and becomes 1 regardless of the variable A when the variable A becomes larger than 1. In the equation (9) using such a function func6, the variable (Py_z0 [i] / Vsp_z0) of the function func6 is an estimated time until the host vehicle passes the front / rear position y_z0 [i] of the object from the current position. Show. For this reason, the value Pv_T [i] of func6 (Py_z0 [i] / Vsp_z0) changes according to the time until the host vehicle reaches the position of the detected object. In addition, in equation (9), the variable (Px_z0 [i] + Pv_T [i] · rVx_z0 [i]) of the function func4 is the estimated time until the host vehicle passes the object front / rear position Py_z0 [i] from the current position The horizontal position of the object in Pv_T [i] is shown. Thus, Tmp1 [i] determines whether or not the object is approaching the host vehicle while reflecting the road shape by using the value Row when the host vehicle passes the position where the object is detected. It is a value to do. Here, the range of possible values of Tmp1 [i] is 0 to 1 (Tmp1 [i] ε [0,1]). Further, the range of possible values of the second pedestrian accuracy R2 [i] for determining the pedestrian-likeness from the lateral movement speed is −0.5 to 0.5 (R2 [i] ∈ [− 0.5, 0.5]). Correspondingly, in the equation (9), Tmp2 [i] has a range of possible values shifted by 0.5 to become 0 to 1 (Tmp2 [i] ε [0, 1]).
この(9)式によれば、検出した物体が自車両の予測進路の走路内に向かって移動する場合やその移動が歩行者らしい動きによるものである場合、第4歩行者確度R4[i]は大きくなる。また、検出した物体が自車両の予測進路の走路から離れていく場合やその移動が歩行者らしくない動きによるものである場合、第4歩行者確度R4[i]は小さくなる。例えば、自車両の予測進路の走路の近くに物体を検出したとしても、自車両が実際にその物体の検出地点を通過したときに該物体が自車両から離れた位置にあれば、該物体について画像処理により認識処理する必要性は乏しい。このような場合、第4歩行者確度R4[i]は小さくなる。 According to the equation (9), when the detected object moves toward the track of the predicted course of the host vehicle or when the movement is caused by a pedestrian-like movement, the fourth pedestrian accuracy R4 [i] Will grow. In addition, when the detected object moves away from the track of the predicted course of the host vehicle or when the movement is caused by a movement that does not look like a pedestrian, the fourth pedestrian accuracy R4 [i] decreases. For example, even if an object is detected near the track of the predicted course of the own vehicle, if the object is in a position away from the own vehicle when the vehicle actually passes the detection point of the object, There is little need for recognition processing by image processing. In such a case, the fourth pedestrian accuracy R4 [i] becomes small.
続いてステップS32において、外界認識装置5は、最終的な歩行者らしい度合い(総歩行者確度)R[i]を算出する。具体的には、外界認識装置5は、前記ステップS28〜ステップS31で算出した歩行者確度R1[i],R3[i],R4[i]を用いて、下記(10)式により総歩行者確度R[i]を算出する。
R[i]=func7(2・R1[i]・R3[i]・R4[i]) ・・・(10)
Subsequently, in step S <b> 32, the external
R [i] = func7 (2 · R1 [i] · R3 [i] · R4 [i]) (10)
ここで、関数func7(A)は、その変数Aに対して図12に示すような特性を有する。図12に示すように、関数func7(A)の値は、変数Aが正値の場合には、該変数Aと同じ値(変数Aに比例する値)になり、変数Aが負値の場合には0になる。この(10)式によれば、総歩行者確度R[i]は、前記第1の実施形態(前記(5)式)と同様に、その値が大きくなるほど、レーザレーダ1で検出した物体が歩行者である可能性が高くなることを示す。ここで、総歩行者確度R[i]のとり得る値の範囲は0〜1となる(R[i]∈[0,1])。
Here, the function func7 (A) has the characteristics as shown in FIG. As shown in FIG. 12, the value of the function func7 (A) is the same value as the variable A (a value proportional to the variable A) when the variable A is a positive value, and the variable A is a negative value. It becomes 0. According to this equation (10), as the total pedestrian accuracy R [i] becomes larger as in the first embodiment (the above equation (5)), the object detected by the
例えば、自車両の前後方向における物体の移動速度が歩行者としてあり得ないほど大きく、第1歩行者確度R1[i]が負値になる場合を考える。この場合には、レーザレーダ1の受光強度が弱く、第3歩行者確度R3[i]が大きい値でも、総歩行者確度R[i]は正値を示すことはない。また、自車両の前後方向における物体の移動速度が歩行者としてありえ得ないほど大きく、第1歩行者確度R1[i]が負値になる場合を考える。この場合には、物体近くを自車両が通過するとして、第4歩行者確度R4[i]が大きい値でも、総歩行者確度R[i]は正値を示すことはない。このように、物体の移動速度が歩行者としてあり得ないほど大きければ、それを支配的なものとして扱い、レーザレーダ1の受光強度や物体近くを自車両が通過する事情に関係なく、物体が歩行者である可能性を常に低く見積もるようにする。
For example, consider a case where the moving speed of an object in the front-rear direction of the host vehicle is so large that it is impossible for a pedestrian to have a negative first pedestrian accuracy R1 [i]. In this case, even if the received light intensity of the
続いてステップS33において、外界認識装置5は、冗長検知(画像処理による物体認識処理)の実施を許可するしきい値を各物体について算出する。具体的には、外界認識装置5は、前記ステップS32で算出した総歩行者確度R[i]を用いて、下記(11)式によりしきい値THR[i]を算出する。
THR[i]=func8( R[i] ) ・・・(11)
Subsequently, in step S33, the external
THR [i] = func8 (R [i]) (11)
ここで、関数func8(A)は、その変数Aに対して図13に示すような特性を有する。図13に示すように、変数Aに応じて関数func8(A)の値が段階的に変化し、変数が大きくなるほど、関数func8(A)の値が大きくなる。また、ヒステリシス(同図中の矢印)を考慮して、変数Aと関数func8(A)の値との関係を得ている。このような関数func8を用いた(11)式により、しきい値THR[i]は、総歩行者確度R[i]が大きくなるほど、段階的に小さくなる。すなわち、レーザレーダ1が検出した物体が歩行者である可能性が高くなる場合、総歩行者確度R[i]が大きくなるので、しきい値THR[i]は小さくなる。
Here, the function func8 (A) has characteristics as shown in FIG. As shown in FIG. 13, the value of the function func8 (A) changes stepwise according to the variable A, and the value of the function func8 (A) increases as the variable increases. In addition, the relationship between the variable A and the value of the function func8 (A) is obtained in consideration of hysteresis (arrow in the figure). According to equation (11) using such a function func8, the threshold value THR [i] decreases stepwise as the total pedestrian accuracy R [i] increases. That is, when there is a high possibility that the object detected by the
なお、本実施形態では、常に一定の特性を有する関数としているが、ナビゲーションシステムからの道路属性が事故多発エリアやスクールゾーンを示す場合には、しきい値THR[i]を小さくしても良い(異なる特性の関数に切り換えても良い)。
続いてステップS34において、外界認識装置5は、前記ステップS27で算出した冗長検知を行う要求レベルReqIP[i]が、前記ステップS33で算出したしきい値THR[i]よりも大きいか否かを判定する。前述のように、外界認識装置5は、レーザレーダ1で検出した物体について、前記ステップS32において総歩行者確度R[i]を算出することで、該物体が歩行者である可能性を判別している。このような処理に加えて、該物体について画像処理により認識処理を実施するか否かを、このステップS34において判定する。ここで、外界認識装置5は、要求レベルReqIP[i]がしきい値THR[i]よりも大きい場合(ReqIP[i]>THR[i])、歩行者認識のための画像処理を実施するため、ステップS35に進み、そうでない場合(ReqIP[i]≦THR[i])、ステップS38に進む。
In the present embodiment, the function always has a constant characteristic. However, when the road attribute from the navigation system indicates an accident-prone area or school zone, the threshold value THR [i] may be reduced. (You may switch to a function with a different characteristic).
Subsequently, in step S34, the external
ステップS35では、画像処理装置4は、前記ステップS21でCCDカメラ3から取り込んだ画像中で、前記ステップS34の判定処理で判定条件を満たした物体[i]の位置に相当する画像領域に限定して、歩行者認識のための画像処理を実施する。ここで、物体認識の画像処理方法として、パターンモデルや反射信号に基づいて実施する等、種々ある。例えば、本実施形態では、特開2005−318408号公報に開示の方法により、物体認識の画像処理を実施する。この画像処理により、物体からの反射信号より得られるビート信号のパワースペクトル値を基に、物体が歩行者に類似する度合い(以下、歩行者類似度合いという。)SML[i]を算出する。歩行者類似度合いSML[i]は、そのとり得る値の範囲が0〜1であり(SML[i]∈[0,1])、その度合いが高くなるほど、認識対象の物体が歩行者に類似することを意味する。
In step S35, the
続いてステップS36において、画像処理装置4は、前記ステップS35で算出した歩行者類似度合いSML[i]が、所定のしきい値(固定しきい値)よりも大きいか否かを判定する。ここで、画像処理装置4は、歩行者類似度合いSML[i]が所定のしきい値よりも大きい場合(SML[i]>所定のしきい値)、物体が歩行者である可能性が高いとして、ステップS37に進み、そうでない場合(SML[i]≦所定のしきい値)、ステップS38に進む。
なお、前記ステップS35及びステップS36の処理を、外界認識装置5が行うこととしても良い。
Subsequently, in step S36, the
In addition, it is good also as the external
ステップS37では、画像処理装置4又は外界認識装置5は、前記ステップS36の判定処理で判定条件を満足する歩行者情報を後段へ伝える。これにより、自動ブレーキ制御装置8は、歩行者情報を基に、検出した物体[i](検出した物体[i]が複数であれば各物体)に対して自動制動制御や自動警報出力を実施する。例えば、自動ブレーキ制御装置8は、検出した物体の歩行者類似度合いが高ければ、該検出した物体が歩行者である可能性が高いとして、該物体を対象として自動制動制御等を行う。また、自動ブレーキ制御装置8は、検出した物体の歩行者類似度合いが低ければ、該検出した物体に対しては、該検出した物体がリフレクター等であり、歩行者である可能性が低いとして、該物体と自車両との距離が短い場合でも、自動制動制御等を行わない。
In step S37, the
続いてステップS38において、前記第1の実施形態のステップS8と同様に、微分演算等で用いる変数の過去値を更新して終了する。
(動作)
一連の動作は次のようになる。ここでは、第2の実施形態において特有の動作を説明する。
外界認識装置5は、自車両の将来の進路を予測し(前記ステップS23)、その予測進路を示す値Rowを基に、注目必要度合いAt[i]を算出する(前記ステップS26)。ここで、自車両の予測進路の近くに位置する物体について、その横位置が自車両に近くなるほど、注目必要度合いAt[i]は大きくなる。また、外界認識装置5は、レーザレーダ1だけでなく画像処理で、物体を冗長検知するための要求レベルReqIP[i]を算出する(前記ステップS27)。ここで、物体が自車両の予測進路の走路で、該自車両との横位置が近くなるほど、要求レベルReqIP[i]は大きくなる。また、外界認識装置5は、第4歩行者確度R4[i]を算出する(前記ステップS31)。ここで、検出した物体が自車両の予測進路の走路内に向かって移動する場合やその移動が歩行者らしい動きによるものである場合、第4歩行者確度R4[i]は大きくなる。また、外界認識装置5は、歩行者確度R1[i],R3[i],R4[i]を基に、総歩行者確度R[i]を算出する(前記ステップS32)。
Subsequently, in step S38, as in step S8 of the first embodiment, the past value of the variable used in the differential calculation or the like is updated and the process ends.
(Operation)
A series of operations are as follows. Here, operations unique to the second embodiment will be described.
The external
そして、外界認識装置5は、冗長検知の実施を許可するしきい値THR[i]を各物体[i]について算出する。具体的には、外界認識装置5は、各物体[i]毎に算出した歩行者確度R[i]を基に、各物体[i]のしきい値THR[i]を算出する(前記ステップS33)。ここで、レーザレーダ1が検出した物体が歩行者である可能性が高くなるほど、しきい値THR[i]は小さくなる。そして、外界認識装置5は、要求レベルReqIP[i]がしきい値THR[i]よりも大きくなる判定条件を満たす場合、CCDカメラ3から取り込んだ画像に対して画像処理を実施する(前記ステップS35)。すなわち、CCDカメラ3から取り込んだ画像中で、該判定条件を満たした物体[i]の位置に相当する画像領域に限定して、歩行者認識のための画像処理を実施する。ここで、前述のように、総歩行者確度R[i]が大きくなるほど、すなわちレーザレーダ1が検出した物体が歩行者である可能性が高くなるほど、しきい値THR[i]は小さくなる。このようなことから、レーザレーダ1が検出した物体が歩行者である可能性が高い場合に、歩行者認識のための画像処理を実施し易くなる。そして、実施した歩行者認識のための画像処理により、歩行者類似度合いSML[i]を算出する。
Then, the external
そして、画像処理装置4又は外界認識装置5は、物体[i]の歩行者類似度合いSML[i]が所定のしきい値(固定しきい値)よりも大きい場合、該物体[i]が歩行者である可能性が高いとして、歩行者情報を後段へ伝える(前記ステップS37)。これにより、自動ブレーキ制御装置8は、歩行者情報を基に、検出した物体[i](検出した物体[i]が複数であれば各物体)に対して自動制動制御や自動警報出力を実施する。
なお、この第2の実施形態において、CCDカメラ3は、車両周囲を撮像する撮像手段を実現している。また、画像処理装置4又は外界認識装置5、或いは画像処理装置4と外界認識装置5とが協働して、前記撮像手段の撮像画像を画像処理して、車両周囲の物体を識別する物体識別手段を実現している。
Then, when the pedestrian similarity degree SML [i] of the object [i] is larger than a predetermined threshold (fixed threshold), the
In the second embodiment, the CCD camera 3 realizes an imaging means for imaging the periphery of the vehicle. In addition, the
また、この第2の実施形態において、外界認識装置5のステップS23の処理は、車両の進路を予測する進路予測手段を実現している。また、外界認識装置5のステップS31及びステップS34の処理は、前記進路予測手段が予測した車両の予測進路と、前記動き検出手段が検出した物体の動きとを基に、該物体を画像処理すべき対象とするか否かを判定するための画像処理対象判定用値を算出し、その算出した画像処理対象判定用値と所定のしきい値との比較結果を基に、画像処理すべき対象とするか否かを判定する画像処理対象判定手段を実現している。そして、実施可否判定手段が、前記確度算出手段が算出した確度を基に、前記所定のしきい値を補正することを実現している。
In the second embodiment, the process of step S23 of the external
(効果)
(1)検出用信号となるレーザの反射光を受光して、レーザレーダ1が検出した車両周囲の物体(歩行者候補物体)の動きと、レーザレーダ1の受光強度とを基に、レーザレーダ1が検出した物体が人間である確度を算出している。そして、その確度を基に、歩行者認識のための画像処理の実施の可否を決めるしきい値THR[i]を算出している。すなわち、その確度を、歩行者認識のための画像処理に反映させている。これにより、歩行者認識のための画像処理の処理負荷の低減が可能となる。
(effect)
(1) A laser radar that receives reflected light of a laser serving as a detection signal and based on the movement of an object (pedestrian candidate object) around the vehicle detected by the
(2)レーザレーダ1が検出した物体が人間である確度を基に、歩行者認識のための画像処理の実施の可否を決めるしきい値THR[i]を算出している。これにより、歩行者である可能性が低い物体に対して、歩行者認識のための画像処理を実施してしまうのを抑制でき、画像処理の処理負荷の低減が可能となる。その結果、画像処理により物体を歩行者と誤認識しまうのを防止できる。
(3)レーザレーダ1が検出した物体が人間である確度を基に、歩行者認識のための画像処理の実施の可否を決めるしきい値THR[i]を算出しているので、簡単な処理で、歩行者でない可能性が高い物体に対して、歩行者認識のための画像処理を実施してしまうのを防止できる。
(2) Based on the probability that the object detected by the
(3) Since the threshold value THR [i] for determining whether or not to perform image processing for pedestrian recognition is calculated based on the probability that the object detected by the
(4)自車両の予測進路を示す値Rowと、その予測進路における物体の動き(Tmp1[i]、Tmp2[i])とを基に、第4歩行者確度R4[i]を算出している。これにより、画像処理にて、自車両の進路上で横断しようとしている歩行者を的確、かつ素早く認識できる。その結果、画像処理候補の物体数を減少できるため(絞りこむことができるため)、画像処理の処理負荷を低減できる。
(5)要求レベルReqIP[i]及び総歩行者確度R[i]をヒステリシスを考慮して得ている(前記図10、図13参照)。これにより、レーザレーダ1の物体の検出のばらつき等の影響を受けずに、それら値を得ることができる。
(4) The fourth pedestrian accuracy R4 [i] is calculated based on the value Row indicating the predicted course of the host vehicle and the movement of the object (Tmp1 [i], Tmp2 [i]) on the predicted course. Yes. Thereby, the pedestrian who is going to cross on the course of the own vehicle can be recognized accurately and quickly by image processing. As a result, the number of image processing candidate objects can be reduced (because it can be narrowed down), so that the processing load of image processing can be reduced.
(5) The required level ReqIP [i] and the total pedestrian accuracy R [i] are obtained in consideration of hysteresis (see FIGS. 10 and 13). As a result, these values can be obtained without being affected by variations in detection of the object of the
(第3の実施形態)
(構成)
第3の実施形態も、本発明を適用した車両である。第3の実施形態の車両も、前記第1の実施形態と同様、図1に示すような構成となる。第3の実施形態では、前記第2の実施形態の処理動作(図7)を一部異ならせている。
(Third embodiment)
(Constitution)
The third embodiment is also a vehicle to which the present invention is applied. Similarly to the first embodiment, the vehicle according to the third embodiment also has a configuration as shown in FIG. In the third embodiment, the processing operation (FIG. 7) of the second embodiment is partially different.
図14は、第3の実施形態における処理動作を示す。図14に示すように、第3の実施形態では、前記ステップS33、ステップS34及びステップS36の処理を無くす一方で、ステップS51〜ステップS54の処理を加えている。
すなわち、前記ステップS31の後段にステップS51の処理を加えている。そのステップS51では、外界認識装置5は、第2及び第4歩行者確度R2[i],R4[i]を補正する。その補正手順は次のようになる。
FIG. 14 shows the processing operation in the third embodiment. As shown in FIG. 14, in the third embodiment, the processes of steps S33, S34, and S36 are eliminated while the processes of steps S51 to S54 are added.
That is, the process of step S51 is added after the step S31. In step S51, the external
先ず、外界認識装置5は、前記ステップS3の方法(伝達関数による算出方法)と同様にして、操舵角速度Str_dot_z0[rad]を算出する。そして、外界認識装置5は、その算出した操舵角速度Str_dot_z0の絶対値が、直進走行を判断するしきい値THR_STR未満の場合(|Str_dot_z0|<THR_STR)、継続カウンタStrt_Cntをインクリメントする(Strt_Cnt=Strt_Cnt+1)。また、外界認識装置5は、操舵角速度Str_dot_z0の絶対値が、しきい値THR_STR以上の場合(|Str_dot_z0|≧THR_STR)、継続カウンタStrt_Cntを零にする(Strt_Cnt=0)。続いて、外界認識装置5は、そのようにして得た継続カウンタStrt_Cntを用いて、下記(12)式により補正係数Coeff_Trstを算出する。
Coeff_Trst=func9(Strt_Cnt) ・・・(12)
First, the external
Coeff_Trst = func9 (Strt_Cnt) (12)
ここで、関数func9(A)は、その変数Aに対して図15に示すような特性を有する。図15に示すように、変数Aが小さいときには、該変数Aとともに、関数func9(A)の値は増加し、変数Aがある値よりも大きくなると、該変数Aにかかわらず、関数func9(A)の値は1になる。そして、この(12)式により継続カウンタStrt_Cntに応じて得た補正係数Coeff_Trstを用いて、下記(13)式及び(14)式に示すように、第2歩行者確度R2[i](前記ステップS29の算出値)及び第4歩行者確度R4[i]を補正する。
R2[i]=R2[i]・Coeff_Trst ・・・(13)
R4[i]=R4[i]・Coeff_Trst ・・・(14)
Here, the function func9 (A) has the characteristics shown in FIG. As shown in FIG. 15, when the variable A is small, the value of the function func9 (A) increases together with the variable A. When the variable A becomes larger than a certain value, the function func9 (A ) Is 1. Then, this (12) using a correction coefficient Coeff_Trst obtained in accordance with the continuous counter S Trt_Cnt by formula, as shown in the following equation (13) and (14), a second pedestrian Accuracy R2 [i] ( The calculated value of step S29) and the fourth pedestrian accuracy R4 [i] are corrected.
R2 [i] = R2 [i] · Coeff_Trst (13)
R4 [i] = R4 [i] · Coeff_Trst (14)
ここで、補正係数Coeff_Trstのとり得る値の範囲は0〜1となる(Coeff_Trst∈[0,1])。この(13)式及び(14)式によれば、継続カウンタStrt_Cntの値が小さいほど、すなわち操舵角速度が小さく、かつその状態の継続時間が長くなるほど、第2及び第4歩行者確度R2[i],R4[i]は小さくなるように補正される。これにより、動きの情報となる第2及び第4歩行者確度R2[i],R4[i]を、信頼性を基に補正している。 Here, the range of values that the correction coefficient Coeff_Trst can take is 0 to 1 (Coeff_Trstε [0, 1]). According to this equation (13) and (14), continued counter S as the value of trt_Cnt is small, that the steering angular velocity is small, and as the duration of this state becomes longer, the second and fourth pedestrian Accuracy R2 [I] and R4 [i] are corrected to be small. As a result, the second and fourth pedestrian accuracy R2 [i], R4 [i], which are movement information, are corrected based on the reliability.
続いてステップS32において、外界認識装置5は、前記第2の実施形態と同様に、最終的な歩行者らしい度合い(総歩行者確度)R[i]を算出する。ここでは、外界認識装置5は、前記ステップS52で補正した第2及び第4歩行者確度R2[i],R4[i]を用いて、総歩行者確度R[i]を算出する(前記(10)式)。
続いてステップS52において、外界認識装置5は、前記ステップS32で算出した総歩行者確度R[i]を用いて、下記(15)式により画像処理結果の歩行者判定用しきい値THR_IP[i]を算出する。
THR_IP[i]=func10(R[i]) ・・・(15)
Subsequently, in step S <b> 32, the external
Subsequently, in step S52, the external
THR_IP [i] = func10 (R [i]) (15)
ここで、関数func10(A)は、その変数Aに対して図16に示すような特性を有する。図16に示すように、変数Aに応じて関数func10(A)の値が段階的に変化し、変数が大きくなるほど、関数func10(A)の値が大きくなる。また、ヒステリシス(同図中の矢印)を考慮して、変数Aと関数func10(A)の値との関係を得ている。このような関数func10を用いた(15)式により、歩行者判定用しきい値THR_IP[i]は、総歩行者確度R[i]が大きくなるほど、段階的に小さくなる。すなわち、レーザレーダ1が検出した物体が歩行者である可能性が高くなる場合、総歩行者確度R[i]が大きくなるので、歩行者判定用しきい値THR_IP[i]は小さくなる。
Here, the function func10 (A) has the characteristics shown in FIG. As shown in FIG. 16, the value of the function func10 (A) changes stepwise according to the variable A, and the value of the function func10 (A) increases as the variable increases. In addition, the relationship between the variable A and the value of the function func10 (A) is obtained in consideration of the hysteresis (arrow in the figure). According to the equation (15) using such a function func10, the pedestrian determination threshold value THR_IP [i] decreases stepwise as the total pedestrian accuracy R [i] increases. That is, when there is a high possibility that the object detected by the
続いてステップS53において、外界認識装置5は、前記ステップS27で算出した冗長検知を行う要求レベルReqIP[i]が、所定のしきい値(前記第2の実施形態とは異なり、固定しき値)よりも大きいか否かを判定する。所定のしきい値は例えば3である。なお、図示しないナビゲーションシステムからの道路情報を基に、所定のしきい値を変更しても良い。このステップS53の判定処理の結果、要求レベルReqIP[i]が所定のしきい値よりも大きい場合(ReqIP[i]>所定のしきい値)、歩行者認識のための画像処理を実施するため、ステップS35に進み、そうでない場合(ReqIP[i]≦所定のしきい値)、ステップS38に進む。
Subsequently, in step S53, the external
ステップS35に続くステップS54では、画像処理装置4は、該ステップS35で算出した歩行者類似度合いSML[i]が、前記ステップS52で算出した歩行者判定用しきい値THR_IP[i]よりも大きいか否かを判定する。ここで、歩行者類似度合いSML[i]が歩行者判定用しきい値THR_IP[i]よりも大きい場合(SML[i]>THR_IP[i])、ステップS37に進み、そうでない場合(SML[i]≦THR_IP[i])、ステップS38に進む。なお、前記ステップS54の処理を、外界認識装置5が行うこととしても良い。
前記第2の実施形態と同様に、ステップS37では、前記ステップS54の判定処理を満足する歩行者情報を後段へ伝え、ステップS38では、微分演算等で用いる変数の過去値を更新して終了する。
In step S54 subsequent to step S35, the
As in the second embodiment, in step S37, pedestrian information that satisfies the determination process in step S54 is transmitted to the subsequent stage, and in step S38, the past value of a variable used in differentiation or the like is updated and the process ends. .
(動作)
一連の動作は次のようになる。ここでは、第3の実施形態において特有の動作を説明する。
外界認識装置5は、操舵角速度Str_dot_z0[rad]の変動を基に、第2及び第4歩行者確度R2[i],R4[i]を補正する(前記ステップS51)。ここで、操舵角速度が小さく、かつその状態の継続時間が長くなるほど、第2及び第4歩行者確度R2[i],R4[i]は小さくなるように補正される。そして、外界認識装置5は、補正した第2及び第4歩行者確度R2[i],R4[i]を基に、総歩行者確度R[i]を算出する(前記ステップS32)。そして、外界認識装置5は、算出した総歩行者確度R[i]を基に、歩行者判定用しきい値THR_IP[i]を算出する(前記ステップS52)。ここで、物体が歩行者である可能性が高くなるほど、歩行者判定用しきい値THR_IP[i]は小さくなる。そして、外界認識装置5は、要求レベルReqIP[i]が、その要求レベルReqIP[i]に対応して設定してある所定のしきい値(固定値)よりも大きくなる判定条件を満たす場合、CCDカメラ3から取り込んだ画像に対して画像処理を実施する。すなわち、CCDカメラ3から取り込んだ画像中で、該判定条件を満たした物体[i]の位置に相当する画像領域に限定して、歩行者認識のための画像処理を実施する(前記ステップS53、ステップS35)。その実施した歩行者認識のための画像処理により、歩行者類似度合いSML[i]を算出する。そして、外界認識装置5は、歩行者類似度合いSML[i]が歩行者判定用しきい値THR_IP[i]よりも大きい場合、歩行者情報を後段へ伝える。これにより、自動ブレーキ制御装置8は、歩行者情報を基に、検出した物体[i](検出した物体[i]が複数であれば各物体)に対して自動制動制御や自動警報出力を実施する。
(Operation)
A series of operations are as follows. Here, operations unique to the third embodiment will be described.
The external
ここで、前述のように、総歩行者確度R[i]が大きくなるほど、すなわちレーザレーダ1が検出した物体が歩行者である可能性が高くなるほど、歩行者判定用しきい値THR_IP[i]が小さくなる。このようなことから、レーザレーダ1が検出した物体が歩行者である可能性が低ければ、歩行者情報が後段へ伝えられない。すなわち、レーザレーダ1が検出した物体が歩行者である可能性が低ければ、画像処理により得た歩行者類似度合いも低くする処理と等価な処理を行う。
As described above, the pedestrian determination threshold value THR_IP [i] increases as the total pedestrian accuracy R [i] increases, that is, as the object detected by the
(効果)
(1)検出用信号となるレーザの反射光を受光して、レーザレーダ1が検出した車両周囲の物体(歩行者候補物体)の動きと、レーザレーダ1の受光強度とを基に、レーザレーダ1が検出した物体が人間である確度を算出している。そして、その確度を基に、歩行者判定用しきい値THR_IP[i]を算出している。すなわち、その確度を、歩行者認識のための画像処理に反映させている。これにより、歩行者認識のための画像処理の処理負荷の低減が可能となる。
(effect)
(1) A laser radar that receives reflected light of a laser serving as a detection signal and based on the movement of an object (pedestrian candidate object) around the vehicle detected by the
(2)レーザレーダ1が検出した物体が人間である確度を基に、歩行者判定用しきい値THR_IP[i]を算出している。これにより、レーザレーダ1の検出結果から歩行者である確度が高い物体は、画像処理結果で歩行者類似度合いSML[i]が小さくなる場合(歩行者である可能性が低い結果)でも、最終的には、歩行者として判別され易くなる。その反対に、レーザレーダ1の検出結果から歩行者である確度が低い物体は、画像処理結果において、歩行者類似度合いSML[i]が大きくならないと(歩行者である可能性が高い結果にならないと)、最終的には、歩行者として判別されなくなる。このようにすることで、レーザレーダ1による物体検出と画像処理により物体認識とを行うシステム全体として、歩行者の誤検出と不検出のバランスを的確に調整することが可能となる。
(2) A pedestrian determination threshold value THR_IP [i] is calculated based on the probability that the object detected by the
(3)レーザレーダ1が検出した物体が人間である確度を基に、歩行者判定用しきい値THR_IP[i]を算出しているので、簡単な処理で、前述のようなシステム全体として、歩行者の誤検出と不検出のバランスを的確に調整することが可能となる。
(4)操舵角速度が小さく、その状態の継続時間が長くなるほど、第2及び第4歩行者確度R2[i],R4[i]を小さくなるように補正している。ここで、操舵角速度が小さく、かつその状態の継続時間が長くなる場合には、車両安定度合いが低いことから、そのような補正をすることで、総歩行者確度R[i]を小さくする補正をしている。これにより、物体の動き情報の信頼性が高くなり、画像処理による誤認識を低減できる。
(3) Since the pedestrian determination threshold value THR_IP [i] is calculated based on the probability that the object detected by the
(4) The second and fourth pedestrian accuracy R2 [i] and R4 [i] are corrected to be smaller as the steering angular velocity is smaller and the duration of the state is longer. Here, when the steering angular velocity is small and the duration of the state becomes long, the degree of vehicle stability is low. Therefore, by making such a correction, a correction for reducing the total pedestrian accuracy R [i]. I am doing. Thereby, the reliability of the motion information of an object becomes high and the misrecognition by image processing can be reduced.
1 レーザレーダ、2 レーダ処理装置、3 CCDカメラ、4 画像処理装置、5 外界認識装置、6 車速検出装置、7 操舵角検出装置、8 自動ブレーキ制御装置、9 負圧ブレーキブースタ、10 警報ブザー、101 物体検出手段、102 動き検出手段、103 受信状態検出手段、104 確度算出手段、105 撮像手段、106 物体識別手段
1 Laser radar, 2 Radar processing device, 3 CCD camera, 4 Image processing device, 5 Outside world recognition device, 6 Vehicle speed detection device, 7 Steering angle detection device, 8 Automatic brake control device, 9 Negative pressure brake booster, 10 Alarm buzzer, DESCRIPTION OF
Claims (11)
前記物体検出手段が検出した物体の動きを検出する動き検出手段と、
前記物体検出手段における反射信号の受信状態を検出する受信状態検出手段と、
前記動き検出手段が検出した物体の動きと、前記受信状態検出手段が検出した受信状態とを基に、前記物体検出手段が検出した物体が特定の物体である確度を算出する確度算出手段と、
を備え、
前記確度算出手段は、進路予測手段が予測した車両の予測進路と、その予測進路における前記動き検出手段が検出した物体の動きとを基に、前記物体検出手段が検出した物体が特定の物体である確度を算出することを特徴とする車両周囲環境検出装置。 An object detection means for emitting a detection signal, receiving the reflected signal, and detecting an object around the vehicle;
Motion detection means for detecting the motion of the object detected by the object detection means;
Reception state detection means for detecting the reception state of the reflected signal in the object detection means;
Accuracy calculation means for calculating the accuracy that the object detected by the object detection means is a specific object based on the movement of the object detected by the movement detection means and the reception status detected by the reception status detection means;
Equipped with a,
The accuracy calculation unit is configured such that the object detected by the object detection unit is a specific object based on the predicted route of the vehicle predicted by the route prediction unit and the movement of the object detected by the motion detection unit on the predicted route. A vehicle surrounding environment detection device characterized by calculating certain accuracy .
前記物体検出手段が検出した物体の動きを検出する動き検出手段と、
前記物体検出手段における反射信号の受信状態を検出する受信状態検出手段と、
前記動き検出手段が検出した物体の動きと、前記受信状態検出手段が検出した受信状態とを基に、前記物体検出手段が検出した物体が特定の物体である確度を算出する確度算出手段と、
車両挙動の安定度合いを検出する車両安定度合い検出手段と、
を備え、
前記確度算出手段は、前記車両安定度合い検出手段が検出した車両挙動の安定度合いが高い場合、前記確度を高くすることを特徴とする車両周囲環境検出装置。 An object detection means for emitting a detection signal, receiving the reflected signal, and detecting an object around the vehicle;
Motion detection means for detecting the motion of the object detected by the object detection means;
Reception state detection means for detecting the reception state of the reflected signal in the object detection means;
Accuracy calculation means for calculating the accuracy that the object detected by the object detection means is a specific object based on the movement of the object detected by the movement detection means and the reception status detected by the reception status detection means;
Vehicle stability detection means for detecting the stability of vehicle behavior;
Equipped with a,
The vehicle surrounding environment detection device , wherein the accuracy calculation means increases the accuracy when the stability degree of the vehicle behavior detected by the vehicle stability degree detection means is high .
車両周囲を撮像する撮像手段と、
前記撮像手段の撮像画像を画像処理して、車両周囲の物体を識別する物体識別手段と、
前記物体検出手段が検出した物体の動きを検出する動き検出手段と、
前記物体検出手段における反射信号の受信状態を検出する受信状態検出手段と、
前記動き検出手段が検出した物体の動きと、前記受信状態検出手段が検出した受信状態とを基に、前記物体検出手段が検出した物体が特定の物体である確度を算出する確度算出手段と、を備え、
前記確度算出手段は、進路予測手段が予測した車両の予測進路と、その予測進路における前記動き検出手段が検出した物体の動きとを基に、前記物体検出手段が検出した物体が特定の物体である確度を算出し、
前記確度算出手段が算出した確度を、前記物体識別手段の処理に反映させることを特徴とする車両周囲環境検出装置。 An object detection means for emitting a detection signal, receiving the reflected signal, and detecting an object around the vehicle;
Imaging means for imaging the surroundings of the vehicle;
An object identification means for performing image processing on a captured image of the imaging means to identify an object around the vehicle;
Motion detection means for detecting the motion of the object detected by the object detection means;
Reception state detection means for detecting the reception state of the reflected signal in the object detection means;
Accuracy calculation means for calculating the accuracy that the object detected by the object detection means is a specific object based on the movement of the object detected by the movement detection means and the reception status detected by the reception status detection means; With
The accuracy calculation unit is configured such that the object detected by the object detection unit is a specific object based on the predicted route of the vehicle predicted by the route prediction unit and the movement of the object detected by the motion detection unit on the predicted route. Calculate certain accuracy,
The vehicle surrounding environment detection apparatus characterized in that the accuracy calculated by the accuracy calculation means is reflected in the processing of the object identification means.
車両周囲を撮像する撮像手段と、
前記撮像手段の撮像画像を画像処理して、車両周囲の物体を識別する物体識別手段と、
前記物体検出手段が検出した物体の動きを検出する動き検出手段と、
前記物体検出手段における反射信号の受信状態を検出する受信状態検出手段と、
前記動き検出手段が検出した物体の動きと、前記受信状態検出手段が検出した受信状態とを基に、前記物体検出手段が検出した物体が特定の物体である確度を算出する確度算出手段と、
車両挙動の安定度合いを検出する車両安定度合い検出手段と、
を備え、
前記確度算出手段が算出した確度を、前記物体識別手段の処理に反映させ、
前記確度算出手段は、前記車両安定度合い検出手段が検出した車両挙動の安定度合いが高い場合、前記確度を高くすることを特徴とする車両周囲環境検出装置。 An object detection means for emitting a detection signal, receiving the reflected signal, and detecting an object around the vehicle;
Imaging means for imaging the surroundings of the vehicle;
An object identification means for performing image processing on a captured image of the imaging means to identify an object around the vehicle;
Motion detection means for detecting the motion of the object detected by the object detection means;
Reception state detection means for detecting the reception state of the reflected signal in the object detection means;
Accuracy calculation means for calculating the accuracy that the object detected by the object detection means is a specific object based on the movement of the object detected by the movement detection means and the reception status detected by the reception status detection means;
Vehicle stability detection means for detecting the stability of vehicle behavior;
With
Reflecting the accuracy calculated by the accuracy calculation means in the processing of the object identification means ,
The probability calculating means, the vehicle stability degree when the detection means stable degree of vehicle behavior detected is high, the vehicle surrounding environment detection device, characterized in high to Rukoto the accuracy.
車両周囲を撮像する撮像手段と、
前記撮像手段の撮像画像を画像処理して、車両周囲の物体を識別する物体識別手段と、
前記物体検出手段が検出した物体の動きを検出する動き検出手段と、
前記物体検出手段における反射信号の受信状態を検出する受信状態検出手段と、
前記動き検出手段が検出した物体の動きと、前記受信状態検出手段が検出した受信状態とを基に、前記物体検出手段が検出した物体が特定の物体である確度を算出する確度算出手段と、
前記確度算出手段が算出した確度を基に、前記物体識別手段による画像処理の実施の可否を判定する実施可否判定手段と、
を備え、
前記確度算出手段は、進路予測手段が予測した車両の予測進路と、その予測進路における前記動き検出手段が検出した物体の動きとを基に、前記物体検出手段が検出した物体が特定の物体である確度を算出することを特徴とする車両周囲環境検出装置。 An object detection means for emitting a detection signal, receiving the reflected signal, and detecting an object around the vehicle;
Imaging means for imaging the surroundings of the vehicle;
An object identification means for performing image processing on a captured image of the imaging means to identify an object around the vehicle;
Motion detection means for detecting the motion of the object detected by the object detection means;
Reception state detection means for detecting the reception state of the reflected signal in the object detection means;
Accuracy calculation means for calculating the accuracy that the object detected by the object detection means is a specific object based on the movement of the object detected by the movement detection means and the reception status detected by the reception status detection means;
Based on the accuracy calculated by the accuracy calculation means, implementation feasibility judgment means for judging whether image processing by the object identification means can be performed,
Equipped with a,
The accuracy calculation unit is configured such that the object detected by the object detection unit is a specific object based on the predicted route of the vehicle predicted by the route prediction unit and the movement of the object detected by the motion detection unit on the predicted route. A vehicle surrounding environment detection device characterized by calculating certain accuracy .
車両周囲を撮像する撮像手段と、
前記撮像手段の撮像画像を画像処理して、車両周囲の物体を識別する物体識別手段と、
前記物体検出手段が検出した物体の動きを検出する動き検出手段と、
前記物体検出手段における反射信号の受信状態を検出する受信状態検出手段と、
前記動き検出手段が検出した物体の動きと、前記受信状態検出手段が検出した受信状態とを基に、前記物体検出手段が検出した物体が特定の物体である確度を算出する確度算出手段と、
前記確度算出手段が算出した確度を基に、前記物体識別手段による画像処理の実施の可否を判定する実施可否判定手段と、
車両挙動の安定度合を検出する車両安定度合検出手段と、
を備え、
前記確度算出手段は、前記車両安定度合い検出手段が検出した車両挙動の安定度合いが高い場合、前記確度を高くすることを特徴とする車両周囲環境検出装置。 An object detection means for emitting a detection signal, receiving the reflected signal, and detecting an object around the vehicle;
Imaging means for imaging the surroundings of the vehicle;
An object identification means for performing image processing on a captured image of the imaging means to identify an object around the vehicle;
Motion detection means for detecting the motion of the object detected by the object detection means;
Reception state detection means for detecting the reception state of the reflected signal in the object detection means;
Accuracy calculation means for calculating the accuracy that the object detected by the object detection means is a specific object based on the movement of the object detected by the movement detection means and the reception status detected by the reception status detection means;
Based on the accuracy calculated by the accuracy calculation means, implementation feasibility judgment means for judging whether image processing by the object identification means can be performed,
Vehicle stability detection means for detecting the stability of vehicle behavior;
Equipped with a,
The vehicle surrounding environment detection device , wherein the accuracy calculation means increases the accuracy when the stability degree of the vehicle behavior detected by the vehicle stability degree detection means is high .
車両周囲を撮像する撮像手段と、
前記撮像手段の撮像画像を画像処理して、車両周囲の物体を識別する物体識別手段と、
前記物体検出手段が検出した物体の動きを検出する動き検出手段と、
前記物体検出手段における反射信号の受信状態を検出する受信状態検出手段と、
前記動き検出手段が検出した物体の動きと、前記受信状態検出手段が検出した受信状態とを基に、前記物体検出手段が検出した物体が特定の物体である確度を算出する確度算出手段と、
前記確度算出手段が算出した確度を基に、前記物体識別手段による画像処理の実施の可否を判定する実施可否判定手段と、
車両の進路を予測する進路予測手段と、
前記進路予測手段が予測した車両の予測進路と、前記動き検出手段が検出した物体の動きとを基に、該物体を画像処理すべき対象とするか否かを判定するための画像処理対象判定用値を算出し、その算出した画像処理対象判定用値と所定のしきい値との比較結果を基に、画像処理すべき対象とするか否かを判定する画像処理対象判定手段と、を備え、
前記実施可否判定手段は、前記確度算出手段が算出した確度を基に、前記所定のしきい値を補正することを特徴とする車両周囲環境検出装置。 An object detection means for emitting a detection signal, receiving the reflected signal, and detecting an object around the vehicle;
Imaging means for imaging the surroundings of the vehicle;
An object identification means for performing image processing on a captured image of the imaging means to identify an object around the vehicle;
Motion detection means for detecting the motion of the object detected by the object detection means;
Reception state detection means for detecting the reception state of the reflected signal in the object detection means;
Accuracy calculation means for calculating the accuracy that the object detected by the object detection means is a specific object based on the movement of the object detected by the movement detection means and the reception status detected by the reception status detection means;
Based on the accuracy calculated by the accuracy calculation means, implementation feasibility judgment means for judging whether image processing by the object identification means can be performed,
Course prediction means for predicting the course of the vehicle;
Image processing target determination for determining whether or not the object is to be subjected to image processing based on the predicted path of the vehicle predicted by the path prediction unit and the motion of the object detected by the motion detection unit Image processing target determination means for calculating a use value, and determining whether or not the image processing target determination value is to be processed based on a comparison result between the calculated image processing target determination value and a predetermined threshold value , Prepared ,
The vehicle surrounding environment detection device, wherein the implementation availability determination unit corrects the predetermined threshold based on the accuracy calculated by the accuracy calculation unit.
車両周囲を撮像する撮像手段と、
前記撮像手段の撮像画像を画像処理して、車両周囲の物体を識別する物体識別手段と、
前記物体識別手段の物体識別結果を基に、該物体が特定の物体と類似しているか否かを判定する類似判定手段と、
前記物体検出手段が検出した物体の動きを検出する動き検出手段と、
前記物体検出手段における反射信号の受信状態を検出する受信状態検出手段と、
前記動き検出手段が検出した物体の動きと、前記受信状態検出手段が検出した受信状態とを基に、前記物体検出手段が検出した物体が特定の物体である確度を算出する確度算出手段と、を備え、
前記類似判定手段は、前記確度算出手段が算出した確度を基に、前記類似の判定結果を補正することを特徴とする車両周囲環境検出装置。 An object detection means for emitting a detection signal, receiving the reflected signal, and detecting an object around the vehicle;
Imaging means for imaging the surroundings of the vehicle;
An object identification means for performing image processing on a captured image of the imaging means to identify an object around the vehicle;
Similarity determination means for determining whether or not the object is similar to a specific object based on the object identification result of the object identification means;
Motion detection means for detecting the motion of the object detected by the object detection means;
Reception state detection means for detecting the reception state of the reflected signal in the object detection means;
Accuracy calculation means for calculating the accuracy that the object detected by the object detection means is a specific object based on the movement of the object detected by the movement detection means and the reception status detected by the reception status detection means; With
The similarity determining means, wherein based on the accuracy of probability calculating means is calculated, the similarity determination result car both the surrounding environment detection device you and correcting a.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008055002A JP5130959B2 (en) | 2008-03-05 | 2008-03-05 | Vehicle ambient environment detection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008055002A JP5130959B2 (en) | 2008-03-05 | 2008-03-05 | Vehicle ambient environment detection device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009208676A JP2009208676A (en) | 2009-09-17 |
JP5130959B2 true JP5130959B2 (en) | 2013-01-30 |
Family
ID=41182244
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008055002A Active JP5130959B2 (en) | 2008-03-05 | 2008-03-05 | Vehicle ambient environment detection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5130959B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5379543B2 (en) * | 2009-04-09 | 2013-12-25 | 日立オートモティブシステムズ株式会社 | Automobile external recognition device |
JP2012089114A (en) * | 2010-09-24 | 2012-05-10 | Toyota Motor Corp | Obstacle recognition device |
DE102018127990A1 (en) * | 2018-11-08 | 2020-05-14 | Bayerische Motoren Werke Aktiengesellschaft | Method and processing unit for determining information relating to an object in an environment of a vehicle |
JP2020132028A (en) * | 2019-02-22 | 2020-08-31 | トヨタ自動車株式会社 | Vehicle drive support device |
JP2023008527A (en) * | 2021-07-06 | 2023-01-19 | パナソニックホールディングス株式会社 | Information processing unit, information processing method, and program |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4016826B2 (en) * | 2002-12-10 | 2007-12-05 | 株式会社デンソー | Object labeling method and apparatus, program |
JP4193703B2 (en) * | 2004-01-19 | 2008-12-10 | トヨタ自動車株式会社 | Object detection device |
JP4941210B2 (en) * | 2007-09-28 | 2012-05-30 | トヨタ自動車株式会社 | Object detection device |
-
2008
- 2008-03-05 JP JP2008055002A patent/JP5130959B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2009208676A (en) | 2009-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9975550B2 (en) | Movement trajectory predicting device and movement trajectory predicting method | |
CA2949200C (en) | Processing apparatus, processing system, processing program, and processing method | |
JP6551283B2 (en) | Vehicle control device, vehicle control method | |
JP2016001170A (en) | Processing unit, processing program and processing method | |
JP2016001464A (en) | Processor, processing system, processing program, and processing method | |
JPWO2019058720A1 (en) | Information processing equipment, autonomous mobile devices, and methods, and programs | |
RU2770230C1 (en) | Method and device for predicting the movement of another vehicle | |
JP5577126B2 (en) | Driving support device | |
JP5130959B2 (en) | Vehicle ambient environment detection device | |
GB2576206A (en) | Sensor degradation | |
US20220161849A1 (en) | Vehicle control device, vehicle control method, and non-transitory computer-readable recording medium recording program | |
US11731662B2 (en) | Autonomous vehicle system for detecting pedestrian presence | |
KR20200044169A (en) | Collision Avoidance System and Method of Autonomous Vehicle | |
EP3985643A1 (en) | Outside environment recognition device | |
WO2018025632A1 (en) | Image-capturing device | |
KR20160131196A (en) | Device for detecting an obstacle | |
CN118124586A (en) | Driver assistance device and driver assistance method | |
US20220176953A1 (en) | Driving assistance device, method for assisting driving, and computer readable storage medium for storing driving assistance program | |
US20220237922A1 (en) | Outside environment recognition device | |
US20220237899A1 (en) | Outside environment recognition device | |
US20240199010A1 (en) | Vehicle control device, vehicle control method, and storage medium | |
US20230192132A1 (en) | Autonomous driving control apparatus and method thereof | |
EP4372715A1 (en) | Vehicle collision threat assessment | |
Kao et al. | Design of Sensor Fusion Driver Assistance System for Active Pedestrian Safety | |
Thammakaroon et al. | Improvement of forward collision warning in real driving environment using machine vision |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100917 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110224 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120524 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120612 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120809 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121009 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121022 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151116 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5130959 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |