JP2009019914A - Object detecting device - Google Patents
Object detecting device Download PDFInfo
- Publication number
- JP2009019914A JP2009019914A JP2007181273A JP2007181273A JP2009019914A JP 2009019914 A JP2009019914 A JP 2009019914A JP 2007181273 A JP2007181273 A JP 2007181273A JP 2007181273 A JP2007181273 A JP 2007181273A JP 2009019914 A JP2009019914 A JP 2009019914A
- Authority
- JP
- Japan
- Prior art keywords
- target
- information
- radar
- stereo image
- ecu
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 claims description 49
- 238000003384 imaging method Methods 0.000 claims description 17
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000004927 fusion Effects 0.000 abstract description 90
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 230000000116 mitigating effect Effects 0.000 description 63
- 238000000034 method Methods 0.000 description 15
- 239000000725 suspension Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- XEEYBQQBJWHFJM-UHFFFAOYSA-N iron Substances [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 5
- 229910052742 iron Inorganic materials 0.000 description 5
- 230000003139 buffering effect Effects 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 238000013016 damping Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000000872 buffer Substances 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Radar Systems Or Details Thereof (AREA)
Abstract
Description
本発明は、レーダによる情報と画像による情報とに基づいて物体を検出する物体検出装置に関するものである。 The present invention relates to an object detection apparatus that detects an object based on information from a radar and information from an image.
近年、衝突低減装置、車間距離制御装置、追従走行装置などの運転支援装置が開発されている。これら運転支援装置では、自車両の前方に存在する物体(例えば前方を走行する車両など)を検出することが重要となる。物体検出装置には、検出精度を向上させるために、ミリ波レーダなどのレーダ検出手段及びステレオカメラなどの撮像手段といった2つの検出手段を備える装置がある。レーダ検出手段を用いると、自車両に対する物体の横方向位置や自車両と物体との距離といった位置情報を精度よく検出できる。また、撮像手段により得られる画像データを用いると、物体の横幅や高さといった大きさ情報を精度よく検出できる。従って、この2つの検出手段を備える物体検出装置では、レーダ検出手段によって得られた物体の位置情報と、撮像手段によって得られた物体の大きさ情報とに基づいて、検出対象である物体の位置及び大きさに関する情報(物体情報)を精度よく取得できる(例えば特許文献1参照)。
しかし、車両の走行状況によっては、画像データに基づく大きさ情報の精度が低下する場合がある。例えば、鉄橋の左右に設置されたトラス構造物など複数の物体が周囲に存在する場合、画像データ内においてそれらの物体を区別できずに一つの大きな物体として認識してしまう場合がある。そして、誤った大きさ情報に基づいて物体を特定してしまうと、運転支援装置において本来不要な動作(例えば、その物体が衝突するおそれがないにも拘わらず、回避動作を行うなど)が行われるおそれがある。 However, the accuracy of the size information based on the image data may be reduced depending on the traveling state of the vehicle. For example, when a plurality of objects such as truss structures installed on the left and right of the iron bridge exist in the surroundings, the objects may be recognized as one large object without being distinguished in the image data. If an object is specified based on incorrect size information, an operation that is not necessary in the driving assistance device (for example, an avoidance operation is performed despite the possibility that the object does not collide) is performed. There is a risk.
本発明は、上記した問題点を鑑みてなされたものであり、画像データに基づく物体の大きさ情報の信頼性を向上できる物体検出装置を提供することを目的とする。 The present invention has been made in view of the above-described problems, and an object of the present invention is to provide an object detection device that can improve the reliability of object size information based on image data.
上述した課題を解決するために、本発明による物体検出装置は、自車両に対する物体の位置及び大きさを検出する物体検出装置であって、送信波を送信して物体で反射した反射波を受信することにより物体を検出するレーダ検出手段と、物体を撮像して画像データを取得する撮像手段と、レーダ検出手段からの信号を基に自車両に対する物体の位置情報を取得すると共に、撮像手段からの画像データを基に物体の大きさ情報を取得し、位置情報および大きさ情報に基づいて物体の位置及び大きさに関する物体情報を生成する物体情報生成手段とを備え、物体情報生成手段は、レーダ検出手段からの信号を基に得られる物体の横方向位置の時間変化率が所定の閾値より大きい場合に、物体情報を生成しないか、或いは撮像手段からの画像データを基に得られる大きさ情報の少なくとも一部を物体情報から除外することを特徴とする。 In order to solve the above-described problems, an object detection device according to the present invention is an object detection device that detects the position and size of an object with respect to the host vehicle, and transmits a transmission wave and receives a reflected wave reflected by the object. Radar detecting means for detecting an object, imaging means for imaging the object to acquire image data, position information of the object relative to the host vehicle based on a signal from the radar detecting means, and from the imaging means Object information generating means for acquiring object size information based on the image data and generating object information related to the position and size of the object based on the position information and the size information, the object information generating means, When the time change rate of the lateral position of the object obtained based on the signal from the radar detection means is larger than a predetermined threshold, no object information is generated or image data from the imaging means Characterized by excluding at least part of the size information obtained based on the object information.
本発明者は、撮像手段からの画像データを基に得られる物体の大きさ情報が不正確となるような状況は、レーダ検出手段により検出される物体の横方向位置にばらつきがある、すなわち横方向位置の時間変化率が大きい場合に顕著に現れることを見出した。例えば、鉄橋の左右に設置されたトラス構造物など周囲に複数の物体が存在する場合、レーダ検出手段により検出される物体の横方向位置情報が複数の物体の影響を受けて大きく変動し、検出される横方向位置の時間変化率が通常より大きくなる傾向がある。上記した物体検出装置によれば、物体情報生成手段が、レーダ検出手段からの信号を基に得られる物体の横方向位置の時間変化率が所定の閾値より大きい場合に、物体情報を生成しないか、或いは撮像手段からの画像データを基に得られる物体の大きさ情報の少なくとも一部を物体情報から除外するので、物体情報(特に大きさ情報)の信頼性を向上させることができる。なお、この場合、運転支援装置は、過去の物体情報や、物体情報から除外された大きさ情報を除く他の情報などに基づいて、運転支援を行うとよい。 The present inventor has found that the situation in which the size information of the object obtained based on the image data from the image pickup means is inaccurate varies in the lateral position of the object detected by the radar detection means. It was found that it appears remarkably when the time change rate of the direction position is large. For example, when there are multiple objects in the vicinity, such as truss structures installed on the left and right of the iron bridge, the lateral position information of the object detected by the radar detection means varies greatly due to the influence of the multiple objects. There is a tendency that the temporal change rate of the horizontal position is larger than usual. According to the object detection apparatus described above, whether the object information generation unit generates object information when the temporal change rate of the lateral position of the object obtained based on the signal from the radar detection unit is larger than a predetermined threshold value. Alternatively, since at least part of the size information of the object obtained based on the image data from the imaging means is excluded from the object information, the reliability of the object information (particularly size information) can be improved. In this case, the driving support device may perform driving support based on past object information or other information excluding size information excluded from the object information.
また、物体検出装置は、物体情報生成手段が、或るタイミングにおいて大きさ情報を取得できなかった場合に、時間変化率が所定の閾値より大きい場合を除き、過去に得られた大きさ情報を代用して物体情報を生成することを特徴としてもよい。このように、撮像手段からの画像データに基づいて大きさ情報を取得できなかった場合(例えば、トンネルの出入口などで明るさが変化し、その変化に対応できずに一時的に物体を検出可能な画像が得られなかった場合)でも、過去に検出された大きさ情報を代用(補間)することで、物体情報を途切れることなく得ることができる。また、レーダ検出手段からの信号を基に得られる物体の横方向位置の時間変化率が所定の閾値より大きい場合には、上述したように画像データを基に得られる物体の大きさ情報が不正確であるおそれがあるので、大きさ情報の代用(補間)を行わないことで、物体情報に含まれる大きさ情報の信頼性を向上させることができる。 In addition, the object detection device uses the size information obtained in the past, except when the object information generation unit cannot acquire the size information at a certain timing, and the rate of time change is larger than a predetermined threshold. Alternatively, object information may be generated instead. In this way, when the size information cannot be acquired based on the image data from the imaging means (for example, the brightness changes at the entrance of the tunnel, etc., and the object can be detected temporarily without being able to respond to the change) Even when a simple image is not obtained), the object information can be obtained without interruption by substituting (interpolating) the size information detected in the past. In addition, when the temporal change rate of the lateral position of the object obtained based on the signal from the radar detection unit is larger than a predetermined threshold, the size information of the object obtained based on the image data is not valid as described above. Since there is a possibility of accuracy, the reliability of the size information included in the object information can be improved by not performing the substitution (interpolation) of the size information.
本発明による物体検出装置によれば、画像データに基づく物体の大きさ情報の信頼性を向上できる。 According to the object detection device of the present invention, the reliability of the object size information based on the image data can be improved.
以下、添付図面を参照しながら本発明による物体検出装置の実施の形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。 Embodiments of an object detection apparatus according to the present invention will be described below in detail with reference to the accompanying drawings. In the description of the drawings, the same elements are denoted by the same reference numerals, and redundant description is omitted.
本実施の形態では、本発明に係る物体検出装置を、車両に搭載される衝突軽減装置に適用する。本実施の形態に係る衝突軽減装置は、自車両の前方に存在する前方車両などの物体を検出対象とし、自車両に対する物体の位置及び大きさを検出し、物体との衝突を防止/軽減するために各種制御を行う。特に、本実施の形態に係る衝突軽減装置では、物体を検出するためにミリ波レーダとステレオカメラの2つのセンサを備え、ミリ波レーダによる検出結果とステレオカメラによる検出結果とを照合することによって物体を高い精度で検出する。 In the present embodiment, the object detection device according to the present invention is applied to a collision mitigation device mounted on a vehicle. The collision mitigation apparatus according to the present embodiment detects an object such as a forward vehicle existing in front of the host vehicle, detects the position and size of the object relative to the host vehicle, and prevents / reduces a collision with the object. Various controls are performed for this purpose. In particular, the collision mitigation apparatus according to the present embodiment includes two sensors, a millimeter wave radar and a stereo camera, for detecting an object, and collates the detection result by the millimeter wave radar with the detection result by the stereo camera. Detect objects with high accuracy.
図1〜図5を参照して、本実施の形態に係る衝突軽減装置1について説明する。図1は、本実施の形態に係る衝突軽減装置の構成図である。図2は、本実施の形態に係るレーダ物標、ステレオ画像物標及びフュージョン物標の説明図である。図3は、本実施の形態に係る前回フュージョン物標とレーダ物標との照合方法の説明図である。図4は、本実施の形態に係る前回フュージョン物標とステレオ画像物標との照合方法の説明図である。図5は、本実施の形態に係るレーダ物標とステレオ画像物標との照合方法の説明図である。 With reference to FIGS. 1-5, the collision mitigation apparatus 1 which concerns on this Embodiment is demonstrated. FIG. 1 is a configuration diagram of a collision mitigation device according to the present embodiment. FIG. 2 is an explanatory diagram of a radar target, a stereo image target, and a fusion target according to the present embodiment. FIG. 3 is an explanatory diagram of a method for collating the previous fusion target and the radar target according to the present embodiment. FIG. 4 is an explanatory diagram of a collation method between the previous fusion target and the stereo image target according to the present embodiment. FIG. 5 is an explanatory diagram of a method for collating a radar target and a stereo image target according to the present embodiment.
衝突軽減装置1は、前方車両や道路設置物などの物体の位置および大きさを検出し、物体を検出した場合には衝突の可能性に応じてブレーキ制御、サスペンション制御、シートベルト制御及び警報制御を行う。衝突軽減装置1は、物体の位置および大きさを検出するために、ミリ波レーダによる情報に基づいてレーダ物標を設定するとともにステレオカメラによるステレオ画像データに基づいてステレオ画像物標を設定し、レーダ物標とステレオ画像物標との照合によってフュージョン物標を設定する。また、衝突軽減装置1では、ステレオ画像物標を取得できなかった場合には過去のステレオ画像物標を代用してデータを補間する。さらに、フュージョン物標の信頼性を向上させるため、レーダ物標の横方向位置の時間変化率に基づいてステレオ画像物標の信頼性を判断し、この信頼性が低い場合にはフュージョン物標を設定しないか、或いはデータ補間の際のステレオ画像物標の全部または一部の情報をフュージョン物標から除外する。衝突軽減装置1は、ミリ波レーダ2、ステレオカメラ3、ブレーキECU[Electronic Control Unit]4、サスペンション制御アクチュエータ5、シートベルトアクチュエータ6、ブザー7及び衝突軽減ECU8などを備え、これらがCAN[ControllerArea Network](車内LANの標準インターフェース規格)通信で各種信号を送受信する。
The collision mitigation device 1 detects the position and size of an object such as a preceding vehicle or a road installation, and when an object is detected, brake control, suspension control, seat belt control, and alarm control are performed according to the possibility of collision. I do. The collision mitigation apparatus 1 sets a radar target based on information from a millimeter wave radar and sets a stereo image target based on stereo image data from a stereo camera in order to detect the position and size of the object, The fusion target is set by collating the radar target with the stereo image target. Further, the collision mitigation apparatus 1 interpolates data by substituting the past stereo image target when the stereo image target cannot be acquired. Furthermore, in order to improve the reliability of the fusion target, the reliability of the stereo image target is judged based on the time change rate of the lateral position of the radar target. If this reliability is low, the fusion target is It is not set, or all or part of the information of the stereo image target at the time of data interpolation is excluded from the fusion target. The collision mitigation apparatus 1 includes a
なお、本実施の形態では、ミリ波レーダ2が特許請求の範囲に記載するレーダ検出手段に相当し、ステレオカメラ3が特許請求の範囲に記載する撮像手段に相当し、衝突軽減ECU8が特許請求の範囲に記載する物体情報生成手段に相当する。
In this embodiment, the
まず、図2を参照して各物標について説明しておく。レーダ物標は、ミリ波レーダ2からの情報に基づいて認識された物体情報であって、自車両に対する物体の位置情報を含む。すなわち、レーダ物標には、レーダ情報から取得できる物体までの距離、物体の横位置(自車両に対する物体の相対的な横方向位置)、自車両と物体との相対速度が設定される。また、ステレオ画像物標は、ステレオカメラ3によるステレオ画像データに基づいて認識された物体情報であって、前方車両の大きさ情報を含む。すなわち、ステレオ画像物標には、ステレオ画像データから取得できる物体の前端面までの距離、物体の前端面中央の横位置、物体との相対速度、物体の横幅(自車両に対して左右方向の長さ)、物体の奥行き(自車両から遠ざかる方向の長さ)、物体の高さ、物体の高さ位置が設定される。フュージョン物標は、レーダ物標とステレオ画像物標との照合において類似度が高く、そのレーダ物標とステレオ画像物標とが同一物体であると判断できる場合の該物体に関する物体情報である。フュージョン物標には、レーダ物標からの距離及び相対速度とステレオ画像物標からの横位置、横幅、奥行き、高さ、高さ位置が設定される。本実施の形態では、このフュージョン物標に設定される情報が、特許請求の範囲に記載する物体情報に相当する。
First, each target will be described with reference to FIG. The radar target is object information recognized based on information from the
ミリ波レーダ2は、ミリ波を利用して物体を検出するためのレーダである。ミリ波レーダ2は、自車両の前側の中央に取り付けられる。ミリ波レーダ2は、ミリ波を水平面内でスキャンしながら自車両から前方に向けて送信し、反射してきたミリ波を受信する。そして、ミリ波レーダ2は、そのミリ波の送受信データをレーダ信号として衝突軽減ECU8へ送信する。
The
ステレオカメラ3は、2台のCCDカメラからなり、2台のCCDカメラが水平方向に所定間隔離間されて配置されている。ステレオカメラ3も、自車両の前側の中央に取り付けられる。ステレオカメラ3では、2つのCCDカメラで撮像した左右のステレオ画像のデータを各画像信号として衝突軽減ECU8へ送信する。
The
ブレーキECU4は、4輪の各ホイールシリンダの油圧を調節し、4輪のブレーキ力を制御するECUである。ブレーキECU4では、各輪の目標ブレーキ力に基づいて油圧制御信号をそれぞれ設定し、その各油圧制御信号を各ホイールシリンダの油圧を変化させるブレーキ制御アクチュエータに対してそれぞれ送信する。特に、ブレーキECU4では、衝突軽減ECU8から各輪に対する目標ブレーキ力信号を受信すると、その目標ブレーキ力信号に示される目標ブレーキ力に基づいて油圧制御信号をそれぞれ設定する。
The
サスペンション制御アクチュエータ5は、4輪の各油圧式アクティブサスペンションの油圧を変化させるアクチュエータである。サスペンション制御アクチュエータ5は、衝突軽減ECU8から各輪に対する目標減衰力信号を受信すると、各目標減衰力信号に示される目標減衰力に基づいて目標油圧を設定し、目標油圧に基づいて油圧式アクティブサスペンションの油圧を変化させる。
The
シートベルトアクチュエータ6は、各シートベルトを引き込み、シートベルトによる拘束力を変化させるアクチュエータである。シートベルトアクチュエータ6は、衝突軽減ECU8から各シートベルトに対する目標引込量信号を受信すると、各目標引込量信号に示される目標引込量に応じてシートベルトの引き込む。
The
ブザー7は、衝突軽減ECU8から警報信号を受信すると、ブザー音を出力する。
When the
衝突軽減ECU8は、CPU[Central Processing Unit]、ROM[Read OnlyMemory]、RAM[Random AccessMemory]などからなる電子制御ユニットであり、衝突軽減装置1を統括制御する。衝突軽減ECU8は、CPUのマスタクロックに基づく一定時間毎に、ミリ波レーダ2からのレーダ信号及びステレオカメラ3からの各画像信号を取り入れる。そして、衝突軽減ECU8は、一定時間毎に、レーダ情報に基づくレーダ物標設定処理及びステレオ画像に基づくステレオ画像物標設定処理を行い、前回フュージョン物標と今回のレーダ物標及びステレオ画像物標に基づく照合処理を行い、今回フュージョン物標を設定する。さらに、衝突軽減ECU8は、今回フュージョン物標と自車両との関係に基づいて衝突軽減処理を行う。
The
レーダ物標設定処理について説明する。衝突軽減ECU8は、ミリ波を出射してからその反射波を受信するまでの時間に基づいて、前方の物体までの距離を演算する。また、衝突軽減ECU8は、前方の物体との相対速度を演算する。また、衝突軽減ECU8は、反射してきたミリ波の中で最も強く反射してきたミリ波の方向を検出し、その方向から自車両の進行方向と自車両に対する物体の方向とのなす角度を求め、その角度から物体の横位置を演算する。このように、衝突軽減ECU8は、ミリ波レーダ2からの信号を基に自車両に対する物体の位置情報(距離、相対速度、横位置)を取得する。ミリ波レーダ2による物体検出では、反射したミリ波を受信できた場合に物体を検出したことになるので、反射したミリ波を受信する毎に1個のレーダ物標が得られる。また、ミリ波レーダ2による物体検出では、物体までの距離を正確に検出できるので、距離及び相対速度の精度が特に高い。
The radar target setting process will be described. The
ステレオ画像物標設定処理について説明する。衝突軽減ECU8は、左右のステレオ画像における物体の見え方のずれを利用して三角測量的に前方の物体を立体的に特定し、ステレオカメラ3から物体までの位置(物体の前端面までの距離、物体の前端面中央の横位置、物体の高さ位置)を演算するとともに、物体の立体的な大きさ(横幅、奥行き、高さ)を演算する。このように、衝突軽減ECU8は、ステレオカメラ3からのステレオ画像データを基に物体の大きさ情報(横幅、奥行き、高さ)を取得する。また、衝突軽減ECU8では、前方の物体との相対速度を演算する。ステレオカメラ3による物体検出では、左右のステレオ画像から物体を特定できた場合に物体を検出したことになるので、物体を特定する毎に1個のステレオ画像物標が得られる。
The stereo image target setting process will be described. The
照合処理について説明する。まず、衝突軽減ECU8は、一定時間毎に、前回フュージョン物標と今回レーダ物標との照合を行う。具体的には、衝突軽減ECU8は、図3に示すように、前回フュージョン物標LFの位置(距離、横位置)を中心として距離の閾値と横位置の閾値を設定し(図3の破線で示す平面領域参照)、前回フュージョン物標LFの相対速度を中央値として相対速度の閾値を設定する。そして、衝突軽減ECU8は、今回レーダ物標TLの位置(距離、横位置)が前回フュージョン物標LFの位置を中心とした距離の閾値内かつ横位置の閾値内に入っているか否かを判定するとともに、今回レーダ物標TLの相対速度が相対速度の閾値内に入っているか否かを判定する。そして、衝突軽減ECU8は、この判定において全ての閾値内に入っている場合に今回レーダ物標TLが前回フュージョン物標LFと類似性があると判定し、1つでも閾値内に入っていない場合に類似性がないと判定する。この照合では、精度の高い情報がそれぞれ設定されている前回フュージョン物標を中心とし、レーダ物標が持っている位置情報を考慮して照合を行う。
The verification process will be described. First, the
また、衝突軽減ECU8は、一定時間毎に、前回フュージョン物標と今回ステレオ画像物標との照合を行う。具体的には、衝突軽減ECU8は、図4に示すように、前回フュージョン物標LFの位置(距離、横位置、高さ位置)を中心として距離の閾値、横位置の閾値、高さ位置の閾値を設定するとともに物体の奥行きの閾値、物体の横幅の閾値、物体の高さの閾値を設定し(図4の破線で示す立体領域参照)、前回フュージョン物標LFの相対速度を中央値として相対速度の閾値を設定する。そして、衝突軽減ECU8は、今回ステレオ画像物標TIの位置(距離、横位置、高さ)が前回フュージョン物標LFの位置を中心とした距離の閾値内かつ横位置の閾値内かつ高さ位置の閾値内に入っているか否か、及び今回ステレオ画像物標TIの大きさ(奥行き、横幅、高さ)が奥行きの閾値内かつ横幅の閾値内かつ高さの閾値内に入っているか否かを判定するとともに、今回ステレオ画像物標TIの相対速度が相対速度の閾値内に入っているか否かを判定する。そして、衝突軽減ECU8は、この判定において全ての閾値内に入っている場合に今回ステレオ画像物標TIが前回フュージョン物標LFと類似性があると判定し、1つでも閾値内に入っていない場合に類似性がないと判定する。この照合では、精度の高い情報がそれぞれ設定されている前回フュージョン物標を中心とし、ステレオ画像物標が持っている位置情報に立体物の大きさ情報を考慮して照合を行う。
The
前回フュージョン物標に対して類似性のある今回レーダ物標と今回ステレオ画像物標とがそれぞれ存在する場合、衝突軽減ECU8は、その今回レーダ物標と今回ステレオ画像物標との照合を行う。具体的には、衝突軽減ECU8は、図5に示すように、今回レーダ物標TLの位置(距離、横位置)を中心として距離の閾値、横位置の閾値を設定するとともに物体の奥行きの閾値、物体の横幅の閾値を設定し(図5の破線で示す平面領域参照)、今回レーダ物標TLの相対速度を中央値として相対速度の閾値を設定する。そして、衝突軽減ECU8は、今回ステレオ画像物標TIの位置(距離、横位置)が今回レーダ物標TLの位置を中心とした距離の閾値内かつ横位置の閾値内に入っているか否か、及び今回ステレオ画像物標TIの大きさ(奥行き、横幅)が奥行きの閾値内かつ横幅の閾値内に入っているか否かを判定するとともに、今回ステレオ画像物標TIの相対速度が相対速度の閾値内に入っているか否かを判定する。そして、衝突軽減ECU8は、この判定において全ての閾値内に入っている場合に今回レーダ物標TLと今回ステレオ画像物標TIとが類似性があると判定し、1つでも閾値内に入っていない場合に類似性がないと判定する。類似性があると判定した場合、衝突軽減ECU8は、前回フュージョン物標を今回フュージョン物標として更新し、今回フュージョン物標の情報として今回レーダ物標の距離及び相対速度を設定するとともに今回ステレオ画像物標の横位置、横幅、奥行き、高さ、高さ位置を設定する。一方、類似性がないと判定した場合、衝突軽減ECU8は、前回フュージョン物標を削除する。この照合では、距離の精度が高く、物体のほぼ中央を横位置とする今回レーダ物標を中心とし、レーダ物標とステレオ画像物標が持っている位置情報にステレオ画像物標の持っている大きさ情報を考慮して照合を行う。
When there are a current radar target and a current stereo image target that are similar to the previous fusion target, the
なお、上述した各閾値は、ミリ波レーダ2やステレオカメラ3による検出精度などを考慮して予め設定され、衝突軽減ECU8に格納されている。距離の閾値や相対速度の閾値については、自車両の車速を考慮して可変としてもよい。奥行き、横幅、高さは物体の大きさを表し、検出対象が車両である場合、奥行き、横幅、高さの各閾値については一般的な車両の大きさに基づいて設定される。
Each of the threshold values described above is set in advance in consideration of the detection accuracy by the
フュージョン物標を基に物体が存在すると判断できる場合、衝突軽減ECU8は、車速を考慮して、フュージョン物標に設定されている距離情報に基づいて衝突する可能性の段階(例えば、可能性が高い、低い、無しの3段階)を設定する。そして、衝突軽減ECU8は、衝突する可能性の段階に応じて、ブレーキECU4、サスペンション制御アクチュエータ5、シートベルトアクチュエータ6、ブザー7を制御する。
When it can be determined that an object is present based on the fusion target, the
ステレオカメラ3による物体検出では、トンネルの出入口などで明るさの変化や物体の一部が影になるなどの撮像条件が変化によって、データがばらつく場合がある。このようにばらついたステレオ画像物標の情報を用いてフュージョン物標の情報を設定すると、物体に関する大きさ情報の精度が低下してしまう。また、このようなデータのばらつくような状態は長時間続くものでなく、走行中において撮像条件が低下した一時的なものである。
In object detection by the
そこで、衝突軽減ECU8は、ステレオ画像物標の情報から設定したフュージョン物標の情報(すなわち物体の大きさ情報)について、過去のフュージョン物標の情報を所定期間バッファリングし、そのバッファリングしたデータによりフュージョン物標の情報を平滑化する。具体的には、衝突軽減ECU8は、レーダ物標TLとステレオ画像物標TIの各情報からフュージョン物標の各情報を設定する毎に、横位置、横幅、奥行き、高さ、高さ位置を所定のバッファリング領域に格納する。ステレオカメラ3による物体検出で一時的に追跡中のフュージョン物標を検出できなかった場合、衝突軽減ECU8は、バッファリングを行わない。衝突軽減ECU8は、バッファリング領域に格納されている過去数サイクル分のフュージョン物標の各情報(位置、横幅、奥行き、高さ、高さ位置)の平均値をそれぞれ演算し、各情報の平均値を今回のフュージョン物標の情報として設定する。バッファリングするサイクル数については、ステレオカメラ3の性能などを考慮して設定する。
Therefore, the
また、ステレオカメラ3による物体検出では、トンネルの出入口などで明るさが変化した場合など、追跡していた物体を一時的に検出できない場合がある。このような場合、衝突軽減ECU8は、前回フュージョン物標に設定されている大きさ情報を代用して、今回フュージョン物標の大きさ情報を補間する。具体的には、衝突軽減ECU8は、前回フュージョン物標と今回ステレオ画像物標との照合において前回フュージョン物標と類似性を持つ今回ステレオ画像物標がない場合、前回ステレオ画像物標に設定された大きさ情報(横位置、横幅、奥行き、高さ、高さ位置)を今回フュージョン物標の各情報として設定する。
Further, in the object detection by the
また、ステレオカメラ3による物体検出では、ステレオ画像データにおいて複数の物体を区別できずに一つの大きな物体として認識してしまうことがある。例えば、鉄橋の左右に設置されたトラス構造物など自車両の左右に複数の物体が存在する場合、ステレオ画像データにおいてそれらの物体を区別できずに一つの大きな物体として認識してしまうことがある。複数の物体を一つの大きな物体として認識してしまうと、ステレオ画像物標の大きさ情報が不正確となり、運転支援装置において本来不要な動作が行われるおそれがある。
Further, in the object detection by the
このような現象を回避するため、衝突軽減ECU8は、ステレオ画像物標に設定された大きさ情報の信頼性が低い場合には、フュージョン物標を生成しないか、或いはステレオ物標に設定された大きさ情報の少なくとも一部(例えば横幅)をフュージョン物標に設定される情報から除外する。ここで、大きさ情報の少なくとも一部を除外するとは、(1)該一部の情報を今回フュージョン物標に設定しない、(2)該一部の情報を予め意味付けされた特異な数値に操作する(例えば該情報が横幅の場合、この横幅をゼロとして今回フュージョン物標に設定する)、(3)上述した補間処理をとりやめる(追跡していたステレオ画像物標やフュージョン物標を一時的に検出できない場合であっても、前回フュージョン物標に設定されている大きさ情報を代用せず、今回フュージョン物標の大きさ情報を補間しない)といった動作(1)〜(3)を含む。
In order to avoid such a phenomenon, the
このような状況の具体的な例を、図6〜図9を参照しつつ説明する。図6〜図9は、自車両10がトラス鉄橋50を走行している状況を示しており、トラス鉄橋50の左右には支持部材51が並んで配置されている。通常、衝突軽減ECU8は、図6に示すように、ミリ波レーダ2からの信号を基に支持部材51に関するレーダ物標TLを設定すると共に、ステレオカメラ3からのステレオ画像データを基に支持部材51に関するステレオ画像物標TIを設定する。そして、図7に示すように、これらのレーダ物標TL及びステレオ画像物標TIを基にフュージョン物標LFを設定する。
A specific example of such a situation will be described with reference to FIGS. 6 to 9 show a situation in which the
しかし、図8に示すように、状況によってはステレオカメラ3からのステレオ画像データにおいて左右の支持部材51を区別できず、左右の支持部材51を一つの大きな物体としてステレオ画像物標TIを設定してしまうことがある。このような場合、ミリ波レーダ2からの信号もまた左右の支持部材51の影響を受け、衝突軽減ECU8は、左右の支持部材51の間にレーダ物標TLを設定してしまう傾向がある。従って、これらのレーダ物標TL及びステレオ画像物標TIを基に設定されるフュージョン物標LFには、図9に示すように左右の支持部材51に亘る大きさ情報が誤って設定されてしまうこととなる。
However, as shown in FIG. 8, depending on the situation, the left and
そして、このようにフュージョン物標LFが誤って設定された直後に上記したステレオ画像物標の補間を行うと、誤った大きさ情報がフュージョン物標LFに連続して設定されてしまう。従って、フュージョン物標LFの情報を所定期間バッファリングして平滑化したとしても、フュージョン物標に設定される大きさ情報の誤差が次第に大きくなってしまう。このような状況を回避するために、本実施形態の衝突軽減ECU8は、ステレオ画像物標TIを一時的に検出できなかった場合であっても、ステレオ画像物標TIにおいて誤った大きさ情報が設定されている可能性が高い場合には、過去のフュージョン物標の大きさ情報を用いた補間を行わない。
If the above-described interpolation of the stereo image target is performed immediately after the fusion target LF is erroneously set as described above, incorrect size information is continuously set in the fusion target LF. Therefore, even if the information of the fusion target LF is buffered and smoothed for a predetermined period, the error of the size information set for the fusion target gradually increases. In order to avoid such a situation, the
このとき、衝突軽減ECU8は、ステレオ画像物標TIの大きさ情報の信頼性を、レーダ物標TLの横位置の時間変化率(すなわち、CPUのマスタクロックに基づく一定時間における横位置の変化量)に基づいて判断する。その理由は、ステレオ画像物標TIの大きさ情報の信頼性が低い場合、ミリ波レーダ2により検出される物体の横位置のばらつきが大きくなる傾向があるからである。例えば図8に示した例では、ステレオカメラ3からのステレオ画像データを基に左右の支持部材51を一つの大きな物体としてステレオ画像物標TIを設定してしまうが、同時に、ミリ波レーダ2からの信号を基に左右の支持部材51の間にレーダ物標TLを設定している。すなわち、衝突軽減ECU8においては、レーダ物標TLの横位置が短時間で大きく変動したように認識される。このような場合、衝突軽減ECU8は、ステレオ画像物標TIの大きさ情報の信頼性が低いと判断し、過去のフュージョン物標の大きさ情報を用いた補間を行わない。
At this time, the
衝突軽減装置1における動作のうち、物体検出に関わる動作について図10を参照しながら説明する。まず、ミリ波レーダ2は、前方にミリ波を送信するとともに反射してきたミリ波を受信し、その送受信データをレーダ信号として衝突軽減ECU8に送信する。ステレオカメラ3は、前方を撮像し、撮像した左右のステレオ画像データを衝突軽減ECU8に送信する。衝突軽減ECU8は、ミリ波レーダ2からレーダ信号を受信するとともに、ステレオカメラ3からステレオ画像データを受信する。衝突軽減ECU8は、一定時間毎に、レーダ信号によるレーダ情報に基づいてレーダ物標を設定する。また。衝突軽減ECU8は、一定時間毎に、ステレオ画像データに基づいてステレオ画像物標を設定する(S10)。
Of the operations in the collision mitigation apparatus 1, operations related to object detection will be described with reference to FIG. First, the
次に、衝突軽減ECU8は、レーダ物標及びステレオ画像物標と前回フュージョン物標との照合を行い(S11)、前回フュージョン物標と類似性を持つレーダ物標及びステレオ画像物標が存在するか否かを判定する(S12)。S12において前回フュージョン物標と類似性のあるレーダ物標及びステレオ画像物標がそれぞれ存在する場合、衝突軽減ECU8は、レーダ物標とステレオ画像物標との照合を行う(S13)。
Next, the
そして、衝突軽減ECU8は、今回フュージョン物標の情報としてレーダ物標の距離及び相対速度を設定するとともにステレオ画像物標の横幅、横位置、奥行き、高さ、高さ位置を設定する(S14)。そして、衝突軽減ECU8は、その設定した横位置、横幅、奥行き、高さ、高さ位置をバッファリングし、バッファリングしている過去数サイクル分のデータを平滑化し、その平滑化した各情報を今回フュージョン物標として設定する(S15)。衝突軽減ECU8は、照合を行った前回フュージョン物標を今回フュージョン物標に更新する(S16)。
Then, the
また、S12においてステレオ画像物標が存在しないと判定した場合(つまり、ステレオカメラ3による物体検出で前回フュージョン物標を追跡できなかった場合)、衝突軽減ECU8は、前回レーダ物標に設定された横位置と今回レーダ物標に設定された横位置との差(すなわちレーダ物標に設定される横位置の時間変化率)を演算し、この値と所定の閾値との大小を判定する(S17)。S17において前回レーダ物標及び今回レーダ物標の横位置の差が所定の閾値より小さい場合、衝突軽減ECU8は、S14に代えて、前回ステレオ画像物標の情報を用いて今回フュージョン物標の各情報(横位置、横幅、奥行き、高さ、高さ位置)を補間するとともに、今回レーダ物標の情報により今回フュージョン物標の距離及び相対速度を設定する(S18)。そして、衝突軽減ECU8は、S15の平滑化処理及びS16の更新処理を行う。一方、S17において前回レーダ物標及び今回レーダ物標の横位置の差が所定の閾値より大きい場合、衝突軽減ECU8は上記補間を行わないか、或いは今回フュージョン物標の全情報を設定しない。
If it is determined in S12 that the stereo image target does not exist (that is, the previous fusion target cannot be tracked by the object detection by the stereo camera 3), the
以上に説明した衝突軽減装置1による効果は次のとおりである。本発明者は、ステレオカメラ3からのステレオ画像データを基に得られるステレオ画像物標の大きさ情報が不正確となるような状況は、ミリ波レーダ2からの信号により得られるレーダ物標の横位置にばらつきがある、すなわち横位置の時間変化率が大きい場合に顕著に現れることを見出した。本実施形態の衝突軽減装置1によれば、衝突軽減ECU8が、ミリ波レーダ2からの信号を基に得られるレーダ物標の横位置の時間変化率が所定の閾値より大きい場合に、今回フュージョン物標を設定しないか、或いは今回ステレオ画像物標の大きさ情報の少なくとも一部を今回フュージョン物標から除外するので、フュージョン物標に設定される各情報(特に大きさ情報)の信頼性を向上させることができる。なお、この場合、衝突軽減装置1は、前回フュージョン物標や、今回フュージョン物標から除外された大きさ情報を除く他の情報などに基づいて、可能な運転支援を選択的に行うとよい。
The effect by the collision mitigation apparatus 1 demonstrated above is as follows. The present inventor has found that the situation in which the size information of the stereo image target obtained based on the stereo image data from the
また、本実施形態のように、衝突軽減ECU8は、或るタイミングにおいてステレオ画像物標の大きさ情報を取得できなかった場合に、レーダ物標の横位置の時間変化率が所定の閾値より大きい場合を除き、過去に得られたステレオ画像物標の大きさ情報を代用して今回フュージョン物標を生成することが好ましい。これにより、フュージョン物標を途切れることなく得ることができる。また、レーダ物標の横位置の時間変化率が所定の閾値より大きい場合には、上述したようにステレオ画像物標の大きさ情報が不正確であるおそれがあるので、大きさ情報の代用(補間)を行わないことで、フュージョン物標に含まれる大きさ情報の信頼性を向上させることができる。
Further, as in the present embodiment, when the
以上、本発明に係る実施の形態について説明したが、本発明に係る物体検出装置は上記実施の形態に限定されることなく様々な形態で実施される。 The embodiment according to the present invention has been described above. However, the object detection apparatus according to the present invention is not limited to the above embodiment, and can be implemented in various forms.
例えば、本実施の形態では車両に搭載される衝突軽減装置に物体検出装置を適用したが、車間距離制御装置、追従走行装置などの他の運転支援装置や周辺監視装置などの他の装置にも適用可能であり、物体検出装置単体としても活用可能である。また、検出対象としては、前方の車両以外にも、歩行者や自転車などの他の物体を検出することも可能である。また、搭載対象としては、車両以外にも、ロボットなどに搭載することも可能である。 For example, in the present embodiment, the object detection device is applied to the collision mitigation device mounted on the vehicle, but other driving support devices such as an inter-vehicle distance control device and a following traveling device, and other devices such as a surrounding monitoring device. It can be applied and can be used as a single object detection device. In addition to the vehicle in front, other objects such as pedestrians and bicycles can be detected as detection targets. In addition to the vehicle, the vehicle can be mounted on a robot or the like.
また、本実施の形態ではレーダ検出手段としてミリ波レーダを用いる構成としたが、レーザレーダなどの他のレーダを用いてもよい。 In this embodiment, the millimeter wave radar is used as the radar detection means, but other radars such as a laser radar may be used.
また、本実施の形態では撮像手段としてステレオカメラを用いる構成としたが、ステレオカメラ以外のカメラを用いてもよい。 In this embodiment, a stereo camera is used as the imaging unit. However, a camera other than the stereo camera may be used.
また、本実施の形態ではミリ波レーダによる情報に基づくレーダ物標の設定及びステレオカメラによるステレオ画像に基づくステレオ画像物標の設定を衝突軽減ECUで行う構成としたが、ミリ波レーダに処理部を備え、ミリ波レーダでレーダ物標を設定する構成としてもよいし、また、ステレオカメラに画像処理部を備え、ステレオカメラでステレオ画像物標を設定する構成としてもよい。 In this embodiment, the configuration is such that the setting of the radar target based on the information by the millimeter wave radar and the setting of the stereo image target based on the stereo image by the stereo camera are performed by the collision mitigation ECU. The radar target may be set by a millimeter wave radar, or the stereo camera may be provided with an image processing unit, and the stereo image target may be set by the stereo camera.
また、本実施の形態ではフュージョン物標の各情報をバッファリングし、バッファリングしたデータを平滑化する構成としたが、バッファリング及び平滑化を行わない構成としてもよい。 Further, in the present embodiment, each piece of information of the fusion target is buffered and the buffered data is smoothed. However, the buffering and smoothing may be omitted.
また、本実施の形態ではレーダ物標とステレオ物標とを照合してフュージョン物標を設定しているが、レーダ物標とステレオ物標とを照合せず、単にレーダ物標の各情報にステレオ物標の各情報を加えてフュージョン物標を設定してもよい。 In this embodiment, the fusion target is set by comparing the radar target and the stereo target. However, the radar target and the stereo target are not compared, and each information of the radar target is simply used. A fusion target may be set by adding information on stereo targets.
1…衝突軽減装置(物体検出装置)、2…ミリ波レーダ、3…ステレオカメラ、4…ブレーキECU、5…サスペンション制御アクチュエータ、6…シートベルトアクチュエータ、7…ブザー、8…衝突軽減ECU、10…自車両、50…トラス鉄橋、51…支持部材、LF…フュージョン物標、TI…ステレオ画像物標、TL…レーダ物標。 DESCRIPTION OF SYMBOLS 1 ... Collision reduction apparatus (object detection apparatus), 2 ... Millimeter wave radar, 3 ... Stereo camera, 4 ... Brake ECU, 5 ... Suspension control actuator, 6 ... Seat belt actuator, 7 ... Buzzer, 8 ... Collision reduction ECU, 10 ... host vehicle, 50 ... truss bridge, 51 ... support member, LF ... fusion target, TI ... stereo image target, TL ... radar target.
Claims (2)
送信波を送信して前記物体で反射した反射波を受信することにより前記物体を検出するレーダ検出手段と、
前記物体を撮像して画像データを取得する撮像手段と、
前記レーダ検出手段からの信号を基に前記自車両に対する前記物体の位置情報を取得すると共に、前記撮像手段からの前記画像データを基に前記物体の大きさ情報を取得し、前記位置情報および前記大きさ情報に基づいて前記物体の位置及び大きさに関する物体情報を生成する物体情報生成手段と
を備え、
前記物体情報生成手段は、前記レーダ検出手段からの信号を基に得られる前記物体の横方向位置の時間変化率が所定の閾値より大きい場合に、前記物体情報を生成しないか、或いは前記撮像手段からの前記画像データを基に得られる前記大きさ情報の少なくとも一部を前記物体情報から除外することを特徴とする、物体検出装置。 An object detection device for detecting the position and size of an object with respect to the host vehicle,
Radar detection means for detecting the object by transmitting a transmission wave and receiving a reflected wave reflected by the object;
Imaging means for imaging the object and obtaining image data;
The position information of the object with respect to the host vehicle is acquired based on the signal from the radar detection means, the size information of the object is acquired based on the image data from the imaging means, and the position information and the position information Object information generating means for generating object information related to the position and size of the object based on size information;
The object information generation means does not generate the object information when the time change rate of the lateral position of the object obtained based on a signal from the radar detection means is larger than a predetermined threshold value, or the imaging means An object detection apparatus, wherein at least a part of the size information obtained based on the image data from is excluded from the object information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007181273A JP5012270B2 (en) | 2007-07-10 | 2007-07-10 | Object detection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007181273A JP5012270B2 (en) | 2007-07-10 | 2007-07-10 | Object detection device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009019914A true JP2009019914A (en) | 2009-01-29 |
JP5012270B2 JP5012270B2 (en) | 2012-08-29 |
Family
ID=40359693
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007181273A Expired - Fee Related JP5012270B2 (en) | 2007-07-10 | 2007-07-10 | Object detection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5012270B2 (en) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101149800B1 (en) | 2011-12-01 | 2012-06-08 | 국방과학연구소 | Detection apparatus and the method for concealed obstacle using uwb radar and stereo cameras |
WO2013157546A1 (en) * | 2012-04-16 | 2013-10-24 | 株式会社デンソー | Radar control device and radar control method |
JP2015078926A (en) * | 2013-10-17 | 2015-04-23 | 株式会社デンソー | Target detection device |
JP2017181450A (en) * | 2016-03-31 | 2017-10-05 | 株式会社デンソー | Object recognition device and object recognition method |
US10061017B2 (en) | 2013-03-04 | 2018-08-28 | Denso Corporation | Target recognition apparatus |
CN109886308A (en) * | 2019-01-25 | 2019-06-14 | 中国汽车技术研究中心有限公司 | One kind being based on the other dual sensor data fusion method of target level and device |
JP2019175423A (en) * | 2018-03-27 | 2019-10-10 | パナソニックIpマネジメント株式会社 | Information processing system and information processing method |
JP2020523660A (en) * | 2017-06-14 | 2020-08-06 | モービルアイ ビジョン テクノロジーズ リミテッド | Combining a framework of driving information for autonomous driving with batch adjustment |
CN113325415A (en) * | 2021-04-20 | 2021-08-31 | 武汉光庭信息技术股份有限公司 | Fusion method and system for vehicle radar data and camera data |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3358364A4 (en) | 2015-09-30 | 2019-03-13 | Sony Corporation | Signal processing device, signal processing method, program, and object detection system |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0534460A (en) * | 1991-07-31 | 1993-02-09 | Nissan Motor Co Ltd | Detecting device for target ahead |
JP2000056019A (en) * | 1998-08-07 | 2000-02-25 | Honda Motor Co Ltd | Object detecting device |
JP2001330665A (en) * | 2000-05-18 | 2001-11-30 | Fujitsu Ten Ltd | On-vehicle object detector using radar and image processing |
JP2004085337A (en) * | 2002-08-27 | 2004-03-18 | Fujitsu Ltd | Vehicle detection method and vehicle detection device |
JP2004117071A (en) * | 2002-09-24 | 2004-04-15 | Fuji Heavy Ind Ltd | Vehicle surroundings monitoring apparatus and traveling control system incorporating the same |
JP2006047057A (en) * | 2004-08-03 | 2006-02-16 | Fuji Heavy Ind Ltd | Outside-vehicle monitoring device, and traveling control device provided with this outside-vehicle monitoring device |
JP2006292621A (en) * | 2005-04-13 | 2006-10-26 | Toyota Motor Corp | Object detection apparatus |
JP2007093347A (en) * | 2005-09-28 | 2007-04-12 | Nissan Motor Co Ltd | Stopped vehicle determination apparatus, automobile, and stopped vehicle determination method |
JP2007226680A (en) * | 2006-02-24 | 2007-09-06 | Toyota Motor Corp | Object detection system |
-
2007
- 2007-07-10 JP JP2007181273A patent/JP5012270B2/en not_active Expired - Fee Related
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0534460A (en) * | 1991-07-31 | 1993-02-09 | Nissan Motor Co Ltd | Detecting device for target ahead |
JP2000056019A (en) * | 1998-08-07 | 2000-02-25 | Honda Motor Co Ltd | Object detecting device |
JP2001330665A (en) * | 2000-05-18 | 2001-11-30 | Fujitsu Ten Ltd | On-vehicle object detector using radar and image processing |
JP2004085337A (en) * | 2002-08-27 | 2004-03-18 | Fujitsu Ltd | Vehicle detection method and vehicle detection device |
JP2004117071A (en) * | 2002-09-24 | 2004-04-15 | Fuji Heavy Ind Ltd | Vehicle surroundings monitoring apparatus and traveling control system incorporating the same |
JP2006047057A (en) * | 2004-08-03 | 2006-02-16 | Fuji Heavy Ind Ltd | Outside-vehicle monitoring device, and traveling control device provided with this outside-vehicle monitoring device |
JP2006292621A (en) * | 2005-04-13 | 2006-10-26 | Toyota Motor Corp | Object detection apparatus |
JP2007093347A (en) * | 2005-09-28 | 2007-04-12 | Nissan Motor Co Ltd | Stopped vehicle determination apparatus, automobile, and stopped vehicle determination method |
JP2007226680A (en) * | 2006-02-24 | 2007-09-06 | Toyota Motor Corp | Object detection system |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101149800B1 (en) | 2011-12-01 | 2012-06-08 | 국방과학연구소 | Detection apparatus and the method for concealed obstacle using uwb radar and stereo cameras |
WO2013157546A1 (en) * | 2012-04-16 | 2013-10-24 | 株式会社デンソー | Radar control device and radar control method |
US10061017B2 (en) | 2013-03-04 | 2018-08-28 | Denso Corporation | Target recognition apparatus |
JP2015078926A (en) * | 2013-10-17 | 2015-04-23 | 株式会社デンソー | Target detection device |
US11346922B2 (en) | 2016-03-31 | 2022-05-31 | Denso Corporation | Object recognition apparatus and object recognition method |
JP2017181450A (en) * | 2016-03-31 | 2017-10-05 | 株式会社デンソー | Object recognition device and object recognition method |
JP2020523660A (en) * | 2017-06-14 | 2020-08-06 | モービルアイ ビジョン テクノロジーズ リミテッド | Combining a framework of driving information for autonomous driving with batch adjustment |
JP2019175423A (en) * | 2018-03-27 | 2019-10-10 | パナソニックIpマネジメント株式会社 | Information processing system and information processing method |
JP7117566B2 (en) | 2018-03-27 | 2022-08-15 | パナソニックIpマネジメント株式会社 | Information processing system and information processing method |
CN109886308A (en) * | 2019-01-25 | 2019-06-14 | 中国汽车技术研究中心有限公司 | One kind being based on the other dual sensor data fusion method of target level and device |
CN109886308B (en) * | 2019-01-25 | 2023-06-23 | 中国汽车技术研究中心有限公司 | Target level-based dual-sensor data fusion method and device |
CN113325415A (en) * | 2021-04-20 | 2021-08-31 | 武汉光庭信息技术股份有限公司 | Fusion method and system for vehicle radar data and camera data |
CN113325415B (en) * | 2021-04-20 | 2023-10-13 | 武汉光庭信息技术股份有限公司 | Fusion method and system of vehicle radar data and camera data |
Also Published As
Publication number | Publication date |
---|---|
JP5012270B2 (en) | 2012-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5012270B2 (en) | Object detection device | |
US9753130B2 (en) | Target detection apparatus | |
JP4428277B2 (en) | Object detection device | |
JP4595833B2 (en) | Object detection device | |
JP5862785B2 (en) | Collision determination device and collision determination method | |
US10836388B2 (en) | Vehicle control method and apparatus | |
JP6787157B2 (en) | Vehicle control device | |
JP4534846B2 (en) | Object detection device | |
JP6856452B2 (en) | Target judgment device and driving support system | |
JP6380232B2 (en) | Object detection apparatus and object detection method | |
WO2017111135A1 (en) | Travel assistance device and travel assistance method | |
WO2018079252A1 (en) | Object detecting device | |
US20190001973A1 (en) | Driving support device and driving support method | |
US11003924B2 (en) | System and method for detecting close cut-in vehicle based on free space signal | |
JP2007310741A (en) | Solid object recognition device | |
JP2006292621A (en) | Object detection apparatus | |
JP6432538B2 (en) | Collision prediction device | |
JP2019052920A (en) | Object detector, object detection method and vehicle control system | |
US11407390B2 (en) | Vehicle control apparatus and vehicle control method | |
JP6531689B2 (en) | Moving trajectory detection device, moving object detecting device, moving trajectory detection method | |
JP2006266927A (en) | Object detector | |
JP4670449B2 (en) | Object detection device | |
JP4941265B2 (en) | Obstacle determination device | |
WO2019092874A1 (en) | Object recognition device and object recognition method | |
WO2017154471A1 (en) | Crossing determination device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100305 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111101 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111102 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111111 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120508 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120521 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150615 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5012270 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150615 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |