JP2020047177A - Object identification device, object identification system and object identification method in vehicle - Google Patents

Object identification device, object identification system and object identification method in vehicle Download PDF

Info

Publication number
JP2020047177A
JP2020047177A JP2018177091A JP2018177091A JP2020047177A JP 2020047177 A JP2020047177 A JP 2020047177A JP 2018177091 A JP2018177091 A JP 2018177091A JP 2018177091 A JP2018177091 A JP 2018177091A JP 2020047177 A JP2020047177 A JP 2020047177A
Authority
JP
Japan
Prior art keywords
vehicle
information
detection point
road boundary
detector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018177091A
Other languages
Japanese (ja)
Inventor
前田 優
Masaru Maeda
優 前田
崇治 小栗
Takaharu Oguri
崇治 小栗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Soken Inc
Original Assignee
Denso Corp
Soken Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Soken Inc filed Critical Denso Corp
Priority to JP2018177091A priority Critical patent/JP2020047177A/en
Publication of JP2020047177A publication Critical patent/JP2020047177A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

To achieve identification of an object even when a detection result from one detector is insufficient, in identifying an object using a plurality of detectors.SOLUTION: An object identification device 100 is provided for a vehicle 500. The object identification device 100 includes: an acquisition section 103 for acquiring the information of a target in the vicinity of an own vehicle from a first type of detector 221 capable of detecting a road boundary line between a three-dimensional object and a road and a second type of detector 211 different from the first type of detector; and a control section 101, Pr1 for identifying an object in the vicinity of the own vehicle, using road boundary line information acquired from the first type of detector and detection point information acquired from the second detector in a mutual complement manner.SELECTED DRAWING: Figure 1

Description

本開示は車両において用いられる車両周囲の対象物を特定するための技術に関する。   The present disclosure relates to a technique for specifying an object around a vehicle used in a vehicle.

カメラおよびミリ波レーダといった複数の物標検出噐を用いて、車両の運転支援を実行する技術が知られている。これら技術では、例えば、各物標検出器の検出結果を融合するフュージョン処理によって対象物が特定され、特定された対象物に対する運転支援が実行される(例えば、引用文献1)。   2. Description of the Related Art There is known a technology for performing driving assistance of a vehicle using a plurality of target detectors such as a camera and a millimeter wave radar. In these techniques, for example, an object is specified by fusion processing that fuses the detection results of the target detectors, and driving support for the specified object is executed (for example, Reference 1).

特開2010−271788号公報JP 2010-271788 A

しかしながら、フュージョン処理によって対象物が特定される技術では、物標検出器のいずれか一方からの検出結果が不十分な場合、例えば、検出結果の一部が欠落している場合、対象物を特定できなかったり、対象物の特定精度が低下したりするという問題がある。対象物を特定できなかったり、対象物の特定精度が低下する場合には、運転支援の実行精度の低下、あるいは、運転支援の実行の停止といった問題がある。   However, in the technology in which the target is specified by the fusion processing, when the detection result from one of the target detectors is insufficient, for example, when a part of the detection result is missing, the target is specified. There is a problem that it is not possible or the accuracy of specifying the object is reduced. When the target object cannot be specified or the accuracy of specifying the object is reduced, there is a problem that the execution accuracy of the driving support is reduced or the execution of the driving support is stopped.

したがって、複数の検出器を用いて対象物を特定する際に、一方の検出器からの検出結果が不十分である場合であっても対象物を特定できることが求められている。   Therefore, when specifying an object using a plurality of detectors, it is required that the object can be specified even when the detection result from one of the detectors is insufficient.

本開示は、以下の態様として実現することが可能である。   The present disclosure can be realized as the following aspects.

第1の態様は、車両における対象物特定装置を提供する。第1の態様に係る車両における対象物特定装置は、立体物と道路との道路境界線を検出可能な第1種の検出器および前記第1種の検出器とは異なる第2種の検出器から自車両の周囲における物標の情報を取得する取得部と、前記第1種の検出器から取得された道路境界線情報と前記第2種の検出器から取得された検出点情報とを相互補完的に用いて、自車両の周囲における対象物を特定する制御部と、を備える。   A first aspect provides an object specifying device in a vehicle. An object specifying device in a vehicle according to a first aspect includes a first type detector capable of detecting a road boundary between a three-dimensional object and a road, and a second type detector different from the first type detector. An acquisition unit that acquires information on a target around the own vehicle from the vehicle, and exchanges road boundary line information acquired from the first type detector with detection point information acquired from the second type detector. And a control unit for complementarily using the control unit to specify an object around the own vehicle.

第1の態様係る車両における対象物特定装置によれば、複数の検出器を用いて対象物を特定する際に、一方の検出器からの検出結果が不十分である場合であっても対象物を特定できる。   According to the object specifying device for a vehicle according to the first aspect, when specifying an object using a plurality of detectors, even if the detection result from one of the detectors is insufficient. Can be specified.

第2の態様は、車両における対象物特定方法を提供する。第2の態様に係る車両における対象物特定方法によれば、立体物と道路との境界線を検出可能な第1種の検出器から自車両の周囲における物標の情報を取得し、前記第1種の検出器とは異なる第2種の検出器から自車両の周囲における物標の情報を取得し、前記第1種の検出器から取得された道路境界線情報と前記第2種の検出器から取得された検出点情報とを相互補完的に用いて、自車両の周囲における対象物を特定すること、を備える。   A second aspect provides a method for specifying an object in a vehicle. According to the method for specifying an object in a vehicle according to the second aspect, information on a target around the own vehicle is acquired from a first type of detector capable of detecting a boundary between a three-dimensional object and a road, The information of the target around the own vehicle is acquired from a second type of detector different from the one type of detector, and the road boundary line information acquired from the first type of detector and the second type of detection are obtained. Using the detection point information acquired from the container to complement each other to specify an object around the own vehicle.

第2の態様係る車両における対象物特定方法によれば、複数の検出器を用いて対象物を特定する際に、一方の検出器からの検出結果が不十分である場合であっても対象物を特定できる。なお、本開示は、車両における対象物特定プログラムまたは当該プログラムを記録するコンピュータ読み取り可能記録媒体としても実現可能である。   According to the method for specifying an object in the vehicle according to the second aspect, when specifying the object using a plurality of detectors, even if the detection result from one of the detectors is insufficient, Can be specified. Note that the present disclosure can also be realized as an object specifying program in a vehicle or a computer-readable recording medium that records the program.

第1の実施形態に係る対象物特定装置が搭載された車両の一例を示す説明図。FIG. 1 is an explanatory diagram illustrating an example of a vehicle equipped with an object identification device according to a first embodiment. 第1の実施形態に係る対象物特定装置の機能的構成を示すブロック図。FIG. 2 is a block diagram showing a functional configuration of the target object specifying device according to the first embodiment. 第1の実施形態に係る対象物特定装置によって実行される対象物特定処理の処理フローを示すフローチャート。5 is a flowchart illustrating a processing flow of an object specifying process executed by the object specifying apparatus according to the first embodiment. 車道を走行中の自車両と道路境界線およびガードレールとを示す説明図。Explanatory drawing which shows the own vehicle which is driving | running on a roadway, a road boundary line, and a guardrail. 図4に示す状態にてカメラによって得られる道路境界線情報を概念的に示す説明図。FIG. 5 is an explanatory diagram conceptually showing road boundary line information obtained by a camera in the state shown in FIG. 4. 図4に示す状態にてミリ波レーダによって得られる検出点情報を概念的に示す説明図。FIG. 5 is an explanatory view conceptually showing detection point information obtained by the millimeter wave radar in the state shown in FIG. 4. 図5および図6に示す道路境界線情報および検出点情報をフュージョン処理して、検出点が補完された状態を概念的に示す説明図。FIG. 7 is an explanatory view conceptually showing a state in which the road boundary line information and the detection point information shown in FIGS. 5 and 6 are subjected to fusion processing and the detection points are complemented. 図4に示す状態にてカメラおよびミリ波レーダによって得られる道路境界線情報および検出点情報を重ね合わせて概念的に示す説明図。FIG. 5 is an explanatory diagram conceptually showing road boundary line information and detection point information obtained by a camera and a millimeter wave radar in the state shown in FIG. 4 in a superimposed manner. 図8に示す道路境界線情報および検出点情報をフュージョン処理して、道路境界線が補完された状態を概念的に示す説明図。FIG. 9 is an explanatory view conceptually showing a state in which the road boundary line and the detection point information shown in FIG. 8 are subjected to fusion processing to complement the road boundary line. 第2の実施形態において用いられる信頼度と検出器との対応関係を示す説明図。FIG. 7 is an explanatory diagram showing a correspondence between reliability and a detector used in the second embodiment. 第3の実施形態において実行される運転支援処理の処理フローを示すフローチャート。9 is a flowchart illustrating a processing flow of a driving assistance process executed in the third embodiment.

本開示に係る車両における対象物特定装置、対象物特定システムおよび対象物特定方法について、いくつかの実施形態に基づいて以下説明する。   An object specifying device, an object specifying system, and an object specifying method in a vehicle according to the present disclosure will be described below based on some embodiments.

第1の実施形態:
図1に示すように、第1の実施形態に係る車両における対象物特定装置100は、車両500に搭載されて用いられる。対象物特定装置100は、少なくとも制御部および取得部を備えていれば良く、対象物特定システム10は、対象物特定装置100に加え、検出器としてのレーダECU21、ミリ波レーダ211、カメラECU22およびカメラ221を備えている。第1の実施形態における車両500は、運転支援を実現するために、回転角センサ23、車輪速度センサ24、ヨーレートセンサ25、運転支援装置31を備えている。車両500はさらに、車輪501、制動装置502、制動ライン503、ステアリングホイール504、フロントガラス510、フロントバンパ520およびリアバンパ521を備えている。車両500は、内燃機関および電動機の少なくとも一方を車両走行用の駆動力源として備えている。
First embodiment:
As shown in FIG. 1, an object specifying device 100 in a vehicle according to the first embodiment is used by being mounted on a vehicle 500. The target object specifying device 100 may include at least a control unit and an acquisition unit. The target object specifying system 10 includes, in addition to the target object specifying device 100, a radar ECU 21 as a detector, a millimeter wave radar 211, a camera ECU 22, A camera 221 is provided. The vehicle 500 according to the first embodiment includes a rotation angle sensor 23, a wheel speed sensor 24, a yaw rate sensor 25, and a driving support device 31 in order to realize driving support. The vehicle 500 further includes wheels 501, a braking device 502, a braking line 503, a steering wheel 504, a windshield 510, a front bumper 520, and a rear bumper 521. The vehicle 500 includes at least one of an internal combustion engine and an electric motor as a driving force source for running the vehicle.

レーダECU21は、電波を射出して物標からの反射波を検出するミリ波レーダ211と接続されており、ミリ波レーダ211により取得された反射波を用いて検出点によって物標を表す検出信号を生成し、出力する。カメラECU22は、単眼のカメラ221と接続されており、カメラ221によって取得された撮像画像から物標形状を特定し、量子化を施して、ノード、すなわち、特徴点によって物標を示す検出信号を生成し、出力する。物標形状の特定は、機械学習を用いたセマンティック・セグメンテーションなどによって実行される。本実施形態においては、特定された物標の形状パターンを示す形状線、すなわち画素列に対して量子化処理が実行され、複数の離散的な特徴点が得られる。検出信号は、各特徴点に対応する画素データを含む信号である。各ECUは、演算部、記憶部および入出力部を備えるマイクロプロセッサである。なお、レーダECU21およびミリ波レーダ211は第2種の検出器に相当し、並びにカメラECU22およびカメラ221は第2種の検出器とは異なる第1種の検出器に相当する。第1種の検出器は、少なくとも特徴点の点列によって物標の形状を3次元的に認識可能な検出器であり撮像装置が該当する、撮像装置としては、カメラ221の他に、3Dライダーが用いられても良い。カメラ221は、2以上のカメラによって構成されるステレオカメラやマルチカメラであっても良い。第2種の検出器は、一般的に自車両と物標との間の距離を測距するための検出器であり、反射波を検出する。第2種の検出器としては、ミリ波レーダ211の他に、ライダー(LIDAR:レーザレーダ)や、音波を射出しその反射波を検出する超音波検出器が用いられても良い。   The radar ECU 21 is connected to a millimeter-wave radar 211 that emits radio waves and detects a reflected wave from the target, and uses a reflected wave acquired by the millimeter-wave radar 211 to generate a detection signal representing the target by a detection point. Is generated and output. The camera ECU 22 is connected to the monocular camera 221, specifies a target shape from a captured image acquired by the camera 221, performs quantization, and outputs a detection signal indicating the target by a node, that is, a feature point. Generate and output. The specification of the target shape is executed by semantic segmentation using machine learning or the like. In the present embodiment, quantization processing is performed on a shape line indicating the shape pattern of the specified target, that is, a pixel row, and a plurality of discrete feature points are obtained. The detection signal is a signal including pixel data corresponding to each feature point. Each ECU is a microprocessor including a calculation unit, a storage unit, and an input / output unit. The radar ECU 21 and the millimeter-wave radar 211 correspond to a second type of detector, and the camera ECU 22 and the camera 221 correspond to a first type of detector different from the second type of detector. The first type of detector is a detector capable of three-dimensionally recognizing the shape of a target by at least a point sequence of feature points, and corresponds to an imaging device. May be used. The camera 221 may be a stereo camera or a multi camera composed of two or more cameras. The second type of detector is generally a detector for measuring the distance between the host vehicle and the target, and detects a reflected wave. In addition to the millimeter-wave radar 211, a lidar (LIDAR: laser radar) or an ultrasonic detector that emits a sound wave and detects a reflected wave may be used as the second type of detector.

車両500には、車両500の制動を実現するための制動装置502、車両500の操舵を実現するためのステアリングホイール504が備えられている。制動装置502は、各車輪501に備えられている。各制動装置502は、例えば、ディスクブレーキ、ドラムブレーキであり、運転者の制動ペダル操作に応じて制動ライン503を介して供給されるブレーキ液圧に応じた制動力で各車輪501を制動し、車両500の制動を実現する。制動ライン503には制動ペダル操作に応じたブレーキ液圧を発生させるブレーキピストンおよびブレーキ液ラインが含まれる。なお、制動ライン503としては、ブレーキ液ラインに代えて、制御信号線とし、各制動装置502に備えられているアクチュエータを作動させる構成が採用されても良い。ステアリングホイール504は、ステアリングロッド、操舵機構および転舵軸44を含む操舵装置42を介して前側の車輪501と接続されている。   The vehicle 500 is provided with a braking device 502 for realizing braking of the vehicle 500 and a steering wheel 504 for realizing steering of the vehicle 500. The braking device 502 is provided for each wheel 501. Each braking device 502 is, for example, a disc brake or a drum brake, and brakes each wheel 501 with a braking force corresponding to a brake fluid pressure supplied via a braking line 503 in response to a driver's operation of a brake pedal. The braking of the vehicle 500 is realized. The brake line 503 includes a brake piston and a brake fluid line that generate a brake fluid pressure according to the operation of the brake pedal. Note that, instead of the brake fluid line, a control signal line may be used as the brake line 503, and a configuration for operating an actuator provided in each brake device 502 may be employed. The steering wheel 504 is connected to a front wheel 501 via a steering device 42 including a steering rod, a steering mechanism, and a steering shaft 44.

図2に示すように、対象物特定装置100は、制御部としての中央処理装置(CPU)101およびメモリ102、取得部としての入出力インタフェース103、並びにバス104を備えている。CPU101、メモリ102および入出力インタフェース103はバス104を介して双方向通信可能に接続されている。メモリ102は、自車両周囲の対象物を特定するための対象物特定プログラムPr1、自車両の運転支援を実行するための運転支援プログラムPr2を不揮発的且つ読み出し専用に格納するメモリ、例えばROMと、CPU101による読み書きが可能なメモリ、例えばRAMとを含んでいる。CPU101はメモリ102に格納されている対象物特定プログラムPr1を読み書き可能なメモリに展開して実行することによって制御部としての機能を実現する。なお、CPU101は、単体のCPUであっても良く、各プログラムを実行する複数のCPUであっても良く、あるいは、複数のプログラムを同時実行可能なマルチコアタイプのCPUであっても良い。   As shown in FIG. 2, the target object specifying device 100 includes a central processing unit (CPU) 101 and a memory 102 as a control unit, an input / output interface 103 as an acquisition unit, and a bus 104. The CPU 101, the memory 102, and the input / output interface 103 are connected via a bus 104 so as to be capable of bidirectional communication. The memory 102 stores, in a non-volatile and read-only manner, an object specifying program Pr1 for specifying an object around the host vehicle and a driving support program Pr2 for executing driving support of the host vehicle, for example, a ROM; It includes a memory readable and writable by the CPU 101, for example, a RAM. The CPU 101 realizes a function as a control unit by expanding the object specifying program Pr1 stored in the memory 102 into a readable and writable memory and executing the program. Note that the CPU 101 may be a single CPU, a plurality of CPUs that execute each program, or a multi-core CPU that can execute a plurality of programs simultaneously.

入出力インタフェース103には、レーダECU21、カメラECU22、回転角センサ23、車輪速度センサ24およびヨーレートセンサ25、並びに運転支援装置31がそれぞれ制御信号線を介して接続されている。レーダECU21、カメラECU22、回転角センサ23、車輪速度センサ24、ヨーレートセンサ25からは、検出信号が入力され、運転支援装置31には、要求トルクに応じた指示する制御信号、制動レベルを指示する制御信号、操舵角を指示する制御信号が出力される。したがって、入出力インタフェース103は、各種センサによって検出された自車両の周囲における物標の情報を取得するための取得部として機能する。   A radar ECU 21, a camera ECU 22, a rotation angle sensor 23, a wheel speed sensor 24, a yaw rate sensor 25, and a driving support device 31 are connected to the input / output interface 103 via control signal lines. Detection signals are input from the radar ECU 21, the camera ECU 22, the rotation angle sensor 23, the wheel speed sensor 24, and the yaw rate sensor 25, and the driving support device 31 is instructed to provide a control signal according to a required torque and a braking level. A control signal and a control signal indicating a steering angle are output. Therefore, the input / output interface 103 functions as an acquisition unit for acquiring information on a target around the vehicle detected by various sensors.

ミリ波レーダ211はミリ波を射出し、物標によって反射された反射波を受信することによって、車両500に対する物標の距離、相対速度および角度を検出するセンサである。本実施形態においては、下端部が道路に埋設されているガードレールの支柱を検出するために用いられる。本実施形態において、ミリ波レーダ211は、フロントバンパ520およびリアバンパ521に配置されている。ミリ波レーダ211から出力される未処理の検出信号は、レーダECU21において処理され、物標の1または複数の代表位置を示す検出点または検出点列からなる検出信号として対象物特定装置100に入力される。あるいは、レーダECU21を備えることなく未処理の受信波を示す信号が検出信号としてミリ波レーダ211から対象物特定装置100に入力されても良い。未処理の受信波が検出信号として用いられる場合には、対象物特定装置100において物標の位置および距離を特定するための信号処理が実行される。   The millimeter-wave radar 211 is a sensor that detects a distance, a relative speed, and an angle of the target with respect to the vehicle 500 by emitting a millimeter wave and receiving a reflected wave reflected by the target. In the present embodiment, the lower end is used to detect a pillar of a guardrail buried in a road. In the present embodiment, the millimeter wave radar 211 is arranged on the front bumper 520 and the rear bumper 521. The unprocessed detection signal output from the millimeter-wave radar 211 is processed by the radar ECU 21 and input to the target object identification device 100 as a detection signal including a detection point or a sequence of detection points indicating one or more representative positions of the target. Is done. Alternatively, a signal indicating an unprocessed received wave may be input from the millimeter wave radar 211 to the target object specifying device 100 as a detection signal without including the radar ECU 21. When an unprocessed received wave is used as a detection signal, the target object specifying device 100 executes signal processing for specifying the position and distance of a target.

カメラ221は、CCD等の撮像素子を1つ備える撮像装置であり、可視光を受光することによって対象物の外形情報または形状情報を検出結果である画像データとして出力するセンサである。カメラ221から出力される画像データに対しては、カメラECU22によって、例えば、セマンティック・セグメンテーションを用いた対象物の分類処理が実施され、同一の対象物を示す画素を結合することで各対象物を示す画像領域がそれぞれ抽出される。本実施形態においては、カメラ221は、道路と道路近傍または道路上の立体物とをそれぞれ抽出し、道路と立体物との道路境界線を検出可能である。検出された道路境界線、すなわち画素列に対して量子化処理が実行され、道路境界線が離散的な特徴点で表されるフレーム画像が道路境界線情報として生成される。量子化処理は、例えば、セグメンテーションが施された画像データを鳥瞰変換し、自車両の前方中央を原点として予め定められた所定角度で走査した結果得られる複数の放射状の線と道路境界線との交点を特徴点点として抽出することにより実行される。各フレーム画像に含まれる特徴点、すなわち、画素には、例えば、画素値情報(R、G,B)、位置情報としての座標情報が関連付けられている。カメラECU22を別途備えることなく、カメラ221によって撮像された未処理の画像データが検出信号として対象物特定装置100に入力されても良い。この場合には、対象物特定装置100において物標のセグメンテーション処理、量子化処理が実行される。本実施形態において、カメラ221はフロントガラス510の上部中央に配置されている。カメラ221から出力される画素データは、モノクロの画素データであっても良い。この場合には、セグメンテーションに際して輝度値が用いられる。   The camera 221 is an imaging device including one imaging element such as a CCD, and is a sensor that receives visible light and outputs outer shape information or shape information of an object as image data as a detection result. The image data output from the camera 221 is subjected to, for example, object classification processing using semantic segmentation by the camera ECU 22, and the respective objects are combined by combining pixels indicating the same object. The indicated image regions are respectively extracted. In the present embodiment, the camera 221 can extract a road and a three-dimensional object near or on the road, and detect a road boundary between the road and the three-dimensional object. Quantization processing is performed on the detected road boundary, that is, the pixel sequence, and a frame image in which the road boundary is represented by discrete feature points is generated as road boundary information. The quantization process is, for example, a bird's-eye view conversion of the image data subjected to the segmentation, and a plurality of radial lines and a road boundary obtained as a result of scanning at a predetermined angle with the front center of the own vehicle as an origin. This is executed by extracting the intersection as a feature point. For example, pixel value information (R, G, B) and coordinate information as position information are associated with a feature point, that is, a pixel included in each frame image. Without providing the camera ECU 22 separately, unprocessed image data captured by the camera 221 may be input to the target object identification device 100 as a detection signal. In this case, target object segmentation processing and quantization processing are performed in the target object identification device 100. In the present embodiment, the camera 221 is arranged at the upper center of the windshield 510. The pixel data output from the camera 221 may be monochrome pixel data. In this case, the luminance value is used in the segmentation.

回転角センサ23は、ステアリングホイール504の操舵によりステアリンロッドに生じるねじれ量、すなわち、操舵トルク、を、ねじれ量に比例する電圧値として検出するトルクセンサであり、ステアリングホイール504の操舵角を検出する。本実施形態において、回転角センサ23は、ステアリングホイール504と操舵機構とを接続するステアリングロッドに備えられている。   The rotation angle sensor 23 is a torque sensor that detects the amount of torsion generated on the steer rod by steering of the steering wheel 504, that is, the steering torque, as a voltage value proportional to the amount of torsion, and detects the steering angle of the steering wheel 504. . In the present embodiment, the rotation angle sensor 23 is provided on a steering rod that connects the steering wheel 504 and the steering mechanism.

車輪速度センサ24は、車輪501の回転速度を検出するセンサであり、各車輪501に備えられている。車輪速度センサ24から出力される検出信号は、車輪速度に比例する電圧値または車輪速度に応じた間隔を示すパルス波である。車輪速度センサ24からの検出信号を用いることによって、車両速度、車両の走行距離等の情報を得ることができる。   The wheel speed sensor 24 is a sensor that detects the rotation speed of the wheel 501, and is provided for each wheel 501. The detection signal output from the wheel speed sensor 24 is a voltage value proportional to the wheel speed or a pulse wave indicating an interval corresponding to the wheel speed. By using the detection signal from the wheel speed sensor 24, information such as the vehicle speed and the traveling distance of the vehicle can be obtained.

ヨーレートセンサ25は、車両500の回転角速度を検出するセンサである。ヨーレートセンサ25は、例えば、車両の中央部に配置されている。ヨーレートセンサ25から出力される検出信号は、回転方向と角速度に比例する電圧値である。   The yaw rate sensor 25 is a sensor that detects the rotational angular velocity of the vehicle 500. The yaw rate sensor 25 is disposed, for example, at the center of the vehicle. The detection signal output from the yaw rate sensor 25 is a voltage value proportional to the rotation direction and the angular velocity.

運転支援装置31は、運転者によるアクセルペダル操作に応じて、または、運転者によるアクセルペダル操作とは無関係に内燃機関ICEの出力を制御し、運転者による制動ペダル操作とは無関係に制動装置502による制動を実現し、あるいは、運転者によるステアリングホイール504の操作とは無関係に操舵装置42による操舵を実現する。   The driving support device 31 controls the output of the internal combustion engine ICE in accordance with the operation of the accelerator pedal by the driver or independently of the operation of the accelerator pedal by the driver, and controls the braking device 502 independently of the operation of the brake pedal by the driver. Or the steering by the steering device 42 is realized independently of the operation of the steering wheel 504 by the driver.

第1の実施形態に係る対象物特定装置100により実行される対象物特定処理について説明する。図3に示す処理ルーチンは、例えば、車両の制御システムの始動時から停止時まで、または、スタートスイッチがオンされてからスタートスイッチがオフされるまで、所定の時間間隔にて繰り返して実行される。CPU101が対象物特定プログラムPr1を実行することによって図3に示す対象物特定処理が実行される。自車両M0は、図4に示すように道路を走行中である。図4において、自車線と対向車線とはセンタラインCLによって区分されており、各車線の道路端部には、縁石SSが配置され、更には、支柱GPと支柱GPによって保持されているビームGFとによって構成されるガードレールGRが設置されている。   An object specifying process executed by the object specifying apparatus 100 according to the first embodiment will be described. The processing routine shown in FIG. 3 is repeatedly executed at a predetermined time interval, for example, from the time when the control system of the vehicle is started to the time when it is stopped, or until the start switch is turned off after the start switch is turned on. . When the CPU 101 executes the object specifying program Pr1, the object specifying process shown in FIG. 3 is executed. The own vehicle M0 is traveling on a road as shown in FIG. In FIG. 4, the own lane and the oncoming lane are separated by a center line CL, a curb SS is arranged at the road end of each lane, and furthermore, a support GP and a beam GF held by the support GP. Are provided.

CPU101は、入出力インタフェース103を介して、レーダECU21およびカメラECU22から入力される、自車両の周囲の物標を示す検出点情報および撮像画像を取得する(ステップS100)。カメラECU22において特徴点が抽出される場合には、特徴点を情報として含む道路境界線情報がCPU101に入力される。CPU101によって特徴点が抽出される場合には、撮像画像データがCPU101に入力され、道路境界線情報が生成される。道路境界線とは、車道と車道脇に位置する立体物と車道との境界線を意味する、立体物には、例えば、縁石、ガードレールのビーム、草木が含まれる。道路境界線には、この他にも、信号や渋滞にて形成される車列を構成する車両側面、道路に配置して道路工事に際して用いられるフェンスやバリアの面、道路端に形成される人垣を構成する人の胸や背中といった立体物と、道路とによって形成される境界線が含まれ得る。   The CPU 101 obtains detection point information and a captured image, which are input from the radar ECU 21 and the camera ECU 22 via the input / output interface 103, indicating target objects around the host vehicle (step S100). When a feature point is extracted in the camera ECU 22, road boundary information including the feature point as information is input to the CPU 101. When a feature point is extracted by the CPU 101, captured image data is input to the CPU 101, and road boundary line information is generated. The road boundary means a boundary between the road and a three-dimensional object located on the side of the road. The three-dimensional object includes, for example, a curb, a guardrail beam, and a plant. In addition to the road boundaries, the side of the vehicle that constitutes a train formed by traffic lights and traffic jams, the surface of fences and barriers that are placed on the road and used for road construction, and the fences formed at the road edges May be included by the three-dimensional object such as the chest and the back of the person and the road formed by the road.

CPU101は、道路境界線情報の信頼度が高いか否か、すなわち、道路境界線情報が信頼度を有しているか否かを判定する(ステップS102)。CPU101は、例えば、道路境界線情報が道路境界線を連続的に示しているか否か、すなわち、特徴点が連続的な点列を形成しているか否かを判定し、特徴点が連続的な点を形成していると判定した場合には、道路境界線情報の信頼度が高いと判定する。より具体的には、注目する道路境界線を形成する特徴点が規則的に距離を保って直線形状または曲線形状を成している場合に特徴点が連続的な点列を形成していると判定される。信頼度は、道路境界線情報に含まれる特徴点の特性が予め定められた条件を満たし、直線または曲線の道路境界線として用いるに足りる場合に高いと判定され、予め定められた条件には、上記の例示以外に、あるいは、上記の例示に加えて、
(1)注目する道路境界線を形成する特徴点が規則的に距離を保って直線形状または曲線形状を成しており、直線形状または曲線形状を成している特徴点の数が基準値よりも多い、すなわち、特徴点が隣接していること、
(2)特徴点に対応する画素値のRGB値が近いこと、
(3)特徴点が同一の物標に対応する画像領域に存在すること、
(4)特徴点が同一位置にて時間的に継続して得られること、
の少なくともいずれか一つが含まれる。
The CPU 101 determines whether or not the reliability of the road boundary information is high, that is, whether or not the road boundary information has reliability (step S102). The CPU 101 determines, for example, whether or not the road boundary information continuously indicates the road boundary, that is, whether or not the feature points form a continuous point sequence. When it is determined that a point is formed, it is determined that the reliability of the road boundary line information is high. More specifically, when the feature points forming the road boundary line of interest regularly form a linear or curved shape while keeping a distance, the feature points form a continuous point sequence. Is determined. The reliability is determined to be high when the characteristic of the feature point included in the road boundary information satisfies a predetermined condition and is sufficient to be used as a straight or curved road boundary, and the predetermined condition includes: In addition to the above examples, or in addition to the above examples,
(1) The feature points forming the road boundary line of interest regularly form a linear shape or a curved shape while keeping a distance, and the number of feature points forming the linear shape or the curved shape is larger than a reference value. That feature points are adjacent,
(2) RGB values of pixel values corresponding to feature points are close,
(3) feature points exist in an image area corresponding to the same target;
(4) that feature points are continuously obtained at the same position over time;
At least one of them is included.

(1)の条件は、量子化処理により得られた各特徴点が等間隔にて直線形状または曲線形状を成していることや、直線形上または曲線形状を成している特徴点の数が基準値よりも多くなる基準等間隔距離にて各特徴点が位置していることを意味する。これらの場合には信頼度は高く、道路境界線が良好に識別され得ると判断される。これに対して、等間隔に位置する特徴点であっても、互いに基準等間隔距離よりも離間している場合、には信頼度は低く、道路境界線は良好に識別され得ないと判断される。
(2)の条件は、隣接する各特徴点の色彩値や輝度が近似していることを意味する。すなわち、隣接する各特徴点が同一の物標に対応することを意味し、この場合には信頼度は高く、道路境界線として良好に識別され得ると判断される。
(3)の条件は、隣接する各特徴点が一の物標が位置すると判定された画像領域内に存在することを意味する。この場合には信頼度は高く、道路境界線として良好に識別され得ると判断される。
(4)の条件は、経時的に取得される複数画像フレームにおいて、各特徴点が同一位置に位置し続けることを意味する。すなわち、道路境界線は移動物ではないため、時間が経過しても任意の位置に存在する各特徴点は同一位置に存在するはずである。この場合には信頼度は高く、道路境界線として良好に識別され得ると判断される。なお、同一位置には、完全位置のみなならず、一般的に許容される誤差の範囲内の位置も含まれ得る。
The condition of (1) is that each feature point obtained by the quantization processing has a linear shape or a curved shape at equal intervals, and the number of feature points on a straight line or a curve has Means that each feature point is located at a reference equidistant distance greater than the reference value. In these cases, the reliability is high, and it is determined that the road boundary line can be satisfactorily identified. On the other hand, if the feature points located at equal intervals are separated from each other by more than the reference equal interval distance, the reliability is low and it is determined that the road boundary cannot be satisfactorily identified. You.
The condition (2) means that the color values and luminances of adjacent feature points are similar. That is, it means that each adjacent feature point corresponds to the same target. In this case, it is determined that the reliability is high and the road can be satisfactorily identified as a road boundary.
The condition (3) means that each adjacent feature point exists in the image area where it is determined that one target is located. In this case, the reliability is high, and it is determined that the road can be satisfactorily identified as a road boundary.
The condition (4) means that, in a plurality of image frames acquired over time, each feature point continues to be located at the same position. That is, since the road boundary is not a moving object, each feature point existing at an arbitrary position should exist at the same position even after a lapse of time. In this case, the reliability is high, and it is determined that the road can be satisfactorily identified as a road boundary. In addition, the same position may include not only a perfect position but also a position within a generally allowable error range.

CPU101は、道路境界線情報の信頼度が高いと判定すると(ステップS102:Yes)、検出点情報の信頼度が高いか否か、すなわち、検出点情報が信頼度を有しているか否かを判定する(ステップS104)。CPU101は、例えば、検出点情報が一定間隔の検出点列を示しているか否か、すなわち、検出点が均一間隔の検出点列を形成し、検出点が均一間隔の検出点列を形成していると判定した場合には、検出点情報の信頼度が高いと判定する。より具体的には、注目する検出点群が規則的に距離を保って直線形状または曲線形状を成している場合に、検出点が均一間隔の検出点列を形成していると判定される。信頼度は、検出点情報に含まれる検出点の特性が予め定められた条件を満たし、本実施形態においては、ガードレールの支柱として用いるに足りるか否かにより判定される。なお、検出点情報は、自車両のミリ波レーダ211に対して非平行な部位を持つ物標、すなわち、反射波が自車両に返ってくる部位を持つ物標から得ることができる。したがって、検出点情報に含まれる検出点としては、この他に、信号や渋滞にて形成される車列を構成する車両の角部、道路に配置して道路工事に際して用いられるフェンスやバリアの支柱や角部、道路端に形成される人垣を構成する人の端部などに対応する検出点が含まれ得る。図5に示す例では、道路境界線BLは良好に識別されている。なお、道路境界線情報は、リンクにより結合することによって道路境界線を形成する離散的な特徴点、すなわちノードの情報であるが、説明を簡単にするため、本実施形態における説明および図面上では特徴点列が結合されている線として説明する。   When determining that the reliability of the road boundary line information is high (step S102: Yes), the CPU 101 determines whether or not the reliability of the detection point information is high, that is, whether or not the detection point information has reliability. A determination is made (step S104). The CPU 101 determines, for example, whether or not the detection point information indicates a detection point sequence at regular intervals, that is, the detection points form a detection point sequence with uniform intervals, and the detection points form a detection point sequence with uniform intervals. If it is determined that there is, the reliability of the detection point information is determined to be high. More specifically, it is determined that the detection points form a series of detection points at uniform intervals when the group of detection points of interest regularly forms a linear shape or a curved shape while keeping a distance. . The reliability is determined based on whether or not the characteristic of the detection point included in the detection point information satisfies a predetermined condition, and in the present embodiment, is sufficient for use as a support of the guardrail. The detection point information can be obtained from a target having a part that is not parallel to the millimeter wave radar 211 of the own vehicle, that is, a target having a part where the reflected wave returns to the own vehicle. Therefore, the detection points included in the detection point information include, in addition to the above, corners of vehicles forming a train formed by traffic lights and traffic jams, and fences and barrier posts used for road construction that are arranged on roads and used for road construction. Detection points corresponding to corners, corners, and edges of people forming a fence formed at the road edge may be included. In the example shown in FIG. 5, the road boundary line BL is well identified. The road boundary line information is information of discrete feature points that form a road boundary line by linking, that is, node information. However, for simplicity of description, in the description and drawings of the present embodiment, The description will be made as a line where the feature point sequence is connected.

予め定められた条件には、上記の例示以外に、あるいは、上記の例示に加えて、
(5)検出点群が規則的に距離を保って直線形状または曲線形状を成しており、直線形上または曲線形状を成している特徴点の数が基準値よりも多いこと、すなわち、検出点が大きく離間していないこと、
(6)各検出点の信号強度が近似していること、
(7)各検出点の相対速度が近いこと、
(8)各検出点が同一位置にて時間的に継続して得られること、
の少なくともいずれか一つが含まれる。
The predetermined conditions include, in addition to the above examples, or in addition to the above examples,
(5) The detection point group regularly forms a linear shape or a curved shape while maintaining a distance, and the number of feature points on the linear shape or the curved shape is larger than a reference value, that is, That the detection points are not far apart,
(6) that the signal intensity at each detection point is similar;
(7) the relative speed of each detection point is close;
(8) that each detection point is obtained continuously at the same position over time;
At least one of them is included.

(5)の条件は、各検出点が等間隔にて直線形状または曲線形状を成していることや、直線形上または曲線形状を成している検出点の数が支柱として適当な基準値よりも多くなる基準間隔にて各検出点が位置していることを意味する。これらの場合には信頼度は高く、検出点が良好に識別され得ると判断される。これに対して、等間隔に位置する検出点であっても、互いに支柱として適当な距離よりも離間している場合には信頼度は低く、検出点は良好に識別され得ないと判断される。
(6)の条件は、隣接する各検出点の信号強度値が近似していることを意味する。すなわち、各検出点が同一種の物標、すなわち、支柱に対応することを意味し、この場合には信頼度は高く、支柱を示す検出点として良好に識別され得ると判断される。
(7)の条件は、各検出点が同一種の物標、すなわち、支柱に対応することを意味し、この場合には信頼度は高く、支柱を示す検出点として良好に識別され得ると判断される。
(8)の条件は、経時的に取得される検出点情報フレームにおいて、各検出点が同一位置に位置し続けることを意味する。すなわち、支柱は移動物ではないため、時間が経過しても任意の位置に存在する各検出点は同一位置に存在するはずである。この場合には信頼度は高く、支柱を示す検出点として良好に識別され得ると判断される。なお、同一位置には、完全位置のみなならず、一般的に許容される誤差の範囲内の位置も含まれ得る。
The condition of (5) is that each detection point has a linear or curved shape at equal intervals, and the number of detection points on the straight line or in a curved shape is an appropriate reference value as a support. This means that each detection point is located at a reference interval that is larger than the reference point. In these cases, the reliability is high, and it is determined that the detection points can be satisfactorily identified. On the other hand, even if the detection points are located at equal intervals, if the detection points are separated from each other by a distance more than a proper distance as the support, the reliability is low, and it is determined that the detection points cannot be identified well. .
The condition (6) means that the signal intensity values of the adjacent detection points are similar. That is, it means that each detection point corresponds to the same kind of target, that is, a pillar. In this case, the reliability is high, and it is determined that the detection point indicating the pillar can be satisfactorily identified.
The condition (7) means that each detection point corresponds to the same kind of target, that is, a pillar. In this case, the reliability is high and it is determined that the detection point can be satisfactorily identified as a detection point indicating a pillar. Is done.
The condition (8) means that each detection point continues to be located at the same position in the detection point information frame acquired over time. That is, since the support is not a moving object, each detection point existing at an arbitrary position should exist at the same position even if time elapses. In this case, the degree of reliability is high, and it is determined that it can be satisfactorily identified as a detection point indicating a support. In addition, the same position may include not only a perfect position but also a position within a generally allowable error range.

CPU101は、検出点情報の信頼度が高いと判定すると(ステップS104:Yes)、道路境界線情報と検出点情報とを用いて対象物を特定する(ステップS106)。具体的には、CPU101は、特徴点と検出点とを用いてデータフュージョン処理、すなわち、データの統合処理または結合処理を実行する。データフュージョン処理において、CPU101は、レーダECU21から入力された支柱を示す各検出点の位置座標と、カメラECU22から入力された道路境界線を示す各特徴点の位置座標とを対応付ける。道路境界線情報および検出点情報の双方が良好である場合には、いずれの情報も欠落していないので、CPU101は、補完処理を実行することなく対象物としてガードレールを精度良く特定することができる。CPU101は、対象物の特定結果を出力して(ステップS108)、本処理ルーチンを終了する。   When determining that the reliability of the detection point information is high (Step S104: Yes), the CPU 101 specifies a target object using the road boundary line information and the detection point information (Step S106). Specifically, the CPU 101 executes data fusion processing, that is, data integration processing or combination processing using the feature points and the detection points. In the data fusion process, the CPU 101 associates the position coordinates of each detection point indicating the support input from the radar ECU 21 with the position coordinates of each feature point indicating the road boundary input from the camera ECU 22. When both the road boundary line information and the detected point information are good, since neither information is missing, the CPU 101 can accurately specify the guardrail as the target without executing the complementing process. . The CPU 101 outputs the result of specifying the target object (step S108), and ends this processing routine.

CPU101は、検出点情報の信頼度が高くないと判定すると(ステップS104:No)、道路境界線情報を用いて検出点情報、すなわち検出点を補完する(ステップS110)。すなわち、信頼度の高い一方の情報を用いて他方の情報が補完される。図6に示す例では、支柱に対応する検出点DPのうち、一つの非検出点LPが検出されていない。上記(5)の条件として、ガードレールにおいて支柱が配置されるべき一般的な間隔が基準間隔d1として用いられる場合、非検出点LPの近接する検出点DP間の距離d2は基準間隔d1よりも長いので、CPU101は、検出点情報の信頼度は高くないと判定する。道路境界線情報を用いる検出点の補完は、例えば、図7に示すように、道路境界線BLと検出点DPとをフュージョン処理により重畳し、道路境界線BLと検出点DPとが少なくとも一部において重なる場合に、道路境界線BL上において非検出点LPに隣接する検出点DPから基準間隔d1の位置に仮想的な補完検出点SPを設定する。この結果、CPU101は、対象物としてガードレールを精度良く特定することができる。CPU101は、対象物の特定結果を出力して(ステップS108)、本処理ルーチンを終了する。なお、道路境界線BLと検出点DPとが重畳できない場合、すなわち、道路境界線BLと検出点DPとが少なくとも一部において重ならない場合には、道路境界線情報を用いた検出点の補完を実行し得ないので、対象物は不定とされる。   When determining that the reliability of the detected point information is not high (step S104: No), the CPU 101 complements the detected point information, that is, the detected point using the road boundary line information (step S110). That is, one piece of information having high reliability is used to complement the other piece of information. In the example shown in FIG. 6, one non-detection point LP is not detected among the detection points DP corresponding to the support. As a condition of the above (5), when a general interval at which a support is to be arranged on the guardrail is used as the reference interval d1, the distance d2 between the detection points DP adjacent to the non-detection point LP is longer than the reference interval d1. Therefore, the CPU 101 determines that the reliability of the detection point information is not high. The complementation of the detection points using the road boundary line information is performed, for example, by superimposing the road boundary lines BL and the detection points DP by fusion processing as shown in FIG. , A virtual complementary detection point SP is set at a reference interval d1 from the detection point DP adjacent to the non-detection point LP on the road boundary line BL. As a result, the CPU 101 can accurately specify the guardrail as the target object. The CPU 101 outputs the result of specifying the target object (step S108), and ends this processing routine. When the road boundary line BL and the detection point DP cannot be overlapped, that is, when the road boundary line BL and the detection point DP do not overlap at least in part, the detection points are complemented using the road boundary line information. Since it cannot be performed, the object is undefined.

ステップS102において、道路境界線情報の信頼度が高くない場合(ステップS102:No)について以下説明する。CPU101は、検出点情報を用いて検出点が良好に識別されるか否かを判定する(ステップS112)。CPU101は、検出点情報の信頼度が高いと判定すると(ステップS112:Yes)、検出点情報を用いて道路境界線情報、すなわち、道路境界線を補完する(ステップS114)。図8に示す例では、図7と同様に、道路境界線と検出点とは既に重畳された状態にて示されている。図8において、道路境界線BLは不連続であり、道路境界線の欠落部分LLが存在する。CPU101は、図9に示すように、道路境界線BLと検出点DPとをフュージョン処理により重畳し、道路境界線BLと検出点DPとが少なくとも一部において重なる場合に、欠落部分LLの両端に位置する検出点DPを用いて、その間に仮想的な補完道路境界線SLを設定する。この結果、CPU101は、対象物としてガードレールを精度良く特定することができる。CPU101は、対象物の特定結果を出力して(ステップS108)、本処理ルーチンを終了する。なお、図8の例においても、道路境界線BLと検出点DPとが重畳できない場合、すなわち、道路境界線BLと検出点DPとが少なくとも一部において重ならない場合には、検出点情報を用いた道路境界線の補完を実行し得ないので、対象物は不定とされる。   The case where the reliability of the road boundary line information is not high in step S102 (step S102: No) will be described below. The CPU 101 determines whether or not the detection points are successfully identified using the detection point information (step S112). When determining that the reliability of the detection point information is high (step S112: Yes), the CPU 101 complements the road boundary line information, that is, the road boundary line using the detection point information (step S114). In the example shown in FIG. 8, as in FIG. 7, the road boundary line and the detection points are shown in a state of being already superimposed. In FIG. 8, the road boundary line BL is discontinuous, and a missing portion LL of the road boundary line exists. As shown in FIG. 9, the CPU 101 superimposes the road boundary line BL and the detection point DP by fusion processing, and when the road boundary line BL and the detection point DP overlap at least partially, the CPU 101 Using the detection point DP located, a virtual supplementary road boundary line SL is set therebetween. As a result, the CPU 101 can accurately specify the guardrail as the target object. The CPU 101 outputs the result of specifying the target object (step S108), and ends this processing routine. In the example of FIG. 8 as well, when the road boundary line BL and the detection point DP cannot be overlapped, that is, when the road boundary line BL and the detection point DP do not at least partially overlap, the detection point information is used. Since the complementation of the existing road boundary cannot be performed, the object is determined to be indefinite.

ステップS110において、検出点情報の信頼度が高くない場合(ステップS112:No)について以下説明する。この場合、検出点情報および道路境界線情報のいずれも信頼度が低いので、相互補完的に欠落する情報、すなわち、非検出点LPおよび欠落部分LLを補完しても、対象物としてガードレールを精度良く特定することができない。したがって、CPU101は、対象物は不定であると判定し(ステップS116)、対象物の特定結果を出力して(ステップS108)、本処理ルーチンを終了する。   The case where the reliability of the detection point information is not high in step S110 (step S112: No) will be described below. In this case, since both the detection point information and the road boundary line information have low reliability, even if the information missing complementarily to each other, that is, the non-detection point LP and the missing part LL are complemented, the guardrail as an object is not accurately detected. I can't identify well. Therefore, the CPU 101 determines that the target is indefinite (step S116), outputs a result of specifying the target (step S108), and ends the processing routine.

以上説明した第1の実施形態に係る対象物特定装置100によれば、CPU101は、検出点情報および道路境界線情報を相互補完的に用いて、自車両M0の周囲の対象物を特定するので、複数の検出器を用いて対象物を特定する際に、一方の検出器からの検出結果が不十分である場合であっても対象物を特定することができる。より具体的には、検出点情報、すなわち、検出点情報の信頼度が低い場合には、道路境界線情報を用いて検出点が補完され、道路境界線、すなわち、道路境界線情報の信頼度が低い場合には、検出点情報を用いて道路境界線が補完される。したがって、従来は対象物を特定できない状況、あるいは、対象物の特定精度または信頼度が低い状況であっても、対象物を特定することができ、また、対象物の特定精度を向上させることができる。対象物の特定機会並びに特定精度を増大させることによって、運転支援の実行機会の増大並びに実行精度の向上を図ることができる。   According to the target object specifying device 100 according to the first embodiment described above, the CPU 101 specifies the target object around the own vehicle M0 using the detection point information and the road boundary line information in a mutually complementary manner. When specifying an object using a plurality of detectors, the object can be specified even when the detection result from one of the detectors is insufficient. More specifically, when the reliability of the detected point information, that is, the detected point information is low, the detected points are complemented by using the road boundary information, and the reliability of the road boundary, that is, the reliability of the road boundary information is reduced. If is low, the road boundary is complemented using the detected point information. Therefore, conventionally, even in a situation where an object cannot be specified, or in a situation where the accuracy or reliability of the object is low, the object can be specified, and the accuracy of specifying the object can be improved. it can. By increasing the identification opportunity and the identification accuracy of the target object, it is possible to increase the execution opportunity and the execution accuracy of the driving support.

第1の実施形態においては、説明を容易にするために、道路境界線情報および検出点情報のいずれか一方の信頼度が低い場合について説明したが、道路境界線情報および検出点情報の双方に重複しない信頼度の低い部分が含まれる場合には、上記説明と同様にして一方で他方を補完して対象物を特定することができる。すなわち、道路境界線情報および検出点情報とを相互補完的に用いて自車両の周囲における対象物が特定され得る。   In the first embodiment, for ease of explanation, the case where the reliability of either one of the road boundary line information and the detection point information is low has been described. When a part with low reliability that does not overlap is included, the object can be specified by complementing the other part in the same manner as described above. That is, an object around the host vehicle can be specified using the road boundary line information and the detection point information in a mutually complementary manner.

第2の実施形態:
第1の実施形態においては、図3に示す処理ルーチンの実行時に検出点情報および道路境界線情報の信頼度を用いて相互補完的に自車両M0の周囲の対象物が特定されている。これに対して、第2の実施形態においては、予めミリ波レーダ211およびカメラ221のいずれの検出器の信頼度が高いかを決定しておき、信頼度が高い検出器からの検出結果を用いて対象物の特定が実行される。なお、第2の実施形態に係る対象物特定装置の構成は、第1の実施形態に係る対象物特定装置100の構成と同様であるから、同一の符号を付して各構成に対する説明を省略する。
Second embodiment:
In the first embodiment, when the processing routine shown in FIG. 3 is executed, objects around the own vehicle M0 are specified complementarily using the reliability of the detected point information and the road boundary information. On the other hand, in the second embodiment, it is determined in advance which of the millimeter wave radar 211 and the camera 221 has high reliability, and a detection result from the high reliability detector is used. The identification of the object is performed. The configuration of the target object specifying device according to the second embodiment is the same as the configuration of the target object specifying device 100 according to the first embodiment, and therefore, the same reference numerals are given and the description of each configuration is omitted. I do.

ミリ波レーダ211およびカメラ221のいずれの検出結果の信頼度が高いかの決定は、例えば、車両500の始動後に順次、CPU101に入力される検出結果としての検出点情報および道路境界線情報を用いて既述の信頼度の指標を用いて決定される。CPU101は、図10に示すように、ミリ波レーダ211およびカメラ221と信頼度とを対応付けてメモリ102に格納する。ミリ波レーダ211およびカメラ221、すなわち、ミリ波レーダ211およびカメラ221から出力される検出結果の信頼度の決定は、車両500の走行中に任意の時間にわたって実行され得るので、信頼度の指標の全てを用いて実行することが可能となり、また、対象物を特定する各タイミングにて動的に信頼度を決定する場合よりも長い時間にわたる検出結果を用いて実行することが可能となる。この結果、過渡的な検出条件の影響を低減し、各検出器の信頼度の判定精度を向上させることが可能となり、ひいては、対象物の特定精度を向上させることができる。CPU101は、信頼度の高い検出器からの検出結果を基準、すなわち、正しい検出結果として用いて、他方の検出器からの検出結果を補完して、対象物の特定処理を実行する。なお、ミリ波レーダ211およびカメラ221の双方の信頼度が高い場合には、補完処理は実行されない。   The determination as to which of the detection results of the millimeter wave radar 211 and the camera 221 has high reliability is performed using, for example, detection point information and road boundary line information as detection results sequentially input to the CPU 101 after the vehicle 500 starts. Is determined using the reliability index described above. As shown in FIG. 10, the CPU 101 stores the millimeter wave radar 211 and the camera 221 in the memory 102 in association with the reliability. The determination of the reliability of the millimeter-wave radar 211 and the camera 221, that is, the detection result output from the millimeter-wave radar 211 and the camera 221 can be performed over an arbitrary time while the vehicle 500 is traveling. It is possible to execute using all of them, and it is also possible to execute using detection results over a longer time than when dynamically determining the reliability at each timing of specifying an object. As a result, it is possible to reduce the influence of the transient detection condition and improve the accuracy of determining the reliability of each detector, thereby improving the accuracy of specifying the object. The CPU 101 uses the detection result from the highly reliable detector as a reference, that is, uses it as a correct detection result, and complements the detection result from the other detector to execute the target object specifying process. Note that, when the reliability of both the millimeter wave radar 211 and the camera 221 is high, the complementing process is not executed.

第2の実施形態に係る対象物特定装置100によれば、予め基準とする検出器を決定するので、ミリ波レーダ211およびカメラ221のいずれの検出結果によって他方の検出結果を補完するかの判定を実行することなく、検出点情報および道路境界線情報を相互補完的に用いて、自車両M0の周囲の対象物を特定することができる。したがって、対象物特定処理の負荷を軽減し、また、対象物特定処理に要する時間を低減することができる。さらに、検出器の信頼度は、検出条件のみならず、例えば、受光面の汚れや、検出軸のずれ、経年変化といった検出器の状態にも依存するので、検出器の状態を反映した信頼度を得て、基準とすべき検出器を決定することができる。   According to the object specifying apparatus 100 according to the second embodiment, since the detector to be used as the reference is determined in advance, it is determined which of the detection results of the millimeter wave radar 211 and the camera 221 complements the other detection result. , The target object around the host vehicle M0 can be specified using the detection point information and the road boundary line information in a mutually complementary manner. Therefore, it is possible to reduce the load of the object specifying process and reduce the time required for the object specifying process. Furthermore, the reliability of the detector depends not only on the detection conditions but also on the detector status, such as contamination of the light receiving surface, displacement of the detection axis, and aging. , The detector to be the reference can be determined.

第2の実施形態において実行される信頼度の高い検出器からの検出結果を基準とする処理は、第1の実施形態とは独立して実行されても良く、あるいは、第1の実施形態と組み合わせて実行されても良い。第1の実施形態とは独立して実行される場合には、各検出器の状態を反映した信頼度に基づく対象物の特定処理が可能となる。第1の実施形態と組み合わせて用いられる場合には、例えば、初期状態として基準となる検出器が決定され、更に、車両500の走行中に随時入力される検出結果を用いて動的な信頼度が決定され得る。この結果、各検出器の状態のみならず、動的に変化する検出条件を反映して決定された信頼度を用いて対象物を特定することが可能となり、更に、対象物の特定精度を向上させることができる。あるいは、車両500の走行中に随時入力される検出結果を用いて決定された信頼度に加えて、第2の実施形態により得られる予め決定されている検出器の信頼度が付加的情報として用いられても良い。この場合には、動的に変化する検出条件を反映して決定された信頼度のみならず、各検出器の状態を考慮して対象物を特定することが可能となり、更に、対象物の特定精度を向上させることができる。   The process based on the detection result from the highly reliable detector performed in the second embodiment may be performed independently of the first embodiment, or may be performed separately from the first embodiment. It may be executed in combination. When executed independently of the first embodiment, it becomes possible to specify an object based on the reliability reflecting the state of each detector. When used in combination with the first embodiment, for example, a detector serving as a reference is determined as an initial state, and further, a dynamic reliability is determined using a detection result input as needed while the vehicle 500 is traveling. Can be determined. As a result, it is possible to specify the target object using the reliability determined reflecting not only the state of each detector but also the dynamically changing detection condition, and further improve the target object identification accuracy. Can be done. Alternatively, in addition to the reliability determined using the detection result input as needed during traveling of the vehicle 500, the reliability of the predetermined detector obtained according to the second embodiment is used as additional information. You may be. In this case, not only the reliability determined by reflecting the dynamically changing detection conditions but also the state of each detector can be considered, and the object can be specified. Accuracy can be improved.

第3の実施形態:
第1または第2の実施形態において出力される特定結果を用いる応用例について説明する。第3の実施形態においては、CPU101が運転支援プログラムPr2を実行することによって、対象物の特定結果を用いて運転支援処理が実行される。図11に示すフローチャートは、図3に示すフローチャートと同様にして繰り返し実行される。
Third embodiment:
An application example using the specific result output in the first or second embodiment will be described. In the third embodiment, when the CPU 101 executes the driving support program Pr2, the driving support processing is executed using the specified result of the target object. The flowchart shown in FIG. 11 is repeatedly executed in the same manner as the flowchart shown in FIG.

CPU101は、対象物の特定結果を取得する(ステップS200)。CPU101は、特定結果が対象物を特定できているか否か判定し(ステップS202)、特定できている場合には(ステップS202:Yes)、運転支援処理を実行して(ステップS204)本処理ルーチンを終了する。運転支援処理は、CPU101が、運転支援装置31に対して制動支援制御信号、操舵支援制御信号および出力制御信号の少なくともいずれかを出力することによって、実現される。CPU101は、対象物が特定できていない場合、すなわち、不定とされている場合には(ステップS202:No)、運転支援処理を実行せず(ステップS206)本処理ルーチンを終了する。   The CPU 101 acquires the result of specifying the target (step S200). The CPU 101 determines whether or not the identification result has identified the target (step S202). If the identification result has been identified (step S202: Yes), the CPU 101 executes a driving support process (step S204). To end. The driving support processing is realized by the CPU 101 outputting at least one of a braking support control signal, a steering support control signal, and an output control signal to the driving support device 31. When the target object has not been identified, that is, when it is determined to be indefinite (step S202: No), the CPU 101 does not execute the driving support processing (step S206) and ends the processing routine.

第1および第2の実施形態に係る対象物特定装置100によれば、対象物を特定できる機会を増大することが可能となり、また、対象物の特定精度を向上させることができるので、第3の実施形態による運転支援の実行機会の増大または運転支援の処理制度の向上を図ることができる。   According to the object specifying device 100 according to the first and second embodiments, it is possible to increase the chances of specifying the object, and it is possible to improve the accuracy of specifying the object. According to the embodiment, it is possible to increase the execution opportunity of the driving support or improve the processing system of the driving support.

他の実施形態:
(1)上記各実施形態においては、CPU101が対象物特定プログラムPr1を実行することによって、ソフトウェア的に自車両の周囲における対象物を特定する制御部が実現されているが、予めプログラムされた集積回路またはディスクリート回路によってハードウェア的に実現されても良い。
Other embodiments:
(1) In each of the above embodiments, the CPU 101 executes the object specifying program Pr1 to realize a control unit that specifies an object around the host vehicle by software. It may be realized in hardware by a circuit or a discrete circuit.

以上、実施形態、変形例に基づき本開示について説明してきたが、上記した発明の実施の形態は、本開示の理解を容易にするためのものであり、本開示を限定するものではない。本開示は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本開示にはその等価物が含まれる。たとえば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。例えば、上記第1の態様に係る車両における対象物特定装置を適用例1とし、
適用例2:適用例1に記載の車両における対象物特定装置において、
前記制御部は、前記道路境界線情報と前記検出点情報のうち、信頼度の高い一方の情報を用いて他方の情報を補完して自車両の周囲における対象物を特定する、を備える、車両における対象物特定装置。
適用例3:適用例2に記載の車両における対象物特定装置において、
前記制御部は、前記検出点情報が一定間隔の検出点列を示しており、前記道路境界線情報が道路境界線を断片的に示す場合に、前記検出点情報を信頼度の高い情報として用い、前記検出点列により形成される検出点列線と前記道路境界線とが少なくとも一部において重なる場合に、前記検出点列を用いて前記道路境界線を補完して、前記対象物を特定する、車両における対象物特定装置。
適用例4:適用例2または3に記載の車両における対象物特定装置において、
前記制御部は、前記道路境界線情報が道路境界線を連続的に示し、前記検出点情報が不均一な検出点列を示す場合に、前記道路境界線情報を信頼度の高い情報として用い、前記検出点列により形成される検出点列線と前記道路境界線とが少なくとも一部において重なる場合に、前記道路境界線を用いて前記検出点列を補完して、前記対象物を特定する、車両における対象物特定装置。
適用例5:適用例1に記載の車両における対象物特定装置において、
前記制御部は、前記第1種の検出器と前記第2種の検出器のうち信頼度の高い検出器を決定し、決定された一方の検出器によって他方の検出器の欠落する情報を補完して、前記対象物を特定する、車両における対象物特定装置。
適用例6:適用例2から5のいずれかに記載の車両における対象物特定装置において、
前記制御部は、前記道路境界線を構成する特徴点の特性を用いて前記信頼度を決定する、車両における対象物特定装置。
適用例7:適用例2から6のいずれかに記載の車両における対象物特定装置において、
前記制御部は、前記検出点列を構成する検出点の特性を用いて前記信頼度を決定する、車両における対象物特定装置。
適用例8:車両に搭載される対象物特定システムであって、
適用例1から6のいずれか一項に記載の対象物特定装置と、
前記第1種の検出器と、
前記第2種の検出器と、を備える、対象物特定システム。
As described above, the present disclosure has been described based on the embodiments and the modified examples. However, the embodiments of the present invention described above are intended to facilitate understanding of the present disclosure, and do not limit the present disclosure. The present disclosure may be modified and improved without departing from the spirit and scope of the claims, and the present disclosure includes equivalents thereof. For example, the embodiments corresponding to the technical features in the respective embodiments described in the summary of the invention, the technical features in the modified examples may be used to solve some or all of the above-described problems, or In order to achieve some or all of the effects, replacement and combination can be performed as appropriate. Unless the technical features are described as essential in the present specification, they can be deleted as appropriate. For example, the target object specifying device in the vehicle according to the first aspect is an application example 1,
Application Example 2: In the object specifying device in the vehicle described in Application Example 1,
The control unit, of the road boundary line information and the detection point information, uses one of the highly reliable information to complement the other information and specify a target object around the own vehicle. Object identification device.
Application Example 3: In the object specifying device in the vehicle described in Application Example 2,
The control unit uses the detection point information as highly reliable information when the detection point information indicates a detection point sequence at a fixed interval and the road boundary information indicates the road boundary in a fragmentary manner. When the detection point sequence line formed by the detection point sequence and the road boundary line overlap at least partially, the road boundary line is complemented using the detection point sequence to identify the target object. , An object specifying device in a vehicle.
Application Example 4: In the object specifying device in the vehicle described in Application Example 2 or 3,
The control unit, when the road boundary information continuously indicates a road boundary, and when the detection point information indicates a non-uniform detection point sequence, using the road boundary line information as highly reliable information, When the detection point sequence line formed by the detection point sequence and the road boundary line overlap at least in part, the detection point sequence is complemented using the road boundary line, and the object is specified. An object specifying device in a vehicle.
Application Example 5: In the object specifying device in the vehicle described in Application Example 1,
The control unit determines a highly reliable detector of the first type detector and the second type detector, and complements missing information of the other detector by one of the determined detectors. And an object specifying device for a vehicle that specifies the object.
Application Example 6: In the object specifying device in the vehicle according to any one of Application Examples 2 to 5,
The target object specifying device in a vehicle, wherein the control unit determines the reliability using characteristics of characteristic points constituting the road boundary.
Application Example 7: In the object specifying device in the vehicle according to any one of Application Examples 2 to 6,
The target object specifying device in a vehicle, wherein the control unit determines the reliability using characteristics of detection points forming the detection point sequence.
Application Example 8: An object identification system mounted on a vehicle,
An object identification device according to any one of application examples 1 to 6,
Said first type detector;
An object identification system, comprising: the second type of detector.

10…対象物特定システム、21…レーダECU、ミリ波レーダ211、22…カメラECU、221…カメラ、31…運転支援装置、100…対象物特定装置、101…CPU、102…メモリ、103…入出力インタフェース、104…バス、500…車両、Pr1…対象物特定プログラム。   DESCRIPTION OF SYMBOLS 10 ... Target identification system, 21 ... Radar ECU, millimeter-wave radar 211, 22 ... Camera ECU, 221 ... Camera, 31 ... Driving assistance device, 100 ... Target identification device, 101 ... CPU, 102 ... Memory, 103 ... Output interface, 104 bus, 500 vehicle, Pr1 object specifying program.

Claims (9)

車両(500)における対象物特定装置(100)であって、
立体物と道路との道路境界線を検出可能な第1種の検出器(221)および前記第1種の検出器とは異なる第2種の検出器(211)から自車両の周囲における物標の情報を取得する取得部(104)と、
前記第1種の検出器から取得された道路境界線情報と前記第2種の検出器から取得された検出点情報とを相互補完的に用いて、自車両の周囲における対象物を特定する制御部(101、Pr1)と、を備える、車両における対象物特定装置。
An object specifying device (100) in a vehicle (500),
A first type of detector (221) capable of detecting a road boundary between a three-dimensional object and a road, and a second type of detector (211) different from the first type of detector from an object around the vehicle. An acquisition unit (104) for acquiring information of
Control for specifying an object around the own vehicle by using the road boundary line information acquired from the first type detector and the detection point information acquired from the second type detector in a mutually complementary manner. (101, Pr1).
請求項1に記載の車両における対象物特定装置において、
前記制御部は、前記道路境界線情報と前記検出点情報のうち、信頼度の高い一方の情報を用いて他方の情報を補完して自車両の周囲における対象物を特定する、を備える、車両における対象物特定装置。
The object specifying device for a vehicle according to claim 1,
The control unit, of the road boundary line information and the detection point information, uses one of the highly reliable information to complement the other information and specify a target object around the own vehicle. Object identification device.
請求項2に記載の車両における対象物特定装置において、
前記制御部は、前記検出点情報が一定間隔の検出点列を示しており、前記道路境界線情報が道路境界線を断片的に示す場合に、前記検出点情報を信頼度の高い情報として用い、前記検出点列により形成される検出点列線と前記道路境界線とが少なくとも一部において重なる場合に、前記検出点列を用いて前記道路境界線を補完して、前記対象物を特定する、車両における対象物特定装置。
The object specifying device for a vehicle according to claim 2,
The control unit uses the detection point information as highly reliable information when the detection point information indicates a detection point sequence at a fixed interval and the road boundary information indicates the road boundary in a fragmentary manner. When the detection point sequence line formed by the detection point sequence and the road boundary line overlap at least partially, the road boundary line is complemented using the detection point sequence to identify the target object. , An object specifying device in a vehicle.
請求項2または3に記載の車両における対象物特定装置において、
前記制御部は、前記道路境界線情報が道路境界線を連続的に示し、前記検出点情報が不均一な検出点列を示す場合に、前記道路境界線情報を信頼度の高い情報として用い、前記検出点列により形成される検出点列線と前記道路境界線とが少なくとも一部において重なる場合に、前記道路境界線を用いて前記検出点列を補完して、前記対象物を特定する、車両における対象物特定装置。
An object specifying device for a vehicle according to claim 2 or 3,
The control unit, when the road boundary information continuously indicates a road boundary, and when the detection point information indicates a non-uniform detection point sequence, using the road boundary line information as highly reliable information, When the detection point sequence line formed by the detection point sequence and the road boundary line overlap at least in part, the detection point sequence is complemented using the road boundary line, and the object is specified. An object specifying device in a vehicle.
請求項1に記載の車両における対象物特定装置において、
前記制御部は、前記第1種の検出器と前記第2種の検出器のうち信頼度の高い検出器を決定し、決定された一方の検出器によって他方の検出器の欠落する情報を補完して、前記対象物を特定する、車両における対象物特定装置。
The object specifying device for a vehicle according to claim 1,
The control unit determines a highly reliable detector of the first type detector and the second type detector, and complements missing information of the other detector by one of the determined detectors. And an object specifying device for a vehicle that specifies the object.
請求項2から5のいずれかに記載の車両における対象物特定装置において、
前記制御部は、前記道路境界線を構成する特徴点の特性を用いて前記信頼度を決定する、車両における対象物特定装置。
An object specifying device for a vehicle according to any one of claims 2 to 5,
The target object specifying device in a vehicle, wherein the control unit determines the reliability using characteristics of characteristic points constituting the road boundary.
請求項2から6のいずれかに記載の車両における対象物特定装置において、
前記制御部は、前記検出点列を構成する検出点の特性を用いて前記信頼度を決定する、車両における対象物特定装置。
An object specifying device for a vehicle according to any one of claims 2 to 6,
The target object specifying device in a vehicle, wherein the control unit determines the reliability using characteristics of detection points forming the detection point sequence.
車両(500)に搭載される対象物特定システム(10)であって、
請求項1から6のいずれか一項に記載の対象物特定装置(100)と、
前記第1種の検出器と、
前記第2種の検出器と、を備える、対象物特定システム。
An object identification system (10) mounted on a vehicle (500),
An object identification device (100) according to any one of claims 1 to 6,
Said first type detector;
An object identification system, comprising: the second type of detector.
車両(500)における対象物特定方法であって、
立体物と道路との境界線を検出可能な第1種の検出器(221)から自車両の周囲における物標の情報を取得し、
前記第1種の検出器とは異なる第2種の検出器(211)から自車両の周囲における物標の情報を取得し、
前記第1種の検出器から取得された道路境界線情報と前記第2種の検出器から取得された検出点情報とを相互補完的に用いて、自車両の周囲における対象物を特定すること、を備える、車両における対象物特定方法。
An object identification method for a vehicle (500),
The information of the target around the own vehicle is acquired from the first type detector (221) capable of detecting the boundary between the three-dimensional object and the road,
Acquiring information of a target around the own vehicle from a second type detector (211) different from the first type detector;
Identifying an object around the own vehicle using the road boundary line information acquired from the first type detector and the detection point information acquired from the second type detector in a mutually complementary manner. An object specifying method in a vehicle, comprising:
JP2018177091A 2018-09-21 2018-09-21 Object identification device, object identification system and object identification method in vehicle Pending JP2020047177A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018177091A JP2020047177A (en) 2018-09-21 2018-09-21 Object identification device, object identification system and object identification method in vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018177091A JP2020047177A (en) 2018-09-21 2018-09-21 Object identification device, object identification system and object identification method in vehicle

Publications (1)

Publication Number Publication Date
JP2020047177A true JP2020047177A (en) 2020-03-26

Family

ID=69899789

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018177091A Pending JP2020047177A (en) 2018-09-21 2018-09-21 Object identification device, object identification system and object identification method in vehicle

Country Status (1)

Country Link
JP (1) JP2020047177A (en)

Similar Documents

Publication Publication Date Title
US11396289B2 (en) Braking assistance device and braking assistance method for vehicle
US11097724B2 (en) Apparatus and system for controlling travel of vehicle
CN110062938B (en) Collision avoidance device and collision avoidance method in vehicle
WO2020189085A1 (en) Driving assistance control device in vehicle, driving assistance system, and driving assistance method
JP6740969B2 (en) Braking assistance device and braking assistance control method in vehicle
WO2019235327A1 (en) Driving assistance control device for vehicle, driving assistance system, and driving assistance control method
US20210070288A1 (en) Driving assistance device
US10867517B2 (en) Cruise assist method and apparatus for vehicle
CN107886729B (en) Vehicle identification method and device and vehicle
US20210188259A1 (en) Driver assistance apparatus and driver assisting method
WO2020184287A1 (en) Braking assistance control device , braking assistance control system and braking assistance control method for vehicle
US12030486B2 (en) Apparatus for assisting driving, vehicle having the same, and method of controlling the same
CN113474225B (en) Brake assist control device, brake assist system, and brake assist control method in vehicle
US20230140246A1 (en) Driver assistance system and driver assistance method
JP7111634B2 (en) OBJECT DETECTION DEVICE, OBJECT DETECTION SYSTEM AND OBJECT DETECTION METHOD IN VEHICLE
KR20200094629A (en) Driver assistance system, and control method for the same
US11607996B2 (en) Apparatus for assisting driving, vehicle having the same, and method of controlling the same
JP2020047177A (en) Object identification device, object identification system and object identification method in vehicle
KR102675802B1 (en) Driver assistance system and control method for the same
WO2019181326A1 (en) Vehicle traveling control device, vehicle traveling control system, and vehicle traveling control method
US11299171B2 (en) Driving support control device of vehicle, driving support system of vehicle, and driving support control method of vehicle
US20230227025A1 (en) Vehicle drive assist apparatus
US20230090300A1 (en) Driving assist apparatus for vehicle
US20230234571A1 (en) Vehicle drive assist apparatus