JP2021135191A - Object detection device - Google Patents

Object detection device Download PDF

Info

Publication number
JP2021135191A
JP2021135191A JP2020032115A JP2020032115A JP2021135191A JP 2021135191 A JP2021135191 A JP 2021135191A JP 2020032115 A JP2020032115 A JP 2020032115A JP 2020032115 A JP2020032115 A JP 2020032115A JP 2021135191 A JP2021135191 A JP 2021135191A
Authority
JP
Japan
Prior art keywords
grid
vehicle
vote
votes
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020032115A
Other languages
Japanese (ja)
Other versions
JP7459560B2 (en
Inventor
嘉紀 早川
Yoshinori Hayakawa
嘉紀 早川
真澄 福万
Masumi Fukuman
真澄 福万
明宏 貴田
Akihiro Takada
明宏 貴田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Toyota Motor Corp
Original Assignee
Denso Corp
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Toyota Motor Corp filed Critical Denso Corp
Priority to JP2020032115A priority Critical patent/JP7459560B2/en
Priority to PCT/JP2021/007429 priority patent/WO2021172535A1/en
Publication of JP2021135191A publication Critical patent/JP2021135191A/en
Application granted granted Critical
Publication of JP7459560B2 publication Critical patent/JP7459560B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87—Combinations of sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

To provide an object detection device that can more accurately perform object detection.SOLUTION: A first object recognition unit 31a prepares a first grid map showing a position where an object exists around an own vehicle by setting the prescribed number of votes with respect to a principal grid serving as a grid corresponding to a detection coordinate showing a position where an object included in sensing information on a range-finding sensor 10 is detected. A second object recognition unit 31b prepares a second grid map showing the position where the object exists around the own vehicle by setting the prescribed number of votes with respect to a principal grid serving as a grid corresponding to a detection coordinate showing a position where an object included in sensing information on an on-vehicle camera 20 is detected. An object integration unit 32 prepares an integration grid map obtained by integrating the first grid map and second grid map. An object identification unit 33 that identifies a grid in which a total value of the number of votes in the integration grid map exceeds a prescribed threshold as a grid where the object exists.SELECTED DRAWING: Figure 1

Description

本発明は、自身の車両（以下、自車という）の周辺に存在する物体を検知する物体検知装置に関するものである。 The present invention relates to an object detection device that detects an object existing in the vicinity of its own vehicle (hereinafter referred to as its own vehicle).

従来より、ソナーなどを用いて自車の周辺に存在する物体を検知し、その検知結果を自動駐車などの車両制御に用いている。例えば、物体検知装置として、特許文献１に提案されているものがある。 Conventionally, an object existing around the own vehicle is detected by using sonar or the like, and the detection result is used for vehicle control such as automatic parking. For example, as an object detection device, there is one proposed in Patent Document 1.

この装置には、投票数算出部、クラスター設定部、グリッド判別部および移動物体判別部が備えられている。投票数算出部は、レーダセンサなどの測距センサによる検出点の検出結果に基づいて、グリッドマップのグリッド毎に、測距センサの検出点が含まれる数である投票数を算出する。クラスター設定部は、測距センサによる検出点の検出結果に基づいて、検出点のクラスタリングにより、検知対象の物体であるクラスターをグリッドマップ上に設定する。グリッド判別部は、複数回算出されたグリッド毎の投票数の合計値に基づいて、クラスターが占有するグリッドから静止グリッドと移動グリッドとを判別する。移動物体判定部は、クラスターが占有するグリッドに含まれる静止グリッドおよび移動グリッドの配置に基づいて、クラスターが移動物体であるか静止物体であるか判定する。これらを用いて、自車の周辺に存在する物体を検知すると共に、検知対象の物体であるクラスターが移動物体であるか静止物体であるかを判定できるようにしている。 This device includes a vote number calculation unit, a cluster setting unit, a grid discrimination unit, and a moving object discrimination unit. The vote number calculation unit calculates the number of votes, which is the number including the detection points of the distance measurement sensor, for each grid of the grid map based on the detection result of the detection points by the distance measurement sensor such as the radar sensor. The cluster setting unit sets the cluster, which is the object to be detected, on the grid map by clustering the detection points based on the detection result of the detection points by the distance measuring sensor. The grid discriminating unit discriminates between the static grid and the moving grid from the grid occupied by the cluster based on the total value of the number of votes for each grid calculated a plurality of times. The moving object determination unit determines whether the cluster is a moving object or a stationary object based on the arrangement of the stationary grid and the moving grid included in the grid occupied by the cluster. By using these, it is possible to detect an object existing around the own vehicle and to determine whether the cluster, which is the object to be detected, is a moving object or a stationary object.

特開２０１７−１８７４２２号公報JP-A-2017-187422

しかしながら、レーダセンサなどの測距センサのみを用いた物体検知では、精度良い物体検知が行えない。具体的には、測距センサは、測距センサから物体までの直線距離（以下、単に物体までの距離という）の測定は得意であるが、物体幅の測定は不得意である。このため、物体幅を的確に測定することができず、精度良い物体検知が行えない。 However, accurate object detection cannot be performed by object detection using only a ranging sensor such as a radar sensor. Specifically, the distance measuring sensor is good at measuring the linear distance from the distance measuring sensor to the object (hereinafter, simply referred to as the distance to the object), but is not good at measuring the width of the object. Therefore, the object width cannot be measured accurately, and the object can not be detected accurately.

本発明は上記点に鑑みて、より精度良い物体検知を行うことが可能な物体検知装置を提供することを目的とする。 In view of the above points, it is an object of the present invention to provide an object detection device capable of performing more accurate object detection.

上記目的を達成するため、本願請求項１に記載の発明は、自車（Ｖ）の周囲を複数のグリッドに分割したグリッドマップを用いて自車の周囲に存在する物体（１００）を検知する物体検知装置であって、探査波を出力すると共に該探査波が物体で反射してきた反射波を取得することで物体の位置を測定する測距センサ（１０）のセンシング情報を入力し、グリッドマップを用いて、測距センサのセンシング情報に含まれる物体が検知された位置を示す検知座標と対応するグリッドである主グリッドに所定の投票数を設定することで、自車の周囲に存在する物体の位置を示した第１グリッドマップ（Ｍ１）を作成する第１物体認識部（３１ａ）と、自車の周囲を撮像する車載カメラ（２０）のセンシング情報を入力し、グリッドマップを用いて、車載カメラのセンシング情報に含まれる物体が検知された位置を示す検知座標と対応するグリッドである主グリッドに所定の投票数を設定することで、自車の周囲に存在する物体の位置を示した第２グリッドマップ（Ｍ２）を作成する第２物体認識部（３１ｂ）と、第１グリッドマップにおけるグリッド毎の投票数と第２グリッドマップにおけるグリッド毎の投票数とを統合した統合グリッドマップ（Ｍｃ）を作成する物体統合部（３２）と、統合グリッドマップ中における投票数の合計値が所定の閾値を超えるグリッドを物体の存在するグリッドとして特定する物体特定部（３３）と、を有している。 In order to achieve the above object, the invention according to claim 1 of the present application detects an object (100) existing around the own vehicle (V) by using a grid map in which the periphery of the own vehicle (V) is divided into a plurality of grids. It is an object detection device, and the sensing information of the distance measuring sensor (10) that measures the position of an object by outputting the exploration wave and acquiring the reflected wave reflected by the object is input to the grid map. By setting a predetermined number of votes in the main grid, which is the grid corresponding to the detection coordinates indicating the detected position of the object included in the sensing information of the ranging sensor, the object existing around the own vehicle The sensing information of the first object recognition unit (31a) that creates the first grid map (M1) showing the position of the vehicle and the in-vehicle camera (20) that images the surroundings of the own vehicle is input, and the grid map is used. By setting a predetermined number of votes in the main grid, which is the grid corresponding to the detection coordinates indicating the position where the object included in the sensing information of the in-vehicle camera was detected, the position of the object existing around the own vehicle was shown. An integrated grid map (Mc) that integrates the second object recognition unit (31b) that creates the second grid map (M2), the number of votes for each grid in the first grid map, and the number of votes for each grid in the second grid map. ), And an object identification unit (33) that specifies a grid in which the total number of votes in the integrated grid map exceeds a predetermined threshold as a grid on which an object exists. There is.

このように、第１物体認識部および第２物体認識部にて、測距センサと車載カメラのセンシング情報に基づいて第１グリッドマップおよび第２グリッドマップを作成している。そして、物体統合部にて第１グリッドマップと第２グリッドマップを統合することで統合グリッドマップを作成している。つまり、測距センサが不得意としている物体幅の測定が十分でない可能性のある第１グリッドマップと、物体幅の測定を得意とする車載カメラのセンシング情報に基づく第２グリッドマップとを組み合わせてセンサフュージョンを行っている。このように、多種類のセンサの特性を考慮した統合グリッドマップを作成することで、物体の検知精度を高めることが可能となり、１つの測距センサのみで物体検知を行う場合のような誤検知を抑制することが可能となる。 In this way, the first object recognition unit and the second object recognition unit create the first grid map and the second grid map based on the sensing information of the distance measuring sensor and the vehicle-mounted camera. Then, the object integration unit creates an integrated grid map by integrating the first grid map and the second grid map. That is, the first grid map, which may not be sufficient for measuring the object width, which the distance measuring sensor is not good at, and the second grid map, which is based on the sensing information of the in-vehicle camera, which is good at measuring the object width, are combined. We are doing sensor fusion. In this way, by creating an integrated grid map that considers the characteristics of various types of sensors, it is possible to improve the detection accuracy of objects, and false detections such as when object detection is performed with only one ranging sensor. Can be suppressed.

なお、各構成要素等に付された括弧付きの参照符号は、その構成要素等と後述する実施形態に記載の具体的な構成要素等との対応関係の一例を示すものである。 The reference reference numerals in parentheses attached to each component or the like indicate an example of the correspondence between the component or the like and the specific component or the like described in the embodiment described later.

第１実施形態にかかる車両制御システムのブロック図である。It is a block diagram of the vehicle control system which concerns on 1st Embodiment. 自車の前方に円柱形状の物体が存在する場合のソナーと車載カメラでの物体検知のイメージを示した図である。It is the figure which showed the image of the object detection by the sonar and the in-vehicle camera when the cylindrical object exists in front of the own vehicle. ソナーでの物体の検知座標をグリッドマップに変換した第１グリッドマップの模式図である。It is a schematic diagram of the 1st grid map which converted the detection coordinates of an object by a sonar into a grid map. 車載カメラでの物体の検知座標をグリッドマップに変換した第２グリッドマップの模式図である。It is a schematic diagram of the 2nd grid map which converted the detection coordinates of an object by an in-vehicle camera into a grid map. 第１グリッドマップと第２グリッドマップを統合した統合グリッドマップの模式図である。It is a schematic diagram of the integrated grid map which integrated the 1st grid map and the 2nd grid map. 物体検知処理のフローチャートである。It is a flowchart of an object detection process.

以下、本発明の実施形態について図に基づいて説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、同一符号を付して説明を行う。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In each of the following embodiments, parts that are the same or equal to each other will be described with the same reference numerals.

（第１実施形態）
本実施形態にかかる物体検知装置が備えられた車両制御システムについて説明する。ここでは、車両制御として、自動駐車を行う駐車支援制御を実行するものを例に挙げて説明するが、物体検知装置での物体検知結果に基づいて車両制御を行うものであれば、他の制御を行うものであっても構わない。 (First Embodiment)
A vehicle control system provided with the object detection device according to the present embodiment will be described. Here, as the vehicle control, the one that executes the parking support control that performs automatic parking will be described as an example, but if the vehicle control is performed based on the object detection result by the object detection device, other control is used. It does not matter if it does.

図１に示すように、車両制御システム１は、ソナー１０、車載カメラ２０、物体検知装置を構成する電子制御装置（以下、ＥＣＵという）３０、各種アクチュエータ４０および表示器５０を備えた構成とされている。 As shown in FIG. 1, the vehicle control system 1 includes a sonar 10, an in-vehicle camera 20, an electronic control device (hereinafter referred to as an ECU) 30 constituting an object detection device, various actuators 40, and a display 50. ing.

ソナー１０は、測距センサに相当するものである。ソナー１０は、所定のサンプリング周期毎に、探査波として超音波を出力すると共にその反射波を取得することで得られた物標との相対速度や相対距離および物標が存在する方位角などの位置の測定結果をセンシング情報としてＥＣＵ３０へ逐次出力する。ソナー１０は、物体を検知した場合には、その検知した位置の座標である検知座標をセンシング情報に含めて出力している。物体の検知座標については、移動三角測量法を用いて特定しており、自車の移動に伴って物体までの距離が変化することから、サンプリング周期毎の測定結果の変化に基づいて特定している。 The sonar 10 corresponds to a distance measuring sensor. The sonar 10 outputs ultrasonic waves as exploration waves and acquires the reflected waves at predetermined sampling periods, such as relative velocity and relative distance to the target, and the azimuth angle at which the target exists. The position measurement result is sequentially output to the ECU 30 as sensing information. When the sonar 10 detects an object, it outputs the detection coordinates, which are the coordinates of the detected position, in the sensing information. The detection coordinates of the object are specified using the moving triangulation method, and since the distance to the object changes as the vehicle moves, it is specified based on the change in the measurement result for each sampling cycle. There is.

ここではソナー１０を１つのみ図示しているが、実際には、車両に対して複数箇所に備えられる。ソナー１０としては、例えば前後のバンパーに車両左右方向に複数個並べて配置されたフロントソナーや、車両の側方位置に配置されたサイドソナーが挙げられる。ソナー１０のサンプリング周期は、ソナー１０の配置場所に応じて設定されており、例えばフロントソナーでは第１周期、サイドソナーでは第１周期以下の第２周期とされている。 Although only one sonar 10 is shown here, it is actually provided at a plurality of locations with respect to the vehicle. Examples of the sonar 10 include front sonars arranged side by side on the front and rear bumpers in the left-right direction of the vehicle, and side sonars arranged at lateral positions of the vehicle. The sampling cycle of the sonar 10 is set according to the arrangement location of the sonar 10. For example, the front sonar has a first cycle, and the side sonar has a second cycle equal to or less than the first cycle.

なお、ここでは測距センサとしてソナー１０を例に挙げるが、測距センサとしては、ミリ波レーダやＬＩＤＡＲ（Light Detection and Ranging）なども挙げられる。ミリ波レーダは、探査波としてミリ波を用いた測定、ＬＩＤＡＲは、探査波としてレーザ光を用いた測定を行うものであり、共に、例えば車両の前方などの所定範囲内に探査波を出力し、その出力範囲内において測定を行う。 Here, the sonar 10 is taken as an example of the distance measuring sensor, but examples of the distance measuring sensor include a millimeter wave radar and LIDAR (Light Detection and Ranging). The millimeter wave radar performs measurement using millimeter waves as exploration waves, and LIDAR performs measurements using laser light as exploration waves, both of which output exploration waves within a predetermined range such as in front of a vehicle. , The measurement is performed within the output range.

車載カメラ２０は、自車周囲の所定範囲を撮像する周辺監視カメラであり、自車の周辺画像を撮影し、その撮像データを解析し、物体を検知した場合には、その検知座標をセンシング情報に含めてＥＣＵ３０へ出力する。車載カメラ２０としては、自車の前方を撮影する前方カメラの他、自車の後方、左右側方の画像を撮影する後方カメラ、左側方カメラ、右側方カメラなどがあるが、これらに限るものではない。車載カメラ２０の画像取込みの周期であるサンプリング周期は、例えば第１周期以上の第３周期とされている。車載カメラ２０においても、物体の検知座標については、移動三角測量法を用いて特定している。 The in-vehicle camera 20 is a peripheral monitoring camera that captures a predetermined range around the own vehicle, captures a peripheral image of the own vehicle, analyzes the captured data, and when an object is detected, senses the detection coordinates. Is included in and output to the ECU 30. The in-vehicle camera 20 includes, but is limited to, a front camera that captures the front of the vehicle, a rear camera that captures images of the rear and left and right sides of the vehicle, a left-side camera, and a right-side camera. is not it. The sampling cycle, which is the cycle for capturing images of the vehicle-mounted camera 20, is, for example, a third cycle equal to or higher than the first cycle. Also in the vehicle-mounted camera 20, the detection coordinates of the object are specified by using the moving triangulation method.

ＥＣＵ３０は、物体の検知を行うと共に自動駐車を行うための駐車支援制御を実現するための各種制御を行うものであり、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏなどを備えたマイクロコンピュータによって構成されている。具体的には、ＥＣＵ３０は、ソナー１０や車載カメラ２０のセンシング情報に基づいてグリッドマップを作成することで自車の周囲に存在する物体を検知し、その物体の検知座標を選定する。さらに、本実施形態の場合には、ＥＣＵ３０は、物体の検知結果に基づいて駐車支援制御を行い、駐車支援制御に基づいて各種アクチュエータ４０を制御して自動駐車を行わせる。具体的には、ＥＣＵ３０は、各種制御を実行する機能部として、第１物体認識部３１ａ、第２物体認識部３１ｂ、物体統合部３２、出力選定部３３および制御部３４を備えた構成とされている。 The ECU 30 performs various controls for detecting an object and realizing parking support control for automatic parking, and is composed of a microcomputer equipped with a CPU, ROM, RAM, I / O, and the like. There is. Specifically, the ECU 30 detects an object existing around the own vehicle by creating a grid map based on the sensing information of the sonar 10 and the vehicle-mounted camera 20, and selects the detection coordinates of the object. Further, in the case of the present embodiment, the ECU 30 performs parking support control based on the detection result of the object, and controls various actuators 40 based on the parking support control to perform automatic parking. Specifically, the ECU 30 is configured to include a first object recognition unit 31a, a second object recognition unit 31b, an object integration unit 32, an output selection unit 33, and a control unit 34 as functional units that execute various controls. ing.

以下、ＥＣＵ３０を構成する各機能部の詳細について説明するが、第１物体認識部３１ａ、第２物体認識部３１ｂ、物体統合部３２については、物体が存在する状況を想定して、各部が作成するグリッドマップを参照して説明する。自車の近傍に物体が存在する場合の一例として、図２に示すように、自車Ｖの前方に円柱形状の物体１００が存在している場合を想定する。図２中のＯ印はソナー１０による物体１００の検知の様子、図２中のＸ印は車載カメラ２０での物体１００の検知の様子を示している。図３Ａ〜図３Ｃは、図２に示す状況において、第１物体認識部３１ａ、第２物体認識部３１ｂ、物体統合部３２それぞれで作成されるグリッドマップの一部を示している。 Hereinafter, the details of each functional unit constituting the ECU 30 will be described. However, the first object recognition unit 31a, the second object recognition unit 31b, and the object integration unit 32 are created by each unit assuming the existence of an object. This will be explained with reference to the grid map. As an example of the case where an object exists in the vicinity of the own vehicle, it is assumed that the cylindrical object 100 exists in front of the own vehicle V as shown in FIG. The O mark in FIG. 2 shows the state of detection of the object 100 by the sonar 10, and the X mark in FIG. 2 shows the state of detection of the object 100 by the in-vehicle camera 20. 3A to 3C show a part of the grid map created by each of the first object recognition unit 31a, the second object recognition unit 31b, and the object integration unit 32 in the situation shown in FIG.

第１物体認識部３１ａは、ソナー１０から入力されるセンシング情報に基づき、図３Ａに示すように、自車Ｖの周辺を複数のグリッドＧに分割したグリッドマップＭａｐを用いて自車Ｖの周辺の物体１００の位置を示したグリッドマップＭ１を作成する。グリッドマップＭ１は、平面視で自車Ｖの周囲を格子状に区分けして複数のグリッドＧに分割したマップである。図３Ａでは一部のみしか示していないが、第１物体認識部３１ａは、例えば自車Ｖを中心として自車Ｖよりも大きな数ｍ×数ｍの範囲のグリッドマップＭ１を作成している。第１物体認識部３１ａは、例えば数〜十数ｃｍの正方形を１つのグリッドＧ、つまり１単位領域として、自車Ｖの前後方向および自車Ｖの左右方向において格子状に区分けしたグリッドマップＭ１を作成している。そして、第１物体認識部３１ａは、ソナー１０からセンシング情報が入力されると、グリッドマップＭａｐ上の各グリッドＧに投票数を設定し、ソナー１０のセンシング情報に含まれる検知座標を反映したグリッドマップＭ１を作成している。投票数は物体１００の存在確率を示す指標となる値であり、ここでは投票数が大きい値であるほど物体１００の存在確率が高いことを示している。なお、以下の説明では、第１物体認識部３１ａが作成するグリッドマップＭ１のことを第１グリッドマップＭ１という。 Based on the sensing information input from the sonar 10, the first object recognition unit 31a uses a grid map Map in which the periphery of the vehicle V is divided into a plurality of grids G, as shown in FIG. 3A, to surround the vehicle V. A grid map M1 showing the positions of the objects 100 of the above is created. The grid map M1 is a map in which the periphery of the own vehicle V is divided into a plurality of grids G in a grid pattern in a plan view. Although only a part thereof is shown in FIG. 3A, the first object recognition unit 31a creates, for example, a grid map M1 having a range of several m × several m larger than the own vehicle V centered on the own vehicle V. The first object recognition unit 31a uses, for example, a square of several to several tens of centimeters as one grid G, that is, one unit area, and the grid map M1 is divided into a grid in the front-rear direction of the own vehicle V and the left-right direction of the own vehicle V. Is being created. Then, when the sensing information is input from the sonar 10, the first object recognition unit 31a sets the number of votes in each grid G on the grid map Map, and the grid reflects the detection coordinates included in the sensing information of the sonar 10. Map M1 is being created. The number of votes is a value that serves as an index indicating the existence probability of the object 100, and here, the larger the number of votes, the higher the existence probability of the object 100. In the following description, the grid map M1 created by the first object recognition unit 31a is referred to as the first grid map M1.

具体的には、図３Ａに示すように、ソナー１０からのセンシング情報に含まれる検知座標と対応するグリッドＧを主グリッドＧｍ、主グリッドＧｍに隣接して物体１００の幅方向に位置するグリッドＧを幅方向グリッドＧｗとしている。また、主グリッドＧｍおよび幅方向グリッドＧｗの後方、つまりソナー１０から遠い側に位置するグリッドＧを後方グリッドＧｂ、主グリッドＧｍや幅方向グリッドＧｗおよび後方グリッドＧｂ以外を他グリッドＧｏとしている。そして、主グリッドＧｍについては第１投票数、幅方向グリッドＧｗや後方グリッドＧｂについては第１投票数より少ない第２投票数、他グリッドＧｏについては第２投票数より少ない第３投票数として、各グリッドＧの投票数を設定する。例えば、第１投票数については正の投票数、ここでは＋１を設定している。第２投票数については０を設定している。第３投票数については負の投票数、ここでは−１を設定している。 Specifically, as shown in FIG. 3A, the grid G corresponding to the detection coordinates included in the sensing information from the sonar 10 is the main grid Gm, and the grid G located adjacent to the main grid Gm in the width direction of the object 100. Is the width direction grid Gw. Further, the grid G located behind the main grid Gm and the width direction grid Gw, that is, on the side far from the sonar 10, is referred to as a rear grid Gb, and other than the main grid Gm, the width direction grid Gw, and the rear grid Gb is referred to as another grid Go. The main grid Gm has the first vote, the width direction grid Gw and the rear grid Gb have the second vote less than the first vote, and the other grid Go has the third vote less than the second vote. Set the number of votes for each grid G. For example, the number of positive votes is set as the number of first votes, which is +1 here. 0 is set for the number of second votes. The number of negative votes is set to -1 for the third number of votes.

幅方向グリッドＧｗに他グリッドＧｏよりも多い投票数を設定するのは、ソナー１０が物体幅の測定が不得意のためである。ソナー１０での検知座標から幅方向にずれて物体１００が存在している可能性がある。これを想定して、主グリッドＧｍを基準とした幅方向に位置する幅方向グリッドＧｗを設け、幅方向グリッドＧｗについて、物体１００の存在確率が低い他グリッドＧｏよりも多い投票数としている。後方グリッドＧｂに他グリッドＧｏよりも多い投票数を設定するのは、ソナー１０が主グリッドＧｍよりも後方位置を測定できず、物体１００が存在している可能性があるためである。この場合にも、後方グリッドＧｂに物体１００が存在している可能性があることを想定し、主グリッドＧｍを基準とした後方に位置する後方グリッドＧｂについて、物体１００の存在確率が低い他グリッドＧｏよりも多い投票数としている。 The reason why the width direction grid Gw is set to have a larger number of votes than the other grid Go is that the sonar 10 is not good at measuring the object width. There is a possibility that the object 100 exists deviating from the detection coordinates of the sonar 10 in the width direction. Assuming this, a width direction grid Gw located in the width direction with respect to the main grid Gm is provided, and the number of votes for the width direction grid Gw is set to be larger than that of other grid Gos having a low existence probability of the object 100. The reason why the rear grid Gb is set to have a larger number of votes than the other grid Go is that the sonar 10 cannot measure the position behind the main grid Gm and the object 100 may exist. Also in this case, assuming that the object 100 may exist in the rear grid Gb, the existence probability of the object 100 is low for the rear grid Gb located behind the main grid Gm. The number of votes is higher than that of Go.

第２物体認識部３１ｂは、車載カメラ２０から入力されるセンシング情報に基づき、自車Ｖの周辺を複数のグリッドＧに分割したグリッドマップＭａｐを用いて自車Ｖの周辺の物体１００の位置を示したグリッドマップＭ２を作成する。図３Ｂでは一部のみしか示していないが、グリッドマップＭ２の全体のサイズや各グリッドＧのサイズについては、第１物体認識部３１ａで作成される第１グリッドマップＭ１と同様である。第２物体認識部３１ｂも、車載カメラ２０からセンシング情報が入力されると、グリッドマップＭａｐ上の各グリッドＧに投票数を設定し、車載カメラ２０のセンシング情報に含まれる検知座標を反映したグリッドマップＭ２を作成している。なお、以下の説明では、第２物体認識部３１ｂが作成するグリッドマップＭ２のことを第２グリッドマップＭ２という。 Based on the sensing information input from the vehicle-mounted camera 20, the second object recognition unit 31b uses a grid map Map in which the periphery of the vehicle V is divided into a plurality of grids G to determine the position of the object 100 around the vehicle V. The shown grid map M2 is created. Although only a part of the grid map M2 is shown in FIG. 3B, the overall size of the grid map M2 and the size of each grid G are the same as those of the first grid map M1 created by the first object recognition unit 31a. When the sensing information is input from the vehicle-mounted camera 20, the second object recognition unit 31b also sets the number of votes for each grid G on the grid map Map, and the grid reflects the detection coordinates included in the sensing information of the vehicle-mounted camera 20. Map M2 is being created. In the following description, the grid map M2 created by the second object recognition unit 31b is referred to as the second grid map M2.

具体的には、ソナー１０の場合と同様、車載カメラ２０のセンシング情報に含まれる検知座標と対応するグリッドＧを主グリッドＧｍ、主グリッドＧｍの後方、つまり車載カメラ２０から遠い側に位置するグリッドＧを後方グリッドＧｂとしている。加えて、主グリッドＧｍの前方、つまり車載カメラ２０から近い側位置するグリッドＧを前方グリッドＧｆとしている。また、主グリッドＧｍや前方グリッドＧｆおよび後方グリッドＧｂ以外を他グリッドＧｏとしている。そして、主グリッドＧｍについては第４投票数、前方グリッドＧｆや後方グリッドＧｂについては第４投票数より少ない第５投票数、他グリッドＧｏについては第５投票数より少ない第６投票数として、各グリッドＧの投票数を設定する。例えば、第４投票数については正の投票数、ここでは＋１を設定している。第５投票数については、ここでは０を設定している。第６投票数については負の投票数、ここでは−１を設定している。 Specifically, as in the case of the sonar 10, the grid G corresponding to the detection coordinates included in the sensing information of the vehicle-mounted camera 20 is the main grid Gm, and the grid located behind the main grid Gm, that is, on the side far from the vehicle-mounted camera 20. G is the rear grid Gb. In addition, the grid G located in front of the main grid Gm, that is, on the side closer to the vehicle-mounted camera 20, is referred to as the front grid Gf. In addition, other grids other than the main grid Gm, the front grid Gf, and the rear grid Gb are used as other grid Go. The main grid Gm has the 4th vote, the front grid Gf and the rear grid Gb have the 5th vote less than the 4th vote, and the other grid Go has the 6th vote less than the 5th vote. Set the number of votes for grid G. For example, the number of positive votes for the fourth number of votes is set to +1 here. The number of fifth votes is set to 0 here. The number of votes for the sixth vote is negative, which is set to -1 here.

前方グリッドＧｆに他グリッドＧｏよりも多い投票数を設定するのは、車載カメラ２０が物体１００までの距離の測定が不得意のためである。車載カメラ２０での検知座標から前方にずれて物体１００が存在している可能性がある。これを想定して、主グリッドＧｍを基準とした前方に位置する前方グリッドＧｆを設け、前方グリッドＧｆについて、物体１００の存在確率が低い他グリッドＧｏよりも多い投票数としている。後方グリッドＧｂに他グリッドＧｏよりも多い投票数を設定するのは、車載カメラ２０が主グリッドＧｍよりも後方位置を撮影できず、物体１００が存在している可能性があるためである。この場合にも、後方グリッドＧｂに物体１００が存在している可能性があることを想定し、主グリッドＧｍを基準とした後方に位置する後方グリッドＧｂについて、物体１００の存在確率が低い他グリッドＧｏよりも多い投票数としている。 The reason why the front grid Gf is set to have a larger number of votes than the other grid Go is that the vehicle-mounted camera 20 is not good at measuring the distance to the object 100. There is a possibility that the object 100 is present at a position shifted forward from the coordinates detected by the vehicle-mounted camera 20. Assuming this, a front grid Gf located in front of the main grid Gm is provided, and the number of votes for the front grid Gf is set to be larger than that of other grid Gos having a low probability of existence of the object 100. The reason why the rear grid Gb is set to have a larger number of votes than the other grid Go is that the vehicle-mounted camera 20 cannot photograph the position behind the main grid Gm and the object 100 may exist. Also in this case, assuming that the object 100 may exist in the rear grid Gb, the existence probability of the object 100 is low for the rear grid Gb located behind the main grid Gm. The number of votes is higher than that of Go.

なお、ソナー１０や車載カメラ２０の解像度は高く、グリッドマップＭａｐをより細かいグリッドＧで構成することも可能であるが、メモリ容量や処理負荷の低減のために、グリッドサイズを大きくとることでデータを間引いて粗くしてもよい。 The resolution of the sonar 10 and the in-vehicle camera 20 is high, and the grid map Map can be configured with a finer grid G. However, in order to reduce the memory capacity and the processing load, the data can be increased by increasing the grid size. May be thinned out to make it rough.

物体統合部３２は、図３Ｃに示すように、第１物体認識部３１ａで作成された第１グリッドマップＭ１と第２物体認識部３１ｂで作成された第２グリッドマップＭ２を統合したグリッドマップ（以下、統合グリッドマップという）Ｍｃを作成する。第１グリッドマップＭ１と第２グリッドマップＭ２の全体のサイズやグリッド数が同じにされているため、同じ位置のグリッドＧの投票数を加算することで、１つの統合グリッドマップＭｃとする。統合グリッドマップＭｃにおける各グリッドＧの投票数は、第１グリッドマップＭ１と第２グリッドマップＭ２それぞれにおける同じ位置のグリッドＧの投票数の合計値となる。 As shown in FIG. 3C, the object integration unit 32 integrates the first grid map M1 created by the first object recognition unit 31a and the second grid map M2 created by the second object recognition unit 31b. Hereafter, Mc is created (hereinafter referred to as an integrated grid map). Since the overall size and the number of grids of the first grid map M1 and the second grid map M2 are the same, the number of votes of the grid G at the same position is added to obtain one integrated grid map Mc. The number of votes of each grid G in the integrated grid map Mc is the total number of votes of the grid G at the same position in each of the first grid map M1 and the second grid map M2.

出力選定部３３は、物体特定部に相当し、物体統合部３２で作成された統合グリッドマップＭｃから物体の存在するグリッドＧｅを特定し、そのグリッドＧｅに存在すると検知された物体１００の検知座標を制御部３４に出力する。例えば、出力選定部３３は、投票数の閾値を記憶しており、統合グリッドマップＭｃ中の各グリッドＧの投票数が閾値未満であれば物体１００は存在しないグリッドＧｎと判定し、閾値以上であれば物体１００が存在するグリッドＧｅと判定する。ここでは、閾値を１に設定しており、投票数の合計値が１以上になったグリッドＧを物体１００が存在しているグリッドＧｅと特定し、合計値が１未満のグリッドＧを物体１００が存在しているグリッドＧｎと特定している。そして、第１グリッドマップＭ１もしくは第２グリッドマップＭ２のうち、ここで物体１００が存在すると判定されたグリッドＧｅに含まれる物体１００の検知座標を実際の物体１００の検知座標として制御部３４に出力する。 The output selection unit 33 corresponds to the object identification unit, identifies the grid Ge in which the object exists from the integrated grid map Mc created by the object integration unit 32, and detects the detection coordinates of the object 100 detected to exist in the grid Ge. Is output to the control unit 34. For example, the output selection unit 33 stores the threshold value of the number of votes, and if the number of votes of each grid G in the integrated grid map Mc is less than the threshold value, the object 100 is determined to be a non-existent grid Gn, and the value is equal to or higher than the threshold value. If there is, it is determined that the grid Ge in which the object 100 exists. Here, the threshold value is set to 1, the grid G in which the total value of the number of votes is 1 or more is specified as the grid Ge in which the object 100 exists, and the grid G having the total value less than 1 is specified as the object 100. Is specified as the existing grid Gn. Then, of the first grid map M1 or the second grid map M2, the detection coordinates of the object 100 included in the grid Ge determined to have the object 100 here are output to the control unit 34 as the detection coordinates of the actual object 100. do.

このとき、物体１００の存在するグリッドＧｅの座標を制御部３４に出力することもできる。しかしながら、ここではグリッドＧｅに存在すると検知された物体１００の検知座標についてはソナー１０や車載カメラ２０のセンシング情報が示す検知座標をそのまま出力している。このようにすれば、物体１００の存在するグリッドＧｅの座標を作成する必要がなくなり、ＥＣＵ３０のメモリ容量および処理負荷の低減を図ることができる。また、ソナー１０や車載カメラ２０の解像度が高く、グリッドマップＭａｐのデータの方が粗いため、ソナー１０や車載カメラ２０のセンシング情報が示す検知座標をそのまま出力した方が、より詳細なデータとなる。 At this time, the coordinates of the grid Ge in which the object 100 exists can be output to the control unit 34. However, here, as for the detection coordinates of the object 100 detected to exist in the grid Ge, the detection coordinates indicated by the sensing information of the sonar 10 and the vehicle-mounted camera 20 are output as they are. By doing so, it is not necessary to create the coordinates of the grid Ge in which the object 100 exists, and the memory capacity and the processing load of the ECU 30 can be reduced. Further, since the resolution of the sonar 10 and the in-vehicle camera 20 is high and the data of the grid map Map is coarser, it is more detailed data to output the detection coordinates indicated by the sensing information of the sonar 10 and the in-vehicle camera 20 as they are. ..

制御部３４は、自動駐車を行うための駐車支援制御を行う。駐車支援制御では、現在位置から駐車予定位置までの駐車経路生成や、生成した駐車経路に沿って自車Ｖを移動させる経路追従制御、駐車支援制御に関する表示制御を実行している。駐車経路生成は、出力選定部３３から伝えられる物体１００の検知座標に基づいて行われる。例えば、制御部３４は、物体１００の検知座標を避けるように駐車経路を生成する。経路追従制御は、駐車経路生成によって生成された駐車経路に沿って自車Ｖを移動させるために、加減速制御や操舵制御などの車両運動制御を行う制御である。また、制御部３４は、駐車支援制御中に新たに駐車経路中に物体１００が検知された場合には、駐車経路を再生成したり、その物体１００が移動するまで経路追従制御での自車Ｖの移動を停止させることで、物体１００との接触が避けられるようにしている。 The control unit 34 performs parking support control for automatic parking. In the parking support control, parking route generation from the current position to the planned parking position, route tracking control for moving the own vehicle V along the generated parking route, and display control related to parking support control are executed. The parking route is generated based on the detection coordinates of the object 100 transmitted from the output selection unit 33. For example, the control unit 34 generates a parking route so as to avoid the detection coordinates of the object 100. The route follow-up control is a control that performs vehicle motion control such as acceleration / deceleration control and steering control in order to move the own vehicle V along the parking route generated by the parking route generation. Further, when the object 100 is newly detected in the parking route during the parking support control, the control unit 34 regenerates the parking route or the own vehicle in the route follow-up control until the object 100 moves. By stopping the movement of V, contact with the object 100 can be avoided.

表示制御は、駐車支援制御に係わる表示を行うことでドライバに駐車支援制御中であることを伝えたり、駐車経路や自車Ｖの様子、例えば駐車経路中のどの位置を移動中であるかなどの表示を制御するものである。制御部３４は、表示制御として表示器５０を制御している。 The display control informs the driver that the parking support control is in progress by displaying the parking support control, the state of the parking route and the own vehicle V, for example, which position in the parking route is being moved. It controls the display of. The control unit 34 controls the display 50 as display control.

なお、本実施形態では、ＥＣＵ３０を１つで構成し、そのＥＣＵ３０内に各機能部を備えた構成としているが、複数のＥＣＵを組み合わせた構成としても良い。例えば、第１物体認識部３１ａや第２物体認識部３１ｂをそれぞれ個別のＥＣＵとし、第１物体認識部３１ａについてはソナー１０とユニット化されたもの、第２物体認識部３１ｂについては車載カメラ２０とユニット化されたものとしても良い。また、制御部３４だけを１つもしくは複数のＥＣＵで構成したものとしても良い。制御部３４を複数のＥＣＵで構成する場合の各種ＥＣＵとしては、例えば、操舵制御を行う操舵ＥＣＵ、加減速制御を行うパワーユニット制御ＥＣＵおよびブレーキＥＣＵ等が挙げられる。 In the present embodiment, the ECU 30 is configured by one, and each functional unit is provided in the ECU 30, but a plurality of ECUs may be combined. For example, the first object recognition unit 31a and the second object recognition unit 31b are separate ECUs, the first object recognition unit 31a is unitized with the sonar 10, and the second object recognition unit 31b is an in-vehicle camera 20. It may be unitized as. Further, only the control unit 34 may be composed of one or a plurality of ECUs. Examples of various ECUs in which the control unit 34 is composed of a plurality of ECUs include a steering ECU that performs steering control, a power unit control ECU that performs acceleration / deceleration control, and a brake ECU.

具体的には、制御部３４は、図示しないが、自車Ｖに搭載されたアクセルポジションセンサ、ブレーキ踏力センサ、舵角センサ、シフトポジションセンサ等の各センサから出力される検出信号を取得している。そして、制御部３４は、取得した検出信号より各部の状態を検出し、駐車経路に追従して自車Ｖを移動させるべく、各種アクチュエータ４０に対して制御信号を出力する。 Specifically, although not shown, the control unit 34 acquires detection signals output from each sensor such as an accelerator position sensor, a brake pedal force sensor, a steering angle sensor, and a shift position sensor mounted on the vehicle V. There is. Then, the control unit 34 detects the state of each unit from the acquired detection signal, and outputs control signals to various actuators 40 in order to move the own vehicle V following the parking path.

各種アクチュエータ４０は、自車Ｖの走行や停止に係わる各種走行制御デバイスであり、電子制御スロットル４１、ブレーキアクチュエータ４２、ＥＰＳ（Electric Power Steering）モータ４３、トランスミッション４４等がある。これら各種アクチュエータ４０が制御部３４からの制御信号に基づいて制御され、自車Ｖの走行方向や舵角、制駆動トルクが制御される。それにより、駐車経路に従って自車Ｖを移動させて駐車予定位置に駐車させるという経路追従制御を含む駐車支援制御が実現される。 The various actuators 40 are various travel control devices related to the travel and stop of the own vehicle V, and include an electronically controlled throttle 41, a brake actuator 42, an EPS (Electric Power Steering) motor 43, a transmission 44, and the like. These various actuators 40 are controlled based on the control signals from the control unit 34, and the traveling direction, steering angle, and control drive torque of the own vehicle V are controlled. As a result, parking support control including route tracking control in which the own vehicle V is moved according to the parking route and parked at the planned parking position is realized.

表示器５０は、ナビゲーションシステムにおけるディスプレイ（以下、ナビディスプレイという）５１やメータに備えられるディスプレイ（以下、メータディスプレイという）５２などで構成される。ここでは、駐車支援制御中に、ナビディスプレイ５１やメータディスプレイ５２に駐車経路や駐車経路中のどの位置に自車Ｖが移動中であるかの表示を行うようにしている。 The display 50 is composed of a display (hereinafter, referred to as a navigation display) 51 in a navigation system, a display (hereinafter, referred to as a meter display) 52 provided in a meter, and the like. Here, during the parking support control, the navigation display 51 and the meter display 52 are set to display the parking route or the position in the parking route where the vehicle V is moving.

以上のようにして、本実施形態にかかる車両制御システム１が構成されている。次に、本実施形態にかる車両制御システム１の作動について説明する。なお、車両制御システム１のＥＣＵ３０で行われる駐車支援制御としては、駐車経路生成、経路追従制御、表示制御を行っているが、これらについては上記の通りであるため、説明を省略する。ここでは、駐車経路生成に用いるグリッドマップ作成や物体の検知座標の出力を含む物体検知について、図４を参照して説明する。図４は、ＥＣＵ３０が実行する物体検知処理のフローチャートである。この物体検知処理は、イグニッションスイッチなどの自車Ｖの起動スイッチがオンされている際に、所定の制御周期毎、例えばソナー１０や車載カメラ２０のサンプリング周期よりも短い周期毎に実行される。ＥＣＵ３０のうちの第１物体認識部３１ａ、第２物体認識部３１ｂ、物体統合部３２および出力選定部３３が処理部として機能して、この物体検知処理を行っている。 As described above, the vehicle control system 1 according to the present embodiment is configured. Next, the operation of the vehicle control system 1 according to the present embodiment will be described. The parking support control performed by the ECU 30 of the vehicle control system 1 includes parking route generation, route tracking control, and display control. However, since these are as described above, the description thereof will be omitted. Here, object detection including grid map creation used for parking route generation and output of object detection coordinates will be described with reference to FIG. FIG. 4 is a flowchart of the object detection process executed by the ECU 30. This object detection process is executed every predetermined control cycle, for example, every cycle shorter than the sampling cycle of the sonar 10 or the vehicle-mounted camera 20 when the start switch of the own vehicle V such as the ignition switch is turned on. The first object recognition unit 31a, the second object recognition unit 31b, the object integration unit 32, and the output selection unit 33 of the ECU 30 function as processing units to perform this object detection processing.

まず、所定の制御周期毎にステップＳ１００の処理とステップＳ１０５の処理が並列的に行われる。ステップＳ１００では、ソナー認識が行われたか否か、つまりソナー１０から出力されるセンシング情報に物体１００が認識されたことを示す情報が含まれているか否かが判定される。そして、ソナー１０のセンシング情報に物体１００が認識されたことを示す情報が含まれていなければ、ステップＳ１００の処理が繰り返され、含まれていればステップＳ１１０に進む。 First, the process of step S100 and the process of step S105 are performed in parallel for each predetermined control cycle. In step S100, it is determined whether or not sonar recognition has been performed, that is, whether or not the sensing information output from the sonar 10 includes information indicating that the object 100 has been recognized. Then, if the sensing information of the sonar 10 does not include information indicating that the object 100 has been recognized, the process of step S100 is repeated, and if it is included, the process proceeds to step S110.

一方、ステップＳ１０５では、車載カメラ認識が行われたか否か、つまり車載カメラ２０から出力されるセンシング情報に物体１００が認識されたことを示す情報が含まれているか否かが判定される。そして、車載カメラ２０のセンシング情報に物体１００が認識されたことを示す情報が含まれていればステップＳ１２５に進み、含まれていなければステップＳ１０５の処理を繰り返す。 On the other hand, in step S105, it is determined whether or not the vehicle-mounted camera recognition has been performed, that is, whether or not the sensing information output from the vehicle-mounted camera 20 includes information indicating that the object 100 has been recognized. Then, if the sensing information of the vehicle-mounted camera 20 includes information indicating that the object 100 has been recognized, the process proceeds to step S125, and if not, the process of step S105 is repeated.

ソナー１０や車載カメラ２０で物体１００が検知されたら、それに基づいて第１グリッドマップＭ１もしくは第２グリッドマップＭ２を作成し、統合グリッドマップＭｃを更新して、物体１００の検知座標を制御部３４に伝える必要がある。このため、ステップＳ１００、Ｓ１０５において、ソナー１０と車載カメラ２０のいずれかで物体１００が検知されたことの判定を行っている。 When the object 100 is detected by the sonar 10 or the vehicle-mounted camera 20, the first grid map M1 or the second grid map M2 is created based on the object 100, the integrated grid map Mc is updated, and the detection coordinates of the object 100 are controlled by the control unit 34. Need to tell. Therefore, in steps S100 and S105, it is determined that the object 100 is detected by either the sonar 10 or the vehicle-mounted camera 20.

そして、ソナー１０で物体１００が検知された場合には、ステップＳ１１０〜Ｓ１２０の各処理を実行する。ステップＳ１１０では、ソナー１０のセンシング情報に含まれる検知座標と対応するグリッドＧを検索する。このグリッドＧが今回の制御周期における主グリッドＧｍになる。ステップＳ１１５では、ステップＳ１１０で検索した主グリッドＧｍの投票数を加算する。つまり、先の制御周期までに作成していた第１グリッドマップＭ１に対して、今回の制御周期における主グリッドＧｍの投票数を加算する。ここでは、投票数を＋１加算している。ステップＳ１２０では、主グリッドＧｍの前方を含む他グリッドＧｏ、つまり第１グリッドマップ中における主グリッドＧｍや幅方向グリッドＧｗおよび後方グリッドＧｂ以外の他グリッドＧｏに投票数を加算する。ここでは投票数を−１加算している。上記したように、ソナー１０は物体幅の測定が不得意であるため、ステップＳ１２０では幅方向グリッドＧｗについては０加算、つまり変化させないようにしている。このようにして、第１グリッドマップＭ１が更新される。 Then, when the object 100 is detected by the sonar 10, each process of steps S110 to S120 is executed. In step S110, the grid G corresponding to the detection coordinates included in the sensing information of the sonar 10 is searched. This grid G becomes the main grid Gm in this control cycle. In step S115, the number of votes of the main grid Gm searched in step S110 is added. That is, the number of votes of the main grid Gm in the current control cycle is added to the first grid map M1 created up to the previous control cycle. Here, the number of votes is added by +1. In step S120, the number of votes is added to other grid Go including the front of the main grid Gm, that is, other grid Go other than the main grid Gm, the width direction grid Gw, and the rear grid Gb in the first grid map. Here, the number of votes is added by -1. As described above, since the sonar 10 is not good at measuring the object width, 0 is added to the width direction grid Gw in step S120, that is, it is not changed. In this way, the first grid map M1 is updated.

一方、車載カメラ２０で物体が検知された場合には、ステップＳ１２５〜Ｓ１３５の各処理を実行する。ステップＳ１２５〜Ｓ１３５では、車載カメラ２０のセンシング情報に含まれる検知座標に基づいて、ステップＳ１１０〜Ｓ１２０と同様の処理を行う。ただし、ステップＳ１３５では、主グリッドＧｍの側方を含む他グリッドＧｏ、つまり第２グリッドマップＭ２に対して主グリッドＧｍや前方グリッドＧｆおよび後方グリッドＧｂ以外の他グリッドＧｏに投票数を−１加算する。上記したように、車載カメラ２０が物体１００までの距離の測定が不得意であるため、ステップＳ１３５では前方グリッドＧｆについては０加算、つまり変化させないようにしている。このようにして、第２グリッドマップＭ２が更新される。 On the other hand, when an object is detected by the vehicle-mounted camera 20, each process of steps S125 to S135 is executed. In steps S125 to S135, the same processing as in steps S110 to S120 is performed based on the detection coordinates included in the sensing information of the vehicle-mounted camera 20. However, in step S135, the number of votes is added by -1 to the other grid Go including the side of the main grid Gm, that is, to the other grid Go other than the main grid Gm, the front grid Gf, and the rear grid Gb with respect to the second grid map M2. do. As described above, since the vehicle-mounted camera 20 is not good at measuring the distance to the object 100, in step S135, 0 is added to the front grid Gf, that is, it is not changed. In this way, the second grid map M2 is updated.

続いて、ステップＳ１４０に進み、第１グリッドマップＭ１と第２グリッドマップＭ２を統合して統合グリッドマップＭｃを作成する。これにより、統合グリッドマップＭｃが更新される。その後、ステップＳ１４５に進む。 Subsequently, the process proceeds to step S140, and the first grid map M1 and the second grid map M2 are integrated to create an integrated grid map Mc. As a result, the integrated grid map Mc is updated. Then, the process proceeds to step S145.

ステップＳ１４５では、出力選定処理を行う。すなわち、ステップＳ１４０で作成した統合グリッドマップＭｃから物体１００の存在するグリッドＧｅを特定し、そのグリッドＧｅに存在すると検知された物体１００の検知座標を制御部３４に出力する。具体的には、統合グリッドマップＭｃの中から投票数の合計値が閾値以上、ここでは１以上のグリッドＧを物体１００が存在しているグリッドＧｅと特定する。そして、ソナー１０および車載カメラ２０のセンシング情報に含まれていた検知座標のうち、物体１００が存在しているグリッドＧｅと特定されたものと対応する検知座標を制御部３４に出力する。 In step S145, the output selection process is performed. That is, the grid Ge in which the object 100 exists is specified from the integrated grid map Mc created in step S140, and the detection coordinates of the object 100 detected to exist in the grid Ge are output to the control unit 34. Specifically, the grid G in which the total number of votes is equal to or greater than the threshold value, and here is 1 or more, is specified as the grid Ge in which the object 100 exists from the integrated grid map Mc. Then, among the detection coordinates included in the sensing information of the sonar 10 and the vehicle-mounted camera 20, the detection coordinates corresponding to the grid Ge in which the object 100 exists are output to the control unit 34.

このようにして、駐車経路生成に用いるグリッドマップ作成や物体１００の検知座標の出力を含む物体検知が完了し、制御部３４に物体１００の検知座標が伝えられる。なお、ここで説明した各処理のうち、ステップＳ１００、Ｓ１１０〜Ｓ１２０の処理は第１物体認識部３１ａ、ステップＳ１０５、Ｓ１２５〜Ｓ１３５の処理は第２物体認識部３１ｂによって実行される。また、ステップＳ１４０の処理は物体統合部３２、ステップＳ１４５の処理は出力選定部３３によって実行される。 In this way, the object detection including the grid map creation used for the parking route generation and the output of the detection coordinates of the object 100 is completed, and the detection coordinates of the object 100 are transmitted to the control unit 34. Of the processes described here, the processes of steps S100 and S110 to S120 are executed by the first object recognition unit 31a, and the processes of steps S105 and S125 to S135 are executed by the second object recognition unit 31b. Further, the processing of step S140 is executed by the object integration unit 32, and the processing of step S145 is executed by the output selection unit 33.

そして、制御部３４に物体１００の検知座標が伝えられると、制御部３４において、駐車支援制御として、駐車経路生成、経路追従制御、表示制御が実行される。これにより、物体１００を避けるようにして駐車経路が作成されたのち、各種アクチュエータ４０が制御されて駐車経路に追従した自動駐車が行われると共に、表示器５０にて駐車経路や駐車経路中のどの位置に自車Ｖが移動中であるかの表示が行われる。 Then, when the detection coordinates of the object 100 are transmitted to the control unit 34, the control unit 34 executes parking route generation, route tracking control, and display control as parking support control. As a result, after the parking route is created so as to avoid the object 100, various actuators 40 are controlled to perform automatic parking following the parking route, and the display 50 displays which of the parking route and the parking route. It is displayed at the position whether or not the own vehicle V is moving.

以上説明したように、本実施形態の車両制御システム１では、第１物体認識部３１ａおよび第２物体認識部３１ｂにて、ソナー１０と車載カメラ２０のセンシング情報に基づいて第１グリッドマップＭ１および第２グリッドマップＭ２を作成している。そして、物体統合部３２にて第１グリッドマップＭ１と第２グリッドマップＭ２を統合することで統合グリッドマップＭｃを作成している。つまり、物体幅の測定が不得意なソナー１０のセンシング情報に基づく第１グリッドマップＭ１と、物体幅の測定を得意とする車載カメラ２０のセンシング情報に基づく第２グリッドマップＭ２とを組み合わせてセンサフュージョンを行っている。このように、多種類のセンサの特性を考慮した統合グリッドマップＭｃを作成することで、物体１００の検知精度を高めることが可能となり、１つの測距センサのみで物体検知を行う場合のような誤検知を抑制することが可能となる。 As described above, in the vehicle control system 1 of the present embodiment, the first object recognition unit 31a and the second object recognition unit 31b have the first grid map M1 and the first grid map M1 based on the sensing information of the sonar 10 and the vehicle-mounted camera 20. The second grid map M2 is created. Then, the object integration unit 32 integrates the first grid map M1 and the second grid map M2 to create an integrated grid map Mc. That is, the sensor is a combination of the first grid map M1 based on the sensing information of the sonar 10 which is not good at measuring the object width and the second grid map M2 based on the sensing information of the in-vehicle camera 20 which is good at measuring the object width. We are doing fusion. In this way, by creating an integrated grid map Mc that considers the characteristics of various types of sensors, it is possible to improve the detection accuracy of the object 100, as in the case of performing object detection with only one distance measuring sensor. It is possible to suppress false positives.

具体的に、上記した図２に示す状況、つまり自車Ｖの前方に円柱形状の物体１００が存在している場合を想定してみる。 Specifically, assume the situation shown in FIG. 2 described above, that is, the case where the cylindrical object 100 exists in front of the own vehicle V.

図２中にＯ印で示したように、ソナー１０によって円柱形状の物体１００を検知した場合、ソナー１０が物体幅の測定が不得意であることから、ソナー１０での検知座標は物体１００の実際の幅と対応しないものになり得る。図２中では、ソナー１０での検知座標が物体１００の幅方向においてずれ、各検知座標が物体１００の実際の幅よりも広範囲に広がった場合を示してある。ただし、ソナー１０の物体までの距離の検知精度は高い。このため、ソナー１０での検知座標は、物体までの距離についてはほぼ正しくなる。 As shown by the O mark in FIG. 2, when the cylindrical object 100 is detected by the sonar 10, the sonar 10 is not good at measuring the object width, so that the detection coordinates of the sonar 10 are the object 100. It can be something that does not correspond to the actual width. FIG. 2 shows a case where the detection coordinates of the sonar 10 deviate in the width direction of the object 100 and each detection coordinate spreads over a wider range than the actual width of the object 100. However, the accuracy of detecting the distance to the object of the sonar 10 is high. Therefore, the detection coordinates of the sonar 10 are almost correct with respect to the distance to the object.

また、図２中にＸ印で示したように、車載カメラ２０によって円柱形状の物体１００を検知した場合、車載カメラ２０が物体幅の測定が得意であることから、車載カメラ２０での検知座標は物体１００の実際の幅とほぼ対応したものになる。ただし、車載カメラ２０は、物体１００までの距離の測定は不得意である。このため、車載カメラ２０での検知座標は、物体１００までの距離については対応しないものになり得る。図２中では、車載カメラ２０での検知座標が実際の物体１００までの距離よりも短くなった場合を示してある。 Further, as shown by the X mark in FIG. 2, when the in-vehicle camera 20 detects the cylindrical object 100, the in-vehicle camera 20 is good at measuring the object width, so that the detection coordinates of the in-vehicle camera 20 Is approximately corresponding to the actual width of the object 100. However, the vehicle-mounted camera 20 is not good at measuring the distance to the object 100. Therefore, the detection coordinates of the vehicle-mounted camera 20 may not correspond to the distance to the object 100. FIG. 2 shows a case where the detection coordinates of the vehicle-mounted camera 20 are shorter than the distance to the actual object 100.

したがって、第１物体認識部３１ａがソナー１０のセンシング情報に含まれる検知座標に基づいて第１グリッドマップＭ１を作成すると、図３Ａに示すようなマップになる。第１グリッドマップＭ１は、投票数が＋１になっている部分を見ると、物体１００までの距離は正確だが物体１００の幅方向についてはあまり正確ではないマップになっている。また、第２物体認識部３１ｂが車載カメラ２０のセンシング情報に含まれる検知座標に基づいて第２グリッドマップを作成すると、図３Ｂに示すようなマップになる。第２グリッドマップＭ２は、投票数が＋１になっている部分を見ると、物体１００の幅方向については正確だが物体１００までの距離は正確ではないマップになっている。 Therefore, when the first object recognition unit 31a creates the first grid map M1 based on the detection coordinates included in the sensing information of the sonar 10, the map becomes as shown in FIG. 3A. Looking at the portion where the number of votes is +1 in the first grid map M1, the distance to the object 100 is accurate, but the width direction of the object 100 is not so accurate. Further, when the second object recognition unit 31b creates the second grid map based on the detection coordinates included in the sensing information of the vehicle-mounted camera 20, the map becomes as shown in FIG. 3B. Looking at the portion where the number of votes is +1 in the second grid map M2, the map is accurate in the width direction of the object 100, but the distance to the object 100 is not accurate.

一方、このようにして作成される第１グリッドマップＭ１および第２グリッドマップＭ２が物体統合部３２で統合されると、図３Ｃに示すような統合グリッドマップＭｃになる。統合グリッドマップＭｃは、投票数が＋１になっている部分を見ると、物体１００までの距離についても、物体１００の幅方向についても、共に正確なマップになっている。つまり、ソナー１０が得意としている物体１００までの距離が正確な第１グリッドマップＭ１と車載カメラ２０が得意としている物体１００の幅方向が正確な第２グリッドマップＭ２が統合されたものとなる。 On the other hand, when the first grid map M1 and the second grid map M2 created in this way are integrated by the object integration unit 32, the integrated grid map Mc as shown in FIG. 3C is obtained. Looking at the portion where the number of votes is +1 in the integrated grid map Mc, both the distance to the object 100 and the width direction of the object 100 are accurate maps. That is, the first grid map M1 having an accurate distance to the object 100, which the sonar 10 is good at, and the second grid map M2 having an accurate width direction of the object 100, which the vehicle-mounted camera 20 is good at, are integrated.

このように、多種類のセンサの特性を考慮した統合グリッドマップＭｃを作成することで、物体の検知精度を高めることが可能となり、１つの測距センサのみで物体検知を行う場合のような誤検知を抑制することが可能となる。 In this way, by creating an integrated grid map Mc that considers the characteristics of various types of sensors, it is possible to improve the detection accuracy of an object, which is an error such as when object detection is performed with only one distance measuring sensor. It is possible to suppress the detection.

（他の実施形態）
本開示は、上記した実施形態に準拠して記述されたが、当該実施形態に限定されるものではなく、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。 (Other embodiments)
Although the present disclosure has been described in accordance with the above-described embodiment, the present disclosure is not limited to the embodiment, and includes various modifications and modifications within an equal range. In addition, various combinations and forms, as well as other combinations and forms that include only one element, more, or less, are also within the scope of the present disclosure.

（１）例えば、上記第１実施形態で説明した投票数や物体１００と検知する際に用いる所定の閾値の数値については一例を示したに過ぎず、任意に設定可能である。例えば、第１投票数や第４投票数を＋１、第２投票数や第５投票数を０、第３投票数や第６投票数を−１としたが、第１投票数や第４投票数を＋５、第２投票数や第５投票数を＋１、第３投票数や第６投票数を０などとしても良い。また、物体が存在しているグリッドと判定する閾値についても、投票数に対応した値にすれば良く、例えば第１投票数を＋５とする場合には、閾値を＋２０に設定するなどとしても良い。 (1) For example, the number of votes and the numerical value of the predetermined threshold value used when detecting the object 100 as described in the first embodiment are only shown as an example, and can be set arbitrarily. For example, the number of 1st and 4th votes was +1 and the number of 2nd and 5th votes was 0, and the number of 3rd and 6th votes was -1, but the number of 1st and 4th votes was set. The number may be +5, the number of 2nd and 5th votes may be +1 and the number of 3rd and 6th votes may be 0. Further, the threshold value for determining the grid on which the object exists may be set to a value corresponding to the number of votes. For example, when the first number of votes is +5, the threshold value may be set to +20. ..

（２）また、第１実施形態では、ソナー１０のセンシング情報に基づいて作成する第１グリッドマップＭ１に適用される投票数と車載カメラ２０のセンシング情報に基づいて作成する第２グリッドマップＭ２に適用される投票数を等しくした。すなわち、第１投票数と第４投票数が同じ、第２投票数と第５投票数が同じ、第３投票数と第６投票数が同じとなるようにした。これは、ソナー１０と車載カメラ２０の重みづけを等しくしたという意味であり、重みづけを異ならせることもできる。つまり、第１投票数と第４投票数が異なり、第２投票数と第５投票数が異なり、第３投票数と第６投票数が異なっていても良い。その場合、例えば信頼度の高さ、つまり検知座標と実際の物体１００の存在位置との誤差に応じて重みづけを変化させるようにし、信頼度が高い方の重みづけが高くなるようにすることができる。また、センシング周期に応じて重みづけを変化させるように、例えばセンシング周期が短い方の重みづけを低くしたりしても良い。その場合、少なくとも第１投票数と第４投票数を重みに応じて異ならせた値にすれば良い。 (2) Further, in the first embodiment, the number of votes applied to the first grid map M1 created based on the sensing information of the sonar 10 and the second grid map M2 created based on the sensing information of the vehicle-mounted camera 20. Equalized the number of votes applied. That is, the number of the first vote and the number of the fourth vote are the same, the number of the second vote and the number of the fifth vote are the same, and the number of the third vote and the number of the sixth vote are the same. This means that the sonar 10 and the vehicle-mounted camera 20 have the same weight, and the weights can be different. That is, the number of the first vote and the number of the fourth vote may be different, the number of the second vote and the number of the fifth vote may be different, and the number of the third vote and the number of the sixth vote may be different. In that case, for example, the weighting should be changed according to the high reliability, that is, the error between the detection coordinates and the actual position of the object 100, and the weighting of the higher reliability should be higher. Can be done. Further, for example, the weighting of the shorter sensing cycle may be lowered so that the weighting is changed according to the sensing cycle. In that case, at least the number of the first vote and the number of the fourth vote may be set to different values according to the weight.

（３）また、上記第１実施形態では、主グリッドＧｍ、幅方向グリッドＧｗ、前方グリッドＧｆおよび後方グリッドＧｂ以外を他グリッドＧｏとしたが、他グリッドＧｏとする範囲を限定しても良い。例えば、ソナー１０などの測距センサや車載カメラ２０の検出可能範囲が平面視で所定角度範囲であったとすると、その角度範囲の水平方向両側の所定角度ずつの範囲に限定して他グリッドＧｏとする。その場合、測距センサや車載カメラ２０の検出可能範囲およびその両側の所定角度を超える位置と対応するグリッドＧについては、投票数を０として投票数の合計値を変化させないようにすれば良い。 (3) Further, in the first embodiment, other than the main grid Gm, the width direction grid Gw, the front grid Gf and the rear grid Gb is set as the other grid Go, but the range of the other grid Go may be limited. For example, if the detectable range of a distance measuring sensor such as a sonar 10 or an in-vehicle camera 20 is a predetermined angle range in a plan view, the range is limited to a range of predetermined angles on both sides in the horizontal direction, and the other grid Go is used. do. In that case, for the grid G corresponding to the detectable range of the distance measuring sensor and the vehicle-mounted camera 20 and the positions exceeding the predetermined angles on both sides thereof, the number of votes may be set to 0 so that the total value of the number of votes is not changed.

（３）上記第１実施形態では、自車Ｖの起動スイッチがオンされている際に図３に示した物体検知処理が実行されるようにしたが、起動スイッチがオンされている際に常に実行されなくても良い。例えば、駐車支援制御の実行を指示する図示しないスイッチがオンされた際に、物体検知処理が実行されるようにしても良い。つまり、物体検知処理の結果が用いられる制御の実行が指示された際に、物体検知処理も実行されるようにすれば良い。 (3) In the first embodiment, the object detection process shown in FIG. 3 is executed when the start switch of the own vehicle V is turned on, but the start switch is always turned on. It does not have to be executed. For example, the object detection process may be executed when a switch (not shown) instructing the execution of parking support control is turned on. That is, the object detection process may be executed when the execution of the control using the result of the object detection process is instructed.

（４）なお、本開示に記載の処理部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリーを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の処理部及びその手法は、一つ以上の専用ハードウエア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の処理部及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリーと一つ以上のハードウエア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。 (4) The processing unit and its method described in the present disclosure are provided by configuring a processor and a memory programmed to execute one or more functions embodied by a computer program. It may be realized by a dedicated computer. Alternatively, the processing unit and methods thereof described in the present disclosure may be realized by a dedicated computer provided by configuring a processor with one or more dedicated hardware logic circuits. Alternatively, the processing unit and method thereof described in the present disclosure may be a combination of a processor and memory programmed to perform one or more functions and a processor composed of one or more hardware logic circuits. It may be realized by one or more dedicated computers configured. Further, the computer program may be stored in a computer-readable non-transitional tangible recording medium as an instruction executed by the computer.

１ 車両制御システム
１０ ソナー
２０ 車載カメラ
３０ ＥＣＵ
３１ａ 第１物体認識部
３１ｂ 第２物体認識部
３２ 物体統合部
３３ 出力選定部
３４ 制御部 1 Vehicle control system 10 Sonar 20 In-vehicle camera 30 ECU
31a 1st object recognition unit 31b 2nd object recognition unit 32 Object integration unit 33 Output selection unit 34 Control unit

Claims (5)

自車（Ｖ）の周囲を複数のグリッド（Ｇ）に分割したグリッドマップ（Ｍａｐ）を用いて前記自車の周囲に存在する物体（１００）を検知する物体検知装置であって、
探査波を出力すると共に該探査波が前記物体で反射してきた反射波を取得することで前記物体の位置を測定する測距センサ（１０）のセンシング情報を入力し、前記グリッドマップを用いて、前記測距センサのセンシング情報に含まれる前記物体が検知された位置を示す検知座標と対応するグリッドである主グリッド（Ｇｍ）に所定の投票数を設定することで、前記自車の周囲に存在する前記物体の位置を示した第１グリッドマップ（Ｍ１）を作成する第１物体認識部（３１ａ）と、
前記自車の周囲を撮像する車載カメラ（２０）のセンシング情報を入力し、前記グリッドマップを用いて、前記車載カメラのセンシング情報に含まれる前記物体が検知された位置を示す検知座標と対応するグリッドである主グリッドに所定の投票数を設定することで、前記自車の周囲に存在する前記物体の位置を示した第２グリッドマップ（Ｍ２）を作成する第２物体認識部（３１ｂ）と、
前記第１グリッドマップにおけるグリッド毎の投票数と前記第２グリッドマップにおけるグリッド毎の投票数とを統合した統合グリッドマップ（Ｍｃ）を作成する物体統合部（３２）と、
前記統合グリッドマップ中における前記投票数の合計値が所定の閾値を超えるグリッドを前記物体の存在するグリッドとして特定する物体特定部（３３）と、を有している物体検知装置。 An object detection device that detects an object (100) existing around the own vehicle by using a grid map (Map) in which the periphery of the own vehicle (V) is divided into a plurality of grids (G).
The sensing information of the distance measuring sensor (10) that measures the position of the object by outputting the exploration wave and acquiring the reflected wave reflected by the exploration wave by the object is input, and the grid map is used. By setting a predetermined number of votes in the main grid (Gm), which is a grid corresponding to the detection coordinates indicating the position where the object is detected included in the sensing information of the distance measuring sensor, the object exists around the own vehicle. A first object recognition unit (31a) that creates a first grid map (M1) showing the positions of the objects to be used.
The sensing information of the vehicle-mounted camera (20) that captures the surroundings of the own vehicle is input, and the grid map is used to correspond to the detection coordinates indicating the position where the object included in the sensing information of the vehicle-mounted camera is detected. With the second object recognition unit (31b) that creates a second grid map (M2) showing the positions of the objects existing around the own vehicle by setting a predetermined number of votes in the main grid which is a grid. ,
An object integration unit (32) that creates an integrated grid map (Mc) that integrates the number of votes for each grid in the first grid map and the number of votes for each grid in the second grid map.
An object detection device having an object identification unit (33) that identifies a grid in the integrated grid map in which the total value of the number of votes exceeds a predetermined threshold value as a grid on which the object exists. 前記第１物体認識部は、前記測距センサでの前記検知座標と対応する前記主グリッドに第１投票数、前記主グリッドに隣接して前記物体の幅方向に位置するグリッドを幅方向グリッド（Ｇｗ）、前記主グリッドおよび前記幅方向グリッドの後方に位置するグリッドを後方グリッド（Ｇｂ）として、前記幅方向グリッドおよび前記後方グリッドに前記第１投票数よりも少ない第２投票数、前記主グリッドと前記幅方向グリッドおよび前記後方グリッドと異なるグリッドを他グリッド（Ｇｏ）として、前記他グリッドに前記第２投票数よりも少ない第３投票数、をそれぞれ設定し、
前記第２物体認識部は、前記車載カメラでの前記検知座標と対応する前記主グリッドに第４投票数、前記主グリッドに隣接して前記物体の前方に位置するグリッドを前方グリッド（Ｇｆ）、前記主グリッドおよび前記前方グリッドの後方に位置するグリッドを後方グリッドとして、前記前方グリッドおよび前記後方グリッドに前記第４投票数よりも少ない第５投票数、前記主グリッドと前記前方グリッドおよび前記後方グリッドと異なるグリッドを他グリッドとして、前記他グリッドに前記第５投票数よりも少ない第６投票数、をそれぞれ設定し、
前記物体統合部は、１グリッドマップにおけるグリッド毎の投票数と前記第２グリッドマップにおけるグリッド毎の投票数とを加算することで前記統合グリッドマップを作成する、請求項１に記載の物体検知装置。 The first object recognition unit has a first vote number on the main grid corresponding to the detection coordinates by the distance measuring sensor, and a grid located in the width direction of the object adjacent to the main grid in the width direction grid ( Gw), the grid located behind the main grid and the width direction grid is defined as a rear grid (Gb), and the width direction grid and the rear grid have a second vote number smaller than the first vote number, the main grid. And the grid in the width direction and the grid different from the rear grid are set as other grids (Go), and the number of third votes, which is smaller than the number of second votes, is set in the other grid, respectively.
The second object recognition unit has a fourth vote number on the main grid corresponding to the detection coordinates by the vehicle-mounted camera, and a grid located in front of the object adjacent to the main grid is a front grid (Gf). With the grid located behind the main grid and the front grid as the rear grid, the front grid and the rear grid have a fifth vote number less than the fourth vote, the main grid, the front grid, and the rear grid. The grid different from the above is set as another grid, and the number of sixth votes, which is less than the number of fifth votes, is set in the other grid.
The object detection device according to claim 1, wherein the object integration unit creates the integrated grid map by adding the number of votes for each grid in one grid map and the number of votes for each grid in the second grid map. .. 前記第１投票数と前記第４投票数が同じ、前記第２投票数と前記第５投票数が同じ、前記第３投票数と前記第６投票数が同じになっている、請求項２に記載の物体検知装置。 The number of the first vote and the number of the fourth vote are the same, the number of the second vote and the number of the fifth vote are the same, the number of the third vote and the number of the sixth vote are the same, claim 2. The object detection device described. 前記第１投票数と前記第４投票数が異なり、前記第２投票数と前記第５投票数が異なり、前記第３投票数と前記第６投票数が異なっている、請求項２に記載の物体検知装置。 The second claim, wherein the first vote and the fourth vote are different, the second vote and the fifth vote are different, and the third vote and the sixth vote are different. Object detection device. 前記第１物体認識部は、前記測距センサの検出可能範囲の水平方向両側の所定角度ずつの範囲のグリッドについて、前記主グリッドと前記幅方向グリッドおよび前記後方グリッドと異なるグリッドを前記他グリッドとし、
前記第２物体認識部は、前記車載カメラの検出可能範囲の水平方向両側の所定角度ずつの範囲のグリッドについて、前記主グリッドと前記前方グリッドおよび前記後方グリッドと異なるグリッドを前記他グリッドとする、請求項２ないし４のいずれか１つに記載の物体検知装置。 The first object recognition unit uses a grid different from the main grid, the width direction grid, and the rear grid as the other grid for a grid in a range of predetermined angles on both sides in the horizontal direction of the detectable range of the distance measuring sensor. ,
The second object recognition unit uses a grid different from the main grid, the front grid, and the rear grid as the other grids in a range of predetermined angles on both sides in the horizontal direction of the detectable range of the vehicle-mounted camera. The object detection device according to any one of claims 2 to 4.
JP2020032115A 2020-02-27 2020-02-27 object detection device Active JP7459560B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020032115A JP7459560B2 (en) 2020-02-27 2020-02-27 object detection device
PCT/JP2021/007429 WO2021172535A1 (en) 2020-02-27 2021-02-26 Object detecting device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020032115A JP7459560B2 (en) 2020-02-27 2020-02-27 object detection device

Publications (2)

Publication Number Publication Date
JP2021135191A true JP2021135191A (en) 2021-09-13
JP7459560B2 JP7459560B2 (en) 2024-04-02

Family

ID=77491204

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020032115A Active JP7459560B2 (en) 2020-02-27 2020-02-27 object detection device

Country Status (2)

Country Link
JP (1) JP7459560B2 (en)
WO (1) WO2021172535A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7468501B2 (en) 2021-12-23 2024-04-16 トヨタ自動車株式会社 Cruise control device, cruise control method, cruise control computer program, and cruise control system

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116255976B (en) * 2023-05-15 2023-10-31 长沙智能驾驶研究院有限公司 Map fusion method, device, equipment and medium

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3669205B2 (en) 1999-05-17 2005-07-06 日産自動車株式会社 Obstacle recognition device
JP4074577B2 (en) 2003-11-07 2008-04-09 ダイハツ工業株式会社 Vehicle detection method and vehicle detection device
JP4123138B2 (en) 2003-11-21 2008-07-23 株式会社日立製作所 Vehicle detection method and vehicle detection device
US20100019964A1 (en) 2008-07-24 2010-01-28 Gm Global Technology Operations, Inc. Adaptive vehicle control system with driving style recognition and road condition recognition
US10410531B2 (en) 2014-11-05 2019-09-10 Sierra Nevada Corporation Systems and methods for generating improved environmental displays for vehicles

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7468501B2 (en) 2021-12-23 2024-04-16 トヨタ自動車株式会社 Cruise control device, cruise control method, cruise control computer program, and cruise control system

Also Published As

Publication number Publication date
WO2021172535A1 (en) 2021-09-02
JP7459560B2 (en) 2024-04-02

Similar Documents

Publication Publication Date Title
CN105984464B (en) Controller of vehicle
US10466714B2 (en) Depth map estimation with stereo images
US9707959B2 (en) Driving assistance apparatus
JP2017521745A (en) In-vehicle device that informs vehicle navigation module of presence of object
US11332126B2 (en) Parking assistance apparatus
JP6787106B2 (en) Object detection device
US20210387616A1 (en) In-vehicle sensor system
JP6558214B2 (en) Automatic driving device
US20160307026A1 (en) Stereoscopic object detection device and stereoscopic object detection method
WO2021172535A1 (en) Object detecting device
CN112771591B (en) Method for evaluating the influence of an object in the environment of a vehicle on the driving maneuver of the vehicle
CN111801718A (en) Object detection device, object detection method, and recording medium
CN114586083B (en) Information processing apparatus, information processing system, information processing method, and storage medium
JP7363574B2 (en) object detection device
JP7363575B2 (en) object detection device
JP2017187839A (en) Vehicular display method and vehicular display apparatus
JP6579144B2 (en) Obstacle detection device
CN115066358A (en) Parking assistance device and parking assistance method
CN115175837A (en) Parking assistance device and parking assistance method
JP7452374B2 (en) Object detection device and object detection program
JP7471927B2 (en) Obstacle detection device, vehicle, obstacle detection system, and obstacle detection method
JP2019149076A (en) Drive recorder and image recording method
US20220196422A1 (en) Parking assistance device and parking assistance method
WO2023090186A1 (en) Parking assistance device
JP6980623B2 (en) Surrounding object judgment method and surrounding object judgment device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240304

R150 Certificate of patent or registration of utility model

Ref document number: 7459560

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150