JP2012086684A - Parking assist device - Google Patents

Abstract

PROBLEM TO BE SOLVED: To provide a parking assist device that efficiently detects at a light calculation load a cubic object around a vehicle, and a cubic change of a road surface, according to a behavior of the vehicle, such as an traveling and turning directions of the vehicle.SOLUTION: The parking assist device sets, a predetermined area having a strong possibility that a car body end of a vehicle 90 traveling according to a guide route K guiding the vehicle 90 to a set parking target T, comes close to or contacts with cubic objects including other cubic or structural objects to a road surface, as a searching area Z on an image photographed by an on-board camera, or on a surrounding image of the vehicle 90, generated based on the photographed image. Then, the device searches the cubic objects in the surrounding area of the vehicle 90 corresponding to the searching area Z so as to detect the cubic objects.

Description

本発明は、駐車の際の運転操作を支援する駐車支援装置に関する。   The present invention relates to a parking assistance device that assists a driving operation in parking.

車両を駐車させる際のドライバーの運転操作の負荷を軽減させるために、様々な駐車支援装置が提案され、実用化されている。また、車両周辺の障害物の存在など、車両の周囲の状況を画像や音声によってドライバーに通知して安全性を向上させる周辺監視装置も実用化されている。駐車支援装置には周辺監視機能も備えて、駐車支援の際に周辺監視も同時に実施するものもある。特開平２０１０−１２８９３９号公報（特許文献１）には、駐車支援装置などに利用される鳥瞰（俯瞰）画像生成装置が開示されている。特許文献１の第２５〜３０段落、図６〜図９等に開示されているように、この画像生成装置は、視差が生じている２枚の画像から立体物を認識する。但し、略水平視の画像から視点変換された俯瞰画像においては、特許文献１の図７に示すように立体物が歪んでしまうので視認性が低下する場合がある。   Various parking assistance devices have been proposed and put into practical use in order to reduce the driver's driving operation load when the vehicle is parked. In addition, a peripheral monitoring device has been put into practical use that notifies the driver of the situation around the vehicle, such as the presence of obstacles around the vehicle, by means of an image or sound to improve safety. Some parking assistance devices have a surrounding monitoring function, and some also perform surrounding monitoring at the same time as parking assistance. Japanese Patent Application Laid-Open No. 2010-128939 (Patent Document 1) discloses a bird's-eye (overhead) image generation device used for a parking assistance device or the like. As disclosed in the 25th to 30th paragraphs of FIG. 6 and FIG. 6 to FIG. 9 and the like, this image generation apparatus recognizes a three-dimensional object from two images in which parallax occurs. However, in a bird's-eye view image whose viewpoint is converted from a substantially horizontal image, the three-dimensional object is distorted as shown in FIG.

また、このような立体物の認識処理は比較的演算負荷が高いので、しばしば、全画像領域ではなく特定の画像領域を対象領域として認識処理が実行される。この際、ドライバーからは死角となり易く、特に車両が旋回する際に立体物と接触する可能性が高い車体端部（４つの車体コーナー部）近傍に認識の対象領域が設定される場合がある。実際には、車両の進行方向や旋回方向などに応じて、各コーナー部において接触の可能性は異なるので、４つの車体コーナー部を常に対象領域として認識処理を行うと演算負荷の抑制効果が限定的となる。また、全ての車体端部において同一の大きさの対象領域が設定された場合には、立体物を認識する必要性の低い領域では不必要に大きい対象領域が設定され、立体物を認識する必要性の高い領域では不充分な大きさの対象領域が設定されてしまう可能性もある。   In addition, since such a three-dimensional object recognition process has a relatively high calculation load, the recognition process is often executed with a specific image area as a target area instead of the entire image area. At this time, a recognition target region may be set in the vicinity of a vehicle body end portion (four vehicle body corner portions) that is likely to be a blind spot from the driver and is particularly likely to come into contact with a three-dimensional object when the vehicle turns. Actually, the possibility of contact at each corner differs depending on the traveling direction or turning direction of the vehicle, so that the recognition effect of the calculation load is limited if the recognition process is always performed with the four vehicle body corners as target areas. It becomes the target. In addition, when target areas of the same size are set at all vehicle body ends, an unnecessarily large target area is set in an area where the need for recognizing a three-dimensional object is low, and a three-dimensional object needs to be recognized. There is a possibility that a target area having an insufficient size is set in a highly likely area.

特開２０１０−１２８９３９号公報JP 2010-128939 A

上記背景に鑑み、軽い演算負荷で車両の進行方向や旋回方向などの車両の挙動に応じて車両周辺の立体的な物体や路面の立体的な変化を効率よく検出することができる駐車支援装置の提供が望まれる。   In view of the above background, a parking assist device that can efficiently detect a three-dimensional object or a three-dimensional change in the road surface in accordance with the behavior of the vehicle such as the traveling direction or turning direction of the vehicle with a light calculation load. Offer is desired.

上記課題に鑑みた本発明に係る駐車支援装置の特徴構成は、
車両の周辺の情景を撮影する車載カメラの撮影画像に基づいて前記車両の周辺画像を生成する周辺画像生成部と、
前記車両の駐車目標を設定する駐車目標設定部と、
前記駐車目標まで前記車両を誘導する誘導経路を演算する経路演算部と、
前記誘導経路に従って進行する前記車両の車体端部が、路面に対して立体的な他の物体及び構造物を含む立体物と近接又は接触する可能性が所定の高い領域を、前記撮影画像又は前記周辺画像上における探索領域として設定する探索領域設定部と、
前記探索領域に対応する前記車両の周辺領域に対して立体物探索を行い、前記立体物を検出する立体物検出部と、を備える点にある。 The characteristic configuration of the parking support apparatus according to the present invention in view of the above problems is as follows.
A peripheral image generation unit that generates a peripheral image of the vehicle based on a captured image of an in-vehicle camera that captures a scene around the vehicle;
A parking target setting unit for setting a parking target of the vehicle;
A route calculation unit for calculating a guide route for guiding the vehicle to the parking target;
An area where the vehicle body end portion of the vehicle traveling along the guidance route has a predetermined high probability of being close to or in contact with a three-dimensional object including other three-dimensional objects and structures with respect to the road surface is defined as the captured image or the A search area setting unit that is set as a search area on a peripheral image;
A three-dimensional object detection unit that performs a three-dimensional object search on a peripheral area of the vehicle corresponding to the search area and detects the three-dimensional object.

この構成によれば、誘導経路に従って進行する車両の車体端部が立体物と近接又は接触する可能性が高い領域が探索領域として設定される。従って、例えば、車両の４つのコーナー部の内の１〜３つを選択して探索領域を設定することができる。その結果、立体物検出部による立体物探索の演算負荷を軽減することができる。また、演算能力に余裕がある場合には、軽減された演算負荷を活用できるので、探索対象となる車体端部に対応する探索領域の大きさを大きくして立体物をより検出し易くすることもできる。このように、本構成によれば、軽い演算負荷で車両の進行方向や旋回方向などの車両の挙動に応じて車両周辺の立体的な物体や路面の立体的な変化を効率よく検出することができる駐車支援装置を提供することができる。   According to this configuration, an area where the vehicle body end portion of the vehicle traveling along the guidance route is highly likely to approach or come into contact with the three-dimensional object is set as the search area. Therefore, for example, the search area can be set by selecting one to three of the four corners of the vehicle. As a result, the calculation load of the three-dimensional object search by the three-dimensional object detection unit can be reduced. In addition, when there is a surplus in computing capacity, the reduced computation load can be utilized, so the size of the search area corresponding to the end of the vehicle body to be searched is increased to make it easier to detect a three-dimensional object. You can also. Thus, according to this configuration, it is possible to efficiently detect a three-dimensional object or a three-dimensional change in the road surface in accordance with the behavior of the vehicle such as the traveling direction or turning direction of the vehicle with a light calculation load. A parking assist device that can be provided can be provided.

立体物は、例えば、視差が生じている２枚の画像を用いて画像処理によって探索することが可能である。従って、１つの好適な態様として、前記立体物検出部は、前記探索領域において画像認識を行い、前記立体物を検出することができる。上述したように、探索領域は、撮影画像又は周辺画像の一部の領域であるから、撮影画像又は周辺画像の全てではなく、一部を用いて立体物探索の画像処理が実行される。従って、画像認識の演算負荷を軽減することができる。   A three-dimensional object can be searched by image processing using, for example, two images with parallax. Therefore, as one preferable aspect, the three-dimensional object detection unit can perform image recognition in the search area and detect the three-dimensional object. As described above, since the search area is a partial area of the captured image or the peripheral image, the image processing of the three-dimensional object search is executed using a part of the captured image or the peripheral image, not the entire area. Therefore, the calculation load for image recognition can be reduced.

駐車支援が提供される駐車形態が縦列駐車の場合には、壁や歩道、溝などの路肩に隣接して駐車目標が設定されることが多い。そして、縦列駐車の性質上、そのような路肩は、駐車目標の長手方向、つまり駐車される車両の車軸の方向に平行に延伸している場合が多い。そして、縦列駐車の際には、ドライバーは、路肩に車輪が接触しないか、車体端部が接触しないかなど、路肩と自車両との関係に関心が高い。従って、好適な一形態として、本発明に係る駐車支援装置において、前記立体物は、駐車形態が縦列駐車である際の前記駐車目標の近傍に存在する路肩を含み、前記探索領域設定部は、前記路肩が存在する可能性の高い領域を前記探索領域として設定するとよい。   When the parking form for providing parking assistance is parallel parking, a parking target is often set adjacent to a shoulder such as a wall, a sidewalk, or a groove. And, due to the nature of parallel parking, such a road shoulder often extends parallel to the longitudinal direction of the parking target, that is, the direction of the axle of the vehicle to be parked. In parallel parking, the driver is highly interested in the relationship between the road shoulder and the vehicle, such as whether the wheel does not contact the road shoulder or the end of the vehicle body. Therefore, as a preferred embodiment, in the parking assistance device according to the present invention, the three-dimensional object includes a road shoulder that exists in the vicinity of the parking target when the parking form is parallel parking, and the search area setting unit is An area where the road shoulder is likely to exist may be set as the search area.

また、本発明に係る駐車支援装置は、好適な一態様として、前記周辺画像を前記車両内のモニタ装置に表示させるための表示画像を生成する表示画像生成部を備え、前記表示画像生成部が、前記立体物が存在することを報知する報知アイコンを前記周辺画像において前記立体物が存在する位置に重畳させて前記表示画像を生成するとよい。周辺画像上において立体物の存在する位置に報知アイコンが重畳されることにより、ドライバーは自車両の周囲に立体物が存在することと、その立体物の存在位置を良好に知ることができる。また、周辺画像が車両を上方から見下ろした俯瞰画像として生成される場合、略水平視の撮影画像から視点変換されたこの俯瞰画像では、立体物が歪んで視認性が低下することが多い。このような場合であっても、この立体物に報知アイコンが重畳されることによって、ドライバーに対して立体物の存在とその位置を良好に示すことができる。   Moreover, the parking assistance apparatus which concerns on this invention is equipped with the display image generation part which produces | generates the display image for displaying the said surrounding image on the monitor apparatus in the said vehicle as a suitable one aspect, The said display image generation part is The display image may be generated by superimposing a notification icon for notifying that the three-dimensional object exists on the position where the three-dimensional object exists in the peripheral image. By superimposing the notification icon on the position where the three-dimensional object is present on the peripheral image, the driver can well know that the three-dimensional object exists around the host vehicle and the position where the three-dimensional object exists. In addition, when the surrounding image is generated as a bird's-eye view image looking down on the vehicle from above, in this bird's-eye view image converted from a substantially horizontal captured image, a three-dimensional object is distorted and visibility is often lowered. Even in such a case, the notification icon is superimposed on the three-dimensional object, so that the presence and position of the three-dimensional object can be well indicated to the driver.

車両を一部切り欠いて示す車両の斜視図A perspective view of a vehicle showing a partially cut-out vehicle カメラの撮影範囲を示す平面図Top view showing the shooting range of the camera 車両のシステム構成の一例を模式的に示すブロック図Block diagram schematically showing an example of a system configuration of a vehicle 駐車支援装置の機能構成の一例を模式的に示すブロック図The block diagram which shows an example of a functional structure of a parking assistance apparatus typically 縦列駐車時に撮影画像から俯瞰画像を生成する一例を示す図The figure which shows an example which produces | generates an overhead image from a picked-up image at the time of parallel parking 車庫入れ駐車時の駐車目標の設定方法の一例を示す図The figure which shows an example of the setting method of the parking target at the time of garage parking 縦列駐車時の駐車目標の設定方法の一例を示す図The figure which shows an example of the setting method of the parking target at the time of parallel parking 車庫入れ駐車時の誘導経路の一例を示す図The figure which shows an example of the guidance route at the time of garage parking 縦列駐車時の誘導経路の一例を示す図The figure which shows an example of the guidance route at the time of parallel parking 誘導経路に基づいて設定される探索領域の一例を示す図The figure which shows an example of the search area | region set based on a guidance route 縦列駐車時の表示画像の一例を示す図The figure which shows an example of the display image at the time of parallel parking 報知アイコンの一例を示す図The figure which shows an example of a notification icon 駐車支援制御の一例を示すフローチャートFlow chart showing an example of parking support control

以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、車両に備えられた複数のカメラの撮影画像を元にして、車両を上方から見下ろした形態となる俯瞰画像を生成してモニタ装置に表示することが可能な駐車支援装置（運転支援装置・周辺監視装置）を例として説明する。俯瞰画像を用いることにより、ドライバーに対して運転操作の支援や、車両の周辺の障害物（立体物）などの監視支援を行うことができる。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the present embodiment, a parking assist device (driving) capable of generating a bird's-eye view image in a form in which the vehicle is looked down from above based on images taken by a plurality of cameras provided in the vehicle and displaying the image on a monitor device. A support device / periphery monitoring device) will be described as an example. By using the bird's-eye view image, it is possible to provide driving assistance to the driver and monitoring assistance for obstacles (three-dimensional objects) around the vehicle.

車両９０には、複数の車載カメラ１が設置されている。図１及び図２に示すように、車両９０の後部、即ちバックドア９１には後方カメラ１ａが備えられている。左前部ドア９２に備えられた左サイドミラー９４の下部には左サイドカメラ１ｂが備えられ、右前部ドア９３に備えられた右サイドミラー９５の下部には右サイドカメラ１ｃが備えられている。また、車両９０の前部には、前方カメラ１ｄが備えられている。以下の説明において、適宜、これらのカメラ１ａ〜１ｄを総称してカメラ１（車載カメラ）と称する。   A plurality of in-vehicle cameras 1 are installed in the vehicle 90. As shown in FIGS. 1 and 2, the rear portion of the vehicle 90, that is, the back door 91 is provided with a rear camera 1 a. A left side camera 1b is provided below the left side mirror 94 provided in the left front door 92, and a right side camera 1c is provided below the right side mirror 95 provided in the right front door 93. A front camera 1d is provided at the front of the vehicle 90. In the following description, these cameras 1a to 1d will be collectively referred to as a camera 1 (vehicle camera) as appropriate.

カメラ１はＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を用いて、毎秒１５〜３０フレームの２次元画像を時系列に撮影し、デジタル変換して動画データ（撮影画像）をリアルタイムに出力するデジタルカメラである。カメラ１は、広角レンズを備えて構成される。特に、本実施形態においては、水平方向に１４０〜１９０°の視野角が確保されている。後方カメラ１ａ及び前方カメラ１ｄは、光軸に約３０度程度の俯角を有して車両９０に設置され、車両９０からおおよそ８ｍ程度までの領域を撮影可能である。左サイドカメラ１ｂ及び右サイドカメラ１ｃはサイドミラー９４及び９５の底部に光軸を下方に向けて設置され、車両９０の側面の一部と路面（地面）とが撮影可能である。駐車支援や周辺監視を含む運転支援の際には、カメラ１の撮影画像又は撮影画像から生成された画像が周辺画像としてモニタ装置４に表示される。モニタ装置４は、例えば、ナビゲーションシステムのモニタ装置が兼用される。カメラ１により撮影された画像は、図３に示すように、画像処理モジュール２を介してモニタ装置４に出力される。   The camera 1 uses a CCD (charge coupled device), CIS (CMOS image sensor), or other imaging device to capture a 15-30 frame per second two-dimensional image in time series, and digitally converts it into moving image data (captured image). Is a digital camera that outputs in real time. The camera 1 includes a wide angle lens. In particular, in the present embodiment, a viewing angle of 140 to 190 ° is ensured in the horizontal direction. The rear camera 1a and the front camera 1d have a depression angle of about 30 degrees on the optical axis and are installed in the vehicle 90, and can capture an area from the vehicle 90 to about 8 m. The left side camera 1b and the right side camera 1c are installed at the bottom of the side mirrors 94 and 95 with the optical axis facing downward, and a part of the side surface of the vehicle 90 and the road surface (ground) can be photographed. In driving assistance including parking assistance and surrounding monitoring, a captured image of the camera 1 or an image generated from the captured image is displayed on the monitor device 4 as a surrounding image. As the monitor device 4, for example, a monitor device of a navigation system is also used. The image photographed by the camera 1 is output to the monitor device 4 through the image processing module 2 as shown in FIG.

画像処理モジュール２の詳細な機能に関しては後述するが、例えば、画像処理モジュール２は、複数のカメラ１により撮影された撮影画像を合成して、より広い視野の合成画像を生成する。また、画像処理モジュール２は、撮影画像や合成画像の視点を変換して俯瞰画像を生成する。具体的には、車両９０の車体端部（前後位置の角部、コーナー部）の外方位置には、図２に示すように２つのカメラの撮影画像における重複領域Ｗが形成される。画像処理モジュール２は、この重複領域Ｗにおいて境界部位を目立たなくする画像処理を実施して合成画像を生成する。また、画像処理モジュール２は、この合成画像の視点を変換し、車両９０の屋根の外観画像（グラフィック画像）を視点変換後の画像に重畳させて俯瞰画像を生成する。このグラフィック画像は、車両９０の屋根の外観を模式的に表現したり写実的に表現したりしたイラスト画像でもよいし、実際に車両９０の屋根の外観を撮影した写真画像や映像画像でもよい。当然ながら、単一のカメラ１の撮影画像をそれぞれ視点変換し、視点変換された複数のカメラ１の撮影画像を合成してもよい。複数の撮影画像の合成や画像の視点変換に関する画像処理技術は公知であるので詳細な説明は省略する。   Although detailed functions of the image processing module 2 will be described later, for example, the image processing module 2 synthesizes the captured images captured by the plurality of cameras 1 to generate a combined image with a wider field of view. The image processing module 2 converts the viewpoint of the captured image or the synthesized image to generate an overhead image. Specifically, an overlapping region W in the captured images of the two cameras is formed at the outer position of the vehicle body end portion (the corner portion and the corner portion of the front-rear position) of the vehicle 90 as shown in FIG. The image processing module 2 performs image processing that makes the boundary portion inconspicuous in the overlapping region W, and generates a composite image. In addition, the image processing module 2 converts the viewpoint of the composite image, and generates an overhead image by superimposing an appearance image (graphic image) of the roof of the vehicle 90 on the image after the viewpoint conversion. The graphic image may be an illustration image that schematically or realistically represents the appearance of the roof of the vehicle 90, or may be a photographic image or a video image that actually captures the appearance of the roof of the vehicle 90. Needless to say, the viewpoints of the captured images of the single camera 1 may be converted, and the captured images of the plurality of cameras 1 whose viewpoints have been converted may be combined. Since image processing techniques related to the synthesis of a plurality of captured images and image viewpoint conversion are well known, detailed description thereof will be omitted.

図３に示すように、車両９０の内部には、駐車支援装置を構成する駐車支援ＥＣＵ（electronic control unit）９が備えられている。駐車支援ＥＣＵ９は、ＣＰＵ（central processing unit）５や、画像処理モジュール２、メモリ、その他の周辺回路を有して構成される。ＣＰＵ５は、画像認識や進路予想などの高度な演算処理を行い、駐車支援装置１０の中核を担う。ＣＰＵ５は、プログラムメモリ６に格納されたプログラムやパラメータを利用して各種演算処理を実行する。また、ＣＰＵ５は、必要に応じてワークメモリ７に一時的に撮影画像などを格納して演算を実行する。ここでは、プログラムメモリ６やワークメモリ７が、ＣＰＵ５とは別のメモリである例を図示しているが、ＣＰＵ５と同一のパッケージ内に集積されていてもよい。また、本例では、ＣＰＵ５を中核としたが、駐車支援装置１０は、ＤＳＰ（digital signal processor）など、他の論理演算プロセッサや論理回路を中核として構成されてもよい。   As shown in FIG. 3, a parking assistance ECU (electronic control unit) 9 constituting a parking assistance device is provided inside the vehicle 90. The parking assist ECU 9 includes a CPU (central processing unit) 5, an image processing module 2, a memory, and other peripheral circuits. The CPU 5 performs advanced calculation processing such as image recognition and course prediction, and plays a central role in the parking assistance device 10. The CPU 5 executes various arithmetic processes using programs and parameters stored in the program memory 6. Further, the CPU 5 temporarily stores a captured image or the like in the work memory 7 as necessary, and executes the calculation. Here, an example in which the program memory 6 and the work memory 7 are memories different from the CPU 5 is illustrated, but they may be integrated in the same package as the CPU 5. Further, in this example, the CPU 5 is the core, but the parking assistance device 10 may be configured with another logical operation processor or logic circuit such as a DSP (digital signal processor) as the core.

ＣＰＵ５は、図３において符号５０で示す車内ネットワークを介して種々のシステムやセンサと通信可能に接続されている。本実施形態においては、車内ネットワークとしてＣＡＮ（controller area network）５０を例示している。図３に示すように、駐車支援ＥＣＵ９は、パワーステアリングシステム３１やブレーキシステム３７、ステアリングセンサ２１や車輪速センサ２３、シフトレバースイッチ２５、アクセルセンサ２９などと接続される。パワーステアリングシステム３１やブレーキシステム３７などの各システムは、駐車支援装置１０と同様にＣＰＵなどの電子回路を中核として構成され、駐車支援ＥＣＵ９と同様に周辺回路と共に構成されたＥＣＵを中核として構成される。   The CPU 5 is communicably connected to various systems and sensors via an in-vehicle network denoted by reference numeral 50 in FIG. In the present embodiment, a CAN (controller area network) 50 is illustrated as an in-vehicle network. As shown in FIG. 3, the parking assist ECU 9 is connected to a power steering system 31, a brake system 37, a steering sensor 21, a wheel speed sensor 23, a shift lever switch 25, an accelerator sensor 29, and the like. Each system such as the power steering system 31 and the brake system 37 is configured with an electronic circuit such as a CPU as a core, similar to the parking support device 10, and is configured with an ECU configured with peripheral circuits as a core similar to the parking support ECU 9. The

パワーステアリングシステム３１は、電動パワーステアリング（EPS : electric power steering）システムやＳＢＷ（steer-by-wire）システムである。このシステムは、ドライバーにより操作されるステアリングホイールにアクチュエータ４１によりアシストトルクを付加することが可能である。また、ステアリングホイールや操舵輪をアクチュエータ４１により駆動することによって自動操舵を行うことも可能である。ブレーキシステム３７は、ブレーキのロックを抑制するＡＢＳ（anti lock braking system）や、コーナリング時の車両の横滑りを抑制する横滑り防止装置（ESC : electronic stability control）、ブレーキ力を増強させるブレーキアシストなどを有した電動ブレーキシステムや、ＢＢＷ（brake-by-wire）システムである。このシステムは、アクチュエータ４７を介して車両９０に制動力を付加することができる。   The power steering system 31 is an electric power steering (EPS) system or an SBW (steer-by-wire) system. In this system, assist torque can be applied to the steering wheel operated by the driver by the actuator 41. It is also possible to perform automatic steering by driving the steering wheel or steering wheel by the actuator 41. The brake system 37 has an anti lock braking system (ABS) that suppresses the locking of the brake, a skid prevention device (ESC: electronic stability control) that suppresses the skidding of the vehicle during cornering, and a brake assist that enhances the braking force. Electric brake system and BBW (brake-by-wire) system. This system can apply a braking force to the vehicle 90 via the actuator 47.

ステアリングセンサ２１は、ステアリングホイールの操舵量（回転角度）を検出するセンサであり、例えばホール素子などを用いて構成される。駐車支援装置１０は、ドライバーによるステアリングホイールの操舵量や、自動操舵時の操舵量をステアリングセンサ２１から取得して各種制御を実行する。車輪速センサ２３は、車両９０の車輪の回転量や単位時間当たりの回転数を検出するセンサであり、例えばホール素子などを用いて構成される。駐車支援装置１０は、車輪速センサ２３から取得した情報に基づいて車両９０の移動量などを演算し、各種制御を実行する。   The steering sensor 21 is a sensor that detects the steering amount (rotation angle) of the steering wheel, and is configured using, for example, a Hall element. The parking assist device 10 acquires the steering amount of the steering wheel by the driver and the steering amount at the time of automatic steering from the steering sensor 21 and executes various controls. The wheel speed sensor 23 is a sensor that detects the amount of rotation of the wheel of the vehicle 90 and the number of rotations per unit time, and is configured using, for example, a Hall element. The parking assistance device 10 calculates the amount of movement of the vehicle 90 based on the information acquired from the wheel speed sensor 23 and executes various controls.

また、ブレーキシステム３７は、左右の車輪の回転差などからブレーキのロックや、車輪の空回り、横滑りの兆候などを検出して各種制御を実行する。このため、車輪速センサ２３はブレーキシステム３７に備えられている場合もある。この場合には、駐車支援装置１０はブレーキシステム３７を介して情報を取得する。同様に、駐車支援装置１０は、ブレーキペダルの操作量を検出するブレーキセンサ２７が検出した情報も、ブレーキシステム３７を介して取得する。駐車支援装置１０は、例えば、自動操舵中にブレーキペダルが踏み込まれたような場合に、自動操舵に不都合な環境下にあるとして自動操舵を中断したり中止したりする制御を行うことができる。   Also, the brake system 37 executes various controls by detecting brake lock, idle rotation of the wheels, signs of skidding, and the like from the difference in rotation between the left and right wheels. For this reason, the wheel speed sensor 23 may be provided in the brake system 37. In this case, the parking assistance device 10 acquires information via the brake system 37. Similarly, the parking assistance device 10 also acquires information detected by the brake sensor 27 that detects the operation amount of the brake pedal via the brake system 37. For example, when the brake pedal is depressed during automatic steering, the parking assist device 10 can perform control to interrupt or stop automatic steering because it is in an unfavorable environment for automatic steering.

図３に示すように、モニタ装置４は、表示部４ａと、表示部４ａに形成されたタッチパネル４ｂと、スピーカ４ｃとを有している。表示部４ａは、画像処理モジュール２から提供されるカメラ１の撮影画像や、グラフィック画像、それらが合成された合成画像などを表示する。一例として、表示部４ａは液晶ディスプレイによって構成される。タッチパネル４ｂは、表示部４ａと共に形成され、指などによる接触位置をロケーションデータとして出力することができる感圧式や静電式の指示入力装置である。図３においては、スピーカ４ｃは、モニタ装置４に備えられている場合を例示しているが、スピーカ４ｃはドアの内側など、他の場所に備えられても良い。スピーカ４ｃは、ＣＰＵ５の指示に応じて音声処理モジュール３から提供される音声を出力する。尚、ＣＰＵ５は、単純にブザー８を介して報知音を鳴らす場合もある。   As shown in FIG. 3, the monitor device 4 includes a display unit 4a, a touch panel 4b formed on the display unit 4a, and a speaker 4c. The display unit 4a displays a captured image of the camera 1 provided from the image processing module 2, a graphic image, a combined image obtained by combining them, and the like. As an example, the display unit 4a is configured by a liquid crystal display. The touch panel 4b is a pressure-sensitive or electrostatic instruction input device that is formed together with the display unit 4a and can output a contact position by a finger or the like as location data. FIG. 3 illustrates the case where the speaker 4c is provided in the monitor device 4, but the speaker 4c may be provided in another place such as the inside of the door. The speaker 4c outputs sound provided from the sound processing module 3 in accordance with an instruction from the CPU 5. Note that the CPU 5 may simply sound a notification sound via the buzzer 8.

図３に示す各種システムやセンサ、これらの接続形態については一例であり、他の構成や接続形態が採用されてもよい。また、上述したように、センサは直接ＣＡＮ５０に接続されても良いし、種々のシステムを介して接続されてもよい。   The various systems and sensors shown in FIG. 3 and their connection forms are examples, and other configurations and connection forms may be employed. Further, as described above, the sensor may be directly connected to the CAN 50 or may be connected via various systems.

上述したように、駐車支援装置１０は、ＣＰＵ５を中核として構成され、プログラムメモリ６に格納されたプログラム（ソフトウェア）と協働して駐車支援のための種々の演算を実施する。駐車支援の種類としては、
（１）車内に搭載されたモニタ上に車両後方の映像を映し出すと共に、車幅延長線や予想進路線などのガイド線を重畳表示させるもの、
（２）駐車目標を設定し、音声などによりドライバーの操作を指示して誘導するもの、
（３）さらに、ドライバーが速度調整だけを担い、自動操舵により駐車目標へ誘導するもの、などがある。（２）及び（３）では、駐車目標が設定されるが、この駐車目標の設定についても、様々な手法がある。例えば、
（ａ）駐車支援開始時の車両の停止位置に基づいて車両からの所定位置を駐車目標の初期位置として設定するもの、
（ｂ）例えば駐車区画を示す区画線を画像認識して駐車目標を設定するもの、
（ｃ）駐車目標位置を通過した際に、ソナー（クリアランスソナー３３）などで空き領域を検出して自動認識し、駐車目標を設定するもの、
（ｄ）精度向上のために、上記（ｂ）や（ｃ）など複数の手法を複合させたもの、
などがある。（ａ）〜（ｄ）の何れの場合も、運転者の手動によって駐車目標の微調整が可能となっているものが多い。 As described above, the parking assistance device 10 is configured with the CPU 5 as a core, and performs various calculations for parking assistance in cooperation with a program (software) stored in the program memory 6. As a kind of parking assistance,
(1) Projecting an image of the rear of the vehicle on a monitor mounted in the vehicle and superimposing guide lines such as a vehicle width extension line and an expected course line,
(2) A parking target is set and a driver's operation is instructed by voice, etc.
(3) Furthermore, there are drivers where the driver is only responsible for speed adjustment and is guided to the parking target by automatic steering. In (2) and (3), a parking target is set. There are various methods for setting the parking target. For example,
(A) setting a predetermined position from the vehicle as the initial position of the parking target based on the stop position of the vehicle at the start of parking assistance;
(B) For example, image recognition of a lot line indicating a parking lot and setting a parking target;
(C) When passing through the parking target position, a vacant area is detected with a sonar (clearance sonar 33) and automatically recognized, and a parking target is set.
(D) A combination of a plurality of methods such as (b) and (c) for improving accuracy,
and so on. In any of the cases (a) to (d), the parking target can be finely adjusted manually by the driver.

本実施形態では、上記（３）に示したように、ドライバーが速度調整だけを担い、自動操舵により駐車目標へ誘導するものとする。以下においては、ドライバーがシフトレバーをリバースにセットした後、自動操舵を伴って駐車目標まで誘導する駐車支援を例として説明する。しかし、上記（２）に示したように、運転操作はドライバーが行い、駐車支援装置１０は音声などにより操作を案内するものであっても操作を案内するための誘導経路は演算されるので本発明を適用可能である。   In the present embodiment, as shown in the above (3), the driver is responsible only for speed adjustment and is guided to the parking target by automatic steering. In the following description, parking assistance in which the driver guides to a parking target with automatic steering after setting the shift lever to reverse will be described as an example. However, as shown in (2) above, since the driver performs the driving operation and the parking assist device 10 guides the operation by voice or the like, the guide route for guiding the operation is calculated. The invention can be applied.

ＣＰＵ５を中核として構成され、プログラムと協働して駐車支援のための種々の演算を実施する駐車支援装置１０は、図４に示すような機能部を有して構成される。即ち、駐車支援装置１０は、周辺画像生成部１１と、駐車目標設定部１３と、経路演算部１４と、探索領域設定部１５と、立体物検出部１６と、表示画像生成部１８とを備える。以下、各機能部の詳細について順に説明する。   The parking support device 10 that is configured with the CPU 5 as a core and performs various calculations for parking support in cooperation with a program is configured to include a functional unit as shown in FIG. That is, the parking assist device 10 includes a surrounding image generation unit 11, a parking target setting unit 13, a route calculation unit 14, a search area setting unit 15, a three-dimensional object detection unit 16, and a display image generation unit 18. . Hereinafter, details of each functional unit will be described in order.

周辺画像生成部１１は、車両９０の周辺の情景を撮影するカメラ１の撮影画像を受け取り、その撮影画像に基づいて車両９０の周辺画像を生成する機能部である。そして、表示画像生成部１８は、周辺画像を車両９０内のモニタ装置４に表示させるための表示画像を生成する機能部である。周辺画像生成部１１及び表示画像生成部１８は、画像処理モジュール２を中核として構成される。周辺画像生成部１１は、撮影画像メモリ５１、画像生成部５３、周辺画像メモリ５７を含んでいる。カメラ１によって取得された撮影画像はバッファメモリとしての撮影画像メモリ５１に展開されて一時保管される。画像生成部５３には、通常画像生成部５４と俯瞰画像生成部５５とマッピングテーブル５６とが含まれている。通常画像生成部５４は、撮影画像をほぼそのままの形態で周辺画像としてモニタ表示するために適した画質に調整する。モニタ表示される周辺画像はカメラ１ａ〜１ｄごとに独立しており、表示画像生成部１８において任意に選択された画像が表示画像としてモニタ装置４に提供される。   The peripheral image generation unit 11 is a functional unit that receives a captured image of the camera 1 that captures a scene around the vehicle 90 and generates a peripheral image of the vehicle 90 based on the captured image. The display image generation unit 18 is a functional unit that generates a display image for displaying the peripheral image on the monitor device 4 in the vehicle 90. The peripheral image generation unit 11 and the display image generation unit 18 are configured with the image processing module 2 as a core. The peripheral image generation unit 11 includes a captured image memory 51, an image generation unit 53, and a peripheral image memory 57. The captured image acquired by the camera 1 is expanded and temporarily stored in a captured image memory 51 as a buffer memory. The image generation unit 53 includes a normal image generation unit 54, an overhead image generation unit 55, and a mapping table 56. The normal image generation unit 54 adjusts the captured image to an image quality suitable for display on the monitor as a peripheral image in an almost intact form. The peripheral images displayed on the monitor are independent for each of the cameras 1a to 1d, and an image arbitrarily selected by the display image generation unit 18 is provided to the monitor device 4 as a display image.

俯瞰画像生成部５５は、撮影画像メモリ５１に展開されている撮影画像を、マッピングテーブル５６に記録されている変換情報に基づいて自車（車両９０）の周囲を上方から見たときの俯瞰画像に変換し周辺画像メモリ５７に格納する。この際、俯瞰画像の生成に先立って、４つのカメラ１a〜１ｄによって個々に取得された撮影画像間の輝度バランスやカラーバランス等を調整して、適切な画像境界線で区分けする前処理が実行されると好適である。マッピングテーブル５６は種々の形態で構築することができる。一例として、図５に示すように、撮影画像の画素データと俯瞰画像の画素データとの対応関係が記述されたテーブルとしてマッピングテーブル５６が構築されると好適である。具体的には、１フレームの撮影画像の各画素に、俯瞰画像における行き先画素座標が記述されたテーブルとして構築されると好適である。   The bird's-eye view image generation unit 55 is a bird's-eye view image when the periphery of the own vehicle (the vehicle 90) is viewed from above on the photographed image developed in the photographed image memory 51 based on the conversion information recorded in the mapping table 56. And stored in the peripheral image memory 57. At this time, prior to the generation of the bird's-eye view image, pre-processing is performed in which the brightness balance, color balance, and the like between the captured images individually acquired by the four cameras 1a to 1d are adjusted, and the images are divided by appropriate image boundary lines. Is preferred. The mapping table 56 can be constructed in various forms. As an example, as shown in FIG. 5, it is preferable that the mapping table 56 is constructed as a table in which the correspondence relationship between the pixel data of the captured image and the pixel data of the overhead image is described. Specifically, it is preferable to construct a table in which the destination pixel coordinates in the overhead image are described in each pixel of the captured image of one frame.

図５には、縦列駐車を開始する際に、４つのカメラ１ａ〜１ｄの撮影画像に基づいて俯瞰画像へ変換する様子が模式的に示されている。後方カメラ１ａによる撮影画像（後方撮影画像）はマッピングテーブル５６によって俯瞰画像の後方領域画像に座標変換される。前方カメラ１ｄによる撮影画像（前方撮影画像）はマッピングテーブル５６によって俯瞰画像の前方領域画像に座標変換される。左サイドカメラ１ｂによる撮影画像（左サイド撮影画像）はマッピングテーブル５６によって俯瞰画像の左領域画像に座標変換される。右サイドカメラ１ｃによる撮影画像（右サイド撮影画像）はマッピングテーブル５６によって俯瞰画像の右領域画像に座標変換される。このように、各カメラ１ａ〜１ｄの撮影画像を俯瞰画像に変換するために４つの異なるマッピングテーブル５６が備えられる。このような４つの撮影画像を用いた俯瞰画像生成は、車両９０が後述する誘導経路Ｋに沿って走行する間逐次行われ、モニタ装置４に表示される。   FIG. 5 schematically shows a state of conversion into a bird's-eye view image based on the captured images of the four cameras 1a to 1d when parallel parking is started. The image captured by the rear camera 1a (rear captured image) is coordinate-converted by the mapping table 56 into a rear region image of the overhead image. The image captured by the front camera 1d (front captured image) is coordinate-converted by the mapping table 56 into a front area image of the overhead image. The image captured by the left side camera 1b (left side captured image) is coordinate-converted by the mapping table 56 into the left region image of the overhead image. The image captured by the right side camera 1c (right side captured image) is coordinate-converted by the mapping table 56 into the right region image of the overhead image. As described above, four different mapping tables 56 are provided to convert the captured images of the cameras 1a to 1d into overhead images. Such overhead image generation using four captured images is sequentially performed while the vehicle 90 travels along a guidance route K described later, and is displayed on the monitor device 4.

駐車目標設定部１３は、車両９０の駐車目標を設定する機能部である。また、経路演算部１４は、駐車目標まで車両９０を誘導する誘導経路を演算する機能部である。駐車目標設定部１３は、上記（ａ）〜（ｄ）に示したような手法により駐車目標を設定する。ここでは、代表として上記（ａ）に対応し、駐車支援開始時の車両９０の停止位置に基づいて車両９０からの所定位置を駐車目標Ｔの初期位置として設定する例を図６及び図７を利用して説明する。   The parking target setting unit 13 is a functional unit that sets a parking target for the vehicle 90. The route calculation unit 14 is a functional unit that calculates a guide route for guiding the vehicle 90 to the parking target. The parking target setting unit 13 sets the parking target by the method as shown in the above (a) to (d). Here, as an example, FIG. 6 and FIG. 7 correspond to the above (a), and an example in which a predetermined position from the vehicle 90 is set as the initial position of the parking target T based on the stop position of the vehicle 90 at the start of parking assistance. Use and explain.

車庫入れ駐車の場合、車両９０は、駐車目標となる駐車区画の横を前進しながら通り過ぎるように移動し、一点鎖線で示すように、駐車区画のほぼ中央が運転席の真横となる位置で一旦停止する。つまり、図６において、ドライバーが駐車区画の中央を助手席の窓を通して目視可能な位置で一旦停止する。この一旦停止した位置に対する所定位置に駐車目標Ｔが設定される。例えば、車両９０から横方向に距離Ｄだけ離れた位置に、所定の大きさの駐車目標Ｔが設定される。駐車目標Ｔは、車両９０の基準位置Ｑ、例えば、後輪の車輪軸と車両９０の前後を貫く車軸との交点を基準として基準座標（ワールド座標）上において設定される。縦列駐車の場合には、車両９０は、駐車目標となる駐車区画の横を前進しながら通り過ぎるように移動し、一点鎖線で示すように、駐車区画の先頭、例えば目標となる駐車区画の前方に駐車している駐車車両の後端が運転席の真横となる位置で一旦停止する。つまり、図７において、ドライバーが助手席の窓を通して駐車車両の後端を目視可能な位置で一旦停止する。この一旦停止した位置に対する所定位置に駐車目標Ｔが設定される。   In the case of parking in the garage, the vehicle 90 moves past the side of the parking area that is the parking target while moving forward, and as shown by the alternate long and short dash line, the vehicle 90 is temporarily at a position where the center of the parking area is directly beside the driver's seat. Stop. That is, in FIG. 6, the driver temporarily stops at a position where the driver can see the center of the parking section through the passenger seat window. The parking target T is set at a predetermined position relative to the temporarily stopped position. For example, a parking target T having a predetermined size is set at a position separated from the vehicle 90 by a distance D in the lateral direction. The parking target T is set on the reference coordinates (world coordinates) with reference to the reference position Q of the vehicle 90, for example, the intersection of the rear wheel axle and the axle passing through the vehicle 90. In the case of parallel parking, the vehicle 90 moves so as to pass by the side of the parking area that is the parking target, and as indicated by the alternate long and short dash line, at the top of the parking area, for example, in front of the target parking area. Stop at a position where the rear end of the parked parked vehicle is directly beside the driver's seat. That is, in FIG. 7, the driver temporarily stops at a position where the rear end of the parked vehicle can be seen through the passenger seat window. The parking target T is set at a predetermined position relative to the temporarily stopped position.

尚、上記（ｂ）において例示したように、白線などの区画線（路面標示）Ｙで示された駐車区画を画像認識して、駐車区画の中に駐車目標Ｔを設定してもよい。この際、例えば、サイドカメラ１ｂの視野が遠くまで設定されていない場合には、区画線Ｙの一部を画像認識してもよい。そして、車両９０側における駐車区画の端部を起点として、所定の大きさの駐車区画を推定し、基準座標上に駐車目標Ｔを設定してもよい。また、一旦停止位置をさらに前方に進めて、後方カメラ１ａによる撮影画像を用いて区画線Ｙを認識してもよい。勿論、上述した俯瞰画像を用いて区画線Ｙを認識してもよい。   In addition, as illustrated in the above (b), the parking target indicated by the lane marking (road marking) Y such as a white line may be image-recognized, and the parking target T may be set in the parking partition. At this time, for example, when the field of view of the side camera 1b is not set far, a part of the lane marking Y may be recognized. Then, a parking area having a predetermined size may be estimated starting from the end of the parking area on the vehicle 90 side, and the parking target T may be set on the reference coordinates. Alternatively, the stop position may be further advanced forward, and the marking line Y may be recognized using an image captured by the rear camera 1a. Of course, you may recognize the division line Y using the bird's-eye view image mentioned above.

また、上記（ｃ）において例示したように、ソナー（クリアランスソナー３３）などで空き領域を検出して駐車区画を自動認識して駐車目標を設定してもよい。つまり、図６及び図７に示したように、目標となる駐車区画の横を前進しながら通過する際に、車両９０の左右方向に向けて取り付けたクリアランスソナー３３で駐車車両との距離を検出する。そして、車輪速センサ２３やステアリングセンサ２１の検出結果に基づき演算される自車両９０の移動軌跡と関連させながら距離データを時系列に記憶する。これにより、駐車車両の位置を路面平面上に設定されるワールド座標上に位置データとして記憶する。距離データの連続性からノイズ除去、グループ化、バンパー形状などの車両形状に対するマッチング、位置補正処理等を実施して、駐車車両の端部を計算して空き空間を推定する。この空き空間に駐車目標Ｔが設定される。尚、上記（ｄ）に示したように、複数の手法を複合させてもよい。つまり、空き空間における区画線Ｙを画像認識することによって、さらに精度良く空き空間を検出して、駐車目標Ｔを設定してもよい。   Further, as illustrated in the above (c), a parking target may be set by detecting an empty area with a sonar (clearance sonar 33) and automatically recognizing a parking section. That is, as shown in FIG. 6 and FIG. 7, the distance from the parked vehicle is detected by the clearance sonar 33 attached in the left-right direction of the vehicle 90 when passing the side of the target parking section while moving forward. To do. And distance data is memorize | stored in time series, making it link with the movement locus | trajectory of the own vehicle 90 calculated based on the detection result of the wheel speed sensor 23 or the steering sensor 21. FIG. Thereby, the position of the parked vehicle is stored as position data on the world coordinates set on the road surface plane. From the continuity of the distance data, noise elimination, grouping, matching to a vehicle shape such as a bumper shape, position correction processing, etc. are performed, and the end of the parked vehicle is calculated to estimate the empty space. A parking target T is set in this empty space. As shown in (d) above, a plurality of methods may be combined. That is, the parking target T may be set by detecting the vacant space with higher accuracy by recognizing the lane markings Y in the vacant space.

経路演算部１４は、駐車目標Ｔまで車両９０を誘導する誘導経路を演算する機能部である。本実施形態においては、経路演算部１４は、車両９０を後退開始位置まで前進させた後、駐車目標まで後退させる誘導経路を演算する。駐車目標Ｔが設定されると、経路演算部１４は、図８及び図９に示すように、車両９０を初期位置Ｑ０から後退開始位置Ｑ１まで前進させ、後退開始位置Ｑ１から駐車目標Ｔにおける駐車完了位置Ｑ２まで後退させる誘導経路Ｋと、折り返し点である後退開始位置Ｑ１を演算する。ここで、Ｑ０〜Ｑ２は、それぞれ車両９０が初期位置（Ｑ０）、後退開始位置（Ｑ１）、駐車完了位置（Ｑ２）にある時の、車両９０の基準位置Ｑの基準座標上での座標を示している。初期位置とは、図６及び図７において車両９０が一旦停止する位置、即ち駐車目標Ｔが設定された時点の位置である。多くの場合、駐車支援の開始時には、ドライバーによる指示入力が専用ボタンやタッチパネル４ｂ上のタッチボタンに対して与えられる。従って、その指示入力が与えられた時点での車両９０の位置を初期位置としてもよい。尚、誘導経路Ｋは、前進誘導経路Ｋ１と後退誘導経路Ｋ２とから構成される。誘導経路Ｋの生成手法は、特開２００３−２３７５１１号公報や特開２００８−２８４９６９号公報等に例示されているように公知であるから詳細な説明は省略する。   The route calculation unit 14 is a functional unit that calculates a guide route for guiding the vehicle 90 to the parking target T. In the present embodiment, the route calculation unit 14 calculates a guide route for moving the vehicle 90 forward to the reverse start position and then moving backward to the parking target. When the parking target T is set, the route calculation unit 14 advances the vehicle 90 from the initial position Q0 to the reverse start position Q1, and parks at the parking target T from the reverse start position Q1, as shown in FIGS. A guide path K for retreating to the completion position Q2 and a retreat start position Q1 that is a turning point are calculated. Here, Q0 to Q2 are coordinates on the reference coordinates of the reference position Q of the vehicle 90 when the vehicle 90 is at the initial position (Q0), the reverse start position (Q1), and the parking completion position (Q2), respectively. Show. The initial position is a position at which the vehicle 90 is temporarily stopped in FIGS. 6 and 7, that is, a position when the parking target T is set. In many cases, when parking assistance is started, an instruction input by a driver is given to a dedicated button or a touch button on the touch panel 4b. Accordingly, the position of the vehicle 90 at the time when the instruction input is given may be set as the initial position. The guide route K includes a forward guide route K1 and a reverse guide route K2. Since the method for generating the guide route K is known as exemplified in Japanese Patent Laid-Open No. 2003-237511, Japanese Patent Laid-Open No. 2008-284969, and the like, detailed description thereof is omitted.

誘導経路Ｋに従って進行する車両９０は、特に後退誘導経路Ｋ２に従って進行する際に、比較的大きい旋回を伴う。車両９０が旋回を伴って進行する際には内輪差や外輪差により、車体が車輪よりも内側、あるいは外側を通る。車体端部（コーナー部）は、ドライバーから死角となり易い場所であるから、車両９０の周辺に立体物が存在した場合には、この立体物に車両９０が接触する可能性が生じる。尚、ここで、立体物とは、路面に対して立体的な他の物体や構造物をいい、駐車車両や、ガードレール、路側に設けられた歩道と路面との段差や溝等の路肩、等を含む。   The vehicle 90 traveling along the guidance route K is accompanied by a relatively large turn, particularly when traveling along the backward guidance route K2. When the vehicle 90 travels with a turn, the vehicle body passes on the inner side or the outer side of the wheel due to the inner wheel difference or the outer wheel difference. Since the vehicle body end portion (corner portion) is a place where the driver is likely to become a blind spot, if there is a solid object around the vehicle 90, the vehicle 90 may come into contact with the solid object. Here, the three-dimensional object refers to another object or structure that is three-dimensional with respect to the road surface, such as a parked vehicle, a guard rail, a step between the sidewalk provided on the road side and the road surface, a road shoulder such as a groove, etc. including.

探索領域設定部１５は、誘導経路Ｋ、特に後退誘導経路Ｋ２に従って進行する車両９０の車体端部が、立体物と近接又は接触する可能性が高い所定の領域を、撮影画像又は周辺画像上における探索領域として設定する。探索領域は、誘導経路Ｋに沿った駐車走行時においてドライバーが注意すべき注意領域ということもできる。後述するように、立体物検出部１６は、探索領域において画像認識を行い、立体物を検出する。   The search area setting unit 15 displays a predetermined area on the captured image or the peripheral image where the vehicle body end portion of the vehicle 90 traveling along the guidance route K, particularly the backward guidance route K2, is likely to come close to or come into contact with the three-dimensional object. Set as search area. The search area can also be referred to as an attention area that the driver should pay attention to when driving along the guidance route K. As will be described later, the three-dimensional object detection unit 16 performs image recognition in the search area and detects a three-dimensional object.

図１０は、そのような探索領域Ｚを例示している。図１０の（ａ）には、車庫入れ駐車時の誘導経路Ｋに沿って設定される４つの探索領域Ｚ（Ｚ１,Ｚ２,Ｚ３,Ｚ４，Ｚ５）が例示されている。また、図１０の（ｂ）には、縦列駐車時の誘導経路Ｋに沿って設定される３つの探索領域Ｚ（Ｚ５,Ｚ６,Ｚ７）が例示されている。これらの探索領域Ｚは、車両９０の中心が誘導経路Ｋに沿って移動した際に、車両９０の車体端部（コーナー部）が誘導経路Ｋから大きく振れることにより他の駐車車両１００や立体物などに接触する可能性が大きくなる領域である。   FIG. 10 illustrates such a search area Z. FIG. 10A illustrates four search areas Z (Z1, Z2, Z3, Z4, Z5) set along the guidance route K at the time of parking in the garage. FIG. 10B illustrates three search areas Z (Z5, Z6, Z7) set along the guidance route K during parallel parking. In these search areas Z, when the center of the vehicle 90 moves along the guidance route K, the vehicle body end portion (corner portion) of the vehicle 90 largely shakes from the guidance route K, and other parked vehicles 100 and three-dimensional objects are obtained. This is a region where the possibility of contact with the

立体物検出部１６は、これら探索領域Ｚにおいて画像認識を行い、立体物を検出する。探索領域Ｚは、画像処理対象領域であり、画像認識における関心領域（ＲＯＩ：region of interest）に相当する。本実施形態では、撮影画像（通常画像）を含む周辺画像を用いて画像認識により立体物を検出する。立体物検出部１６は、特開２０１０−１２８９３９号公報（特許文献１）に開示されたように、視差が生じている２枚の画像の一方から他方の視点に基づく画像に位置補正を施した予測画像を生成する。そして、他方の画像と予測画像との差分を取って立体物を抽出する。位置情報は、車輪速センサ２３の検出結果に基づく車両９０の移動量と、ステアリングセンサ２１で検出されるステアリングホイールの操舵量とに基づいて演算される。   The three-dimensional object detection unit 16 performs image recognition in these search areas Z and detects a three-dimensional object. The search area Z is an image processing target area and corresponds to a region of interest (ROI) in image recognition. In the present embodiment, a three-dimensional object is detected by image recognition using a peripheral image including a captured image (normal image). As disclosed in Japanese Patent Application Laid-Open No. 2010-128939 (Patent Document 1), the three-dimensional object detection unit 16 performs position correction on an image based on the other viewpoint from one of two images in which parallax occurs. A prediction image is generated. Then, a three-dimensional object is extracted by taking the difference between the other image and the predicted image. The position information is calculated based on the movement amount of the vehicle 90 based on the detection result of the wheel speed sensor 23 and the steering amount of the steering wheel detected by the steering sensor 21.

図１１は、図５を利用して上述した俯瞰画像が、モニタ装置４に表示される際の表示形態の一例を示している。本実施形態では、モニタ装置４の画面は、俯瞰画像を表示する俯瞰画像表示領域と、何れかのカメラ１による撮影画像（例えば自車進行方向の撮影画像）に基づく通常画像を表示する通常画像領域とに区分けされている。水平方向視の撮影画像から視点変換して俯瞰画像を生成した場合、高さのある立体物は歪んでしまう。俯瞰画像と通常画像とが共に表示されることで、立体物を通常画像で確認することも可能である。図４に示すように、画像処理モジュール２は、表示画像生成部１８を備えている。表示画像生成部１８は、周辺画像を車両９０内のモニタ装置４に表示させるための表示画像を生成する。表示画像生成部１８は、俯瞰画像と通常画像とが含まれた表示画像を生成してモニタ装置４に出力する。尚、表示画像生成部１８は、俯瞰画像に対して自車両を示すアイコンを重畳させてモニタ装置４に出力する。表示画像生成部１８は、自車イメージ提供部６４及び画像合成部６６を備えており、画像合成部６６は、自車イメージ提供部６４から提供された自車アイコンを俯瞰画像に合成して出力する。   FIG. 11 shows an example of a display form when the bird's-eye view image described above with reference to FIG. 5 is displayed on the monitor device 4. In the present embodiment, the screen of the monitor device 4 is a normal image that displays a normal image based on a bird's-eye view image display area that displays a bird's-eye view image and a photographed image (for example, a photographed image in the traveling direction of the vehicle) of any camera 1. It is divided into areas. When a bird's-eye view image is generated by converting a viewpoint from a horizontally-viewed captured image, a three-dimensional object having a height is distorted. By displaying both the overhead image and the normal image, it is also possible to confirm the three-dimensional object with the normal image. As shown in FIG. 4, the image processing module 2 includes a display image generation unit 18. The display image generation unit 18 generates a display image for displaying the surrounding image on the monitor device 4 in the vehicle 90. The display image generation unit 18 generates a display image including the overhead image and the normal image and outputs the display image to the monitor device 4. The display image generation unit 18 superimposes an icon indicating the host vehicle on the overhead image and outputs it to the monitor device 4. The display image generating unit 18 includes a host vehicle image providing unit 64 and an image synthesizing unit 66. The image synthesizing unit 66 synthesizes the host vehicle icon provided from the host vehicle image providing unit 64 into a bird's-eye view image and outputs it. To do.

また、図１１に示すように、俯瞰画像はモニタ装置４に表示される範囲よりも広い範囲が含まれる画像として生成される。従って、モニタ装置４に表示される際には、一般的には図１１上段に例示されているように、中央部分がトリミング処理されたトリミング画像となる。一方、上述したように、本実施形態では、立体物を検出するための対象領域として探索領域Ｚが設定されている。従って、例えば図１１の下段に例示されているように、探索領域Ｚが多く含まれるように探索領域Ｚ７，Ｚ８の方へオフセットしてトリミング画像が生成されると好適である。立体物が存在する可能性の多い領域が多く俯瞰画像に含まれることになるので、立体物の確認が容易となる。図１１から明らかなように、下段のオフセットされた画像には上段の画像に比べて、探索領域Ｚ７,Ｚ８に対応する領域が多く含まれる。従って、これらの領域に立体物が存在した場合に、ドライバーは、良好に視認することができる。   Further, as shown in FIG. 11, the overhead image is generated as an image including a wider range than the range displayed on the monitor device 4. Therefore, when displayed on the monitor device 4, generally, as illustrated in the upper part of FIG. 11, a trimmed image in which the central portion is trimmed is obtained. On the other hand, as described above, in this embodiment, the search area Z is set as a target area for detecting a three-dimensional object. Therefore, for example, as illustrated in the lower part of FIG. 11, it is preferable that the trimmed image is generated by being offset toward the search areas Z7 and Z8 so as to include many search areas Z. Since there are many areas where there is a high possibility that a three-dimensional object exists, the bird's-eye view image includes the three-dimensional object. As is apparent from FIG. 11, the lower offset image includes more areas corresponding to the search areas Z7 and Z8 than the upper image. Therefore, when a three-dimensional object exists in these areas, the driver can visually recognize it well.

但し、上述したように、立体物は、俯瞰画像上では歪んでしまう場合がある。このため、表示画像生成部１８は、図１２に示すように立体物が存在することを報知する報知アイコンＧを周辺画像、特に俯瞰画像において立体物が存在する位置に重畳させて表示画像を生成する。この報知アイコンＧは、報知イメージ提供部６５により生成され、画像合成部６６に提供される。画像合成部６６は、報知アイコンＧを重畳させてモニタ装置４に表示画像を出力する。報知アイコンＧは、立体物の形状を示し、ドライバーに立体物を連想させるものでなくてもよい。報知アイコンＧは、図１２に符号Ｇ１として例示するように、文字や記号、イラストなどによって「立体物有り」、「注意」、「！」等と表示するものであってもよい。これにより、俯瞰画像上において立体物が歪んで表示され、一見して何であるかが判らないような場合であっても、ドライバーは注意をすべきことを理解できる。路肩については、さらに、路肩に沿った線や長尺の長方形などの報知アイコンＧ２（Ｇ）を用いて、路肩の存在を報知してもよい。   However, as described above, the three-dimensional object may be distorted on the overhead image. For this reason, the display image generation unit 18 generates a display image by superimposing a notification icon G for notifying that a three-dimensional object exists as shown in FIG. To do. This notification icon G is generated by the notification image providing unit 65 and provided to the image composition unit 66. The image composition unit 66 superimposes the notification icon G and outputs a display image to the monitor device 4. The notification icon G indicates the shape of a three-dimensional object and does not have to remind the driver of the three-dimensional object. The notification icon G may be displayed as “three-dimensional object present”, “caution”, “!”, Etc. by characters, symbols, illustrations, etc., as exemplified by reference numeral G1 in FIG. As a result, even when the three-dimensional object is displayed in a distorted manner on the bird's-eye view image and it is not clear at first glance, it can be understood that the driver should be careful. For the road shoulder, the presence of the road shoulder may be further notified using a notification icon G2 (G) such as a line along the road shoulder or a long rectangle.

また、立体物検出部１６によって路肩が検出され、路肩と駐車目標Ｔとが近接して駐車目標Ｔ内の車両９０が路肩に近づきすぎる可能性があると判定された場合には、経路演算部１４は、誘導経路Ｋを修正する。これにより、駐車目標Ｔを設定した際の認識結果に拘束されることなく、より適切な位置へ車両９０を誘導することが可能となる。   Further, when a road shoulder is detected by the three-dimensional object detection unit 16 and it is determined that the road shoulder and the parking target T are close to each other and the vehicle 90 in the parking target T may be too close to the road shoulder, a route calculation unit 14 corrects the guidance route K; Thus, the vehicle 90 can be guided to a more appropriate position without being restricted by the recognition result when the parking target T is set.

以下、上述のように構成された駐車支援装置１０による駐車支援制御の流れを図１３のフローチャートを用いて説明する。ここでは、上記（３）に示したように、自動操舵により車両９０が誘導される場合を例示する。即ち、ＣＰＵ５を中核として構成される不図示の誘導部は、車輪速センサ２３、ステアリングセンサ２１、ブレーキセンサ２７等の検出結果並びに誘導経路Ｋに基づいて、公知のデットレコニング(Dead-Reckoning)技術を用いて車両９０を誘導する。具体的には、誘導部によりパワーステアリングシステム３１やブレーキシステム３７が制御される。当然ながら、自動操舵は後進走行だけに限定して、前進走行は人為操舵とするといったように、部分的に人為操舵を組み込んでもよい。また、上記（２）に示したように、操作手順を報知してドライバーに運転操作を行わせることも可能である。   Hereinafter, the flow of the parking assistance control by the parking assistance device 10 configured as described above will be described with reference to the flowchart of FIG. Here, as shown in (3) above, a case where the vehicle 90 is guided by automatic steering is illustrated. That is, a guide unit (not shown) having the CPU 5 as a core is a known Dead-Reckoning technique based on detection results of the wheel speed sensor 23, the steering sensor 21, the brake sensor 27, and the like and the guide path K. Is used to guide the vehicle 90. Specifically, the power steering system 31 and the brake system 37 are controlled by the guide unit. Of course, the artificial steering may be partially incorporated such that the automatic steering is limited to the backward traveling only and the forward traveling is the artificial steering. Further, as shown in (2) above, it is also possible to notify the operation procedure and cause the driver to perform a driving operation.

図６及び図７を用いて上述したように、駐車支援の開始時には、ドライバーは、駐車区画の近傍位置で車両９０を停車させる。停車時の自車位置は図８及び図９を用いて上述したように、初期位置Ｑ０として設定され（図１３＃２）、初期位置Ｑ０を基準として駐車目標Ｔ（Ｑ２）が設定される（＃４）。初期位置Ｑ０と駐車目標Ｔが設定されると、初期位置Ｑ０から駐車目標Ｔ（Ｑ２）までの誘導経路Ｋが演算される（＃６）。誘導経路Ｋが求められると、この誘導経路の形態、特に経路進行に伴う曲率の変動に基づいて、車両９０の一部が立体物と接触する可能性が高い箇所などが探索領域Ｚとして設定される（＃８）。例えば、車両９０が誘導経路を移動する際にその周辺に立体物などが存在した場合に、当該立体物に車両９０が接触する可能性が高い領域は統計学的に推定することができる。もちろん、より高い信頼度でもって推定を行うためには、後進と前進のどちらで走行しているかという条件や、その車両特性、特に操向特性も考慮する必要がある。いずれにしても、予め多数の誘導経路のパターンを想定して、各誘導経路パターンにおける車両９０の経路位置での接触可能性から、立体物を探索すべき周囲領域Ｚを推定し、その周囲領域を割り当てておくことで、簡単に探索領域Ｚを決定することができる。探索領域Ｚは、予めその位置や大きさとともに探索領域リストに記録されていてもよい。   As described above with reference to FIGS. 6 and 7, at the start of parking assistance, the driver stops the vehicle 90 at a position near the parking section. As described above with reference to FIGS. 8 and 9, the vehicle position at the time of stopping is set as the initial position Q0 (# 2 in FIG. 13), and the parking target T (Q2) is set with reference to the initial position Q0 ( # 4). When the initial position Q0 and the parking target T are set, the guide route K from the initial position Q0 to the parking target T (Q2) is calculated (# 6). When the guidance route K is obtained, a location where the vehicle 90 is likely to come into contact with a three-dimensional object is set as the search region Z based on the form of this guidance route, particularly the variation in curvature accompanying the route progression. (# 8). For example, when a three-dimensional object or the like is present in the vicinity of the vehicle 90 when moving on the guidance route, an area where the vehicle 90 is likely to contact the three-dimensional object can be estimated statistically. Of course, in order to perform estimation with higher reliability, it is necessary to consider the condition of whether the vehicle is traveling backward or forward, and the vehicle characteristics, particularly steering characteristics. In any case, assuming a number of guidance route patterns in advance, the surrounding area Z where the three-dimensional object is to be searched is estimated from the possibility of contact at the route position of the vehicle 90 in each guidance route pattern. Can be easily determined. The search area Z may be recorded in advance in the search area list together with its position and size.

探索領域が設定されると、自車位置が演算され（＃１０）、撮影画像が取り込まれる（＃１２）。この撮影画像に基づいて、上述したように通常画像や俯瞰画像による周辺画像が生成される。次いで、周辺画像に探索領域Ｚが含まれるか否かが判定される（＃１４）。周辺画像に探索領域Ｚが含まれる場合には、当該探索領域Ｚに対して立体物検出処理が施される（＃１６）。そして、立体物が検出されたか否かが判定され（＃１８）、立体物が存在する場合には、立体物報知処理が実行される（＃２０）。立体物が存在する場合には、さらに、誘導経路Ｋの変更が必要か否かが判定される（＃２２）。例えば、立体物として路肩が検出され、路肩と駐車目標Ｔとの関係から、車両９０と路肩との距離が所定のしきい値よりも近くなるような場合に、誘導経路Ｋの変更が必要と判定される。誘導経路Ｋの変更が必要と判定された場合には、経路演算部１４により誘導経路補正処理が実行される（＃２４）。そして、車両９０は、補正された新しい誘導経路Ｋに従って誘導される（＃２６）。誘導に伴って再び、自車位置が演算され（＃２８）、車両９０が駐車目標Ｔ（Ｑ２）に到達したか否かが判定される（＃３０）。車両９０が、駐車目標Ｔ（Ｑ２）に到達していれば、駐車支援が終了され、到達していなければ上述したステップ＃１０〜＃３０が繰り返し実行される。   When the search area is set, the vehicle position is calculated (# 10), and the captured image is captured (# 12). Based on this captured image, a peripheral image based on a normal image or an overhead image is generated as described above. Next, it is determined whether or not the search area Z is included in the surrounding image (# 14). When the search area Z is included in the peripheral image, the three-dimensional object detection process is performed on the search area Z (# 16). Then, it is determined whether or not a three-dimensional object is detected (# 18), and if a three-dimensional object exists, a three-dimensional object notification process is executed (# 20). If a three-dimensional object exists, it is further determined whether or not the guide route K needs to be changed (# 22). For example, when the road shoulder is detected as a three-dimensional object, and the distance between the vehicle 90 and the road shoulder is closer than a predetermined threshold due to the relationship between the road shoulder and the parking target T, the guidance route K needs to be changed. Determined. If it is determined that the guidance route K needs to be changed, the route computation unit 14 performs guidance route correction processing (# 24). Then, the vehicle 90 is guided according to the corrected new guide route K (# 26). With the guidance, the vehicle position is again calculated (# 28), and it is determined whether or not the vehicle 90 has reached the parking target T (Q2) (# 30). If the vehicle 90 has reached the parking target T (Q2), the parking assistance is terminated, and if not, the steps # 10 to # 30 described above are repeatedly executed.

尚、上述した実施形態では、俯瞰画像を周辺画像とし、俯瞰画像上に探索領域Ｚが設定される例を示したが、当然ながら探索領域Ｚは俯瞰画像に設定されることに限定されるものではない。撮影画像をほぼそのまま利用した略水平視の画像を周辺画像として、その周辺画像上に探索領域Ｚを設定してもよい。また、モニタ装置４への表示を前提とした周辺画像を用いることなく、撮影画像に対して探索領域Ｚを設定してもよい。   In the above-described embodiment, an example in which the overhead image is a peripheral image and the search area Z is set on the overhead image is shown, but the search area Z is naturally limited to being set to the overhead image. is not. The search area Z may be set on the peripheral image using a substantially horizontal image obtained by using the captured image as it is as the peripheral image. Further, the search area Z may be set for the captured image without using a peripheral image premised on display on the monitor device 4.

また、上述した実施形態では、立体物検出部１６が、探索領域Zにおいて画像認識を行い、立体物１００を検出する例を用いて説明した。しかし、立体物検出部１６による立体物探索は、画像処理に限定されるものではない。立体物検出部１６は、探索領域Zに対応する車両９０の実際の周辺領域に対してソナーやレーザーなどを用いて立体物探索を行い、立体物を検出してもよい。この際、１つの形態として、車両９０の移動に応じてポイントセンサとしてのソナーやレーザーなどによって距離画像データを生成しておき、この距離画像データに探索領域Zに対応する関心領域ＲＯＩを設定して立体物探索を行ってもよい。あるいは、比較的視野の広いソナーなどを用いて、探索領域Ｚに対応する車両９０の実際の周辺領域の一部の空間を走査して、立体物探索を行ってもよい。   In the above-described embodiment, the three-dimensional object detection unit 16 has been described using an example in which the three-dimensional object 100 is detected by performing image recognition in the search region Z. However, the three-dimensional object search by the three-dimensional object detection unit 16 is not limited to image processing. The three-dimensional object detection unit 16 may detect a three-dimensional object by performing a three-dimensional object search on the actual peripheral area of the vehicle 90 corresponding to the search area Z using a sonar or a laser. At this time, as one form, distance image data is generated by a sonar or laser as a point sensor according to the movement of the vehicle 90, and a region of interest ROI corresponding to the search region Z is set in the distance image data. The three-dimensional object search may be performed. Alternatively, a three-dimensional object search may be performed by scanning a partial space of the actual peripheral area of the vehicle 90 corresponding to the search area Z using a sonar having a relatively wide field of view.

以上説明したように、本発明によって、軽い演算負荷で車両の進行方向や旋回方向などの車両の挙動に応じて車両周辺の立体的な物体や路面の立体的な変化を効率よく検出することができる駐車支援装置を提供することが可能となる。   As described above, according to the present invention, it is possible to efficiently detect a three-dimensional object or a three-dimensional change in the road surface around the vehicle according to the behavior of the vehicle such as the traveling direction or turning direction of the vehicle with a light calculation load. It becomes possible to provide a parking assist device that can be used.

１：カメラ（車載カメラ）
１ａ：後方カメラ（車載カメラ）
１ｂ：左側方カメラ（車載カメラ）
１ｃ：右側方カメラ（車載カメラ）
１ｄ：前方カメラ（車載カメラ）
４：モニタ装置
１１：周辺画像生成部
１３：駐車目標設定部
１４：経路演算部
１５：探索領域設定部
１６：立体物検出部
１８：表示画像生成部
９０：車両
１００：駐車車両（立体物）
Ｋ，Ｋ１，Ｋ２：誘導経路
Ｔ：駐車目標
Ｚ：探索領域 1: Camera (on-vehicle camera)
1a: Rear camera (vehicle camera)
1b: Left side camera (vehicle camera)
1c: Right side camera (vehicle camera)
1d: Front camera (vehicle camera)
4: Monitor device 11: Surrounding image generation unit 13: Parking target setting unit 14: Route calculation unit 15: Search area setting unit 16: Solid object detection unit 18: Display image generation unit 90: Vehicle 100: Parked vehicle (three-dimensional object)
K, K1, K2: Guide route T: Parking target Z: Search area

Claims (4)

車両の周辺の情景を撮影する車載カメラの撮影画像に基づいて前記車両の周辺画像を生成する周辺画像生成部と、
前記車両の駐車目標を設定する駐車目標設定部と、
前記駐車目標まで前記車両を誘導する誘導経路を演算する経路演算部と、
前記誘導経路に従って進行する前記車両の車体端部が、路面に対して立体的な他の物体及び構造物を含む立体物と近接又は接触する可能性が高い所定の領域を、前記撮影画像又は前記周辺画像上における探索領域として設定する探索領域設定部と、
前記探索領域に対応する前記車両の周辺領域に対して立体物探索を行い、前記立体物を検出する立体物検出部と、
を備える駐車支援装置。 A peripheral image generation unit that generates a peripheral image of the vehicle based on a captured image of an in-vehicle camera that captures a scene around the vehicle;
A parking target setting unit for setting a parking target of the vehicle;
A route calculation unit for calculating a guide route for guiding the vehicle to the parking target;
The vehicle body end portion that travels according to the guidance route has a predetermined region that is highly likely to approach or come into contact with a three-dimensional object including other three-dimensional objects and structures with respect to the road surface. A search area setting unit that is set as a search area on a peripheral image;
A three-dimensional object detection unit that performs a three-dimensional object search on a peripheral area of the vehicle corresponding to the search area, and detects the three-dimensional object;
A parking assistance device comprising: 前記立体物検出部は、前記探索領域において画像認識を行い、前記立体物を検出する請求項１に記載の駐車支援装置。   The parking assistance device according to claim 1, wherein the three-dimensional object detection unit performs image recognition in the search area and detects the three-dimensional object. 前記立体物は、駐車形態が縦列駐車である際の前記駐車目標の近傍に存在する路肩を含み、前記探索領域設定部は、前記路肩が存在する可能性の高い領域を前記探索領域として設定する請求項１又は２に記載の駐車支援装置。   The three-dimensional object includes a road shoulder that exists in the vicinity of the parking target when the parking mode is parallel parking, and the search area setting unit sets an area where the road shoulder is likely to exist as the search area. The parking assistance device according to claim 1 or 2. 前記周辺画像を前記車両内のモニタ装置に表示させるための表示画像を生成する表示画像生成部を備え、前記表示画像生成部は、前記立体物が存在することを報知する報知アイコンを前記周辺画像において前記立体物が存在する位置に重畳させて前記表示画像を生成する請求項１から３の何れか一項に記載の駐車支援装置。   A display image generating unit configured to generate a display image for displaying the peripheral image on a monitor device in the vehicle, wherein the display image generating unit displays a notification icon that notifies that the three-dimensional object exists; The parking support device according to claim 1, wherein the display image is generated by superimposing the display image on a position where the solid object exists.

Images