JP2005138716A

JP2005138716A - Parking support device

Info

Publication number: JP2005138716A
Application number: JP2003377460A
Authority: JP
Inventors: Koji Kato; 耕治加藤; Masakazu Takeichi; 真和竹市; Yoshihisa Sato; 善久佐藤
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2003-11-06
Filing date: 2003-11-06
Publication date: 2005-06-02

Abstract

<P>PROBLEM TO BE SOLVED: To provide a parking support device capable of determining whether or not a vehicle can be parked from the present position. <P>SOLUTION: Images around an own vehicle 10 picked up by a camera mounted on the own vehicle 10 are subjected to coordinate conversion to generate bird's eye view images thereof, and the position of the own vehicle 10 and each parking reference line (AL, BL, CL, AR, BR and CR) to indicate expected reaching position at which the vehicle is expected to reach when performing parallel parking/tandem parking while maintaining the steering state without driving are displayed on the generator bird's eye view image in an overlapping manner. A user of the own vehicle 10 can easily determine from the present position whether or not the vehicle can be parked by checking the positional relationship between the position of an obstacle to be checked from the bird's eye view image and each parking reference line. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、駐車支援装置に関するものである。 The present invention relates to a parking assistance device.

従来、車両の駐車操作の負担を軽減することを目的とした駐車支援装置が提案されている（例えば、特許文献１参照。）。この特許文献１に開示されている駐車支援装置は、例えば、運転者によって駐車操作支援を開始するための開始ボタンが操作されると、運転者に対して車両をゆっくりと誘導エリアまで前進させる案内を行いながら、車両周辺の障害物を検出して駐車エリアの候補を認識する。そして、車両が誘導エリアに到達すると、車両と駐車エリアの位置関係を示す俯瞰図を表示する。
特開２００３−１０４１４９号公報 2. Description of the Related Art Conventionally, a parking assistance device has been proposed for the purpose of reducing the burden of a vehicle parking operation (see, for example, Patent Document 1). In the parking assistance device disclosed in Patent Document 1, for example, when a start button for starting parking operation assistance is operated by the driver, the driver slowly advances the vehicle to the guidance area. Detecting obstacles around the vehicle and recognizing parking area candidates. When the vehicle reaches the guidance area, an overhead view showing the positional relationship between the vehicle and the parking area is displayed.
JP 2003-104149 A

上述した、従来の駐車支援装置は、単に、車両周辺の駐車エリアの候補を表示するものであるため、車両の現在位置から駐車エリアの候補に駐車できるか否かの判断を行うことができない。そのため、実際に車両を現在位置から後退させながら駐車可否の判断をしなければならない。 Since the above-described conventional parking assistance device simply displays the candidates for the parking area around the vehicle, it cannot determine whether or not the vehicle can be parked at the parking area candidate from the current position of the vehicle. Therefore, it is necessary to determine whether or not parking is possible while actually reversing the vehicle from the current position.

本発明は、かかる問題を鑑みてなされたもので、現在位置からの駐車可否が判断できる駐車支援装置を提供することを目的とする。 The present invention has been made in view of such a problem, and an object of the present invention is to provide a parking assistance device that can determine whether parking is possible from the current position.

請求項１に記載の駐車支援装置は、車両の周辺を撮影する撮影手段と、撮影手段によって撮影された車両周辺の画像に基づいて、その鳥瞰図画像を生成する鳥瞰図画像生成手段と、車両が所定の舵角を保持しつつ移動した場合に到達すると予想される車両の到達予想位置を生成する到達予想位置生成手段と、鳥瞰図画像生成手段によって生成される鳥瞰図画像を画面に表示するとともに、鳥瞰図画像上における車両の位置と到達予想位置生成手段によって生成される車両の位置からの到達予想位置とを鳥瞰図画像に重ねて表示する表示制御手段とを備えることを特徴とする。 The parking assist device according to claim 1, an imaging unit that captures the periphery of the vehicle, a bird's-eye view image generation unit that generates a bird's-eye view image based on an image of the vehicle periphery captured by the imaging unit, The predicted arrival position generation means for generating the predicted arrival position of the vehicle that is expected to reach when the vehicle moves while maintaining the steering angle, and the bird's eye view image generated by the bird's eye view image generation means are displayed on the screen, and the bird's eye view image Display control means for displaying the above-mentioned position of the vehicle and the predicted arrival position from the position of the vehicle generated by the predicted arrival position generating means superimposed on the bird's eye view image is provided.

本発明は、車両の周辺を撮影した画像から生成した鳥瞰図画像上に車両の位置を重ねて表示すると、この表示から車両周辺の他車両等の障害物と自車両との位置関係が把握しやすいことに着目したもので、すなわち、鳥瞰図画像上における車両の位置と、その位置から所定の舵角を保持しつつ移動した場合に到達すると予想される到達予想位置とを鳥瞰図画像に重ねて表示する。これにより、車両のユーザは、鳥瞰図画像から確認できる障害物の位置と車両の到達予想位置との位置関係を把握することによって、現在位置からの駐車可否が判断できる。 In the present invention, when the position of a vehicle is displayed on a bird's eye view image generated from an image obtained by photographing the periphery of the vehicle, the positional relationship between an obstacle such as another vehicle around the vehicle and the host vehicle can be easily grasped from this display. In other words, the position of the vehicle on the bird's-eye view image and the predicted arrival position expected to be reached when moving from that position while maintaining a predetermined rudder angle are displayed superimposed on the bird's-eye view image. . Thereby, the user of the vehicle can determine whether or not parking is possible from the current position by grasping the positional relationship between the position of the obstacle that can be confirmed from the bird's-eye view image and the predicted arrival position of the vehicle.

請求項２に記載の駐車支援装置によれば、到達予想位置生成手段は、到達予想位置として、車両が最大舵角を保持しつつ移動した場合に到達すると予想される車両の到達予想位置を生成することを特徴とする。 According to the parking assist device of claim 2, the predicted arrival position generation means generates a predicted arrival position of the vehicle that is expected to arrive when the vehicle moves while maintaining the maximum steering angle as the predicted arrival position. It is characterized by doing.

例えば、車両が縦列駐車や並列駐車を行う場合、最小回転半径（車両のステアリングを最大舵角とした状態、以下、末切りした状態と呼ぶ）で車両を移動させることが最も効率的（車両が移動するスペースが最小）となる。従って、ステアリングを末切りした状態の到達予想位置を生成することで、最も効率的に車両を移動する場合の到達予想位置を車両のユーザに提供できる。 For example, when a vehicle performs parallel parking or parallel parking, it is most efficient to move the vehicle with a minimum turning radius (a state in which the steering of the vehicle is a maximum steering angle, hereinafter referred to as an end-cut state) (the vehicle is The space to move is minimal). Therefore, by generating the predicted arrival position with the steering wheel turned off, the predicted arrival position when the vehicle is moved most efficiently can be provided to the user of the vehicle.

請求項３に記載の駐車支援装置によれば、表示制御手段は、画面に表示すべき到達予想位置として、到達予想位置を示すための基準線を表示することを特徴とする。これにより、車両のユーザは、画面に表示される基準線から駐車可否の判断が行える。 According to the parking assist device of the third aspect, the display control means displays a reference line for indicating the predicted arrival position as the predicted arrival position to be displayed on the screen. Thereby, the user of the vehicle can determine whether or not parking is possible from the reference line displayed on the screen.

請求項４に記載の駐車支援装置によれば、表示制御手段は、画面に表示すべき到達予想位置として、到達予想位置を示すためのエリアを表示することを特徴とする。これにより、車両のユーザは、画面に表示されるエリアから駐車可否の判断が行える。 According to the parking support apparatus of the fourth aspect, the display control means displays an area for indicating the predicted arrival position as the predicted arrival position to be displayed on the screen. Thereby, the user of the vehicle can determine whether or not parking is possible from the area displayed on the screen.

請求項５に記載の駐車支援装置は、車両の舵角を検出する舵角検出手段を備え、到達予想位置生成手段は、舵角検出手段の検出する舵角に応じた車両の到達予想位置を算出する到達予想位置算出手段を備え、表示制御手段は、画面に表示すべき車両の到達予想位置として、車両が最大舵角を保持しつつ移動した場合の車両の最大舵角到達予想位置と、到達予想位置算出手段の算出する舵角検出手段の検出する舵角を保持しつつ移動した場合の車両の現在舵角到達予想位置とを表示することを特徴とする。 The parking assist device according to claim 5 includes steering angle detection means for detecting the steering angle of the vehicle, and the predicted arrival position generation means determines the predicted arrival position of the vehicle according to the steering angle detected by the steering angle detection means. An estimated arrival position calculation means for calculating, and the display control means, as the predicted arrival position of the vehicle to be displayed on the screen, the maximum predicted steering angle arrival position of the vehicle when the vehicle moves while maintaining the maximum steering angle; A predicted steering angle arrival position of the vehicle when moving while holding the steering angle detected by the steering angle detection means calculated by the predicted arrival position calculation means is characterized.

これにより、例えば、最大舵角到達位置だけでなく、現在舵角到達位置に他車両等の障害物が存在しない場合には、車両を駐車することのできるスペースが広く表示されるため、車両のユーザは、駐車可否の判断を更に容易になる。また、この場合、車両のユーザは、ステアリングを末切りすることなく、現在の舵角を保持しつつ後退することで現在舵角到達位置に駐車することができるため、ステアリング操作の負担軽減を図ることができる。 As a result, for example, when there are no obstacles such as other vehicles not only at the maximum steering angle arrival position but also at the current steering angle arrival position, a space in which the vehicle can be parked is widely displayed. The user can more easily determine whether to park. In this case, since the user of the vehicle can park at the current steering angle reaching position by moving backward while maintaining the current steering angle without turning off the steering, the burden of steering operation is reduced. be able to.

さらに、ステアリングの舵角を変更すれば、その変更に伴って現在舵角到達予想位置も変更して表示されることになるため、ステアリングの舵角を変更することによって、駐車しようとするスペースをユーザ自身が任意に決定できるようになる。 In addition, if the steering angle of the steering is changed, the current steering angle arrival expected position is also changed and displayed along with the change, so by changing the steering angle of the steering, the space to be parked is changed. The user can decide arbitrarily.

請求項６に記載の駐車支援装置によれば、到達予想位置生成手段は、到達予想位置として、車両が縦列駐車、及び並列駐車の少なくとも一方の駐車を行う場合の車両の到達予想位置を生成することを特徴とする。これにより、現在位置から縦列駐車や並列駐車を行う場合の駐車位置を生成することができる。 According to the parking assist device of the sixth aspect, the predicted arrival position generation means generates the predicted arrival position of the vehicle when the vehicle performs at least one of parallel parking and parallel parking as the predicted arrival position. It is characterized by that. Thereby, the parking position in the case of performing parallel parking or parallel parking from the current position can be generated.

請求項７に記載の駐車支援装置によれば、到達予想位置生成手段は、車両が縦列駐車を行う場合の車両の到達予想位置を生成する際、車両の移動中に車両のステアリングを反転すべきステアリング反転位置をさらに生成し、表示制御手段は、ステアリング反転位置を含む車両の到達予想位置を鳥瞰図画像に重ねて表示することを特徴とする。 According to the parking assist device of the seventh aspect, the predicted arrival position generating means should reverse the steering of the vehicle during the movement of the vehicle when generating the predicted arrival position of the vehicle when the vehicle performs parallel parking. A steering reversal position is further generated, and the display control means displays the predicted arrival position of the vehicle including the steering reversal position so as to overlap the bird's eye view image.

すなわち、並列駐車を行う場合は、並列駐車を開始する位置において左右何れかの方向へステアリングを一度末切りし、そのステアリングの状態を保持しながら車両の前後方向が到達予想位置の長手方向と並行になるまで後退させ、その後、ステアリングを中立位置にして後退するといった手順を経ることになるが、縦列駐車では、後退途中でステアリングを反対方向へ末切りする手順が必要となる。 In other words, when performing parallel parking, the steering is turned off once in the left or right direction at the position where the parallel parking is started, and the longitudinal direction of the vehicle is parallel to the longitudinal direction of the predicted arrival position while maintaining the steering state. However, in parallel parking, a procedure for turning off the steering in the opposite direction during the reverse is necessary.

そこで、後退途中でステアリングを反対方向へ末切りすべき位置（ステアリング反転位置）を含む車両の到達予想位置を表示する。これにより、車両のユーザは、縦列駐車を行う場合、ステアリングを反転すべき位置を把握することができる。 Therefore, the predicted arrival position of the vehicle including the position (steer reversal position) where the steering should end in the opposite direction during the reverse is displayed. Thereby, the user of a vehicle can grasp | ascertain the position which should reverse steering, when performing parallel parking.

請求項８に記載の駐車支援装置は、車両における駐車操作の開始を検出する駐車開始検出手段を備え、表示制御手段は、駐車開始検出手段が駐車操作の開始を検出した場合に画面への表示を開始することを特徴とする。例えば、車両のユーザによる、到達予想位置を画面に表示するための指示を出す指示操作や車両の変速位置が後退位置に変更された操作等を検出することで、画面への表示を開始させることができる。 The parking assist device according to claim 8 includes parking start detection means for detecting the start of the parking operation in the vehicle, and the display control means displays on the screen when the parking start detection means detects the start of the parking operation. It is characterized by starting. For example, display on the screen is started by detecting an instruction operation by the user of the vehicle to issue an instruction to display the predicted arrival position on the screen or an operation in which the shift position of the vehicle is changed to the reverse position. Can do.

請求項９に記載の駐車支援装置は、駐車開始検出手段が駐車操作の開始を検出した場合、画面上における車両の位置、車両の到達予想位置、及び鳥瞰図画像の各々の位置関係を記憶する記憶手段を備えることを特徴とする。これにより、駐車装置開始時点での車両の位置、到達予想位置、及び鳥瞰図画像の各々位置関係を記憶することができる。 The parking assist device according to claim 9, wherein when the parking start detection unit detects the start of the parking operation, the storage that stores the positional relationship between the position of the vehicle on the screen, the predicted arrival position of the vehicle, and the bird's eye view image Means are provided. Thereby, each positional relationship of the position of the vehicle at the time of starting the parking apparatus, the predicted arrival position, and the bird's-eye view image can be stored.

請求項１０に記載の駐車支援装置によれば、表示制御手段は、車両の位置を記憶手段の記憶する画面上の位置に固定して表示し、車両の移動状態を検出する移動状態検出手段と、移動状態検出手段の検出結果に基づいて、画面に表示すべき鳥瞰図画像、及び車両の到達予想位置に対し、固定して表示される車両の表示位置を基準として相対的に移動した鳥瞰図画像、及び到達予想位置に変換する変換手段とを備え、表示制御手段は、変換手段によって変換された鳥瞰図画像、及び到達予想位置を車両の表示位置と対応付けて表示することを特徴とする。 According to the parking assist device of the tenth aspect, the display control means fixes and displays the position of the vehicle at the position on the screen stored in the storage means, and the movement state detection means detects the movement state of the vehicle. The bird's-eye view image to be displayed on the screen based on the detection result of the moving state detection means, and the bird's-eye view image moved relatively with respect to the vehicle's predicted arrival position as a reference, And a conversion means for converting the predicted arrival position, and the display control means displays the bird's eye view image converted by the conversion means and the predicted arrival position in association with the display position of the vehicle.

これにより、画面上において固定して表示される車両の位置に対して、鳥瞰図画像や予想到達位置を車両の移動に伴って移動／回転する表示にすることができる。その結果、車両の位置、鳥瞰図画像上に映し出される他車両等の障害物、及び到達予想位置の各々の位置関係を現実と同じ位置関係で表示することができる。 Thereby, it is possible to display the bird's eye view image and the predicted arrival position with respect to the position of the vehicle fixedly displayed on the screen so as to move / rotate as the vehicle moves. As a result, the positional relationship between the position of the vehicle, the obstacle such as another vehicle displayed on the bird's-eye view image, and the predicted arrival position can be displayed in the same positional relationship as in reality.

請求項１１に記載の駐車支援装置によれば、表示制御手段は、車両の位置、及び車両の到達予想位置を記憶手段の記憶する画面上の位置に固定して表示し、車両の移動状態を検出する移動状態検出手段と、移動状態検出手段の検出結果に基づいて、画面に表示すべき鳥瞰図画像に対し、固定して表示される車両の表示位置を基準として相対的に移動した鳥瞰図画像に変換する変換手段とを備え、表示制御手段は、変換手段によって変換された鳥瞰図画像を車両の表示位置と対応付けて表示することを特徴とする。 According to the parking assist device of the eleventh aspect, the display control means fixes and displays the position of the vehicle and the predicted arrival position of the vehicle at the position on the screen stored in the storage means, and indicates the movement state of the vehicle. Based on the detection result of the movement state detection means to be detected and the movement state detection means, the bird's eye view image moved relative to the bird's eye view image to be displayed on the screen relative to the display position of the vehicle that is fixedly displayed Conversion means for converting, and the display control means displays the bird's eye view image converted by the conversion means in association with the display position of the vehicle.

これにより、画面上において固定して表示される車両の位置に対して、鳥瞰図画像を車両の移動に伴って移動／回転して表示することができる。なお、このように鳥瞰図画像のみを車両の移動に伴った表示とする場合、画面に表示される鳥瞰図画像と到達予想位置との位置関係が現実の位置関係と整合しなくなる。 As a result, the bird's eye view image can be moved / rotated with the movement of the vehicle and displayed with respect to the position of the vehicle fixedly displayed on the screen. When only the bird's eye view image is displayed as the vehicle moves in this manner, the positional relationship between the bird's eye view image displayed on the screen and the predicted arrival position is not consistent with the actual positional relationship.

従って、例えば、請求１２に記載のように、表示制御手段は、駐車開始検出手段が駐車操作の開始を検出し、その後、移動状態検出手段が車両の動き出しを検出した場合には、画面上に表示される車両の到達予想位置の表示を消去することで、鳥瞰図画像との位置関係が整合しない到達予想位置を表示しないようにすることができる。 Therefore, for example, as described in claim 12, when the parking start detection unit detects the start of the parking operation and then the movement state detection unit detects the start of movement of the vehicle, the display control unit displays on the screen. By erasing the display of the predicted arrival position of the displayed vehicle, it is possible to prevent the predicted arrival position whose positional relationship with the bird's eye view image does not match from being displayed.

請求項１３に記載の駐車支援装置によれば、表示制御手段は、鳥瞰図画像、及び車両の到達予想位置を記憶手段の記憶する画面上の位置に固定して表示し、車両の移動状態を検出する移動状態検出手段と、移動状態検出手段の検出結果に基づいて、画面に表示すべき車両の位置を、固定して表示される鳥瞰図画像、及び車両の到達予想位置の少なくとも何れか１つの表示位置を基準として相対的に移動した位置に変換する変換手段とを備え、表示制御手段は、変換手段によって変換された車両の位置を鳥瞰図画像、及び車両の到達予想位置の表示位置と対応付けて表示することを特徴とする。これにより、画面上で固定された鳥瞰図画像や到達予想位置に対して車両の位置がその移動に伴って移動／回転して表示されるようになる。 According to the parking assist device of the thirteenth aspect, the display control means fixes the bird's eye view image and the predicted arrival position of the vehicle to the position on the screen stored in the storage means, and detects the moving state of the vehicle. And at least one of a bird's-eye view image and a predicted arrival position of the vehicle that are fixedly displayed on the screen based on the detection result of the movement state detection unit. Conversion means for converting to a position moved relative to the position, and the display control means associates the position of the vehicle converted by the conversion means with the bird's eye view image and the display position of the predicted arrival position of the vehicle. It is characterized by displaying. As a result, the position of the vehicle moves / rotates with respect to the bird's-eye view image fixed on the screen and the predicted arrival position, and is displayed.

請求項１４に記載の駐車支援装置は、車両周辺の物体を検出する物体検出手段を備え、表示制御手段は、物体検出手段によって検出された物体の位置を鳥瞰図画像にさらに重ねて表示することを特徴とする。 The parking assist device according to claim 14 includes object detection means for detecting an object around the vehicle, and the display control means displays the position of the object detected by the object detection means on the bird's eye view image in a further superimposed manner. Features.

例えば、車両周辺を撮影する撮影手段によって撮影された画像が不鮮明な（例えば、暗い場所での撮影や、レンズに付着する雨滴や汚れ等が原因で不鮮明となる）場合、その鳥瞰図画像も不鮮明な画像となる。そのため、このような不鮮明な鳥瞰図画像を表示しても、車両のユーザは、鳥瞰図画像から車両周辺の障害物が認識し難くなる。そこで、物体検出手段によって検出された物体の位置を鳥瞰図画像に重ねて表示することで、鳥瞰図画像が不鮮明であっても、障害物の位置を把握することができる。 For example, when the image taken by the photographing means for photographing the periphery of the vehicle is unclear (for example, unclear due to shooting in a dark place or raindrops or dirt adhering to the lens), the bird's eye view image is also unclear. It becomes an image. Therefore, even if such a blurred bird's-eye view image is displayed, it becomes difficult for the user of the vehicle to recognize obstacles around the vehicle from the bird's-eye view image. Therefore, by displaying the position of the object detected by the object detection unit superimposed on the bird's eye view image, the position of the obstacle can be grasped even if the bird's eye view image is unclear.

以下、本発明の駐車支援装置について、図面に基づいて説明する。なお、本発明の駐車支援装置は、自動車等の車両に搭載されるものである。 Hereinafter, the parking assistance apparatus of this invention is demonstrated based on drawing. In addition, the parking assistance apparatus of this invention is mounted in vehicles, such as a motor vehicle.

（第１の実施形態）
図１に、本実施形態における駐車支援装置の構成を示す。同図に示すように、本実施形態の駐車支援装置１００は、自車両１０の後部に配置され、自車両１０の周辺を撮影するＣＣＤカメラ等のカメラ１、自車両１０のダッシュボードに配置され、液晶ディスプレイ等の画面を備える表示器３、各種入力操作に用いられる操作スイッチ４、自車両１０の移動距離や速度を検出するための車速センサ５、自車両１０の変速位置を検出する変速位置検出器６、自車両１０のステアリングの操舵角度を検出するための舵角センサ７、自車両１０の周辺に存在する障害物を検出する測距センサ８、及び、カメラ１によって撮影された画像に対して所定の画像処理を行う処理ユニット９を備えている。 (First embodiment)
In FIG. 1, the structure of the parking assistance apparatus in this embodiment is shown. As shown in the figure, the parking assist device 100 of the present embodiment is disposed at the rear of the host vehicle 10, and is disposed on the camera 1 such as a CCD camera that captures the periphery of the host vehicle 10 and the dashboard of the host vehicle 10. , A display 3 having a screen such as a liquid crystal display, an operation switch 4 used for various input operations, a vehicle speed sensor 5 for detecting the moving distance and speed of the host vehicle 10, and a shift position for detecting the shift position of the host vehicle 10 A detector 6, a steering angle sensor 7 for detecting the steering angle of the steering of the host vehicle 10, a distance measuring sensor 8 for detecting an obstacle existing around the host vehicle 10, and an image taken by the camera 1 A processing unit 9 for performing predetermined image processing is provided.

図２は、処理ユニット９の内部構成を示すブロック図である。処理ユニット９は、ＲＯＭ、ＲＡＭ、バス等を備えるマイクロコンピュータとして主に構成されるもので、同図に示すように、カメラ１によって撮影された自車両１０の周辺の画像に対して座標変換を行って、自車両１０の上空から撮影した画像に相当する鳥瞰図画像を生成する鳥瞰図変換部９ａ、操作スイッチ４、車速センサ５、変速位置検出器６、舵角センサ７、測距センサ８等からの出力信号を入力する入力部９ｂ、表示器３に対して画面に表示すべき画像の画像データを出力する出力部９ｃ、画像データを記憶する画像記憶部９ｄ、各種演算処理を行うＣＰＵ９ｅ、及び、自車両１０が縦列駐車や並列駐車を行う場合に用いられる駐車基準線情報を記憶する外部記憶部９ｆを備えている。 FIG. 2 is a block diagram showing the internal configuration of the processing unit 9. The processing unit 9 is mainly configured as a microcomputer including a ROM, a RAM, a bus, and the like. As shown in the figure, the processing unit 9 performs coordinate conversion on an image around the host vehicle 10 taken by the camera 1. And a bird's eye view conversion unit 9a that generates a bird's eye view image corresponding to an image taken from above the host vehicle 10, the operation switch 4, the vehicle speed sensor 5, the shift position detector 6, the steering angle sensor 7, the distance measuring sensor 8, and the like. An output unit 9b for inputting the output signal, an output unit 9c for outputting image data of an image to be displayed on the screen to the display 3, an image storage unit 9d for storing the image data, a CPU 9e for performing various arithmetic processes, and An external storage unit 9f that stores parking reference line information used when the host vehicle 10 performs parallel parking or parallel parking is provided.

ここで、外部記憶部９ｆの記憶する駐車基準線情報について説明する。先ず、駐車基準線とは、自車両１０のステアリングを末切りした状態を保持しつつ現在位置から後退して縦列駐車や並列駐車を行う場合に、自車両１０が到達すると予想される到達予想位置を示すものである。 Here, the parking reference line information stored in the external storage unit 9f will be described. First, the parking reference line is a predicted arrival position that the host vehicle 10 is expected to reach when the vehicle 10 is retracted from the current position while performing parallel parking or parallel parking while maintaining the state where the steering of the host vehicle 10 is cut off. Is shown.

例えば、図３に示す縦／並列駐車基準線ＡＲ・ＡＬ、及び縦列駐車基準線ＣＲ・ＣＬは、自車両１０の位置から縦列駐車する場合に、自車両１０のステアリングを末切りした状態を保持しつつ後退して到達すると予想される到達予想位置を示す駐車基準線であり、また、縦／並列駐車基準線ＡＲ・ＡＬ、及び並列駐車基準線ＢＲ・ＢＬは、自車両１０の位置から並列駐車する場合に、自車両１０のステアリングを末切りした状態を保持しつつ後退して到達すると予想される到達予想位置を示す駐車基準線である。 For example, the vertical / parallel parking reference lines AR and AL and the parallel parking reference lines CR and CL shown in FIG. 3 maintain the state in which the steering of the host vehicle 10 is cut off when the host vehicle 10 is parked in parallel. It is a parking reference line that indicates an expected arrival position that is expected to reach while moving backward, and the vertical / parallel parking reference line AR · AL and the parallel parking reference line BR · BL are arranged in parallel from the position of the host vehicle 10. When parking, it is a parking reference line which shows the predicted arrival position which is expected to move backward while maintaining the state where the steering of the host vehicle 10 is cut off.

これら各駐車基準線は、上述したように、自車両１０のステアリングを末切りした状態を保持しつつ後退した場合の自車両１０の軌跡から決定される。つまり、縦列駐車や並列駐車を行う場合、最小回転半径（車両のステアリングを末切りした状態）で車両を移動させることが最も効率的（車両が移動するスペースが最小）となる。従って、ステアリングを末切りした状態の到達予想位置を決定することで、最も効率的に車両を移動する場合の到達予想位置とすることができる。なお、各駐車基準線には、所定量のマージン（例えば、５０ｃｍ程度）を設けて最終的な各駐車基準線を決定する。 As described above, each of these parking reference lines is determined from the trajectory of the host vehicle 10 when the host vehicle 10 moves backward while maintaining the state where the steering of the host vehicle 10 is cut off. In other words, when performing parallel parking or parallel parking, it is most efficient (the space in which the vehicle moves is minimum) to move the vehicle with the minimum turning radius (the state where the steering of the vehicle is cut off). Therefore, by determining the predicted arrival position with the steering wheel turned off, it is possible to obtain the predicted arrival position when the vehicle is moved most efficiently. Each parking reference line is provided with a predetermined amount of margin (for example, about 50 cm) to determine the final parking reference line.

上記各駐車基準線の算出方法については、例えば、アッカーマン・ジャントー式等、車両の操舵方式が決定すれば自車両１０の軌跡が算出され、この軌跡から各駐車基準線を決定することができるため、その説明は省略する。なお、外部記憶部９ｆには、図３に示すように、例えば、自車両１０の後輪軸上の車幅中心を原点ＯとするＸ−Ｙ座標系における各駐車基準線の端点座標が駐車基準線情報として記憶され、さらに、自車両１０の位置座標（右前、左前、右後、及び左後の各々の端部座標）が記憶される。 Regarding the calculation method of each parking reference line, for example, if the vehicle steering method is determined, such as the Ackerman-Jantho method, the trajectory of the host vehicle 10 is calculated, and each parking reference line can be determined from this trajectory. The description is omitted. In the external storage unit 9f, as shown in FIG. 3, for example, the end point coordinates of each parking reference line in the XY coordinate system with the origin O as the vehicle width center on the rear wheel axis of the host vehicle 10 are the parking reference. It is stored as line information, and further, the position coordinates of the host vehicle 10 (right end, left front, right rear, and left rear end coordinates) are stored.

処理ユニット９は、カメラ１によって撮影された自車両１０の周辺の画像に対して座標変換を行って、その鳥瞰図画像を生成し、この生成した鳥瞰図画像に自車両１０の位置と上述した各駐車基準線とを重ねて表示器３の画面に表示させる画像処理を実行する。 The processing unit 9 performs coordinate conversion on an image around the host vehicle 10 photographed by the camera 1 to generate a bird's-eye view image. The generated bird's-eye view image includes the position of the host vehicle 10 and each of the parking areas described above. Image processing is performed in which the reference line is displayed on the screen of the display unit 3 so as to overlap the reference line.

例えば、自車両１０とその周辺に存在する他車両とが図４（ａ）に示す位置関係にある場合に、自車両１０の後部に搭載されるカメラ１によって撮影された画像から生成した鳥瞰図画像の一例を図４（ｂ）に示す。 For example, the bird's-eye view image generated from the image photographed by the camera 1 mounted on the rear portion of the host vehicle 10 when the host vehicle 10 and other vehicles existing around the host vehicle 10 are in the positional relationship shown in FIG. An example of this is shown in FIG.

同図（ｂ）に示すように、カメラ１で撮影した画像を鳥瞰図画像に変換をすると、自車両１０の周辺の他車両は地面に倒れたように表示されるが、この鳥瞰図画像上の自車両１０の位置から後退して縦列駐車や並列駐車をする場合に到達すると予想される到達予想位置を示す各駐車基準線（ＡＬ、ＢＬ、ＣＬ、ＡＲ、ＢＲ、ＣＲ）を鳥瞰図画像に重ねて表示する。 As shown in FIG. 4B, when the image captured by the camera 1 is converted into a bird's eye view image, other vehicles around the host vehicle 10 are displayed as if they have fallen to the ground. Each parking reference line (AL, BL, CL, AR, BR, CR) indicating an expected arrival position that is expected to be reached when reversing from the position of the vehicle 10 and performing parallel parking or parallel parking is superimposed on the bird's eye view image. indicate.

これにより、鳥瞰図画像から認識できる障害物としての他車両が各駐車基準線で囲まれたエリア内に入っていなければ、ユーザは、自車両１０の位置より縦列／並列駐車が可能であると判断することができる。このように、鳥瞰図画像に各駐車基準線を重ねて表示することにより、自車両１０の位置から縦列／並列駐車が可能であるか否かを容易に判断することができる。 As a result, if the other vehicle as an obstacle that can be recognized from the bird's-eye view image is not within the area surrounded by the parking reference lines, the user determines that tandem / parallel parking is possible from the position of the own vehicle 10. can do. Thus, by displaying each parking reference line so as to overlap the bird's-eye view image, it is possible to easily determine from the position of the host vehicle 10 whether tandem / parallel parking is possible.

なお、各駐車基準線の表示については、例えば、図５（ａ）に示すように、「コ」の字型の縦列／並列駐車基準線（ＥＬ、ＥＲ、ＤＬ、ＤＲ）を示す線分表示や、図５（ｂ）に示すような長方形のエリアを示す線分表示等を採用することで、自車両１０のユーザに対して駐車可能なエリアを分かり易く表示することができる。 As for the display of each parking reference line, for example, as shown in FIG. 5 (a), a line segment display indicating a "U" -shaped column / parallel parking reference line (EL, ER, DL, DR). In addition, by adopting a line segment display or the like indicating a rectangular area as shown in FIG. 5B, it is possible to easily display an area where parking is possible for the user of the host vehicle 10.

次に、本実施形態の画像処理について、図９〜図１１に示すフローチャートを用いて説明する。先ず、図９に示すステップ（以下、Ｓと記す）１０では、車速センサ５からの検出信号に基づいて自車両１０の車速データを取得する。Ｓ２０では、舵角センサ７からの検出信号に基づいて、自車両１０のステアリングの舵角データを取得する。 Next, the image processing of the present embodiment will be described using the flowcharts shown in FIGS. First, in step (hereinafter referred to as S) 10 shown in FIG. 9, vehicle speed data of the host vehicle 10 is acquired based on a detection signal from the vehicle speed sensor 5. In S20, the steering angle data of the steering of the host vehicle 10 is acquired based on the detection signal from the steering angle sensor 7.

Ｓ３０では、自車両１０の車速が時速１０キロ未満であるか否かを判定する。ここで、肯定判定される場合にはＳ４０へ処理を進め、否定判定される場合にはＳ１０へ処理を移行し、上述した処理を繰り返す。なお、このＳ３０の処理における判定条件は、自車両１０が駐車動作の準備段階に入ると想定される条件として設定するものであり、これ以外の駐車動作の準備段階に入ると想定される条件を判定条件として設定してもよい。 In S30, it is determined whether or not the vehicle speed of the host vehicle 10 is less than 10 km / h. If the determination is affirmative, the process proceeds to S40. If the determination is negative, the process proceeds to S10, and the above-described process is repeated. Note that the determination condition in the process of S30 is set as a condition that the host vehicle 10 is assumed to enter the preparation stage of the parking operation, and other conditions that are assumed to enter the preparation stage of the parking operation other than this. It may be set as a determination condition.

Ｓ４０では、車速センサ５、及び舵角センサ７の検出信号を用いて、例えば、図６に示すように、時刻Ｔから時刻Ｔ＋１になるまでの自車両１０の移動距離と方向を示す移動ベクトルＶを計算する。なお、自車両１０の移動ベクトルＶは、車速センサ５の検出信号から移動ベクトルの長さ（すなわち、時刻Ｔにおける原点Ｏから時刻Ｔ＋１における原点Ｏまでの距離）を求め、舵角センサ７の検出信号から移動ベクトルの方向（すなわち、時刻Ｔにおける自車両１０の進行方向［Ｙ軸方向］に対する、原点Ｏを中心とする自車両１０の鉛直方向回りの回転角度）を求める。 In S40, using the detection signals of the vehicle speed sensor 5 and the steering angle sensor 7, for example, as shown in FIG. 6, a movement vector V indicating the movement distance and direction of the host vehicle 10 from time T to time T + 1. Calculate For the movement vector V of the host vehicle 10, the length of the movement vector (that is, the distance from the origin O at time T to the origin O at time T + 1) is obtained from the detection signal of the vehicle speed sensor 5 and detected by the steering angle sensor 7. From the signal, the direction of the movement vector (that is, the rotation angle around the vertical direction of the host vehicle 10 around the origin O with respect to the traveling direction [Y-axis direction] of the host vehicle 10 at time T) is obtained.

Ｓ５０では、カメラ１によって撮影された自車両１０の周辺の画像を取得する。Ｓ６０では、Ｓ５０にて取得した画像を鳥瞰図画像に変換する。この鳥瞰図画像に変換する変換方法については、従来技術（例えば、特開平１０−２１１８４９号公報）を利用することができる。そのため、この変換方法についての詳しい説明は省略するが、具体的には、図７に示すように、自車両１０に搭載されるカメラ１がＺ軸上の点Ｒ（０、０、Ｈ）から見下ろし角度thetaで地上面（Ｘ−Ｙ座標面）における画像を撮影している場合、点Ｒから焦点距離ｆにあるスクリーン平面Ｔに投影される画像の２次元座標を地上面上の座標に変換（逆の透視変換）するものである。 In S50, an image around the own vehicle 10 photographed by the camera 1 is acquired. In S60, the image acquired in S50 is converted into a bird's eye view image. A conventional technique (for example, Japanese Patent Application Laid-Open No. 10-211849) can be used for the conversion method for converting into a bird's eye view image. Therefore, a detailed description of this conversion method is omitted, but specifically, as shown in FIG. 7, the camera 1 mounted on the host vehicle 10 starts from a point R (0, 0, H) on the Z axis. When an image on the ground surface (XY coordinate plane) is taken at a look-down angle theta, the two-dimensional coordinates of the image projected from the point R onto the screen plane T at the focal distance f are converted into coordinates on the ground surface. (Reverse perspective transformation).

Ｓ７０では、画像記憶部９ｄに記憶されている前回変換した鳥瞰図画像を読み込む。なお、本処理の実行が初回である場合には、Ｓ７０において鳥瞰図画像の読み込みを実行せずにＳ１０に処理を移行する。Ｓ８０では、Ｓ７０にて読み込んだ前回変換した鳥瞰図画像とＳ５０にて変換した現在の鳥瞰図画像とを結合して、１つの鳥瞰図画像を生成する。 In S70, the previously converted bird's eye view image stored in the image storage unit 9d is read. If this process is the first time, the process proceeds to S10 without reading the bird's eye view image in S70. In S80, the previously converted bird's eye view image read in S70 and the current bird's eye view image converted in S50 are combined to generate one bird's eye view image.

なお、Ｓ８０にて画像を結合する際には、Ｓ４０にて計算した自車両１０の移動ベクトルＶに基づいて、前回変換した鳥瞰図画像（時間Ｔ）を現在（時間Ｔ＋１）の鳥瞰図画像との位置関係が対応するように移動／回転させた上で結合する。 When images are combined in S80, based on the movement vector V of the host vehicle 10 calculated in S40, the previously converted bird's-eye view image (time T) is the position of the current (time T + 1) bird's-eye view image. Move / rotate so that the relations correspond to each other and join.

Ｓ９０では、Ｓ８０にて結合した鳥瞰図画像を画像記憶部９ｄに記憶する。Ｓ１００では、自車両１０の変速位置が「後退」位置に選択されたか否かを判定する。ここで、肯定判定される場合にはＳ１１０に処理を進め、否定判定される場合にはＳ１０へ処理を移行し、上述した処理を繰り返す。 In S90, the bird's eye view image combined in S80 is stored in the image storage unit 9d. In S100, it is determined whether or not the shift position of the host vehicle 10 is selected as the “reverse” position. If the determination is affirmative, the process proceeds to S110. If the determination is negative, the process proceeds to S10, and the above-described process is repeated.

続いて、Ｓ１１０における表示処理について、図１０〜図１１に示すフローチャートを用いて説明する。先ず、図１０に示すＳ２１０〜Ｓ２８０は、図９に示したＳ１０〜Ｓ２０、及びＳ４０〜９０の処理を同じ処理であるため、その説明を省略する。Ｓ２９０では、Ｓ２８０にて記憶した鳥瞰図画像を読み込み、この鳥瞰図画像に対して、表示器３の画面上において固定して表示する自車両１０の位置を基準として相対的に移動した画像に変換する。なお、この固定して表示する自車両１０の位置は、Ｓ１００において、自車両１０の変速位置が「後退」位置に選択された場合の画面上における位置である。 Next, the display process in S110 will be described using the flowcharts shown in FIGS. First, S210 to S280 shown in FIG. 10 are the same processes as S10 to S20 and S40 to 90 shown in FIG. In S290, the bird's-eye view image stored in S280 is read, and the bird's-eye view image is converted into an image that is relatively moved with reference to the position of the host vehicle 10 that is fixedly displayed on the screen of the display 3. The position of the host vehicle 10 displayed in a fixed manner is the position on the screen when the shift position of the host vehicle 10 is selected as the “reverse” position in S100.

図８（ａ）は、自車両１０の変速位置が「後退」位置に選択されたときの鳥瞰図画像に自車両１０の位置と各駐車基準線を重ねて表示したイメージ図であるが、Ｓ２９０では、例えば、同図（ａ）の自車両１０の表示位置を固定し、上述した移動ベクトルＶに基づいて、鳥瞰図画像のみを自車両１０の位置を基準として相対的に移動した画像に変換する。例えば、自車両１０が図８（ａ）の位置から左後方に移動／回転した場合には、図８（ｂ）に示すように、他車両を映し出す鳥瞰図画像のみを自車両１０の移動／回転に応じた画像に変換する。 FIG. 8A is an image diagram in which the position of the host vehicle 10 and each parking reference line are superimposed and displayed on the bird's-eye view image when the shift position of the host vehicle 10 is selected as the “reverse” position. For example, the display position of the host vehicle 10 in FIG. 10A is fixed, and only the bird's eye view image is converted into an image relatively moved with reference to the position of the host vehicle 10 based on the movement vector V described above. For example, when the host vehicle 10 moves / rotates leftward and rearward from the position shown in FIG. 8A, only the bird's eye view image showing another vehicle is moved / rotated as shown in FIG. 8B. Convert to an image according to.

Ｓ３００では、Ｓ２９０にて自車両１０の移動／回転に応じて変換した鳥瞰図画像に自車両１０の位置を示すイメージ画像、及び各駐車基準線を、上記Ｓ２９０にて鳥瞰図画像を変換する際に基準とした自車両１０の表示位置との位置関係が合致する位置に結合する。これにより、図８（ｂ）に示した結合画像が最終的に生成される。 In S300, the image image indicating the position of the host vehicle 10 and the parking reference line in the bird's-eye view image converted according to the movement / rotation of the host vehicle 10 in S290 are used as a reference when the bird's-eye view image is converted in S290. The vehicle 10 is coupled to a position where the positional relationship with the display position of the host vehicle 10 matches. Thereby, the combined image shown in FIG. 8B is finally generated.

図１１に示すＳ３１０では、Ｓ３００にて生成した結合画像を表示器３の画面に表示する。これにより、表示器３の画面には、自車両１０の位置が画面上で固定され、障害物を映し出す鳥瞰図画像が自車両１０の表示位置を基準として動く（回転する）ように表示される。Ｓ３２０では、自車両１０の変速位置が「後退」位置に選択されたか否かを判定する。ここで、肯定判定される場合にはＳ２１０に処理を進め、否定判定される場合にはＳ１０へ処理を移行し、上述した処理を繰り返す。 In S310 illustrated in FIG. 11, the combined image generated in S300 is displayed on the screen of the display 3. As a result, the position of the host vehicle 10 is fixed on the screen of the display device 3 and a bird's eye view image showing an obstacle is displayed so as to move (rotate) with reference to the display position of the host vehicle 10. In S320, it is determined whether or not the shift position of the host vehicle 10 is selected as the “reverse” position. If the determination is affirmative, the process proceeds to S210. If the determination is negative, the process proceeds to S10, and the above-described process is repeated.

このように、本実施形態における駐車支援装置１００は、カメラ１によって撮影された自車両１０の周辺の画像に対して座標変換を行って、その鳥瞰図画像を生成し、この生成した鳥瞰図画像に自車両１０の位置とその位置からステアリングを末切り状態を保持しつつ縦列／並列駐車する場合に到達すると予想される到達予想位置を示す各駐車基準線とを重ねて表示する。これにより、自車両１０のユーザは、鳥瞰図画像から確認できる障害物の位置と各駐車基準線との位置関係を確認することによって、現在位置からの駐車可否を容易に判断することができる。 As described above, the parking assistance device 100 according to the present embodiment performs coordinate conversion on the image around the host vehicle 10 photographed by the camera 1 to generate the bird's-eye view image, The position of the vehicle 10 and each parking reference line indicating the predicted arrival position that is expected to be reached in the case of parallel / parallel parking while maintaining the steering end state from the position are displayed in an overlapping manner. Thereby, the user of the host vehicle 10 can easily determine whether or not parking is possible from the current position by confirming the positional relationship between the position of the obstacle that can be confirmed from the bird's-eye view image and each parking reference line.

（変形例１）
本実施形態では、図８（ｂ）に示すように、表示器３の画面上において固定して表示される自車両１０の位置に対して、鳥瞰図画像のみを自車両１０の移動に伴って移動／回転して表示するため、画面に表示される鳥瞰図画像と各駐車基準線との位置関係が現実の位置関係と整合しなくなる。そのため、例えば、自車両１０の変速位置が「後退」位置に選択され、その後、自車両１０が動き出した場合には、画面上の各駐車基準線の表示を消去することが望ましい。これにより、鳥瞰図画像との位置関係が整合しない各駐車基準線を表示しないようにすることができる。 (Modification 1)
In the present embodiment, as shown in FIG. 8B, only the bird's eye view image moves with the movement of the host vehicle 10 with respect to the position of the host vehicle 10 that is fixedly displayed on the screen of the display 3. / Since the image is rotated and displayed, the positional relationship between the bird's-eye view image displayed on the screen and each parking reference line does not match the actual positional relationship. Therefore, for example, when the shift position of the host vehicle 10 is selected as the “reverse” position and then the host vehicle 10 starts moving, it is desirable to delete the display of each parking reference line on the screen. Thereby, it is possible not to display each parking reference line whose positional relationship with the bird's eye view image does not match.

（変形例２）
本実施形態では、上記変形例１にて説明したように鳥瞰図画像のみを自車両１０の移動に伴って移動／回転して表示するものであるが、本変形例では、表示器３の画面上において固定して表示される自車両１０の位置に対して、鳥瞰図画像とともに各駐車基準線を自車両１０の移動に伴って移動／回転して表示する。この本変形例における表示処理について、図１４に示すフローチャートを用いて説明する。なお、同図のＳ２１０〜Ｓ２８０までの処理は、第１の実施形態と同様であるため、その説明を省略する。 (Modification 2)
In the present embodiment, as described in the first modification, only the bird's eye view image is displayed by moving / rotating with the movement of the host vehicle 10, but in the present modification, the screen of the display 3 is displayed. The parking reference line is moved / rotated with the movement of the host vehicle 10 and displayed together with the bird's-eye view image with respect to the position of the host vehicle 10 that is fixedly displayed in FIG. Display processing in this modification will be described with reference to the flowchart shown in FIG. Note that the processing from S210 to S280 in the figure is the same as that in the first embodiment, and thus the description thereof is omitted.

図１４に示すＳ２８５ａでは、Ｓ２８０にて記憶した鳥瞰図画像を読み込み、この鳥瞰図画像に各駐車基準線を結合する。なお、各駐車基準線を鳥瞰図画像に結合する際、鳥瞰図画像上における自車両１０の位置を基準として結合する。Ｓ２９０ａでは、Ｓ２８５ａにおいて生成した結合画像に対し、上述した移動ベクトルＶに基づいて、表示器３の画面上において固定して表示する自車両１０の位置を基準として相対的に移動した画像に変換する。なお、この固定して表示する自車両１０の位置は、Ｓ１００において、自車両１０の変速位置が「後退」位置に選択された場合の画面上における位置である。 In S285a shown in FIG. 14, the bird's-eye view image stored in S280 is read, and each parking reference line is combined with this bird's-eye view image. In addition, when combining each parking reference line with a bird's-eye view image, it couple | bonds on the basis of the position of the own vehicle 10 on a bird's-eye view image. In S290a, the combined image generated in S285a is converted into an image that is relatively moved based on the position of the host vehicle 10 that is fixedly displayed on the screen of the display 3 based on the movement vector V described above. . The position of the host vehicle 10 displayed in a fixed manner is the position on the screen when the shift position of the host vehicle 10 is selected as the “reverse” position in S100.

Ｓ３００では、Ｓ２９０ａにて変換した結合画像に自車両１０の位置を示すイメージ画像を、上記Ｓ２９０ａにて結合画像を変換した際に基準とした自車両１０の表示位置との位置関係が合致する位置に結合する。これにより、例えば、表示器３の画面には、図１２に示すように、自車両１０の位置が画面上で固定され、鳥瞰図画像とともに各駐車基準線が自車両１０の表示位置を基準として動く（回転する）ように表示される。その結果、自車両１０のユーザは、自車両１０と障害物としての他車両との位置関係をより把握し易くなる。 In S300, the position where the positional relationship of the image image indicating the position of the host vehicle 10 with the combined image converted in S290a matches the display position of the host vehicle 10 used as the reference when the combined image is converted in S290a. To join. Thereby, for example, as shown in FIG. 12, the position of the own vehicle 10 is fixed on the screen on the screen of the display 3, and each parking reference line moves with reference to the display position of the own vehicle 10 together with the bird's-eye view image. (Rotate) is displayed. As a result, the user of the host vehicle 10 can more easily understand the positional relationship between the host vehicle 10 and another vehicle as an obstacle.

（変形例３）
上記変形例１、及び変形例２は、表示器３の画面に固定して表示される自車両１０の位置を基準として、鳥瞰図画像や各駐車基準線を自車両１０の移動に伴って動く（回転する）ように表示するものであるが、これとは逆に、画面において鳥瞰図画像や各駐車基準線を固定して表示し、この固定して表示される鳥瞰図画像や各駐車基準線に対して自車両１０の位置が動く（回る）ように表示してもよい。 (Modification 3)
In the first and second modified examples, the bird's-eye view image and each parking reference line move with the movement of the host vehicle 10 based on the position of the host vehicle 10 fixedly displayed on the screen of the display 3 ( Contrary to this, the bird's-eye view image and each parking reference line are fixedly displayed on the screen, and the bird's-eye view image and each parking reference line displayed in a fixed manner are displayed on the screen. It may be displayed so that the position of the host vehicle 10 moves (turns).

以下、本変形例における表示処理について、図１５に示すフローチャートを用いて説明する。なお、同図のＳ２１０〜Ｓ２６０までの処理は、第１の実施形態と同様であるため、その説明を省略する。 Hereinafter, the display process in this modification will be described with reference to the flowchart shown in FIG. Note that the processing from S210 to S260 in the figure is the same as that in the first embodiment, and thus the description thereof is omitted.

図１５に示すＳ２７０ｂでは、前回変換した鳥瞰図画像と現在の鳥瞰図画像とを結合する。なお、Ｓ２７０ｂでは、本表示処理において、Ｓ２５０にて初回に変換した鳥瞰図画像が表示器３の画面にて表示される位置（画角）を基準とし、以後、この画角が変わらない位置に結合する。Ｓ２８０では、画角の保持された結合画像を画像記憶部９ｄに記憶する。 In S270b shown in FIG. 15, the previously converted bird's-eye view image and the current bird's-eye view image are combined. In S270b, in this display process, the position (view angle) at which the bird's-eye view image converted in S250 for the first time is displayed on the screen of the display 3 is used as a reference, and thereafter, the view angle is combined to a position where the view angle does not change. To do. In S280, the combined image having the angle of view is stored in the image storage unit 9d.

Ｓ２８５ｂでは、Ｓ２８０にて記憶した結合画像を読み込み、この読み込んだ結合画像に各駐車基準線を結合する。なお、各駐車基準線を結合する際、Ｓ２５０にて初回に変換した鳥瞰図画像上における自車両１０の位置を基準として結合する。Ｓ２９０ｂでは、自車両１０が後退を開始した時の自車両１０の位置からの移動量を示す移動ベクトルＶを計算する。 In S285b, the combined image stored in S280 is read, and each parking reference line is combined with the read combined image. In addition, when combining each parking reference line, it couple | bonds on the basis of the position of the own vehicle 10 on the bird's-eye view image converted in S250 for the first time. In S290b, a movement vector V indicating the amount of movement from the position of the host vehicle 10 when the host vehicle 10 starts to reverse is calculated.

Ｓ３００ｂでは、Ｓ２８５ｂにて生成した結合画像を読み出し、この結合画像に自車両１０の位置を示すイメージ画像を上述した移動ベクトルに基づく位置に結合する。これにより、例えば、表示器３の画面には、図１３に示すように、画面上で固定された鳥瞰図画像や各駐車基準線に対して自車両１０が移動するというイメージの画像を表示することができるため、自車両１０と他車両との位置関係をさらに明確に表示することができる。 In S300b, the combined image generated in S285b is read, and an image image indicating the position of the host vehicle 10 is combined with the combined image at a position based on the above-described movement vector. Thereby, for example, as shown in FIG. 13, a bird's-eye view image fixed on the screen and an image of the vehicle 10 moving relative to each parking reference line are displayed on the screen of the display 3. Therefore, the positional relationship between the host vehicle 10 and the other vehicle can be displayed more clearly.

（変形例４）
通常、並列駐車を行う場合には、並列駐車を開始する位置において左右何れかの方向へステアリングを一度末切りし、そのステアリングの状態を保持しながら車両の前後方向が並列駐車基準線の長手方向と並行になるまで後退させ、その後、ステアリングを中立位置にして後退するといった手順を経ることになるが、縦列駐車では、後退途中でステアリングを反対方向へ末切りする手順が必要となる。 (Modification 4)
Normally, when parallel parking is performed, the steering is terminated once in the left or right direction at the position where the parallel parking is started, and the longitudinal direction of the parallel parking reference line is maintained while maintaining the steering state. However, in parallel parking, a procedure for turning the steering wheel in the opposite direction during the reverse movement is required.

そこで、図１６に示すように、後退途中でステアリングを反対方向へ末切りすべき位置を示す舵角反転基準線（ＫＬ、ＫＲ）を各縦列駐車基準線（ＡＬ、ＣＬ、ＡＲ、ＣＲ）とともに表示する。これにより、自車両１０のユーザは、縦列駐車する際に必要となるステアリングの反転位置を把握することができる。 Therefore, as shown in FIG. 16, rudder angle reversal reference lines (KL, KR) indicating positions where the steering should be turned in the opposite direction in the middle of retreating together with the parallel parking reference lines (AL, CL, AR, CR). indicate. Thereby, the user of the own vehicle 10 can grasp | ascertain the inversion position of the steering required when carrying out parallel parking.

なお、舵角反転基準線（ＫＬ、ＫＲ）の表示は、上記変形例２で説明した、画面上において固定して表示される自車両１０の位置に対して、鳥瞰図画像とともに各駐車基準線を自車両１０の移動に伴って移動／回転して表示する場合においても適用することができる。 In addition, the display of the steering angle reversal reference lines (KL, KR) indicates each parking reference line together with the bird's-eye view image with respect to the position of the host vehicle 10 that is fixedly displayed on the screen described in the second modification. The present invention can also be applied to a case where the display is moved / rotated as the host vehicle 10 moves.

例えば、その表示例を図１７（ａ）に示すが、画面において自車両１０の位置を固定して表示し、この固定して表示される自車両１０の位置に対して鳥瞰図画像、及び縦列駐車基準線（ＡＬ、ＣＬ）とともに舵角反転基準線（ＫＬ）を、自車両の移動に伴って移動（回転）した表示とする。 For example, the display example is shown in FIG. 17A, in which the position of the host vehicle 10 is fixed and displayed on the screen, and the bird's-eye view image and the parallel parking are displayed with respect to the position of the host vehicle 10 displayed fixedly. The steering angle reversal reference line (KL) together with the reference lines (AL, CL) is displayed as moved (rotated) as the host vehicle moves.

これにより、自車両１０のユーザは、自車両１０の後端部が舵角反転基準線（ＫＬ）に到達した場合に自車両１０を一旦停止させ、ステアリングを反対方向へ末切りする。その後、図１７（ｂ）に示すように、反対方向へ末切りした状態を保持して自車両１０を後退させることで、縦列駐車基準線内に自車両１０を駐車することができる。 Thereby, the user of the own vehicle 10 stops the own vehicle 10 when the rear end part of the own vehicle 10 reaches the steering angle reversal reference line (KL), and ends the steering in the opposite direction. Thereafter, as shown in FIG. 17B, the host vehicle 10 can be parked within the parallel parking reference line by holding the state where the vehicle is cut in the opposite direction and moving the host vehicle 10 backward.

さらに、舵角反転基準線（ＫＬ、ＫＲ）の表示は、上記変形例３で説明した、画面において鳥瞰図画像や各駐車基準線を固定して表示し、この固定して表示される鳥瞰図画像や各駐車基準線に対して自車両１０の位置を動く（回る）ように表示する場合においても適用することができる。 Further, the steering angle reversal reference lines (KL, KR) are displayed by fixing the bird's-eye view image and each parking reference line on the screen described in the third modification, The present invention can also be applied to a case where the position of the host vehicle 10 is displayed so as to move (turn) with respect to each parking reference line.

例えば、その表示例を図１８（ａ）に示すが、縦列駐車基準線（ＡＬ、ＣＬ）とともに舵角反転基準線（ＫＬ）を表示する。これにより、自車両１０のユーザは、自車両１０の後端部が舵角反転基準線（ＫＬ）に到達した場合に自車両１０を一旦停止させ、ステアリングを反対方向へ末切りする。その後、図１８（ｂ）に示すように、反対方向へ末切りした状態を保持して自車両１０を後退させることで、縦列駐車をスムーズに行うことができる。 For example, as shown in FIG. 18 (a), the steering angle reversal reference line (KL) is displayed together with the parallel parking reference lines (AL, CL). Thereby, the user of the own vehicle 10 stops the own vehicle 10 when the rear end part of the own vehicle 10 reaches the steering angle reversal reference line (KL), and ends the steering in the opposite direction. Thereafter, as shown in FIG. 18 (b), parallel parking can be performed smoothly by holding the state where the vehicle is cut in the opposite direction and moving the host vehicle 10 backward.

（変形例５）
本実施形態における各駐車基準線は、自車両１０のステアリングを末切りした状態を保持しつつ縦／並列駐車する場合に到達すると予想される到達予想位置を示すものであるが、例えば、自車両１０の現在の舵角を検出して、その舵角に応じた自車両１０の到達予想位置を示す現在舵角到達予想位置を上記各駐車基準線とともに表示してもよい。 (Modification 5)
Each parking reference line in the present embodiment indicates a predicted arrival position expected to be reached when the vehicle 10 is parked vertically / parallelly while maintaining the state where the steering of the host vehicle 10 is cut off. 10 current steering angles may be detected, and the current steering angle arrival predicted position indicating the predicted arrival position of the host vehicle 10 according to the steering angle may be displayed together with the parking reference lines.

例えば、図２３に、自車両１０の右後方に並列駐車、又は自車両１０の左後方に縦列駐車を行う場合のイメージ図を示すが、同図のように、ステアリングを末切りした状態で並列駐車する場合に到達すると予想される到達予想位置を示す並列駐車基準線（ＡＲ、ＢＲ）とともに、現在の舵角を保持しつつ並列駐車する場合に到達すると予想される現在舵角到達予想位置を示す現在舵角並列駐車基準線（ＢＲ１）を表示する。また、同図に示すように、ステアリングを末切りした状態で縦列駐車する場合に到達すると予想される到達予想位置を示す縦列駐車基準線（ＡＬ、ＣＬ）、及びステアリング反転基準線（ＫＬ）とともに、現在の舵角を保持しつつ縦列駐車する場合に到達すると予想される現在舵角到達予想位置を示す現在舵角縦列駐車基準線（ＣＬ１）、及び現在舵角ステアリング反転基準線（ＫＬ１）を表示する。 For example, FIG. 23 shows an image diagram when parallel parking is performed on the right rear side of the host vehicle 10 or parallel parking is performed on the rear left side of the host vehicle 10, and parallel parking is performed with the steering wheel turned off as shown in FIG. In addition to the parallel parking reference lines (AR, BR) indicating the expected arrival position expected to be reached when the vehicle is to be operated, the current steering angle arrival expected position that is expected to be reached in parallel parking while maintaining the current steering angle is indicated. The current steering angle parallel parking reference line (BR1) is displayed. In addition, as shown in the figure, together with the parallel parking reference lines (AL, CL) and the steering inversion reference line (KL) that indicate the expected arrival position when the parallel parking is performed with the steering wheel turned off. The current rudder angle column parking reference line (CL1) and the current rudder angle steering reversal reference line (KL1) indicating the current rudder angle arrival expected position that is expected to be reached when parallel parking while maintaining the current rudder angle indicate.

これにより、例えば、並列駐車基準線ＡＲとＢＲとのエリア内だけでなく、並列駐車基準線ＡＲと現在舵角並列駐車基準線（ＢＲ１）とのエリア内にも他車両等の障害物が存在しない場合には、車両を駐車することのできるスペースが広く表示されるため、車両のユーザは、駐車可否の判断が更に容易になる。また、この場合、車両のユーザは、ステアリングを末切りすることなく、現在の舵角を保持しつつ後退することで並列駐車基準線ＡＲと現在舵角並列駐車基準線（ＢＲ１）とのエリア内に駐車することができるため、ステアリング操作の負担軽減を図ることができる。 Thereby, for example, obstacles such as other vehicles exist not only in the area of the parallel parking reference line AR and BR but also in the area of the parallel parking reference line AR and the current rudder angle parallel parking reference line (BR1). If not, the space in which the vehicle can be parked is displayed widely, so that the vehicle user can more easily determine whether to park. In this case, the user of the vehicle moves in the area of the parallel parking reference line AR and the current steering angle parallel parking reference line (BR1) by moving backward while maintaining the current steering angle without ending the steering. Therefore, it is possible to reduce the burden of steering operation.

さらに、図２３に示すように、ステアリングの舵角を変更（ＲからＬ方向、又は、ＬからＲ方向に変更）すれば、その変更に伴って、現在舵角並列駐車基準線（ＢＲ１）、現在舵角縦列駐車基準線（ＣＬ１）、及び現在舵角ステアリング反転基準線（ＫＬ１）の表示位置も変更して表示されることになるため、ステアリングの舵角を変更することによって、駐車しようとするスペースをユーザ自身が任意に決定できるようになる。 Furthermore, as shown in FIG. 23, if the steering angle of the steering is changed (from R to L, or from L to R), the current steering angle parallel parking reference line (BR1), Since the display position of the current steering angle parallel parking reference line (CL1) and the current steering angle steering reversal reference line (KL1) will also be changed and displayed, changing the steering angle of the steering wheel will attempt to park. The user can arbitrarily determine the space to be used.

（第２の実施形態）
第２の実施形態は、第１の実施形態によるものと共通するところが多いので、以下、共通部分についての詳しい説明は省略し、異なる部分を重点的に説明する。第１の実施形態における駐車装置１００は、鳥瞰図画像によって映し出される自車両１０周辺の障害物をユーザに把握させるものであるが、例えば、カメラ１が暗い場所で撮影する場合や、カメラ１のレンズ雨滴や汚れ等が付着した状態で撮影した場合には、その撮影された画像が不鮮明になることがある。 (Second Embodiment)
Since the second embodiment is often in common with that according to the first embodiment, a detailed description of the common parts will be omitted below, and different parts will be described mainly. The parking device 100 according to the first embodiment allows the user to grasp obstacles around the host vehicle 10 displayed by the bird's-eye view image. For example, when the camera 1 is photographed in a dark place, or the lens of the camera 1 is used. When a picture is taken with raindrops, dirt, or the like attached, the picture taken may become unclear.

このような不鮮明な画像を鳥瞰図画像に変換すると、鳥瞰図画像においても不鮮明な画像となるため、その鳥瞰図画像から他車両等の障害物の位置を明確に把握できなくなることがある。そこで、本実施形態では、測距センサ８により検出される自車両１０の周囲に存在する障害物の位置を鳥瞰図画像に重ねて表示する。以下、障害物を検出する障害物検出処理、検出した障害物の画像を生成する障害物画像生成処理、及びこの生成された障害物画像を鳥瞰図画像に重ねて表示する表示処理について、図１９〜図２１に示すフローチャートを用いて説明する。 When such a blurred image is converted into a bird's eye view image, the image is also blurred in the bird's eye view image, and the position of an obstacle such as another vehicle may not be clearly grasped from the bird's eye view image. Therefore, in the present embodiment, the position of the obstacle existing around the host vehicle 10 detected by the distance measuring sensor 8 is displayed in a superimposed manner on the bird's eye view image. The obstacle detection process for detecting an obstacle, the obstacle image generation process for generating an image of the detected obstacle, and the display process for displaying the generated obstacle image superimposed on the bird's eye view image will be described with reference to FIGS. This will be described with reference to the flowchart shown in FIG.

先ず、障害物を検出する障害物検出処理について、図１９に示すフローチャートを用いて説明する。なお、この障害物検出処理は、第１の実施形態において説明した図９の画像処理と並行して処理が実行される。 First, an obstacle detection process for detecting an obstacle will be described with reference to a flowchart shown in FIG. The obstacle detection process is executed in parallel with the image process of FIG. 9 described in the first embodiment.

図１９に示すＳ４００では、車速センサ５からの検出信号に基づいて自車両１０の車速データを取得する。Ｓ４１０では、舵角センサ７からの検出信号に基づいて、自車両１０のステアリングの舵角データを取得する。 In S400 shown in FIG. 19, the vehicle speed data of the host vehicle 10 is acquired based on the detection signal from the vehicle speed sensor 5. In S410, the steering angle data of the steering of the host vehicle 10 is acquired based on the detection signal from the steering angle sensor 7.

Ｓ４２０では、自車両１０の車速が時速１０キロ未満であるか否かを判定する。ここで、肯定判定される場合にはＳ４３０へ処理を進め、否定判定される場合にはＳ４００へ処理を移行し、上述した処理を繰り返す。Ｓ４３０では、車速センサ５、及び舵角センサ７の検出信号を用いて、時刻Ｔから時刻Ｔ＋１になるまでの自車両１０の移動距離と方向を示す移動ベクトルＶを計算して、時刻Ｔ＋１における自車両１０の位置を特定する。 In S420, it is determined whether or not the vehicle speed of the host vehicle 10 is less than 10 km / h. If the determination is affirmative, the process proceeds to S430. If the determination is negative, the process proceeds to S400, and the above-described process is repeated. In S430, using the detection signals of the vehicle speed sensor 5 and the steering angle sensor 7, a movement vector V indicating the movement distance and direction of the host vehicle 10 from time T to time T + 1 is calculated, and the vehicle at time T + 1 is calculated. The position of the vehicle 10 is specified.

Ｓ４４０では、時刻Ｔ＋１における測距センサ８による障害物の検出距離を取得し、Ｓ４５０では、この取得した障害物の検知距離から、自車両１０の位置を基準とする障害物の位置を算出する。Ｓ４６０では、算出した障害物の位置に関する位置データをＲＡＭ等の記憶媒体に記憶する。 In S440, the obstacle detection distance by the distance measuring sensor 8 at time T + 1 is acquired. In S450, the position of the obstacle based on the position of the host vehicle 10 is calculated from the acquired obstacle detection distance. In S460, the calculated position data regarding the position of the obstacle is stored in a storage medium such as a RAM.

次に、この障害物検出処理によって検出された障害物の位置に基づいて、障害物の画像を生成する障害物画像生成処理について、図２０に示すフローチャートを用いて説明する。図２０に示すＳ５００では、記憶した障害物の位置データを読み込む。Ｓ５１０では、読み込んだ障害物の位置データに基づいて、自車両１０の位置を基準とした位置に障害物を示すイメージ画像（例えば、丸印等）を点描として描画する。 Next, obstacle image generation processing for generating an image of an obstacle based on the position of the obstacle detected by the obstacle detection processing will be described with reference to the flowchart shown in FIG. In S500 shown in FIG. 20, the stored position data of the obstacle is read. In S510, based on the read position data of the obstacle, an image image (for example, a circle or the like) showing the obstacle at a position based on the position of the host vehicle 10 is drawn as a pointillism.

Ｓ５２０では、既に障害物を描画した画像がある場合には、その画像とＳ５１０にて描画した画像とを合成した合成画像を生成し、この処理を行う前までに障害物を描画した画像がない場合には、Ｓ５３０に処理を進める。Ｓ５３０では、障害物の位置データを全て読み込んだか否かを判定し、肯定判定される場合には本処理を終了し、否定判定される場合にはＳ５００へ処理を移行し、上述した処理を繰り返す。 In S520, if there is an image in which an obstacle is already drawn, a composite image is generated by combining the image drawn in S510 and there is no image in which the obstacle is drawn before this processing is performed. If so, the process proceeds to S530. In S530, it is determined whether or not all the obstacle position data has been read. If the determination is affirmative, the process ends. If the determination is negative, the process proceeds to S500, and the above-described process is repeated. .

続いて、上記障害物画像生成処理によって生成された障害物画像を鳥瞰図画像に重ねて表示する表示処理について、図２１に示すフローチャートを用いて説明する。なお、図２１に示すＳ２１０〜Ｓ２７０ｂ、及びＳ２８０以降の処理は、第１の実施形態の変形例３において説明した、鳥瞰図画像、及び各駐車基準線を画像上において固定し、自車両１０の位置を動く（回る）ように表示する表示処理と同様であるため、その説明を省略する。 Subsequently, a display process for displaying the obstacle image generated by the obstacle image generation process so as to overlap the bird's eye view image will be described with reference to the flowchart shown in FIG. In addition, the processes after S210 to S270b and S280 shown in FIG. 21 are performed by fixing the bird's-eye view image and each parking reference line described in the third modification of the first embodiment on the image, and the position of the host vehicle 10 Since the display process is similar to the display process of moving (turning), the description thereof is omitted.

図２１に示すＳ２７０ｂにて、前回変換した鳥瞰図画像と現在の鳥瞰図画像とが結合されると、Ｓ２７２では障害物画像を読み込み、Ｓ２７４にて、Ｓ２７０ｂにて結合した結合画像と障害物画像とをさらに結合して、鳥瞰図画像に障害物が重なって表示される画像を生成する。そして、Ｓ２８０において、生成した結合画像を画像記憶部９ｄに記憶し、上述した処理を実行する。 When the bird's eye view image converted last time and the current bird's eye view image are combined in S270b shown in FIG. 21, the obstacle image is read in S272, and the combined image and obstacle image combined in S270b are read in S274. Furthermore, it combines and produces | generates the image which an obstacle overlaps and displays on a bird's-eye view image. In step S280, the generated combined image is stored in the image storage unit 9d, and the above-described processing is executed.

これにより、例えば、図２２に示すように、測距センサ８にて検出された障害物（obs）の位置が鳥瞰図画像に重ねて表示されるため、自車両１０のユーザは、鳥瞰図画像が不鮮明であっても、その鳥瞰図画像に重ねて表示される障害物（obs）から、障害物の位置を明確に把握することができる。 Thereby, for example, as shown in FIG. 22, the position of the obstacle (obs) detected by the distance measuring sensor 8 is displayed so as to be superimposed on the bird's-eye view image, so that the user of the host vehicle 10 has an unclear bird's-eye view image. Even so, it is possible to clearly grasp the position of the obstacle from the obstacle (obs) displayed superimposed on the bird's eye view image.

（変形例６）
本実施形態は、第１の実施形態の変形例３の表示処理に適用した場合を説明したものであるが、第１の実施形態、及びその他の変形例の表示処理に適用可能であることは言うまでもない。 (Modification 6)
Although the present embodiment has been described for the case where the present invention is applied to the display process of the third modification of the first embodiment, it can be applied to the display process of the first embodiment and other modifications. Needless to say.

本発明の実施形態に係わる、駐車支援装置１００の構成を示すブロック図である。It is a block diagram which shows the structure of the parking assistance apparatus 100 concerning embodiment of this invention. 本発明の実施形態に係わる、処理ユニット９の機能構成を示すブロック図である。It is a block diagram which shows the function structure of the processing unit 9 concerning embodiment of this invention. 本発明の実施形態に係わる、自車両１０と各縦／並列駐車基準線との位置関係を示すイメージ図である。It is an image figure which shows the positional relationship of the own vehicle 10 and each vertical / parallel parking reference line concerning embodiment of this invention. （ａ）は、自車両１０とその周辺に存在する障害物としての他車両との位置関係を示す図であり、（ｂ）は、自車両１０のカメラ１の撮影した画像から生成した鳥瞰図画像に各縦／並列駐車基準線を重ねて表示した場合のイメージ図である。(A) is a figure which shows the positional relationship with the other vehicle as an obstruction which exists in the periphery of the own vehicle 10, (b) is the bird's-eye view image produced | generated from the image which the camera 1 of the own vehicle 10 image | photographed. It is an image figure at the time of displaying each vertical / parallel parking reference line so that it may overlap. （ａ）は、「コ」の字型の縦列／並列駐車基準線ＥＬ、ＥＲ、ＤＬ、ＤＲを示す線分表示のイメージ図であり、（ｂ）は、各駐車基準線を結ぶことで形成される長方形の線分表示のイメージ図である。(A) is an image diagram of a line display showing “U” -shaped column / parallel parking reference lines EL, ER, DL, DR, and (b) is formed by connecting the parking reference lines. It is an image figure of a rectangular line segment display. 第１の実施形態に係わる、時刻Ｔから時刻Ｔ＋１になるまでの自車両１０の動き量（移動量）を示す移動ベクトルＶを示した図である。It is the figure which showed the movement vector V which shows the movement amount (movement amount) of the own vehicle 10 from time T to time T + 1 concerning 1st Embodiment. 第１の実施形態に係わる、透視変換を説明するための斜視図である。It is a perspective view for demonstrating perspective transformation concerning 1st Embodiment. （ａ）は、合成鳥瞰図に自車両１０の位置と縦／並列駐車基準線を重ねて表示した場合のイメージ図であり、（ｂ）は、合成鳥瞰図画像のみを自車両１０の位置を基準として相対的に移動した画像とした場合のイメージ図である。(A) is an image figure at the time of displaying the position of the own vehicle 10 and the vertical / parallel parking reference line superimposed on the synthetic bird's-eye view, and (b) is relative to the position of the own vehicle 10 only with respect to the position of the own vehicle 10. It is an image figure at the time of setting it as the image moved automatically. 第１の実施形態に係わる、画像処理の流れを示すフローチャートである。3 is a flowchart illustrating a flow of image processing according to the first embodiment. 第１の実施形態に係わる、表示処理の流れを示すフローチャート（１）である。It is a flowchart (1) which shows the flow of a display process concerning 1st Embodiment. 第１の実施形態に係わる、表示処理の流れを示すフローチャート（２）である。It is a flowchart (2) which shows the flow of the display process concerning 1st Embodiment. 第１の実施形態の変形例２に係わる、自車両１０の位置を画面上で固定し、鳥瞰図画像とともに縦／並列駐車基準線が自車両１０を基準として動く（回転する）ように表示した場合のイメージ図である。When the position of the host vehicle 10 is fixed on the screen according to the second modification of the first embodiment, and the vertical / parallel parking reference line is displayed so as to move (rotate) with respect to the host vehicle 10 together with the bird's eye view image FIG. 第１の実施形態の変形例３に係わる、画面上で固定された鳥瞰図画像や縦／並列駐車基準線に対して自車両１０が移動する画像を表示した場合のイメージ図である。It is an image figure at the time of displaying the bird's-eye view image fixed on the screen concerning the modification 3 of 1st Embodiment, and the image which the own vehicle 10 moves with respect to a vertical / parallel parking reference line. 第１の実施形態の変形例２に係わる、表示処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the display process concerning the modification 2 of 1st Embodiment. 第１の実施形態の変形例３に係わる、表示処理の流れを示すフローチャートである。10 is a flowchart showing a flow of display processing according to Modification 3 of the first embodiment. 第１の実施形態の変形例４に係わる、各縦列駐車基準線（ＡＬ、ＣＬ、ＡＲ、ＣＲ）に加えて、舵角反転基準線（ＫＬ、ＫＲ）を表示した場合のイメージ図である。It is an image figure at the time of displaying a steering angle reversal reference line (KL, KR) in addition to each parallel parking reference line (AL, CL, AR, CR) concerning modification 4 of a 1st embodiment. （ａ）は、鳥瞰図画像、縦／並列駐車基準線、及び舵角反転基準線を自車両の位置を基準として相対的に移動して表示するイメージ図であり、（ｂ）は、後退途中で反対方向へ末切りした状態を保持して自車両１０を後退させた場合に表示されるイメージ図である。(A) is an image figure which displays a bird's-eye view image, a vertical / parallel parking reference line, and a rudder angle reversal reference line relatively moving with respect to the position of the host vehicle, and (b) is opposite during reversing. It is an image figure displayed when the own vehicle 10 is made to reverse | retreat with holding the state cut off to the direction. （ａ）は、鳥瞰図画像、縦／並列駐車基準線、及び舵角反転基準線ＫＬを画面上において固定し、自車両１０の位置を動く（回る）表示とした場合のイメージ図であり、（ｂ）は、後退途中で反対方向へ末切りした状態を保持して自車両１０を後退させた場合に表示されるイメージ図である。(A) is an image diagram when the bird's-eye view image, the vertical / parallel parking reference line, and the rudder angle reversal reference line KL are fixed on the screen and the position of the host vehicle 10 is moved (turned). ) Is an image diagram that is displayed when the host vehicle 10 is moved backward while maintaining a state of being cut off in the opposite direction during the backward movement. 第２の実施形態に係わる、障害物検出処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the obstruction detection process concerning 2nd Embodiment. 第２の実施形態に係わる、障害物画像生成処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the obstruction image generation process concerning 2nd Embodiment. 第２の実施形態に係わる、表示処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the display process concerning 2nd Embodiment. 第２の実施形態に係わる、鳥瞰図画像に障害物（obs）画像を重ねて表示した場合のイメージ図である。It is an image figure at the time of displaying an obstruction (obs) image superimposed on the bird's-eye view image concerning 2nd Embodiment. 第１の実施形態の変形例５に係わる、自車両１０の右後方に並列駐車、又は自車両１０の左後方に縦列駐車を行う場合のイメージ図である。It is an image figure in the case of performing parallel parking in the right rear of the own vehicle, or parallel parking in the left rear of the own vehicle, according to Modification 5 of the first embodiment.

符号の説明Explanation of symbols

１カメラ
３表示器
５車速センサ
７舵角センサ
８測距センサ
９処理ユニット
１０自車両
１００駐車支援装置 DESCRIPTION OF SYMBOLS 1 Camera 3 Indicator 5 Vehicle speed sensor 7 Rudder angle sensor 8 Distance sensor 9 Processing unit 10 Own vehicle 100 Parking assistance apparatus

Claims

車両の周辺を撮影する撮影手段と、
前記撮影手段によって撮影された車両周辺の画像に基づいて、その鳥瞰図画像を生成する鳥瞰図画像生成手段と、
前記車両が所定の舵角を保持しつつ移動した場合に到達すると予想される前記車両の到達予想位置を生成する到達予想位置生成手段と、
前記鳥瞰図画像生成手段によって生成される鳥瞰図画像を画面に表示するとともに、前記鳥瞰図画像上における前記車両の位置と前記到達予想位置生成手段によって生成される前記車両の位置からの到達予想位置とを前記鳥瞰図画像に重ねて表示する表示制御手段とを備えることを特徴とする駐車支援装置。 Photographing means for photographing the periphery of the vehicle;
A bird's-eye view image generating means for generating a bird's-eye view image based on an image around the vehicle photographed by the photographing means;
A predicted arrival position generating unit that generates a predicted arrival position of the vehicle that is expected to be reached when the vehicle moves while maintaining a predetermined steering angle;
The bird's eye view image generated by the bird's eye view image generation means is displayed on the screen, and the position of the vehicle on the bird's eye view image and the predicted arrival position from the position of the vehicle generated by the predicted arrival position generation means are A parking support apparatus comprising: a display control unit that displays the bird's eye view image so as to overlap the bird's eye view image.

前記到達予想位置生成手段は、前記到達予想位置として、前記車両が最大舵角を保持しつつ移動した場合に到達すると予想される前記車両の到達予想位置を生成することを特徴とする請求項１記載の駐車支援装置。 The predicted arrival position generation means generates the predicted arrival position of the vehicle that is expected to arrive when the vehicle moves while maintaining a maximum steering angle as the predicted arrival position. The parking assistance device described.

前記表示制御手段は、前記画面に表示すべき到達予想位置として、前記到達予想位置を示すための基準線を表示することを特徴とする請求項１又は２記載の駐車支援装置。 The parking support apparatus according to claim 1, wherein the display control unit displays a reference line for indicating the predicted arrival position as the predicted arrival position to be displayed on the screen.

前記表示制御手段は、前記画面に表示すべき到達予想位置として、前記到達予想位置を示すためのエリアを表示することを特徴とする請求項１又は２記載の駐車支援装置。 The parking support device according to claim 1, wherein the display control unit displays an area for indicating the predicted arrival position as the predicted arrival position to be displayed on the screen.

前記車両の舵角を検出する舵角検出手段を備え、
前記到達予想位置生成手段は、前記舵角検出手段の検出する舵角に応じた前記車両の到達予想位置を算出する到達予想位置算出手段を備え、
前記表示制御手段は、前記画面に表示すべき車両の到達予想位置として、前記車両が最大舵角を保持しつつ移動した場合の前記車両の最大舵角到達予想位置と、前記到達予想位置算出手段の算出する前記舵角検出手段の検出する舵角を保持しつつ移動した場合の前記車両の現在舵角到達予想位置とを表示することを特徴とする請求項１〜４のいずれか１項に記載の駐車支援装置。 A steering angle detection means for detecting the steering angle of the vehicle,
The predicted arrival position generation means includes predicted arrival position calculation means for calculating the predicted arrival position of the vehicle according to the steering angle detected by the steering angle detection means,
The display control means includes, as the predicted arrival position of the vehicle to be displayed on the screen, the predicted maximum steering angle arrival position of the vehicle when the vehicle moves while maintaining the maximum steering angle, and the predicted arrival position calculation means. The current steering angle arrival expected position of the vehicle when moving while holding the rudder angle detected by the rudder angle detecting means calculated by the vehicle is displayed. The parking assistance device described.

前記到達予想位置生成手段は、前記到達予想位置として、前記車両が縦列駐車、及び並列駐車の少なくとも一方の駐車を行う場合の前記車両の到達予想位置を生成することを特徴とする請求項１〜５のいずれか１項に記載の駐車支援装置。 The predicted arrival position generation means generates the predicted arrival position of the vehicle when the vehicle performs at least one of parallel parking and parallel parking as the predicted arrival position. The parking assistance device according to any one of 5.

前記到達予想位置生成手段は、前記車両が縦列駐車を行う場合の前記車両の到達予想位置を生成する際、前記車両の移動中に前記車両のステアリングを反転すべきステアリング反転位置をさらに生成し、
前記表示制御手段は、前記ステアリング反転位置を含む前記車両の到達予想位置を前記鳥瞰図画像に重ねて表示することを特徴とする請求項６記載の駐車支援装置。 The predicted arrival position generation means further generates a steering reversal position to reverse the steering of the vehicle during the movement of the vehicle when generating the predicted arrival position of the vehicle when the vehicle performs parallel parking.
The parking support device according to claim 6, wherein the display control means displays the predicted arrival position of the vehicle including the steering reversal position so as to overlap the bird's eye view image.

前記車両における駐車操作の開始を検出する駐車開始検出手段を備え、
前記表示制御手段は、前記駐車開始検出手段が駐車操作の開始を検出した場合に前記画面への表示を開始することを特徴とする請求項１〜７のいずれか１項に記載の駐車支援装置。 Parking start detection means for detecting the start of the parking operation in the vehicle,
The parking support device according to any one of claims 1 to 7, wherein the display control means starts display on the screen when the parking start detection means detects the start of a parking operation. .

前記駐車開始検出手段が駐車操作の開始を検出した場合、その時点での前記画面上における前記車両の位置、前記車両の到達予想位置、及び前記鳥瞰図画像の各々の位置関係を記憶する記憶手段を備えることを特徴とする請求項８記載の駐車支援装置。 When the parking start detection means detects the start of a parking operation, storage means for storing the positional relationship between the position of the vehicle on the screen at that time, the predicted arrival position of the vehicle, and the bird's eye view image The parking support apparatus according to claim 8, further comprising:

前記表示制御手段は、前記車両の位置を前記記憶手段の記憶する前記画面上の位置に固定して表示し、
前記車両の移動状態を検出する移動状態検出手段と、
前記移動状態検出手段の検出結果に基づいて、前記画面に表示すべき鳥瞰図画像、及び前記車両の到達予想位置に対し、前記固定して表示される前記車両の表示位置を基準として相対的に移動した鳥瞰図画像、及び到達予想位置に変換する変換手段とを備え、
前記表示制御手段は、前記変換手段によって変換された鳥瞰図画像、及び到達予想位置を前記車両の表示位置と対応付けて表示することを特徴とする請求項９記載の駐車支援装置。 The display control means fixes and displays the position of the vehicle at the position on the screen stored in the storage means,
A moving state detecting means for detecting a moving state of the vehicle;
Based on the detection result of the moving state detecting means, the bird's eye view image to be displayed on the screen and the predicted arrival position of the vehicle are moved relative to the display position of the vehicle that is fixedly displayed. A bird's-eye view image and a conversion means for converting to the predicted arrival position,
The parking support device according to claim 9, wherein the display control unit displays the bird's eye view image converted by the conversion unit and the predicted arrival position in association with the display position of the vehicle.

前記表示制御手段は、前記車両の位置、及び前記車両の到達予想位置を前記記憶手段の記憶する前記画面上の位置に固定して表示し、
前記車両の移動状態を検出する移動状態検出手段と、
前記移動状態検出手段の検出結果に基づいて、前記画面に表示すべき鳥瞰図画像に対し、前記固定して表示される前記車両の表示位置を基準として相対的に移動した鳥瞰図画像に変換する変換手段とを備え、
前記表示制御手段は、前記変換手段によって変換された鳥瞰図画像を前記車両の表示位置と対応付けて表示することを特徴とする請求項９記載の駐車支援装置。 The display control means fixes and displays the position of the vehicle and the predicted arrival position of the vehicle at a position on the screen stored in the storage means,
A moving state detecting means for detecting a moving state of the vehicle;
Conversion means for converting a bird's-eye view image to be displayed on the screen into a bird's-eye view image relatively moved with reference to the fixed display position of the vehicle based on the detection result of the moving state detection means. And
The parking support apparatus according to claim 9, wherein the display control means displays the bird's eye view image converted by the conversion means in association with the display position of the vehicle.

前記表示制御手段は、前記駐車開始検出手段が駐車操作の開始を検出し、その後、前記移動状態検出手段が前記車両の動き出しを検出した場合には、前記画面上に表示される前記車両の到達予想位置の表示を消去することを特徴とする請求項１１記載の駐車支援装置。 The display control means detects the arrival of the vehicle displayed on the screen when the parking start detection means detects the start of a parking operation and then the movement state detection means detects the movement of the vehicle. 12. The parking assist apparatus according to claim 11, wherein the display of the predicted position is erased.

前記表示制御手段は、前記鳥瞰図画像、及び前記車両の到達予想位置を前記記憶手段の記憶する前記画面上の位置に固定して表示し、
前記車両の移動状態を検出する移動状態検出手段と、
前記移動状態検出手段の検出結果に基づいて、前記画面に表示すべき車両の位置を、前記固定して表示される前記鳥瞰図画像、及び前記車両の到達予想位置の少なくとも何れか１つの表示位置を基準として相対的に移動した位置に変換する変換手段とを備え、
前記表示制御手段は、前記変換手段によって変換された車両の位置を前記鳥瞰図画像、及び前記車両の到達予想位置の表示位置と対応付けて表示することを特徴とする請求項９記載の駐車支援装置。 The display control means fixes and displays the bird's eye view image and the predicted arrival position of the vehicle at a position on the screen stored in the storage means,
A moving state detecting means for detecting a moving state of the vehicle;
Based on the detection result of the moving state detection means, the position of the vehicle to be displayed on the screen is displayed as at least one of the bird's eye view image fixedly displayed and the predicted arrival position of the vehicle. Conversion means for converting into a relatively moved position as a reference,
The parking support device according to claim 9, wherein the display control means displays the position of the vehicle converted by the conversion means in association with the bird's eye view image and the display position of the predicted arrival position of the vehicle. .

前記車両周辺の物体を検出する物体検出手段を備え、
前記表示制御手段は、前記物体検出手段によって検出された物体の位置を前記鳥瞰図画像にさらに重ねて表示することを特徴とする請求項１〜１３のいずれか１項に記載の駐車支援装置。 Comprising object detection means for detecting objects around the vehicle,
The parking support device according to any one of claims 1 to 13, wherein the display control means further displays the position of the object detected by the object detection means so as to overlap the bird's eye view image.