JP4449701B2 - Parking assistance system - Google Patents
Parking assistance system Download PDFInfo
- Publication number
- JP4449701B2 JP4449701B2 JP2004314010A JP2004314010A JP4449701B2 JP 4449701 B2 JP4449701 B2 JP 4449701B2 JP 2004314010 A JP2004314010 A JP 2004314010A JP 2004314010 A JP2004314010 A JP 2004314010A JP 4449701 B2 JP4449701 B2 JP 4449701B2
- Authority
- JP
- Japan
- Prior art keywords
- parking
- host vehicle
- bird
- vehicle
- dimensional object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Steering Control In Accordance With Driving Conditions (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、ユーザが自車両を前進させて駐車開始位置に停止させた後に旋回させながら後退させて駐車させる場合の運転を支援する駐車支援システムに関する。 The present invention relates to a parking support system that supports driving when a user moves a host vehicle forward and stops at a parking start position, and then retreats and parks the vehicle.
ユーザが自車両を前進させて駐車開始位置に停止させた後に旋回させながら後退させて駐車させる場合の運転を支援する駐車支援システムとして、例えば下記の特許文献1に示すものがある。
ところで、上記した特許文献1に記載されている駐車支援システムでは、ユーザが自車両を前進させて駐車開始位置に停止させた後に自車両後方の鳥瞰画像を見ながら目標とする駐車経路と駐車位置(ユーザが自車両を最終的に駐車させたい位置)を設定する構成であるので、ユーザが自車両を駐車開始位置に停止させてから駐車動作を開始させるまでのタイミングが遅れるという問題があり、混雑している駐車場などでは使い勝手に劣るという問題があった。 By the way, in the parking assistance system described in Patent Document 1 described above, the target parking route and the parking position while viewing the bird's-eye view image behind the host vehicle after the user moves the host vehicle forward and stops at the parking start position. Since (the position where the user wants to finally park the host vehicle) is set, there is a problem that the timing until the user starts the parking operation after stopping the host vehicle at the parking start position, There was a problem that it was inconvenient in a busy parking lot.
本発明は、上記した事情に鑑みてなされたものであり、その目的は、ユーザが自車両を駐車開始位置に停止させてから駐車動作を開始させるまでのタイミングの遅れを抑えることができ、使い勝手を高めることができる駐車支援システムを提供することにある。 The present invention has been made in view of the above-described circumstances, and an object thereof is to suppress a delay in timing from when the user stops the host vehicle to the parking start position until the parking operation is started. It is in providing the parking assistance system which can raise.
請求項1に記載した発明によれば、制御手段は、自車両が前進しているときに、自車両後方を撮影手段により複数のタイミングで撮影させ、自車両が前進して駐車開始位置に停止した後に、自車両が前進しているときに撮影手段により撮影された複数の撮影画像が鳥瞰画像作成手段により視点変換された複数の鳥瞰画像を画像解析して自車両が駐車可能な位置を駐車候補位置として検索し、その検索結果を合成鳥瞰画像作成手段により作成された合成鳥瞰画像に重畳して表示手段に表示させる。 According to the first aspect of the present invention, when the host vehicle is moving forward, the control unit causes the rear of the host vehicle to capture images at a plurality of timings, and the host vehicle moves forward and stops at the parking start position. After that, when the host vehicle is moving forward, the plurality of captured images taken by the imaging unit are subjected to image analysis of the plurality of bird's-eye images obtained by converting the viewpoints by the bird's-eye image creating unit, and parked at a position where the host vehicle can be parked. Search is made as a candidate position, and the search result is superimposed on the synthesized bird's-eye image created by the synthesized bird's-eye image creating means and displayed on the display means.
これにより、ユーザが自車両を前進させて駐車開始位置に停止させると、自車両が前進しているときに撮影された複数の撮影画像が視点変換された複数の鳥瞰画像を画像解析して自車両が駐車可能な位置を駐車候補位置として検索し、自車両が駐車可能な位置が存在すれば、自車両が駐車可能な位置を駐車候補位置として合成鳥瞰画像上に表示してユーザに知らせることになるので、従来のものとは異なって、ユーザが自車両を前進させて駐車開始位置に停止させた後に自車両後方の鳥瞰画像を見ながら目標とする駐車位置を設定する面倒な手間を不要とすることができ、よって、ユーザが自車両を駐車開始位置に停止させてから駐車動作を開始させるまでのタイミングの遅れを抑えることができ、使い勝手を高めることができる。
また、制御手段は、自車両が駐車開始位置に停止した時点での操舵角に基づいて自車両の予想進行方向を特定し、その特定された自車両の予想進行方向の範囲について自車両が駐車可能な位置を駐車候補位置として検索する。これにより、ユーザが自車両を駐車開始位置に停止させてから操舵角を変更させることなく後退させると仮定した場合の方向の範囲について自車両が駐車可能な位置を駐車候補位置として検索することができる。さらに、制御手段は、自車両の予想進行方向の範囲について自車両が駐車可能な位置を駐車候補位置として検索し、駐車候補位置を決定することが不可であった場合には、自車両の予想進行方向を基準とした自車両に近い方向または自車両から遠い方向の範囲について自車両が駐車可能な位置を駐車候補位置として検索する。これにより、ユーザが自車両を駐車開始位置に停止させてから操舵角を変更させることなく後退させると仮定した場合の方向の範囲について自車両が駐車可能な位置を駐車候補位置として検索したものの、駐車候補位置を決定することが不可であったとしても、自車両の予想進行方向を基準とした自車両に近い方向または自車両から遠い方向の範囲について自車両が駐車可能な位置を駐車候補位置として検索することができる。
請求項2及び3に記載した発明によれば、制御手段は、自車両の予想進行方向の範囲または自車両の予想進行方向を基準とした自車両に近い方向または自車両から遠い方向の範囲について自車両が駐車可能な位置を駐車候補位置として検索し、駐車候補位置を決定することが不可であった場合には、自車両の予想進行方向を基準とした検索した方向とは逆の方向の範囲について自車両が駐車可能な位置を駐車候補位置として検索する。これにより、自車両の予想進行方向の範囲または自車両の予想進行方向を基準とした自車両に近い方向または自車両から遠い方向の範囲について自車両が駐車可能な位置を駐車候補位置として検索したものの、駐車候補位置を決定することが不可であったとしても、自車両の予想進行方向を基準とした検索した方向とは逆の方向の範囲について自車両が駐車可能な位置を駐車候補位置として検索することができる。
As a result, when the user advances the host vehicle and stops at the parking start position, a plurality of bird's-eye images obtained by converting the viewpoints of the plurality of captured images captured when the host vehicle is moving forward are subjected to image analysis. The position where the vehicle can be parked is searched as a parking candidate position, and if there is a position where the own vehicle can be parked, the position where the own vehicle can be parked is displayed as a parking candidate position on the synthetic bird's-eye view image to notify the user. Therefore, unlike the conventional one, after the user advances the host vehicle and stops it at the parking start position, it does not require the troublesome work of setting the target parking position while looking at the bird's-eye view image behind the host vehicle. Therefore, a delay in timing from when the user stops the own vehicle to the parking start position until the parking operation is started can be suppressed, and usability can be improved.
Further, the control means specifies the predicted traveling direction of the host vehicle based on the steering angle at the time when the host vehicle stops at the parking start position, and the host vehicle parks the range of the predicted traveling direction of the identified host vehicle. A possible position is searched as a parking candidate position. Thereby, a position where the own vehicle can be parked is searched as a parking candidate position with respect to a range of directions when it is assumed that the user stops the own vehicle at the parking start position and then moves backward without changing the steering angle. it can. Further, the control means searches for a position where the host vehicle can be parked as a parking candidate position for the range of the predicted traveling direction of the host vehicle, and if it is impossible to determine the parking candidate position, the control unit predicts the host vehicle. A position where the host vehicle can be parked is searched as a parking candidate position in a range close to the host vehicle or a direction far from the host vehicle based on the traveling direction. Thereby, although the user has searched the position where the own vehicle can be parked as the parking candidate position with respect to the range of the direction when assuming that the user stops the vehicle at the parking start position and then moves backward without changing the steering angle, Even if it is impossible to determine a parking candidate position, a position where the host vehicle can park in a range in a direction close to the host vehicle or in a direction far from the host vehicle based on the predicted traveling direction of the host vehicle is set as the parking candidate position. Can be searched as.
According to the second and third aspects of the present invention, the control means is configured to detect the range of the predicted traveling direction of the host vehicle or the range of the direction close to the host vehicle or the direction far from the host vehicle based on the predicted traveling direction of the host vehicle. If it is impossible to determine a parking candidate position by searching a position where the host vehicle can be parked as a parking candidate position, a direction opposite to the direction searched with respect to the predicted traveling direction of the host vehicle is determined. A position where the host vehicle can be parked for a range is searched as a parking candidate position. Thus, a position where the own vehicle can be parked is searched as a parking candidate position in a range close to the own vehicle or in a range far from the own vehicle based on the estimated traveling direction range of the own vehicle or the estimated traveling direction of the own vehicle. However, even if it is impossible to determine the parking candidate position, a position where the own vehicle can be parked is set as a parking candidate position in a range in the direction opposite to the searched direction based on the predicted traveling direction of the own vehicle. You can search.
請求項4に記載した発明によれば、制御手段は、自車両が前進しているときに、自車両後方を撮影手段により複数のタイミングで撮影させると同時に自車両周囲の立体物を立体物検出手段により検出させ、自車両が前進して駐車開始位置に停止した後に、自車両が前進しているときに撮影手段により撮影された複数の撮影画像が鳥瞰画像作成手段により視点変換された複数の鳥瞰画像を画像解析すると共に立体物検出手段の検出結果を判定して自車両が駐車可能な位置を駐車候補位置として検索する。
According to the invention described in
これにより、ユーザが自車両を前進させて駐車開始位置に停止させると、自車両が前進しているときに撮影された複数の撮影画像が視点変換された複数の鳥瞰画像を画像解析すると共に自車両周囲の立体物の検出結果を判定して自車両が駐車可能な位置を駐車候補位置として検索し、自車両が駐車可能な位置が存在すれば、自車両が駐車可能な位置を駐車候補位置として合成鳥瞰画像上に表示してユーザに知らせることになるので、上記した請求項1に記載したものと同様にして、ユーザが自車両を前進させて駐車開始位置に停止させた後に自車両後方の鳥瞰画像を見ながら目標とする駐車位置を設定する面倒な手間を不要とすることができる。また、この場合は、自車両が前進しているときに撮影された複数の撮影画像が視点変換された複数の鳥瞰画像を画像解析することの他に自車両周囲の立体物の検出結果を判定して自車両が駐車可能な位置を駐車候補位置として検索することになるので、自車両が駐車可能な位置を精度良く検索することができる。 As a result, when the user advances the host vehicle and stops at the parking start position, the image analysis is performed on the plurality of bird's-eye images obtained by changing the viewpoints of the plurality of captured images captured when the host vehicle is moving forward. A position where the host vehicle can be parked is searched as a candidate parking position by determining a detection result of a three-dimensional object around the vehicle, and if there is a position where the host vehicle can be parked, the position where the host vehicle can be parked is determined as a parking candidate position. Since it is displayed on the synthetic bird's-eye image and notified to the user, the user moves the host vehicle forward and stops at the parking start position in the same manner as described above. The troublesome labor of setting the target parking position while viewing the bird's-eye view image can be eliminated. In this case, in addition to performing image analysis on a plurality of bird's-eye images obtained by changing the viewpoints of a plurality of captured images taken when the host vehicle is moving forward, a detection result of a three-dimensional object around the host vehicle is determined. Then, since the position where the host vehicle can be parked is searched as a parking candidate position, the position where the host vehicle can be parked can be searched with high accuracy.
請求項5に記載した発明によれば、制御手段は、自車両が前進しているときに、自車両後方を撮影手段により複数のタイミングで撮影させると同時に自車両周囲の立体物を立体物検出手段により検出させると共に自車両の走行状態を走行状態検出手段により検出させ、自車両が前進して駐車開始位置に停止した後に、自車両が前進しているときに撮影手段により撮影された複数の撮影画像が鳥瞰画像作成手段により視点変換された複数の鳥瞰画像を画像解析すると共に立体物検出手段の検出結果及び走行状態検出手段の検出結果を判定して自車両が駐車可能な位置を駐車候補位置として検索する。 According to the fifth aspect of the present invention, when the host vehicle is moving forward, the control unit causes the shooting unit to capture the rear of the host vehicle at a plurality of timings and simultaneously detects a three-dimensional object around the host vehicle. And detecting the traveling state of the host vehicle by the traveling state detecting unit. After the host vehicle moves forward and stops at the parking start position, a plurality of images taken by the shooting unit when the host vehicle is moving forward are captured. Image analysis is performed on a plurality of bird's-eye images obtained by converting the viewpoint of the captured image by the bird's-eye image creation unit, and the detection result of the three-dimensional object detection unit and the detection result of the traveling state detection unit are determined to determine a position where the host vehicle can park Search as a position.
これにより、ユーザが自車両を前進させて駐車開始位置に停止させると、自車両が前進しているときに撮影された複数の撮影画像が視点変換された複数の鳥瞰画像を画像解析すると共に自車両周囲の立体物の検出結果及び自車両の走行状態の検出結果を判定して自車両が駐車可能な位置を駐車候補位置として検索し、自車両が駐車可能な位置が存在すれば、自車両が駐車可能な位置を駐車候補位置として合成鳥瞰画像上に表示してユーザに知らせることになるので、上記した請求項1に記載したものと同様にして、ユーザが自車両を前進させて駐車開始位置に停止させた後に自車両後方の鳥瞰画像を見ながら目標とする駐車位置を設定する面倒な手間を不要とすることができる。また、この場合は、自車両が前進しているときに撮影された複数の撮影画像が視点変換された複数の鳥瞰画像を画像解析することの他に自車両周囲の立体物の検出結果及び自車両の走行状態の検出結果を判定して自車両が駐車可能な位置を駐車候補位置として検索することになるので、自車両が駐車可能な位置を精度良く検索することができる。 Thus, when the user advances the host vehicle and stops at the parking start position, the image analysis is performed on the plurality of bird's-eye images obtained by changing the viewpoints of the plurality of captured images captured when the host vehicle is moving forward. By determining the detection result of the three-dimensional object around the vehicle and the detection result of the running state of the host vehicle, a position where the host vehicle can be parked is searched as a parking candidate position, and if there is a position where the host vehicle can be parked, Is displayed on the synthetic bird's-eye view image as a parking candidate position to inform the user, so that the user advances the host vehicle and starts parking in the same manner as described in claim 1 above. It is possible to eliminate the troublesome work of setting the target parking position while viewing the bird's-eye view image behind the host vehicle after stopping at the position. Further, in this case, in addition to image analysis of a plurality of bird's-eye images obtained by converting viewpoints of a plurality of captured images taken when the host vehicle is moving forward, a detection result of the three-dimensional object around the host vehicle and Since the detection result of the running state of the vehicle is determined and a position where the host vehicle can be parked is searched as a parking candidate position, a position where the host vehicle can be parked can be searched with high accuracy.
請求項6に記載した発明によれば、制御手段は、複数の鳥瞰画像を画像解析して立体物の輪郭を表す立体物輪郭線を作成し、その作成された立体物輪郭線から自車両が駐車可能な位置を駐車候補位置として検索する。これにより、立体物(例えば既に駐車されている駐車車両や建造物など)の輪郭を表す立体物輪郭線を作成することにより、自車両が駐車可能な位置を駐車候補位置として検索することができる。
According to the invention described in
請求項7に記載した発明によれば、制御手段は、複数の鳥瞰画像を画像解析して駐車枠線を検出し、その検出された駐車枠線から自車両が駐車可能な位置を駐車候補位置として検索する。これにより、駐車枠線(例えば路上に引かれている白線)を検出することにより、自車両が駐車可能な位置を駐車候補位置として検索することができる。 According to the seventh aspect of the present invention, the control means detects a parking frame line by analyzing a plurality of bird's-eye images, and determines a position where the host vehicle can be parked from the detected parking frame line as a parking candidate position. Search as. Thereby, the position which can park the own vehicle can be searched as a parking candidate position by detecting a parking frame line (for example, the white line drawn on the road).
請求項8に記載した発明によれば、制御手段は、立体物検出手段の検出結果や走行状態検出手段の検出結果を判定して自車両から立体物までの距離を表す立体物距離マップを作成すると共に、複数の鳥瞰画像を画像解析して作成された立体物輪郭線を当該立体物距離マップに基づいて補正し、その補正された立体物輪郭線から自車両が駐車可能な位置を駐車候補位置として検索する。これにより、自車両から立体物までの距離を表す立体物距離マップを作成すると共に、立体物輪郭線を当該立体物距離マップに基づいて補正することにより、自車両が駐車可能な位置を駐車候補位置として検索することができ、自車両が駐車可能な位置を精度良く検索することができる。
According to the invention described in
請求項9に記載した発明によれば、制御手段は、駐車候補位置を表示手段に表示させている状況で所定条件が成立した場合には、その時点で表示させている駐車候補位置を駐車位置として決定する。これにより、例えばユーザがブレーキ操作を解除したり特定の音声を発したりして所定条件を成立させることにより、その時点で表示させている駐車候補位置を駐車位置として決定することができる。 According to the ninth aspect of the present invention, when the predetermined condition is satisfied in the situation where the parking candidate position is displayed on the display means, the control means determines the parking candidate position displayed at that time as the parking position. Determine as. Thereby, for example, when the user cancels the brake operation or emits a specific sound to establish a predetermined condition, the parking candidate position displayed at that time can be determined as the parking position.
請求項10に記載した発明によれば、制御手段は、駐車候補位置を駐車位置として決定した後に他の所定条件が成立した場合には、自車両を駐車開始位置から駐車位置まで自動操舵手段により自動操舵させる。これにより、例えばユーザがブレーキ操作を解除したり特定の音声を発したりして他の所定条件を成立させることにより、自車両を駐車開始位置から駐車位置まで自動操舵手段により自動操舵させることができる。
According to the tenth aspect of the present invention, when the other predetermined condition is satisfied after the candidate parking position is determined as the parking position, the control means uses the automatic steering means from the parking start position to the parking position. Auto-steer. Thereby, for example, the user can automatically steer the vehicle from the parking start position to the parking position by the automatic steering means by releasing the brake operation or generating a specific sound to establish another predetermined condition. .
(第1の実施形態)
以下、本発明の第1の実施形態について、図1ないし図12を参照して説明する。図1は、駐車支援システムの全体構成を機能ブロック図として示している。駐車支援システム1は、駐車支援ECU2(本発明でいう鳥瞰画像作成手段、合成鳥瞰画像作成手段、制御手段)、エンジンECU3、ヨーレートセンサ4(本発明でいう走行状態検出手段)、ステアリングセンサ5、ナビゲーションECU6及び自動操舵回路7(本発明でいう自動操舵手段)が車載LAN8を介して接続されて構成されている。
(First embodiment)
Hereinafter, a first embodiment of the present invention will be described with reference to FIGS. FIG. 1 shows the overall configuration of the parking assistance system as a functional block diagram. The parking assistance system 1 includes a parking assistance ECU 2 (bird's-eye image creation means, synthetic bird's-eye image creation means, control means in the present invention), an
駐車支援ECU2は、ヨーレートセンサ4から入力されるヨーレート検出信号、ステアリングセンサ5から入力されるステアリング検出信号及び車速センサ9(本発明でいう走行状態検出手段)からエンジンECU3を介して入力される車速検出信号などを解析して駐車支援動作を制御する。操作スイッチ10は、運転席に配置され、ユーザが駐車支援動作を起動させるために操作するもので、ユーザにより操作されると、操作検出信号を駐車支援ECU2へ出力し、駐車支援ECU2は、操作スイッチ10から操作検出信号が入力されることにより、ユーザが駐車支援動作を起動させた旨を検出する。
The
車載カメラ11(本発明でいう撮影手段)は、自車両の車体の後部に取付けられ、自車両後方を撮影するもので、自車両後方の撮影画像を駐車支援ECU2へ出力し、駐車支援ECU2は、車載カメラ11から撮影画像が入力されると、その入力された撮影画像を所定の視点変換アルゴリズムに基づいて視点変換して鳥瞰画像を作成し、複数の鳥瞰画像を所定の合成アルゴリズムに基づいて合成して合成鳥瞰画像を作成する。表示装置12(本発明でいう表示手段)は、車室内にあってユーザが見易い位置に配置され、駐車支援ECU2から表示指示信号が入力されると、駐車支援ECU2により作成された合成鳥瞰画像を表示する。
The in-vehicle camera 11 (photographing means in the present invention) is attached to the rear part of the vehicle body of the host vehicle and captures the rear side of the host vehicle, and outputs a captured image of the rear side of the host vehicle to the
車速センサ9は、車速を検出し、その検出された車速を表す車速検出信号をエンジンECU3へ出力する。エンジンECU3は、車速センサ9から車速検出信号が入力されると、その入力された車速検出信号に基づいてエンジンの制御を行うと共に、その入力された車速検出信号を車載LAN8を介して駐車支援ECU2へ出力する。ヨーレートセンサ4は、ヨーレートを検出し、その検出されたヨーレートを表すヨーレート検出信号を車載LAN8を介して駐車支援ECU2へ出力する。ステアリングセンサ5は、ステアリングを検出し、その検出されたステアリングを表すステアリング検出信号を車載LAN8を介して駐車支援ECU2へ出力する。
The
ナビゲーションECU6は、車両に搭載されているナビゲーション装置(図示せず)の動作を制御する。尚、上記した構成において、ユーザの操作を操作スイッチ10により受付ける機能や合成鳥瞰画像を表示装置12により表示する機能は、ナビゲーション装置の機能により代用されていても良い。自動操舵回路7は、駐車支援ECU2から自動操舵制御信号が入力されると、その入力された自動操舵制御信号に基づいて自車両を自動操舵する。
The
次に、上記した構成の作用について、図2ないし図12を参照して説明する。ここで、図2及び図3は、駐車支援ECU2が行う処理をフローチャートとして示している。 Next, the operation of the above configuration will be described with reference to FIGS. Here, FIG.2 and FIG.3 has shown the process which parking assistance ECU2 performs as a flowchart.
最初に、ユーザは、自車両を前進させて駐車開始位置に停止させた後に旋回させながら後退させて駐車させる場合には、自車両を駐車開始位置に停止させる前の適当なタイミング、つまり、自車両を前進させている途中の適当なタイミングで操作スイッチ10を操作することにより、駐車支援動作を起動させる。尚、本実施形態では、ユーザが操作スイッチ10を操作することにより駐車支援動作が起動される場合を説明したが、ユーザが特定の音声を発することにより駐車支援動作が起動される構成であっても良いし、自車両が減速して自車両の前進速度が所定速度以下に低下した場合に駐車支援動作が自動的に起動される構成であっても良い。
First, when the user moves the own vehicle forward and stops at the parking start position and then turns back and parks the vehicle, an appropriate timing before stopping the own vehicle at the parking start position, that is, the own vehicle. By operating the
駐車支援ECU2は、操作スイッチ10から操作検出信号が入力されると、駐車支援動作を起動し、自車両の移動量が所定距離(例えば10センチメートル)に到達したか否かを判定すると共に(ステップS1)、自車両が駐車開始位置に停止したか否かを判定する(ステップS2)。ここで、駐車支援ECU2は、自車両の移動量が所定距離に到達した旨を検出すると(ステップS1にて「YES」)、自車両後方を車載カメラ11により撮影させ(ステップS3)、その撮影された撮影画像を保存する(ステップS4)。そして、駐車支援ECU2は、自車両が駐車開始位置に停止した旨を検出するまで上記した処理を繰返して行い、自車両が駐車開始位置に停止した旨を検出すると(ステップS2またはステップS5にて「YES」)、シフト操作がバック位置に移動されたか否かを判定する(ステップS6)。
When the operation detection signal is input from the
ここで、ユーザは、自車両を駐車開始位置に停止させると、ブレーキ操作(例えばフットブレーキ操作)を維持したままシフト操作をバック位置に移動させる。駐車支援ECU2は、シフト操作がバック位置に移動された旨を検出すると(ステップS6にて「YES」)、駐車候補位置表示処理へ移行する(ステップS7)。
Here, when the user stops the host vehicle at the parking start position, the user moves the shift operation to the back position while maintaining the brake operation (for example, foot brake operation). When the parking assist
さて、駐車支援ECU2は、駐車候補位置表示処理へ移行すると、これまでに保存させておいた複数の撮影画像、つまり、自車両が前進しているときに複数のタイミングで撮影された複数の撮影画像を視点変換して複数の鳥瞰画像を作成する(ステップS11)。そして、駐車支援ECU2は、それら作成された複数の鳥瞰画像を合成して合成鳥瞰画像を作成する。
When the
具体的に説明すると、駐車支援ECU2は、図4に示すように、自車両(図4では「自車両A」にて示す)が走行位置a、走行位置b及び走行位置cを経由して駐車開始位置に停止した場合を想定すると、自車両が走行位置aを走行しているときに撮影された撮影画像、自車両が走行位置bを走行しているときに撮影された撮影画像、自車両が走行位置cを走行しているときに撮影された撮影画像及び自車両が駐車開始位置に停止したときに撮影された撮影画像の各々を視点変換して鳥瞰画像を作成する。そして、駐車支援ECU2は、それら作成された複数の鳥瞰画像を合成して合成鳥瞰画像を作成する。
Specifically, as shown in FIG. 4, the parking assist
尚、この場合、駐車支援ECU2は、鳥瞰画像同士のズレが大きい場合には、そのズレを演算して立体物(障害物)を検出すると共に、立体物が存在する領域については立体物が占める面積が最小となるように全ての鳥瞰画像を合成し(重ね合わせ)、立体物については視点変換することなく実画像を変形して当該立体物の領域を埋めることにより、合成鳥瞰画像を作成しても良い。
In this case, when the deviation between the bird's-eye images is large, the
次いで、駐車支援ECU2は、複数の鳥瞰画像に基づいて立体物を検出して当該立体物の輪郭を表す立体物輪郭線を作成し(ステップS12)、また、複数の鳥瞰画像に基づいて駐車枠線を検出する(ステップS13)。具体的に説明すると、駐車支援ECU2は、上記した図4に示したように、自車両が停止した駐車開始位置の周囲に例えば3台の駐車車両が駐車されていると共に壁が立設され、また、路上に白線が引かれている場合を想定すると、複数の鳥瞰画像を画像解析することにより、図5に示すように、駐車車両の輪郭線や壁の輪郭線を立体物輪郭線として作成すると共に、路上に引かれている白線を駐車枠線として検出する。
Next, the parking assist
尚、本実施形態では、駐車支援ECU2が立体物輪郭線を作成する機能及び駐車枠線を検出する機能を備えていることにより、駐車支援ECU2が駐車車両の輪郭線や壁の輪郭線を立体物輪郭線として作成すると共に、路上に引かれている白線を駐車枠線として検出する場合を説明したが、いずれか一方の機能を備えていることにより、図6に示すように、駐車車両の輪郭線や壁の輪郭線を立体物輪郭線として作成するだけの構成であっても良いし、図7に示すように、路上に引かれている白線を駐車枠線として検出するだけの構成であっても良い。
In the present embodiment, the
そして、駐車支援ECU2は、その時点、つまり、自車両が駐車開始位置に停止した時点での操舵角の方向に基づいて自車両の予想進行方向を特定し、その特定された自車両の予想進行方向の範囲について立体物輪郭線や駐車枠線から駐車候補位置を検索する(ステップS14)。ここで、駐車支援ECU2は、次のようにして駐車候補位置を検索する。
Then, the parking assist
すなわち、駐車支援ECU2は、立体物輪郭線から駐車候補位置を検索する場合には、その作成された立体物輪郭線の形状を識別し、図6(b)に示すように、例えば立体物輪郭線の形状が自車両長(自車両の前後方向の全長)よりも長い奥行き(自車両長+α)及び自車両幅(自車両の左右方向の全幅)よりも広い幅(自車両長+β)の窪みを有する形状である旨を検出すると、駐車候補位置が存在する旨を検出し、一方、立体物輪郭線の形状が自車両長よりも長い奥行き及び自車両幅よりも広い幅の窪みを有する形状でない旨を検出すると、駐車候補位置が存在しない旨を検出する。
That is, when the parking assist
また、駐車支援ECU2は、駐車枠線から駐車候補位置を検索する場合には、その検出された駐車枠線形状を識別し、図7(b)に示すように、例えば2本の駐車枠線が自車両長よりも長い長さ及び自車両幅よりも広い幅を有するように対をなしている旨を検出すると、駐車候補位置が存在する旨を検出し、一方、2本の駐車枠線が自車両長よりも長い長さ及び自車両幅よりも広い幅を有するように対をなしていない旨を検出すると、駐車候補位置が存在しない旨を検出する。
Further, when searching for a parking candidate position from the parking frame line, the parking assist
さらに、駐車支援ECU2は、立体物輪郭線及び駐車枠線から駐車候補位置を検索する場合には、その作成された立体物輪郭線の形状及び検出された駐車枠線の形状を識別し、例えば立体物輪郭線の形状が1本の駐車枠線から離れた位置に自車両幅よりも広い幅の窪みを有する形状である旨を検出すると、駐車候補位置が存在する旨を検出し、一方、立体物輪郭線の形状が1本の駐車枠線から離れた位置に自車両幅よりも広い幅の窪みを有する形状でない旨を検出すると、駐車候補位置が存在しない旨を検出する。尚、以上に説明した駐車候補位置が存在するか否かの判定基準は一例であり、これら以外の判定基準により駐車候補位置が存在するか否かを判定しても良い。また、図6(b)にて示すα,βと図7(b)にて示すα,βとは自車両長や自車両幅に応じて異なる値であっても良い。
Further, when the parking assist
そして、駐車支援ECU2は、自車両の予想進行方向の範囲について駐車候補位置を検索した結果として、駐車候補位置が存在する旨を検出すると(ステップS15にて「YES」)、図8に示すように、自車両を表す自車両図形と駐車候補位置を表す駐車候補位置図形とを合成鳥瞰画像に重畳して表示装置12に表示させる(ステップS16)。この場合、駐車支援ECU2は、自車両の駐車開始位置から駐車候補位置までの予想進路を表す予想進路矢印をも合成鳥瞰画像に重畳して表示装置12に表示させても良い。
And if parking assistance ECU2 detects that a parking candidate position exists as a result of having searched the parking candidate position about the range of the estimated advancing direction of the own vehicle ("YES" in step S15), as shown in FIG. In addition, the host vehicle graphic representing the host vehicle and the parking candidate position diagram representing the parking candidate position are superimposed on the synthesized bird's-eye image and displayed on the display device 12 (step S16). In this case, the parking assist
これに対して、駐車支援ECU2は、自車両の予想進行方向の範囲について駐車候補位置を検索したものの、駐車候補位置が存在しない旨を検出すると(ステップS15にて「NO」)、自車両の予想進行方向を基準とした自車両に近い方向の範囲について上記した手順と同様の手順を行うことにより立体物輪郭線や駐車枠線から駐車候補位置を検索する(ステップS17)。具体的に説明すると、駐車支援ECU2は、図9(a)に示すように、駐車候補位置を検索する範囲を自車両の予想進行方向を基準とした自車両に近い方向(図9では左方向)に移動させ、自車両の予想進行方向を基準とした自車両に近い方向の範囲について立体物輪郭線や駐車枠線から駐車候補位置を検索する。
On the other hand, the parking assist
そして、駐車支援ECU2は、自車両の予想進行方向を基準とした自車両に近い方向の範囲について駐車候補位置を検索した結果として、駐車候補位置が存在する旨を検出すると(ステップS18にて「YES」)、上記したように自車両を表す自車両図形と駐車候補位置を表す駐車候補位置図形とを合成鳥瞰画像に重畳して表示装置12に表示させる(ステップS16)。 And parking assistance ECU2 will detect that a parking candidate position exists as a result of having searched the parking candidate position about the range of the direction close | similar to the own vehicle on the basis of the estimated advancing direction of the own vehicle (in step S18, " YES ”), as described above, the own vehicle graphic representing the own vehicle and the parking candidate position graphic representing the parking candidate position are superimposed on the synthesized bird's-eye image and displayed on the display device 12 (step S16).
これに対して、駐車支援ECU2は、自車両の予想進行方向を基準とした自車両に近い方向の範囲について駐車候補位置を検索したものの、駐車候補位置が存在しない旨を検出すると(ステップS18にて「NO」)、自車両の予想進行方向を基準とした自車両から遠い方向の範囲について上記した手順と同様の手順を行うことにより立体物輪郭線や駐車枠線から駐車候補位置を検索する(ステップS19)。具体的に説明すると、駐車支援ECU2は、図9(b)に示すように、駐車候補位置を検索する範囲を自車両の予想進行方向を基準とした自車両から遠い方向(図9では右方向)に移動させ、自車両の予想進行方向を基準とした自車両から遠い方向の範囲について立体物輪郭線や駐車枠線から駐車候補位置を検索する。
On the other hand, the parking assist
そして、駐車支援ECU2は、自車両の予想進行方向を基準とした自車両から遠い方向の範囲について駐車候補位置を検索した結果として、駐車候補位が存在する旨を検出すると(ステップS20にて「YES」)、上記したように自車両を表す自車両図形と駐車候補位置を表す駐車候補位置図形とを合成鳥瞰画像に重畳して表示装置12に表示させる(ステップS16)。 And parking assistance ECU2 will detect that a parking candidate position exists as a result of having searched the parking candidate position about the range of the direction far from the own vehicle on the basis of the estimated advancing direction of the own vehicle (in step S20, " YES ”), as described above, the own vehicle graphic representing the own vehicle and the parking candidate position graphic representing the parking candidate position are superimposed on the synthesized bird's-eye image and displayed on the display device 12 (step S16).
これに対して、駐車支援ECU2は、自車両の予想進行方向を基準とした自車両から遠い方向の範囲について駐車候補位置を検索したものの、駐車候補位置が存在しない旨を検出すると(ステップS20にて「NO」)、駐車候補位置が存在しない旨を表す未検出メッセージを表示装置12に表示させる(ステップS21)。このようにして、駐車支援ECU2は、いずれかの方向の範囲を検索して駐車候補位置が存在する旨を検出すると、駐車候補位置を表示装置12に表示させ、一方、いずれの方向の範囲を検索したものの駐車候補位置が存在しない旨を検出すると、未検出メッセージを表示装置12に表示させる。
On the other hand, the parking assist
そして、ユーザは、このようにして駐車候補位置が表示されると、その表示されている駐車候補位置を駐車位置(ユーザが自車両を最終的に駐車させたい位置)として決定させる。駐車支援ECU2は、ユーザによりブレーキ操作が解除されたか否か(本発明でいう所定条件が成立したか否か、本発明でいう他の所定条件が成立したか否か)を判定し(ステップS8)、ユーザによりブレーキ操作が解除された旨を検出すると(ステップS8にて「YES」)、その時点で表示されている駐車候補位置を駐車位置として決定し(ステップS9)、自動操舵制御信号を自動操舵回路7へ出力し、自車両を駐車開始位置から駐車位置まで自動操舵させる(ステップS10)。
Then, when the parking candidate position is displayed in this way, the user determines the displayed parking candidate position as a parking position (a position where the user finally wants to park the host vehicle). The
尚、本実施形態では、ユーザがブレーキ操作を解除することにより駐車候補位置を駐車位置として決定して自車両を駐車開始位置から駐車位置まで自動操舵させる場合を説明したが、駐車候補位置を駐車位置として決定する条件や自車両を駐車開始位置から駐車位置まで自動操舵させる条件は、例えばユーザが特定の音声を発したり特定のスイッチ操作を行ったりするなどの他のものであっても良い。また、それらの条件が互いに異なる条件であっても良い。 In the present embodiment, the case where the user releases the brake operation to determine the parking candidate position as the parking position and automatically steers the vehicle from the parking start position to the parking position has been described. The conditions for determining the position and the conditions for automatically steering the host vehicle from the parking start position to the parking position may be other things such as a user making a specific sound or performing a specific switch operation, for example. Further, the conditions may be different from each other.
以上に説明した一連の処理を行うことにより、ユーザは、自車両を前進させて駐車開始位置に停止させた後に旋回させながら後退させて駐車させる場合には、自車両を駐車開始位置に停止させると、自車両が駐車可能な位置が駐車候補位置として表示されることになり、その表示されている駐車候補位置を駐車位置として決定しても支障がない場合には、ブレーキ操作を解除することにより、駐車候補位置を駐車位置として決定することができ、自車両を駐車開始位置から駐車位置まで自動操舵により駐車させることができる。つまり、ユーザは、自車両後方の鳥瞰画像を見ながら目標とする駐車位置を設定するという面倒な手間を行うことなく、自車両を駐車開始位置から駐車位置まで容易に駐車させることができる。 By performing the series of processes described above, the user stops the host vehicle at the parking start position when the host vehicle moves forward and stops at the parking start position, and then moves backward while parking. If the position where the host vehicle can be parked is displayed as the parking candidate position, and there is no problem even if the displayed parking candidate position is determined as the parking position, the brake operation is released. Thus, the parking candidate position can be determined as the parking position, and the host vehicle can be parked from the parking start position to the parking position by automatic steering. That is, the user can easily park the host vehicle from the parking start position to the parking position without performing the troublesome task of setting a target parking position while viewing the bird's-eye view image behind the host vehicle.
ところで、以上は、駐車候補位置を検索した結果として駐車候補位置が1つ存在する場合を説明したものであるが、駐車候補位置を検索した結果として駐車候補位置が複数存在する場合であれば、図10〜図12に示すように、それら検索された複数の駐車候補位置のうち操舵角から特定される予想進行方向の駐車候補位置のみを表示し、ユーザがステアリングを操作して操舵角を変更することに応じて駐車候補位置を順次表示するようにしても良い。 By the way, the above describes the case where there is one parking candidate position as a result of searching for a parking candidate position, but if there are a plurality of parking candidate positions as a result of searching for a parking candidate position, As shown in FIGS. 10 to 12, only the parking candidate positions in the expected traveling direction specified from the steering angle among the plurality of searched parking candidate positions are displayed, and the user operates the steering to change the steering angle. The parking candidate positions may be sequentially displayed in response to this.
具体的に説明すると、上記した図4に示した環境の下で駐車車両が全く存在しない場合には、駐車候補位置が複数存在することになるので、図10に示す表示画像が表示されている状態から、ユーザがブレーキ操作を維持したままステアリングを左方向へ旋回した場合には、図11に示すように、駐車候補位置を左方向に移動して表示しても良いし、一方、ユーザがブレーキ操作を維持したままステアリングを右方向へ旋回した場合には、図12に示すように、駐車候補位置を右方向に移動して表示しても良い。 More specifically, when there is no parked vehicle under the environment shown in FIG. 4, there are a plurality of parking candidate positions, so the display image shown in FIG. 10 is displayed. When the user turns the steering wheel to the left while maintaining the brake operation from the state, the parking candidate position may be moved and displayed in the left direction as shown in FIG. When the steering wheel is turned to the right while maintaining the brake operation, the parking candidate position may be moved to the right and displayed as shown in FIG.
以上に説明したように第1の実施形態によれば、駐車支援システム1において、自車両が前進しているときに、自車両後方を撮影し、自車両が前進して駐車開始位置に停止した後に、自車両が前進しているときに撮影された複数の撮影画像が視点変換された複数の鳥瞰画像を画像解析して自車両が駐車可能な位置を駐車候補位置として検索し、自車両が駐車可能な位置が存在すれば、自車両が駐車可能な位置を駐車候補位置として合成鳥瞰画像上に表示してユーザに知らせるように構成した。 As described above, according to the first embodiment, in the parking support system 1, when the host vehicle is moving forward, the rear of the host vehicle is photographed, and the host vehicle moves forward and stops at the parking start position. Later, a plurality of bird's-eye images obtained by converting a plurality of captured images taken when the host vehicle is moving forward are subjected to image analysis, and a position where the host vehicle can be parked is searched as a parking candidate position. If there is a position where the vehicle can be parked, a position where the host vehicle can be parked is displayed as a parking candidate position on the synthesized bird's-eye view image to inform the user.
これにより、従来のものとは異なって、ユーザが自車両を前進させて駐車開始位置に停止させた後に鳥瞰画像を見ながら目標とする駐車位置を設定する面倒な手間を不要とすることができ、ユーザが自車両を駐車開始位置に停止させてから駐車動作を開始させるまでのタイミングの遅れを抑えることができ、使い勝手を高めることができる。 Thereby, unlike the conventional one, it is possible to eliminate the troublesome work of setting the target parking position while viewing the bird's-eye view image after the user advances the host vehicle and stops at the parking start position. And the delay of the timing after a user stops the own vehicle to a parking start position until it starts parking operation can be suppressed, and usability can be improved.
(第2の実施形態)
次に、本発明の第2の実施形態について、図13ないし図16を参照して説明する。尚、上記した第1の実施形態と同一部分については説明を省略し、異なる部分について説明する。第2の実施形態は、上記した第1の実施形態と比較すると、自車両周囲の立体物をソナーにより検出すると共に車速センサやヨーレートセンサにより自車両の走行状態を検出することにより、それらの検出結果に基づいて立体物輪郭線を補正する点が異なる。すなわち、駐車支援システム21において、ソナー22(本発明でいう立体物検出手段)は、例えば自車両の車体の側部に取付けられ、超音波を所定方向へ向けて送出して反射波の受信状態に基づいて自車両周囲の立体物を検出する。
(Second Embodiment)
Next, a second embodiment of the present invention will be described with reference to FIGS. In addition, description is abbreviate | omitted about the same part as above-mentioned 1st Embodiment, and a different part is demonstrated. Compared to the first embodiment described above, the second embodiment detects three-dimensional objects around the host vehicle by sonar and detects the running state of the host vehicle by a vehicle speed sensor or a yaw rate sensor. The point which correct | amends a solid-object outline based on a result differs. That is, in the parking assist
この場合、駐車支援ECU2は、自車両の移動量が所定距離に到達した旨を検出すると(ステップS1にて「YES」)、自車両後方を車載カメラ11により撮影させると同時に、自車両周囲の立体物をソナー22により検出させ、車速を車速センサ9により検出させると共にヨーレートをヨーレートセンサ4により検出させ(ステップS31)、その撮影された撮影画像を保存すると同時に、それら検出された自車両周囲の立体物の検出結果を保存すると共に車速及びヨーレートの検出結果を保存する(ステップS32)。そして、駐車支援ECU2は、この場合も、自車両が駐車開始位置に停止した旨を検出するまで上記した処理を繰返して行う。
In this case, when the
次いで、駐車支援ECU2は、駐車候補位置表示処理へ移行すると、複数の鳥瞰画像を作成し(ステップS11)、その作成された複数の鳥瞰画像に基づいて立体物を検出して当該立体物の輪郭を表す立体物輪郭線を作成し(ステップS12)、また、複数の鳥瞰画像に基づいて駐車枠線を検出するが(ステップS13)、この場合は、保存させておいた自車両周囲の立体物の検出結果と車速及びヨーレートの検出結果、つまり、自車両が前進しているときに検出された自車両周囲の立体物と車速及びヨーレートを判定して実際の状況に近い(精度の高い)自車両と立体物との相対的な位置関係を表す立体物距離マップを作成し(ステップS41)、その作成された立体物輪郭線を立体物距離マップに基づいて補正する(ステップS42)。
Next, when the
具体的に説明すると、駐車支援ECU2は、図16に示すように、ソナー22の実測点の配列にしたがって立体物距離マップを作成し、立体物輪郭線を立体物距離マップに基づいて補正する。尚、図6では、駐車車両の位置や壁の位置を正確に検出することができたものとして合成鳥瞰画像上での位置として示しているが、実際には複数の鳥瞰画像同士のズレが大きい場合に、そのズレを演算して立体物(障害物)を検出しているので、合成鳥瞰画像を作成する上で発生される誤差の影響により、立体物距離マップの実測点は図6中に示されている駐車車両の位置や壁の位置とは必ずしも一致しない。また、複数の鳥瞰画像を画像解析して作成された立体物輪郭線の全ての箇所を立体物距離マップに基づいて補正する必要はなく、部分的に補正しても良い。
Specifically, as shown in FIG. 16, the parking assist
そして、駐車支援ECU2は、このようにして立体物距離マップに基づいて補正された立体物輪郭線を利用し、これ以降、上記した第1の実施形態に記載したものと同様の処理を行うことにより、立体物輪郭線や駐車枠線から駐車候補位置を検索する。 And parking assistance ECU2 utilizes the solid object outline corrected based on the solid object distance map in this way, and thereafter performs the same processing as that described in the first embodiment described above. Thus, the parking candidate position is searched from the three-dimensional object outline and the parking frame line.
ところで、以上は、自車両周囲の立体物をソナーにより検出する構成を説明したが、自車両周囲の立体物をレーダにより検出する構成であっても良く、精度を高めるために自車両周囲の立体物をソナーとレーダとを組み合わせて検出する構成であっても良い。また、自車両周囲の立体物をソナーにより検出すると共に車速センサやヨーレートセンサにより自車両の走行状態を検出する構成を説明したが、自車両周囲の立体物だけを判定して立体物距離マップを作成する構成であっても良い。 By the way, the configuration in which the three-dimensional object around the own vehicle is detected by the sonar has been described above, but the configuration in which the three-dimensional object around the own vehicle is detected by the radar may be used. The configuration may be such that an object is detected by combining sonar and radar. In addition, the configuration in which the three-dimensional object around the own vehicle is detected by the sonar and the traveling state of the own vehicle is detected by the vehicle speed sensor or the yaw rate sensor has been described, but only the three-dimensional object around the own vehicle is determined and the three-dimensional object distance map is displayed. The structure to create may be sufficient.
以上に説明したように第2の実施形態によれば、駐車支援システム21において、自車両が前進しているときに、自車両後方を撮影すると同時に自車両周囲の立体物を検出すると共に自車両の走行状態を検出し、自車両が前進して駐車開始位置に停止した後に、自車両が前進しているときに撮影された複数の撮影画像が視点変換された複数の鳥瞰画像を画像解析すると共に立体物の検出結果及び自車両の走行状態の検出結果を判定して自車両が駐車可能な位置を駐車候補位置として検索し、自車両が駐車可能な位置が存在すれば、自車両が駐車可能な位置を駐車候補位置として合成鳥瞰画像上に表示してユーザに知らせるように構成した。
As described above, according to the second embodiment, in the
これにより、上記した第1の実施形態に記載したものと同様にして、ユーザが自車両を前進させて駐車開始位置に停止させた後に鳥瞰画像を見ながら目標とする駐車位置を設定する面倒な手間を不要とすることができ、ユーザが自車両を駐車開始位置に停止させてから駐車動作を開始させるまでのタイミングの遅れを抑えることができ、使い勝手を高めることができる。また、この場合は、複数の鳥瞰画像を画像解析すると共に自車両周囲の立体物の検出結果及び自車両の走行状態の検出結果を判定して自車両が駐車可能な位置を駐車候補位置として検索することになるので、自車両が駐車可能な位置を精度良く検索することができる。 Accordingly, in the same manner as described in the first embodiment, it is troublesome to set a target parking position while viewing the bird's-eye view image after the user advances the host vehicle and stops at the parking start position. Time can be eliminated, and a delay in timing from when the user stops the host vehicle to the parking start position until the parking operation is started can be suppressed, and usability can be improved. In this case, image analysis is performed on a plurality of bird's-eye images, and a detection result of a three-dimensional object around the host vehicle and a detection result of the running state of the host vehicle are determined to search for a position where the host vehicle can be parked as a parking candidate position. Therefore, the position where the host vehicle can be parked can be searched with high accuracy.
(その他の実施形態)
本発明は、上記した実施形態にのみ限定されるものではなく、以下のように変形または拡張することができる。
ナビゲーション装置から地図情報を取込むことにより、自車両が駐車場に進入した場合に駐車支援動作が自動的に起動される構成であっても良い。
ユーザがシフト操作をバック位置に移動させた場合に駐車候補位置表示処理を行う構成に限らず、例えばユーザが特定の音声を発したり特定のスイッチ操作を行ったりするなどの別の条件が成立した場合に駐車候補位置表示処理を行う構成であっても良い。
(Other embodiments)
The present invention is not limited to the above-described embodiment, and can be modified or expanded as follows.
The configuration may be such that the parking support operation is automatically activated when the host vehicle enters the parking lot by taking in the map information from the navigation device.
Not only is the configuration in which the parking candidate position display process is performed when the user moves the shift operation to the back position, but other conditions such as the user making a specific voice or performing a specific switch operation are established. In this case, the configuration may be such that parking candidate position display processing is performed.
路上に引かれている白線を駐車枠線として検出する構成に限らず、路上に張られているロープを駐車枠線として検出する構成であっても良い。
自車両後方を撮影する車載カメラにより撮影された撮影画像だけでなく、自車両側方を撮影する車載カメラにより撮影された撮影画像をも視点変換して立体物を検出したり合成鳥瞰画像を作成したりしても良い。
第2の実施形態において、自車両周囲の立体物を超音波を送出するソナーにより検出する構成に限らず、電磁波を送出するセンサやレーザー光を送出するセンサにより検出する構成であっても良い。
The configuration is not limited to detecting a white line drawn on the road as a parking frame line, but may be a configuration detecting a rope stretched on the road as a parking frame line.
Converts viewpoints not only of the images taken by the in-vehicle camera that captures the back of the vehicle but also the images captured by the in-vehicle camera that captures the side of the vehicle, and detects three-dimensional objects and creates a composite bird's-eye view image You may do it.
In 2nd Embodiment, the structure detected not only by the structure which detects the solid object around the own vehicle by the sonar which sends out an ultrasonic wave but by the sensor which sends out electromagnetic waves, and the sensor which sends out laser light may be sufficient.
図面中、1は駐車支援システム、2は駐車支援ECU(鳥瞰画像作成手段、合成鳥瞰画像作成手段、制御手段)、4はヨーレートセンサ(走行状態検出手段)、7は自動操舵回路(自動操舵手段)、9は車速センサ(走行状態検出手段)、11は車載カメラ(撮影手段)、12は表示装置(表示手段)、21は駐車支援システム、22はソナー(立体物検出手段)である。
In the drawings, 1 is a parking assistance system, 2 is a parking assistance ECU (bird's-eye image creation means, synthetic bird's-eye image creation means, control means), 4 is a yaw rate sensor (running state detection means), and 7 is an automatic steering circuit (automatic steering means). ), 9 is a vehicle speed sensor (running state detection means), 11 is an in-vehicle camera (photographing means), 12 is a display device (display means), 21 is a parking support system, and 22 is a sonar (three-dimensional object detection means).
Claims (10)
自車両後方を撮影する撮影手段と、
前記撮影手段により撮影された撮影画像を視点変換して鳥瞰画像を作成する鳥瞰画像作成手段と、
前記鳥瞰画像作成手段により作成された複数の鳥瞰画像を合成して合成鳥瞰画像を作成する合成鳥瞰画像作成手段と、
自車両が前進しているときに、自車両後方を前記撮影手段により複数のタイミングで撮影させ、自車両が前進して駐車開始位置に停止した後に、自車両が前進しているときに前記撮影手段により撮影された複数の撮影画像が前記鳥瞰画像作成手段により視点変換された複数の鳥瞰画像を画像解析して自車両が駐車可能な位置を駐車候補位置として検索し、その検索結果を前記合成鳥瞰画像作成手段により作成された合成鳥瞰画像に重畳して表示手段に表示させる制御手段とを備え、
前記制御手段は、自車両が駐車開始位置に停止した時点での操舵角に基づいて自車両の予想進行方向を特定し、その特定された自車両の予想進行方向の範囲について自車両が駐車可能な位置を駐車候補位置として検索し、駐車候補位置を決定することが不可であった場合には、自車両の予想進行方向を基準とした自車両に近い方向または自車両から遠い方向の範囲について自車両が駐車可能な位置を駐車候補位置として検索することを特徴とする駐車支援システム。 A parking assistance system that assists driving when the host vehicle moves forward and stops at the parking start position and turns backward while parking.
Photographing means for photographing the rear of the vehicle;
A bird's-eye image creation means for creating a bird's-eye image by converting the viewpoint of the photographed image photographed by the photographing means;
A synthesized bird's-eye image creation means for creating a synthesized bird's-eye image by combining a plurality of bird's-eye images created by the bird's-eye image creation means;
When the host vehicle is moving forward, the rear of the host vehicle is photographed at a plurality of timings by the photographing means, and after the host vehicle moves forward and stops at the parking start position, the shooting is performed when the host vehicle is moving forward. A plurality of bird's-eye images obtained by converting the plurality of captured images taken by the means by the bird's-eye image creation means are image-analyzed to search for a position where the host vehicle can be parked as a parking candidate position, and the search result is the composite Control means for superimposing the synthesized bird's-eye image created by the bird's-eye image creation means on the display means ,
The control means identifies the predicted traveling direction of the host vehicle based on the steering angle at the time when the host vehicle stops at the parking start position, and the host vehicle can park the range of the identified predicted traveling direction of the host vehicle. If it is impossible to determine a candidate parking position and determine a candidate parking position, a range in a direction near or far from the own vehicle based on the predicted traveling direction of the own vehicle A parking support system that searches a position where the host vehicle can be parked as a parking candidate position .
前記制御手段は、自車両の予想進行方向の範囲または自車両の予想進行方向を基準とした自車両に近い方向または自車両から遠い方向の範囲について自車両が駐車可能な位置を駐車候補位置として検索し、駐車候補位置を決定することが不可であった場合には、自車両の予想進行方向を基準とした検索した方向とは逆の方向の範囲について自車両が駐車可能な位置を駐車候補位置として検索することを特徴とする駐車支援システム。 In the parking assistance system according to claim 1 ,
Before SL control means, parking candidate positions available parking position the vehicle is about the expected traveling direction of the range or far range of directions from the direction or the vehicle near the expected traveling direction of the host vehicle on the basis of the vehicle of the vehicle If it is impossible to determine the candidate parking position, the vehicle is parked at a position where the host vehicle can park in a range in the direction opposite to the searched direction based on the predicted traveling direction of the host vehicle. A parking support system characterized by searching as a candidate position.
自車両後方を撮影する撮影手段と、
前記撮影手段により撮影された撮影画像を視点変換して鳥瞰画像を作成する鳥瞰画像作成手段と、
前記鳥瞰画像作成手段により作成された複数の鳥瞰画像を合成して合成鳥瞰画像を作成する合成鳥瞰画像作成手段と、
自車両が前進しているときに、自車両後方を前記撮影手段により複数のタイミングで撮影させ、自車両が前進して駐車開始位置に停止した後に、自車両が前進しているときに前記撮影手段により撮影された複数の撮影画像が前記鳥瞰画像作成手段により視点変換された複数の鳥瞰画像を画像解析して自車両が駐車可能な位置を駐車候補位置として検索し、その検索結果を前記合成鳥瞰画像作成手段により作成された合成鳥瞰画像に重畳して表示手段に表示させる制御手段とを備え、
前記制御手段は、自車両が駐車開始位置に停止した時点での操舵角に基づいて自車両の予想進行方向を特定し、その特定された自車両の予想進行方向の範囲または自車両の予想進行方向を基準とした自車両に近い方向または自車両から遠い方向の範囲について自車両が駐車可能な位置を駐車候補位置として検索し、駐車候補位置を決定することが不可であった場合には、自車両の予想進行方向を基準とした検索した方向とは逆の方向の範囲について自車両が駐車可能な位置を駐車候補位置として検索することを特徴とする駐車支援システム。 A parking assistance system that assists driving when the host vehicle moves forward and stops at the parking start position and turns backward while parking.
Photographing means for photographing the rear of the vehicle;
A bird's-eye image creation means for creating a bird's-eye image by converting the viewpoint of the photographed image photographed by the photographing means;
A synthesized bird's-eye image creation means for creating a synthesized bird's-eye image by combining a plurality of bird's-eye images created by the bird's-eye image creation means;
When the host vehicle is moving forward, the rear of the host vehicle is photographed at a plurality of timings by the photographing means, and after the host vehicle moves forward and stops at the parking start position, the shooting is performed when the host vehicle is moving forward. A plurality of bird's-eye images obtained by converting the plurality of captured images taken by the means by the bird's-eye image creation means are image-analyzed to search for a position where the host vehicle can be parked as a parking candidate position, and the search result is the composite Control means for superimposing the synthesized bird's-eye image created by the bird's-eye image creation means on the display means,
The control means identifies the predicted traveling direction of the host vehicle based on the steering angle at the time when the host vehicle stops at the parking start position, and the range of the predicted traveling direction of the identified host vehicle or the predicted progress of the host vehicle. When it is impossible to search a position where the host vehicle can be parked as a parking candidate position for a range in a direction close to the host vehicle or a direction far from the host vehicle based on the direction, and determining the parking candidate position, A parking support system, wherein a position where the host vehicle can be parked is searched as a parking candidate position for a range in a direction opposite to the direction searched with respect to the predicted traveling direction of the host vehicle.
自車両周囲の立体物を電磁波、超音波またはレーザー光により検出する立体物検出手段を備え、
前記制御手段は、自車両が前進しているときに、自車両後方を前記撮影手段により複数のタイミングで撮影させると同時に自車両周囲の立体物を前記立体物検出手段により検出させ、自車両が前進して駐車開始位置に停止した後に、自車両が前進しているときに前記撮影手段により撮影された複数の撮影画像が前記鳥瞰画像作成手段により視点変換された複数の鳥瞰画像を画像解析すると共に前記立体物検出手段の検出結果を判定して自車両が駐車可能な位置を駐車候補位置として検索することを特徴とする駐車支援システム。 In the parking assistance system according to any one of claims 1 to 3,
Provided with a three-dimensional object detection means for detecting a three-dimensional object around the host vehicle with electromagnetic waves, ultrasonic waves or laser light,
The control means causes the three-dimensional object around the host vehicle to be detected by the three-dimensional object detection means at the same time as the rear of the host vehicle is photographed at a plurality of timings by the photographing means. After moving forward and stopping at the parking start position, image analysis is performed on a plurality of bird's-eye images obtained by converting a plurality of captured images photographed by the photographing unit when the host vehicle is moving forward by the bird's-eye image creating unit. A parking support system characterized by determining the detection result of the three-dimensional object detection means and searching for a position where the host vehicle can be parked as a parking candidate position.
自車両の走行状態を検出する走行状態検出手段を備え、
前記制御手段は、自車両が前進しているときに、自車両後方を前記撮影手段により複数のタイミングで撮影させると同時に自車両周囲の立体物を前記立体物検出手段により検出させると共に自車両の走行状態を前記走行状態検出手段により検出させ、自車両が前進して駐車開始位置に停止した後に、自車両が前進しているときに前記撮影手段により撮影された複数の撮影画像が前記鳥瞰画像作成手段により視点変換された複数の鳥瞰画像を画像解析すると共に前記立体物検出手段の検出結果及び前記走行状態検出手段の検出結果を判定して自車両が駐車可能な位置を駐車候補位置として検索することを特徴とする駐車支援システム。 In the parking assistance system according to claim 4 ,
A driving state detecting means for detecting the driving state of the host vehicle;
The control means causes the three-dimensional object around the host vehicle to be detected by the three-dimensional object detection means while the rear of the host vehicle is photographed at a plurality of timings by the photographing means when the host vehicle is moving forward. After the traveling state is detected by the traveling state detection means and the host vehicle moves forward and stops at the parking start position, a plurality of captured images captured by the photographing unit when the host vehicle is moving forward are the bird's-eye view images. Analyzing a plurality of bird's-eye images whose viewpoints have been converted by the creating means and determining a detection result of the three-dimensional object detection means and a detection result of the traveling state detection means to search for a position where the host vehicle can be parked as a parking candidate position A parking assistance system characterized by that.
前記制御手段は、複数の鳥瞰画像を画像解析して立体物の輪郭を表す立体物輪郭線を作成し、その作成された立体物輪郭線から自車両が駐車可能な位置を駐車候補位置として検索することを特徴とする駐車支援システム。 In the parking assistance system according to any one of claims 1 to 5,
The control means, the bird's-eye image of the multiple and image analysis to create a three-dimensional object contour line representing the contour of the three-dimensional object, the vehicle from created three-dimensional object contour that is capable parking position as a parking candidate position A parking support system characterized by searching.
前記制御手段は、複数の鳥瞰画像を画像解析して駐車枠線を検出し、その検出された駐車枠線から自車両が駐車可能な位置を駐車候補位置として検索することを特徴とする駐車支援システム。 In the parking assistance system according to any one of claims 1 to 6,
The control means detects a parking frame line by performing image analysis on a plurality of bird's-eye images, and searches for a position where the host vehicle can be parked as a parking candidate position from the detected parking frame line. system.
前記制御手段は、前記立体物検出手段の検出結果や前記走行状態検出手段の検出結果を判定して自車両から立体物までの距離を表す立体物距離マップを作成すると共に、複数の鳥瞰画像を画像解析して作成された立体物輪郭線を当該立体物距離マップに基づいて補正し、その補正された立体物輪郭線から自車両が駐車可能な位置を駐車候補位置として検索することを特徴とする駐車支援システム。 In the parking assistance system according to any one of claims 4 to 7,
The control means determines the detection result of the three-dimensional object detection means and the detection result of the traveling state detection means to create a three-dimensional object distance map representing the distance from the host vehicle to the three-dimensional object, and also displays a plurality of bird's-eye images. The three-dimensional object outline created by image analysis is corrected based on the three-dimensional object distance map, and a position where the host vehicle can be parked is searched as a parking candidate position from the corrected three-dimensional object outline. Parking assistance system.
前記制御手段は、駐車候補位置を前記表示手段に表示させている状況で所定条件が成立した場合には、その時点で表示させている駐車候補位置を駐車位置として決定することを特徴とする駐車支援システム。 In the parking assistance system according to any one of claims 1 to 8,
The control means determines the parking candidate position displayed at that time as the parking position when a predetermined condition is satisfied in a situation where the parking candidate position is displayed on the display means. Support system.
自車両を駐車開始位置から駐車位置まで自動操舵する自動操舵手段を備え、
前記制御手段は、駐車候補位置を駐車位置として決定した後に他の所定条件が成立した場合には、自車両を駐車開始位置から駐車位置まで前記自動操舵手段により自動操舵させることを特徴とする駐車支援システム。 In the parking assistance system according to claim 9 ,
Equipped with automatic steering means for automatically steering the vehicle from the parking start position to the parking position;
The control means automatically steers the own vehicle from the parking start position to the parking position by the automatic steering means when another predetermined condition is satisfied after determining the parking candidate position as the parking position. Support system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004314010A JP4449701B2 (en) | 2004-10-28 | 2004-10-28 | Parking assistance system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004314010A JP4449701B2 (en) | 2004-10-28 | 2004-10-28 | Parking assistance system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006129021A JP2006129021A (en) | 2006-05-18 |
JP4449701B2 true JP4449701B2 (en) | 2010-04-14 |
Family
ID=36723238
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004314010A Expired - Fee Related JP4449701B2 (en) | 2004-10-28 | 2004-10-28 | Parking assistance system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4449701B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9731765B2 (en) | 2015-08-12 | 2017-08-15 | Hyundai Motor Company | Parking assist apparatus and method |
US9754173B2 (en) | 2014-10-17 | 2017-09-05 | Hyundai Motor Company | Smart parking assist apparatus and method |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4613884B2 (en) * | 2006-06-14 | 2011-01-19 | トヨタ自動車株式会社 | Parking assistance device |
JP5380941B2 (en) * | 2007-10-01 | 2014-01-08 | 日産自動車株式会社 | Parking support apparatus and method |
JP5088074B2 (en) | 2007-10-01 | 2012-12-05 | 日産自動車株式会社 | Parking support apparatus and method |
JP5136256B2 (en) * | 2008-07-18 | 2013-02-06 | 日産自動車株式会社 | Parking assist device and image display method |
JP5380994B2 (en) * | 2008-10-10 | 2014-01-08 | 日産自動車株式会社 | Parking assistance device and parking assistance method |
JP5287344B2 (en) * | 2009-02-26 | 2013-09-11 | 日産自動車株式会社 | Parking assistance device and obstacle detection method |
JP5471141B2 (en) * | 2009-08-06 | 2014-04-16 | 日産自動車株式会社 | Parking assistance device and parking assistance method |
JP2013043505A (en) * | 2011-08-23 | 2013-03-04 | Nissan Motor Co Ltd | Parking assist apparatus and parking assist method |
KR101327736B1 (en) * | 2011-12-23 | 2013-11-11 | 현대자동차주식회사 | AVM Top View Based Parking Support System |
DE102012201051A1 (en) * | 2012-01-25 | 2013-07-25 | Robert Bosch Gmbh | Procedure for driving assistance and driver assistance system |
JP6459226B2 (en) * | 2014-06-02 | 2019-01-30 | 株式会社Soken | In-vehicle image processing device |
JP6331721B2 (en) * | 2014-06-04 | 2018-05-30 | 株式会社デンソー | Parking assistance device |
JP6718341B2 (en) * | 2016-09-13 | 2020-07-08 | 日立建機株式会社 | Mine work machine and its rear monitoring method |
DE112018002071T5 (en) * | 2017-07-11 | 2020-01-02 | Hitachi Automotive Systems, Ltd. | PARK ASSISTANCE DEVICE |
WO2019215789A1 (en) * | 2018-05-07 | 2019-11-14 | 三菱電機株式会社 | Parking assistance device |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11157404A (en) * | 1997-11-26 | 1999-06-15 | Toyota Motor Corp | Parking support device |
JP4465773B2 (en) * | 2000-01-19 | 2010-05-19 | 株式会社エクォス・リサーチ | Computer-readable recording medium on which parking assistance device and parking assistance program are recorded |
JP2003104149A (en) * | 2001-09-27 | 2003-04-09 | Equos Research Co Ltd | Parking support device |
JP3850271B2 (en) * | 2001-11-07 | 2006-11-29 | 株式会社デンソー | Vehicle periphery image processing apparatus and recording medium |
JP3692082B2 (en) * | 2002-01-23 | 2005-09-07 | トヨタ自動車株式会社 | Parking assistance device |
JP2003267171A (en) * | 2002-03-13 | 2003-09-25 | Nissan Motor Co Ltd | Device for monitoring rear part of vehicle |
JP4052011B2 (en) * | 2002-05-21 | 2008-02-27 | トヨタ自動車株式会社 | Parking assistance device |
JP2004114977A (en) * | 2002-09-30 | 2004-04-15 | Aisin Seiki Co Ltd | Moving body periphery monitoring device |
-
2004
- 2004-10-28 JP JP2004314010A patent/JP4449701B2/en not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9754173B2 (en) | 2014-10-17 | 2017-09-05 | Hyundai Motor Company | Smart parking assist apparatus and method |
US10474911B2 (en) | 2014-10-17 | 2019-11-12 | Hyundai Motor Company | Smart parking assist apparatus and method |
US9731765B2 (en) | 2015-08-12 | 2017-08-15 | Hyundai Motor Company | Parking assist apparatus and method |
Also Published As
Publication number | Publication date |
---|---|
JP2006129021A (en) | 2006-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4449701B2 (en) | Parking assistance system | |
US11377099B2 (en) | Parking assist system | |
EP3290301B1 (en) | Parking assist device | |
US20190344828A1 (en) | Parking assist apparatus | |
JP4696691B2 (en) | Parking support method and parking support device | |
JP2008013015A (en) | Vehicle surroundings image producing device and image switching method | |
CN110730735B (en) | Parking assist method and parking assist apparatus | |
JP2012056428A (en) | Driving support device | |
US11613251B2 (en) | Parking assist system | |
JP7499209B2 (en) | Parking assistance method and parking assistance device | |
JP2021094937A (en) | Vehicle display device and parking support system | |
JP2012086684A (en) | Parking assist device | |
JP2007126028A (en) | Parking support system | |
JP2009171129A (en) | Parking support device for vehicle and image display method | |
JP2003252151A (en) | Parking support system | |
JP2007331548A (en) | Parking support device | |
US20200398865A1 (en) | Parking assist system | |
JP2021094932A (en) | Parking support system | |
JP2021094938A (en) | Vehicle display device and parking support system | |
JP4432736B2 (en) | Parking assistance system | |
US11440562B2 (en) | Parking assist system | |
JP2009220592A (en) | On-vehicle parallel parking assistant device and program for on-vehicle parallel parking assistant device | |
JP7445515B2 (en) | Parking support device and method of controlling the parking support device | |
JP2021066286A (en) | Parking support device, parking support method, and program | |
JP7201061B2 (en) | Driving support device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061122 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091204 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100105 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100118 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4449701 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130205 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140205 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |