JP5527587B2 - Parking assistance device - Google Patents

Parking assistance device Download PDF

Info

Publication number
JP5527587B2
JP5527587B2 JP2009287273A JP2009287273A JP5527587B2 JP 5527587 B2 JP5527587 B2 JP 5527587B2 JP 2009287273 A JP2009287273 A JP 2009287273A JP 2009287273 A JP2009287273 A JP 2009287273A JP 5527587 B2 JP5527587 B2 JP 5527587B2
Authority
JP
Japan
Prior art keywords
white line
image
host vehicle
detected
parallel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009287273A
Other languages
Japanese (ja)
Other versions
JP2011126433A (en
Inventor
整 久保田
直哉 室田
裕之 今野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzuki Motor Co Ltd
Original Assignee
Suzuki Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzuki Motor Co Ltd filed Critical Suzuki Motor Co Ltd
Priority to JP2009287273A priority Critical patent/JP5527587B2/en
Publication of JP2011126433A publication Critical patent/JP2011126433A/en
Application granted granted Critical
Publication of JP5527587B2 publication Critical patent/JP5527587B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

この発明は、駐車支援装置に係り、特に車両の後部に取り付けた撮像手段（バックカメラ等）により撮像された自車両の後方画像を表示手段に表示させる駐車支援装置に関する。   The present invention relates to a parking assistance device, and more particularly to a parking assistance device that displays a rear image of a host vehicle captured by an imaging means (such as a back camera) attached to the rear of a vehicle on a display means.

車両には、駐車時の運転を支援するために、自車両の後方を撮像する撮像手段を設け、画像を表示する表示手段を設け、撮像手段により撮像された自車両の後方画像（カメラ画像）を表示手段に表示させる制御手段を設けた駐車支援装置を搭載しているものがある。
この駐車支援装置においては、画像処理技術により、超広角の撮影手段（バックカメラ等）の画像を、歪みを補正した歪み補正画像及び真上から見下ろしたような俯瞰画像に変換して、運転者に提示するシステムが実用化されている。
上述の歪み補正画像は、周囲の視野を確保しつつ駐車枠（駐車スペース）の白線が直線として見えるため、駐車枠に接近するときに有効な画像である。また、上述の俯瞰画像は、車両に近接するエリアの距離感が掴みやすいこと、白線と自車両との関係が直観的に分かりやすいことから、駐車位置に近づいたときに有効な画像である。 In order to support driving at the time of parking, the vehicle is provided with imaging means for imaging the rear of the host vehicle, provided with display means for displaying an image, and a rear image (camera image) of the host vehicle captured by the imaging means. Some of them are equipped with a parking assistance device provided with a control means for displaying the information on the display means.
In this parking assist device, the image of the wide-angle shooting means (back camera, etc.) is converted into a distortion-corrected image in which distortion is corrected and a bird's-eye view image looking down from directly above using an image processing technique, so that the driver Has been put into practical use.
The distortion-corrected image described above is an image that is effective when approaching the parking frame because the white line of the parking frame (parking space) appears as a straight line while securing the surrounding visual field. Moreover, the above-described bird's-eye view image is an effective image when approaching the parking position because it is easy to grasp the sense of distance in the area close to the vehicle and the relationship between the white line and the host vehicle is intuitively easy to understand.

特開２００４−１１４８４０号公報JP 2004-114840 A 特開２００４−２７６８０７号公報JP 2004-276807 A 特開２００８−０９９１３６号公報JP 2008-099136 A

特許文献１に係る駐車支援装置は、駐車予定位置に存在する輪止めの高さを検出し、この検出した輪止めに車体が接触するか否かを判断して、車体が輪止めに接触すると判断される時に自車両の車高を制御して輪止めへの接触を回避させるものである。
特許文献２に係る車両の後退駐車支援装置は、照射装置によって路面に生成された図形と予め定められた所定の図形との差異に基づいて輪止めの有無の検出を行うものである。
特許文献３に係る立体物検出装置は、異なる時点で撮像した２つの画像を俯瞰方向の画像に夫々変換し、この変換により得られた２つの画像を基に、車両の移動に伴って画像の各画素に写された被写物が画像中で移動した距離を算出し、移動距離が大きい部分に写された被写物を立体物として検出するものである。 The parking assist device according to Patent Document 1 detects the height of the wheel stopper present at the planned parking position, determines whether or not the vehicle body contacts the detected wheel stopper, and when the vehicle body contacts the wheel stopper. When the judgment is made, the vehicle height of the host vehicle is controlled to avoid contact with the wheel stopper.
The backward parking assist device for a vehicle according to Patent Document 2 detects the presence or absence of a wheel stop based on a difference between a graphic generated on a road surface by an irradiation device and a predetermined graphic.
The three-dimensional object detection device according to Patent Document 3 converts two images captured at different times into images in a bird's-eye view direction, and based on the two images obtained by this conversion, the image of the image is moved along with the movement of the vehicle. The distance to which the object imaged on each pixel moves in the image is calculated, and the object imaged on the portion with the large moving distance is detected as a three-dimensional object.

ところで、従来、駐車支援装置において、歪み補正画像と俯瞰画像との切り換えは、運転者が自らスイッチを操作して行っていたが、駐車後退時には、周囲確認やハンドル操作等の運転タスクが集中するため、画像の切り換えのためのスイッチ操作が煩わしくなるという不都合があった。
また、歪み補正画像と俯瞰画像とを自動で切り換える方法として、後方画像（カメラ画像）から左右の白線を検出して自車両と左右の白線が平行になった場合に、駐車枠内の輪止めを自動認識し、輪止めと自車両の距離とに応じて画像の切り換えを自動で行う手法が提案されているが、一般的に、輪止めは、種類、形状、色が統一されておらず、検出できない場合があり、改善が望まれていた。
更に、車両の車速パルスをカウントして、自車両と左右の白線とが平行になった後にどのくらいの距離を後退したかによって画像の切り換えを自動で行う手法が提案されているが、駐車枠の手前から真っ直ぐアプローチする場合に対応できないという不都合があった。 By the way, conventionally, in the parking assistance device, the driver switches the distortion correction image and the overhead view image by operating the switch himself. However, when parking is reversed, driving tasks such as surrounding confirmation and steering operation are concentrated. For this reason, there is a disadvantage that the switch operation for switching the images becomes troublesome.
In addition, as a method of automatically switching between the distortion-corrected image and the overhead view image, when the left and right white lines are detected from the rear image (camera image) and the own vehicle and the left and right white lines become parallel, the wheel stops in the parking frame A method has been proposed that automatically recognizes and automatically switches the image according to the distance between the wheel stopper and the vehicle, but in general, the type, shape, and color of the wheel stopper are not unified. In some cases, it could not be detected, and improvement was desired.
Furthermore, a method has been proposed in which the vehicle speed pulse is counted and the image is automatically switched depending on how far the host vehicle and the left and right white lines are parallel to each other after the distance is retracted. There was an inconvenience that it was not possible to deal with when approaching straight from the front.

そこで、この発明の目的は、駐車枠の白線と白線端点とを検出し、画像表示の切換タイミングの精度を向上する駐車支援装置を提供することにある。   SUMMARY OF THE INVENTION An object of the present invention is to provide a parking assist device that detects white lines and white line end points of a parking frame and improves the accuracy of switching timing of image display.

この発明は、自車両の後方を撮像する撮像手段を設け、画像を表示する表示手段を設け、前記撮像手段により撮像された自車両の後方画像を前記表示手段に表示させる制御手段を設けた駐車支援装置において、前記制御手段は、前記撮像手段により撮像された自車両の後方画像の歪みを補正して歪み補正画像にする歪み補正手段と、前記撮像手段により撮像された自車両の後方画像を俯瞰画像に変換する画像変換手段と、この画像変換手段により変換された俯瞰画像から駐車枠の白線を検出する白線検出手段と、この白線検出手段により検出された白線の白線端点を検出する白線端点検出手段と、この白線端点検出手段により検出された白線端点と自車両との距離に基づいて前記表示手段に表示する画像を歪み補正画像と俯瞰画像とのいずれかに切り換える表示切換制御手段と、前記白線検出手段により検出された白線に対して自車両が平行か否かを判定する平行判定手段とを備え、前記白線端点検出手段は、前記平行判定手段により前記白線検出手段で検出された左右の白線に対して自車両が平行であると判定された時に前記白線端点を検出することを特徴とする。 The present invention provides parking means provided with imaging means for imaging the rear of the host vehicle, provided with display means for displaying an image, and provided with control means for displaying a rear image of the host vehicle imaged by the imaging means on the display means. In the support apparatus, the control unit corrects the distortion of the rear image of the host vehicle imaged by the imaging unit to obtain a distortion correction image, and the rear image of the host vehicle imaged by the imaging unit. An image conversion means for converting to an overhead image, a white line detection means for detecting a white line of the parking frame from the overhead image converted by the image conversion means, and a white line end point for detecting a white line end point of the white line detected by the white line detection means An image to be displayed on the display unit based on the distance between the detection unit and the white line end point detected by the white line end point detection unit and the host vehicle is either a distortion correction image or an overhead image. Comprising a display switching control means for switching to a parallel decision means the vehicle with respect to detected white line by the white line detection unit to determine whether parallel, the white line edge point detecting means, wherein the said parallel determination means The white line end point is detected when it is determined that the host vehicle is parallel to the left and right white lines detected by the white line detecting means .

この発明の駐車支援装置は、撮像された自車両の後方画像から白線と白線端点とを検出して画像の切換タイミングに利用することで、画像表示の切換タイミングの精度を向上できる。   The parking assistance apparatus of this invention can improve the precision of the switching timing of an image display by detecting a white line and a white line end point from the captured rear image of the host vehicle and using it for the switching timing of the image.

図１は白線と白線端点とを検出して画像表示を切り換える駐車支援装置のシステム構成図である。（実施例１）FIG. 1 is a system configuration diagram of a parking assist device that detects a white line and a white line end point and switches an image display. Example 1 図２は車両及び駐車枠を示す平面図である。（実施例１）FIG. 2 is a plan view showing the vehicle and the parking frame. Example 1 図３は駐車支援制御のフローチャートである。（実施例１）FIG. 3 is a flowchart of parking support control. Example 1 図４は撮像手段により撮像された後方画像（カメラ画像）を示す図である。（実施例１）FIG. 4 is a diagram illustrating a rear image (camera image) captured by the imaging unit. Example 1 図５は歪み補正手段により補正された歪み補正画像を示す図である。（実施例１）FIG. 5 shows a distortion corrected image corrected by the distortion correcting means. Example 1 図６は画像変換手段により変換された俯瞰画像を示す図である。（実施例１）FIG. 6 is a view showing an overhead image converted by the image conversion means. Example 1 図７はハフ変換による白線検出の際の撮像された後方画像を示す図である。（実施例１）FIG. 7 is a diagram showing a captured rear image when white lines are detected by Hough transform. Example 1 図８はハフ変換による白線検出の際の白線の縦エッジの俯瞰画像を示す図である。（実施例１）FIG. 8 is a view showing an overhead image of the vertical edge of the white line when the white line is detected by the Hough transform. Example 1 図９はハフ変換の座標系を示す図である。（実施例１）FIG. 9 is a diagram showing a coordinate system for Hough transform. Example 1 図１０は白線端点の検出時の画像座標系を示す図である。（実施例１）FIG. 10 is a diagram showing an image coordinate system at the time of detecting a white line end point. Example 1 図１１は白線端点を算出する説明図である。（実施例１）FIG. 11 is an explanatory diagram for calculating white line end points. Example 1 図１２は複数の切換トリガを用いて画像表示を切り換える駐車支援装置のシステム構成図である。（実施例２）FIG. 12 is a system configuration diagram of a parking assistance apparatus that switches image display using a plurality of switching triggers. (Example 2) 図１３は歪み補正画像から俯瞰画像への切り換え判定のフローチャートである。（実施例２）FIG. 13 is a flowchart of switching determination from a distortion corrected image to an overhead image. (Example 2) 図１４は駐車枠の第１の画像を示す図である。（実施例２）FIG. 14 is a diagram showing a first image of the parking frame. (Example 2) 図１５は駐車枠の第２の画像を示す図である。（実施例２）FIG. 15 is a diagram showing a second image of the parking frame. (Example 2) 図１６は複数の切換トリガを用いて画像表示を切り換える際の各種判断要素を説明する図である。（実施例２）FIG. 16 is a diagram for explaining various determination elements when switching image display using a plurality of switching triggers. (Example 2)

この発明は、画像の切換タイミングの精度を向上させる目的を、撮像された自車両の後方画像から白線と白線端点とを検出し、この検出された白線と白線端点とを画像表示の切換タイミングに利用して実現するものである。   In order to improve the accuracy of the switching timing of the image, the present invention detects the white line and the white line end point from the captured rear image of the host vehicle, and uses the detected white line and white line end point as the switching timing of the image display. It is realized by using.

図１〜図１１は、この発明の実施例１を示すものである。
図２において、１は駐車場、２はこの駐車場１の駐車枠（駐車スペース）である。この駐車枠２は、車両３の駐車範囲を区画する白線として、所定長さで平行な左右の白線４Ｌ・４Ｒで形成される。この駐車枠２には、後方部で、輪止めとして、左右の輪止め５Ｌ・５Ｒが直列で且つ白線４Ｌ・４Ｒに対して直角方向に向いて配設されている。
車両３には、駐車支援装置６が搭載される。
この駐車支援装置６は、図１に示すように、自車両の後方を撮像する撮像手段７と、画像を表示する表示手段８と、撮像手段７により撮像された自車両の後方画像（カメラ画像）を表示手段８に表示させる制御手段９とを備えている。
撮像手段７は、車両３の後部に取り付けた超広角のバックカメラ等の撮像機器からなる。
表示手段８は、車両３の車室１０内に配置されたカーナビゲーションシステムのモニター等の表示機器からなる。 1 to 11 show Embodiment 1 of the present invention.
In FIG. 2, 1 is a parking lot, and 2 is a parking frame (parking space) of the parking lot 1. The parking frame 2 is formed by white lines 4L and 4R that are parallel to each other with a predetermined length as white lines that demarcate the parking range of the vehicle 3. In the parking frame 2, left and right wheel stoppers 5 </ b> L and 5 </ b> R are arranged in series and at right angles to the white lines 4 </ b> L and 4 </ b> R as rear wheel stoppers.
A parking assist device 6 is mounted on the vehicle 3.
As shown in FIG. 1, the parking assist device 6 includes an imaging unit 7 that captures the rear of the host vehicle, a display unit 8 that displays an image, and a rear image (camera image) of the host vehicle captured by the imaging unit 7. ) Is displayed on the display means 8.
The imaging means 7 is composed of an imaging device such as an ultra-wide angle back camera attached to the rear part of the vehicle 3.
The display unit 8 includes a display device such as a monitor of a car navigation system disposed in the passenger compartment 10 of the vehicle 3.

制御手段９は、撮像手段７により撮像された後方画像Ｇ１（図４参照）の歪みを補正して歪み補正画像Ｇ２（図５参照）にする歪み補正手段９Ａと、撮像手段７により撮像された後方画像Ｇ１（図４参照）を俯瞰画像Ｇ３（図６参照）に変換する画像変換手段９Ｂと、この画像変換手段９Ｂにより変換された俯瞰画像Ｇ３から駐車枠２の白線４Ｌ・４Ｒを検出する白線検出手段９Ｃと、この白線検出手段９Ｃにより検出された白線４Ｌ・４Ｒの前後の白線端点４Ｌａ・４Ｌｂ・４Ｒａ・４Ｒｂ（図２参照）を検出する白線端点検出手段９Ｄと、この白線端点検出手段９Ｄにより検出された白線端点４Ｌａ・４Ｌｂ・４Ｒａ・４Ｒｂと自車両との距離に基づいて表示手段８に表示する画像を歪み補正画像Ｇ２と俯瞰画像Ｇ３とのいずれかに自動的に切り換える表示切換制御手段９Ｅとを備える。
ここで、上述の後方画像Ｇ１は、図４に示すように、白線４Ｌ・４Ｒが曲がった画像である。上述の歪み補正画像Ｇ２は、図５に示すように、後方画像Ｇ１を歪み補正して白線４Ｌ・４Ｒを直線とし、また、車両輪郭線Ｖを表示した画像である。上述の俯瞰画像Ｇ３は、図６に示すように、後方画像Ｇ１を真上から見下ろし、また、車両輪郭線Ｖを表示した画像である。
また、制御手段９は、白線検出手段９Ｃにより検出された白線４Ｌ・４Ｒに対して自車両が平行か否かを判定する平行判定手段９Ｆを備えている。
そして、前記白線端点検出手段９Ｄは、この平行判定手段９Ｆにより前記白線検出手段９Ｃで検出された白線４Ｌ・４Ｒに対して自車両が平行であると判定された時に、前記白線端点４Ｌａ・４Ｌｂ・４Ｒａ・４Ｒｂを検出する。
また、前記白線端点検出手段９Ｄは、前記白線検出手段９Ｃにより検出された白線４Ｌ・４Ｒが存在する領域を縦方向の小領域に分割し、上下に並んだ二つの小領域の白点数の差が最も大きい所を前記白線端点４Ｌａ・４Ｌｂ・４Ｒａ・４Ｒｂとする（図１０、図１１参照）。これは、白点数が数えられ易い白線と白点数が数え難い白線以外の箇所とでは白点数の差が生じることから、この差を利用して白線端点を求めるものである。
図１に示すように、表示切換制御手段９Ｅには、車両パルスを発する車両パルス発信装置１１が連絡している。 The control unit 9 corrects the distortion of the rear image G1 (see FIG. 4) captured by the imaging unit 7 to obtain a distortion corrected image G2 (see FIG. 5), and the image is captured by the imaging unit 7. Image conversion means 9B for converting the rear image G1 (see FIG. 4) into an overhead image G3 (see FIG. 6), and the white lines 4L and 4R of the parking frame 2 are detected from the overhead image G3 converted by the image conversion means 9B. White line detection means 9C, white line end point detection means 9D for detecting white line end points 4La, 4Lb, 4Ra, 4Rb (see FIG. 2) before and after the white lines 4L and 4R detected by the white line detection means 9C, and this white line end point detection automatic image to be displayed on the display unit 8 based on the distance between the detected white line endpoints 4La · 4Lb · 4Ra · 4Rb and the vehicle by means 9D to any one of the distortion correction image G2 and the overhead view image G3 And a display switching control means 9E to switch to.
Here, the above-described rear image G1 is an image in which the white lines 4L and 4R are bent as shown in FIG. As shown in FIG. 5, the above-described distortion correction image G2 is an image in which the rear image G1 is subjected to distortion correction so that the white lines 4L and 4R are straight lines and the vehicle outline V is displayed. The above-described bird's-eye view image G3 is an image in which the rear image G1 is looked down from directly above and the vehicle outline V is displayed as shown in FIG.
Further, the control means 9 includes a parallel determination means 9F that determines whether or not the host vehicle is parallel to the white lines 4L and 4R detected by the white line detection means 9C.
The white line end point detecting means 9D detects the white line end points 4La and 4Lb when the parallel determining means 9F determines that the vehicle is parallel to the white lines 4L and 4R detected by the white line detecting means 9C.・ Detects 4Ra ・ 4Rb.
The white line end point detection means 9D divides the area where the white lines 4L and 4R detected by the white line detection means 9C exist into small vertical areas, and the difference in the number of white spots between the two small areas arranged vertically. Are the white line end points 4La, 4Lb, 4Ra, and 4Rb (see FIGS. 10 and 11). This is because a difference in the number of white points occurs between a white line where the number of white points is easily counted and a portion other than the white line where the number of white points is difficult to count, and the white line end point is obtained using this difference.
As shown in FIG. 1, a vehicle pulse transmission device 11 that emits a vehicle pulse is in communication with the display switching control means 9E.

車両が後退して駐車をする際で、白線４Ｌ・４Ｒと白線端点４Ｌａ・４Ｌｂ・４Ｒａ・４Ｒｂとを検出して画像表示を切り換える実施例１における制御を、図３のフローチャートに基づいて説明する。
図３に示すように、制御手段９のプログラムがスタートすると（ステップＡ０１）、先ず、撮像手段７から入力した後方画像Ｇ１（図４参照）に基づいて白線４Ｌ・４Ｒの検出を行うとともに、ハフ変換で白線４Ｌ・４Ｒの位置と角度とを算出する（ステップＡ０２）。
このステップＡ０２におけるハフ変換による白線検出は、撮像手段７の曲がった白線４Ｌ・４Ｒを直線として検出するものであり、撮像手段７から入力した後方画像（図７参照）から白線４Ｌ・４Ｒの縦エッジ（縦端）Ｅ１ ・Ｅ２ を抽出し、さらに、俯瞰画像へ変換する（図８参照）。
そして、図９に示すように、画像の各候補点の座標値（ｘ、ｙ）から、
ρ＝ｘ＊ ｓｉｎ（θ）＋ｙ＊ ｃｏｓ（θ）
の式により、θｍｉｎからθｍａｘまでρの値を計算して、ρ−θ空間に投票する。
その後、投票点数が最も高かった箇所（ρ１ 、θ１ ）と、２番目に高かった箇所（ρ２ 、θ２ ）とを、白線４Ｌ・４Ｒとする。
そして、θ１ とθ２ との平均値（θ１ ＋θ２ ）／２を、自車両に対する白線４Ｌ・４Ｒの角度とする。
このハフ変換による白線検出後は、上記の角度が一定範囲以内にあるかどうかで、自車両が白線４Ｌ・４Ｒと平行か否かを判断する（ステップＡ０３）。
このステップＡ０３がＹＥＳで、上記の角度が一定範囲以内にあり、自車両が白線４Ｌ・４Ｒと平行である場合には、白線端点４Ｌａ・４Ｌｂ・４Ｒａ・４Ｒｂ及び輪止め５Ｌ・５Ｒの検出を行う（ステップＡ０４）。
このように、自車両が白線４Ｌ・４Ｒと平行の時に、白線端点４Ｌａ・４Ｌｂ・４Ｒａ・４Ｒｂの検出を行うことから、検出エリアを単純な長方形とすることが可能になり、その検出処理が簡単にできる。 The control in the first embodiment for detecting the white lines 4L and 4R and the white line end points 4La, 4Lb, 4Ra, and 4Rb and switching the image display when the vehicle moves backward and parks will be described based on the flowchart of FIG. .
As shown in FIG. 3, when the program of the control means 9 starts (step A01), first, the white lines 4L and 4R are detected based on the rear image G1 (see FIG. 4) input from the imaging means 7, and the Hough The position and angle of the white lines 4L and 4R are calculated by conversion (step A02).
The white line detection by the Hough transform in step A02 is to detect the curved white lines 4L and 4R of the imaging means 7 as straight lines, and the vertical lines of the white lines 4L and 4R from the rear image (see FIG. 7) input from the imaging means 7. Edges (vertical ends) E 1 and E 2 are extracted and further converted into a bird's-eye view image (see FIG. 8).
Then, as shown in FIG. 9, from the coordinate values (x, y) of each candidate point of the image,
ρ = x * sin (θ) + y * cos (θ)
The value of ρ is calculated from θmin to θmax and is voted on the ρ-θ space.
Then, the place (ρ 1 , θ 1 ) with the highest vote score and the place with the second highest vote (ρ 2 , θ 2 ) are defined as white lines 4L and 4R.
Then, the average value (θ 1 + θ 2 ) / 2 of θ 1 and θ 2 is set as the angle of the white lines 4L and 4R with respect to the host vehicle.
After the white line is detected by the Hough transform, it is determined whether or not the vehicle is parallel to the white lines 4L and 4R based on whether or not the angle is within a certain range (step A03).
If this step A03 is YES and the angle is within a certain range and the vehicle is parallel to the white lines 4L and 4R, the detection of the white line end points 4La, 4Lb, 4Ra and 4Rb and the wheel stoppers 5L and 5R is detected. Perform (Step A04) .
As described above, since the white line end points 4La, 4Lb, 4Ra, and 4Rb are detected when the host vehicle is parallel to the white lines 4L and 4R, the detection area can be made a simple rectangle, and the detection process can be performed. Easy to do.

このステップＡ０４での白線端点４Ｌａ・４Ｌｂ・４Ｒａ・４Ｒｂの検出においては、図１０に示すように、ρ１ とρ２ とを白線４Ｌ・４Ｒが存在するｘ座標値とし、一定サイズ（範囲）の左右のウィンドＷ１ ・Ｗ２ を設定する。
そして、図１１に示すように、左右のウィンドＷ１ ・Ｗ２ 上で、例えば、小領域としての「ａｒｅａＵ」と「ａｒｅａＤ」とを設定し、この各領域内の白点数をカウントし（ｓｕｍＵ、ｓｕｍＤ）、その差分値ｄｉｆ＿ｙｉを求め（ｄｉｆ＿ｙｉ＝ｓｕｍＤ−ｓｕｍＵ）、そして、左右の差分値ｄｉｆ＿ｙｉを加算する。ここで、差分値ｄｉｆ＿ｙｉが最も大きいｙｐｅａｋ（最大差分値）を、白線端点４Ｌａ・４Ｌｂ・４Ｒａ・４Ｒｂとする。
これにより、制御手段９において、四則演算だけで、図１０に示すように、左右のウィンドＷ１ ・Ｗ２ の白線端点４Ｌａ・４Ｌｂ・４Ｒａ・４Ｒｂを検出することができ、内部の計算が容易となる。
また、このステップＡ０４では、車速パルスのカウントを開始し、そして、画像を切り換えるか否かを判断する（ステップＡ０５）。
このステップＡ０５がＮＯの場合、又は、前記ステップＡ０３がＮＯの場合には、歪み補正画像Ｇ２（図５参照）を表示して（ステップＡ０６）、前記ステップＡ０２に戻し、一方、このステップＡ０５がＹＥＳの場合には、俯瞰画像Ｇ３（図６参照）を表示して（ステップＡ０７）、前記ステップＡ０２に戻す。
この結果、白線４Ｌ・４Ｒを検出し、白線端点４Ｌａ・４Ｌｂ・４Ｒａ・４Ｒｂを検出し、輪止め５Ｌ・５Ｒを検出し、さらに、車速カウントの値を求め、そして、これらの値を組み合わせて画像表示の切換タイミングを決定することから、俯瞰画像Ｇ３への画像の切換タイミングの精度を向上することができる。 In the detection of the white line endpoints 4La · 4Lb · 4Ra · 4Rb in step A 04, as shown in FIG. 10, and [rho 1 and [rho 2 and x-coordinate value present white line 4L · 4R, fixed size (range Left and right windows W 1 and W 2 are set.
Then, as shown in FIG. 11, for example, “areaU” and “areaD” as small areas are set on the left and right windows W 1 and W 2 , and the number of white points in each area is counted (sumU). , SumD), the difference value dif_yi is obtained (dif_yi = sumD−sumU), and the left and right difference values dif_yi are added. Here, ypeak (maximum difference value) having the largest difference value dif_yi is defined as white line end points 4La, 4Lb, 4Ra, and 4Rb.
Thus, the control means 9, only four operations, as shown in FIG. 10, it is possible to detect the left and right wind W 1 · W 2 white endpoints 4La · 4Lb · 4Ra · 4Rb, easy internal calculations It becomes.
In step A04, counting of vehicle speed pulses is started, and it is determined whether or not to switch images (step A05).
If this step A05 is NO, or if the step A03 is NO, display the distortion correction image G2 (see FIG. 5) (Step A06), returns to the step A02, whereas, the step A 05 If YES, the overhead image G3 (see FIG. 6) is displayed (step A07), and the process returns to step A02.
As a result, the white lines 4L and 4R are detected, the white line end points 4La, 4Lb, 4Ra, and 4Rb are detected, the wheel stoppers 5L and 5R are detected, the vehicle speed count value is obtained, and these values are combined. Since the switching timing of the image display is determined, the accuracy of the switching timing of the image to the overhead image G3 can be improved.

図１２〜図１６は、この発明の実施例２を示すものである。
この実施例２においては、上述の実施例１と同一機能を果たす箇所には同一符号を付して説明する。
この実施例２の特徴とするところは、以下の点にある。即ち、図１２に示すように、駐車支援装置６においては、自車両の後方を撮像する撮像手段７を設け、画像を表示する表示手段８を設け、撮像手段７により撮像された自車両の後方画像Ｇ１を表示手段８に表示させる制御手段９を設けている。
この制御手段９は、撮像手段７により撮像された後方画像Ｇ１の歪みを補正して歪み補正画像Ｇ２にする歪み補正手段９Ａと、撮像手段７により撮像された後方画像Ｇ１を俯瞰画像Ｇ３に変換する画像変換手段９Ｂと、この画像変換手段９Ｂにより変換された俯瞰画像Ｇ３から駐車枠２の白線４Ｌ・４Ｒを検出する白線検出手段９Ｃと、この白線検出手段９Ｃにより検出された白線４Ｌ・４Ｒに対して自車両が平行か否かを判定する平行判定手段９Ｆと、この平行判定手段９Ｆにより前記白線検出手段９Ｃで検出された白線４Ｌ・４Ｒに対して自車両が平行であると判定された時に輪止め５Ｌ・５Ｒを検出する輪止め検出手段９Ｇと、平行判定手段９Ｆにより前記白線検出手段９Ｃで検出された白線４Ｌ・４Ｒに対して自車両が平行であると判定された時に白線４Ｌ・４Ｒの前後の白線端点４Ｌａ・４Ｌｂ・４Ｒａ・４Ｒｂを検出する白線端点検出手段９Ｄと、平行判定手段９Ｆにより前記白線検出手段９Ｃで検出された白線４Ｌ・４Ｒに対して自車両が平行であると判定された時に車両パルス発信装置１１からの車速パルスをカウントして自車両の移動距離を算出する移動距離算出手段９Ｈと、平行判定手段９Ｆにより前記白線検出手段９Ｃで検出された白線４Ｌ・４Ｒに対して自車両が平行であると判定された時からの経過時間を計測する時間計測手段９Ｉと、前記輪止め検出手段９Ｇにより検出された輪止め５Ｌ・５Ｒと自車両との間の距離と、前記白線端点検出手段９Ｄにより検出された白線端点４Ｌａ・４Ｌｂ・４Ｒａ・４Ｒｂと自車両との間の距離と、移動距離算出手段９Ｈにより算出された移動距離と、時間計測手段９Ｉにより計測された経過時間とのうちいずれかが予め設定されたしきい値に到達した時に、表示手段８に表示する画像を歪み補正画像Ｇ２から俯瞰画像Ｇ３に自動的に切り換える表示切換制御手段９Ｅとを備える。 12 to 16 show a second embodiment of the present invention.
In the second embodiment, portions having the same functions as those of the first embodiment will be described with the same reference numerals.
The features of the second embodiment are as follows. That is, as shown in FIG. 12, in the parking assistance device 6, an imaging unit 7 that captures the rear of the host vehicle is provided, a display unit 8 that displays an image is provided, and the rear of the host vehicle captured by the imaging unit 7 is provided. Control means 9 for displaying the image G1 on the display means 8 is provided.
This control means 9 corrects the distortion of the rear image G1 imaged by the imaging means 7 to make a distortion corrected image G2, and converts the rear image G1 imaged by the imaging means 7 into an overhead image G3. Image conversion means 9B, white line detection means 9C for detecting white lines 4L and 4R of the parking frame 2 from the overhead image G3 converted by the image conversion means 9B, and white lines 4L and 4R detected by the white line detection means 9C. Parallel determination means 9F for determining whether or not the host vehicle is parallel to the vehicle, and the parallel determination means 9F determines that the host vehicle is parallel to the white lines 4L and 4R detected by the white line detection means 9C. When the vehicle is parallel to the white lines 4L and 4R detected by the white line detecting means 9C by the parallel determination means 9F and the wheel stop detecting means 9G for detecting the wheel stops 5L and 5R White line end point detection means 9D for detecting white line end points 4La, 4Lb, 4Ra and 4Rb before and after the white lines 4L and 4R, and the white lines 4L and 4R detected by the white line detection means 9C by the parallel determination means 9F. When the vehicle is determined to be parallel, the movement distance calculation means 9H calculates the movement distance of the vehicle by counting the vehicle speed pulses from the vehicle pulse transmission device 11, and the white line detection means 9C by the parallel determination means 9F. The time measuring means 9I for measuring the elapsed time from the time when it is determined that the host vehicle is parallel to the white lines 4L and 4R detected in step S5, and the wheel stoppers 5L and 5R detected by the wheel stopper detecting means 9G. Between the vehicle and the own vehicle, the distance between the white line end points 4La, 4Lb, 4Ra, 4Rb detected by the white line end point detecting means 9D and the own vehicle, When one of the movement distance calculated by 9H and the elapsed time measured by the time measuring means 9I reaches a preset threshold value, an image to be displayed on the display means 8 is displayed from the distortion corrected image G2. Display switching control means 9E for automatically switching to the overhead image G3.

車両が後退して駐車する際で、複数の切換トリガを用いて画像表示を切り換える実施例２の制御を、図１３のフローチャートに基づいて説明する。
図１３に示すように、制御手段９のプログラムがスタートすると（ステップＢ０１）、白線４Ｌ・４Ｒと自車両とが平行か否かを判断し（ステップＢ０２）、このステップＢ０２がＮＯの場合には、この判断を継続する。
このステップＢ０２がＹＥＳの場合には、輪止め５Ｌ・５Ｒまでの距離がしきい値以下か否かを判断し（ステップＢ０３）、このステップＢ０３がＮＯの場合には、白線端点としての後端の白線端点４Ｌｂ・４Ｒｂまでの距離がしきい値以下か否かを判断し（ステップＢ０４）、このステップＢ０４がＮＯの場合には、車速パルスのカウント数がしきい値以上か否かを判断し（ステップＢ０５）、このステップＢ０５がＮＯの場合には、経過時間がしきい値以上か否かを判断する（ステップＢ０６）。このステップＢ０６がＮＯの場合には、前記ステップＢ０３に戻す。
一方、前記ステップＢ０３がＹＥＳの場合、前記ステップＢ０４がＹＥＳの場合、前記ステップＢ０５がＹＥＳの場合、又は前記ステップＢ０６がＹＥＳの場合には、画像切り換え信号を出力し（ステップＢ０７）、歪み補正画像Ｇ２から俯瞰画像Ｇ３へ切り換える。
このように、複数の切換トリガ（白線４Ｌ・４Ｒ、輪止め５Ｌ・５Ｒ、白線端点４Ｌｂ・４Ｒｂ、車速パルス、経過時間）を用いて画像表示を切り換えることにより、画像切換の切換タイミングの精度を向上することができる。 The control of the second embodiment for switching the image display using a plurality of switching triggers when the vehicle moves backward and parks will be described based on the flowchart of FIG.
As shown in FIG. 13, when the program of the control means 9 is started (step B01), it is determined whether or not the white lines 4L and 4R are parallel to the own vehicle (step B02). If this step B02 is NO, Continue this decision.
If this step B02 is YES, it is determined whether or not the distance to the wheel stops 5L and 5R is equal to or less than a threshold value (step B03). If this step B03 is NO, the rear end as a white line end point It is determined whether or not the distance to the white line end points 4Lb and 4Rb is less than or equal to a threshold value (step B04). If this step B04 is NO, it is determined whether or not the vehicle speed pulse count is greater than or equal to the threshold value. (Step B05) If this step B05 is NO, it is determined whether or not the elapsed time is equal to or greater than a threshold value (step B06). If this step B06 is NO, the process returns to step B03.
On the other hand, when the step B03 is YES, the step B04 is YES, the step B05 is YES, or the step B06 is YES, an image switching signal is output (step B07), and distortion correction is performed. Switching from the image G2 to the overhead image G3.
In this way, by switching the image display using a plurality of switching triggers (white lines 4L and 4R, wheel stops 5L and 5R, white line end points 4Lb and 4Rb, vehicle speed pulse, elapsed time), the switching timing accuracy of the image switching is improved. Can be improved.

即ち、この実施例２の俯瞰表示への画像切換判定処理において、歪み補正画像Ｇ２から俯瞰画像Ｇ３へ切り換えるタイミングとしては、検出された白線端点４Ｌｂ・４Ｒｂと自車両までの距離がしきい値を下回った場合とすることが考えられる。
しかし、図１４の第１の画像Ｄ１と図１５の第２の画像Ｄ２とに示すように、駐車枠２は、白線４Ｌ・４Ｒの長さ、輪止め５Ｌ・５Ｒの有無、輪止め５Ｌ・５Ｒの位置と白線端点４Ｌｂ・４Ｒｂの位置関係等の様々な様式のものが存在する。
図１５に示す第２の画像Ｄ２の場合には白線端点４Ｌｂ・４Ｒｂを基準に俯瞰表示へ切り換えを行っても良いが、図１５に示す第２の画像Ｄ２と同一のしきい値を図１４に示す第１の画像Ｄ１に適用し、白線端点４Ｌｂ・４Ｒｂにより切り換えると、切り換える前に自車両が輪止め５Ｌ・５Ｒに接触することとなる。
そこで、この実施例２では、所定の手法によって輪止め５Ｌ・５Ｒを検出する処理とともに、駐車位置の白線４Ｌ・４Ｒと自車両とが平行となってから、車速パルスをカウントし、自車両の移動距離を推定する手法、また、自車両が白線４Ｌ・４Ｒと平行になった時からの経過時間を用いることにより、より信頼性の高い画像表示の切換タイミングの判定を行うことができる。
そして、切換トリガとして使用できるものは、上述のように、白線端点４Ｌｂ・４Ｒｂと、輪止め５Ｌ・５Ｒの位置と、自車両の移動距離と、経過時間との４つである。
ここで、輪止め５Ｌ・５Ｒの検出では、誤検出を防ぐために自車両が白線４Ｌ・４Ｒと平行であることを条件として使用し、移動距離、経過時間も白線４Ｌ・４Ｒと自車両とが平行となっていることが条件である。よって、上述の４つの切換トリガは、白線４Ｌ・４Ｒが検出されており、白線４Ｌ・４Ｒと自車両とが平行であることが前提となっている。
各切換トリガについての特質を考えると、白線端点４Ｌｂ・４Ｒｂにおいては、全ての切換トリガの前提となる白線４Ｌ・４Ｒを用いるため、検出の信頼性は高いが、駐車枠２により様々な様式が存在するため、輪止め５Ｌ・５Ｒ等への接触が起こる場合がある。
輪止め５Ｌ・５Ｒの位置においては、画像中より輪止め５Ｌ・５Ｒを検出するため、輪止め５Ｌ・５Ｒと路面のコントラストにより検出性能が変化する。また、駐車枠２により輪止め５Ｌ・５Ｒも様々な様式が存在するため、その全てに対応するのは困難である。
移動距離においては、車速パルス等を利用し、車輪の回転量により自車両の移動距離を求めるため、移動量の信頼性は高いが、自車両が白線４Ｌ・４Ｒと平行になった時点からの移動距離を利用するため、自車両が白線４Ｌ・４Ｒと平行になるタイミングにより、距離が前後する問題がある。
経過時間においては、自車両の移動速度により、駐車枠２の後端に到着するまでの時間が異なるため、経過時間のみでは適切なタイミングでの切換トリガを作成することはできない。 That is, in the image switching determination process to the overhead view display of the second embodiment, as the timing for switching from the distortion corrected image G2 to the overhead view image G3, the distance between the detected white line end points 4Lb and 4Rb and the host vehicle has a threshold value. It is conceivable that it falls below.
However, as shown in the first image D1 in FIG. 14 and the second image D2 in FIG. 15, the parking frame 2 has the lengths of the white lines 4L and 4R, the presence or absence of the wheel stoppers 5L and 5R, the wheel stoppers 5L and There are various types such as the position of 5R and the positional relationship between white line end points 4Lb and 4Rb.
In the case of the second image D2 shown in FIG. 15, the white line end points 4Lb and 4Rb may be switched to the overhead view display, but the same threshold value as that of the second image D2 shown in FIG. When the white line end points 4Lb and 4Rb are used for switching to the first image D1 shown in FIG. 1, the own vehicle comes into contact with the wheel stops 5L and 5R before switching.
Therefore, in the second embodiment, the wheel stops 5L and 5R are detected by a predetermined method, and the white lines 4L and 4R at the parking position are parallel to the own vehicle, and then the vehicle speed pulse is counted to By using the method for estimating the moving distance and the elapsed time from when the host vehicle is parallel to the white lines 4L and 4R, it is possible to determine the switching timing of image display with higher reliability.
As described above, the four triggers that can be used as the switching trigger are the white line end points 4Lb and 4Rb, the positions of the wheel stops 5L and 5R, the moving distance of the host vehicle, and the elapsed time.
Here, in the detection of the wheel stoppers 5L and 5R, it is used on the condition that the own vehicle is parallel to the white lines 4L and 4R in order to prevent erroneous detection, and the movement distance and elapsed time are also determined by the white lines 4L and 4R and the own vehicle. The condition is that they are parallel. Therefore, the above-described four switching triggers are based on the assumption that the white lines 4L and 4R are detected and the white lines 4L and 4R are parallel to the host vehicle.
Considering the characteristics of each switching trigger, the white line end points 4Lb and 4Rb use the white lines 4L and 4R that are the premise of all the switching triggers, so the detection reliability is high. Due to the presence, contact with the ring stoppers 5L and 5R may occur.
At the positions of the wheel stops 5L and 5R, since the wheel stops 5L and 5R are detected from the image, the detection performance varies depending on the contrast between the wheel stops 5L and 5R and the road surface. Moreover, since there are various styles of the wheel stops 5L and 5R depending on the parking frame 2, it is difficult to deal with all of them.
In the travel distance, since the travel distance of the host vehicle is obtained from the rotation amount of the wheel using a vehicle speed pulse or the like, the reliability of the travel amount is high, but from the time when the host vehicle is parallel to the white lines 4L and 4R. Since the travel distance is used, there is a problem that the distance varies depending on the timing at which the host vehicle is parallel to the white lines 4L and 4R.
In the elapsed time, the time until the vehicle arrives at the rear end of the parking frame 2 differs depending on the moving speed of the host vehicle. Therefore, it is not possible to create a switching trigger at an appropriate timing only with the elapsed time.

上述の説明により、検出された位置（距離）と自車両が止まるべき位置との関係も考慮し、俯瞰画像Ｇ３への切り換えの判定として優先順位をつけると、輪止め５Ｌ・５Ｒの位置と、白線端点４Ｌｂ・４Ｒｂと、移動距離と、経過時間の順になる。
そこで、自車両から駐車枠２の後端までの距離（輪止めがある場合は輪止めが後端）を基準としたとき、判定のしきい値としては、輪止め５Ｌ・５Ｒまでが一番遠く、次に白線端点４Ｌｂ・４Ｒｂ、移動距離、経過時間の順となる。
具体的には、図１６に示すように、通常の駐車操作では、輪止め５Ｌ・５Ｒの検出による切り換えが最も早い時間に起こり、次いで、白線端点４Ｌｂ・４Ｒｂ、移動距離、経過時間の順となる。
例えば、駐車時の平均速度を２ｋｍ／ｈとすると、約０．５５ｍ／ｓ、駐車枠２の前後方向を４．５ｍ、１／３程度自車両が駐車枠２内に入ったとき、自車両と白線４Ｌ・４Ｒとが平行になったとすると、駐車枠２の後端までの距離は残り３ｍである。駐車完了時の位置（輪止めがある場合は輪止めの位置）から１．５ｍで俯瞰表示に切り換えるとして、駐車枠２の後端までの距離は残り１．５ｍとなる。自車両が白線４Ｌ・４Ｒと平行になってから残りの駐車時間は、２．７秒（２ｋｍ／ｈ）である。２ｋｍ／ｈ時の車速パルスの周期を７０６．４３６ｍｓとすると、２．７秒間のパルス数が３．８パルスであり、パルス数は、整数である必要があるので、４パルスである。
そして、車速が２ｋｍ／ｈ以下となると、車速パルスの正確なカウント数が困難となるため、仮に、１ｋｍ／ｈで駐車したとすると、残り駐車時間は、５．４秒である。
よって、各しきい値は、輪止め５Ｌ・５Ｒの位置と白線端点４Ｌｂ・４Ｒｂとが自車両から同じ距離にある場合、輪止め５Ｌ・５Ｒの位置まで１．５ｍ（２．７秒）、白線端点４Ｌｂ・４Ｒｂまで、１．２５ｍ（残り１．７５ｍ：約３．１秒）、車速パルスが５つのカウント（３．５秒：残り１ｍ）とすると、車速パルスの検出の信頼性に応じて、切り換えの判定を行うことができる。
また、駐車時の車速が遅く、車速パルスの検出が困難な場合に対応するため、経過時間による切り換えを５秒とする。
上記の各数字は、あくまで一例であり、輪止め５Ｌ・５Ｒの位置までは１．７ｍ（３．１秒）、白線端点４Ｌｂ・４Ｒｂまでは１．５ｍ（残り１．５ｍ：約２．７秒）、車速パルスが５つのカウント（３．５秒：残り１ｍ）、経過時間による切り換えを４．５秒等としても良い。 From the above description, considering the relationship between the detected position (distance) and the position where the host vehicle should stop, if priority is given as the determination of switching to the overhead image G3 , the position of the wheel stops 5L and 5R, The white line end points 4Lb and 4Rb, the moving distance, and the elapsed time are arranged in this order.
Therefore, when the distance from the host vehicle to the rear end of the parking frame 2 is used as a reference (when there is a wheel stopper, the wheel stopper is the rear edge), the threshold value for determination is to the wheel stoppers 5L and 5R. Next, the white line end points 4Lb and 4Rb, the moving distance, and the elapsed time are in this order.
Specifically, as shown in FIG. 16, in normal parking operation, switching by detection of the wheel stops 5L and 5R occurs at the earliest time, and then, in order of white line end points 4Lb and 4Rb, moving distance, and elapsed time, Become.
For example, if the average speed during parking is 2 km / h, about 0.55 m / s, the front and rear direction of the parking frame 2 is 4.5 m, and when the own vehicle enters the parking frame 2, And the white lines 4L and 4R are parallel to each other, the distance to the rear end of the parking frame 2 is 3m. Assuming that the display is switched to a bird's-eye view at 1.5 m from the position at the time of parking completion (the position of the wheel stopper if there is a wheel stopper), the distance to the rear end of the parking frame 2 is 1.5 m. The remaining parking time after the host vehicle is parallel to the white lines 4L and 4R is 2.7 seconds (2 km / h). If the cycle of the vehicle speed pulse at 2 km / h is 706.436 ms, the number of pulses for 2.7 seconds is 3.8 pulses, and the number of pulses needs to be an integer, so it is 4 pulses.
When the vehicle speed becomes 2 km / h or less, it is difficult to accurately count the vehicle speed pulses. If the vehicle is parked at 1 km / h, the remaining parking time is 5.4 seconds.
Therefore, each threshold value is 1.5 m (2.7 seconds) to the position of the wheel stoppers 5L and 5R when the positions of the wheel stoppers 5L and 5R and the white line end points 4Lb and 4Rb are at the same distance from the host vehicle. 1.25m (remaining 1.75m: about 3.1 seconds) up to the white line end points 4Lb and 4Rb, and the vehicle speed pulse is 5 counts (3.5 seconds: remaining 1m). Thus, switching can be determined.
Further, in order to cope with the case where the vehicle speed at the time of parking is slow and it is difficult to detect the vehicle speed pulse, the switching by the elapsed time is set to 5 seconds.
Each of the above numbers is merely an example, and 1.7 m (3.1 seconds) up to the position of the ring stoppers 5L and 5R, 1.5 m up to the white line end points 4Lb and 4Rb (remaining 1.5m: about 2.7) Seconds), 5 counts of vehicle speed pulses (3.5 seconds: remaining 1 m), and switching by elapsed time may be 4.5 seconds.

この発明の駐車支援装置は、運転者に適切な画像を提供させるものであり、各種車両に適用できる。   The parking assist device of the present invention is intended to provide a driver with an appropriate image and can be applied to various vehicles.

１ 駐車場
２ 駐車枠
３ 車両
４Ｌ・４Ｒ 駐車枠の左右の白線
５Ｌ・５Ｒ 駐車枠の左右の輪止め
６ 駐車支援装置
７ 撮像手段
８ 表示手段
９ 制御手段
９Ａ 歪み補正手段
９Ｂ 画像変換手段
９Ｃ 白線検出手段
９Ｄ 白線端点検出手段
９Ｅ 表示切換制御手段
９Ｆ 平行判定手段
１０ 車室
１１ 車両パルス発信装置
４Ｌａ、４Ｌｂ、４Ｒａ、４Ｒｂ 白線端点 DESCRIPTION OF SYMBOLS 1 Parking lot 2 Parking frame 3 Vehicle 4L, 4R Left and right white line of parking frame 5L, 5R Left and right wheel stopper of parking frame 6 Parking support device 7 Imaging means 8 Display means 9 Control means 9A Distortion correction means 9B Image conversion means 9C White line Detection means 9D White line end point detection means 9E Display switching control means 9F Parallel determination means 10 Car compartment 11 Vehicle pulse transmission device 4La, 4Lb, 4Ra, 4Rb White line end point

Claims (2)

自車両の後方を撮像する撮像手段を設け、画像を表示する表示手段を設け、前記撮像手段により撮像された自車両の後方画像を前記表示手段に表示させる制御手段を設けた駐車支援装置において、
前記制御手段は、
前記撮像手段により撮像された自車両の後方画像の歪みを補正して歪み補正画像にする歪み補正手段と、
前記撮像手段により撮像された自車両の後方画像を俯瞰画像に変換する画像変換手段と、
この画像変換手段により変換された俯瞰画像から駐車枠の白線を検出する白線検出手段と、
この白線検出手段により検出された白線の白線端点を検出する白線端点検出手段と、
この白線端点検出手段により検出された白線端点と自車両との距離に基づいて前記表示手段に表示する画像を歪み補正画像と俯瞰画像とのいずれかに切り換える表示切換制御手段と、
前記白線検出手段により検出された白線に対して自車両が平行か否かを判定する平行判定手段とを備え、
前記白線端点検出手段は、前記平行判定手段により前記白線検出手段で検出された左右の白線に対して自車両が平行であると判定された時に前記白線端点を検出することを特徴とする駐車支援装置。 In a parking assistance apparatus provided with an imaging means for imaging the rear of the host vehicle, provided with a display means for displaying an image, and provided with a control means for displaying a rear image of the host vehicle imaged by the imaging means on the display means.
The control means includes
Distortion correcting means for correcting distortion of the rear image of the host vehicle imaged by the imaging means to form a distortion corrected image;
Image conversion means for converting a rear image of the host vehicle imaged by the imaging means into an overhead image;
A white line detecting means for detecting a white line of the parking frame from the overhead image converted by the image converting means;
White line end point detecting means for detecting a white line end point of the white line detected by the white line detecting means;
Display switching control means for switching an image to be displayed on the display means between the distortion correction image and the overhead image based on the distance between the white line end point detected by the white line end point detection means and the host vehicle ;
Parallel determination means for determining whether or not the host vehicle is parallel to the white line detected by the white line detection means,
The white line end point detection means detects the white line end point when the parallel determination means determines that the host vehicle is parallel to the left and right white lines detected by the white line detection means. apparatus. 自車両の後方を撮像する撮像手段を設け、画像を表示する表示手段を設け、前記撮像手段により撮像された自車両の後方画像を前記表示手段に表示させる制御手段を設けた駐車支援装置において、
前記制御手段は、
前記撮像手段により撮像された自車両の後方画像の歪みを補正して歪み補正画像にするする歪み補正手段と、
前記撮像手段により撮像された自車両の後方画像を俯瞰画像に変換する画像変換手段と、
この画像変換手段により変換された俯瞰画像から駐車枠の白線を検出する白線検出手段と、
この白線検出手段により検出された白線に対して自車両が平行か否かを判定する平行判定手段と、
この平行判定手段により前記白線検出手段で検出された白線に対して自車両が平行であると判定された時に輪止めを検出する輪止め検出手段と、
前記平行判定手段により前記白線検出手段で検出された白線に対して自車両が平行であると判定された時に白線端点を検出する白線端点検出手段と、
前記平行判定手段により前記白線検出手段で検出された白線に対して自車両が平行であると判定された時に車速パルスをカウントして自車両の移動距離を算出する移動距離算出手段と、
前記平行判定手段により前記白線検出手段で検出された白線に対して自車両が平行であると判定された時からの経過時間を計測する時間計測手段とを備えるとともに、
前記輪止め検出手段より検出された輪止めと自車両との間の距離と、前記白線端点検出手段より検出された白線端点と自車両との間の距離と、前記移動距離算出手段により算出された移動距離と、前記時間計測手段により計測された経過時間とのうちいずれかが予め設定されたしきい値に到達した時に、前記表示手段に表示する画像を歪み補正画像から俯瞰画像に切り換える表示切換制御手段を備えることを特徴とする駐車支援装置。 In a parking assistance apparatus provided with an imaging means for imaging the rear of the host vehicle, provided with a display means for displaying an image, and provided with a control means for displaying a rear image of the host vehicle imaged by the imaging means on the display means.
The control means includes
Distortion correcting means for correcting distortion of a rear image of the host vehicle imaged by the imaging means to form a distortion corrected image;
Image conversion means for converting a rear image of the host vehicle imaged by the imaging means into an overhead image;
A white line detecting means for detecting a white line of the parking frame from the overhead image converted by the image converting means;
Parallel determination means for determining whether the host vehicle is parallel to the white line detected by the white line detection means;
A wheel stop detection means for detecting a wheel stop when the parallel determination means determines that the host vehicle is parallel to the white line detected by the white line detection means;
White line end point detection means for detecting a white line end point when the parallel determination means determines that the host vehicle is parallel to the white line detected by the white line detection means;
A travel distance calculating means for counting a vehicle speed pulse and calculating a travel distance of the host vehicle when the parallel determination means determines that the host vehicle is parallel to the white line detected by the white line detection means;
Together and a time measuring means for measuring an elapsed time from when the vehicle to the detected white lines in the white line detection means is determined to be parallel by the parallel determination means,
The distance between the wheel stop detected by the wheel stop detecting means and the own vehicle, the distance between the white line end point detected by the white line end point detecting means and the own vehicle, and the movement distance calculating means. Display when the image displayed on the display means is switched from a distortion-corrected image to a bird's-eye view image when one of the travel distance and the elapsed time measured by the time measuring means reaches a preset threshold value. parking assist apparatus further comprising a switching control means.
JP2009287273A 2009-12-18 2009-12-18 Parking assistance device Active JP5527587B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009287273A JP5527587B2 (en) 2009-12-18 2009-12-18 Parking assistance device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009287273A JP5527587B2 (en) 2009-12-18 2009-12-18 Parking assistance device

Publications (2)

Publication Number Publication Date
JP2011126433A JP2011126433A (en) 2011-06-30
JP5527587B2 true JP5527587B2 (en) 2014-06-18

Family

ID=44289510

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009287273A Active JP5527587B2 (en) 2009-12-18 2009-12-18 Parking assistance device

Country Status (1)

Country Link
JP (1) JP5527587B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2927060B1 (en) 2012-11-27 2019-05-08 Clarion Co., Ltd. On-vehicle image processing device
JP5849942B2 (en) * 2012-12-25 2016-02-03 株式会社日本自動車部品総合研究所 In-vehicle image processing device
JP5958366B2 (en) * 2013-01-29 2016-07-27 株式会社日本自動車部品総合研究所 In-vehicle image processing device
JP6950317B2 (en) * 2017-07-18 2021-10-13 株式会社Ｊｖｃケンウッド Display control device, display system, display control method, and program
JP7000980B2 (en) * 2018-05-08 2022-01-19 トヨタ自動車株式会社 Parking support device
JP2020095623A (en) * 2018-12-14 2020-06-18 株式会社デンソーテン Image processing device and image processing method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07239996A (en) * 1994-02-28 1995-09-12 Toyota Motor Corp Course recognition device
JP4696691B2 (en) * 2005-05-27 2011-06-08 アイシン・エィ・ダブリュ株式会社 Parking support method and parking support device
JP2009284386A (en) * 2008-05-26 2009-12-03 Suzuki Motor Corp Parking support device for vehicle

Also Published As

Publication number Publication date
JP2011126433A (en) 2011-06-30

Similar Documents

Publication Publication Date Title
US10311618B2 (en) Virtual viewpoint position control device and virtual viewpoint position control method
JP5527587B2 (en) Parking assistance device
JP6307895B2 (en) Vehicle periphery monitoring device
JP5172314B2 (en) Stereo camera device
JP5752729B2 (en) Inter-vehicle distance calculation device and operation control method thereof
JP4654163B2 (en) Vehicle surrounding environment recognition device and system
US8089512B2 (en) Driving support device, driving support method and computer program
JP4815993B2 (en) Parking support method and parking support device
JP4832321B2 (en) Camera posture estimation apparatus, vehicle, and camera posture estimation method
US20050074143A1 (en) Vehicle backing assist apparatus and vehicle backing assist method
JP6642906B2 (en) Parking position detection system and automatic parking system using the same
JP2011118482A (en) In-vehicle device and recognition support system
JP2010184607A (en) Vehicle periphery displaying device
JP6376354B2 (en) Parking assistance system
EP2770478B1 (en) Image processing unit, imaging device, and vehicle control system and program
US11017245B2 (en) Parking assist apparatus
JP2006238131A (en) Vehicle periphery monitoring apparatus
JP4848644B2 (en) Obstacle recognition system
US11378974B2 (en) Information processing device and recording medium recording vehicle parking support program
JP2011230615A (en) Parking support device
JP5083254B2 (en) Parking result display system
JP2012001101A (en) Parking assist system
JP2919718B2 (en) Vehicle distance measuring device and vehicle equipped with it
JP6127391B2 (en) Vehicle periphery visual recognition device
JP7244562B2 (en) Mobile body control device, control method, and vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130819

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130822

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130903

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140320

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140402

R151 Written notification of patent or utility model registration

Ref document number: 5527587

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151