JP2011006005A - Device and method for supporting driving in parking - Google Patents

Device and method for supporting driving in parking Download PDF

Info

Publication number
JP2011006005A
JP2011006005A JP2009152993A JP2009152993A JP2011006005A JP 2011006005 A JP2011006005 A JP 2011006005A JP 2009152993 A JP2009152993 A JP 2009152993A JP 2009152993 A JP2009152993 A JP 2009152993A JP 2011006005 A JP2011006005 A JP 2011006005A
Authority
JP
Japan
Prior art keywords
vehicle
parking frame
parking
image
parallelism
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009152993A
Other languages
Japanese (ja)
Other versions
JP5464324B2 (en
Inventor
Yusuke Numata
裕介 沼田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2009152993A priority Critical patent/JP5464324B2/en
Publication of JP2011006005A publication Critical patent/JP2011006005A/en
Application granted granted Critical
Publication of JP5464324B2 publication Critical patent/JP5464324B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a device and a method for supporting driving in parking, which detects an attitude of one's own vehicle to parking frame lines in a simple arithmetic processing and a device constitution.SOLUTION: This driving support device in parking is provided for detecting the attitude of the one's own vehicle to the right and left parking frame lines L1 and L2 of a parking space 30 using a wide angle pickup image at the rear of a vehicle imaged by an imaging device 1 mounted on the vehicle 100, and includes a parking frame line detecting means for extracting two linear images corresponding to the right and left parking frame lines L1 and L2 from the pickup image, and a vehicle body parallelism detecting means for detecting vehicle body parallelism to the right and left parking frame lines L1 and L2 based on a correlation between inclinations θ1 and θ2 by calculating the inclinations θ1 and θ2 of the two linear images to the horizontal direction or the vertical direction of the pickup image.

Description

本発明は、車両に搭載された撮像装置により撮像された車両後方の撮像画像に基づいて、駐車スペースの左右駐車枠線に対する自車両の姿勢を検出可能とした駐車時における運転支援装置及び方法に関するものである。   The present invention relates to a driving support apparatus and method at the time of parking in which the attitude of the host vehicle with respect to the left and right parking frame lines of a parking space can be detected based on a captured image of the rear of the vehicle imaged by an imaging device mounted on the vehicle. Is.

車両の運転を支援する技術の一つとして、車載カメラにより車両外部を撮像して撮像画像を車内のモニタに表示したり、画像処理して必要な情報を運転者に提示するようにした技術が知られている。特に駐車時において、車両後方は視認し難いため、例えば駐車スペースに並列駐車する場合など、運転者が左右の駐車枠線を認識することは困難であり、またこの駐車枠線に平行に車両をバックさせることは非常に難しかった。   As one of the technologies for supporting driving of a vehicle, there is a technology that images the outside of the vehicle with an in-vehicle camera and displays the captured image on a monitor in the vehicle, or presents necessary information to the driver by image processing. Are known. In particular, when parking, it is difficult to visually recognize the rear of the vehicle.For example, when parking in parallel in a parking space, it is difficult for the driver to recognize the left and right parking frame lines. It was very difficult to make it back.

そこで、車両後方に車載カメラを設置し、車載カメラで撮像した画像を車内のモニタ上に表示することで、ミラーを見ることなく車両後方の様子を運転者に知らせるようにした運転支援装置が普及し始めている。
さらに近年は、これに加えて車載カメラで撮像された画像に所定の画像処理を行って必要な情報を運転者にわかり易く表示するようにした運転支援装置も提案されている。
例えば特許文献１（特開平１０−８３５００号公報）には、車体底面に複数の画像センサを取り付けて路面を撮影し、白線と自車との相対位置関係を計算して車内のディスプレイ上に表示する技術が開示されている。
また、特許文献２（特開平１１−３３４４７０号公報）には、車載カメラで撮像した画像に、ハンドル舵角に応じたタイヤの予測軌跡を重ねて表示し、車両の進む先を運転者に知らせることを可能とした運転支援装置が開示されている。 Therefore, driving support devices that install an in-vehicle camera at the rear of the vehicle and display the image captured by the in-vehicle camera on the monitor in the vehicle, letting the driver know the state behind the vehicle without looking at the mirror, have become widespread. Have begun to do.
In recent years, in addition to this, a driving support device has also been proposed in which predetermined image processing is performed on an image captured by an in-vehicle camera so that necessary information is easily displayed to the driver.
For example, in Patent Document 1 (Japanese Patent Laid-Open No. 10-83500), a plurality of image sensors are attached to the bottom surface of a vehicle body to photograph a road surface, and the relative positional relationship between a white line and the vehicle is calculated and displayed on a display inside the vehicle. Techniques to do this are disclosed.
Further, Patent Document 2 (Japanese Patent Laid-Open No. 11-334470) displays a predicted tire trajectory according to the steering angle of the steering wheel on an image captured by an in-vehicle camera, and informs the driver of the destination of the vehicle. A driving support device that enables this is disclosed.

特開平１０−８３５００号公報JP 10-83500 A 特開平１１−３３４４７０号公報JP-A-11-334470

しかしながら従来技術では、後方の駐車枠線を認識するために車体底面に新たに車載カメラを設置したり車載カメラの台数を増加する必要があり、コストが増大してしまうという問題があった。また、車体底面にカメラを設置した場合、車体底面から路面までの距離が近いことから撮影範囲が狭くなり車両直下の白線しか認識されないという問題があった。さらに、車載カメラの取り付け位置に関しても、車体底部に泥はね等で撮像装置の受光窓が汚されて画質を低下させる惧れがある。さらにまた、従来技術では白線と自車両との相対位置関係を計算して求めるようにしているが、演算処理が複雑化するという問題があった。
また、ハンドル舵角の変化に基づいて自車両の姿勢を検知する技術においては、舵角センサが高価であり、舵角センサのセンサ情報を用いてタイヤの進行方向の予測軌跡を計算する処理ユニットも必要となり、コスト増大を招くという問題があった。
そのため本発明においては、簡単な演算処理及び装置構成により駐車枠線に対する自車両の姿勢を検出可能とした駐車時における運転支援装置及び方法を提供することが課題である。 However, in the prior art, in order to recognize the rear parking frame line, it is necessary to newly install an in-vehicle camera on the bottom surface of the vehicle body or increase the number of in-vehicle cameras, which increases the cost. In addition, when the camera is installed on the bottom surface of the vehicle body, there is a problem that since the distance from the bottom surface of the vehicle body to the road surface is short, the shooting range becomes narrow and only the white line directly under the vehicle is recognized. Further, with respect to the mounting position of the in-vehicle camera, the light receiving window of the image pickup apparatus may be soiled by mud splashing on the bottom of the vehicle body, and the image quality may be deteriorated. Furthermore, in the prior art, the relative positional relationship between the white line and the host vehicle is calculated and obtained, but there is a problem that the calculation processing becomes complicated.
Further, in the technology for detecting the attitude of the host vehicle based on the change in the steering angle of the steering wheel, the steering angle sensor is expensive, and a processing unit that calculates a predicted trajectory of the tire traveling direction using sensor information of the steering angle sensor There is also a problem that the cost is increased.
Therefore, an object of the present invention is to provide a driving support apparatus and method at the time of parking in which the posture of the host vehicle with respect to the parking frame line can be detected with a simple arithmetic processing and apparatus configuration.

上記課題を解決するため、車両に搭載された撮像装置により撮像された車両後方の広角撮像画像を用いて、駐車スペースの左右駐車枠線に対する自車両姿勢を検出する駐車時における運転支援装置であって、
前記撮像画像から前記左右駐車枠線に該当する２本の線形画像を抽出する駐車枠線検出手段と、
前記撮像画像の水平方向若しくは垂直方向に対する前記２本の線形画像の傾きθ１とθ２を算出し、該傾きθ１とθ２の相対関係に基づいて前記左右駐車枠線に対する車体平行度を検出する車体平行度検出手段と、を備えることを特徴とする。 In order to solve the above-mentioned problem, a driving assistance device at the time of parking is used to detect the posture of the host vehicle with respect to the left and right parking frame lines of a parking space using a wide-angle captured image captured by an imaging device mounted on the vehicle. And
Parking frame line detection means for extracting two linear images corresponding to the left and right parking frame lines from the captured image;
Inclination θ1 and θ2 of the two linear images with respect to the horizontal direction or the vertical direction of the captured image are calculated, and vehicle parallelism for detecting vehicle parallelism with respect to the left and right parking frame lines based on a relative relationship between the inclinations θ1 and θ2. And a degree detecting means.

本発明によれば、左右駐車枠線と自車両との相対位置関係を直接検出することを行なわずに、左右２本の駐車枠線の傾きθ１、θ２の相対関係に基づいて車両の駐車枠線に対する車体平行度を検出するようにしているため、簡単に且つ精度良く車両の姿勢を検出することが可能となる。尚、車体平行度とは、左右駐車枠線と車両の向き（車軸に垂直な向き）との平行の度合いをいう。また、傾きθ１とθ２の相対関係は、例えば、傾きθ１とθ２がプラスマイナスをもつ数値で表される場合、傾きθ１＋θ２の値で表される。この場合、θ１＋θ２が０に近づくほど車体平行度は平行に近づくものである。しかしながら、傾きθ１とθ２の相対関係は上記に限定されるものではない。他の例として、傾きθ１とθ２の絶対値の差分で表すようにしても良い。この場合、傾きθ１とθ２の絶対値の差分が０に近づくほど車体平行度は平行に近づくこととなる。尚、水平方向若しくは垂直方向に対する２本の線形画像の傾きθ１、θ２は、水平方向若しくは垂直方向に対する２本の線形画像の垂線の傾きとしてもよい。
また、車両後方に一台の撮像装置を設置するのみで車体平行度を検出できるため、新たに複数の撮像装置を設置する必要がなく画像処理部の追加のみで実施が可能であり、安価な装置とすることができる。さらにまた、既存のバックカメラ（リアビューカメラ）を用いることもでき、より一層コスト低減が図れる。 According to the present invention, without directly detecting the relative positional relationship between the left and right parking frame lines and the host vehicle, the vehicle parking frame is based on the relative relationship between the inclinations θ1 and θ2 of the two left and right parking frame lines. Since the parallelism of the vehicle body with respect to the line is detected, the posture of the vehicle can be detected easily and accurately. The vehicle body parallelism refers to the degree of parallelism between the left and right parking frame lines and the direction of the vehicle (direction perpendicular to the axle). The relative relationship between the inclinations θ1 and θ2 is represented by the value of the inclination θ1 + θ2, for example, when the inclinations θ1 and θ2 are represented by numerical values having plus and minus. In this case, the parallelism of the vehicle body becomes closer to parallel as θ1 + θ2 approaches 0. However, the relative relationship between the inclinations θ1 and θ2 is not limited to the above. As another example, it may be expressed by a difference between absolute values of the inclinations θ1 and θ2. In this case, the parallelism of the vehicle body becomes closer to parallel as the difference between the absolute values of the inclinations θ1 and θ2 approaches zero. Note that the inclinations θ1 and θ2 of the two linear images with respect to the horizontal direction or the vertical direction may be the inclinations of the perpendicular lines of the two linear images with respect to the horizontal direction or the vertical direction.
In addition, since the parallelism of the vehicle body can be detected only by installing one imaging device at the rear of the vehicle, it is not necessary to newly install a plurality of imaging devices and can be implemented only by adding an image processing unit, and is inexpensive. It can be a device. Furthermore, an existing back camera (rear view camera) can be used, and the cost can be further reduced.

また、前記撮像装置の光軸と前記車両の向きが角度θ３を有する時に、前記車体平行度検出手段に予め角度θ３を設定しておき、前記傾きθ１とθ２の相対関係と前記角度θ３とに基づいて前記左右駐車枠線に対する車体平行度を検出することを特徴とする。
このように、撮像装置の光軸と車両の向きの角度θ３を予め設定しておくことで、光軸が車両の向きに対して傾いている場合でも、精度良く車体平行度を検出可能である。 In addition, when the optical axis of the imaging device and the orientation of the vehicle have an angle θ3, an angle θ3 is set in advance in the vehicle body parallelism detecting means, and the relative relationship between the inclinations θ1 and θ2 and the angle θ3 are set. Based on this, the vehicle body parallelism with respect to the left and right parking frame lines is detected.
Thus, by setting in advance the angle θ3 between the optical axis of the imaging device and the vehicle direction, the parallelism of the vehicle body can be detected with high accuracy even when the optical axis is inclined with respect to the vehicle direction. .

また、前記撮像画像から前記車両の写り込み部分を含む駐車スペース以外の部分を除外し、垂直方向に対して下方側は左右幅が広く上方側に向けて左右幅が狭くなる形状の処理対象エリアを取得するエリア部読出し手段を備え、該エリア部読出し手段で取得した処理対象エリア内で前記車体平行度検出手段により車体平行度を検出することを特徴とする。
このように、広角撮像画像に映し出された駐車スペースに応じて処理対象エリアを設定し、この処理対象エリア内のみで車体平行度を検出することで、必要なエリアのみを画像処理することとなり処理時間が短縮化される。 Further, a processing target area having a shape in which a portion other than a parking space including a reflected portion of the vehicle is excluded from the captured image, and a width on the lower side with respect to the vertical direction is wide in the left-right width and narrowed toward the upper side. The vehicle body parallelism is detected by the vehicle body parallelism detection means within the processing target area acquired by the area read device.
In this way, by setting the processing target area according to the parking space displayed in the wide-angle captured image and detecting the vehicle body parallelism only within this processing target area, only the necessary area is image-processed. Time is shortened.

さらに、前記駐車枠線検出手段は、前記撮像画像を垂直方向に圧縮して前記線形画像の角度を増幅するようにしたことを特徴とする。
車両と左右駐車枠線が平行に近づいてくると駐車枠線の傾きθ１、θ２が近い値となってしまうため、撮像画像を垂直方向に圧縮して線形画像の角度を増幅することにより高感度で車体平行度を検出することが可能となる。 Furthermore, the parking frame line detecting means compresses the captured image in the vertical direction to amplify the angle of the linear image.
When the vehicle and the left and right parking frame lines approach each other in parallel, the inclinations θ1 and θ2 of the parking frame lines become close to each other. Therefore, high sensitivity is obtained by compressing the captured image in the vertical direction and amplifying the angle of the linear image. Thus, it becomes possible to detect the parallelism of the vehicle body.

さらにまた、前記駐車枠線検出手段は、前記抽出された２本の線形画像を垂直方向の上下端より所定の画素分だけ削除して、垂直方向に伸びる線形画像のみを残すようにしたことを特徴とする。
このように、抽出された２本の線形画像を垂直方向の上下端より所定の画素分だけ削除することにより、略垂直方向に伸びる左右駐車枠線のみを残すことができ、水平方向の駐車枠線との区別ができ誤認識を防止できる。 Furthermore, the parking frame line detection means deletes the two extracted linear images by a predetermined number of pixels from the upper and lower ends in the vertical direction, and leaves only the linear image extending in the vertical direction. Features.
In this way, by deleting the two extracted linear images by predetermined pixels from the upper and lower ends in the vertical direction, only the left and right parking frame lines extending in the substantially vertical direction can be left, and the horizontal parking frame It can be distinguished from the line and erroneous recognition can be prevented.

また、前記駐車枠線検出手段は、前記撮像画像から３本以上の複数の線形画像が抽出された時に、該撮像画像の中央からの距離が近い２本の線形画像を選択するようにしたことを特徴とする。
このように、複数の駐車枠線が検出された時に、撮像画像の中央からの距離が近い２本の線形画像を選択することにより、駐車しようとする駐車スペースの左右駐車枠線を確実に検出することが可能となる。尚、複数の駐車枠線が検出された場合に左右駐車枠線に該当する線形画像を選択する手段は上記した手段に限定されるものではない。他の手段としては、例えば抽出された複数の線形画像の面積に基づいて左右駐車枠線を選択する手段、傾きθ１、θ２にしきい値を設けて、θ１、θ２が夫々しきい値から外れるものについては除外し、残った線形画像を左右駐車枠線として選択する手段、などが挙げられる。 Further, the parking frame line detection means selects two linear images that are close to the center of the captured image when three or more linear images are extracted from the captured image. It is characterized by.
In this way, when a plurality of parking frame lines are detected, the left and right parking frame lines of the parking space to be parked are reliably detected by selecting two linear images that are close to the center of the captured image. It becomes possible to do. The means for selecting a linear image corresponding to the left and right parking frame lines when a plurality of parking frame lines is detected is not limited to the above-described means. Other means include, for example, means for selecting left and right parking frame lines based on the areas of a plurality of extracted linear images, and providing threshold values for the inclinations θ1 and θ2, and θ1 and θ2 deviate from the threshold values, respectively. And a means for selecting the remaining linear image as the left and right parking frame lines.

また、前記車体平行度検出手段は、前記駐車枠線検出手段で抽出された２本の線形画像の平均直線からなる第１の仮想線と、前記車両の中心線の延長線となる第２の仮想線とのズレを検出し、前記駐車スペースに対する前記車両の車幅方向のズレを検出することを特徴とする。
これにより、車体平行度のみではなく駐車スペースに対する車両の車幅方向のズレを検出することができ、適切な位置に車両を駐車することが可能となる。 In addition, the vehicle body parallelism detection means includes a first imaginary line that is an average straight line of the two linear images extracted by the parking frame line detection means, and a second imaginary line that is an extension of the center line of the vehicle. A deviation from a virtual line is detected, and a deviation in the vehicle width direction of the vehicle with respect to the parking space is detected.
As a result, not only the parallelism of the vehicle body but also the displacement in the vehicle width direction of the vehicle with respect to the parking space can be detected, and the vehicle can be parked at an appropriate position.

さらに、前記車体平行度検出手段で検出された車体平行度に基づいて、前記車両のハンドル操作を促す信号を出力することを特徴とする。
これにより、車両の運転者がリアルタイムで自車両の姿勢を把握することができ、適正な運転操作を行なうことが可能となる。前記信号とは、例えば車内モニタ上に表示するマークや文字、又は車内スピーカから出力する音声等が挙げられる。 Furthermore, a signal for prompting the steering operation of the vehicle is output based on the vehicle body parallelism detected by the vehicle body parallelism detecting means.
As a result, the driver of the vehicle can grasp the posture of the host vehicle in real time and can perform an appropriate driving operation. Examples of the signal include marks and characters displayed on the in-vehicle monitor, audio output from the in-vehicle speaker, and the like.

また、車両に搭載された撮像装置により撮像された車両後方の広角撮像画像を用いて、駐車スペースの左右駐車枠線に対する自車両姿勢を検出する駐車時における運転支援方法であって、
前記撮像画像を画像処理部に入力し、
前記画像処理部にて、前記撮像画像に２値化処理を含む画像処理を行った後、前記左右駐車枠線に該当する２本の線形画像を抽出し、前記撮像画像の水平方向若しくは垂直方向に対する前記２本の線形画像の傾きθ１とθ２を算出し、該傾きθ１とθ２の相対関係に基づいて前記左右駐車枠線に対する車体平行度を検出するようにしたことを特徴とする。 In addition, a driving support method at the time of parking that detects the vehicle posture with respect to the left and right parking frame lines of the parking space using a wide-angle captured image of the rear of the vehicle imaged by an imaging device mounted on the vehicle,
The captured image is input to an image processing unit,
After the image processing unit performs image processing including binarization processing on the captured image, two linear images corresponding to the left and right parking frame lines are extracted, and a horizontal direction or a vertical direction of the captured image The inclinations θ1 and θ2 of the two linear images with respect to the vehicle are calculated, and the parallelism of the vehicle body with respect to the left and right parking frame lines is detected based on the relative relationship between the inclinations θ1 and θ2.

以上記載のごとく本発明によれば、左右駐車枠線と自車両との相対位置関係を直接検出することを行なわずに、左右２本の駐車枠線の傾きθ１、θ２の相対関係に基づいて車両の駐車枠線に対する車体平行度を検出するようにしているため、簡単に且つ精度良く車両の姿勢を検出することが可能となる。
また、車両後方に一台の撮像装置を設置するのみで車体平行度を検出できるため、新たに複数の撮像装置を設置する必要がなく安価な装置とすることができる。さらにまた、既存のバックカメラを用いることもでき、より一層コスト低減が図れる。 As described above, according to the present invention, the relative positional relationship between the left and right parking frame lines and the host vehicle is not directly detected, but based on the relative relationship between the inclinations θ1 and θ2 of the left and right parking frame lines. Since the vehicle body parallelism with respect to the parking frame line of the vehicle is detected, the posture of the vehicle can be detected easily and accurately.
Further, since the parallelism of the vehicle body can be detected only by installing one image pickup device at the rear of the vehicle, it is not necessary to newly install a plurality of image pickup devices, and the device can be made inexpensive. Furthermore, an existing back camera can be used, and the cost can be further reduced.

また、撮像装置の光軸と車両の向きの角度θ３を予め設定しておくことで、光軸が車両の向きに対して傾いている場合でも、精度良く車体平行度を検出可能である。
また、広角撮像画像に映し出された駐車スペースに応じて処理対象エリアを設定し、この処理対象エリア内のみで車体平行度を検出することで、必要なエリアのみを画像処理することとなり処理時間が短縮化される。
さらに、撮像画像を垂直方向に圧縮して線形画像の角度を増幅することにより高感度で車体平行度を検出することが可能となる。
さらにまた、抽出された２本の線形画像を垂直方向の上下端より所定の画素分だけ削除することにより、略垂直方向に伸びる左右駐車枠線のみを残すことができ、水平方向の駐車枠線との区別ができ誤認識を防止できる。 In addition, by setting the angle θ3 between the optical axis of the imaging device and the vehicle in advance, the parallelism of the vehicle body can be detected with high accuracy even when the optical axis is inclined with respect to the vehicle direction.
In addition, by setting the processing target area according to the parking space projected in the wide-angle captured image, and detecting the vehicle body parallelism only within this processing target area, only the necessary area is image-processed, and the processing time It is shortened.
Furthermore, the parallelism of the vehicle body can be detected with high sensitivity by compressing the captured image in the vertical direction and amplifying the angle of the linear image.
Furthermore, by deleting the two extracted linear images by a predetermined number of pixels from the upper and lower ends in the vertical direction, it is possible to leave only the left and right parking frame lines extending in the substantially vertical direction. And can prevent misrecognition.

また、２本の線形画像の平均直線からなる第１の仮想線と、車両の中心線の延長線となる第２の仮想線とのズレを検出することで、車体平行度のみではなく駐車スペースに対する車両の車幅方向のズレを検出することができ、適切な位置に車両を駐車することが可能となる。
さらに、車体平行度に基づいて車両のハンドル操作を促す信号を出力することにより、車両の運転者がリアルタイムで自車両の姿勢を把握することができ、適正な運転操作を行なうことが可能となる。 Further, by detecting a deviation between the first imaginary line that is an average straight line of two linear images and the second imaginary line that is an extension of the center line of the vehicle, not only the parallelism of the vehicle body but also the parking space It is possible to detect a shift in the vehicle width direction of the vehicle with respect to the vehicle and to park the vehicle at an appropriate position.
Furthermore, by outputting a signal that prompts the steering operation of the vehicle based on the parallelism of the vehicle body, the driver of the vehicle can grasp the posture of the host vehicle in real time and can perform an appropriate driving operation. .

本発明の実施形態に係る運転支援装置のブロック構成図である。It is a block block diagram of the driving assistance device which concerns on embodiment of this invention. 撮像画像における処理対象エリアを示す図である。It is a figure which shows the process target area in a captured image. 車体平行度の検出を説明する図で、（ａ）は駐車枠線と車両の位置関係を示す図、（ｂ）は（ａ）の状態における撮像装置の撮像画像を示す図である。It is a figure explaining the detection of vehicle body parallelism, (a) is a figure which shows the positional relationship of a parking frame line and a vehicle, (b) is a figure which shows the captured image of the imaging device in the state of (a). 光軸と車両が平行でない場合の車体平行度の検出を説明する図で、（ａ）は駐車枠線と車両の位置関係を示す図、（ｂ）は（ａ）の状態における撮像装置の撮像画像を示す図である。It is a figure explaining the detection of the vehicle body parallelism when an optical axis and a vehicle are not parallel, (a) is a figure which shows the positional relationship of a parking frame line and a vehicle, (b) is an imaging of the imaging device in the state of (a) It is a figure which shows an image. 圧縮処理を説明する図で、（ａ）は圧縮前の画像を示す図、（ｂ）は圧縮後の画像を示す図である。It is a figure explaining a compression process, (a) is a figure which shows the image before compression, (b) is a figure which shows the image after compression. 図５とは別の圧縮処理を説明する図で、（ａ）は圧縮前の画像を示す図、（ｂ）は圧縮後の画像を示す図である。5A and 5B are diagrams illustrating a compression process different from FIG. 5, in which FIG. 6A is a diagram illustrating an image before compression, and FIG. 5B is a diagram illustrating an image after compression. 図６の圧縮処理を説明する図で、（ａ）は圧縮前の画素イメージ図、（ｂ）は圧縮後の画素イメージ図である。7A and 6B are diagrams illustrating the compression processing of FIG. 6, where FIG. 7A is a pixel image diagram before compression, and FIG. 7B is a pixel image diagram after compression. 図６の圧縮処理を説明するフロー図である。It is a flowchart explaining the compression process of FIG. 表示マークを合成した撮像画像を示す図である。It is a figure which shows the captured image which combined the display mark. 車両と駐車スペースのズレ検出を説明する図で、（ａ）は駐車枠線と車両の位置関係を示す図、（ｂ）は（ａ）の状態における撮像装置の撮像画像を示す図である。It is a figure explaining the shift detection of a vehicle and a parking space, (a) is a figure which shows the positional relationship of a parking frame line and a vehicle, (b) is a figure which shows the captured image of the imaging device in the state of (a). 車両と駐車スペースのズレ検出の処理を説明するフロー図である。It is a flowchart explaining the process of deviation detection of a vehicle and a parking space. 本発明の実施形態に係る運転支援方法の処理を示すフロー図である。It is a flowchart which shows the process of the driving assistance method which concerns on embodiment of this invention.

以下、図面を参照して本発明の好適な実施例を例示的に詳しく説明する。但しこの実施例に記載されている構成部品の形状等は、この発明の範囲をそれに限定する趣旨ではなく、単なる説明例に過ぎない。
本発明の実施形態に係る運転支援装置は、路面に描かれた駐車枠線（例えば白線）に対する自車両の姿勢を検知するもので、具体的には、駐車スペースの左右の駐車枠線に対する自車両の角度（車軸に垂直な車体角度）を検知するものである。 Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the drawings. However, the shape of the component described in this embodiment is not intended to limit the scope of the present invention, but merely an illustrative example.
The driving support device according to the embodiment of the present invention detects the posture of the host vehicle with respect to a parking frame line (for example, a white line) drawn on a road surface. It detects the vehicle angle (the vehicle body angle perpendicular to the axle).

図１は本発明の実施形態に係る運転支援装置のブロック構成図である。
撮像装置１は、車両の外部後方の画像を撮像する装置である。該撮像装置１は、レンズ１ａ、又はレンズとプリズムやミラーとの組み合わせからなる光学素子と、ＣＣＤ１ｂやＣＭＯＳ等の固体撮像素子とを備えており、レンズ１ａ等に入った入射光が、離れた位置にある撮像素子に伝達されるように構成してもよい。また、該撮像装置１はカラー又はモノクロのデジタルカメラ（車載カメラ）であり、例えば車両後部に設置されたリアビューカメラが用いられる。好適には、撮像装置１は広角レンズを備えて広角視野を有するものとする。撮像装置１は一台または複数台設置されるが、好適には一台の装置を用いる。また、該撮像素子１は不図示のＣＰＵ、フレームメモリを備えており、撮像画像をメモリに蓄積して適宜画像処理部１０に送信するようになっている。
ＡＦＥ（アナログ・フロントエンド）部２は、ＣＤＳ（Correlated Double Sampling：相関二重サンプリング）回路３、ＡＤ変換手段４等を備える。撮像装置１の固体撮像素子から出力された画像信号は、ＣＤＳ回路３にてノイズの一部を除去した後、ＡＤ変換手段４でＡ／Ｄ変換され、これらを含む一連の処理によりデジタル信号である画像データに変換される。 FIG. 1 is a block diagram of a driving support apparatus according to an embodiment of the present invention.
The imaging device 1 is a device that captures an image of the outside rear of the vehicle. The image pickup apparatus 1 includes a lens 1a or an optical element composed of a combination of a lens and a prism or a mirror, and a solid-state image pickup element such as a CCD 1b or CMOS, and incident light entering the lens 1a or the like is separated. You may comprise so that it may be transmitted to the image pick-up element in a position. The imaging device 1 is a color or monochrome digital camera (on-vehicle camera), for example, a rear view camera installed at the rear of the vehicle. Preferably, the imaging device 1 includes a wide-angle lens and has a wide-angle field of view. One or a plurality of imaging devices 1 are installed, but preferably a single device is used. In addition, the imaging device 1 includes a CPU and a frame memory (not shown), and the captured image is stored in the memory and transmitted to the image processing unit 10 as appropriate.
The AFE (analog front end) unit 2 includes a CDS (Correlated Double Sampling) circuit 3, an AD conversion means 4, and the like. The image signal output from the solid-state imaging device of the imaging device 1 is subjected to A / D conversion by the AD conversion means 4 after removing a part of noise by the CDS circuit 3, and is converted into a digital signal by a series of processes including these. It is converted into some image data.

画像処理部１０は、輝度信号処理手段１１と、色信号処理手段１２と、画像保存手段（メモリ）１３と、遅延回路１４と、画像合成手段１５と、エリア部読出し手段１６と、駐車枠線検出手段１７と、車体平行度検出手段１８と、表示マーク選択手段１９と、表示マーク読出し手段（メモリ）２０と、を備える。
輝度信号処理手段１１は、色信号と輝度信号を分離した画像データのうち輝度信号を用いてオフセットやゲインの調整、ガンマ変換、鮮鋭化処理等の輝度信号処理を行い、輝度信号の高域成分を抽出して画像の輪郭を強調するものである。
色信号処理手段１２は、色信号と輝度信号を分離した画像データのうち色信号を用いてオフセットやゲインの調整、ガンマ変換、ホワイトバランス処理（ＡＷＢ処理等）等の色信号処理を行うものである。 The image processing unit 10 includes a luminance signal processing unit 11, a color signal processing unit 12, an image storage unit (memory) 13, a delay circuit 14, an image composition unit 15, an area unit reading unit 16, a parking frame line. A detection unit 17, a vehicle body parallelism detection unit 18, a display mark selection unit 19, and a display mark reading unit (memory) 20 are provided.
The luminance signal processing means 11 performs luminance signal processing such as offset and gain adjustment, gamma conversion, and sharpening processing using the luminance signal among the image data obtained by separating the color signal and the luminance signal, and the high frequency component of the luminance signal. Is extracted to emphasize the contour of the image.
The color signal processing means 12 performs color signal processing such as offset and gain adjustment, gamma conversion, white balance processing (AWB processing, etc.) using the color signal among the image data obtained by separating the color signal and the luminance signal. is there.

画像保存手段１３は、輝度信号処理手段１１で処理された輝度信号と、色信号処理手段１２で処理された色信号とが合成された画像データを保存する手段である。
遅延回路１４は、エリア部読出し手段１６から表示マーク読出し手段２０までの処理時間に対応する時間分、前記画像保存手段１３からの画像データを遅延させる手段である。
画像合成手段１５は、前記画像保存手段１３に保存された画像データと、エリア部読出し手段１６から表示マーク読出し手段２０までの処理を行って得られた表示マークとを合成する手段である。 The image storage unit 13 is a unit that stores image data obtained by combining the luminance signal processed by the luminance signal processing unit 11 and the color signal processed by the color signal processing unit 12.
The delay circuit 14 is a means for delaying the image data from the image storage means 13 by a time corresponding to the processing time from the area portion reading means 16 to the display mark reading means 20.
The image synthesizing unit 15 is a unit that synthesizes the image data stored in the image storing unit 13 and the display mark obtained by performing the processing from the area part reading unit 16 to the display mark reading unit 20.

エリア部読出し手段１６は、前記画像保存手段１３に保存された画像データから、バンパー３８が映し出されたエリアや空又は遠方等の駐車枠線とは関係のないエリアを除外して、駐車スペース３０に該当する処理対象エリアＡ（図２参照）のみを読み出す手段である。図２に示すように、処理対象エリアＡは、垂直方向に対して下方側は左右幅が広く上方側に向けて左右幅が狭くなる形状を有することが好ましい。
駐車枠線検出手段１７は、前記画像保存手段１３に保存された画像データ、又は前記エリア部読出し手段１６にて処理対象エリアＡのみを読み出した画像データに対して、２値化処理、フィルタ処理、ラベリング処理、ハフ変換処理、圧縮処理等を適宜選択して行い、駐車枠線に該当する２本の線形画像を検出する手段である。
車体平行度検出手段１８は、前記駐車枠線検出手段１７にて検出された２本の線形画像の傾きの相対関係を算出して、この相対関係に基づいて、車両（車軸に垂直な向き）と左右駐車枠線の平行度を検出する手段である。 The area reading unit 16 excludes the area where the bumper 38 is projected and the area which is not related to the parking frame line such as sky or far away from the image data stored in the image storage unit 13, Is a means for reading out only the processing target area A (see FIG. 2) corresponding to. As shown in FIG. 2, it is preferable that the processing target area A has a shape in which the horizontal width is wide on the lower side with respect to the vertical direction and the horizontal width is narrowed toward the upper side.
The parking frame line detection unit 17 performs binarization processing and filter processing on the image data stored in the image storage unit 13 or the image data read out of the processing target area A by the area reading unit 16. , A labeling process, a Hough transform process, a compression process, and the like are appropriately selected to detect two linear images corresponding to the parking frame line.
The vehicle body parallelism detection means 18 calculates the relative relationship between the inclinations of the two linear images detected by the parking frame line detection means 17, and based on this relative relationship, the vehicle (direction perpendicular to the axle) And means for detecting the parallelism of the left and right parking frame lines.

表示マーク選択手段１９は、前記車体平行度検出手段１８にて検出された車両と左右駐車枠線の平行度に基づいて、運転者に対して提示する表示マークを選択する手段である。
表示マーク読出し手段（メモリ）２０は、複数の表示マーク（文字を含む）が保存されており、適宜読み出すようにした手段である。
モニタ２１は、車内の運転者が視認できる位置に設置され、例えば液晶画面が用いられるが、プラズマ画面等の他の表示デバイスを用いることもできる。モニタ２１上には、画像保存手段１３に保存された撮像画像や、画像合成手段１５により該画像に表示マークを合成した画像などが表示される。該モニタ２１は新規に取り付けたものであってもよいが、好適には既存の車両搭載型のＧＰＳ用モニタ等を共用してもよい。 The display mark selection means 19 is a means for selecting a display mark to be presented to the driver based on the parallelism between the vehicle and the left and right parking frame lines detected by the vehicle body parallelism detection means 18.
The display mark reading means (memory) 20 is a means in which a plurality of display marks (including characters) are stored and read out as appropriate.
The monitor 21 is installed at a position that can be visually recognized by the driver in the vehicle. For example, a liquid crystal screen is used, but other display devices such as a plasma screen can also be used. On the monitor 21, a captured image stored in the image storage unit 13 and an image in which a display mark is combined with the image by the image combining unit 15 are displayed. The monitor 21 may be newly attached, but preferably an existing vehicle-mounted GPS monitor or the like may be shared.

図３は本発明の実施形態に係る運転支援方法を説明する図である。図３（ａ）に示されるように、例えば道路４０に対して垂直方向に駐車スペース３０が配置されており、並列駐車を行なう場合、ハンドルを操作して車両１００の向きを変化させながら、車体角度が左右の駐車枠線Ｌ１、Ｌ２に平行になるように運転して駐車スペース３０に駐車する。その際に、車両１００の前部１０１は駐車スペース３０に向いていず、後部１０２が駐車スペース３０に向くこととなる。車両１００の後部１０２には、撮像装置１が設置されている。   FIG. 3 is a diagram illustrating a driving support method according to the embodiment of the present invention. As shown in FIG. 3A, for example, a parking space 30 is arranged in a direction perpendicular to the road 40. When parallel parking is performed, the vehicle body is operated while changing the direction of the vehicle 100 by operating a handle. The vehicle is parked in the parking space 30 by driving so that the angle is parallel to the left and right parking frame lines L1 and L2. At that time, the front portion 101 of the vehicle 100 does not face the parking space 30, and the rear portion 102 faces the parking space 30. The imaging device 1 is installed in the rear portion 102 of the vehicle 100.

図３（ａ）は、車両１００を駐車スペース３０に駐車する途中の状態である。左右の駐車枠線Ｌ１、Ｌ２に対する車体角度は斜めになっており、このとき撮像装置１により図３（ｂ）に示されるような撮像画像が得られる。
撮像装置１により得られた図３（ｂ）の撮像画像は、ＡＦＥ部２を介して画像処理部１０に入力される。画像処理部１０では、輝度信号処理部１１、色信号処理部１２にて所定の処理を行って画像保存手段１３に保存された撮像画像から、駐車枠線検出手段１７にて駐車枠線に該当する２本の線形画像Ｌ１、Ｌ２を認識する。そして、車体平行度検出手段１８では、撮像画像に任意の点を設定しておき、該任意の点から前記認識した２本の線形画像Ｌ１、Ｌ２に下ろした垂線と、撮像画像の水平方向若しくは垂直方向との傾きθ１、θ２を検出し、これらの傾きθ１、θ２の相対関係に基づいて車両１００の駐車枠線Ｌ１、Ｌ２に対する姿勢を検知する。 FIG. 3A shows a state in the middle of parking the vehicle 100 in the parking space 30. The vehicle body angle with respect to the left and right parking frame lines L1 and L2 is slanted, and at this time, the captured image as shown in FIG.
The captured image of FIG. 3B obtained by the imaging device 1 is input to the image processing unit 10 via the AFE unit 2. In the image processing unit 10, a predetermined processing is performed in the luminance signal processing unit 11 and the color signal processing unit 12, and the parking frame line detection unit 17 corresponds to the parking frame line from the captured image stored in the image storage unit 13. The two linear images L1 and L2 to be recognized are recognized. Then, the vehicle body parallelism detecting means 18 sets an arbitrary point in the captured image, the perpendicular line dropped from the arbitrary point to the two recognized linear images L1 and L2, and the horizontal direction of the captured image or The inclinations θ1 and θ2 with respect to the vertical direction are detected, and the attitude of the vehicle 100 with respect to the parking frame lines L1 and L2 is detected based on the relative relationship between the inclinations θ1 and θ2.

図３に示す本実施形態において、傾きθ１、θ２の相対関係とは、傾きθ１とθ２がプラスマイナスをもつ数値で表された時、傾きθ１＋θ２の式で表される。この場合、θ１＋θ２の値が０に近づくほど車体平行度は平行に近づき、θ１＋θ２の値が大きくなるほど車体平行度は角度が大きくなる。
即ち、この２つの傾きがθ１＋θ２＝０となっている場合に、車両１００が駐車枠線Ｌ１、Ｌ２に対して平行になっていると判定する。前記任意の点は、例えば図示されるように画面隅部とする。θ１は左の駐車枠線Ｌ１の垂線と画面端の角度（傾き）であり、θ２は右の駐車枠線Ｌ２の垂線と画面端の角度（傾き）である。前記画面端とは画面上枠の水平方向線である。θ１とθ２はプラスマイナスをもった値としているため、θ１＋θ２の式により駐車枠線Ｌ１、Ｌ２の傾きθ１、θ２の相対関係が得られるものである。また、θ１＋θ２＝０とならない場合は、車両１００と駐車枠線Ｌ１、Ｌ２が角度を持っていると判定し、そのθ１＋θ２の値によって駐車枠線Ｌ１、Ｌ２に対する車両１００の角度を検知する。
尚、傾きθ１とθ２の相対関係は上記に限定されるものではない。他の例として、傾きθ１とθ２の相対関係を、傾きθ１とθ２の絶対値の差分で表すようにしても良い。この場合、傾きθ１とθ２の絶対値の差分が０に近づくほど車体平行度は平行に近づくこととなる。また、傾きθ１とθ２は、水平方向若しくは垂直方向に対する駐車枠線Ｌ１、Ｌ２の傾きとしてもよいし、水平方向若しくは垂直方向に対する駐車枠線Ｌ１、Ｌ２の垂線の傾きとしてもよい。 In the present embodiment shown in FIG. 3, the relative relationship between the inclinations θ1 and θ2 is expressed by an equation of inclination θ1 + θ2 when the inclinations θ1 and θ2 are expressed by numerical values having plus and minus. In this case, the parallelism of the vehicle body approaches parallel as the value of θ1 + θ2 approaches 0, and the angle of the vehicle parallelism increases as the value of θ1 + θ2 increases.
That is, when the two inclinations are θ1 + θ2 = 0, it is determined that the vehicle 100 is parallel to the parking frame lines L1 and L2. The arbitrary point is, for example, a screen corner as shown in the figure. θ1 is the angle (inclination) between the vertical line of the left parking frame line L1 and the screen edge, and θ2 is the angle (inclination) between the vertical line of the right parking frame line L2 and the screen edge. The screen edge is a horizontal line of the screen upper frame. Since θ1 and θ2 have plus and minus values, the relative relationship between the inclinations θ1 and θ2 of the parking frame lines L1 and L2 can be obtained by the equation θ1 + θ2. When θ1 + θ2 = 0 does not hold, it is determined that the vehicle 100 and the parking frame lines L1, L2 have an angle, and the angle of the vehicle 100 with respect to the parking frame lines L1, L2 is detected based on the value of θ1 + θ2.
The relative relationship between the inclinations θ1 and θ2 is not limited to the above. As another example, the relative relationship between the inclinations θ1 and θ2 may be represented by the difference between the absolute values of the inclinations θ1 and θ2. In this case, the parallelism of the vehicle body becomes closer to parallel as the difference between the absolute values of the inclinations θ1 and θ2 approaches zero. In addition, the inclinations θ1 and θ2 may be inclinations of the parking frame lines L1 and L2 with respect to the horizontal direction or the vertical direction, or may be inclinations of perpendicular lines of the parking frame lines L1 and L2 with respect to the horizontal direction or the vertical direction.

尚、上記した処理は、撮像装置１の光軸と車両１００の向きが平行であることを前提としている。
図４（ａ）に示すように、撮像装置１の光軸Ｌ３と車両１００の向きＬ６が平行でない場合は、図４（ｂ）に示されるように、予め撮像装置１の光軸Ｌ３と車両１００の向きの角度θ３を画像処理部１０に登録しておき、左の駐車枠線Ｌ１の傾きθ１と、右の駐車枠線Ｌ２の傾きθ２の差が、撮像装置１の光軸Ｌ３と車両１００の角度θ３となる時に車両１００が駐車枠線Ｌ１、Ｌ２に対して平行になっていると判定する。即ちθ１＋θ２＝θ３となる場合に車両１００が駐車枠線Ｌ１、Ｌ２に対して平行になっているものとする。従って、θ１＋θ２＝θ３とならない場合は、車両１００が駐車枠線Ｌ１、Ｌ２に対して平行ではなく、そのθ１＋θ２の値と、θ３の値がどのくらい離れているかによって駐車枠線Ｌ１、Ｌ２に対する車両１００の姿勢（傾き）を検知する。
また、別の方法として、撮像装置１の光軸Ｌ３と車両１００の向きが平行でない場合、予め左右の駐車枠線Ｌ１、Ｌ２と車両１００を平行に設置し、撮像装置１により左右の駐車枠線Ｌ１、Ｌ２を撮像することで撮像装置１の光軸傾きを判別するようにしてもよい。 The above-described process is based on the premise that the optical axis of the imaging device 1 and the direction of the vehicle 100 are parallel.
As shown in FIG. 4A, when the optical axis L3 of the imaging device 1 and the orientation L6 of the vehicle 100 are not parallel, as shown in FIG. The angle θ3 of the orientation of 100 is registered in the image processing unit 10, and the difference between the inclination θ1 of the left parking frame line L1 and the inclination θ2 of the right parking frame line L2 is the optical axis L3 of the imaging device 1 and the vehicle When the angle θ3 is 100, it is determined that the vehicle 100 is parallel to the parking frame lines L1 and L2. That is, when θ1 + θ2 = θ3, the vehicle 100 is assumed to be parallel to the parking frame lines L1 and L2. Therefore, when θ1 + θ2 = θ3 does not hold, the vehicle 100 is not parallel to the parking frame lines L1 and L2, and the vehicle 100 with respect to the parking frame lines L1 and L2 depends on how far the values of θ1 + θ2 and θ3 are separated. Detect the posture (tilt).
As another method, when the optical axis L3 of the imaging device 1 and the direction of the vehicle 100 are not parallel, the left and right parking frame lines L1, L2 and the vehicle 100 are installed in parallel, and the imaging device 1 uses the imaging device 1 to set the left and right parking frames. You may make it discriminate | determine the optical axis inclination of the imaging device 1 by imaging the lines L1 and L2.

図５は、駐車枠線検出手段１８における圧縮処理を説明する図である。
図５（ａ）に示すように、車両１００と駐車枠線Ｌ１、Ｌ２が平行に近づいてくると、撮像画像水平方向若しくは垂直方向に対する駐車枠線Ｌ１、Ｌ２の垂線傾きθ１、θ２が近い値となり、車両１００と駐車枠線Ｌ１、Ｌ２の角度検出の難易度が高くなってくる。そこで、図５（ｂ）に示すように、左右の駐車枠線Ｌ１、Ｌ２を検出する際に垂直方向に圧縮処理した画像をもとに左右の駐車枠線Ｌ１’、Ｌ２’を検出する。この圧縮処理は、画像保存手段１３に保存された画像をそのまま圧縮処理してもよいし、駐車枠線検出手段１７にて２値化処理した後に圧縮処理してもよい。また、圧縮処理する際に、取り込んだ画像に対して１／Ｎに縦方向圧縮する場合は、Ｎライン毎にメモリに書き込みを行なうようにする。
図５（ａ）に示すように画像を垂直方向に圧縮していない場合と、図５（ｂ）に示すように画像を垂直方向に圧縮した場合を比べると明らかなように、圧縮した画像は、撮像画像水平方向若しくは垂直方向に対する駐車枠線Ｌ１、Ｌ２の垂線傾きθ１’、θ２’が増幅されて大きな値として算出される。このように、撮像画像を垂直方向に圧縮処理することでより精度良く駐車枠線Ｌ１、Ｌ２と車両１００の平行度を検出することが可能となる。 FIG. 5 is a diagram for explaining the compression processing in the parking frame line detection means 18.
As shown in FIG. 5A, when the vehicle 100 and the parking frame lines L1 and L2 approach each other in parallel, the vertical inclinations θ1 and θ2 of the parking frame lines L1 and L2 with respect to the horizontal or vertical direction of the captured image are close to each other. Thus, the degree of difficulty in detecting the angle between the vehicle 100 and the parking frame lines L1 and L2 becomes higher. Therefore, as shown in FIG. 5B, the left and right parking frame lines L1 ′ and L2 ′ are detected based on the image compressed in the vertical direction when the left and right parking frame lines L1 and L2 are detected. In this compression process, the image stored in the image storage unit 13 may be compressed as it is, or may be compressed after the parking frame line detection unit 17 performs binarization processing. Also, when the compression processing is performed, if the captured image is vertically compressed to 1 / N, writing to the memory is performed every N lines.
As is clear when comparing the case where the image is not compressed in the vertical direction as shown in FIG. 5A and the case where the image is compressed in the vertical direction as shown in FIG. The vertical inclinations θ1 ′ and θ2 ′ of the parking frame lines L1 and L2 with respect to the horizontal or vertical direction of the captured image are amplified and calculated as large values. Thus, the parallelism between the parking frame lines L1 and L2 and the vehicle 100 can be detected with higher accuracy by compressing the captured image in the vertical direction.

図６乃至図８は、駐車枠線検出手段１８における別の圧縮処理を説明する図である。
エリア部読出し手段１６にて処理対象エリアＡのみを抽出し、駐車枠線検出手段１８にて２値化処理した２値化画像は図６（ａ）に示すようになる。この画像では、水平方向の駐車枠線Ｌ４と、左右の垂直方向の駐車枠線Ｌ１、Ｌ２とが存在する場合がある。そこで、水平方向の駐車枠線Ｌ４と左右の駐車枠線Ｌ１、Ｌ２の区別や誤認識防止のために、駐車枠線の画面縦方向のみを垂直方向から圧縮することで、垂直方向の距離が短い略水平方向の駐車枠線Ｌ４は消えることとなり、図６（ｂ）に示されるように略垂直方向に伸びる駐車枠線Ｌ１、Ｌ２のみを残すことが可能となる。ここでいう圧縮とは、駐車枠線Ｌ１、Ｌ２、Ｌ４を垂直方向の上下端から所定の画素分を削除することをいう。 6 to 8 are diagrams for explaining another compression process in the parking frame line detection means 18.
The binarized image obtained by extracting only the processing area A by the area reading unit 16 and binarizing by the parking frame line detecting unit 18 is as shown in FIG. In this image, there may be a horizontal parking frame line L4 and left and right vertical parking frame lines L1 and L2. Therefore, in order to distinguish between the horizontal parking frame line L4 and the left and right parking frame lines L1 and L2 and to prevent erroneous recognition, only the vertical direction of the screen of the parking frame line is compressed from the vertical direction so that the vertical distance is reduced. The short substantially horizontal parking frame line L4 disappears, and it becomes possible to leave only the parking frame lines L1 and L2 extending in the substantially vertical direction as shown in FIG. 6B. The compression referred to here means deleting predetermined pixels from the upper and lower ends of the parking frame lines L1, L2, and L4 in the vertical direction.

図８に示す圧縮処理のフローを参照して、具体的な処理を説明する。
まず、撮像装置１で撮像された撮像画像を駐車枠線検出手段１８にて２値化処理する（Ｓ１１）。このとき、撮像装置１で撮像され画像処理部１０の画像保存手段１３に保存された画像をそのまま２値化処理してもよいし、エリア部読出し手段１６にて処理対象エリアＡのみを抽出された画像を２値化処理してもよい。
２値化処理した画像を図７（ａ）に示す。この画像において、画素１列毎に縦方向に走査し（Ｓ１２）、白から黒又は黒から白に変化する白画素を検出する（Ｓ１３）。そして、検出された白画素を黒画素に変化させる処理を行なう（Ｓ１４）。このとき、白画素から黒画素に変化させる画素数は適宜決められるが、予め水平方向の駐車枠線Ｌ４の縦方向距離に対応する画素数を取得しておき、この画素数分だけ白画素から黒画素に変化させる処理を行なうことが好ましい。圧縮処理後の画像を図７（ｂ）に示す。 Specific processing will be described with reference to the flow of compression processing shown in FIG.
First, the picked-up image picked up by the image pickup device 1 is binarized by the parking frame line detection means 18 (S11). At this time, the image captured by the imaging device 1 and stored in the image storage unit 13 of the image processing unit 10 may be binarized as it is, or only the processing target area A is extracted by the area unit reading unit 16. The binarized image may be processed.
The binarized image is shown in FIG. In this image, scanning is performed in the vertical direction for each column of pixels (S12), and white pixels that change from white to black or from black to white are detected (S13). And the process which changes the detected white pixel into a black pixel is performed (S14). At this time, the number of pixels to be changed from white pixels to black pixels is appropriately determined. However, the number of pixels corresponding to the vertical distance of the parking frame line L4 in the horizontal direction is acquired in advance, and the number of pixels corresponding to this number of pixels is used. It is preferable to perform a process of changing to black pixels. The image after the compression processing is shown in FIG.

図９は、モニタ２１上に表示マーク５１、５２を表示したモニタ画面を示す。
上記した駐車枠線検出手段１８、車体平行度検出手段１９によって車両１００の左右駐車枠線Ｌ１、Ｌ２に対する姿勢が検出されたら、該検出された姿勢に応じて運転者に注意喚起を行なう表示マークをモニタ２１上に表示する。これは、車両１００の姿勢に対応して表示マーク読出し手段２０に予め複数の表示マークが登録されており、表示マーク選択手段１９にて前記検出された姿勢に基づいて対応する表示マークを表示マーク読出し手段２０から選択し、該選択された表示マークを画像合成手段１５に送る。画像合成手段１５では、画像保存手段１３に保存された画像と前記表示マークとを合成して、モニタ２１に表示する。例えば、図９（ａ）に示すようにハンドルを右に回すように促すマーク５１と、「ハンドル右へ」という文字とを撮像画像上に表示したり、（ｂ）に示すように、ハンドルをそのままの状態にしておくように促すマーク５２と、「ハンドルそのまま」という文字とを撮像画像上に表示する。これは、表示マーク又は文字の何れか一方であってもよいし、モニタ２１ではなく車内スピーカを用いて音声により出力する構成としてもよい。 FIG. 9 shows a monitor screen in which display marks 51 and 52 are displayed on the monitor 21.
When the above-described parking frame line detection means 18 and vehicle body parallelism detection means 19 detect the posture of the vehicle 100 with respect to the left and right parking frame lines L1, L2, a display mark that alerts the driver according to the detected posture Is displayed on the monitor 21. This is because a plurality of display marks are registered in advance in the display mark reading means 20 corresponding to the posture of the vehicle 100, and the display marks corresponding to the display marks selected by the display mark selecting means 19 are displayed as display marks. A selection is made from the reading means 20, and the selected display mark is sent to the image composition means 15. The image synthesizing unit 15 synthesizes the image stored in the image storing unit 13 and the display mark, and displays them on the monitor 21. For example, as shown in FIG. 9A, a mark 51 that prompts the user to turn the handle to the right and a character “to the right of the handle” are displayed on the captured image, or the handle is moved as shown in FIG. A mark 52 that prompts the user to keep the state as it is and a character “handle as it is” are displayed on the captured image. This may be either a display mark or a character, or may be configured to output by voice using a vehicle speaker instead of the monitor 21.

図１１は、左右駐車枠線Ｌ１、Ｌ２に対する車両の車幅方向の相対位置（ズレ）を検出する処理を説明するフロー図である。図１１を参照して、以下にフローを説明する。
図１０（ａ）に示すように車両１００と駐車枠線Ｌ１、Ｌ２が平行であることが検知されても、車両１００の中心線（光軸）Ｌ３と駐車スペース３０の中心線３５との間にズレがあると、車両１００が駐車スペース３０の端に駐車されることとなってしまう。
そこで、まず車両１００の光軸（第２の仮想線）Ｌ３の任意の測定ポイントＰ１を算出し（Ｓ２１）、次いで左右の駐車枠線Ｌ１、Ｌ２の平均直線（第１の仮想線）Ｌ５を求め、該平均直線Ｌ５の任意の測定ポイントＰ２を算出し（Ｓ２２）、各測定ポイントＰ１、Ｐ２の距離を算出することによって駐車スペース３０に対する車両１００の車幅方向の相対位置を検出する（Ｓ２３）。該検出された相対位置は、表示マーク選択手段１９、表示マーク読出し手段２０によりズレの有無、ズレの大きさ等を示す表示マークや文字をモニタ２１上に表示して運転者に通知することが好ましい。尚、上記した処理においては、撮像装置１の光軸Ｌ３が車両１００の中心に合致していることを前提としているが、光軸Ｌ３が車両１００の中心からずれている場合には、予めそのずれ量を取得して登録しておき、このずれ量を考慮に入れて各測定ポイントＰ１、Ｐ２の距離を算出するとよい。 FIG. 11 is a flowchart illustrating a process for detecting a relative position (deviation) in the vehicle width direction of the vehicle with respect to the left and right parking frame lines L1 and L2. The flow will be described below with reference to FIG.
Even if it is detected that the vehicle 100 and the parking frame lines L1 and L2 are parallel as shown in FIG. 10A, the distance between the center line (optical axis) L3 of the vehicle 100 and the center line 35 of the parking space 30 If there is a deviation, the vehicle 100 is parked at the end of the parking space 30.
Therefore, first, an arbitrary measurement point P1 of the optical axis (second imaginary line) L3 of the vehicle 100 is calculated (S21), and then an average straight line (first imaginary line) L5 of the left and right parking frame lines L1 and L2 is calculated. Then, an arbitrary measurement point P2 of the average straight line L5 is calculated (S22), and the relative position in the vehicle width direction of the vehicle 100 with respect to the parking space 30 is detected by calculating the distance between the measurement points P1 and P2 (S23). ). The detected relative position may be notified to the driver by displaying on the monitor 21 display marks and characters indicating the presence / absence of the deviation, the magnitude of the deviation, etc. by the display mark selection means 19 and the display mark reading means 20. preferable. In the above-described processing, it is assumed that the optical axis L3 of the imaging device 1 is aligned with the center of the vehicle 100. However, when the optical axis L3 is deviated from the center of the vehicle 100, It is preferable to acquire and register the deviation amount, and calculate the distance between the measurement points P1 and P2 in consideration of the deviation amount.

次に、図１２を参照して、本発明の実施形態に係る運転支援方法のフローを説明する。
まず、撮像装置１により車両１００の外部後方の画像を撮像し、撮像画像を取り込む（Ｓ１）。取り込んだ撮像画像は、ＡＦＥ部２にてノイズの一部を除去した後、Ａ／Ｄ変換され、これらを含む一連の処理によりデジタル信号の画像データ（以下、画像と称する）に変換される。
この画像は画像処理部１０に入力され、該画像は輝度信号と色信号に分離されて輝度信号処理手段１１と色信号処理手段１２にて夫々処理された後、輝度信号と色信号が合成されて画像保存手段１３に保存される。 Next, with reference to FIG. 12, the flow of the driving support method according to the embodiment of the present invention will be described.
First, the imaging device 1 captures an image of the rear side of the vehicle 100 and captures the captured image (S1). The captured image is subjected to A / D conversion after a part of noise is removed by the AFE unit 2 and converted into digital signal image data (hereinafter referred to as an image) by a series of processes including these.
This image is input to the image processing unit 10, and the image is separated into a luminance signal and a color signal and processed by the luminance signal processing means 11 and the color signal processing means 12, respectively, and then the luminance signal and the color signal are combined. And stored in the image storage unit 13.

画像保存手段１３に保存された画像は、エリア部読出し手段１６にて、図２に示すようにバンパー３８を除外し、車両１００の進行方向手前（画面下）側は左右幅が広く、進行方向奥（画面上）側に向けて左右幅が狭くなる形状のエリアのみを処理対象エリアＡとして取得する（Ｓ２）。尚、このエリア部読出し手段１６は必須の構成ではなく、全画像を用いて以下の処理を行うようにしてもよい。
処理対象エリアＡに対して、駐車枠線検出手段１７にて、２値化処理や各種フィルタ処理を実施し、左右の駐車枠線Ｌ１、Ｌ２のみを抽出する（Ｓ３）。ここで２値化処理とは、予め設定された所定の輝度閾値に基づいて濃淡のある画像を白と黒の２階調に変換する周知の処理であり、これにより図６（ａ）に示すような画像が得られる。また、各種フィルタ処理は、図５に示す圧縮処理や、図６乃至図８に示す圧縮処理等である。 As shown in FIG. 2, the image stored in the image storage unit 13 excludes the bumper 38 as shown in FIG. 2, and the vehicle 100 has a wide left and right width on the front side (bottom of the screen). Only an area having a shape in which the lateral width becomes narrower toward the back (on the screen) side is acquired as the processing target area A (S2). The area portion reading means 16 is not an essential configuration, and the following processing may be performed using all images.
The parking frame line detecting means 17 performs binarization processing and various filter processes on the processing target area A, and extracts only the left and right parking frame lines L1 and L2 (S3). Here, the binarization process is a well-known process for converting a grayscale image into two gradations of white and black based on a predetermined luminance threshold value set in advance, and as shown in FIG. An image like this is obtained. Various filter processes include the compression process shown in FIG. 5 and the compression processes shown in FIGS.

２値化処理、圧縮処理を実施した画像に対してラベリング処理を行い、左の駐車枠線Ｌ１と右の駐車枠線Ｌ２の分類をする（Ｓ４）。
ここで、駐車枠線が２本以上検出されたか否かを判断し（Ｓ５）、駐車枠線が１本しか検出されない場合又は全く検出されない場合には、画像取り込み（Ｓ１）に戻る。駐車枠線が２本以上検出された場合には、ハフ変換を行なって左右の駐車枠線Ｌ１、Ｌ２に各々近似直線を算出する（Ｓ６）。
尚、複数の駐車枠線が検出された時には、撮像画像の中央からの距離が近い２本の線形画像を選択するとよい。複数の駐車枠線が検出された場合に左右駐車枠線に該当する線形画像を選択する方法は上記した方法に限定されるものではなく、他にも、抽出された複数の線形画像の面積に基づいて左右駐車枠線Ｌ１、Ｌ２を選択する方法、左右駐車枠線Ｌ１、Ｌ２の傾きθ１、θ２にしきい値を設けて、θ１、θ２が夫々しきい値から外れるものについては除外し、残った線形画像を左右駐車枠線Ｌ１、Ｌ２として選択する方法、などが用いられる。 A labeling process is performed on the image subjected to the binarization process and the compression process, and the left parking frame line L1 and the right parking frame line L2 are classified (S4).
Here, it is determined whether or not two or more parking frame lines are detected (S5). If only one parking frame line is detected or not detected at all, the process returns to image capture (S1). When two or more parking frame lines are detected, the Hough transform is performed to calculate approximate straight lines for the left and right parking frame lines L1 and L2 (S6).
When a plurality of parking frame lines are detected, two linear images that are close to the center of the captured image may be selected. The method of selecting a linear image corresponding to the left and right parking frame lines when a plurality of parking frame lines is detected is not limited to the above-described method. Based on the method of selecting the left and right parking frame lines L1, L2, the thresholds are provided for the inclinations θ1, θ2 of the left and right parking frame lines L1, L2, and those in which θ1, θ2 deviate from the threshold values are excluded and remain. A method of selecting the linear images as the left and right parking frame lines L1 and L2 is used.

そして、車体平行度検出手段１８にて、左右の駐車枠線Ｌ１、Ｌ２における各近似直線の垂線と、画像水平方向との傾きθ１、θ２を算出する。左右の駐車枠線Ｌ１、Ｌ２の傾きθ１、θ２の相対関係を算出し、この相対関係に基づいて車両１００と駐車枠線Ｌ１、Ｌ２との平行度を検出する（Ｓ７）。
このとき、車両１００に対して撮像装置１の光軸Ｌ３が平行である場合には、傾きθ１、θ２の相対関係にのみ基づいて車両１００の平行度を検出し、車両１００に対して撮像装置１の光軸Ｌ３が傾いている場合には、予め光軸Ｌ３と車両１００の向きの角度θ３を画像処理部１０に登録しておき、角度θ３を考慮して車体平行度を検出する。 Then, the vehicle body parallelism detecting means 18 calculates inclinations θ1 and θ2 between the vertical lines of the approximate straight lines on the left and right parking frame lines L1 and L2 and the horizontal direction of the image. The relative relationship between the inclinations θ1 and θ2 of the left and right parking frame lines L1 and L2 is calculated, and the parallelism between the vehicle 100 and the parking frame lines L1 and L2 is detected based on this relative relationship (S7).
At this time, when the optical axis L3 of the image pickup apparatus 1 is parallel to the vehicle 100, the parallelism of the vehicle 100 is detected based only on the relative relationship between the inclinations θ1 and θ2, and the image pickup apparatus with respect to the vehicle 100 is detected. When one optical axis L3 is inclined, the angle θ3 of the direction of the optical axis L3 and the vehicle 100 is registered in the image processing unit 10 in advance, and the vehicle body parallelism is detected in consideration of the angle θ3.

車体平行度検出手段１８には、予め平行度しきい値が設定されており、検出された平行度と平行度しきい値とを比較し（Ｓ８）、検出された平行度が平行度しきい値以下である場合には、車両１００が駐車スペース３０に略平行であると判断し、表示マーク選択手段１９にてハンドル操作完了表示を選択し、表示マーク読出し手段２０にて該当する表示マーク（文字を含む）を読出し、画像合成手段１５にて画像保存手段１３に保存されていた撮像画像と、前記表示マークとを合成してモニタ２１に表示する（Ｓ１０）。
一方、検出された平行度が平行度しきい値より大である場合には（Ｓ８）、車両１００が駐車スペース３０に対して傾いていると判断し、表示マーク選択手段１９にてハンドル方向表示を選択し、表示マーク読出し手段２０にて該当する表示マーク（文字を含む）を読出し、画像合成手段１５にて画像保存手段１３に保存されていた撮像画像と、前記表示マークとを合成してモニタ２１に表示して、運転者にハンドル操作を喚起する。 A parallelism threshold value is set in advance in the vehicle body parallelism detecting means 18, and the detected parallelism is compared with the parallelism threshold value (S8), and the detected parallelism is the parallelism threshold. If it is equal to or smaller than the value, it is determined that the vehicle 100 is substantially parallel to the parking space 30, the handle operation completion display is selected by the display mark selection means 19, and the corresponding display mark ( The captured image stored in the image storage unit 13 and the display mark are combined and displayed on the monitor 21 (S10).
On the other hand, when the detected parallelism is larger than the parallelism threshold value (S8), it is determined that the vehicle 100 is inclined with respect to the parking space 30, and the display mark selection means 19 displays the steering direction. The display mark reading means 20 reads the corresponding display mark (including characters), and the image combining means 15 combines the captured image stored in the image storage means 13 with the display mark. The information is displayed on the monitor 21 to alert the driver to operate the steering wheel.

本発明の実施形態によれば、左右の駐車枠線Ｌ１、Ｌ２と自車両１００との相対位置関係を直接検出することを行なわずに、左右２本の駐車枠線Ｌ１、Ｌ２の画面水平方向又は垂直方向に対する傾きθ１、θ２の相対関係に基づいて車両１００の駐車枠線Ｌ１、Ｌ２に対する車体平行度を検出するようにしているため、簡単に且つ精度良く車両の姿勢を検出することが可能となる。
また、車両後方に一台の撮像装置１を設置するのみで車体平行度を検出できるため、新たに複数の撮像装置を設置する必要がなく画像処理部１０の追加のみで実施が可能であり、安価な装置とすることができる。さらにまた、既存のバックカメラ（リアビューカメラ）を用いることもでき、より一層コスト低減が図れる。 According to the embodiment of the present invention, without directly detecting the relative positional relationship between the left and right parking frame lines L1 and L2 and the host vehicle 100, the horizontal direction of the screen of the left and right parking frame lines L1 and L2 is determined. Alternatively, since the vehicle body parallelism with respect to the parking frame lines L1 and L2 of the vehicle 100 is detected based on the relative relationship between the inclinations θ1 and θ2 with respect to the vertical direction, the posture of the vehicle can be detected easily and accurately. It becomes.
In addition, since the parallelism of the vehicle body can be detected simply by installing one imaging device 1 at the rear of the vehicle, it is not necessary to newly install a plurality of imaging devices, and can be implemented only by adding the image processing unit 10. An inexpensive apparatus can be obtained. Furthermore, an existing back camera (rear view camera) can be used, and the cost can be further reduced.

また、撮像装置１の光軸Ｌ３と車両１００の向きの角度θ３を予め設定しておくことで、光軸Ｌ３が車両１００の向きに対して傾いている場合でも、精度良く車体平行度を検出可能である。
また、広角撮像画像に映し出された駐車スペース３０に応じて処理対象エリアＡを設定し、この処理対象エリアＡ内のみで車体平行度を検出することで、必要なエリアのみを画像処理することとなり処理時間が短縮化される。 Further, by setting in advance the angle θ3 between the optical axis L3 of the imaging device 1 and the vehicle 100, even when the optical axis L3 is inclined with respect to the direction of the vehicle 100, the parallelism of the vehicle body can be detected with high accuracy. Is possible.
In addition, the processing area A is set according to the parking space 30 displayed in the wide-angle captured image, and the parallelism of the vehicle body is detected only in the processing area A, so that only the necessary area is image-processed. Processing time is shortened.

さらに、車両１００と左右の駐車枠線Ｌ１、Ｌ２が平行に近づいてくると傾きθ１、θ２が近い値となってしまうため、撮像画像を垂直方向に圧縮して線形画像の角度を増幅することにより高感度で車体平行度を検出することが可能となる。
さらにまた、抽出された２本の駐車枠線Ｌ１、Ｌ２を垂直方向の上下端より所定の画素分だけ削除することにより、略垂直方向に伸びる左右の駐車枠線Ｌ１、Ｌ２のみを残すことができ、水平方向の駐車枠線Ｌ４との区別ができ誤認識を防止できる。 Further, when the vehicle 100 and the left and right parking frame lines L1 and L2 approach each other, the inclinations θ1 and θ2 become close to each other. Therefore, the captured image is compressed in the vertical direction to amplify the angle of the linear image. This makes it possible to detect the parallelism of the vehicle body with high sensitivity.
Furthermore, by deleting the two extracted parking frame lines L1 and L2 by predetermined pixels from the upper and lower ends in the vertical direction, only the left and right parking frame lines L1 and L2 extending in the substantially vertical direction may be left. It can be distinguished from the parking frame line L4 in the horizontal direction, and erroneous recognition can be prevented.

また、駐車枠線Ｌ１、Ｌ２の平均直線からなる第１の仮想線Ｌ５と、車両の中心線の延長線となる第２の仮想線（光軸）Ｌ３とのズレを検出することで、車体平行度のみではなく駐車スペース３０に対する車両１００の車幅方向のズレを検出することができ、適切な位置に車両１００を駐車することが可能となる。
さらに、車体平行度に基づいて車両１００のハンドル操作を促す信号５１、５２を出力することにより、車両１００の運転者がリアルタイムで自車両の姿勢を把握することができ、適正な運転操作を行なうことが可能となる。 Further, by detecting a deviation between the first imaginary line L5 that is an average straight line of the parking frame lines L1 and L2 and the second imaginary line (optical axis) L3 that is an extension of the center line of the vehicle, A shift in the vehicle width direction of the vehicle 100 with respect to the parking space 30 as well as the parallelism can be detected, and the vehicle 100 can be parked at an appropriate position.
Furthermore, by outputting signals 51 and 52 that prompt the steering operation of the vehicle 100 based on the parallelism of the vehicle body, the driver of the vehicle 100 can grasp the posture of the host vehicle in real time and perform an appropriate driving operation. It becomes possible.

本発明は、簡単な演算処理及び装置構成により駐車枠線に対する自車両の姿勢を検出可能としたため、車両後部に車載カメラが設置された車両全般に好適に適用可能である。   Since the present invention can detect the posture of the host vehicle with respect to the parking frame line with a simple arithmetic processing and device configuration, the present invention can be suitably applied to all vehicles in which an in-vehicle camera is installed at the rear of the vehicle.

１ 撮像装置
２ ＡＦＥ部
１０ 画像処理部
１１ 輝度信号処理手段
１２ 色信号処理手段
１３ 画像保存手段
１４ 遅延回路
１５ 画像合成手段
１６ エリア部読出し手段
１７ 駐車枠線検出手段
１８ 車体平行度検出手段
１９ 表示マーク選択手段
２０ 表示マーク読出し手段
２１ モニタ
３０ 駐車スペース
１００ 車両
Ｌ１ 左駐車枠線
Ｌ２ 右駐車枠線
Ｌ３ 光軸 DESCRIPTION OF SYMBOLS 1 Imaging device 2 AFE part 10 Image processing part 11 Luminance signal processing means 12 Color signal processing means 13 Image storage means 14 Delay circuit 15 Image composition means 16 Area part reading means 17 Parking frame line detection means 18 Car body parallelism detection means 19 Display Mark selection means 20 Display mark reading means 21 Monitor 30 Parking space 100 Vehicle L1 Left parking frame line L2 Right parking frame line L3 Optical axis

Claims (9)

車両に搭載された撮像装置により撮像された車両後方の広角撮像画像を用いて、駐車スペースの左右駐車枠線に対する自車両姿勢を検出する駐車時における運転支援装置であって、
前記撮像画像から前記左右駐車枠線に該当する２本の線形画像を抽出する駐車枠線検出手段と、
前記撮像画像の水平方向若しくは垂直方向に対する前記２本の線形画像の傾きθ１とθ２を算出し、該傾きθ１とθ２の相対関係に基づいて前記左右駐車枠線に対する車体平行度を検出する車体平行度検出手段と、を備えることを特徴とする駐車時における運転支援装置。 A driving assistance device at the time of parking that detects the vehicle posture with respect to the left and right parking frame lines of the parking space using a wide-angle captured image of the rear of the vehicle imaged by an imaging device mounted on the vehicle,
Parking frame line detection means for extracting two linear images corresponding to the left and right parking frame lines from the captured image;
Inclination θ1 and θ2 of the two linear images with respect to the horizontal direction or the vertical direction of the captured image are calculated, and vehicle parallelism for detecting vehicle parallelism with respect to the left and right parking frame lines based on a relative relationship between the inclinations θ1 and θ2. A driving support device during parking, comprising: a degree detecting means; 前記撮像装置の光軸と前記車両の向きが角度θ３を有する時に、前記車体平行度検出手段に予め角度θ３を設定しておき、前記傾きθ１とθ２の相対関係と前記角度θ３とに基づいて前記左右駐車枠線に対する車体平行度を検出することを特徴とする請求項１記載の駐車時における運転支援装置。   When the optical axis of the image pickup device and the orientation of the vehicle have an angle θ3, an angle θ3 is set in advance in the vehicle body parallelism detecting means, and based on the relative relationship between the inclinations θ1 and θ2 and the angle θ3. The driving assistance device for parking according to claim 1, wherein a parallelism of the vehicle body with respect to the left and right parking frame lines is detected. 前記撮像画像から前記車両の写り込み部分を含む駐車スペース以外の部分を除外し、垂直方向に対して下方側は左右幅が広く上方側に向けて左右幅が狭くなる形状の処理対象エリアを取得するエリア部読出し手段を備え、該エリア部読出し手段で取得した処理対象エリア内で前記車体平行度検出手段により車体平行度を検出することを特徴とする請求項１若しくは２記載の駐車時における運転支援装置。   A portion other than the parking space including the reflected portion of the vehicle is excluded from the captured image, and a processing target area having a shape in which the lateral width is wide on the lower side with respect to the vertical direction and the lateral width is narrowed toward the upper side is acquired. 3. The driving during parking according to claim 1, wherein the vehicle body parallelism is detected by the vehicle body parallelism detecting means within the processing target area acquired by the area portion reading means. Support device. 前記駐車枠線検出手段は、前記撮像画像を垂直方向に圧縮して前記線形画像の角度を増幅するようにしたことを特徴とする請求項１乃至３の何れかに記載の駐車時における運転支援装置。   The parking assistance according to any one of claims 1 to 3, wherein the parking frame line detection means compresses the captured image in a vertical direction to amplify an angle of the linear image. apparatus. 前記駐車枠線検出手段は、前記抽出された２本の線形画像を垂直方向の上下端より所定の画素分だけ削除して、垂直方向に伸びる線形画像のみを残すようにしたことを特徴とする請求項１乃至４の何れかに記載の駐車時における運転支援装置。   The parking frame line detecting means deletes the two extracted linear images by a predetermined number of pixels from the upper and lower ends in the vertical direction, and leaves only the linear image extending in the vertical direction. The driving assistance apparatus at the time of parking in any one of Claims 1 thru | or 4. 前記駐車枠線検出手段は、前記撮像画像から３本以上の複数の線形画像が抽出された時に、該撮像画像の中央からの距離が近い２本の線形画像を選択するようにしたことを特徴とする請求項１乃至５の何れかに記載の駐車時における運転支援装置。   The parking frame line detection means selects two linear images that are close to the center of the captured image when three or more linear images are extracted from the captured image. The driving assistance device at the time of parking according to any one of claims 1 to 5. 前記車体平行度検出手段は、前記駐車枠線検出手段で抽出された２本の線形画像の平均直線からなる第１の仮想線と、前記車両の中心線の延長線となる第２の仮想線とのズレを検出し、前記駐車スペースに対する前記車両の車幅方向のズレを検出することを特徴とする請求項１乃至６の何れかに記載の駐車時における運転支援装置。   The vehicle body parallelism detection means includes a first imaginary line that is an average straight line of two linear images extracted by the parking frame line detection means, and a second imaginary line that is an extension of the center line of the vehicle. The driving assistance apparatus at the time of parking according to any one of claims 1 to 6, wherein a shift in a vehicle width direction of the vehicle with respect to the parking space is detected. 前記車体平行度検出手段で検出された車体平行度に基づいて、前記車両のハンドル操作を促す信号を出力することを特徴とする請求項１乃至７の何れかに記載の駐車時における運転支援装置。   8. The driving assistance device for parking according to claim 1, wherein a signal for prompting a steering operation of the vehicle is output based on the vehicle body parallelism detected by the vehicle body parallelism detecting means. . 車両に搭載された撮像装置により撮像された車両後方の広角撮像画像を用いて、駐車スペースの左右駐車枠線に対する自車両姿勢を検出する駐車時における運転支援方法であって、
前記撮像画像を画像処理部に入力し、
前記画像処理部にて、前記撮像画像に２値化処理を含む画像処理を行った後、前記左右駐車枠線に該当する２本の線形画像を抽出し、前記撮像画像の水平方向若しくは垂直方向に対する前記２本の線形画像の傾きθ１とθ２を算出し、該傾きθ１とθ２の相対関係に基づいて前記左右駐車枠線に対する車体平行度を検出するようにしたことを特徴とする駐車時における運転支援方法。 A driving support method at the time of parking that detects the vehicle attitude relative to the left and right parking frame lines of the parking space using a wide-angle captured image of the rear of the vehicle imaged by an imaging device mounted on the vehicle,
The captured image is input to an image processing unit,
After the image processing unit performs image processing including binarization processing on the captured image, two linear images corresponding to the left and right parking frame lines are extracted, and a horizontal direction or a vertical direction of the captured image The inclinations θ1 and θ2 of the two linear images with respect to the vehicle are calculated, and the parallelism of the vehicle body with respect to the left and right parking frame lines is detected based on the relative relationship between the inclinations θ1 and θ2. Driving support method.
JP2009152993A 2009-06-26 2009-06-26 Driving support apparatus and method for parking Expired - Fee Related JP5464324B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009152993A JP5464324B2 (en) 2009-06-26 2009-06-26 Driving support apparatus and method for parking

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009152993A JP5464324B2 (en) 2009-06-26 2009-06-26 Driving support apparatus and method for parking

Publications (2)

Publication Number Publication Date
JP2011006005A true JP2011006005A (en) 2011-01-13
JP5464324B2 JP5464324B2 (en) 2014-04-09

Family

ID=43563197

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009152993A Expired - Fee Related JP5464324B2 (en) 2009-06-26 2009-06-26 Driving support apparatus and method for parking

Country Status (1)

Country Link
JP (1) JP5464324B2 (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014083829A1 (en) * 2012-11-27 2014-06-05 日産自動車株式会社 Acceleration restriction device for vehicle and acceleration restriction method for vehicle
US9117122B2 (en) 2013-06-04 2015-08-25 Hyundai Motor Company Apparatus and method for matching parking-lot outline
WO2016067535A1 (en) * 2014-10-29 2016-05-06 株式会社デンソー Parking assistance device
CN105741605A (en) * 2014-12-26 2016-07-06 爱信精机株式会社 Parking assisting apparatus
WO2018186086A1 (en) * 2017-04-03 2018-10-11 株式会社Ｊｖｃケンウッド Bird's-eye-view video generation device, bird's-eye-view video display device, bird's-eye-view video generation method, and program
JP2018195971A (en) * 2017-05-17 2018-12-06 株式会社Ｊｖｃケンウッド Overhead image generation device, overhead image display system, overhead image generating method and program
JP2018195976A (en) * 2017-05-17 2018-12-06 株式会社Ｊｖｃケンウッド Overhead image generation device, overhead image display system, overhead image generating method and program
WO2019021524A1 (en) * 2017-07-25 2019-01-31 株式会社Ｊｖｃケンウッド Display control device, display control system, display control method, and display control program
CN111160172A (en) * 2019-12-19 2020-05-15 深圳佑驾创新科技有限公司 Parking space detection method and device, computer equipment and storage medium

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003063339A (en) * 2001-08-24 2003-03-05 Matsushita Electric Ind Co Ltd Parking support equipment
JP2008068828A (en) * 2006-09-15 2008-03-27 Toyota Motor Corp Vehicle assisted in parking steering by automatic change of steering gear ratio
JP2008162426A (en) * 2006-12-28 2008-07-17 Aisin Seiki Co Ltd Parking assist device
JP2008179253A (en) * 2007-01-24 2008-08-07 Nissan Motor Co Ltd Parking assisting device and parking assisting method
JP2008213647A (en) * 2007-03-02 2008-09-18 Aisin Aw Co Ltd Parking assist method and parking assist system
JP2008269139A (en) * 2007-04-18 2008-11-06 Sanyo Electric Co Ltd Drive support system and vehicle
JP2008273495A (en) * 2007-04-30 2008-11-13 Hyundai Motor Co Ltd Parking guide method for automobile
JP2009117971A (en) * 2007-11-02 2009-05-28 Denso Corp Apparatus for monitoring periphery of vehicle

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003063339A (en) * 2001-08-24 2003-03-05 Matsushita Electric Ind Co Ltd Parking support equipment
JP2008068828A (en) * 2006-09-15 2008-03-27 Toyota Motor Corp Vehicle assisted in parking steering by automatic change of steering gear ratio
JP2008162426A (en) * 2006-12-28 2008-07-17 Aisin Seiki Co Ltd Parking assist device
JP2008179253A (en) * 2007-01-24 2008-08-07 Nissan Motor Co Ltd Parking assisting device and parking assisting method
JP2008213647A (en) * 2007-03-02 2008-09-18 Aisin Aw Co Ltd Parking assist method and parking assist system
JP2008269139A (en) * 2007-04-18 2008-11-06 Sanyo Electric Co Ltd Drive support system and vehicle
JP2008273495A (en) * 2007-04-30 2008-11-13 Hyundai Motor Co Ltd Parking guide method for automobile
JP2009117971A (en) * 2007-11-02 2009-05-28 Denso Corp Apparatus for monitoring periphery of vehicle

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014083829A1 (en) * 2012-11-27 2014-06-05 日産自動車株式会社 Acceleration restriction device for vehicle and acceleration restriction method for vehicle
JP5846318B2 (en) * 2012-11-27 2016-01-20 日産自動車株式会社 Vehicle acceleration suppression device and vehicle acceleration suppression method
US9117122B2 (en) 2013-06-04 2015-08-25 Hyundai Motor Company Apparatus and method for matching parking-lot outline
US20170228605A1 (en) * 2014-10-29 2017-08-10 Denso Corporation Parking assistance apparatus
JP2016088104A (en) * 2014-10-29 2016-05-23 株式会社デンソー Parking support device
WO2016067535A1 (en) * 2014-10-29 2016-05-06 株式会社デンソー Parking assistance device
US10268905B2 (en) 2014-10-29 2019-04-23 Denso Corporation Parking assistance apparatus
CN105741605A (en) * 2014-12-26 2016-07-06 爱信精机株式会社 Parking assisting apparatus
CN105741605B (en) * 2014-12-26 2020-01-24 爱信精机株式会社 Parking assist apparatus
WO2018186086A1 (en) * 2017-04-03 2018-10-11 株式会社Ｊｖｃケンウッド Bird's-eye-view video generation device, bird's-eye-view video display device, bird's-eye-view video generation method, and program
JP2018195971A (en) * 2017-05-17 2018-12-06 株式会社Ｊｖｃケンウッド Overhead image generation device, overhead image display system, overhead image generating method and program
JP2018195976A (en) * 2017-05-17 2018-12-06 株式会社Ｊｖｃケンウッド Overhead image generation device, overhead image display system, overhead image generating method and program
WO2019021524A1 (en) * 2017-07-25 2019-01-31 株式会社Ｊｖｃケンウッド Display control device, display control system, display control method, and display control program
CN111160172A (en) * 2019-12-19 2020-05-15 深圳佑驾创新科技有限公司 Parking space detection method and device, computer equipment and storage medium
CN111160172B (en) * 2019-12-19 2024-04-16 武汉佑驾创新科技有限公司 Parking space detection method, device, computer equipment and storage medium

Also Published As

Publication number Publication date
JP5464324B2 (en) 2014-04-09

Similar Documents

Publication Publication Date Title
JP5464324B2 (en) Driving support apparatus and method for parking
KR101417571B1 (en) Object identification device
US11270134B2 (en) Method for estimating distance to an object via a vehicular vision system
JP5615441B2 (en) Image processing apparatus and image processing method
JP4359710B2 (en) Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method
US7317813B2 (en) Vehicle vicinity image-processing apparatus and recording medium
JP5867807B2 (en) Vehicle identification device
JP2008027309A (en) Collision determination system and collision determination method
US9367751B2 (en) Object detection device for area around vehicle
JP2006318060A (en) Apparatus, method, and program for image processing
JP2006318059A (en) Apparatus, method, and program for image processing
JP5505764B2 (en) On-vehicle camera device calibration support method, calibration support device, and on-vehicle camera device
JP2006318062A (en) Image processor, image processing method and image processing program
JP2008026998A (en) Obstacle location calculation system and method
JP2014106739A (en) In-vehicle image processing device
JP2008026999A (en) Obstacle detection system and obstacle detection method
JP2005285011A (en) Human recognition system and image processing apparatus
JP2007018451A (en) Road boundary line detecting device
JP2001111989A (en) On-vehicle image pickup device
JP2006318061A (en) Apparatus, method, and program for image processing
JP2008028478A (en) Obstacle detection system, and obstacle detecting method
JP2008286648A (en) Distance measuring device, distance measuring system, and distance measuring method
JP2005242914A (en) Human recognition system and image processor
JP2008108135A (en) Obstacle detection system and obstacle detection method
JP4739833B2 (en) Vehicle stop detection device, car navigation device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120406

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130416

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131217

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140107

R150 Certificate of patent or registration of utility model

Ref document number: 5464324

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees