JP2011006005A - Device and method for supporting driving in parking - Google Patents
Device and method for supporting driving in parking Download PDFInfo
- Publication number
- JP2011006005A JP2011006005A JP2009152993A JP2009152993A JP2011006005A JP 2011006005 A JP2011006005 A JP 2011006005A JP 2009152993 A JP2009152993 A JP 2009152993A JP 2009152993 A JP2009152993 A JP 2009152993A JP 2011006005 A JP2011006005 A JP 2011006005A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- parking frame
- parking
- image
- parallelism
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、車両に搭載された撮像装置により撮像された車両後方の撮像画像に基づいて、駐車スペースの左右駐車枠線に対する自車両の姿勢を検出可能とした駐車時における運転支援装置及び方法に関するものである。 The present invention relates to a driving support apparatus and method at the time of parking in which the attitude of the host vehicle with respect to the left and right parking frame lines of a parking space can be detected based on a captured image of the rear of the vehicle imaged by an imaging device mounted on the vehicle. Is.
車両の運転を支援する技術の一つとして、車載カメラにより車両外部を撮像して撮像画像を車内のモニタに表示したり、画像処理して必要な情報を運転者に提示するようにした技術が知られている。特に駐車時において、車両後方は視認し難いため、例えば駐車スペースに並列駐車する場合など、運転者が左右の駐車枠線を認識することは困難であり、またこの駐車枠線に平行に車両をバックさせることは非常に難しかった。 As one of the technologies for supporting driving of a vehicle, there is a technology that images the outside of the vehicle with an in-vehicle camera and displays the captured image on a monitor in the vehicle, or presents necessary information to the driver by image processing. Are known. In particular, when parking, it is difficult to visually recognize the rear of the vehicle.For example, when parking in parallel in a parking space, it is difficult for the driver to recognize the left and right parking frame lines. It was very difficult to make it back.
そこで、車両後方に車載カメラを設置し、車載カメラで撮像した画像を車内のモニタ上に表示することで、ミラーを見ることなく車両後方の様子を運転者に知らせるようにした運転支援装置が普及し始めている。
さらに近年は、これに加えて車載カメラで撮像された画像に所定の画像処理を行って必要な情報を運転者にわかり易く表示するようにした運転支援装置も提案されている。
例えば特許文献1(特開平10−83500号公報)には、車体底面に複数の画像センサを取り付けて路面を撮影し、白線と自車との相対位置関係を計算して車内のディスプレイ上に表示する技術が開示されている。
また、特許文献2(特開平11−334470号公報)には、車載カメラで撮像した画像に、ハンドル舵角に応じたタイヤの予測軌跡を重ねて表示し、車両の進む先を運転者に知らせることを可能とした運転支援装置が開示されている。
Therefore, driving support devices that install an in-vehicle camera at the rear of the vehicle and display the image captured by the in-vehicle camera on the monitor in the vehicle, letting the driver know the state behind the vehicle without looking at the mirror, have become widespread. Have begun to do.
In recent years, in addition to this, a driving support device has also been proposed in which predetermined image processing is performed on an image captured by an in-vehicle camera so that necessary information is easily displayed to the driver.
For example, in Patent Document 1 (Japanese Patent Laid-Open No. 10-83500), a plurality of image sensors are attached to the bottom surface of a vehicle body to photograph a road surface, and the relative positional relationship between a white line and the vehicle is calculated and displayed on a display inside the vehicle. Techniques to do this are disclosed.
Further, Patent Document 2 (Japanese Patent Laid-Open No. 11-334470) displays a predicted tire trajectory according to the steering angle of the steering wheel on an image captured by an in-vehicle camera, and informs the driver of the destination of the vehicle. A driving support device that enables this is disclosed.
しかしながら従来技術では、後方の駐車枠線を認識するために車体底面に新たに車載カメラを設置したり車載カメラの台数を増加する必要があり、コストが増大してしまうという問題があった。また、車体底面にカメラを設置した場合、車体底面から路面までの距離が近いことから撮影範囲が狭くなり車両直下の白線しか認識されないという問題があった。さらに、車載カメラの取り付け位置に関しても、車体底部に泥はね等で撮像装置の受光窓が汚されて画質を低下させる惧れがある。さらにまた、従来技術では白線と自車両との相対位置関係を計算して求めるようにしているが、演算処理が複雑化するという問題があった。
また、ハンドル舵角の変化に基づいて自車両の姿勢を検知する技術においては、舵角センサが高価であり、舵角センサのセンサ情報を用いてタイヤの進行方向の予測軌跡を計算する処理ユニットも必要となり、コスト増大を招くという問題があった。
そのため本発明においては、簡単な演算処理及び装置構成により駐車枠線に対する自車両の姿勢を検出可能とした駐車時における運転支援装置及び方法を提供することが課題である。
However, in the prior art, in order to recognize the rear parking frame line, it is necessary to newly install an in-vehicle camera on the bottom surface of the vehicle body or increase the number of in-vehicle cameras, which increases the cost. In addition, when the camera is installed on the bottom surface of the vehicle body, there is a problem that since the distance from the bottom surface of the vehicle body to the road surface is short, the shooting range becomes narrow and only the white line directly under the vehicle is recognized. Further, with respect to the mounting position of the in-vehicle camera, the light receiving window of the image pickup apparatus may be soiled by mud splashing on the bottom of the vehicle body, and the image quality may be deteriorated. Furthermore, in the prior art, the relative positional relationship between the white line and the host vehicle is calculated and obtained, but there is a problem that the calculation processing becomes complicated.
Further, in the technology for detecting the attitude of the host vehicle based on the change in the steering angle of the steering wheel, the steering angle sensor is expensive, and a processing unit that calculates a predicted trajectory of the tire traveling direction using sensor information of the steering angle sensor There is also a problem that the cost is increased.
Therefore, an object of the present invention is to provide a driving support apparatus and method at the time of parking in which the posture of the host vehicle with respect to the parking frame line can be detected with a simple arithmetic processing and apparatus configuration.
上記課題を解決するため、車両に搭載された撮像装置により撮像された車両後方の広角撮像画像を用いて、駐車スペースの左右駐車枠線に対する自車両姿勢を検出する駐車時における運転支援装置であって、
前記撮像画像から前記左右駐車枠線に該当する2本の線形画像を抽出する駐車枠線検出手段と、
前記撮像画像の水平方向若しくは垂直方向に対する前記2本の線形画像の傾きθ1とθ2を算出し、該傾きθ1とθ2の相対関係に基づいて前記左右駐車枠線に対する車体平行度を検出する車体平行度検出手段と、を備えることを特徴とする。
In order to solve the above-mentioned problem, a driving assistance device at the time of parking is used to detect the posture of the host vehicle with respect to the left and right parking frame lines of a parking space using a wide-angle captured image captured by an imaging device mounted on the vehicle. And
Parking frame line detection means for extracting two linear images corresponding to the left and right parking frame lines from the captured image;
Inclination θ1 and θ2 of the two linear images with respect to the horizontal direction or the vertical direction of the captured image are calculated, and vehicle parallelism for detecting vehicle parallelism with respect to the left and right parking frame lines based on a relative relationship between the inclinations θ1 and θ2. And a degree detecting means.
本発明によれば、左右駐車枠線と自車両との相対位置関係を直接検出することを行なわずに、左右2本の駐車枠線の傾きθ1、θ2の相対関係に基づいて車両の駐車枠線に対する車体平行度を検出するようにしているため、簡単に且つ精度良く車両の姿勢を検出することが可能となる。尚、車体平行度とは、左右駐車枠線と車両の向き(車軸に垂直な向き)との平行の度合いをいう。また、傾きθ1とθ2の相対関係は、例えば、傾きθ1とθ2がプラスマイナスをもつ数値で表される場合、傾きθ1+θ2の値で表される。この場合、θ1+θ2が0に近づくほど車体平行度は平行に近づくものである。しかしながら、傾きθ1とθ2の相対関係は上記に限定されるものではない。他の例として、傾きθ1とθ2の絶対値の差分で表すようにしても良い。この場合、傾きθ1とθ2の絶対値の差分が0に近づくほど車体平行度は平行に近づくこととなる。尚、水平方向若しくは垂直方向に対する2本の線形画像の傾きθ1、θ2は、水平方向若しくは垂直方向に対する2本の線形画像の垂線の傾きとしてもよい。
また、車両後方に一台の撮像装置を設置するのみで車体平行度を検出できるため、新たに複数の撮像装置を設置する必要がなく画像処理部の追加のみで実施が可能であり、安価な装置とすることができる。さらにまた、既存のバックカメラ(リアビューカメラ)を用いることもでき、より一層コスト低減が図れる。
According to the present invention, without directly detecting the relative positional relationship between the left and right parking frame lines and the host vehicle, the vehicle parking frame is based on the relative relationship between the inclinations θ1 and θ2 of the two left and right parking frame lines. Since the parallelism of the vehicle body with respect to the line is detected, the posture of the vehicle can be detected easily and accurately. The vehicle body parallelism refers to the degree of parallelism between the left and right parking frame lines and the direction of the vehicle (direction perpendicular to the axle). The relative relationship between the inclinations θ1 and θ2 is represented by the value of the inclination θ1 + θ2, for example, when the inclinations θ1 and θ2 are represented by numerical values having plus and minus. In this case, the parallelism of the vehicle body becomes closer to parallel as θ1 + θ2 approaches 0. However, the relative relationship between the inclinations θ1 and θ2 is not limited to the above. As another example, it may be expressed by a difference between absolute values of the inclinations θ1 and θ2. In this case, the parallelism of the vehicle body becomes closer to parallel as the difference between the absolute values of the inclinations θ1 and θ2 approaches zero. Note that the inclinations θ1 and θ2 of the two linear images with respect to the horizontal direction or the vertical direction may be the inclinations of the perpendicular lines of the two linear images with respect to the horizontal direction or the vertical direction.
In addition, since the parallelism of the vehicle body can be detected only by installing one imaging device at the rear of the vehicle, it is not necessary to newly install a plurality of imaging devices and can be implemented only by adding an image processing unit, and is inexpensive. It can be a device. Furthermore, an existing back camera (rear view camera) can be used, and the cost can be further reduced.
また、前記撮像装置の光軸と前記車両の向きが角度θ3を有する時に、前記車体平行度検出手段に予め角度θ3を設定しておき、前記傾きθ1とθ2の相対関係と前記角度θ3とに基づいて前記左右駐車枠線に対する車体平行度を検出することを特徴とする。
このように、撮像装置の光軸と車両の向きの角度θ3を予め設定しておくことで、光軸が車両の向きに対して傾いている場合でも、精度良く車体平行度を検出可能である。
In addition, when the optical axis of the imaging device and the orientation of the vehicle have an angle θ3, an angle θ3 is set in advance in the vehicle body parallelism detecting means, and the relative relationship between the inclinations θ1 and θ2 and the angle θ3 are set. Based on this, the vehicle body parallelism with respect to the left and right parking frame lines is detected.
Thus, by setting in advance the angle θ3 between the optical axis of the imaging device and the vehicle direction, the parallelism of the vehicle body can be detected with high accuracy even when the optical axis is inclined with respect to the vehicle direction. .
また、前記撮像画像から前記車両の写り込み部分を含む駐車スペース以外の部分を除外し、垂直方向に対して下方側は左右幅が広く上方側に向けて左右幅が狭くなる形状の処理対象エリアを取得するエリア部読出し手段を備え、該エリア部読出し手段で取得した処理対象エリア内で前記車体平行度検出手段により車体平行度を検出することを特徴とする。
このように、広角撮像画像に映し出された駐車スペースに応じて処理対象エリアを設定し、この処理対象エリア内のみで車体平行度を検出することで、必要なエリアのみを画像処理することとなり処理時間が短縮化される。
Further, a processing target area having a shape in which a portion other than a parking space including a reflected portion of the vehicle is excluded from the captured image, and a width on the lower side with respect to the vertical direction is wide in the left-right width and narrowed toward the upper side. The vehicle body parallelism is detected by the vehicle body parallelism detection means within the processing target area acquired by the area read device.
In this way, by setting the processing target area according to the parking space displayed in the wide-angle captured image and detecting the vehicle body parallelism only within this processing target area, only the necessary area is image-processed. Time is shortened.
さらに、前記駐車枠線検出手段は、前記撮像画像を垂直方向に圧縮して前記線形画像の角度を増幅するようにしたことを特徴とする。
車両と左右駐車枠線が平行に近づいてくると駐車枠線の傾きθ1、θ2が近い値となってしまうため、撮像画像を垂直方向に圧縮して線形画像の角度を増幅することにより高感度で車体平行度を検出することが可能となる。
Furthermore, the parking frame line detecting means compresses the captured image in the vertical direction to amplify the angle of the linear image.
When the vehicle and the left and right parking frame lines approach each other in parallel, the inclinations θ1 and θ2 of the parking frame lines become close to each other. Therefore, high sensitivity is obtained by compressing the captured image in the vertical direction and amplifying the angle of the linear image. Thus, it becomes possible to detect the parallelism of the vehicle body.
さらにまた、前記駐車枠線検出手段は、前記抽出された2本の線形画像を垂直方向の上下端より所定の画素分だけ削除して、垂直方向に伸びる線形画像のみを残すようにしたことを特徴とする。
このように、抽出された2本の線形画像を垂直方向の上下端より所定の画素分だけ削除することにより、略垂直方向に伸びる左右駐車枠線のみを残すことができ、水平方向の駐車枠線との区別ができ誤認識を防止できる。
Furthermore, the parking frame line detection means deletes the two extracted linear images by a predetermined number of pixels from the upper and lower ends in the vertical direction, and leaves only the linear image extending in the vertical direction. Features.
In this way, by deleting the two extracted linear images by predetermined pixels from the upper and lower ends in the vertical direction, only the left and right parking frame lines extending in the substantially vertical direction can be left, and the horizontal parking frame It can be distinguished from the line and erroneous recognition can be prevented.
また、前記駐車枠線検出手段は、前記撮像画像から3本以上の複数の線形画像が抽出された時に、該撮像画像の中央からの距離が近い2本の線形画像を選択するようにしたことを特徴とする。
このように、複数の駐車枠線が検出された時に、撮像画像の中央からの距離が近い2本の線形画像を選択することにより、駐車しようとする駐車スペースの左右駐車枠線を確実に検出することが可能となる。尚、複数の駐車枠線が検出された場合に左右駐車枠線に該当する線形画像を選択する手段は上記した手段に限定されるものではない。他の手段としては、例えば抽出された複数の線形画像の面積に基づいて左右駐車枠線を選択する手段、傾きθ1、θ2にしきい値を設けて、θ1、θ2が夫々しきい値から外れるものについては除外し、残った線形画像を左右駐車枠線として選択する手段、などが挙げられる。
Further, the parking frame line detection means selects two linear images that are close to the center of the captured image when three or more linear images are extracted from the captured image. It is characterized by.
In this way, when a plurality of parking frame lines are detected, the left and right parking frame lines of the parking space to be parked are reliably detected by selecting two linear images that are close to the center of the captured image. It becomes possible to do. The means for selecting a linear image corresponding to the left and right parking frame lines when a plurality of parking frame lines is detected is not limited to the above-described means. Other means include, for example, means for selecting left and right parking frame lines based on the areas of a plurality of extracted linear images, and providing threshold values for the inclinations θ1 and θ2, and θ1 and θ2 deviate from the threshold values, respectively. And a means for selecting the remaining linear image as the left and right parking frame lines.
また、前記車体平行度検出手段は、前記駐車枠線検出手段で抽出された2本の線形画像の平均直線からなる第1の仮想線と、前記車両の中心線の延長線となる第2の仮想線とのズレを検出し、前記駐車スペースに対する前記車両の車幅方向のズレを検出することを特徴とする。
これにより、車体平行度のみではなく駐車スペースに対する車両の車幅方向のズレを検出することができ、適切な位置に車両を駐車することが可能となる。
In addition, the vehicle body parallelism detection means includes a first imaginary line that is an average straight line of the two linear images extracted by the parking frame line detection means, and a second imaginary line that is an extension of the center line of the vehicle. A deviation from a virtual line is detected, and a deviation in the vehicle width direction of the vehicle with respect to the parking space is detected.
As a result, not only the parallelism of the vehicle body but also the displacement in the vehicle width direction of the vehicle with respect to the parking space can be detected, and the vehicle can be parked at an appropriate position.
さらに、前記車体平行度検出手段で検出された車体平行度に基づいて、前記車両のハンドル操作を促す信号を出力することを特徴とする。
これにより、車両の運転者がリアルタイムで自車両の姿勢を把握することができ、適正な運転操作を行なうことが可能となる。前記信号とは、例えば車内モニタ上に表示するマークや文字、又は車内スピーカから出力する音声等が挙げられる。
Furthermore, a signal for prompting the steering operation of the vehicle is output based on the vehicle body parallelism detected by the vehicle body parallelism detecting means.
As a result, the driver of the vehicle can grasp the posture of the host vehicle in real time and can perform an appropriate driving operation. Examples of the signal include marks and characters displayed on the in-vehicle monitor, audio output from the in-vehicle speaker, and the like.
また、車両に搭載された撮像装置により撮像された車両後方の広角撮像画像を用いて、駐車スペースの左右駐車枠線に対する自車両姿勢を検出する駐車時における運転支援方法であって、
前記撮像画像を画像処理部に入力し、
前記画像処理部にて、前記撮像画像に2値化処理を含む画像処理を行った後、前記左右駐車枠線に該当する2本の線形画像を抽出し、前記撮像画像の水平方向若しくは垂直方向に対する前記2本の線形画像の傾きθ1とθ2を算出し、該傾きθ1とθ2の相対関係に基づいて前記左右駐車枠線に対する車体平行度を検出するようにしたことを特徴とする。
In addition, a driving support method at the time of parking that detects the vehicle posture with respect to the left and right parking frame lines of the parking space using a wide-angle captured image of the rear of the vehicle imaged by an imaging device mounted on the vehicle,
The captured image is input to an image processing unit,
After the image processing unit performs image processing including binarization processing on the captured image, two linear images corresponding to the left and right parking frame lines are extracted, and a horizontal direction or a vertical direction of the captured image The inclinations θ1 and θ2 of the two linear images with respect to the vehicle are calculated, and the parallelism of the vehicle body with respect to the left and right parking frame lines is detected based on the relative relationship between the inclinations θ1 and θ2.
以上記載のごとく本発明によれば、左右駐車枠線と自車両との相対位置関係を直接検出することを行なわずに、左右2本の駐車枠線の傾きθ1、θ2の相対関係に基づいて車両の駐車枠線に対する車体平行度を検出するようにしているため、簡単に且つ精度良く車両の姿勢を検出することが可能となる。
また、車両後方に一台の撮像装置を設置するのみで車体平行度を検出できるため、新たに複数の撮像装置を設置する必要がなく安価な装置とすることができる。さらにまた、既存のバックカメラを用いることもでき、より一層コスト低減が図れる。
As described above, according to the present invention, the relative positional relationship between the left and right parking frame lines and the host vehicle is not directly detected, but based on the relative relationship between the inclinations θ1 and θ2 of the left and right parking frame lines. Since the vehicle body parallelism with respect to the parking frame line of the vehicle is detected, the posture of the vehicle can be detected easily and accurately.
Further, since the parallelism of the vehicle body can be detected only by installing one image pickup device at the rear of the vehicle, it is not necessary to newly install a plurality of image pickup devices, and the device can be made inexpensive. Furthermore, an existing back camera can be used, and the cost can be further reduced.
また、撮像装置の光軸と車両の向きの角度θ3を予め設定しておくことで、光軸が車両の向きに対して傾いている場合でも、精度良く車体平行度を検出可能である。
また、広角撮像画像に映し出された駐車スペースに応じて処理対象エリアを設定し、この処理対象エリア内のみで車体平行度を検出することで、必要なエリアのみを画像処理することとなり処理時間が短縮化される。
さらに、撮像画像を垂直方向に圧縮して線形画像の角度を増幅することにより高感度で車体平行度を検出することが可能となる。
さらにまた、抽出された2本の線形画像を垂直方向の上下端より所定の画素分だけ削除することにより、略垂直方向に伸びる左右駐車枠線のみを残すことができ、水平方向の駐車枠線との区別ができ誤認識を防止できる。
In addition, by setting the angle θ3 between the optical axis of the imaging device and the vehicle in advance, the parallelism of the vehicle body can be detected with high accuracy even when the optical axis is inclined with respect to the vehicle direction.
In addition, by setting the processing target area according to the parking space projected in the wide-angle captured image, and detecting the vehicle body parallelism only within this processing target area, only the necessary area is image-processed, and the processing time It is shortened.
Furthermore, the parallelism of the vehicle body can be detected with high sensitivity by compressing the captured image in the vertical direction and amplifying the angle of the linear image.
Furthermore, by deleting the two extracted linear images by a predetermined number of pixels from the upper and lower ends in the vertical direction, it is possible to leave only the left and right parking frame lines extending in the substantially vertical direction. And can prevent misrecognition.
また、2本の線形画像の平均直線からなる第1の仮想線と、車両の中心線の延長線となる第2の仮想線とのズレを検出することで、車体平行度のみではなく駐車スペースに対する車両の車幅方向のズレを検出することができ、適切な位置に車両を駐車することが可能となる。
さらに、車体平行度に基づいて車両のハンドル操作を促す信号を出力することにより、車両の運転者がリアルタイムで自車両の姿勢を把握することができ、適正な運転操作を行なうことが可能となる。
Further, by detecting a deviation between the first imaginary line that is an average straight line of two linear images and the second imaginary line that is an extension of the center line of the vehicle, not only the parallelism of the vehicle body but also the parking space It is possible to detect a shift in the vehicle width direction of the vehicle with respect to the vehicle and to park the vehicle at an appropriate position.
Furthermore, by outputting a signal that prompts the steering operation of the vehicle based on the parallelism of the vehicle body, the driver of the vehicle can grasp the posture of the host vehicle in real time and can perform an appropriate driving operation. .
以下、図面を参照して本発明の好適な実施例を例示的に詳しく説明する。但しこの実施例に記載されている構成部品の形状等は、この発明の範囲をそれに限定する趣旨ではなく、単なる説明例に過ぎない。
本発明の実施形態に係る運転支援装置は、路面に描かれた駐車枠線(例えば白線)に対する自車両の姿勢を検知するもので、具体的には、駐車スペースの左右の駐車枠線に対する自車両の角度(車軸に垂直な車体角度)を検知するものである。
Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the drawings. However, the shape of the component described in this embodiment is not intended to limit the scope of the present invention, but merely an illustrative example.
The driving support device according to the embodiment of the present invention detects the posture of the host vehicle with respect to a parking frame line (for example, a white line) drawn on a road surface. It detects the vehicle angle (the vehicle body angle perpendicular to the axle).
図1は本発明の実施形態に係る運転支援装置のブロック構成図である。
撮像装置1は、車両の外部後方の画像を撮像する装置である。該撮像装置1は、レンズ1a、又はレンズとプリズムやミラーとの組み合わせからなる光学素子と、CCD1bやCMOS等の固体撮像素子とを備えており、レンズ1a等に入った入射光が、離れた位置にある撮像素子に伝達されるように構成してもよい。また、該撮像装置1はカラー又はモノクロのデジタルカメラ(車載カメラ)であり、例えば車両後部に設置されたリアビューカメラが用いられる。好適には、撮像装置1は広角レンズを備えて広角視野を有するものとする。撮像装置1は一台または複数台設置されるが、好適には一台の装置を用いる。また、該撮像素子1は不図示のCPU、フレームメモリを備えており、撮像画像をメモリに蓄積して適宜画像処理部10に送信するようになっている。
AFE(アナログ・フロントエンド)部2は、CDS(Correlated Double Sampling:相関二重サンプリング)回路3、AD変換手段4等を備える。撮像装置1の固体撮像素子から出力された画像信号は、CDS回路3にてノイズの一部を除去した後、AD変換手段4でA/D変換され、これらを含む一連の処理によりデジタル信号である画像データに変換される。
FIG. 1 is a block diagram of a driving support apparatus according to an embodiment of the present invention.
The imaging device 1 is a device that captures an image of the outside rear of the vehicle. The image pickup apparatus 1 includes a
The AFE (analog front end) unit 2 includes a CDS (Correlated Double Sampling)
画像処理部10は、輝度信号処理手段11と、色信号処理手段12と、画像保存手段(メモリ)13と、遅延回路14と、画像合成手段15と、エリア部読出し手段16と、駐車枠線検出手段17と、車体平行度検出手段18と、表示マーク選択手段19と、表示マーク読出し手段(メモリ)20と、を備える。
輝度信号処理手段11は、色信号と輝度信号を分離した画像データのうち輝度信号を用いてオフセットやゲインの調整、ガンマ変換、鮮鋭化処理等の輝度信号処理を行い、輝度信号の高域成分を抽出して画像の輪郭を強調するものである。
色信号処理手段12は、色信号と輝度信号を分離した画像データのうち色信号を用いてオフセットやゲインの調整、ガンマ変換、ホワイトバランス処理(AWB処理等)等の色信号処理を行うものである。
The image processing unit 10 includes a luminance
The luminance signal processing means 11 performs luminance signal processing such as offset and gain adjustment, gamma conversion, and sharpening processing using the luminance signal among the image data obtained by separating the color signal and the luminance signal, and the high frequency component of the luminance signal. Is extracted to emphasize the contour of the image.
The color signal processing means 12 performs color signal processing such as offset and gain adjustment, gamma conversion, white balance processing (AWB processing, etc.) using the color signal among the image data obtained by separating the color signal and the luminance signal. is there.
画像保存手段13は、輝度信号処理手段11で処理された輝度信号と、色信号処理手段12で処理された色信号とが合成された画像データを保存する手段である。
遅延回路14は、エリア部読出し手段16から表示マーク読出し手段20までの処理時間に対応する時間分、前記画像保存手段13からの画像データを遅延させる手段である。
画像合成手段15は、前記画像保存手段13に保存された画像データと、エリア部読出し手段16から表示マーク読出し手段20までの処理を行って得られた表示マークとを合成する手段である。
The
The
The
エリア部読出し手段16は、前記画像保存手段13に保存された画像データから、バンパー38が映し出されたエリアや空又は遠方等の駐車枠線とは関係のないエリアを除外して、駐車スペース30に該当する処理対象エリアA(図2参照)のみを読み出す手段である。図2に示すように、処理対象エリアAは、垂直方向に対して下方側は左右幅が広く上方側に向けて左右幅が狭くなる形状を有することが好ましい。
駐車枠線検出手段17は、前記画像保存手段13に保存された画像データ、又は前記エリア部読出し手段16にて処理対象エリアAのみを読み出した画像データに対して、2値化処理、フィルタ処理、ラベリング処理、ハフ変換処理、圧縮処理等を適宜選択して行い、駐車枠線に該当する2本の線形画像を検出する手段である。
車体平行度検出手段18は、前記駐車枠線検出手段17にて検出された2本の線形画像の傾きの相対関係を算出して、この相対関係に基づいて、車両(車軸に垂直な向き)と左右駐車枠線の平行度を検出する手段である。
The
The parking frame
The vehicle body parallelism detection means 18 calculates the relative relationship between the inclinations of the two linear images detected by the parking frame line detection means 17, and based on this relative relationship, the vehicle (direction perpendicular to the axle) And means for detecting the parallelism of the left and right parking frame lines.
表示マーク選択手段19は、前記車体平行度検出手段18にて検出された車両と左右駐車枠線の平行度に基づいて、運転者に対して提示する表示マークを選択する手段である。
表示マーク読出し手段(メモリ)20は、複数の表示マーク(文字を含む)が保存されており、適宜読み出すようにした手段である。
モニタ21は、車内の運転者が視認できる位置に設置され、例えば液晶画面が用いられるが、プラズマ画面等の他の表示デバイスを用いることもできる。モニタ21上には、画像保存手段13に保存された撮像画像や、画像合成手段15により該画像に表示マークを合成した画像などが表示される。該モニタ21は新規に取り付けたものであってもよいが、好適には既存の車両搭載型のGPS用モニタ等を共用してもよい。
The display mark selection means 19 is a means for selecting a display mark to be presented to the driver based on the parallelism between the vehicle and the left and right parking frame lines detected by the vehicle body parallelism detection means 18.
The display mark reading means (memory) 20 is a means in which a plurality of display marks (including characters) are stored and read out as appropriate.
The
図3は本発明の実施形態に係る運転支援方法を説明する図である。図3(a)に示されるように、例えば道路40に対して垂直方向に駐車スペース30が配置されており、並列駐車を行なう場合、ハンドルを操作して車両100の向きを変化させながら、車体角度が左右の駐車枠線L1、L2に平行になるように運転して駐車スペース30に駐車する。その際に、車両100の前部101は駐車スペース30に向いていず、後部102が駐車スペース30に向くこととなる。車両100の後部102には、撮像装置1が設置されている。
FIG. 3 is a diagram illustrating a driving support method according to the embodiment of the present invention. As shown in FIG. 3A, for example, a
図3(a)は、車両100を駐車スペース30に駐車する途中の状態である。左右の駐車枠線L1、L2に対する車体角度は斜めになっており、このとき撮像装置1により図3(b)に示されるような撮像画像が得られる。
撮像装置1により得られた図3(b)の撮像画像は、AFE部2を介して画像処理部10に入力される。画像処理部10では、輝度信号処理部11、色信号処理部12にて所定の処理を行って画像保存手段13に保存された撮像画像から、駐車枠線検出手段17にて駐車枠線に該当する2本の線形画像L1、L2を認識する。そして、車体平行度検出手段18では、撮像画像に任意の点を設定しておき、該任意の点から前記認識した2本の線形画像L1、L2に下ろした垂線と、撮像画像の水平方向若しくは垂直方向との傾きθ1、θ2を検出し、これらの傾きθ1、θ2の相対関係に基づいて車両100の駐車枠線L1、L2に対する姿勢を検知する。
FIG. 3A shows a state in the middle of parking the
The captured image of FIG. 3B obtained by the imaging device 1 is input to the image processing unit 10 via the AFE unit 2. In the image processing unit 10, a predetermined processing is performed in the luminance
図3に示す本実施形態において、傾きθ1、θ2の相対関係とは、傾きθ1とθ2がプラスマイナスをもつ数値で表された時、傾きθ1+θ2の式で表される。この場合、θ1+θ2の値が0に近づくほど車体平行度は平行に近づき、θ1+θ2の値が大きくなるほど車体平行度は角度が大きくなる。
即ち、この2つの傾きがθ1+θ2=0となっている場合に、車両100が駐車枠線L1、L2に対して平行になっていると判定する。前記任意の点は、例えば図示されるように画面隅部とする。θ1は左の駐車枠線L1の垂線と画面端の角度(傾き)であり、θ2は右の駐車枠線L2の垂線と画面端の角度(傾き)である。前記画面端とは画面上枠の水平方向線である。θ1とθ2はプラスマイナスをもった値としているため、θ1+θ2の式により駐車枠線L1、L2の傾きθ1、θ2の相対関係が得られるものである。また、θ1+θ2=0とならない場合は、車両100と駐車枠線L1、L2が角度を持っていると判定し、そのθ1+θ2の値によって駐車枠線L1、L2に対する車両100の角度を検知する。
尚、傾きθ1とθ2の相対関係は上記に限定されるものではない。他の例として、傾きθ1とθ2の相対関係を、傾きθ1とθ2の絶対値の差分で表すようにしても良い。この場合、傾きθ1とθ2の絶対値の差分が0に近づくほど車体平行度は平行に近づくこととなる。また、傾きθ1とθ2は、水平方向若しくは垂直方向に対する駐車枠線L1、L2の傾きとしてもよいし、水平方向若しくは垂直方向に対する駐車枠線L1、L2の垂線の傾きとしてもよい。
In the present embodiment shown in FIG. 3, the relative relationship between the inclinations θ1 and θ2 is expressed by an equation of inclination θ1 + θ2 when the inclinations θ1 and θ2 are expressed by numerical values having plus and minus. In this case, the parallelism of the vehicle body approaches parallel as the value of θ1 + θ2 approaches 0, and the angle of the vehicle parallelism increases as the value of θ1 + θ2 increases.
That is, when the two inclinations are θ1 + θ2 = 0, it is determined that the
The relative relationship between the inclinations θ1 and θ2 is not limited to the above. As another example, the relative relationship between the inclinations θ1 and θ2 may be represented by the difference between the absolute values of the inclinations θ1 and θ2. In this case, the parallelism of the vehicle body becomes closer to parallel as the difference between the absolute values of the inclinations θ1 and θ2 approaches zero. In addition, the inclinations θ1 and θ2 may be inclinations of the parking frame lines L1 and L2 with respect to the horizontal direction or the vertical direction, or may be inclinations of perpendicular lines of the parking frame lines L1 and L2 with respect to the horizontal direction or the vertical direction.
尚、上記した処理は、撮像装置1の光軸と車両100の向きが平行であることを前提としている。
図4(a)に示すように、撮像装置1の光軸L3と車両100の向きL6が平行でない場合は、図4(b)に示されるように、予め撮像装置1の光軸L3と車両100の向きの角度θ3を画像処理部10に登録しておき、左の駐車枠線L1の傾きθ1と、右の駐車枠線L2の傾きθ2の差が、撮像装置1の光軸L3と車両100の角度θ3となる時に車両100が駐車枠線L1、L2に対して平行になっていると判定する。即ちθ1+θ2=θ3となる場合に車両100が駐車枠線L1、L2に対して平行になっているものとする。従って、θ1+θ2=θ3とならない場合は、車両100が駐車枠線L1、L2に対して平行ではなく、そのθ1+θ2の値と、θ3の値がどのくらい離れているかによって駐車枠線L1、L2に対する車両100の姿勢(傾き)を検知する。
また、別の方法として、撮像装置1の光軸L3と車両100の向きが平行でない場合、予め左右の駐車枠線L1、L2と車両100を平行に設置し、撮像装置1により左右の駐車枠線L1、L2を撮像することで撮像装置1の光軸傾きを判別するようにしてもよい。
The above-described process is based on the premise that the optical axis of the imaging device 1 and the direction of the
As shown in FIG. 4A, when the optical axis L3 of the imaging device 1 and the orientation L6 of the
As another method, when the optical axis L3 of the imaging device 1 and the direction of the
図5は、駐車枠線検出手段18における圧縮処理を説明する図である。
図5(a)に示すように、車両100と駐車枠線L1、L2が平行に近づいてくると、撮像画像水平方向若しくは垂直方向に対する駐車枠線L1、L2の垂線傾きθ1、θ2が近い値となり、車両100と駐車枠線L1、L2の角度検出の難易度が高くなってくる。そこで、図5(b)に示すように、左右の駐車枠線L1、L2を検出する際に垂直方向に圧縮処理した画像をもとに左右の駐車枠線L1’、L2’を検出する。この圧縮処理は、画像保存手段13に保存された画像をそのまま圧縮処理してもよいし、駐車枠線検出手段17にて2値化処理した後に圧縮処理してもよい。また、圧縮処理する際に、取り込んだ画像に対して1/Nに縦方向圧縮する場合は、Nライン毎にメモリに書き込みを行なうようにする。
図5(a)に示すように画像を垂直方向に圧縮していない場合と、図5(b)に示すように画像を垂直方向に圧縮した場合を比べると明らかなように、圧縮した画像は、撮像画像水平方向若しくは垂直方向に対する駐車枠線L1、L2の垂線傾きθ1’、θ2’が増幅されて大きな値として算出される。このように、撮像画像を垂直方向に圧縮処理することでより精度良く駐車枠線L1、L2と車両100の平行度を検出することが可能となる。
FIG. 5 is a diagram for explaining the compression processing in the parking frame line detection means 18.
As shown in FIG. 5A, when the
As is clear when comparing the case where the image is not compressed in the vertical direction as shown in FIG. 5A and the case where the image is compressed in the vertical direction as shown in FIG. The vertical inclinations θ1 ′ and θ2 ′ of the parking frame lines L1 and L2 with respect to the horizontal or vertical direction of the captured image are amplified and calculated as large values. Thus, the parallelism between the parking frame lines L1 and L2 and the
図6乃至図8は、駐車枠線検出手段18における別の圧縮処理を説明する図である。
エリア部読出し手段16にて処理対象エリアAのみを抽出し、駐車枠線検出手段18にて2値化処理した2値化画像は図6(a)に示すようになる。この画像では、水平方向の駐車枠線L4と、左右の垂直方向の駐車枠線L1、L2とが存在する場合がある。そこで、水平方向の駐車枠線L4と左右の駐車枠線L1、L2の区別や誤認識防止のために、駐車枠線の画面縦方向のみを垂直方向から圧縮することで、垂直方向の距離が短い略水平方向の駐車枠線L4は消えることとなり、図6(b)に示されるように略垂直方向に伸びる駐車枠線L1、L2のみを残すことが可能となる。ここでいう圧縮とは、駐車枠線L1、L2、L4を垂直方向の上下端から所定の画素分を削除することをいう。
6 to 8 are diagrams for explaining another compression process in the parking frame line detection means 18.
The binarized image obtained by extracting only the processing area A by the
図8に示す圧縮処理のフローを参照して、具体的な処理を説明する。
まず、撮像装置1で撮像された撮像画像を駐車枠線検出手段18にて2値化処理する(S11)。このとき、撮像装置1で撮像され画像処理部10の画像保存手段13に保存された画像をそのまま2値化処理してもよいし、エリア部読出し手段16にて処理対象エリアAのみを抽出された画像を2値化処理してもよい。
2値化処理した画像を図7(a)に示す。この画像において、画素1列毎に縦方向に走査し(S12)、白から黒又は黒から白に変化する白画素を検出する(S13)。そして、検出された白画素を黒画素に変化させる処理を行なう(S14)。このとき、白画素から黒画素に変化させる画素数は適宜決められるが、予め水平方向の駐車枠線L4の縦方向距離に対応する画素数を取得しておき、この画素数分だけ白画素から黒画素に変化させる処理を行なうことが好ましい。圧縮処理後の画像を図7(b)に示す。
Specific processing will be described with reference to the flow of compression processing shown in FIG.
First, the picked-up image picked up by the image pickup device 1 is binarized by the parking frame line detection means 18 (S11). At this time, the image captured by the imaging device 1 and stored in the
The binarized image is shown in FIG. In this image, scanning is performed in the vertical direction for each column of pixels (S12), and white pixels that change from white to black or from black to white are detected (S13). And the process which changes the detected white pixel into a black pixel is performed (S14). At this time, the number of pixels to be changed from white pixels to black pixels is appropriately determined. However, the number of pixels corresponding to the vertical distance of the parking frame line L4 in the horizontal direction is acquired in advance, and the number of pixels corresponding to this number of pixels is used. It is preferable to perform a process of changing to black pixels. The image after the compression processing is shown in FIG.
図9は、モニタ21上に表示マーク51、52を表示したモニタ画面を示す。
上記した駐車枠線検出手段18、車体平行度検出手段19によって車両100の左右駐車枠線L1、L2に対する姿勢が検出されたら、該検出された姿勢に応じて運転者に注意喚起を行なう表示マークをモニタ21上に表示する。これは、車両100の姿勢に対応して表示マーク読出し手段20に予め複数の表示マークが登録されており、表示マーク選択手段19にて前記検出された姿勢に基づいて対応する表示マークを表示マーク読出し手段20から選択し、該選択された表示マークを画像合成手段15に送る。画像合成手段15では、画像保存手段13に保存された画像と前記表示マークとを合成して、モニタ21に表示する。例えば、図9(a)に示すようにハンドルを右に回すように促すマーク51と、「ハンドル右へ」という文字とを撮像画像上に表示したり、(b)に示すように、ハンドルをそのままの状態にしておくように促すマーク52と、「ハンドルそのまま」という文字とを撮像画像上に表示する。これは、表示マーク又は文字の何れか一方であってもよいし、モニタ21ではなく車内スピーカを用いて音声により出力する構成としてもよい。
FIG. 9 shows a monitor screen in which display marks 51 and 52 are displayed on the
When the above-described parking frame line detection means 18 and vehicle body parallelism detection means 19 detect the posture of the
図11は、左右駐車枠線L1、L2に対する車両の車幅方向の相対位置(ズレ)を検出する処理を説明するフロー図である。図11を参照して、以下にフローを説明する。
図10(a)に示すように車両100と駐車枠線L1、L2が平行であることが検知されても、車両100の中心線(光軸)L3と駐車スペース30の中心線35との間にズレがあると、車両100が駐車スペース30の端に駐車されることとなってしまう。
そこで、まず車両100の光軸(第2の仮想線)L3の任意の測定ポイントP1を算出し(S21)、次いで左右の駐車枠線L1、L2の平均直線(第1の仮想線)L5を求め、該平均直線L5の任意の測定ポイントP2を算出し(S22)、各測定ポイントP1、P2の距離を算出することによって駐車スペース30に対する車両100の車幅方向の相対位置を検出する(S23)。該検出された相対位置は、表示マーク選択手段19、表示マーク読出し手段20によりズレの有無、ズレの大きさ等を示す表示マークや文字をモニタ21上に表示して運転者に通知することが好ましい。尚、上記した処理においては、撮像装置1の光軸L3が車両100の中心に合致していることを前提としているが、光軸L3が車両100の中心からずれている場合には、予めそのずれ量を取得して登録しておき、このずれ量を考慮に入れて各測定ポイントP1、P2の距離を算出するとよい。
FIG. 11 is a flowchart illustrating a process for detecting a relative position (deviation) in the vehicle width direction of the vehicle with respect to the left and right parking frame lines L1 and L2. The flow will be described below with reference to FIG.
Even if it is detected that the
Therefore, first, an arbitrary measurement point P1 of the optical axis (second imaginary line) L3 of the
次に、図12を参照して、本発明の実施形態に係る運転支援方法のフローを説明する。
まず、撮像装置1により車両100の外部後方の画像を撮像し、撮像画像を取り込む(S1)。取り込んだ撮像画像は、AFE部2にてノイズの一部を除去した後、A/D変換され、これらを含む一連の処理によりデジタル信号の画像データ(以下、画像と称する)に変換される。
この画像は画像処理部10に入力され、該画像は輝度信号と色信号に分離されて輝度信号処理手段11と色信号処理手段12にて夫々処理された後、輝度信号と色信号が合成されて画像保存手段13に保存される。
Next, with reference to FIG. 12, the flow of the driving support method according to the embodiment of the present invention will be described.
First, the imaging device 1 captures an image of the rear side of the
This image is input to the image processing unit 10, and the image is separated into a luminance signal and a color signal and processed by the luminance signal processing means 11 and the color signal processing means 12, respectively, and then the luminance signal and the color signal are combined. And stored in the
画像保存手段13に保存された画像は、エリア部読出し手段16にて、図2に示すようにバンパー38を除外し、車両100の進行方向手前(画面下)側は左右幅が広く、進行方向奥(画面上)側に向けて左右幅が狭くなる形状のエリアのみを処理対象エリアAとして取得する(S2)。尚、このエリア部読出し手段16は必須の構成ではなく、全画像を用いて以下の処理を行うようにしてもよい。
処理対象エリアAに対して、駐車枠線検出手段17にて、2値化処理や各種フィルタ処理を実施し、左右の駐車枠線L1、L2のみを抽出する(S3)。ここで2値化処理とは、予め設定された所定の輝度閾値に基づいて濃淡のある画像を白と黒の2階調に変換する周知の処理であり、これにより図6(a)に示すような画像が得られる。また、各種フィルタ処理は、図5に示す圧縮処理や、図6乃至図8に示す圧縮処理等である。
As shown in FIG. 2, the image stored in the
The parking frame
2値化処理、圧縮処理を実施した画像に対してラベリング処理を行い、左の駐車枠線L1と右の駐車枠線L2の分類をする(S4)。
ここで、駐車枠線が2本以上検出されたか否かを判断し(S5)、駐車枠線が1本しか検出されない場合又は全く検出されない場合には、画像取り込み(S1)に戻る。駐車枠線が2本以上検出された場合には、ハフ変換を行なって左右の駐車枠線L1、L2に各々近似直線を算出する(S6)。
尚、複数の駐車枠線が検出された時には、撮像画像の中央からの距離が近い2本の線形画像を選択するとよい。複数の駐車枠線が検出された場合に左右駐車枠線に該当する線形画像を選択する方法は上記した方法に限定されるものではなく、他にも、抽出された複数の線形画像の面積に基づいて左右駐車枠線L1、L2を選択する方法、左右駐車枠線L1、L2の傾きθ1、θ2にしきい値を設けて、θ1、θ2が夫々しきい値から外れるものについては除外し、残った線形画像を左右駐車枠線L1、L2として選択する方法、などが用いられる。
A labeling process is performed on the image subjected to the binarization process and the compression process, and the left parking frame line L1 and the right parking frame line L2 are classified (S4).
Here, it is determined whether or not two or more parking frame lines are detected (S5). If only one parking frame line is detected or not detected at all, the process returns to image capture (S1). When two or more parking frame lines are detected, the Hough transform is performed to calculate approximate straight lines for the left and right parking frame lines L1 and L2 (S6).
When a plurality of parking frame lines are detected, two linear images that are close to the center of the captured image may be selected. The method of selecting a linear image corresponding to the left and right parking frame lines when a plurality of parking frame lines is detected is not limited to the above-described method. Based on the method of selecting the left and right parking frame lines L1, L2, the thresholds are provided for the inclinations θ1, θ2 of the left and right parking frame lines L1, L2, and those in which θ1, θ2 deviate from the threshold values are excluded and remain. A method of selecting the linear images as the left and right parking frame lines L1 and L2 is used.
そして、車体平行度検出手段18にて、左右の駐車枠線L1、L2における各近似直線の垂線と、画像水平方向との傾きθ1、θ2を算出する。左右の駐車枠線L1、L2の傾きθ1、θ2の相対関係を算出し、この相対関係に基づいて車両100と駐車枠線L1、L2との平行度を検出する(S7)。
このとき、車両100に対して撮像装置1の光軸L3が平行である場合には、傾きθ1、θ2の相対関係にのみ基づいて車両100の平行度を検出し、車両100に対して撮像装置1の光軸L3が傾いている場合には、予め光軸L3と車両100の向きの角度θ3を画像処理部10に登録しておき、角度θ3を考慮して車体平行度を検出する。
Then, the vehicle body
At this time, when the optical axis L3 of the image pickup apparatus 1 is parallel to the
車体平行度検出手段18には、予め平行度しきい値が設定されており、検出された平行度と平行度しきい値とを比較し(S8)、検出された平行度が平行度しきい値以下である場合には、車両100が駐車スペース30に略平行であると判断し、表示マーク選択手段19にてハンドル操作完了表示を選択し、表示マーク読出し手段20にて該当する表示マーク(文字を含む)を読出し、画像合成手段15にて画像保存手段13に保存されていた撮像画像と、前記表示マークとを合成してモニタ21に表示する(S10)。
一方、検出された平行度が平行度しきい値より大である場合には(S8)、車両100が駐車スペース30に対して傾いていると判断し、表示マーク選択手段19にてハンドル方向表示を選択し、表示マーク読出し手段20にて該当する表示マーク(文字を含む)を読出し、画像合成手段15にて画像保存手段13に保存されていた撮像画像と、前記表示マークとを合成してモニタ21に表示して、運転者にハンドル操作を喚起する。
A parallelism threshold value is set in advance in the vehicle body
On the other hand, when the detected parallelism is larger than the parallelism threshold value (S8), it is determined that the
本発明の実施形態によれば、左右の駐車枠線L1、L2と自車両100との相対位置関係を直接検出することを行なわずに、左右2本の駐車枠線L1、L2の画面水平方向又は垂直方向に対する傾きθ1、θ2の相対関係に基づいて車両100の駐車枠線L1、L2に対する車体平行度を検出するようにしているため、簡単に且つ精度良く車両の姿勢を検出することが可能となる。
また、車両後方に一台の撮像装置1を設置するのみで車体平行度を検出できるため、新たに複数の撮像装置を設置する必要がなく画像処理部10の追加のみで実施が可能であり、安価な装置とすることができる。さらにまた、既存のバックカメラ(リアビューカメラ)を用いることもでき、より一層コスト低減が図れる。
According to the embodiment of the present invention, without directly detecting the relative positional relationship between the left and right parking frame lines L1 and L2 and the
In addition, since the parallelism of the vehicle body can be detected simply by installing one imaging device 1 at the rear of the vehicle, it is not necessary to newly install a plurality of imaging devices, and can be implemented only by adding the image processing unit 10. An inexpensive apparatus can be obtained. Furthermore, an existing back camera (rear view camera) can be used, and the cost can be further reduced.
また、撮像装置1の光軸L3と車両100の向きの角度θ3を予め設定しておくことで、光軸L3が車両100の向きに対して傾いている場合でも、精度良く車体平行度を検出可能である。
また、広角撮像画像に映し出された駐車スペース30に応じて処理対象エリアAを設定し、この処理対象エリアA内のみで車体平行度を検出することで、必要なエリアのみを画像処理することとなり処理時間が短縮化される。
Further, by setting in advance the angle θ3 between the optical axis L3 of the imaging device 1 and the
In addition, the processing area A is set according to the
さらに、車両100と左右の駐車枠線L1、L2が平行に近づいてくると傾きθ1、θ2が近い値となってしまうため、撮像画像を垂直方向に圧縮して線形画像の角度を増幅することにより高感度で車体平行度を検出することが可能となる。
さらにまた、抽出された2本の駐車枠線L1、L2を垂直方向の上下端より所定の画素分だけ削除することにより、略垂直方向に伸びる左右の駐車枠線L1、L2のみを残すことができ、水平方向の駐車枠線L4との区別ができ誤認識を防止できる。
Further, when the
Furthermore, by deleting the two extracted parking frame lines L1 and L2 by predetermined pixels from the upper and lower ends in the vertical direction, only the left and right parking frame lines L1 and L2 extending in the substantially vertical direction may be left. It can be distinguished from the parking frame line L4 in the horizontal direction, and erroneous recognition can be prevented.
また、駐車枠線L1、L2の平均直線からなる第1の仮想線L5と、車両の中心線の延長線となる第2の仮想線(光軸)L3とのズレを検出することで、車体平行度のみではなく駐車スペース30に対する車両100の車幅方向のズレを検出することができ、適切な位置に車両100を駐車することが可能となる。
さらに、車体平行度に基づいて車両100のハンドル操作を促す信号51、52を出力することにより、車両100の運転者がリアルタイムで自車両の姿勢を把握することができ、適正な運転操作を行なうことが可能となる。
Further, by detecting a deviation between the first imaginary line L5 that is an average straight line of the parking frame lines L1 and L2 and the second imaginary line (optical axis) L3 that is an extension of the center line of the vehicle, A shift in the vehicle width direction of the
Furthermore, by outputting
本発明は、簡単な演算処理及び装置構成により駐車枠線に対する自車両の姿勢を検出可能としたため、車両後部に車載カメラが設置された車両全般に好適に適用可能である。 Since the present invention can detect the posture of the host vehicle with respect to the parking frame line with a simple arithmetic processing and device configuration, the present invention can be suitably applied to all vehicles in which an in-vehicle camera is installed at the rear of the vehicle.
1 撮像装置
2 AFE部
10 画像処理部
11 輝度信号処理手段
12 色信号処理手段
13 画像保存手段
14 遅延回路
15 画像合成手段
16 エリア部読出し手段
17 駐車枠線検出手段
18 車体平行度検出手段
19 表示マーク選択手段
20 表示マーク読出し手段
21 モニタ
30 駐車スペース
100 車両
L1 左駐車枠線
L2 右駐車枠線
L3 光軸
DESCRIPTION OF SYMBOLS 1 Imaging device 2 AFE part 10
Claims (9)
前記撮像画像から前記左右駐車枠線に該当する2本の線形画像を抽出する駐車枠線検出手段と、
前記撮像画像の水平方向若しくは垂直方向に対する前記2本の線形画像の傾きθ1とθ2を算出し、該傾きθ1とθ2の相対関係に基づいて前記左右駐車枠線に対する車体平行度を検出する車体平行度検出手段と、を備えることを特徴とする駐車時における運転支援装置。 A driving assistance device at the time of parking that detects the vehicle posture with respect to the left and right parking frame lines of the parking space using a wide-angle captured image of the rear of the vehicle imaged by an imaging device mounted on the vehicle,
Parking frame line detection means for extracting two linear images corresponding to the left and right parking frame lines from the captured image;
Inclination θ1 and θ2 of the two linear images with respect to the horizontal direction or the vertical direction of the captured image are calculated, and vehicle parallelism for detecting vehicle parallelism with respect to the left and right parking frame lines based on a relative relationship between the inclinations θ1 and θ2. A driving support device during parking, comprising: a degree detecting means;
前記撮像画像を画像処理部に入力し、
前記画像処理部にて、前記撮像画像に2値化処理を含む画像処理を行った後、前記左右駐車枠線に該当する2本の線形画像を抽出し、前記撮像画像の水平方向若しくは垂直方向に対する前記2本の線形画像の傾きθ1とθ2を算出し、該傾きθ1とθ2の相対関係に基づいて前記左右駐車枠線に対する車体平行度を検出するようにしたことを特徴とする駐車時における運転支援方法。 A driving support method at the time of parking that detects the vehicle attitude relative to the left and right parking frame lines of the parking space using a wide-angle captured image of the rear of the vehicle imaged by an imaging device mounted on the vehicle,
The captured image is input to an image processing unit,
After the image processing unit performs image processing including binarization processing on the captured image, two linear images corresponding to the left and right parking frame lines are extracted, and a horizontal direction or a vertical direction of the captured image The inclinations θ1 and θ2 of the two linear images with respect to the vehicle are calculated, and the parallelism of the vehicle body with respect to the left and right parking frame lines is detected based on the relative relationship between the inclinations θ1 and θ2. Driving support method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009152993A JP5464324B2 (en) | 2009-06-26 | 2009-06-26 | Driving support apparatus and method for parking |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009152993A JP5464324B2 (en) | 2009-06-26 | 2009-06-26 | Driving support apparatus and method for parking |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011006005A true JP2011006005A (en) | 2011-01-13 |
JP5464324B2 JP5464324B2 (en) | 2014-04-09 |
Family
ID=43563197
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009152993A Expired - Fee Related JP5464324B2 (en) | 2009-06-26 | 2009-06-26 | Driving support apparatus and method for parking |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5464324B2 (en) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014083829A1 (en) * | 2012-11-27 | 2014-06-05 | 日産自動車株式会社 | Acceleration restriction device for vehicle and acceleration restriction method for vehicle |
US9117122B2 (en) | 2013-06-04 | 2015-08-25 | Hyundai Motor Company | Apparatus and method for matching parking-lot outline |
WO2016067535A1 (en) * | 2014-10-29 | 2016-05-06 | 株式会社デンソー | Parking assistance device |
CN105741605A (en) * | 2014-12-26 | 2016-07-06 | 爱信精机株式会社 | Parking assisting apparatus |
WO2018186086A1 (en) * | 2017-04-03 | 2018-10-11 | 株式会社Jvcケンウッド | Bird's-eye-view video generation device, bird's-eye-view video display device, bird's-eye-view video generation method, and program |
JP2018195971A (en) * | 2017-05-17 | 2018-12-06 | 株式会社Jvcケンウッド | Overhead image generation device, overhead image display system, overhead image generating method and program |
JP2018195976A (en) * | 2017-05-17 | 2018-12-06 | 株式会社Jvcケンウッド | Overhead image generation device, overhead image display system, overhead image generating method and program |
WO2019021524A1 (en) * | 2017-07-25 | 2019-01-31 | 株式会社Jvcケンウッド | Display control device, display control system, display control method, and display control program |
CN111160172A (en) * | 2019-12-19 | 2020-05-15 | 深圳佑驾创新科技有限公司 | Parking space detection method and device, computer equipment and storage medium |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003063339A (en) * | 2001-08-24 | 2003-03-05 | Matsushita Electric Ind Co Ltd | Parking support equipment |
JP2008068828A (en) * | 2006-09-15 | 2008-03-27 | Toyota Motor Corp | Vehicle assisted in parking steering by automatic change of steering gear ratio |
JP2008162426A (en) * | 2006-12-28 | 2008-07-17 | Aisin Seiki Co Ltd | Parking assist device |
JP2008179253A (en) * | 2007-01-24 | 2008-08-07 | Nissan Motor Co Ltd | Parking assisting device and parking assisting method |
JP2008213647A (en) * | 2007-03-02 | 2008-09-18 | Aisin Aw Co Ltd | Parking assist method and parking assist system |
JP2008269139A (en) * | 2007-04-18 | 2008-11-06 | Sanyo Electric Co Ltd | Drive support system and vehicle |
JP2008273495A (en) * | 2007-04-30 | 2008-11-13 | Hyundai Motor Co Ltd | Parking guide method for automobile |
JP2009117971A (en) * | 2007-11-02 | 2009-05-28 | Denso Corp | Apparatus for monitoring periphery of vehicle |
-
2009
- 2009-06-26 JP JP2009152993A patent/JP5464324B2/en not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003063339A (en) * | 2001-08-24 | 2003-03-05 | Matsushita Electric Ind Co Ltd | Parking support equipment |
JP2008068828A (en) * | 2006-09-15 | 2008-03-27 | Toyota Motor Corp | Vehicle assisted in parking steering by automatic change of steering gear ratio |
JP2008162426A (en) * | 2006-12-28 | 2008-07-17 | Aisin Seiki Co Ltd | Parking assist device |
JP2008179253A (en) * | 2007-01-24 | 2008-08-07 | Nissan Motor Co Ltd | Parking assisting device and parking assisting method |
JP2008213647A (en) * | 2007-03-02 | 2008-09-18 | Aisin Aw Co Ltd | Parking assist method and parking assist system |
JP2008269139A (en) * | 2007-04-18 | 2008-11-06 | Sanyo Electric Co Ltd | Drive support system and vehicle |
JP2008273495A (en) * | 2007-04-30 | 2008-11-13 | Hyundai Motor Co Ltd | Parking guide method for automobile |
JP2009117971A (en) * | 2007-11-02 | 2009-05-28 | Denso Corp | Apparatus for monitoring periphery of vehicle |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014083829A1 (en) * | 2012-11-27 | 2014-06-05 | 日産自動車株式会社 | Acceleration restriction device for vehicle and acceleration restriction method for vehicle |
JP5846318B2 (en) * | 2012-11-27 | 2016-01-20 | 日産自動車株式会社 | Vehicle acceleration suppression device and vehicle acceleration suppression method |
US9117122B2 (en) | 2013-06-04 | 2015-08-25 | Hyundai Motor Company | Apparatus and method for matching parking-lot outline |
US20170228605A1 (en) * | 2014-10-29 | 2017-08-10 | Denso Corporation | Parking assistance apparatus |
JP2016088104A (en) * | 2014-10-29 | 2016-05-23 | 株式会社デンソー | Parking support device |
WO2016067535A1 (en) * | 2014-10-29 | 2016-05-06 | 株式会社デンソー | Parking assistance device |
US10268905B2 (en) | 2014-10-29 | 2019-04-23 | Denso Corporation | Parking assistance apparatus |
CN105741605A (en) * | 2014-12-26 | 2016-07-06 | 爱信精机株式会社 | Parking assisting apparatus |
CN105741605B (en) * | 2014-12-26 | 2020-01-24 | 爱信精机株式会社 | Parking assist apparatus |
WO2018186086A1 (en) * | 2017-04-03 | 2018-10-11 | 株式会社Jvcケンウッド | Bird's-eye-view video generation device, bird's-eye-view video display device, bird's-eye-view video generation method, and program |
JP2018195971A (en) * | 2017-05-17 | 2018-12-06 | 株式会社Jvcケンウッド | Overhead image generation device, overhead image display system, overhead image generating method and program |
JP2018195976A (en) * | 2017-05-17 | 2018-12-06 | 株式会社Jvcケンウッド | Overhead image generation device, overhead image display system, overhead image generating method and program |
WO2019021524A1 (en) * | 2017-07-25 | 2019-01-31 | 株式会社Jvcケンウッド | Display control device, display control system, display control method, and display control program |
CN111160172A (en) * | 2019-12-19 | 2020-05-15 | 深圳佑驾创新科技有限公司 | Parking space detection method and device, computer equipment and storage medium |
CN111160172B (en) * | 2019-12-19 | 2024-04-16 | 武汉佑驾创新科技有限公司 | Parking space detection method, device, computer equipment and storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP5464324B2 (en) | 2014-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5464324B2 (en) | Driving support apparatus and method for parking | |
KR101417571B1 (en) | Object identification device | |
US11270134B2 (en) | Method for estimating distance to an object via a vehicular vision system | |
JP5615441B2 (en) | Image processing apparatus and image processing method | |
JP4359710B2 (en) | Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method | |
US7317813B2 (en) | Vehicle vicinity image-processing apparatus and recording medium | |
JP5867807B2 (en) | Vehicle identification device | |
JP2008027309A (en) | Collision determination system and collision determination method | |
US9367751B2 (en) | Object detection device for area around vehicle | |
JP2006318060A (en) | Apparatus, method, and program for image processing | |
JP2006318059A (en) | Apparatus, method, and program for image processing | |
JP5505764B2 (en) | On-vehicle camera device calibration support method, calibration support device, and on-vehicle camera device | |
JP2006318062A (en) | Image processor, image processing method and image processing program | |
JP2008026998A (en) | Obstacle location calculation system and method | |
JP2014106739A (en) | In-vehicle image processing device | |
JP2008026999A (en) | Obstacle detection system and obstacle detection method | |
JP2005285011A (en) | Human recognition system and image processing apparatus | |
JP2007018451A (en) | Road boundary line detecting device | |
JP2001111989A (en) | On-vehicle image pickup device | |
JP2006318061A (en) | Apparatus, method, and program for image processing | |
JP2008028478A (en) | Obstacle detection system, and obstacle detecting method | |
JP2008286648A (en) | Distance measuring device, distance measuring system, and distance measuring method | |
JP2005242914A (en) | Human recognition system and image processor | |
JP2008108135A (en) | Obstacle detection system and obstacle detection method | |
JP4739833B2 (en) | Vehicle stop detection device, car navigation device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120406 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130315 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130416 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130617 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131217 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140107 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5464324 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |