JP2015064796A - Determination device and determination method for parking place - Google Patents
Determination device and determination method for parking place Download PDFInfo
- Publication number
- JP2015064796A JP2015064796A JP2013198930A JP2013198930A JP2015064796A JP 2015064796 A JP2015064796 A JP 2015064796A JP 2013198930 A JP2013198930 A JP 2013198930A JP 2013198930 A JP2013198930 A JP 2013198930A JP 2015064796 A JP2015064796 A JP 2015064796A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- longitudinal direction
- host vehicle
- detected
- parking lot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Navigation (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、駐車場判定装置、駐車場判定方法に関するものである。 The present invention relates to a parking lot determination device and a parking lot determination method.
特許文献１に記載された従来技術では、地図情報を参照し、自車両が道路から外れた駐車場内にあると判定した場合、アクセルの踏み込みがあっても、これを踏み間違いであると判断し、スロットル制御によって自車両の加速を抑制している。
In the prior art described in
しかしながら、自車両の現在位置情報や地図情報だけに基づいて、駐車場内であるか否かを判定する構成では、自車両の測位精度に誤差があったり、地図情報が更新されていなかったりして、自車両が駐車場内にあるか否かを精度よく判定できない可能性がある。
本発明の課題は、自車両が駐車場内にあるか否かの判定精度を向上させることである。
However, in the configuration for determining whether or not the vehicle is in the parking lot based only on the current position information and map information of the own vehicle, there is an error in the positioning accuracy of the own vehicle or the map information is not updated. There is a possibility that it cannot be accurately determined whether or not the host vehicle is in the parking lot.
The subject of this invention is improving the determination precision whether the own vehicle is in a parking lot.
本発明の一態様に係る駐車場判定装置は、自車両周囲を撮像し、撮像した画像に基づいて俯瞰画像を生成する。そして、生成した俯瞰画像内に自車両の左側又は右側の一方に存在する他車両のホイールを検出したときに、ホイールの歪み状態に応じて、他車両の車体前後方向が自車両の車体前後方向に対して直交方向にあるか否かを検出する。そして、自車両の左側又は右側の一方に、車体前後方向が自車両の車体前後方向に対して直交方向であり、且つ自車両の車体前後方向に沿って並んだ複数の他車両を検出したときに、自車両は複数の他車両が駐車された駐車場内にいると判定する。 The parking lot determination apparatus according to one aspect of the present invention images the surroundings of the host vehicle and generates an overhead image based on the captured images. And when the wheel of the other vehicle which exists in one of the left side or the right side of the own vehicle is detected in the generated overhead view image, the vehicle longitudinal direction of the other vehicle is the vehicle longitudinal direction of the own vehicle according to the distortion state of the wheel. It is detected whether or not it is in the orthogonal direction. And when one of the left and right sides of the host vehicle detects a plurality of other vehicles in which the vehicle longitudinal direction is perpendicular to the vehicle longitudinal direction of the host vehicle and is aligned along the vehicle longitudinal direction of the host vehicle Moreover, it is determined that the host vehicle is in a parking lot where a plurality of other vehicles are parked.
本発明によれば、自車両に対して直交方向を向いた複数の他車両が存在するか否かを判定することにより、自車両の現在位置情報や地図情報だけに基づいて判定するよりも、自車両が駐車場内にあるか否かの判定精度を向上させることができる。 According to the present invention, by determining whether or not there are a plurality of other vehicles facing in the orthogonal direction with respect to the own vehicle, rather than determining only based on the current position information and map information of the own vehicle, The determination accuracy of whether or not the host vehicle is in the parking lot can be improved.
以下、本発明の実施形態を図面に基づいて説明する。
《第１実施形態》
《構成》
図１は、駐車場判定装置を示す概略構成図である。
本実施形態における誤操作加速抑制装置は、カメラ１１と、車輪速センサ１２と、シフトセンサ１３と、ナビゲーションシステム１４と、コントローラ２１と、を備える。
カメラ１１は、車体におけるフロント、リア、左サイド、及び右サイドの計４箇所に設けられており、夫々、高解像度の広角カメラからなる。なお、４つのカメラを区別する際には、車体のフロントに設けたカメラをフロントカメラ１１Ｆとし、車体のリアに設けたカメラをリアカメラ１１Ｒとし、車体の左サイドに設けたカメラを左サイドカメラ１１ＳＬとし、車体の右サイドに設けたカメラを右サイドカメラ１１ＳＲとする。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
<< First Embodiment >>
"Constitution"
FIG. 1 is a schematic configuration diagram illustrating a parking lot determination apparatus.
The erroneous operation acceleration suppression device in the present embodiment includes a camera 11, a
The cameras 11 are provided in a total of four locations on the front, rear, left side, and right side of the vehicle body, and each consists of a high-resolution wide-angle camera. When distinguishing the four cameras, the camera provided at the front of the vehicle body is the
図２は、フロントカメラ１１Ｆ及び左サイドカメラ１１ＳＬの配置を示す図である。
フロントカメラ１１Ｆは、例えばフロントグリルに設けられ、少なくとも車体前方の路面を撮像する。また、リアカメラ１１Ｒは、例えばバックドアフィニッシャに設けられ、少なくとも車体後方の路面を撮像する。フロントカメラ１１Ｆ及びリアカメラ１１Ｒは、１８０度の水平画角を有する。また、左サイドカメラ１１ＳＬは、左のドラミラーに設けられ、少なくとも車体左方の路面を撮像する。この左サイドカメラ１１ＳＬは、左前輪付近を照らす例えば赤外線ＬＥＤからなる補助照明を有する。また、右サイドカメラ１１ＳＲは、右のドアミラーに設けられ、少なくとも車体右方の路面を撮像する。各カメラ１１は、撮像した各画像データをコントローラ２１に入力する。
FIG. 2 is a diagram illustrating an arrangement of the
The
車輪速センサ１２は、各車輪の車輪速度ＶｗＦＬ〜ＶｗＲＲを検出する。この車輪速センサ１２は、例えば車輪と共に回転し円周に突起部（ギヤパルサ）が形成されたセンサロータと、このセンサロータの突起部に対向して設けられたピックアップコイルを有する検出回路と、を備える。そして、センサロータの回転に伴う磁束密度の変化を、ピックアップコイルによって電圧信号に変換してコントローラ２１に出力する。コントローラ２１は、入力された電圧信号から車輪速度ＶｗＦＬ〜ＶｗＲＲを判断し、例えば非駆動輪（従動輪）の車輪速平均値や全輪の車輪速平均値を車速として演算する。
シフトセンサ１３は、トランスミッションのシフトポジションを検出する。このシフトセンサ１３は、例えば複数のホール素子を備え、夫々のＯＮ／ＯＦＦ信号をコントローラ２１に出力する。コントローラ２１は、入力されたＯＮ／ＯＦＦ信号の組み合わせからシフトポジションを判断する。
The
The
ナビゲーションシステム１４は、自車両の現在位置と、その現在位置における道路地図情報を認識する。このナビゲーションシステム１４は、ＧＰＳ受信機を有し、四つ以上のＧＰＳ衛星から到着する電波の時間差に基づいて自車両の位置（緯度、経度、高度）と進行方向とを認識する。そして、ＤＶＤ‐ＲＯＭドライブやハードディスクドライブに記憶された道路種別、道路線形、車線幅員、車両の通行方向等を含めた道路地図情報を参照し、自車両の現在位置における道路地図情報を認識しコントローラ２１に出力する。なお、安全運転支援システム（ＤＳＳＳ：Driving Safety Support Systems）として、双方向無線通信（ＤＳＲＣ：Dedicated Short Range Communication）を利用し、各種データをインフラストラクチャから受信してもよい。
The
コントローラ２１は、例えばマイクロコンピュータからなり、各センサからの検出信号に基づいて駐車場判定処理を実行する。
次に、コントローラ２１で所定時間（例えば１０ｍｓｅｃ）毎に実行する駐車場判定処理について説明する。
図３は、駐車場判定処理を示すフローチャートである。
先ずステップＳ１０１では、各カメラ１１からの映像を切り出し、俯瞰変換することで俯瞰画像（トップビュー）を生成する。図２は、トップビューの表示エリアの一例を示している。ここでは、フロントカメラ１１Ｆからの映像に基づく表示領域をＡＦとし、リアカメラ１１Ｒからの映像に基づく表示領域をＡＲとし、左サイドカメラ１１ＳＬからの映像に基づく表示領域をＡＳＬとし、右サイドカメラ１１ＳＲからの映像に基づく表示領域をＡＳＲとしている。
The
Next, a parking lot determination process executed by the
FIG. 3 is a flowchart showing the parking lot determination process.
First, in step S <b> 101, a video from each camera 11 is cut out and overhead conversion is performed to generate an overhead image (top view). FIG. 2 shows an example of the display area of the top view. Here, the display area based on the video from the
続くステップＳ１０２では、後述する線群検出処理を実行し、線群フラグｆｇを設定する。ここでは、路面に標示された等間隔で平行に並ぶ複数の標示線からなる線群を検出したときに、自車両は線群によって駐車枠が形成された駐車場内にいると判定して線群フラグをｆｇ＝１にセットする。一方、線群が検出されないときには、自車両は駐車場内にはいないと判定して線群フラグをｆｇ＝０にリセットする。 In a succeeding step S102, a line group detection process described later is executed, and a line group flag fg is set. Here, when a line group consisting of a plurality of marking lines arranged in parallel at equal intervals marked on the road surface is detected, it is determined that the host vehicle is in a parking lot where a parking frame is formed by the line group. Set the flag to fg = 1. On the other hand, when the line group is not detected, it is determined that the host vehicle is not in the parking lot and the line group flag is reset to fg = 0.
続くステップＳ１０３では、後述する左右類似性判定処理を実行し、類似フラグｆｓを設定する。ここでは、路面に標示された等間隔で平行に並ぶ複数の標示線からなる線群を、自車両の左右両側で検出し、これら左右両側の線群に類似性があるときに、自車両は線群によって駐車枠が形成された駐車場内にいると判定して類似フラグをｆｓ＝１にセットする。一方、左右両側の線群に類似性がないときには、自車両は駐車場内にはいないと判定して類似フラグをｆｓ＝０にリセットする。 In a succeeding step S103, a left / right similarity determination process described later is executed, and a similarity flag fs is set. Here, when a line group consisting of a plurality of marking lines arranged in parallel at equal intervals marked on the road surface is detected on both the left and right sides of the host vehicle, It is determined that the vehicle is in the parking lot where the parking frame is formed by the line group, and the similar flag is set to fs = 1. On the other hand, when there is no similarity between the left and right line groups, it is determined that the host vehicle is not in the parking lot and the similarity flag is reset to fs = 0.
続くステップＳ１０４では、後述する他車両検出処理を実行し、他車両フラグｆｖを設定する。ここでは、俯瞰画像内に検出した他車両のホイールの歪み状態に応じて、他車両の車体の向きを検出し、平行に並ぶ複数の他車両を検出したときに、自車両は複数の他車両が駐車された駐車場内にいると判定して他車両フラグをｆｖ＝１にセットする。一方、平行に並ぶ複数の他車両が検出されないときには、自車両は駐車場内にはいないと判定して他車両フラグをｆｖ＝０にリセットする。 In a succeeding step S104, an other vehicle detection process described later is executed, and the other vehicle flag fv is set. Here, when the direction of the vehicle body of the other vehicle is detected in the overhead view image detected in the overhead view image and a plurality of other vehicles arranged in parallel are detected, the host vehicle is a plurality of other vehicles. Is determined to be in the parked parking lot and the other vehicle flag is set to fv = 1. On the other hand, when a plurality of other vehicles arranged in parallel are not detected, it is determined that the host vehicle is not in the parking lot, and the other vehicle flag is reset to fv = 0.
ステップＳ１０５では、線群フラグｆｇ、類似フラグｆｓ、他車両フラグｆｖの設定状況に応じて、駐車場フラグｆｐを設定する。ここでは、線群フラグがｆｇ、類似フラグｆｓ、他車両フラグｆｖの少なくとも一つが１にセットされているときに、駐車場フラグをｆｐ＝１にセットする。一方、線群フラグｆｇ、類似フラグｆｓ、他車両フラグｆｖの全てが０にリセットされているときには、駐車場フラグをｆｐ＝０にリセットする。駐車場フラグは、ｆｐ＝１にセットされているときに、自車両が駐車場内にいることを表し、ｆｐ＝０にリセットされているときには、自車両が駐車場内にいないことを表す。
上記が駐車場判定処理である。
In step S105, the parking lot flag fp is set according to the setting status of the line group flag fg, the similarity flag fs, and the other vehicle flag fv. Here, when at least one of the line group flag fg, the similarity flag fs, and the other vehicle flag fv is set to 1, the parking lot flag is set to fp = 1. On the other hand, when all of the line group flag fg, the similarity flag fs, and the other vehicle flag fv are reset to 0, the parking lot flag is reset to fp = 0. The parking lot flag indicates that the host vehicle is in the parking lot when fp = 1, and indicates that the host vehicle is not in the parking lot when the flag is reset to fp = 0.
The above is the parking lot determination process.
次に、線群検出処理について説明する。
図４は、線群検出処理を示すフローチャートである。
先ずステップＳ１１１では、俯瞰画像内から、路面に標示された白線等の標示線を抽出する。
続くステップＳ１１２では、自車両の左側又は右側に、自車両の略車体左右方向に延在し、自車両の前後方向に沿って並んだ３つ以上の標示線があるか否かを判定する。ここで、標示線がない、又は３つ未満しかないときには、駐車枠のような線群がないため、自車両は駐車場内にはいないと判断しステップＳ１１３に移行する。一方、３つ以上の標示線があるときにはステップＳ１１４に移行する。
なお、ある時点に、ある地点から見える標示線だけで判定するのではなく、自車両が前後方向に移動しているときには、トラッキングにより、移動方向に沿って自車両の周囲を走査する。
Next, the line group detection process will be described.
FIG. 4 is a flowchart showing line group detection processing.
First, in step S111, a marking line such as a white line marked on the road surface is extracted from the overhead image.
In the following step S112, it is determined whether there are three or more marking lines that extend in the left-right direction of the host vehicle substantially in the left-right direction of the host vehicle and are arranged along the front-rear direction of the host vehicle. Here, when there are no marking lines or there are only three lines, it is determined that the host vehicle is not in the parking lot because there is no line group such as a parking frame, and the process proceeds to step S113. On the other hand, when there are three or more marking lines, the process proceeds to step S114.
It should be noted that when the vehicle is moving in the front-rear direction at a certain point in time, the surroundings of the vehicle are scanned along the moving direction when the vehicle is moving in the front-rear direction.
図５は、自車両の左側に複数の標示線を検出した図である。
ここでは、自車両の左側に先ず標示線Ｌ１及びＬ２を検出し、その後、自車両の前進に伴って、標示線Ｌ３及びＬ４を順次検出している。このように、自車両が前後方向に移動しているときには、俯瞰画像上で検出した各標示線を、カメラ画像に基づく俯瞰画像とは異なる仮想の俯瞰画像（以下、ＸＹ平面座標と称す）上にマッピングしてゆき、複数の標示線を抽出する。なお、自車両の移動距離は、例えば車輪速センサ１２の信号に基づいて検出し、自車両の移動方向は、例えばシフトセンサ１３の信号に基づいて検出する。
FIG. 5 is a diagram in which a plurality of marking lines are detected on the left side of the host vehicle.
Here, the marking lines L1 and L2 are first detected on the left side of the host vehicle, and then the marking lines L3 and L4 are sequentially detected as the host vehicle advances. Thus, when the host vehicle is moving in the front-rear direction, each marking line detected on the overhead image is displayed on a virtual overhead image (hereinafter referred to as XY plane coordinates) different from the overhead image based on the camera image. Map to and extract multiple marking lines. The travel distance of the host vehicle is detected based on, for example, a signal from the
ステップＳ１１３では、線群フラグをｆｇ＝０にリセットしてから所定のメインプログラムに復帰する。
ステップＳ１１４では、ＸＹ平面座標上で複数の標示線が略平行であるか否かを判定する。ここで、複数の標示線が略平行でないときには、駐車枠のような線群がないため、自車両は駐車場内にはいないと判断してステップＳ１１３に移行する。一方、複数の標示線が略平行であるときにはステップＳ１１５に移行する。図５では、標示線Ｌ１〜Ｌ４の全てが略平行である状態を示す。
In step S113, the line group flag is reset to fg = 0, and then the process returns to a predetermined main program.
In step S114, it is determined whether or not the plurality of marking lines are substantially parallel on the XY plane coordinates. Here, when the plurality of marking lines are not substantially parallel, since there is no line group such as a parking frame, it is determined that the host vehicle is not in the parking lot, and the process proceeds to step S113. On the other hand, when the plurality of marking lines are substantially parallel, the process proceeds to step S115. FIG. 5 shows a state in which all of the marking lines L1 to L4 are substantially parallel.
ステップＳ１１５では、ＸＹ平面座標上で隣接する標示線同士の間隔を計測し、夫々が略等間隔であるか否かを判定する。標示線同士の間隔とは、標示線の中心同士の距離でもよいし、マーカ部を除いた標示線同士の内側の距離でもよい。ここで、標示線の間隔が不等間隔であるときには、駐車枠のような線群がないため、自車両は駐車場内にはいないと判断してステップＳ１１３に移行する。一方、標示線の間隔が全て略等間隔であるときにはステップＳ１１６に移行する。図５では、標示線Ｌ１及びＬ２間、Ｌ２及びＬ３間、Ｌ３及びＬ４間の全てが略等間隔である状態を示す。
なお、標示線は、かすれ、汚れ、落ち葉、水溜り、その他の外乱等により、検出できない可能性がある。
In step S115, the interval between the adjacent marking lines on the XY plane coordinates is measured, and it is determined whether or not the intervals are approximately equal. The distance between the marking lines may be the distance between the centers of the marking lines, or the distance inside the marking lines excluding the marker portion. Here, when the interval between the marking lines is unequal, since there is no line group such as a parking frame, it is determined that the host vehicle is not in the parking lot, and the process proceeds to step S113. On the other hand, when all the intervals of the marking lines are substantially equal, the process proceeds to step S116. FIG. 5 shows a state in which the distance between the marking lines L1 and L2, the distance between L2 and L3, and the distance between L3 and L4 are substantially equal.
Note that the marking line may not be detected due to fading, dirt, fallen leaves, a puddle, other disturbances, or the like.
図６は、標示線の一部が検出できなかった図である。
ここでは、標示線Ｌ３を検出できなかったとすると、標示線Ｌ１及びＬ２間と、標示線Ｌ２及びＬ４間とは不等間隔になる。そこで、標示線Ｌ１及びＬ２の間隔を基準間隔Ｄｂとし、標示線Ｌ１又はＬ２から、基準間隔Ｄｂの整数倍だけ離れた位置に、標示線Ｌ４を検出したときには、標示線Ｌ３を検出できなかったとしても、標示線Ｌ１、Ｌ２、Ｌ４の全てを略等間隔であると見なす。
FIG. 6 is a diagram in which a part of the marking line could not be detected.
Here, if the marking line L3 cannot be detected, the marking lines L1 and L2 and the marking lines L2 and L4 are unequal. Therefore, when the interval between the marking lines L1 and L2 is set as the reference interval Db and the marking line L4 is detected at a position separated from the marking line L1 or L2 by an integral multiple of the reference interval Db, the marking line L3 cannot be detected. However, all of the marking lines L1, L2, and L4 are regarded as being substantially equally spaced.
ステップＳ１１６では、ＸＹ平面座標上で隣接する標示線同士の間隔が、予め定めた範囲内であるか否かを判定する。予め定めた範囲とは、普通自動車用の駐車枠に設定される車体左右方向の間隔であり、例えば１.７〜２.７ｍ程度である。ここで、標示線同士の間隔が予め定めた範囲外であるときには、駐車枠のような線群がないため、自車両が駐車場内にはいないと判断してステップＳ１１３に移行する。ちなみに、標示線同士の間隔が下限値の１.７ｍよりも小さいときには、例えば道路上に標示された横断歩道や進入禁止領域等の標示であると考えられる。また、標示線同士の間隔が上限値の２.７ｍよりも大きいときには、道路上に標示された縦列駐車用の駐車枠であると考えられる。一方、標示線同士の間隔が予め定めた範囲内であるときには、駐車枠のような線群であるため、自車両は駐車場内にいるとステップＳ１１７に移行する。図５では、標示線Ｌ１及びＬ２間、Ｌ２及びＬ３間、Ｌ３及びＬ４間の全てが予め定めた範囲内である状態を示す。
ステップＳ１１７では、線群フラグをｆｇ＝１にセットしてから所定のメインプログラムに復帰する。
上記が線群検出処理である。
In step S116, it is determined whether or not the interval between the adjacent marking lines on the XY plane coordinates is within a predetermined range. The predetermined range is an interval in the left-right direction of the vehicle body set in a parking frame for an ordinary automobile, and is, for example, about 1.7 to 2.7 m. Here, when the interval between the marking lines is outside the predetermined range, since there is no line group such as a parking frame, it is determined that the host vehicle is not in the parking lot, and the process proceeds to step S113. Incidentally, when the distance between the marking lines is smaller than the lower limit of 1.7 m, it is considered that the marking is a marking such as a crosswalk or an entry prohibition area marked on the road. Further, when the interval between the marking lines is larger than the upper limit value of 2.7 m, it is considered that the parking frame is a parking frame marked on the road. On the other hand, when the interval between the marking lines is within a predetermined range, the line group is like a parking frame. Therefore, if the host vehicle is in the parking lot, the process proceeds to step S117. FIG. 5 shows a state where all of the marking lines L1 and L2, L2 and L3, and L3 and L4 are within a predetermined range.
In step S117, the line group flag is set to fg = 1, and then the process returns to a predetermined main program.
The above is the line group detection process.
次に、左右類似性判定処理について説明する。
図７は、左右類似性判定処理を示すフローチャートである。
先ずステップＳ１２１では、俯瞰画像内から、路面に標示された白線等の標示線を抽出する。
続くステップＳ１２２では、自車両の左右両側に、自車両の略車体左右方向に延在し、自車両の前後方向に沿って並んだ３つ以上の標示線があるか否かを判定する。ここで、標示線が両側にない、又は両側にあっても標示線が３つ未満しかないときには、左右の類似性を判断できないと判断しステップＳ１２３に移行する。一方、３つ以上の標示線があるときにはステップＳ１２４に移行する。
なお、ある時点に、ある地点から見える標示線だけで判定するのではなく、自車両が前後方向に移動しているときには、トラッキングにより、移動方向に沿って自車両の周囲を走査する。
Next, the left / right similarity determination process will be described.
FIG. 7 is a flowchart showing the left / right similarity determination process.
First, in step S121, a marking line such as a white line marked on the road surface is extracted from the overhead image.
In subsequent step S122, it is determined whether there are three or more marking lines that extend in the left-right direction of the host vehicle substantially in the left-right direction of the host vehicle and are arranged along the front-rear direction of the host vehicle. Here, if there are no marking lines on both sides, or there are only three marking lines on both sides, it is determined that the similarity between the left and right cannot be determined, and the process proceeds to step S123. On the other hand, when there are three or more marking lines, the process proceeds to step S124.
It should be noted that when the vehicle is moving in the front-rear direction at a certain point in time, the surroundings of the vehicle are scanned along the moving direction when the vehicle is moving in the front-rear direction.
図８は、自車両の左右両側に複数の標示線を検出した図である。
ここでは、先ず自車両の左側に標示線Ｌ１及びＬ２を検出し、且つ自車両の右側に標示線Ｌ５及びＬ６を検出している。その後、自車両の前進に伴って、自車両の左側に標示線Ｌ３及びＬ４を順次検出し、且つ自車両の右側に標示線Ｌ７及びＬ８を順次検出している。このように、自車両が前後方向に移動しているときには、俯瞰画像上で検出した各標示線を、カメラ画像に基づく俯瞰画像とは異なる仮想の俯瞰画像（以下、ＸＹ平面座標と称す）上にマッピングしてゆき、左右両側に標示された複数の標示線を抽出する。
FIG. 8 is a diagram in which a plurality of marking lines are detected on both the left and right sides of the host vehicle.
Here, first, the marking lines L1 and L2 are detected on the left side of the host vehicle, and the marking lines L5 and L6 are detected on the right side of the host vehicle. Thereafter, as the host vehicle advances, the marking lines L3 and L4 are sequentially detected on the left side of the host vehicle, and the marking lines L7 and L8 are sequentially detected on the right side of the host vehicle. Thus, when the host vehicle is moving in the front-rear direction, each marking line detected on the overhead image is displayed on a virtual overhead image (hereinafter referred to as XY plane coordinates) different from the overhead image based on the camera image. And a plurality of marking lines marked on the left and right sides are extracted.
ステップＳ１２３では、類似フラグをｆｓ＝０にリセットしてから所定のメインプログラムに復帰する。
ステップＳ１２４では、ＸＹ平面座標上で複数の標示線が略平行であるか否かを、左右両側で片側ずつ判定する。ここで、左右の少なくとも一方で、複数の標示線が略平行でないときには、駐車枠のような線群がないため、自車両は駐車場内にはいないと判断してステップＳ１２３に移行する。一方、左右の双方で、複数の標示線が略平行であるときにはステップＳ１２５に移行する。図８では、左側の標示線Ｌ１〜Ｌ４、並びに右側の標示線Ｌ５〜Ｌ８の全てが略平行である状態を示す。
In step S123, the similarity flag is reset to fs = 0, and then the process returns to a predetermined main program.
In step S124, whether or not the plurality of marking lines are substantially parallel on the XY plane coordinates is determined on each of the left and right sides. Here, when the plurality of marking lines are not substantially parallel on at least one of the left and right, it is determined that the host vehicle is not in the parking lot because there is no line group such as a parking frame, and the process proceeds to step S123. On the other hand, when the plurality of marking lines are substantially parallel on both the left and right sides, the process proceeds to step S125. FIG. 8 shows a state where all of the left marking lines L1 to L4 and the right marking lines L5 to L8 are substantially parallel.
ステップＳ１２５では、ＸＹ平面座標上で隣接する標示線同士の間隔を計測し、夫々が略等間隔であるか否かを、左右両側で片側ずつ判定する。標示線同士の間隔とは、標示線の中心同士の距離でもよいし、マーカ部を除いた標示線同士の内側の距離でもよい。ここで、左右の少なくとも一方で、標示線の間隔が不等間隔であるときには、駐車枠のような線群がないため、自車両は駐車場内にはいないと判断してステップＳ１２３に移行する。一方、左右の双方で、標示線の間隔が全て略等間隔であるときにはステップＳ１２６に移行する。図８では、左側の標示線Ｌ１及びＬ２間、Ｌ２及びＬ３間、Ｌ３及びＬ４間、並びに右側の標示線Ｌ５及びＬ６間、Ｌ６及びＬ７間、Ｌ７及びＬ８間の全てが略等間隔である状態を示す。 In step S125, the interval between the adjacent marking lines on the XY plane coordinates is measured, and it is determined one side on each of the left and right sides to determine whether or not each is substantially equidistant. The distance between the marking lines may be the distance between the centers of the marking lines, or the distance inside the marking lines excluding the marker portion. Here, when the interval between the marking lines is unequal, at least one of the left and right, it is determined that the host vehicle is not in the parking lot because there is no line group such as a parking frame, and the process proceeds to step S123. On the other hand, when the intervals between the marking lines are substantially equal on both the left and right sides, the process proceeds to step S126. In FIG. 8, the left marking lines L1 and L2, L2 and L3, L3 and L4, the right marking lines L5 and L6, L6 and L7, and L7 and L8 are all at substantially equal intervals. Indicates the state.
ステップＳ１２６では、ＸＹ平面座標上で隣接する標示線同士の間隔が、予め定めた範囲内であるか否かを、左右両側で片側ずつ判定する。予め定めた範囲とは、普通自動車用の駐車枠に設定される車体左右方向の間隔であり、例えば１.７〜２.７ｍ程度である。ここで、左右の少なくとも一方で、標示線同士の間隔が予め定めた範囲外であるときには、駐車枠のような線群がないため、自車両が駐車場内にはいないと判断してステップＳ１２３に移行する。ちなみに、標示線同士の間隔が下限値の１.７ｍよりも小さいときには、例えば横断歩道や進入禁止領域等の標示であると考えられる。また、標示線同士の間隔が上限値の２.７ｍよりも大きいときには、大型自動車用の駐車枠や、また普通自動車でも縦列駐車用の駐車枠であると考えられる。一方、左右の双方で、標示線同士の間隔が予め定めた範囲内であるときには、駐車枠のような線群であるため、自車両は駐車場内にいるとステップＳ１２７に移行する。図８では、左側の標示線Ｌ１及びＬ２間、Ｌ２及びＬ３間、Ｌ３及びＬ４間、並びに右側の標示線Ｌ５及びＬ６間、Ｌ６及びＬ７間、Ｌ７及びＬ８間の全てが予め定めた範囲内である状態を示す。 In step S126, whether or not the interval between the adjacent marking lines on the XY plane coordinates is within a predetermined range is determined on each of the left and right sides. The predetermined range is an interval in the left-right direction of the vehicle body set in a parking frame for an ordinary automobile, and is, for example, about 1.7 to 2.7 m. Here, when the distance between the marking lines is outside the predetermined range on at least one of the left and right sides, there is no line group such as a parking frame, so it is determined that the host vehicle is not in the parking lot, and the process proceeds to step S123. Transition. Incidentally, when the interval between the marking lines is smaller than the lower limit of 1.7 m, it is considered that the marking is a marking such as a pedestrian crossing or an entry prohibition area. Further, when the interval between the marking lines is larger than the upper limit value of 2.7 m, it is considered that the parking frame is for large vehicles, and even a normal vehicle is a parking frame for parallel parking. On the other hand, when the distance between the marking lines is within a predetermined range on both the left and right sides, since the line group is a parking frame, the process proceeds to step S127 when the host vehicle is in the parking lot. In FIG. 8, the left sign lines L1 and L2, L2 and L3, L3 and L4, right sign lines L5 and L6, L6 and L7, and L7 and L8 are all within the predetermined ranges. The state which is.
ステップＳ１２７では、ＸＹ平面座標上で、左側の複数の標示線を左側の線群とし、右側の複数の標示線を右側の線群とし、標示線の間隔が左側の線群及び右側の線群で共通しているか否かを判定する。すなわち、左側の線群における標示線同士の間隔と、右側の線群における標示線同士の間隔とが略同一であるか否かを判定する。ここで、標示線の間隔が左側の線群及び右側の線群で共通しているときには、左右の線群に類似性があると判断してステップＳ１２８に移行する。一方、標示線の間隔が左側の線群及び右側の線群で共通していないときにはステップＳ１２９に移行する。 In step S127, on the XY plane coordinates, the left plurality of marking lines are set as the left line group, the right plurality of marking lines are set as the right line group, and the interval between the marking lines is the left line group and the right line group. It is determined whether or not they are common. That is, it is determined whether or not the interval between the marking lines in the left line group is substantially the same as the interval between the marking lines in the right line group. Here, when the interval between the marking lines is common to the left line group and the right line group, it is determined that the left and right line groups are similar, and the process proceeds to step S128. On the other hand, when the interval between the marking lines is not common between the left line group and the right line group, the process proceeds to step S129.
ステップＳ１２８では、類似フラグをｆｓ＝１にセットしてから所定のメインプログラムに復帰する。
ステップＳ１２９では、ＸＹ平面座標上で、標示線の形状が左側の線群及び右側の線群で共通しているか否かを判定する。すなわち、左側の線群における標示線の形状と、右側の線群における標示線の形状とが略同一であるか否かを判定する。ここで、標示線の形状が左側の線群及び右側の線群で共通しているときには、左右の線群に類似性があると判断してステップＳ１２８に移行する。一方、標示線の間隔が左側の線群及び右側の線群で共通していないときにはステップＳ１３０に移行する。
In step S128, the similarity flag is set to fs = 1 and then the process returns to the predetermined main program.
In step S129, it is determined whether the shape of the marking line is common to the left line group and the right line group on the XY plane coordinates. That is, it is determined whether the shape of the marking line in the left line group is substantially the same as the shape of the marking line in the right line group. Here, when the shape of the marking line is common to the left line group and the right line group, it is determined that the left and right line groups are similar, and the process proceeds to step S128. On the other hand, when the interval between the marking lines is not common to the left line group and the right line group, the process proceeds to step S130.
図９は、標示線のパターンを示す図である。
図中の（ａ）は、車体前後方向に沿った一対の標示線と、この一対の標示線の先端同士を結ぶ車体左右方向に沿った標示線と、からなる駐車枠であり、夫々、一本の直線によって標示されている。図中の（ｂ）は、車体前後方向に沿った一対の標示線からなり、この一対の標示線の先端同士を結ぶ車体左右方向に沿った標示線を省略した駐車枠であり、夫々、一本の直線によって標示されている。図中の（ｃ）は、車体前後方向に沿った一対の標示線からなる駐車枠であり、夫々、二重直線の先端同士を円弧で結んだような細長い略Ｕ字状のラインによって標示されている。図中の（ｄ）は、車体前後方向に沿った一対の標示線からなる駐車枠であり、夫々、（ｃ）の標示線における先端を途切れさせたようなラインによって標示されている。
FIG. 9 is a diagram illustrating a pattern of a marking line.
(A) in the figure is a parking frame comprising a pair of marking lines along the longitudinal direction of the vehicle body and a marking line along the lateral direction of the vehicle body that connects the ends of the pair of marking lines. It is marked by a straight line in the book. (B) in the figure is a parking frame that consists of a pair of marking lines along the longitudinal direction of the vehicle body, omitting the marking lines along the lateral direction of the vehicle body that connect the ends of the pair of marking lines. It is marked by a straight line in the book. (C) in the figure is a parking frame made up of a pair of marking lines along the longitudinal direction of the vehicle body, and each is marked by an elongated substantially U-shaped line in which the ends of double straight lines are connected by an arc. ing. (D) in the figure is a parking frame comprising a pair of marking lines along the longitudinal direction of the vehicle body, and each is marked by a line in which the tip of the marking line in (c) is interrupted.
ステップＳ１３０は、ＸＹ平面座標上で、標示線の延在方向が、左側の線群及び右側の線群で線対称又は回転対称であるか否かを判定する。すなわち、左側の線群における標示線の延在方向と、右側の線群における標示線の延在方向とが線対称又は回転対称であるか否かを判定する。ここで、標示線の延在方向が左側の線群及び右側の線群で線対称又は回転対称であるときには、左右の線群に類似性があると判断してステップＳ１２８に移行する。一方、標示線の延在方向が左側の線群及び右側の線群で線対称又は回転対称でないときには、左右の線群に類似性がないと判断してステップＳ１２３に移行する。 In step S130, it is determined whether or not the extending direction of the marking line is line symmetric or rotationally symmetric between the left line group and the right line group on the XY plane coordinates. That is, it is determined whether the extending direction of the marking line in the left line group and the extending direction of the marking line in the right line group are line symmetric or rotationally symmetric. Here, when the extending direction of the marking line is line symmetric or rotationally symmetric between the left line group and the right line group, it is determined that there is similarity between the left and right line groups, and the process proceeds to step S128. On the other hand, when the extending direction of the marking line is not line symmetric or rotationally symmetric between the left line group and the right line group, it is determined that there is no similarity between the left and right line groups, and the process proceeds to step S123.
図１０は、線群の延在方向が左右で線対称となる図である。
ここで、左側には標示線Ｌ１〜Ｌ４からなる線群があり、右側には標示線Ｌ５〜Ｌ８からなる線群がある。左側の線群における標示線Ｌ１〜Ｌ４は、先端側が自車両の前側に向かうように傾斜しており、右側の線群における標示線Ｌ５〜Ｌ８は、先端側が自車両の前側に向かうように傾斜している。すなわち、左側の線群における標示線Ｌ１〜Ｌ４と、右側の線群における標示線Ｌ５〜Ｌ８とは、自車両を挟んで左右反転させた線対称の関係となっている。
FIG. 10 is a diagram in which the extending direction of the line group is line symmetrical on the left and right.
Here, there is a line group consisting of marking lines L1 to L4 on the left side, and a line group consisting of marking lines L5 to L8 on the right side. The marking lines L1 to L4 in the left line group are inclined so that the tip side is directed to the front side of the host vehicle, and the marking lines L5 to L8 in the right line group are tilted so that the tip side is directed to the front side of the host vehicle. doing. That is, the marking lines L1 to L4 in the left line group and the marking lines L5 to L8 in the right line group have a line-symmetrical relationship that is reversed left and right across the host vehicle.
図１１は、線群の延在方向が左右で線対称となる図である。
ここで、左側には標示線Ｌ１〜Ｌ４からなる線群があり、右側には標示線Ｌ５〜Ｌ８からなる線群がある。左側の線群における標示線Ｌ１〜Ｌ４は、先端側が自車両の前側に向かうように傾斜しており、右側の線群における標示線Ｌ５〜Ｌ８は、先端側が自車両の後側に向かうように傾斜している。すなわち、左側の線群における標示線Ｌ１〜Ｌ４と、右側の線群における標示線Ｌ５〜Ｌ８とは、１８０度回転させた回転対称の関係となっている。
上記が類似性判定処理である。
FIG. 11 is a diagram in which the extending direction of the line group is line symmetrical on the left and right.
Here, there is a line group consisting of marking lines L1 to L4 on the left side, and a line group consisting of marking lines L5 to L8 on the right side. The marking lines L1 to L4 in the left line group are inclined so that the leading end side is directed to the front side of the host vehicle, and the marking lines L5 to L8 in the right line group are arranged so that the leading end side is directed to the rear side of the own vehicle. Inclined. That is, the marking lines L1 to L4 in the left line group and the marking lines L5 to L8 in the right line group have a rotationally symmetrical relationship rotated by 180 degrees.
The above is the similarity determination process.
次に、他車両検出処理について説明する。
図１２は、他車両検出処理を示すフローチャートである。
先ずステップＳ１３１では、俯瞰画像内から、他車両のホイールを抽出する。ホイールの認識は、パターンマッチングにより行うが、タイヤ、センターボア（センターキャップ）、ボルト等の特徴を利用し、抽出精度の向上を図ってもよい。
続くステップＳ１３２では、俯瞰画像内に、他車両のホイールが映り込んでいるか否かを判定する。ここで、他車両のホイールがないときにはステップＳ１３３に移行する。一方、他車両のホイールがあるときにはステップＳ１３４に移行する。
なお、ある時点に、ある地点から見えるホイールだけで判定するのではなく、自車両が前後方向に移動しているときには、トラッキングにより、移動方向に沿って自車両の周囲を走査する。
Next, the other vehicle detection process will be described.
FIG. 12 is a flowchart showing the other vehicle detection process.
First, in step S131, the wheel of the other vehicle is extracted from the overhead image. The wheel is recognized by pattern matching, but the extraction accuracy may be improved by using features such as a tire, a center bore (center cap), and a bolt.
In continuing step S132, it is determined whether the wheel of the other vehicle is reflected in the bird's-eye view image. Here, when there is no wheel of the other vehicle, the process proceeds to step S133. On the other hand, when there is a wheel of another vehicle, the process proceeds to step S134.
In addition, when the host vehicle is moving in the front-rear direction at a certain point in time, the surroundings of the host vehicle are scanned along the moving direction when the host vehicle is moving in the front-rear direction.
ステップＳ１３３では、他車両フラグをｆｖ＝０にリセットしてから所定のメインプログラムに復帰する。
ステップＳ１３４では、他車両のホイールの縦横比を検出する。ここでは、自車両の前後方向を俯瞰画像の縦方向と定義し、自車両の左右方向を俯瞰画像の横方向と定義し、俯瞰画像上での縦横比を検出する。
続くステップＳ１３５では、ホイールの縦横比に応じて、他車両の車体の向きを検出する。
In step S133, the other vehicle flag is reset to fv = 0, and then the process returns to the predetermined main program.
In step S134, the aspect ratio of the wheel of the other vehicle is detected. Here, the front-rear direction of the host vehicle is defined as the vertical direction of the overhead image, the left-right direction of the host vehicle is defined as the lateral direction of the overhead image, and the aspect ratio on the overhead image is detected.
In subsequent step S135, the direction of the vehicle body of the other vehicle is detected according to the aspect ratio of the wheel.
図１３は、ホイールの縦横比と車体の向きとの関係を示す図である。
ここでは、左サイドカメラ１１ＳＬからの映像に基づく表示領域ＡＳＲに、他車両の前輪右側のホイールが検出された場合について説明する。図中の（ａ）は、自車両の車体前後方向に対して他車両の車体前後方向が略直交方向にある場合を示している。自車両の前側の左に、自車両に対して横を向いた他車両が存在する場合、俯瞰画像に映り込んだホイールは、その俯瞰変化により、縦方向よりも横方向の比率が大きくなるように歪む。したがって、ホイールの歪み度合を検出し、俯瞰画像上でホイールが縦方向よりも横方向の比率が大きくなるように歪んでいるときには、自車両の車体前後方向に対して他車両の車体前後方向が略直交方向にあると判定する。図中の（ｂ）は、自車両の車体前後方向に対して他車両の車体前後方向が略平行方向にある場合を示している。自車両の左側に、自車両と略並列に並ぶ他車両が存在する場合、俯瞰画像に映り込んだホイールは、その俯瞰変化により、縦方向よりも横方向の比率が小さくなるように歪む。したがって、ホイールの歪み度合を検出し、俯瞰画像上でホイールが縦方向よりも横方向の比率が小さくなるように歪んでいるときには、自車両の車体前後方向に対して他車両の車体前後方向が略平行方向にあると判定する。
FIG. 13 is a diagram illustrating the relationship between the aspect ratio of the wheel and the direction of the vehicle body.
Here, a case where the wheel on the right side of the front wheel of another vehicle is detected in the display area ASR based on the video from the left side camera 11SL will be described. (A) in the figure shows a case where the longitudinal direction of the other vehicle is substantially perpendicular to the longitudinal direction of the vehicle. When there is another vehicle facing to the left side of the host vehicle on the left side of the host vehicle, the wheel reflected in the bird's-eye view image has a larger ratio in the horizontal direction than in the vertical direction due to the bird's-eye view change. Distorted. Therefore, when the degree of distortion of the wheel is detected and the wheel is distorted so that the ratio of the horizontal direction is larger than the vertical direction on the overhead image, the vehicle longitudinal direction of the other vehicle is relative to the vehicle longitudinal direction of the own vehicle. It determines with it being in a substantially orthogonal direction. (B) in the figure shows a case where the longitudinal direction of the other vehicle is substantially parallel to the longitudinal direction of the host vehicle. When there is another vehicle on the left side of the host vehicle that is arranged substantially in parallel with the host vehicle, the wheel reflected in the overhead view image is distorted so that the ratio in the horizontal direction is smaller than that in the vertical direction due to the overhead view change. Therefore, when the degree of distortion of the wheel is detected and the wheel is distorted so that the ratio of the horizontal direction is smaller than the vertical direction on the overhead view image, the vehicle longitudinal direction of the other vehicle is relative to the vehicle longitudinal direction of the own vehicle. It is determined that the direction is substantially parallel.
続くステップＳ１３６では、自車両の左側又は右側に、車体前後方向が自車両の前後方向に対して直交方向にある２台以上の他車両があるか否かを判定する。ここで、他車両がない、又は１台しかないときにはステップＳ１３３に移行する。一方、２台以上の他車両があるときにはステップＳ１３７に移行する。
なお、自車両の前後方向に対して横を向いた他車両の傍を、自車両が通過する場合、同一車両の左右のホイールを順に検出することがある。
In the subsequent step S136, it is determined whether there are two or more other vehicles having a vehicle body longitudinal direction orthogonal to the vehicle longitudinal direction on the left or right side of the host vehicle. Here, when there is no other vehicle or there is only one vehicle, the process proceeds to step S133. On the other hand, when there are two or more other vehicles, the process proceeds to step S137.
In addition, when the own vehicle passes by the side of the other vehicle which turned sideways with respect to the front-back direction of the own vehicle, the left and right wheels of the same vehicle may be sequentially detected.
図１４は、他車両の傍を自車両が通過するときの状態を示す図である。
ここでは、自車両の左側に他車両ｖ１、ｖ２が存在している。先ず自車両が他車両ｖ１よりも手前に位置していると、左サイドカメラ１１ＳＬでは、他車両ｖ１における右側の前輪を検出することができるが、自車両が前進して他車両ｖ１の真横に近づくと、他車両ｖ１における右側の前輪を検出できなくなる。そして、さらに自車両が前進して他車両ｖ１の傍を通過すると、今度は他車両ｖ１における左側の前輪を検出することができる。このように、自車両の前後方向に対して横を向いた他車両ｖ１の傍を、自車両が通過する場合には、同一の他車両ｖ１の左右のホイールを順に検出することになる。したがって、ホイールの検出地点（視点）や、自車両の移動距離、また俯瞰画像上のホイール形状等に基づいて、異なる２つのホイールを同一の他車両ｖ１であることを認識する。これにより、同一の他車両ｖ１を２台の他車両と誤ってカウントすることを防げる。そして、さらに自車両が前進するときに、他車両ｖ２における右側の前輪を検出する。
FIG. 14 is a diagram illustrating a state when the host vehicle passes by another vehicle.
Here, there are other vehicles v1, v2 on the left side of the host vehicle. First, when the host vehicle is positioned in front of the other vehicle v1, the left side camera 11SL can detect the right front wheel in the other vehicle v1, but the host vehicle moves forward and is directly beside the other vehicle v1. When approaching, the right front wheel in the other vehicle v1 cannot be detected. When the host vehicle further moves forward and passes by the other vehicle v1, the left front wheel in the other vehicle v1 can be detected. In this way, when the own vehicle passes by the side of the other vehicle v1 that faces sideways with respect to the front-rear direction of the own vehicle, the left and right wheels of the same other vehicle v1 are sequentially detected. Therefore, it is recognized that two different wheels are the same other vehicle v1 based on the detection point (viewpoint) of the wheel, the moving distance of the host vehicle, the wheel shape on the overhead image, and the like. This prevents the same other vehicle v1 from being erroneously counted as two other vehicles. When the host vehicle further moves forward, the right front wheel in the other vehicle v2 is detected.
ステップＳ１３７では、ホイール及び車体の向きを検出した複数の他車両が略平行に並んでいるか否かを判定する。ここで、複数の他車両が略平行でないときには、これらが駐車車両であるか否かは不明であると判断してステップＳ１３３に移行する。一方、複数の他車両が略平行であるときには、これらが駐車車両である可能性が高いと判断してステップＳ１３８に移行する。
ステップＳ１３８では、他車両フラグをｆｖ＝１にセットしてから所定のメインプログラムに復帰する。
上記が他車両検出処理である。
In step S137, it is determined whether or not a plurality of other vehicles that have detected the orientation of the wheel and the vehicle body are arranged substantially in parallel. Here, when a plurality of other vehicles are not substantially parallel, it is determined whether it is a parked vehicle or not, and the process proceeds to step S133. On the other hand, when a plurality of other vehicles are substantially parallel, it is determined that there is a high possibility that these are parked vehicles, and the process proceeds to step S138.
In step S138, the other vehicle flag is set to fv = 1, and then the process returns to the predetermined main program.
The above is the other vehicle detection process.
《作用》
次に、第１実施形態の作用について説明する。
自車両が駐車場内にいるか否かを正確に判定することが求められることがある。例えば駐車場で運転者がブレーキペダルと間違えてアクセルペダルを踏み込んでしまうと、運転者の意図に反して車両が加速してしまうため、こうした踏み間違いを検出する目的で、先ずは自車両が駐車場内にいるか否かの判定が求められることがある。例えば、ナビゲーションシステム１４で地図情報を参照し、自車両が道路から外れた駐車場内にあると簡易的に判定することも考えられるが、自車両の測位精度に誤差があったり、地図情報が更新されていなかったりして、精度よく判定できない可能性がある。
そこで、本実施形態では、カメラ１１で撮像した画像データに基づいて俯瞰画像を生成し（ステップＳ１０１）、駐車枠の有無、及び駐車車両の有無によって、自車両が駐車場内にいるか否かを判定している。
<Action>
Next, the operation of the first embodiment will be described.
It may be required to accurately determine whether or not the host vehicle is in a parking lot. For example, if a driver mistakes for a brake pedal and depresses the accelerator pedal in a parking lot, the vehicle accelerates against the driver's intention. You may be asked to determine if you are in the hall. For example, it may be possible to simply determine that the host vehicle is in a parking lot off the road by referring to the map information in the
Therefore, in this embodiment, an overhead image is generated based on the image data captured by the camera 11 (step S101), and it is determined whether or not the host vehicle is in the parking lot based on the presence or absence of the parking frame and the presence or absence of the parked vehicle. doing.
先ず、駐車枠の有無について説明する。
駐車枠の有無は、路面に標示された線群の有無、及び左右で検出した線群の類似性によって判定する。
路面に標示された線群の有無については、線群検出処理によって判定する。
先ず、俯瞰画像から白線等の標示線を抽出する（ステップＳ１１１）。これは、ある時点に、ある地点から見える標示線だけを抽出するのではなく、移動しながら自車両の周囲を走査することが望ましい。そして、等間隔で平行に並ぶ３つ以上の標示線からなる線群があるか否かを判定する（ステップＳ１１２、Ｓ１１４、Ｓ１１５）。このように、３つ以上の標示線があることを条件とすることで、連続した少なくとも２つ以上の駐車枠を認識することができる。すなわち、ここでは、少なくとも２台分以上の駐車枠があるような駐車場を、判定の対象としている。
First, the presence or absence of a parking frame will be described.
The presence / absence of a parking frame is determined based on the presence / absence of a line group marked on the road surface and the similarity of the line groups detected on the left and right.
The presence / absence of a line group marked on the road surface is determined by a line group detection process.
First, a marking line such as a white line is extracted from the overhead image (step S111). In this case, it is desirable to scan the surroundings of the host vehicle while moving, instead of extracting only the marking line that can be seen from a certain point. Then, it is determined whether or not there is a line group composed of three or more marking lines arranged in parallel at equal intervals (steps S112, S114, S115). Thus, it is possible to recognize at least two continuous parking frames on condition that there are three or more marking lines. In other words, here, a parking lot having at least two parking spaces is set as a determination target.
標示線は、かすれ、汚れ、落ち葉、水溜り、その他の外乱等により、検出できないこともある。そこで、１本目の標示線と２本目の標示線の間隔を基準間隔Ｄｂとし、２本目の標示線から、基準間隔Ｄｂの整数倍だけ離れた位置に、３本目の標示線を検出したときには、これら１本目から３本目の標示線全てを略等間隔であると見なす。これにより、実際には２本目と３本目との間に検出できなかった標示線があり、２本目と３本目との間隔が基準間隔Ｄｂと異なっている場合でも、検出できなかった標示線をあるものと見なし、検出精度を向上させることができる。 The marking line may not be detected due to fading, dirt, fallen leaves, puddles, other disturbances, and the like. Therefore, when the interval between the first marking line and the second marking line is the reference interval Db, and the third marking line is detected at a position separated from the second marking line by an integral multiple of the reference interval Db, All of the first to third marking lines are considered to be substantially equally spaced. As a result, there is actually a marking line that could not be detected between the second and third lines, and even if the distance between the second and third lines is different from the reference distance Db, It can be assumed that there is something, and the detection accuracy can be improved.
また、等間隔で平行に並ぶ３つ以上の標示線を条件としても、例えば道路上に標示された横断歩道や進入禁止領域、また縦列駐車用の駐車枠である可能性がある。そこで、予め定めた範囲の間隔で並んでいるか否かを判定する（ステップＳ１１６）。これにより、道路に標示された横断歩道や進入禁止領域、また縦列駐車用の駐車枠などを、駐車場内の駐車枠として誤認識することを抑制できる。
このように、等間隔で平行に並ぶ複数の標示線からなる線群を検出したときに、線群フラグをｆｇ＝１にセットする（ステップＳ１１７）。これにより、自車両は線群によって駐車枠が形成された駐車場内にいると判断し、駐車場フラグをｆｐ＝１にセットする（ステップＳ１０５）。
こうして、路面に標示された線群の有無によって、自車両が駐車場内にいるか否かが判定される。
Moreover, even if three or more marking lines arranged in parallel at equal intervals are used as conditions, there is a possibility that the parking frame is a pedestrian crossing or entry prohibition area marked on the road or a parallel parking frame. Therefore, it is determined whether or not they are arranged at intervals of a predetermined range (step S116). As a result, it is possible to suppress erroneous recognition of a pedestrian crossing or entry prohibited area marked on the road, a parking frame for parallel parking, or the like as a parking frame in a parking lot.
Thus, when a line group consisting of a plurality of marking lines arranged in parallel at equal intervals is detected, the line group flag is set to fg = 1 (step S117). Thereby, it is determined that the host vehicle is in the parking lot where the parking frame is formed by the line group, and the parking lot flag is set to fp = 1 (step S105).
In this way, whether or not the host vehicle is in the parking lot is determined based on the presence or absence of a line group marked on the road surface.
左右で検出した線群の類似性については、左右類似性判定処理によって判定する。
先ず、俯瞰画像から白線等の標示線を抽出する（ステップＳ１２１）。これも、ある時点に、ある地点から見える標示線だけを抽出するのではなく、移動しながら自車両の周囲を走査することが望ましい。そして、等間隔で平行に並ぶ３つ以上の標示線からなる線群が、左右両側にあるか否かを判定する（ステップＳ１２２、Ｓ１２４、Ｓ１２５）。このように、３つ以上の標示線があること、及びこうした線群が左右両側にあることを条件とすることで、片側に連続して少なくとも２つ以上ある駐車枠を認識することができる。すなわち、ここでは、左右両側の合計で少なくとも４台分以上の駐車枠があるような駐車場を、判定の対象としている。
The similarity between the line groups detected on the left and right is determined by the left / right similarity determination process.
First, a marking line such as a white line is extracted from the overhead image (step S121). It is also desirable to scan the surroundings of the vehicle while moving, instead of extracting only the marking line visible from a certain point at a certain time. Then, it is determined whether or not a line group composed of three or more marking lines arranged in parallel at equal intervals is on both the left and right sides (steps S122, S124, S125). As described above, it is possible to recognize at least two parking frames continuously on one side on the condition that there are three or more marking lines and that these line groups are on both the left and right sides. That is, here, a parking lot having at least four parking frames in total on the left and right sides is set as a determination target.
そして、標示線の間隔が、左右の線群同士で共通であるか否かを判定する（ステップＳ１２７）。このように、間隔の類似性を判定することで、駐車場であることの確からしさ（確信度）を高めることができる。こうして、標示線の間隔が、左右の線群同士で共通であることを検出したときに、類似フラグをｆｓ＝１にセットする（ステップＳ１２８）。これにより、自車両は線群によって駐車枠が形成された駐車場内にいると判断し、駐車場フラグをｆｐ＝１にセットする（ステップＳ１０５）。
また、標示線の形状が、左右の線群同士で共通であるか否かを判定する（ステップＳ１２９）。このように、形状の類似性を判定することで、駐車場であることの確からしさ（確信度）を高めることができる。こうして、標示線の形状が、左右の線群同士で共通であることを検出したときに、類似フラグをｆｓ＝１にセットする（ステップＳ１２８）。これにより、自車両は線群によって駐車枠が形成された駐車場内にいると判断し、駐車場フラグをｆｐ＝１にセットする（ステップＳ１０５）。
Then, it is determined whether or not the interval between the marking lines is common between the left and right line groups (step S127). Thus, by determining the similarity of the intervals, it is possible to increase the certainty (certainty factor) that the vehicle is a parking lot. Thus, when it is detected that the interval between the marking lines is common to the left and right line groups, the similarity flag is set to fs = 1 (step S128). Thereby, it is determined that the host vehicle is in the parking lot where the parking frame is formed by the line group, and the parking lot flag is set to fp = 1 (step S105).
Further, it is determined whether or not the shape of the marking line is common between the left and right line groups (step S129). Thus, by determining the similarity in shape, it is possible to increase the certainty (certainty factor) that the vehicle is a parking lot. Thus, when it is detected that the shape of the marking line is common between the left and right line groups, the similarity flag is set to fs = 1 (step S128). Thereby, it is determined that the host vehicle is in the parking lot where the parking frame is formed by the line group, and the parking lot flag is set to fp = 1 (step S105).
さらに、標示線の延在方向が、左右の線群同士で線対称又は回転対称であるか否かを判定する（ステップＳ１２９）。このように、延在方向の類似性を判定することで、駐車場であることの確からしさ（確信度）を高めることができる。こうして、標示線の延在方向が、左右の線群同士で線対称又は回転対称であることを検出したときに、類似フラグをｆｓ＝１にセットする（ステップＳ１２８）。これにより、自車両は線群によって駐車枠が形成された駐車場内にいると判断し、駐車場フラグをｆｐ＝１にセットする（ステップＳ１０５）。
こうして、標示線の間隔、形状、及び延在方向を考慮した線群の類似性によって、自車両が駐車場内にいるか否かが判定される。
Furthermore, it is determined whether the extending direction of the marking line is line symmetric or rotationally symmetric between the left and right line groups (step S129). Thus, by determining the similarity in the extending direction, it is possible to increase the certainty (certainty factor) of being a parking lot. Thus, when it is detected that the extending direction of the marking line is line symmetric or rotationally symmetric between the left and right line groups, the similarity flag is set to fs = 1 (step S128). Thereby, it is determined that the host vehicle is in the parking lot where the parking frame is formed by the line group, and the parking lot flag is set to fp = 1 (step S105).
In this way, whether or not the host vehicle is in the parking lot is determined based on the similarity of the line group considering the interval, shape, and extending direction of the marking lines.
次に、駐車車両の有無について説明する。
駐車車両の有無については、他車両検出処理によって判定する。
先ず、俯瞰画像から他車両のホイールを抽出する（ステップＳ１３１）。これも、ある時点に、ある地点から見える標示線だけを抽出するのではなく、移動しながら自車両の周囲を走査することが望ましい。そして、ホイールを検出したときに（ステップＳ１３２の判定が“Yes”）、ホイールの縦横比（歪み状態）を検出し（ステップＳ１３４）、ホイールの縦横比に応じて他車両の車体の向きを検出する（ステップＳ１３５）。すなわち、俯瞰画像上でホイールが縦方向よりも横方向の比率が大きくなるような歪み状態であるときには、自車両の車体前後方向に対して他車両の車体前後方向が略直交方向にあると判定する。
Next, the presence or absence of a parked vehicle will be described.
The presence or absence of a parked vehicle is determined by other vehicle detection processing.
First, the wheel of the other vehicle is extracted from the overhead image (step S131). It is also desirable to scan the surroundings of the vehicle while moving, instead of extracting only the marking line visible from a certain point at a certain time. When the wheel is detected ("Yes" at step S132), the aspect ratio (distortion state) of the wheel is detected (step S134), and the direction of the vehicle body of the other vehicle is detected according to the aspect ratio of the wheel. (Step S135). That is, when the wheel is in a distorted state in which the ratio of the horizontal direction is larger than the vertical direction on the overhead image, it is determined that the longitudinal direction of the other vehicle is substantially orthogonal to the longitudinal direction of the vehicle. To do.
そして、自車両の前後方向に対して横を向き、平行に並んだ２台以上の他車両が存在するか否かを判定する（ステップＳ１３６、Ｓ１３７）。このように、自車両の前後方向に対して横を向いていることを条件とすることで、道路上に縦列駐車している他車両を排除することができる。また、２台以上であることを条件とすることで、駐車場であることの確からしさ（確信度）を高めることができる。
このように、平行に並ぶ複数の他車両を検出したときに、他車両フラグをｆｖ＝１にセットする（ステップＳ１３８）。これにより、自車両は複数の他車両が駐車された駐車場内にいると判断し、駐車場フラグをｆｐ＝１にセットする（ステップＳ１０５）。
こうして、駐車車両の有無によって、自車両が駐車場内にいるか否かが判定される。この駐車車両の有無による判定は、駐車場内に複数の他車両が駐車しており、複数の枠線をカメラで捉えにくい状況で特に有効である。
Then, it is determined whether or not there are two or more other vehicles that are sideways and parallel to the front-rear direction of the host vehicle (steps S136 and S137). Thus, the other vehicle parked in parallel on the road can be excluded by setting it as the condition that it is sideways with respect to the front-rear direction of the host vehicle. Moreover, the certainty (certainty factor) that it is a parking lot can be raised by making it a condition that it is two or more.
Thus, when a plurality of other vehicles arranged in parallel are detected, the other vehicle flag is set to fv = 1 (step S138). Accordingly, the host vehicle determines that the vehicle is in a parking lot where a plurality of other vehicles are parked, and sets the parking lot flag to fp = 1 (step S105).
Thus, it is determined whether or not the own vehicle is in the parking lot based on the presence or absence of the parked vehicle. This determination based on the presence or absence of a parked vehicle is particularly effective in a situation where a plurality of other vehicles are parked in the parking lot and it is difficult to capture a plurality of frame lines with a camera.
上記のようにして、自車両が駐車場内にいると判定した場合には、ブレーキペダルとアクセルペダルの踏み間違いによって、車両が加速することを抑制するために、任意の制御を行う。
例えば、駐車場内では駐車枠以外の通路であっても、大きな加速を要するとは考えにくい。そこで、本実施形態の駐車場判定装置によって自車両が駐車場内にいると判定した時点で、単純にエンジンスロットルの開度を予め定めた値以下に制限すればよい。これにより、誤ってアクセルペダルが踏み込まれたとしても、運転者の意図に反して車両が加速することを抑制できる。
As described above, when it is determined that the host vehicle is in the parking lot, arbitrary control is performed to prevent the vehicle from accelerating due to a mistake in stepping on the brake pedal and the accelerator pedal.
For example, in a parking lot, even if it is a passage other than a parking frame, it is unlikely that large acceleration is required. Therefore, when the parking lot determination device of the present embodiment determines that the host vehicle is in the parking lot, the opening of the engine throttle may be simply limited to a predetermined value or less. Thereby, even if the accelerator pedal is depressed by mistake, it is possible to prevent the vehicle from accelerating against the driver's intention.
一方、駐車枠以外となる通路では、加速を許可した方がよい場合もある。そこで、駐車枠を検出し、駐車枠の確からしさとなる駐車枠確信度や、自車両が特定の駐車枠へ進入しようとする確からしさとなる進入確信度等を算出し、これら駐車枠確信度、及び進入確信度に応じてエンジンスロットルの開度を制限する構成としてもよい。この場合には、本実施形態の駐車場判定装置によって自車両が駐車場内にいると判定した時点で、例えば駐車枠確信度を増加させればよい。これにより、車両の加速を不必要に抑制することなく、適切なシーンでのみ、車両の加速を抑制することができる。 On the other hand, in passages other than parking frames, it may be better to allow acceleration. Therefore, the parking frame is detected, and the parking frame certainty level that is the certainty of the parking frame, the entry certainty level that is the certainty that the host vehicle is about to enter the specific parking frame, and the like are calculated. The opening degree of the engine throttle may be limited according to the certainty of entry. In this case, for example, the parking frame certainty factor may be increased at the time when the parking lot determination device of the present embodiment determines that the host vehicle is in the parking lot. Thereby, acceleration of the vehicle can be suppressed only in an appropriate scene without unnecessarily suppressing the acceleration of the vehicle.
《変形例》
次に、本実施形態の変形例について説明する。
本実施形態では、線群検出処理において、自車両の左側又は右側に、複数の標示線があるか否かを判定しているが、これに限定されるものではなく、自車両の前側や後側に、複数の標示線があるか否かを判定してもよい。これにより、自車両の全周囲に亘って、自車両が駐車場内にいるか否かを判定することができる。
本実施形態では、左右類似性判定処理において、自車両の左右両側に検出した線群同士に類似性があるか否かを判定しているが、これに限定されるものではなく、自車両の前後左右のうち複数の方向で検出した線群同士に類似性があるか否かを判定してもよい。これにより、自車両の全周囲に亘って、自車両が駐車場内にいるか否かを判定することができる。
<Modification>
Next, a modification of this embodiment will be described.
In this embodiment, in the line group detection process, it is determined whether or not there are a plurality of marking lines on the left side or the right side of the host vehicle. However, the present invention is not limited to this. It may be determined whether there are a plurality of marking lines on the side. Thereby, it can be determined whether the own vehicle exists in a parking lot over the perimeter of the own vehicle.
In the present embodiment, in the left / right similarity determination process, it is determined whether or not there is similarity between the line groups detected on both the left and right sides of the own vehicle. However, the present invention is not limited to this. It may be determined whether or not there is similarity between the line groups detected in a plurality of directions among front, rear, left and right. Thereby, it can be determined whether the own vehicle exists in a parking lot over the perimeter of the own vehicle.
本実施形態では、他車両検出処理において、自車両の左側又は右側に、複数の他車両が存在しているか否かを判定しているが、これに限定されるものではなく、自車両の前側や後側に、複数の他車両が存在しているか否かを判定してもよい。これにより、自車両の全周囲に亘って、自車両が駐車場内にいるか否かを判定することができる。
本実施形態では、線群検出処理において、複数の標示線を検出し、それらが平行で、等間隔で、予め定めた範囲内の間隔であるときに、それらが駐車枠であると判断し、線群フラグをｆｇ＝１にセットしているが、これに限定されるものではない。すなわち、全ての判定条件を満足したときだけ、線群フラグをｆｇ＝１にセットするのではなく、各判定条件に重み付けし、各判定結果に応じた合計ポイントが、予め定めた閾値を上回るときに、線群フラグをｆｇ＝１にセットするようにしてもよい。
In the present embodiment, in the other vehicle detection process, it is determined whether there are a plurality of other vehicles on the left side or the right side of the own vehicle. However, the present invention is not limited to this. Alternatively, it may be determined whether there are a plurality of other vehicles on the rear side. Thereby, it can be determined whether the own vehicle exists in a parking lot over the perimeter of the own vehicle.
In the present embodiment, in the line group detection process, a plurality of marking lines are detected, and when they are parallel, equally spaced, and within a predetermined range, they are determined to be parking frames, Although the line group flag is set to fg = 1, the present invention is not limited to this. That is, only when all the determination conditions are satisfied, the line group flag is not set to fg = 1, but each determination condition is weighted, and the total point corresponding to each determination result exceeds a predetermined threshold value In addition, the line group flag may be set to fg = 1.
本実施形態では、左右類似性判定処理において、複数の標示線を検出し、それらが平行で、等間隔で、予め定めた範囲内の間隔で、さらに複数の線群に類似性があるときに、それらが駐車枠であると判断し、類似フラグをｆｓ＝１にセットしているが、これに限定されるものではない。すなわち、全ての判定条件を満足したときだけ、類似フラグをｆｓ＝１にセットするのではなく、各判定条件に重み付けし、各判定結果に応じた合計ポイントが、予め定めた閾値を上回るときに、類似フラグをｆｓ＝１にセットするようにしてもよい。さらに、複数の線群同士で、間隔が共通であるか、形状が共通であるか、対称性があるか、という判定条件のうち、一つでも満足すれば、類似性があると判定しているが、これに限定されるものではない。すなわち、各判定条件に重み付けし、各判定結果に応じた合計ポイントが、予め定めた閾値を上回るときに、類似性があると判定してもよい。 In the present embodiment, in the left / right similarity determination process, when a plurality of marking lines are detected, they are parallel, equidistant, and within a predetermined range, and when there are more similarities to a plurality of line groups These are determined to be parking frames and the similarity flag is set to fs = 1, but is not limited to this. That is, only when all the determination conditions are satisfied, the similarity flag is not set to fs = 1, but each determination condition is weighted, and the total point corresponding to each determination result exceeds a predetermined threshold value. The similarity flag may be set to fs = 1. Furthermore, it is determined that there is similarity if at least one of the determination conditions as to whether a plurality of line groups have a common interval, a common shape, or symmetry is satisfied. However, it is not limited to this. That is, each determination condition is weighted, and it may be determined that there is similarity when the total points according to each determination result exceed a predetermined threshold.
本実施形態では、他車両検出処理において、複数の他車両を検出し、それらが平行であるときに、それらが駐車車両であると判断し、他車両フラグをｆｖ＝１にセットしているが、これに限定されるものではない。すなわち、全ての判定条件を満足したときだけ、他車両フラグをｆｖ＝１にセットするのではなく、各判定条件に重み付けし、各判定結果に応じた合計ポイントが、予め定めた閾値を上回るときに、他車両フラグをｆｖ＝１にセットするようにしてもよい。
本実施形態では、線群フラグがｆｇ、類似フラグｆｓ、他車両フラグｆｖの少なくとも一つが１にセットされたときに、駐車場フラグをｆｐ＝１にセットしているが、これに限定されるものではない。すなわち、線群検出処理、左右類似性判定処理、及び他車両検出処理により、駐車場らしさである駐車場確信度を個別に算出し、夫々の駐車場確信度の合計値が、予め定めた閾値を上回るときに、駐車場フラグをｆｐ＝１にセットするようにしてもよい。
In the present embodiment, in the other vehicle detection process, a plurality of other vehicles are detected, and when they are parallel, it is determined that they are parked vehicles, and the other vehicle flag is set to fv = 1. However, the present invention is not limited to this. That is, only when all the determination conditions are satisfied, the other vehicle flag is not set to fv = 1, but each determination condition is weighted, and the total point corresponding to each determination result exceeds a predetermined threshold value In addition, the other vehicle flag may be set to fv = 1.
In this embodiment, when at least one of the line group flag fg, the similarity flag fs, and the other vehicle flag fv is set to 1, the parking lot flag is set to fp = 1. However, the present invention is not limited to this. It is not a thing. That is, by using the line group detection process, the left / right similarity determination process, and the other vehicle detection process, the parking lot certainty that is likely to be a parking lot is calculated individually, and the total value of each parking lot confidence is a predetermined threshold value. The parking lot flag may be set to fp = 1.
本実施形態では、線群検出処理、及び左右類似性判定処理において、カメラ１１で撮像した画像を俯瞰画像に変換してから路面の標示を検出しているが、これに限定されるものではない。すなわち、カメラ１１で撮像した画像、つまり俯瞰変換してない画像に基づいて、路面の標示を検出してもよい。カメラ１１は、車体に固定され、予め定めた方向の周囲環境を撮像しており、このように位置と視点が決まれば、撮像した画像を俯瞰変換しなくても、標示線の向きや間隔を識別することができる。 In the present embodiment, in the line group detection process and the left / right similarity determination process, the road surface indication is detected after the image captured by the camera 11 is converted into an overhead image, but the present invention is not limited to this. . That is, the road marking may be detected based on an image captured by the camera 11, that is, an image that has not been overhead-converted. The camera 11 is fixed to the vehicle body and images the surrounding environment in a predetermined direction. Once the position and viewpoint are determined in this way, the direction and interval of the marking lines can be set without performing overhead conversion of the captured image. Can be identified.
図１５は、各カメラで撮像した画像を俯瞰変換する前の状態を示す図である。
ここでは、フロントカメラ１１Ｆで撮像した画像内に、自車両の左側の前方に存在する標示線Ｌ３及びＬ４、並びに自車両の右側の前方に存在する標示線Ｌ７及びＬ８が映り込んでいる。また、リアカメラ１１Ｒで撮像した画像内に、自車両の左側の後方に存在する標示線Ｌ１及びＬ２、並びに自車両の右側の後方に存在する標示線Ｌ５及びＬ６が映り込んでいる。また、左サイドカメラ１１ＳＬで撮像した画像内に、自車両の左側に存在する標示線Ｌ１〜Ｌ４が映り込んでおり、右サイドカメラ１１ＳＲで撮像した画像内に、自車両の右側に存在する標示線Ｌ５〜Ｌ８が映り込んでいる。
このように、撮像した画像を俯瞰変換しなくても、各カメラの位置と視点に応じて、夫々の標示線の向きや間隔を識別することにより、複数の標示線からなる線群を検出してもよい。
FIG. 15 is a diagram illustrating a state before the bird's-eye conversion is performed on an image captured by each camera.
Here, in the image captured by the
In this way, a line group consisting of a plurality of marking lines can be detected by identifying the direction and interval of each marking line according to the position and viewpoint of each camera without performing overhead conversion of the captured image. May be.
《対応関係》
次に、対応関係について説明する。
カメラ１１が「撮像部」に対応し、ステップＳ１０１の処理が「俯瞰画像生成部」に対応し、ステップＳ１３１、Ｓ１３２、Ｓ１３４〜Ｓ１３７の処理が「他車両検出部」に対応し、ステップＳ１３８、Ｓ１０５の処理が「駐車場判定部」に対応する。
《Correspondence relationship》
Next, the correspondence relationship will be described.
The camera 11 corresponds to the “imaging unit”, the processing in step S101 corresponds to the “overhead image generation unit”, the processing in steps S131, S132, and S134 to S137 corresponds to the “other vehicle detection unit”, and step S138, The process of S105 corresponds to a “parking lot determination unit”.
《効果》
次に、第１実施形態における主要部の効果を記す。
（１）本実施形態の駐車場判定装置は、自車両周囲をカメラ１１で撮像し、撮像した画像に基づいて俯瞰画像を生成する。そして、生成した俯瞰画像内に自車両の左側又は右側の一方に存在する他車両のホイールを検出したときに、ホイールの歪み状態に応じて、他車両の車体前後方向が自車両の車体前後方向に対して直交方向にあるか否かを検出する。そして、自車両の左側又は右側の一方に、車体前後方向が自車両の車体前後方向に対して直交方向であり、且つ自車両の車体前後方向に沿って並んだ複数の他車両を検出したときに、自車両は複数の他車両が駐車された駐車場内にいると判定する。直交方向とは、予め定めた範囲内の誤差を許容するものであり、例えば±３０°程度である。要は、自車両の車体前後方向に対して略横向きであると見なせればよい。
このように、自車両に対して直交方向を向いた複数の他車両が存在するか否かを判定することにより、自車両の現在位置情報や地図情報だけに基づいて判定するよりも、自車両が駐車場内にあるか否かの判定精度を向上させることができる。
"effect"
Next, the effect of the main part in 1st Embodiment is described.
(1) The parking lot determination apparatus of this embodiment images the surroundings of the own vehicle with the camera 11, and produces | generates a bird's-eye view image based on the imaged image. And when the wheel of the other vehicle which exists in one of the left side or the right side of the own vehicle is detected in the generated overhead view image, the vehicle longitudinal direction of the other vehicle is the vehicle longitudinal direction of the own vehicle according to the distortion state of the wheel. It is detected whether or not it is in the orthogonal direction. And when one of the left and right sides of the host vehicle detects a plurality of other vehicles in which the vehicle longitudinal direction is perpendicular to the vehicle longitudinal direction of the host vehicle and is aligned along the vehicle longitudinal direction of the host vehicle Moreover, it is determined that the host vehicle is in a parking lot where a plurality of other vehicles are parked. The orthogonal direction allows an error within a predetermined range and is, for example, about ± 30 °. In short, what is necessary is just to consider that it is a horizontal direction with respect to the vehicle body front-back direction of the own vehicle.
Thus, by determining whether or not there are a plurality of other vehicles facing in the orthogonal direction with respect to the host vehicle, the host vehicle can be determined rather than determining only based on the current position information and map information of the host vehicle. It is possible to improve the determination accuracy of whether or not the vehicle is in the parking lot.
（２）本実施形態の駐車場判定装置は、自車両の前後方向を俯瞰画像の縦方向とし、自車両の左右方向を俯瞰画像の横方向とする。そして、俯瞰画像上でホイールが縦方向よりも横方向の比率が大きくなるように歪んでいるときには、自車両の車体前後方向に対して他車両の車体前後方向が直交方向にあると検出する。そして、俯瞰画像上でホイールが縦方向よりも横方向の比率が小さくなるように歪んでいるときには、自車両の車体前後方向に対して他車両の車体前後方向が平行方向にあると検出する。
このように、ホイールの歪み状態を判定することにより、他車両の車体の向きを容易に検出することができる。
(2) The parking lot determination apparatus of this embodiment sets the front-rear direction of the host vehicle as the vertical direction of the bird's-eye view image, and sets the left-right direction of the host vehicle as the horizontal direction of the bird's-eye view image. Then, when the wheel is distorted so that the ratio in the horizontal direction is larger than the vertical direction on the overhead image, it is detected that the vehicle longitudinal direction of the other vehicle is orthogonal to the vehicle longitudinal direction of the host vehicle. Then, when the wheel is distorted so that the ratio in the horizontal direction is smaller than the vertical direction on the overhead image, it is detected that the longitudinal direction of the other vehicle is parallel to the longitudinal direction of the vehicle.
Thus, the direction of the vehicle body of another vehicle can be easily detected by determining the distortion state of the wheel.
（３）本実施形態の駐車場判定装置は、自車両の左側又は右側の一方に、車体前後方向が自車両の車体前後方向に対して直交方向にある他車両ｖ１を検出する。そして、この他車両ｖ１を検出した位置から前後方向に移動し、自車両の左側及び右側のうち他車両ｖ１を検出した側に、車体前後方向が自車両の車体前後方向に対して直交方向にある他車両ｖ２を検出したときに、これらを平行に並ぶ複数の他車両として認識する。
このように、他車両を順に検出することにより、平行に並ぶ複数の他車両を容易に検出することができる。
(3) The parking lot determination apparatus according to the present embodiment detects another vehicle v1 in which the vehicle longitudinal direction is orthogonal to the vehicle longitudinal direction of the host vehicle on one of the left side and the right side of the host vehicle. And it moves to the front-back direction from the position which detected this other vehicle v1, and the vehicle body front-back direction is orthogonal to the vehicle body front-back direction of the own vehicle in the side which detected the other vehicle v1 among the left side and the right side of the own vehicle. When a certain other vehicle v2 is detected, these are recognized as a plurality of other vehicles arranged in parallel.
Thus, by detecting other vehicles in order, a plurality of other vehicles arranged in parallel can be easily detected.
（４）本実施形態の駐車場判定方法は、自車両周囲をカメラ１１で撮像し、撮像した画像に基づいて俯瞰画像を生成する。そして、生成した俯瞰画像内に自車両の左側又は右側の一方に存在する他車両のホイールを検出したときに、ホイールの歪み状態に応じて他車両の車体前後方向が自車両の車体前後方向に対して直交方向にあるか否かを検出する。そして、自車両の左側又は右側の一方に、車体前後方向が自車両の車体前後方向に対して直交方向であり、且つ自車両の車体前後方向に沿って並んだ複数の他車両を検出したときに、自車両は複数の他車両が駐車された駐車場内にいると判定する。
このように、自車両に対して直交方向を向いた複数の他車両が存在するか否かを判定することにより、自車両の現在位置情報や地図情報だけに基づいて判定するよりも、自車両が駐車場内にあるか否かの判定精度を向上させることができる。
以上、限られた数の実施形態を参照しながら説明したが、権利範囲はそれらに限定されるものではなく、上記の開示に基づく実施形態の改変は、当業者にとって自明のことである。また、各実施形態は、任意に組み合わせて採用することができる。
(4) In the parking lot determination method of the present embodiment, the surroundings of the host vehicle are captured by the camera 11, and an overhead image is generated based on the captured image. Then, when the wheel of the other vehicle existing on the left side or the right side of the own vehicle is detected in the generated overhead view image, the vehicle body longitudinal direction of the other vehicle is changed to the vehicle body longitudinal direction of the own vehicle according to the distortion state of the wheel. On the other hand, it is detected whether it is in the orthogonal direction. And when one of the left and right sides of the host vehicle detects a plurality of other vehicles in which the vehicle longitudinal direction is perpendicular to the vehicle longitudinal direction of the host vehicle and is aligned along the vehicle longitudinal direction of the host vehicle Moreover, it is determined that the host vehicle is in a parking lot where a plurality of other vehicles are parked.
Thus, by determining whether or not there are a plurality of other vehicles facing in the orthogonal direction with respect to the host vehicle, the host vehicle can be determined rather than determining only based on the current position information and map information of the host vehicle. It is possible to improve the determination accuracy of whether or not the vehicle is in the parking lot.
Although the present invention has been described with reference to a limited number of embodiments, the scope of rights is not limited thereto, and modifications of the embodiments based on the above disclosure are obvious to those skilled in the art. Moreover, each embodiment can be adopted in any combination.
１１ カメラ
１２ 車輪速センサ
１３ シフトセンサ
１４ ナビゲーションシステム
２１ コントローラ
11
Claims (4)
前記撮像部で撮像した画像に基づいて俯瞰画像を生成する俯瞰画像生成部と、
前記俯瞰画像生成部で生成した俯瞰画像内に自車両の左側又は右側の一方に存在する他車両のホイールを検出したときに、前記ホイールの歪み状態に応じて、前記他車両の車体前後方向が自車両の車体前後方向に対して直交方向にあるか否かを検出する他車両検出部と、
前記他車両検出部が、自車両の左側又は右側の一方に、車体前後方向が自車両の車体前後方向に対して直交方向であり、且つ自車両の車体前後方向に沿って並んだ複数の他車両を検出したときに、自車両は前記複数の他車両が駐車された駐車場内にいると判定する駐車場判定部と、を備えることを特徴とする駐車場判定装置。 An imaging unit for imaging the surroundings of the host vehicle;
An overhead image generation unit that generates an overhead image based on the image captured by the imaging unit;
When a wheel of another vehicle existing on one of the left side or the right side of the host vehicle is detected in the overhead view image generated by the overhead view image generation unit, the vehicle body longitudinal direction of the other vehicle is determined according to the distortion state of the wheel. Another vehicle detection unit for detecting whether or not the vehicle is in a direction orthogonal to the longitudinal direction of the vehicle body;
The other vehicle detection unit has a plurality of other vehicles arranged on one of the left side and the right side of the host vehicle, the vehicle body front-rear direction being orthogonal to the vehicle body front-rear direction of the host vehicle, and arranged along the vehicle body front-rear direction of the host vehicle. A parking lot determination apparatus comprising: a parking lot determination unit that determines that the own vehicle is in a parking lot where the plurality of other vehicles are parked when a vehicle is detected.
自車両の左右方向を前記俯瞰画像の横方向と定義し、
前記他車両検出部は、
前記俯瞰画像上で前記ホイールが前記縦方向よりも前記横方向の比率が大きくなるように歪んでいるときには、自車両の車体前後方向に対して前記他車両の車体前後方向が直交方向にあると検出し、
前記俯瞰画像上で前記ホイールが前記縦方向よりも前記横方向の比率が小さくなるように歪んでいるときには、自車両の車体前後方向に対して前記他車両の車体前後方向が平行方向にあると検出することを特徴とする請求項１に記載の駐車場判定装置。 Define the longitudinal direction of the host vehicle as the vertical direction of the overhead image,
Define the left-right direction of the host vehicle as the horizontal direction of the overhead image,
The other vehicle detector is
When the wheel is distorted so that the ratio of the lateral direction is larger than the longitudinal direction on the overhead image, the longitudinal direction of the other vehicle is orthogonal to the longitudinal direction of the vehicle. Detect
When the wheel is distorted so that the ratio of the lateral direction is smaller than the longitudinal direction on the overhead image, the longitudinal direction of the other vehicle is parallel to the longitudinal direction of the vehicle. It detects, The parking lot determination apparatus of Claim 1 characterized by the above-mentioned.
自車両の左側又は右側の一方で、車体前後方向が自車両の車体前後方向に対して直交方向にある第一の他車両と、
自車両が前記第一の他車両を検出した位置から前後方向に移動したときに、自車両の左側及び右側のうち前記第一の他車両を検出した側で、車体前後方向が自車両の車体前後方向に対して直交方向にある第二の他車両と、を前記複数の他車両として検出することを特徴とする請求項１又は２に記載の駐車場判定装置。 The other vehicle detector is
On the left or right side of the host vehicle, the first other vehicle in which the vehicle longitudinal direction is orthogonal to the vehicle longitudinal direction of the host vehicle,
When the own vehicle moves in the front-rear direction from the position where the first other vehicle is detected, the vehicle front-rear direction is the vehicle body of the own vehicle on the side where the first other vehicle is detected on the left side and the right side of the own vehicle. The parking lot determination apparatus according to claim 1, wherein a second other vehicle in a direction orthogonal to the front-rear direction is detected as the plurality of other vehicles.
When the surroundings of the host vehicle are imaged, an overhead image is generated based on the captured image, and the wheel of the other vehicle existing on one of the left side or the right side of the host vehicle is detected in the generated overhead image, the distortion of the wheel Depending on the state, it is detected whether the vehicle longitudinal direction of the other vehicle is perpendicular to the vehicle longitudinal direction of the host vehicle, and the vehicle longitudinal direction is on the left or right side of the host vehicle. When a plurality of other vehicles that are orthogonal to the front-rear direction and are aligned along the vehicle body front-rear direction of the host vehicle are detected, the host vehicle is determined to be in a parking lot in which the other vehicles are parked. A parking lot determination method characterized by:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013198930A JP6206036B2 (en) | 2013-09-25 | 2013-09-25 | Parking lot judgment device, parking lot judgment method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013198930A JP6206036B2 (en) | 2013-09-25 | 2013-09-25 | Parking lot judgment device, parking lot judgment method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015064796A true JP2015064796A (en) | 2015-04-09 |
| JP6206036B2 JP6206036B2 (en) | 2017-10-04 |
Family
ID=52832606
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013198930A Active JP6206036B2 (en) | 2013-09-25 | 2013-09-25 | Parking lot judgment device, parking lot judgment method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6206036B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019008506A (en) * | 2017-06-23 | 2019-01-17 | スズキ株式会社 | Drive support device |
| WO2019016910A1 (en) * | 2017-07-20 | 2019-01-24 | 株式会社トヨタマップマスター | New road deduction assistance device, new road deduction assistance method, computer program, and recording medium recording computer program |
| CN112180932A (en) * | 2020-09-30 | 2021-01-05 | 东软睿驰汽车技术（沈阳）有限公司 | Parking method, device and equipment and unmanned system |
| JP2022022311A (en) * | 2017-06-23 | 2022-02-03 | スズキ株式会社 | Driving support device |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010019752A (en) * | 2008-07-11 | 2010-01-28 | Honda Motor Co Ltd | Apparatus for estimating width of vehicle |
-
2013
- 2013-09-25 JP JP2013198930A patent/JP6206036B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010019752A (en) * | 2008-07-11 | 2010-01-28 | Honda Motor Co Ltd | Apparatus for estimating width of vehicle |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019008506A (en) * | 2017-06-23 | 2019-01-17 | スズキ株式会社 | Drive support device |
| JP2022022311A (en) * | 2017-06-23 | 2022-02-03 | スズキ株式会社 | Driving support device |
| JP7201061B2 (en) | 2017-06-23 | 2023-01-10 | スズキ株式会社 | Driving support device |
| WO2019016910A1 (en) * | 2017-07-20 | 2019-01-24 | 株式会社トヨタマップマスター | New road deduction assistance device, new road deduction assistance method, computer program, and recording medium recording computer program |
| JPWO2019016910A1 (en) * | 2017-07-20 | 2019-11-07 | 株式会社トヨタマップマスター | New road estimation support device, new road estimation support method, computer program, and recording medium recording computer program |
| CN112180932A (en) * | 2020-09-30 | 2021-01-05 | 东软睿驰汽车技术（沈阳）有限公司 | Parking method, device and equipment and unmanned system |
| CN112180932B (en) * | 2020-09-30 | 2024-05-31 | 东软睿驰汽车技术（沈阳）有限公司 | Parking method, device, equipment and unmanned system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6206036B2 (en) | 2017-10-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107783535B (en) | Vehicle control device | |
| JP2015064795A (en) | Determination device and determination method for parking place | |
| CN109425343B (en) | Vehicle position estimation device | |
| US11021155B2 (en) | Vehicle control apparatus and vehicle control method | |
| US10810877B2 (en) | Vehicle control device | |
| CN110816540B (en) | Traffic jam determining method, device and system and vehicle | |
| JP4832489B2 (en) | Lane judgment device | |
| JP6365385B2 (en) | Three-dimensional object detection apparatus and three-dimensional object detection method | |
| US11752929B2 (en) | Notification device | |
| US11347233B2 (en) | Vehicle control apparatus, vehicle control system, and image sensor | |
| CN106541946A (en) | Speed controller | |
| US20210001856A1 (en) | Vehicle control device and vehicle control method | |
| JP6206036B2 (en) | Parking lot judgment device, parking lot judgment method | |
| JP3666332B2 (en) | Pedestrian detection device | |
| US10747230B2 (en) | Vehicle control apparatus, vehicle control system, and image sensor | |
| KR101281499B1 (en) | Automatic vehicle driving system | |
| WO2021053763A1 (en) | Driving assistance device, driving assistance method, and program | |
| JP2015064797A (en) | Determination device and determination method for parking place | |
| US7057502B2 (en) | Vehicle drive assist apparatus | |
| KR20170082374A (en) | Lane detection apparatus | |
| CN114973644A (en) | Road information generating device | |
| CN114746923B (en) | Semaphore recognition method and semaphore recognition device | |
| JP6958381B2 (en) | Vehicle control system | |
| JP5452518B2 (en) | Vehicle white line recognition device | |
| KR20210029927A (en) | RaDAR apparatus, recognizing target Method of RaDAR apparatus, and system for controlling vehicle including it |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160328 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170117 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170118 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170217 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170808 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170821 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6206036 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |