JP2024037038A - Parking position detection system - Google Patents

Parking position detection system Download PDF

Info

Publication number
JP2024037038A
JP2024037038A JP2022141670A JP2022141670A JP2024037038A JP 2024037038 A JP2024037038 A JP 2024037038A JP 2022141670 A JP2022141670 A JP 2022141670A JP 2022141670 A JP2022141670 A JP 2022141670A JP 2024037038 A JP2024037038 A JP 2024037038A
Authority
JP
Japan
Prior art keywords
vehicle
line
parking
learning
section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022141670A
Other languages
Japanese (ja)
Inventor
帆貴 後藤
Hodaka Goto
美優 横山
Miyu Yokoyama
嘉人 小久保
Yoshihito Kokubo
晋 大須賀
Susumu Osuga
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Corp filed Critical Aisin Corp
Priority to JP2022141670A priority Critical patent/JP2024037038A/en
Publication of JP2024037038A publication Critical patent/JP2024037038A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a parking position detection system which can estimate more accurate references of parking sections and parking attitudes during parking.
SOLUTION: A parking position detection system includes: an acquisition section which acquires image data from an imaging section for capturing the surrounding of a vehicle, for instance; and an estimation section which has a plurality of reference points which are set to section lines for stipulating learning parking sections included in preliminarily prepared learning image data and a connection line for connecting two reference lines adjacent to each other, has a learned model as a result of learning a plurality of relations between vehicle direction information determining whether or not the connection line can be a vehicle direction reference line extending in a direction substantially parallel or substantially orthogonal to a vehicle reference line fixed in at least one of a vehicle longitudinal direction and a vehicle width direction of the vehicle when parking the vehicle and the connection line, and estimates an actual parking section of the vehicle and a vehicle direction when parking in the actual parking section on the basis of a result which can be obtained by inputting the image data in the learned model.
SELECTED DRAWING: Figure 2
COPYRIGHT: (C)2024,JPO&INPIT

Description

本開示は、駐車位置検出システムに関する。 The present disclosure relates to a parking position detection system.

従来、固定カメラ等で撮像した学習用の画像に写り込んでいる車体（車両）位置の座標等の情報を用いて機械学習等の技術により学習済モデルを作成しておき、実際に撮影した画像から、駐車可能な駐車領域を推定する技術が知られている。この技術では、まず、学習用の画像上で、車体の特徴（例えば，形状等）を規定する特徴点（参照点）の座標をアノテートして学習済モデルを作成している。 Conventionally, a trained model is created using technology such as machine learning using information such as the coordinates of the vehicle body (vehicle) position reflected in a learning image taken with a fixed camera, etc., and then a trained model is created using technology such as machine learning. A technique for estimating a parking area where parking is possible is known. In this technique, a learned model is first created by annotating the coordinates of feature points (reference points) that define vehicle body features (eg, shape, etc.) on a learning image.

特開２０１８－４１１７６号公報JP2018-41176A

しかしながら、従来技術の場合、学習用の画像に映り込んでいる実際の車両の形状を基準にアノテートしたスペースを駐車区画（駐車位置）として学習している。その一方で、実際に駐車領域を推定する場合には、推定時に撮影した車両が存在しない画像に基づいて、駐車区画を推定することになる。その結果、正確な駐車区画が推定し難かったり、推定した駐車区画に対して車両を駐車する場合に適切な駐車姿勢（駐車角度）を実現するための基準（車両方向）を定め難かったりするという問題があった。 However, in the case of the conventional technology, learning is performed using a space annotated based on the shape of the actual vehicle reflected in the learning image as a parking lot (parking position). On the other hand, when actually estimating a parking area, the parking area is estimated based on an image in which no vehicle is present, which was taken at the time of estimation. As a result, it is difficult to estimate the exact parking lot, and it is difficult to determine the standard (vehicle direction) to achieve an appropriate parking posture (parking angle) when parking the vehicle in the estimated parking lot. There was a problem.

そこで、本開示の課題の一つは、より正確な駐車区画及び駐車時の車両方向（駐車姿勢、駐車角度等）を推定ができる、駐車位置検出システムを提供することである。 Therefore, one of the problems of the present disclosure is to provide a parking position detection system that can more accurately estimate a parking lot and the direction of the vehicle at the time of parking (parking posture, parking angle, etc.).

本開示の一例としての駐車位置検出システムは、例えば、車両の周囲を撮像する撮像部からの画像データを取得する取得部と、予め準備された学習用画像データに含まれる学習用駐車区画を規定する区画線に設定された複数の参照点と、隣接する二つの前記参照点を結ぶ接続線とを備え、前記接続線が前記車両を駐車する際に、前記車両の車両前後方向と車両幅方向との少なくとも一方に定められる車両基準線と略平行または略直交する方向に延びる車両方向基準線になり得るか否かを定めた車両方向情報と前記接続線との関係を複数学習した結果としての学習済モデルを有し、前記学習済モデルに前記画像データを入力して得られる結果に基づき、前記車両の実駐車区画及び当該実駐車区画に駐車する際の車両方向を推定する推定部と、を含む。この構成によれば、例えば、学習時に実在する区画線に基づいて参照点をアノテートするので、アノテート精度が向上するとともに、推定時にも区画線を含む画像を学習済モデルに入力可能となり、実駐車区画の推定精度を向上することができる。さらに、アノテートのときに車両を駐車する際の車両基準線と略平行または略直交する方向に延びる、車両方向基準線になり得るかを定めた車両方向情報を学習しておくので、推定した実駐車区画に駐車する際の車両方向の推定精度を向上することができる。 A parking position detection system as an example of the present disclosure includes, for example, an acquisition unit that acquires image data from an imaging unit that images the surroundings of a vehicle, and a learning parking section that is included in learning image data prepared in advance. a plurality of reference points set on the lot line, and a connecting line connecting the two adjacent reference points, and the connecting line connects the vehicle in the vehicle longitudinal direction and the vehicle width direction when parking the vehicle. As a result of learning a plurality of relationships between the connection line and vehicle direction information that determines whether or not the vehicle direction reference line can be a vehicle direction reference line that extends in a direction substantially parallel to or substantially perpendicular to the vehicle reference line defined on at least one of the an estimation unit having a trained model and estimating an actual parking lot of the vehicle and a vehicle direction when parking in the actual parking lot based on a result obtained by inputting the image data to the learned model; including. According to this configuration, for example, the reference points are annotated based on the actual parking lot lines during learning, so the annotation accuracy is improved, and images including the lot lines can be input to the learned model during estimation, so that the actual parking The accuracy of partition estimation can be improved. Furthermore, during annotation, we learn vehicle direction information that determines whether the vehicle direction reference line can be a vehicle direction reference line that extends in a direction approximately parallel or orthogonal to the vehicle reference line when parking the vehicle, so the estimated actual The accuracy of estimating the vehicle direction when parking in a parking lot can be improved.

また、上述の駐車位置検出システムの車両基準線は、例えば、前記車両前後方向と前記車両幅方向に一本ずつ設定されてもよい。この構成によれば、例えば、車両方向基準線になり得るか否かの判定を容易かつ効率的に行うことができる。 Moreover, the vehicle reference line of the above-mentioned parking position detection system may be set, for example, one each in the vehicle longitudinal direction and the vehicle width direction. According to this configuration, for example, it is possible to easily and efficiently determine whether or not the vehicle direction reference line can be used.

また、上述の駐車位置検出システムの前記推定部は、例えば、前記実駐車区画が推定された場合、前記実駐車区画上で前記接続線に対応する対応線が前記車両方向基準線になり得るか否かを示す車両方向推定値を算出し、前記車両方向推定値が所定の閾値以下の場合、前記対応線が前記車両方向基準線であることを示す方向フラグを付与し、前記車両方向推定値が前記閾値を超える場合、前記対応線が前記車両方向基準線ではないことを示す非方向フラグを付与してもよい。この構成によれば、例えば、車両方向の推定信頼度をより向上することができる。 Further, the estimation unit of the above-mentioned parking position detection system may, for example, determine whether, when the actual parking lot is estimated, a corresponding line corresponding to the connection line on the actual parking lot can become the vehicle direction reference line. If the estimated vehicle direction is less than or equal to a predetermined threshold, a direction flag indicating that the corresponding line is the vehicle direction reference line is added, and the estimated vehicle direction is calculated. exceeds the threshold, a non-direction flag may be added indicating that the corresponding line is not the vehicle direction reference line. According to this configuration, for example, the reliability of estimating the vehicle direction can be further improved.

また、上述の駐車位置検出システムの前記推定部は、例えば、前記車両方向基準線が複数存在する場合、当該車両方向基準線に対して重みつ付け処理を実行して、前記車両方向の推定に用いる前記車両方向基準線を補正してもよい。この構成によれば、例えば、複数の車両方向基準線に対して優先度を付けやすくなり、信頼性のより高い車両方向を推定することができる。 Further, the estimation unit of the above-mentioned parking position detection system may perform a weighting process on the vehicle direction reference line when there is a plurality of the vehicle direction reference lines to estimate the vehicle direction. The vehicle direction reference line used may be corrected. According to this configuration, for example, it becomes easier to prioritize a plurality of vehicle direction reference lines, and a more reliable vehicle direction can be estimated.

また、上述の駐車位置検出システムの前記推定部は、例えば、補正された複数の前記車両方向基準線の前記車両基準線に対する角度の平均値を算出し、前記車両基準線に対する統合車両方向基準線を決定してもよい。この構成によれば、例えば、信頼性のより高い車両方向を容易に推定して駐車支援時の誘導制御に反映させることができる。 Further, the estimation unit of the above-mentioned parking position detection system calculates, for example, an average value of angles of a plurality of corrected vehicle direction reference lines with respect to the vehicle reference line, and calculates an average value of angles of the plurality of corrected vehicle direction reference lines with respect to the vehicle reference line, and calculates an integrated vehicle direction reference line with respect to the vehicle reference line. may be determined. According to this configuration, for example, a more reliable vehicle direction can be easily estimated and reflected in guidance control during parking assistance.

図１は、実施形態にかかる駐車位置検出システムを搭載可能な車両を示す例示的かつ模式的な平面図である。FIG. 1 is an exemplary and schematic plan view showing a vehicle that can be equipped with a parking position detection system according to an embodiment. 図２は、実施形態にかかる駐車位置検出システムの構成を示す例示的かつ模式的なブロック図である。FIG. 2 is an exemplary and schematic block diagram showing the configuration of the parking position detection system according to the embodiment. 図３は、実施形態にかかる駐車位置検出システムで用いる画像データによる画像を示す例示的かつ模式的な図である。FIG. 3 is an exemplary and schematic diagram showing an image based on image data used in the parking position detection system according to the embodiment. 図４は、図３で示す画像を用いたアノテートを説明する例示的かつ模式的な図である。FIG. 4 is an exemplary and schematic diagram illustrating annotation using the image shown in FIG. 3. 図５は、実施形態にかかる駐車位置検出システムにおいて、他のパターンの駐車区画のアノテートを説明する例示的かつ模式的な図である。FIG. 5 is an exemplary and schematic diagram illustrating another pattern of parking lot annotation in the parking position detection system according to the embodiment. 図６は、実施形態にかかる駐車位置検出システムにおいて、他のパターンの駐車区画のアノテートを説明する例示的かつ模式的な図である。FIG. 6 is an exemplary and schematic diagram illustrating another pattern of parking lot annotation in the parking position detection system according to the embodiment. 図７は、実施形態にかかる駐車位置検出システムにおいて、他のパターンの駐車区画のアノテートを説明する例示的かつ模式的な図である。FIG. 7 is an exemplary and schematic diagram illustrating another pattern of parking lot annotation in the parking position detection system according to the embodiment. 図８は、実施形態にかかる駐車位置検出システムにおいて、他のパターンの駐車区画のアノテートを説明する例示的かつ模式的な図である。FIG. 8 is an exemplary and schematic diagram illustrating another pattern of parking lot annotation in the parking position detection system according to the embodiment. 図９は、実施形態にかかる駐車位置検出システムにおいて、他のパターンの駐車区画のアノテートを説明する例示的かつ模式的な図である。FIG. 9 is an exemplary and schematic diagram illustrating another pattern of parking lot annotation in the parking position detection system according to the embodiment. 図１０は、実施形態にかかる駐車位置検出システムにおいて、他のパターンの駐車区画のアノテートを説明する例示的かつ模式的な図である。FIG. 10 is an exemplary and schematic diagram illustrating another pattern of parking lot annotation in the parking position detection system according to the embodiment. 図１１は、実施形態にかかる駐車位置検出システムにおいて、他のパターンの駐車区画のアノテートを説明する例示的かつ模式的な図である。FIG. 11 is an exemplary and schematic diagram illustrating another pattern of parking lot annotation in the parking position detection system according to the embodiment. 図１２は、実施形態にかかる駐車位置検出システムにおいて、他のパターンの駐車区画のアノテートを説明する例示的かつ模式的な図である。FIG. 12 is an exemplary and schematic diagram illustrating another pattern of parking lot annotation in the parking position detection system according to the embodiment. 図１３は、実施形態にかかる駐車位置検出システムにおいて、他のパターンの駐車区画のアノテートを説明する例示的かつ模式的な図である。FIG. 13 is an exemplary and schematic diagram illustrating another pattern of parking lot annotation in the parking position detection system according to the embodiment. 図１４は、実施形態にかかる駐車位置検出システムにおいて、他のパターンの駐車区画のアノテートを説明する例示的かつ模式的な図である。FIG. 14 is an exemplary and schematic diagram illustrating another pattern of parking lot annotation in the parking position detection system according to the embodiment. 図１５は、実施形態にかかる駐車位置検出システムにおいて、車両方向基準線が複数推定された場合の対応を説明する例示的かつ模式的な図である。FIG. 15 is an exemplary and schematic diagram illustrating what to do when a plurality of vehicle direction reference lines are estimated in the parking position detection system according to the embodiment. 図１６は、実施形態にかかる駐車位置検出システムで利用する機械学習における学習モードを実行する際の処理を示した例示的なフローチャートである。FIG. 16 is an exemplary flowchart showing processing when executing a learning mode in machine learning used in the parking position detection system according to the embodiment. 図１７は、実施形態にかかる駐車位置検出システムで利用する機械学習における推定モードを実行する際の処理を示した例示的なフローチャートである。FIG. 17 is an exemplary flowchart showing processing when executing an estimation mode in machine learning used in the parking position detection system according to the embodiment.

以下、本開示の実施形態および変形例を図面に基づいて説明する。以下に記載する実施形態および変形例の構成、ならびに当該構成によってもたらされる作用および効果は、あくまで一例であって、以下の記載内容に限られるものではない。 Embodiments and modified examples of the present disclosure will be described below based on the drawings. The configurations of the embodiments and modified examples described below, as well as the effects and effects brought about by the configurations, are merely examples, and are not limited to the contents described below.

図１は、本実施形態の駐車位置検出システムが搭載される車両１０の例示的かる模式的な平面図である。車両１０は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１０は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１０における車輪１２（前輪１２Ｆ、後輪１２Ｒ）の駆動に関わる装置の方式、個数、及び、レイアウト等は、種々に設定することができる。 FIG. 1 is an exemplary schematic plan view of a vehicle 10 equipped with a parking position detection system according to the present embodiment. The vehicle 10 may be, for example, an automobile (internal combustion engine automobile) whose driving source is an internal combustion engine (engine, not shown), or an automobile (electric automobile) whose driving source is an electric motor (motor, not shown). , fuel cell vehicle, etc.), or a vehicle (hybrid vehicle) that uses both of these as drive sources. Further, the vehicle 10 can be equipped with various transmission devices, and can be equipped with various devices (systems, parts, etc.) necessary to drive an internal combustion engine or an electric motor. Further, the system, number, layout, etc. of devices related to driving the wheels 12 (front wheels 12F, rear wheels 12R) in the vehicle 10 can be set in various ways.

図１に例示されるように、車両１０には、複数の撮像部１４として、例えば四つの撮像部１４ａ～１４ｄが設けられている。撮像部１４は、例えば、ＣＣＤ（Charge Coupled Device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１４は、所定のフレームレートで動画データ（撮像画像データ）を出力することができる。撮像部１４は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°～２２０°の範囲を撮影することができる。また、撮像部１４の光軸は斜め下方に向けて設定されている場合もある。よって、撮像部１４は、車両１０が移動可能な路面や路面に付された指標（駐車区画（領域）を示す区画線、車線分離線や矢印等を含む）や物体（障害物として、例えば、歩行者、車両等）を含む車両１０の外部の周辺環境を逐次撮影し、撮像画像データとして出力する。 As illustrated in FIG. 1, the vehicle 10 is provided with, for example, four imaging units 14a to 14d as the plurality of imaging units 14. The imaging unit 14 is, for example, a digital camera incorporating an imaging element such as a CCD (Charge Coupled Device) or a CIS (CMOS image sensor). The imaging unit 14 can output moving image data (captured image data) at a predetermined frame rate. The imaging units 14 each have a wide-angle lens or a fisheye lens, and can take images in a range of, for example, 140° to 220° in the horizontal direction. Further, the optical axis of the imaging unit 14 may be set diagonally downward. Therefore, the imaging unit 14 detects road surfaces on which the vehicle 10 can move or indicators attached to the road surfaces (including marking lines indicating parking spaces, lane separation lines, arrows, etc.) and objects (such as obstacles, such as The surrounding environment outside the vehicle 10 including pedestrians, vehicles, etc.) is sequentially photographed and output as captured image data.

撮像部１４は、車両１０の外周部に設けられている。撮像部１４ａは、例えば、車両１０の後側、すなわち車両前後方向の後方側で車幅方向のほぼ中央の端部、例えばリヤバンパ１０ａの上方位置に設けられて、車両１０の後端部（例えばリヤバンパ１０ａ）を含む後方領域を撮像可能である。また、撮像部１４ｂは、例えば、車両１０の前側、すなわち車両前後方向の前方側で車幅方向のほぼ中央の端部、例えばフロントバンパ１０ｂやフロントグリル等に設けられて、車両１０の前端部（例えばフロントバンパ１０ｂ）を含む前方画像を撮像可能である。また、撮像部１４ｃは、例えば、車両１０の右側の端部、例えば右側のドアミラー１０ｃに設けられて、車両１０の右側方を中心とする領域（例えば右前方から右後方の領域）を含む右側方画像を撮像可能である。撮像部１４ｄは、例えば、車両１０の左側の端部、例えば左側のドアミラー１０ｄに設けられて、車両１０の左側方を中心とする領域（例えば左前方から左後方の領域）を含む左側方画像を撮像可能である。 The imaging unit 14 is provided on the outer periphery of the vehicle 10. The imaging unit 14a is provided, for example, at the rear side of the vehicle 10, that is, at the rear side in the longitudinal direction of the vehicle, at a substantially central end in the vehicle width direction, for example, at a position above the rear bumper 10a, and at the rear end of the vehicle 10 (for example, It is possible to image the rear region including the rear bumper 10a). Further, the imaging unit 14b is provided, for example, at the front side of the vehicle 10, that is, at the front side in the longitudinal direction of the vehicle, at an end portion approximately at the center in the vehicle width direction, for example, at the front bumper 10b, the front grill, etc., and is provided at the front end portion of the vehicle 10. (For example, the front bumper 10b) can be captured. Further, the imaging unit 14c is provided, for example, at the right end of the vehicle 10, for example, the right side door mirror 10c, and is located on the right side including an area centered on the right side of the vehicle 10 (for example, an area from the right front to the right rear). It is possible to capture images from both sides. The imaging unit 14d is provided, for example, at the left end of the vehicle 10, for example, the left side door mirror 10d, and captures a left side image including an area centered on the left side of the vehicle 10 (for example, an area from the front left to the rear left). can be imaged.

本実施形態の駐車支援装置は、複数の撮像部１４で得られた画像データ（画像）に基づいて、演算処理や画像処理を実行することで、区画線等の認識（検出）を行うことができる。駐車位置検出システムは、区画線等の認識により、車両１０を駐車させるための実駐車区画（領域）の推定や、その実駐車区画に車両１０を誘導する際に利用する実駐車位置（移動目標位置）の推定の他、例えば、車両１０の現在位置の推定、車両１０を移動目標位置に誘導するための移動経路の算出等を実行することができる。なお、複数の撮像部１４で得られた画像データに基づいて、演算処理や画像処理を実行することで、より広い視野角の画像を生成したり、車両１０を上方や前方、側方等から見た仮想的な画像（俯瞰画像（平面画像）や側方視画像、正面視画像等）を生成したりすることができる。 The parking assistance device of this embodiment can recognize (detect) lane markings, etc. by performing arithmetic processing and image processing based on image data (images) obtained by the plurality of imaging units 14. can. The parking position detection system estimates the actual parking area (area) for parking the vehicle 10 by recognizing the lane markings, etc., and estimates the actual parking position (movement target position) used when guiding the vehicle 10 to the actual parking area. ), for example, it is possible to estimate the current position of the vehicle 10, calculate a travel route for guiding the vehicle 10 to a target position, and the like. Note that by performing arithmetic processing and image processing based on the image data obtained by the plurality of imaging units 14, it is possible to generate images with a wider viewing angle, and to view the vehicle 10 from above, in front, from the side, etc. It is possible to generate a virtual image (an overhead view image (planar image), a side view image, a front view image, etc.).

本実施形態の駐車位置検出システムは、上述したような車両１０の撮像部で撮像された実際の駐車区画が映り込んでいる画像データや別途撮影された類似の撮像データを用いて、学習済モデルを作成し、駐車区画を推定する機械学習等の学習手法を用いる。なお、学習手法は、機械学習に限定されることなく周知の種々の学習手法が利用可能である。以下の説明では、学習手法として機械学習（深層学習）を用いて説明する。駐車位置検出システムは、機械学習における学習モードおよび学習モードで構築した学習済モデルを用いて車両１０が駐車可能な駐車区画（実駐車区画）やその駐車区画に車両を駐車する際に適切な車両方向（駐車姿勢、駐車角度等）を実現するために基準となる車両方向基準線を用いて推定する推定モードを実行する。学習モードおよび推定モードの詳細は後述する。 The parking position detection system of the present embodiment uses image data in which an actual parking lot is captured by the imaging unit of the vehicle 10 as described above and similar image data captured separately to create a trained model. , and use learning methods such as machine learning to estimate parking areas. Note that the learning method is not limited to machine learning, and various well-known learning methods can be used. In the following explanation, machine learning (deep learning) will be used as a learning method. The parking position detection system uses a learning mode in machine learning and a learned model built in the learning mode to identify a parking lot where the vehicle 10 can park (actual parking lot) and an appropriate vehicle when parking the vehicle in the parking lot. An estimation mode is executed to estimate the direction (parking posture, parking angle, etc.) using a vehicle direction reference line that serves as a reference. Details of the learning mode and estimation mode will be described later.

本実施形態において、駐車位置検出システムは、学習モードが事前に実行されて作成された学習済モデルを記憶部等に記憶した状態で車両１０に搭載している。したがって、車両１０に搭載された駐車位置検出システムは、撮像部１４が撮像した画像データを用いて、車両１０のみで完結する処理により駐車可能な駐車区画（実駐車区画）及び車両方向の推定が実行可能で、推定した実駐車区画及び車両方向を用いて駐車支援処理等をスムーズに実行することができる。以下に示す実施形態では、車両１０で学習モード及び推定モードを実行可能な構成を説明する。なお、他の実施形態においては、車両１０以外の外部のサービスセンタ等に駐車位置検出システムを配置し、駐車区画等を推定したい場合に車両１０側で撮像した画像データをサービスセンタに送信する。そして、サービスセンタから出力される推定結果を受信して、駐車支援処理に利用するようにしてもよい。また、他の実施形態では、学習モードをサービスセンタで実行し、推定モードを車両１０で実施してもよい。つまり、推定モードの結果が車両１０で取得できればよい。したがって、学習済モデル記憶部２８の配置位置も限定されない。 In this embodiment, the parking position detection system is mounted on the vehicle 10 with a learned model created by executing a learning mode in advance stored in a storage unit or the like. Therefore, the parking position detection system installed in the vehicle 10 uses the image data captured by the imaging unit 14 to estimate the available parking bays (actual parking bays) and the vehicle direction through processing that can be completed only by the vehicle 10. It is possible to execute parking assistance processing, etc. smoothly using the estimated actual parking lot and vehicle direction. In the embodiment shown below, a configuration in which the vehicle 10 can execute the learning mode and the estimation mode will be described. In other embodiments, a parking position detection system is placed at a service center or the like outside the vehicle 10, and image data captured by the vehicle 10 is transmitted to the service center when it is desired to estimate a parking lot or the like. Then, the estimation result output from the service center may be received and used for parking assistance processing. In other embodiments, the learning mode may be executed at the service center and the estimation mode may be executed at the vehicle 10. In other words, it is sufficient if the result of the estimation mode can be acquired by the vehicle 10. Therefore, the location of the trained model storage section 28 is not limited either.

図２は、駐車位置検出システム１６の構成を示す例示的かつ模式的なブロック図である。駐車位置検出システム１６は、プロセッサやメモリなどといったハードウェアで構成される、一般的なパーソナルコンピュータで実現可能である。そして、プロセッサが記憶部等のメモリに記憶されたプログラムを読み出して実行することによって、駐車位置検出システム１６における各機能モジュールを実現する。駐車位置検出システム１６は、機能モジュールとして、例えば、モード切替部１８、取得部２０、学習モード実行部２２、推定モード実行部２４等を含む。学習モード実行部２２は、参照点設定部２２ａ、方向フラグ設定部２２ｂ、モデル作成部２２ｃ等の詳細モジュールを含む。推定モード実行部２４は、推定部２４ａ、処理部２４ｂ等の詳細モジュールを含む。そして、推定部２４ａは、参照点推定部２４ａ１、車両方向推定値算出部２４ａ２、方向フラグ付与部２４ａ３等で構成される。また、処理部２４ｂは、変換部２４ｂ１、駐車位置特定部２４ｂ２、基準線設定部２４ｂ３等で構成される。なお、これらのモジュールは、例えば、機能ごとに分離、または統合されてもよいし、ハードウェアで構成されてもよい。 FIG. 2 is an exemplary and schematic block diagram showing the configuration of the parking position detection system 16. The parking position detection system 16 can be realized by a general personal computer configured with hardware such as a processor and memory. Then, each functional module in the parking position detection system 16 is realized by the processor reading out and executing a program stored in a memory such as a storage unit. The parking position detection system 16 includes, as functional modules, for example, a mode switching section 18, an acquisition section 20, a learning mode execution section 22, an estimation mode execution section 24, and the like. The learning mode execution unit 22 includes detailed modules such as a reference point setting unit 22a, a direction flag setting unit 22b, and a model creation unit 22c. The estimation mode execution unit 24 includes detailed modules such as an estimation unit 24a and a processing unit 24b. The estimation unit 24a includes a reference point estimation unit 24a1, a vehicle direction estimated value calculation unit 24a2, a direction flag assignment unit 24a3, and the like. Further, the processing section 24b includes a converting section 24b1, a parking position specifying section 24b2, a reference line setting section 24b3, and the like. Note that these modules may be separated or integrated for each function, or may be configured by hardware, for example.

また、駐車位置検出システム１６には、表示装置２６や学習済モデル記憶部２８及び撮像部１４等が接続されている。学習モード実行時には、学習モード実行部２２が機械学習によって構築した学習済モデルが、更新可能な学習済モデル記憶部２８に順次記憶され、推定モード実行時には、学習済モデル記憶部２８から学習済モデルが適宜読み出され、推定処理に利用される。学習済モデル記憶部２８は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の不揮発性の書き換え可能な記憶装置である。 Further, the parking position detection system 16 is connected to a display device 26, a learned model storage section 28, an imaging section 14, and the like. When the learning mode is executed, the learned models constructed by the learning mode execution unit 22 through machine learning are sequentially stored in the updatable learned model storage unit 28, and when the estimation mode is executed, the learned models are stored from the learned model storage unit 28. is read out as appropriate and used for estimation processing. The learned model storage unit 28 is a non-volatile, rewritable storage device such as an HDD (Hard Disk Drive) or an SSD (Solid State Drive).

表示装置２６は、推定モード実行部２４で推定された結果が表示される。表示装置２６は、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electroluminescent display）等で構成される表示部２６ａを備える。表示装置２６は表示部２６ａのみで構成されてもよいし、学習済モデル用の教師データを作成する際やモード切替部１８を介したモード切替操作等を行う際に入力操作を行う操作部２６ｂが一体化されてもよい。表示部２６ａと操作部２６ｂとが一体化される場合、表示装置２６の表示部２６ａは、例えば、タッチパネル等の透明な操作部２６ｂで覆われている。駐車位置検出システム１６の操作者は、操作部２６ｂを介して表示部２６ａに表示される画像を視認することができる。また、操作者は、表示部２６ａの表示画面に表示される画像に対応した位置で手指やタッチペン等により操作部２６ｂを触れたり押したり動かしたりして操作することで、操作入力を実行することができる。例えば、学習モード実行時には表示部２６ａに学習用の画像データが表示され、操作者（アノテート者）が操作部２６ｂを操作することにより、アノテーション等の操作を行うことができる。また、推定モード実行時には表示部２６ａに撮像部１４で撮像されたが実画像が表示されるとともに、推定結果や推定結果に基づく駐車支援制御を実行するための操作案内等が表示される。操作者（推定結果利用者、運転者等）は、操作部２６ｂを操作して、推定結果の採用の可否や駐車支援制御の実行要求等を行うことができる。 The display device 26 displays the results estimated by the estimation mode execution unit 24. The display device 26 includes a display section 26a configured of, for example, an LCD (liquid crystal display) or an OELD (organic electroluminescent display). The display device 26 may be composed of only a display section 26a, or may include an operation section 26b that performs input operations when creating training data for a trained model or performing a mode switching operation via the mode switching section 18. may be integrated. When the display section 26a and the operation section 26b are integrated, the display section 26a of the display device 26 is covered with a transparent operation section 26b such as a touch panel, for example. The operator of the parking position detection system 16 can visually check the image displayed on the display section 26a via the operation section 26b. In addition, the operator can perform operation input by touching, pressing, or moving the operation section 26b with a finger or touch pen at a position corresponding to the image displayed on the display screen of the display section 26a. I can do it. For example, when the learning mode is executed, image data for learning is displayed on the display section 26a, and an operator (annotator) can perform operations such as annotation by operating the operating section 26b. Further, when the estimation mode is executed, the actual image captured by the imaging unit 14 is displayed on the display unit 26a, and the estimation result and operation guidance for executing parking assistance control based on the estimation result are displayed. An operator (estimation result user, driver, etc.) can operate the operation unit 26b to determine whether or not to adopt the estimation result, request execution of parking assistance control, etc.

モード切替部１８は、駐車位置検出システム１６の学習モード実行部２２と推定モード実行部２４の切り替えを実行する。例えば、操作部２６ｂを介して、操作者が操作することにより、機械学習における学習モードと推定モードの選択が可能になる。 The mode switching unit 18 switches between the learning mode execution unit 22 and the estimation mode execution unit 24 of the parking position detection system 16. For example, an operator can select a learning mode and an estimation mode in machine learning by operating the operating unit 26b.

取得部２０は、撮像部１４が撮像した画像データ（動画情報または静止画情報）、または外部のデータベース等の保持する画像データ（動画情報または静止画情報）を取得可能である。取得部２０は、学習モード実行時の場合、撮像部１４を介して車両１０の周辺画像、例えば、駐車区画が映り込んでいる画像の画像データを取得可能である。または外部のデータベース等の保持する駐車区画が映り込んでいる画像の画像データを取得である。そして、取得部２０は、取得した画像データを学習モード実行部２２に提供し、アノテーションに利用する。また、取得部２０は、推定モード実行時の場合、撮像部１４を介して車両１０の現在の周辺画像（実画像）、例えば、駐車区画が映り込んでいると見なされる画像の画像データを取得して、推定モード実行部２４に提供して推定処理に利用する。 The acquisition unit 20 can acquire image data (moving image information or still image information) captured by the imaging unit 14 or image data (moving image information or still image information) held in an external database or the like. When the learning mode is executed, the acquisition unit 20 can acquire image data of a surrounding image of the vehicle 10, for example, an image in which a parking lot is reflected, via the imaging unit 14. Alternatively, it is possible to obtain image data of an image containing a parking lot stored in an external database or the like. The acquisition unit 20 then provides the acquired image data to the learning mode execution unit 22 and uses it for annotation. Further, when executing the estimation mode, the acquisition unit 20 acquires image data of a current surrounding image (actual image) of the vehicle 10, for example, an image that is considered to include a parking lot, via the imaging unit 14. Then, it is provided to the estimation mode execution unit 24 and used for estimation processing.

図３は、取得部２０が取得する画像データに基づく画像３０を示す例示的かつ模式的な図である。図３に示す画像３０の場合、駐車領域Ｅである駐車区画３２を規定する区画線３２ａ，３２ｂとして、略Ｕ字形状の例えば白線が示されている。なお、画像３０の場合、車両１０等に搭載された撮像部１４を用いて撮像して画像であるため、下方領域に車両１０の一部であるフロントバンパ１０ｂが映り込んでいる。 FIG. 3 is an exemplary and schematic diagram showing an image 30 based on image data acquired by the acquisition unit 20. In the case of the image 30 shown in FIG. 3, the substantially U-shaped white lines, for example, are shown as the marking lines 32a and 32b that define the parking section 32, which is the parking area E. In the case of the image 30, since the image is captured using the imaging unit 14 mounted on the vehicle 10 or the like, the front bumper 10b, which is a part of the vehicle 10, is reflected in the lower region.

学習モード実行部２２は、車両１０が駐車区画３２の正確な位置情報を推定するための機械学習における学習モード処理を実行する。学習モード実行部２２は、モード切替部１８によって学習モードが選択されている場合に実行される。 The learning mode execution unit 22 executes learning mode processing in machine learning for the vehicle 10 to estimate accurate positional information of the parking lot 32. The learning mode execution unit 22 is executed when the learning mode is selected by the mode switching unit 18.

前述したように、学習モード実行部２２は、参照点設定部２２ａ、方向フラグ設定部２２ｂ、モデル作成部２２ｃを含む。参照点設定部２２ａは、世界座標系上での駐車区画３２の位置を推定するための機械学習で用いる学習済モデルを構築するための教師データに対する正解値の設定を行う。つまり、取得部２０によって取得された画像３０に写り込んでいる駐車区画３２に対して、作業者によるアノテーション(正解値付け作業)を実行する。なお、このとき利用する画像を「学習用画像」と称し、画像データに写り込んでいる駐車区画を「学習用駐車区画」と称する場合がある。参照点設定部２２ａは、取得部２０が取得した画像データから駐車区画３２の推定に有効な参照点となり得る区画線３２ａ，３２ｂが鮮明に撮影されているフレーム（すなわち静止画像）を学習用画像として選択する。これらの選択は、学習モード実行部２２が自動で行ってもよいし、アノテート作業者（アノテーションを行う作業者）が操作部２６ｂを用いて行ってもよい。参照点設定部２２ａは、アノテート作業者が操作部２６ｂを操作して指定した学習用画像上の位置を順次参照点として設定する。この場合、参照点設定部２２ａは、（予め準備された）学習用の画像データに含まれる学習用の駐車区画３２を規定する区画線３２ａ，３２ｂに設定された複数の参照点と学習用の画像データ上の座標（世界座標）とを関連付けるアノテーションを順次実行する。また、方向フラグ設定部２２ｂは、複数の参照点（例えば、４点）で規定される学習用駐車区画に車両を駐車させることを想定した場合、隣接する二つの参照点を結ぶ接続線が、車両の車両前後方向と車両幅方向との少なくとも一方に定められる車両基準線と略平行または略直交する方向に延びる車両方向基準線になり得るか否かを定めた車両方向情報としての方向フラグを設定する（アノテーションする）。なお、本実施形態では、車両方向基準線は、例えば略矩形の仮想車両を理想的な位置、かつ理想的な車両方向（駐車姿勢）で駐車区画３２に位置させた時に、二つの参照点を結ぶ複数の接続線のうち、どの接続線が仮想車両の車両基準線（仮想車両の車両前後方向と車両幅方向との少なくとも一方に定められる線）と略平行または略直交する線として説明する。 As described above, the learning mode execution section 22 includes a reference point setting section 22a, a direction flag setting section 22b, and a model creation section 22c. The reference point setting unit 22a sets correct values for teacher data for constructing a learned model used in machine learning for estimating the position of the parking lot 32 on the world coordinate system. That is, the operator performs annotation (correct pricing work) on the parking lot 32 reflected in the image 30 acquired by the acquisition unit 20. Note that the image used at this time may be referred to as a "learning image," and the parking lot reflected in the image data may be referred to as a "learning parking lot." The reference point setting unit 22a uses a frame (i.e., a still image) in which the lane markings 32a and 32b are clearly photographed, which can be an effective reference point for estimating the parking zone 32, from the image data acquired by the acquisition unit 20 as a learning image. Select as. These selections may be made automatically by the learning mode execution unit 22, or may be made by an annotator (an operator who performs annotation) using the operation unit 26b. The reference point setting unit 22a sequentially sets positions on the learning image specified by the annotator by operating the operation unit 26b as reference points. In this case, the reference point setting unit 22a sets a plurality of reference points set on the lane lines 32a and 32b defining the learning parking lot 32 included in the learning image data (prepared in advance) and the learning image data. Annotations that associate coordinates on image data (world coordinates) are sequentially executed. Furthermore, when it is assumed that the vehicle is to be parked in a learning parking section defined by a plurality of reference points (for example, four points), the direction flag setting unit 22b determines that the connection line connecting two adjacent reference points is A direction flag as vehicle direction information that determines whether or not a vehicle direction reference line that extends in a direction substantially parallel or orthogonal to a vehicle reference line defined in at least one of the longitudinal direction and the vehicle width direction of the vehicle is provided. Set (annotate). In the present embodiment, the vehicle direction reference line is defined by two reference points, for example, when a substantially rectangular virtual vehicle is positioned in the parking lot 32 at an ideal position and in an ideal vehicle direction (parking posture). Among the plurality of connecting lines, which one is substantially parallel to or substantially perpendicular to the vehicle reference line of the virtual vehicle (the line defined in at least one of the vehicle longitudinal direction and the vehicle width direction of the virtual vehicle) will be described.

図４は、図３で示す画像３０を用いたアノテーションを説明する例示的かつ模式的な図である。図４は、説明のために、図３の駐車区画３２を俯瞰視した俯瞰画像３０Ａで示している。また、図５～図１４は、図４とは異なる形状パターンの駐車区画３２が示されている例である。 FIG. 4 is an exemplary and schematic diagram illustrating annotation using the image 30 shown in FIG. 3. For the purpose of explanation, FIG. 4 shows an overhead image 30A of the parking lot 32 in FIG. 3 . Further, FIGS. 5 to 14 are examples in which parking sections 32 having different shape patterns from those shown in FIG. 4 are shown.

図４において、駐車区画３２を規定する区画線３２ａ，３２ｂは、所定間隔（例えば、一般的な普通車の車幅より乗降スペースを考量した距離）で路面に例えばペイントされている。図４に示される区画線３２ａ，３２ｂは、走行路側（駐車準備のための車両が走行する通路側）に、略Ｕ字の形状の湾曲した接続部が形成され、当該接続部が形成されていない側に輪留め３８が配置され、さらに、その後方に壁４０が配置されている例である。駐車区画３２のアノテーションは、各区画線３２ａ（３２ｂ）上でアノテート作業者によって認識位置の違いが発生し難い位置に操作部２６ｂを介して参照点設定部２２ａにより例えば４点の参照点Ｐ１～Ｐ４で設定される。図４の形状パターンの駐車区画３２の場合、参照点Ｐ１は、区画線３２ａの略Ｕ字の接続部先端位置（中央位置）に設定されている。Ｕ字湾曲の先端部は、アノテート作業者の位置認識のずれが生じにくい位置である。同様に、参照点Ｐ２は、区画線３２ｂの略Ｕ字の接続部先端位置（中央位置）に設定されている。また、参照点Ｐ３は、区画線３２ｂの内側の白線（駐車領域Ｅ側の線）でアノテート作業者の位置認識のずれが生じ難い位置である後端位置に設定されている。同様に、参照点Ｐ４は、区画線３２ａの内側の白線（駐車領域Ｅ側の線）の後端位置に設定されている。つまり、参照点Ｐ１～Ｐ４で囲まれる領域（略台形領域）が実際に車両の駐車に利用可能な学習区画３４（学習用駐車区画）としてアノテーションされて学習される。この場合、学習区画３４は、略台形形状で、参照点Ｐ１と参照点Ｐ２を結ぶ接続線Ｌ１と、参照点Ｐ２と参照点Ｐ３を結ぶ接続線Ｌ２と、参照点Ｐ３と参照点Ｐ４を結ぶ接続線Ｌ３と、参照点Ｐ４と参照点Ｐ１を結ぶ接続線Ｌ４と、で構成される。 In FIG. 4, partition lines 32a and 32b that define a parking section 32 are painted on the road surface at predetermined intervals (for example, a distance that takes into account the space for boarding and alighting from the width of a typical regular car). The lane markings 32a and 32b shown in FIG. 4 have a substantially U-shaped curved connection portion formed on the driving road side (the path side where vehicles travel to prepare for parking). This is an example in which a wheel stopper 38 is placed on the side without the wheel, and a wall 40 is placed behind it. The annotation of the parking lot 32 is performed using the reference point setting section 22a via the operation section 26b at a position on each section line 32a (32b) where differences in recognition positions are unlikely to occur depending on the annotator. Set in P4. In the case of the parking section 32 having the shape pattern shown in FIG. 4, the reference point P1 is set at the tip position (center position) of the substantially U-shaped connection part of the section line 32a. The tip of the U-shaped curve is a position where the annotator's position recognition is unlikely to be misaligned. Similarly, the reference point P2 is set at the tip position (center position) of the substantially U-shaped connection part of the partition line 32b. Further, the reference point P3 is set at the rear end position, which is a white line inside the partition line 32b (the line on the side of the parking area E) and is a position where the annotator's position recognition is unlikely to be misaligned. Similarly, the reference point P4 is set at the rear end position of the inner white line (the line on the parking area E side) of the partition line 32a. That is, the area (approximately trapezoidal area) surrounded by the reference points P1 to P4 is annotated and learned as the learning area 34 (learning parking area) that can actually be used for parking a vehicle. In this case, the learning section 34 has a substantially trapezoidal shape, and has a connecting line L1 connecting the reference point P1 and the reference point P2, a connecting line L2 connecting the reference point P2 and the reference point P3, and a connecting line L2 connecting the reference point P3 and the reference point P4. It is composed of a connection line L3 and a connection line L4 connecting the reference point P4 and the reference point P1.

このように、各参照点Ｐ１～Ｐ４を区画線３２ａ，３２ｂのうち、比較的認識し易く、認識位置に個人差が生じ難い位置（Ｕ字湾曲の先端（頂部）や白線の端部等のエッジ上等）に設定することによって、アノテーション時のばらつきを抑制することが可能になり、より信頼性の高い学習を実行することができる。 In this way, each of the reference points P1 to P4 is placed at a position among the partition lines 32a and 32b that is relatively easy to recognize and where individual differences in recognition positions are unlikely to occur (such as the tip (top) of a U-shaped curve or the end of a white line). By setting it on the edge, etc.), it is possible to suppress variations during annotation, and more reliable learning can be performed.

ところで、実際に駐車区画３２に車両１０を駐車する場合、駐車区画３２の中における車両１０の車両方向、すなわち駐車姿勢（駐車区画３２に対する車両１０の傾きの抑制）が重要になる。例えば、車両１０に対して適切な広さの駐車区画３２が存在する場合でも、駐車区画３２内で車両１０が傾いて駐車された場合、好ましい駐車とは言えない。また、駐車支援制御等では、車両１０の傾き駐車は、駐車支援完了と認められない場合がある。したがって、駐車区画３２を有効に利用するためには、学習用の駐車区画３２の学習を行う場合、車両１０を実際に駐車する場合に基準にできる車両方向（車両方向基準線）を定めておくことが望ましい。そこで、学習モード実行部２２は、参照点Ｐ１～Ｐ４を学習する際に、付加情報として車両方向情報を学習させる方向フラグ設定部２２ｂを備える。方向フラグ設定部２２ｂは、まず、学習用の駐車区画３２に理想的な位置、理想的な姿勢で駐車する略矩形（例えば、車両前後方向に長い長方形）の仮想車両３６の設定を行う。そして、方向フラグ設定部２２ｂは、隣接する二つの参照点を結ぶ複数の接続線のうちいずれが、仮想車両３６の車両前後方向と車両幅方向との少なくとの一方に定められる車両基準線と略平行または略直交する方向に延びる、仮想車両３６の外形と平行な車両方向基準線になり得るか否かを定めた車両方向情報を設定する。ここで、車両基準線とは、略矩形の仮想車両３６の車両前後方向の車両側面に沿って延びる左右側面ラインや左右側面ラインに平行な前後ライン（車幅方向中心線）や、仮想車両３６の車幅方向の前端面や後端面に沿って延びる前面ライン、後面ライン、前面ラインや後面ラインに平行な車幅ライン（前後方向中心線）等である。なお、車両基準線の設定本数は適宜設定可能である。例えば、車両基準線は、仮想車両３６の車両前後方向と車両幅方向との少なくとの一方に定められてもよいし、両方定められてもよい。例えば、左側面ラインのみ、右側面ラインのみ、前面ラインのみ、後面ラインのみでもよい。また、その全てでもよいし、車両前後方向のうち１本と車両幅方向のうち１本の計２本でもよい。さらに、車両基準線としては車両前後方向と車両幅方向とのうち１本のみを定め、他方は、そのラインと直交するか否かで認識するようにしてもよい。このように、車両基準線を複数設定することにより、車両方向基準線になり得るか否か判定が容易になる。なお、現実的には、車両前後方向のうち１本と車両幅方向のうち１本の２本で設定することにより、判定精度や判定効率、処理負荷等のバランスを得やすい。 By the way, when actually parking the vehicle 10 in the parking lot 32, the vehicle direction of the vehicle 10 in the parking lot 32, that is, the parking posture (suppression of the inclination of the vehicle 10 with respect to the parking lot 32) is important. For example, even if there is a parking lot 32 with an appropriate size for the vehicle 10, if the vehicle 10 is parked at an angle within the parking lot 32, it cannot be said that the parking is preferable. Furthermore, in parking assistance control and the like, parking the vehicle 10 at an angle may not be recognized as completion of parking assistance. Therefore, in order to effectively use the parking lot 32, when learning the parking lot 32 for learning, it is necessary to determine the vehicle direction (vehicle direction reference line) that can be used as a reference when actually parking the vehicle 10. This is desirable. Therefore, the learning mode execution unit 22 includes a direction flag setting unit 22b that causes vehicle direction information to be learned as additional information when learning the reference points P1 to P4. The direction flag setting unit 22b first sets a virtual vehicle 36 having a substantially rectangular shape (for example, a rectangle long in the longitudinal direction of the vehicle) to be parked in the learning parking section 32 in an ideal position and in an ideal posture. Then, the direction flag setting unit 22b determines which of the plurality of connection lines connecting two adjacent reference points is a vehicle reference line defined in at least one of the vehicle longitudinal direction and the vehicle width direction of the virtual vehicle 36. Vehicle direction information is set that determines whether or not the vehicle direction reference line can be a vehicle direction reference line that is parallel to the outer shape of the virtual vehicle 36 and extends in a direction substantially parallel or orthogonal to the virtual vehicle 36 . Here, the vehicle reference line refers to the left and right side lines extending along the vehicle side surfaces in the longitudinal direction of the substantially rectangular virtual vehicle 36, the front and rear lines parallel to the left and right side lines (vehicle width direction center line), and These include a front line and a rear line extending along the front end surface and rear end surface in the vehicle width direction, and a vehicle width line (front-rear center line) parallel to the front line and the rear surface line. Note that the number of vehicle reference lines can be set as appropriate. For example, the vehicle reference line may be set in at least one of the vehicle longitudinal direction and the vehicle width direction of the virtual vehicle 36, or may be set in both. For example, only the left side line, only the right side line, only the front line, or only the rear line may be used. Further, it may be all of them, or it may be two in total, one in the longitudinal direction of the vehicle and one in the width direction of the vehicle. Furthermore, only one of the vehicle longitudinal direction and the vehicle width direction may be determined as the vehicle reference line, and the other may be recognized based on whether or not it intersects perpendicularly to that line. By setting a plurality of vehicle reference lines in this way, it becomes easy to determine whether or not the vehicle direction reference line can be used. In reality, by setting two lines, one in the longitudinal direction of the vehicle and one in the width direction of the vehicle, it is easier to achieve a balance in determination accuracy, determination efficiency, processing load, etc.

例えば、図４の場合、４つの参照点Ｐ１～Ｐ４で規定される学習区画３４（駐車領域Ｅ）は、略台形形状である。そして、学習区画３４に設定される略矩形（例えば、長方形）の仮想車両３６の車両基準線は、前面ライン３６ａと左側面ライン３６ｂと後面ライン３６ｃと右側面ライン３６ｄとなる。そして、図４の学習区画３４を構成する接続線のうち、車両基準線と略平行または略直交する接続線は、接続線Ｌ１と接続線Ｌ３となる。つまり、学習モード実行時に接続線Ｌ１と接続線Ｌ３を車両方向基準線として方向フラグを付す学習（アノテーション）しておく。そして、推定モード実行時に、形状パターンが図４に示すような学習区画３４の実駐車区画が推定された場合、接続線Ｌ１または接続線Ｌ３に対応する線を車両方向基準線として、当該車両方向基準線を基準として車両方向を推定して駐車（誘導）すれば、推定された実駐車区画に車両を理想的な位置、理想的な姿勢で駐車することができる。学習モード実行部２２は、同様な形状パターン、つまり略Ｕ字形状の区画線３２ａ，３２ｂについて複数の画像データを学習する。なお、上述したように、車両基準線を前面ライン３６ａ、左側面ライン３６ｂ、後面ライン３６ｃ、右側面ライン３６ｄのうち１本を設定しておき、そのラインと略平行または略直交する接続線を車両方向基準線として、方向フラグを付すようにしてもよい。同様に、車両基準線を車両前後方向のうち１本と車両幅方向のうち１本の計２本で設定しておき、そのラインと略平行または略直交する接続線を車両方向基準線として、方向フラグを付すようにしてもよい。以下の例でも同様である。 For example, in the case of FIG. 4, the learning section 34 (parking area E) defined by the four reference points P1 to P4 has a substantially trapezoidal shape. The vehicle reference lines of the substantially rectangular (for example, rectangular) virtual vehicle 36 set in the learning section 34 are the front line 36a, the left side line 36b, the rear line 36c, and the right side line 36d. Of the connection lines forming the learning section 34 in FIG. 4, the connection lines that are substantially parallel or substantially orthogonal to the vehicle reference line are the connection line L1 and the connection line L3. That is, when the learning mode is executed, learning (annotation) is performed to attach a direction flag to the connection line L1 and the connection line L3 as vehicle direction reference lines. When the actual parking section of the learning section 34 whose shape pattern is as shown in FIG. 4 is estimated when the estimation mode is executed, the vehicle direction is By parking (guiding) the vehicle by estimating the direction of the vehicle using the reference line as a reference, the vehicle can be parked in the estimated actual parking lot in an ideal position and ideal posture. The learning mode execution unit 22 learns a plurality of image data regarding similar shape patterns, that is, substantially U-shaped partition lines 32a and 32b. As mentioned above, one of the vehicle reference lines is set among the front line 36a, left side line 36b, rear side line 36c, and right side line 36d, and a connection line that is approximately parallel or orthogonal to that line is set. A direction flag may be attached as the vehicle direction reference line. Similarly, two vehicle reference lines are set, one in the vehicle longitudinal direction and one in the vehicle width direction, and a connecting line that is approximately parallel or orthogonal to that line is set as the vehicle direction reference line. A direction flag may also be attached. The same applies to the following examples.

図５の俯瞰画像３０Ａで示される形状パターンの区画線３２ａ１，３２ｂ１は、図４に示される略Ｕ字形状の区画線３２ａ，３２ｂより、奥行き方向（区画線３２ａ，３２ｂの延在方向）に短く、走行通路側に、略Ｕ字の形状を形成する直線の接続部が位置するように構成されている。なお、区画線３２ａ，３２ｂの奥行き方向には、壁４０が配置されている。この場合も駐車区画３２のアノテーションは、各区画線３２ａ１（３２ｂ１）上でアノテート作業者によって認識位置の違いが発生し難い位置に例えば４点の参照点Ｐ１～Ｐ４で設定される。図５の場合、参照点Ｐ１は、区画線３２ａ１の内側の白線（駐車領域Ｅ側の線）の先端位置（角部）に設定されている。接続部の先端部の角部は、アノテート作業者の位置認識のずれが生じにくい位置である。同様に、参照点Ｐ２は、区画線３２ｂ１の内側の白線（駐車領域Ｅ側の線）の先端位置（角部）に設定されている。また、参照点Ｐ３は、区画線３２ｂ１の内側の白線（駐車領域Ｅ側の線）の後端位置に設定されている。同様に、参照点Ｐ４は、区画線３２ａ１の内側の白線（駐車領域Ｅ側の線）の後端位置に設定されている。つまり、参照点Ｐ１～Ｐ４で囲まれる領域（略長方形領域）が実際に車両の駐車に利用可能な学習区画３４として学習される。この場合、学習区画３４は、略長方形であり、参照点Ｐ１と参照点Ｐ２を結ぶ接続線Ｌ１と、参照点Ｐ２と参照点Ｐ３を結ぶ接続線Ｌ２と、参照点Ｐ３と参照点Ｐ４を結ぶ接続線Ｌ３と、参照点Ｐ４と参照点Ｐ１を結ぶ接続線Ｌ４と、で構成される。 The partition lines 32a1 and 32b1 of the shape pattern shown in the bird's-eye view image 30A in FIG. It is short and configured such that a straight connecting portion forming a substantially U-shape is located on the travel path side. Note that a wall 40 is arranged in the depth direction of the partition lines 32a and 32b. In this case as well, the annotation of the parking lot 32 is set at, for example, four reference points P1 to P4 at positions on each lot line 32a1 (32b1) where differences in recognition positions are unlikely to occur depending on the annotator. In the case of FIG. 5, the reference point P1 is set at the tip position (corner) of the white line (line on the parking area E side) inside the partition line 32a1. The corner of the tip of the connection part is a position where the annotator's position recognition is unlikely to be misaligned. Similarly, the reference point P2 is set at the tip position (corner) of the white line (line on the parking area E side) inside the partition line 32b1. Further, the reference point P3 is set at the rear end position of the inner white line (the line on the parking area E side) of the partition line 32b1. Similarly, the reference point P4 is set at the rear end position of the inner white line (the line on the parking area E side) of the partition line 32a1. In other words, the area (approximately rectangular area) surrounded by the reference points P1 to P4 is learned as the learning section 34 that can actually be used for parking a vehicle. In this case, the learning section 34 is approximately rectangular, and has a connection line L1 connecting reference points P1 and P2, a connection line L2 connecting reference points P2 and P3, and a connection line L2 connecting reference points P3 and P4. It is composed of a connection line L3 and a connection line L4 connecting the reference point P4 and the reference point P1.

図５の場合、４つの参照点Ｐ１～Ｐ４で規定される学習区画３４（駐車領域Ｅ）は、略長方形である。そして、学習区画３４に設定される仮想車両３６の車両基準線は、前面ライン３６ａと左側面ライン３６ｂと後面ライン３６ｃと右側面ライン３６ｄとなる。そして、図５の学習区画３４を構成する接続線のうち、車両基準線と略平行または略直交する接続線は、接続線Ｌ１～接続線Ｌ４の全てとなる。つまり、学習モード実行時に接続線Ｌ１～接続線Ｌ４いずれも車両方向基準線として学習（アノテーション）しておく。そして、推定モード実行時に、形状パターンが図５に示すような学習区画３４の実駐車区画が推定された場合、接続線Ｌ１～接続線Ｌ４のいずれかに対応する線を車両方向基準線として、当該車両方向基準線を基準として車両方向を推定して駐車（誘導）すれば、推定された実駐車区画に車両を理想的な位置、理想的な姿勢で駐車することができる。学習モード実行部２２は、同様な形状パターン、つまり、奥行き方向の長さが短く略Ｕ字形状の接続部が直線である区画線３２ａ１，３２ｂ１について複数の画像データを学習する。 In the case of FIG. 5, the learning section 34 (parking area E) defined by the four reference points P1 to P4 is approximately rectangular. The vehicle reference lines of the virtual vehicle 36 set in the learning section 34 are the front line 36a, the left side line 36b, the rear line 36c, and the right side line 36d. Of the connection lines forming the learning section 34 in FIG. 5, all of the connection lines L1 to L4 are substantially parallel or orthogonal to the vehicle reference line. That is, when the learning mode is executed, all of the connection lines L1 to L4 are learned (annotated) as vehicle direction reference lines. When the estimation mode is executed, when the actual parking section of the learning section 34 whose shape pattern is shown in FIG. 5 is estimated, a line corresponding to any one of the connection lines L1 to L4 is set as the vehicle direction reference line. If the vehicle direction is estimated and parked (guided) using the vehicle direction reference line as a reference, the vehicle can be parked in the estimated actual parking lot in an ideal position and ideal posture. The learning mode execution unit 22 learns a plurality of image data regarding similar shape patterns, that is, the partition lines 32a1 and 32b1 having a short length in the depth direction and a substantially U-shaped connecting portion that is a straight line.

図６の俯瞰画像３０Ａで示される形状パターンの駐車区画３２は、直線形状の区画線３２ｂ２と、柱４２、走行通路側に当該走行通路に沿って延びる路側線３２ｃと、駐車区画３２の後方の壁４０で規定される変則形状である。柱４２は、路側線３２ｃに接近して設けられ、柱４２の後方（壁４０側）は空き空間となっている。また壁４０の近傍には、輪留め３８が配置されている。この場合、柱４２の区画線３２ｂ２側の側面が駐車区画３２を規定する一部分として利用される。駐車区画３２のアノテーションにおいて、柱４２の側面上と区画線３２ｂ２上の点がアノテート作業者によって認識位置の違いが発生し難い位置であり、その点を用いて例えば４点の参照点Ｐ１～Ｐ４が設定される。すなわち、図６の場合、参照点Ｐ１は、柱４２の路側線３２ｃ側かつ区画線３２ｂ３側のコーナー部（端部）に設定されている。参照点Ｐ１は、柱４２のコーナー部を利用するため、アノテート作業者の認識のずれが生じにくい位置である。参照点Ｐ２は、区画線３２ｂ３の路側線３２ｃ側の先端かつ内側の位置（駐車領域Ｅ側の位置）に設定されている、アノテート作業者の認識のずれが生じ難い位置である。また、参照点Ｐ３は、区画線３２ｂ３の内側（駐車領域Ｅ側）の後端位置に設定されている。参照点Ｐ４は、柱４２の壁４０側かつ区画線３２ｂ３側のコーナー部（端部）に設定されている。つまり、参照点Ｐ１～Ｐ４で囲まれる領域（略台形領域）が実際に車両の駐車に利用可能な学習区画３４の一部として学習される。この場合、学習区画３４は、参照点Ｐ１と参照点Ｐ２を結ぶ接続線Ｌ１と、参照点Ｐ２と参照点Ｐ３を結ぶ接続線Ｌ２と、参照点Ｐ３と参照点Ｐ４を結ぶ接続線Ｌ３と、参照点Ｐ４と参照点Ｐ１を結ぶ接続線Ｌ４と、で構成される。 The parking lot 32 having the shape pattern shown in the bird's-eye view image 30A in FIG. It has an irregular shape defined by a wall 40. The pillar 42 is provided close to the roadside line 32c, and the rear of the pillar 42 (on the wall 40 side) is an empty space. Further, a wheel stopper 38 is arranged near the wall 40. In this case, the side surface of the pillar 42 on the partition line 32b2 side is used as a part that defines the parking section 32. In the annotation of the parking lot 32, the points on the side of the pillar 42 and on the lot line 32b2 are positions where it is difficult for different annotators to recognize different positions, and these points are used to create, for example, four reference points P1 to P4. is set. That is, in the case of FIG. 6, the reference point P1 is set at the corner portion (end portion) of the pillar 42 on the roadside line 32c side and the partition line 32b3 side. Since the reference point P1 uses the corner portion of the pillar 42, it is a position where the annotator's recognition is unlikely to be misaligned. The reference point P2 is set at the tip and inside position on the roadside line 32c side of the partition line 32b3 (position on the parking area E side), and is a position where the annotator's recognition is unlikely to be misaligned. Further, the reference point P3 is set at the rear end position inside the partition line 32b3 (on the parking area E side). The reference point P4 is set at a corner portion (end portion) of the pillar 42 on the wall 40 side and on the partition line 32b3 side. In other words, the area (approximately trapezoidal area) surrounded by the reference points P1 to P4 is learned as part of the learning section 34 that can actually be used for parking a vehicle. In this case, the learning section 34 includes a connecting line L1 connecting the reference point P1 and the reference point P2, a connecting line L2 connecting the reference point P2 and the reference point P3, and a connecting line L3 connecting the reference point P3 and the reference point P4. It is composed of a connection line L4 connecting the reference point P4 and the reference point P1.

図６の場合、４つの参照点Ｐ１～Ｐ４で規定される学習区画３４（駐車領域Ｅ）は、略台形形状である。そして、学習区画３４に設定される仮想車両３６の車両基準線は、前面ライン３６ａと左側面ライン３６ｂと後面ライン３６ｃと右側面ライン３６ｄとなる。そして、図６の学習区画３４を構成する接続線のうち、車両基準線と略平行または略直交する接続線は、接続線Ｌ２と接続線Ｌ４となる。つまり、学習モード実行時に接続線Ｌ２と接続線Ｌ４を車両方向基準線として学習（アノテーション）しておく。そして、推定モード実行時に、形状パターンが図６に示すような学習区画３４の実駐車区画が推定された場合、接続線Ｌ２または接続線Ｌ４に対応する線を車両方向基準線として、当該車両方向基準線を基準として車両方向を推定して駐車（誘導）すれば、推定された実駐車区画に車両を理想的な位置、理想的な姿勢で駐車することができる。学習モード実行部２２は、同様な形状パターン、つまり、直線形状の区画線３２ｂ２と、柱４２、路側線３２ｃと、壁４０等で規定される駐車区画３２について複数の画像データを学習する。 In the case of FIG. 6, the learning section 34 (parking area E) defined by the four reference points P1 to P4 has a substantially trapezoidal shape. The vehicle reference lines of the virtual vehicle 36 set in the learning section 34 are the front line 36a, the left side line 36b, the rear line 36c, and the right side line 36d. Of the connection lines forming the learning section 34 in FIG. 6, the connection lines that are substantially parallel or orthogonal to the vehicle reference line are the connection line L2 and the connection line L4. That is, when the learning mode is executed, the connection line L2 and the connection line L4 are learned (annotated) as vehicle direction reference lines. When the actual parking section of the learning section 34 whose shape pattern is as shown in FIG. 6 is estimated when the estimation mode is executed, the vehicle direction is By parking (guiding) the vehicle by estimating the direction of the vehicle using the reference line as a reference, the vehicle can be parked in the estimated actual parking lot in an ideal position and ideal posture. The learning mode execution unit 22 learns a plurality of image data regarding the parking section 32 defined by a similar shape pattern, that is, a linear partition line 32b2, a pillar 42, a roadside line 32c, a wall 40, and the like.

図７の俯瞰画像３０Ａで示される形状パターンの駐車区画３２は、図４に示される例と同様に、略Ｕ字の形状の湾曲した接続部を有する区画線３２ａ３，３２ｂ３及び区画線３２ａ３，３２ｂ３の離間方向に延在する区画線３２ｄで構成されるが、区画線３２ａ３の延在方向に延びる側溝４４と接触する区画線３２ａ３の一部が省略されている例である。駐車区画３２のアノテーションは、各区画線３２ａ（３２ｂ）上でアノテート作業者によって認識位置の違いが発生し難い位置に操作部２６ｂを介して参照点設定部２２ａにより例えば４点の参照点Ｐ１～Ｐ４で設定される。図７の形状パターンの駐車区画３２の場合、参照点Ｐ１は、区画線３２ａ３の略Ｕ字の接続部先端位置（中央位置）に設定されている。Ｕ字湾曲の先端部は、アノテート作業者の位置認識のずれが生じにくい位置である。同様に、参照点Ｐ２は、区画線３２ｂ３の略Ｕ字の接続部先端位置（中央位置）に設定されている。また、参照点Ｐ３は、区画線３２ｂ３の内側の白線（駐車領域Ｅ側の線）と区画線３２ｄとの接続部で、アノテート作業者の位置認識のずれが生じ難い位置である後端位置に設定されている。一方、参照点Ｐ４は、区画線３２ａ３の内側の白線（駐車領域Ｅ側の線）の後端位置に設定されている。ただし、区画線３２ａ３の内側の白線が、区画線３２ｂ３の内側の白線より短く、参照点Ｐ４が参照点Ｐ１側に偏っているため、参照点Ｐ１～Ｐ４で囲まれる学習区画３４は歪な形状となり、この領域が実際に車両の駐車に利用可能な学習区画３４としてアノテーションされて学習される。この場合、学習区画３４は、参照点Ｐ１と参照点Ｐ２を結ぶ接続線Ｌ１と、参照点Ｐ２と参照点Ｐ３を結ぶ接続線Ｌ２と、参照点Ｐ３と参照点Ｐ４を結ぶ接続線Ｌ３と、参照点Ｐ４と参照点Ｐ１を結ぶ接続線Ｌ４と、で構成される。 Similar to the example shown in FIG. 4, the parking lot 32 having the shape pattern shown in the bird's-eye view image 30A in FIG. This is an example in which a part of the partition line 32a3 that contacts the side gutter 44 extending in the direction in which the partition line 32a3 extends is omitted. The annotation of the parking lot 32 is performed using the reference point setting section 22a via the operation section 26b at a position on each section line 32a (32b) where differences in recognition positions are unlikely to occur depending on the annotator. Set in P4. In the case of the parking section 32 having the shape pattern shown in FIG. 7, the reference point P1 is set at the tip position (center position) of the substantially U-shaped connection part of the section line 32a3. The tip of the U-shaped curve is a position where the annotator's position recognition is unlikely to be misaligned. Similarly, the reference point P2 is set at the tip position (center position) of the substantially U-shaped connection part of the partition line 32b3. In addition, the reference point P3 is located at the rear end position, which is the connection between the inner white line of the marking line 32b3 (the line on the side of the parking area E) and the marking line 32d, and is a position where the annotator's position recognition is unlikely to be misaligned. It is set. On the other hand, the reference point P4 is set at the rear end position of the inner white line (the line on the parking area E side) of the partition line 32a3. However, since the white line inside the partition line 32a3 is shorter than the white line inside the partition line 32b3 and the reference point P4 is biased toward the reference point P1 side, the learning section 34 surrounded by the reference points P1 to P4 has a distorted shape. Therefore, this area is annotated and learned as a learning section 34 that can actually be used for parking a vehicle. In this case, the learning section 34 includes a connecting line L1 connecting the reference point P1 and the reference point P2, a connecting line L2 connecting the reference point P2 and the reference point P3, and a connecting line L3 connecting the reference point P3 and the reference point P4. It is composed of a connection line L4 connecting the reference point P4 and the reference point P1.

図７の場合、４つの参照点Ｐ１～Ｐ４で規定される学習区画３４（駐車領域Ｅ）は、歪んだ略矩形形状である。そして、学習区画３４に設定される仮想車両３６の車両基準線は、前面ライン３６ａと左側面ライン３６ｂと後面ライン３６ｃと右側面ライン３６ｄとなる。そして、図７の学習区画３４を構成する接続線のうち、車両基準線と略平行または略直交する接続線は、接続線Ｌ１のみとなる。つまり、学習モード実行時に接続線Ｌ１を車両方向基準線として学習（アノテーション）しておく。そして、推定モード実行時に、形状パターンが図７に示すような学習区画３４の実駐車区画が推定された場合、接続線Ｌ１に対応する線を車両方向基準線として、当該車両方向基準線を基準として車両方向を推定して駐車（誘導）すれば、推定された実駐車区画に車両を理想的な位置、理想的な姿勢で駐車することができる。学習モード実行部２２は、同様な形状パターン、つまり、一方の奥行き方向の長さが短く略Ｕ字形状の湾曲した接続部を有する区画線３２ａ３，３２ｂ３について複数の画像データを学習する。 In the case of FIG. 7, the learning section 34 (parking area E) defined by the four reference points P1 to P4 has a distorted approximately rectangular shape. The vehicle reference lines of the virtual vehicle 36 set in the learning section 34 are the front line 36a, the left side line 36b, the rear line 36c, and the right side line 36d. Of the connection lines forming the learning section 34 in FIG. 7, the only connection line that is substantially parallel or orthogonal to the vehicle reference line is the connection line L1. That is, when executing the learning mode, the connection line L1 is learned (annotated) as the vehicle direction reference line. When the actual parking lot of the learning section 34 whose shape pattern is shown in FIG. 7 is estimated when the estimation mode is executed, the line corresponding to the connection line L1 is set as the vehicle direction reference line, and the vehicle direction reference line is used as the reference line. By estimating the direction of the vehicle and parking (guiding) it, the vehicle can be parked in the estimated actual parking lot in an ideal position and attitude. The learning mode execution unit 22 learns a plurality of pieces of image data about similar shape patterns, that is, the partition lines 32a3 and 32b3 each having a short length in the depth direction and a curved connection part in a substantially U-shape.

図８の俯瞰画像３０Ａで示される形状パターンの駐車区画３２は、壁４０ａ，４０ｂ，４０ｃで一部が囲まれ、他の一部が直線の路側線３２ｃ及び区画線３２ｄで囲まれた縦列駐車用の区画である。駐車区画３２のアノテーションの際、壁４０ａ，４２ｂ，４０ｃ及び路側線３２ｃ、区画線３２ｄにおいて、個々の接続部が、アノテート作業者によって認識位置の違いが発生し難い位置であり、その点を用いて例えば４点の参照点Ｐ１～Ｐ４が設定される。すなわち、図８の場合、参照点Ｐ１は、壁４０ｃと路側線３２ｃとの接続部の内側（駐車領域Ｅ側）のコーナー部に設定されている。参照点Ｐ２は、路側線３２ｃと区画線３２ｄの接続部の内側（駐車領域Ｅ側）のコーナー部に設定される。また、参照点Ｐ３は、区画線３２ｄと壁４０ａの接続部に設定される。なお、壁４０ａと壁４０ｂとの接続部には、窪み４０ｐが存在し駐車領域として利用しにくいため、Ｐ３は、区画線３２ｄと壁４０ａの接続部に設定されている。参照点Ｐ４は、壁４０ｂと壁４０ｃの接続部の内側（駐車領域Ｅ側）に設定される。つまり、参照点Ｐ１～Ｐ４で囲まれる領域（略台形領域）が実際に車両の駐車に利用可能な学習区画３４として学習される。この場合、学習区画３４は、参照点Ｐ１と参照点Ｐ２を結ぶ接続線Ｌ１と、参照点Ｐ２と参照点Ｐ３を結ぶ接続線Ｌ２と、参照点Ｐ３と参照点Ｐ４を結ぶ接続線Ｌ３と、参照点Ｐ４と参照点Ｐ１を結ぶ接続線Ｌ４と、で構成される。 The parking lot 32 having the shape pattern shown in the bird's-eye view image 30A in FIG. It is a section for When annotating the parking lot 32, the individual connections on the walls 40a, 42b, 40c, the roadside line 32c, and the lot line 32d are at positions where differences in recognition positions are unlikely to occur depending on the annotator, and those points are used. For example, four reference points P1 to P4 are set. That is, in the case of FIG. 8, the reference point P1 is set at the inner corner (on the parking area E side) of the connection between the wall 40c and the roadside line 32c. The reference point P2 is set at the inner corner (on the parking area E side) of the connection between the roadside line 32c and the partition line 32d. Further, the reference point P3 is set at the connection between the partition line 32d and the wall 40a. Incidentally, since a recess 40p exists at the joint between the wall 40a and the wall 40b, making it difficult to use as a parking area, P3 is set at the joint between the partition line 32d and the wall 40a. The reference point P4 is set inside the connection between the wall 40b and the wall 40c (on the parking area E side). In other words, the area (approximately trapezoidal area) surrounded by the reference points P1 to P4 is learned as the learning section 34 that can actually be used for parking a vehicle. In this case, the learning section 34 includes a connecting line L1 connecting the reference point P1 and the reference point P2, a connecting line L2 connecting the reference point P2 and the reference point P3, and a connecting line L3 connecting the reference point P3 and the reference point P4. It is composed of a connection line L4 connecting the reference point P4 and the reference point P1.

図８の場合、４つの参照点Ｐ１～Ｐ４で規定される学習区画３４（駐車領域Ｅ）は、略台形形状である。そして、学習区画３４に設定される仮想車両３６の車両基準線は、前面ライン３６ａと左側面ライン３６ｂと後面ライン３６ｃと右側面ライン３６ｄとなる。そして、図８の学習区画３４を構成する接続線のうち、車両基準線と略平行または略直交する接続線は、接続線Ｌ１、接続線Ｌ２、接続線Ｌ４となる。つまり、学習モード実行時に接続線Ｌ１，Ｌ２，Ｌ４を車両方向基準線として学習（アノテーション）しておく。そして、推定モード実行時に、形状パターンが図８に示すような学習区画３４の実駐車区画が推定された場合、接続線Ｌ１または接続線Ｌ２または接続線Ｌ４に対応する線を車両方向基準線として、当該車両方向基準線を基準として車両方向を推定して駐車（誘導）すれば、推定された実駐車区画に車両を理想的な位置、理想的な姿勢で駐車することができる。学習モード実行部２２は、同様な形状パターン、つまり、壁４０ａ，４０ｂ，４０ｃで一部が囲まれ、他の一部が直線の路側線３２ｃ及び区画線３２ｄで囲まれた縦列駐車用の駐車区画３２について複数の画像データを学習する。 In the case of FIG. 8, the learning section 34 (parking area E) defined by the four reference points P1 to P4 has a substantially trapezoidal shape. The vehicle reference lines of the virtual vehicle 36 set in the learning section 34 are the front line 36a, the left side line 36b, the rear line 36c, and the right side line 36d. Of the connection lines forming the learning section 34 in FIG. 8, the connection lines that are substantially parallel or substantially orthogonal to the vehicle reference line are the connection line L1, the connection line L2, and the connection line L4. That is, when the learning mode is executed, the connection lines L1, L2, and L4 are learned (annotated) as vehicle direction reference lines. When the actual parking lot of the learning section 34 whose shape pattern is as shown in FIG. 8 is estimated when the estimation mode is executed, a line corresponding to the connection line L1, the connection line L2, or the connection line L4 is set as the vehicle direction reference line. If the vehicle direction is estimated and parked (guided) based on the vehicle direction reference line, the vehicle can be parked in the estimated actual parking lot in an ideal position and ideal posture. The learning mode execution unit 22 has a similar shape pattern, that is, parallel parking where one part is surrounded by walls 40a, 40b, 40c and the other part is surrounded by a straight roadside line 32c and a partition line 32d. A plurality of image data is learned for the section 32.

図９の俯瞰画像３０Ａで示される形状パターンの駐車区画３２は、図４に示される例と同様に、略Ｕ字の形状の湾曲した接続部を有する区画線３２ａ，３２ｂで構成されるが、区画線３２ａの略Ｕ字の形状の湾曲した接続部が、自車両（車両１０）により隠蔽されてしまっている例である。したがって、駐車区画３２のアノテーションは、実際に視認できる各区画線３２ａ（３２ｂ）上で実施される。この場合もアノテート作業者によって認識位置の違いが発生し難い位置に操作部２６ｂを介して参照点設定部２２ａにより例えば４点の参照点Ｐ１～Ｐ４で設定される。図９の形状パターンの駐車区画３２の場合、参照点Ｐ１は、区画線３２ａにおいて自車両による隠蔽が行われている境界部分に設定されている。この境界部分は、アノテート作業者の位置認識のずれが生じにくい位置である。参照点Ｐ２は、区画線３２ｂの略Ｕ字の接続部先端位置（中央位置）に設定されている。また、参照点Ｐ３は、区画線３２ｂの内側の白線（駐車領域Ｅ側の線）でアノテート作業者の位置認識のずれが生じ難い位置である後端位置に設定されている。参照点Ｐ４は、区画線３２ａの内側の白線（駐車領域Ｅ側の線）の後端位置に設定されている。参照点Ｐ１～Ｐ４で囲まれる領域が駐車に利用可能な学習区画３４としてアノテーションされて学習される。この場合、学習区画３４は、参照点Ｐ１と参照点Ｐ２を結ぶ接続線Ｌ１と、参照点Ｐ２と参照点Ｐ３を結ぶ接続線Ｌ２と、参照点Ｐ３と参照点Ｐ４を結ぶ接続線Ｌ３と、参照点Ｐ４と参照点Ｐ１を結ぶ接続線Ｌ４と、で構成される。 The parking lot 32 having the shape pattern shown in the bird's-eye view image 30A in FIG. 9 is composed of partition lines 32a and 32b having a curved connection part in a substantially U-shape, similar to the example shown in FIG. This is an example in which a substantially U-shaped curved connection portion of the marking line 32a is hidden by the host vehicle (vehicle 10). Therefore, the annotation of the parking lot 32 is performed on each actually visible lot line 32a (32b). In this case as well, for example, four reference points P1 to P4 are set by the reference point setting unit 22a via the operating unit 26b at positions where differences in recognition positions are unlikely to occur depending on the annotator. In the case of the parking section 32 having the shape pattern shown in FIG. 9, the reference point P1 is set at the boundary portion of the section line 32a where the vehicle is concealed. This boundary portion is a position where the annotator's position recognition is unlikely to deviate. The reference point P2 is set at the tip position (center position) of the substantially U-shaped connection part of the partition line 32b. Further, the reference point P3 is set at the rear end position, which is a white line inside the partition line 32b (the line on the side of the parking area E) and is a position where the annotator's position recognition is unlikely to be misaligned. The reference point P4 is set at the rear end position of the white line (line on the parking area E side) inside the partition line 32a. The area surrounded by the reference points P1 to P4 is annotated and learned as a learning section 34 that can be used for parking. In this case, the learning section 34 includes a connecting line L1 connecting the reference point P1 and the reference point P2, a connecting line L2 connecting the reference point P2 and the reference point P3, and a connecting line L3 connecting the reference point P3 and the reference point P4. It is composed of a connection line L4 connecting the reference point P4 and the reference point P1.

図９の場合、４つの参照点Ｐ１～Ｐ４で規定される学習区画３４（駐車領域Ｅ）は、略矩形形状である。そして、学習区画３４に設定される仮想車両３６の車両基準線は、前面ライン３６ａと左側面ライン３６ｂと後面ライン３６ｃと右側面ライン３６ｄとなる。そして、図９の学習区画３４を構成する接続線のうち、車両基準線と略平行または略直交する接続線は、接続線Ｌ３と接続線Ｌ４となる。つまり、学習モード実行時に接続線Ｌ３と接続線Ｌ４を車両方向基準線として学習（アノテーション）しておく。そして、推定モード実行時に、形状パターンが図９に示すような自車両で一部隠蔽された学習区画３４の実駐車区画が推定された場合、接続線Ｌ３または接続線Ｌ４に対応する線を車両方向基準線として、当該車両方向基準線を基準として車両方向を推定して駐車（誘導）すれば、推定された実駐車区画に車両を理想的な位置、理想的な姿勢で駐車することができる。学習モード実行部２２は、同様な形状パターン、自車両で一部隠蔽された略Ｕ字形状の区画線３２ａ，３２ｂについて複数の画像データを学習する。 In the case of FIG. 9, the learning section 34 (parking area E) defined by the four reference points P1 to P4 has a substantially rectangular shape. The vehicle reference lines of the virtual vehicle 36 set in the learning section 34 are the front line 36a, the left side line 36b, the rear line 36c, and the right side line 36d. Of the connection lines forming the learning section 34 in FIG. 9, the connection lines that are substantially parallel or substantially orthogonal to the vehicle reference line are the connection line L3 and the connection line L4. That is, when the learning mode is executed, the connection line L3 and the connection line L4 are learned (annotated) as vehicle direction reference lines. When the estimation mode is executed, if the actual parking lot of the learning section 34 whose shape pattern is partially hidden by the own vehicle as shown in FIG. 9 is estimated, the line corresponding to the connection line L3 or the connection line L4 is If the direction of the vehicle is estimated and parked (guided) using the vehicle direction reference line as a reference, the vehicle can be parked in the estimated actual parking lot in an ideal position and ideal posture. . The learning mode execution unit 22 learns a plurality of image data regarding similar shape patterns, substantially U-shaped marking lines 32a and 32b partially hidden by the own vehicle.

図１０の俯瞰画像３０Ａで示される形状パターンの駐車区画３２は、図４に示される例に類似する略Ｕ字の形状の湾曲した接続部を両端に有する区画線３２ａ４，３２ｂ４で構成される。図１０の場合、区画線３２ａ４と区画線３２ｂ４は延在方向に段差を有しており、走行路側（駐車準備のための車両が走行する通路側）と逆側に位置で、区画線３２ｇによって接続されている。この場合もアノテート作業者によって認識位置の違いが発生し難い位置に操作部２６ｂを介して参照点設定部２２ａにより例えば４点の参照点Ｐ１～Ｐ４で設定される。図１０の形状パターンの駐車区画３２の場合、参照点Ｐ１は、区画線３２ａ４の略Ｕ字の接続部先端位置（中央位置）に設定されている。Ｕ字湾曲の先端部は、アノテート作業者の位置認識のずれが生じにくい位置である。同様に、参照点Ｐ２は、区画線３２ｂ４の略Ｕ字の接続部先端位置（中央位置）に設定されている。また、参照点Ｐ３は、区画線３２ｂの内側の白線（駐車領域Ｅ側の線）と区画線３２ｇの接合部でアノテート作業者の位置認識のずれが生じ難い位置である後端位置に設定されている。同様に、参照点Ｐ４は、区画線３２ａの内側の白線（駐車領域Ｅ側の線）と区画線３２ｇの接合部に設定されている。つまり、参照点Ｐ１～Ｐ４で囲まれる領域（略台形領域）が実際に車両の駐車に利用可能な学習区画３４としてアノテーションされて学習される。この場合、学習区画３４は、略矩形形状で、参照点Ｐ１と参照点Ｐ２を結ぶ接続線Ｌ１と、参照点Ｐ２と参照点Ｐ３を結ぶ接続線Ｌ２と、参照点Ｐ３と参照点Ｐ４を結ぶ接続線Ｌ３と、参照点Ｐ４と参照点Ｐ１を結ぶ接続線Ｌ４と、で構成される。 The parking lot 32 having the shape pattern shown in the bird's-eye view image 30A in FIG. 10 is composed of partition lines 32a4 and 32b4 having curved connection parts in a substantially U-shape at both ends, similar to the example shown in FIG. In the case of FIG. 10, the partition line 32a4 and the partition line 32b4 have a step in the extending direction, and are located on the opposite side to the driving road side (the aisle side where the vehicle prepares for parking runs). It is connected. In this case as well, for example, four reference points P1 to P4 are set by the reference point setting unit 22a via the operating unit 26b at positions where differences in recognition positions are unlikely to occur depending on the annotator. In the case of the parking section 32 having the shape pattern shown in FIG. 10, the reference point P1 is set at the tip position (center position) of the substantially U-shaped connection part of the section line 32a4. The tip of the U-shaped curve is a position where the annotator's position recognition is unlikely to be misaligned. Similarly, the reference point P2 is set at the tip position (center position) of the substantially U-shaped connection part of the partition line 32b4. Further, the reference point P3 is set at the rear end position, which is a position where the annotator's position recognition is unlikely to be misaligned at the junction between the inner white line of the marking line 32b (the line on the parking area E side) and the marking line 32g. ing. Similarly, the reference point P4 is set at the junction between the inner white line of the marking line 32a (the line on the parking area E side) and the marking line 32g. In other words, the area (approximately trapezoidal area) surrounded by the reference points P1 to P4 is annotated and learned as the learning section 34 that can actually be used for parking a vehicle. In this case, the learning section 34 has a substantially rectangular shape, and has a connecting line L1 connecting the reference point P1 and the reference point P2, a connecting line L2 connecting the reference point P2 and the reference point P3, and a connecting line L2 connecting the reference point P3 and the reference point P4. It is composed of a connection line L3 and a connection line L4 connecting the reference point P4 and the reference point P1.

図１０の場合、４つの参照点Ｐ１～Ｐ４で規定される学習区画３４（駐車領域Ｅ）において設定される仮想車両３６の車両基準線は、前面ライン３６ａと左側面ライン３６ｂと後面ライン３６ｃと右側面ライン３６ｄとなる。そして、図１０の学習区画３４を構成する接続線のうち、車両基準線と略平行または略直交する接続線は、接続線Ｌ３のみとなる。つまり、学習モード実行時に接続線Ｌ３を車両方向基準線として学習（アノテーション）しておく。そして、推定モード実行時に、形状パターンが図１０に示すような学習区画３４の実駐車区画が推定された場合、接続線Ｌ３に対応する線を車両方向基準線として、当該車両方向基準線を基準として車両方向推定して駐車（誘導）すれば、推定された実駐車区画に車両を理想的な位置、理想的な姿勢で駐車することができる。学習モード実行部２２は、同様な形状パターン、つまり、略Ｕ字の形状の湾曲した接続部を両端に有する区画線３２ａ４，３２ｂ４が、区画線３２ａ４と区画線３２ｂ４の延在方向に段差を有して区画線３２ｇによって接続されている形状パターンの複数の画像データを学習する。 In the case of FIG. 10, the vehicle reference lines of the virtual vehicle 36 set in the learning section 34 (parking area E) defined by the four reference points P1 to P4 are the front line 36a, the left side line 36b, and the rear line 36c. This becomes a right side line 36d. Of the connection lines forming the learning section 34 in FIG. 10, the connection line L3 is the only connection line that is substantially parallel or orthogonal to the vehicle reference line. That is, when the learning mode is executed, the connection line L3 is learned (annotated) as the vehicle direction reference line. When the actual parking lot of the learning section 34 whose shape pattern is as shown in FIG. 10 is estimated when the estimation mode is executed, the line corresponding to the connection line L3 is set as the vehicle direction reference line, and the vehicle direction reference line is used as the reference line. By estimating the direction of the vehicle and parking (guiding) it, the vehicle can be parked in the estimated actual parking lot in an ideal position and attitude. The learning mode execution unit 22 has a similar shape pattern, that is, the partition lines 32a4 and 32b4 having substantially U-shaped curved connection parts at both ends have a step in the extending direction of the partition lines 32a4 and 32b4. Then, a plurality of image data of shape patterns connected by the partition lines 32g are learned.

図１１の俯瞰画像３０Ａで示される形状パターンの駐車区画３２は、図１０に示される例に類似する略Ｕ字の形状の湾曲した接続部を両端に有する区画線３２ａ５，３２ｂ５で構成される。図１１の場合も区画線３２ａ５と区画線３２ｂ５は延在方向に段差を有しているが、走行路側（駐車準備のための車両が走行する通路側）と逆側に位置で、区画線３２ｅによって接続されている。この場合もアノテート作業者によって認識位置の違いが発生し難い位置に操作部２６ｂを介して参照点設定部２２ａにより例えば４点の参照点Ｐ１～Ｐ４で設定される。図１１の形状パターンの駐車区画３２の場合、参照点Ｐ１は、区画線３２ａ４の略Ｕ字の接続部先端位置（中央位置）に設定されている。Ｕ字湾曲の先端部は、アノテート作業者の位置認識のずれが生じにくい位置である。同様に、参照点Ｐ２は、区画線３２ｂ４の略Ｕ字の接続部先端位置（中央位置）に設定されている。また、参照点Ｐ３は、区画線３２ｂの内側の白線（駐車領域Ｅ側の線）と区画線３２ｅの接合部でアノテート作業者の位置認識のずれが生じ難い位置である後端位置に設定されている。同様に、参照点Ｐ４は、区画線３２ａの内側の白線（駐車領域Ｅ側の線）と区画線３２ｅの接合部に設定されている。つまり、参照点Ｐ１～Ｐ４で囲まれる領域（略台形領域）が実際に車両の駐車に利用可能な学習区画３４としてアノテーションされて学習される。この場合、学習区画３４は、略矩形形状で、参照点Ｐ１と参照点Ｐ２を結ぶ接続線Ｌ１と、参照点Ｐ２と参照点Ｐ３を結ぶ接続線Ｌ２と、参照点Ｐ３と参照点Ｐ４を結ぶ接続線Ｌ３と、参照点Ｐ４と参照点Ｐ１を結ぶ接続線Ｌ４と、で構成される。 The parking section 32 having the shape pattern shown in the bird's-eye view image 30A in FIG. 11 is composed of partition lines 32a5 and 32b5 having curved connecting portions in a substantially U-shape similar to the example shown in FIG. 10 at both ends. In the case of FIG. 11 as well, the marking line 32a5 and the marking line 32b5 have a step in the extending direction, but the marking line 32e connected by. In this case as well, for example, four reference points P1 to P4 are set by the reference point setting unit 22a via the operating unit 26b at positions where differences in recognition positions are unlikely to occur depending on the annotator. In the case of the parking section 32 having the shape pattern shown in FIG. 11, the reference point P1 is set at the tip position (center position) of the substantially U-shaped connection part of the section line 32a4. The tip of the U-shaped curve is a position where the annotator's position recognition is unlikely to be misaligned. Similarly, the reference point P2 is set at the tip position (center position) of the substantially U-shaped connection part of the partition line 32b4. Further, the reference point P3 is set at the rear end position, which is a position where the annotator's position recognition is unlikely to be misaligned at the junction between the inner white line of the marking line 32b (the line on the side of the parking area E) and the marking line 32e. ing. Similarly, the reference point P4 is set at the junction between the inner white line of the marking line 32a (the line on the parking area E side) and the marking line 32e. In other words, the area (approximately trapezoidal area) surrounded by the reference points P1 to P4 is annotated and learned as the learning section 34 that can actually be used for parking a vehicle. In this case, the learning section 34 has a substantially rectangular shape, and has a connecting line L1 connecting the reference point P1 and the reference point P2, a connecting line L2 connecting the reference point P2 and the reference point P3, and a connecting line L2 connecting the reference point P3 and the reference point P4. It is composed of a connection line L3 and a connection line L4 connecting the reference point P4 and the reference point P1.

図１１の場合、４つの参照点Ｐ１～Ｐ４で規定される学習区画３４（駐車領域Ｅ）において設定される仮想車両３６の車両基準線は、前面ライン３６ａと左側面ライン３６ｂと後面ライン３６ｃと右側面ライン３６ｄとなる。ただし、図１１の学習区画３４を構成する接続線Ｌ１～Ｌ４はいずれの車両基準線と略平行または略直交とはならない。この場合、推定モード実行時に、形状パターンが図１１に示すような実駐車区画が推定されても車両１０の駐車角度の基準となる車両方向基準線と認識できず、その結果を用いた駐車支援制御等が良好に実行できない。したがって、学習モード実行部２２は、図１１のような形状パターンの駐車区画３２は実駐車区画の推定対象外として学習する。 In the case of FIG. 11, the vehicle reference lines of the virtual vehicle 36 set in the learning section 34 (parking area E) defined by the four reference points P1 to P4 are the front line 36a, the left side line 36b, and the rear line 36c. This becomes a right side line 36d. However, the connection lines L1 to L4 forming the learning section 34 in FIG. 11 are not substantially parallel to or substantially perpendicular to any vehicle reference line. In this case, when the estimation mode is executed, even if an actual parking lot with a shape pattern as shown in FIG. Control, etc. cannot be performed well. Therefore, the learning mode execution unit 22 learns that the parking lot 32 having the shape pattern as shown in FIG. 11 is not to be estimated as an actual parking lot.

なお、このように推定対象外となってしまう駐車区画３２の扱いについて、例えば、車両誘導時の処理によって図１１のような駐車区画３２を推定対象とできる場合もある。例えば、図１１の例の場合、接続線Ｌ２及び接続線Ｌ４は、車両基準線との角度誤差は僅かであり、車両基準線とほぼ平行である場合が多い。そこで、まず、接続線Ｌ２と接続線Ｌ４の角度の平均値を求め、その平均値を目標角度として、車両基準線に対する仮の車両方向基準線とする。そして、仮の車両方向基準線を参照して車両の誘導を開始する。駐車区画３２に対する車両の誘導が進み、駐車区画３２に車両の後端部が進入すると、図９で説明したように、区画線３２ａ５及び区画線３２ｂ５の略Ｕ字の接続部先端位置（中央位置）に設定されている参照点Ｐ１及び参照点Ｐ２が隠蔽される。その結果、参照点Ｐ１及び参照点Ｐ２は区画線３２ａ５及び区画線３２ｂ５の内側の白線上で規定される点に変更可能となる。つまり、参照点Ｐ４と変更された参照点Ｐ１とによって規定される修正接続線Ｌ４及び、参照点Ｐ３と変更された参照点Ｐ２とによって規定される修正接続線Ｌ２は、誘導中の車両の車両基準線と略平行または略直交すると見なすことが可能になる。したがって、図１１に示されるような駐車区画３２を推定対象とする場合、接続線Ｌ２と接続線Ｌ４の角度の平均値を求め、その平均値を目標角度として、車両基準線に対する仮の車両方向基準線として、車両の誘導を開始することにより、推定対象外とされた駐車区画３２にも車両を適切な姿勢で誘導することが可能になる。 Regarding the handling of the parking lot 32 that is not subject to estimation in this way, for example, a parking lot 32 like that shown in FIG. 11 may be made an estimation subject by processing during vehicle guidance. For example, in the case of the example shown in FIG. 11, the connection line L2 and the connection line L4 have a slight angular error with respect to the vehicle reference line, and are often substantially parallel to the vehicle reference line. Therefore, first, the average value of the angles between the connection line L2 and the connection line L4 is determined, and the average value is used as a target angle and a temporary vehicle direction reference line with respect to the vehicle reference line. Then, guidance of the vehicle is started with reference to the temporary vehicle direction reference line. When the vehicle is guided to the parking lot 32 and the rear end of the vehicle enters the parking lot 32, as explained in FIG. ) are hidden. As a result, the reference point P1 and the reference point P2 can be changed to points defined on the white line inside the partition line 32a5 and the partition line 32b5. In other words, the modified connection line L4 defined by the reference point P4 and the changed reference point P1 and the modified connection line L2 defined by the reference point P3 and the changed reference point P2 are It becomes possible to consider the line to be substantially parallel or perpendicular to the reference line. Therefore, when the parking lot 32 as shown in FIG. 11 is to be estimated, the average value of the angles between the connection line L2 and the connection line L4 is calculated, and the average value is used as the target angle to set the temporary vehicle direction with respect to the vehicle reference line. By starting to guide the vehicle using the reference line, it becomes possible to guide the vehicle in an appropriate posture even to the parking lot 32 that is excluded from the estimation target.

次に、図１２～図１４は、アノテーションの際に学習区画３４を構成する接続線と車両基準線とが略平行または略直交になっているか否かの判定がしにくい例である。 Next, FIGS. 12 to 14 are examples in which it is difficult to determine whether the connection line forming the learning section 34 and the vehicle reference line are substantially parallel or orthogonal to each other during annotation.

図１２の俯瞰画像３０Ａで示される形状パターンの駐車区画３２は、直線の区画線３２ａ６とそれに対向する壁４０ｄ及び壁４０ｅと、壁４０ｅと区画線３２ａ６とを接続する壁４０ｆで構成されている。この場合もアノテート作業者によって認識位置の違いが発生し難い位置に操作部２６ｂを介して参照点設定部２２ａにより例えば４点の参照点Ｐ１～Ｐ４で設定される。図１２の形状パターンの駐車区画３２の場合、参照点Ｐ１は、区画線３２ａ６の内側（駐車領域Ｅ）の先端部に設定されている。また、参照点Ｐ２は、壁４０ｄの内側（駐車領域Ｅ）の先端部に設定されている。参照点Ｐ３は、壁４０ｅと壁４０ｆの接続部内側（コーナー部）に設定されている。参照点Ｐ４は、壁４０ｆと区画線３２ａ６の接続部の内側（駐車領域Ｅ側）に設定されている。つまり、参照点Ｐ１～Ｐ４で囲まれる領域（略台形領域）が実際に車両の駐車に利用可能な学習区画３４としてアノテーションされて学習される。この場合、学習区画３４は、略矩形形状で、参照点Ｐ１と参照点Ｐ２を結ぶ接続線Ｌ１と、参照点Ｐ２と参照点Ｐ３を結ぶ接続線Ｌ２と、参照点Ｐ３と参照点Ｐ４を結ぶ接続線Ｌ３と、参照点Ｐ４と参照点Ｐ１を結ぶ接続線Ｌ４と、で構成される。 The parking lot 32 having the shape pattern shown in the bird's-eye view image 30A in FIG. 12 is composed of a straight lot line 32a6, a wall 40d and a wall 40e facing thereto, and a wall 40f connecting the wall 40e and the lot line 32a6. . In this case as well, for example, four reference points P1 to P4 are set by the reference point setting unit 22a via the operating unit 26b at positions where differences in recognition positions are unlikely to occur depending on the annotator. In the case of the parking section 32 having the shape pattern shown in FIG. 12, the reference point P1 is set at the tip inside the section line 32a6 (parking area E). Further, the reference point P2 is set at the tip of the inside of the wall 40d (parking area E). The reference point P3 is set inside the connecting portion (corner portion) between the wall 40e and the wall 40f. The reference point P4 is set inside the connection between the wall 40f and the partition line 32a6 (on the parking area E side). In other words, the area (approximately trapezoidal area) surrounded by the reference points P1 to P4 is annotated and learned as the learning section 34 that can actually be used for parking a vehicle. In this case, the learning section 34 has a substantially rectangular shape, and has a connecting line L1 connecting the reference point P1 and the reference point P2, a connecting line L2 connecting the reference point P2 and the reference point P3, and a connecting line L2 connecting the reference point P3 and the reference point P4. It is composed of a connection line L3 and a connection line L4 connecting the reference point P4 and the reference point P1.

図１２の場合、４つの参照点Ｐ１～Ｐ４で規定される学習区画３４（駐車領域Ｅ）において設定される仮想車両３６の車両基準線は、前面ライン３６ａと左側面ライン３６ｂと後面ライン３６ｃと右側面ライン３６ｄとなる。そして、図１２の学習区画３４を構成する接続線のうち、車両基準線と略平行または略直交する可能性が高いと容易に判定できる接続線は、壁４０ｆに沿った接続線Ｌ３と、区画線３２ａ６に沿った接続線Ｌ４である。しかしながら、区画線３２ａ６の先端部(参照点Ｐ１の位置)と壁４０ｄの先端部（参照点Ｐ２の位置）の形状は異なり、互いに離間しているため、アノテーションのときに参照点Ｐ１と参照点Ｐ２を結んだ接続線Ｌ１が、前面ライン３６ａと略平行または略直交するか否かの判断がつきにくい場合がある。このような場合は、誤学習の可能性を低減するため、否定判定して学習を行う。つまり、学習モード実行時に接続線Ｌ３と接続線Ｌ４のみを車両方向基準線として学習（アノテーション）しておく。そして、推定モード実行時に、形状パターンが図１２に示すような学習区画３４の実駐車区画が推定された場合、接続線Ｌ３，Ｌ４に対応する線を車両方向基準線として、当該車両方向基準線を基準として車両方向を推定して駐車（誘導）すれば、推定された実駐車区画に車両を理想的な位置、理想的な姿勢で駐車することができる。学習モード実行部２２は、同様な形状パターンの複数の画像データを学習する。 In the case of FIG. 12, the vehicle reference lines of the virtual vehicle 36 set in the learning section 34 (parking area E) defined by the four reference points P1 to P4 are the front line 36a, the left side line 36b, and the rear line 36c. This becomes a right side line 36d. Of the connection lines configuring the learning section 34 in FIG. This is a connection line L4 along line 32a6. However, the tip of the partition line 32a6 (the position of the reference point P1) and the tip of the wall 40d (the position of the reference point P2) have different shapes and are spaced apart from each other, so when annotating the reference point P1 and the reference point It may be difficult to determine whether the connecting line L1 connecting P2 is substantially parallel to or substantially perpendicular to the front line 36a. In such a case, in order to reduce the possibility of erroneous learning, a negative determination is made and learning is performed. That is, when executing the learning mode, only the connection line L3 and the connection line L4 are learned (annotated) as vehicle direction reference lines. When the actual parking lot of the learning section 34 whose shape pattern is shown in FIG. 12 is estimated when the estimation mode is executed, the line corresponding to the connection lines L3 and L4 is set as the vehicle direction reference line, and By estimating the direction of the vehicle and parking (guiding) it based on the , the vehicle can be parked in the estimated actual parking lot in an ideal position and ideal posture. The learning mode execution unit 22 learns a plurality of image data having similar shape patterns.

図１３の俯瞰画像３０Ａで示される形状パターンの駐車区画３２は、直線の区画線３２ａ７とそれに対向する柱４２で構成されている。なお、柱４２の周囲、具体的には側方（駐車領域Ｅ側）と後方側に、例えば、黄色のペイントが付された注意喚起領域４６が２箇所形成されている。この場合もアノテート作業者によって認識位置の違いが発生し難い位置に操作部２６ｂを介して参照点設定部２２ａにより例えば４点の参照点Ｐ１～Ｐ４で設定される。図１３の形状パターンの駐車区画３２の場合、参照点Ｐ１は、柱４２の後端位置（駐車準備のための車両が走行する通路側から遠い側）の内側（駐車領域Ｅ側）に設定されている。また、参照点Ｐ２は、区画線３２ａ７の内側（駐車領域Ｅ側）の先端部に設定されている。参照点Ｐ３は、区画線３２ａ７の内側（駐車領域Ｅ側）の後端部に設定されている。参照点Ｐ４は、後方側の注意喚起領域４６の内側（駐車領域Ｅ側）の後端部に設定されている。つまり、参照点Ｐ１～Ｐ４で囲まれる領域（略台形領域）が実際に車両の駐車に利用可能な学習区画３４としてアノテーションされて学習される。この場合、学習区画３４は、略台形形状で、参照点Ｐ１と参照点Ｐ２を結ぶ接続線Ｌ１と、参照点Ｐ２と参照点Ｐ３を結ぶ接続線Ｌ２と、参照点Ｐ３と参照点Ｐ４を結ぶ接続線Ｌ３と、参照点Ｐ４と参照点Ｐ１を結ぶ接続線Ｌ４と、で構成される。 The parking lot 32 having the shape pattern shown in the bird's-eye view image 30A in FIG. 13 is composed of a straight line 32a7 and a pillar 42 facing the line 32a7. Note that two attention-calling areas 46 with yellow paint, for example, are formed around the pillar 42, specifically on the side (on the side of the parking area E) and on the rear side. In this case as well, for example, four reference points P1 to P4 are set by the reference point setting unit 22a via the operating unit 26b at positions where differences in recognition positions are unlikely to occur depending on the annotator. In the case of the parking lot 32 having the shape pattern shown in FIG. 13, the reference point P1 is set on the inside (parking area E side) of the rear end position of the pillar 42 (the side far from the aisle side where the vehicle for parking preparation runs). ing. Further, the reference point P2 is set at the tip of the inner side (parking area E side) of the partition line 32a7. The reference point P3 is set at the rear end on the inside of the partition line 32a7 (on the parking area E side). The reference point P4 is set at the rear end of the rear attention area 46 (on the parking area E side). In other words, the area (approximately trapezoidal area) surrounded by the reference points P1 to P4 is annotated and learned as the learning section 34 that can actually be used for parking a vehicle. In this case, the learning section 34 has a substantially trapezoidal shape, and has a connecting line L1 connecting the reference point P1 and the reference point P2, a connecting line L2 connecting the reference point P2 and the reference point P3, and a connecting line L2 connecting the reference point P3 and the reference point P4. It is composed of a connection line L3 and a connection line L4 connecting the reference point P4 and the reference point P1.

図１３の場合、４つの参照点Ｐ１～Ｐ４で規定される学習区画３４（駐車領域Ｅ）において設定される仮想車両３６の車両基準線は、前面ライン３６ａと左側面ライン３６ｂと後面ライン３６ｃと右側面ライン３６ｄとなる。そして、図１３の学習区画３４を構成する接続線のうち、車両基準線と略平行または略直交する可能性が高いと容易に判定できる接続線は、区画線３２ｂ７に沿った接続線Ｌ２と、注意喚起領域４６に沿った接続線Ｌ４である。しかしながら、注意喚起領域４６の後端部の参照点Ｐ４の位置は、注意喚起領域４６が黄色でありエッジの識別性が高くないため、アノテーションのときに参照点Ｐ３と参照点Ｐ４を結ぶ接続線Ｌ３と後面ライン３６ｃと略平行または略直交するか否かの判断がつきにくい場合がある。このような場合は、誤学習の可能性を低減するため、否定判定して学習を行う。つまり、学習モード実行時に接続線Ｌ２と接続線Ｌ４のみを車両方向基準線として学習（アノテーション）しておく。そして、推定モード実行時に、形状パターンが図１３に示すような学習区画３４の実駐車区画が推定された場合、接続線Ｌ２，Ｌ４に対応する線を車両方向基準線として、当該車両方向基準線を基準として車両方向を推定して駐車（誘導）すれば、推定された実駐車区画に車両を理想的な位置、理想的な姿勢で駐車することができる。学習モード実行部２２は、同様な形状パターンの複数の画像データを学習する。 In the case of FIG. 13, the vehicle reference lines of the virtual vehicle 36 set in the learning section 34 (parking area E) defined by the four reference points P1 to P4 are the front line 36a, the left side line 36b, and the rear line 36c. This becomes a right side line 36d. Among the connection lines forming the learning section 34 in FIG. 13, the connection lines that can be easily determined to be highly likely to be substantially parallel or orthogonal to the vehicle reference line are the connection line L2 along the section line 32b7, This is a connection line L4 along the attention-calling area 46. However, since the attention calling area 46 is yellow and the edges of the reference point P4 at the rear end of the attention calling area 46 are not highly distinguishable, the connection line connecting the reference point P3 and the reference point P4 is used for annotation. It may be difficult to determine whether L3 is substantially parallel or substantially perpendicular to the rear surface line 36c. In such a case, in order to reduce the possibility of erroneous learning, a negative determination is made and learning is performed. That is, when executing the learning mode, only the connection line L2 and the connection line L4 are learned (annotated) as vehicle direction reference lines. When the actual parking lot of the learning section 34 whose shape pattern is as shown in FIG. 13 is estimated when the estimation mode is executed, the line corresponding to the connection lines L2 and L4 is set as the vehicle direction reference line, and By estimating the direction of the vehicle and parking (guiding) it based on the , the vehicle can be parked in the estimated actual parking lot in an ideal position and ideal posture. The learning mode execution unit 22 learns a plurality of image data having similar shape patterns.

図１４の俯瞰画像３０Ａで示される形状パターンの駐車区画３２は、直線の区画線３２ａ８とそれに対向する区画線３２ｂ８、及び駐車領域Ｅの奥側で区画線３２ａ８と区画線３２ｂ８とを接続する区画線３２ｆ、区画線３２ａ８と区画線３２ｆとにそれぞれ直交する位置に存在する柱４２とで構成されている。なお、駐車領域Ｅの入口側（区画線３２ａ８と区画線３２ｂ８の入口側）は、自車両（車両１０）によって遮蔽されている。この場合もアノテート作業者によって認識位置の違いが発生し難い位置に操作部２６ｂを介して参照点設定部２２ａにより例えば４点の参照点Ｐ１～Ｐ４で設定される。図１４の形状パターンの駐車区画３２の場合、参照点Ｐ１は、区画線３２ａ８の内側と自車両による遮蔽領域の境界位置に設定されている。同様に、参照点Ｐ２は、区画線３２ｂ８の内側と自車両による遮蔽領域の境界位置に設定されている。参照点Ｐ３は、区画線３２ｂ８の後端部と区画線３２ｄとの説億部の内側に設定されている。また、参照点Ｐ４は、区画線３２ａ８の後端部の内側（駐車領域Ｅ側）に設定されている。つまり、参照点Ｐ１～Ｐ４で囲まれる領域（略台形領域）が実際に車両の駐車に利用可能な学習区画３４の一部としてアノテーションされて学習される。この場合、参照点Ｐ１と参照点Ｐ２を結ぶ接続線Ｌ１と、参照点Ｐ２と参照点Ｐ３を結ぶ接続線Ｌ２と、参照点Ｐ３と参照点Ｐ４を結ぶ接続線Ｌ３と、参照点Ｐ４と参照点Ｐ１を結ぶ接続線Ｌ４と、で構成される。 The parking lot 32 having the shape pattern shown in the bird's-eye view image 30A in FIG. It is composed of a line 32f, a partition line 32a8, and a pillar 42 located at a position perpendicular to the partition line 32f. Note that the entrance side of the parking area E (the entrance side of the lot line 32a8 and the lot line 32b8) is blocked by the own vehicle (vehicle 10). In this case as well, for example, four reference points P1 to P4 are set by the reference point setting unit 22a via the operating unit 26b at positions where differences in recognition positions are unlikely to occur depending on the annotator. In the case of the parking section 32 having the shape pattern shown in FIG. 14, the reference point P1 is set at the boundary between the inside of the section line 32a8 and the area covered by the own vehicle. Similarly, the reference point P2 is set at the boundary between the inside of the marking line 32b8 and the area covered by the own vehicle. The reference point P3 is set inside the section between the rear end of the partition line 32b8 and the partition line 32d. Further, the reference point P4 is set inside the rear end of the partition line 32a8 (on the parking area E side). In other words, the area (approximately trapezoidal area) surrounded by the reference points P1 to P4 is annotated and learned as part of the learning section 34 that can actually be used for parking a vehicle. In this case, a connecting line L1 connecting reference points P1 and P2, a connecting line L2 connecting reference points P2 and P3, a connecting line L3 connecting reference points P3 and P4, and a connecting line L3 connecting reference points P4 and The connection line L4 connects the point P1.

図１４の場合、４つの参照点Ｐ１～Ｐ４で規定される学習区画３４（駐車領域Ｅ）において設定される仮想車両３６の車両基準線は、前面ライン３６ａ（自車両によって遮蔽）と左側面ライン３６ｂと後面ライン３６ｃと右側面ライン３６ｄとなる。そして、図１４の学習区画３４を構成する接続線のうち、車両基準線と略平行または略直交する可能性が高いと容易に判定できる接続線は、区画線３２ａ８に沿った接続線Ｌ４と、区画線３２ｂ８に沿った接続線Ｌ２である。しかしながら、参照点Ｐ１と参照点Ｐ２の位置は、自車両の遮蔽状態(遮蔽角度)によって変化するため、アノテーションのときに参照点Ｐ１と参照点Ｐ２を結ぶ接続線Ｌ１と後面ライン３６ｃと平行になるか否かの判断がつきにくい場合がある。このような場合は、誤学習の可能性を低減するため、否定判定して学習を行う。つまり、学習モード実行時に接続線Ｌ２と接続線Ｌ４のみを車両方向基準線として学習（アノテーション）しておく。そして、推定モード実行時に、形状パターンが図１４に示すような学習区画３４の実駐車区画が推定された場合、接続線Ｌ２，Ｌ４に対応する線を車両方向基準線として、当該車両方向基準線を基準として車両方向を推定して駐車（誘導）すれば、推定された実駐車区画に車両を理想的な位置、理想的な姿勢で駐車することができる。学習モード実行部２２は、同様な形状パターンの複数の画像データを学習する。 In the case of FIG. 14, the vehicle reference line of the virtual vehicle 36 set in the learning section 34 (parking area E) defined by the four reference points P1 to P4 is the front line 36a (obscured by the own vehicle) and the left side line. 36b, a rear surface line 36c, and a right side line 36d. Among the connection lines forming the learning section 34 in FIG. 14, the connection lines that can be easily determined to be likely to be substantially parallel or orthogonal to the vehicle reference line are the connection line L4 along the section line 32a8, This is a connection line L2 along the partition line 32b8. However, since the positions of the reference point P1 and the reference point P2 change depending on the shielding state (shielding angle) of the own vehicle, when annotating, the connection line L1 connecting the reference point P1 and the reference point P2 is parallel to the rear line 36c. It may be difficult to judge whether or not this will happen. In such a case, in order to reduce the possibility of erroneous learning, a negative determination is made and learning is performed. That is, when executing the learning mode, only the connection line L2 and the connection line L4 are learned (annotated) as vehicle direction reference lines. When the actual parking lot of the learning section 34 whose shape pattern is shown in FIG. 14 is estimated when the estimation mode is executed, the line corresponding to the connection lines L2 and L4 is set as the vehicle direction reference line, and By estimating the direction of the vehicle and parking (guiding) it based on the , the vehicle can be parked in the estimated actual parking lot in an ideal position and ideal posture. The learning mode execution unit 22 learns a plurality of image data having similar shape patterns.

図２にもどり、モデル作成部２２ｃは、各形状パターンの駐車区画３２に関して学習済モデルを構築して、逐次学習済モデル記憶部２８の内容を更新する。学習済モデルの構築については、周知の技術が利用可能であり、ここでの詳細な説明は省略するが、例えば、機械学習の一手法である深層学習（ディープラーニング）により学習済モデルを作成することができる。モデル作成部２２ｃでは、参照点設定部２２ａ及び方向フラグ設定部２２ｂで作成された教師データを用いて学習を行う。 Returning to FIG. 2, the model creation unit 22c constructs a learned model for the parking lot 32 of each shape pattern, and updates the contents of the learned model storage unit 28 one after another. Well-known techniques can be used to construct a trained model, and a detailed explanation will be omitted here, but for example, a trained model can be created using deep learning, which is a method of machine learning. be able to. The model creation section 22c performs learning using the teacher data created by the reference point setting section 22a and the direction flag setting section 22b.

続いて、推定モード実行部２４は、撮像部１４で撮像した車両１０の現在の周囲状況において、実駐車区画及び実駐車位置の正確な位置情報を推定するため、学習済モデルを用いた推定モード処理を実行する。推定モード実行部２４は、モード切替部１８によって推定モードが選択されている場合に実行される。 Next, the estimation mode execution unit 24 executes an estimation mode using the learned model in order to estimate accurate positional information of the actual parking lot and the actual parking position in the current surrounding situation of the vehicle 10 captured by the imaging unit 14. Execute processing. The estimation mode execution unit 24 is executed when the estimation mode is selected by the mode switching unit 18.

推定モード実行部２４が実行されると、取得部２０は、撮像部１４が撮像している車両１０の現在の周囲状況を示す画像データを順次取得し、推定部２４ａに提供する。なお、以下の説明では、図３及び図４～図１４を適宜流用し説明する。 When the estimation mode execution unit 24 is executed, the acquisition unit 20 sequentially acquires image data showing the current surrounding situation of the vehicle 10 that is being imaged by the imaging unit 14, and provides the image data to the estimation unit 24a. Note that in the following description, FIGS. 3 and 4 to 14 will be used as appropriate.

参照点推定部２４ａ１は、学習済モデル記憶部２８に記憶された学習済モデルを読み出し、取得部２０が取得した推定用画像を、読み出した学習済モデルに入力し、駐車区画と見なせる参照点の位置を推定する。つまり、参照点推定部２４ａ１は、推定用の画像データで抽出される白線等に対して、参照点Ｐ１～Ｐ４に相当する駐車区画点を抽出し、４点の駐車区画点が抽出できた場合、推定用の画像データ（推定画像）上の４点の座標値を決定し、推定部２４ａは、その４点の座標値で規定される領域を実駐車区画として推定する。 The reference point estimation unit 24a1 reads out the trained model stored in the trained model storage unit 28, inputs the estimation image acquired by the acquisition unit 20 into the read out trained model, and calculates the reference point that can be regarded as a parking lot. Estimate location. In other words, the reference point estimation unit 24a1 extracts parking lot points corresponding to the reference points P1 to P4 with respect to the white line etc. extracted from the image data for estimation, and if four parking lot points can be extracted. , the coordinate values of four points on the image data for estimation (estimated image) are determined, and the estimation unit 24a estimates the area defined by the coordinate values of the four points as an actual parking lot.

続いて、車両方向推定値算出部２４ａ２は、参照点推定部２４ａ１によって推定された各駐車区画点（４点の座標値）を結ぶ接続線において、例えば、０～１までの実数値（車両方向推定値）を算出する。学習済モデルには、例えば、接続線Ｌ１～Ｌ４において、駐車する場合の車両方向基準線と見なせる接続線には、「０」の実数値が割り当てられ、見なせない接続線には、「１」が割り当てられる。したがって、車両方向基準線である確率が低くなるほど大きくなる（「１」に近づく）実数値が割り当てられる。このときの実数値の割り当ては、例えば、接続線の位置ごとに０～１までの実数値が付与されたマップを利用して実行することができる。つまり、このマップにおいて、実数値が「０」に近いほど車両方向基準線として利用できる接続線であり、実数値が「１」に近いほど車両方向基準線として利用できない接続線であると定義している。車両方向推定値算出部２４ａ２は、参照点推定部２４ａ１が推定した各駐車区画点に基づく接続線に対して上述のマップを参照し、各接続線の車両方向推定値を算出する。 Next, the vehicle direction estimated value calculation unit 24a2 calculates, for example, a real value from 0 to 1 (vehicle direction estimated value). In the learned model, for example, among connection lines L1 to L4, connection lines that can be considered as vehicle direction reference lines when parking are assigned a real value of "0", and connection lines that cannot be considered are assigned a real value of "1". ' will be assigned. Therefore, a real value that becomes larger (closer to "1") is assigned as the probability that the line is the vehicle direction reference line becomes lower. The assignment of real values at this time can be performed, for example, using a map in which real values from 0 to 1 are assigned to each position of the connection line. In other words, in this map, the closer the real value is to 0, the connection line can be used as a vehicle direction reference line, and the closer the real value is to 1, the connection line cannot be used as a vehicle direction reference line. ing. The estimated vehicle direction value calculation unit 24a2 refers to the above-mentioned map for the connection line based on each parking lot point estimated by the reference point estimation unit 24a1, and calculates the estimated vehicle direction value of each connection line.

方向フラグ付与部２４ａ３は、車両方向推定値算出部２４ａ２が算出した車両方向推定値が所定の閾値以下の場合（例えば、０．３以下の場合）、参照点推定部２４ａ１が推定した駐車区画点に基づく接続線が車両方向基準線であることを示す方向フラグを付与する。一方、方向フラグ付与部２４ａ３は、車両方向推定値算出部２４ａ２が算出した車両方向推定値が所定の閾値を超える場合（例えば、０．３を超える場合）、参照点推定部２４ａ１が推定した駐車区画点に基づく接続線が車両方向基準線にはならないことを示す非方向フラグを付与する。 When the estimated vehicle direction value calculated by the estimated vehicle direction value calculation unit 24a2 is less than or equal to a predetermined threshold (for example, 0.3 or less), the direction flag assignment unit 24a3 sets the parking lot point estimated by the reference point estimation unit 24a1. A direction flag is attached to indicate that the connection line based on the vehicle direction reference line is the vehicle direction reference line. On the other hand, if the estimated vehicle direction value calculated by the estimated vehicle direction value calculation unit 24a2 exceeds a predetermined threshold (for example, exceeds 0.3), the direction flag assignment unit 24a3 determines whether the estimated vehicle direction value calculated by the estimated vehicle direction value calculation unit 24a2 A non-direction flag is attached to indicate that the connection line based on the demarcation point does not become a vehicle direction reference line.

このように、推定部２４ａは、例えば、図４～図１４等に示されるような形状パターンの４点の駐車区画点で規定される実駐車区画と、方向フラグが付与された車両方向基準線に基づく車両方向を推定することができる。 In this way, the estimation unit 24a calculates, for example, an actual parking lot defined by four parking lot points in a shape pattern as shown in FIGS. 4 to 14, and a vehicle direction reference line to which a direction flag is attached. The vehicle direction can be estimated based on

なお、車両方向推定値算出部２４ａ２（推定部２４ａ）における実数値に基づき、車両基準線と略平行または略直交する車両方向基準線が複数存在する場合、車両方向基準線に対して重みつ付け処理を実行して、車両方向の推定に用いる車両方向基準線を補正してもよい。例えば、推定モード実行時に撮像部１４で実画像を撮像する場合、撮像部１４から撮像対象領域（駐車可能領域が存在すると見なされる領域）までの距離が近いほど、画像座標上の点を世界座標（地図）に投影する際の誤差が小さく、平行線としての精度が高くなる。この特性に基づく推定スコアを作成し重み付け処理を行い、車両方向の推定に用いる車両方向基準線の補正を行ってもよい。 In addition, based on the real value in the vehicle direction estimated value calculation unit 24a2 (estimation unit 24a), if there are a plurality of vehicle direction reference lines that are substantially parallel or orthogonal to the vehicle reference line, weighting is applied to the vehicle direction reference line. A process may be executed to correct the vehicle direction reference line used for estimating the vehicle direction. For example, when an actual image is captured by the imaging unit 14 when executing the estimation mode, the closer the distance from the imaging unit 14 to the imaging target area (the area where the parking area is considered to be), the more the point on the image coordinates is changed to the world coordinates. The error when projecting onto a map is small, and the precision of parallel lines is high. An estimated score based on this characteristic may be created and weighted, and the vehicle direction reference line used for estimating the vehicle direction may be corrected.

例えば、図１２の形状パターンを流用して説明する。上述した説明では、接続線Ｌ１，Ｌ２に対応する線は車両方向基準線としない旨を説明したが、重み付け処理の説明では、接続線Ｌ１，Ｌ３，Ｌ４に対応する線が車両方向基準線となり得るとする。この場合、駐車区画３２に対して、図９に示しように、右側から旋回しながら進入する場合、リヤバンパに設置された撮像部１４ａから最も近い車両方向基準線は接続線Ｌ１に対応する線となり、接続線Ｌ１に対応する線に対する重みを例えば「４」とする。また、次に撮像部１４ａから近い車両方向基準線は接続線Ｌ４に対応する線となり、接続線Ｌ４に対応する線に対する重みを例えば「３」とする。次に撮像部１４ａから近い車両方向基準線は接続線Ｌ３に対応する線となり、接続線Ｌ３に対応する線に対する重みを例えば「２」とする。このように撮像部１４ａからの距離に応じて（精度に応じて）重み付けを行うことにより、複数の車両方向基準線が存在する場合でも、より駐車支援に適した車両方向基準線の選択を行うことが可能になる。なお、車両方向基準線と推定される線が４本の場合（接続線Ｌ１～Ｌ４に対応する線）が推定された場合で、車両の進入方向が上述と同様に右側から進入する場合、接続線Ｌ１に対応する重みが「４」、接続線Ｌ４に対応する重みが「３」、接続線Ｌ２に対応する重みが「２」、接続線Ｌ３に対応する重みが「１」となる。また、重みの付け方は、車両の進入方向に応じて変更される。なお、重み付け処理は上述の内容に限定されず、周知の重み付け処理が適用可能であり、同様の効果を得ることができる。 For example, the shape pattern shown in FIG. 12 will be used for explanation. In the above explanation, it was explained that the line corresponding to the connection lines L1 and L2 is not the vehicle direction reference line, but in the explanation of the weighting process, the line corresponding to the connection lines L1, L3, and L4 is not the vehicle direction reference line. Suppose you get it. In this case, when approaching the parking lot 32 while turning from the right side as shown in FIG. 9, the vehicle direction reference line closest to the imaging unit 14a installed in the rear bumper becomes a line corresponding to the connection line L1. , the weight for the line corresponding to the connection line L1 is set to, for example, "4". Further, the next vehicle direction reference line closest to the imaging unit 14a is a line corresponding to the connection line L4, and the weight for the line corresponding to the connection line L4 is set to, for example, "3". Next, the vehicle direction reference line closest to the imaging unit 14a is a line corresponding to the connection line L3, and the weight for the line corresponding to the connection line L3 is set to, for example, "2". By performing weighting according to the distance from the imaging unit 14a (according to the accuracy) in this way, even when a plurality of vehicle direction reference lines exist, a vehicle direction reference line that is more suitable for parking assistance is selected. becomes possible. In addition, if four lines are estimated as vehicle direction reference lines (lines corresponding to connection lines L1 to L4), and the vehicle approaches from the right side as described above, the connection The weight corresponding to the line L1 is "4", the weight corresponding to the connection line L4 is "3", the weight corresponding to the connection line L2 is "2", and the weight corresponding to the connection line L3 is "1". Furthermore, the method of weighting is changed depending on the direction of approach of the vehicle. Note that the weighting process is not limited to the above-mentioned content, and well-known weighting processes can be applied, and similar effects can be obtained.

また、別の実施形態においては、上述したように、複数の車両方向基準線の候補が存在する場合、推定部２４ａは、補正された複数の車両方向基準線の車両基準線に対する角度の平均値を算出し、車両基準線に対する統合車両方向基準線を決定してもよい。例えば、図１５において、走行通路における右方向を角度「０°」として、反時計回り方向に「＋角度：０°～＋１８０°」、時計回り方向に「－角度：０°～－１８０°＝＋１８０」を定義する。そして、車両方向基準線の候補となる線の座標上の角度（接続線Ｌ１，Ｌ３，Ｌ４に対応する対応線Ｌ１ａ，Ｌ３ａ，Ｌ４ａの角度）が、それぞれ、対応線Ｌ１ａ＝＋５°、対応線Ｌ３ａ＝＋１０°、対応線Ｌ４ａ＝＋１００°であったとする。そして、対応線Ｌ１ａの重みが「４」、対応線Ｌ３ａの重みが「２」、対応線Ｌ４ａの重みが「３」であるとする。なお、車両基準線と対応するように、対応線Ｌ１ａと対応線Ｌ３ａの角度に９０°を加算して回転させて、以下のように重み付け状態での平均値を算出し、車両基準線に対する統合車両方向基準線Ｃを決定する。
Ｃ＝（５°＋９０°）×（４＋１００°）×３＋（１０°＋９０°）×２／（４＋３＋２）＝９７．７７
この統合車両方向基準線Ｃを用いることで、複数の候補が存在する場合でも、推定する車両方向基準線の信頼性を容易に向上することができるととともに、駐車支援時の誘導制御に反映させて、より適切な誘導を実現することができる。 In another embodiment, as described above, when there are a plurality of vehicle direction reference line candidates, the estimation unit 24a calculates the average value of the angles of the corrected plurality of vehicle direction reference lines with respect to the vehicle reference line. may be calculated to determine an integrated vehicle direction reference line for the vehicle reference line. For example, in FIG. 15, the right direction in the travel path is assumed to be an angle of "0°", the counterclockwise direction is "+ angle: 0° to +180°", and the clockwise direction is "-angle: 0° to -180°". +180" is defined. Then, the angle on the coordinates of the line that is a candidate for the vehicle direction reference line (the angle of the corresponding lines L1a, L3a, and L4a corresponding to the connecting lines L1, L3, and L4) is, respectively, the corresponding line L1a=+5° and the corresponding line Assume that L3a=+10° and corresponding line L4a=+100°. Assume that the weight of the corresponding line L1a is "4," the weight of the corresponding line L3a is "2," and the weight of the corresponding line L4a is "3." In addition, in order to correspond to the vehicle reference line, the corresponding line L1a and the corresponding line L3a are rotated by adding 90 degrees to the angle, and the average value in the weighted state is calculated as shown below, and the integration with respect to the vehicle reference line is performed. Determine the vehicle direction reference line C.
C=(5°+90°)×(4+100°)×3+(10°+90°)×2/(4+3+2)=97.77
By using this integrated vehicle direction reference line C, even when multiple candidates exist, the reliability of the estimated vehicle direction reference line can be easily improved, and it can also be reflected in guidance control during parking assistance. Therefore, more appropriate guidance can be achieved.

続いて、処理部２４ｂの変換部２４ｂ１は、推定部２４ａで推定した、実駐車区画点に対応する対応位置を世界座標系に変換する。世界座標系への変換は、周知の技術が利用可能であり、詳細は省略するが、例えば、変換部２４ｂ１は、アフィン投影技術等を用いて、推定した実駐車区画点の座標を世界座標系に投影する。駐車位置特定部２４ｂ２は、世界座標系上における実駐車区画点の位置（座標）を特定し、撮像部１４が撮像した現在の車両１０の周囲状況を示す実画像に推定結果を重畳表示する。例えば、処理部２４ｂは、図４～図１４等に示されるような学習区画３４と同様な実駐車区画や、仮想車両３６と同様な車両アイコンを用いた実駐車位置を、実画像上に重畳し、運転者に推定結果を通知する。なお、実画像に重畳表示する車両アイコンを車両１０の諸元情報等に基づいた形状とすることにより、実画像における車両１０の駐車位置イメージをより正確に運転者等に認識させ易くすることができる。また、基準線設定部２４ｂ３は、推定された車両方向基準線を実画像上に重畳したり、図示を省略した駐車支援制御部等に提供したりして、駐車支援の制御向上に寄与する。 Subsequently, the conversion unit 24b1 of the processing unit 24b converts the corresponding position corresponding to the actual parking lot point estimated by the estimation unit 24a into the world coordinate system. For conversion to the world coordinate system, a well-known technique can be used, and the details will be omitted. to project. The parking position specifying unit 24b2 specifies the position (coordinates) of the actual parking lot point on the world coordinate system, and superimposes and displays the estimation result on the actual image captured by the imaging unit 14 and showing the current surrounding situation of the vehicle 10. For example, the processing unit 24b superimposes a real parking area similar to the learning area 34 as shown in FIGS. 4 to 14 and a real parking position using a vehicle icon similar to the virtual vehicle 36 on the real image. and notify the driver of the estimation results. Note that by making the vehicle icon displayed superimposed on the real image have a shape based on the specification information of the vehicle 10, etc., it is possible to make it easier for the driver etc. to more accurately recognize the parking position image of the vehicle 10 in the real image. can. Further, the reference line setting unit 24b3 contributes to improving control of parking assistance by superimposing the estimated vehicle direction reference line on the actual image or providing it to a parking assistance control unit (not shown) or the like.

このように構成される駐車位置検出システム１６の処理の流れを図１６および図１７のフローチャートを用いて説明する。 The processing flow of the parking position detection system 16 configured as described above will be explained using the flowcharts of FIGS. 16 and 17.

図１６は、駐車位置検出システム１６で利用する機械学習における学習モードを実行する際の処理を示した例示的なフローチャートである。 FIG. 16 is an exemplary flowchart showing processing when executing a learning mode in machine learning used in the parking position detection system 16.

駐車位置検出システム１６は、まず、アノテート作業者による操作部２６ｂの操作に従いモード切替部１８を介して学習モードと推定モードの切り替えを行う（Ｓ１００）。学習モードが選択されていない場合（Ｓ１００のＮｏ）、このフローを一旦終了する。一方、学習モードが選択された場合（Ｓ１００のＹｅｓ）、取得部２０を介して撮像部１４で撮像した学習用画像（画像データ）または、外部のデータベース等が保持する学習用画像（画像データ）の取得を行う（Ｓ１０２）。そして。学習モード実行部２２の参照点設定部２２ａ及び方向フラグ設定部２２ｂは、アノテート作業者の操作部２６ｂの操作に従い、教師データの作成を実行する（Ｓ１０４）。すなわち、複数の学習用画像（学習用の画像データ）に対して、図４～図１４等で説明したように参照点Ｐ１～Ｐ４と学習用の画像データ上の座標（世界座標）とを関連付けながら順次アノテーションを実行する。また、このとき、学習する参照点Ｐ１～Ｐ４のうち隣接する二つの参照点を結ぶ接続線が車両を駐車する際の車両基準線と略平行または略直交する車両方向基準線になり得るか否かを定めた車両方向情報（方向フラグ）と参照点Ｐ１～Ｐ４とを関連付けながら順次アノテーションを実行する。そして、モデル作成部２２ｃは、周知の機械学習（例えば、深層学習）の技術を用いて、学習済モデルを作成する学習処理を実行する（Ｓ１０６）。そして、モデル作成部２２ｃは、作成した学習済モデルを学習済モデル記憶部２８に提供し、記憶済の学習済モデルの構築（更新）を行う（Ｓ１０８）。 The parking position detection system 16 first switches between the learning mode and the estimation mode via the mode switching unit 18 in accordance with the operation of the operating unit 26b by the annotator (S100). If the learning mode is not selected (No in S100), this flow is temporarily ended. On the other hand, if the learning mode is selected (Yes in S100), the learning image (image data) captured by the imaging unit 14 via the acquisition unit 20 or the learning image (image data) held in an external database, etc. is acquired (S102). and. The reference point setting section 22a and the direction flag setting section 22b of the learning mode execution section 22 execute creation of teacher data according to the operation of the operation section 26b by the annotator operator (S104). That is, for multiple learning images (learning image data), reference points P1 to P4 are associated with coordinates (world coordinates) on the learning image data, as explained in FIGS. 4 to 14, etc. Execute annotation sequentially while Also, at this time, whether or not the connection line connecting two adjacent reference points among the reference points P1 to P4 to be learned can become a vehicle direction reference line that is approximately parallel or orthogonal to the vehicle reference line when parking the vehicle. The annotation is sequentially performed while associating the vehicle direction information (direction flag) that has been determined with the reference points P1 to P4. Then, the model creation unit 22c executes a learning process to create a trained model using well-known machine learning (eg, deep learning) technology (S106). The model creation unit 22c then provides the created trained model to the trained model storage unit 28, and constructs (updates) the stored trained model (S108).

駐車位置検出システム１６は、モード切替部１８の状態や操作部２６ｂの操作状態に基づき学習終了条件が成立されているか否か確認し（Ｓ１１０）、学習終了条件が成立していない場合（Ｓ１１０のＮｏ）、Ｓ１００に移行し、現在のモード状態を確認する。学習モードが継続されている場合、次の学習用画像（画像データ）を取得し、以降の処理を繰り返し実行し、学習済モデルの構築を継続する。Ｓ１１０において、学習終了条件が成立している場合（Ｓ１１０のＹｅｓ）、例えば、操作部２６ｂから学習終了操作のコマンドが入力された場合や、学習対象となる画像データに対する処理が全て終了した場合等、このフローを一旦終了する。 The parking position detection system 16 checks whether the learning end condition is satisfied based on the state of the mode switching section 18 and the operation state of the operating section 26b (S110), and if the learning end condition is not satisfied (S110). No), the process moves to S100 and the current mode state is confirmed. If the learning mode continues, the next learning image (image data) is acquired, the subsequent processing is repeatedly executed, and the construction of the learned model is continued. In S110, when the learning end condition is satisfied (Yes in S110), for example, when a command for a learning end operation is input from the operation unit 26b, or when all processing on image data to be learned is completed, etc. , temporarily end this flow.

図１７は、駐車位置検出システム１６で利用する機械学習における推定モードを実行する際の処理を示した例示的なフローチャートである。 FIG. 17 is an exemplary flowchart showing processing when executing the estimation mode in machine learning used in the parking position detection system 16.

駐車位置検出システム１６は、まず、アノテート作業者による操作部２６ｂの操作に従いモード切替部１８を介して学習モードと推定モードの切り替えを行う（Ｓ２００）。推定モードが選択されていない場合（Ｓ２００のＮｏ）、このフローを一旦終了する。一方、推定モードが選択された場合（Ｓ２００のＹｅｓ）、推定モード実行部２４は、車両１０の現在の車速が、駐車区画推定が可能な推定モード車速以下（例えば、１０ｋｍ／ｈ以下）であるかの判定を行う（Ｓ２０２）。車両１０の現在車速が推定モード車速を超えている場合（Ｓ２０２のＮｏ）、例えば、推定モードに切り替えられているものの、現在の位置では、駐車区画を探索していない場合である。この場合、例えば、駐車場内にいるが、現在の位置とは異なる位置で駐車区画を探索しようとしていると判定し、推定モード実行部２４（駐車位置検出システム１６）は、この位置での駐車区画の探索を中断する（このフローを一旦終了する）。 The parking position detection system 16 first switches between the learning mode and the estimation mode via the mode switching unit 18 in accordance with the operation of the operating unit 26b by the annotator (S200). If the estimation mode is not selected (No in S200), this flow is temporarily ended. On the other hand, when the estimation mode is selected (Yes in S200), the estimation mode execution unit 24 determines that the current vehicle speed of the vehicle 10 is less than or equal to the estimation mode vehicle speed that allows parking lot estimation (for example, less than 10 km/h). A determination is made (S202). If the current vehicle speed of the vehicle 10 exceeds the estimation mode vehicle speed (No in S202), for example, the vehicle 10 is switched to the estimation mode but is not searching for a parking lot at the current position. In this case, for example, the estimation mode execution unit 24 (parking position detection system 16) determines that the user is in a parking lot but is trying to search for a parking lot at a position different from the current position, and the estimation mode execution unit 24 (parking position detection system 16) searches for a parking lot at this position. (temporarily end this flow).

Ｓ２０２の処理において、現在の車速が推定モード車速以下の場合（Ｓ２０２のＹｅｓ）、推定部２４ａは、取得部２０を介して撮像部１４の撮像した推定用の画像（画像データ）の取得を行う（Ｓ２０４）。また、推定部２４ａは、学習済モデル記憶部２８から学習済モデルを取得する（Ｓ２０６）。そして、推定部２４ａは、学習済モデルに推定用画像を入力し、参照点推定部２４ａ１による駐車区画点（座標）の推定処理、車両方向推定値算出部２４ａ２による車両方向推定値の算出処理、および方向フラグ付与部２４ａ３による方向フラグ付与処理を実行する（Ｓ２０８）。そして、処理部２４ｂは、推定結果として駐車区画点および方向フラグが存在すると判定した場合（Ｓ２１０のＹｅｓ）、変換部２４ｂ１は、駐車区画点の座標を世界座標系に変換して、世界座標系の画像上に投影する（Ｓ２１２）。続いて、駐車位置特定部２４ｂ２は、世界座標系の画像上で実駐車区画および車両方向基準線を決定し（Ｓ２１４）、処理部２４ｂは、表示装置２６の表示部２６ａに実駐車区画および車両方向基準線に基づく車両方向を出力し、利用者（運転者等）に対する結果通知処理を実行する（Ｓ２１６）。 In the process of S202, if the current vehicle speed is equal to or less than the estimation mode vehicle speed (Yes in S202), the estimation unit 24a acquires the estimation image (image data) captured by the imaging unit 14 via the acquisition unit 20. (S204). Furthermore, the estimation unit 24a acquires the learned model from the learned model storage unit 28 (S206). Then, the estimation unit 24a inputs the estimation image to the trained model, and performs a process of estimating a parking lot point (coordinates) by the reference point estimation unit 24a1, a process of calculating the estimated vehicle direction value by the vehicle direction estimated value calculation unit 24a2, Then, direction flag attaching processing is executed by the direction flag attaching unit 24a3 (S208). Then, when the processing unit 24b determines that the parking lot point and the direction flag exist as the estimation result (Yes in S210), the conversion unit 24b1 converts the coordinates of the parking lot point into the world coordinate system, and converts the coordinates of the parking lot point into the world coordinate system. (S212). Next, the parking position specifying unit 24b2 determines the actual parking area and the vehicle direction reference line on the image of the world coordinate system (S214), and the processing unit 24b displays the actual parking area and the vehicle direction on the display unit 26a of the display device 26. The vehicle direction based on the direction reference line is output, and a result notification process is executed for the user (driver, etc.) (S216).

そして、駐車位置検出システム１６は、モード切替部１８の状態や操作部２６ｂの操作状態に基づき推定処理終了条件が成立されているか否か確認し（Ｓ２１８）、推定処理終了条件が成立していない場合（Ｓ２１８のＮｏ）、Ｓ２０４に移行し、次の推定用画像を取得し、以降の処理を繰り返し実行し、推定処理を継続する。Ｓ２１８において、推定処理終了条件が成立している場合（Ｓ２１８のＹｅｓ）、例えば、推定した実駐車区画や実駐車位置が運転者等によって採用されたり（駐車位置が決定された場合）や操作部２６ｂから推定終了操作が入力されたりした場合、このフローを一旦終了する。 Then, the parking position detection system 16 checks whether the estimation processing end condition is satisfied based on the state of the mode switching section 18 and the operating state of the operation section 26b (S218), and determines whether the estimation processing end condition is satisfied. In the case (No in S218), the process moves to S204, acquires the next estimation image, repeats the subsequent processing, and continues the estimation processing. In S218, if the estimation processing termination condition is satisfied (Yes in S218), for example, the estimated actual parking lot or actual parking position is adopted by the driver (if the parking position is determined), or the operation unit When the estimation end operation is input from 26b, this flow is temporarily ended.

また、Ｓ２１０において、駐車区画点や方向フラグが検出できない場合（Ｓ２１０Ｎｏ）、Ｓ２１８に移行して推定処理終了条件が成立しているか否かの判定処理を行い、推定処理終了条件が成立していない場合は、新たな推定用画像に対する推定処理を継続して実行する。 In addition, in S210, if the parking lot point or direction flag cannot be detected (S210 No), the process moves to S218 and a determination process is performed as to whether or not the estimation process end condition is satisfied, and if the estimation process end condition is not satisfied. If so, the estimation process for the new estimation image is continued.

このように、実施形態の駐車位置検出システム１６によれば、学習時に実在する区画線に基づいて参照点をアノテートするので、アノテート精度が向上するとともに、推定時にも区画線を含む画像を学習済モデルに入力可能となり、実駐車区画の推定精度を向上することができる。さらに、アノテートのときに駐車する際の車両基準線と略平行または略直交することを示す車両方向情報を学習しておくので、推定した実駐車区画に駐車する際の車両方向の推定精度を向上することができる。 In this way, according to the parking position detection system 16 of the embodiment, reference points are annotated based on existing lane markings at the time of learning, so annotation accuracy is improved, and images including lane markings are learned even during estimation. This can be input into the model, improving the accuracy of estimating the actual parking lot. Furthermore, since the vehicle direction information indicating that the vehicle is approximately parallel or perpendicular to the vehicle reference line when parking is learned during annotation, the accuracy of estimating the vehicle direction when parking in the estimated actual parking lot is improved. can do.

また、上述した学習モードにおいて、俯瞰画像を参照して参照点Ｐ１～Ｐ４をアノテーションする例を示したが、図３に示す二次元画像を参照して参照点Ｐ１～Ｐ４をアノテーションしてもよく、同様な学習を行うことができる。 Furthermore, in the learning mode described above, an example was shown in which the reference points P1 to P4 are annotated with reference to the bird's-eye view image, but the reference points P1 to P4 may also be annotated with reference to the two-dimensional image shown in FIG. , similar learning can be performed.

なお、本実施形態の駐車位置検出システム１６を実現するプロセッサで実行される学習モード処理や推定モード処理のためのプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。 Note that the programs for learning mode processing and estimation mode processing executed by the processor that realizes the parking position detection system 16 of this embodiment are stored in installable or executable format files on a CD-ROM or flexible disk. The information may be provided by being recorded on a computer-readable recording medium such as (FD), CD-R, or DVD (Digital Versatile Disk).

さらに、本実施形態の処理を実行するプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。 Furthermore, the program for executing the process of this embodiment may be stored on a computer connected to a network such as the Internet, and may be provided by being downloaded via the network. Further, the program executed in this embodiment may be provided or distributed via a network such as the Internet.

本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although the embodiments and modifications of the present invention have been described, these embodiments and modifications are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, substitutions, and changes can be made without departing from the gist of the invention. These embodiments and their modifications are included within the scope and gist of the invention, as well as within the scope of the invention described in the claims and its equivalents.

１０…車両、１６…駐車位置検出システム、１８…モード切替部、２０…取得部、２２…学習モード実行部、２２ａ…参照点設定部、２２ｂ…方向フラグ設定部、２２ｃ…モデル作成部、２４…推定モード実行部、２４ａ…推定部、２４ａ１…参照点推定部、２４ａ２…車両方向推定値算出部、２４ａ３…方向フラグ付与部、２４ｂ…処理部、２４ｂ１…変換部、２４ｂ２…駐車位置特定部、２４ｂ３…基準線設定部、２６…表示装置、２６ａ…表示部、２６ｂ…操作部、２８…学習済モデル記憶部、３２…駐車区画、３４…学習区画、３６…仮想車両、３６ａ…前面ライン、３６ｂ…左側面ライン、３６ｃ…後面ライン、３６ｄ…右側面ライン、Ｐ１～Ｐ４…参照点、Ｌ１～Ｌ３…接続線。 DESCRIPTION OF SYMBOLS 10... Vehicle, 16... Parking position detection system, 18... Mode switching part, 20... Acquisition part, 22... Learning mode execution part, 22a... Reference point setting part, 22b... Direction flag setting part, 22c... Model creation part, 24 ... Estimation mode execution section, 24a... Estimation section, 24a1... Reference point estimation section, 24a2... Vehicle direction estimated value calculation section, 24a3... Direction flag assignment section, 24b... Processing section, 24b1... Conversion section, 24b2... Parking position identification section , 24b3...Reference line setting section, 26...Display device, 26a...Display section, 26b...Operation section, 28...Learned model storage section, 32...Parking section, 34...Learning section, 36...Virtual vehicle, 36a...Front line , 36b...left side line, 36c...rear side line, 36d...right side line, P1 to P4...reference point, L1 to L3...connection line.

Claims (5)

車両の周囲を撮像する撮像部からの画像データを取得する取得部と、
予め準備された学習用画像データに含まれる学習用駐車区画を規定する区画線に設定された複数の参照点と、隣接する二つの前記参照点を結ぶ接続線とを備え、前記接続線が前記車両を駐車する際に、前記車両の車両前後方向と車両幅方向との少なくとも一方に定められる車両基準線と略平行または略直交する方向に延びる車両方向基準線になり得るか否かを定めた車両方向情報と前記接続線との関係を複数学習した結果としての学習済モデルを有し、前記学習済モデルに前記画像データを入力して得られる結果に基づき、前記車両の実駐車区画及び当該実駐車区画に駐車する際の車両方向を推定する推定部と、
を含む、駐車位置検出システム。 an acquisition unit that acquires image data from an imaging unit that images the surroundings of the vehicle;
It includes a plurality of reference points set on the lot line defining the learning parking lot included in the learning image data prepared in advance, and a connecting line connecting the two adjacent reference points, and the connecting line is connected to the When parking a vehicle, it is determined whether or not the vehicle direction reference line can be a vehicle direction reference line that extends in a direction substantially parallel to or substantially orthogonal to a vehicle reference line defined in at least one of the vehicle longitudinal direction and the vehicle width direction of the vehicle. It has a learned model as a result of learning a plurality of relationships between vehicle direction information and the connection line, and based on the result obtained by inputting the image data to the learned model, the actual parking lot of the vehicle and the corresponding an estimation unit that estimates the direction of the vehicle when parking in the actual parking lot;
including parking position detection system. 前記車両基準線は、前記車両前後方向と前記車両幅方向に一本ずつ設定される、請求項１に記載の駐車位置検出システム。 The parking position detection system according to claim 1, wherein the vehicle reference line is set one each in the vehicle longitudinal direction and the vehicle width direction. 前記推定部は、前記実駐車区画が推定された場合、前記実駐車区画上で前記接続線に対応する対応線が前記車両方向基準線になり得るか否かを示す車両方向推定値を算出し、前記車両方向推定値が所定の閾値以下の場合、前記対応線が前記車両方向基準線であることを示す方向フラグを付与し、前記車両方向推定値が前記閾値を超える場合、前記対応線が前記車両方向基準線ではないことを示す非方向フラグを付与する、請求項１に記載の駐車位置検出システム。 The estimation unit calculates a vehicle direction estimated value indicating whether or not a corresponding line corresponding to the connection line on the actual parking compartment can become the vehicle direction reference line when the actual parking compartment is estimated. , when the estimated vehicle direction value is less than or equal to a predetermined threshold, a direction flag indicating that the corresponding line is the vehicle direction reference line is added; when the estimated vehicle direction value exceeds the threshold, the corresponding line is The parking position detection system according to claim 1, wherein a non-direction flag indicating that the vehicle direction reference line is not the vehicle direction reference line is provided. 前記推定部は、前記車両方向基準線が複数存在する場合、当該車両方向基準線に対して重みつ付け処理を実行して、前記車両方向の推定に用いる前記車両方向基準線を補正する、請求項１に記載の駐車位置検出システム。 The estimation unit corrects the vehicle direction reference line used for estimating the vehicle direction by performing a weighting process on the vehicle direction reference line when a plurality of the vehicle direction reference lines exist. The parking position detection system according to item 1. 前記推定部は、補正された複数の前記車両方向基準線の前記車両基準線に対する角度の平均値を算出し、前記車両基準線に対する統合車両方向基準線を決定する、請求項４に記載の駐車位置検出システム。 The parking system according to claim 4, wherein the estimation unit calculates an average value of angles of the plurality of corrected vehicle direction reference lines with respect to the vehicle reference line, and determines an integrated vehicle direction reference line with respect to the vehicle reference line. Location detection system.
JP2022141670A 2022-09-06 2022-09-06 Parking position detection system Pending JP2024037038A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022141670A JP2024037038A (en) 2022-09-06 2022-09-06 Parking position detection system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022141670A JP2024037038A (en) 2022-09-06 2022-09-06 Parking position detection system

Publications (1)

Publication Number Publication Date
JP2024037038A true JP2024037038A (en) 2024-03-18

Family

ID=90273174

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022141670A Pending JP2024037038A (en) 2022-09-06 2022-09-06 Parking position detection system

Country Status (1)

Country Link
JP (1) JP2024037038A (en)

Similar Documents

Publication Publication Date Title
JP7461720B2 (en) Vehicle position determination method and vehicle position determination device
CN107203738B (en) Vehicle lane boundary positioning
CN107646114B (en) Method for estimating lane
JP5782708B2 (en) Driving support device
Xue et al. A vision-centered multi-sensor fusing approach to self-localization and obstacle perception for robotic cars
US11670087B2 (en) Training data generating method for image processing, image processing method, and devices thereof
US20190323852A1 (en) Enhanced vehicle tracking
US11288526B2 (en) Method of collecting road sign information using mobile mapping system
US20200353914A1 (en) In-vehicle processing device and movement support system
CN112967283B (en) Target identification method, system, equipment and storage medium based on binocular camera
US11680801B2 (en) Navigation based on partially occluded pedestrians
EP2574958A1 (en) Road-terrain detection method and system for driver assistance systems
CN113561963B (en) Parking method and device and vehicle
JP2024023319A (en) Detection of emergency vehicle
CN112232275B (en) Obstacle detection method, system, equipment and storage medium based on binocular recognition
CN109271857A (en) A kind of puppet lane line elimination method and device
CN110992424B (en) Positioning method and system based on binocular vision
CN112734811B (en) Obstacle tracking method, obstacle tracking device and chip
US20230341239A1 (en) Systems and methods for road segment mapping
JP2021120255A (en) Distance estimation device and computer program for distance estimation
Lee et al. Bird’s eye view localization of surrounding vehicles: Longitudinal and lateral distance estimation with partial appearance
CN109883439A (en) A kind of automobile navigation method, device, electronic equipment and storage medium
US20210382560A1 (en) Methods and System for Determining a Command of an Occupant of a Vehicle
JP2024037038A (en) Parking position detection system
CN113298044B (en) Obstacle detection method, system, device and storage medium based on positioning compensation