JP2021064146A - Parking support device - Google Patents

Parking support device Download PDF

Info

Publication number
JP2021064146A
JP2021064146A JP2019188203A JP2019188203A JP2021064146A JP 2021064146 A JP2021064146 A JP 2021064146A JP 2019188203 A JP2019188203 A JP 2019188203A JP 2019188203 A JP2019188203 A JP 2019188203A JP 2021064146 A JP2021064146 A JP 2021064146A
Authority
JP
Japan
Prior art keywords
end point
unit
parking
recognition
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019188203A
Other languages
Japanese (ja)
Other versions
JP7380058B2 (en
Inventor
陽司 乾
Yoji Inui
陽司 乾
将太 祖父江
Shota Sofue
将太 祖父江
賢樹 古川
Masaki Furukawa
賢樹 古川
直樹 山村
Naoki Yamamura
直樹 山村
祐也 下平
Yuya Shimodaira
祐也 下平
政孝 山本
Masataka Yamamoto
政孝 山本
幸夫 川端
Yukio Kawabata
幸夫 川端
仁人 小瀬川
Masahito Ozekawa
仁人 小瀬川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Priority to JP2019188203A priority Critical patent/JP7380058B2/en
Priority to DE102020126526.3A priority patent/DE102020126526A1/en
Publication of JP2021064146A publication Critical patent/JP2021064146A/en
Application granted granted Critical
Publication of JP7380058B2 publication Critical patent/JP7380058B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

To provide parking support device capable of improving calculation accuracy of location information at a parking target position of a vehicle.SOLUTION: An ECU 14 as a parking support device comprises: a data acquisition unit 141 which acquires image data obtained by capturing a periphery of a vehicle; a compartment line detecting unit 142 which detects a parking frame from the image data each time image data is acquired when parking support of a vehicle is executed; an update unit 143 which updates a tracking end point to track as an end point of the parking frame on the basis of a recognition end point of the detected parking frame; and a calculation unit 144 which calculates location information at a parking target position of the vehicle on the basis of the tracking end point. The update unit 143 determines whether the recognition end point is erroneous detection on the basis of at least one of a first positional relationship between an imaging unit and a recognition end point, a second positional relationship between the recognition end point and a pre-update tracking end point, and a third positional relationship between the recognition end point and a reference point, which is a tracking end point when parking support of the vehicle was started. When determining that the recognition end point is erroneous detection, the update unit does not update the tracking end point.SELECTED DRAWING: Figure 5

Description

本発明の実施形態は、駐車支援装置に関する。 An embodiment of the present invention relates to a parking support device.

車両の駐車支援を実行する場合に、車両に搭載される撮像部によって当該車両の周囲を撮像した画像データに含まれる区画線等の駐車枠を検出し、検出した駐車枠に基づいて、車両の駐車目標位置を算出する駐車支援装置が開発されている。その駐車支援装置では、車両が所定距離移動する度に、画像データから区画線を検出し直し、駐車目標位置を更新する。 When executing vehicle parking assistance, a parking frame such as a lane marking included in image data obtained by imaging the surroundings of the vehicle is detected by an imaging unit mounted on the vehicle, and the vehicle is based on the detected parking frame. A parking support device that calculates the parking target position has been developed. The parking support device re-detects the lane marking from the image data and updates the parking target position each time the vehicle moves a predetermined distance.

特開２００５−３７４９４９号公報Japanese Unexamined Patent Publication No. 2005-374949

しかしながら、上記の駐車支援装置では、駐車目標位置を更新する際、更新前の駐車目標位置と、更新後の駐車目標位置と、の差分によらずに、駐車目標位置を更新しているため、画像データに含まれる、路面のノイズや、路面標示、影等を、駐車枠として誤検出した場合に、誤検出した駐車枠に基づいて、駐車目標位置が算出されてしまい、駐車目標位置の算出精度が悪化する場合がある。 However, in the above parking support device, when updating the parking target position, the parking target position is updated regardless of the difference between the parking target position before the update and the parking target position after the update. When road surface noise, road markings, shadows, etc. included in the image data are erroneously detected as parking frames, the parking target position is calculated based on the erroneously detected parking frame, and the parking target position is calculated. Accuracy may deteriorate.

そこで、実施形態の課題の一つは、車両の駐車目標位置の位置情報の算出精度を向上させることができる駐車支援装置を提供する。 Therefore, one of the problems of the embodiment is to provide a parking support device capable of improving the calculation accuracy of the position information of the parking target position of the vehicle.

実施形態の駐車支援装置は、一例として、車両に搭載される撮像部によって当該車両の周囲を撮像した画像データを取得する取得部と、前記車両の駐車支援を実行する場合に、前記画像データが取得される度に、当該画像データから、駐車枠を検出する検出部と、検出した前記駐車枠の認識端点に基づいて、前記駐車枠の端点として追跡する追跡端点を更新する更新部と、前記追跡端点に基づいて、前記車両の駐車目標位置の位置情報を算出する算出部と、を備え、前記更新部は、前記撮像部と前記認識端点との第１位置関係、前記認識端点と更新前の前記追跡端点との第２位置関係、および前記認識端点と前記車両の駐車支援が開始された際の前記追跡端点である基準点との第３位置関係の少なくとも１つに基づいて、前記認識端点が誤検出であるか否かを判定し、前記認識端点が誤検出であると判定した場合、前記追跡端点を更新しない。よって、一例として、駐車目標位置の位置情報の算出精度を向上させることができる。 As an example, the parking support device of the embodiment has an acquisition unit that acquires image data obtained by capturing an image of the surroundings of the vehicle by an image pickup unit mounted on the vehicle, and the image data when the parking support of the vehicle is executed. Each time it is acquired, a detection unit that detects a parking frame from the image data, an update unit that updates a tracking end point that is tracked as an end point of the parking frame based on the detected recognition end point of the parking frame, and the above-mentioned A calculation unit that calculates the position information of the parking target position of the vehicle based on the tracking end point is provided, and the update unit includes a first positional relationship between the image pickup unit and the recognition end point, and the recognition end point and before update. Based on at least one of the second positional relationship with the tracking end point and the third positional relationship between the recognition end point and the reference point which is the tracking end point when the parking support of the vehicle is started. If it is determined whether or not the end point is erroneous detection and it is determined that the recognition end point is erroneous detection, the tracking end point is not updated. Therefore, as an example, it is possible to improve the calculation accuracy of the position information of the parking target position.

また、実施形態の駐車支援装置は、一例として、前記第１位置関係が、前記撮像部と前記認識端点間のユークリッド距離であり、前記更新部は、前記撮像部と前記認識端点間のユークリッド距離が第１閾値以上である場合、前記認識端点が誤検出であると判定する。よって、一例として、駐車目標位置の位置情報の算出精度を向上させることができる。 Further, in the parking support device of the embodiment, as an example, the first positional relationship is the Euclidean distance between the image pickup unit and the recognition end point, and the update unit is the Euclidean distance between the image pickup unit and the recognition end point. Is equal to or greater than the first threshold value, it is determined that the recognition end point is erroneous detection. Therefore, as an example, it is possible to improve the calculation accuracy of the position information of the parking target position.

また、実施形態の駐車支援装置は、一例として、前記第２位置関係が、更新前の前記追跡端点を端点とする前記駐車枠の幅方向および長さ方向をそれぞれをｘ，ｚ軸とする直交座標系における、更新前の前記追跡端点と前記認識端点間のｘ座標の差である第１距離、更新前の前記追跡端点と前記認識端点間のｚ座標の差である第２距離、および、前記ｚ軸と、前記認識端点を端点とする前記駐車枠の長さ方向と、がなす角度であり、前記更新部は、前記第１距離が第２閾値以上である場合、前記第２距離が第３閾値以上である場合、または前記角度が前記第４閾値以上である場合、前記認識端点が誤検出であると判定する。よって、一例として、駐車目標位置の位置情報の算出精度を向上させることができる。 Further, in the parking support device of the embodiment, as an example, the second positional relationship is orthogonal with the width direction and the length direction of the parking frame having the tracking end point before the update as the end points and the x and z axes, respectively. In the coordinate system, the first distance, which is the difference in x-coordinates between the tracking end point before the update and the recognition end point, the second distance, which is the difference in the z-coordinate between the tracking end point and the recognition end point before the update, and It is an angle formed by the z-axis and the length direction of the parking frame with the recognition end point as an end point, and when the first distance is equal to or greater than the second threshold value, the second distance is If it is equal to or greater than the third threshold value, or if the angle is equal to or greater than the fourth threshold value, it is determined that the recognition end point is erroneous detection. Therefore, as an example, it is possible to improve the calculation accuracy of the position information of the parking target position.

また、実施形態の駐車支援装置は、一例として、前記第３位置関係が、前記認識端点と前記基準点間のユークリッド距離であり、前記更新部は、前記認識端点と前記基準点間のユークリッド距離が前記第５閾値以上である場合、前記認識端点が誤検出であると判定する。よって、一例として、駐車目標位置の位置情報の算出精度を向上させることができる。 Further, in the parking support device of the embodiment, as an example, the third positional relationship is the Euclidean distance between the recognition end point and the reference point, and the update unit is the Euclidean distance between the recognition end point and the reference point. Is equal to or greater than the fifth threshold value, it is determined that the recognition end point is erroneous detection. Therefore, as an example, it is possible to improve the calculation accuracy of the position information of the parking target position.

また、実施形態の駐車支援装置は、一例として、前記認識端点は、前記駐車枠の角のうち前記駐車目標位置の入口側の角である。よって、一例として、車両を駐車支援により駐車目標位置に駐車する際に、当該駐車目標位置に隣接する他の駐車位置にはみ出して、車両が駐車されることを抑制できる。 Further, in the parking support device of the embodiment, as an example, the recognition end point is a corner of the corner of the parking frame on the entrance side of the parking target position. Therefore, as an example, when the vehicle is parked at the parking target position by the parking assistance, it is possible to prevent the vehicle from being parked by protruding to another parking position adjacent to the parking target position.

また、実施形態の駐車支援装置は、一例として、前記更新部は、過去に検出した複数の前記駐車枠の前記認識端点に基づいて、前記追跡端点を更新する。よって、一例として、過去に検出した駐車枠の認識端点の中に誤検出した認識端点が含まれていたとしても、駐車目標位置の位置情報の算出精度の低下を軽減することができる。 Further, in the parking support device of the embodiment, as an example, the updating unit updates the tracking end point based on the recognition end points of the plurality of parking frames detected in the past. Therefore, as an example, even if the recognition end points of the parking frame detected in the past include the recognition end points that are erroneously detected, it is possible to reduce the decrease in the calculation accuracy of the position information of the parking target position.

図１は、本実施形態にかかる車両の車室の一部が透視された状態が示された例示的な斜視図である。FIG. 1 is an exemplary perspective view showing a state in which a part of the passenger compartment of the vehicle according to the present embodiment is seen through. 図２は、本実施形態にかかる車両の例示的な平面図である。FIG. 2 is an exemplary plan view of the vehicle according to the present embodiment. 図３は、本実施形態にかかる車両のダッシュボードの一例の車両後方からの視野での図である。FIG. 3 is a view of an example of the dashboard of the vehicle according to the present embodiment as viewed from the rear of the vehicle. 図４は、本実施形態にかかる車両が有する駐車支援システムの構成の例示的なブロック図である。FIG. 4 is an exemplary block diagram of the configuration of the parking support system included in the vehicle according to the present embodiment. 図５は、本実施形態にかかる車両が有するＥＣＵの機能構成の一例を示す図である。FIG. 5 is a diagram showing an example of the functional configuration of the ECU included in the vehicle according to the present embodiment. 図６は、本実施形態にかかる車両が有するＥＣＵによる認識端点が誤検出か否かの判定処理の一例を説明するための図である。FIG. 6 is a diagram for explaining an example of a determination process of whether or not the recognition end point by the ECU included in the vehicle according to the present embodiment is erroneous detection. 図７は、本実施形態にかかる車両が有するＥＣＵによる認識端点が誤検出か否かの判定処理の一例を説明するための図である。FIG. 7 is a diagram for explaining an example of a determination process of whether or not the recognition end point by the ECU included in the vehicle according to the present embodiment is erroneous detection. 図８は、本実施形態にかかる車両が有するＥＣＵによる認識端点が誤検出か否かの判定処理の一例を説明するための図である。FIG. 8 is a diagram for explaining an example of a determination process of whether or not the recognition end point by the ECU included in the vehicle according to the present embodiment is erroneous detection. 図９は、本実施形態にかかる車両が有するＥＣＵによる認識端点が誤検出か否かの判定処理の一例を説明するための図である。FIG. 9 is a diagram for explaining an example of a determination process of whether or not the recognition end point by the ECU included in the vehicle according to the present embodiment is erroneous detection. 図１０は、本実施形態にかかる車両のＥＣＵによる駐車目標位置の位置情報の算出処理の流れの一例を示すフローチャートである。FIG. 10 is a flowchart showing an example of a flow of calculation processing of position information of the parking target position by the ECU of the vehicle according to the present embodiment. 図１１は、本実施形態にかかるＥＣＵによる追跡端点の更新処理の流れの一例を示すフローチャートである。FIG. 11 is a flowchart showing an example of the flow of the tracking end point update process by the ECU according to the present embodiment.

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。 Hereinafter, exemplary embodiments of the present invention will be disclosed. The configurations of the embodiments shown below, as well as the actions, results, and effects produced by such configurations, are examples. The present invention can be realized by a configuration other than the configurations disclosed in the following embodiments, and at least one of various effects based on the basic configuration and derivative effects can be obtained. ..

本実施形態の車両１は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車や燃料電池自動車等であってもよいし、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。 The vehicle 1 of the present embodiment may be, for example, an automobile having an internal combustion engine as a drive source (not shown), that is, an internal combustion engine automobile, or an automobile having an electric motor (not shown) as a drive source, that is, an electric vehicle or a fuel cell. It may be an automobile or the like, a hybrid automobile using both of them as a drive source, or an automobile having another drive source. Further, the vehicle 1 can be equipped with various transmission devices, and can be equipped with various devices necessary for driving an internal combustion engine or an electric motor, such as a system or a component. In addition, the method, number, layout, and the like of the devices involved in driving the wheels 3 in the vehicle 1 can be set in various ways.

図１は、本実施形態にかかる車両の車室の一部が透視された状態が示された例示的な斜視図である。図２は、本実施形態にかかる車両の例示的な平面図である。図３は、本実施形態にかかる車両のダッシュボードの一例の車両後方からの視野での図である。図４は、本実施形態にかかる車両が有する駐車支援システムの構成の例示的なブロック図である。 FIG. 1 is an exemplary perspective view showing a state in which a part of the passenger compartment of the vehicle according to the present embodiment is seen through. FIG. 2 is an exemplary plan view of the vehicle according to the present embodiment. FIG. 3 is a view of an example of the dashboard of the vehicle according to the present embodiment as viewed from the rear of the vehicle. FIG. 4 is an exemplary block diagram of the configuration of the parking support system included in the vehicle according to the present embodiment.

まず、図１〜図４を用いて、本実施形態にかかる車両１の構成の一例について説明する。 First, an example of the configuration of the vehicle 1 according to the present embodiment will be described with reference to FIGS. 1 to 4.

図１に例示されるように、車体２は、不図示の乗員が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。 As illustrated in FIG. 1, the vehicle body 2 constitutes a passenger compartment 2a on which an occupant (not shown) rides. In the passenger compartment 2a, a steering unit 4, an acceleration operation unit 5, a braking operation unit 6, a speed change operation unit 7, and the like are provided so as to face the driver's seat 2b as a occupant.

操舵部４は、例えば、ダッシュボード２４から突出したステアリングホイールである。加速操作部５は、例えば、運転者の足下に位置されたアクセルペダルである。制動操作部６は、例えば、運転者の足下に位置されたブレーキペダルである。変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部４や、加速操作部５、制動操作部６、変速操作部７等は、これらには限定されない。 The steering unit 4 is, for example, a steering wheel protruding from the dashboard 24. The acceleration operation unit 5 is, for example, an accelerator pedal located under the driver's feet. The braking operation unit 6 is, for example, a brake pedal located under the driver's feet. The speed change operation unit 7 is, for example, a shift lever protruding from the center console. The steering unit 4, the acceleration operation unit 5, the braking operation unit 6, the speed change operation unit 7, and the like are not limited thereto.

また、車室２ａ内には、表示出力部としての表示装置８や、音声出力部としての音声出力装置９が設けられている。表示装置８は、例えば、ＬＣＤ（Liquid Crystal Display）や、ＯＥＬＤ（Organic Electroluminescent Display）等である。音声出力装置９は、例えば、スピーカである。また、表示装置８は、例えば、タッチパネル等、透明な操作入力部１０で覆われている。乗員は、操作入力部１０を介して表示装置８の表示画面に表示される画像を視認することができる。また、乗員は、表示装置８の表示画面に表示される画像に対応した位置で手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。 Further, in the vehicle interior 2a, a display device 8 as a display output unit and an audio output device 9 as an audio output unit are provided. The display device 8 is, for example, an LCD (Liquid Crystal Display), an OELD (Organic Electroluminescent Display), or the like. The audio output device 9 is, for example, a speaker. Further, the display device 8 is covered with a transparent operation input unit 10 such as a touch panel. The occupant can visually recognize the image displayed on the display screen of the display device 8 via the operation input unit 10. Further, the occupant can execute the operation input by touching, pushing or moving the operation input unit 10 with a finger or the like at a position corresponding to the image displayed on the display screen of the display device 8. ..

これら表示装置８や、音声出力装置９、操作入力部１０等は、例えば、ダッシュボード２４の車幅方向すなわち左右方向の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に不図示の音声出力装置を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。なお、モニタ装置１１は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。 The display device 8, the voice output device 9, the operation input unit 10, and the like are provided, for example, in the monitor device 11 located at the center of the dashboard 24 in the vehicle width direction, that is, in the left-right direction. The monitoring device 11 can have operation input units (not shown) such as switches, dials, joysticks, and push buttons. Further, an audio output device (not shown) can be provided at another position in the vehicle interior 2a different from the monitor device 11, and audio is output from the audio output device 9 of the monitor device 11 and another audio output device. be able to. The monitoring device 11 can also be used as, for example, a navigation system or an audio system.

また、車室２ａ内には、表示装置８とは別の表示装置１２が設けられている。図３に例示されるように、表示装置１２は、例えば、ダッシュボード２４の計器盤部２５に設けられ、計器盤部２５の略中央で、速度表示部２５ａと回転数表示部２５ｂとの間に位置されている。表示装置１２の画面１２ａの大きさは、表示装置８の画面８ａの大きさよりも小さい。この表示装置１２には、主として車両１の駐車支援に関する情報を示す画像が表示されうる。表示装置１２で表示される情報量は、表示装置８で表示される情報量より少なくてもよい。表示装置１２は、例えば、ＬＣＤや、ＯＥＬＤ等である。なお、表示装置８に、表示装置１２で表示される情報が表示されてもよい。 Further, a display device 12 different from the display device 8 is provided in the vehicle interior 2a. As illustrated in FIG. 3, the display device 12 is provided, for example, on the instrument panel 25 of the dashboard 24, and is located between the speed display 25a and the rotation speed display 25b at substantially the center of the instrument panel 25. Is located in. The size of the screen 12a of the display device 12 is smaller than the size of the screen 8a of the display device 8. The display device 12 may display an image mainly showing information regarding parking assistance of the vehicle 1. The amount of information displayed on the display device 12 may be less than the amount of information displayed on the display device 8. The display device 12 is, for example, an LCD, an OELD, or the like. The information displayed on the display device 12 may be displayed on the display device 8.

また、図１，２に例示されるように、車両１は、例えば、四輪自動車であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。これら四つの車輪３は、いずれも転舵可能に構成されうる。図４に例示されるように、車両１は、少なくとも二つの車輪３を操舵する操舵システム１３を有している。 Further, as illustrated in FIGS. 1 and 2, the vehicle 1 is, for example, a four-wheeled vehicle, and has two left and right front wheels 3F and two left and right rear wheels 3R. All of these four wheels 3 can be configured to be steerable. As illustrated in FIG. 4, vehicle 1 has a steering system 13 that steers at least two wheels 3.

操舵システム１３は、アクチュエータ１３ａと、トルクセンサ１３ｂとを有する。操舵システム１３は、ＥＣＵ１４（Electronic Control Unit）等によって電気的に制御されて、アクチュエータ１３ａを動作させる。操舵システム１３は、例えば、電動パワーステアリングシステムや、ＳＢＷ（Steer By Wire）システム等である。操舵システム１３は、アクチュエータ１３ａによって操舵部４にトルク、すなわちアシストトルクを付加して操舵力を補ったり、アクチュエータ１３ａによって車輪３を転舵したりする。この場合、アクチュエータ１３ａは、一つの車輪３を転舵してもよいし、複数の車輪３を転舵してもよい。また、トルクセンサ１３ｂは、例えば、運転者が操舵部４に与えるトルクを検出する。 The steering system 13 has an actuator 13a and a torque sensor 13b. The steering system 13 is electrically controlled by an ECU 14 (Electronic Control Unit) or the like to operate the actuator 13a. The steering system 13 is, for example, an electric power steering system, an SBW (Steer By Wire) system, or the like. The steering system 13 adds torque, that is, assist torque, to the steering portion 4 by the actuator 13a to supplement the steering force, or steers the wheels 3 by the actuator 13a. In this case, the actuator 13a may steer one wheel 3 or a plurality of wheels 3. Further, the torque sensor 13b detects, for example, the torque given to the steering unit 4 by the driver.

また、図２に例示されるように、車体２には、複数の撮像部１５として、例えば四つの撮像部１５ａ〜１５ｄが設けられている。撮像部１５は、例えば、ＣＣＤ（Charge Coupled Device）やＣＩＳ（CMOS Image Sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１５は、所定のフレームレートで動画データを出力することができる。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°〜１９０°の範囲を撮影することができる。また、撮像部１５の光軸は斜め下方に向けて設定されている。よって、撮像部１５は、車両１が移動可能な路面や車両１が駐車可能な領域を含む車体２の周辺の外部の環境を逐次撮影し、撮像画像データとして出力する。 Further, as illustrated in FIG. 2, the vehicle body 2 is provided with, for example, four imaging units 15a to 15d as a plurality of imaging units 15. The image pickup unit 15 is, for example, a digital camera having a built-in image pickup element such as a CCD (Charge Coupled Device) or a CIS (CMOS Image Sensor). The imaging unit 15 can output moving image data at a predetermined frame rate. The imaging unit 15 has a wide-angle lens or a fisheye lens, respectively, and can photograph a range of, for example, 140 ° to 190 ° in the horizontal direction. Further, the optical axis of the imaging unit 15 is set obliquely downward. Therefore, the imaging unit 15 sequentially photographs the external environment around the vehicle body 2 including the road surface on which the vehicle 1 can move and the area where the vehicle 1 can park, and outputs the captured image data.

撮像部１５ａは、例えば、車体２の後側の端部２ｅに位置され、リヤトランクのドア２ｈの下方の壁部に設けられている。撮像部１５ｂは、例えば、車体２の右側の端部２ｆに位置され、右側のドアミラー２ｇに設けられている。撮像部１５ｃは、例えば、車体２の前側、すなわち車両前後方向の前方側の端部２ｃに位置され、フロントバンパー等に設けられている。撮像部１５ｄは、例えば、車体２の左側、すなわち車幅方向の左側の端部２ｄに位置され、左側の突出部としてのドアミラー２ｇに設けられている。ＥＣＵ１４は、複数の撮像部１５で得られた画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両１を上方から見た仮想的な俯瞰画像を生成したりすることができる。なお、俯瞰画像は、平面画像とも称されうる。 The image pickup unit 15a is located, for example, at the rear end portion 2e of the vehicle body 2 and is provided on the wall portion below the door 2h of the rear trunk. The imaging unit 15b is located, for example, at the right end 2f of the vehicle body 2 and is provided on the right door mirror 2g. The image pickup unit 15c is located, for example, on the front side of the vehicle body 2, that is, on the front end portion 2c in the front-rear direction of the vehicle, and is provided on the front bumper or the like. The image pickup unit 15d is located, for example, on the left side of the vehicle body 2, that is, on the left end portion 2d in the vehicle width direction, and is provided on the door mirror 2g as a protrusion on the left side. The ECU 14 executes arithmetic processing and image processing based on the image data obtained by the plurality of imaging units 15, generates an image with a wider viewing angle, and obtains a virtual bird's-eye view image of the vehicle 1 viewed from above. Can be generated. The bird's-eye view image may also be referred to as a flat image.

また、ＥＣＵ１４は、撮像部１５の画像データから、車両１の周辺の路面に示された区画線等を識別し、区画線等に示された駐車区画を検出（抽出）する。 Further, the ECU 14 identifies the lane markings and the like shown on the road surface around the vehicle 1 from the image data of the imaging unit 15, and detects (extracts) the parking lot and the like shown by the lane markings and the like.

また、図１，２に例示されるように、車体２には、複数の測距部１６，１７として、例えば四つの測距部１６ａ〜１６ｄと、八つの測距部１７ａ〜１７ｈとが設けられている。測距部１６，１７は、例えば、超音波を発射してその反射波を捉えるソナーである。ソナーは、ソナーセンサ、あるいは超音波探知器とも称されうる。ＥＣＵ１４は、測距部１６，１７の検出結果により、車両１の周囲に位置された障害物等の物体の有無や当該物体までの距離を測定することができる。すなわち、測距部１６，１７は、物体を検出する検出部の一例である。なお、測距部１７は、例えば、比較的近距離の物体の検出に用いられ、測距部１６は、例えば、測距部１７よりも遠い比較的長距離の物体の検出に用いられうる。また、測距部１７は、例えば、車両１の前方および後方の物体の検出に用いられ、測距部１６は、車両１の側方の物体の検出に用いられうる。 Further, as illustrated in FIGS. 1 and 2, the vehicle body 2 is provided with, for example, four distance measuring units 16a to 16d and eight distance measuring units 17a to 17h as a plurality of distance measuring units 16 and 17. Has been done. The ranging units 16 and 17 are, for example, sonars that emit ultrasonic waves and capture the reflected waves. Sonar can also be referred to as a sonar sensor, or ultrasonic detector. The ECU 14 can measure the presence or absence of an object such as an obstacle located around the vehicle 1 and the distance to the object based on the detection results of the distance measuring units 16 and 17. That is, the distance measuring units 16 and 17 are examples of detection units that detect an object. The ranging unit 17 can be used, for example, to detect an object at a relatively short distance, and the ranging unit 16 can be used, for example, to detect an object at a relatively long distance farther than the ranging unit 17. Further, the distance measuring unit 17 can be used for detecting an object in front of and behind the vehicle 1, for example, and the distance measuring unit 16 can be used for detecting an object on the side of the vehicle 1.

また、図４に例示されるように、駐車支援システム１００では、ＥＣＵ１４や、モニタ装置１１、操舵システム１３、測距部１６，１７等の他、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（controller area network）として構成されている。 Further, as illustrated in FIG. 4, in the parking support system 100, in addition to the ECU 14, the monitor device 11, the steering system 13, the distance measuring units 16, 17, and the like, the brake system 18, the steering angle sensor 19, and the accelerator sensor 20 , The shift sensor 21, the wheel speed sensor 22, and the like are electrically connected via the in-vehicle network 23 as a telecommunications line. The in-vehicle network 23 is configured as, for example, a CAN (controller area network).

ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、操舵システム１３、ブレーキシステム１８等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、測距部１６、測距部１７、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等の検出結果や、操作入力部１０等の操作信号等を、受け取ることができる。 The ECU 14 can control the steering system 13, the brake system 18, and the like by sending a control signal through the in-vehicle network 23. Further, the ECU 14 detects the torque sensor 13b, the brake sensor 18b, the steering angle sensor 19, the distance measuring unit 16, the distance measuring unit 17, the accelerator sensor 20, the shift sensor 21, the wheel speed sensor 22, and the like via the in-vehicle network 23. The result, the operation signal of the operation input unit 10 and the like can be received.

ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（Central Processing Unit）や、ＲＯＭ（Read Only Memory）１４ｂ、ＲＡＭ（Random Access Memory）１４ｃ、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ（Solid State Drive、フラッシュメモリ）１４ｆ等を有している。 The ECU 14 includes, for example, a CPU 14a (Central Processing Unit), a ROM (Read Only Memory) 14b, a RAM (Random Access Memory) 14c, a display control unit 14d, a voice control unit 14e, an SSD (Solid State Drive, flash memory) 14f, and the like. have.

ＣＰＵ１４ａは、例えば、表示装置８，１２で表示される画像に関連した画像処理や、車両１の目標位置の決定、車両１の移動経路の演算、物体との干渉の有無の判断、車両１の自動制御、自動制御の解除等の、各種の演算処理および制御を実行することができる。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。 The CPU 14a, for example, performs image processing related to images displayed on the display devices 8 and 12, determines a target position of the vehicle 1, calculates a movement path of the vehicle 1, determines whether or not there is interference with an object, and determines whether or not the vehicle 1 interferes with the vehicle 1. Various arithmetic processes and controls such as automatic control and cancellation of automatic control can be executed. The CPU 14a can read a program installed and stored in a non-volatile storage device such as a ROM 14b, and execute arithmetic processing according to the program.

ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像部１５で得られた画像データを用いた画像処理や、表示装置８で表示される画像データの合成等を実行する。また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（Digital Signal Processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（Hard Disk Drive）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、ＥＣＵ１４とは別に設けられてもよい。ＥＣＵ１４は、画像処理装置の一例である。 The RAM 14c temporarily stores various data used in the calculation by the CPU 14a. Further, the display control unit 14d mainly executes image processing using the image data obtained by the imaging unit 15 and synthesizing the image data displayed by the display device 8 among the arithmetic processes in the ECU 14. Further, the voice control unit 14e mainly executes the processing of the voice data output by the voice output device 9 among the arithmetic processing in the ECU 14. Further, the SSD 14f is a rewritable non-volatile storage unit, and can store data even when the power supply of the ECU 14 is turned off. The CPU 14a, ROM 14b, RAM 14c, and the like can be integrated in the same package. Further, the ECU 14 may have a configuration in which another logical operation processor such as a DSP (Digital Signal Processor), a logic circuit, or the like is used instead of the CPU 14a. Further, an HDD (Hard Disk Drive) may be provided instead of the SSD 14f, and the SSD 14f and the HDD may be provided separately from the ECU 14. The ECU 14 is an example of an image processing device.

ブレーキシステム１８は、例えば、ブレーキのロックを抑制するＡＢＳ（Anti-lock Brake System）や、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：Electronic Stability Control）、ブレーキ力を増強させる（ブレーキアシストを実行する）電動ブレーキシステム、ＢＢＷ（Brake By Wire）等である。ブレーキシステム１８は、アクチュエータ１８ａを介して、車輪３ひいては車両１に制動力を与える。また、ブレーキシステム１８は、左右の車輪３の回転差などからブレーキのロックや、車輪３の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。ブレーキセンサ１８ｂは、例えば、制動操作部６の可動部の位置を検出するセンサである。ブレーキセンサ１８ｂは、可動部としてのブレーキペダルの位置を検出することができる。ブレーキセンサ１８ｂは、変位センサを含む。 The brake system 18 includes, for example, an ABS (Anti-lock Brake System) that suppresses the lock of the brake, a sideslip prevention device (ESC: Electronic Stability Control) that suppresses the sideslip of the vehicle 1 during cornering, and enhances the braking force (ESC: Electronic Stability Control). An electric brake system (which executes brake assist), BBW (Brake By Wire), etc. The brake system 18 applies a braking force to the wheels 3 and thus to the vehicle 1 via the actuator 18a. Further, the brake system 18 can execute various controls by detecting signs of brake lock, idling of the wheels 3, skidding, etc. from the difference in rotation between the left and right wheels 3. The brake sensor 18b is, for example, a sensor that detects the position of the movable portion of the braking operation portion 6. The brake sensor 18b can detect the position of the brake pedal as a movable part. The brake sensor 18b includes a displacement sensor.

舵角センサ１９は、例えば、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。舵角センサ１９は、例えば、ホール素子などを用いて構成される。ＥＣＵ１４は、運転者による操舵部４の操舵量や、自動操舵時の各車輪３の操舵量等を、舵角センサ１９から取得して各種制御を実行する。なお、舵角センサ１９は、操舵部４に含まれる回転部分の回転角度を検出する。舵角センサ１９は、角度センサの一例である。 The steering angle sensor 19 is, for example, a sensor that detects the steering amount of the steering unit 4 such as the steering wheel. The rudder angle sensor 19 is configured by using, for example, a Hall element or the like. The ECU 14 acquires the steering amount of the steering unit 4 by the driver, the steering amount of each wheel 3 at the time of automatic steering, and the like from the steering angle sensor 19 and executes various controls. The steering angle sensor 19 detects the rotation angle of the rotating portion included in the steering unit 4. The steering angle sensor 19 is an example of an angle sensor.

アクセルセンサ２０は、例えば、加速操作部５の可動部の位置を検出するセンサである。アクセルセンサ２０は、可動部としてのアクセルペダルの位置を検出することができる。アクセルセンサ２０は、変位センサを含む。 The accelerator sensor 20 is, for example, a sensor that detects the position of a movable portion of the acceleration operation unit 5. The accelerator sensor 20 can detect the position of the accelerator pedal as a movable part. The accelerator sensor 20 includes a displacement sensor.

シフトセンサ２１は、例えば、変速操作部７の可動部の位置を検出するセンサである。シフトセンサ２１は、可動部としての、レバーや、アーム、ボタン等の位置を検出することができる。シフトセンサ２１は、変位センサを含んでもよいし、スイッチとして構成されてもよい。 The shift sensor 21 is, for example, a sensor that detects the position of the movable portion of the shift operation unit 7. The shift sensor 21 can detect the positions of levers, arms, buttons, etc. as movable parts. The shift sensor 21 may include a displacement sensor or may be configured as a switch.

車輪速センサ２２は、車輪３の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ２２は、検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ２２は、例えば、ホール素子などを用いて構成されうる。ＥＣＵ１４は、車輪速センサ２２から取得したセンサ値に基づいて車両１の移動量などを演算し、各種制御を実行する。なお、車輪速センサ２２は、ブレーキシステム１８に設けられている場合もある。その場合、ＥＣＵ１４は、車輪速センサ２２の検出結果をブレーキシステム１８を介して取得する。 The wheel speed sensor 22 is a sensor that detects the amount of rotation of the wheel 3 and the number of rotations per unit time. The wheel speed sensor 22 outputs the number of wheel speed pulses indicating the detected rotation speed as a sensor value. The wheel speed sensor 22 may be configured by using, for example, a Hall element or the like. The ECU 14 calculates the movement amount of the vehicle 1 based on the sensor value acquired from the wheel speed sensor 22, and executes various controls. The wheel speed sensor 22 may be provided in the brake system 18. In that case, the ECU 14 acquires the detection result of the wheel speed sensor 22 via the brake system 18.

なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。 The configurations, arrangements, electrical connection forms, etc. of the various sensors and actuators described above are examples and can be set (changed) in various ways.

図５は、本実施形態にかかる車両が有するＥＣＵの機能構成の一例を示す図である。 FIG. 5 is a diagram showing an example of the functional configuration of the ECU included in the vehicle according to the present embodiment.

次に、図５を用いて、本実施形態にかかる車両１が有するＥＣＵ１４の機能構成の一例について説明する。 Next, an example of the functional configuration of the ECU 14 included in the vehicle 1 according to the present embodiment will be described with reference to FIG.

本実施形態にかかるＥＣＵ１４は、図５に示すように、データ取得部１４１、区画線検出部１４２、更新部１４３、および算出部１４４を有する駐車支援装置の一例である。本実施形態では、ＣＰＵ１４ａが、ＲＯＭ１４ｂやＳＳＤ１４ｆ等の記憶装置に記憶されるプログラムを読み出して実行することにより、データ取得部１４１、区画線検出部１４２、更新部１４３、および算出部１４４等の各種の機能モジュールを実現する。 As shown in FIG. 5, the ECU 14 according to the present embodiment is an example of a parking support device having a data acquisition unit 141, a lane marking detection unit 142, an update unit 143, and a calculation unit 144. In the present embodiment, the CPU 14a reads and executes a program stored in a storage device such as a ROM 14b or an SSD 14f to execute various types of data acquisition unit 141, division line detection unit 142, update unit 143, calculation unit 144, and the like. Realize the functional module of.

本実施形態では、データ取得部１４１、区画線検出部１４２、更新部１４３、および算出部１４４等の各種の機能モジュールは、ＣＰＵ１４ａ等のプロセッサが、ＲＯＭ１４ｂやＳＳＤ１４ｆ等の記憶装置に記憶されるプログラムを読み出して実行することにより実現されるが、これに限定するものではない。例えば、データ取得部１４１、区画線検出部１４２、更新部１４３、および算出部１４４等の各種の機能モジュールは、独立したハードウェアにより実現することも可能である。また、データ取得部１４１、区画線検出部１４２、更新部１４３、および算出部１４４等の各種の機能モジュールは、一例であり、同様の機能を実現できれば、各機能モジュールが統合されたり、細分化されたりしていても良い。 In the present embodiment, various functional modules such as the data acquisition unit 141, the lane marking detection unit 142, the update unit 143, and the calculation unit 144 are programs in which a processor such as a CPU 14a is stored in a storage device such as a ROM 14b or an SSD 14f. It is realized by reading and executing, but is not limited to this. For example, various functional modules such as a data acquisition unit 141, a lane marking detection unit 142, an update unit 143, and a calculation unit 144 can be realized by independent hardware. Further, various functional modules such as a data acquisition unit 141, a lane marking detection unit 142, an update unit 143, and a calculation unit 144 are examples, and if similar functions can be realized, each functional module can be integrated or subdivided. It may be done.

データ取得部１４１は、撮像部１５によって車両１の周囲を撮像した画像データを取得する取得部の一例である。本実施形態では、データ取得部１４１は、複数の撮像部１５ａ〜１５ｄのそれぞれから、画像データを取得する。 The data acquisition unit 141 is an example of an acquisition unit that acquires image data obtained by imaging the surroundings of the vehicle 1 by the image pickup unit 15. In the present embodiment, the data acquisition unit 141 acquires image data from each of the plurality of imaging units 15a to 15d.

また、データ取得部１４１は、車両データを取得する。ここで、車両データは、車両１の走行に関するデータである。例えば、車両データは、ブレーキセンサ１８ｂによるブレーキペダルの位置の検出結果、舵角センサ１９による操舵量の検出結果、アクセルセンサ２０による加速操作部５の可動部の位置の検出結果、シフトセンサ２１による変速操作部７の可動部の位置の検出結果、車輪速センサ２２による車輪３の回転数の検出結果等である。 In addition, the data acquisition unit 141 acquires vehicle data. Here, the vehicle data is data related to the traveling of the vehicle 1. For example, the vehicle data includes the detection result of the position of the brake pedal by the brake sensor 18b, the detection result of the steering amount by the steering angle sensor 19, the detection result of the position of the movable part of the acceleration operation unit 5 by the accelerator sensor 20, and the shift sensor 21. The result of detecting the position of the movable part of the speed change operation unit 7, the result of detecting the rotation speed of the wheel 3 by the wheel speed sensor 22, and the like.

区画線検出部１４２は、車両１の駐車支援を実行する場合（例えば、操作入力部１０等から、駐車目標位置が指示された場合）、データ取得部１４１によって画像データが取得される度に、当該画像データから区画線を検出する検出部の一例である。本実施形態では、区画線検出部１４２は、撮像部１５ａによって車両１の後方を撮像して得られる画像データ、および、撮像部１５ｂ，１５ｄのうち駐車目標位置を撮像可能な撮像部１５によって車両１の側方を撮像して得られる画像データから、区画線を検出する。 When the lane marking unit 142 executes the parking support of the vehicle 1 (for example, when the parking target position is instructed by the operation input unit 10 or the like), each time the image data is acquired by the data acquisition unit 141, the lane marking unit 142 acquires the image data. This is an example of a detection unit that detects a lane marking from the image data. In the present embodiment, the lane marking detection unit 142 uses the image data obtained by imaging the rear of the vehicle 1 by the image pickup unit 15a and the image pickup unit 15 capable of capturing the parking target position among the image pickup units 15b and 15d. The lane marking is detected from the image data obtained by imaging the side of 1.

具体的には、区画線検出部１４２は、データ取得部１４１により取得される画像データのエッジを検出する。次いで、区画線検出部１４２は、画像データ内のエッジの検出結果に基づいて、画像データ内の特徴点を抽出し、当該抽出した特徴点を結んだ直線を、車両１を駐車する駐車目標位置の区画線として検出する。また、本実施形態では、区画線検出部１４２は、画像データから、車両１を駐車する領域（駐車目標位置）の区画線を検出しているが、車両１を駐車可能な領域を囲む枠（駐車枠）を検出するものであれば、これに限定するものではない。 Specifically, the lane marking detection unit 142 detects the edge of the image data acquired by the data acquisition unit 141. Next, the lane marking detection unit 142 extracts feature points in the image data based on the detection result of the edge in the image data, and a straight line connecting the extracted feature points is a parking target position for parking the vehicle 1. Detected as a lane marking. Further, in the present embodiment, the lane marking detection unit 142 detects the lane marking of the area where the vehicle 1 is parked (parking target position) from the image data, but the frame surrounding the area where the vehicle 1 can be parked ( The parking frame) is not limited to this as long as it is detected.

更新部１４３は、区画線検出部１４２により検出した区画線の認識端点に基づいて、追跡端点を更新する更新部の一例である。ここで、認識端点は、区画線の端点である。本実施形態では、認識端点は、区画線の角であり、例えば、駐車目標位置の入口側の角である。これにより、車両１を駐車支援により駐車目標位置に駐車する際に、当該駐車目標位置に隣接する他の駐車位置にはみ出して、車両１が駐車されることを抑制できる。また、追跡端点は、区画線の端点として追跡する端点である。本実施形態では、追跡端点は、区画線の角であり、例えば、駐車目標位置の入口側の角である。本実施形態では、認識端点および追跡端点は、区画線の角としているが、区画線の端点であれば、これに限定するものではない。例えば、認識端点および追跡端点は、区画線の角同士を結ぶ線分上の点であっても良い。 The update unit 143 is an example of an update unit that updates the tracking end point based on the recognition end point of the lane marking detected by the lane marking detection unit 142. Here, the recognition end point is the end point of the lane marking. In the present embodiment, the recognition end point is the corner of the lane marking, for example, the corner on the entrance side of the parking target position. As a result, when the vehicle 1 is parked at the parking target position by the parking support, it is possible to prevent the vehicle 1 from being parked by protruding to another parking position adjacent to the parking target position. Further, the tracking end point is an end point to be tracked as an end point of the lane marking. In the present embodiment, the tracking endpoint is the corner of the lane marking, for example, the corner on the entrance side of the parking target position. In the present embodiment, the recognition end point and the tracking end point are the corners of the lane markings, but the end points of the lane markings are not limited thereto. For example, the recognition endpoint and the tracking endpoint may be points on a line segment connecting the corners of the lane markings.

本実施形態では、更新部１４３は、過去に検出した複数の区画線の認識端点に基づいて、追跡端点を更新する。ここで、過去に検出した区画線とは、車両１の駐車支援の開始後に検出された区画線である。これにより、過去に検出した区画線の認識端点の中に誤検出した認識端点が含まれていたとしても、駐車目標位置の位置情報の算出精度の低下を軽減することができる。例えば、更新部１４３は、過去に検出した複数の区画線の認識端点の平均、最後に検出した区画線の認識端点、過去に検出した複数の区画線の認識端点のうち更新前の追跡端点との差が最も小さい認識端点等によって、追跡端点を更新する。 In the present embodiment, the updating unit 143 updates the tracking endpoint based on the recognition endpoints of the plurality of marking lines detected in the past. Here, the lane markings detected in the past are lane markings detected after the start of parking assistance for the vehicle 1. As a result, even if the recognition end points detected in the past include the recognition end points that are erroneously detected, it is possible to reduce the decrease in the calculation accuracy of the position information of the parking target position. For example, the update unit 143 includes the average of the recognition end points of the plurality of lane markings detected in the past, the recognition end point of the last detected lane marking, and the tracking end point before the update among the recognition end points of the plurality of lane markings detected in the past. The tracking endpoint is updated by the recognition endpoint with the smallest difference.

算出部１４４は、更新部１４３により更新される追跡端点に基づいて、車両１の駐車目標位置の位置情報を算出する算出部の一例である。本実施形態では、算出部１４４は、追跡端点の位置情報に基づいて、車両１（または撮像部１５）の位置を基準とする、駐車目標位置の位置情報を算出する。 The calculation unit 144 is an example of a calculation unit that calculates the position information of the parking target position of the vehicle 1 based on the tracking end point updated by the update unit 143. In the present embodiment, the calculation unit 144 calculates the position information of the parking target position based on the position of the vehicle 1 (or the imaging unit 15) based on the position information of the tracking end point.

ところで、車両１の駐車支援を実行する場合、駐車目標位置を撮像する際の車両１（撮像部１５）の位置によっては、画像データからの区画線の検出精度が低下することがある。例えば、車両１が駐車目標位置の真正面に位置する場合には、画像データからの区画線の検出精度を高く維持することができる。一方、車両１が駐車目標位置から離れるに従い、撮像部１５によって撮像可能な範囲の端の方で、駐車目標位置を撮像することになり、画像データからの区画線の検出精度が低下する場合がある。これにより、車両１の駐車支援を実行する場合に、駐車目標位置の位置情報を算出精度が低下することがある。 By the way, when the parking assistance of the vehicle 1 is executed, the detection accuracy of the lane marking from the image data may be lowered depending on the position of the vehicle 1 (imaging unit 15) when the parking target position is imaged. For example, when the vehicle 1 is located directly in front of the parking target position, the detection accuracy of the lane marking from the image data can be maintained high. On the other hand, as the vehicle 1 moves away from the parking target position, the parking target position is imaged toward the end of the range that can be imaged by the imaging unit 15, and the detection accuracy of the lane marking from the image data may decrease. is there. As a result, when the parking assistance of the vehicle 1 is executed, the accuracy of calculating the position information of the parking target position may decrease.

そこで、本実施形態では、更新部１４３は、撮像部１５と認識端点との位置関係（以下、第１位置関係と言う）、認識端点と更新前の追跡端点との位置関係（以下、第２位置関係と言う）、および、認識端点と基準点との位置関係（以下、第３位置関係と言う）の少なくとも１つに基づいて、認識端点が誤検出であるか否かを判定する。 Therefore, in the present embodiment, the update unit 143 has a positional relationship between the imaging unit 15 and the recognition end point (hereinafter referred to as the first positional relationship), and a positional relationship between the recognition end point and the tracking end point before the update (hereinafter, the second position). It is determined whether or not the recognition end point is erroneous detection based on at least one of the positional relationship (referred to as the positional relationship) and the positional relationship between the recognition end point and the reference point (hereinafter, referred to as the third positional relationship).

ここで、基準点は、車両１の駐車支援が開始された際の追跡端点である。本実施形態では、基準点は、車両１の駐車支援が開始された際に撮像部１５によって撮像される画像データから検出される区画線の認識端点に基づいて更新された追跡端点である。例えば、基準点は、車両１が駐車目標位置の真正面に位置する際に撮像部１５によって撮像される画像データから検出される区画線の認識端点に基づいて更新された追跡端点であることが好ましい。 Here, the reference point is the tracking end point when the parking support of the vehicle 1 is started. In the present embodiment, the reference point is a tracking end point updated based on the recognition end point of the lane marking detected from the image data captured by the image pickup unit 15 when the parking assistance of the vehicle 1 is started. For example, the reference point is preferably a tracking end point updated based on the recognition end point of the lane marking detected from the image data captured by the image pickup unit 15 when the vehicle 1 is located directly in front of the parking target position. ..

そして、更新部１４３は、認識端点が誤検出であると判定した場合、当該認識端点に基づいて追跡端点を更新しない。これにより、誤検出された認識端点に基づいて追跡端点が更新されることを防止できる。その結果、駐車目標位置の位置情報の算出精度を向上させることができる。 Then, when the update unit 143 determines that the recognition end point is an erroneous detection, the update unit 143 does not update the tracking end point based on the recognition end point. This makes it possible to prevent the tracking endpoint from being updated based on the falsely detected recognition endpoint. As a result, the accuracy of calculating the position information of the parking target position can be improved.

図６〜８は、本実施形態にかかる車両が有するＥＣＵによる認識端点が誤検出か否かの判定処理の一例を説明するための図である。 6 to 8 are diagrams for explaining an example of the determination process of whether or not the recognition end point by the ECU included in the vehicle according to the present embodiment is erroneous detection.

次に、図６〜８を用いて、本実施形態にかかるＥＣＵ１４による追跡端点の更新処理の一例について説明する。 Next, an example of the tracking end point update process by the ECU 14 according to the present embodiment will be described with reference to FIGS. 6 to 8.

操作入力部１０等を介して駐車目標位置が指示されると、区画線検出部１４２は、図６に示すように、当該駐車目標位置を撮像範囲Ａとする撮像部１５ｄから取得される画像データから、区画線Ｌを検出する。更新部１４３は、図６に示すように、画像データに基づいて、区画線Ｌの角のうち、駐車目標位置の入口側の角である認識端点ＲＰ１〜ＲＰ４に設定し、かつ、車両１（または、撮像部１５ｄ）の位置を基準とする、認識端点ＲＰ１〜ＲＰ４の位置情報を算出する。以下の説明では、認識端点ＲＰ１〜ＲＰ４を区別しない場合には、認識端点ＲＰと記載する。 When the parking target position is instructed via the operation input unit 10 or the like, the lane marking detection unit 142 obtains image data acquired from the image pickup unit 15d having the parking target position as the image pickup range A, as shown in FIG. From, the lane marking L is detected. As shown in FIG. 6, the update unit 143 sets the recognition end points RP1 to RP4, which are the corners on the entrance side of the parking target position among the corners of the lane marking L, based on the image data, and the vehicle 1 ( Alternatively, the position information of the recognition end points RP1 to RP4 is calculated based on the position of the imaging unit 15d). In the following description, when the recognition end points RP1 to RP4 are not distinguished, they are described as the recognition end point RP.

さらに、更新部１４３は、図６に示すように、前回算出した更新前の追跡端点ＣＰ１〜ＣＰ４の位置情報、および車両データに基づいて、更新前の追跡端点ＣＰ１〜ＣＰ４の位置情報を算出し直す。ここで、追跡端点ＣＰ１〜ＣＰ４の位置情報は、車両１（または、撮像部１５ｄ）の位置を基準とする、追跡端点ＣＰ１〜ＣＰ４の位置情報である。更新部１４３は、区画線Ｌが検出される度に（言い換えると、認識端点ＲＰが設定される度に）、更新前の追跡端点ＣＰ１〜ＣＰ４の位置情報を算出し直すものとする。以下の説明では、追跡端点ＣＰ１〜ＣＰ４を区別しない場合には、追跡端点ＣＰを記載する。 Further, as shown in FIG. 6, the update unit 143 calculates the position information of the tracking end points CP1 to CP4 before the update based on the position information of the tracking end points CP1 to CP4 before the update calculated last time and the vehicle data. cure. Here, the position information of the tracking end points CP1 to CP4 is the position information of the tracking end points CP1 to CP4 based on the position of the vehicle 1 (or the imaging unit 15d). The update unit 143 recalculates the position information of the tracking end points CP1 to CP4 before the update every time the lane marking L is detected (in other words, every time the recognition end point RP is set). In the following description, when the tracking end points CP1 to CP4 are not distinguished, the tracking end point CP is described.

その後、車両１の駐車支援を開始する際、更新部１４３は、図７に示すように、最後に更新した追跡端点ＣＰ１〜ＣＰ４を、基準点ＢＰ１〜ＢＰ４に設定する。以下の説明では、基準点ＢＰ１〜ＢＰ４を区別しない場合には、基準点ＢＰと記載する。 After that, when starting the parking support for the vehicle 1, the updating unit 143 sets the last updated tracking end points CP1 to CP4 at the reference points BP1 to BP4 as shown in FIG. 7. In the following description, when the reference points BP1 to BP4 are not distinguished, they are referred to as reference points BP.

そして、更新部１４３は、図８に示すように、撮像部１５ｄと認識端点ＲＰとの第１位置関係に基づいて、認識端点ＲＰが誤検出であるか否かを判定する。 Then, as shown in FIG. 8, the update unit 143 determines whether or not the recognition end point RP is erroneous detection based on the first positional relationship between the image pickup unit 15d and the recognition end point RP.

また、更新部１４３は、図８に示すように、認識端点ＲＰと、更新前の追跡端点ＣＰと、の第２位置関係に基づいて、認識端点ＲＰが誤検出であるか否かを判定する。その際、更新部１４３は、複数の認識端点ＲＰ１〜ＲＰ４と、当該各認識端点ＲＰ１〜ＲＰ４に対応する更新前の追跡端点ＣＰ１〜ＣＰ４と、の第２位置関係に基づいて、複数の認識端点ＲＰ１〜ＲＰ４のそれぞれが誤検出であるか否かを判定するものとする。すなわち、更新部１４３は、区画線Ｌの同じ端点同士の第２位置関係（例えば、認識端点ＰＲ１と追跡端点ＣＰ１との第２位置関係）に基づいて、認識端点ＲＰが誤検出であるか否かを判定する。 Further, as shown in FIG. 8, the update unit 143 determines whether or not the recognition end point RP is erroneous detection based on the second positional relationship between the recognition end point RP and the tracking end point CP before the update. .. At that time, the update unit 143 has a plurality of recognition end points based on the second positional relationship between the plurality of recognition end points RP1 to RP4 and the tracking end points CP1 to CP4 before update corresponding to the respective recognition end points RP1 to RP4. It shall be determined whether or not each of RP1 to RP4 is a false detection. That is, the update unit 143 determines whether or not the recognition end point RP is erroneously detected based on the second positional relationship between the same end points of the lane marking L (for example, the second positional relationship between the recognition end point PR1 and the tracking end point CP1). Is determined.

さらに、更新部１４３は、図８に示すように、認識端点ＲＰと基準点ＢＰとの第３位置関係に基づいて、認識端点ＲＰが誤検出であるか否かを判定する。その際、更新部１４３は、複数の認識端点ＲＰ１〜ＲＰ４と、当該各認識端点ＲＰ１〜ＲＰ４のそれぞれに対応する基準点ＢＰ１〜ＢＰ４と、の第３位置関係に基づいて、複数の認識端点ＲＰ１〜ＲＰ４のそれぞれが誤検出であるか否かを判定する。すなわち、更新部１４３は、区画線Ｌの同じ端点同士の第３位置関係（例えば、認識端点ＰＲ１と基準点ＢＰ１との第３位置関係）に基づいて、認識端点ＲＰが誤検出であるか否かを判定する。 Further, as shown in FIG. 8, the update unit 143 determines whether or not the recognition end point RP is erroneous detection based on the third positional relationship between the recognition end point RP and the reference point BP. At that time, the update unit 143 has a plurality of recognition end points RP1 based on the third positional relationship between the plurality of recognition end points RP1 to RP4 and the reference points BP1 to BP4 corresponding to the respective recognition end points RP1 to RP4. It is determined whether or not each of ~ RP4 is an erroneous detection. That is, the update unit 143 determines whether or not the recognition end point RP is erroneously detected based on the third positional relationship between the same end points of the lane marking L (for example, the third positional relationship between the recognition end point PR1 and the reference point BP1). Is determined.

図９は、本実施形態にかかる車両が有するＥＣＵによる認識端点が誤検出か否かの判定処理の一例を説明するための図である。 FIG. 9 is a diagram for explaining an example of a determination process of whether or not the recognition end point by the ECU included in the vehicle according to the present embodiment is erroneous detection.

次に、図８および図９を用いて、本実施形態にかかるＥＣＵ１４による認識端点ＲＰが誤検出か否かの判定処理の具体例について説明する。ここでは、区画線Ｌの認識端点ＲＰ１が誤検出であるか否かを判定する処理について説明するが、他の認識端点ＲＰ２〜ＲＰ４についても同様にして、誤検出であるか否かを判定するものとする。 Next, a specific example of the determination process of whether or not the recognition end point RP by the ECU 14 according to the present embodiment is erroneous detection will be described with reference to FIGS. 8 and 9. Here, the process of determining whether or not the recognition end point RP1 of the lane marking L is erroneous detection will be described, but in the same manner for the other recognition end points RP2 to RP4, it is determined whether or not it is erroneous detection. It shall be.

まず、第１位置関係に基づいて、認識端点ＲＰ１が誤検出であるか否かを判定する処理について説明する。 First, a process of determining whether or not the recognition end point RP1 is erroneous detection based on the first positional relationship will be described.

更新部１４３は、図８に示すように、撮像部１５ｄと認識端点ＲＰ１間のユークリッド距離Ｌｃ１を、第１位置関係として求める。次いで、更新部１４３は、ユークリッド距離Ｌｃ１が、第１閾値ＴＨ１以上であるか否かを判定する。ここで、第１閾値ＴＨ１は、予め設定される閾値であり、認識端点ＲＰが誤検出であると判定するユークリッド距離Ｌｃ１の閾値である。例えば、第１閾値ＴＨ１は、撮像部１５ｄから駐車目標位置までの距離が離れて、画像データに含まれる区画線Ｌの画素分解能（ｍｍ／ｐｉｘｅｌ）が大きくなって、区画線Ｌの検出精度が低下するユークリッド距離Ｌｃ１である。 As shown in FIG. 8, the updating unit 143 obtains the Euclidean distance Lc1 between the imaging unit 15d and the recognition end point RP1 as the first positional relationship. Next, the update unit 143 determines whether or not the Euclidean distance Lc1 is equal to or greater than the first threshold value TH1. Here, the first threshold value TH1 is a preset threshold value, and is a threshold value of the Euclidean distance Lc1 for determining that the recognition end point RP is an erroneous detection. For example, in the first threshold TH1, the distance from the imaging unit 15d to the parking target position is increased, the pixel resolution (mm / pixel) of the lane marking L included in the image data is increased, and the detection accuracy of the lane marking L is improved. The decreasing Euclidean distance Lc1.

そして、更新部１４３は、ユークリッド距離Ｌｃ１が、第１閾値ＴＨ１以上である場合に、認識端点ＲＰ１が誤検出であると判定して、当該認識端点ＲＰ１に基づいて、追跡端点ＣＰ１を更新しない。一方、更新部１４３は、ユークリッド距離Ｌｃ１が第１閾値ＴＨ１より短い場合、認識端点ＲＰ１が誤検出ではないと判定して、当該認識端点ＲＰ１と、過去に検出した区画線Ｌの認識端点ＲＰ１と、に基づいて、追跡端点ＣＰ１を更新する。これにより、撮像部１５ｄから駐車目標位置までの距離が離れて、画像データに含まれる区画線Ｌの画素分解能が大きくなって、区画線Ｌの検出精度が低下している場合に、当該区画線Ｌの認識端点ＲＰ１に基づいて追跡端点ＣＰ１が更新されることを防止できる。その結果、駐車目標位置の位置情報の算出精度を向上させることができる。 Then, when the Euclidean distance Lc1 is equal to or greater than the first threshold value TH1, the update unit 143 determines that the recognition end point RP1 is erroneous detection, and does not update the tracking end point CP1 based on the recognition end point RP1. On the other hand, when the Euclidean distance Lc1 is shorter than the first threshold value TH1, the update unit 143 determines that the recognition end point RP1 is not a false detection, and determines that the recognition end point RP1 and the recognition end point RP1 of the lane marking L detected in the past. , Update the tracking endpoint CP1. As a result, when the distance from the imaging unit 15d to the parking target position is large, the pixel resolution of the lane marking L included in the image data is increased, and the detection accuracy of the lane marking L is lowered, the lane marking is reduced. It is possible to prevent the tracking end point CP1 from being updated based on the recognition end point RP1 of L. As a result, the accuracy of calculating the position information of the parking target position can be improved.

次に、第２位置関係に基づいて、認識端点ＲＰ１が誤検出であるか否かを判定する処理について説明する。 Next, a process of determining whether or not the recognition end point RP1 is erroneous detection based on the second positional relationship will be described.

更新部１４３は、まず、図９に示すように、更新前の追跡端点ＣＰ１を端点とする図示しない区画線Ｌ´の幅方向および長さ方向をそれぞれｘ，ｚ軸とする直交座標系を定義する。次いで、更新部１４３は、当該直交座標系における、認識端点ＲＰ１と更新前の追跡端点ＣＰ１間のｘ座標の差である第１距離Ｌｘ、認識端点ＲＰ１と更新前の追跡端点ＣＰ１間のｚ座標の差である第２距離Ｌｚ、および、認識端点ＲＰ１を端点とする区画線の長さ方向Ｄ１とｚ軸とがなす角度θｚを求める。 As shown in FIG. 9, the update unit 143 first defines an orthogonal coordinate system whose x and z axes are the width direction and the length direction of the lane marking L'not shown, whose end point is the tracking end point CP1 before the update. To do. Next, the update unit 143 has a first distance Lx, which is the difference in x coordinates between the recognition end point RP1 and the tracking end point CP1 before the update, and the z coordinate between the recognition end point RP1 and the tracking end point CP1 before the update in the Cartesian coordinate system. The second distance Lz, which is the difference between the two, and the angle θz formed by the length direction D1 and the z-axis of the lane marking with the recognition end point RP1 as the end point are obtained.

そして、更新部１４３は、第１距離Ｌｘが第２閾値ＴＨ２以上であるか否か、第２距離Ｌｚが第３閾値ＴＨ３以上であるか否か、および、角度θｚが第４閾値ＴＨ４以上であるか否かを判定する。ここで、第２閾値ＴＨ２は、予め設定される閾値であり、認識端点ＲＰ１が誤検出であると判定する第１距離Ｌｘの閾値である。第３閾値ＴＨ３は、予め設定される閾値であり、認識端点ＲＰ１が誤検出であると判定する第２距離Ｌｚの閾値である。第４閾値ＴＨ４は、予め設定される閾値であり、認識端点ＲＰ１が誤検出であると判定する角度θｚの閾値である。 Then, the update unit 143 determines whether the first distance Lx is the second threshold TH2 or more, the second distance Lz is the third threshold TH3 or more, and the angle θz is the fourth threshold TH4 or more. Determine if it exists. Here, the second threshold value TH2 is a preset threshold value, and is a threshold value of the first distance Lx for determining that the recognition end point RP1 is erroneous detection. The third threshold value TH3 is a preset threshold value, and is a threshold value of the second distance Lz for determining that the recognition end point RP1 is an erroneous detection. The fourth threshold value TH4 is a preset threshold value, and is a threshold value at an angle θz for determining that the recognition end point RP1 is an erroneous detection.

本実施形態では、第２閾値ＴＨ２と第３閾値ＴＨ３とを同じ値としているが、第２閾値ＴＨ２および第３閾値ＴＨ３をそれぞれ異なる値としても良い。例えば、追跡端点ＣＰ１が、駐車目標位置の角ではなく、駐車目標位置の角同士を結ぶ線分上の端点である場合、第１距離Ｌｘおよび第２距離Ｌｚのうち、当該線分と平行な方向への距離の閾値を、当該線分と直交する方向への距離の閾値よりも大きくする。例えば、追跡端点ＣＰ１が、駐車目標位置の角同士を結ぶ線分のうち、ｘ軸と平行な線分上の端点である場合、更新部１４３は、第３閾値ＴＨ３を、第２閾値ＴＨ２よりも大きくする。 In the present embodiment, the second threshold value TH2 and the third threshold value TH3 are set to the same value, but the second threshold value TH2 and the third threshold value TH3 may be set to different values. For example, when the tracking end point CP1 is not a corner of the parking target position but an end point on a line segment connecting the corners of the parking target position, it is parallel to the line segment of the first distance Lx and the second distance Lz. The threshold of the distance in the direction is made larger than the threshold of the distance in the direction orthogonal to the line segment. For example, when the tracking end point CP1 is an end point on a line segment parallel to the x-axis among the line segments connecting the corners of the parking target position, the update unit 143 sets the third threshold value TH3 from the second threshold value TH2. Also increase.

更新部１４３は、第１距離Ｌｘが第２閾値ＴＨ２以上である場合、第２距離Ｌｚが第３閾値ＴＨ３以上である場合、または、角度θｚが第４閾値ＴＨ４以上である場合、認識端点ＲＰ１が誤検出であると判定する。一方、更新部１４３は、第１距離Ｌｘが第２閾値ＴＨ２より短く、第２距離Ｌｚが第３閾値ＴＨ３より短く、かつ、角度θｚが第４閾値ＴＨ４より小さい場合、認識端点ＲＰ１が誤検出ではないと判定して、当該認識端点ＲＰ１と、過去に検出した区画線Ｌの認識端点ＲＰ１と、に基づいて、追跡端点ＣＰ１を更新する。 The update unit 143 recognizes the recognition end point RP1 when the first distance Lx is the second threshold TH2 or more, the second distance Lz is the third threshold TH3 or more, or the angle θz is the fourth threshold TH4 or more. Is determined to be a false positive. On the other hand, when the first distance Lx is shorter than the second threshold value TH2, the second distance Lz is shorter than the third threshold value TH3, and the angle θz is smaller than the fourth threshold value TH4, the update unit 143 erroneously detects the recognition end point RP1. It is determined that this is not the case, and the tracking end point CP1 is updated based on the recognition end point RP1 and the recognition end point RP1 of the lane marking L detected in the past.

次に、第３位置関係に基づいて、認識端点ＢＰ１が誤検出であるか否かを判定する処理について説明する。 Next, a process of determining whether or not the recognition end point BP1 is erroneous detection based on the third positional relationship will be described.

更新部１４３は、図９に示すように、認識端点ＲＰ１と基準点ＢＰ１間のユークリッド距離Ｌｃ２を、第３位置関係として求める。次いで、更新部１４３は、ユークリッド距離Ｌｃ２が、第５閾値ＴＨ５以上であるか否かを判定する。ここで、第５閾値ＴＨ５は、予め設定される閾値であり、認識端点ＲＰ１が誤検出であると判定するユークリッド距離Ｌｃ２の閾値である。 As shown in FIG. 9, the updating unit 143 obtains the Euclidean distance Lc2 between the recognition end point RP1 and the reference point BP1 as the third positional relationship. Next, the update unit 143 determines whether or not the Euclidean distance Lc2 is equal to or greater than the fifth threshold value TH5. Here, the fifth threshold value TH5 is a preset threshold value, and is a threshold value of the Euclidean distance Lc2 for determining that the recognition end point RP1 is an erroneous detection.

そして、更新部１４３は、ユークリッド距離Ｌｃ２が、第５閾値ＴＨ５以上である場合に、認識端点ＲＰ１が誤検出であると判定して、当該認識端点ＲＰ１に基づいて、追跡端点ＣＰ１を更新しない。一方、更新部１４３は、ユークリッド距離Ｌｃ２が第５閾値ＴＨ５より短い場合、認識端点ＲＰ１が誤検出ではないと判定して、当該認識端点ＲＰ１と、過去に検出した区画線Ｌの認識端点ＲＰ１と、に基づいて、追跡端点ＣＰ１を更新する。 Then, when the Euclidean distance Lc2 is equal to or greater than the fifth threshold value TH5, the update unit 143 determines that the recognition end point RP1 is erroneous detection, and does not update the tracking end point CP1 based on the recognition end point RP1. On the other hand, when the Euclidean distance Lc2 is shorter than the fifth threshold value TH5, the update unit 143 determines that the recognition end point RP1 is not a false detection, and determines that the recognition end point RP1 and the recognition end point RP1 of the lane marking L detected in the past. , Update the tracking endpoint CP1.

これにより、認識端点ＲＰ１が基準点ＢＰ１から大きくずれて、指示された駐車目標位置以外の対象の端点を認識端点ＲＰ１として認識している場合、当該認識端点ＲＰ１に基づいて、追跡端点ＣＰ１が更新されることを防止できる。その結果、駐車目標位置の位置情報の算出精度を向上させることができる。 As a result, when the recognition end point RP1 is largely deviated from the reference point BP1 and the end point of the target other than the designated parking target position is recognized as the recognition end point RP1, the tracking end point CP1 is updated based on the recognition end point RP1. It can be prevented from being done. As a result, the accuracy of calculating the position information of the parking target position can be improved.

図１０は、本実施形態にかかる車両のＥＣＵによる駐車目標位置の位置情報の算出処理の流れの一例を示すフローチャートである。 FIG. 10 is a flowchart showing an example of a flow of calculation processing of position information of the parking target position by the ECU of the vehicle according to the present embodiment.

次に、図１０を用いて、本実施形態にかかるＥＣＵ１４による駐車目標位置の位置情報の算出処理の流れの一例について説明する。 Next, an example of the flow of the process of calculating the position information of the parking target position by the ECU 14 according to the present embodiment will be described with reference to FIG.

操作入力部１０等を介して駐車目標位置が指示されて、車両１の駐車支援を実行する場合、データ取得部１４１は、撮像部１５から、画像データを取得する（ステップＳ１００１）。また、データ取得部１４１は、車両データを取得する（ステップＳ１００１）。 When the parking target position is instructed via the operation input unit 10 or the like to execute parking support for the vehicle 1, the data acquisition unit 141 acquires image data from the image pickup unit 15 (step S1001). Further, the data acquisition unit 141 acquires vehicle data (step S1001).

データ取得部１４１により画像データが取得されると、区画線検出部１４２は、当該取得した画像データから、区画線Ｌを検出する（ステップＳ１００２）。 When the image data is acquired by the data acquisition unit 141, the lane marking detection unit 142 detects the lane marking L from the acquired image data (step S1002).

更新部１４３は、区画線検出部１４２により検出した区画線Ｌの認識端点ＲＰと、車両データと、に基づいて、追跡端点ＣＰを更新する区画線管理処理を実行する（ステップＳ１００３）。 The update unit 143 executes the lane marking management process for updating the tracking endpoint CP based on the recognition end point RP of the lane marking L detected by the lane marking detection unit 142 and the vehicle data (step S1003).

次いで、算出部１４４は、更新部１４３により検出される追跡端点ＣＰに基づいて、車両１の駐車目標位置の位置情報を算出する（ステップＳ１００４）。 Next, the calculation unit 144 calculates the position information of the parking target position of the vehicle 1 based on the tracking end point CP detected by the update unit 143 (step S1004).

その後、算出部１４４は、駐車目標位置の位置情報を、外部のＥＣＵに出力する（ステップＳ１００５）。ここで、当該外部のＥＣＵは、駐車目標位置の位置情報に基づいて、駐車目標位置へ車両１を移動させる移動経路を求めるとともに、当該求めた移動経路に従って車両１を自動運転して、駐車目標位置に車両１を駐車させる制御装置の一例である。 After that, the calculation unit 144 outputs the position information of the parking target position to the external ECU (step S1005). Here, the external ECU obtains a movement route for moving the vehicle 1 to the parking target position based on the position information of the parking target position, and automatically drives the vehicle 1 according to the obtained movement route to park the parking target. This is an example of a control device for parking the vehicle 1 at a position.

図１１は、本実施形態にかかるＥＣＵによる追跡端点の更新処理の流れの一例を示すフローチャートである。 FIG. 11 is a flowchart showing an example of the flow of the tracking end point update process by the ECU according to the present embodiment.

次に、図１１を用いて、本実施形態にかかるＥＣＵ１４による追跡端点の更新処理の流れの一例について説明する。 Next, an example of the flow of the tracking end point update process by the ECU 14 according to the present embodiment will be described with reference to FIG.

更新部１４３は、まず、撮像部１５と認識端点ＲＰ間のユークリッド距離Ｌｃ１を、第１位置関係として算出する（ステップＳ１１０１）。次いで、更新部１４３は、ユークリッド距離Ｌｃ１が第１閾値ＴＨ１より短いか否かを判定する（ステップＳ１１０２）。ユークリッド距離Ｌｃ１が第１閾値ＴＨ１以上である場合（ステップＳ１１０２：Ｎｏ）、更新部１４３は、追跡端点ＣＰを更新しない。 First, the updating unit 143 calculates the Euclidean distance Lc1 between the imaging unit 15 and the recognition end point RP as the first positional relationship (step S1101). Next, the update unit 143 determines whether or not the Euclidean distance Lc1 is shorter than the first threshold value TH1 (step S1102). When the Euclidean distance Lc1 is equal to or greater than the first threshold value TH1 (step S1102: No), the update unit 143 does not update the tracking end point CP.

一方、ユークリッド距離Ｌｃ１が第１閾値ＴＨ１より短い場合（ステップＳ１１０２：Ｙｅｓ）、更新部１４３は、認識端点ＲＰと基準点ＢＰ間のユークリッド距離Ｌｃ２を算出する（ステップＳ１１０３）。次いで、更新部１４３は、ユークリッド距離Ｌｃ２が第５閾値ＴＨ５より短いか否かを判定する（ステップＳ１１０４）。ユークリッド距離Ｌｃ２が第５閾値ＴＨ５以上である場合（ステップＳ１１０４：Ｎｏ）、更新部１４３は、追跡端点ＣＰを更新しない。 On the other hand, when the Euclidean distance Lc1 is shorter than the first threshold value TH1 (step S1102: Yes), the update unit 143 calculates the Euclidean distance Lc2 between the recognition end point RP and the reference point BP (step S1103). Next, the update unit 143 determines whether or not the Euclidean distance Lc2 is shorter than the fifth threshold value TH5 (step S1104). When the Euclidean distance Lc2 is equal to or greater than the fifth threshold value TH5 (step S1104: No), the update unit 143 does not update the tracking end point CP.

一方、ユークリッド距離Ｌｃ２が第５閾値ＴＨ５より短い場合（ステップＳ１１０４：Ｙｅｓ）、更新部１４３は、第１距離Ｌｘが第２閾値ＴＨ２より短いか否か、第２距離Ｌｚが第３閾値ＴＨ３より短いか否か、および、角度θｚが第４閾値ＴＨ４より小さいか否かを判定する（ステップＳ１１０５）。第１距離Ｌｘが第２閾値ＴＨ２以上である場合、第２距離Ｌｚが第３閾値ＴＨ３以上である場合、または、角度θｚが第４閾値ＴＨ４以上である場合（ステップＳ１１０５：Ｎｏ）、更新部１４３は、追跡端点ＣＰを更新しない。 On the other hand, when the Euclidean distance Lc2 is shorter than the fifth threshold value TH5 (step S1104: Yes), the update unit 143 determines whether the first distance Lx is shorter than the second threshold value TH2 or the second distance Lz is shorter than the third threshold value TH3. It is determined whether or not it is short and whether or not the angle θz is smaller than the fourth threshold value TH4 (step S1105). When the first distance Lx is the second threshold TH2 or more, the second distance Lz is the third threshold TH3 or more, or the angle θz is the fourth threshold TH4 or more (step S1105: No), the update unit. 143 does not update the tracking endpoint CP.

一方、第１距離Ｌｘが第２閾値ＴＨ２より短く、第２距離Ｌｚが第３閾値ＴＨ３より短く、かつ、角度θｚが第４閾値ＴＨ４より小さい場合（ステップＳ１１０５：Ｙｅｓ）、更新部１４３は、認識端点ＲＰに基づいて、追跡端点ＣＰを更新する（ステップＳ１１０６）。 On the other hand, when the first distance Lx is shorter than the second threshold TH2, the second distance Lz is shorter than the third threshold TH3, and the angle θz is smaller than the fourth threshold TH4 (step S1105: Yes), the update unit 143 The tracking endpoint CP is updated based on the recognition endpoint RP (step S1106).

このように、本実施形態にかかる車両１によれば誤検出された認識端点に基づいて追跡端点が更新されることを防止できるので、駐車目標位置の位置情報の算出精度を向上させることができる。 As described above, according to the vehicle 1 according to the present embodiment, it is possible to prevent the tracking end point from being updated based on the erroneously detected recognition end point, so that the calculation accuracy of the position information of the parking target position can be improved. ..

１ 車両
１４ ＥＣＵ
１４ａ ＣＰＵ
１４ｂ ＲＯＭ
１４ｃ ＲＡＭ
１４ｆ ＳＳＤ
１５ 撮像部
１４１ データ取得部
１４２ 区画線検出部
１４３ 更新部
１４４ 算出部 1 vehicle 14 ECU
14a CPU
14b ROM
14c RAM
14f SSD
15 Imaging unit 141 Data acquisition unit 142 Compartment line detection unit 143 Update unit 144 Calculation unit

Claims (6)

車両に搭載される撮像部によって当該車両の周囲を撮像した画像データを取得する取得部と、
前記車両の駐車支援を実行する場合に、前記画像データが取得される度に、当該画像データから、駐車枠を検出する検出部と、
検出した前記駐車枠の認識端点に基づいて、前記駐車枠の端点として追跡する追跡端点を更新する更新部と、
前記追跡端点に基づいて、前記車両の駐車目標位置の位置情報を算出する算出部と、を備え、
前記更新部は、前記撮像部と前記認識端点との第１位置関係、前記認識端点と更新前の前記追跡端点との第２位置関係、および前記認識端点と前記車両の駐車支援が開始された際の前記追跡端点である基準点との第３位置関係の少なくとも１つに基づいて、前記認識端点が誤検出であるか否かを判定し、前記認識端点が誤検出であると判定した場合、前記追跡端点を更新しない、駐車支援装置。 An acquisition unit that acquires image data obtained by imaging the surroundings of the vehicle by an imaging unit mounted on the vehicle,
When the parking support of the vehicle is executed, each time the image data is acquired, a detection unit that detects a parking frame from the image data and a detection unit.
An update unit that updates the tracking end point to be tracked as the end point of the parking frame based on the detected recognition end point of the parking frame.
A calculation unit that calculates the position information of the parking target position of the vehicle based on the tracking end point is provided.
In the updating unit, the first positional relationship between the imaging unit and the recognition end point, the second positional relationship between the recognition end point and the tracking end point before the update, and the parking support between the recognition end point and the vehicle are started. When it is determined whether or not the recognition end point is erroneous detection based on at least one of the third positional relationships with the reference point which is the tracking end point, and it is determined that the recognition end point is erroneous detection. , A parking assist device that does not update the tracking endpoint. 前記第１位置関係は、前記撮像部と前記認識端点間のユークリッド距離であり、
前記更新部は、前記撮像部と前記認識端点間のユークリッド距離が第１閾値以上である場合、前記認識端点が誤検出であると判定する請求項１に記載の駐車支援装置。 The first positional relationship is the Euclidean distance between the imaging unit and the recognition end point.
The parking support device according to claim 1, wherein the updating unit determines that the recognition end point is erroneous detection when the Euclidean distance between the image pickup unit and the recognition end point is equal to or greater than the first threshold value. 前記第２位置関係は、更新前の前記追跡端点を端点とする前記駐車枠の幅方向および長さ方向をそれぞれをｘ，ｚ軸とする直交座標系における、更新前の前記追跡端点と前記認識端点間のｘ座標の差である第１距離、更新前の前記追跡端点と前記認識端点間のｚ座標の差である第２距離、および、前記ｚ軸と、前記認識端点を端点とする前記駐車枠の長さ方向と、がなす角度であり、
前記更新部は、前記第１距離が第２閾値以上である場合、前記第２距離が第３閾値以上である場合、または前記角度が前記第４閾値以上である場合、前記認識端点が誤検出であると判定する請求項１または２に記載の駐車支援装置。 The second positional relationship is the recognition of the tracking end point before the update in a Cartesian coordinate system having the width direction and the length direction of the parking frame with the tracking end point before the update as the end points, respectively. The first distance, which is the difference in x-coordinates between the end points, the second distance, which is the difference in z-coordinate between the tracking end point and the recognition end point before updating, and the z-axis and the recognition end point as end points. It is the angle between the length direction of the parking frame and
When the first distance is equal to or greater than the second threshold value, the second distance is equal to or greater than the third threshold value, or the angle is equal to or greater than the fourth threshold value, the update unit erroneously detects the recognition end point. The parking support device according to claim 1 or 2, wherein the parking support device is determined to be. 前記第３位置関係は、前記認識端点と前記基準点間のユークリッド距離であり、
前記更新部は、前記認識端点と前記基準点間のユークリッド距離が前記第５閾値以上である場合、前記認識端点が誤検出であると判定する請求項１から３のいずれか一に記載の駐車支援装置。 The third positional relationship is the Euclidean distance between the recognition end point and the reference point.
The parking according to any one of claims 1 to 3, wherein the updating unit determines that the recognition end point is an erroneous detection when the Euclidean distance between the recognition end point and the reference point is equal to or greater than the fifth threshold value. Support device. 前記認識端点は、前記駐車枠の角のうち前記駐車目標位置の入口側の角である請求項１から４のいずれか一に記載の駐車支援装置。 The parking support device according to any one of claims 1 to 4, wherein the recognition end point is a corner of the corner of the parking frame on the entrance side of the parking target position. 前記更新部は、過去に検出した複数の前記駐車枠の前記認識端点に基づいて、前記追跡端点を更新する請求項１から５のいずれか一に記載の駐車支援装置。 The parking support device according to any one of claims 1 to 5, wherein the updating unit updates the tracking end points based on the recognition end points of the plurality of parking frames detected in the past.
JP2019188203A 2019-10-11 2019-10-11 parking assist device Active JP7380058B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019188203A JP7380058B2 (en) 2019-10-11 2019-10-11 parking assist device
DE102020126526.3A DE102020126526A1 (en) 2019-10-11 2020-10-09 Parking assistance device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019188203A JP7380058B2 (en) 2019-10-11 2019-10-11 parking assist device

Publications (2)

Publication Number Publication Date
JP2021064146A true JP2021064146A (en) 2021-04-22
JP7380058B2 JP7380058B2 (en) 2023-11-15

Family

ID=75155662

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019188203A Active JP7380058B2 (en) 2019-10-11 2019-10-11 parking assist device

Country Status (2)

Country Link
JP (1) JP7380058B2 (en)
DE (1) DE102020126526A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016124398A (en) * 2014-12-26 2016-07-11 アイシン精機株式会社 Parking support device
JP2019133580A (en) * 2018-02-02 2019-08-08 株式会社デンソーテン Section line detection device, section line detection system, and section line detection method
JP2019133445A (en) * 2018-01-31 2019-08-08 株式会社デンソーテン Section line detection device, section line detection system, and section line detection method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016124398A (en) * 2014-12-26 2016-07-11 アイシン精機株式会社 Parking support device
JP2019133445A (en) * 2018-01-31 2019-08-08 株式会社デンソーテン Section line detection device, section line detection system, and section line detection method
JP2019133580A (en) * 2018-02-02 2019-08-08 株式会社デンソーテン Section line detection device, section line detection system, and section line detection method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
植中 裕史: "駐車支援システム インテリジェントパーキングアシストの紹介", 計測と制御, vol. 第５４巻 第１１号, JPN6023029484, 10 November 2015 (2015-11-10), JP, pages 836 - 840, ISSN: 0005113075 *

Also Published As

Publication number Publication date
JP7380058B2 (en) 2023-11-15
DE102020126526A1 (en) 2021-04-15

Similar Documents

Publication Publication Date Title
JP6724425B2 (en) Parking assistance device
US9925919B2 (en) Parking assistance device
US10179608B2 (en) Parking assist device
JP7351172B2 (en) parking assist device
JP2016084094A (en) Parking assist apparatus
JP2016060241A (en) Parking support device
EP3291545B1 (en) Display control device
JP6852534B2 (en) Obstacle detection and notification device, method and program
JP6554866B2 (en) Image display control device
JP6969124B2 (en) Operation control device
JP2021154969A (en) Obstacle detection device, obstacle detection method and program
JP2022023870A (en) Display control device
US11301701B2 (en) Specific area detection device
JP7427907B2 (en) parking assist device
CN110546047A (en) Parking assist apparatus
CN112644466A (en) Parking assistance device, parking assistance method, and recording medium
JP2021056717A (en) Object detection device
CN117980205A (en) Parking assist device
JP7380058B2 (en) parking assist device
JP7114919B2 (en) Driving support device
JP7383973B2 (en) parking assist device
WO2023090186A1 (en) Parking assistance device
JP7423970B2 (en) Image processing device
JP7506645B2 (en) Parking Assistance Device
JP7501500B2 (en) Parking Assistance Device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220908

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230922

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231016

R150 Certificate of patent or registration of utility model

Ref document number: 7380058

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150