JP6960962B2 - Parking support device and parking support method - Google Patents

Parking support device and parking support method Download PDF

Info

Publication number
JP6960962B2
JP6960962B2 JP2019112466A JP2019112466A JP6960962B2 JP 6960962 B2 JP6960962 B2 JP 6960962B2 JP 2019112466 A JP2019112466 A JP 2019112466A JP 2019112466 A JP2019112466 A JP 2019112466A JP 6960962 B2 JP6960962 B2 JP 6960962B2
Authority
JP
Japan
Prior art keywords
landmark
unit
repair
state
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019112466A
Other languages
Japanese (ja)
Other versions
JP2020203583A (en
Inventor
宏樹 藤好
考平 森
成晃 竹原
智能 小城戸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2019112466A priority Critical patent/JP6960962B2/en
Publication of JP2020203583A publication Critical patent/JP2020203583A/en
Application granted granted Critical
Publication of JP6960962B2 publication Critical patent/JP6960962B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Description

本願は、駐車支援装置および駐車支援方法に関するものである。 The present application relates to a parking support device and a parking support method.

従来、駐車区画を定義するマーカーを車両に搭載されたセンサーにより認識し、予め保有していたマーカーの位置情報とセンサーから得られるマーカーの位置情報より，駐車区画と車両の位置関係を特定し、車両を駐車場の目標位置へ誘導する駐車支援装置が知られている。（例えば、特許文献１、特許文献２） Conventionally, the marker that defines the parking lot is recognized by the sensor mounted on the vehicle, and the positional relationship between the parking lot and the vehicle is specified from the position information of the marker held in advance and the position information of the marker obtained from the sensor. A parking support device that guides a vehicle to a target position in a parking lot is known. (For example, Patent Document 1, Patent Document 2)

特許第３８０４１６１号公報Japanese Patent No. 3804161 特許第６２５７７１８号公報Japanese Patent No. 6257718

上述のような従来の駐車支援装置においては、何らかの原因でマーカーを認識できない場合、車両の入出庫の誘導を実行することが困難となる。例えば、マーカーが光学的なパターンを持つランドマークであり、センサーが車両周囲の環境を撮影するカメラで構成されている場合、ランドマークに汚れ等が付着し、又は、ランドマークとカメラ間の光線を遮る障害物が置かれ、カメラによってランドマークのパターンを明瞭に撮影することができなくなると、ランドマークを認識することができなくなり、この結果、車両の入出庫の誘導を行うことが困難となる。
本願は、このような課題に鑑みてなされたもので、駐車区画を定義するマーカーを用いた駐車場において車両の駐車を速やかに行わせることが可能な駐車支援装置を提供するものである。 In the conventional parking support device as described above, if the marker cannot be recognized for some reason, it becomes difficult to guide the entry and exit of the vehicle. For example, if the marker is a landmark with an optical pattern and the sensor is composed of a camera that captures the environment around the vehicle, the landmark may be dirty or light rays between the landmark and the camera. If an obstacle is placed to block the landmark and the camera cannot clearly capture the landmark pattern, the landmark cannot be recognized, and as a result, it is difficult to guide the entry and exit of the vehicle. Become.
The present application has been made in view of such a problem, and provides a parking support device capable of promptly parking a vehicle in a parking lot using a marker defining a parking lot.

本願に開示される駐車支援装置は、駐車区画を定義するランドマークの初期状態における情報を記憶するランドマーク情報記憶部と、前記ランドマークを検知するセンサー部と、前記センサー部で検知されたランドマークに係る情報と前記ランドマーク情報記憶部に記憶されたランドマークの初期状態の情報とを比較するランドマーク情報比較部と、前記ランドマーク情報比較部における比較結果に基づいて、前記ランドマークの状態を認識するランドマーク情報認識部と、前記ランドマーク情報認識部が前記ランドマークの異常状態を認識した際、前記ランドマークを補修するランドマーク補修部と、前記ランドマーク情報認識部が認識したランドマークの状態に基づいて、前記ランドマーク補修部が前記ランドマークを初期状態に戻すことができるか否かを判定するランドマーク補修可否判定部と、前記ランドマーク補修可否判定部が、前記ランドマーク補修部が前記ランドマークを初期状態に戻すことができないと判定した場合に、前記ランドマークを交換するランドマーク交換部とを備えたことを特徴とするものである。


The parking support device disclosed in the present application includes a landmark information storage unit that stores information in the initial state of a landmark that defines a parking zone, a sensor unit that detects the landmark, and a land detected by the sensor unit. Based on the comparison results of the landmark information comparison unit that compares the information related to the mark with the information of the initial state of the landmark stored in the landmark information storage unit and the landmark information comparison unit, the landmark The landmark information recognition unit that recognizes the state, and when the landmark information recognition unit recognizes the abnormal state of the landmark, the landmark repair unit that repairs the landmark and the landmark information recognition unit recognize it. Based on the state of the landmark, the landmark repairability determination unit that determines whether or not the landmark repair unit can return the landmark to the initial state, and the landmark repairability determination unit are the landmarks. It is characterized in that it is provided with a landmark exchange unit for exchanging the landmark when the mark repair unit determines that the landmark cannot be returned to the initial state.


本願に開示される駐車支援装置によれば、ランドマークの異常状態を解消することが可能となり、車両の駐車を速やかに実行させることができる。 According to the parking support device disclosed in the present application, it is possible to eliminate the abnormal state of the landmark, and it is possible to promptly park the vehicle.

実施の形態１に係る駐車支援装置の外観を示す概要図である。It is a schematic diagram which shows the appearance of the parking support device which concerns on Embodiment 1. FIG. 実施の形態１に係る駐車支援装置の初期の動作状態を示す概要図である。It is a schematic diagram which shows the initial operation state of the parking support device which concerns on Embodiment 1. FIG. 実施の形態１に係る駐車支援装置の動作を説明するための概要図である。It is a schematic diagram for demonstrating the operation of the parking support device which concerns on Embodiment 1. FIG. 実施の形態１に係る駐車支援装置の構成を示すブロック図である。It is a block diagram which shows the structure of the parking support device which concerns on Embodiment 1. FIG. 実施の形態１に係る駐車支援装置のハードウエア構成を示すブロック図である。It is a block diagram which shows the hardware composition of the parking support device which concerns on Embodiment 1. FIG. 実施の形態１に係る駐車支援装置の動作を説明するためのフローチャートである。It is a flowchart for demonstrating operation of the parking support device which concerns on Embodiment 1. FIG. 図６における一部の動作を説明するためのフローチャートである。It is a flowchart for demonstrating a part operation in FIG. 実施の形態１に係る駐車支援装置の動作を説明するためのランドマークの画像例を示す概要図である。It is a schematic diagram which shows the image example of the landmark for demonstrating the operation of the parking support device which concerns on Embodiment 1. FIG. 図８における撮影画像を俯瞰画像に変換した例を示す概要図である。It is a schematic diagram which shows the example which converted the photographed image in FIG. 8 into a bird's-eye view image. 初期状態のランドマークを記憶した画像例を示す概要図である。It is a schematic diagram which shows the image example which memorized the landmark of the initial state. 実施の形態１に係る駐車支援装置における画像の差分データ例を示す概要図である。It is a schematic diagram which shows the difference data example of the image in the parking support device which concerns on Embodiment 1. FIG. 実施の形態２に係る駐車支援装置の構成を示すブロック図である。It is a block diagram which shows the structure of the parking support device which concerns on Embodiment 2. FIG. 実施の形態２に係る駐車支援装置の動作を説明するための概要図である。It is a schematic diagram for demonstrating the operation of the parking support device which concerns on Embodiment 2. FIG. 実施の形態２に係る駐車支援装置の動作を説明するためのフローチャートである。It is a flowchart for demonstrating the operation of the parking support device which concerns on Embodiment 2. 実施の形態２に係る駐車支援装置の動作を説明するためのランドマークの画像例を示す概要図である。It is a schematic diagram which shows the image example of the landmark for demonstrating the operation of the parking support device which concerns on Embodiment 2. FIG. 図１５における撮影画像を俯瞰画像に変換した例を示す概要図であるIt is a schematic diagram which shows the example which converted the photographed image in FIG. 15 into a bird's-eye view image. 実施の形態２に係る駐車支援装置における画像の差分データ例を示す概要図である。It is a schematic diagram which shows the difference data example of the image in the parking support device which concerns on Embodiment 2. FIG. 実施の形態３に係る駐車支援装置の構成を示すブロック図である。It is a block diagram which shows the structure of the parking support device which concerns on Embodiment 3. 実施の形態３に係る駐車支援装置の動作を説明するためのフローチャートである。It is a flowchart for demonstrating the operation of the parking support device which concerns on Embodiment 3.

実施の形態１．
以下、本願における実施の形態について図面を参照して説明する。
図１、図２は、実施の形態１に係る駐車支援装置の外観を示す概要図、および駐車支援装置の初期の動作状態を示す概要図である。
図において、駐車支援装置１００は、センサーとしてのカメラ部１０１と駐車場内を移動させる移動手段を構成する車輪１０２とを備えている。なお、移動手段としては、駐車場内を自在に移動できればよく、例えばドローンのように空中を飛行するものであってもよい。 Embodiment 1.
Hereinafter, embodiments of the present application will be described with reference to the drawings.
1 and 2 are a schematic diagram showing the appearance of the parking support device according to the first embodiment, and a schematic diagram showing an initial operating state of the parking support device.
In the figure, the parking support device 100 includes a camera unit 101 as a sensor and wheels 102 constituting a moving means for moving in the parking lot. The means of transportation may be any means as long as it can move freely in the parking lot, and may be a drone or the like that flies in the air.

一方、駐車場内には複数のランドマーク１０３が配置され、車両の駐車区画１０４を定義するように構成されている。
このようなランドマーク１０３は、駐車場の使用に伴って汚損されることが避けられず、例えば、図３に示すように、足跡などの汚れが付着したランドマーク１０３ａ、模様の一部が大きく欠けたランドマーク１０３ｂ、一部が擦れ又は剥げにより欠損したランドマーク１０３ｃ、正常位置から移動したランドマーク１０３ｄなどが想定される。
なお、ランドマーク１０３ａ〜１０３ｄとしては，同一形状の４つのマーカーを配置して示しているが、全て異なる形状のマーカーを設けてもよく、マーカーを認識しマーカーの位置によって駐車区画や駐車場内での現在位置を特定することが可能なシステムであれば適用することができる。 On the other hand, a plurality of landmarks 103 are arranged in the parking lot, and are configured to define a parking lot 104 for vehicles.
It is inevitable that such landmark 103 will be soiled with the use of the parking lot. For example, as shown in FIG. 3, the landmark 103a to which dirt such as footprints is attached and a part of the pattern are large. It is assumed that the missing landmark 103b, the landmark 103c that is partially lost due to rubbing or peeling, the landmark 103d that has moved from the normal position, and the like.
Although the landmarks 103a to 103d are shown by arranging four markers having the same shape, markers having different shapes may be provided, and the markers are recognized and in the parking lot or the parking lot depending on the position of the markers. It can be applied to any system that can identify the current position of.

図４は、駐車支援装置１００の構成を示すブロック図である。
図において、制御部１１０は、駐車支援装置１００の全体の動作を制御するもので、
この制御部１１０には、駐車場情報取得部１１１を介して駐車場情報が供給されるとともに位置演算部１１２を介して駐車支援装置１００の現在位置の情報が供給される。これらの情報に基づいて制御部１１０は、プログラムされた命令により移動手段１１３を駆動して必要とされる位置に駐車支援装置１００を移動させ、カメラ部１０１を所定の位置で動作させてランドマーク１０３を撮影させる。このカメラ部１０１の出力は、駐車場の初期状態におけるランドマーク１０３の位置情報とランドマーク１０３を撮影した画像情報とを記憶したランドマーク情報記憶部１１４の出力とともにランドマーク情報比較部１１５に供給され、初期状態に対し、現在のランドマーク１０３の情報の状態を比較する。 FIG. 4 is a block diagram showing the configuration of the parking support device 100.
In the figure, the control unit 110 controls the overall operation of the parking support device 100.
Parking lot information is supplied to the control unit 110 via the parking lot information acquisition unit 111, and information on the current position of the parking support device 100 is supplied via the position calculation unit 112. Based on this information, the control unit 110 drives the moving means 113 according to a programmed instruction to move the parking support device 100 to a required position, and operates the camera unit 101 at a predetermined position to make a landmark. Let 103 be photographed. The output of the camera unit 101 is supplied to the landmark information comparison unit 115 together with the output of the landmark information storage unit 114 that stores the position information of the landmark 103 in the initial state of the parking lot and the image information obtained by photographing the landmark 103. Then, the current state of the information of the landmark 103 is compared with the initial state.

さらに、このランドマーク情報比較部１１５の出力は、ランドマーク認識部１１６に供給されてランドマーク１０３の状態を認識し、このランドマーク認識部１１６の出力に基づいてランドマーク補修可否判定部１１７においてランドマーク１０３の補修が可能か否かを判定する。このランドマーク補修可否判定部１１７によって補修不可能と判定された場合、ランドマーク交換部１１８は、補修不可と判定されたランドマーク１０３を設置地面から取り外し、内蔵している新しいランドマーク１０３を取り出して本来の設置位置に取り付ける。 Further, the output of the landmark information comparison unit 115 is supplied to the landmark recognition unit 116 to recognize the state of the landmark 103, and the landmark repair possibility determination unit 117 is based on the output of the landmark recognition unit 116. It is determined whether or not the landmark 103 can be repaired. When it is determined by the landmark repairability determination unit 117 that repair is not possible, the landmark replacement unit 118 removes the landmark 103 determined to be non-repairable from the installation ground and takes out a new built-in landmark 103. And install it in the original installation position.

一方、ランドマーク補修可否判定部１１７によって補修可能と判定された場合、ランドマーク補修部１１９によってランドマーク１０３を正常な初期状態に修復させる。
なお、ランドマーク補修部１１９としては、例えば図３に示すようなランドマーク１０３ａの汚れを取り除くため、洗浄液を噴霧する洗浄液噴霧部と、ランドマーク１０３ａを布類などで汚れを拭き取る拭取部とを有し、また、ランドマーク１０３ｂの欠けに対して、ランドマーク１０３の凹部をプラスチックなどで埋める穴埋め部と、ランドマークを塗装する塗装部を有し、また、ランドマーク１０３ｃの塗装剥げに対して、ランドマーク１０３本来の光学的なパターンに基づいて塗装を行う塗装部を有し、さらに、ランドマーク１０３ｄの位置ずれに対して、ランドマーク１０３ｃを地面から取り外す取外し部と、適切な場所に取り付ける取付け部を有するなどランドマーク１０３の異常原因を排除し、ランドマーク１０３を正常な初期状態に戻すことができればどのような補修手段を用いてもよい。 On the other hand, when the landmark repairability determination unit 117 determines that the landmark can be repaired, the landmark repair unit 119 restores the landmark 103 to a normal initial state.
The landmark repair unit 119 includes, for example, a cleaning liquid spraying unit that sprays a cleaning liquid to remove stains on the landmark 103a as shown in FIG. 3, and a wiping unit that wipes off the stains on the landmark 103a with a cloth or the like. Also, for the chipping of the landmark 103b, it has a hole filling part that fills the recess of the landmark 103 with plastic or the like, and a painted part for painting the landmark, and also for the paint peeling of the landmark 103c. It has a painted part that paints based on the original optical pattern of the landmark 103, and further, in an appropriate place with a removing part that removes the landmark 103c from the ground against the misalignment of the landmark 103d. Any repair means may be used as long as the cause of abnormality of the landmark 103 can be eliminated such as having a mounting portion to be mounted and the landmark 103 can be returned to the normal initial state.

また、ランドマーク補修部１１９は、１台の駐車支援装置１００が複数又は全ての補修手段を保有していてもよく、あるいは複数台の駐車支援装置１００がそれぞれ異なる補修手段を保有してもよい。さらに、複数台の駐車支援装置１００に通信手段を付加し、各駐車支援装置１００が認識したランドマーク１０３の状態に関する情報を共有することによって効率的に駐車場内のランドマーク１０３を検査し、異常原因を排除することができる。 Further, in the landmark repair unit 119, one parking support device 100 may have a plurality or all of the repair means, or the plurality of parking support devices 100 may have different repair means. .. Further, by adding a communication means to a plurality of parking support devices 100 and sharing information on the state of the landmark 103 recognized by each parking support device 100, the landmark 103 in the parking lot is efficiently inspected and abnormal. The cause can be eliminated.

以上のような制御部１１０を含む駐車支援装置１００の機能は、ハードウエア構成の一例を図５に示すように、各種のデータを入力する入力回路と、制御プログラムが格納された記憶装置（ＲＯＭ）と、データを一時的に保存する揮発性記憶装置（ＲＡＭ）と、各種データに基づき演算処理を実行する中央処理装置（ＣＰＵ）と、演算結果を出力する出力回路とを備えて構成されている。 As shown in FIG. 5, the functions of the parking support device 100 including the control unit 110 as described above include an input circuit for inputting various data and a storage device (ROM) in which the control program is stored. ), A volatile storage device (RAM) that temporarily stores data, a central processing unit (CPU) that executes arithmetic processing based on various data, and an output circuit that outputs arithmetic results. There is.

次に、このような構成の駐車支援装置１００の動作について図６のフローチャートを用いて説明する。
最初に、ステップＳ２０１において、制御部１１０は、ランドマーク情報記憶部１１４に保存されている各ランドマークの検査が完了したか否かを表すランドマークの検査リストを”検査未完”の状態に初期化する。この検査リストには各ランドマークの初期状態における座標や設置向き、サイズ、画像が記録されている。
ここで、広大な駐車場でランドマークの数が多い場合、複数の駐車支援装置１００によってランドマークの検査を分担し、駐車場全体を管理する中央制御装置によって指定された駐車場内の一部ランドマークのリストとしてもよい。 Next, the operation of the parking support device 100 having such a configuration will be described with reference to the flowchart of FIG.
First, in step S201, the control unit 110 initializes the landmark inspection list indicating whether or not the inspection of each landmark stored in the landmark information storage unit 114 is completed in the "inspection incomplete" state. To become. In this inspection list, the coordinates, installation orientation, size, and image of each landmark in the initial state are recorded.
Here, when the number of landmarks is large in a vast parking lot, a plurality of parking support devices 100 share the inspection of the landmarks, and a part of the land in the parking lot designated by the central control device that manages the entire parking lot. It may be a list of marks.

次に、ステップＳ２Ｌ１に移行し、駐車支援装置１００が検査リストにある各ランドマークの検査が完了するまでステップＳ２０２からステップＳ２１１までの処理を繰り返すループ処理を行う。 Next, the process proceeds to step S2L1 and a loop process is performed in which the parking support device 100 repeats the processes from step S202 to step S211 until the inspection of each landmark on the inspection list is completed.

まず、ステップＳ２０２において、駐車場情報取得部１１１は、現在の駐車場情報を取得し、ステップＳ２０３において、制御部１１０は、取得した駐車場情報に基づいて検査リストにある未検査ランドマークから次に検査する目標を決定する。駐車場情報には、例えば駐車場の現在の各駐車区画への駐車状況や、駐車場の地図、駐車場内を移動中の車両の現在位置、経路、目的駐車区画が含まれる。これらの情報に基づいて現在駐車されていない駐車区画を優先的に検査することによって、ランドマークの検査中に車両の駐車を妨げないように構成してもよい。 First, in step S202, the parking lot information acquisition unit 111 acquires the current parking lot information, and in step S203, the control unit 110 starts from the uninspected landmark in the inspection list based on the acquired parking lot information. Determine the goals to be inspected. The parking lot information includes, for example, the current parking status of the parking lot in each parking lot, a map of the parking lot, the current position, route, and target parking lot of the vehicle moving in the parking lot. By preferentially inspecting a parking lot that is not currently parked based on this information, it may be configured so as not to interfere with the parking of the vehicle during the inspection of the landmark.

次に、ステップＳ２０４において、位置演算部１１２は、駐車支援装置１００の現在の座標を演算して制御部１１０に出力し、制御部１１０は、現在の座標と駐車場の地図、目標ランドマークの座標に基づき目標ランドマークまでの経路を生成して移動手段１１３を介して目標ランドマークまで移動させ、ステップＳ２Ｌ２に移行する。なお、ここで、座標とは、駐車場のある地点を基準とした座標としているが、ランドマークと駐車支援装置１００との相対的な位置関係を把握することができればよいため、緯度および経度としても構わない。また、現在座標の演算方法には、カメラ映像に映る駐車場の構造物との相対的な位置関係に基づく演算方法や、車輪１０２の回転情報に基づいた自律航法（デッドレコニング：Dead Reckoning）、緯度、経度であればＧＰＳ（全地球測位システム）などを用いることができる。 Next, in step S204, the position calculation unit 112 calculates the current coordinates of the parking support device 100 and outputs the current coordinates to the control unit 110, and the control unit 110 calculates the current coordinates, the map of the parking lot, and the target landmark. A route to the target landmark is generated based on the coordinates, the route is moved to the target landmark via the moving means 113, and the process proceeds to step S2L2. Here, the coordinates are the coordinates based on the point where the parking lot is located, but as long as the relative positional relationship between the landmark and the parking support device 100 can be grasped, the latitude and longitude are used. It doesn't matter. In addition, the calculation method of the current coordinates includes a calculation method based on the relative positional relationship with the structure of the parking lot shown in the camera image, autonomous navigation based on the rotation information of the wheel 102 (Dead Reckoning), and the calculation method. GPS (Global Positioning System) or the like can be used for latitude and longitude.

ステップＳ２Ｌ２においては、駐車支援装置１００が目標ランドマークの状態を認識し、検査を完了するまでステップＳ２Ｍ１からステップＳ２０８までの処理を繰り返すループ処理を行う。
ここで、ステップＳ２Ｍ１は、ランドマーク検査モードであり、詳細のフローチャートを示す図７を用いて説明する。 In step S2L2, the parking support device 100 recognizes the state of the target landmark and performs a loop process in which the processes from step S2M1 to step S208 are repeated until the inspection is completed.
Here, step S2M1 is a landmark inspection mode, and will be described with reference to FIG. 7, which shows a detailed flowchart.

まず、ステップＳ２２１において、カメラ部１０１によってランドマークを撮影し、ランドマーク画像を取得する。このとき、現在の駐車支援装置１００の座標と目標ランドマークの座標・サイズからカメラの撮影範囲にランドマークが含まれる位置に移動するか、カメラ部１０１の向き・角度などを予め調整しておくとよい。 First, in step S221, the landmark is photographed by the camera unit 101, and the landmark image is acquired. At this time, the coordinates of the current parking support device 100 and the coordinates / size of the target landmark are moved to a position where the landmark is included in the shooting range of the camera, or the orientation / angle of the camera unit 101 is adjusted in advance. It is good.

次に、ステップＳ２２２において、取得したランドマークの情報を比較するためにデータを変換する。ここで、画像を比較するためには、撮影したランドマーク画像とランドマークの正常な初期状態での画像におけるランドマークの向きを一致させることが必要であり、ランドマーク画像を射影変換することによってランドマークを上から見下ろしたような俯瞰画像に変換する。すなわち、図８に示すようにカメラ部１０１によって撮影したランドマーク１０３ａ部分の画像を図９に示すように射影変換して俯瞰画像を形成する。
また、ランドマーク１０３の初期状態における画像も同様に俯瞰変換し、図１０に示すような真上から見下ろした画像に変換することによって、同じ向き、同じスケールで撮影したランドマークと比較することが可能となる。なお、変換処理が少なくて済むようにランドマーク１０３の初期状態の画像情報は、予め真上から撮影した様な画像データとして保存しておくことが望ましい。さらに、このランドマーク１０３の初期状態のデータは、撮影した画像でも３Ｄ−ＣＡＤなどで作成した映像データで形成してもよい。 Next, in step S222, the data is converted to compare the acquired landmark information. Here, in order to compare the images, it is necessary to match the orientation of the landmark image in the captured landmark image and the image in the normal initial state of the landmark, and by projecting the landmark image. Converts a landmark into a bird's-eye view image that looks down from above. That is, as shown in FIG. 8, the image of the landmark 103a portion taken by the camera unit 101 is projected and transformed as shown in FIG. 9 to form a bird's-eye view image.
Further, the image of the landmark 103 in the initial state can be similarly overlooked and converted into an image viewed from directly above as shown in FIG. 10, so that the landmarks can be compared with the landmarks taken in the same direction and on the same scale. It will be possible. It is desirable that the image information in the initial state of the landmark 103 be saved as image data as if it was taken from directly above so that the conversion process can be reduced. Further, the data in the initial state of the landmark 103 may be formed by a captured image or video data created by 3D-CAD or the like.

次に、ステップＳ２２３において、ランドマーク情報比較部１１５は、このランドマーク画像とランドマーク情報記憶部１１４に保存されているランドマークの初期状態での画像とを比較し、ステップＳ２２４において、ランドマーク認識部１１６は、変換したランドマーク画像とランドマークの初期状態の画像の差を認識する。ここで、画像の差の認識手法として以下に示す画像差分を用いた手法を用いることができる。
すなわち、ランドマークの中央座標と向きからランドマーク画像中のランドマーク領域とランドマークの初期状態の画像中のランドマーク領域が重なるようにして図９と図１０のデータの差分を取り、図１１に示すような画像情報を得る。なお、図１１において、破線は、差分画像中のランドマーク領域を示すものである。 Next, in step S223, the landmark information comparison unit 115 compares the landmark image with the image of the landmark stored in the landmark information storage unit 114 in the initial state, and in step S224, the landmark is marked. The recognition unit 116 recognizes the difference between the converted landmark image and the image in the initial state of the landmark. Here, as a method for recognizing the difference between images, a method using the image difference shown below can be used.
That is, the difference between the data of FIGS. 9 and 10 is taken so that the landmark area in the landmark image and the landmark area in the image of the initial state of the landmark overlap from the center coordinates and orientation of the landmark, and FIG. 11 Obtain image information as shown in. In FIG. 11, the broken line indicates a landmark area in the difference image.

このように差分画像を取得することによって、現在のランドマークと初期状態のランドマークの相違点を検出することができる。なお、ここではランドマーク画像の差分を用いた手法を例に画像の比較処理を説明したが、その他の方法として、例えば画像から抽出したエッジやコーナー点を比較してもよく、また、ランドマークが複雑な模様の場合は、ＨｏＧ(Histograms of Oriented Gradients)特徴量などに基づいて比較してもよい。 By acquiring the difference image in this way, it is possible to detect the difference between the current landmark and the landmark in the initial state. Although the image comparison process has been described here using a method using the difference between landmark images as an example, as another method, for example, edges and corner points extracted from the image may be compared, and landmarks may be compared. In the case of a complicated pattern, comparison may be made based on HoG (Histograms of Oriented Gradients) features and the like.

次に、ランドマーク検査モードＳ２Ｍ１を終了すると、ステップＳ２０５（図６）において、ランドマーク認識部１１６は、ステップＳ２２４で得られた差分データに基づいて差分領域の大きさや形状、色によってランドマークの状態を認識し、ランドマークの状態が正常か異常か、ランドマークが異常状態にある原因(以後、異常原因と記載)は何か、ランドマークにおける異常な領域(以後、異常箇所と記載)はどこかという情報を認識する。
例えば、図１１の差分データについて、まずはランドマークが正常な状態か異常な状態かを認識する。差分画像中のランドマーク領域内における差分領域の面積に対して閾値を設け、閾値以上であればランドマークが異常状態とし、閾値未満であればランドマークは正常な状態と認識する。また、差分画像中のランドマーク領域１０３ａ内における差分領域を異常箇所として認識する。 Next, when the landmark inspection mode S2M1 is terminated, in step S205 (FIG. 6), the landmark recognition unit 116 determines the landmark according to the size, shape, and color of the difference region based on the difference data obtained in step S224. Recognize the state, whether the state of the landmark is normal or abnormal, what is the cause of the landmark being in the abnormal state (hereinafter referred to as the cause of abnormality), and the abnormal area in the landmark (hereinafter referred to as the abnormal part) Recognize information about where.
For example, with respect to the difference data of FIG. 11, first, it is recognized whether the landmark is in a normal state or an abnormal state. A threshold value is set for the area of the difference area in the landmark area in the difference image, and if it is equal to or more than the threshold value, the landmark is regarded as an abnormal state, and if it is less than the threshold value, the landmark is recognized as a normal state. Further, the difference area in the landmark area 103a in the difference image is recognized as an abnormal part.

次に、ランドマークが異常状態になっている原因を認識する。本実施の形態で用いる光学的なマーカーの場合に考えられるランドマークの異常原因として、上述したように例えば汚れたランドマーク１０３ａや、剥げ、欠けたランドマーク１０３ｂ、１０３ｃ、位置ずれしたランドマーク１０３ｄが挙げられる。このようなランドマークの異常原因を認識する手法には、例えば機械学習手法の一種である深層学習（Deep Learning）を用いることができ、様々なランドマークの異常な状態の画像を学習することによってランドマークの異常原因を認識することができる。
なお、ランドマークが異常な状態か否かの認識と、ランドマークの異常原因の認識を１度に行うようにしてもよい。また、ランドマークの異常原因を認識する手法として例えば差分画像における差分領域の形状や、差分領域の色情報などを用いてランドマークの異常原因を認識してもよい。 Next, recognize the cause of the landmark being in an abnormal state. As a possible cause of landmark abnormality in the case of the optical marker used in the present embodiment, for example, as described above, dirty landmark 103a, peeled or chipped landmarks 103b, 103c, and misaligned landmark 103d Can be mentioned. As a method of recognizing the cause of such an abnormal state of a landmark, for example, deep learning, which is a kind of machine learning method, can be used, and by learning images of an abnormal state of various landmarks. It is possible to recognize the cause of an abnormality in a landmark.
It should be noted that the recognition of whether or not the landmark is in an abnormal state and the recognition of the cause of the abnormality of the landmark may be performed at the same time. Further, as a method of recognizing the cause of the landmark abnormality, for example, the shape of the difference region in the difference image, the color information of the difference region, or the like may be used to recognize the cause of the landmark abnormality.

このステップＳ２０５において、ランドマークが異常状態にないと認識した場合（Ｎ）、ループ処理ステップＳ２Ｌ２を終了し、ステップＳ２１０に移行する。
一方、異常状態にあると認識された場合（Ｙ）、ステップＳ２０６に移行し、補修可否判定部１１７は、ランドマーク認識部１１６の認識結果に基づいてランドマークを補修することが可能であるか否かを判定する。ここで、ランドマーク認識部１１６が認識した異常箇所の面積がある定められた閾値より大きい場合や、ステップＳ２２４において異常原因が認識できない場合など、駐車支援装置１００では排除できない異常原因の場合、ランドマークの補修は、不可能と判定し、ループ処理ステップＳ２Ｌ２を終了してステップＳ２０９に移行する。
また、補修可能と判定された場合（Ｙ）は、ステップＳ２０７に移行し、上述したようにランドマークの状態に応じてランドマーク補修部１１９によりランドマークを補修する。 When it is recognized in step S205 that the landmark is not in an abnormal state (N), the loop processing step S2L2 is terminated and the process proceeds to step S210.
On the other hand, when it is recognized that the state is abnormal (Y), the process proceeds to step S206, and is it possible for the repairability determination unit 117 to repair the landmark based on the recognition result of the landmark recognition unit 116? Judge whether or not. Here, if the area of the abnormal portion recognized by the landmark recognition unit 116 is larger than a predetermined threshold value, or if the cause of the abnormality cannot be recognized in step S224, or if the cause of the abnormality cannot be eliminated by the parking support device 100, the land is used. It is determined that the repair of the mark is impossible, the loop processing step S2L2 is ended, and the process proceeds to step S209.
If it is determined that repair is possible (Y), the process proceeds to step S207, and the landmark is repaired by the landmark repair unit 119 according to the state of the landmark as described above.

次に、補修可否判定部１１７は、目標ランドマークの補修回数をカウントしておき、ステップＳ２１８において、補修回数が３回ならばランドマークの補修を不可能と判定し、ループ処理ステップＳ２Ｌ２を終了してステップＳ２０９に移行する。また、補修回数が３回未満の場合、ランドマークの補修は、可能と判定してループ処理ステップＳ２Ｌ２を繰り返し、ステップＳ２Ｍ１の動作を実行する。なお、ここでは補修回数を３回でランドマークの異常原因を排除することが不可能であると判定しているが、これは、ランドマークの異常原因が一度に排除できない場合や、様々な異常原因が複合している可能性を考慮してのことであるため、３回でなくてもよく、ランドマーク認識部の異常原因の認識精度やランドマーク補修部１１９の補修精度に応じて変更してもよい。また、ステップＳ２０６の補修可否の精度が高ければ、ステップＳ２０８を設けなくてもよく、ステップＳ２０６の補修可否の精度が低ければ、ステップＳ２０６を設けずステップＳ２０８のみで補修可否を判定してもよい。 Next, the repair possibility determination unit 117 counts the number of repairs of the target landmark, determines in step S218 that the landmark cannot be repaired if the number of repairs is 3, and ends the loop processing step S2L2. Then, the process proceeds to step S209. If the number of repairs is less than 3, it is determined that the landmark can be repaired, the loop processing step S2L2 is repeated, and the operation of step S2M1 is executed. Here, it is determined that it is impossible to eliminate the cause of the landmark abnormality by repairing it three times, but this is because the cause of the landmark abnormality cannot be eliminated at once or various abnormalities. Since it is in consideration of the possibility that the causes are compounded, it does not have to be three times, and it is changed according to the recognition accuracy of the abnormality cause of the landmark recognition unit and the repair accuracy of the landmark repair unit 119. You may. Further, if the accuracy of repairability in step S206 is high, step S208 may not be provided, and if the accuracy of repairability in step S206 is low, repairability may be determined only in step S208 without step S206. ..

次に、ステップＳ２０９において、ランドマーク交換部１１８は、ランドマーク補修可否判定部１１７によって補修不可能と判定されたランドマークを接地面から取り外し、新しいランドマークに交換する。ここではランドマーク交換部１１８に駐車場に設置されているランドマークと同じものを内蔵しておき、ランドマークの交換の際にはランドマーク交換部１１８より新たなランドマークを取り出し、補修不可能と判定されたランドマークを取り外して本来のランドマークの設置位置にランドマークを設置する。なお、複数のランドマークの形状を同一のものとしているが、ランドマークの光学的なパターンが複数ある場合、駐車場に予備のランドマークを保管するランドマーク保管所を設けてランドマーク交換の際には駐車支援装置１００がランドマーク保管所まで移動し、交換するランドマークを取得するようにしてもよい。 Next, in step S209, the landmark replacement unit 118 removes the landmark determined by the landmark repairability determination unit 117 from the ground plane and replaces it with a new landmark. Here, the same landmarks installed in the parking lot are built in the landmark exchange part 118, and when exchanging the landmarks, a new landmark is taken out from the landmark exchange part 118 and cannot be repaired. Remove the landmark determined to be and install the landmark at the original landmark installation position. In addition, although the shapes of multiple landmarks are the same, if there are multiple optical patterns of landmarks, a landmark storage area for storing spare landmarks will be provided in the parking lot when replacing landmarks. The parking support device 100 may move to the landmark storage and acquire the landmark to be replaced.

次に、ステップＳ２１０において、制御部１１０は、ステップＳ２Ｌ２からステップＳ２０９までの検査、補修又は交換が完了した目標ランドマークのステータスを”検査未完”から”検査完了”に更新してステップＳ２１１に移行する。
このステップＳ２１１において、制御部１１０は、検査リストを参照し、検査リストに記載された全てのランドマークのステータスが”検査完了”であれば（Ｙ）、全ランドマークの検査が完了したと判定し、ループ処理ステップＳ２Ｌ１を終了してステップＳ２１２に移行する。
最後に、ステップＳ２１２において、制御部１１０は、位置演算部１１２から駐車支援装置１００の現在座標を取得し、駐車場内又は駐車場付近の駐車支援装置１００の待機場所までの経路を演算し、移動手段１１３によって待機場所まで移動させ、処理を終了する。 Next, in step S210, the control unit 110 updates the status of the target landmark for which inspection, repair or replacement from step S2L2 to step S209 has been completed from "inspection not completed" to "inspection completed" and proceeds to step S211. do.
In step S211 of this step, the control unit 110 refers to the inspection list, and if the status of all the landmarks listed in the inspection list is "inspection completed" (Y), it is determined that the inspection of all the landmarks is completed. Then, the loop processing step S2L1 is ended and the process proceeds to step S212.
Finally, in step S212, the control unit 110 acquires the current coordinates of the parking support device 100 from the position calculation unit 112, calculates the route to the waiting place of the parking support device 100 in or near the parking lot, and moves. It is moved to the waiting place by the means 113, and the process is completed.

以上説明したように、本実施の形態１の駐車支援装置１００によれば、駐車場に設置されたランドマークをカメラ部１０１によって撮影し、撮影したランドマーク画像とランドマーク情報記憶部１１４に保存されたランドマークの初期状態の画像とを比較し、この比較結果に基づいてランドマークの状態を認識することによって駐車場に設置されたランドマークの状態を常に監視することができ、ランドマークが異常状態になっても、車両入庫時にランドマーク未検出による入庫が困難になる不具合を防ぐことができる。
また、ランドマークが異常な状態の場合に、ランドマーク認識部１１６の結果に基づき、ランドマーク補修部１１９によってランドマークの異常原因を排除し、ランドマークを正常な状態に補修することができる。これにより、車両のタイヤ痕による汚れや剥げ、欠け、位置ズレなどによって検出できなくなったランドマークを速やかに検出可能な状態に復帰させることができる。
さらに、ランドマークの補修が不可能な状態に陥った時、ランドマーク交換部１１８によりランドマークを新しいランドマークに交換することによって、検出できなくなったランドマークを速やかに検出可能な状態に復帰させることができる。 As described above, according to the parking support device 100 of the first embodiment, the landmark installed in the parking lot is photographed by the camera unit 101, and the photographed landmark image and the landmark information storage unit 114 store the landmark image. By comparing with the image of the initial state of the landmark that was made and recognizing the state of the landmark based on this comparison result, the state of the landmark installed in the parking lot can be constantly monitored, and the landmark can be Even if an abnormal state occurs, it is possible to prevent a problem that it becomes difficult to store the vehicle due to undetected landmarks when the vehicle is stored.
Further, when the landmark is in an abnormal state, based on the result of the landmark recognition unit 116, the landmark repair unit 119 can eliminate the cause of the abnormality of the landmark and repair the landmark to the normal state. As a result, landmarks that cannot be detected due to dirt, peeling, chipping, misalignment, etc. due to tire marks on the vehicle can be quickly returned to a detectable state.
Furthermore, when the landmark cannot be repaired, the landmark replacement unit 118 replaces the landmark with a new landmark to quickly restore the undetectable landmark to a detectable state. be able to.

なお、本実施の形態では、マーカーとして光学的なパターンを持つランドマークを利用し、カメラ部１０１によってその状態を認識するものとしているが、駐車区画に対する自車の位置を特定できるもの、例えば、発光素子とカメラの組み合わせ、赤外線発光素子と赤外線センサーの組み合わせなどを用いても構わない。また、駐車支援装置１００が検査対象のランドマークの異常状態を認識できれば、補修又は交換などの対応ができるため、センサー部にはランドマークに応じたセンサーを利用すればよい。 In the present embodiment, a landmark having an optical pattern is used as a marker, and the state is recognized by the camera unit 101, but the position of the own vehicle with respect to the parking zone can be specified, for example. A combination of a light emitting element and a camera, a combination of an infrared light emitting element and an infrared sensor, and the like may be used. Further, if the parking support device 100 can recognize the abnormal state of the landmark to be inspected, it can be repaired or replaced. Therefore, a sensor corresponding to the landmark may be used for the sensor unit.

実施の形態２
図１２は、実施の形態２に係る駐車支援装置１００の構成を示すブロック図である。
この実施の形態２は、実施の形態１に対して第２のランドマーク補修部１２０を追加したもので、他の構成については、同一あるいは相当する部分に同一符号を付し、その説明を省略する。 Embodiment 2
FIG. 12 is a block diagram showing the configuration of the parking support device 100 according to the second embodiment.
In the second embodiment, the second landmark repair unit 120 is added to the first embodiment, and the same or corresponding parts are designated by the same reference numerals and the description thereof is omitted for other configurations. do.

ここで、第２のランドマーク補修部１２０は、ランドマーク周辺を正常な初期状態に戻すためにランドマーク周辺を補修するもので、ランドマーク周辺の異常原因を排除し、ランドマークおよびランドマーク周辺を正常な状態に修復する補修手段を有している。
例えば、ランドマーク１０３の異常原因が図１３に示すようにランドマーク周辺にある障害物１０５の影１０６に由来する場合、あるいはランドマーク上に障害物１０５がある場合、第２のランドマーク補修部１２０は、障害物１０５を掴んで運搬するアーム部を持ち、障害物１０５を持ち上げてランドマーク周辺から安全な場所に移動させる。これによって、障害物１０５または障害物１０５の影１０６によるランドマーク１０３の異常を排除し、ランドマーク１０３を正常な初期状態に戻すことができる。また、ランドマーク周辺を照らす光源１０７が照度不足の場合、第２のランドマーク補修部１２０は、電灯などの光源を新規のものに交換する光源交換部を持ち、ランドマーク周辺を照らす光源１０７を新規のものに交換する。これによって、ランドマークを正常に撮影させることができる。さらに、ランドマーク１０３の異常原因が水たまり１０８に由来する場合、第２のランドマーク補修部１２０は、水を吸い上げる吸水部を持ち、吸水部にて水を吸い上げることによって、水たまり１０８によるランドマークの異常を排除し、ランドマーク１０３を正常な初期状態に戻すことができる。 Here, the second landmark repair unit 120 repairs the area around the landmark in order to return the area around the landmark to a normal initial state, eliminates the cause of abnormality around the landmark, eliminates the cause of abnormality around the landmark, and around the landmark and the landmark. Has a repair means to restore the landmark to a normal state.
For example, if the cause of the abnormality of the landmark 103 is derived from the shadow 106 of the obstacle 105 around the landmark as shown in FIG. 13, or if the obstacle 105 is on the landmark, the second landmark repair unit The 120 has an arm portion that grabs and carries the obstacle 105, and lifts the obstacle 105 to move it from the vicinity of the landmark to a safe place. As a result, the abnormality of the landmark 103 due to the obstacle 105 or the shadow 106 of the obstacle 105 can be eliminated, and the landmark 103 can be returned to the normal initial state. Further, when the light source 107 that illuminates the periphery of the landmark has insufficient illuminance, the second landmark repair unit 120 has a light source exchange unit that replaces a light source such as an electric lamp with a new one, and the light source 107 that illuminates the periphery of the landmark is provided. Replace with a new one. As a result, the landmark can be photographed normally. Further, when the cause of the abnormality of the landmark 103 is derived from the puddle 108, the second landmark repair unit 120 has a water absorbing portion that sucks up water, and by sucking up the water at the water absorbing portion, the landmark by the puddle 108 is sucked up. The abnormality can be eliminated and the landmark 103 can be returned to the normal initial state.

次に、実施の形態２における駐車支援装置１００の動作についてフローチャートを示す図１４を用いて説明する。
図１４におけるステップＳ２０１からステップＳ２１２までの処理およびステップＳ２１０からステップＳ２１２までの処理(図示せず)は、実施の形態１におけるフローチャート（図６、図７）と同じ処理であり、異なる部分について以下説明する。 Next, the operation of the parking support device 100 according to the second embodiment will be described with reference to FIG. 14 showing a flowchart.
The processing from step S201 to step S212 and the processing from step S210 to step S212 (not shown) in FIG. 14 are the same processing as the flowcharts (FIGS. 6 and 7) in the first embodiment, and the different parts are described below. explain.

この実施の形態２においては、ステップＳ２０５でランドマークが異常状態であるとランドマーク認識部１１６が判定した場合（Ｙ）、ステップＳ２３１に移行し、ランドマークの異常原因がランドマークによるものか否かを判定する。
ここで、ランドマークの異常による場合は、ステップＳ２０６に移行し、上述した処理を行う。また、ランドマーク周辺の異常によってランドマークが異常となる場合は、ステップＳ２３２に移行して第２のランドマーク補修部１２０によりランドマーク周辺を補修し、その後、ステップＳ２０８に移行して実施の形態１と同様に処理を継続する。 In the second embodiment, when the landmark recognition unit 116 determines in step S205 that the landmark is in an abnormal state, the process proceeds to step S231, and whether or not the cause of the landmark abnormality is due to the landmark. Is determined.
Here, if the landmark is abnormal, the process proceeds to step S206, and the above-described processing is performed. If the landmark becomes abnormal due to an abnormality in the vicinity of the landmark, the process proceeds to step S232 to repair the area around the landmark by the second landmark repair unit 120, and then the process proceeds to step S208 to perform the embodiment. The process is continued in the same manner as in 1.

なお、ランドマーク周辺にある障害物１０５によってランドマーク１０３上に影１０６がある場合、カメラ部１０１によって図１５に示すようにランドマーク周辺の画像を取得し、ランドマーク情報比較部１１５によって図１６に示すようなランドマーク周辺を俯瞰変換した画像とし、さらに、図１７に示すようなランドマークの正常な初期状態の画像と差分をとった画像を取得する。このように差分情報により、ランドマークは、異常状態にあると認識し、実施の形態１と同様にランドマーク画像に対して深層学習などの認識手法を用いて、ランドマークの異常原因と異常箇所を判別する。 When there is a shadow 106 on the landmark 103 due to an obstacle 105 around the landmark, the camera unit 101 acquires an image around the landmark as shown in FIG. 15, and the landmark information comparison unit 115 acquires the image around the landmark. An image obtained by converting the area around the landmark as shown in FIG. 17 from a bird's-eye view is obtained, and an image obtained by taking a difference from the image in the normal initial state of the landmark as shown in FIG. 17 is acquired. In this way, the landmark is recognized as being in an abnormal state based on the difference information, and the cause of the abnormality and the abnormal location of the landmark are used by using a recognition method such as deep learning for the landmark image as in the first embodiment. To determine.

また、図１３に示すようなランドマーク１０３に水たまり１０８がある場合、ランドマークの状態は”異常”で、その異常原因は”ランドマークを含む周辺の水たまり”となるため、ステップＳ２３１でランドマーク周辺の状況に起因するものと判定され、ステップＳ２３２へ移行することになる。 Further, when there is a puddle 108 in the landmark 103 as shown in FIG. 13, the state of the landmark is "abnormal", and the cause of the abnormality is "a puddle in the vicinity including the landmark". Therefore, the landmark is marked in step S231. It is determined that the cause is due to the surrounding situation, and the process proceeds to step S232.

このように、実施の形態２における駐車支援装置１００は、ランドマークおよびランドマーク周辺をカメラ部１０１によって撮影したランドマーク画像とランドマーク情報記憶部１１４に保存されたランドマークの初期状態の画像とをランドマーク情報比較部１１５にて比較し、この比較結果に基づくランドマークの状態およびランドマーク周辺の状況をランドマーク認識部１１６により認識し、第２のランドマーク補修部１２０によってランドマーク周辺を正常な状態に戻すことできる。したがって、駐車場に設置されたランドマークの状態を認識する精度が向上し、ランドマークを検出できないことによる入庫が不可能に陥る不具合を防ぐことができる。 As described above, the parking support device 100 according to the second embodiment includes the landmark image taken by the camera unit 101 and the image of the initial state of the landmark stored in the landmark information storage unit 114. Is compared by the landmark information comparison unit 115, the state of the landmark and the situation around the landmark based on the comparison result are recognized by the landmark recognition unit 116, and the area around the landmark is recognized by the second landmark repair unit 120. It can be returned to the normal state. Therefore, the accuracy of recognizing the state of the landmarks installed in the parking lot is improved, and it is possible to prevent a problem that the warehousing becomes impossible due to the inability to detect the landmarks.

実施の形態３
図１８は、実施の形態３に係る駐車支援装置１００の構成を示すブロック図である。
この実施の形態３は、実施の形態２に対してさらに第２のランドマーク補修可否判定部１２１、ユーザー通知部１２２および第２のユーザー通知部１２３を追加したもので、他の構成については、同一あるいは相当する部分に同一符号を付し、その説明を省略する。
ここで、第２のランドマーク補修可否判定部１２１は、ランドマーク周辺に由来するランドマークの異常原因が第２のランドマーク補修部１２０によって補修可能か判定するものである。また、ユーザー通知部１２２は、目標ランドマークの示す駐車区画に車両が入庫できない旨をユーザーへ通知し、さらに、第２のユーザー通知部１２３は、ランドマークの補修又は交換が完了したため、ランドマークが正常な状態に戻り、目標ランドマークの示す駐車区画に車両が入庫可能になった旨をユーザーへ通知するものである。
なお、通知先としては、駐車場の管理者、駐車場の中央制御装置、駐車中の車両ユーザー、他の駐車支援装置１００などが考えられる。 Embodiment 3
FIG. 18 is a block diagram showing the configuration of the parking support device 100 according to the third embodiment.
In the third embodiment, the second landmark repairability determination unit 121, the user notification unit 122, and the second user notification unit 123 are further added to the second embodiment. The same or corresponding parts are designated by the same reference numerals, and the description thereof will be omitted.
Here, the second landmark repair possibility determination unit 121 determines whether the cause of the abnormality of the landmark derived from the periphery of the landmark can be repaired by the second landmark repair unit 120. In addition, the user notification unit 122 notifies the user that the vehicle cannot enter the parking lot indicated by the target landmark, and the second user notification unit 123 further repairs or replaces the landmark, so that the landmark Returns to the normal state and notifies the user that the vehicle can be stored in the parking lot indicated by the target landmark.
The notification destination may be a parking lot manager, a parking lot central control device, a parked vehicle user, another parking support device 100, or the like.

次に、この実施の形態３における駐車支援装置１００の動作を図１９に示すフローチャートを用いて説明する。
図において、ステップＳ２０１からステップＳ２０５までの処理およびステップＳ２１０からステップＳ２１２までの処理は、上述した実施の形態１および２と同じものであるため、省略しており、以下異なる部分について説明する。
ステップＳ２０５において、目標ランドマークの状態が異常であるとランドマーク認識部１１６が判定した場合、ステップＳ２４１に移行し、ユーザー通知部１２２は、目標ランドマークの状態が異常で、目標ランドマークの示す駐車区画に車両が入庫できない旨を駐車場管理者などのユーザーへ通知する。 Next, the operation of the parking support device 100 according to the third embodiment will be described with reference to the flowchart shown in FIG.
In the figure, the processes from step S201 to step S205 and the processes from step S210 to step S212 are the same as those in the above-described first and second embodiments, and thus are omitted, and different parts will be described below.
When the landmark recognition unit 116 determines in step S205 that the state of the target landmark is abnormal, the process proceeds to step S241, and the user notification unit 122 indicates that the state of the target landmark is abnormal and the target landmark indicates. Notify users such as parking lot managers that vehicles cannot be stored in the parking lot.

次に、ステップＳ２３１に続くステップＳ２４２において、第２のランドマーク補修可否判定部１２１は、ランドマーク周辺に由来するランドマークの異常原因を除去することが可能か判定する。ここで、ランドマークの異常原因の除去が不可能と判定された場合(Ｎ)、ループ処理ステップＳ２Ｌ２を終了し、ステップＳ２４３に移行する。
次に、ステップＳ２４３において、第２のユーザー通知部１２３は、目標ランドマーク周辺の異常原因を排除できないため、目標ランドマークが補修不可能であること、目標ランドマークの示す駐車区画に車両が入庫できない旨をユーザーに通知し、ステップＳ２１０へ移行する。 Next, in step S242 following step S231, the second landmark repair possibility determination unit 121 determines whether it is possible to remove the cause of the abnormality of the landmark derived from the periphery of the landmark. Here, when it is determined that the cause of the landmark abnormality cannot be removed (N), the loop processing step S2L2 is terminated, and the process proceeds to step S243.
Next, in step S243, the second user notification unit 123 cannot eliminate the cause of the abnormality around the target landmark, so that the target landmark cannot be repaired, and the vehicle enters the parking lot indicated by the target landmark. The user is notified that the process cannot be performed, and the process proceeds to step S210.

一方、ステップＳ２０６〜ステップＳ２０９、またはステップＳ２３２を実行した後、ステップＳ２４４においてユーザー通知部１２２は、ランドマークの補修又は交換が完了したため、ランドマークが正常な状態に戻ったこと、目標ランドマークの示す駐車区画に車両の入庫が可能になった旨をユーザーへ通知し、ステップＳ２１０に移行して上述した以降の処理を実行することになる。 On the other hand, after executing step S206 to step S209 or step S232, in step S244, the user notification unit 122 has returned to the normal state of the landmark because the repair or replacement of the landmark has been completed. The user is notified that the vehicle can be stored in the indicated parking lot, and the process proceeds to step S210 to execute the subsequent processes described above.

このように、実施の形態３における駐車支援装置１００は、ランドマークをカメラ部１０１によって撮影したランドマーク画像とランドマーク情報記憶部１１４に保存されたランドマークの初期状態の画像とをランドマーク情報比較部１１５にて比較し、この比較結果に基づくランドマークの状態およびランドマーク周辺の状況をランドマーク認識部１１６により認識し、ランドマークが異常な状態と認識された場合、異常によりランドマークが検出できずランドマークの示す駐車区画に車両が入庫できない旨をユーザーに通知するため、ユーザーはランドマークの異常原因を排除するか別の駐車位置に車両を入庫させるなどにより車両を速やかに入庫させることができる。 As described above, the parking support device 100 according to the third embodiment provides landmark information of the landmark image of the landmark taken by the camera unit 101 and the image of the initial state of the landmark stored in the landmark information storage unit 114. The comparison unit 115 compares, and the landmark recognition unit 116 recognizes the state of the landmark and the situation around the landmark based on the comparison result. When the landmark is recognized as an abnormal state, the landmark is caused by the abnormality. In order to notify the user that the vehicle cannot be stored in the parking area indicated by the landmark because it cannot be detected, the user promptly stores the vehicle by eliminating the cause of the abnormality of the landmark or by storing the vehicle in another parking position. be able to.

また、ランドマークの補修、交換が完了し、ランドマークが正常な初期状態に戻ったと認識された場合、ランドマークが正常な状態に戻ったこと、目標ランドマークの示す駐車区画に車両の入庫が可能になった旨をユーザーへ通知することにより、ユーザーは、駐車区画に車両を入庫できるようになったタイミングを知ることができ、速やかに車両を入庫させることが可能となる。
さらに、目標ランドマークが補修不可能であること、目標ランドマークの示す駐車区画に車両が入庫できない旨をユーザーに通知することにより、ユーザーは、駐車支援装置１００によりランドマークの補修ができない旨を知ることができ、ユーザー自身で異常原因を排除するか駐車場管理者に連絡してランドマークの異常原因を排除させるなどにより、速やかに車両を入庫させることが可能となる。 In addition, when the repair and replacement of the landmark is completed and it is recognized that the landmark has returned to the normal initial state, the landmark has returned to the normal state and the vehicle is warehousing in the parking lot indicated by the target landmark. By notifying the user that it has become possible, the user can know when the vehicle can be stored in the parking lot, and the vehicle can be stored promptly.
Furthermore, by notifying the user that the target landmark cannot be repaired and that the vehicle cannot be stored in the parking lot indicated by the target landmark, the user can not repair the landmark by the parking support device 100. It is possible to promptly store the vehicle by eliminating the cause of the abnormality by the user himself or by contacting the parking lot manager to eliminate the cause of the abnormality of the landmark.

なお、以上の実施の形態においては、車両が入庫できない場合を想定して駐車支援装置１００の動作を説明したが、車両が出庫する際にランドマークを検出することができないことにより車両の出庫が不可能となる場合であっても駐車支援装置１００を用いることによって不具合を解消することができる。 In the above embodiment, the operation of the parking support device 100 has been described on the assumption that the vehicle cannot be stored, but the vehicle is discharged because the landmark cannot be detected when the vehicle is discharged. Even if it becomes impossible, the problem can be solved by using the parking support device 100.

また、本開示には、例示的な実施の形態が記載されているが、実施の形態に記載された様々な特徴、態様、及び機能は特定の実施の形態の適用に限られるのではなく、単独で、または様々な組み合わせで実施の形態に適用可能である。
従って、例示されていない無数の変形例が、本願明細書に開示される技術の範囲内において想定される。例えば、少なくとも１つの構成要素を変形する場合、追加する場合または省略する場合が含まれるものとする。 Also, although the present disclosure describes exemplary embodiments, the various features, aspects, and functions described in the embodiments are not limited to the application of a particular embodiment. It can be applied to embodiments alone or in various combinations.
Therefore, innumerable variations not illustrated are envisioned within the scope of the techniques disclosed herein. For example, it is assumed that at least one component is modified, added or omitted.

１００：駐車支援装置、 １０１：カメラ部（センサー部）、 １１０：制御部、
１１１：駐車場情報取得部、 １１２：位置演算部、 １１３：移動手段、
１１４：ランドマーク情報記憶部、 １１５：ランドマーク情報比較部、
１１６：ランドマーク認識部、 １１７：ランドマーク補修可否判定部、
１１８：ランドマーク交換部、 １１９：ランドマーク補修部、
１２０：第２のランドマーク補修部、 １２１：第２のランドマーク補修可否判定部、
１２２：ユーザー通知部、 １２３：第２のユーザー通知部。 100: Parking support device, 101: Camera unit (sensor unit), 110: Control unit,
111: Parking lot information acquisition unit, 112: Position calculation unit, 113: Transportation means,
114: Landmark information storage unit, 115: Landmark information comparison unit,
116: Landmark recognition unit, 117: Landmark repairability judgment unit,
118: Landmark Exchange Department, 119: Landmark Repair Department,
120: Second landmark repair section, 121: Second landmark repair availability judgment section,
122: User notification unit, 123: Second user notification unit.

Claims (10)

駐車区画を定義するランドマークの初期状態における情報を記憶するランドマーク情報記憶部と、
前記ランドマークを検知するセンサー部と、
前記センサー部で検知されたランドマークに係る情報と前記ランドマーク情報記憶部に記憶されたランドマークの初期状態の情報とを比較するランドマーク情報比較部と、
前記ランドマーク情報比較部における比較結果に基づいて、前記ランドマークの状態を認識するランドマーク情報認識部と、
前記ランドマーク情報認識部が前記ランドマークの異常状態を認識した際、前記ランドマークを補修するランドマーク補修部と、
前記ランドマーク情報認識部が認識したランドマークの状態に基づいて、前記ランドマーク補修部が前記ランドマークを初期状態に戻すことができるか否かを判定するランドマーク補修可否判定部と、
前記ランドマーク補修可否判定部が、前記ランドマーク補修部が前記ランドマークを初期状態に戻すことができないと判定した場合に、前記ランドマークを交換するランドマーク交換部とを備えたことを特徴とする駐車支援装置。 A landmark information storage unit that stores information in the initial state of landmarks that define parking lots,
The sensor unit that detects the landmark and
A landmark information comparison unit that compares the information related to the landmark detected by the sensor unit with the information of the initial state of the landmark stored in the landmark information storage unit.
A landmark information recognition unit that recognizes the state of the landmark based on the comparison result in the landmark information comparison unit,
When the landmark information recognition unit recognizes the abnormal state of the landmark, the landmark repair unit that repairs the landmark and the landmark repair unit
Based on the state of the landmark recognized by the landmark information recognition unit, the landmark repair unit determines whether or not the landmark can be returned to the initial state, and the landmark repair possibility determination unit.
The feature is that the landmark repairability determination unit includes a landmark exchange unit for exchanging the landmark when the landmark repair unit determines that the landmark cannot be returned to the initial state. Parking assistance device. 前記ランドマーク補修部は、前記ランドマーク情報認識部がランドマークに汚れが生じていると認識した場合、前記ランドマークの汚れを排除することを特徴とする請求項１に記載の駐車支援装置。 The parking support device according to claim 1, wherein the landmark repair unit removes the stain on the landmark when the landmark information recognition unit recognizes that the landmark is dirty. 前記ランドマーク補修部は、前記ランドマーク情報認識部がランドマークの位置にズレが生じていると認識した場合、前記ランドマークのズレを補修することを特徴とする請求項１または請求項２に記載の駐車支援装置。 The landmark repair unit according to claim 1 or 2, wherein when the landmark information recognition unit recognizes that the landmark position is displaced, the landmark repair unit repairs the displacement of the landmark. Described parking assistance device. 前記ランドマーク補修部は、前記ランドマーク情報認識部がランドマークに剥げ、欠けが生じていると認識した場合、前記ランドマークを修復することを特徴とする請求項１から請求項３のいずれか１項に記載の駐車支援装置。 Any one of claims 1 to 3, wherein the landmark repair unit repairs the landmark when the landmark information recognition unit recognizes that the landmark is peeled off and chipped. The parking support device according to item 1. 前記ランドマーク情報認識部がランドマークを異常な状態と認識した場合、前記ランドマークの周辺を補修する第２のランドマーク補修部を備えたことを特徴とする請求項１から請求項４のいずれか１項に記載の駐車支援装置。 Any of claims 1 to 4 , wherein when the landmark information recognition unit recognizes the landmark as an abnormal state, it is provided with a second landmark repair unit that repairs the periphery of the landmark. The parking support device according to item 1. 前記第２のランドマーク補修部は、前記ランドマーク情報認識部がランドマークの周辺に障害物が存在していると認識した場合、前記障害物を排除することを特徴とする請求項５に記載の駐車支援装置。 The second landmark repair section, when the landmark information recognition unit has recognized that there is an obstacle around the landmark, according to claim 5, characterized in that to eliminate the obstacle Parking assistance device. 前記ランドマーク情報認識部が前記ランドマークの異常状態を認識した際、前記ランドマークが異常である旨を前記ランドマークの近傍に位置する車両のドライバーまたは駐車場管理者に通知するユーザー通知部を備えたことを特徴とする請求項１から請求項６のいずれか１項に記載の駐車支援装置。 When the previous SL landmark information recognition unit recognizes an abnormal state of the landmark, the user notification unit the fact landmark is abnormal informs the driver or parking lot management of the vehicle located in the vicinity of the landmark The parking support device according to any one of claims 1 to 6, wherein the parking support device is provided. 前記ユーザー通知部は、前記ランドマークが異常な状態から初期状態に戻ったことを前記ランドマーク情報認識部が認識した場合、前記ランドマークが初期状態に戻ったことを前記ランドマークの近傍に位置する車両のドライバーまたは駐車場管理者に通知することを特徴とする請求項７に記載の駐車支援装置。 Before SL user notification unit when said landmark has recognized the landmark information recognition unit that has returned to the initial state from the abnormal state, that the landmark has returned to the initial state in the vicinity of the landmark The parking support device according to claim 7 , wherein the driver or the parking lot manager of the located vehicle is notified. 前記ランドマーク情報認識部が認識したランドマークの状態に基づいて、前記第２のランドマーク補修部が前記ランドマークの周辺を正常な状態に戻すことができるか否かを判定する第２の補修可否判定部と、
前記第２の補修可否判定部により前記第２のランドマーク補修部が前記ランドマークの周辺を正常な初期状態に戻すことができないと判定した場合、前記ランドマークの周辺を初期状態に戻すことができない旨を前記ランドマークの近傍に位置する車両のドライバーまたは駐車場の管理者に通知する第２のユーザー通知部とをさらに備えたことを特徴とする請求項５に記載の駐車支援装置。 A second repair that determines whether or not the second landmark repair unit can return the periphery of the landmark to a normal state based on the state of the landmark recognized by the landmark information recognition unit. Yes / No Judgment Department and
When the second landmark repair unit determines that the area around the landmark cannot be returned to the normal initial state by the second repairability determination unit, the area around the landmark may be returned to the initial state. The parking support device according to claim 5 , further comprising a second user notification unit that notifies the driver of a vehicle located in the vicinity of the landmark or the manager of the parking lot that the landmark cannot be used. 駐車区画を定義するランドマークの情報を検知する第１のステップと、
前記第１のステップで検知された前記ランドマークに係る情報、および予め記憶された前記ランドマークの初期状態の情報を比較する第２のステップと、
前記比較による結果に基づいて、前記ランドマークの状態を認識する第３のステップと、
前記第３のステップにおいて、前記ランドマークが異常な状態にあると認識した場合、前記ランドマークを補修し、前記ランドマークを初期状態に戻す第４のステップと、
前記第４のステップにおいて、前記ランドマークを初期状態に戻すことができないと判定した場合に、前記ランドマークを交換する第５のステップを備えたことを特徴とする駐車支援方法。 The first step in detecting landmark information that defines a parking lot,
A second step of comparing the information related to the landmark detected in the first step and the information of the initial state of the landmark stored in advance, and the second step.
Based on the result of the comparison, the third step of recognizing the state of the landmark and
In the third step, when it is recognized that the landmark is in an abnormal state, the fourth step of repairing the landmark and returning the landmark to the initial state, and
A parking support method comprising a fifth step of exchanging the landmark when it is determined that the landmark cannot be returned to the initial state in the fourth step.
JP2019112466A 2019-06-18 2019-06-18 Parking support device and parking support method Active JP6960962B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019112466A JP6960962B2 (en) 2019-06-18 2019-06-18 Parking support device and parking support method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019112466A JP6960962B2 (en) 2019-06-18 2019-06-18 Parking support device and parking support method

Publications (2)

Publication Number Publication Date
JP2020203583A JP2020203583A (en) 2020-12-24
JP6960962B2 true JP6960962B2 (en) 2021-11-05

Family

ID=73836888

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019112466A Active JP6960962B2 (en) 2019-06-18 2019-06-18 Parking support device and parking support method

Country Status (1)

Country Link
JP (1) JP6960962B2 (en)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5086535A (en) * 1990-10-22 1992-02-11 Racine Industries, Inc. Machine and method using graphic data for treating a surface
JPH073733A (en) * 1991-08-26 1995-01-06 Hideo Mori White line drawing robot
JP2007082639A (en) * 2005-09-21 2007-04-05 Fuji Electric Holdings Co Ltd Robot cleaning system
JP2009243195A (en) * 2008-03-31 2009-10-22 Toyota Motor Corp Parking position display implement and garage
JP6368651B2 (en) * 2015-01-06 2018-08-01 株式会社日立製作所 Driving environment recognition system
US10899343B2 (en) * 2017-07-07 2021-01-26 Nissan Motor Co., Ltd. Parking assistance method and parking assistance device

Also Published As

Publication number Publication date
JP2020203583A (en) 2020-12-24

Similar Documents

Publication Publication Date Title
US10618168B2 (en) Robot system path planning for asset health management
US7336805B2 (en) Docking assistant
CN111856491B (en) Method and apparatus for determining geographic position and orientation of a vehicle
CN107179767B (en) Driving control device, driving control method, and non-transitory recording medium
CN111081064A (en) Automatic parking system and automatic passenger-replacing parking method of vehicle-mounted Ethernet
JP2021005332A (en) System and method for determining car washing
KR102082254B1 (en) a vehicle recognizing system
CN111292294A (en) Method and system for detecting abnormality of in-warehouse bottom piece
US20200050865A1 (en) Method and system for detecting a raised object located within a parking area
US11727804B2 (en) Method and program product for determining whether there is problem in recognition of marker
JP2021165914A (en) Object state discrimination device, object state discrimination method, and computer program and control device for object state discrimination
US20200302192A1 (en) Outside recognition apparatus for vehicle
Do et al. Context-based parking slot detection with a realistic dataset
JP4296287B2 (en) Vehicle recognition device
JP6960962B2 (en) Parking support device and parking support method
JP2021163432A (en) Signal light state identification apparatus, signal light state identification method, signal light state-identifying program, and control apparatus
JP2024503295A (en) Image semantic segmentation for parking space detection
EP2047213B1 (en) Generating a map
CN116533998B (en) Automatic driving method, device, equipment, storage medium and vehicle of vehicle
JP2008160635A (en) Camera state detection method
US20230286385A1 (en) Battery swap abnormality detection method, system, computer-readable storage medium, and battery swap station
JP7004543B2 (en) Road surface condition detection device and road surface condition detection system
CN213508231U (en) Device for processing cleaning blind area of unmanned sweeper
US20240242609A1 (en) Parking information processing device, storage medium for storing computer program for processing parking information, method for processing parking information, parking information processing system, and parking information processing server
JP2020076714A (en) Position attitude estimation device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200804

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200925

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210323

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210914

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211012

R151 Written notification of patent or utility model registration

Ref document number: 6960962

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151