CN113997931B - 俯瞰图像生成装置、俯瞰图像生成***及自动泊车装置 - Google Patents

俯瞰图像生成装置、俯瞰图像生成***及自动泊车装置 Download PDF

Info

Publication number
CN113997931B
CN113997931B CN202110771626.2A CN202110771626A CN113997931B CN 113997931 B CN113997931 B CN 113997931B CN 202110771626 A CN202110771626 A CN 202110771626A CN 113997931 B CN113997931 B CN 113997931B
Authority
CN
China
Prior art keywords
overhead image
vehicle
data
unit
automatic parking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110771626.2A
Other languages
English (en)
Other versions
CN113997931A (zh
Inventor
田川晋也
坂野盛彦
新谷佳彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Faurecia Clarion Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Faurecia Clarion Electronics Co Ltd filed Critical Faurecia Clarion Electronics Co Ltd
Publication of CN113997931A publication Critical patent/CN113997931A/zh
Application granted granted Critical
Publication of CN113997931B publication Critical patent/CN113997931B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/021—Determination of steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4048—Field of view, e.g. obstructed view or direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4049—Relationship among other objects, e.g. converging dynamic objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

提供生成降低了数据量的俯瞰图像的俯瞰图像生成装置、俯瞰图像生成***及自动泊车装置。俯瞰图像生成装置具备：移动量计算部，其计算出车辆的移动距离；直线状俯瞰图像生成部，其生成将摄像头的拍摄图像的视点转换成俯瞰视点的俯瞰图像，并生成对所生成的俯瞰图像的形状以转换成直线状的方式进行形状转换而得到的直线状俯瞰图像；各距离下转弯角度生成部，其使用舵角传感器的传感器数据所示的车辆的转弯量、和移动量计算部计算出的移动距离，计算出表示每移动距离下的车辆的转弯角度的各距离下转弯角度信息；和俯瞰图像重建部，其使用直线状俯瞰图像和各距离下转弯角度信息重建俯瞰图像。

Description

俯瞰图像生成装置、俯瞰图像生成***及自动泊车装置
技术领域
本发明涉及俯瞰图像生成装置、俯瞰图像生成***及自动泊车装置。
背景技术
以往，作为自动驾驶的一个形态而知晓自动泊车。自动泊车是在限定于停车场的自动驾驶中，取代驾驶员的泊车驾驶的操作和对车辆周围的监视、防止与行人或车辆等的碰撞。作为用于实现自动泊车的方法之一，已知自我生成地图，并在自我生成的地图上对本车辆的位置进行确定来进行自动泊车的方法(例如，参照专利文献1)。在以这样的用途使用的地图中，包含将推断本车辆位置的地标(land mark)和摄像头图像等转换成俯瞰视点而生成的地图图像(俯瞰图像)。期望地图信息的数据量尽可能小。
现有技术文献
专利文献
专利文献1：日本特开2012-18170号公报
发明内容
在专利文献1中，将由LiDAR等三维信息获取传感器获取到的密集的三维点组与由摄像头等获取到的颜色·亮度信息建立对应，将三维点组转换成俯瞰视点，生成地图图像。为了采取该方法，需要能够获取足够密度的点组的传感器，而且以使颜色·亮度信息与三维信息建立了关联的状态保持数据，因此导致数据量变多。
本发明是鉴于上述情况完成的，其目的在于生成降低了数据量的俯瞰图像。
为了解决上述课题，本发明的俯瞰图像生成装置的特征在于，具备：数据获取部，其获取搭载于车辆的传感器的传感器数据；移动量计算部，其使用上述数据获取部所获取到的上述传感器数据计算出上述车辆的移动量；直线状俯瞰图像生成部，其使用上述数据获取部所获取到的上述传感器数据中包含的对上述车辆的周围进行拍摄得到的拍摄图像，生成将上述拍摄图像的视点转换成俯瞰视点的俯瞰图像，并生成对所生成的上述俯瞰图像的形状以转换成直线状的方式进行形状转换而得到的直线状俯瞰图像；各移动量下转弯量计算部，其使用上述数据获取部所获取到的表示上述车辆的转弯量的上述传感器数据和上述移动量计算部所计算出的移动量，计算出上述车辆的每规定移动量下的上述车辆的转弯量；存储部，其存储上述直线状俯瞰图像生成部所生成的上述直线状俯瞰图像和上述各移动量下转弯量计算部所计算出的表示上述每规定移动量下的转弯量的信息；以及俯瞰图像重建部，其使用上述直线状俯瞰图像和上述每规定移动量下的转弯量，重建上述俯瞰图像。
发明效果
根据本发明，能够生成降低了数据量的俯瞰图像。
附图说明
图1是表示车载装置的结构的框图。
图2是表示点组地图的一例的图。
图3是表示俯瞰图像生成部的结构的框图。
图4是表示俯瞰图像的一例的图。
图5是表示直线状俯瞰图像的一例的图。
图6是表示非易失性存储部所存储的分割后的直线状俯瞰图像的图。
图7是表示非易失性存储部所存储的分割后的直线状俯瞰图像的图。
图8是表示自动泊车装置所具备的动作模式和动作模式的变更条件的图。
图9是表示直线状俯瞰图像生成部的动作的流程图。
图10是表示各距离下转弯角度生成部的动作的流程图。
图11是表示俯瞰图像重建部的动作的流程图。
图12是表示动作模式为地图存储模式的情况下的自动泊车装置的动作的流程图。
图13是表示动作模式为自我位置推断模式的情况下的自动泊车装置的动作的流程图。
图14是表示自我位置推断处理的详情的流程图。
图15是表示局部周边信息的选定的详细动作的流程图。
图16是表示匹配处理的详细顺序的流程图。
图17是表示自动泊车模式的动作的流程图。
图18是表示停车场的一例的俯视图。
图19是表示点组数据的图。
图20是表示点组数据的图。
图21是表示停车场内的行驶轨迹和通过车辆在停车场内行驶而得到的局部周边信息的图。
图22是表示匹配处理的匹配结果的图。
图23中，图23的(A)是表示车辆的当前位置的图，图23的(B)是表示在当前位置检测出的点组数据的图。
图24是表示停车场数据的点组数据与局部周边信息的点组数据之间的匹配结果的图。
图25是表示使局部周边信息的点组数据以泊车框的宽度的整数倍移动了的情况下的与停车场数据的点组数据之间的关系的图。
图26是俯瞰图像生成***的***结构图。
附图标记说明
1 车辆
5 通信总线
10 车载装置
20 外界传感器组
21 雷达
23 声呐
25 摄像头
30 导航装置
31 GNSS接收器
33 存储部
35 道路地图
40 车辆传感器组
41 车速传感器
43 舵角传感器
50 车辆控制装置
51 操舵装置
53 驱动装置
55 制动装置
60 通信装置
70 输入装置
71 响应按钮
73 自动泊车按钮
100 自动泊车装置
101 接口
110 ROM
120 RAM
121 局部周边信息
123 离群值列表
130 非易失性存储部
131 直线状俯瞰图像
133 各距离下转弯角度信息
135 点组地图
137 传感器误差数据库
139 环境数据库
150 处理器
151 数据获取部
152 地标测位部
153 点组数据验证部
154 停车场数据登记部
155 俯瞰图像生成部
155A 移动量计算部
155B 直线状俯瞰图像生成部
155C 各距离下转弯角度生成部
155D 俯瞰图像重建部
156 位置推断部
157 泊车路径生成部
158 控制信息生成部
160 模式切换部
200 俯瞰图像
201 区域
210 通常行驶模式
220 地图存储模式
230 位置推断模式
240 自动泊车模式
250 放弃模式
800 建筑物
801 左侧面
803 上面
900 停车场
901 出入口
903、903A、903B 通行路
905 泊车区域
907 泊车位置
910 行驶轨迹
912 有效轨迹
915A、915B 点组数据
925 点组数据
1351 泊车位置
1352 地标
1353 行驶路径
具体实施方式
[1.车载装置的结构]
以下，参照附图对本发明的实施方式进行说明。
图1是表示车载装置10的结构的框图。
车载装置10是搭载于车辆1的装置，包括外界传感器组20、导航装置30、车辆传感器组40、车辆控制装置50、操舵装置51、驱动装置53、制动装置55、通信装置60、输入装置70、显示装置80及自动泊车装置100。自动泊车装置100经由通信总线5与外界传感器组20、导航装置30、车辆传感器组40及车辆控制装置50连接。对于通信总线5，采用例如与CAN(Controller Area Network(控制器局域网)：注册商标)、LIN(Local InterconnectNetwork(局域互联网))、车载以太网(注册商标)等标准对应的总线。
外界传感器组20具备雷达21、声呐23及摄像头25。
雷达21及声呐23分别放射特定波长的电波或声波，并对直到接收到放射后的电波或声波在存在于车辆1外部的障碍物反射的反射波为止的时间进行计测。雷达21及声呐23基于计测出的时间，测量障碍物的位置和方向、到障碍物的距离等。雷达21及声呐23将障碍物做为点组进行测量，并将表示测量结果的测量数据输出到自动泊车装置100。
摄像头25例如分别设置于车辆1的前方、后方、右侧方及左侧方。各摄像头25具备CCD(Charge-Coupled Device(电荷耦合器件))或CMOS(Complementary Metal-Oxide-Semiconductor(互补金属氧化物半导体))等图像传感器、和根据图像传感器的受光状态生成图像的数据处理电路。
摄像头25以能够通过四个摄像头25拍摄以车辆1为中心的360°的范围的方式调整视场角。各摄像头25以规定的帧率拍摄预先设定的拍摄范围并生成拍摄图像。各摄像头25将通过拍摄生成的拍摄图像输出到自动泊车装置100。
导航装置30具备接收GNSS(Global Navigation Satellite System(全球导航卫星***))信号的GNSS接收器31。导航装置30基于GNSS接收器31接收到的GNSS信号对表示车辆1的当前位置的纬度及经度进行运算。
另外，导航装置30具备存储部33。存储部33是非易失性的存储装置，存储道路地图35。在道路地图35中包含与道路连接构造相关的信息、和与道路位置对应的纬度及经度。
导航装置30基于通过运算求出的纬度及经度、和包含该纬度及经度的道路地图35，计算出车辆1所行驶的道路位置的纬度及经度。由导航装置30计算的纬度及经度可以不是高精度的，例如可以包含几m～10m左右的误差。导航装置30将计算出的纬度及经度作为测位数据输出到自动泊车装置100。
车辆传感器组40搭载于车辆1，具备检测车辆1的行驶状态的多个传感器。本实施方式示出车辆传感器组40具备检测车辆1的车速的车速传感器41、和检测车辆1的方向盘的操舵角的舵角传感器43的结构，但也可以是例如具备制动传感器、档位传感器等其他传感器的结构。
车辆控制装置50是例如ECU(Electronic Control Unit(电子控制单元))等计算机装置，是控制搭载于车辆1的操舵装置51、驱动装置53及制动装置55的装置。车辆控制装置50与操舵装置51、驱动装置53及制动装置55连接。车辆控制装置50按照从自动泊车装置100输入的控制信息来控制操舵装置51、驱动装置53及制动装置55，使车辆1自动行驶。车辆控制装置50相当于本发明的自动泊车部。
通信装置60与外部设备进行无线通信，相对于外部设备收发数据。在外部设备中包含例如使用者所持有的移动终端。通信装置60在例如使用者处于车辆1之外时，与移动终端进行数据通信，授受信息。通信装置60进行通信的对象不限定于使用者的移动终端。通信装置60相当于本发明的通信部。
输入装置70作为受理使用者的操作的受理部而发挥功能。本实施方式的输入装置70作为硬件按钮而具备响应按钮71和自动泊车按钮73。响应按钮71是受理使用者针对显示装置70的显示进行的操作的按钮，具备输入肯定操作的按钮和输入否定操作的按钮。自动泊车按钮73是使自动泊车装置100开始自动泊车的按钮。若响应按钮71或自动泊车按钮73***作，则输入装置70将与***作的按钮对应的操作信号输出到自动泊车装置100。自动泊车装置100基于所输入的操作信号，判断是响应按钮71***作还是自动泊车按钮73***作。
显示装置70具备例如液晶显示器等显示面板，使基于由自动泊车装置100生成的显示数据的图像显示到显示面板。
另外，显示装置70也可以为具备触摸面板的结构。触摸面板具备检测对显示面板的触摸操作的触摸传感器。触摸面板将表示触摸面板的通过触摸操作被触摸的坐标的坐标信息输出到自动泊车装置100。另外也可以是，在触摸面板显示响应按钮71及自动泊车按钮73且输入了与这些按钮的显示位置对应的坐标信息的情况下，自动泊车装置100判断成对应的按钮***作。
自动泊车装置100具备接口101、ROM(Read Only Memory(只读存储器))110、RAM(Random access memory(随机存取存储器))120、非易失性存储部130及处理器150。以下，将接口101记为I/F101。
接口101经由通信总线5与外界传感器组20、导航装置30、车辆传感器组40及车辆控制装置50连接，与这些传感器和装置相互进行数据通信。
ROM110是读取专用的存储器，存储处理器150所执行的计算机程序。另外，ROM110存储摄像头25的焦点距离和拍摄元件尺寸等内部参数、以及表示摄像头25向车辆1的安装位置和安装姿势的外部参数。
RAM120作为自动泊车装置100的主存储装置而发挥功能，存储处理器150所执行的计算机程序和处理器150执行计算机程序时处理的数据、处理结果的数据。另外，RAM120存储局部周边信息121及离群值列表(outlier list)123。
在局部周边信息121中，登记有在后述的位置推断模式230中构成自动泊车装置100所检测出的地标的点的坐标。地标是指具有能够由雷达21、声呐23、摄像头25等传感器识别的特征的物体，例如，包括形成于路面的泊车框、停车场的妨碍车辆1行驶的柱子或墙壁等障碍物。构成地标的点的坐标是以开始登记局部周边信息121时的车辆1的位置及朝向为基准、例如以车辆1的位置为原点、以车辆1的行进方向为Y轴、以行进方向右方为X轴的坐标系。以下将该坐标系称为“局部坐标系”。局部坐标系相当于本发明的第2坐标系。
离群值列表123是登记有作为局部周边信息121而登记的点的坐标中的、被排除在外的对象的点的信息的列表。离群值列表123通过自动泊车装置100适当更新。
非易失性存储部130由例如闪存等非易失性存储器构成，存储直线状俯瞰图像131、各距离下转弯角度信息133、点组地图135、传感器误差数据库137及环境数据库139。
直线状俯瞰图像131是基于设置于车辆1的前方、后方、左侧方及右侧方的摄像头25的拍摄图像生成的俯瞰图像。详细地说，直线状俯瞰图像131是在生成俯瞰图像时，忽略从舵角传感器43得到的转弯量的信息，反映从车速传感器41的传感器数据得到的车辆1的移动量(移动距离)的信息而生成的俯瞰图像。
各距离下转弯角度信息133具有将基于车速传感器41的传感器数据计算出的车辆1的移动距离和基于舵角传感器43的传感器数据计算出的转弯量建立对应并登记的表。若自动泊车装置100转移到后述的地图存储模式220并设定记录坐标系、开始外界传感器组20的传感器数据的记录，则将车辆1的移动距离与每移动距离下的转弯量建立对应并登记于表中。记录坐标系是例如以自动泊车装置100转移到地图存储模式220而开始记录传感器数据时的车辆1的位置为原点(0，0)、以记录开始时的车辆1的行进方向(姿势)为Y轴、以记录开始时的车辆1的右方向为X轴的坐标系。
在点组地图135中登记与停车场相关的数据(以下称为停车场数据)。在停车场数据中包含表示停车场内的泊车位置的坐标信息、表示地标的位置的坐标信息、表示地图数据创建时车辆1行驶过的行驶路径的坐标信息。
图2是表示点组地图135的一例的图。示出在图2所示的点组地图135中登记有两个停车场数据的例子。在停车场数据中登记有泊车位置1351、地标1352、行驶路径1353的位置信息。在位置信息中包含表示相对位置的信息、表示绝对位置的信息。表示相对位置的信息是以规定位置为基准的坐标信息，表示绝对位置的信息是纬度及经度。
泊车位置1351的坐标信息例如在将泊车位置1351设为矩形的情况下被记录为该矩形区域的四个顶点的坐标。但是，泊车位置1351不限定于矩形，也可以是矩形以外的多边形、椭圆形状。
地标1352的坐标信息示出构成地标的点组在二维平面上的坐标。
表示行驶路径1353的坐标信息在记录泊车位置1351和地标1352的坐标时，示出车辆1所行驶过的行驶路径。
点组地图135中登记的坐标信息是各停车场数据固有的坐标系下的坐标。将点组地图135中登记的各停车场数据固有的坐标系称为停车场坐标系。停车场坐标系是例如以由外界传感器组20测量的测量数据的记录开始时的表示车辆1的位置的坐标为原点、以记录开始时的车辆1的行进方向为Y轴、以记录开始时的车辆1的右方向为X轴的坐标系。停车场坐标系相当于本发明的第1坐标系。
传感器误差数据库137登记有基于车辆传感器组40的传感器数据推断出车辆1的位置的情况下所包含的误差的数据。更详细地说，登记有以预先设定的车速及转弯半径使车辆1行驶、通过公知的航位推算而推断出车辆1的位置的情况下所包含的误差的数据。
在环境数据库139中，按道路的道宽登记有表示通过公知的航位推算推断出车辆1的位置的情况下的容许误差的数据。传感器误差数据库137及环境数据库139用作判断点组地图135能否使用于车辆1的位置推断以及之后的车辆1的移动路径的生成等的判断材料。
处理器150是由CPU(Central Processing Unit(中央处理器))或MPU(MicroProcessing Unit(微处理器))构成的运算处理装置。处理器150执行计算机程序来控制车载装置10的各部分。处理器150可以由单一处理器构成，也可以由多个处理器构成。另外，处理器150也可以由ROM110或RAM120、非易失性存储部130的一部分或全部、与其他电路统合的SoC(System on Chip(片上***))构成。另外，处理器150也可以由执行程序的CPU与执行规定的运算处理的DSP(Digital Signal Processor(数字信号处理器))的组合构成。而且，可以设为将处理器150的全部功能安装于硬件的结构，也可以使用可编程设备而构成。
作为功能模块，处理器150具备数据获取部151、地标测位部152、点组数据验证部153、停车场数据登记部154、俯瞰图像生成部155、位置推断部156、泊车路径生成部157、控制信息生成部158、显示控制部159及模式切换部160。关于这些模块，利用模块示出通过由处理器150执行计算机程序的命令集并进行数据的运算、控制而实现的功能。
对数据获取部151输入外界传感器组20和车辆传感器组40所输出的传感器数据。数据获取部151使输入的传感器数据存储到非易失性存储部130。
地标测位部152执行地标测位，获取表示构成地标的点组的位置的点组数据。地标如上述那样是指具有能够由雷达21、声呐23、摄像头25等传感器识别的特征的停车场的柱子、墙壁、涂在停车场的路面上的白线的泊车框等。在本实施方式中，地标不包含其他车辆和人等移动体。
地标测位部152从非易失性存储部130读出雷达21、声呐23的传感器数据、摄像头25的拍摄图像。地标测位部152基于所读出的传感器数据获取成为检测对象的地标所示的点组数据。
接下来，对从拍摄图像检测作为地标的泊车框的方法进行说明。
地标测位部152通过使用了索贝尔(sobel)滤波器等滤波器的滤波处理，提取所输入的拍摄图像中所包含的边缘。接着，地标测位部152例如提取作为从白向黑的变化的边缘上升和作为从黑向白的变化的边缘下降的对(pair)。然后，地标测位部152判断该对的间隔是否处于预先设定的第1设定范围内。第1设定范围设定为能够判断为对的间隔与构成泊车框的白线的粗细大致一致的范围。地标测位部152在所提取出的对的间隔处于第1设定范围内的情况下，将所检测出的对设定为泊车框的候选。
地标测位部152通过同样的处理检测出泊车框的多个候选，在泊车框的候选彼此的间隔处于预先设定的第2设定范围内的情况下，将这些泊车框的候选检测为泊车框。第2设定范围设定为构成泊车框的白线彼此的间隔可取的范围。
另外，地标测位部152通过以下处理来检测泊车框以外的路面涂料。首先，地标测位部152通过使用索贝尔滤波器等滤波器的滤波处理，从所输入的拍摄图像提取出边缘。地标测位部152搜索边缘强度大于预先设定的固定值、且边缘彼此的间隔为相当于白线的宽度的预先设定的距离的像素，提取出拍摄图像所包含的边缘。
接着，地标测位部152通过既知的模板匹配从拍摄图像检测车辆和人，将所检测出的车辆和人等移动体从通过滤波处理提取出的边缘排除在外。另外，地标测位部152从ROM110读出内部参数和外部参数，使用所读出的这些参数计算出拍摄图像中的被摄体与摄像头25的位置关系。接着，地标测位部152将连续拍摄得到的拍摄图像设为对象，通过追踪被摄体来计算出车辆1与被摄体的相对的速度差。然后，若根据车速传感器41及舵角传感器43的传感器数据求出的车辆1的车速与车辆1和被摄体的速度差不一致的话，则地标测位部152判断成被摄体是移动体，将与该移动体有关的信息从测量结果排除在外。
地标测位部152在点组地图135中登记表示所检测出的泊车位置1351的点组数据、表示地标的点组数据、表示行驶路径的点组数据。
点组数据验证部153将车辆1向泊车位置移动、并使手刹工作这一情况作为触发契机，验证地标测位部152所获取到的点组数据是否是能够用作停车场数据的数据。
点组数据验证部153验证地标测位部152所获取到的点组数据是否是能够在车辆1的自我位置的推断以及之后的基于自动泊车的移动路径的生成等中使用的数据。在无法将点组数据用于自我位置的推断等的情况下，即使想要使用点组数据进行自动泊车也会失败，因此目的为防止该情况。
点组数据验证部153基于两个验证条件对点组数据进行验证。
第一个验证条件为点组数据的局部成立性。另外，第二个验证条件为仅以自主导航就能够行驶的距离。
点组数据验证部153为了获取点组数据，在车辆1行驶过的行驶轨迹上的每隔规定间隔的位置，根据一定范围周围的点组的密度、形状来判断点组数据的局部的成立性。例如，在存在于车辆1的一定范围周围的点组数据的密度为预先设定的阈值以上且车辆1的一定范围周围内没有相同的点组分布图案的情况下，点组数据验证部153判断成满足点组数据的局部成立性。
接下来，对第二个验证条件即仅以自主导航就能够行驶的距离进行说明。
点组数据验证部153为了获取点组数据，将车辆1所行驶过的行驶轨迹按每隔规定间隔进行分割。点组数据验证部153按分割出的每个区间计算出仅以自主导航就能够行驶的距离，并使计算出的距离存储到RAM120。点组数据验证部153参照传感器误差数据库137及环境数据库139，即使在存在点组数据的局部成立性不成立的区间的情况下，若该区间的自主导航下的误差产生量足够小且在容许误差内，则也判断成能够将验证对象的点组数据用作停车场数据。另外，点组数据验证部153在行驶路径中包含局部成立性不成立且自主导航下的误差大于容许误差的区间的情况下，将点组地图135判断为不可使用。
停车场数据登记部154判断是将由点组数据验证部153判断成能够用作停车场数据的点组数据统合(归并))到既已登记于点组地图135的停车场数据，还是作为新的停车场数据进行登记。
停车场数据登记部154计算出作为对象的点组数据与已经登记于点组地图135的停车场数据中包含的点组数据之间的点组一致率，判断是将作为对象的点组数据统合到已经登记的停车场数据，还是作为新的停车场数据进行登记。停车场数据登记部154根据判断结果，将点组数据统合到停车场数据或作为新的停车场数据进行登记。
[2.关于俯瞰图像生成部的结构以及直线状俯瞰图像]
图3是表示俯瞰图像生成部155的结构的框图。俯瞰图像生成部155相当于本发明的俯瞰图像生成装置。
俯瞰图像生成部155具备移动量计算部155A、直线状俯瞰图像生成部155B、各距离下转弯角度生成部155C和俯瞰图像重建部155D。
向移动量计算部155A输入车速传感器41的传感器数据。移动量计算部155A基于所输入的传感器数据计算出车辆1移动过的移动距离。
若自动泊车装置100的动作模式转移到地图存储模式220，设定了记录坐标系，且开始记录外界传感器组20的传感器数据，则移动量计算部155A基于输入的车速传感器41的传感器数据，计算出车辆1的移动距离。
直线状俯瞰图像生成部155B使用摄像头25的拍摄图像和移动量计算部155A计算出的车辆1的移动距离，生成直线状俯瞰图像131。
一般来说，通过使用从ROM110读出的外部参数对摄像头25的拍摄图像软件性地进行视点转换，而将其转换成从车辆1的上方俯视地面的视点即俯瞰视点下的图像，通过将转换得到的图像沿着车辆1的行驶轨迹以时序相接而生成俯瞰图像。此时，直线状俯瞰图像生成部155B不考虑舵角传感器43的传感器数据所示的转弯量的信息，仅考虑移动量计算部155A所计算出的车辆1的移动距离来生成直线状俯瞰图像131。即，直线状俯瞰图像131是将俯瞰图像200直线性延伸的图像。
图4是表示俯瞰图像的一例的图，图5是表示直线状俯瞰图像131的一例的图。图5所示的直线状俯瞰图像131由于是不考虑转弯量的信息而生成的地图图像，所以能够删减图4所示的因转弯等产生的无用的区域201的数据。
若对俯瞰图像200和直线状俯瞰图像131进行比较，则俯瞰图像200在车辆1转弯了的情况下数据量有时会极端增加，而直线状俯瞰图像131具有数据量与车辆1的移动距离相应地呈比例地增加的特征。
各距离下转弯角度生成部155C相当于本发明的各移动量下转弯量计算部。在各距离下转弯角度生成部155C中，输入移动量计算部155A所计算出的车辆1的移动距离、和舵角传感器43的传感器数据。各距离下转弯角度生成部155C通过将输入的移动距离和传感器数据所示的转弯量建立对应地登记到表中，生成各距离下转弯角度信息133。若自动泊车装置100转移到地图存储模式220并设定了记录坐标系，且开始记录外界传感器组20的传感器数据，则各距离下转弯角度生成部155C将记录坐标系下的车辆1的移动距离与每移动距离下的转弯量建立对应地登记到表中，生成各距离下转弯角度信息133。
直线状俯瞰图像生成部155B所生成的直线状俯瞰图像131和各距离下转弯角度生成部155C所生成的各距离下转弯角度信息133存储于非易失性存储部130。通过不将俯瞰图像200存储到非易失性存储部130、而是将直线状俯瞰图像131存储到非易失性存储部130，能够以二维图像也表现立体停车场等层次构造，若使用直线状俯瞰图像131则即使是立体停车场也能够生成俯瞰图像200。
另外，在车速传感器41和/或舵角传感器43的传感器数据中包含误差的情况下存在如下情况：在车辆1环行一周回到了相同地方时，原本应在俯瞰图像200上成为相同地方，但由于误差而图像与其他地方重合。
即使在车速传感器41和/或舵角传感器43的传感器数据中包含误差的情况下，基于直线状俯瞰图像131和各距离下转弯角度信息133生成的俯瞰图像200也不会错误地重叠，能够降低俯瞰图像200的污损。
另外，也具有容易使用本车辆动作的修正信息修正俯瞰图像的形状的优点。
图6及图7是表示非易失性存储部130存储的分割后的直线状俯瞰图像131的图。
另外，直线状俯瞰图像131可以如图6、图7所示那样以预先设定的数据量或距离分割并存储到非易失性存储部130。
图6示出将分割成两部分的直线状俯瞰图像131A和直线状俯瞰图像131B存储到非易失性存储部130的不同的存储区域的情况。
另外，图7示出将非易失性存储部130所具备的存储区域的横轴设为X轴、将纵轴设为Y轴、将以预先设定的数据量或距离分割得到的直线状俯瞰图像131A和直线状俯瞰图像131B以存储区域的X轴方向的坐标值(X1)一致的方式存储的情况。即，图7示出将直线状俯瞰图像131以预先设定的数据量折叠并存储于非易失性存储部130的存储区域的情况。
通过将直线状俯瞰图像131分割成多个部分并存储到非易失性存储部130中，在俯瞰图像重建部155D读出直线状俯瞰图像131时，能够仅参照并读出所需部分，能够减轻处理器150的处理负荷。
另外，在使直线状俯瞰图像131存储于非易失性存储部130的情况下，也可以利用既知的图像压缩方法将直线状俯瞰图像131压缩。
俯瞰图像重建部155D从非易失性存储部130读出直线状俯瞰图像131和各距离下转弯角度信息133。另外，也可以是在俯瞰图像重建部155D中直接输入直线状俯瞰图像生成部155B所生成的直线状俯瞰图像131和各距离下转弯角度生成部155C所生成的各距离下转弯角度信息133的结构。
俯瞰图像重建部155D使用所获取到的直线状俯瞰图像131和各距离下转弯角度信息133，重建图4所示的俯瞰图像200。
另外，俯瞰图像重建部155D在从非易失性存储部130读出各距离下转弯角度信息133时，也可以利用其他传感器的传感器数据和/或修正信息对所读出的各距离下转弯角度信息133进行修正。其他传感器的传感器数据和修正信息中包含例如从设置于道路的路侧的传感器接收到的信号、基于导航装置30的GNSS接收器31接收到的GNSS信号计算出的车辆1的纬度及经度、摄像头25的拍摄图像等。通过使俯瞰图像重建部155D利用其他传感器的传感器数据和/或修正信息对各距离下转弯角度信息133进行修正，各距离下转弯角度信息133的精度提高，能够提高俯瞰图像重建部155D重建的俯瞰图像200的精度。
返回图1，接着说明处理器150所具备的功能模块。
若自动泊车装置100的动作模式转移到位置推断模式230，则位置推断部156开始动作。
位置推断部156在车辆1的当前位置附近的点组数据登记于点组地图135的情况下，基于点组地图135推断车辆1在停车场坐标系中的位置。位置推断部156对外界传感器组20的传感器数据和点组地图135的信息进行对照来推断车辆1的当前位置。
泊车路径生成部157利用既知的方法生成从位置推断部156所计算出的车辆1的位置到登记于点组地图135的泊车位置为止的泊车路径。泊车路径生成部157将所生成的泊车路径输出到控制信息生成部158。
控制信息生成部158基于泊车路径生成部157所生成的泊车路径，生成控制车辆1的行驶的控制信息。该控制信息是用于使车辆1沿着泊车路径行驶的信息，包含分别控制操舵、驱动及制动的信息。
显示控制部159在点组数据验证部153判断成能够将点组数据用作地图的情况下，在显示装置80上显示“是否将本次的行驶路径周边存储为地图？”这样的通知。若由使用者按下响应按钮71，则将点组数据作为停车场数据登记到点组地图135，结束地图存储模式220。
另外，显示控制部159在点组数据验证部153判断成无法将点组数据用作地图的情况下，在显示装置80上显示“地图所需信息不足，想在此处自动泊车的情况下，请在同一路径再次行驶”这样的通知。
模式切换部160变更自动泊车装置100的动作模式。在自动泊车装置100的动作模式中包含通常行驶模式210、地图存储模式220、位置推断模式230、自动泊车模式240及放弃模式250。
[3.自动泊车装置100的动作模式]
图8是表示自动泊车装置100所具备的动作模式和动作模式的变更条件的图。
通常行驶模式210是通常的行驶模式。自动泊车装置100在动作模式为通常行驶模式的情况下，不会检测构成地标的点组的点组数据或基于点组地图135推断车辆1的位置。自动泊车装置100在通常行驶模式的情况下，判断转移到地图存储模式220或位置推断模式230的条件是否已成立。
地图存储模式220是在泊车位置及其附近的点组数据未登记于点组地图135的情况下，基于外界传感器组20的传感器数据检测构成地标的点组的点组数据，并将检测出的点组数据登记到点组地图135的模式。自动泊车装置100在动作模式为地图存储模式220的情况下，基于外界传感器组20的传感器数据，检测涂在停车场的路面上的白线、障碍物的信息、泊车位置的信息、行驶路径等。自动泊车装置100将检测出的信息登记到点组地图135。
若转移到地图存储模式220，则自动泊车装置100在RAM120中确保临时的记录区域。自动泊车装置100重复进行以下处理直至地图存储模式220结束或转变到其他模式。即，自动泊车装置100基于从外界传感器组20输入的传感器数据，检测构成存在于车辆1周围的地标的点组。另外，自动泊车装置100计算出车辆1从摄像头25前次拍摄到本次拍摄所移动的移动量及移动方向。然后，自动泊车装置100基于车辆1的移动量和移动方向，将相当于人物和移动体的点组数据从所检测出的点组数据排除在外。
而且，自动泊车装置100将从导航装置30输入的表示车辆1的位置的纬度及经度与点组数据一并登记到点组地图135。自动泊车装置100重复进行该处理。点组数据所示的坐标被记录为记录坐标系的坐标值。“记录坐标系”例如作为以开始记录时的车辆1的位置为原点(0，0)、以记录开始时的车辆1的行进方向(姿势)为Y轴、以记录开始时的车辆1的右方向为X轴的坐标系的坐标值被处理。因此即使在同一停车场中记录点组，根据开始记录时的车辆1的位置和姿势的不同而设定的记录坐标系也会不同，因此在不同坐标中记录构成地标的点组。
位置推断模式230是在车辆1的当前位置附近的点组数据登记于点组地图135的情况下，基于点组地图135计算出车辆1在停车场坐标系中的位置的模式。自动泊车装置100对外界传感器组20的传感器数据和点组地图135的信息进行对照来推断车辆1的当前位置。自动泊车装置100基于外界传感器组20的传感器数据检测存在于车辆1周围的白线和障碍物，与点组地图135对照来推断当前位置。
自动泊车模式240是在由使用者按下了自动泊车按钮73的状态下，基于由位置推断模式230计算出的车辆1的位置以及泊车位置，生成使车辆1停到泊车位置的泊车路径，并按照所生成的泊车路径使车辆1移动而停到泊车位置的模式。
自动泊车装置100基于位置推断模式230中推断出的车辆1的当前位置以及在自动泊车模式240中也继续进行的车辆1的当前位置的推断结果，使车辆1停到点组地图135中存储的泊车位置。
放弃模式250是在由使用者按下了自动泊车按钮73的状态下，未能由位置推断模式230推断出车辆1的位置的情况下的模式。该情况也是，与通常行驶模式210同样地，既不会收集点组数据，也不会像位置推断模式230那样推断车辆1的位置。
模式切换部160对泊车位置的纬度及经度和从导航装置30输入的表示车辆1的当前位置的纬度及经度进行比较并变更动作模式。模式切换部160在车辆1当前行驶中的地点附近的点组数据未登记于点组地图135的情况下，使动作模式转移到地图存储模式220。另外，模式切换部160在车辆1当前行驶中的地点附近的点组数据已登记于点组地图135的情况下，使动作模式转移到位置推断模式230。
在自动泊车装置100的动作模式为地图存储模式220的状态下，模式切换部160对泊车位置的纬度及经度和从导航装置30获取到的表示车辆1的当前位置的纬度及经度信息进行比较，在车辆1位于以泊车位置为中心的固定范围的外侧的情况下，将动作模式变更为通常行驶模式210。另外，模式切换部160在车辆1于中途侵入了在点组地图135中已经登记点组数据的区间的情况下，将动作模式变更为位置推断模式230。
另外，关于是否已进入在点组地图135中已经登记点组数据的区间的判断，自动泊车装置100对表示车辆1的当前位置的纬度及经度和登记于点组地图135的地标的纬度及经度进行比较，在相对于表示车辆1的当前位置的纬度及经度在预先设定的距离以内存在地标的情况下，判断成已进入在点组地图135中已经登记点组数据的区间。另外，在相对于表示车辆1的当前位置的纬度及经度在预先设定的距离以内不存在地标的情况下，自动泊车装置100判断成未进入在点组地图135中已经登记点组数据的区间。
在自动泊车装置100的动作模式为位置推断模式230的状态下，模式切换部160对从导航装置30获取到的车辆1的纬度及经度、和在点组地图135中已经登记的泊车位置的纬度及经度进行比较，在车辆1出了以泊车位置为中心的固定范围外的情况下，将动作模式变更为通常行驶模式210。另外，模式切换部160在车辆1于中途侵入了点组地图135的未登记区间的情况下，变更为地图存储模式220。
另外，模式切换部160在位置推断模式230中，仅在成功推断了车辆1的位置、车辆1相对于泊车位置位于规定范围内且使用者按着自动泊车按钮73的期间，将动作模式变更为自动泊车模式240。即，在得到使用者同意的情况，执行使车辆1自动停到泊车位置的自动泊车。另外，模式切换部160在位置推断模式230中推断车辆1的位置失败的情况下，转移到放弃模式250。
[4.直线状俯瞰图像生成部155B的动作]
图9是表示直线状俯瞰图像生成部155B的动作的流程图。
一边参照图9一边对直线状俯瞰图像生成部155B的动作进行说明。
直线状俯瞰图像生成部155B首先执行俯瞰转换处理(步骤S1)。直线状俯瞰图像生成部155B从RAM120获取摄像头25的拍摄图像。摄像头25以规定的拍摄间隔对车辆1的周围进行拍摄并生成拍摄图像，将所生成的拍摄图像输出到自动泊车装置100。自动泊车装置100使所输入的拍摄图像存储到RAM120。直线状俯瞰图像生成部155B软件性地进行视点转换的运算，将从RAM120获取到的拍摄图像转换成从上方向地面俯视观察车辆1的视点的俯瞰图像。
对于视点转换的运算，使用存储于ROM110的表示摄像头25的安装信息的外部参数、和表示摄像头25的内部的光学信息的外部参数。若存在摄像头25的拍摄图像和外部参数，则该俯瞰转换处理能够利用公知技术实现。
接着，直线状俯瞰图像生成部155B确定将步骤S1中计算出的俯瞰图像进行投影的直线地图的坐标(步骤S2)。即，确定与俯瞰图像的坐标建立对应的直线形状的地图(以下称为直线地图)的坐标。直线状俯瞰图像生成部155B生成的直线状俯瞰图像131是如图5所示将俯瞰图像忽略与转弯相关的信息而直线延伸得到的图像。直线状俯瞰图像生成部155B使用由移动量计算部155A基于车速传感器41的传感器数据计算出的车辆1的移动距离，计算出与俯瞰图像的坐标建立对应的直线地图的坐标。
接着，直线状俯瞰图像生成部155B按照步骤S2中建立了对应的坐标，将表示步骤S1中生成的俯瞰图像的颜色及亮度信息投影到直线地图上而生成直线状俯瞰图像131(步骤S3)。根据将俯瞰图像的颜色及亮度信息进行投影的直线地图的坐标，存在在前一时刻得到的俯瞰图像和当前时刻得到的俯瞰图像中出现重复的部分的情况，但直线状俯瞰图像生成部155B通过融合(blending)处理等将在前一时刻生成的俯瞰图像和当前时刻生成的俯瞰图像恰当地统合而生成直线状俯瞰图像131。直线状俯瞰图像生成部155B使所生成的直线状俯瞰图像131存储到非易失性存储部130。
[5.各距离下转弯角度生成部155C的动作]
图10是表示各距离下转弯角度生成部155C的动作的流程图。
一边参照图10所示的流程图一边对各距离下转弯角度生成部155C的动作进行说明。
各距离下转弯角度生成部155C首先与直线状俯瞰图像生成部155B在步骤S2中执行的处理同样地，确定与俯瞰图像的坐标建立对应的直线地图的坐标(步骤S11)。各距离下转弯角度生成部155C使用由移动量计算部155A基于车速传感器41的传感器数据计算出的车辆1的移动距离，计算出与俯瞰图像的坐标建立对应的直线地图的坐标。
接着，各距离下转弯角度生成部155C执行转弯角度保存处理(步骤S12)。各距离下转弯角度生成部155C求出在前一时刻测量出的舵角传感器43的传感器数据所示的转弯量与在当前时刻测量出的舵角传感器43的传感器数据所示的转弯量之差。各距离下转弯角度生成部155C按照步骤S11中建立了对应的坐标，将所求出的转弯量与直线地图上的坐标建立对应并登记于表。直线地图上的坐标与车辆1的移动距离对应，在表中，转弯量与车辆1的移动距离建立对应而登记。
[6.俯瞰图像重建部155D的动作]
图11是表示俯瞰图像重建部155D的动作的流程图。
一边参照图11一边对俯瞰图像重建部155D的动作进行说明。
首先，俯瞰图像重建部155D从非易失性存储部130读出直线状俯瞰图像131(步骤S21)，进一步读出各距离下转弯角度信息133(步骤S22)。
接着，俯瞰图像重建部155D使用所读出的直线状俯瞰图像131及各距离下转弯角度信息133，执行地图坐标转换处理(步骤S23)。俯瞰图像重建部155D使用各距离下转弯角度信息133所包含的车辆1的移动距离和转弯量，计算出与设为目标的俯瞰图像200的坐标建立对应的直线状俯瞰图像131的坐标。通过计算出与俯瞰图像200的坐标建立对应的直线状俯瞰图像131的坐标，能够防止俯瞰图像200的坐标中的像素值的缺失。
接着，俯瞰图像重建部155D按照步骤S23中计算出的坐标，将直线状俯瞰图像131的各坐标的颜色及亮度信息投影到建立了对应的俯瞰图像200的坐标(步骤S24)。由此，俯瞰图像重建部155D构建图4所示的俯瞰图像200。
[7.地图存储模式下的自动泊车装置的动作]
图12是表示动作模式为地图存储模式220的情况下的自动泊车装置100的动作的流程图。
一边参照图12所示的流程图一边对动作模式为地图存储模式220的情况下的自动泊车装置100的动作进行说明。
图12所示的流程图的各步骤的执行主体为自动泊车装置100的处理器150。更详细地说，图12所示的流程图的各步骤是通过处理器150的数据获取部151、地标测位部152、点组数据验证部153、停车场数据登记部154、俯瞰图像生成部155的控制而执行的处理。
首先，自动泊车装置100判断动作模式是否转移到了地图存储模式220(步骤T1)。在转移到了地图存储模式220的情况下(步骤T1/是)，自动泊车装置100转移到步骤T2的处理，在未转移到地图存储模式220的情况下(步骤T1/否)，留于步骤T1的判断。
若转移到地图存储模式220(步骤T1/是)，则自动泊车装置100执行RAM120的初始化处理并在RAM120中确保新的记录区域(步骤T2)。自动泊车装置100在所确保的RAM120的存储区域中存储通过地标测位检测出的点组数据、表示车辆1的当前位置的纬度及经度等。
接着，自动泊车装置100执行地标测位(步骤T3)。具体地说，自动泊车装置100基于摄像头25的拍摄图像、雷达21及声呐23的传感器数据，检测出构成地标的点组的点组数据。在此检测的点组数据的坐标是记录坐标系的坐标。接着，自动泊车装置100将所检测出的点组数据与从导航装置30输入的纬度及经度建立关联(步骤T4)。
接着，自动泊车装置100求出车辆1在从摄像头25的前次拍摄到本次拍摄的期间移动的移动量，并更新记录坐标系中的车辆1的当前位置(步骤T5)。例如，自动泊车装置100根据摄像头25的拍摄图像中的存在于路面的被摄体的位置的变化来推断车辆1的移动量。另外，自动泊车装置100在导航装置30搭载了误差小的高精度的GNSS接收机的情况下，也可以利用从该导航装置30输入的纬度及经度来推断车辆1的移动量。
接着，自动泊车装置100使通过步骤T3的地标测位而检测出的表示地标的位置的点组数据作为记录坐标系的坐标而存储到RAM120(步骤T6)。
接着，自动泊车装置100通过俯瞰图像生成部155生成俯瞰图像200(步骤T7)。更详细地说，俯瞰图像生成部155基于摄像头25的拍摄图像、车速传感器41的传感器数据，生成直线状俯瞰图像131和各距离下转弯角度信息133。接着，俯瞰图像生成部155基于所生成的直线状俯瞰图像131和各距离下转弯角度信息133生成俯瞰图像200。
当生成了俯瞰图像200时，自动泊车装置100使所生成的俯瞰图像200显示到显示装置80(步骤T8)。自动泊车装置100在使俯瞰图像200显示到显示装置80时，也可以使通过步骤T3的地标测位而检测出的点组数据重叠地显示到俯瞰图像200。自动泊车装置100在与地标的位置对应的俯瞰图像200的位置显示点组数据。
接着，自动泊车装置100判断是否从车辆控制装置50输入了通知手刹***作的信号(步骤T9)。自动泊车装置100在没有从车辆控制装置50输入通知手刹***作的信号的情况下(步骤T9/否)，返回到步骤T3，再次进行地标测位。
另外，若从车辆控制装置50输入了通知手刹***作的信号(步骤T9/是)，则自动泊车装置100判断是否受理了响应按钮71的操作(步骤T10)。自动泊车装置100判断是否输入了与响应按钮71的操作对应的操作信号，来判断响应按钮71是否***作。自动泊车装置100在经过了规定时间后响应按钮71也未***作的情况下(步骤T10/否)，返回到步骤T3的处理，再次进行地标测位。
另外，在输入了与响应按钮71的操作对应的操作信号的情况下(步骤T10/是)，自动泊车装置100判断点组数据的作为地图的成立性(步骤T11)。自动泊车装置100判断上述两个验证条件是否成立，从而判断点组数据的作为地图的成立性。自动泊车装置100使点组数据的作为地图的成立性的判断结果存储到RAM120。
接着，自动泊车装置100获取从导航装置30输入的表示车辆1的当前位置的纬度及经度的信息，使车辆1的四角的坐标作为泊车位置、即车辆1的当前位置存储到RAM120(步骤T12)。该四角的坐标为记录坐标系的坐标。
接着，自动泊车装置100判断与步骤T12中获取到的纬度及经度大致一致的纬度及经度下的停车场数据是否登记于点组地图135(步骤T13)。自动泊车装置100在与所获取到的纬度及经度大致一致的纬度及经度下的停车场数据未登记于点组地图135的情况下(步骤T13/否)，将RAM120存储的点组数据、步骤T12中获取到的纬度及经度、表示泊车位置的坐标作为新的停车场数据登记到点组地图135(步骤T19)。进一步地，自动泊车装置100使步骤T7中生成的直线状俯瞰图像131、各距离下转弯角度信息133存储到非易失性存储部130(步骤T19)。另外，自动泊车装置100在将直线状俯瞰图像131分割后存储到非易失性存储部130的情况下，以预先设定的固定距离或固定数据量对直线状俯瞰图像131进行分割，使分割后的直线状俯瞰图像131分别存储到非易失性存储部130。
另外，自动泊车装置100在与步骤T12中获取到的纬度及经度大致一致的纬度及经度下的停车场数据已登记于点组地图135的情况下(步骤T13/是)，以作为车辆1的当前位置的泊车位置为基准，将RAM120中存储的点组数据的坐标系即记录坐标系转换成目标停车场数据的点组数据的坐标系。目标停车场数据是与步骤T12中获取到的纬度及经度大致一致的纬度及经度下的停车场数据。自动泊车装置100导出以使目标停车场数据所包含的泊车位置与步骤T12中存储于RAM120的泊车位置一致的方式将记录坐标系的坐标转换成停车场坐标系的坐标的坐标转换式(步骤T14)。
接着，自动泊车装置100使用步骤T14中导出的坐标转换式，将存储于RAM120的地标的点组数据的坐标系转换成作为目标停车场数据的坐标系的停车场坐标系(步骤T15)。
接着，自动泊车装置100计算出存储于RAM120的点组数据与目标停车场数据的点组数据之间的点组一致率IB(步骤T16)。点组一致率IB利用以下的式(1)计算。
IB＝2×Din/(D1+D2) 式(1)
在上述式(1)中，“Din”是在步骤T15中进行坐标转换得到的点组数据的各点与目标停车场数据的点组数据的各点的距离为规定距离以内的点的数量。另外，在式(1)中，“D1”是存储于RAM120的点组数据的数据数，即，点的数量，“D2”是目标停车场数据所具有的点组数据的数据数，即，点的数量。
接着，自动泊车装置100判断步骤T16中求出的点组一致率IB是否大于预先设定的阈值(步骤T17)。自动泊车装置100在点组一致率IB大于阈值的情况下(步骤T17/是)，执行归并(merge)处理。具体地说，自动泊车装置100在目标停车场数据中追加步骤T15中进行坐标转换得到的点组数据。
另外，自动泊车装置100在点组一致率IB为阈值以下的情况下(步骤T17/否)，将RAM120存储的点组数据、步骤T12中获取到的纬度及经度、表示泊车位置的坐标作为新的停车场数据登记到点组地图135(步骤T19)。而且，自动泊车装置100使步骤T7中生成的直线状俯瞰图像131、各距离下转弯角度信息133存储到非易失性存储部130中(步骤T19)。
[8.位置推断模式的情况下的自动泊车装置的动作]
图13是表示动作模式为位置推断模式230的情况下的自动泊车装置100的动作的流程图。
一边参照图13所示的流程图一边对位置推断模式230下的自动泊车装置100的动作进行说明。图13所示的流程图的各步骤的执行主体为自动泊车装置100的处理器150。更详细地说，图13所示的流程图的各步骤是通过处理器150的位置推断部156的控制而执行的处理。
自动泊车装置100若判断成车辆1移动到登记地点附近、并且已经将登记地点周边的停车场数据登记到点组地图135，则转移到位置推断模式230。
首先，自动泊车装置100获取从导航装置30输入的纬度及经度的信息(步骤T31)。接着，自动泊车装置100检测点组地图135所包含的停车场数据中的、包含具有与步骤T31中获取到的作为车辆1的当前位置的纬度及经度大致一致的纬度及经度、且作为地图的成立性有效(成立)的点组数据的停车场数据(步骤T32)。
自动泊车装置100在未能检测出停车场数据的情况下(步骤T32/否)，返回到步骤T31的处理，获取从导航装置30输入的纬度及经度的信息。另外，自动泊车装置100在检测出了停车场数据的情况下(步骤T32/是)，执行RAM120的初始化处理(步骤T33)，将存储于RAM120的局部周边信息121、以及车辆1的当前位置初始化。自动泊车装置100在以往的信息存储于RAM120的情况下，将该信息消除，设定新的坐标系。将在此设定的坐标系称为局部坐标系。
接着，自动泊车装置100基于执行初始化处理时的车辆1的位置及姿势(方位角)设定局部坐标系(步骤T34)。例如，自动泊车装置100将对RAM120进行初始化时的车辆1的位置设定为局部坐标系的原点，根据执行初始化处理时的车辆1的朝向设定X轴及Y轴。另外，关于车辆1的当前位置的初始化，将车辆1的当前位置设定为原点(0，0)。
接着，自动泊车装置100执行自我位置推断处理(步骤T35)。自我位置推断处理是指对车辆1在停车场坐标系中的位置进行推断的处理。关于该处理的详情，一边参照图14的流程图一边进行说明。
接着，自动泊车装置100判断通过步骤T35的自我位置推断处理推断出了自我位置(步骤T36)。自动泊车装置100在未能推断出自我位置的情况下(步骤T36/否)，返回到步骤T35，再次执行自我位置推断处理。另外，自动泊车装置100在推断出了自我位置的情况下(步骤T36/是)，使俯瞰图像200和地图上的自我位置推断结果显示到显示装置80(步骤T37)。
接着，自动泊车装置100判断通过步骤T35的自我位置推断处理推断出的自我位置相对于步骤T51中检测出的停车场数据的泊车位置是否处于预先设定的距离(N[m])以下的范围(步骤T38)。N是任意的自然数。自动泊车装置100在推断出的自我位置相对于停车场数据的泊车位置未位于预先设定的距离以内的情况下(步骤T38/否)，返回到步骤T35的处理。
另外，自动泊车装置100在推断出的自我位置相对于停车场数据的泊车位置处于预先设定的距离以内的情况下(步骤T38/是)，在显示装置80上显示可自动泊车这一主旨(步骤T39)。然后，自动泊车装置100判断是否受理了自动泊车按钮73的按下操作(步骤T40)。自动泊车装置100在未受理自动泊车按钮73的按下操作的情况下(步骤T40/否)，返回到步骤T39的处理。
另外，自动泊车装置100在受理了自动泊车按钮73的按下操作的情况下(步骤T40/是)，转移到自动泊车模式240，执行自动泊车处理(步骤T41)。关于自动泊车处理的详情，一边参照图17所示的流程图一边进行说明。
图14是表示步骤T35的自我位置推断处理的详情的流程图。
一边参照图14一边对自我位置推断处理的详情进行说明。
图14所示的步骤T351～步骤T354的处理与图12中说明的步骤T3～步骤T6的处理大致相同。因此，省略步骤T351～步骤T354的详细说明。但是，在步骤T354中，在使点组数据存储到RAM120时，将点组数据作为局部周边信息121存储的方面与步骤T6不同。
若使点组数据作为局部周边信息121存储到了RAM120，则自动泊车装置100进行局部周边信息121的选定(步骤T355)。自动泊车装置100从局部周边信息121所包含的点组数据中，选定在接下来的步骤T356中执行的匹配处理所利用的点组数据。关于局部周边信息121所包含的点组数据，存在因通过自主导航等推断的车辆1的当前位置的累积误差等而整体形状与点组地图135不同、无法执行匹配处理的情况。通过执行局部周边信息121的选定处理，适应性地选定形状误差小且能够匹配的范围的点组。
接着，自动泊车装置100执行匹配处理(步骤T356)。在该匹配处理中，基于停车场坐标系与局部坐标系的对应关系，求出将局部坐标系的坐标转换成停车场坐标系的坐标的坐标转换式。关于匹配处理的详情，一边参照图16的流程图一边详细进行说明。
接着，自动泊车装置100计算出表示自我位置的停车场坐标系的坐标(步骤T357)。自动泊车装置100使用步骤T353中更新后的局部周边信息121所包含的表示车辆1的当前位置的局部坐标系的坐标、和步骤T355中求出的坐标转换式，将表示车辆1的当前位置的局部坐标系的坐标转换成停车场坐标系的坐标。自动泊车装置100将转换后的停车场坐标系的坐标设为自我位置。
接着，自动泊车装置100执行对步骤T357中计算出的自我位置的可靠性进行判断的自我诊断(步骤T358)。自动泊车装置100例如基于以下所示的三个指标执行自我诊断。
第1指标是使用车速传感器41及舵角传感器43的输出并利用公知的航位推算技术而推断出的车辆1的移动量与利用自我位置推断而推断出的规定期间内的移动量之间的误差。自动泊车装置100在推断出的车辆1的移动量与利用自我位置推断而推断出的规定期间内的移动量之差大于预先设定的阈值的情况下，判断成可靠度低。
第2指标是匹配处理时计算的对应点的误差量。自动泊车装置100在误差量大于预先设定的阈值的情况下，判断成可靠度低。
第3指标是是否存在相似解的判断结果。自动泊车装置100实施是否存在相似解的判断。在根据得到的解而以泊车框的宽度量并进等探索到相似解的情况下，对应点误差为一定程度以内的点存在大致相同的数量的情况下，判断成可靠度低。另外，自动泊车装置100在对这三个指标均未判断成可靠度低的情况下，判断成推断出了自我位置。
图15是表示图14所示的步骤T355的局部周边信息的选定的详细动作的流程图。
一边参照图15所示的流程图一边对局部周边信息的选定的详情进行说明。
首先，自动泊车装置100利用步骤T353中推断出的移动量的推断结果，计算出车辆1的移动轨迹(步骤T3551)。自动泊车装置100基于推断出的移动量变更表示车辆1的当前位置的坐标，并将对变更后坐标间进行插补而生成的轨迹计算为移动轨迹。
接着，自动泊车装置100计算出有效范围(步骤T3552)。自动泊车装置100计算出局部周边信息121所包含的点组数据中的、形状误差小且能够利用于匹配处理的范围。
该有效范围基于步骤T3551中计算出的车辆1的移动轨迹的长度和形状来判断。关于局部周边信息121中所包含的点组数据，车辆1的移动距离越大，另外车辆1的转弯量越大，则移动量的推断误差越容易产生。相反地若点组数据过少，则匹配处理变得困难。因此，自动泊车装置100获取从当前位置沿着预先设定的最低距离D[m]量的轨迹追溯的范围的点组数据。然后，自动泊车装置100累计移动轨迹的切线的角度的变化量，获取直到变化到预先设定的角度阈值θ[deg]以上的位置为止的移动轨迹周边的点组。对于移动轨迹，将以移动轨迹为中心预先设定的范围X[m]×Y[m]的范围的点组作为局部周边信息的点组的有效范围。即，有效范围是沿着所得到的移动轨迹的形状。
接着，自动泊车装置100作为局部周边信息121的点组数据而获取步骤T3552中计算出的有效范围内的点组的点组数据(步骤T3553)。
图16是表示图14的步骤T356的匹配处理的详细顺序的流程图。
一边参照图16所示的流程图一边对匹配处理的详情进行说明。
首先，自动泊车装置100参照RAM120中存储的离群值列表123，将局部周边信息121所包含的点组中的、登记于离群值列表123的点暂时设为处理对象之外。其适用范围为图16所示的流程图的步骤T3563～T3573，在步骤T3574中，离群值列表123所包含的点也成为对象。另外，在图16所示的流程图的初次执行时，由于无法执行步骤T3561～T3564的处理，所以从步骤T3570开始处理。
接着，自动泊车装置100将通过步骤T351的地标测位检测出的表示构成地标的点组的坐标的点组数据的坐标系转换成停车场坐标系的坐标(步骤T3562)。自动泊车装置100使用前次执行匹配处理时计算出的坐标转换式，将构成地标的点组的点组数据的坐标转换成停车场坐标系的坐标。
接着，自动泊车装置100计算出瞬间一致度IC(步骤T3563)。瞬间一致度IC通过以下的式2计算。
IC＝DIin/DIall 式(2)
在上述式(2)中，“DIin”是在步骤T3562中被转换成停车场坐标系的点组数据中的、到作为停车场数据登记于点组地图135的点为止的距离为预先设定的阈值以下的点的数量。另外，在式(2)中，“DIall”是通过步骤T351的地标测位而检测出的点组的数量。
接着，自动泊车装置100对步骤T3563中计算出的瞬间一致度IC和阈值进行比较(步骤T3564)。自动泊车装置100在瞬间一致度IC为阈值以下的情况下(步骤T3564/否)，从停车场数据所包含的点组数据检测具有周期性特征的点组数据(步骤T3565)。例如，自动泊车装置100检测与泊车框对应的点组数据。泊车框由于以规定粗细涂于路面，所以与白线的粗细相当的间隔被检测为周期性特征。
接着，自动泊车装置100判断是否检测出了具有周期性特征的点组数据(步骤T3566)。自动泊车装置100在未能检测出具有周期性特征的点组数据的情况下(步骤T3566/否)，转移到步骤T3570的处理。另外，自动泊车装置100在检测出了具有周期性特征的点组数据的情况下(步骤T3566/是)，对所检测出的点组数据的周期进行检测(步骤T3567)。具体地说，自动泊车装置100计算出泊车框的宽度。
接着，自动泊车装置100以前次执行步骤T356的匹配处理时计算出的坐标转换式为基准，使该坐标转换式发生多种变化并分别计算出整体一致度IW(步骤T3568)。坐标转换式以点组数据的位置以步骤T3567中检测出的周期的整数倍偏移的方式发生多种变化。整体一致度IW通过以下的式3计算。
IW＝DWin/DWall 式(3)
在上述式(3)中，“DWin”是在步骤T3562中使用坐标转换式转换成停车场坐标系的坐标的点组数据中的、到作为停车场数据登记于点组地图135的点为止的距离为预先设定的阈值以下的点的数量。另外，在式(3)中，“DWall”是在步骤T351的地标测位中检测出的点的数量。
接着，自动泊车装置100使步骤T3568中计算出的整体一致度IW中的、赋予最大的整体一致度IW的坐标转换式存储到RAM120(步骤T3569)。
在步骤T3564的判断为肯定判断的情况下(步骤T3564/是)、步骤T3566的判断为否定判断的情况下(步骤T3566/否)、或者步骤T3569的处理结束了的情况下，自动泊车装置100进行点组数据的对应建立(步骤T3570)。自动泊车装置100进行登记于点组地图135的停车场数据的点组数据与局部周边信息121的点组数据之间的对应建立。
自动泊车装置100在接着步骤T3564的判断或步骤T3569的处理而进行步骤T3570的点组数据的对应建立的情况下，局部周边信息121的点组数据利用使用记录于RAM120的坐标转换式进行坐标转换得到的值。
在步骤T3564中为肯定判断且接着执行步骤T3570的处理的情况下，自动泊车装置100使用前次利用执行步骤T356的匹配处理时计算出的坐标转换式进行坐标转换得到的值。
另一方面，在接着步骤T3566的处理而进行步骤T3570的点组数据的对应建立的情况下，自动泊车装置100利用使用在步骤T3569中存储于RAM120的坐标转换式进行坐标转换得到的值。
接着，自动泊车装置100以对应点的误差成为最小的方式变更坐标转换式(步骤T3571)。例如，自动泊车装置100以在步骤T3570中建立了对应的点彼此的距离的指标之和成为最小的方式变更坐标转换式。作为建立了对应的点彼此的距离的指标之和能够采用距离的绝对值之和。
接着，自动泊车装置100判断误差是否收敛(步骤T3572)。自动泊车装置100在误差未收敛的情况下(步骤T3572/否)，返回到步骤T3570的处理。另外，自动泊车装置100在误差收敛了的情况下(步骤T3572/是)，使通过步骤T3571的处理而变更的坐标转换式存储到RAM120(步骤T3573)。
接着，自动泊车装置100更新离群值列表123(步骤T3574)。首先，自动泊车装置100清空RAM120中存储的既存的离群值列表123。接着，自动泊车装置100将局部周边信息121的点组数据的坐标使用步骤T3573中存储的坐标转换式转换成停车场坐标系的坐标。接着，自动泊车装置100计算出构成局部周边信息121的点组数据的点到该点所对应的停车场数据所包含的点组数据的点为止的距离、即欧几里得距离。自动泊车装置100对构成局部周边信息121的点组数据的所有点进行该处理。
接着，自动泊车装置100在计算出的距离比预先设定的距离长的情况下，将局部周边信息121的点加入离群值列表123。但是，也可以将此时空间性地位于端部这一情况设为加入离群值列表123的进一步条件。空间性的端部是指开始记录时获取的点等、到其他点的距离远的点。通过以上处理更新离群值列表123。
上述的步骤T3570的对应建立处理、步骤T3571的将误差最小化的处理、以及步骤T3572的判断误差是否收敛的处理能够利用作为既知的点组匹配技术的ICP(IterativeClosest Point(迭代最近点))算法。
[9.自动泊车模式的情况下的自动泊车装置的动作]
图17是表示图13所示的步骤T41的自动泊车模式240的动作的流程图。一边参照图17所示的流程图一边对自动泊车模式240时的自动泊车装置100的动作进行说明。
自动泊车装置100仅在车辆1的自我位置的推断成功、推断出的车辆1的位置距离泊车位置处于规定范围内、且由使用者按下自动泊车按钮73的期间，将动作模式从位置推断模式230变更为自动泊车模式240。即，以使用者的同意为基础实施自动泊车模式240。
首先，自动泊车装置100执行自我位置推断处理(步骤T411)。
自动泊车装置100推断表示车辆1的位置的停车场坐标系的坐标。步骤T411的详情与步骤T35相同，由于在图14所示的流程图中既已说明详情，因此省略说明。
接着，自动泊车装置100根据步骤T411中推断出的位置，通过既知的路径生成手法生成到登记于点组地图135的泊车位置为止的泊车路径(步骤T412)。
接着，自动泊车装置100使俯瞰图像200、步骤T411中推断出的车辆1的位置、步骤T412中生成的行驶路径显示到显示装置80(步骤T413)。车辆1的位置以固定周期更新，显示俯瞰图像200上的车辆1的动作。
接着，自动泊车装置100生成与步骤T412中生成的泊车路径对应的控制信息，并将所生成的控制信息输出到车辆控制装置50。车辆控制装置50按照从自动泊车装置100输入的控制信息来控制操舵装置51、驱动装置53及制动装置55(步骤T414)。由此车辆1沿着泊车路径移动至泊车位置。其间，车辆控制装置50仅在自动泊车按钮73被按下的期间，持续操舵装置51、驱动装置53及制动装置55的控制。另外，自动泊车装置100在从摄像头25的拍摄图像等检测出人物或其他车辆的情况下，使制动装置55动作而使车辆1的行驶停止。
接着，自动泊车装置100与步骤T411同样地推断车辆1的位置(步骤T415)，判断车辆1是否到达了泊车位置(步骤T416)。自动泊车装置100在车辆1未到达泊车位置的情况下(步骤T416/否)，返回到步骤T414的处理。另外，自动泊车装置100在车辆1到达了泊车位置的情况下(步骤T416/是)，使该处理结束。
[10.具体例的说明]
图18是表示停车场900的一例的俯视图。
图18所示的停车场900与建筑物800相邻设置。在停车场900内设有通行路903。该通行路903由从图面上来看沿着建筑物800的左侧面801配置的通行路903A、和从图面上来看沿着建筑物800的上面803配置的通行路903B构成。停车场900的泊车位置905沿着这些通行路903A及903B配置在通行路903A及903B的两侧。另外，在通行路903A的端部中的、与通行路903B连接的端部的相反侧的端部，设有停车场900的出入口901。
图18所示的三角形的图形表示车辆1。车辆1在停车场900的场外，车辆1的方位为朝向进入停车场900内的方向。另外，多个泊车位置905中的通过阴影线示出的泊车位置905表示作为目标的泊车位置907。此外，在图18中，省略划出泊车位置905的泊车框和建筑物800以外的地标的图示。
自动泊车装置100当在停车场900的出入口901附近转移到地图存储模式220时，开始地标测位。自动泊车装置100使表示与通过地标测位检测出的泊车位置905的泊车框对应的点组的点组数据存储到RAM120。自动泊车装置100在动作模式为地图存储模式220的情况下，到停车制动器动作且响应按钮71被按下之前重复上述处理。
图19是表示点组数据915A的图。尤其是，图19是将在图18所示的停车场900内进行地标测位而得到的点组数据915A与图18所示的停车场900的泊车位置905一并显示的图。
图19中实线所示的四边形的图形是将通过地标测位检测出的点组数据915A可视化得到的图形。另外，在图19中，通过虚线所示的四边形的图形表示未能利用地标测位检测出的点组数据915B。搭载于车辆1的雷达21、声呐23及摄像头25在可传感检测的范围方面存在限制。因此，在车辆1的位置处于停车场900的出入口901附近的情况下，仅检测出表示划出停车场900的出入口901附近的泊车位置905的泊车框的点组数据915A。通过车辆1侵入停车场900内、车辆1在通行路903行驶，能够检测出与停车场900的整体的泊车位置905对应的点组数据915A。
图20是表示点组数据915A的图。
图20的(A)所示的点组数据915A是作为停车场数据已经登记于点组地图135的数据。另外，图20的(A)所示的点组数据915A是车辆1在通行路903的右侧行驶并到达至泊车位置907的情况下得到的数据。
另外，图20的(B)所示的点组数据915A表示车辆1在停车场900内行驶而新得到的数据。图20的(B)所示的点组数据915A是在通行路903的左侧行驶并到达至泊车位置907的情况下得到的数据。
关于图20的(A)所示的点组数据915A，由于车辆1在通行路903的右侧行驶，所以无法获取表示设在通行路903的左侧的泊车位置905的点组数据。另外，关于图20的(B)所示的点组数据，由于车辆1在通行路903的左侧行驶，所以无法获取表示设在通行路903的右侧的泊车位置905的点组数据。
另外，由于在转移到地图存储模式220时车辆1的姿势未与停车场900正对，所以图20的(B)所示的点组数据与图20的(A)所示的点组数据915A相比，点组数据915A倾斜。车辆1的姿势(方位角)未与停车场900正对表示车辆1的车长方向未与通行路903A大致平行的状态。
若停到图18所示的泊车位置907且停车制动器动作，并且响应按钮71被按下，则自动泊车装置100从导航装置30获取表示车辆1的当前位置的纬度及经度。另外，自动泊车装置100使车辆1的四角在记录坐标系中的坐标存储到RAM120。
自动泊车装置100判断与从导航装置30获取到的当前位置的纬度及经度大致一致的纬度及经度是否已作为停车场数据而登记于点组地图135。自动泊车装置100在与从导航装置30获取到的纬度及经度大致一致的纬度及经度未登记于点组地图135的情况下，将存储于RAM120的点组数据作为新的停车场数据登记到点组地图135。
另外，自动泊车装置100在与当前位置的纬度及经度大致一致的纬度及经度已作为停车场数据而登记于点组地图135的情况下，以划分泊车位置905的泊车框为基准进行坐标转换，计算出点组一致率IB。
自动泊车装置100在点组一致率IB大于预先设定的阈值的情况下，在图20的(A)所示的点组数据915A中统合图20的(B)所示的点组数据915A。通过该统合，将图20的(A)所示的点组数据915A中未包含的表示通行路903A的左侧的泊车位置905的点组数据915A登记为停车场数据。另外，对于既已作为停车场数据登记的表示通行路903A的右侧的泊车位置905的点组数据915A，作为点组数据915A登记的数据数量增加，点组数据915A的密度变高。
接着，具体地说明在位置推断模式230中执行的匹配处理。
图21是表示停车场900内的行驶轨迹910和通过车辆1在停车场900内行驶而得到的局部周边信息121的图。
假定在点组地图135中登记有设于图18所示的停车场900的所有泊车位置905的点组数据915A。
图21所示的点组数据915A是作为局部周边信息121存储于RAM120的数据。更具体地说，是从车辆1到达至图21所示的车辆1的位置为止由摄像头25拍摄得到的拍摄图像中检测出的数据，是将坐标系从局部坐标系转换成停车场坐标系得到的数据。
另外，在图21中示出车辆1的行驶轨迹910。在车辆1从图18所示的通行路903A进入通行路903B时，由于车辆1右转，所以产生了基于右向转弯的转弯误差。因此，作为局部周边信息121登记的点组数据915A的形状变化，即使直接将点组地图135中登记的停车场数据与局部周边信息121的点组数据915A匹配也不会一致。
在图21所示的行驶轨迹910中，包含有效轨迹912和有效轨迹912以外的轨迹911。有效轨迹912是从车辆1开始右向转弯的地点到图21所示的车辆1的位置为止的轨迹。通过将以有效轨迹912为中心进入规定范围内的点组数据915A利用于匹配，能够实施正确的匹配。在图22中示出将以有效轨迹912为中心进入规定范围内的点组数据915A利用于匹配处理的情况下的匹配结果。在图22中以虚线示出的点组数据915A与以实线示出的划分泊车位置905的泊车框匹配。
图23的(A)表示车辆1的当前位置，图23的(B)是表示在当前位置检测出的点组数据915A的图。
更详细地说，图23的(B)示出将从车辆1位于图23的(A)所示的位置时由摄像头25拍摄得到的拍摄图像中检测出的点组数据915A转换成停车场坐标且可视化的状态。另外，图23中为了对比也一并示出车辆1。如图23所示，在车辆1的左侧，表示泊车位置905的点组数据915A没有间断地存在，车辆1的右侧仅在近前侧存在表示泊车位置905的点组数据915A。
图24是表示作为停车场数据而已登记于点组地图135的点组数据925、与作为局部周边信息121而存储于RAM120的点组数据915A的匹配结果的图。
图24中，作为停车场数据已登记于点组地图135的点组数据925和局部周边信息121中的某一方包含误差，存在于车辆1的右侧的局部周边信息121的点组数据915A相对于点组数据925产生偏移。若在这样的状态下计算出瞬间一致度IC，则由于车辆1的右侧的点组数据915A的偏移，导致瞬间一致度IC成为低的值。
自动泊车装置100在判断成瞬间一致度IC小于阈值的情况下，使用作为停车场数据已登记于点组地图135的点组数据925，计算出泊车框的宽度，使局部周边信息121的点组数据915A移动所计算出的泊车框的宽度的整数倍，计算出整体一致度IW。
图25是表示使作为局部周边信息121存储于RAM120的点组数据915A以泊车框的宽度的整数倍移动后的情况下的与点组数据925之间的关系的图。
图25的(A)是表示使点组数据915A移动之前的点组数据915A与点组数据925之间的位置关系的图。
图25的(B)是表示使点组数据915A以泊车框的宽度的+1倍向图面上方移动后的情况下的点组数据915A与点组数据925之间的位置关系的图。
图25的(C)是表示使点组数据915A以泊车框的宽度的-1倍向图面下方移动后的情况下的点组数据915A与点组数据925之间的位置关系的图。
图25的(B)所示的点组数据915A向图面上方移动了一个泊车框的宽度量，点组数据915A与点组数据925的偏移扩大。因此，图25的(B)中的整体一致度IW与图25的(A)所示的使点组数据915A移动之前相比变小。
图25的(C)所示的点组数据915A向图面下方移动了一个泊车框的宽度量，点组数据915A与点组数据925大致一致。因此，图25的(C)中的整体一致度IW与图25的(A)所示的使点组数据915A移动之前相比变大。
像这样，基于整体一致度IW确定点组数据915A的移动量，并使与确定出的移动量对应的坐标转换式存储到RAM120。由此，能够提高自我位置的推断精度。
如以上说明那样本实施方式的自动泊车装置100具备移动量计算部155A、直线状俯瞰图像生成部155B、各距离下转弯角度生成部155C、俯瞰图像重建部155D及非易失性存储部130。
移动量计算部155A使用车速传感器41的传感器数据计算出车辆1的移动距离。
直线状俯瞰图像生成部155B使用对车辆的周围进行了拍摄的摄像头25的拍摄图像，生成将拍摄图像的视点转换成俯瞰视点的俯瞰图像200，并生成将所生成的俯瞰图像的形状以转换成直线状的方式进行形状转换而得到的直线状俯瞰图像131。
各距离下转弯角度生成部155C使用舵角传感器43的传感器数据所示的车辆1的转弯量、和移动量计算部155A所计算出的移动距离，计算出表示车辆1的每规定的移动距离下的转弯角度的各距离下转弯角度信息133。
非易失性存储部130存储直线状俯瞰图像131和各距离下转弯角度信息133。
俯瞰图像重建部155D使用直线状俯瞰图像131和各距离下转弯角度信息133，重建俯瞰图像200。
像这样，本实施方式的自动泊车装置100使对俯瞰图像的形状以转换成直线状的方式进行形状转换而得到的直线状俯瞰图像131、和表示每移动距离下的车辆1的转弯角度的各距离下转弯角度信息133存储到非易失性存储部130，在生成俯瞰图像200的情况下，基于直线状俯瞰图像131和各距离下转弯角度信息133生成俯瞰图像200。因此，能够削减俯瞰图像200的数据量。
由于直线状俯瞰图像131的数据量比俯瞰图像200少，所以与使俯瞰图像200存储于非易失性存储部130的情况相比较，能够大幅削减存储于非易失性存储部130的数据量。
另外，通过使直线状俯瞰图像131存储于非易失性存储部130，即使是立体停车场等具有层次构造的停车场，也能够以二维图像表现，若使用直线状俯瞰图像131，则即使是立体停车场也能够生成俯瞰图像200。
另外，在传感器数据包含误差的情况下，存在如下情况：在车辆1环行一周回到了相同地方时，原本应在俯瞰图像200上成为相同地方，但由于误差而图像与其他地方重合，但即使传感器数据中存在误差，俯瞰图像200也不会错误地重叠，能够减少俯瞰图像200的污损。
图26是俯瞰图像生成***300的***结构图。
俯瞰图像生成***300具备搭载于车辆1的车载装置10和服务器装置350经由网络310而连接的结构。
车载装置10具备自动泊车装置100。若转移到地图存储模式220，则自动泊车装置100以图12的流程图所示的顺序生成停车场数据，并将所生成的停车场数据和自动泊车装置100的识别信息经由通信装置60上传到服务器装置350。
服务器装置350具备对登记了从自动泊车装置100接收到的停车场数据的点组地图135进行存储的存储装置。服务器装置350将点组地图135与自动泊车装置100的识别信息建立对应并存储到存储装置。
若从自动泊车装置100接收到停车场数据，则服务器装置350对与所接收到的识别信息对应的点组地图135进行检索，并将停车场数据登记到所检索出的点组地图135。
若转移到位置推断模式230，则自动泊车装置100将从导航装置30获取到的纬度及经度和自动泊车装置100的识别信息经由通信装置60发送到服务器装置350。
服务器装置350参照与接收到的识别信息对应的点组地图135，获取与所接收到的纬度及经度大致一致的纬度及经度下的停车场数据。服务器装置350将获取到停车场数据下载到相符的自动泊车装置100。
若从服务器装置350接收到停车场数据，则自动泊车装置100按照图13所示的顺序推断车辆1的位置，执行自动泊车。
上述实施方式只不过例示本发明的一个方式，在不脱离本发明的要旨的范围内能够任意进行变形及应用。
例如，上述实施方式能够实施以下所示的变形。
(1)存储传感器误差数据库137及环境数据库139的存储装置可以是硬盘驱动器等辅助存储装置，也可以存储于车载装置10的外部的服务器装置等。
(2)自动泊车装置100也可以不从车速传感器41及舵角传感器43接收传感检测结果。该情况下，自动泊车装置100使用摄像头25的拍摄图像来推断车辆1的移动。自动泊车装置100使用保存于ROM110的内部参数及外部参数，计算出被摄体与摄像头25的位置关系。然后通过在多个拍摄图像中追踪该被摄体，从而推断车辆1的移动量及移动方向。
(3)也可以使点组地图135和局部周边信息121作为三维信息存储于非易失性存储部130。三维的点组信息可以通过投影到二维平面上而在二维上与其他点组进行比较，也可以在三维彼此间进行比较。该情况下，自动泊车装置100使用基于从车速传感器41及舵角传感器43输入的传感器数据计算出的车辆1的移动量和从摄像头25输入的多个拍摄图像，并使用公知的运动立体(motion stereo)技术、以内传感器和/或测位传感器修正其动作推断部分得到的信息，从而能够得到静止立体物的三维点组。
(4)自动泊车装置100也可以是，在图16的步骤T3564中，不是仅在一次否定判断下进入步骤T3565，而是在多次连续否定判断的情况下进入步骤T3565。
(5)自动泊车装置100也可以代替图16的步骤T3564的判断，而判断局部周边信息121所包含的点组数据中的、判断成离群值的点的比例是否大于预先设定的阈值。自动泊车装置100在判断成离群值的点的比例大于阈值的情况下，进入步骤T3565，在判断成离群值的点的比例为阈值以下的情况下，进入步骤T3570。而且自动泊车装置100也可以在图16的步骤T3564的判断的基础上，在判断成离群值的点的比例大于阈值的情况下，进入步骤ST3565。
(6)自动泊车装置100也可以预先进行图16的步骤T3565及步骤T3567的处理。而且也可以将其处理结果存储到RAM120或非易失性存储部130。
(7)自动泊车装置100不仅可以从设于车辆1的内部的输入装置70接收来自使用者的动作指令，也可以从通信装置60接收来自使用者的动作指令。例如可以是，使用者所持有的移动终端与通信装置60进行通信，使用者对移动终端进行操作，由此自动泊车装置100进行与按下自动泊车按钮73的情况相同的动作。该情况下，自动泊车装置100不仅能够在使用者处于车辆1的内部的情况下进行自动泊车，也可以在使用者下车后进行自动泊车。
(8)自动泊车装置100不仅可以在登记于点组地图135的泊车位置进行泊车，也可以在由使用者指定的位置进行泊车。关于使用者对泊车位置的指定，例如，通过自动泊车装置100在显示装置80上显示泊车位置的候选、并且使用者利用输入装置70选择其中某一个来进行。
(9)自动泊车装置100可以经由通信装置60从外部接收点组地图135，也可以将所创建的点组地图135经由通信装置60发送到外部。另外，自动泊车装置100收发点组地图135的对方可以是搭载于其他车辆的其他自动泊车装置100，也可以是管理停车场的组织所管理的装置。
(10)车载装置10可以代替导航装置30而具备移动终端，代替纬度及经度而记录与移动终端进行通信的基地局的识别信息。这是因为基地局的通信范围限于数百米程度，因此若进行通信的基地局相同，则为同一的停车场的可能性高。
(11)停车场数据所包含的周期性特征不限定于泊车框。例如，构成作为路面图标之一的人行横道的多条直线等也是周期性特征。另外，在停车场数据由激光雷达等获取到的墙壁等障碍物的信息构成的情况下，规则地排列的柱子也是周期性特征。
(12)在上述实施方式中作为移动体的其他车辆或人不包含于地标，但也可以将移动体包含于地标。该情况下也能够将作为移动体的地标和移动体以外的地标以能够识别的方式存储。
(13)自动泊车装置100也可以在地图存储模式220中，识别所检测出的地标，并将各个地标的识别结果一并记录到点组地图135。对于地标的识别，使用从拍摄图像得到的地标的形状信息、颜色信息、以及基于公知的运动立体技术得到的地标的立体形状信息。地标被识别为例如泊车框、泊车框以外的路面图标、陆缘石、护栏、墙壁等。而且自动泊车装置100也可以将作为移动体的其他车辆和人包含于地标，并与其他地标同样地将识别结果一并记录到点组地图135。该情况下，可以将其他车辆和人一并作为“移动体”进行识别及记录，也可以单独识别及记录其他车辆和人。
另外，图9～图17所示的流程图的处理单位是为了容易理解自动泊车装置100的处理而与主要的处理内容相应地分割的，本发明不受处理单位的分割的方法和名称的限制。
另外，自动泊车装置100的处理也能够根据处理内容分割成更多的处理单位，还能够以一个处理单位包含更多处理的方式进行分割。另外，上述流程图的处理顺序也不限于图示的例子。
另外，在通过计算机实现本发明的信息处理方法的情况下，能够以记录介质或传输程序的传输介质的形态构成使该计算机执行的程序。对于记录介质，能够使用磁、光学性的记录介质或半导体存储器件。具体地说，对于记录介质，可列举软盘、HDD(Hard DiskDrive(硬盘))、CD-ROM(Compact Disk Read Only Memory(只读光盘))、DVD、Blu-ray(注册商标)Disc、光磁盘。另外，作为记录介质，也能够列举闪存、卡片型记录介质等的便携型或固定式的记录介质。另外，上述记录介质也可以是作为显示装置所具备的内部存储装置的RAM、ROM、HDD等非易失性存储装置。

Claims (7)

1.一种俯瞰图像生成装置，其特征在于，具备：
数据获取部，其获取搭载于车辆的传感器的传感器数据；
移动量计算部，其使用所述数据获取部所获取到的所述传感器数据计算出所述车辆的移动量；
直线状俯瞰图像生成部，其使用所述数据获取部所获取到的所述传感器数据中所包含的对所述车辆的周围进行拍摄得到的拍摄图像，将所述拍摄图像的视点转换为俯瞰视点，并将转换得到的图像沿着所述车辆的行驶轨迹以时序相接，由此生成俯瞰图像，对所生成的所述俯瞰图像，不考虑所述车辆的舵角传感器的传感器数据所示的转弯量的信息，仅考虑所述移动量计算部所计算出的所述车辆的移动距离来生成将所述拍摄图像的形状以转换成直线状的方式进行形状转换而得到的直线状俯瞰图像；
各移动量下转弯量计算部，其使用所述数据获取部所获取到的表示所述车辆的转弯量的所述传感器数据和所述移动量计算部所计算出的移动量，计算出所述车辆的每规定移动量下的所述车辆的转弯量；
模式切换部，在判断为所述车辆当前行驶中的地点附近的所述传感器数据未登记的情况下，使所述车辆的动作模式转移到地图存储模式，开始所述传感器数据的记录；
存储部，其在所述地图存储模式下将所述直线状俯瞰图像生成部所生成的所述直线状俯瞰图像和将坐标系中的所述移动量和所述转弯量建立对应地登记到表中的各距离下转弯角度信息分开地存储于存储器，所述直线状俯瞰图像是反映从所述车辆的所述移动量的信息而生成的俯瞰图像，所述坐标系是以开始所述传感器数据的记录时的所述车辆的位置为原点、以所述传感器数据的记录开始时的所述车辆的行进方向为Y轴、以所述传感器数据的记录开始时的所述车辆的右方向为X轴的坐标系；以及
俯瞰图像重建部，其使用所述直线状俯瞰图像和所述各距离下转弯角度信息，重建包含转弯角度信息的所述俯瞰图像。
2.如权利要求1所述的俯瞰图像生成装置，其特征在于，
所述直线状俯瞰图像生成部使用所述拍摄图像、和表示对所述拍摄图像进行拍摄的摄像头在所述车辆中的安装位置的参数，生成将所述拍摄图像的视点转换成俯瞰视点的所述俯瞰图像，
基于所述移动量计算部所计算出的所述车辆的规定移动量，确定与所述俯瞰图像的各坐标建立对应的直线形状的图像的坐标，将所述俯瞰图像的建立了对应的坐标的像素值投影到所确定出的所述坐标而生成所述直线状俯瞰图像。
3.如权利要求1或2所述的俯瞰图像生成装置，其特征在于，
所述存储部将所述直线状俯瞰图像按预先设定的数据量或距离分割而存储。
4.如权利要求3所述的俯瞰图像生成装置，其特征在于，
所述俯瞰图像重建部从所述存储部读出所述直线状俯瞰图像的一部分、和表示所述每规定移动量下的转弯量的信息，基于所读出的所述直线状俯瞰图像和所述每规定移动量下的转弯量，重建所述俯瞰图像。
5.一种俯瞰图像生成***，具备权利要求1或2所述的俯瞰图像生成装置和服务器装置，其特征在于，
具备：通信部，其将所述直线状俯瞰图像和所述各距离下转弯角度信息发送到所述服务器装置，
所述服务器装置从所述俯瞰图像生成装置接收所述直线状俯瞰图像和所述各距离下转弯角度信息并存储。
6.如权利要求5所述的俯瞰图像生成***，其特征在于，
所述俯瞰图像生成装置具备俯瞰图像重建部，所述俯瞰图像重建部基于所述服务器装置从所述通信部接收到的所述直线状俯瞰图像和所述各距离下转弯角度信息，重建所述俯瞰图像。
7.一种自动泊车装置，其特征在于，
具备权利要求1所述的俯瞰图像生成装置，
所述存储部将表示点组在第1坐标系中的坐标的点组数据与表示纬度及经度的测位数据建立对应地存储，其中所述点组表示存在于车辆的周围的物体的一部分，
所述自动泊车装置具备：
地标测位部，其基于所述数据获取部所获取到的所述传感器数据及所述移动量计算部所计算出的所述移动量，生成局部周边信息，其中该局部周边信息包含多个表示第2坐标系中的所述车辆的位置及物体的一部分的点组在所述第2坐标系中的坐标；
位置推断部，其基于所述点组数据和所述局部周边信息，推断所述第1坐标系与所述第2坐标系的关系，并推断所述车辆在所述第1坐标系中的位置；
显示控制部，其使所述位置推断部推断出的所述车辆的位置重叠于所述俯瞰图像生成装置所生成的所述俯瞰图像而显示于显示装置；以及
自动泊车部，其基于所述点组数据及由所述位置推断部推断的所述车辆的位置而驱动所述车辆，使所述车辆移动到所述第1坐标系中的预先设定的泊车位置。
CN202110771626.2A 2020-07-13 2021-07-08 俯瞰图像生成装置、俯瞰图像生成***及自动泊车装置 Active CN113997931B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-119895 2020-07-13
JP2020119895A JP2022016908A (ja) 2020-07-13 2020-07-13 俯瞰画像生成装置、俯瞰画像生成システム及び自動駐車装置

Publications (2)

Publication Number Publication Date
CN113997931A CN113997931A (zh) 2022-02-01
CN113997931B true CN113997931B (zh) 2024-05-24

Family

ID=77249660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110771626.2A Active CN113997931B (zh) 2020-07-13 2021-07-08 俯瞰图像生成装置、俯瞰图像生成***及自动泊车装置

Country Status (4)

Country Link
US (1) US12033400B2 (zh)
EP (1) EP3939863A1 (zh)
JP (1) JP2022016908A (zh)
CN (1) CN113997931B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230031425A1 (en) * 2021-08-02 2023-02-02 DUS Operating Inc, Methodology to estimate slot line direction for parking slot detection
JP2023097021A (ja) * 2021-12-27 2023-07-07 本田技研工業株式会社 制御装置、及び移動体
US20230286584A1 (en) * 2022-03-08 2023-09-14 Ford Global Technologies, Llc Method for operating a motor vehicle with a parking assistant
WO2023176621A1 (ja) * 2022-03-14 2023-09-21 パイオニア株式会社 推定装置、システム、推定方法、およびプログラム
JP2023154265A (ja) * 2022-04-06 2023-10-19 キヤノン株式会社 画像処理装置、移動体、画像処理方法、及びコンピュータプログラム
DE102022204313A1 (de) * 2022-05-02 2023-11-02 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Erzeugen eines Umfeldabbildes für einen Parkassistenten eines Fahrzeugs
US20230394751A1 (en) * 2022-06-01 2023-12-07 Shopify Inc. Image generation based on tracked 3d scanning
CN117095540B (zh) * 2023-10-18 2024-01-23 四川数字交通科技股份有限公司 道路二次事故的预警方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101082502A (zh) * 2006-05-29 2007-12-05 爱信艾达株式会社 驻车辅助方法及驻车辅助装置
JP2008132882A (ja) * 2006-11-28 2008-06-12 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
CN102138163A (zh) * 2008-08-29 2011-07-27 三菱电机株式会社 俯瞰图像生成装置、俯瞰图像生成方法以及俯瞰图像生成程序
CN102933428A (zh) * 2010-06-15 2013-02-13 爱信精机株式会社 驾驶支援装置
CN103988499A (zh) * 2011-09-27 2014-08-13 爱信精机株式会社 车辆周边监视装置
CN104641394A (zh) * 2012-08-30 2015-05-20 株式会社电装 图像处理装置及存储介质
DE102013224190A1 (de) * 2013-11-27 2015-05-28 Robert Bosch Gmbh Verfahren zur Bereitstellung von Fahrzeug-Kameradaten
CN108141569A (zh) * 2015-10-08 2018-06-08 日产自动车株式会社 显示辅助装置及显示辅助方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4661658B2 (ja) 2006-03-30 2011-03-30 アイシン・エィ・ダブリュ株式会社 運転支援方法、運転支援装置及び運転支援プログラム
JP6299185B2 (ja) * 2013-11-29 2018-03-28 日産自動車株式会社 車両用加速抑制装置及び車両用加速抑制方法
JP6642906B2 (ja) 2016-02-18 2020-02-12 三菱重工業株式会社 駐車位置検出システム及びそれを用いた自動駐車システム
JP6757261B2 (ja) 2017-01-13 2020-09-16 クラリオン株式会社 車載処理装置
JP7200645B2 (ja) 2018-12-11 2023-01-10 トヨタ自動車株式会社 車載装置、プログラム、及び車両
JP7347307B2 (ja) * 2020-04-02 2023-09-20 株式会社デンソー 駐車支援装置、駐車支援システム、及び駐車支援方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101082502A (zh) * 2006-05-29 2007-12-05 爱信艾达株式会社 驻车辅助方法及驻车辅助装置
JP2008132882A (ja) * 2006-11-28 2008-06-12 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
CN102138163A (zh) * 2008-08-29 2011-07-27 三菱电机株式会社 俯瞰图像生成装置、俯瞰图像生成方法以及俯瞰图像生成程序
CN102933428A (zh) * 2010-06-15 2013-02-13 爱信精机株式会社 驾驶支援装置
CN103988499A (zh) * 2011-09-27 2014-08-13 爱信精机株式会社 车辆周边监视装置
CN104641394A (zh) * 2012-08-30 2015-05-20 株式会社电装 图像处理装置及存储介质
DE102013224190A1 (de) * 2013-11-27 2015-05-28 Robert Bosch Gmbh Verfahren zur Bereitstellung von Fahrzeug-Kameradaten
CN108141569A (zh) * 2015-10-08 2018-06-08 日产自动车株式会社 显示辅助装置及显示辅助方法

Also Published As

Publication number Publication date
EP3939863A1 (en) 2022-01-19
US20220012509A1 (en) 2022-01-13
US12033400B2 (en) 2024-07-09
CN113997931A (zh) 2022-02-01
JP2022016908A (ja) 2022-01-25

Similar Documents

Publication Publication Date Title
CN113997931B (zh) 俯瞰图像生成装置、俯瞰图像生成***及自动泊车装置
US11433880B2 (en) In-vehicle processing apparatus
US20200353914A1 (en) In-vehicle processing device and movement support system
RU2668459C1 (ru) Устройство оценки положения и способ оценки положения
US11560160B2 (en) Information processing apparatus
US11351986B2 (en) In-vehicle processing apparatus
US20150292891A1 (en) Vehicle position estimation system
US11143511B2 (en) On-vehicle processing device
WO2015156821A1 (en) Vehicle localization system
KR20190045220A (ko) 자기 위치 추정 방법 및 자기 위치 추정 장치
US20210394782A1 (en) In-vehicle processing apparatus
JP2006318062A (ja) 画像処理装置、画像処理方法、および画像処理用プログラム
JP2018073275A (ja) 画像認識装置
JP2018084492A (ja) 自己位置推定方法及び自己位置推定装置
US20200401819A1 (en) Image based locationing
CN113091756A (zh) 位置推定装置、以及位置推定方法
CN112528719A (zh) 推定装置、推定方法以及存储介质
US10249056B2 (en) Vehicle position estimation system
JP2023152109A (ja) 地物検出装置、地物検出方法及び地物検出用コンピュータプログラム
RU2772620C1 (ru) Создание структурированных картографических данных с помощью датчиков транспортного средства и массивов камер
US20240067211A1 (en) Method and apparatus for operating a vehicle for highly automated driving, and vehicle for highly automated driving
WO2023037570A1 (ja) 車載処理装置、車両制御装置、及び自己位置推定方法
JP7468075B2 (ja) 管制制御システム
JP7227763B2 (ja) 車載処理装置、位置推定方法、出庫システム
CN115900709A (zh) 室内外一体无人驾驶导航方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant