CN113744560A - 停车场自动泊车方法、装置、服务器和机器可读存储介质 - Google Patents
停车场自动泊车方法、装置、服务器和机器可读存储介质 Download PDFInfo
- Publication number
- CN113744560A CN113744560A CN202111082037.XA CN202111082037A CN113744560A CN 113744560 A CN113744560 A CN 113744560A CN 202111082037 A CN202111082037 A CN 202111082037A CN 113744560 A CN113744560 A CN 113744560A
- Authority
- CN
- China
- Prior art keywords
- parking
- vehicle
- parking lot
- information
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000011218 segmentation Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000004888 barrier function Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
- G08G1/0969—Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供了一种停车场自动泊车方法、装置、服务器和机器可读存储介质,涉及自动泊车技术领域,该方法包括获取通过设置在挪车机器人的深度相机采集的停车场的实时场景图像;基于实时场景图像构建停车场场景地图;停车场场景地图包括空闲车位;在空闲车位中确定目标泊车车位;基于目标泊车车位的车位类型确定待泊车辆的泊车路径,并控制挪车机器人按照泊车路径进行待泊车辆的自动泊车。本发明无需人工指挥即可将待泊车辆挪车至目标泊车车位,提升了挪车效率,并且减少了人力成本。
Description
技术领域
本发明涉及自动泊车技术领域,尤其是涉及一种停车场自动泊车方法、装置、服务器和机器可读存储介质。
背景技术
自动泊车,即不用人工干预,自动停车入位。一般地,普通车辆并未装载自动泊车***,为此,停车场使用挪车机器人搬运车辆,以达到自动泊车的目的。
通过停车场自动泊车的挪车机器人可以实现搬运车辆至指定车位。然而,目前通过停车场挪车机器人进行自动泊车时,挪车机器人在运行过程中仍然需要停车场工作人员遥控指挥,导致挪车效率较低,并且十分耗费人力资源。
发明内容
本发明的目的在于提供一种停车场自动泊车方法、装置、服务器和机器可读存储介质,无需人工指挥即可将待泊车辆挪车至目标泊车车位,提升了挪车效率,并且减少了人力成本。
第一方面,本发明提供一种停车场自动泊车方法,包括:获取通过设置在挪车机器人的深度相机采集的停车场的实时场景图像;基于实时场景图像构建停车场场景地图;停车场场景地图包括空闲车位;在空闲车位中确定目标泊车车位;基于目标泊车车位的车位类型确定待泊车辆的泊车路径,并控制挪车机器人按照泊车路径进行待泊车辆的自动泊车。
在可选的实施方式中,实时场景图像包括深度图像;基于实时场景图像构建停车场场景地图的步骤,包括:基于深度图像生成停车场点云信息;停车场点云信息包括点云三维坐标、点云深度信息和纹理信息;基于点云三维坐标确定点云语义标签;基于深度图像的特征描述信息确定挪车机器人的当前位姿信息;对点云深度信息和挪车机器人的当前位姿信息进行体素融合,得到初始三维模型;对初始三维模型进行结构化处理,生成停车场场景三维模型;基于停车场场景三维模型和点云语义标签构建停车场场景地图。
在可选的实施方式中,基于点云三维坐标确定点云语义标签的步骤,包括:对停车场点云信息中的每个点云信息进行局部特征检测,得到对应的3D局部特征点;将3D局部特征点进行球面投影,确定2D投影图像;2D投影图像包括多个2D像素点;基于预先训练好的语义分割模型对2D投影图像进行语义分割,得到每个2D像素点对应的点云语义标签;其中,点云语义标签用于标识停车场信息;停车场信息至少包括停车场道路信息、车位信息、障碍物信息。
在可选的实施方式中,基于深度图像的特征描述信息确定挪车机器人的当前位姿信息,包括:提取深度图像的特征点,并对提取出的特征点进行特征匹配,将存在匹配关系的特征点确定为对应在世界坐标系的共视点;基于共视点的坐标信息进行最近点迭代,确定挪车机器人的当前位姿信息。
在可选的实施方式中,获取通过设置在挪车机器人的深度相机采集的停车场的实时场景图像之前,还包括:响应于用户终端的泊车请求,确定待挪车辆的位置信息;向挪车机器人发送自动泊车指令,控制挪车机器人根据自动泊车指令移动至待挪车辆的位置;其中,自动泊车指令包括待挪车辆的位置信息。
在可选的实施方式中,在空闲车位中确定目标泊车车位的步骤,包括:基于预先选择的规避导航算法在空闲车位确定初始泊车车位;对空闲车位进行遍历,在空闲车位中查找待匹配车位;基于初始泊车车位和待匹配车位确定目标泊车车位。
在可选的实施方式中,基于目标泊车车位的车位类型确定待泊车辆的泊车路径,包括:基于挪车机器人的当前位姿信息确定挪车机器人的当前转向角;基于目标泊车车位的车位类型和当前转向角确定待泊车辆的泊车路径;其中,车位类型包括非字形停车位、一字形停车位、斜线停车位以及靠柱一侧停车位。
第二方面,本发明提供一种停车场自动泊车装置,包括:图像获取模块,用于获取通过设置在挪车机器人的深度相机采集的停车场的实时场景图像;场景地图构建模块,用于基于实时场景图像构建停车场场景地图;停车场场景地图包括空闲车位;车位确定模块,用于在空闲车位中确定目标泊车车位;自动泊车模块,用于基于目标泊车车位的车位类型确定待泊车辆的泊车路径,并控制挪车机器人按照泊车路径进行待泊车辆的自动泊车。
第三方面,本发明提供一种服务器,包括:存储器、处理器和存储在存储器上并可在处理器上运行的机器程序,处理器执行机器程序时实现如前述实施方式任一项的停车场自动泊车方法。
第四方面,本发明提供一种机器可读存储介质,机器可读存储介质上存储有机器程序,机器程序被处理器运行时实现如前述实施方式任一项的停车场自动泊车方法。
本发明提供的停车场自动泊车方法、装置、服务器和机器可读存储介质,该方法首先获取通过设置在挪车机器人的深度相机采集的停车场的实时场景图像,然后基于实时场景图像构建停车场场景地图(其中,停车场场景地图包括空闲车位),进而在空闲车位中确定目标泊车车位,最后基于目标泊车车位的车位类型确定待泊车辆的泊车路径,并控制挪车机器人按照泊车路径进行待泊车辆的自动泊车。上述方式通过设置在挪车机器人的深度相机采集的停车场的实时场景图像构建停车场场景地图,能够使服务器根据构建的停车场场景地图控制挪车机器人进行目标泊车车位的挪车,从而无需人工指挥即可将待泊车辆挪车至目标泊车车位,提升了挪车效率,并且减少了人力成本。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种停车场自动泊车方法的流程示意图;
图2为本发明实施例提供的一种共视点的示意图;
图3为本发明实施例提供的一种停车场自动泊车装置的结构示意图;
图4为本发明实施例提供的一种服务器的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“设置”、“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
下面结合附图,对本发明的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
考虑到对于并未装载自动泊车***的车辆来说,在进行停车场泊车时,通常需要人工进行泊车指挥,而对于已有的挪车机器人进行挪车的方式,在实际操作时,也会有停车场工作人员进行遥控指挥,因此目前的停车场自动泊车还存在效率较低且耗费人力资源的情况。针对目前停车场自动泊车存在的问题,本发明实施例提供了一种停车场自动泊车方法、装置、服务器和机器可读存储介质,无需人工指挥即可将待泊车辆挪车至目标泊车车位,提升了挪车效率,并且减少了人力成本。
为便于理解,首先对本发明实施例提供的停车场自动泊车方法进行详细说明,参见图1所示的一种停车场自动泊车方法的流程示意图,该方法通过服务器进行执行,服务器可以是云端服务器等计算设备,服务器与挪车机器人通讯连接(通讯连接方式不作限制),该方法主要包括以下步骤S102至步骤S108:
步骤S102,获取通过设置在挪车机器人的深度相机采集的停车场的实时场景图像。
由于挪车机器人的牵引部为挪车机器人的主要动力源,牵引部内设有主控制器,因此,在一种实施方式中,可以通过将深度相机设置在挪车机器人的牵引部的方式进行停车场的实时场景图像的采集。
深度相机可以包括Kinnet深度相机或者Astro Pro深度相机,深度相机可以采集彩色信息和深度数据,因此通过挪车机器人在停车场的移动可以进行停车场各个区域的实时场景图像采集。
步骤S104,基于实时场景图像构建停车场场景地图;停车场场景地图包括空闲车位。
上述通过深度相机采集的实时场景图像可以表示为RGB-D深度图像,也即停车场场景的彩色图像和深度数据。服务器获取到该RGB-D深度图像后,本实施例采用点云数据构建停车场场景地图。因此,在一种实施方式中,可以首先根据RGB-D深度图像生成点云数据,进而对生成的点云数据进行一系列处理(下述进行详细说明),并结合实时场景图像构建停车场场景地图。
停车场场景地图中包括的空闲车位,可以通过障碍物识别的方式进行标识,诸如,可以首先识别停车场场景地图中车位区域,对车位区域进行障碍物识别,将不存在障碍物的车位区域确定为空闲车位。
步骤S106,在空闲车位中确定目标泊车车位。
由于本实施例是通过挪车机器人将待泊车辆停放至目标泊车车位,因此在确定出空闲车位后,目标泊车车位为位于挪车机器人和待泊车辆之间、符合挪车效率最高的挪车策略的车位位置,该效率最高的挪车策略可以包括满足距离最短、转弯最少、泊车难度最小等挪车策略中的一种或多种。
步骤S108,基于目标泊车车位的车位类型确定待泊车辆的泊车路径,并控制挪车机器人按照泊车路径进行待泊车辆的自动泊车。
上述目标泊车车位的车位类型可以通过该目标泊车车位所处位置进行确定,诸如可以包括非字形停车位、一字形停车位、斜线停车位以及靠柱一侧停车。针对不同的车位类型,挪车机器人在对待泊车辆进行泊车时,需要采取对应额泊车方式,也即需要确定与车位类型对应的泊车路径,以便服务器下发相应的挪车指令,控制挪车机器人按照泊车路径进行待泊车辆的自动泊车。
本发明实施例提供的停车场自动泊车方法,通过设置在挪车机器人的深度相机采集的停车场的实时场景图像构建停车场场景地图,能够使服务器根据构建的停车场场景地图控制挪车机器人进行目标泊车车位的挪车,从而无需人工指挥即可将待泊车辆挪车至目标泊车车位,提升了挪车效率,并且减少了人力成本。
在一种实施方式中,实时场景图像包括深度图像,该深度图像也即上述RGB-D深度图像,包括彩色图像信息和深度数据,则上述基于实时场景图像构建停车场场景地图的步骤,在具体实施时,主要包括以下步骤1.1)至步骤1.6):
步骤1.1),基于深度图像生成停车场点云信息;停车场点云信息包括点云三维坐标、点云深度信息和纹理信息;
步骤1.2),基于点云三维坐标确定点云语义标签;
步骤1.3),基于深度图像的特征描述信息确定挪车机器人的当前位姿信息;
步骤1.4),对点云深度信息和挪车机器人的当前位姿信息进行体素融合,得到初始三维模型;
步骤1.5),对初始三维模型进行结构化处理,生成停车场场景三维模型;
步骤1.6),基于停车场场景三维模型和点云语义标签构建停车场场景地图。
针对上述步骤1.1),可以采用以下公式生成停车场点云信息:
其中,(u,v)为RGB-D深度图像中每个特征点的像素坐标,d为RGB-D图中每个特征点的深度值,K为深度相机的内参,(X,Y,Z)为停车场点云信息中点云的三维坐标。
针对上述步骤1.2),在基于点云三维坐标确定点云语义标签时,具体实施步骤可以包括以下步骤1.2.1)至步骤1.2.3):
步骤1.2.1),对停车场点云信息中的每个点云信息进行局部特征检测,得到对应的3D局部特征点。由于停车场点云信息包括点云三维坐标,因此针对停车场点云信息中的每个点云,可以通过获取每个点云的近邻点集,将点云以及该点云的近邻点集的三维坐标输入多层感知机(Multilayer Perceptron,MLP)进行局部特征预测,得到3D局部特征点。
步骤1.2.2),将3D局部特征点进行球面投影,确定2D投影图像。首先。通过球面投影可以得到多个2D像素点,进而根据2D像素点构成2D投影图像,也即2D投影图像包括多个2D像素点。
步骤1.2.3),基于预先训练好的语义分割模型对2D投影图像进行语义分割,得到每个2D像素点对应的点云语义标签。其中,语义分割模型可以包括Unet语义分割网络、语义分割领域全卷积网络(Fully Convolutional Networks,FCN)、DeepLab语义分割网络等。点云语义标签用于标识停车场信息,停车场信息至少包括停车场道路信息、车位信息、障碍物信息。在一种实施方式中,可以在场景重建过程中采用2D-3D映射结合U-Net神经网络实现对点云的语义识别,使得停车场场景地图中标记出的停车场路径信息、空闲车位信息(包括空闲车位类型)等语义信息更加真实。
针对上述步骤1.3),在基于深度图像的特征描述信息确定挪车机器人的当前位姿信息,可以进一步包括以下步骤1.3.1)和步骤1.3.2):
步骤1.3.1),提取深度图像的特征点,并对提取出的特征点进行特征匹配,将存在匹配关系的特征点确定为对应在世界坐标系的共视点。在一种实施方式中,特征描述信息也即ORB特征描述子,包括特征点和描述子,特征点是指特征点在深度图像中的位置;描述子是指特征点的朝向和周围像素信息。服务器可以采用ORB特征描述子进行深度图像特征点的提取,并对提取得到的特征点进行特征匹配,可以查找出存在匹配关系的特征点(像素坐标系)对应的在世界坐标系的共视点。一般情况下,4个以上的特征点匹配出的共视点最为稳健,为便于理解,图2中示出了4个特征点匹配得到的共视点。
步骤1.3.2),基于共视点的坐标信息进行最近点迭代,确定挪车机器人的当前位姿信息。由于采用深度图像的深度相机设置于挪车机器人上,因此通过上述匹配得到的共视点的三维坐标计算得到的相机位姿信息可以确定为挪车机器人的当前位姿信息。在实际应用中,最近点迭代可以采用迭代最近点算法(Iterative Closest Point,ICP)。
此外,由于挪车机器人是在停车场中不断移动的,因此还可以在移动过程中不断的进行当前位姿信息的更新优化。诸如,在具体实施时,可以根据上一帧对应的共视点的三维坐标与当前帧对应的特征点代入到PNP(pespective-n-point)算法对前面估计出的位姿进行优化。
针对上述步骤1.4),体素融合可以在实时场景重建过程中采用TSDF(truncatedsigned distance function,基于截断地带符号距离函数)算法对三维模型基于体素的融合和更新,即对点云的稠密重建得到三维模型,可以实现对复杂的停车场环境的三维空间重构,使得生成的停车场场景地图更加准确。
针对上述步骤1.5),初始三维模型为稠密点的点云构成的模型,实际称不上是真正的三维模型,还需要进一步将模型表面结构化处理,诸如,服务器根据提取等值面算法(Marching Cube)算法对初始三维模型的等值面进行提取,实现三维模型的三角面片重建,生成停车场场景三维模型。优选的,还可以进行纹理贴图,使得得到停车场场景三维模型更加直观。
在实际应用中,当待泊车辆的驾驶员行驶至停车场时,可以通过驾驶员的用户终端发起泊车请求,并由服务器进行响应。因此,在获取通过设置在挪车机器人的深度相机采集的停车场的实时场景图像之前,可以进一步包括以下步骤2.1)和步骤2.2):
步骤2.1),响应于用户终端的泊车请求,确定待挪车辆的位置信息;
步骤2.2),向挪车机器人发送自动泊车指令,控制挪车机器人根据自动泊车指令移动至待挪车辆的位置;其中,自动泊车指令包括待挪车辆的位置信息。
针对上述步骤2.1),由用户终端发起泊车请求可以采用驾驶员通过用户终端在停车场栏杆处扫描表征自动泊车请求的二维码发起,还可以是栏杆处的摄像机对车辆的车牌识别后,服务器通过蓝牙建立与车牌对应驾驶员用户终端的通讯连接,根据驾驶员通过用户终端发送至服务器的自动泊车请求,在实际应用中,可以根据实际需求进行选取,此处不作具体限定。泊车请求中包括待挪车辆当前的位置信息,服务器接收到泊车请求后,通过解析泊车请求确定待挪车辆的位置信息。
进一步,在一种实施方式中,目标泊车车位的确定可以采用以下步骤3.1)至步骤3.3)执行,具体包括:
步骤3.1),基于预先选择的规避导航算法在空闲车位确定初始泊车车位。
步骤3.2),对空闲车位进行遍历,在空闲车位中查找待匹配车位。
步骤3.3),基于初始泊车车位和待匹配车位确定目标泊车车位。
上述预先选择的规避导航算法可以包括A*算法、D*算法或者LPA*算法。为了适应预先选择的规避导航算法,要有个起始点和初始终点,再规划出最优的终点。在具体实施时,初始泊车车位(也即起始点)可以为在空闲车位中选取的距离当前挪车机器人(由于此时挪车机器人已经移动至待挪车辆处,因此也可以是待挪车辆)最远的目标空闲车位,待匹配车位为初始起点,通过预先选择的规避导航算法在初始泊车车位和待匹配车位确定目标泊车车位。
此外,在确定目标泊车车位还可以根据上述挪车策略进行选择,此处不再赘述。
对于上述步骤S108,基于目标泊车车位的车位类型确定待泊车辆的泊车路径,包括以下步骤4.1)和步骤4.2):
步骤4.1),基于挪车机器人的当前位姿信息确定挪车机器人的当前转向角;
步骤4.2),基于目标泊车车位的车位类型和当前转向角确定待泊车辆的泊车路径;其中,车位类型包括非字形停车位(也即直角停车)、一字形停车位(也即侧方停车)、斜线停车位以及靠柱一侧停车位。泊车路径也即当前待泊车辆到目标泊车车位之间的路径。
针对上述步骤4.1),转向角可以基于预先建立的挪车控制模型确定。诸如,在一种实施方式中,所述预先建立的挪车控制模型为:
其中,(x,y)为挪车机器人后轮潜入部轴中心位置处的坐标;θ为挪车机器人前轮潜入部与X轴之间的夹角;δ为挪车机器人前轮潜入部的转向角;γ为挪车机器人前轮潜入部的转动角速率;l为挪车机器人前轮潜入部与后轮潜入部之间的轴距;v表示挪车机器人的径向速度;w为挪车机器人的转向速率。
综上所述,本实施只需设置深度相机即可实现挪车机器人自动泊车,利用视觉定位技术即可实现挪车机器人自动导航泊车,不需要人工进行遥控泊车,减少人力成本,并且相对于现有技术中需要设置精度要求较高激光传感器等多种传感器来说极大降低成本。
上述停车场自动泊车方法,本发明提供一种停车场自动泊车装置,参见图3所示的一种停车场自动泊车装置的结构示意图,该装置主要包括部分:
图像获取模块302,用于获取通过设置在挪车机器人的深度相机采集的停车场的实时场景图像;
场景地图构建模块304,用于基于实时场景图像构建停车场场景地图;停车场场景地图包括空闲车位;
车位确定模块306,用于在空闲车位中确定目标泊车车位;
自动泊车模块308,用于基于目标泊车车位的车位类型确定待泊车辆的泊车路径,并控制挪车机器人按照泊车路径进行待泊车辆的自动泊车。
本发明实施例提供的停车场自动泊车装置,通过图像获取模块获取设置在挪车机器人的深度相机采集的停车场的实时场景图像构建停车场场景地图,能够使服务器根据构建的停车场场景地图控制挪车机器人进行目标泊车车位的挪车,从而无需人工指挥即可将待泊车辆挪车至目标泊车车位,提升了挪车效率,并且减少了人力成本。
在一些实施方式中,所述实时场景图像包括深度图像;场景地图构建模块304,还用于:
基于所述深度图像生成停车场点云信息;所述停车场点云信息包括点云三维坐标、点云深度信息和纹理信息;
基于所述点云三维坐标确定点云语义标签;
基于所述深度图像的特征描述信息确定挪车机器人的当前位姿信息;
对所述点云深度信息和挪车机器人的当前位姿信息进行体素融合,得到初始三维模型;
对所述初始三维模型进行结构化处理,生成停车场场景三维模型;
基于所述停车场场景三维模型和所述点云语义标签构建所述停车场场景地图。
在一些实施方式中,场景地图构建模块304,进一步用于对所述停车场点云信息中的每个点云信息进行局部特征检测,得到对应的3D局部特征点;
将所述3D局部特征点进行球面投影,确定2D投影图像;所述2D投影图像包括多个2D像素点;
基于预先训练好的语义分割模型对所述2D投影图像进行语义分割,得到每个所述2D像素点对应的点云语义标签;其中,所述点云语义标签用于标识停车场信息;所述停车场信息至少包括停车场道路信息、车位信息、障碍物信息。
在一些实施方式中,场景地图构建模块304,进一步用于提取所述深度图像的特征点,并对提取出的特征点进行特征匹配,将存在匹配关系的特征点确定为对应在世界坐标系的共视点;
基于所述共视点的坐标信息进行最近点迭代,确定所述挪车机器人的当前位姿信息。
在一些实施方式中,上述装置还包括:请求响应模块,用于响应于用户终端的泊车请求,确定待挪车辆的位置信息;
向挪车机器人发送自动泊车指令,控制所述挪车机器人根据所述自动泊车指令移动至所述待挪车辆的位置;其中,所述自动泊车指令包括所述待挪车辆的所述位置信息。
在一些实施方式中,车位确定模块306,还用于基于预先选择的规避导航算法在空闲车位确定初始泊车车位;
对所述空闲车位进行遍历,在所述空闲车位中查找待匹配车位;
基于所述初始泊车车位和所述待匹配车位确定所述目标泊车车位。
在一些实施方式中,自动泊车模块308,还用于:基于所述挪车机器人的当前位姿信息确定挪车机器人的当前转向角;
基于所述目标泊车车位的车位类型和所述当前转向角确定所述待泊车辆的泊车路径;其中,所述车位类型包括非字形停车位、一字形停车位、斜线停车位以及靠柱一侧停车位。
本发明实施例所提供的装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
本发明实施例提供了一种服务器,具体的,该服务器包括处理器和存储装置;存储装置上存储有计算机程序,计算机程序在被所述处理器运行时执行如上所述实施方式的任一项所述的方法。
图4为本发明实施例提供的一种服务器的结构示意图,该服务器100包括:处理器40,存储器41,总线42和通信接口43,所述处理器40、通信接口43和存储器41通过总线42连接;处理器40用于执行存储器41中存储的可执行模块,例如计算机程序。
其中,存储器41可能包含高速随机存取存储器(RAM,RandomAccessMemory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口43(可以是有线或者无线)实现该***网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。
总线42可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图4中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器41用于存储程序,所述处理器40在接收到执行指令后,执行所述程序,前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器40中,或者由处理器40实现。
处理器40可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器40中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器40可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital SignalProcessing,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器41,处理器40读取存储器41中的信息,结合其硬件完成上述方法的步骤。
本发明实施例所提供的停车场自动泊车方法、装置、服务器和机器可读存储介质的计算机程序产品,包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***具体工作过程,可以参考前述实施例中的对应过程,在此不再赘述。
本发明实施例所提供的可读存储介质的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种停车场自动泊车方法,其特征在于,包括:
获取通过设置在挪车机器人的深度相机采集的停车场的实时场景图像;
基于所述实时场景图像构建停车场场景地图;所述停车场场景地图包括空闲车位;
在所述空闲车位中确定目标泊车车位;
基于所述目标泊车车位的车位类型确定待泊车辆的泊车路径,并控制所述挪车机器人按照所述泊车路径进行待泊车辆的自动泊车。
2.根据权利要求1所述的停车场自动泊车方法,其特征在于,所述实时场景图像包括深度图像;所述基于所述实时场景图像构建停车场场景地图的步骤,包括:
基于所述深度图像生成停车场点云信息;所述停车场点云信息包括点云三维坐标、点云深度信息和纹理信息;
基于所述点云三维坐标确定点云语义标签;
基于所述深度图像的特征描述信息确定挪车机器人的当前位姿信息;
对所述点云深度信息和挪车机器人的当前位姿信息进行体素融合,得到初始三维模型;
对所述初始三维模型进行结构化处理,生成停车场场景三维模型;
基于所述停车场场景三维模型和所述点云语义标签构建所述停车场场景地图。
3.根据权利要求2所述的停车场自动泊车方法,其特征在于,所述基于所述点云三维坐标确定点云语义标签的步骤,包括:
对所述停车场点云信息中的每个点云信息进行局部特征检测,得到对应的3D局部特征点;
将所述3D局部特征点进行球面投影,确定2D投影图像;所述2D投影图像包括多个2D像素点;
基于预先训练好的语义分割模型对所述2D投影图像进行语义分割,得到每个所述2D像素点对应的点云语义标签;其中,所述点云语义标签用于标识停车场信息;所述停车场信息至少包括停车场道路信息、车位信息、障碍物信息。
4.根据权利要求2所述的停车场自动泊车方法,其特征在于,所述基于所述深度图像的特征描述信息确定挪车机器人的当前位姿信息,包括:
提取所述深度图像的特征点,并对提取出的特征点进行特征匹配,将存在匹配关系的特征点确定为对应在世界坐标系的共视点;
基于所述共视点的坐标信息进行最近点迭代,确定所述挪车机器人的当前位姿信息。
5.根据权利要求1所述的停车场自动泊车方法,其特征在于,获取通过设置在挪车机器人的深度相机采集的停车场的实时场景图像之前,还包括:
响应于用户终端的泊车请求,确定待挪车辆的位置信息;
向挪车机器人发送自动泊车指令,控制所述挪车机器人根据所述自动泊车指令移动至所述待挪车辆的位置;其中,所述自动泊车指令包括所述待挪车辆的所述位置信息。
6.根据权利要求1所述的停车场自动泊车方法,其特征在于,所述在所述空闲车位中确定目标泊车车位的步骤,包括:
基于预先选择的规避导航算法在空闲车位确定初始泊车车位;
对所述空闲车位进行遍历,在所述空闲车位中查找待匹配车位;
基于所述初始泊车车位和所述待匹配车位确定所述目标泊车车位。
7.根据权利要求1所述的停车场自动泊车方法,其特征在于,基于所述目标泊车车位的车位类型确定待泊车辆的泊车路径,包括:
基于所述挪车机器人的当前位姿信息确定挪车机器人的当前转向角;
基于所述目标泊车车位的车位类型和所述当前转向角确定所述待泊车辆的泊车路径;其中,所述车位类型包括非字形停车位、一字形停车位、斜线停车位以及靠柱一侧停车位。
8.一种停车场自动泊车装置,其特征在于,包括:
图像获取模块,用于获取通过设置在挪车机器人的深度相机采集的停车场的实时场景图像;
场景地图构建模块,用于基于所述实时场景图像构建停车场场景地图;所述停车场场景地图包括空闲车位;
车位确定模块,用于在所述空闲车位中确定目标泊车车位;
自动泊车模块,用于基于所述目标泊车车位的车位类型确定待泊车辆的泊车路径,并控制所述挪车机器人按照所述泊车路径进行待泊车辆的自动泊车。
9.一种服务器,其特征在于,包括:存储器、处理器和存储在所述存储器上并可在所述处理器上运行的机器程序,所述处理器执行所述机器程序时实现如权利要求1-7任一项所述的停车场自动泊车方法。
10.一种机器可读存储介质,其特征在于,所述机器可读存储介质上存储有机器程序,所述机器程序被处理器运行时实现如权利要求1-7任一项所述的停车场自动泊车方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111082037.XA CN113744560B (zh) | 2021-09-15 | 2021-09-15 | 停车场自动泊车方法、装置、服务器和机器可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111082037.XA CN113744560B (zh) | 2021-09-15 | 2021-09-15 | 停车场自动泊车方法、装置、服务器和机器可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113744560A true CN113744560A (zh) | 2021-12-03 |
CN113744560B CN113744560B (zh) | 2023-05-05 |
Family
ID=78739133
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111082037.XA Active CN113744560B (zh) | 2021-09-15 | 2021-09-15 | 停车场自动泊车方法、装置、服务器和机器可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113744560B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114013431A (zh) * | 2022-01-06 | 2022-02-08 | 宁波均联智行科技股份有限公司 | 基于用户意向的自动泊车控制方法及*** |
CN114550451A (zh) * | 2022-02-18 | 2022-05-27 | 平安国际智慧城市科技股份有限公司 | 停车场的车辆拥堵预警方法、装置、设备及存储介质 |
CN115022798A (zh) * | 2022-05-23 | 2022-09-06 | 上海寅家电子科技股份有限公司 | 一种用于停车场的泊车方法、装置及计算机存储介质 |
CN115273028A (zh) * | 2022-07-14 | 2022-11-01 | 清华大学 | 一种基于全域感知的智慧停车场语义地图构建方法及*** |
CN115291770A (zh) * | 2022-08-19 | 2022-11-04 | 北京宾理信息科技有限公司 | 用于车辆的方法、装置、电子设备、存储介质和车辆 |
CN115384484A (zh) * | 2022-10-28 | 2022-11-25 | 禾多科技(北京)有限公司 | 辅助泊车方法、装置、电子设备和计算机可读介质 |
CN115565158A (zh) * | 2022-11-17 | 2023-01-03 | 广汽埃安新能源汽车股份有限公司 | 车位检测方法、装置、电子设备和计算机可读介质 |
CN115574804A (zh) * | 2022-11-18 | 2023-01-06 | 北京集度科技有限公司 | 停车场地图的构建方法、装置及设备 |
CN116533987A (zh) * | 2023-05-06 | 2023-08-04 | 阿波罗智联(北京)科技有限公司 | 泊车路径确定方法、装置、设备和自动驾驶车辆 |
CN116612458A (zh) * | 2023-05-30 | 2023-08-18 | 易飒(广州)智能科技有限公司 | 基于深度学习的泊车路径确定方法与*** |
CN117409611A (zh) * | 2023-10-25 | 2024-01-16 | 武汉理工大学 | 一种基于大型地下停车场的智慧泊车引导*** |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104641399A (zh) * | 2012-02-23 | 2015-05-20 | 查尔斯·D·休斯顿 | 用于创建环境并用于共享环境中基于位置的体验的***和方法 |
CN109767646A (zh) * | 2019-02-28 | 2019-05-17 | 北京智行者科技有限公司 | 泊车方法及装置 |
CN110497901A (zh) * | 2019-08-30 | 2019-11-26 | 的卢技术有限公司 | 一种基于机器人vslam技术的泊车位自动搜索方法和*** |
CN111016887A (zh) * | 2019-12-23 | 2020-04-17 | 深圳市豪恩汽车电子装备股份有限公司 | 机动车自动泊车装置及方法 |
CN112037567A (zh) * | 2020-09-04 | 2020-12-04 | 中国第一汽车股份有限公司 | 一种代客泊车方法、装置、设备及存储介质 |
JP2021077163A (ja) * | 2019-11-11 | 2021-05-20 | トヨタ自動車株式会社 | 自動駐車システム |
CN113256731A (zh) * | 2021-04-01 | 2021-08-13 | 深圳市宁创云软件技术有限公司 | 基于单目视觉的目标检测方法及装置 |
-
2021
- 2021-09-15 CN CN202111082037.XA patent/CN113744560B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104641399A (zh) * | 2012-02-23 | 2015-05-20 | 查尔斯·D·休斯顿 | 用于创建环境并用于共享环境中基于位置的体验的***和方法 |
CN109767646A (zh) * | 2019-02-28 | 2019-05-17 | 北京智行者科技有限公司 | 泊车方法及装置 |
CN110497901A (zh) * | 2019-08-30 | 2019-11-26 | 的卢技术有限公司 | 一种基于机器人vslam技术的泊车位自动搜索方法和*** |
JP2021077163A (ja) * | 2019-11-11 | 2021-05-20 | トヨタ自動車株式会社 | 自動駐車システム |
CN111016887A (zh) * | 2019-12-23 | 2020-04-17 | 深圳市豪恩汽车电子装备股份有限公司 | 机动车自动泊车装置及方法 |
CN112037567A (zh) * | 2020-09-04 | 2020-12-04 | 中国第一汽车股份有限公司 | 一种代客泊车方法、装置、设备及存储介质 |
CN113256731A (zh) * | 2021-04-01 | 2021-08-13 | 深圳市宁创云软件技术有限公司 | 基于单目视觉的目标检测方法及装置 |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114013431B (zh) * | 2022-01-06 | 2022-06-17 | 宁波均联智行科技股份有限公司 | 基于用户意向的自动泊车控制方法及*** |
CN114013431A (zh) * | 2022-01-06 | 2022-02-08 | 宁波均联智行科技股份有限公司 | 基于用户意向的自动泊车控制方法及*** |
CN114550451B (zh) * | 2022-02-18 | 2023-08-18 | 平安国际智慧城市科技股份有限公司 | 停车场的车辆拥堵预警方法、装置、设备及存储介质 |
CN114550451A (zh) * | 2022-02-18 | 2022-05-27 | 平安国际智慧城市科技股份有限公司 | 停车场的车辆拥堵预警方法、装置、设备及存储介质 |
CN115022798A (zh) * | 2022-05-23 | 2022-09-06 | 上海寅家电子科技股份有限公司 | 一种用于停车场的泊车方法、装置及计算机存储介质 |
CN115273028A (zh) * | 2022-07-14 | 2022-11-01 | 清华大学 | 一种基于全域感知的智慧停车场语义地图构建方法及*** |
CN115291770A (zh) * | 2022-08-19 | 2022-11-04 | 北京宾理信息科技有限公司 | 用于车辆的方法、装置、电子设备、存储介质和车辆 |
CN115384484A (zh) * | 2022-10-28 | 2022-11-25 | 禾多科技(北京)有限公司 | 辅助泊车方法、装置、电子设备和计算机可读介质 |
CN115565158A (zh) * | 2022-11-17 | 2023-01-03 | 广汽埃安新能源汽车股份有限公司 | 车位检测方法、装置、电子设备和计算机可读介质 |
CN115565158B (zh) * | 2022-11-17 | 2023-05-26 | 广汽埃安新能源汽车股份有限公司 | 车位检测方法、装置、电子设备和计算机可读介质 |
CN115574804A (zh) * | 2022-11-18 | 2023-01-06 | 北京集度科技有限公司 | 停车场地图的构建方法、装置及设备 |
CN116533987A (zh) * | 2023-05-06 | 2023-08-04 | 阿波罗智联(北京)科技有限公司 | 泊车路径确定方法、装置、设备和自动驾驶车辆 |
CN116612458A (zh) * | 2023-05-30 | 2023-08-18 | 易飒(广州)智能科技有限公司 | 基于深度学习的泊车路径确定方法与*** |
CN116612458B (zh) * | 2023-05-30 | 2024-06-04 | 易飒(广州)智能科技有限公司 | 基于深度学习的泊车路径确定方法与*** |
CN117409611A (zh) * | 2023-10-25 | 2024-01-16 | 武汉理工大学 | 一种基于大型地下停车场的智慧泊车引导*** |
CN117409611B (zh) * | 2023-10-25 | 2024-04-26 | 武汉理工大学 | 一种基于大型地下停车场的智慧泊车引导*** |
Also Published As
Publication number | Publication date |
---|---|
CN113744560B (zh) | 2023-05-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113744560A (zh) | 停车场自动泊车方法、装置、服务器和机器可读存储介质 | |
CN110148144B (zh) | 点云数据的分割方法和装置、存储介质、电子装置 | |
Suhr et al. | Sensor fusion-based vacant parking slot detection and tracking | |
Yenikaya et al. | Keeping the vehicle on the road: A survey on on-road lane detection systems | |
CN111442776A (zh) | 顺序地面场景图像投影合成与复杂场景重构的方法及设备 | |
CN110930323B (zh) | 图像去反光的方法、装置 | |
US11003920B2 (en) | Detection and planar representation of three dimensional lanes in a road scene | |
CN111874006A (zh) | 路线规划处理方法和装置 | |
US20230184560A1 (en) | Visual interface display method and apparatus, electronic device, and storage medium | |
CN112419776B (zh) | 自主泊车方法、装置、汽车及计算设备 | |
CN112967283A (zh) | 基于双目摄像头的目标识别方法、***、设备及存储介质 | |
CN111089597A (zh) | 基于图像和地图数据来定位的方法和装置 | |
WO2022205618A1 (zh) | 定位方法、行驶控制方法、装置、计算机设备及存储介质 | |
CN114091521B (zh) | 车辆航向角的检测方法、装置、设备及存储介质 | |
CN112418031B (zh) | 图像识别方法和装置、存储介质及电子设备 | |
JP2015225546A (ja) | 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム | |
CN114802261A (zh) | 泊车控制方法、障碍物识别模型训练方法、装置 | |
CN114648743A (zh) | 三维交通标志检测 | |
CN111950428A (zh) | 目标障碍物识别方法、装置及运载工具 | |
CN114821517A (zh) | 用于学习神经网络以确定环境中车辆姿态的方法和*** | |
Kakegawa et al. | Road surface segmentation based on vertically local disparity histogram for stereo camera | |
WO2022006777A1 (zh) | 对周围移动物体进行变道分类的方法、***、计算机设备及存储介质 | |
WO2022204905A1 (zh) | 一种障碍物检测方法及装置 | |
CN116691731A (zh) | 融合成像数据和激光雷达数据以改进目标识别 | |
Iwata et al. | Forward obstacle detection in a lane by stereo vision |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |