CN112319464A - 自动泊车方法、装置、设备及存储介质 - Google Patents
自动泊车方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112319464A CN112319464A CN202011237604.XA CN202011237604A CN112319464A CN 112319464 A CN112319464 A CN 112319464A CN 202011237604 A CN202011237604 A CN 202011237604A CN 112319464 A CN112319464 A CN 112319464A
- Authority
- CN
- China
- Prior art keywords
- target
- lane
- image information
- vehicle
- target vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 114
- 230000008569 process Effects 0.000 claims abstract description 44
- 238000012545 processing Methods 0.000 claims description 49
- 238000006243 chemical reaction Methods 0.000 claims description 23
- 230000000007 visual effect Effects 0.000 claims description 12
- 230000002829 reductive effect Effects 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 11
- 238000004590 computer program Methods 0.000 description 7
- 238000003708 edge detection Methods 0.000 description 7
- 238000012423 maintenance Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/06—Automatic manoeuvring for parking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请公开了一种自动泊车方法、装置、设备及存储介质。该方法包括：在目标车辆位于某一指定车道入口并启动自动泊车后，按照预设时间间隔采集目标车辆的前方车道图像信息，基于该前方车道图像信息，确定目标车辆的当前行驶方向和目标行驶方向，再基于该当前行驶方向与目标行驶方向之间的行驶方向偏差信息，对目标车辆下一时刻的实际行驶方向进行调整，以使目标车辆自指定车道入口自动泊车的过程中，在指定车道上沿目标行驶方向自动行驶至目标可用车位入口；在确定目标车辆行驶至目标可用车位入口后，控制目标车辆由该目标可用车位入口自动停放于目标可用车位，这样能够同时兼顾提升泊车自动化和减少用于控制自动泊车的智能硬件设备的设置。
Description
技术领域
本申请属于自动驾驶技术领域，具体涉及一种自动泊车方法、装置、设备及存储介质。
背景技术
目前，随着各种机动车辆普及，停车问题成为困扰众多用户的一大难题，尤其是一些新手停车技术不成熟，时常造成无法将车辆停入车位或车辆虽停入车位但造成与其他车辆发生剐蹭事故。为解决上述问题，自动泊车***被广泛应用于车辆技术领域。
当前，现有技术中提供的泊车实现方案，主要是：需要用户手动驾驶车辆前进搜索车位，确定车位信息后，操作车辆行驶至可用车位后下车，等待车辆自动泊车入位；或者需要车辆预先学习各种可能的泊车路线；或者需要在停车场内增加场端传感器等基础设施，在车辆上增加与场端传感器进行交互的感应传感器，以及对每个停车场进行高精地图建图来实现自动泊车。
在实现本发明的过程中，发明人发现相关技术中至少存在以下问题：针对通过场端智能硬件、车端传感器和云端控制器实现自动泊车的情况，需要人工定期维护且经济成本投入大，无法实现大规模量产，不能满足大多数应用场景；而针对通过用户参与实现辅助泊车的情况，由于用户还需在车内进行部分操作，自动化程度低、驾驶体验性差，即无法同时兼顾提升泊车自动化和减少用于控制自动泊车的智能硬件设备的设置。
发明内容
本申请实施例的目的是提供一种自动泊车方法、装置、设备及存储介质，存在无法同时兼顾提升泊车自动化和减少用于控制自动泊车的智能硬件设备设置的技术问题。
为了解决上述技术问题，本申请是这样实现的：
第一方面，本申请实施例提供了一种自动泊车方法，该方法包括：
在目标车辆自指定车道入口自动行驶至目标可用车位入口的过程中，按照预设时间间隔采集所述目标车辆的前方车道图像信息；其中，所述指定车道入口为包含至少一个可用车位的行驶车道的入口，所述目标可用车位入口为所述至少一个可用车位中的目标可用车位的入口；
根据所述前方车道图像信息，确定所述目标车辆的当前行驶方向与目标行驶方向之间的行驶方向偏差信息；
根据所述行驶方向偏差信息，调整所述目标车辆的行驶方向，以使所述目标车辆沿所述目标行驶方向向所述目标可用车位入口行驶；
在所述目标车辆行驶至所述目标可用车位入口后，控制所述目标车辆由所述目标可用车位入口自动停放于所述目标可用车位。
第二方面，本申请实施例提供了一种自动泊车装置，该装置包括：
车辆前方图像获取模块，用于在目标车辆自指定车道入口自动行驶至目标可用车位入口的过程中，按照预设时间间隔采集所述目标车辆的前方车道图像信息；其中，所述指定车道入口为包含至少一个可用车位的行驶车道的入口，所述目标可用车位入口为所述至少一个可用车位中的目标可用车位的入口；
行驶方向偏差确定模块，用于根据所述前方车道图像信息，确定所述目标车辆的当前行驶方向与目标行驶方向之间的行驶方向偏差信息；
车辆行驶方向调整模块，用于根据所述行驶方向偏差信息，调整所述目标车辆的行驶方向，以使所述目标车辆沿所述目标行驶方向向所述目标可用车位入口行驶；
车辆停入车位控制模块，用于在所述目标车辆行驶至所述目标可用车位入口后，控制所述目标车辆由所述目标可用车位入口自动停放于所述目标可用车位。
第三方面，本申请实施例提供了一种自动泊车设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
在本申请实施例中，在目标车辆位于某一指定车道入口并启动自动泊车后，按照预设时间间隔采集目标车辆的前方车道图像信息，基于该前方车道图像信息，确定目标车辆的当前行驶方向和目标行驶方向，再基于该当前行驶方向与目标行驶方向之间的行驶方向偏差信息，对目标车辆下一时刻的实际行驶方向进行调整，以使目标车辆自指定车道入口自动泊车的过程中，在指定车道上沿目标行驶方向自动行驶至目标可用车位入口，最终，在确定目标车辆行驶至目标可用车位入口后，控制目标车辆由该目标可用车位入口自动停放于目标可用车位，这样能够同时兼顾提升泊车自动化和减少用于控制自动泊车的智能硬件设备的设置，不仅减少了泊车过程中用户参与环节，提升了用户使用体验，还省去了对智能硬件设备的维护成本。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的自动泊车方法的第一种流程示意图；
图2为本申请实施例提供的自动泊车方法的第二种流程示意图；
图3为本申请实施例提供的自动泊车方法的第三种流程示意图；
图4为本申请实施例提供的自动泊车方法的第四种流程示意图；
图5a为本申请实施例提供的自动泊车方法中的包含至少一个可用车位的行驶车道的实现原理示意图；
图5b为本申请实施例提供的自动泊车方法中的包含前方车道图像信息的原始拍摄图像的实现原理示意图；
图5c为本申请实施例提供的自动泊车方法中的包含前方车道图像信息的俯瞰图的实现原理示意图；
图6为本申请实施例提供的自动泊车装置的模块组成示意图；
图7为本申请实施例提供的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的自动泊车方法、装置、设备及存储介质进行详细地说明。
在本申请实施例提供的自动泊车方法、装置、设备及存储介质，在目标车辆位于某一指定车道入口并启动自动泊车后，按照预设时间间隔采集目标车辆的前方车道图像信息，基于该前方车道图像信息，确定目标车辆的当前行驶方向和目标行驶方向，再基于该当前行驶方向与目标行驶方向之间的行驶方向偏差信息，对目标车辆下一时刻的实际行驶方向进行调整，以使目标车辆自指定车道入口自动泊车的过程中，在指定车道上沿目标行驶方向自动行驶至目标可用车位入口；在确定目标车辆行驶至目标可用车位入口后，控制目标车辆由该目标可用车位入口自动停放于目标可用车位，这样能够同时兼顾提升泊车自动化和减少用于控制自动泊车的智能硬件设备的设置。
图1为本申请实施例提供的自动泊车方法的第一种流程示意图，图1中的方法能够由目标车辆内设置的车辆控制装置执行，特别由车辆控制装置中设置的程序模块执行，如图1所示，该方法至少包括以下步骤：
S101，在目标车辆自指定车道入口自动行驶至目标可用车位入口的过程中，按照预设时间间隔采集目标车辆的前方车道图像信息；
其中，上述指定车道入口为包含至少一个可用车位的行驶车道的入口，上述目标可用车位入口为该至少一个可用车位中的目标可用车位的入口；其中，该目标可用车位可以是基于实时采集到的前方车道图像信息识别出的距目标车辆最近的可用车位；
具体的，车辆控制装置接收指定客户端基于用户的触发操作所发送的自动泊车启动指令，响应于该自动泊车启动指令，控制目标车辆自指定车道入口自动向前行驶，以及在目标车辆自动行驶的过程中，通过目标车辆内的车辆前方摄像装置，按照预设时间间隔拍摄得到前方车道图像信息，并将该前方车道图像信息传输至目标车辆内设置的车辆控制装置，该车辆控制装置按照该预设时间间隔获取目标车辆的前方车道图像信息，并基于该前方车道图像信息对目标车辆的行驶方向进行不断调整。
S102，根据获取到的前方车道图像信息，确定目标车辆的当前行驶方向与目标行驶方向之间的行驶方向偏差信息；
具体的，利用图像识别技术，基于获取到的前方车道图像信息，识别所需的参考边界线，再基于识别出的参考边界线确定车辆的当前行驶方向和目标行驶方向，再基于该当前行驶方向和目标行驶方向之间的方向夹角即可得到行驶方向偏差信息。
S103，根据确定出的行驶方向偏差信息，调整目标车辆的行驶方向，以使目标车辆沿目标行驶方向向目标可用车位入口行驶；
具体的，在确定出当前行驶方向和目标行驶方向之间的方向夹角后，基于该方向夹角控制目标车辆的转向，以使目标车辆的实际行驶方向与目标行驶方向的偏差小于预设阈值，并在指定车道上向目标可用车位入口行驶，这样在目标车辆自指定车道入口自动行驶至目标可用车位入口的过程中无需用户保持在车内即可完成自动泊车；其中，该指定车道为停车区域内包含至少一个可用车位的行驶车道，驾驶员将车辆行驶至某一指定车道的入口后，启动自动泊车功能，这样目标车辆在自指定车道入口自动行驶至目标可用车位入口的过程中，不断基于采集到的前方车道图像信息控制目标车辆的行驶方向，使得目标车辆自动按照目标行驶方向自动行驶，因此，无需用户保持在车内即可完成自动泊车。
S104，在目标车辆行驶至目标可用车位入口后，控制目标车辆由该目标可用车位入口自动停放于目标可用车位；
具体的，目标车辆在自指定车道入口自动向前行驶的过程中，不断基于采集到的前方车道图像信息确定是否识别到最近的可用车位，若识别到最近的可用车位且确定当前位于该最近的可用车位入口，则确定目标车辆行驶至目标可用车位入口，然后，借助现有的自动控制车辆由车位入口驶入停车位的实现方案，控制车辆由当前所在的目标可用车位入口停放至目标可用车位，从而完成整个自动泊车过程。
具体的，通过基于车辆前方摄像装置采集到的前方车道图像信息对车辆行驶方向进行调整，并基于现有的控制车辆由车位入口驶入停车位的实现方案，完成自动泊车，这样无需用户明确搜索并指定可用车位，只需在包含至少一个可用车位的行驶车道的入口前下车，然后启动一键自动泊车即可，整个自动泊车过程尽可能减少用户的操作成本，提升了用户使用体验。
本申请实施例中，在目标车辆位于某一指定车道入口并启动自动泊车后，按照预设时间间隔采集目标车辆的前方车道图像信息，基于该前方车道图像信息，确定目标车辆的当前行驶方向和目标行驶方向，再基于该当前行驶方向与目标行驶方向之间的行驶方向偏差信息，对目标车辆下一时刻的实际行驶方向进行调整，以使目标车辆自指定车道入口自动泊车的过程中，在指定车道上沿目标行驶方向自动行驶至目标可用车位入口，最终，在确定目标车辆行驶至目标可用车位入口后，控制目标车辆由该目标可用车位入口自动停放于目标可用车位，这样能够同时兼顾提升泊车自动化和减少用于控制自动泊车的智能硬件设备的设置，不仅减少了泊车过程中用户参与环节，提升了用户使用体验，还省去了对智能硬件设备的维护成本。
其中，针对基于采集到的前方车道图像信息确定车辆行驶方向偏差的过程，如图2所示，上述S102，根据获取到的前方车道图像信息，确定目标车辆的当前行驶方向与目标行驶方向之间的行驶方向偏差信息，具体包括：
S1021，根据获取到的前方车道图像信息，确定目标车辆的目标行驶方向；
S1022，根据获取到的前方车道图像信息，确定目标车辆的当前行驶方向；
具体的，通过对前方车道图像信息进行图像识别处理和视角转换，再基于视角转换得到的俯瞰视角下的图像信息，确定目标行驶方向和当前行驶方向。
S1023，确定上述当前行驶方向与目标行驶方向之间的行驶方向偏差信息；
具体的，基于确定出的当前行驶方向和目标行驶方向之间的方向夹角即可得到行驶方向偏差信息。
进一步的，由于在确定目标行驶方向时，需要借助从前方车道图像信息中提取预设参考边界线，例如，置信度符合预设要求的车道线、连续性符合预设要求的车位线、车辆可行驶区域的边界线中至少一项作为预设参考边界线，但可能存在无法识别出可用参考边界线的情况，基于此，针对基于前方车道图像信息确定目标行驶方向的过程，如图3所示，上述S1021，根据获取到的前方车道图像信息，确定目标车辆的目标行驶方向，具体包括：
S10211，对获取到的前方车道图像信息进行图像识别处理，得到相应的图像识别处理结果；
S10212，基于上述图像识别处理结果，判断在上述前方车道图像信息中是否存在第一参考边界线，其中，该第一参考边界线包括：置信度符合预设要求的车道线、连续性符合预设要求的车位线、车辆可行驶区域中符合预设要求的边界线中至少一项；
若存在第一参考边界线，则执行S10213，根据标记有该第一参考边界线的前方车道图像信息，确定目标车辆的目标行驶方向；
具体的，对获取到的前方车道图像信息进行边缘检测，如果基于边缘检测结果，确定从获取到的前方车道图像信息中能够识别出清晰的车道线和/或连续的车位线，或者利用深度学习方法确定车辆可行驶区域，且确定该车辆可行驶区域内存在符合预设要求的边界线，则说明在该前方车道图像信息中存在第一参考边界线，并在前方车道图像信息中标记识别出的该第一参考边界线，进而基于对标记后的前方车道图像信息进行视角转换得到的俯瞰车道图信息，即可确定车辆的目标行驶方向。
在具体实施时，结合基于车道线、车位线、车辆可行驶区域内的边界线中至少一项即可确定目标行驶方向的应用场景，考虑到车道线、车位线、车辆可行驶区域内的边界线的识别效率和参考性之间存在一定差异，因此，可以设置各类参考边界线的识别优先级，例如，按照车道线、车位线、车辆可行驶区域内的边界线的识别优先级由高至低的顺序；具体的，按照各类参考边界线的识别优先级由高至低的顺序，利用相应的图像识别算法，对获取到的前方车道图像信息进行图像识别处理，若识别出任一可用参考边界线，则停止图像识别处理，并确定在前方车道图像信息中存在第一参考边界线；也就是说，可以先确定前方车道图像信息中是否存在清晰的车道线，若存在，则停止图像识别处理，若不存在，则再确定前方车道图像信息中是否存在连续的车位线；若存在，则停止图像识别处理，若不存在，则再确定前方车道图像信息中的车辆可行驶区域是否存在合预设要求的边界线，这样能够提高第一参考边界线的识别效率。
具体的，上述S1021，根据获取到的前方车道图像信息，确定目标车辆的目标行驶方向，具体包括：
在多个预设参考边界线中，按照识别优先级由高至低的顺序，选取优先级最高的预设参考边界线；
利用选取出的预设参考边界线对应的目标图像识别算法，对获取到的前方车道图像信息进行图像识别处理，得到相应的图像识别处理结果；
若基于得到的图像识别处理结果确定识别出可用参考边界线，则确定在前方车道图像信息中存在第一参考边界线；
若基于得到的图像识别处理结果确定未识别出可用参考边界线，则判断当前选取的优先级最高的预设参考边界线是否为最后一个，若否，则选取下一个优先级最高的预设参考边界线，并继续执行上述利用选取出的预设参考边界线对应的目标图像识别算法，对获取到的前方车道图像信息进行图像识别处理，得到相应的图像识别处理结果的步骤；
若当前选取的优先级最高的预设参考边界线为最后一个，则确定在前方车道图像信息中不存在第一参考边界线。
具体的，针对各类参考边界线的识别过程，具体为：
(1)若当前选取的优先级最高的预设参考边界线为车道线，则利用现有的车道线识别算法，对获取到的前方车道图像信息进行图像识别处理，得到相应的图像识别处理结果；其中，若在前方车道图像信息中识别出置信度满足预设条件的车道线，则确定在前方车道图像信息中识别出可用参考边界线。
(2)若当前选取的优先级最高的预设参考边界线为车位线，则利用现有的视觉车位检测算法，对获取到的前方车道图像信息进行图像识别处理，得到相应的图像识别处理结果；其中，若在前方车道图像信息中识别出直线拟合误差小于第一预设阈值且直线拟合所用的车位角点的数量大于第二预设阈值的车位线，则确定在前方车道图像信息中识别出可用参考边界线。
具体的，在获取到的前方车道图像信息中进行车位角点检测，对检测到的车位角点进行直线拟合处理，得到车位角点拟合直线，其中，考虑对于一个车位，可能存在车辆遮挡的情况，远离本车的角点一般无法被清晰看见，因此，在该车位角点拟合直线中删除远离目标车辆一侧的车位角点，再对剩余的车位角点进行直线拟合处理，直到拟合得到的车位角点拟合直线的拟合误差小于第一预设阈值且最终拟合的所有车位角点的数量大于第二预设阈值，其中，该拟合误差为最终拟合的所有车位角点距拟合直线的平均距离；则将最终拟合得到的车位角点拟合直线确定为可用参考边界线。
进一步的，针对在从前方车道图像信息中无法识别出满足预设要求的车道线或车位线的情况，还可以利用深度学习方法确定目标车辆的车辆可行区域，再将该车辆可行驶区域的边界线确定为第一参考边界线，然后，根据标记有该第一参考边界线的前方车道图像信息，确定目标车辆的目标行驶方向；
(3)若当前选取的优先级最高的预设参考边界线为车辆可行驶区域内的可用参考边界线，则利用选取出的预设参考边界线对应的目标图像识别算法，对获取到的前方车道图像信息进行图像识别处理，得到相应的图像识别处理结果，具体包括：
利用深度学习方法对前方车道图像信息进行图像识别处理，确定该前方车道图像信息中的车辆可行驶区域；具体的，将前方车道图像信息输入至预先训练好的深度学习模型，利用该深度学习模型输出车辆可行驶区域的掩膜；其中，该车辆可行驶区域的掩膜与原始的前方车道图像信息的尺寸相同，每个像素点的取值为0或1，0表示像素点属于可行使区域，1表示像素点不属于可行使区域，或者，0表示像素点不属于可行使区域，1表示像素点属于可行使区域；再在该车辆可行驶区域的掩膜中，确定符合预设要求的可用闭合边界，将该可用闭合边界确定为车辆可行驶区域；其中，该可用闭合边界中包含的所有像素点的取值均表征像素点属于可行使区域；
在确定出的车辆可行驶区域中，以某一边界像素点为起始边界像素点，选取预设数量的目标边界像素点，并将选取的目标边界像素点进行直线拟合处理，确定拟合得到的边界像素拟合直线的拟合误差，其中，该拟合误差为各目标边界像素点到边界像素拟合直线的平均距离；
若边界像素拟合直线的拟合误差不小于预设阈值，则沿边界以预设步长得到下一个起始边界像素点，并再次选取预设数量的边界像素点作为目标边界像素点，进行直线拟合处理，直到拟合误差小于预设阈值，即直到找到车辆可行驶区域的直线边界；
若边界像素拟合直线的拟合误差小于预设阈值，则将该预设数量的连续边界像素点所形成的线段确定为车辆可行驶区域中符合预设要求的边界线，即可以作为第一参考边界线；其中，该至少预设数量的连续边界像素点所形成的线段不位于原始拍摄图像边缘，即最终确定的参考边界线不为原始的前方车道图像信息的边缘线，也不为车辆可行驶区域的掩膜的边缘线。
其中，由于通过摄像装置采集到的前方车道图像信息并非车道俯瞰图，需要在俯瞰车道视角下确定目标行驶方向，基于此，针对基于前方车道图像信息确定目标行驶方向的过程，可以先对前方车道图像信息进行视角转换，再在转换得到的俯瞰车道图像信息中识别参考边界线；还可以先在前方车道图像信息中识别参考边界线，再对标记有参考边界线的前方车道图像信息进行视角转换；其中，考虑到视角转换后的俯瞰图中图像远端画面比较模糊，使得边缘检测结果准确度降低，因此，优选地，采用先在前方车道图像信息中识别参考边界线，再对标记有参考边界线的前方车道图像信息进行视角转换，再基于视角转换得到的俯瞰图中已标记的参考边界线确定目标行驶方向。具体的，上述S10213，根据标记有该第一参考边界线的前方车道图像信息，确定目标车辆的目标行驶方向，具体包括：
步骤一，对标记有第一参考边界线的前方车道图像信息进行视角转换，得到该前方车道图像信息对应的俯瞰车道图像信息；例如，可以采用透视变换的方式将由车辆摄像装置拍摄得到的包含前方车道图像的原始拍摄图像转换为包含前方车道图像的俯瞰图；
步骤二，将上述俯瞰车道图像信息中已标记的第一参考边界线所指示的方向，确定为目标车辆的目标行驶方向；
其中，由于通过车辆前方摄像装置所采集的前方车道图像信息并非俯瞰图，并且考虑到视角转换后的俯瞰图中图像远端画面比较模糊，使得边缘检测结果准确度降低，因此，需要先在采集到的原始前方车道图像中识别并标记所需的边界线，再对已标记的原始前方车道图像进行视角转换，得到俯瞰视角下的俯瞰车道图像信息，然后，在该俯瞰车道图像信息中，确定在前方车道图像信息中标记的第一参考边界线，该第一参考边界线所指示的方向即为目标车辆的目标行驶方向。
具体的，上述车辆前方摄像装置用于采集车辆正前方的图像信息，且可以将车辆行驶车道的中心线方向作为目标行驶方向，其中，车辆行驶车道的中心线与车道线、车位线或可行驶区域边界线相平行，因此，在不考虑车辆前方障碍物的情况下，通过在拍摄得到的前方车道的原始拍摄图像中识别出车辆行驶车道的左边界线、右边界线、左车道线、右车道线、可行驶区域内的左边界线、右边界线中至少一项，基于原始拍摄图像对应的俯瞰图像中该左边界线、右边界线、左车道线、右车道线、可行驶区域内的左边界线、右边界线中至少一项所指示的方向，即可确定目标车辆的目标行驶方向；具体的，为了提高目标行驶方向的识别准确度，可以基于原始拍摄图像对应的俯瞰图像中该左边界线、右边界线、左车道线、右车道线、可行驶区域内的左边界线、右边界线中多项，确定综合参考边界线，将该综合参考边界线所指示的方向确定为目标行驶方向。
进一步的，针对基于前方车道图像信息确定当前行驶方向的过程，上述S1022，根据获取到的前方车道图像信息，确定目标车辆的当前行驶方向，具体包括：
获取上述前方车道图像信息对应的俯瞰车道图像信息；其中，该俯瞰车道图像信息是对标记有第二参考边界线的前方车道图像信息进行视角转换得到的，该第二参考边界线包括：设置于所述目标车辆的正前方的摄像装置取景范围的水平边界；
将在上述俯瞰车道图像信息中已标记的第二参考边界线的垂直方向，确定为目标车辆的当前行驶方向。
在具体实施时，在对前方车道图像信息进行图像识别处理，得到相应的图像识别处理结果的过程中，同时在前方车道图像信息中同时识别第一参考边界线和第二参考边界线，若确定前方车道图像信息中存在第一参考边界线，则在前方车道图像信息中标记该第一参考边界线和第二参考边界线，然后，对标记后的前方车道图像信息进行视角转换，得到该前方车道图像信息对应的俯瞰车道图像信息；
然后，将得到的俯瞰车道图像信息中已标记的第一参考边界线所指示的方向，确定为目标车辆的目标行驶方向；以及，将在该俯瞰车道图像信息中已标记的第二参考边界线的垂直方向，确定为目标车辆的当前行驶方向，这样能够提高目标行驶方向和当前行驶方向的识别效率和识别准确度。
具体的，由于车辆前方摄像装置可以是正对着本车行驶方向安装，上述车辆前方摄像装置用于采集车辆正前方的图像信息，因此，通过先在拍摄得到的前方车道的原始拍摄图像中识别出该车辆前方摄像装置取景范围的水平边界线，再在标记有该水平边界线的原始拍摄图像对应的俯瞰图像中识别该水平边界线的垂直方向，基于该水平边界线的垂直方向，即可确定目标车辆的当前行驶方向。
进一步的，考虑到可能存在从前方车道图像信息中无法识别出满足预设要求的第一参考边界线的情况，为了确保在该情况下也能够自动完成泊车，在上述图3的基础上，如图4所示，在上述S10212，基于上述图像识别处理结果，判断在上述前方车道图像信息中是否存在第一参考边界线之后，还包括：
若不存在第一参考边界线，则执行S10214，向指定客户端发送目标行驶方向的标定提示信息；
S10215，接收上述指定客户端返回的用户针对上述标定提示信息所输入的行驶方向标定信息；
S10216，根据上述行驶方向标定信息，确定目标车辆的目标行驶方向。
其中，若确定出前方车道图像信息中不存在第一参考边界线，则需要用户参与目标行驶方向的标定，再基于用户所标定的目标行驶方向控制车辆行驶至目标可用车位入口；具体的，若确定出前方车道图像信息中不存在第一参考边界线，则将采集到的前方车道图像信息发送至客户端，以使客户端在显示屏上显示该前方车道图像信息，客户端监听用户在该前方车道图像信息上标记的行驶方向，并将标记有行驶方向的前方车道图像信息发送至车辆控制装置；
上述车辆控制装置对获取到的标记有行驶方向的前方车道图像信息进行视角转换，得到该前方车道图像信息对应的俯瞰车道图像信息；并将在该俯瞰车道图像信息中的用户标定的行驶方向，确定为目标车辆的目标行驶方向。
其中，考虑到在目标车辆向前行驶的过程中，目标车辆的位姿信息不断变化，由于用户标定的行驶方向是在初始的本车坐标系下所标定的，因此，将当前时刻的车辆行驶方向转换到初始的本车坐标系下才能够与用户标定的行驶方向进行比对，进而对目标车辆的行驶方向进行调整，具体的，针对当前行驶方向的确定过程，若确定出前方车道图像信息中不存在第一参考边界线，则在S10216，根据上述行驶方向标定信息，确定目标车辆的目标行驶方向之后，还包括：
在目标车辆的行驶过程中，按照预设时间间隔获取目标车辆的当前的轮速计数据、车辆转向数据和车辆传感器数据；基于获取到的当前的轮速计数据、车辆转向数据和车辆传感器数据，确定当前的本车坐标系与初始的本车坐标系之间的坐标系变换关系；基于该坐标系变换关系和在当前的本车坐标系下目标车辆的当前行驶方向，确定在初始的本车坐标系下目标车辆的当前行驶方向；其中，在当前的本车坐标系下目标车辆的当前行驶方向可以是当前的本车坐标系下x轴方向，经过坐标系转换，得到在初始的本车坐标系下目标车辆的当前行驶方向；对应的，在初始的本车坐标系下的目标行驶方向即为用户标定的行驶方向；
因此，得到的目标行驶方向和当前行驶方向均在初始的本车坐标系下所确定的，这样将在初始的本车坐标系下的目标行驶方向和当前行驶方向进行比对，确定目标车辆的行驶方向偏差信息，再基于该行驶方向偏差信息调整目标车辆的行驶方向。
另外，还可以对在初始的本车坐标系下用户标定的目标行驶方向进行坐标系转换，确定在当前的本车坐标系下的目标行驶方向，具体的，上述S10216，根据上述行驶方向标定信息，确定目标车辆的目标行驶方向，包括：
在目标车辆的行驶过程中，按照预设时间间隔获取目标车辆的当前的轮速计数据、车辆转向数据和车辆传感器数据；基于获取到的当前的轮速计数据、车辆转向数据和车辆传感器数据，确定初始的本车坐标系与当前的本车坐标系之间的坐标系变换关系；基于该坐标系变换关系和在初始的本车坐标系下用户标定的目标行驶方向，确定在当前的本车坐标系下目标车辆的目标行驶方向；其中，在初始的本车坐标系下的目标行驶方向即为用户标定的行驶方向，经过坐标系转换，得到在当前的本车坐标系下目标车辆的目标行驶方向；对应的，在当前的本车坐标系下目标车辆的当前行驶方向可以是当前的本车坐标系下x轴方向；
因此，得到的目标行驶方向和当前行驶方向均在当前的本车坐标系下所确定的，这样将在当前的本车坐标系下的目标行驶方向和当前行驶方向进行比对，确定目标车辆的行驶方向偏差信息，再基于该行驶方向偏差信息调整目标车辆的行驶方向。
其中，上述S104，在目标车辆行驶至目标可用车位入口后，控制目标车辆由该目标可用车位入口自动停放于目标可用车位，具体包括：
基于获取到的前方车道图像信息，判断目标车辆是否行驶至目标可用车位入口；
具体的，基于前方车道图像信息的图像识别结果，不仅识别参考边界线，还不断判断车辆前方两侧距离车辆当前位置最近的区域是否存在可用车位，直到通过连续多帧前方车道图像信息确定目标车辆行驶至目标可用车位入口；
另外，针对确定目标车辆是否行驶至目标可用车位入口的过程，也可以通过超声波雷达监测车位线空车位或两车之间空车位。
若确定目标车辆已行驶至目标可用车位入口，则控制目标车辆由当前识别出的目标可用车位入口自动停放于该目标可用车位。
另外，在基于车辆前方摄像装置采集到的前方车道图像信息进行自动泊车的过程中，可以通过向客户端或车辆钥匙发送相应的报警信息或提示信息，例如，当确定车辆行驶预设长度且未检测到可用车位时，向客户端或车辆钥匙发送未发现车位提示信息。
在一个具体实施例中，上述自动泊车方法，具体包括：
由用户将目标车辆驾驶至指定车道入口并通过客户端或车辆钥匙启动自动泊车；其中，如图5a所示，该指定车道入口为在车辆前方预设长度S的直线路径内包含至少一个可用车位的行驶车道的入口；
目标车辆在自该指定车道入口自动行驶至目标可用车位入口的过程中，按照预设时间间隔通过行车摄像头拍摄得到前方车道图像信息，并将该前方车道图像信息传输至车辆控制装置；如图5b所示，该前方车道图像信息可以是包含前方车道图像的原始拍摄图像，其中，该目标可用车位入口为上述至少一个可用车位中的距目标车辆最近的可用车位的入口。
车辆控制装置对获取到的前方车道图像信息进行图像识别处理，得到相应的图像识别处理结果；具体的，可以通过预先利用深度学***边界线C，并在该原始拍摄图像中标记该行驶车道右边界线A1和取景范围的水平边界线C，其中，该行驶车道右边界线A1和取景范围的水平边界线C是在预设坐标系下得到的。
基于上述图像识别处理结果，判断在上述前方车道图像信息中是否存在第一参考边界线，其中，该第一参考边界线包括：置信度符合预设要求的车道线、连续性符合预设要求的车位线、车辆可行驶区域内符合预设要求的边界线中至少一项；。
若存在第一参考边界线，则对标记有该第一参考边界线和第二参考边界线的前方车道图像信息进行视角转换，得到该前方车道图像信息对应的俯瞰车道图像信息，如图5c所示，该俯瞰车道图像信息可以是包含前方车道图像的俯瞰图；将该俯瞰车道图像信息中已标记的第一参考边界线所指示的方向，确定为目标车辆的目标行驶方向，例如，在上述图5c中，行驶车道右边界线A1即为对包含前方车道图像的原始拍摄图像进行边缘检测得到的，该行驶车道右边界线A1的平行线B1即为目标行驶方向，其中，该行驶车道右边界线A1和平行线B1也是在预设坐标系下得到的；
以及，将在该俯瞰车道图像信息中标记的第二参考边界线的垂直方向，确定为目标车辆的当前行驶方向；例如，在上述图5c中，在包含前方车道图像信息的俯瞰图中标记的取景范围的水平边界线C的垂直方向D即为当前行驶方向，其中，该取景范围的水平边界线C和垂直方向D也是在预设坐标系下得到的。
若不存在第一参考边界线，则将采集到的前方车道图像信息发送至客户端，以使客户端在显示屏上显示该前方车道图像信息，客户端监听用户在该前方车道图像信息上标记的行驶方向，并将标记有行驶方向的前方车道图像信息发送至车辆控制装置，在上述图5b中，用户在前方车道图像信息上标记的目标行驶方向B2，其中，该标记的目标行驶方向B2也是在预设坐标系下得到的；以及，
车辆控制装置对获取到的标记有行驶方向的前方车道图像信息进行视角转换，得到该前方车道图像信息对应的俯瞰车道图像信息；并基于在该俯瞰车道图像信息中的用户标定的行驶方向，确定目标车辆的目标行驶方向。
本申请实施例中的自动泊车方法，在目标车辆位于某一指定车道入口并启动自动泊车后，按照预设时间间隔采集目标车辆的前方车道图像信息，基于该前方车道图像信息，确定目标车辆的当前行驶方向和目标行驶方向，再基于该当前行驶方向与目标行驶方向之间的行驶方向偏差信息，对目标车辆下一时刻的实际行驶方向进行调整，以使目标车辆自指定车道入口自动泊车的过程中，在指定车道上沿目标行驶方向自动行驶至目标可用车位入口，最终，在确定目标车辆行驶至目标可用车位入口后，控制目标车辆由该目标可用车位入口自动停放于目标可用车位，这样能够同时兼顾提升泊车自动化和减少用于控制自动泊车的智能硬件设备的设置，不仅减少了泊车过程中用户参与环节，提升了用户使用体验，还省去了对智能硬件设备的维护成本。
对应上述实施例提供的自动泊车方法，基于相同的技术构思，本申请实施例还提供了一种自动泊车装置，图6为本申请实施例提供的自动泊车装置的第一种模块组成示意图，该自动泊车装置用于执行图1至图5描述的自动泊车方法，如图6所示，该自动泊车装置包括：
车辆前方图像获取模块601，用于在目标车辆自指定车道入口自动行驶至目标可用车位入口的过程中，按照预设时间间隔采集所述目标车辆的前方车道图像信息；其中，所述指定车道入口为包含至少一个可用车位的行驶车道的入口，所述目标可用车位入口为所述至少一个可用车位中的目标可用车位的入口；
行驶方向偏差确定模块602，用于根据所述前方车道图像信息，确定所述目标车辆的当前行驶方向与目标行驶方向之间的行驶方向偏差信息；
车辆行驶方向调整模块603，用于根据所述行驶方向偏差信息，调整所述目标车辆的行驶方向，以使所述目标车辆沿所述目标行驶方向向所述目标可用车位入口行驶；
车辆停入车位控制模块604，用于在所述目标车辆行驶至所述目标可用车位入口后，控制所述目标车辆由所述目标可用车位入口自动停放于所述目标可用车位。
本申请实施例中，在目标车辆位于某一指定车道入口并启动自动泊车后，按照预设时间间隔采集目标车辆的前方车道图像信息，基于该前方车道图像信息，确定目标车辆的当前行驶方向和目标行驶方向，再基于该当前行驶方向与目标行驶方向之间的行驶方向偏差信息，对目标车辆下一时刻的实际行驶方向进行调整，以使目标车辆自指定车道入口自动泊车的过程中，在指定车道上沿目标行驶方向自动行驶至目标可用车位入口，最终，在确定目标车辆行驶至目标可用车位入口后，控制目标车辆由该目标可用车位入口自动停放于目标可用车位，这样能够同时兼顾提升泊车自动化和减少用于控制自动泊车的智能硬件设备的设置，不仅减少了泊车过程中用户参与环节，提升了用户使用体验，还省去了对智能硬件设备的维护成本。
可选地，所述行驶方向偏差确定模块602，用于：
根据所述前方车道图像信息，确定所述目标车辆的目标行驶方向；以及，
根据所述前方车道图像信息，确定所述目标车辆的当前行驶方向；
确定所述当前行驶方向与所述目标行驶方向之间的行驶方向偏差信息。
可选地，所述行驶方向偏差确定模块602，用于：
对所述前方车道图像信息进行图像识别处理，得到相应的图像识别处理结果；
基于所述图像识别处理结果，判断在所述前方车道图像信息中是否存在第一参考边界线，其中，所述第一参考边界线包括：符合预设要求的车道线、符合预设要求的车位线、车辆可行驶区域内的符合预设要求的边界线中至少一项；
若存在第一参考边界线，则根据标记有所述第一参考边界线的所述前方车道图像信息，确定所述目标车辆的目标行驶方向。
可选地，所述行驶方向偏差确定模块602，用于：
对标记有所述第一参考边界线的所述前方车道图像信息进行视角转换，得到所述前方车道图像信息对应的俯瞰车道图像信息；
将所述俯瞰车道图像信息中的所述第一参考边界线所指示的方向，确定为所述目标车辆的目标行驶方向。
可选地，所述行驶方向偏差确定模块602，用于：
获取所述前方车道图像信息对应的俯瞰车道图像信息；其中，所述俯瞰车道图像信息是对标记有第二参考边界线的前方车道图像信息进行视角转换得到的，所述第二参考边界线包括：设置于所述目标车辆的正前方的摄像装置取景范围的水平边界；
将在所述俯瞰车道图像信息中的所述第二参考边界线的垂直方向，确定为所述目标车辆的当前行驶方向。
可选地，所述行驶方向偏差确定模块602，还用于：
若不存在第一参考边界线，则向指定客户端发送目标行驶方向的标定提示信息；
接收所述指定客户端返回的用户针对所述标定提示信息所输入的行驶方向标定信息；
根据所述行驶方向标定信息，确定所述目标车辆的目标行驶方向。
可选地，所述车辆停入车位控制模块604：
基于所述前方车道图像信息，判断所述目标车辆是否行驶至所述目标可用车位入口；
若是，则控制所述目标车辆由所述目标可用车位入口自动停放于所述目标可用车位。
本申请实施例中的自动泊车装置，在目标车辆位于某一指定车道入口并启动自动泊车后，按照预设时间间隔采集目标车辆的前方车道图像信息，基于该前方车道图像信息，确定目标车辆的当前行驶方向和目标行驶方向，再基于该当前行驶方向与目标行驶方向之间的行驶方向偏差信息，对目标车辆下一时刻的实际行驶方向进行调整，以使目标车辆自指定车道入口自动泊车的过程中，在指定车道上沿目标行驶方向自动行驶至目标可用车位入口，最终，在确定目标车辆行驶至目标可用车位入口后，控制目标车辆由该目标可用车位入口自动停放于目标可用车位，这样能够同时兼顾提升泊车自动化和减少用于控制自动泊车的智能硬件设备的设置，不仅减少了泊车过程中用户参与环节，提升了用户使用体验，还省去了对智能硬件设备的维护成本。
本申请实施例提供的自动泊车装置能够实现上述自动泊车方法对应的实施例中的各个过程，为避免重复，这里不再赘述。
需要说明的是，本申请实施例提供的自动泊车装置与本申请实施例提供的自动泊车方法基于同一发明构思，因此该实施例的具体实施可以参见前述自动泊车方法的实施，重复之处不再赘述。
基于同样的思路，本申请实施例还提供一种自动泊车设备，如图7所示。自动泊车设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器701和存储器702，存储器702中可以存储有一个或一个以上存储应用程序或数据。其中，存储器702可以是短暂存储或持久存储。存储在存储器702的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对自动泊车设备中的一系列计算机可执行指令。更进一步地，处理器701可以设置为与存储器702通信，在自动泊车设备上执行存储器702中的一系列计算机可执行指令。自动泊车设备还可以包括一个或一个以上电源703，一个或一个以上有线或无线网络接口704，一个或一个以上输入输出接口705，一个或一个以上键盘706。
具体在本实施例中，自动泊车设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对自动泊车设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：
在目标车辆自指定车道入口自动行驶至目标可用车位入口的过程中，按照预设时间间隔采集所述目标车辆的前方车道图像信息；其中，所述指定车道入口为包含至少一个可用车位的行驶车道的入口，所述目标可用车位入口为所述至少一个可用车位中的目标可用车位的入口；
根据所述前方车道图像信息，确定所述目标车辆的当前行驶方向与目标行驶方向之间的行驶方向偏差信息；
根据所述行驶方向偏差信息，调整所述目标车辆的行驶方向，以使所述目标车辆沿所述目标行驶方向向所述目标可用车位入口行驶；
在所述目标车辆行驶至所述目标可用车位入口后，控制所述目标车辆由所述目标可用车位入口自动停放于所述目标可用车位。
可选地，计算机可执行指令在被执行时，所述根据所述前方车道图像信息，确定所述目标车辆的当前行驶方向与目标行驶方向之间的行驶方向偏差信息，包括：
根据所述前方车道图像信息，确定所述目标车辆的目标行驶方向；以及，
根据所述前方车道图像信息，确定所述目标车辆的当前行驶方向；
确定所述当前行驶方向与所述目标行驶方向之间的行驶方向偏差信息。
可选地，计算机可执行指令在被执行时，所述根据所述前方车道图像信息，确定所述目标车辆的目标行驶方向，包括：
对所述前方车道图像信息进行图像识别处理，得到相应的图像识别处理结果；
基于所述图像识别处理结果，判断在所述前方车道图像信息中是否存在第一参考边界线，其中，所述第一参考边界线包括：符合预设要求的车道线、符合预设要求的车位线、车辆可行驶区域内的符合预设要求的边界线中至少一项；
若存在第一参考边界线，则根据标记有所述第一参考边界线的所述前方车道图像信息，确定所述目标车辆的目标行驶方向。
可选地，计算机可执行指令在被执行时，所述根据标记有所述第一参考边界线的所述前方车道图像信息，确定所述目标车辆的目标行驶方向，包括：
对标记有所述第一参考边界线的所述前方车道图像信息进行视角转换，得到所述前方车道图像信息对应的俯瞰车道图像信息；
将所述俯瞰车道图像信息中的所述第一参考边界线所指示的方向，确定为所述目标车辆的目标行驶方向。
可选地，计算机可执行指令在被执行时，所述根据所述前方车道图像信息，确定所述目标车辆的当前行驶方向，包括：
获取所述前方车道图像信息对应的俯瞰车道图像信息；其中，所述俯瞰车道图像信息是对标记有第二参考边界线的前方车道图像信息进行视角转换得到的，所述第二参考边界线包括：设置于所述目标车辆的正前方的摄像装置取景范围的水平边界；
将在所述俯瞰车道图像信息中的所述第二参考边界线的垂直方向，确定为所述目标车辆的当前行驶方向。
可选地，计算机可执行指令在被执行时，在基于所述图像识别处理结果，判断在所述前方车道图像信息中是否存在第一参考边界线之后，还包括：
若不存在第一参考边界线，则向指定客户端发送目标行驶方向的标定提示信息；
接收所述指定客户端返回的用户针对所述标定提示信息所输入的行驶方向标定信息；
根据所述行驶方向标定信息，确定所述目标车辆的目标行驶方向。
可选地，计算机可执行指令在被执行时，所述在所述目标车辆行驶至所述目标可用车位入口后，控制所述目标车辆由所述目标可用车位入口自动停放于所述目标可用车位，包括：
基于所述前方车道图像信息，判断所述目标车辆是否行驶至所述目标可用车位入口；
若是，则控制所述目标车辆由所述目标可用车位入口自动停放于所述目标可用车位。
本说明书一个或多个实施例中的自动泊车设备，在目标车辆位于某一指定车道入口并启动自动泊车后，按照预设时间间隔采集目标车辆的前方车道图像信息，基于该前方车道图像信息，确定目标车辆的当前行驶方向和目标行驶方向，再基于该当前行驶方向与目标行驶方向之间的行驶方向偏差信息，对目标车辆下一时刻的实际行驶方向进行调整，以使目标车辆自指定车道入口自动泊车的过程中，在指定车道上沿目标行驶方向自动行驶至目标可用车位入口，最终，在确定目标车辆行驶至目标可用车位入口后，控制目标车辆由该目标可用车位入口自动停放于目标可用车位，这样能够同时兼顾提升泊车自动化和减少用于控制自动泊车的智能硬件设备的设置，不仅减少了泊车过程中用户参与环节，提升了用户使用体验，还省去了对智能硬件设备的维护成本。
需要说明的是，本说明书中关于自动泊车设备的实施例与本说明书中关于自动泊车方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应的自动泊车方法的实施，重复之处不再赘述。
进一步地，对应上述实施例提供的自动泊车方法，本申请实施例还提供一种可读存储介质，该可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现如上述自动泊车方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
可以理解的是，本申请实施例描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(Application Specific Integrated Circuits，ASIC)、数字信号处理器(Digital SignalProcessing，DSP)、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(ProgrammableLogic Device，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本申请实施例所述功能的模块(例如过程、函数等)来实现本申请实施例所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种自动泊车方法，其特征在于，所述方法包括：
在目标车辆自指定车道入口自动行驶至目标可用车位入口的过程中，按照预设时间间隔采集所述目标车辆的前方车道图像信息；其中，所述指定车道入口为包含至少一个可用车位的行驶车道的入口，所述目标可用车位入口为所述至少一个可用车位中的目标可用车位的入口；
根据所述前方车道图像信息，确定所述目标车辆的当前行驶方向与目标行驶方向之间的行驶方向偏差信息；
根据所述行驶方向偏差信息，调整所述目标车辆的行驶方向，以使所述目标车辆沿所述目标行驶方向向所述目标可用车位入口行驶；
在所述目标车辆行驶至所述目标可用车位入口后，控制所述目标车辆由所述目标可用车位入口自动停放于所述目标可用车位。
2.根据权利要求1所述的方法，其特征在于，所述根据所述前方车道图像信息，确定所述目标车辆的当前行驶方向与目标行驶方向之间的行驶方向偏差信息，包括：
根据所述前方车道图像信息，确定所述目标车辆的目标行驶方向；以及，
根据所述前方车道图像信息，确定所述目标车辆的当前行驶方向；
确定所述当前行驶方向与所述目标行驶方向之间的行驶方向偏差信息。
3.根据权利要求2所述的方法，其特征在于，所述根据所述前方车道图像信息，确定所述目标车辆的目标行驶方向，包括：
对所述前方车道图像信息进行图像识别处理，得到相应的图像识别处理结果；
基于所述图像识别处理结果，判断在所述前方车道图像信息中是否存在第一参考边界线，其中，所述第一参考边界线包括：符合预设要求的车道线、符合预设要求的车位线、车辆可行驶区域内的符合预设要求的边界线中至少一项；
若存在第一参考边界线，则根据标记有所述第一参考边界线的所述前方车道图像信息，确定所述目标车辆的目标行驶方向。
4.根据权利要求3所述的方法，其特征在于，所述根据标记有所述第一参考边界线的所述前方车道图像信息，确定所述目标车辆的目标行驶方向，包括：
对标记有所述第一参考边界线的所述前方车道图像信息进行视角转换，得到所述前方车道图像信息对应的俯瞰车道图像信息；
将所述俯瞰车道图像信息中的所述第一参考边界线所指示的方向，确定为所述目标车辆的目标行驶方向。
5.根据权利要求4所述的方法，其特征在于，所述根据所述前方车道图像信息，确定所述目标车辆的当前行驶方向，包括：
获取所述前方车道图像信息对应的俯瞰车道图像信息；其中，所述俯瞰车道图像信息是对标记有第二参考边界线的前方车道图像信息进行视角转换得到的，所述第二参考边界线包括：设置于所述目标车辆的正前方的摄像装置取景范围的水平边界；
将在所述俯瞰车道图像信息中的所述第二参考边界线的垂直方向，确定为所述目标车辆的当前行驶方向。
6.根据权利要求3所述的方法，其特征在于，在基于所述图像识别处理结果，判断在所述前方车道图像信息中是否存在第一参考边界线之后，还包括：
若不存在所述第一参考边界线，则向指定客户端发送目标行驶方向的标定提示信息；
接收所述指定客户端返回的用户针对所述标定提示信息所输入的行驶方向标定信息；
根据所述行驶方向标定信息，确定所述目标车辆的目标行驶方向。
7.根据权利要求1所述的方法，其特征在于，所述在所述目标车辆行驶至所述目标可用车位入口后，控制所述目标车辆由所述目标可用车位入口自动停放于所述目标可用车位，包括：
基于所述前方车道图像信息，判断所述目标车辆是否行驶至所述目标可用车位入口；
若是，则控制所述目标车辆由所述目标可用车位入口自动停放于所述目标可用车位。
8.一种自动泊车装置，其特征在于，所述装置包括：
车辆前方图像获取模块，用于在目标车辆自指定车道入口自动行驶至目标可用车位入口的过程中，按照预设时间间隔采集所述目标车辆的前方车道图像信息；其中，所述指定车道入口为包含至少一个可用车位的行驶车道的入口，所述目标可用车位入口为所述至少一个可用车位中的目标可用车位的入口；
行驶方向偏差确定模块，用于根据所述前方车道图像信息，确定所述目标车辆的当前行驶方向与目标行驶方向之间的行驶方向偏差信息；
车辆行驶方向调整模块，用于根据所述行驶方向偏差信息，调整所述目标车辆的行驶方向，以使所述目标车辆沿所述目标行驶方向向所述目标可用车位入口行驶；
车辆停入车位控制模块，用于在所述目标车辆行驶至所述目标可用车位入口后，控制所述目标车辆由所述目标可用车位入口自动停放于所述目标可用车位。
9.一种自动泊车设备，其特征在于，包括：
处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至7中任一项所述的自动泊车方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至7中任一项所述的自动泊车方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011237604.XA CN112319464B (zh) | 2020-11-09 | 2020-11-09 | 自动泊车方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011237604.XA CN112319464B (zh) | 2020-11-09 | 2020-11-09 | 自动泊车方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112319464A true CN112319464A (zh) | 2021-02-05 |
| CN112319464B CN112319464B (zh) | 2021-10-15 |
Family
ID=74316619
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011237604.XA Active CN112319464B (zh) | 2020-11-09 | 2020-11-09 | 自动泊车方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112319464B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113077652A (zh) * | 2021-03-19 | 2021-07-06 | 上海欧菲智能车联科技有限公司 | 车位自动搜索方法、装置、电子装置及存储介质 |
| CN113460039A (zh) * | 2021-07-22 | 2021-10-01 | 上汽通用五菱汽车股份有限公司 | 泊车控制方法、车辆及存储介质 |
| CN113674199A (zh) * | 2021-07-06 | 2021-11-19 | 浙江大华技术股份有限公司 | 停车位检测方法、电子设备及存储介质 |
| CN115909795A (zh) * | 2023-03-09 | 2023-04-04 | 斯润天朗（北京）科技有限公司 | 基于车场协同的自主泊车***及方法 |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014222429A (ja) * | 2013-05-14 | 2014-11-27 | 株式会社リコー | 画像処理装置、距離測定装置、移動体機器制御システム、移動体及び画像処理用プログラム |
| US20160114795A1 (en) * | 2014-10-28 | 2016-04-28 | Toyota Jidosha Kabushiki Kaisha | Parking assist system and parking assist method |
| CN105946853A (zh) * | 2016-04-28 | 2016-09-21 | 中山大学 | 基于多传感器融合的长距离自动泊车的***及方法 |
| US20160375897A1 (en) * | 2015-06-23 | 2016-12-29 | Mitsubishi Electric Corporation | Automatic parking control device |
| US20170088130A1 (en) * | 2014-06-10 | 2017-03-30 | Denso Corporation | Driving assistance apparatus |
| KR20170041521A (ko) * | 2015-10-07 | 2017-04-17 | 주식회사 성우모바일 | 차량 외부정보를 활용한 주차보조시스템 및 그 제어방법 |
| DE102017129075A1 (de) * | 2016-12-09 | 2018-06-14 | Ford Global Technologies, Llc | Parkplatznavigationssystem und -verfahren |
| US20180237008A1 (en) * | 2017-02-21 | 2018-08-23 | Toyota Jidosha Kabushiki Kaisha | Control device for vehicle |
| US20190086917A1 (en) * | 2016-03-15 | 2019-03-21 | Honda Motor Co., Ltd. | Vehicle control system, vehicle control method, and vehicle control program |
| EP3511220A1 (en) * | 2016-09-06 | 2019-07-17 | Nissan Motor Co., Ltd. | Dispatch support method and device |
| CN110414355A (zh) * | 2019-06-27 | 2019-11-05 | 沈阳工业大学 | 基于视觉的右方位空停车位与泊车过程中车位线检测方法 |
| US20190351902A1 (en) * | 2016-11-16 | 2019-11-21 | Mitsubishi Electric Corporation | Lane division line recognition apparatus, lane division line recognition method, driving assist apparatus including lane division line recognition apparatus, and driving assist method including lane division line recognition method |
| CN110696818A (zh) * | 2019-10-12 | 2020-01-17 | 深圳市布谷鸟科技有限公司 | 一种基于最优路径的自动泊车方法及*** |
| JP2020056733A (ja) * | 2018-10-03 | 2020-04-09 | アイシン精機株式会社 | 車両制御装置 |
| CN111038493A (zh) * | 2019-12-12 | 2020-04-21 | 恒大新能源汽车科技(广东)有限公司 | 自动泊车方法、***、车辆和存储介质 |
| CN111683861A (zh) * | 2018-02-23 | 2020-09-18 | 宝马汽车股份有限公司 | 具有对存在泊入情况或泊出情况的自主判断的可遥控泊车辅助***以及相应的泊车方法 |
| DE102020105639A1 (de) * | 2019-03-19 | 2020-09-24 | Hyundai Mobis Co., Ltd. | Vorrichtung und Verfahren zum Schätzen einer Position in einem automatisierten Parkdienstsystem |
| CN111754809A (zh) * | 2020-06-22 | 2020-10-09 | 重庆长安汽车股份有限公司 | 手机app遥控泊车动态显示方法、***、车辆及存储介质 |
-
2020
- 2020-11-09 CN CN202011237604.XA patent/CN112319464B/zh active Active
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014222429A (ja) * | 2013-05-14 | 2014-11-27 | 株式会社リコー | 画像処理装置、距離測定装置、移動体機器制御システム、移動体及び画像処理用プログラム |
| US20170088130A1 (en) * | 2014-06-10 | 2017-03-30 | Denso Corporation | Driving assistance apparatus |
| US20160114795A1 (en) * | 2014-10-28 | 2016-04-28 | Toyota Jidosha Kabushiki Kaisha | Parking assist system and parking assist method |
| US20160375897A1 (en) * | 2015-06-23 | 2016-12-29 | Mitsubishi Electric Corporation | Automatic parking control device |
| KR20170041521A (ko) * | 2015-10-07 | 2017-04-17 | 주식회사 성우모바일 | 차량 외부정보를 활용한 주차보조시스템 및 그 제어방법 |
| US20190086917A1 (en) * | 2016-03-15 | 2019-03-21 | Honda Motor Co., Ltd. | Vehicle control system, vehicle control method, and vehicle control program |
| CN105946853A (zh) * | 2016-04-28 | 2016-09-21 | 中山大学 | 基于多传感器融合的长距离自动泊车的***及方法 |
| EP3511220A1 (en) * | 2016-09-06 | 2019-07-17 | Nissan Motor Co., Ltd. | Dispatch support method and device |
| US20190351902A1 (en) * | 2016-11-16 | 2019-11-21 | Mitsubishi Electric Corporation | Lane division line recognition apparatus, lane division line recognition method, driving assist apparatus including lane division line recognition apparatus, and driving assist method including lane division line recognition method |
| DE102017129075A1 (de) * | 2016-12-09 | 2018-06-14 | Ford Global Technologies, Llc | Parkplatznavigationssystem und -verfahren |
| US20180237008A1 (en) * | 2017-02-21 | 2018-08-23 | Toyota Jidosha Kabushiki Kaisha | Control device for vehicle |
| CN111683861A (zh) * | 2018-02-23 | 2020-09-18 | 宝马汽车股份有限公司 | 具有对存在泊入情况或泊出情况的自主判断的可遥控泊车辅助***以及相应的泊车方法 |
| JP2020056733A (ja) * | 2018-10-03 | 2020-04-09 | アイシン精機株式会社 | 車両制御装置 |
| CN110979310A (zh) * | 2018-10-03 | 2020-04-10 | 爱信精机株式会社 | 车辆控制装置 |
| DE102020105639A1 (de) * | 2019-03-19 | 2020-09-24 | Hyundai Mobis Co., Ltd. | Vorrichtung und Verfahren zum Schätzen einer Position in einem automatisierten Parkdienstsystem |
| CN110414355A (zh) * | 2019-06-27 | 2019-11-05 | 沈阳工业大学 | 基于视觉的右方位空停车位与泊车过程中车位线检测方法 |
| CN110696818A (zh) * | 2019-10-12 | 2020-01-17 | 深圳市布谷鸟科技有限公司 | 一种基于最优路径的自动泊车方法及*** |
| CN111038493A (zh) * | 2019-12-12 | 2020-04-21 | 恒大新能源汽车科技(广东)有限公司 | 自动泊车方法、***、车辆和存储介质 |
| CN111754809A (zh) * | 2020-06-22 | 2020-10-09 | 重庆长安汽车股份有限公司 | 手机app遥控泊车动态显示方法、***、车辆及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| ***等: "一种基于环视相机的自动泊车方法", 《上海交通大学学报》 * |
| 马少华等: "基于视觉感知***和模糊逻辑控制器的车辆辅助泊车设计", 《沈阳建筑大学学报(自然科学版)》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113077652A (zh) * | 2021-03-19 | 2021-07-06 | 上海欧菲智能车联科技有限公司 | 车位自动搜索方法、装置、电子装置及存储介质 |
| CN113674199A (zh) * | 2021-07-06 | 2021-11-19 | 浙江大华技术股份有限公司 | 停车位检测方法、电子设备及存储介质 |
| CN113460039A (zh) * | 2021-07-22 | 2021-10-01 | 上汽通用五菱汽车股份有限公司 | 泊车控制方法、车辆及存储介质 |
| CN113460039B (zh) * | 2021-07-22 | 2022-04-12 | 上汽通用五菱汽车股份有限公司 | 泊车控制方法、车辆及存储介质 |
| CN115909795A (zh) * | 2023-03-09 | 2023-04-04 | 斯润天朗（北京）科技有限公司 | 基于车场协同的自主泊车***及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112319464B (zh) | 2021-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112319464B (zh) | 自动泊车方法、装置、设备及存储介质 | |
| US11136022B2 (en) | Road marker detection method | |
| CN110103953B (zh) | 用于辅助车辆的驾驶控制的方法、设备、介质和*** | |
| CN109754639B (zh) | 泊车入库方法及装置 | |
| CN110009718B (zh) | 一种三维高精度地图生成方法及装置 | |
| US10795357B2 (en) | Method and device for controlling vehicle and autonomous driving vehicle | |
| CN110737266B (zh) | 一种自动驾驶控制方法、装置、车辆和存储介质 | |
| CN111469836A (zh) | 基于车载单元和路侧单元的避障方法、设备、存储介质 | |
| US10885358B2 (en) | Method for detecting traffic signs | |
| CN112419776B (zh) | 自主泊车方法、装置、汽车及计算设备 | |
| CN112509354B (zh) | 一种车位检测方法、装置、车辆、可读介质 | |
| CN111907521B (zh) | 一种自动驾驶车辆的横向控制方法、装置及存储介质 | |
| US10565875B2 (en) | Apparatus and method for parking assist | |
| CN113324554B (zh) | 自动驾驶路线规划方法、装置、可读存储介质及电子设备 | |
| CN113129625A (zh) | 车辆控制方法、装置、电子设备和车辆 | |
| CN110562251A (zh) | 一种自动驾驶方法及装置 | |
| CN112528807B (zh) | 行驶轨迹的预测方法、装置、电子设备及存储介质 | |
| CN113096433A (zh) | 一种基于车路协同的自主泊车方法、装置及存储介质 | |
| US20220253634A1 (en) | Event-based vehicle pose estimation using monochromatic imaging | |
| CN114684111A (zh) | 一种车头先入的泊车方法、装置和*** | |
| CN113799770A (zh) | 一种基于自动驾驶的数据处理方法和装置 | |
| CN113963061A (zh) | 路沿分布信息获取方法、装置、电子设备和存储介质 | |
| CN109484402B (zh) | 用于运行车辆的方法 | |
| CN114379544A (zh) | 一种基于多传感器前融合的自动泊车***、方法及装置 | |
| CN109085824B (zh) | 园区路径规划方法、装置及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |