CN111127902B - 基于图像识别的停车场车辆定位***及方法 - Google Patents

基于图像识别的停车场车辆定位***及方法 Download PDF

Info

Publication number
CN111127902B
CN111127902B CN201811276558.7A CN201811276558A CN111127902B CN 111127902 B CN111127902 B CN 111127902B CN 201811276558 A CN201811276558 A CN 201811276558A CN 111127902 B CN111127902 B CN 111127902B
Authority
CN
China
Prior art keywords
image
parking space
character
vehicle
parking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811276558.7A
Other languages
English (en)
Other versions
CN111127902A (zh
Inventor
张彬
王行行
于清
黄琎
丁晓燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Kia Corp
Original Assignee
Hyundai Motor Co
Kia Motors Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co, Kia Motors Corp filed Critical Hyundai Motor Co
Priority to CN201811276558.7A priority Critical patent/CN111127902B/zh
Priority to KR1020190075518A priority patent/KR20200049478A/ko
Publication of CN111127902A publication Critical patent/CN111127902A/zh
Application granted granted Critical
Publication of CN111127902B publication Critical patent/CN111127902B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/14Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63Scene text, e.g. street names
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/14Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/141Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
    • G08G1/144Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces on portable or mobile units, e.g. personal digital assistant [PDA]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种基于图像识别的停车场车辆定位***及方法,该***包括:采集装置,其设置在车辆上以采集车辆前方和/或后方的影像或者图像;控制器,其设置在车辆上,所述控制器与所述采集装置相连以从所述采集装置所采集的影像或图像中提取停车位信息,所述控制器包括影像处理模块、图像处理模块、图像识别模块、车辆状态检测处理模块、停车位字符判定模块、无线通信模块和内存模块;以及移动终端,其包括接收模块以从所述控制器接收停车位信息。本发明不依赖于其他基础设施,通过车辆自身就能够对停车位信息自动进行定位识别,并自动将识别出的停车位信息发送到移动终端,而无需用户额外耗费精力和时间来主动记录停车位信息。

Description

基于图像识别的停车场车辆定位***及方法
技术领域
本发明涉及一种基于图像识别的停车场车辆定位***及方法,该***不依赖于其他基础设施,通过车辆自身就能够对停车位信息自动进行定位识别,并自动将识别出的停车位信息发送到移动终端,而无需用户额外耗费精力和时间来主动记录停车位信息。
背景技术
随着汽车行业的快速发展,城市机动车数量猛增,对停车位的需求也在不断增加。当前在大型公共场所和住宅区一般会配套有大型的停车场。但是,大型停车场比较占地面积较大且可能会存在多层的情况,空间结构较为复杂,车辆停入停车场后,如果驾驶员对停车场内的地形不熟悉,就很难准确快速地找到车辆的停放位置。通常用户需要通过手机拍照、人脑记忆等方式来主动记录停车位信息,这会给用户带来额外的负担。
目前出现了一些在停车场定位车辆的技术,大多数这样的技术都需要停车场内配备有相关的基础设施或***。例如,利用停车场的视频监控***确定具体的停车位置,并上传照片到服务器,用户基于智能手机的app或者停车场***查询车辆位置,从而实现位置定位。这样的技术需要依赖于停车场基础设施(例如需要铺设大量摄像头及处理用服务器和相关网络),但很多停车场并未安装相关的设备或***。另外,在上述***中信息的传输需要依靠移动网络、无线网络或GPS信号,即使停车场配备有上述***,但是由于很多停车场是地下停车场,电磁信号衰减严重,移动网络/GPS信号较弱,经常导致车辆定位***无法正常工作。
发明内容
本发明提供了一种基于图像识别的停车场车辆定位***及方法,该***及方法不依赖于其他基础设施,通过车辆自身就能够对停车位信息自动进行定位识别,并自动将识别出的停车位信息发送到移动终端,用户无需额外耗费精力和时间来主动记录停车位信息,通过自动发送到移动终端的停车位信息就可以找到车辆位置,从而为用户带来了更大的便利。
在一方面,本发明提供了一种基于图像识别的停车场车辆定位***,其包括:采集装置,其设置在车辆上以采集车辆前方和/或后方的影像或者图像;控制器,其设置在车辆上,所述控制器与所述采集装置相连以从所述采集装置所采集的影像或图像中提取停车位信息,所述控制器包括影像处理模块、图像处理模块、图像识别模块、车辆状态检测处理模块、停车位字符判定模块、无线通信模块和内存模块;以及移动终端,其包括接收模块以从所述控制器接收停车位信息。
在一个优选实施方案中,所述采集装置配置为采集车辆前方或者后方的影像,所述影像处理模块配置为从所述影像中获取图像,所述图像处理模块配置为对所述图像进行图像处理以提取存在停车位字符的有效图像。
在另一个优选实施方案中,所述采集装置配置为采集车辆前方或者后方的图像,所述图像处理模块配置为对所述图像进行图像处理以提取存在停车位字符的有效图像。
在另一个优选实施方案中,所述图像识别模块配置为对所述有效图像进行有效的停车位字符识别。
在另一个优选实施方案中,所述车辆状态检测处理模块配置为从车辆接收车辆状态信号,从而为有效图像的提取和有效的停车位字符识别提供辅助参数信息。
在另一个优选实施方案中,所述车辆状态检测处理模块通过所接收的车辆状态信号来检测车辆是否在进行停车入位操作。
在另一个优选实施方案中,所述车辆状态信号包括车辆行驶速度、方向盘转角、车身偏角、挡位信息、车辆刹车信息和驻车信息。
在另一个优选实施方案中,进一步包括自动泊车***,所述自动泊车***与所述控制器相连,所述车辆状态检测处理模块配置为直接使用自动泊车***中处理好的参数来检测车辆是否在进行停车入位操作。
在另一个优选实施方案中,对所述图像进行图像处理包括:
a.检测图像中是否存在停车位线,并利用停车位线与字符的位置关系判断是否存在停车位字符,若存在停车位字符则判定当前图像为有效图像;
b.推算有效图像中车身相对于车位的角度;
c.利用推算的车身相对于车位的角度,对有效图像进行旋转校正以更准确地获取停车位字符信息。
在另一个优选实施方案中,有效图像中车身相对于车位的角度通过以下方式推算:检测有效图像中的停车位线相对于水平线的倾斜角度;或者利用整个停车过程车辆状态信号累计计算,并估算有效图像中的车辆角度;或者通过自动泊车***获取车辆转角。
在另一个优选实施方案中,对所述有效图像进行有效的停车位字符识别包括:
字符定位:利用停车位线先验条件对字符块粗定位,对粗定位的字符块进行膨胀处理,并计算连通域,根据连通域的大小和位置确定精确的字符区域,利用区域坐标从原始有效图像中提取精确的字符块;
字符分割:对精确的字符块进行二值化,并计算连通域,根据连通域的坐标信息对字符进行分割,分割出单个块区域,通过单个块区域的大小筛选出单个字符块,并基于单个字符块的坐标信息确定该字符块是数字还是字母,并统计从有效图像中提取的精确字符个数;
字符特征提取:提取有效图像中单个字符及模板库中各个字符的时域和频域特征;
字符特征比对:计算单个字符和模板库中各个字符的特征相似性来得到识别结果;
优化识别结果:若识别结果与先验车位信息相同,则直接输出存入识别结果库;若识别结果与先验车位信息存在差异,优化该识别结果,根据单个停车位字符在图像中的相对位置确定缺失位信息,由特殊符号代替,优化后的识别结果同样存入识别结果库;最后再根据识别结果库中的多个识别结果的相似性的比对来得到有效的停车位字符。
在另一个优选实施方案中,所述停车位字符判定模块配置为根据停车过程对多个有效的停车位字符进行判定以得到最终停车位字符。
在另一个优选实施方案中,可以通过以下方式对多个有效的停车位字符进行判定以得到最终停车位字符:根据时间倒推方法,将距离最后停车入位完成时间最短的识别结果作为最终停车位字符;或者根据字符块在图像中的位置并结合车辆状态信息,来判定最终停车位字符;或者如果车辆设置有自动泊车***,将落入停车轨迹线附近的识别结果作为最终停车位字符。
在另一个优选实施方案中,所述无线通信模块为BLE模块,所述控制器通过所述BLE模块向所述移动终端发送停车位信息,所述停车位信息为停车位字符。
在另一个优选实施方案中,所述控制器为车辆的车载电脑或多媒体控制器。
在另一个优选实施方案中,所述移动终端为智能手机。
在另一方面,本发明还提供了一种基于图像识别的停车场车辆定位方法,该方法基于上述的基于图像识别的停车场车辆定位***来实现,所述方法包括以下步骤:
1)拍摄车辆前方和/或后方的影像或者图像;
2)判断车辆是否具有停车入位意向;
3)根据步骤2)的判断,如果车辆具有停车入位意向,影像处理模块接收步骤1)中的影像以从所述影像中获取图像,并且通过图像处理模块对所获取的图像进行图像处理以提取存在停车位字符的有效图像;或者
根据步骤2)的判断,如果车辆具有停车入位意向,图像处理模块接收步骤1)中的图像并进行图像处理以提取存在停车位字符的有效图像;
4)通过图像识别模块对步骤3)所提取的有效图像进行有效的停车位字符识别;
5)车位字符判定模块配置为根据停车过程对多个有效的停车位字符进行判定以得到最终停车位字符;
6)确定车辆是否为停车入位操作;
7)如果确定车辆所进行的是停车入位操作,通过无线通信模块向移动终端发送最终停车位字符,以方便用户根据停车位字符找到车辆位置。
在一个优选实施方案中,车辆状态检测处理模块通过从车辆接收车辆状态信号,从而为有效图像的提取和有效的停车位字符识别提供辅助参数信息。
在另一个优选实施方案中,所述车辆状态检测处理模块通过所接收的车辆状态信号来检测车辆是否在进行停车入位操作。
在另一个优选实施方案中,所述车辆状态信号包括车辆行驶速度、方向盘转角、车身偏角、挡位信息、车辆刹车信息和驻车信息。
在另一个优选实施方案中,如果车辆设置有自动泊车***,所述车辆状态检测处理模块直接使用自动泊车***中处理好的参数来检测车辆是否在进行停车入位操作。
在另一个优选实施方案中,所述步骤3)中的对图像进行图像处理包括:
a.检测图像中是否存在停车位线,并利用停车位线与字符的位置关系判断是否存在停车位字符,若存在停车位字符则判定当前图像为有效图像;
b.推算有效图像中车身相对于车位的角度;
c.利用推算的车身相对于车位的角度,对有效图像进行旋转校正以更准确地获取停车位字符信息。
在另一个实施方案中,有效图像中车身相对于车位的角度通过以下方式推算:检测有效图像中的停车位线相对于水平线的倾斜角度;或者利用整个停车过程车辆状态信号累计计算,并估算有效图像中的车辆角度;或者通过自动泊车***获取车辆转角。
在另一个实施方案中,所述步骤4)中对有效图像进行有效的停车位字符识别包括:
字符定位:利用停车位线先验条件对字符块粗定位,对粗定位的字符块进行膨胀处理,并计算连通域,根据连通域的大小和位置确定精确的字符区域,利用区域坐标从原始有效图像中提取精确的字符块;
字符分割:对精确的字符块进行二值化,并计算连通域,根据连通域的坐标信息对字符进行分割,分割出单个块区域,通过单个块区域的大小筛选出单个字符块,并基于单个字符块的坐标信息确定该字符块是数字还是字母,并统计从有效图像中提取的精确字符个数;
字符特征提取:提取有效图像中单个字符及模板库中各个字符的时域和频域特征;
字符特征比对:计算单个字符和模板库中各个字符的特征相似性来得到识别结果;
优化识别结果:若识别结果与先验车位信息相同,则直接输出存入识别结果库;若识别结果与先验车位信息存在差异,优化该识别结果,根据单个停车位字符在图像中的相对位置确定缺失位信息,由特殊符号代替,优化后的识别结果同样存入识别结果库;最后再根据识别结果库中的多个识别结果的相似性的比对来得到有效的停车位字符。
在另一个实施方案中,在所述步骤5)中通过以下方式判定最终停车位字符:根据时间倒推方法,距离最后停车入位完成时间最短的识别结果作为最终停车位字符;或者根据字符块在图像中的位置并结合车辆状态信息,来判定最终停车位字符;或者如果车辆设置有自动泊车***,将落入停车轨迹线附近的识别结果作为最终停车位字符。
本发明可以通过结合上述实施方案和将在下面描述的构造以及作用关系来获得以下效果。
本发明不依赖其他基础设施,甚至无需增加硬件设备,仅利用车辆自身硬件,基于图像处理技术,对停车位信息自动进行定位识别,并自动将识别出的停车位信息发送到移动终端。
用户进入停车场,进行倒车入位时便开始执行***。由于其只需要驾驶者进行倒车入位,而无需关心其他操作,无需用户额外耗费精力和时间来主动记录停车位信息,通过自动发送到移动终端的停车位信息就可以找到车辆位置,减轻了用户的负担,同时提供了快捷的停车位记录方法。
该***可以使用BLE作为与用户通信的手段,在车内就可以完成通信,高效及时,不依赖于移动网络、无线网络或者GPS信号,因此***的正常工作不会受到周围环境的影响。
附图说明
现在将参考在附图中示出的示例性实施方案来详细描述本发明。
图1为根据本发明的一个示例性实施方案的基于图像识别的停车场车辆定位***的结构框图;
图2为根据本发明的另一个示例性实施方案的基于图像识别的停车场车辆定位***的结构框图;
图3为根据本发明的示例性实施方案的基于图像识别的停车场车辆定位方法的逻辑框图;
图4为根据本发明的示例性实施方案的图像处理及停车位字符识别的流程图;
图5为根据本发明的示例性实施方案利用推算的车身相对于车位的角度来对有效图像进行旋转校正的示意图,其中车身相对于车位的角度是通过检测有效图像中的停车位线相对于水平线的倾斜角度来推算的。
附图标记说明:
1-采集装置;2-控制器;201-影像处理模块;202-图像处理模块;203-图像识别模;204-车辆状态检测处理模块;205-停车位字符判定模块;206-无线通信模块;207-内存模块;3-移动终端;4-车辆状态信号的相应控制器;5-自动泊车***。
具体实施方式
图1为根据本发明的一个示例性实施方案的基于图像识别的停车场车辆定位***的结构框图。
如图1所示,根据本发明的示例性实施方案的一种基于图像识别的停车场车辆定位***,其包括:采集装置1,其设置在车辆上以采集车辆前方和/或后方的影像或者图像;控制器2,其设置在车辆上,所述控制器2与所述采集装置1相连以从所述采集装置1所采集的影像或图像中提取停车位信息,所述控制器2包括影像处理模块201、图像处理模块202、图像识别模块203、车辆状态检测处理模块204、停车位字符判定模块205、无线通信模块206和内存模块207;以及移动终端3,其包括接收模块以从所述控制器2接收停车位信息。
采集装置1可以配置为拍摄影像的装置或者配置为拍摄图像的装置。可以分别在车辆的前部和后部设置采集装置1,在停车入位时,如果是倒车入位,可以利用后部的采集装置1来采集车辆后方的影像或多张图像,如果是前进入位时,可以利用前部的采集装置1来采集车辆前方的影像或多张图像。当然也可以在车辆上设置一种采集装置1,既可以拍摄车辆前方也可以拍摄车辆后方的采集装置1,根据车辆停车入位状态是前进还是后退(D挡或R挡),来确定采集装置1的拍摄方向。进一步地,为了不增加其他硬件设备,可以利用车辆自身固有的位于车辆前部和后部的摄像装置来作为采集装置1。
控制器2可以是车辆自身固有的控制器2,例如可以是车载电脑(ECU)或者多媒体控制器(Head Unit Controller),只要在这些固有控制器中设置本发明所述的各个功能模块即可,可以无需增加其他硬件。当然,本发明也可以根据实际情况另外设置控制器。
移动终端3可以采用普遍使用的智能手机、平板电脑、智能手表、个人数字助理(PDA)等等,但本发明并不以此为限。本发明随后的描述以智能手机为例,在智能手机上装载相应的APP即可接收控制器2所发送的停车位信息。在本发明的示例性实施方案中,停车位信息为停车位字符(即每个停车位所对应的编码),通常停车位字符由数字或者数字和字母的组合来组成。
如果采集装置1配置为采集车辆前方或者后方的影像,影像处理模块201配置为从所述影像中获取图像,影像处理模块201可以将影像中的每一帧处理成图像。图像处理模块202配置为对所述图像进行图像处理以提取存在停车位字符的有效图像,也就是说这一帧的图像中如果存在停车位字符,那么这个图像就是有效图像。
如果采集装置1配置为采集车辆前方或者后方的图像,就可以不需要影像处理模块201的处理,可以直接通过图像处理模块202对所接收的图像进行图像处理以提取存在停车位字符的有效图像。
图像识别模块203配置为对所述有效图像进行有效的停车位字符识别。通过对多张有效图像的识别可以将有效的停车位字符识别出来。
车辆状态检测处理模块204可以从车辆的相应控制器4接收车辆状态信号,从而为有效图像的提取和有效的停车位字符识别提供辅助参数信息。本***的控制器2可以通过车辆内部的CAN通信从车辆状态信号的相应控制器4接收车辆状态信号。
根据本发明的示例性实施方案,车辆状态信号包括车辆行驶速度、方向盘转角、车身偏角、挡位信息、车辆刹车信息和驻车信息。
另外,通过接收的这些车辆状态信号还可以通过车辆状态检测处理模块204检测车辆是否在进行停车入位操作。车辆状态检测处理模块204在两个时间点对停车入位操作进行检测。一个时间点是在本发明的***执行之前,如果车辆状态检测处理模块204检测到此时所接收到的车辆状态信号表明车辆具有停车入位的趋势或者意向,则开始本发明的***开始执行;另一个时间点是本发明的控制器2识别出最终停车位字符之后,如果车辆状态检测处理模块204根据车辆状态信号确定车辆进行的确实是停车入位操作,控制器2才会将最终停车位字符发送给移动终端3,如果车辆状态检测处理模块204检测到车辆只是在进行倒车或其他与停车入位操作相似而非真正在停车入位时,控制器2则不会向移动终端3发送信息,以免打扰用户。
图2为根据本发明的另一个示例性实施方案的基于图像识别的停车场车辆定位***的结构框图。如图2所示,根据本发明的另一个实施,如果车辆设有自动泊车***5,使自动泊车***5与本发明的***中的控制器2相连,车辆状态检测处理模块204可以直接使用自动泊车***5中处理好的参数在本发明的***执行之前就可以确定车辆是否在进行停车入位操作。
在车辆停车入位的过程中,本发明的***可能会不仅识别出本车位的停车位字符,有可能还会识别出临近车位的停车位字符。但是最终控制器2会向移动终端3发送哪个停车位字符需要由停车位字符判定模块205来进行判定,停车位字符判定模块205根据停车过程对多个有效的停车位字符进行判定来最终确定该车辆真正所停车位的停车位字符,以作为最终结果输出(这将在下面详述)。
根据本发明的示例性实施方案,无线通信模块206可以为BLE(Bluetooth LowEnergy,低功耗蓝牙)模块,控制器2通过所述BLE模块向用户的智能手机发送停车位信息,所述停车位信息为停车位字符。使用BLE作为与用户通信的手段,在车内就可以完成通信,高效及时,不依赖于移动网络、无线网络或者GPS信号,因此***的正常工作不会受到周围环境的影响。
图3为根据本发明的示例性实施方案的基于图像识别的停车场车辆定位方法的逻辑框图。
根据本发明的示例性实施方案的基于图像识别的停车场车辆定位方法,该方法基于图1所示的基于图像识别的停车场车辆定位***来实现,所述方法包括以下步骤:
1)拍摄车辆前方和/或后方的影像或者图像;
2)判断车辆是否具有停车入位意向;
3)根据步骤2)的判断,如果车辆具有停车入位意向,影像处理模块201接收步骤1)中的影像以从所述影像中获取图像,并且通过图像处理模块202对所获取的图像进行图像处理以提取存在停车位字符的有效图像;或者
根据步骤2)的判断,如果车辆具有停车入位意向,图像处理模块202接收步骤1)中的图像并进行图像处理以提取存在停车位字符的有效图像;
4)通过图像识别模块203对步骤3)所提取的有效图像进行有效的停车位字符识别;
5)车位字符判定模块配置为根据停车过程对多个有效的停车位字符进行判定以得到最终停车位字符;
6)确定车辆是否为停车入位操作;
7)如果确定车辆所进行的是停车入位操作,通过无线通信模块206向移动终端3发送最终停车位字符,以方便用户根据停车位字符找到车辆位置。
如图2所示,如果车辆设有自动泊车***5,上述步骤6)中就可以直接使用自动泊车***5中处理好的参数来确定车辆是否在进行停车入位操作。
图4为根据本发明的示例性实施方案的图像处理及停车位字符识别的流程图,其中在图4中还包括了图像预处理的步骤,图像预处理是在图像处理以获得有效图像之前所进行的对所有图像的去噪、二值化等预处理,图像预处理是可选的步骤。
所述步骤3)中的对图像进行图像处理包括:
a.检测图像中是否存在停车位线,并利用停车位线与字符的位置关系判断是否存在停车位字符,若存在停车位字符则判定当前图像为有效图像;
b.推算有效图像中车身相对于车位的角度;
c.利用推算的车身相对于车位的角度,对有效图像进行旋转校正以更准确地获取停车位字符信息。
在另一个实施方案中,有效图像中车身相对于车位的角度通过以下方式推算:检测有效图像中的停车位线相对于水平线的倾斜角度;或者利用整个停车过程车辆状态信号累计计算,并估算有效图像中的车辆角度;或者通过自动泊车***5获取车辆转角。
图5为根据本发明的示例性实施方案利用推算的车身相对于车位的角度来对有效图像进行旋转校正的示意图,其中车身相对于车位的角度是通过检测有效图像中的停车位线相对于水平线的倾斜角度来推算的。
如图5所示,初始的有效图像中的停车位字符(D096)是倒向的,通过检测有效图像中的停车位线相对于水平线的倾斜角度A来推算车身相对于车位的角度从而对有效图像进行旋转校正,如图5所示,旋转校正后可以得到准确的停车位字符。
所述步骤4)中对有效图像进行有效的停车位字符识别包括:
字符定位:利用停车位线先验条件对字符块粗定位,对粗定位的字符块进行膨胀处理,并计算连通域,根据连通域的大小和位置确定精确的字符区域,利用区域坐标从原始有效图像中提取精确的字符块;
字符分割:对精确的字符块进行二值化,并计算连通域,根据连通域的坐标信息对字符进行分割,分割出单个块区域,通过单个块区域的大小筛选出单个字符块,并基于单个字符块的坐标信息确定该字符块是数字还是字母,并统计从有效图像中提取的精确字符个数;
字符特征提取:提取有效图像中单个字符及模板库中各个字符的时域和频域特征;
字符特征比对:计算单个字符和模板库中各个字符的特征相似性来得到识别结果;
优化识别结果:若识别结果与先验车位信息相同,则直接输出存入识别结果库;若识别结果与先验车位信息存在差异,优化该识别结果,根据单个停车位字符在图像中的相对位置确定缺失位信息,由特殊符号代替,优化后的识别结果同样存入识别结果库;最后再根据识别结果库中的多个识别结果的相似性的比对来得到有效的停车位字符。
以停车位字符D096为例,当车辆进入停车停车场选好D096车位进行停车操作时,本发明的控制器2获取图像或影像,在提取有效图像之前可以对所有图像进行例如去噪、二值化等的图像预处理(如图4中所示的“图像预处理”),然后再经过图像处理得到多个有效图像。得到多个有效图像后,对每个有效图像进行有效的停车位字符识别。
具体地,利用停车位线先验条件(以普遍的停车场中停车位线与停车位字符的位置关系作为停车位线先验条件,而预设在控制器2中)对字符块粗定位。对粗定位的字符块进行膨胀处理,并计算连通域,根据连通域的大小和位置确定精确的字符区域。利用区域坐标从原始有效图像中提取精确的字符块。对精确的字符块进行二值化,并计算连通域,根据连通域的坐标信息对字符进行分割,分割出单个块区域,通过单个块区域的大小筛选出单个字符块,并基于单个字符块的坐标信息确定该字符块是数字还是字母,并统计从有效图像中提取的精确字符个数。提取有效图像中单个字符及模板库中各个字符的时域和频域特征。计算单个字符和模板库中各个字符的特征相似性来得到识别结果,例如对于D096这个停车位字符,4个有效图像的识别结果分别是“D096”、“096”、“D0 6”、“D096”。可以看出所识别出来的结果中的位数、字符意义等并不是都能满足先验车位信息。以普遍的停车场中停车位字符的组成形式(字符位数、字母和数字组合等)作为先验车位信息。需要对识别结果进行优化,若识别结果与先验车位信息(预设在控制器2中)相同,直接输出储存在识别结果库中,若识别结果与先验车位信息存在差异,根据单个停车位字符在图像中的相对位置确定缺失位信息,由特殊符号代替,例如“D0 6”这个识别结果与先验车位信息存在差异,用特殊符号代替缺失位,优化为“D0#6”,优化后的结果同样存入识别结果库中,最后再根据识别结果库中的多个识别结果的相似性的比对来得到有效的停车位字符。
在车辆停车入位的过程中,本发明的***可能会不仅识别出本车位的停车位字符,有可能还会识别出临近车位的停车位字符。但是最终控制器2会向移动终端3发送哪个停车位字符需要由停车位字符判定模块205来进行判定。
对于最终停车位字符的判定可以通过以下方式:根据时间倒推方法,距离最后停车入位完成时间最短的识别结果作为最终停车位字符;或者根据字符块在图像中的位置并结合车辆状态信息,来判定最终停车位字符,例如通过字符块在图像中的位置以及车辆停车入位时车身状态可以得到该字符块与车身的位置关系,根据该字符块与车身的位置关系便可以判定该字符是否为车辆最终停车的那个车位的字符;或者如果车辆设置有自动泊车***5,将落入停车轨迹线附近的识别结果作为最终停车位字符。
可以使用BLE作为与用户通信的手段,自动将最终停车位字符发送给用户,而无需用户进行其他额外操作。
本发明不依赖其他基础设施,甚至无需增加硬件设备,仅利用车辆自身硬件,基于图像处理技术,对停车位信息自动进行定位识别,并自动将识别出的停车位信息发送到移动终端3。
用户进入停车场,进行倒车入位时便开始执行***。由于其只需要驾驶者进行倒车入位,而无需关心其他操作,无需用户额外耗费精力和时间来主动记录停车位信息,通过自动发送到移动终端3的停车位信息就可以找到车辆位置,减轻了用户的负担,同时提供了快捷的停车位记录方法。
已经参考示例性实施方案详细描述了本发明。然而,本领域技术人员应当理解,在不脱离本发明的原理和精神的情况下,可以在这些实施方案中进行改变,本发明的范围由所附权利要求及其等效形式限定。

Claims (19)

1.一种基于图像识别的停车场车辆定位***,其包括:
采集装置,其设置在车辆上以采集车辆前方和/或后方的影像或者图像;
控制器,其设置在车辆上,所述控制器与所述采集装置相连以从所述采集装置所采集的影像或图像中提取停车位信息,所述控制器包括影像处理模块、图像处理模块、图像识别模块、车辆状态检测处理模块、停车位字符判定模块、无线通信模块和内存模块;以及
移动终端,其包括接收模块以从所述控制器接收停车位信息,
其中,所述采集装置配置为采集车辆前方或者后方的影像,所述影像处理模块配置为从所述影像中获取图像,所述图像处理模块配置为对所述图像进行图像处理以提取存在停车位字符的有效图像,
所述图像识别模块配置为对所述有效图像进行有效的停车位字符识别,
所述车辆状态检测处理模块配置为从车辆接收车辆状态信号,从而为有效图像的提取和有效的停车位字符识别提供辅助参数信息,
对所述图像进行图像处理包括:
a.检测图像中是否存在停车位线,并利用停车位线与字符的位置关系判断是否存在停车位字符,若存在停车位字符则判定当前图像为有效图像;
b.推算有效图像中车身相对于车位的角度;
c.利用推算的车身相对于车位的角度,对有效图像进行旋转校正,以对有效图像中的倒向的停车位字符进行旋转校正,从而更准确地获取停车位字符信息。
2.根据权利要求1所述的基于图像识别的停车场车辆定位***,其中,所述采集装置配置为采集车辆前方或者后方的图像,所述图像处理模块配置为对所述图像进行图像处理以提取存在停车位字符的有效图像。
3.根据权利要求1所述的基于图像识别的停车场车辆定位***,其中,所述车辆状态检测处理模块通过所接收的车辆状态信号来检测车辆是否在进行停车入位操作。
4.根据权利要求3所述的基于图像识别的停车场车辆定位***,其中,所述车辆状态信号包括车辆行驶速度、方向盘转角、车身偏角、挡位信息、车辆刹车信息和驻车信息。
5.根据权利要求1所述的基于图像识别的停车场车辆定位***,其中,进一步包括自动泊车***,所述自动泊车***与所述控制器相连,所述车辆状态检测处理模块配置为直接使用自动泊车***中处理好的参数来检测车辆是否在进行停车入位操作。
6.根据权利要求1所述的基于图像识别的停车场车辆定位***,其中,有效图像中车身相对于车位的角度通过以下方式推算:
检测有效图像中的停车位线相对于水平线的倾斜角度;或者
利用整个停车过程车辆状态信号累计计算,并估算有效图像中的车辆角度;或者
通过自动泊车***获取车辆转角。
7.根据权利要求1至5任一项所述的基于图像识别的停车场车辆定位***,其中,对所述有效图像进行有效的停车位字符识别包括:
字符定位:利用停车位线先验条件对字符块粗定位,对粗定位的字符块进行膨胀处理,并计算连通域,根据连通域的大小和位置确定精确的字符区域,利用区域坐标从原始有效图像中提取精确的字符块;
字符分割:对精确的字符块进行二值化,并计算连通域,根据连通域的坐标信息对字符进行分割,分割出单个块区域,通过单个块区域的大小筛选出单个字符块,并基于单个字符块的坐标信息确定该字符块是数字还是字母,并统计从有效图像中提取的精确字符个数;
字符特征提取:提取有效图像中单个字符及模板库中各个字符的时域和频域特征;
字符特征比对:计算单个字符和模板库中各个字符的特征相似性来得到识别结果;
优化识别结果:若识别结果与先验车位信息相同,则直接输出存入识别结果库;若识别结果与先验车位信息存在差异,优化该识别结果,根据单个停车位字符在图像中的相对位置确定缺失位信息,由特殊符号代替,优化后的识别结果同样存入识别结果库;最后再根据识别结果库中的多个识别结果的相似性的比对来得到有效的停车位字符。
8.根据权利要求1至5任一项所述的基于图像识别的停车场车辆定位***,其中,所述停车位字符判定模块配置为根据停车过程对多个有效的停车位字符进行判定以得到最终停车位字符。
9.根据权利要求8所述的基于图像识别的停车场车辆定位***,其中,能够通过以下方式对多个有效的停车位字符进行判定以得到最终停车位字符:
根据时间倒推方法,将距离最后停车入位完成时间最短的识别结果作为最终停车位字符;或者
根据字符块在图像中的位置并结合车辆状态信息,来判定最终停车位字符;或者
如果车辆设置有自动泊车***,将落入停车轨迹线附近的识别结果作为最终停车位字符。
10.根据权利要求1所述的基于图像识别的停车场车辆定位***,其中,所述无线通信模块为BLE模块,所述控制器通过所述BLE模块向所述移动终端发送停车位信息,所述停车位信息为停车位字符。
11.根据权利要求1所述的基于图像识别的停车场车辆定位***,其中,所述控制器为车辆的车载电脑或多媒体控制器。
12.根据权利要求1所述的基于图像识别的停车场车辆定位***,其中,所述移动终端为智能手机、平板电脑、智能手表或者个人数字助理。
13.一种基于图像识别的停车场车辆定位方法,该方法基于权利要求1所述的基于图像识别的停车场车辆定位***来实现,所述方法包括以下步骤:
1)拍摄车辆前方和/或后方的影像或者图像;
2)判断车辆是否具有停车入位意向;
3)根据步骤2)的判断,如果车辆具有停车入位意向,影像处理模块接收步骤1)中的影像以从所述影像中获取图像,并且通过图像处理模块对所获取的图像进行图像处理以提取存在停车位字符的有效图像;或者
根据步骤2)的判断,如果车辆具有停车入位意向,图像处理模块接收步骤1)中的图像并进行图像处理以提取存在停车位字符的有效图像;
4)通过图像识别模块对步骤3)所提取的有效图像进行有效的停车位字符识别;
5)车位字符判定模块配置为根据停车过程对多个有效的停车位字符进行判定以得到最终停车位字符;
6)确定车辆是否为停车入位操作;
7)如果确定车辆所进行的是停车入位操作,通过无线通信模块向移动终端发送最终停车位字符,以方便用户根据停车位字符找到车辆位置,
其中,车辆状态检测处理模块通过从车辆接收车辆状态信号,从而为有效图像的提取和有效的停车位字符识别提供辅助参数信息,
其中,所述步骤3)中的对图像进行图像处理包括:
a.检测图像中是否存在停车位线,并利用停车位线与字符的位置关系判断是否存在停车位字符,若存在停车位字符则判定当前图像为有效图像;
b.推算有效图像中车身相对于车位的角度;
c.利用推算的车身相对于车位的角度,对有效图像进行旋转校正以对有效图像中的倒向的停车位字符进行旋转校正,从而更准确地获取停车位字符信息。
14.根据权利要求13所述的基于图像识别的停车场车辆定位方法,其中,所述车辆状态检测处理模块通过所接收的车辆状态信号来检测车辆是否在进行停车入位操作。
15.根据权利要求14所述的基于图像识别的停车场车辆定位方法,其中,所述车辆状态信号包括车辆行驶速度、方向盘转角、车身偏角、挡位信息、车辆刹车信息和驻车信息。
16.根据权利要求13所述的基于图像识别的停车场车辆定位方法,其中,如果车辆设置有自动泊车***,所述车辆状态检测处理模块直接使用自动泊车***中处理好的参数来检测车辆是否在进行停车入位操作。
17.根据权利要求13所述的基于图像识别的停车场车辆定位方法,其中,有效图像中车身相对于车位的角度通过以下方式推算:
检测有效图像中的停车位线相对于水平线的倾斜角度;或者
利用整个停车过程车辆状态信号累计计算,并估算有效图像中的车辆角度;或者
通过自动泊车***获取车辆转角。
18.根据权利要求13至16任一项所述的基于图像识别的停车场车辆定位方法,其中,所述步骤4)中对有效图像进行有效的停车位字符识别包括:
字符定位:利用停车位线先验条件对字符块粗定位,对粗定位的字符块进行膨胀处理,并计算连通域,根据连通域的大小和位置确定精确的字符区域,利用区域坐标从原始有效图像中提取精确的字符块;
字符分割:对精确的字符块进行二值化,并计算连通域,根据连通域的坐标信息对字符进行分割,分割出单个块区域,通过单个块区域的大小筛选出单个字符块,并基于单个字符块的坐标信息确定该字符块是数字还是字母,并统计从有效图像中提取的精确字符个数;
字符特征提取:提取有效图像中单个字符及模板库中各个字符的时域和频域特征;
字符特征比对:计算单个字符和模板库中各个字符的特征相似性来得到识别结果;
优化识别结果:若识别结果与先验车位信息相同,则直接输出存入识别结果库;若识别结果与先验车位信息存在差异,优化该识别结果,根据单个停车位字符在图像中的相对位置确定缺失位信息,由特殊符号代替,优化后的识别结果同样存入识别结果库;最后再根据识别结果库中的多个识别结果的相似性的比对来得到有效的停车位字符。
19.根据权利要求13至16任一项所述的基于图像识别的停车场车辆定位方法,其中,在所述步骤5)中通过以下方式判定最终停车位字符:
根据时间倒推方法,将距离最后停车入位完成时间最短的识别结果作为最终停车位字符;或者
根据字符块在图像中的位置并结合车辆状态信息,来判定最终停车位字符;或者
如果车辆设置有自动泊车***,将落入停车轨迹线附近的识别结果作为最终停车位字符。
CN201811276558.7A 2018-10-30 2018-10-30 基于图像识别的停车场车辆定位***及方法 Active CN111127902B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811276558.7A CN111127902B (zh) 2018-10-30 2018-10-30 基于图像识别的停车场车辆定位***及方法
KR1020190075518A KR20200049478A (ko) 2018-10-30 2019-06-25 이미지 식별에 의한 주차장 차량 위치 확정 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811276558.7A CN111127902B (zh) 2018-10-30 2018-10-30 基于图像识别的停车场车辆定位***及方法

Publications (2)

Publication Number Publication Date
CN111127902A CN111127902A (zh) 2020-05-08
CN111127902B true CN111127902B (zh) 2022-08-09

Family

ID=70484439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811276558.7A Active CN111127902B (zh) 2018-10-30 2018-10-30 基于图像识别的停车场车辆定位***及方法

Country Status (2)

Country Link
KR (1) KR20200049478A (zh)
CN (1) CN111127902B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI760758B (zh) * 2020-06-02 2022-04-11 荷蘭商荷蘭移動驅動器公司 停車位置提醒方法及車載裝置
CN111885253A (zh) * 2020-06-17 2020-11-03 汉腾汽车有限公司 一种通过移动终端app寻找爱车的***
CN111881897B (zh) * 2020-09-27 2021-01-01 广州汽车集团股份有限公司 一种停车场地面中文标志识别方法及其***、存储介质
CN112818895A (zh) * 2021-02-18 2021-05-18 重庆长安汽车股份有限公司 基于图像识别的记录停车位置***及方法
CN113032272B (zh) * 2021-03-31 2024-02-02 东风柳州汽车有限公司 自动泊车***试验评价方法、装置、设备及存储介质
CN115440079A (zh) * 2022-08-31 2022-12-06 重庆长安汽车股份有限公司 一种远程寻车方法及***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010151829A (ja) * 2010-02-12 2010-07-08 Toyota Motor Corp 自車位置測定装置
CN105913686A (zh) * 2016-06-29 2016-08-31 中华通信***有限责任公司河北分公司 一种智能停车管理***及方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204332098U (zh) * 2014-12-31 2015-05-13 武汉智慧城市研究院股份有限公司 车辆停车位置智能识别终端
CN105513403A (zh) * 2016-01-08 2016-04-20 广东翼卡车联网服务有限公司 一种基于图像识别的停车场寻车方法及***
CN105654763A (zh) * 2016-01-15 2016-06-08 深圳芯智汇科技有限公司 停车场找车智能终端和方法
CN105788344A (zh) * 2016-04-13 2016-07-20 董地 一种停车场自动定位寻车方法
KR101643292B1 (ko) * 2016-05-30 2016-07-27 (주) 맑은생각 주차 위치 확인 시스템 및 이를 이용한 주차 위치 확인 방법
CN106056958A (zh) * 2016-07-07 2016-10-26 广州小鹏汽车科技有限公司 一种辅助寻车***及其实现方法
CN206431828U (zh) * 2016-07-07 2017-08-22 广州小鹏汽车科技有限公司 一种辅助寻车***
CN108022446A (zh) * 2017-12-18 2018-05-11 维沃移动通信有限公司 一种停车位置获取方法、移动终端

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010151829A (ja) * 2010-02-12 2010-07-08 Toyota Motor Corp 自車位置測定装置
CN105913686A (zh) * 2016-06-29 2016-08-31 中华通信***有限责任公司河北分公司 一种智能停车管理***及方法

Also Published As

Publication number Publication date
KR20200049478A (ko) 2020-05-08
CN111127902A (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
CN111127902B (zh) 基于图像识别的停车场车辆定位***及方法
US10417911B2 (en) Inter-vehicle cooperation for physical exterior damage detection
US20190347498A1 (en) Systems and methods for automated detection of trailer properties
CN109767626B (zh) 一种路边停车巡检方法、***、巡逻车及服务器
US10089869B1 (en) Tracking hit and run perpetrators using V2X communication
CN110599794B (zh) 一种基于车联网的智能找车方法及***
CN105701458B (zh) 基于车载设备获取图像识别车辆外部信息的方法及***
CN111047870A (zh) 交通违规车辆识别***、服务器及存储有车辆控制程序的非易失性存储介质
CN106326866B (zh) 车辆碰撞的预警方法及装置
US11453367B2 (en) Information processing system, program, and information processing method
CN103426326A (zh) 车辆停放控制***和利用其的车辆停放控制方法
CN104809882A (zh) 一种违法车辆检测抓拍***
US20200103918A1 (en) Method for detecting caller by autonomous vehicle
CN112017473A (zh) 寻车方法、寻车装置和寻车***
CN106790695B (zh) 基于历史信息描述共享车辆的方法、订车终端及***
JP2009251667A (ja) 画像検索装置
WO2018229751A1 (en) A method and system for detecting a parking vehicle
CN110942619B (zh) 一种车辆确定方法、装置、***及电子设备
CN113705271A (zh) 一种高精地图车道生成方法及装置
CN108154709B (zh) 一种获取停车位信息的方法及***
KR200443969Y1 (ko) 휴대용 주정차 위반 단속시스템
CN114220291B (zh) 车库停车/取车定位方法、***、汽车及计算机可读存储介质
KR101992652B1 (ko) 번호판 인식을 통한 차량 인식 방법 및 장치
CN111898475A (zh) 非机动车的状态估计方法及装置、存储介质、电子装置
US20200104605A1 (en) Image processing device, non-transitory readable recording medium storing program, information processing system, and control method of image processing device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant