CN106541944A - 一种库位检测方法、***、及移动设备 - Google Patents
一种库位检测方法、***、及移动设备 Download PDFInfo
- Publication number
- CN106541944A CN106541944A CN201610976121.9A CN201610976121A CN106541944A CN 106541944 A CN106541944 A CN 106541944A CN 201610976121 A CN201610976121 A CN 201610976121A CN 106541944 A CN106541944 A CN 106541944A
- Authority
- CN
- China
- Prior art keywords
- warehouse compartment
- image
- feature
- mobile device
- default
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 79
- 239000000284 extract Substances 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims description 70
- 238000012545 processing Methods 0.000 claims description 24
- 238000004891 communication Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 16
- 230000002452 interceptive effect Effects 0.000 claims description 13
- 239000000203 mixture Substances 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 8
- 238000009499 grossing Methods 0.000 claims description 6
- 230000000875 corresponding effect Effects 0.000 description 30
- 230000033001 locomotion Effects 0.000 description 22
- 238000005516 engineering process Methods 0.000 description 15
- 230000000694 effects Effects 0.000 description 14
- 230000009466 transformation Effects 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 9
- 238000001914 filtration Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 6
- 238000012935 Averaging Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000000354 decomposition reaction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 238000011084 recovery Methods 0.000 description 4
- 238000002604 ultrasonography Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000006002 Pepper Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000013467 fragmentation Methods 0.000 description 2
- 238000006062 fragmentation reaction Methods 0.000 description 2
- 239000008187 granular material Substances 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 229920000642 polymer Polymers 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 150000003839 salts Chemical class 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000010897 surface acoustic wave method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/06—Automatic manoeuvring for parking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
- G08G1/141—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
- G08G1/143—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces inside the vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种库位检测方法、***、及移动设备,根据至少一摄像头拍摄的图像,形成关于所述移动设备的特定视角的图像;提取所述图像中处于所述移动设备附近的可能库位区域内的所有直线;根据预设的库位特征,提取所述所有直线中的有效直线作为库位线,根据所述库位线获取所述可能库位区域中的各库位位置信息。本发明将摄像头拍摄的图像中的库位区域的直线与库位特征进行比对,提取出库位位置信息,进而可以较为准确的定位出库位的位置,以为自动泊车提供协助。
Description
技术领域
本发明涉及自动驾驶领域,特别是涉及一种库位检测方法、***、及移动设备。
背景技术
随着汽车自动化技术的发展,目前市场上已有的车位检测方法是通过超声波测距雷达测量行驶的车辆距离库位上障碍车的距离的变化,从而识别出障碍车之间的库位。这种库位检测技术检测停车位比较滞后,在空旷的停车场的时候,超声波无法判断具体停车位在哪里;且在车位是斜着排列的时候,超声波很难准确判断斜着排列的库位,当车经过库位的时候,车位线被相邻车位的车挡住的话,超声波因为检测到障碍物而就会检测不出这是个车位。所以应用超声波检测库位具有一定的局限性。
基于此,有必要提供一种更有效的库位检测方法,能够更有效的识别库位,为汽车泊车提供协助。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供一种库位检测方法、***、及移动设备,用于解决现有技术中库位检测不准确的问题。
为实现上述目的及其他相关目的,本发明提供一种库位检测方法,应用于具有至少一个摄像头的移动设备上,所述库位检测方法包括:根据所述摄像头拍摄的图像,形成关于所述移动设备的特定视角的图像;提取所述图像中处于所述移动设备附近的可能库位区域内的所有直线;根据预设的库位特征,提取所述所有直线中的有效直线作为库位线,以根据所述库位线获取所述可能库位区域中的各库位位置信息。
于本发明一具体实施例中,所述库位检测方法还包括:对所述摄像头拍摄的图像进行预处理,根据预处理后的图像形成关于所述移动设备的图像;所述预处理至少包括以下方式中的一种:方式一:对各所述摄像头拍摄的图像去除噪音;方式二:根据预设的标定校正规则对各所述摄像头拍摄的图像进行标定校正;方式三:对各所述摄像头拍摄的图像进行裁剪、拼贴以及视频平滑处理。
于本发明一具体实施例中,所述移动设备附近的可能库位区域包括位于所述移动设备的左侧预设距离内的区域、位于所述移动设备的右侧预设距离内的区域、位于所述移动设备的前方预设距离内的区域、位于所述移动设备的后方预设距离内的区域、位于所述移动设备的左前方预设距离内的区域、位于所述移动设备的右前方预设距离内的区域、位于所述移动设备的左后方预设距离内的区域、或/和位于所述移动设备的右后方预设距离内的区域。。
于本发明一具体实施例中,所述库位特征至少包括以下特征中的一种或多种:特征一:预设的库位形状;特征二:库位由两条平行线和一条垂直线或特定角度直线组成,所述平行线间的间距在预设库位长度范围内;特征三:组成库位的直线与其他区域的灰度差值大于预设灰度差值阈值;特征四:相邻库位的形状相同;特征五:库位由两条相对线和一条相交线组成,所述相对线间的间距在预设库位长度范围内;所述相对线与所述相交线的夹角在预设角度范围内。
于本发明一具体实施例中,所述库位检测方法还包括:根据所述库位位置信息,提取所述库位的至少两个顶点的物理位置信息,并根据所述至少两个顶点的物理位置信息,在预设的交互界面中显示相应的库位图形。
为实现上述目的及其他相关目的,本发明还提供一种库位检测***,应用于具有至少一个摄像头的移动设备上,所述库位检测***包括与所述摄像头通信相连的处理装置,所述处理装置包括:图像形成模块,用以根据所有所述摄像头拍摄的图像,形成关于所述移动设备的特定视角的图像;直线提取模块,与所述图像形成模块通信相连,用以提取所述图像中处于所述移动设备附近的可能库位区域内的所有直线;库位位置信息获取模块,与所述直线提取模块通信相连,用以根据预设的库位特征,提取所述所有直线中的有效直线作为库位线,根据所述库位线获取所述可能库位区域中的各库位位置信息。
于本发明一具体实施例中,所述处理装置还包括:库位图形显示模块,与所述库位位置信息获取模块通信相连,根据所述库位位置信息,提取所述库位的至少两个顶点的物理位置信息,并根据所述至少两个顶点的物理位置信息,在预设的交互界面中显示相应的库位图形。
于本发明一具体实施例中,所述库位检测***还包括:存储模块,与所述处理装置中的库位位置信息获取模块通信相连,存储有所述预设的库位特征;所述库位特征至少包括以下特征中的一种或多种:特征一:预设的库位形状;特征二:库位由两条平行线和一条垂直线或特定角度直线组成,所述平行线间的间距在预设库位长度范围内;特征三:组成库位的直线与其他区域的灰度差值大于预设灰度差值阈值;特征四:相邻库位的形状相同;特征五:库位由两条相对线和一条相交线组成,所述相对线间的间距在预设库位长度范围内;所述相对线与所述相交线的夹角在预设角度范围内。
为实现上述目的及其他相关目的,本发明还提供一种移动设备,具有至少一个摄像头以及与所述摄像头通信连接的控制器,所述控制器用以接收所述摄像头拍摄的图像,且所述控制器运行有如上任一项所述的库位检测方法。
所述移动设备为汽车或智能手机。
为实现上述目的及其他相关目的,本发明还提供一种库位检测方法,所述库位检测方法包括:提取一图像中处于移动设备附近的可能库位区域内的所有直线;根据预设的库位特征,提取所述所有直线中的有效直线作为库位线,根据所述库位线获取所述可能库位区域中的各库位位置信息。
如上所述,本发明的库位检测方法、***、及移动设备,根据摄像头拍摄的图像,形成关于所述移动设备的特定视角的图像;提取所述图像中处于所述移动设备附近的可能库位区域内的所有直线;根据预设的库位特征,提取所述所有直线中的有效直线作为库位线,以根据所述库位线获取所述可能库位区域中的各库位位置信息。本发明将摄像头拍摄的图像中的库位区域的直线与库位特征进行比对,提取出库位位置信息,进而可以较为准确的定位出库位的位置,以为自动泊车提供协助。
附图说明
图1显示为本发明的库位检测方法在一具体实施例中的流程示意图。
图2显示为本发明的一具体实施例中交互界面显示示意图。
图3显示为本发明一具体实施例中应用的库位类型示意图。
图4显示为本发明一具体实施例中应用的库位类型示意图。
图5显示为本发明的库位检测***在一具体实施例中的模块示意图。
元件标号说明
10 方法
11~13 步骤
21 汽车
22 左侧区域
23 右侧区域
24 库位图形
30 库位检测***
31 处理装置
311 图像形成模块
312 直线提取模块
313 库位位置信息获取模块
32 存储模块
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
有效的库位检测,可以较好的辅助自动泊车***的运行,现有的库位通常有标识库位轮廓的直线,所以可以通过检测库位轮廓的直线来找出库位。具体的请参阅图1,显示为本发明的库位检测方法在一具体实施例中的流程示意图。所述库位检测方法10,应用于具有至少一个摄像头的移动设备上,所述移动设备例如为一汽车或智能手机,以下以所述移动设备为汽车为例进行说明,所述库位检测方法10包括:
11:根据至少一所述摄像头拍摄的图像,形成关于所述汽车的特定视角的图像;所述特定视角可以根据摄像头的类型以及摄像头的安装位置等因素决定,还可以根据用户的需求进行图像视角的调整,例如只形成关于所述汽车的右侧视角的图像,又例如只形成关于所述汽车的左侧视角的图像。而在以下的实施例描述中,以特定视角的图像为包括所述汽车的前侧、后侧、左侧、以及右侧的关于所述汽车的俯视全景图像为例进行说明,关于所述汽车的俯视全景图像例如为图2所示,所述汽车21处于停车场内。且于具体应用中,在根据所述摄像头拍摄的图像形成关于所述汽车的俯视全景图像之前,还包括对所述摄像头拍摄的图像进行预处理的过程,所述预处理至少包括以下方式中的一种:
方式一:对各所述摄像头拍摄的图像去除噪音;
其中,现实中的数字图像在数字化和传输过程中常受到成像设备与外部环境噪声干扰等影响,称为含噪图像或噪声图像。减少数字图像中噪声的过程称为图像去噪。
噪声是图象干扰的重要原因。一幅图象在实际应用中可能存在各种各样的噪声,这些噪声可能在传输中产生,也可能在量化等处理中产生。根据噪声和信号的关系可将其分为三种形式:(f(x,y)表示给定原始图象,g(x,y)表示图象信号,n(x,y)表示噪声。
1)加性噪声:此类噪声与输入图象信号无关,含噪图象可表示为f(x,y)=g(x,y)+n(x,y),信道噪声及光导摄像管的摄像机扫描图象时产生的噪声就属这类噪声。
2)乘性噪声:此类噪声与图象信号有关,含噪图象可表示为f(x,y)=g(x,y)+n(x,y)g(x,y),飞点扫描器扫描图象时的噪声,电视图象中的相关噪声,胶片中的颗粒噪声就属于此类噪声。
3)量化噪声:此类噪声与输入图象信号无关,是量化过程存在量化误差,再反映到接收端而产生。
通常图像去噪滤波器包括以下几种:
1、均值滤波器
采用邻域平均法的均值滤波器非常适用于去除通过扫描得到的图像中的颗粒噪声。领域平均法有力地抑制了噪声,同时也由于平均而引起了模糊现象,模糊程度与领域半径成正比。
几何均值滤波器所达到的平滑度可以与算术均值滤波器相比。但在滤波过程中会丢失更少的图象细节。谐波均值滤波器对"盐"噪声效果更好,但是不适用于"胡椒"噪声。它善于处理像高斯噪声那样的其他噪声。逆谐波均值滤波器更适合于处理脉冲噪声。但它有个缺点,就是必须要知道噪声是暗噪声还是亮噪声。以便于选择合适的滤波器阶数符号,如果阶数的符号选择错了可能会引起灾难性的后果。
2、自适应维纳滤波器
它能根据图象的局部方差来调整滤波器的输出,局部方差越大,滤波器的平滑作用越强。它的最终目标是使恢复图像f^(x,y)与原始图像f(x,y)的均方误差e2=E[(f(x,y)-f^(x,y)2]最小。该方法的滤波效果比均值滤波器效果要好,对保留图像的边缘和其他高频部分很有用,不过计算量较大。维纳滤波器对具有白噪声的图象滤波效果最佳。
3、中值滤波器
它是一种常用的非线性平滑滤波器。其基本原理是把数字图像或数字序列中一点的值用该点的一个领域中各点值的中值代换其主要功能是让周围象素灰度值的差比较大的像素改取与周围的像素值接近的值。从而可以消除孤立的噪声点,所以中值滤波对于滤除图像的椒盐噪声非常有效。中值滤波器可以做到既去除噪声又能保护图像的边缘。从而获得较满意的复原效果。而且,在实际运算过程中不需要图象的统计特性。这也带来不少方便,但对一些细节多。特别是点、线、尖顶细节较多的图象不宜采用中值滤波的方法。
4、形态学噪声滤除器
将开启和闭合结合起来可用来滤除噪声,首先对有噪声图象进行开启操作,可选择结构要素矩阵比噪声的尺寸大,因而开启的结果是将背景上的噪声去除。最后是对前一步得到的图象进行闭合操作,将图象上的噪声去掉。根据此方法的特点可以知道,此方法适用的图像类型是图象中的对象尺寸都比较大。且没有细小的细节,对这种类型的图像除噪的效果会比较好。
5、小波去噪
这种方法保留了大部分包含信号的小波系数,因此可以较好地保持图象细节。小波分析进行图像去噪主要有3个步骤:
(1)对图象信号进行小波分解;
(2)对经过层次分解后的高频系数进行阈值量化;
(3)利用二维小波重构图象信号。
方式二:根据预设的标定校正规则对各所述摄像头拍摄的图像进行标定校正;
方式三:对各所述摄像头拍摄的图像进行裁剪、拼贴以及视频平滑处理。图像拼接就是把针对同一场景的相互有部分重叠的一系列图片合成一张大的宽视角的图像。拼接后的图像要求最大程度地与原始图像接近,失真尽可能小,没有明显的缝合线。
原始图像的性质是影响图像拼接算法的最重要因素,原始图像得到的方式不同,图像整体性质也有很大差异,需要使用不同的拼接算法。本发明选用以下拼接方式的一种进行图像的拼接:
I)柱面/球面/立方体全景图拼接
全景图的表示模式主要有球面全景图、柱面全景图和立方体全景图。柱面全景图易获得,能生成任意视线的场景,但对垂直方向的视域有限制;球面全景图能完整地表整个视点空间,但会导致在两极的场景扭曲变形;立方体全景图一般由6幅广角为90°的画面组成,易于数据的存储,便于显示,主要应用于三维虚拟现实领域.。
柱面模型是最普遍采用的全景图拼接模型,该方法要求相机绕垂直转轴(如三脚架)作水平转动。将图像投影到一个统一的柱面上之后,拼接问题就转化为在柱面上图像间的平移问题。Heung2YeungShum等提出的同心圆拼接算法是一种依赖于相机参数的方法。该算法可看作是柱面模型的变异。
II)基于透视变换的拼接
透视变换的拼接对相机的运动没有严格的限制。但为了防止视差的出现,要求被拍摄的景物是一个近似的平面,拍摄中,景物距离相机足够远即可把它视为平面。当获得的是排列顺序未知的碎片图像,或相机的运动方式未知,可采用这种模型。
III)基于仿射变换的拼接
仿射变换常作为基于透视变换全景图的一种近似,在相机倾斜角度不大、焦距足够大的时候可获得较好的匹配结果仿射变换是定义在连续的图像上。
IV)基于图像检索的图像拼接
运用基于内容的图像检索方法进行图像拼接是一种结合图像数据库、图像检索、模式识别等技术的拼接方法。首先把原图分成很多小块,然后对每个小块,从图像数据库中找到与之在视觉上最相近的图像。最后用替代的方法把从数据库中选出的图像组成一张大图。
12:提取所述图像中处于所述移动设备附近的可能库位区域内的所有直线;所述移动设备附近的可能库位区域包括位于所述移动设备的左侧预设距离内的区域、位于所述移动设备的右侧预设距离内的区域、位于所述移动设备的前方预设距离内的区域、位于所述移动设备的后方预设距离内的区域、位于所述移动设备的左前方预设距离内的区域、位于所述移动设备的右前方预设距离内的区域、位于所述移动设备的左后方预设距离内的区域、或/和位于所述移动设备的右后方预设距离内的区域。例如本实施例中,以所述移动设备附近的可能库位区域包括位于所述移动设备的左侧预设距离内的区域和位于所述移动设备的右侧预设距离内的区域为例进行说明,且位于所述移动设备的左侧预设距离内的区域和位于所述移动设备的右侧预设距离内的区域分别为如图2所示的汽车21的左侧区域22以及右侧区域23,且只检测该区域内的直线。
优选的,通过hough变换检测并提取所述全景图像中处于所述汽车附近的可能库位区域内的所有直线。Hough变换是一种使用表决原理的参数估计技术。其原理是利用图像空间和Hough参数空间的点-线对偶性,把图像空间中的检测问题转换到参数空间。通过在参数空间里进行简单的累加统计,然后在Hough参数空间寻找累加器峰值的方法检测直线。Hough变换的实质是将图像空间内具有一定关系的像元进行聚类,寻找能把这些像元用某一解析形式联系起来的参数空间累积对应点。在参数空间不超过二维的情况下,这种变换有着理想的效果。
通过hough变换检测直线的原理包括:对于平面中的一条直线,在笛卡尔坐标系中,常见的有点斜式,两点式两种表示方法。然而在hough变换中,考虑的是另外一种表示方式:使用(r,theta)来表示一条直线。其中r为该直线到原点的距离,theta为该直线的垂线与x轴的夹角。使用hough变换来检测直线的思想就是:为每一个点假设n个方向的直线,通常n=180,此时检测的直线的角度精度为1°,分别计算这n条直线的(r,theta)坐标,得到n个坐标点。如果要判断的点共有N个,最终得到的(r,theta)坐标有N*n个。有关这N*n个(r,theta)坐标,其中theta是离散的角度,共有180个取值。如果多个点在一条直线上,那么必有这多个点在theta=某个值theta_i时,这多个点的r近似相等于r_i。也就是说这多个点都在直线(r_i,theta_i)上。在实际的直线检测情况中,如果超过一定数目的点拥有相同的(r,theta)坐标,那么就可以判定此处有一条直线。
所述直线检测的方法在另一具体实施例中还可以为利用最小二乘法进行直线检测,又或者结合随机Hough变换(RHT)抗噪声能力强与最小二乘法(LSM)拟合精度高的特性,基于随机Hough变换与最小二乘法进行直线检测,或者是其他直线检测算法。该直线检测方法能用于背景噪声较强且直线存在一定弯曲的图像,检测精度高。首先,用随机Hough变换确定直线的大致位置,得到直线参量和数量;然后,利用所得直线参数,计算图像中的点到直线的距离,根据距离,可以确定每条直线附近的点集,剔除干扰点和噪声;最后,用最小二乘法对点集中的各点进行拟合,得到精确的直线参量。
13:根据预设的库位特征,提取所述所有直线中的有效直线作为库位线,以根据所述库位线获取所述可能库位区域中的各库位位置信息。其中,在另一具体实施例中,所述库位特征至少包括以下特征中的一种或多种:
特征一:预设的库位形状;所述库位形状例如设置为矩形,且有垂直设置的多个矩形区域、平行设置的多个矩形区域、以及以一定角度倾斜设置的矩形区域。当检测出的直线能够构成一个垂直设置、平行设置矩形区域、或倾斜设置的矩形区域,并且该矩形区域的大小与库位国家标准中的要求要求相匹配时,那么可以判断检测出的直线构成的该矩形区域对应了一个库位。
特征二:库位由两条平行线和一条垂直线或特定角度直线组成,所述平行线间的间距在预设库位长度范围内;所述两条平行线例如为图2所示的位于库位的长度方向上两端的平行线,所述垂直线为沿所述库位长度方向且与所述两平行线垂直的直线,且相邻的两组该两条平行线和一条垂直线标识一个库位,且相邻的两条垂直线间的距离在预设的库位宽度范围内。所述预设库位长度范围以及预设库位宽度范围根据国家标准中对相应车型的库位的长度和宽度的要求而进行设置。例如,国家标准中,对垂直设置的小型汽车的库位的宽度为2.8米,所以,此处的预设库位宽度范围可以为2.8米~3.0米。
特征三:组成库位的直线与其他区域的灰度差值大于预设灰度差值阈值;通常组成库位轮廓的直线较其周围区域的亮度较高,可以通过判断直线与直线周围的区域的灰度差值是否大于一个阈值来作为判断该直线是否为组成库位的有效直线的一个标准。
特征四:相邻库位的形状相同,一般库位不会孤立存在,通常会有多个相同设置方式的库位形成一排,例如相邻库位均为垂直设置的库位形状、或均为平行设置的库位形状、或均为倾斜设置的库位形状时,判断该区域为一库位区域。
特征五:库位由两条相对线和一条相交线组成,所述相对线间的间距在预设库位长度范围内;所述相对线与所述相交线的夹角在预设角度范围内。
以上五种库位特征可以单独用来判断库位的存在,但是为了提高库位检测的精度,可以将多个特征进行结合来综合判断直线组成的区域是否为一库位区域。
例如,结合特征二和特征三,且检测出的库位由两条平行线和一条垂直线或特定角度直线组成,所述平行线间的间距在预设库位长度范围内,且同时组成库位的直线与其他区域的灰度差值大于预设灰度差值阈值,即同时满足特征二和特征三时,判断直线组成的区域为一有效的库位区域,提高库位检测的精度。
又例如,结合特征二、特征三、以及特征四,且检测出的库位由两条平行线和一条垂直线或特定角度直线组成,所述平行线间的间距在预设库位长度范围内,且同时组成库位的直线与其他区域的灰度差值大于预设灰度差值阈值,且相邻库位的形状相同,即同时满足特征二、特征三、和特征四时,判断直线组成的区域为一有效的库位区域。
又例如,结合特征一、特征二、特征三、以及特征四,且检测出的库位与预设的库位形状相同,且由两条平行线和一条垂直线组成,所述平行线间的间距在预设库位长度范围内,且同时组成库位的直线与其他区域的灰度差值大于预设灰度差值阈值,且相邻库位的形状相同,即同时满足特征一、特征二、特征三、和特征四时,判断直线组成的区域为一库位区域。
在另一具体实施例中,又或者选择的库位特征设置优先级,且先对优先级高的库位特征进行比较,进而对优先级次之的库位特征进行比较,直到应用的库位特征中,优先级最低的库位特征都匹配时,判断获取到有效的库位。
例如,选取特征二和特征三作为应用的库位特征,且特征二的优先级大于库位三的优先级,即,当检测出的直线在符合特征二的情况下,即检测出的库位由两条平行线和一条垂直线或特定角度直线组成,所述平行线间的间距在预设库位长度范围内,再判断检测出的直线是否符合特征三,即组成库位的直线与其他区域的灰度差值大于预设灰度差值阈值,在满足特征二的条件下,还满足特征三时,判断直线组成的该区域为一有效的库位区域,提高库位检测的精度。
又例如,选取特征二、特征三、以及特征四为应用的库位特征,特征二的优先级大于特征三,特征三的优先级大于特征四,即检测出的库位由两条平行线和一条垂直线或特定角度直线组成,所述平行线间的间距在预设库位长度范围内时,既满足特征二的要求,则进一步检测组成库位的直线与其他区域的灰度差值大于预设灰度差值阈值,即满足特征三的要求,则进一步检测相邻库位的形状相同,即满足特征四的要求,即以该预设的优先级顺序,判断直线组成的区域为一有效的库位区域。
又例如,选取特征一、特征二、特征三、以及特征四为应用的库位特征,特征一的优先级大于特征二,特征二的优先级大于特征三,特征三的优先级大于特征四,即当检测出的库位与预设的库位形状相同时,满足特征一的要求,则进一步检测获取到的直线满足库位由两条平行线和一条垂直线或特定角度直线组成,所述平行线间的间距在预设库位长度范围内的要求,既满足特征二的要求,则进一步检测组成库位的直线与其他区域的灰度差值大于预设灰度差值阈值,即满足特征三的要求,则进一步检测相邻库位的形状相同,即满足特征四的要求,即以该预设的优先级顺序,判断直线组成的区域为一有效的库位区域。
选取的特征之间的优先级可以根据具体情况进行人为设定,并可以实时进行调整。
于本发明一具体实施例中,所述库位检测方法10还包括:根据所述库位位置信息,提取所述库位的至少两个顶点的物理位置信息,并根据所述四个顶点的物理位置信息,在预设的交互界面中显示相应的库位图形。例如可提取所述库位的四个顶点的物理位置信息以在预设的交互界面中显示相应的库位图形。进一步的,所述交互界面中可显示多个检测到的库位图形,且在接受用户对一库位图形的手动选择后,以根据自动泊车***,将汽车泊入相应的库位中。
所述库位图形的显示界面中,还用以将所述汽车的图形虚拟到该界面中,且在将汽车泊入相应的库位的过程中,实时显示汽车泊入的对应的虚拟画面,以让用户可以及时了解泊车的过程和状态。优选的,当交互界面中显示的库位图形与全景图像中显示的库位有偏差时,用户可以手动调节该库位图形至与相应的预设的库位图形重合。例如通过库位的四个顶点的物理位置信息在该全景图像中显示的库位图形为图2中的库位图形24所示,可见该库位图形24与该全景图像中显示的对应库位有一定的偏差,用户可以根据上、下、左、以及右的图像调整操作,将该库位图形24调整至与该全景图像中对应的库位重合。
进一步的,所述库位图形的显示例如利用一触摸显示屏实现,通过用户进行的触控输入,选择相应的库位。
触摸屏在设备与用户之间同时提供输出接口和输入接口。触摸屏控制器接收/发送来自/去往触摸屏的电信号。该触摸屏则向用户显示可视输出。这个可视输出可以包括文本、图形、视频及其任意组合。某些或所有可视输出可与用户接口对象相对应,在下文中将对它的更多细节进行描述。
触摸屏还基于触觉和/或触知接触来接受用户的输入。该触摸屏形成一个接受用户输入的触摸敏感表面。该触摸屏和触摸屏控制器(连同存储器中任何相关联的模块和/或指令集一起)检测触摸屏上的接触(以及所述触摸的任何移动或中断),并且将检测到的接触变换成与显示在触摸屏上的诸如一个或多个软按键之类的用户界面对象的交互。
在一个示例性实施例中,触摸屏与用户之间的接触点对应于用户的一个或多个手指。该触摸屏可以使用LCD(液晶显示器)技术或LPD(发光聚合物显示器)技术,但在其他实施例中可使用其他显示技术。
触摸屏和触摸屏控制器可以使用多种触敏技术中的任何一种来检测接触及其移动或中断,这些触敏技术包括但不限于电容、电阻、红外和声表面波技术,以及其他接近传感器阵列,或用于确定与触摸屏相接触的一个或多个点的其他技术。用户可以使用任何适当物体或配件,例如指示笔、手指等等,来接触触摸屏。
该触摸显示屏还具有一个接触/运动模块,该接触/运动模块与触摸屏控制器一道来检测与触摸屏的接触。该接触/运动模块包括用于执行与跟触摸屏的接触检测相关联的各种操作的各种软件组件,所述操作例如确定是否发生接触,确定该接触是否移动,以及追踪触摸屏上的移动,并且确定该接触是否中断(即是否停止接触)。确定接触点移动的操作可以包括确定接触点的速率(幅度)、速度(幅度和方向)和/或加速度(包括幅度和/或方向)。在某些实施例中,接触/运动模块和触摸屏控制器还检测触摸板上的接触。
该触摸显示屏在运行过程中还具有图形模块,该图形模块包括用于在触摸屏上呈现和显示图形的各种已知软件组件。注意术语“图形”包括可以显示给用户的任何对象,包括但不局限于文本、网页、图标(例如包括软按键在内的用户界面对象)、数字图像、视频、动画等等。
在某些实施例中,图形模块包括光强模块。该光强模块控制用户界面对象这类显示在触摸屏上的图形对象的光强。光强控制可以包括增大或减小图形对象的光强。在某些实施例中,所述增大或减小可以遵循预定函数。
用户界面状态模块控制设备的用户界面状态。该用户界面状态模块可以包括锁定模块和解锁模块。锁定模块检测对将设备转换到用户界面锁定状态,以及将设备转换到锁定状态的一个或多个条件中的任何一个条件的满足。解锁模块检测对将设备转换到用户界面解锁状态,以及将设备转换到解锁状态的一个或多个条件中的任何一个的满足。在下文中将会描述与用户界面状态相关的更多细节。
进一步参阅图5,显示为本发明的库位检测***在一具体实施例中的模块示意图。所述库位检测***30,应用于具有至少一个摄像头的移动设备上,所述移动设备例如为一汽车或智能手机,以下,以所述移动设备为汽车进行示例说明,所述库位检测***30包括与所述摄像头通信相连的处理装置31,所述处理装置31包括:
全景图像形成模块311,用以根据所有所述摄像头拍摄的图像,形成关于所述移动设备的特定视角的图像;所述特定视角可以根据摄像头的类型以及摄像头的安装位置等因素决定,还可以根据用户的需求进行图像视角的调整,例如只形成关于所述汽车的右侧视角的图像,又例如只形成关于所述汽车的左侧视角的图像。而在以下的实施例描述中,以特定视角的图像为包括所述汽车的前侧、后侧、左侧、以及右侧的关于所述汽车的俯视全景图像为例进行说明,关于所述汽车的俯视全景图像例如为图2所示,所述汽车21处于停车场内。在根据所述摄像头拍摄的图像形成关于所述汽车的俯视全景图像之前,还包括对所述摄像头拍摄的图像进行预处理的过程,所述预处理至少包括以下方式中的一种:
方式一:对各所述摄像头拍摄的图像去除噪音;
其中,现实中的数字图像在数字化和传输过程中常受到成像设备与外部环境噪声干扰等影响,称为含噪图像或噪声图像。减少数字图像中噪声的过程称为图像去噪。
噪声是图象干扰的重要原因。一幅图象在实际应用中可能存在各种各样的噪声,这些噪声可能在传输中产生,也可能在量化等处理中产生。根据噪声和信号的关系可将其分为三种形式:(f(x,y)表示给定原始图象,g(x,y)表示图象信号,n(x,y)表示噪声。
1)加性噪声:此类噪声与输入图象信号无关,含噪图象可表示为f(x,y)=g(x,y)+n(x,y),信道噪声及光导摄像管的摄像机扫描图象时产生的噪声就属这类噪声。
2)乘性噪声:此类噪声与图象信号有关,含噪图象可表示为f(x,y)=g(x,y)+n(x,y)g(x,y),飞点扫描器扫描图象时的噪声,电视图象中的相关噪声,胶片中的颗粒噪声就属于此类噪声。
3)量化噪声:此类噪声与输入图象信号无关,是量化过程存在量化误差,再反映到接收端而产生。
通常图像去噪滤波器包括以下几种:
1、均值滤波器
采用邻域平均法的均值滤波器非常适用于去除通过扫描得到的图像中的颗粒噪声。领域平均法有力地抑制了噪声,同时也由于平均而引起了模糊现象,模糊程度与领域半径成正比。
几何均值滤波器所达到的平滑度可以与算术均值滤波器相比。但在滤波过程中会丢失更少的图象细节。谐波均值滤波器对"盐"噪声效果更好,但是不适用于"胡椒"噪声。它善于处理像高斯噪声那样的其他噪声。逆谐波均值滤波器更适合于处理脉冲噪声。但它有个缺点,就是必须要知道噪声是暗噪声还是亮噪声。以便于选择合适的滤波器阶数符号,如果阶数的符号选择错了可能会引起灾难性的后果。
2、自适应维纳滤波器
它能根据图象的局部方差来调整滤波器的输出,局部方差越大,滤波器的平滑作用越强。它的最终目标是使恢复图像f^(x,y)与原始图像f(x,y)的均方误差e2=E[(f(x,y)-f^(x,y)2]最小。该方法的滤波效果比均值滤波器效果要好,对保留图像的边缘和其他高频部分很有用,不过计算量较大。维纳滤波器对具有白噪声的图象滤波效果最佳。
3、中值滤波器
它是一种常用的非线性平滑滤波器。其基本原理是把数字图像或数字序列中一点的值用该点的一个领域中各点值的中值代换其主要功能是让周围象素灰度值的差比较大的像素改取与周围的像素值接近的值。从而可以消除孤立的噪声点,所以中值滤波对于滤除图像的椒盐噪声非常有效。中值滤波器可以做到既去除噪声又能保护图像的边缘。从而获得较满意的复原效果。而且,在实际运算过程中不需要图象的统计特性。这也带来不少方便,但对一些细节多。特别是点、线、尖顶细节较多的图象不宜采用中值滤波的方法。
4、形态学噪声滤除器
将开启和闭合结合起来可用来滤除噪声,首先对有噪声图象进行开启操作,可选择结构要素矩阵比噪声的尺寸大,因而开启的结果是将背景上的噪声去除。最后是对前一步得到的图象进行闭合操作,将图象上的噪声去掉。根据此方法的特点可以知道,此方法适用的图像类型是图象中的对象尺寸都比较大。且没有细小的细节,对这种类型的图像除噪的效果会比较好。
5、小波去噪
这种方法保留了大部分包含信号的小波系数,因此可以较好地保持图象细节。小波分析进行图像去噪主要有3个步骤:
(1)对图象信号进行小波分解;
(2)对经过层次分解后的高频系数进行阈值量化;
(3)利用二维小波重构图象信号。
方式二:根据预设的标定校正规则对各所述摄像头拍摄的图像进行标定校正。
方式三:对各所述摄像头拍摄的图像进行裁剪、拼贴以及视频平滑处理。
图像拼接就是把针对同一场景的相互有部分重叠的一系列图片合成一张大的宽视角的图像。拼接后的图像要求最大程度地与原始图像接近,失真尽可能小,没有明显的缝合线。
原始图像的性质是影响图像拼接算法的最重要因素,原始图像得到的方式不同,图像整体性质也有很大差异,需要使用不同的拼接算法。本发明优先选用以下拼接方式的一种进行图像的拼接:
I)柱面/球面/立方体全景图拼接
全景图的表示模式主要有球面全景图、柱面全景图和立方体全景图。柱面全景图易获得,能生成任意视线的场景,但对垂直方向的视域有限制;球面全景图能完整地表整个视点空间,但会导致在两极的场景扭曲变形;立方体全景图一般由6幅广角为90°的画面组成,易于数据的存储,便于显示,主要应用于三维虚拟现实领域.。
柱面模型是最普遍采用的全景图拼接模型,该方法要求相机绕垂直转轴(如三脚架)作水平转动。将图像投影到一个统一的柱面上之后,拼接问题就转化为在柱面上图像间的平移问题。Heung2YeungShum等提出的同心圆拼接算法是一种依赖于相机参数的方法。该算法可看作是柱面模型的变异。
II)基于透视变换的拼接
透视变换的拼接对相机的运动没有严格的限制。但为了防止视差的出现,要求被拍摄的景物是一个近似的平面,拍摄中,景物距离相机足够远即可把它视为平面。当获得的是排列顺序未知的碎片图像,或相机的运动方式未知,可采用这种模型。
III)基于仿射变换的拼接
仿射变换常作为基于透视变换全景图的一种近似,在相机倾斜角度不大、焦距足够大的时候可获得较好的匹配结果仿射变换是定义在连续的图像上。
IV)基于图像检索的图像拼接
运用基于内容的图像检索方法进行图像拼接是一种结合图像数据库、图像检索、模式识别等技术的拼接方法。首先把原图分成很多小块,然后对每个小块,从图像数据库中找到与之在视觉上最相近的图像。最后用替代的方法把从数据库中选出的图像组成一张大图。
直线提取模块312,与所述图像形成模块311通信相连,用以提取所述图像中处于所述移动设备附近的可能库位区域内的所有直线;
优选的,通过hough变换检测并提取所述全景图像中处于所述汽车附近的可能库位区域内的所有直线。Hough变换是一种使用表决原理的参数估计技术。其原理是利用图像空间和Hough参数空间的点-线对偶性,把图像空间中的检测问题转换到参数空间。通过在参数空间里进行简单的累加统计,然后在Hough参数空间寻找累加器峰值的方法检测直线。Hough变换的实质是将图像空间内具有一定关系的像元进行聚类,寻找能把这些像元用某一解析形式联系起来的参数空间累积对应点。在参数空间不超过二维的情况下,这种变换有着理想的效果。
通过hough变换检测直线的原理包括:对于平面中的一条直线,在笛卡尔坐标系中,常见的有点斜式,两点式两种表示方法。然而在hough变换中,考虑的是另外一种表示方式:使用(r,theta)来表示一条直线。其中r为该直线到原点的距离,theta为该直线的垂线与x轴的夹角。使用hough变换来检测直线的思想就是:为每一个点假设n个方向的直线,通常n=180,此时检测的直线的角度精度为1°,分别计算这n条直线的(r,theta)坐标,得到n个坐标点。如果要判断的点共有N个,最终得到的(r,theta)坐标有N*n个。有关这N*n个(r,theta)坐标,其中theta是离散的角度,共有180个取值。如果多个点在一条直线上,那么必有这多个点在theta=某个值theta_i时,这多个点的r近似相等于r_i。也就是说这多个点都在直线(r_i,theta_i)上。在实际的直线检测情况中,如果超过一定数目的点拥有相同的(r,theta)坐标,那么就可以判定此处有一条直线。
所述直线检测的方法在另一具体实施例中还可以为利用最小二乘法进行直线检测,又或者结合随机Hough变换(RHT)抗噪声能力强与最小二乘法(LSM)拟合精度高的特性,基于随机Hough变换与最小二乘法进行直线检测。该直线检测方法能用于背景噪声较强且直线存在一定弯曲的图像,检测精度高。首先,用随机Hough变换确定直线的大致位置,得到直线参量和数量;然后,利用所得直线参数,计算图像中的点到直线的距离,根据距离,可以确定每条直线附近的点集,剔除干扰点和噪声;最后,用最小二乘法对点集中的各点进行拟合,得到精确的直线参量。
库位位置信息获取模块313,与所述直线提取模块312通信相连,用以根据预设的库位特征,提取所述所有直线中的有效直线作为库位线,以根据所述库位线获取所述可能库位区域中的各库位位置信息。
于本发明一具体实施例中,所述处理装置31还包括:库位图形显示模块,与所述库位位置信息获取模块通信相连,根据所述库位位置信息,提取所述库位的至少两个顶点的物理位置信息,并根据所述至少两个顶点的物理位置信息,在预设的交互界面中显示相应的库位图形。例如可提取所述库位的四个顶点的物理位置信息以在预设的交互界面中显示相应的库位图形。进一步的,所述交互界面中可显示多个检测到的库位图形,且在接受用户对一库位图形的手动选择后,以根据自动泊车***,将汽车泊入相应的库位中。
所述库位图形显示模块的显示界面中,还用以将所述汽车的图形虚拟到该界面中,且在将汽车泊入相应的库位的过程中,实时显示汽车泊入的对应的虚拟画面,以让用户可以及时了解泊车的过程和状态。优选的,当交互界面中显示的库位图形与全景图像中显示的库位有偏差时,用户可以手动调节该库位图形至与相应的预设的库位图形重合。例如通过库位的四个顶点的物理位置信息在该全景图像中显示的库位图形为图2中的库位图形24所示,可见该库位图形24与该全景图像中显示的对应库位有一定的偏差,用户可以根据上、下、左、以及右的图像调整操作,将该库位图形24调整至与该全景图像中对应的库位重合。
进一步的,所述库位图形显示模块例如为一触摸显示屏,通过用户进行的触控输入,选择相应的库位。
触摸屏在设备与用户之间同时提供输出接口和输入接口。触摸屏控制器接收/发送来自/去往触摸屏的电信号。该触摸屏则向用户显示可视输出。这个可视输出可以包括文本、图形、视频及其任意组合。某些或所有可视输出可与用户接口对象相对应,在下文中将对它的更多细节进行描述。
触摸屏还基于触觉和/或触知接触来接受用户的输入。该触摸屏形成一个接受用户输入的触摸敏感表面。该触摸屏和触摸屏控制器(连同存储器中任何相关联的模块和/或指令集一起)检测触摸屏上的接触(以及所述触摸的任何移动或中断),并且将检测到的接触变换成与显示在触摸屏上的诸如一个或多个软按键之类的用户界面对象的交互。
在一个示例性实施例中,触摸屏与用户之间的接触点对应于用户的一个或多个手指。该触摸屏可以使用LCD(液晶显示器)技术或LPD(发光聚合物显示器)技术,但在其他实施例中可使用其他显示技术。
触摸屏和触摸屏控制器可以使用多种触敏技术中的任何一种来检测接触及其移动或中断,这些触敏技术包括但不限于电容、电阻、红外和声表面波技术,以及其他接近传感器阵列,或用于确定与触摸屏相接触的一个或多个点的其他技术。用户可以使用任何适当物体或配件,例如指示笔、手指等等,来接触触摸屏。
该触摸显示屏还具有一个接触/运动模块,该接触/运动模块与触摸屏控制器一道来检测与触摸屏的接触。该接触/运动模块包括用于执行与跟触摸屏的接触检测相关联的各种操作的各种软件组件,所述操作例如确定是否发生接触,确定该接触是否移动,以及追踪触摸屏上的移动,并且确定该接触是否中断(即是否停止接触)。确定接触点移动的操作可以包括确定接触点的速率(幅度)、速度(幅度和方向)和/或加速度(包括幅度和/或方向)。在某些实施例中,接触/运动模块和触摸屏控制器还检测触摸板上的接触。
该触摸显示屏在运行过程中还具有图形模块,该图形模块包括用于在触摸屏上呈现和显示图形的各种已知软件组件。注意术语“图形”包括可以显示给用户的任何对象,包括但不局限于文本、网页、图标(例如包括软按键在内的用户界面对象)、数字图像、视频、动画等等。
在某些实施例中,图形模块包括光强模块。该光强模块控制用户界面对象这类显示在触摸屏上的图形对象的光强。光强控制可以包括增大或减小图形对象的光强。在某些实施例中,所述增大或减小可以遵循预定函数。
用户界面状态模块控制设备的用户界面状态。该用户界面状态模块可以包括锁定模块和解锁模块。锁定模块检测对将设备转换到用户界面锁定状态,以及将设备转换到锁定状态的一个或多个条件中的任何一个条件的满足。解锁模块检测对将设备转换到用户界面解锁状态,以及将设备转换到解锁状态的一个或多个条件中的任何一个的满足。在下文中将会描述与用户界面状态相关的更多细节。
于本发明一具体实施例中,所述库位检测***30还包括:存储模块32,与所述处理装置31中的库位位置信息获取模块313通信相连,存储有所述预设的库位特征;所述库位特征至少包括以下特征中的一种或多种:
特征一:预设的库位形状;当检测出的直线能够构成一个垂直设置、平行设置矩形区域、或倾斜设置的矩形区域,并且该矩形区域的大小与库位国家标准中的要求要求相匹配时,那么可以判断检测出的直线构成的该矩形区域对应了一个库位。
特征二:库位由两条平行线和一条垂直线或特定角度直线组成,所述平行线间的间距在预设库位长度范围内;所述两条平行线例如为图2所示的位于库位的长度方向上两端的平行线,所述垂直线为沿所述库位长度方向且与所述两平行线垂直的直线,且相邻的两组该两条平行线和一条垂直线标识一个库位,且相邻的两条垂直线间的距离在预设的库位宽度范围内。所述预设库位长度范围以及预设库位宽度范围根据国家标准中对相应车型的库位的长度和宽度的要求而进行设置。例如,国家标准中,对垂直设置的小型汽车的库位的宽度为2.8米,所以,此处的预设库位宽度范围可以为2.8米~3.0米。
特征三:组成库位的直线与其他区域的灰度差值大于预设灰度差值阈值;通常组成库位轮廓的直线较其周围区域的亮度较高,可以通过判断直线与直线周围的区域的灰度差值是否大于一个阈值来作为判断该直线是否为组成库位的有效直线的一个标准。
特征四:相邻库位的形状相同,一般库位不会孤立存在,通常会有多个相同设置方式的库位形成一排,例如相邻库位均为垂直设置的库位形状(如图2)、或均为平行设置的库位形状(如图3)、或均为倾斜设置的库位形状(如图4)时,判断该区域为一库位区域。
特征五:库位由两条相对线和一条相交线组成,所述相对线间的间距在预设库位长度范围内;所述相对线与所述相交线的夹角在预设角度范围内。
以上五种库位特征可以单独用来判断库位的存在,但是为了提高库位检测的精度,可以将多个特征进行结合来综合判断直线组成的区域是否为一库位区域。
例如,结合特征二和特征三,且检测出的库位由两条平行线和一条垂直线或特定角度直线组成,所述平行线间的间距在预设库位长度范围内,且同时组成库位的直线与其他区域的灰度差值大于预设灰度差值阈值,即同时满足特征二和特征三时,判断直线组成的区域为一有效的库位区域,提高库位检测的精度。
又例如,结合特征二、特征三、以及特征四,且检测出的库位由两条平行线和一条垂直线或特定角度直线组成,所述平行线间的间距在预设库位长度范围内,且同时组成库位的直线与其他区域的灰度差值大于预设灰度差值阈值,且相邻库位的形状相同,即同时满足特征二、特征三、和特征四时,判断直线组成的区域为一有效的库位区域。
又例如,结合特征一、特征二、特征三、以及特征四,且检测出的库位与预设的库位形状相同,且由两条平行线和一条垂直线组成,所述平行线间的间距在预设库位长度范围内,且同时组成库位的直线与其他区域的灰度差值大于预设灰度差值阈值,且相邻库位的形状相同,即同时满足特征一、特征二、特征三、和特征四时,判断直线组成的区域为一库位区域。
在另一具体实施例中,又或者选择的库位特征设置优先级,且先对优先级高的库位特征进行比较,进而对优先级次之的库位特征进行比较,直到应用的库位特征中,优先级最低的库位特征都匹配时,判断获取到有效的库位。
例如,选取特征二和特征三作为应用的库位特征,且特征二的优先级大于库位三的优先级,即,当检测出的直线在符合特征二的情况下,即检测出的库位由两条平行线和一条垂直线或特定角度直线组成,所述平行线间的间距在预设库位长度范围内,再判断检测出的直线是否符合特征三,即组成库位的直线与其他区域的灰度差值大于预设灰度差值阈值,在满足特征二的条件下,还满足特征三时,判断直线组成的该区域为一有效的库位区域,提高库位检测的精度。
又例如,选取特征二、特征三、以及特征四为应用的库位特征,特征二的优先级大于特征三,特征三的优先级大于特征四,即检测出的库位由两条平行线和一条垂直线或特定角度直线组成,所述平行线间的间距在预设库位长度范围内时,既满足特征二的要求,则进一步检测组成库位的直线与其他区域的灰度差值大于预设灰度差值阈值,即满足特征三的要求,则进一步检测相邻库位的形状相同,即满足特征四的要求,即以该预设的优先级顺序,判断直线组成的区域为一有效的库位区域。
又例如,选取特征一、特征二、特征三、以及特征四为应用的库位特征,特征一的优先级大于特征二,特征二的优先级大于特征三,特征三的优先级大于特征四,即当检测出的库位与预设的库位形状相同时,满足特征一的要求,则进一步检测获取到的直线满足库位由两条平行线和一条垂直线或特定角度直线组成,所述平行线间的间距在预设库位长度范围内的要求,既满足特征二的要求,则进一步检测组成库位的直线与其他区域的灰度差值大于预设灰度差值阈值,即满足特征三的要求,则进一步检测相邻库位的形状相同,即满足特征四的要求,即以该预设的优先级顺序,判断直线组成的区域为一有效的库位区域。
选取的特征之间的优先级可以根据具体情况进行人为设定,并可以实时进行调整。
所述的存储模块32可包括高速随机存取存储器,并且还可包括非易失性存储器,例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。在某些实施例中,存储模块32还可以包括一个或多个处理器的存储器,例如经由RF电路或外部端口以及通信网络访问的网络附加存储器,其中所述通信网络可以是因特网、一个或多个内部网、局域网(LAN)、广域网(WLAN)、存储局域网(SAN)等或其他适当组合。存储模块控制器可控制设备的诸如CPU和接口电路之类的其他组件对存储器的访问。
于本发明另一具体实施例中,所述处理装置31还可集成于一移动电子设备中,所述移动电子设备例如为与所述摄像头通信连接的智能手机,且,所述处理装置31设置于所述电子设备中,可以减小所述汽车10的车载终端的数据处理压力。所述摄像头与所述智能手机的通信连接为通过Bluetooth、CDMA2000、GSM、Infrared(IR)、ISM、RFID、UMTS/3GPPw/HSDPA、UWB、WiMAX Wi-Fi和ZigBee等无线通信协议中的一种进行无线通信。
进一步的,所述处理装置31在所述移动电子设备中以一种APP的形成存在,开启所述APP的方式,例如包括:用户手动打开、该移动电子设备检测到汽车10的车载终端发送的自动泊车请求时,该移动电子设备开启所述APP。
所述移动电子设备优选包括存储器、存储器控制器、一个或多个处理器(CPU)、接口电路、RF(射频)电路、音频电路、扬声器、麦克风、输入/输出(I/O)子***、触摸显示屏、其他输出或控制设备,以及外部端口。这些组件通过一条或多条通信总线或信号线进行通信。
该移动电子设备可以是任何便携式电子设备,包括但不限于笔记本电脑、平板电脑、智能手机、多媒体播放器、个人数字助理(PDA)等等,还可能包括其中两项或多项的组合。应当理解,本实施例中列举的设备只是便携式电子设备的一个实例,该设备的组件可以比图示中给出的具有更多或更少的组件,或具有不同的组件配置。图中所示的各种组件可以用硬件、软件或软硬件的组合来实现,包括一个或多个信号处理和/或专路。
所述I/O子***提供设备的输入/输出外设和接口电路之间的接口,输入输出外设例如触摸屏和其他输入/控制设备。该I/O子***包括触摸屏控制器以及用于其他输出或控制设备的一个或多个输入控制器。所述一个或多个输入控制器接收/发送来自/去往其他输入或控制设备的电信号。所述其他输入/控制设备可包括物理按钮(例如按压按钮,摇杆按钮等等)、拨号盘、滑块开关、操纵杆等等。
或者在另一具体实施例中,所述汽车10的车载终端还可将所述摄像头获得的数据发送至一云端中,并且所述处理装置31集成于与所述云端关联的服务器中,并将处理结果发送至所述车载终端以进行显示,同样将数据的主要处理过程放置于云端,可减小所述汽车10的数据处理压力。
或者在另一具体实施例中,所述摄像头获取的数据被上传至一网络平台中,且与该网络平台关联的服务器集成的所述处理装置31对所述摄像头上传的数据进行处理,所述汽车10的车载终端或者其他终端,可以通过预先注册的用户名密码登录至所述网络平台,以获取所述处理装置31的处理结果,并进行相应的显示等操作。
且更进一步的,所述库位图形显示模块可以为集成于所述汽车10的车载显示终端中,或者也可以为集成于所述智能手机中。
所述库位检测***30的技术方案与所述库位检测方法10的技术方案相对应,所有关于所述库位检测方法10的描述均可应用于本实施例中。
综上所述,本发明的库位检测方法、***、及移动设备,根据摄像头拍摄的图像,形成关于所述移动设备的图像;提取所述图像中处于所述移动设备附近的可能库位区域内的所有直线;根据预设的库位特征,提取所述所有直线中的有效直线作为库位线,以根据所述库位线获取所述可能库位区域中的各库位位置信息。本发明将摄像头拍摄的图像中的库位区域的直线与库位特征进行比对,提取出库位位置信息,进而可以较为准确的定位出库位的位置,以为自动泊车提供协助。所以,本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种库位检测方法,其特征在于,应用于具有至少一个摄像头的移动设备上,所述库位检测方法包括:
根据至少一所述摄像头拍摄的图像,形成关于所述移动设备的特定视角的图像;
提取所述图像中处于所述移动设备附近的可能库位区域内的所有直线;
根据预设的库位特征,提取所述所有直线中的有效直线作为库位线,根据所述库位线获取所述可能库位区域中的各库位位置信息。
2.根据权利要求1所述的库位检测方法,其特征在于:所述库位检测方法还包括:
对所述摄像头拍摄的图像进行预处理,根据预处理后的图像形成关于所述移动设备的图像;所述预处理至少包括以下方式中的一种:
方式一:对各所述摄像头拍摄的图像去除噪音;
方式二:根据预设的标定校正规则对各所述摄像头拍摄的图像进行标定校正;
方式三:对各所述摄像头拍摄的图像进行截取、拼接以及视频平滑处理。
3.根据权利要求1所述的库位检测方法,其特征在于:所述移动设备附近的可能库位区域包括位于所述移动设备的左侧预设距离内的区域、位于所述移动设备的右侧预设距离内的区域、位于所述移动设备的前方预设距离内的区域、位于所述移动设备的后方预设距离内的区域、位于所述移动设备的左前方预设距离内的区域、位于所述移动设备的右前方预设距离内的区域、位于所述移动设备的左后方预设距离内的区域、或/和位于所述移动设备的右后方预设距离内的区域。
4.根据权利要求1所述的库位检测方法,其特征在于:所述库位特征包括以下特征中的一种或多种:
特征一:预设的库位形状;
特征二:库位由两条平行线和一条垂直线或特定角度直线组成,所述平行线间的间距在预设库位长度范围内;
特征三:组成库位的直线与其他区域的灰度差值大于预设灰度差值阈值;
特征四:相邻库位的形状相同;
特征五:库位由两条相对线和一条相交线组成,所述相对线间的间距在预设库位长度范围内;所述相对线与所述相交线的夹角在预设角度范围内。
5.根据权利要求1所述的库位检测方法,其特征在于,所述库位检测方法还包括:
根据所述库位位置信息,提取所述库位的至少两个顶点的物理位置信息,并根据所述至少两个顶点的物理位置信息,在预设的交互界面中显示相应的库位图形。
6.一种库位检测***,其特征在于:应用于具有至少一个摄像头的移动设备上,所述库位检测***包括与所述摄像头通信相连的处理装置,所述处理装置包括:
图像获取模块,用以根据所有所述摄像头拍摄的图像,形成关于所述移动设备的特定视角的图像;
直线提取模块,与所述图像获取模块通信相连,用以提取所述特定视角的图像中处于所述移动设备附近的可能库位区域内的所有直线;
库位位置信息获取模块,与所述直线提取模块通信相连,用以根据预设的库位特征,提取所述所有直线中的有效直线作为库位线,根据所述库位线获取所述可能库位区域中的各库位位置信息。
7.根据权利要求6所述的库位检测***,其特征在于,所述处理装置还包括:
库位图形显示模块,与所述库位位置信息获取模块通信相连,根据所述库位位置信息,提取所述库位的至少两个顶点的物理位置信息,并根据所述至少两个顶点的物理位置信息,在预设的交互界面中显示相应的库位图形。
8.根据权利要求6所述的库位检测***,其特征在于,所述库位检测***还包括:
存储模块,与所述处理装置中的库位位置信息获取模块通信相连,存储有所述预设的库位特征;所述库位特征包括以下特征中的一种或多种:
特征一:预设的库位形状;
特征二:库位由两条平行线和一条垂直线或特定角度直线组成,所述平行线间的间距在预设库位长度范围内;
特征三:组成库位的直线与其他区域的灰度差值大于预设灰度差值阈值;
特征四:相邻库位的形状相同;
特征五:库位由两条相对线和一条相交线组成,所述相对线间的间距在预设库位长度范围内;所述相对线与所述相交线的夹角在预设角度范围内。
9.一种移动设备,其特征在于:具有至少一个摄像头以及如权利要求6~8中任一项所述的库位检测***;所述移动设备包括汽车或智能手机。
10.一种库位检测方法,其特征在于,所述库位检测方法包括:
提取一图像中处于移动设备附近的可能库位区域内的所有直线;
根据预设的库位特征,提取所述所有直线中的有效直线作为库位线,根据所述库位线获取所述可能库位区域中的各库位位置信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610976121.9A CN106541944B (zh) | 2016-11-07 | 2016-11-07 | 一种库位检测方法、***、及移动设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610976121.9A CN106541944B (zh) | 2016-11-07 | 2016-11-07 | 一种库位检测方法、***、及移动设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106541944A true CN106541944A (zh) | 2017-03-29 |
CN106541944B CN106541944B (zh) | 2019-03-05 |
Family
ID=58394688
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610976121.9A Active CN106541944B (zh) | 2016-11-07 | 2016-11-07 | 一种库位检测方法、***、及移动设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106541944B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108569280A (zh) * | 2017-12-15 | 2018-09-25 | 蔚来汽车有限公司 | 自动泊车的方法和设备、智能汽车以及计算机存储介质 |
CN109614913A (zh) * | 2018-12-05 | 2019-04-12 | 北京纵目安驰智能科技有限公司 | 一种斜车位识别方法、装置和存储介质 |
JP2019087112A (ja) * | 2017-11-08 | 2019-06-06 | アイシン精機株式会社 | 車両制御装置、および駐車システム |
CN110211420A (zh) * | 2019-06-25 | 2019-09-06 | 重庆长安汽车股份有限公司 | 判断当前场景是否为停车场的方法、***及计算机可读存储介质 |
CN110322680A (zh) * | 2018-03-29 | 2019-10-11 | 纵目科技(上海)股份有限公司 | 一种基于指定点的单车位检测方法、***、终端和存储介质 |
CN110443093A (zh) * | 2019-07-31 | 2019-11-12 | 安徽大学 | 一种面向智能化的红外数字全景***及其仓库管理方法 |
CN110472580A (zh) * | 2019-08-16 | 2019-11-19 | 北京茵沃汽车科技有限公司 | 基于全景影像的检测车位的方法、装置、存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007310591A (ja) * | 2006-05-17 | 2007-11-29 | Auto Network Gijutsu Kenkyusho:Kk | 画像処理装置及び駐車場判定方法 |
JP2010198440A (ja) * | 2009-02-26 | 2010-09-09 | Nissan Motor Co Ltd | 駐車支援装置及び障害物検知方法 |
CN102045546A (zh) * | 2010-12-15 | 2011-05-04 | 广州致远电子有限公司 | 一种全景泊车辅助*** |
JP2012118656A (ja) * | 2010-11-30 | 2012-06-21 | Suzuki Motor Corp | 駐車枠検出装置及び駐車枠検出方法 |
KR20120086576A (ko) * | 2011-01-26 | 2012-08-03 | 현대모비스 주식회사 | 주차 조향 보조 시스템 |
KR20130112550A (ko) * | 2012-04-04 | 2013-10-14 | 현대자동차주식회사 | Av 영상 기반의 주차위치 설정 장치 및 그 방법 |
KR20130114944A (ko) * | 2012-04-10 | 2013-10-21 | 현대자동차주식회사 | 차량의 주차구획 인식방법 |
KR101470240B1 (ko) * | 2013-11-14 | 2014-12-08 | 현대자동차주식회사 | 주차 영역 검출 장치 및 그 방법 |
CN104512335A (zh) * | 2013-10-04 | 2015-04-15 | 爱信精机株式会社 | 停车支援装置 |
CN104851076A (zh) * | 2015-05-27 | 2015-08-19 | 武汉理工大学 | 用于商用车的全景环视泊车辅助***及摄像头安装方法 |
CN105355083A (zh) * | 2015-12-14 | 2016-02-24 | 宁波裕兰信息科技有限公司 | 一种基于视觉的360度泊车辅助智能引导*** |
-
2016
- 2016-11-07 CN CN201610976121.9A patent/CN106541944B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007310591A (ja) * | 2006-05-17 | 2007-11-29 | Auto Network Gijutsu Kenkyusho:Kk | 画像処理装置及び駐車場判定方法 |
JP2010198440A (ja) * | 2009-02-26 | 2010-09-09 | Nissan Motor Co Ltd | 駐車支援装置及び障害物検知方法 |
JP2012118656A (ja) * | 2010-11-30 | 2012-06-21 | Suzuki Motor Corp | 駐車枠検出装置及び駐車枠検出方法 |
CN102045546A (zh) * | 2010-12-15 | 2011-05-04 | 广州致远电子有限公司 | 一种全景泊车辅助*** |
KR20120086576A (ko) * | 2011-01-26 | 2012-08-03 | 현대모비스 주식회사 | 주차 조향 보조 시스템 |
KR20130112550A (ko) * | 2012-04-04 | 2013-10-14 | 현대자동차주식회사 | Av 영상 기반의 주차위치 설정 장치 및 그 방법 |
KR20130114944A (ko) * | 2012-04-10 | 2013-10-21 | 현대자동차주식회사 | 차량의 주차구획 인식방법 |
CN104512335A (zh) * | 2013-10-04 | 2015-04-15 | 爱信精机株式会社 | 停车支援装置 |
KR101470240B1 (ko) * | 2013-11-14 | 2014-12-08 | 현대자동차주식회사 | 주차 영역 검출 장치 및 그 방법 |
CN104851076A (zh) * | 2015-05-27 | 2015-08-19 | 武汉理工大学 | 用于商用车的全景环视泊车辅助***及摄像头安装方法 |
CN105355083A (zh) * | 2015-12-14 | 2016-02-24 | 宁波裕兰信息科技有限公司 | 一种基于视觉的360度泊车辅助智能引导*** |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019087112A (ja) * | 2017-11-08 | 2019-06-06 | アイシン精機株式会社 | 車両制御装置、および駐車システム |
CN108569280A (zh) * | 2017-12-15 | 2018-09-25 | 蔚来汽车有限公司 | 自动泊车的方法和设备、智能汽车以及计算机存储介质 |
CN108569280B (zh) * | 2017-12-15 | 2020-03-24 | 上海蔚来汽车有限公司 | 自动泊车的方法和设备、智能汽车以及计算机存储介质 |
CN110322680A (zh) * | 2018-03-29 | 2019-10-11 | 纵目科技(上海)股份有限公司 | 一种基于指定点的单车位检测方法、***、终端和存储介质 |
CN110322680B (zh) * | 2018-03-29 | 2022-01-28 | 纵目科技(上海)股份有限公司 | 一种基于指定点的单车位检测方法、***、终端和存储介质 |
CN109614913A (zh) * | 2018-12-05 | 2019-04-12 | 北京纵目安驰智能科技有限公司 | 一种斜车位识别方法、装置和存储介质 |
CN110211420A (zh) * | 2019-06-25 | 2019-09-06 | 重庆长安汽车股份有限公司 | 判断当前场景是否为停车场的方法、***及计算机可读存储介质 |
CN110211420B (zh) * | 2019-06-25 | 2021-11-30 | 重庆长安汽车股份有限公司 | 判断当前场景是否为停车场的方法、***及计算机可读存储介质 |
CN110443093A (zh) * | 2019-07-31 | 2019-11-12 | 安徽大学 | 一种面向智能化的红外数字全景***及其仓库管理方法 |
CN110443093B (zh) * | 2019-07-31 | 2022-07-29 | 安徽大学 | 一种面向智能化的红外数字全景***及其仓库管理方法 |
CN110472580A (zh) * | 2019-08-16 | 2019-11-19 | 北京茵沃汽车科技有限公司 | 基于全景影像的检测车位的方法、装置、存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN106541944B (zh) | 2019-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106541944B (zh) | 一种库位检测方法、***、及移动设备 | |
CN106585627B (zh) | 泊车辅助***及汽车 | |
CN106772389A (zh) | 一种库位检测方法、***、及移动设备 | |
US10262466B2 (en) | Systems and methods for adjusting a combined image visualization based on depth information | |
CN106573576B (zh) | 在碗形成像***内跟踪对象 | |
US11048953B2 (en) | Systems and methods for facial liveness detection | |
CN106952308B (zh) | 运动物体的位置确定方法及*** | |
CN108027877B (zh) | 用于非障碍区检测的***和方法 | |
CN106541914A (zh) | 一种具有摄像头以及测距装置的汽车 | |
US9129397B2 (en) | Human tracking method and apparatus using color histogram | |
US9542745B2 (en) | Apparatus and method for estimating orientation of camera | |
CN110415555B (zh) | 一种基于深度学习的有效划线车位识别方法和*** | |
CN107507239B (zh) | 一种图像分割方法及移动终端 | |
CN105989603B (zh) | 机器视觉图像传感器校准 | |
CN108352056A (zh) | 用于校正错误深度信息的***和方法 | |
CN106780550B (zh) | 一种目标跟踪方法及电子设备 | |
CN105960800A (zh) | 影像显示装置及影像显示*** | |
CN105303514A (zh) | 图像处理方法和装置 | |
CN104376741A (zh) | 一种车位状态检测方法与*** | |
CN110825900A (zh) | 特征重构层的训练方法、图像特征的重构方法及相关装置 | |
CN206900301U (zh) | 一种具有摄像头以及测距装置的汽车 | |
CN107851301B (zh) | 用于选择图像变换的***和方法 | |
CN105163034A (zh) | 一种拍照方法及移动终端 | |
JP2021531601A (ja) | ニューラルネットワーク訓練、視線検出方法及び装置並びに電子機器 | |
CN108010065A (zh) | 低空目标快速检测方法及装置、存储介质及电子终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |