CN113353067A - 一种基于全景摄像头的多环境检测与多模态匹配的平行泊车路径规划*** - Google Patents
一种基于全景摄像头的多环境检测与多模态匹配的平行泊车路径规划*** Download PDFInfo
- Publication number
- CN113353067A CN113353067A CN202110795200.0A CN202110795200A CN113353067A CN 113353067 A CN113353067 A CN 113353067A CN 202110795200 A CN202110795200 A CN 202110795200A CN 113353067 A CN113353067 A CN 113353067A
- Authority
- CN
- China
- Prior art keywords
- parking
- pose
- vehicle
- path
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 29
- 230000008569 process Effects 0.000 claims description 6
- 239000000725 suspension Substances 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 4
- 206010034719 Personality change Diseases 0.000 claims description 3
- 230000004888 barrier function Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 230000003796 beauty Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/06—Automatic manoeuvring for parking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/50—Barriers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
- B60W2555/20—Ambient conditions, e.g. wind or rain
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
Abstract
本申请实施例公开了一种基于全景摄像头的多环境检测与多模态匹配的平行泊车路径规划***。该方法包括：采用安装于车顶的可升降图像采集装置获取图像信息，通过图像信息分析车身参数以及泊车环境，将识别道路信息以及车位等环境信息分类，根据该环境类型进行模态匹配，规划泊车路径。本发明实例使用可升降折反射式摄像头实现对周围环境的信息采集，能够针对不同车型调整升降高度，解决相机拼接问题，降低成本；使用自适应方式获取车身参数；除此之外，使用多环境与多模态匹配方式规划路径，针对不同模态选取不同路径规划方式，增加了平行泊车适用范围。
Description
技术领域
本发明涉及自动泊车技术领域，特别涉及一种平行泊车路径规划方法及***。
背景技术
自动平行泊车技术是自动泊车技术的重要组成部分，也是泊车较为困难的技术。其可以协助驾驶员实现快速停车,减少车辆碰撞等认为因素造成的事故,降低驾驶员的技能要求。现如今国内外众多厂商已经在其量产车型中装配自动泊车***。
现有的自动平行泊车技术有以下不足：
1.目前大部分自动平行泊车***使用多摄像头拼接获取周围环境信息，成本高，结构复杂，同时多相机校正难度较大，成像质量不高；
2.对车位和道路宽度要求严格，狭小车位以及狭窄道路情况下通常无法正常泊车；
3.面临泊车位紧俏场景下,若后方存在待泊车辆,采取正常泊车技术极易被后方车辆提前驶进抢占车位，大大降低了泊车效率。
发明内容
鉴于此，本发明的目的就是克服上述问题或者部分解决上述问题而提出一种基于全景摄像头的多环境检测与多模态匹配的平行泊车路径规划***
本发明的目的可以通过以下技术方案来实现：
一种基于全景摄像头的多环境检测与多模态匹配的平行泊车路径规划***，包括：图像采集装置；图像处理模块；环境检测模块；数据模块；模态分类与匹配模块；路径规划模块；
该方法包括：当用户执行泊车命令时，安装于车顶的可升降图像采集装置上升并获取图像信息，通过图像信息分析车身参数以及泊车环境，将识别道路信息以及车位等环境信息分类，根据该环境类型进行模态匹配，规划泊车路径。使用可升降折反射式摄像头实现对周围环境的信息采集，能够针对不同车型调整升降高度，解决相机拼接问题，降低成本；使用自适应方式获取车身参数；除此之外，使用多环境与多模态匹配方式规划路径，针对不同模态选取不同路径规划方式，增加了平行泊车适用范围。
可选地，所述折反射全景相机用于获取车辆及环境图像信息，所述车辆信息图像包括车辆外形，尺寸以及颜色等，所述环境信息包括车辆周围有效视角范围内的环境信息图像；图像处理单元，所述图像处理单元用于将上述图像信息展开成无畸变的俯视图。
可选地，所描述的固定装置包括升降装置以及底部固定基座，所述底部固定基座用于安置于车顶，固定位置以及升降装置；所述升降装置用于实现全景相机在车顶垂直升降。
所述图像处理单元包括图像展开单元，所述图像处理单元用于将所述图像展开成俯视图；畸变校正单元，所述畸变校正单元用于基于所述俯视图进行相机标定，并利用所述校正参数对所述俯视图进行校正，并且根据单应性矩阵，利用双线性插值法对所述俯视图进行校正获得无畸变俯视图。
进一步，所述展开步骤S5包括：
S51.根据光学反射与原理和几何学原理，设生成目标俯视图为IMG_VERT，其尺寸为(H,W)，获取全景为IMG_SRC，其尺寸为(H0,W0)，全景相机反射镜面参数
相机焦距为f,；
S52.以全景相机反射镜面焦点为中心，在二维平面建立侧坐标系XOY；
S53.令
设目标俯视图上任意一点像素点坐标为(x，y),则可计算出俯视图像素点(x，y)对应全景图的插值点为(x0,y0)，
S54.其展开结果为IMG_VERT(x,y)＝IMG_SRC(x0,y0)。
可选地，根据所述的畸变校正单元，对俯视图进行其畸变矫正。进一步，所述步骤S6包括：
S61.将全景相机及固定装置安装在车体顶端，尽可能使相机垂直于地面，在车身前、后、左、右放置相机标定装置，分别移动四个标定装置且保证在相机拍摄范围内，存储图像数据；
S62.根据权利要求5所述的展开俯视图方法，将存储的图像数据展开的俯视图IMG_VERT；
S63.根据俯视图IMG_VERT图像，获取畸变参数，以及相对外参；
S64.对后续图像进行畸变参数校正以及旋转变换，使图像垂直于地面。
检测模块中设有目标分类器，所述目标分类器用于将图像样本分类为车位、道路线、后方车辆其他障碍物信息。检测步骤S8包括:
S81.获取车辆周围环境信息，并根据所述车辆周围环境信息得到车位信息以及道路信息。所述车位信息包括每一车位的车位参数和车位内障碍物信息，所述道路信息包括道路宽度参数和是否存在后方来车参数；
S82.根据车位内障碍物信息对所述车位信息和与之相邻道路宽度参数进行存储；
S83.根据车辆运动情况实时更新存储的每一车位的车位信息以及相邻道路宽度参数；
S84.根据实时更新的每一车位的车位参数和车位内障碍物信息确定是否可泊以及与所述车辆的距离；
S85.根据以上实时环境信息，将检测到泊车环境分类。
可选的，所述数据模块用于估计车辆数据包括：车长、车宽、轴距、前悬、后悬、最大等效前轮转角、最大等效前轮转角转速。所述数据模块使用图像信息，计算车长、车宽；使用相邻图像信息计算车辆姿态变化，继而计算出车辆数据。
可选的，所述模态分类与匹配模块，包括但不限于单步泊车模态M1，多步泊车模态M2，抢占车位模态M3。同时根据所设定的环境分类将泊车环境与泊车模态进行匹配。
可选的，所述泊车路径指根据车辆的起始姿态，目标停车位姿以及中间位姿信息，根据所述中间位姿对所述起始泊车位姿与所述目标停车位姿之间的路径进行分段规划，获得目标行驶路径。其中，所述目标行驶路径用于所述车辆从所述起始位姿行驶至所述目标停车位姿。
其中，中间姿态指所述车辆以最大方向盘转角能够无碰撞行驶出所述车库的车辆姿态，且所述车辆位于所述中间位姿时所述车辆的至少部分位于所述目标停车位所在的车库内；
其中目标停车姿态指所述车辆中心与所述目标车位中心重合，且所述车辆车身平行于所述车位的车辆姿态。
其中，所述起始泊车位姿对所述中间位姿之间的路径分段由两段单向弧线分段组成，且满足所述起始泊车位姿对所述中间位姿之间的路径过程中所述车辆不与所述车位两端、里侧车位线以及道路边界相碰撞。
,其中，所述中间位姿对所述目标停车位姿之间的路径分段由多段圆弧和直线轨迹分段组成，且满足所述起始泊车位姿对所述中间位姿之间的路径过程中所述车辆不与所述车位两端和里侧车位线相碰撞。
可选的，所述单步泊车模态生成路径目标停车位姿和中间位姿重合，即无需进行中间位姿对目标位姿进行路径规划。
可选的，所述单步泊车模态生成路径目标停车位姿和中间位姿不重合，即需要对进行中间位姿对目标位姿进行路径规划。
可选的，所述抢占车位模态路径的所述起始泊车位姿位于所述目标停车位后方，所述中间位姿对所述起始泊车位姿之间的路径分段规划指，根据所述起始泊车位姿、所述中间位姿以及抢占位姿信息，根据所述起始泊车位姿、所述抢占位姿、所述中间位姿进行分段划分，获得所述中间位姿对所述起始泊车位姿之间的路径分段。
其中，所述抢占姿态指所述车辆能够无碰撞行驶至所述中间位姿状态的车辆姿态，且所述车辆位于所述抢占位姿时所述车辆的至少部分位于所述目标停车位所在的车库内。
其中，所述起始泊车位姿与所述转向位姿的路径分段，规划方法为所述起始泊车位姿对所述抢占位姿之间得路径分段规划指，根据所述起始泊车位姿、所抢占位姿及转向位姿，根据所述起始泊车位姿、所述转向位姿以及所述抢占位姿进行分段划分，获得所述起始泊车位姿对所述抢占位姿之间的路径分段。
其中，所述转向姿态指所述车辆能够从所述起始泊车位姿无碰撞行驶至所述抢占位姿状态的中间车辆位姿，且所述车辆位于所述转向位姿时所述车辆的至少部分位于所述目标停车位所在的车库内。
其中，所述起始泊车位姿对所述转向位姿之间的路径分段与所述转向位姿对所述抢占位姿之间得路径分段，所述车辆的路径轨迹皆单向弧线轨迹。
本发明公开了以下技术效果：本发明使用垂直放置于车顶的折反射式全景相机获取车身和环境图像，根据车辆控制和图像信息实现自适应获取车辆数据，根据环境信息，划分为四种不同泊车环境，依此匹配三种泊车模态，根据所选模态规划泊车路径，解决标准车位泊车，狭窄车位和道路泊车以及应对后方车辆抢占车位的泊车方式。
附图说明
为了使本发明的目的，技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：
图1为本发明的平行泊车路径规划流程图；
图2为本发明全景相机安装示意图；
图3为本发明的俯视图展开示意图；
图4为本发明实施例中的模态1泊车路径示意图；
图5为本发明实施例中的模态2泊车路径示意图；
图6为本发明实施例中的模态3泊车路径示意图。
具体实施方式
为更进一步阐述本发明为达成预计发明目的所采取的技术手段及功效，以下将结合附图，对本发明所述的方法做进一步的详细说明,显然，所述实施例仅是本发明的一部分实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的其他实施例都属于本发明的保护范围。
本发明提供了一种基于全景摄像头的多环境检测与多模态匹配的平行泊车路径规划***，其特征在于，包括：图像采集装置；图像处理模块；环境检测模块；数据模块；模态分类与匹配模块；路径规划模块。
当用户执行泊车命令时，安置于车顶的图像采集装置上升并获取图像信息，分析车身参数以及周围环境信息，识别满足泊车要求的平行泊车位并将其分类，根据该环境类型进行模态匹配，规划泊车路径并跟踪控制完成泊车任务。
上述的图像采集装置由折反射式全景相机以及固定装置构成，通过所述折反射全景相机获取车辆及环境图像信息，其中所述车辆信息图像包括车辆外形，尺寸以及颜色等，所述环境信息包括车辆周围有效视角范围内的环境信息图像；
所描述的固定装置包括移动固定滑块，导轨以及底部固定基座，所述底部固定基座用于垂直安置于车顶，固定位置以及安放导轨；所述移动固定滑块用于固定全景相机并实现在导轨上移动，从而实现升降摄像头，调整所获取图像范围。
获取图像信息后，图像处理单元将其展开为无畸变的俯视图。所述图像处理单元包括图像展开单元，用于将所述图像展开成俯视图；畸变校正单元，用于基于所述俯视图进行相机标定，并利用所述校正参数对所述俯视图进行校正，并且根据单应性矩阵，利用双线性插值法对所述俯视图进行校正获得无畸变俯视图。其中图像展开单元，具体展开俯视图方法步骤S5包括：
S51.将全景相机及固定装置安装在车体顶端，尽可能使相机垂直于地面；
S52.根据光学反射与原理和几何学原理，设生成目标俯视图为IMG_VERT，其尺寸为(H,W)，获取全景为IMG_SRC，其尺寸为(H0,W0)，全景相机反射镜面参数
相机焦距为f,；
S53.以全景相机反射镜面焦点为中心，在二维平面建立侧坐标系XOY；
S54.令
设目标俯视图上任意一点像素点坐标为(x，y),则有
a)
b)
S55.其展开结果为IMG_VERT(x,y)＝IMG_SRC(x0,y0)。
其中畸变校正单元，具体畸变矫正方法步骤S6包括：
S61.将全景相机及固定装置安装在车体顶端，尽可能使相机垂直于地面，在车身前、后、左、右放置相机标定装置，分别移动四个标定装置且保证在相机拍摄范围内，存储图像数据；
S62.根据权利要求5所述的展开俯视图方法，将存储的图像数据展开的俯视图IMG_VERT；
S63.根据俯视图IMG_VERT图像，获取畸变参数，以及相对外参；
S64.对后续图像进行畸变参数校正以及旋转变换，使图像垂直于地面。
所述环境检测模块，用于将图像样本分类为车位、道路线、后方车辆其他障碍物信息。具体分类步骤S8包括：
S81.获取车辆周围环境信息，并根据所述车辆周围环境信息得到车位信息以及道路信息。所述车位信息包括每一车位的车位参数和车位内障碍物信息，所述道路信息包括道路宽度参数和是否存在后方来车参数；
S82.根据车位内障碍物信息对所述车位信息和与之相邻道路宽度参数进行存储；
S83.根据车辆运动情况实时更新存储的每一车位的车位信息以及相邻道路宽度参数；
S84.根据实时更新的每一车位的车位参数和车位内障碍物信息确定是否可泊以及与所述车辆的距离；
S85.根据实时环境信息，将检测到的各车位分类成四种，包括标准泊车环境E1，狭窄车位环境E2，
狭窄道路环境E3，后方来车环境E4。具体分类方法步骤S9包括：
S91.输入车身参数，车位尺寸(Lp,Wp),道路宽度Wr以及后方是否有车辆；
S92.根据阿克曼转向原理，判断方向盘打满，可单步驶出的最小车位为：
S93.根据几何原理，计算出车位为(Lp1，Wp1)时，可单步驶出的最小转向角，最小路宽为：
S94.根据回旋曲线计算方法，计算曲线过度距离n0；
S95.标准车位环境E1分类条件为：车位尺寸不小于(Lp1，Wp1)，车道宽度不小于Wr；
狭窄车位环境E2分类条件为：车位尺寸大于(L，W)小于(Lp1，Wp1)，车道宽度不小于Wr；
狭窄道路环境E3分类条件为：车位尺寸大于(L，W)，车道宽度小于Wr；
抢占车位环境E4分类条件为：后方存在来车,且车位尺寸大于(L，W)。
所述数据模块用于估计车辆数据包括：车长、车宽、轴距、前悬、后悬、最大等效前轮转角、最大等效前轮转角转速。数据模块使用图像信息，计算车长、车宽；使用相邻图像信息计算车辆姿态变化，继而计算出车辆数据。
所述模态分类与匹配模块包括：单步泊车模态M1，多步泊车模态M2，抢占车位模态M3，同时根据上述环境分类：标准车位环境E1，狭窄车位环境E2，狭窄道路环境E3以及抢占车位环境E4进行匹配。其中，具体匹配方法为：M1匹配E1，M2匹配E2-E3,M3匹配E4。
在获取车身参数以及周围环境信息并进行环境分类与模态匹配后，选取模态类型进行泊车路径规划。具体方法为：根据车辆的起始姿态，目标停车位姿以及中间位姿信息，根据所述中间位姿对所述起始泊车位姿与所述目标停车位姿之间的路径进行分段规划，获得目标行驶路径。其中，所述目标行驶路径用于所述车辆从所述起始位姿行驶至所述目标停车位姿。
其中，所述中间姿态指所述车辆以最大方向盘转角能够无碰撞行驶出所述车库的车辆姿态，且所述车辆位于所述中间位姿时所述车辆的至少部分位于所述目标停车位所在的车库内；
其中，所述目标停车姿态指所述车辆中心与所述目标车位中心重合，且所述车辆车身平行于所述车位的车辆姿态。
其中，所述起始泊车位姿对所述中间位姿之间的路径分段由两段单向弧线分段组成，且满足所述起始泊车位姿对所述中间位姿之间的路径过程中所述车辆不与所述车位两端、里侧车位线以及道路边界相碰撞。
,其中，所述中间位姿对所述目标停车位姿之间的路径分段由多段圆弧和直线轨迹分段组成，且满足所述起始泊车位姿对所述中间位姿之间的路径过程中所述车辆不与所述车位两端和里侧车位线相碰撞。
对于不同模态具有不同路径规划方法，具体规划方法为：
1.单步泊车模态下，所述单步泊车模态生成路径目标停车位姿和中间位姿重合，即无需进行中间位姿对目标位姿进行路径规划。
2.多步泊车模态下，所述多步泊车模态生成路径目标停车位姿和中间位姿不重合，即需要对进行中间位姿对目标位姿进行路径规划。
3.抢占车位模态下，需要汽车泊车位姿对中间泊车位姿进一步规划，要求：起始泊车位姿位于所述目标停车位后方，所述中间位姿对所述起始泊车位姿之间的路径分段规划指，根据所述起始泊车位姿、所述中间位姿以及抢占位姿信息，根据所述起始泊车位姿、所述抢占位姿、所述中间位姿进行分段划分，获得所述中间位姿对所述起始泊车位姿之间的路径分段。
其中，所述抢占姿态指所述车辆能够无碰撞行驶至所述中间位姿状态的车辆姿态，且所述车辆位于所述抢占位姿时所述车辆的至少部分位于所述目标停车位所在的车库内。
其中，所述起始泊车位姿与所述转向位姿的路径分段，规划方法为所述起始泊车位姿对所述抢占位姿之间得路径分段规划指，根据所述起始泊车位姿、所抢占位姿及转向位姿，根据所述起始泊车位姿、所述转向位姿以及所述抢占位姿进行分段划分，获得所述起始泊车位姿对所述抢占位姿之间的路径分段。
其中，所述转向姿态指所述车辆能够从所述起始泊车位姿无碰撞行驶至所述抢占位姿状态的中间车辆位姿，且所述车辆位于所述转向位姿时所述车辆的至少部分位于所述目标停车位所在的车库内。
其中，所述起始泊车位姿对所述转向位姿之间的路径分段与所述转向位姿对所述抢占位姿之间得路径分段，所述车辆的路径轨迹皆单向弧线轨迹。
本发明公开了以下技术效果：本发明使用垂直放置于车顶的折反射式全景相机获取车身和环境图像，根据车辆控制和图像信息实现自适应获取车辆数据，根据环境信息，划分为四种不同泊车环境，依此匹配三种泊车模态，根据所选模态规划泊车路径，解决标准车位泊车，狭窄车位和道路泊车以及应对后方车辆抢占车位的泊车方式。
在本发明的描述中，需要理解的是，术语术语四类泊车环境：标准泊车环境E1，狭窄车位环境E2，狭窄道路环境E3，后方来车环境E4以及三类泊车模态：单步泊车模态M1，多步泊车模态M2，抢占车位模态M3，以及对应环境分类方法以及模态匹配方法为基于本实例所选的优选方式进行说明，仅是为了便于描述本发明，而不是指示或暗示所指的装置或元件必须具有特定的构造和操作，因此不能理解为对本发明的限制。
以上所述的实例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。
Claims (10)
1.一种基于全景摄像头的多环境检测与多模态匹配的平行泊车路径规划***，其特征在于，包括：
图像采集装置；图像处理模块；环境检测模块；数据模块；模态分类与匹配模块；路径规划模块；
所述平行泊车路径规划***，当用户执行泊车命令时，安置于车顶的图像采集装置上升并获取图像信息，分析车身参数以及周围环境信息，识别满足泊车要求的平行泊车位并将其分类，根据该环境类型进行模态匹配，规划泊车路径。
2.根据权利要求1所述的图像采集装置，其特征在于，包括：
折反射式全景相机以及固定装置，所述折反射全景相机用于获取车辆及环境图像信息，所述车辆信息图像包括车辆外形，尺寸以及颜色等，所述环境信息包括车辆周围有效视角范围内的环境信息图像；图像处理单元，所述图像处理单元用于将上述图像信息展开成无畸变的俯视图。
所描述的固定装置包括升降装置以及底部固定基座，所述底部固定基座用于安置于车顶，固定位置以及升降装置；所述升降装置用于实现全景相机在车顶垂直升降。
3.根据权利要求1，2所述的全景相机装置，其特征在于，所述图像处理单元包括图像展开单元，所述图像处理单元用于将所述图像展开成俯视图；畸变校正单元，所述畸变校正单元用于基于所述俯视图进行相机标定，并利用所述校正参数对所述俯视图进行校正，并且根据单应性矩阵，利用双线性插值法对所述俯视图进行校正获得无畸变俯视图。
所述展开俯视图方法，其特征在于，所述步骤S3包括：
S31.将全景相机及固定装置安装在车体顶端，尽可能使相机垂直于地面；
S32.根据光学反射与原理和几何学原理，设生成目标俯视图为IMG_VERT，其尺寸为(H,W)，获取全景为IMG_SRC，其尺寸为(H0,W0)，全景相机反射镜面参数
相机焦距为f,；
S33.以全景相机反射镜面焦点为中心，在二维平面建立侧坐标系XOY；
S34.根据几何原理和镜面反射原理，目标俯视图上任意一点像素点坐标为(x,y),令参数
则有：
S35.其展开结果为IMG_VERT(x,y)＝IMG_SRC(x0,y0)。
4.根据权利要求3所述的畸变校正单元，所述畸变矫正方法，其特征在于，所述步骤S4包括：
S41.将全景相机及固定装置安装在车体顶端，尽可能使相机垂直于地面，在车身前、后、左、右放置相机标定装置，分别移动四个标定装置且保证在相机拍摄范围内，存储图像数据；
S42.根据权利要求5所述的展开俯视图方法，将存储的图像数据展开的俯视图IMG_VERT；
S43.根据俯视图IMG_VERT图像，获取畸变参数，以及相对外参；
S44.对后续图像进行畸变参数校正以及旋转变换，使图像垂直于地面。
5.根据权利要求1所述的平行泊车路径规划***，其特征在于，所述环境检测模块中设有目标分类器，所述目标分类器用于将图像样本分类为车位、道路线、后方车辆其他障碍物信息。
包括如下步骤：
S51.获取车辆周围环境信息，并根据所述车辆周围环境信息得到车位信息以及道路信息。所述车位信息包括每一车位的车位参数和车位内障碍物信息，所述道路信息包括道路宽度参数和是否存在后方来车参数；
S52.根据车位内障碍物信息对所述车位信息和与之相邻道路宽度参数进行存储；
S53.根据车辆运动情况实时更新存储的每一车位的车位信息以及相邻道路宽度参数；
S54.根据实时更新的每一车位的车位参数和车位内障碍物信息确定是否可泊以及与所述车辆的距离；
S55.根据以上实时环境信息，将检测到泊车环境分类。
6.根据权利要求1所述的平行泊车路径规划***，其特征在于，所述数据模块用于估计车辆数据包括：车长、车宽、轴距、前悬、后悬、最大等效前轮转角、最大等效前轮转角转速。
所述数据模块使用图像信息，计算车长、车宽；使用相邻图像信息计算车辆姿态变化，继而计算出车辆数据。
7.根据权利要求1所述的平行泊车路径规划***，其特征在于，所述模态分类根据实际泊车方式，将泊车模态分类，包括但不限于单步泊车模态M1，多步泊车模态M2，抢占车位模态M3等，根据权利要求所述5所述将泊车环境分类，并将泊车环境与泊车模态进行匹配。
8.根据权利要求1所述的平行泊车路径规划***，其特征在于，所述泊车路径指根据车辆的起始姿态，目标停车位姿以及中间位姿信息，根据所述起始泊车位姿对所述中间位姿，以及所述中间位姿对与所述目标停车位姿之间的路径进行分段规划，获得目标行驶路径。其中，所述目标行驶路径用于所述车辆从所述起始位姿行驶至所述目标停车位姿；所述中间姿态指所述车辆能够在方向盘转角内，实现无碰撞行驶出所述车库的车辆姿态，且所述车辆位于所述中间位姿时所述车辆的至少部分位于所述目标停车位所在的车库内；所述目标停车姿态指所述车辆中心与所述目标车位中心重合，且所述车辆车身平行于所述车位的车辆姿态。
所述起始泊车位姿对所述中间位姿之间的路径分段由若干单向弧线组成，且满足所述起始泊车位姿对所述中间位姿之间的路径过程中所述车辆不与所述车位两端、里侧车位线以及道路边界相碰撞。所述中间位姿对所述目标停车位姿之间的路径分段由若干多段圆弧及若干直线轨迹分段组成，且满足所述起始泊车位姿对所述中间位姿之间的路径过程中所述车辆不与所述车位两端和里侧车位线相碰撞。
9.根据权利要求7所述泊车模态，其特征在于，包括：
所述单步泊车模态，生成路径目标停车位姿和中间位姿重合。路径规划分为所述起始泊车位姿对目标停车位姿路径。即无需进行中间位姿对目标位姿进行路径规划的泊车模态；
所述多步泊车模态，生成路径目标停车位姿和中间位姿不重合。路径规划分为所述起始泊车位姿对中间位姿路径和中间位姿对目标停车位姿路径。即需要对进行中间位姿对目标位姿进行路径规划的泊车模态。
所述抢占车位模态，指存在后方来车环境，需要生成抢占车位路径，所述抢占车位路径的所述起始泊车位姿位于所述目标停车位后方。路径规划包含所述起始泊车位姿对中间位姿路径，所述起始泊车位姿对所述中间位姿之间的路径分段规划指，根据所述起始泊车位姿以及所述中间位姿进行分段划分，包括：起始泊车位姿对抢占位姿路径，抢占位姿对中间位姿路径。
10.根据权利要求9所述抢占车位模态，其特征在于，所述抢占姿态指所述车辆能够不与车位角落碰撞，分别从起始泊车位姿行驶至所述抢占位姿，以及所述抢占位姿从所述中间位姿状态的车辆姿态，且所述车辆位于所述抢占位姿时所述车辆的至少部分位于所述目标停车位所在的车位内；所述起始泊车位姿对抢占位姿路径至少存在部分路径满足存在车辆部分位于目标停车位所在车位内部。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110795200.0A CN113353067A (zh) | 2021-07-14 | 2021-07-14 | 一种基于全景摄像头的多环境检测与多模态匹配的平行泊车路径规划*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110795200.0A CN113353067A (zh) | 2021-07-14 | 2021-07-14 | 一种基于全景摄像头的多环境检测与多模态匹配的平行泊车路径规划*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113353067A true CN113353067A (zh) | 2021-09-07 |
Family
ID=77539412
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110795200.0A Pending CN113353067A (zh) | 2021-07-14 | 2021-07-14 | 一种基于全景摄像头的多环境检测与多模态匹配的平行泊车路径规划*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113353067A (zh) |
Citations (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6665003B1 (en) * | 1998-09-17 | 2003-12-16 | Issum Research Development Company Of The Hebrew University Of Jerusalem | System and method for generating and displaying panoramic images and movies |
| US20100208032A1 (en) * | 2007-07-29 | 2010-08-19 | Nanophotonics Co., Ltd. | Method and apparatus for obtaining panoramic and rectilinear images using rotationally symmetric wide-angle lens |
| JP2010183265A (ja) * | 2009-02-04 | 2010-08-19 | Alpine Electronics Inc | 画像表示装置及びそのカメラ取り付け角度算出方法 |
| WO2011087354A2 (en) * | 2010-01-15 | 2011-07-21 | Mimos Berhad | Vehicle parking and obstacle avoidance system using a single panoramic camera |
| CN102774324A (zh) * | 2012-07-06 | 2012-11-14 | 广东好帮手电子科技股份有限公司 | 一种全景泊车辅助***及其实现方法 |
| CN103065318A (zh) * | 2012-12-30 | 2013-04-24 | 深圳普捷利科技有限公司 | 多摄像机全景***的曲面投影方法及装置 |
| CN104691415A (zh) * | 2013-12-07 | 2015-06-10 | 惠州市德赛西威汽车电子有限公司 | 全景泊车辅助装置 |
| CN106560364A (zh) * | 2015-10-05 | 2017-04-12 | 现代自动车株式会社 | 泊车引导装置及方法 |
| CN107249934A (zh) * | 2015-02-17 | 2017-10-13 | 康蒂-特米克微电子有限公司 | 无失真显示车辆周边环境的方法和装置 |
| CN107618452A (zh) * | 2017-09-30 | 2018-01-23 | 百度在线网络技术（北京）有限公司 | 全景采集车顶平台和全景采集车 |
| CN107792179A (zh) * | 2017-09-27 | 2018-03-13 | 浙江零跑科技有限公司 | 一种基于车载环视***的泊车引导方法 |
| CN108320575A (zh) * | 2018-03-16 | 2018-07-24 | 上海芭比信息技术服务有限公司 | 一种车位引导及反向寻车***及其停车位检测装置、方法 |
| CN108791278A (zh) * | 2018-06-21 | 2018-11-13 | 重庆大学 | 侧方位泊车控制***及其控制方法 |
| CN109131082A (zh) * | 2018-08-31 | 2019-01-04 | 深圳以恒科技有限公司 | 一种完全基于视觉的单目全景泊车影像***及其泊车方法 |
| CN110475107A (zh) * | 2018-05-11 | 2019-11-19 | 福特全球技术公司 | 车辆全景可视摄像机投影的失真校正 |
| CN110781883A (zh) * | 2019-09-18 | 2020-02-11 | 江苏大学 | 一种基于360度环视摄像头的车位尺寸识别***及方法 |
| CN110843694A (zh) * | 2019-10-30 | 2020-02-28 | 俞天力 | 用于无人驾驶汽车的360度全景摄像装置及视觉传感设备 |
| CN111369439A (zh) * | 2020-02-29 | 2020-07-03 | 华南理工大学 | 基于环视的自动泊车车位识别全景环视图像实时拼接方法 |
| KR102132578B1 (ko) * | 2020-03-31 | 2020-07-09 | 조명원 | 레이스웨이 조명 및 카메라를 이용한 모니터링 시스템 및 모니터링 방법 |
| CN111862673A (zh) * | 2020-06-24 | 2020-10-30 | 北京易航远智科技有限公司 | 基于顶视图的停车场车辆自定位及地图构建方法 |
| CN211844288U (zh) * | 2019-01-25 | 2020-11-03 | 北京电影学院 | 一种符合人眼视觉高度的可升降式全景影像运动采集*** |
| CN112124201A (zh) * | 2020-10-10 | 2020-12-25 | 深圳道可视科技有限公司 | 一种画面盲区可见的全景泊车***及其方法 |
-
2021
- 2021-07-14 CN CN202110795200.0A patent/CN113353067A/zh active Pending
Patent Citations (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6665003B1 (en) * | 1998-09-17 | 2003-12-16 | Issum Research Development Company Of The Hebrew University Of Jerusalem | System and method for generating and displaying panoramic images and movies |
| US20100208032A1 (en) * | 2007-07-29 | 2010-08-19 | Nanophotonics Co., Ltd. | Method and apparatus for obtaining panoramic and rectilinear images using rotationally symmetric wide-angle lens |
| JP2010183265A (ja) * | 2009-02-04 | 2010-08-19 | Alpine Electronics Inc | 画像表示装置及びそのカメラ取り付け角度算出方法 |
| WO2011087354A2 (en) * | 2010-01-15 | 2011-07-21 | Mimos Berhad | Vehicle parking and obstacle avoidance system using a single panoramic camera |
| CN102774324A (zh) * | 2012-07-06 | 2012-11-14 | 广东好帮手电子科技股份有限公司 | 一种全景泊车辅助***及其实现方法 |
| CN103065318A (zh) * | 2012-12-30 | 2013-04-24 | 深圳普捷利科技有限公司 | 多摄像机全景***的曲面投影方法及装置 |
| CN104691415A (zh) * | 2013-12-07 | 2015-06-10 | 惠州市德赛西威汽车电子有限公司 | 全景泊车辅助装置 |
| CN107249934A (zh) * | 2015-02-17 | 2017-10-13 | 康蒂-特米克微电子有限公司 | 无失真显示车辆周边环境的方法和装置 |
| CN106560364A (zh) * | 2015-10-05 | 2017-04-12 | 现代自动车株式会社 | 泊车引导装置及方法 |
| CN107792179A (zh) * | 2017-09-27 | 2018-03-13 | 浙江零跑科技有限公司 | 一种基于车载环视***的泊车引导方法 |
| CN107618452A (zh) * | 2017-09-30 | 2018-01-23 | 百度在线网络技术（北京）有限公司 | 全景采集车顶平台和全景采集车 |
| CN108320575A (zh) * | 2018-03-16 | 2018-07-24 | 上海芭比信息技术服务有限公司 | 一种车位引导及反向寻车***及其停车位检测装置、方法 |
| CN110475107A (zh) * | 2018-05-11 | 2019-11-19 | 福特全球技术公司 | 车辆全景可视摄像机投影的失真校正 |
| CN108791278A (zh) * | 2018-06-21 | 2018-11-13 | 重庆大学 | 侧方位泊车控制***及其控制方法 |
| CN109131082A (zh) * | 2018-08-31 | 2019-01-04 | 深圳以恒科技有限公司 | 一种完全基于视觉的单目全景泊车影像***及其泊车方法 |
| CN211844288U (zh) * | 2019-01-25 | 2020-11-03 | 北京电影学院 | 一种符合人眼视觉高度的可升降式全景影像运动采集*** |
| CN110781883A (zh) * | 2019-09-18 | 2020-02-11 | 江苏大学 | 一种基于360度环视摄像头的车位尺寸识别***及方法 |
| CN110843694A (zh) * | 2019-10-30 | 2020-02-28 | 俞天力 | 用于无人驾驶汽车的360度全景摄像装置及视觉传感设备 |
| CN111369439A (zh) * | 2020-02-29 | 2020-07-03 | 华南理工大学 | 基于环视的自动泊车车位识别全景环视图像实时拼接方法 |
| KR102132578B1 (ko) * | 2020-03-31 | 2020-07-09 | 조명원 | 레이스웨이 조명 및 카메라를 이용한 모니터링 시스템 및 모니터링 방법 |
| CN111862673A (zh) * | 2020-06-24 | 2020-10-30 | 北京易航远智科技有限公司 | 基于顶视图的停车场车辆自定位及地图构建方法 |
| CN112124201A (zh) * | 2020-10-10 | 2020-12-25 | 深圳道可视科技有限公司 | 一种画面盲区可见的全景泊车***及其方法 |
Non-Patent Citations (6)
| Title |
|---|
| DAVID LI等: "A Log-Rectilinear Transformation for Foveated 360-degree Video Streaming", 《 IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS》 * |
| RUZHONG CHENG等: "Panorama parking assistant system with improved particle swarm optimization method", 《JOURNAL OF ELECTRONIC IMAGING》 * |
| XUQIN YAN等: "A Calibration Method for the Surround-View Parking Assistant System", 《2020 IEEE 11TH INTERNATIONAL CONFERENCE ON SOFTWARE ENGINEERING AND SERVICE SCIENCE (ICSESS)》 * |
| ZHONGLONG XIONG等: "Research of bird"s-eye panoramic view for vehicle parking", 《2011 INTERNATIONAL CONFERENCE ON MULTIMEDIA TECHNOLOGY》 * |
| 杨刚等: "基于参考点配准法的全景泊车***研究", 《传感器与微***》 * |
| 杨少平等: "采用全景相机的移动机器人视觉伺服", 《计算机工程与设计》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9311711B2 (en) | Image processing apparatus and image processing method | |
| CN108128245B (zh) | 车辆环境成像***及方法 | |
| US7684590B2 (en) | Method of recognizing and/or tracking objects | |
| US9573524B2 (en) | Inspection device and method of head up display for vehicle | |
| US8089512B2 (en) | Driving support device, driving support method and computer program | |
| JP4695167B2 (ja) | 車両の後方視認システムの歪みを補正し且つ像を強調する方法及び装置 | |
| CN112184818A (zh) | 基于视觉的车辆定位方法及应用其方法的停车场管理*** | |
| JP4958279B2 (ja) | 物体検出装置 | |
| US20140347469A1 (en) | Enhanced perspective view generation in a front curb viewing system | |
| US8477191B2 (en) | On-vehicle image pickup apparatus | |
| US20110169957A1 (en) | Vehicle Image Processing Method | |
| JP2007300181A (ja) | 周辺認識装置、周辺認識方法、プログラム | |
| Tripathi et al. | Trained trajectory based automated parking system using visual SLAM on surround view cameras | |
| KR102089343B1 (ko) | 어라운드 뷰 모니터링 시스템 및 카메라 공차 보정 방법 | |
| US10964059B2 (en) | Static camera calibration using motion of vehicle portion | |
| KR102031635B1 (ko) | 오버랩 촬영 영역을 가지는 이종 카메라를 이용한 충돌 경고 장치 및 방법 | |
| Krasner et al. | Automatic parking identification and vehicle guidance with road awareness | |
| CN110780287A (zh) | 基于单目相机的测距方法及测距*** | |
| CN113320474A (zh) | 基于全景图像及人机交互的自动泊车方法及装置 | |
| CN212220070U (zh) | 基于视觉语义分割技术的车辆实时定位*** | |
| CN113459951A (zh) | 车外环境显示方法和装置、车辆、设备和存储介质 | |
| EP3163533A1 (en) | Adaptive view projection for a vehicle camera system | |
| CN113353067A (zh) | 一种基于全景摄像头的多环境检测与多模态匹配的平行泊车路径规划*** | |
| CN112026751A (zh) | 车辆及其控制方法 | |
| JP4106163B2 (ja) | 障害物検出装置及びその方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210907 |