CN111862210B - 一种基于环视相机的目标物检测定位方法及装置 - Google Patents
一种基于环视相机的目标物检测定位方法及装置 Download PDFInfo
- Publication number
- CN111862210B CN111862210B CN202010603309.5A CN202010603309A CN111862210B CN 111862210 B CN111862210 B CN 111862210B CN 202010603309 A CN202010603309 A CN 202010603309A CN 111862210 B CN111862210 B CN 111862210B
- Authority
- CN
- China
- Prior art keywords
- image
- camera
- target object
- key point
- correction image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000001514 detection method Methods 0.000 title claims abstract description 31
- 238000012937 correction Methods 0.000 claims abstract description 164
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 238000003384 imaging method Methods 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 10
- 230000003287 optical effect Effects 0.000 claims description 9
- 238000013519 translation Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 8
- 238000013136 deep learning model Methods 0.000 claims description 7
- 238000009434 installation Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 abstract description 4
- 238000002372 labelling Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于环视相机的目标物检测定位方法，解决了由于环视相机采集的图像存在较大的扭曲失真、现有技术难于进行目标物检测及定位的问题。本发明通过采用柱面校正技术及关键点提取及匹配技术有效解决了上述问题。另外，本发明还提供了一种基于环视相机的目标物检测定位装置。本发明不但可以给出目标物的图像位置，还可以得出目标物的3D位置及姿态信息，可用于车辆防碰撞、车辆轨迹规划功能。
Description
技术领域
本发明属于图像处理技术领域，特别涉及一种基于环视相机的目标物检测定位方法及装置。
背景技术
目标物检测及定位在汽车辅助驾驶、自动驾驶等领域具有重要应用前景。通过获得自车周围场景中目标物的3D信息，可以进一步实现自车行驶轨迹规划，碰撞避免等应用。
环视相机指的是环绕安装于汽车车身的多个相邻视角有交叠的相机，构成的一套多相机***。环视相机通常采用视角大的鱼眼相机进行安装构建，如安装于车身前后保险杠、左右后视镜四个位置的鱼眼相机构成的环视***。现有技术，多集中于对环视相机采集的图像进行俯视图图像拼接，生成环视俯视图像，起到车身周围全景目标物监控的目的。但对全景图中，出现的目标物，需要驾驶员目视发现，不够智能。驾驶员容易造成视觉疲劳，产生误判。
利用环视相机进行目标检测及定位的难点在于：(1)环视相机所用的大视角相机存在较大的图像扭曲失真，不利于深度学***面图像可以去除畸变，但是这样也损失了相机视角，得不偿失；(2)环视相机***中，为了缩减硬件成品，需要尽可能节约相机的使用数目，通常相邻相机安装时，基线较长，相机安装高度及主光轴方向也不一致，造成同一目标物在相邻相机中出现的角度及姿态发生很大变化，传统的基于特征的检测及匹配算法效果变差，如SIFT、SURF、ORB特征等。
发明内容
为了解决上述问题，本发明的目的是提供一种基于环视相机的目标物检测定位方法及装置。本发明通过采用柱面校正技术及关键点提取技术有效解决了现有技术中在利用环视相机进行目标检测及定位的两大难题。该方法不但可以给出目标物的图像位置，还可以得出目标物的3D位置及姿态信息，可用于车辆防碰撞、车辆轨迹规划功能。
为了实现上述目的，本发明采用如下的技术方案：一种基于环视相机的目标物检测定位方法，所述环视相机为环绕安装于汽车车身的多个相邻视角有交叠的大视角相机，该方法包括以下步骤：
S1、图像获取步骤，输入环视相机中具有交叠视角的相邻大视角相机分别拍摄的图像A和图像B；
S2、图像处理步骤，利用柱面校正方法对图像A和图像B进行图像处理，获得柱面校正图像A和柱面校正图像B；
S3、目标物检测及目标物关键点提取步骤，在所述柱面校正图像A和柱面校正图像B中，利用离线训练好的深度学习模型，进行目标物检测及目标物关键点提取；
S4、关键点匹配步骤，对所述柱面校正图像A中的关键点和柱面校正图像B中的关键点进行关键点匹配，得到匹配的关键点；
S5、目标物矩形框匹配步骤，对所述柱面校正图像A中的矩形框和柱面校正图像B中的矩形框进行匹配，得到匹配的矩形框，确定为同一目标物；
S6、计算目标物的位置及姿态步骤，根据匹配后的目标物矩形框内匹配的关键点对，计算关键点的3D位置信息，从而恢复目标物的三维位置及姿态信息；
S7、输出目标物的位置及姿态并在图像中显示步骤。
进一步地，所述步骤S2的柱面校正方法具体为：
对于相机坐标系中一空间点P(Xc,Yc,Zc)，其在大视角相机中的成像点像素坐标为p(u’,v’)，成像公式可以描述为，
其中,
r(θ)＝k1θ+k3θ3+k5θ5+k7θ7+k9θ9 (3)
k1,k3,k5,k7,k9,u0’,v0’,fx,fy为相机内参,由离线标定算法得到，在算法实施过程中，为已知参数；因此，根据式(1)(2)(3)，已知空间点P(Xc,Yc,Zc)，可以计算出，其在大视角相机中的成像点像素坐标为p(u’,v’)；
环视相机安装于车身，以车身位于水平地面时，车身几何中心位置在地面的投影点为原点，建立车身坐标系Ow_XwYwZw，其中，OwYw轴垂直指向地面，OwZw轴指向车头，OwXw轴指向车身侧面；
环视相机中，各个大视角相机相对于车身坐标系的安装位置(旋转角度和平移向量)可以通过离线外参数标定方法标定获得，为已知外参矩阵；
对于每个大视角相机，以相机光心为原点，光轴为Z轴，建立大视角相机坐标系O_X’Y’Z’；环视相机中的大视角相机通常会存在一定的安装角度，即大视角相机坐标系的OY’轴不平行于车身坐标系的OwYw轴，利用离线标定好的相机外参数，对大视角相机坐标系进行校正，得到校正后的相机坐标系O_XYZ，使得OY轴平行于车身坐标系的OwYw轴；
在校正后的大视角相机坐标系O_XYZ中，对大视角相机拍摄的图像像素点进行柱面投影，得到柱面校正图像；校正过程通过反查表进行，即对校正后柱面图像中的每一个像素坐标(u,v),计算其对应大视角相机拍摄的图像中的像素点坐标(u’,v’)，并将大视角相机拍摄的图像中坐标点(u’,v’)的像素亮度值，赋值给柱面校正图像中的坐标点(u,v)；柱面校正图像坐标点坐标(u,v)到大视角相机拍摄的图像坐标(u’,v’)的计算方法为，首先，利用公式(4)计算点(xc,yc,zc),
式(4)中R为由相机的外参数构成的坐标系O_X’Y’Z’与坐标系O_XYZ间的旋转矩阵(通过离线外参标定方法获得)，u0，v0，ay，dφ，为虚拟柱面相机的内参数，可由用户根据实际需要自行设定；再利用公式(2)和(3)计算θ，
r(θ)；
最后，将计算好的θ，
r(θ)代入公式(1)，求出大视角相机拍摄的图像中坐标点(u’,v’)。
进一步地，所述步骤S4的关键点匹配的具体步骤为：
S401、对于柱面校正图像A中每个关键点p，利用相邻大视角相机的相对位姿关系，计算关键点p在柱面校正图像B中对应的极线，在该极线附近搜索柱面校正图像B中与关键点p相匹配的关键点q；
搜索条件设置如下：
条件一、关键点q的关键点属性与关键点p的关键点属性相同；
条件二、关键点q距离极线的距离小于阈值；
条件三、关键点q与关键点p的局部描述子，差异程度小于阈值；
同时满足上述三个条件，且距离极线距离最小的关键点，确定为与关键点p相匹配的关键点q；
S402、对于柱面校正图像B中的每个关键点q，按步骤S401类似操作，确定其在柱面校正图像A中的匹配关键点p；
S403、对于步骤401和步骤402匹配结果一致的关键点确定为最终匹配上的关键点。
进一步地，所述步骤S5目标物矩形框匹配的具体步骤为：
S501、对于柱面校正图像A检测到的目标物矩形框和关键点，根据目标物矩形框类别，和关键点类别及位置进行匹配，将每个关键点分配给柱面校正图像A中的一个目标物矩形框；
分配条件为：
条件一、关键点类别和目标物矩形框类别一致；
条件二、关键点位于目标物矩形框内部或距离目标物矩形框边界小于给定阈值；
该步骤完成后，柱面校正图像A中每一个矩形框，都包含若干关键点；
S502、对于柱面校正图像B进行与步骤S501相同操作，获得柱面校正图像B中每个目标物矩形框包含的关键点信息；
S503、根据步骤S4的关键点匹配情况，进行柱面校正图像A和柱面校正图像B中的目标物矩形框的匹配，匹配条件为：
来自柱面校正图像A和柱面校正图像B的两个目标物矩形框，所含有的匹配关键点个数大于阈值；
如果存在一框对多框都满足匹配条件，则以匹配关键点个数最多的匹配作为最终的目标物矩形框匹配结果。
进一步地，所述步骤S6的计算目标物的位置及姿态具体步骤为：
步骤S5中匹配好了目标物矩形框，即确定了同一目标物在相邻相视角相机的柱面校正图像A和柱面校正图像B中出现的位置；根据步骤S5匹配好的目标物矩形框的匹配关键点对，来计算关键点的3D位置信息，从而恢复目标物的三维位置及姿态信息，计算公式描述如下：
对于柱面校正图像A中的关键点(uA,vA)和其在柱面校正图像B中的匹配的关键点(uB,vB)，通过式(5)计算这两个点的归一化坐标点(xA,yA,zA)和(xB,yB,zB)：
其中u0，v0，ay，dφ，为虚拟柱面相机的内参数，可由用户根据实际需要自行设定；根据相邻大视角相机之间的位置和姿态关系，有式(6)，
其中RAB，TAB分别为柱面校正图像A与柱面校正图像B所在的校正相机坐标系之间的旋转矩阵和平移向量，为已知参数；λ和λ’为比例因子，通过求解式(6)，可以求出λ和λ’的值；根据式(7)进一步求出关键点在柱面校正图像A所在的校正相机坐标中的空间位置坐标(XA,YA,ZA)，以及关键点在柱面校正图像B所在的校正相机坐标中的空间位置坐标(XB,YB,ZB)，
对每一对匹配关键点，都进行上述运算，我们可以获得目标物在真实世界中的所有匹配关键点的位置图；由于关键点在事先设置的时候，其在目标物上出现的位置就已经被定义好，因此，我们可以利用这些位置信息，计算关键点在目标物三维坐标系中的三维位置，再利用该三维位置和由公式(7)计算获得的关键点的三维位置，通过PnP方法，求出目标物相对于柱面校正坐标系的旋转矩阵和平移向量，完成目标物的位置及姿态计算。
进一步地，所述步骤S7具体为：
对于步骤S6计算得出的目标物位置及姿态将进行结果输出，还可以进一步计算，得出目标物在空间中的三维包围框的8个顶点坐标，然后利用式(1)(2)(3)，将其投影到图像A和图像B中，画出图像A和图像B中的3D检测框。
本发明的目的在于另外提供一种基于环视相机的目标物检测定位装置，包括：
图像获取单元，用于获取环视相机中具有交叠视角的相邻大视角相机分别拍摄的图像A和图像B；
图像处理单元，用于利用柱面校正方法对图像A和图像B进行图像处理，获得柱面校正图像A和柱面校正图像B；
目标物检测及目标物关键点提取单元，用于在所述柱面校正图像A和柱面校正图像B中，利用离线训练好的深度学习模型，进行目标物检测及目标物关键点提取；
关键点匹配单元，用于对所述柱面校正图像A中的关键点和柱面校正图像B中的关键点进行关键点匹配；
目标物矩形框匹配单元，用于对所述柱面校正图像A中的矩形框和柱面校正图像B中的矩形框进行匹配，得到匹配的矩形框，确定为同一目标物；
目标物的位置及姿态计算单元，用于根据匹配后的目标物矩形框内匹配的关键点对，计算关键点的3D位置信息，从而恢复目标物的三维位置及姿态信息；
目标物的位置及姿态输出及显示单元，用于输出目标物的位置及姿态并在图像中显示。
与现有技术相比，本发明的有益效果在于：本发明提供了一种利用环视相机拍摄图像的交叠区域，进行目标物检测和定位的方法，该方法不但可以给出目标物的图像位置，还可以得出目标物的3D位置及姿态信息，可用于车辆防碰撞、车辆轨迹规划等功能。本发明通过采用柱面校正技术及关键点提取技术有效解决了现有技术中在利用环视相机进行目标检测及定位的两大难题。
附图说明
图1是本发明检测定位方法的流程图；
图2是四个鱼眼相机安装于车身构成的环视相机***示意图；
图3是六个鱼眼相机安装于车身构成的环视相机***示意图；
图4是大视角相机成像示意图；
图5是相机坐标系校正前后示意图；
图6是柱面校正效果示意图；
图7是车辆关键点位置设置的示意图；
图8是同一车辆同一时刻分别在相邻相机的柱面校正图像中的矩形框标注和关键点标注示意图；
图9是本发明的检测定位装置的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
环视相机为环绕安装于汽车车身的多个相邻视角有交叠的大视角相机，环视相机通常采用视角大的鱼眼相机进行安装构建(也可以是广角相机或平面相机)。如安装于车身前后保险杠、左右后视镜4个位置的鱼眼相机构成的环视***(如图2所示)；还有如安装于车身前后保险杠、左右后视镜、车身左右侧后方6个位置的鱼眼相机构成的环视***(如图3所示)，在实际应用中，也可以根据需要安装其他数目的相机，利用这些相机的交叠区域，实现交叠区域内所有目标物的检测定位。
如图1所述，本发明提供一种基于环视相机的目标物检测定位方法，所述环视相机为环绕安装于汽车车身的多个相邻视角有交叠的大视角相机，该方法包括以下步骤：
S1、图像获取步骤，输入环视相机中具有交叠视角的相邻大视角相机分别拍摄的图像A和图像B；如图2中，设图像A和图像B为具有交叠区域1,2的相机1和相机2拍摄的鱼眼图像，(具有其他交叠视角的相邻大视角相机拍摄的图像分别以同样的方法进行检测定位，如图2中共有4个交叠区域，图3中共有6个交叠区域，每个交叠区域的相邻大视角相机分别以同样的方法进行检测定位)。接下来，将对全部或部分出现在交叠区域中的目标物，进行检测及定位。
在检测之前，为解决大视角相机造成的成像形变问题，并尽可能保留相机的视角，本发明采用一种柱面校正方法，来处理图像，具体如下：
S2、图像处理步骤，利用柱面校正方法对图像A和图像B进行图像处理，获得柱面校正图像A和柱面校正图像B；
所述柱面校正方法具体为：
对于相机坐标系中一空间点P(Xc,Yc,Zc)，其在大视角相机中的成像点像素坐标为p(u’,v’)，成像公式可以描述为，
其中,
r(θ)＝k1θ+k3θ3+k5θ5+k7θ7+k9θ9(3)
k1,k3,k5,k7,k9,u0’,v0’,fx,fy为相机内参,由离线标定算法(现有技术，参照KANNALA J and BRANDT S S.A generic camera model and calibration method forconventional,wide-angle,and fish-eye lenses[J].IEEE Transactions on PatternAnalysis and Machine Intelligence,2006,28(8):1335-1340.)得到，在算法实施过程中，为已知参数；因此，根据式(1)(2)(3)，已知空间点P(Xc,Yc,Zc)，可以计算出，其在大视角相机中的成像点像素坐标为p(u’,v’)；大视角相机的成像示意图如图4所示；
环视相机安装于车身，以车身位于水平地面时，车身几何中心位置在地面的投影点为原点，建立车身坐标系Ow_XwYwZw，其中，OwYw轴垂直指向地面，OwZw轴指向车头，OwXw轴指向车身侧面；
环视相机中，各个大视角相机相对于车身坐标系的安装位置(旋转角度和平移向量)可以通过离线外参数标定方法(现有技术)标定获得，为已知外参矩阵；
对于每个大视角相机，以相机光心为原点，光轴为Z轴，建立大视角相机坐标系O_X’Y’Z’；环视相机中的大视角相机通常会存在一定的安装角度，即大视角相机坐标系的OY’轴不平行于车身坐标系的OwYw轴，利用离线标定好的相机外参数，对大视角相机坐标系进行校正，得到校正后的相机坐标系O_XYZ，使得OY轴平行于车身坐标系的OwYw轴，图5给出了校正后的相机坐标系和校正前的相机坐标系的位置关系。
在校正后的大视角相机坐标系O_XYZ中，对大视角相机拍摄的图像像素点进行柱面投影，得到柱面校正图像；校正过程通过反查表进行，即对校正后柱面图像中的每一个像素坐标(u,v),计算其对应大视角相机拍摄的图像中的像素点坐标(u’,v’)，并将大视角相机拍摄的图像中坐标点(u’,v’)的像素亮度值，赋值给柱面校正图像中的坐标点(u,v)；柱面校正图像坐标点坐标(u,v)到大视角相机拍摄的图像坐标(u’,v’)的计算方法为，首先，利用式(4)计算点(xc,yc,zc),
式(4)中R为由相机的外参数构成的坐标系O_X’Y’Z’与坐标系O_XYZ间的旋转矩阵(通过离线外参标定方法获得)，u0，v0，ay，dφ，为虚拟柱面相机的内参数，可由用户根据实际需要自行设定，再利用公式(2)和(3)计算θ，
r(θ)；
最后，将计算好的θ，
r(θ)代入公式(1)，求出大视角相机拍摄的图像中坐标点(u’,v’)。图6给出利用上述公式，图像校正前后的效果示意图，其中图6(a)为校正前图像，图6(b)为校正后图像；
S3、目标物检测及目标物关键点提取步骤，在所述柱面校正图像A和柱面校正图像B中，利用训练好的深度学习模型，进行目标物检测及目标物关键点提取；
本发明在柱面校正图像中，利用事先训练好的深度学习模型，进行目标物检测及目标物关键点提取。深度学习方法进行目标检测与关键点提取，属于现有技术，不在累述。本发明的不同之处在于，在训练深度模型和利用训练好的模型进行目标物检测和关键点提取阶段，都在柱面校正图像中进行。
柱面校正图像和校正前图像相比，优点在于，去除了大视角相机的纵向成像畸变，且柱面校正图像，成像平面与地面垂直，去除了相机俯角影响，使得目标物的垂直特征在柱面校正图像中被保留，柱面校正图像更易于深度学习算法训练模型，加快模型参数收敛速度。
需要检测的目标物为事先已知类别的目标物，如车辆、行人、路障等，这里以车辆举例说明。
训练时，在柱面校正图像中，标记车辆的矩形框及关键点位置。关键点个数和位置可以根据具体需求来设置。如可以设置车轮接地点，及车辆各个面的顶点为关键点，共设置18个关键点。图7给出了车辆关键点位置设置的示意图，图7(a)为车头关键点设置位置；图7(b)为车尾关键点设置位置；图7(c)为车身侧面关键点设置位置；在实际标注图像过程中，对于遮挡看不见的关键点不标注，也就是只标注柱面图像中可见的关键点。图8给出了在柱面校正图像中，图中为同一车辆同一时刻，分别在相邻相机的柱面校正图像中的矩形框标注和关键点标注示意图。
S4、关键点匹配步骤，对所述柱面校正图像A中的关键点和柱面校正图像B中的关键点进行关键点匹配，得到匹配的关键点；具体步骤为：
S401、对于柱面校正图像A中每个关键点p，利用相邻大视角相机的相对位姿关系，计算关键点p在柱面校正图像B中对应的极线，在该极线附近搜索柱面校正图像B中与关键点p相匹配的关键点q；
搜索条件设置如下：
条件一、关键点q的关键点属性与关键点p的关键点属性相同；如都是左前轮接地关键点；
条件二、关键点q距离极线的距离小于阈值；
条件三、关键点q与关键点p的局部描述子，差异程度小于阈值；(局部描述子，例如可以提取两点的SIFT描述子)。
同时满足上述三个条件，且距离极线距离最小的关键点，确定为与关键点p相匹配的关键点q；
S402、对于柱面校正图像B中的每个关键点q，按步骤S401类似操作，确定其在柱面校正图像A中的匹配关键点p；
S403、对于步骤401和步骤402匹配结果一致的关键点确定为最终匹配上的关键点。
S5、目标物矩形框匹配：对所述柱面校正图像A中的矩形框和柱面校正图像B中的矩形框进行匹配，得到匹配的矩形框，确定为同一目标物；具体步骤为：
S501、对于柱面校正图像A检测到的目标物矩形框和关键点，根据目标物矩形框类别，和关键点类别及位置进行匹配，将每个关键点分配给柱面校正图像A中的一个目标物矩形框；
分配条件为：
条件一、关键点类别和目标物矩形框类别一致；如都来自于车辆目标；
条件二、关键点位于目标物矩形框内部或距离目标物矩形框边界小于给定阈值；
该步骤完成后，柱面校正图像A中每一个矩形框，都包含若干关键点；
S502、对于柱面校正图像B进行与步骤S501相同操作，获得柱面校正图像B中每个目标物矩形框包含的关键点信息；
S503、根据步骤S4的关键点匹配情况，进行柱面校正图像A和柱面校正图像B中的目标物矩形框的匹配，匹配条件为：
来自柱面校正图像A和柱面校正图像B的两个目标物矩形框，所含有的匹配关键点个数大于阈值；
如果存在一框对多框都满足匹配条件，则以匹配关键点个数最多的匹配作为最终的目标物矩形框匹配结果。
S6、计算目标物的位置及姿态步骤，根据匹配后的目标物矩形框内匹配的关键点对，计算关键点的3D位置信息，从而恢复目标物的三维位置及姿态信息；具体步骤为：
步骤S5中匹配好了目标物矩形框，即确定了同一目标物在相邻相视角相机的柱面校正图像A和柱面校正图像B中出现的位置；根据步骤S5匹配好的目标物矩形框内的匹配关键点对，来计算关键点的3D位置信息，从而恢复目标物的三维位置及姿态信息，计算公式描述如下：
对于柱面校正图像A中的关键点(uA,vA)和其在柱面校正图像B中的匹配的关键点(uB,vB)，通过式(5)计算这两个点的归一化坐标点(xA,yA,zA)和(xB,yB,zB)：
其中u0，v0，ay，dφ，为虚拟柱面相机的内参数，可由用户根据实际需要自行设定；根据相邻大视角相机之间的位置和姿态关系，有式(6)，
其中，RAB，TAB分别为柱面校正图像A与柱面校正图像B所在的校正相机坐标系之间的旋转矩阵和平移向量，为已知参数；λ和λ’为比例因子，通过求解式(6)，可以求出λ和λ’的值；根据式(7)可以进一步求出关键点在柱面校正图像A所在的校正相机坐标中的空间位置坐标(XA,YA,ZA)，以及关键点在柱面校正图像B所在的校正相机坐标中的空间位置坐标(XB,YB,ZB)，
对每一对匹配关键点，都进行上述运算，我们可以获得目标物在真实世界中的所有匹配关键点的位置图；由于关键点在事先设置的时候，其在目标物上出现的位置就已经被定义好，因此，我们可以利用这些位置信息，计算关键点在目标物三维坐标系中的三维位置，再利用该三维位置和由公式(7)计算获得的关键点的三维位置，通过PnP方法，求出目标物相对于柱面校正坐标系的旋转矩阵和平移向量，完成目标物的位置及姿态计算。
S7、输出目标物的位置及姿态并在图像中显示；具体步骤为：
对于步骤S6计算得出的目标物位置及姿态将进行结果输出，该结果可用于碰撞避免，自车轨迹规划等应用，还可以进一步计算，得出目标物在空间中的三维包围框的8个顶点坐标(包围车辆的立方体的8个顶点坐标)，然后利用式(1)(2)(3)，将其投影到图像A和图像B中，画出图像A和图像B中的3D检测框。
所述计算目标物在空间中的三维包围框的8个顶点坐标的具体方法为，对于每个目标物，根据所述步骤S6获得的所有匹配关键点的三维位置，及目标物的姿态(即目标物坐标系相对于柱面图像坐标系的平移向量和旋转矩阵)，计算可以包含该目标物的所有关键点的长方体，长方体的8个顶点即为所述三维包围框的8个顶点。所述长方体，在计算时候，可以限定长方体的各个面与目标物坐标轴平行或垂直。
本发明的目的在于另外提供一种基于环视相机的目标物检测定位装置，包括：
图像获取单元，用于获取环视相机中具有交叠视角的相邻大视角相机分别拍摄的图像A和图像B；
图像处理单元，用于利用柱面校正方法对图像A和图像B进行图像处理，获得柱面校正图像A和柱面校正图像B；
目标物检测及目标物关键点提取单元，用于在所述柱面校正图像A和柱面校正图像B中，利用离线训练好的深度学习模型，进行目标物检测及目标物关键点提取；
关键点匹配单元，用于对所述柱面校正图像A中的关键点和柱面校正图像B中的关键点进行关键点匹配；
目标物矩形框匹配单元，用于对所述柱面校正图像A中的矩形框和柱面校正图像B中的矩形框进行匹配，得到匹配的矩形框，确定为同一目标物；
目标物的位置及姿态计算单元，用于根据匹配后的目标物矩形框内匹配的关键点对，计算关键点的3D位置信息，从而恢复目标物的三维位置及姿态信息；
目标物的位置及姿态输出及显示单元，用于输出目标物的位置及姿态并在图像中显示。
本发明利用环视相机拍摄图像的交叠区域，进行目标物检测和定位的方法。该方法不但可以给出目标物的图像位置，还可以得出目标物的3D位置及姿态信息，可用于车辆防碰撞、车辆轨迹规划等功能。本发明虽然主要应用于智能车，并以智能车为例进行描述，但也可用于安装了多相机构成环视***的移动机器人等移动平台。本发明中的目标物以车辆目标为例来描述，方法实施过程中，也可以是其他已知类别、且深度学习方法可训练并识别其图像位置和关键点位置的目标物，如行人、路障、猫、狗等。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (6)
1.一种基于环视相机的目标物检测定位方法，所述环视相机为环绕安装于汽车车身的多个相邻视角有交叠的大视角相机，其特征在于，该方法包括以下步骤：
S1、图像获取步骤，输入环视相机中具有交叠视角的相邻大视角相机分别拍摄的图像A和图像B；
S2、图像处理步骤，利用柱面校正方法对图像A和图像B进行图像处理，获得柱面校正图像A和柱面校正图像B；
S3、目标物检测及目标物关键点提取步骤，在所述柱面校正图像A和柱面校正图像B中，利用离线训练好的深度学习模型，进行目标物检测及目标物关键点提取；
S4、关键点匹配步骤，对所述柱面校正图像A中的关键点和柱面校正图像B中的关键点进行关键点匹配，得到匹配的关键点；
S5、目标物矩形框匹配步骤，对所述柱面校正图像A中的矩形框和柱面校正图像B中的矩形框进行匹配，得到匹配的矩形框，确定为同一目标物；
S6、计算目标物的位置及姿态步骤，根据匹配后的目标物矩形框内匹配的关键点对，计算关键点的3D位置信息，从而恢复目标物的三维位置及姿态信息；
S7、输出目标物的位置及姿态并在图像中显示；
所述步骤S2的柱面校正方法具体为：
对于相机坐标系中一空间点P(Xc,Yc,Zc)，其在大视角相机中的成像点像素坐标为p(u’,v’)，成像公式描述为，
其中,
r(θ)＝k1θ+k3θ3+k5θ5+k7θ7+k9θ9 (3)
k1,k3,k5,k7,k9,u0’,v0’,fx,fy为相机内参,由离线标定算法得到，在算法实施过程中，为已知参数；因此，根据式(1)(2)(3)，已知空间点P(Xc,Yc,Zc)，计算出其在大视角相机中的成像点像素坐标为p(u’,v’)；
环视相机安装于车身，以车身位于水平地面时，车身几何中心位置在地面的投影点为原点，建立车身坐标系Ow_XwYwZw，其中，OwYw轴垂直指向地面，OwZw轴指向车头，OwXw轴指向车身侧面；
环视相机中，各个大视角相机相对于车身坐标系的安装位置通过离线外参数标定方法标定获得，为已知外参矩阵；
对于每个大视角相机，以相机光心为原点，光轴为Z轴，建立大视角相机坐标系O_X’Y’Z’；环视相机中的大视角相机存在安装角度，即大视角相机坐标系的OY’轴不平行于车身坐标系的OwYw轴，利用离线标定好的相机外参数，对大视角相机坐标系进行校正，得到校正后的相机坐标系O_XYZ，使得OY轴平行于车身坐标系的OwYw轴；
在校正后的大视角相机坐标系O_XYZ中，对大视角相机拍摄的图像像素点进行柱面投影，得到柱面校正图像；校正过程通过反查表进行，即对校正后柱面图像中的每一个像素坐标(u,v),计算其对应大视角相机拍摄的图像中的像素点坐标(u’,v’)，并将大视角相机拍摄的图像中坐标点(u’,v’)的像素亮度值，赋值给柱面校正图像中的坐标点(u,v)；柱面校正图像坐标点坐标(u,v)到大视角相机拍摄的图像坐标(u’,v’)的计算方法为，首先，利用式(4)计算点(xc,yc,zc),
式(4)中R为由相机的外参数构成的坐标系O_X’Y’Z’与坐标系O_XYZ间的旋转矩阵，通过离线外参标定方法获得；u0，v0，ay，dφ，为虚拟柱面相机的内参数，由用户根据实际需要自行设定；再利用公式(2)和(3)计算θ，
r(θ)；
最后，将计算好的θ，
r(θ)代入公式(1)，求出大视角相机拍摄的图像中坐标点(u’,v’)。
2.如权利要求1所述的一种基于环视相机的目标物检测定位方法，其特征在于，所述步骤S4的关键点匹配的具体步骤为：
S401、对于柱面校正图像A中每个关键点p，利用相邻大视角相机的相对位姿关系，计算关键点p在柱面校正图像B中对应的极线，在该极线附近搜索柱面校正图像B中与关键点p相匹配的关键点q；
搜索条件设置如下：
条件一、关键点q的关键点属性与关键点p的关键点属性相同；
条件二、关键点q距离极线的距离小于阈值；
条件三、关键点q与关键点p的局部描述子，差异程度小于阈值；
同时满足上述三个条件，且距离极线距离最小的关键点，确定为与关键点p相匹配的关键点q；
S402、对于柱面校正图像B中的每个关键点q，按步骤S401操作，确定其在柱面校正图像A中的匹配关键点p；
S403、对于步骤401和步骤402匹配结果一致的关键点确定为最终匹配上的关键点。
3.如权利要求1所述的一种基于环视相机的目标物检测定位方法，其特征在于，所述步骤S5目标物矩形框匹配的具体步骤为：
S501、对于柱面校正图像A检测到的目标物矩形框和关键点，根据目标物矩形框类别，和关键点类别及位置进行匹配，将每个关键点分配给柱面校正图像A中的一个目标物矩形框；
分配条件为：
条件一、关键点类别和目标物矩形框类别一致；
条件二、关键点位于目标物矩形框内部或距离目标物矩形框边界小于给定阈值；
该步骤完成后，柱面校正图像A中每一个矩形框，都包含若干关键点；
S502、对于柱面校正图像B进行与步骤S501相同操作，获得柱面校正图像B中每个目标物矩形框包含的关键点信息；
S503、根据步骤S4的关键点匹配情况，进行柱面校正图像A和柱面校正图像B中的目标物矩形框的匹配，匹配条件为：
来自柱面校正图像A和柱面校正图像B的两个目标物矩形框，所含有的匹配关键点个数大于阈值；
如果存在一框对多框都满足匹配条件，则以匹配关键点个数最多的匹配作为最终的目标物矩形框匹配结果。
4.如权利要求1所述的一种基于环视相机的目标物检测定位方法，其特征在于，所述步骤S6的计算目标物的位置及姿态具体步骤为：
步骤S5中匹配好了目标物矩形框，即确定了同一目标物在相邻大视角相机的柱面校正图像A和柱面校正图像B中出现的位置；根据步骤S5匹配好的目标物矩形框的匹配关键点对，来计算关键点的3D位置信息，从而恢复目标物的三维位置及姿态信息，计算公式描述如下：
对于柱面校正图像A中的关键点(uA,vA)和其在柱面校正图像B中的匹配的关键点(uB,vB)，通过式(5)计算这两个点的归一化坐标点(xA,yA,zA)和(xB,yB,zB)：
其中u0，v0，ay，dφ，为虚拟柱面相机的内参数，由用户根据实际需要自行设定；根据相邻大视角相机之间的位置和姿态关系，有式(6)，
其中RAB，TAB分别为柱面校正图像A与柱面校正图像B所在的校正相机坐标系之间的旋转矩阵和平移向量，为已知参数；λ和λ’为比例因子，通过求解式(6)，求出λ和λ’的值；根据式(7)求出关键点在柱面校正图像A所在的校正相机坐标中的空间位置坐标(XA,YA,ZA)，以及关键点在柱面校正图像B所在的校正相机坐标中的空间位置坐标(XB,YB,ZB)，
对每一对匹配关键点，都进行上述运算，获得目标物在真实世界中的所有匹配关键点的位置图；由于关键点在事先设置的时候，其在目标物上出现的位置就已经被定义好，因此，利用这些位置信息，计算关键点在目标物三维坐标系中的三维位置，再利用该三维位置和由公式(7)计算获得的关键点的三维位置，通过PnP方法，求出目标物相对于柱面校正坐标系的旋转矩阵和平移向量，完成目标物的位置及姿态计算。
5.如权利要求1所述的一种基于环视相机的目标物检测定位方法，其特征在于，所述步骤S7具体为：
对于步骤S6计算得出的目标物位置及姿态将进行结果输出，得出目标物在空间中的三维包围框的8个顶点坐标，然后利用式(1)(2)(3)，将其投影到图像A和图像B中，画出图像A和图像B中的3D检测框。
6.一种基于环视相机的目标物检测定位装置，包括：
图像获取单元，用于获取环视相机中具有交叠视角的相邻大视角相机分别拍摄的图像A和图像B；
图像处理单元，用于利用柱面校正方法对图像A和图像B进行图像处理，获得柱面校正图像A和柱面校正图像B；
目标物检测及目标物关键点提取单元，用于在所述柱面校正图像A和柱面校正图像B中，利用离线训练好的深度学习模型，进行目标物检测及目标物关键点提取；
关键点匹配单元，用于对所述柱面校正图像A中的关键点和柱面校正图像B中的关键点进行关键点匹配；
目标物矩形框匹配单元，用于对所述柱面校正图像A中的矩形框和柱面校正图像B中的矩形框进行匹配，得到匹配的矩形框，确定为同一目标物；
目标物的位置及姿态计算单元，用于根据匹配后的目标物矩形框内匹配的关键点对，计算关键点的3D位置信息，从而恢复目标物的三维位置及姿态信息；
目标物的位置及姿态输出及显示单元，用于输出目标物的位置及姿态并在图像中显示；
所述柱面校正方法具体为：
对于相机坐标系中一空间点P(Xc,Yc,Zc)，其在大视角相机中的成像点像素坐标为p(u’,v’)，成像公式描述为，
其中,
r(θ)＝k1θ+k3θ3+k5θ5+k7θ7+k9θ9 (3)
k1,k3,k5,k7,k9,u0’,v0’,fx,fy为相机内参,由离线标定算法得到，在算法实施过程中，为已知参数；因此，根据式(1)(2)(3)，已知空间点P(Xc,Yc,Zc)，计算出其在大视角相机中的成像点像素坐标为p(u’,v’)；
环视相机安装于车身，以车身位于水平地面时，车身几何中心位置在地面的投影点为原点，建立车身坐标系Ow_XwYwZw，其中，OwYw轴垂直指向地面，OwZw轴指向车头，OwXw轴指向车身侧面；
环视相机中，各个大视角相机相对于车身坐标系的安装位置通过离线外参数标定方法标定获得，为已知外参矩阵；
对于每个大视角相机，以相机光心为原点，光轴为Z轴，建立大视角相机坐标系O_X’Y’Z’；环视相机中的大视角相机存在安装角度，即大视角相机坐标系的OY’轴不平行于车身坐标系的OwYw轴，利用离线标定好的相机外参数，对大视角相机坐标系进行校正，得到校正后的相机坐标系O_XYZ，使得OY轴平行于车身坐标系的OwYw轴；
在校正后的大视角相机坐标系O_XYZ中，对大视角相机拍摄的图像像素点进行柱面投影，得到柱面校正图像；校正过程通过反查表进行，即对校正后柱面图像中的每一个像素坐标(u,v),计算其对应大视角相机拍摄的图像中的像素点坐标(u’,v’)，并将大视角相机拍摄的图像中坐标点(u’,v’)的像素亮度值，赋值给柱面校正图像中的坐标点(u,v)；柱面校正图像坐标点坐标(u,v)到大视角相机拍摄的图像坐标(u’,v’)的计算方法为，首先，利用式(4)计算点(xc,yc,zc),
式(4)中R为由相机的外参数构成的坐标系O_X’Y’Z’与坐标系O_XYZ间的旋转矩阵，通过离线外参标定方法获得；u0，v0，ay，dφ，为虚拟柱面相机的内参数，由用户根据实际需要自行设定；再利用公式(2)和(3)计算θ，
r(θ)；
最后，将计算好的θ，
r(θ)代入公式(1)，求出大视角相机拍摄的图像中坐标点(u’,v’)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010603309.5A CN111862210B (zh) | 2020-06-29 | 2020-06-29 | 一种基于环视相机的目标物检测定位方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010603309.5A CN111862210B (zh) | 2020-06-29 | 2020-06-29 | 一种基于环视相机的目标物检测定位方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111862210A CN111862210A (zh) | 2020-10-30 |
| CN111862210B true CN111862210B (zh) | 2023-05-12 |
Family
ID=72988683
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010603309.5A Active CN111862210B (zh) | 2020-06-29 | 2020-06-29 | 一种基于环视相机的目标物检测定位方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111862210B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114616586A (zh) * | 2020-12-15 | 2022-06-10 | 深圳市大疆创新科技有限公司 | 图像标注方法、装置、电子设备及计算机可读存储介质 |
| CN117078752B (zh) * | 2023-07-19 | 2024-05-28 | 苏州魔视智能科技有限公司 | 车辆位姿估计方法、装置、车辆及存储介质 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004068326A1 (ja) * | 2003-01-31 | 2004-08-12 | Olympus Corporation | 運動検出装置及び通信装置 |
| CN103971352A (zh) * | 2014-04-18 | 2014-08-06 | 华南理工大学 | 一种基于广角镜头的快速图像拼接方法 |
| CN105488775A (zh) * | 2014-10-09 | 2016-04-13 | 东北大学 | 一种基于六摄像机环视的柱面全景生成装置及方法 |
| EP3057061A1 (en) * | 2015-02-16 | 2016-08-17 | Application Solutions (Electronics and Vision) Limited | Method and device for the estimation of car egomotion from surround view images |
| CN107274341A (zh) * | 2017-05-18 | 2017-10-20 | 合肥工业大学 | 基于固定拼接参数的快速双目鱼眼全景图像拼接方法 |
| CN107958440A (zh) * | 2017-12-08 | 2018-04-24 | 合肥工业大学 | 在gpu上实现双鱼眼图像实时全景图像拼接方法及*** |
| CN109882019A (zh) * | 2019-01-17 | 2019-06-14 | 同济大学 | 一种基于目标检测和动作识别的汽车电动尾门开启方法 |
| CN109923491A (zh) * | 2016-09-08 | 2019-06-21 | 克诺尔商用车制动***有限公司 | 用于自主运行的商用车的传感器组件和用于进行环视图像感测的方法 |
| CN110207650A (zh) * | 2019-05-31 | 2019-09-06 | 重庆迪星天科技有限公司 | 基于双目视觉的车用公路限高架高度测量方法及装置 |
| CN110827197A (zh) * | 2019-10-08 | 2020-02-21 | 武汉极目智能技术有限公司 | 一种基于深度学习检测和识别车辆环视目标的方法和装置 |
| CN111098785A (zh) * | 2019-12-20 | 2020-05-05 | 天津市航天安通电子科技有限公司 | 一种驾驶辅助***、特种车辆及方法 |
| CN111252082A (zh) * | 2020-01-20 | 2020-06-09 | 浙江吉利汽车研究院有限公司 | 一种驾驶预警方法、装置及存储介质 |
| CN111640062A (zh) * | 2020-05-15 | 2020-09-08 | 上海赫千电子科技有限公司 | 一种车载环视图像的自动拼接方法 |
| CN111819571A (zh) * | 2018-03-09 | 2020-10-23 | 康蒂-特米克微电子有限公司 | 具有经调整适配的投影面的全景环视*** |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160191795A1 (en) * | 2014-12-30 | 2016-06-30 | Alpine Electronics, Inc. | Method and system for presenting panoramic surround view in vehicle |
| US20170297488A1 (en) * | 2016-04-19 | 2017-10-19 | GM Global Technology Operations LLC | Surround view camera system for object detection and tracking |
-
2020
- 2020-06-29 CN CN202010603309.5A patent/CN111862210B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004068326A1 (ja) * | 2003-01-31 | 2004-08-12 | Olympus Corporation | 運動検出装置及び通信装置 |
| CN103971352A (zh) * | 2014-04-18 | 2014-08-06 | 华南理工大学 | 一种基于广角镜头的快速图像拼接方法 |
| CN105488775A (zh) * | 2014-10-09 | 2016-04-13 | 东北大学 | 一种基于六摄像机环视的柱面全景生成装置及方法 |
| EP3057061A1 (en) * | 2015-02-16 | 2016-08-17 | Application Solutions (Electronics and Vision) Limited | Method and device for the estimation of car egomotion from surround view images |
| CN109923491A (zh) * | 2016-09-08 | 2019-06-21 | 克诺尔商用车制动***有限公司 | 用于自主运行的商用车的传感器组件和用于进行环视图像感测的方法 |
| CN107274341A (zh) * | 2017-05-18 | 2017-10-20 | 合肥工业大学 | 基于固定拼接参数的快速双目鱼眼全景图像拼接方法 |
| CN107958440A (zh) * | 2017-12-08 | 2018-04-24 | 合肥工业大学 | 在gpu上实现双鱼眼图像实时全景图像拼接方法及*** |
| CN111819571A (zh) * | 2018-03-09 | 2020-10-23 | 康蒂-特米克微电子有限公司 | 具有经调整适配的投影面的全景环视*** |
| CN109882019A (zh) * | 2019-01-17 | 2019-06-14 | 同济大学 | 一种基于目标检测和动作识别的汽车电动尾门开启方法 |
| CN110207650A (zh) * | 2019-05-31 | 2019-09-06 | 重庆迪星天科技有限公司 | 基于双目视觉的车用公路限高架高度测量方法及装置 |
| CN110827197A (zh) * | 2019-10-08 | 2020-02-21 | 武汉极目智能技术有限公司 | 一种基于深度学习检测和识别车辆环视目标的方法和装置 |
| CN111098785A (zh) * | 2019-12-20 | 2020-05-05 | 天津市航天安通电子科技有限公司 | 一种驾驶辅助***、特种车辆及方法 |
| CN111252082A (zh) * | 2020-01-20 | 2020-06-09 | 浙江吉利汽车研究院有限公司 | 一种驾驶预警方法、装置及存储介质 |
| CN111640062A (zh) * | 2020-05-15 | 2020-09-08 | 上海赫千电子科技有限公司 | 一种车载环视图像的自动拼接方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111862210A (zh) | 2020-10-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109360245B (zh) | 无人驾驶车辆多相机***的外参数标定方法 | |
| CN107577988B (zh) | 实现侧方车辆定位的方法、装置及存储介质、程序产品 | |
| JP3895238B2 (ja) | 障害物検出装置及びその方法 | |
| US20170019657A1 (en) | Stereo auto-calibration from structure-from-motion | |
| Li et al. | Easy calibration of a blind-spot-free fisheye camera system using a scene of a parking space | |
| WO2012043045A1 (ja) | 画像処理装置及びそれを用いた撮像装置 | |
| EP3716145A1 (en) | Object detection device and method | |
| CN111862210B (zh) | 一种基于环视相机的目标物检测定位方法及装置 | |
| CN110717445B (zh) | 一种用于自动驾驶的前车距离跟踪***与方法 | |
| CN111862673A (zh) | 基于顶视图的停车场车辆自定位及地图构建方法 | |
| KR20180112010A (ko) | 자동차의 도로변의 물체를 검출하는 방법, 컴퓨팅 장치, 운전자 보조 시스템 및 자동차 | |
| CN111768332A (zh) | 一种车载环视实时3d全景图像的拼接方法及图形采集装置 | |
| CN111860270B (zh) | 一种基于鱼眼相机的障碍物检测方法及装置 | |
| JP2010224918A (ja) | 環境認識装置 | |
| CN101980292A (zh) | 一种基于正八边形模板的车载摄像机内参数的标定方法 | |
| KR101697229B1 (ko) | 차량용 영상 정합을 위한 차선 정보 기반의 자동보정장치 및 그 방법 | |
| CN110197104B (zh) | 基于车辆的测距方法及装置 | |
| CN117372244A (zh) | 基于二维阵列表示的大场景特征立体匹配方法 | |
| CN110738696B (zh) | 行车盲区透视视频的生成方法及行车盲区视野透视*** | |
| Schönbein et al. | Environmental Perception for Intelligent Vehicles Using Catadioptric Stereo Vision Systems. | |
| CN112802109A (zh) | 一种汽车鸟瞰全景图生成方法 | |
| CN111881878A (zh) | 一种环视复用的车道线识别方法 | |
| CN114078090A (zh) | 基于imu位姿纠正的牵引车鸟瞰图拼接方法及*** | |
| CN114724111A (zh) | 一种基于deepstream的智能叉车识别避障方法 | |
| EP3800576A1 (en) | Object detection device, vehicle, and object detection process |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |