CN112224132B - 一种车用全景环视障碍物预警方法 - Google Patents

一种车用全景环视障碍物预警方法 Download PDF

Info

Publication number
CN112224132B
CN112224132B CN202011169918.0A CN202011169918A CN112224132B CN 112224132 B CN112224132 B CN 112224132B CN 202011169918 A CN202011169918 A CN 202011169918A CN 112224132 B CN112224132 B CN 112224132B
Authority
CN
China
Prior art keywords
vehicle
pixel
image
fusion
checkerboard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011169918.0A
Other languages
English (en)
Other versions
CN112224132A (zh
Inventor
王念兵
仇开金
王述良
许端
程建伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Jimu Intelligent Technology Co ltd
Original Assignee
Wuhan Jimu Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Jimu Intelligent Technology Co ltd filed Critical Wuhan Jimu Intelligent Technology Co ltd
Priority to CN202011169918.0A priority Critical patent/CN112224132B/zh
Publication of CN112224132A publication Critical patent/CN112224132A/zh
Application granted granted Critical
Publication of CN112224132B publication Critical patent/CN112224132B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种车用全景环视障碍物预警方法，属于辅助驾驶领域，该方法包括：获取各车载相机拍摄的原始图像，加载查找表，其中，查找表用于反映各车载相机拍摄的原始图像中的像素点在全景图像中的对应位置；通过双线性插值获取各原始图像中与全景图像每个点对应的像素点的像素值，并根据各原始图像之间的融合权重对各原始图像之间的重叠区域进行像素的融合，得到全景图像中各点的像素值，进而得到全景图像；对全景图像中的障碍物进行检测，若检测的障碍物位于预设预警区域内，则进行警示。本发明计算量较小，可以进行障碍物检测与行人的预警。具有较广的视野，可很好的避免突发事故。

Description

一种车用全景环视障碍物预警方法
技术领域
本发明属于辅助驾驶领域，更具体地，涉及一种车用全景环视障碍物预警方法。
背景技术
汽车360°环视算法(Around View Monitor，AVM)是汽车高级辅助驾驶***(Advanced Driving Assistance System，ADAS)中非常重要的一员，AVM算法生成的全景鸟瞰图可以在紧凑的停车场或者狭窄的道路场景下，有效的帮助驾驶员观察车外路况，规避车辆碰撞事故。障碍物预警功能又可以在驾驶员走神或无暇观察周围路况时，检测车辆周围的常见障碍物及行人，并进行声音报警提醒，提高驾驶安全。目前车辆盲区监控的方法主要有以下三种：1)直接使用监控相机观察各个方向，没有做任何其他处理；2)通过安装的雷达进行报警提醒车辆周围的障碍物；3)基于车辆周围的若干个镜头，利用图像拼接技术、图像融合技术等实现全景环视。
其中，基于镜头原始画面的方式，存在同时显示多个画面，不能直接显示出车辆所处的环境，需要投入较多的注意力观察各个视角，在车辆移动过程中，非常不利于行车安全。
基于雷达的方式，在没有视频画面辅助的情况下，雷达报警提醒时，驾驶员无法直接获取障碍物所处的位置，而且车辆在前进过程中，雷达是无法预警的，难以帮助驾驶员在狭窄的路况下进行操作。
基于图像拼接的方法，一般的图像拼接方法标定过程十分繁琐，需要确定许多棋盘格的点，同时指定对应的图像点，计算变换矩阵，最后对校正后的图像进行透视变换，得到拼接图。此方法虽然相对前两种方法能够直接观察行驶路况，但是却缺少预警***。驾驶员不会随时关注图像屏幕，为避免意外事故，需要额外的预警***时刻监控车辆周边路况信息，在障碍物或行人靠近时进行报警提醒驾驶员注意观察。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提出了一种车用全景环视障碍物预警方法，由此解决现有基于图像拼接方法存在的操作繁琐的技术问题。
为实现上述目的，本发明提供了一种车用全景环视障碍物预警方法，包括：
获取各车载相机拍摄的原始图像，加载查找表，其中，所述查找表用于反映各车载相机拍摄的原始图像中的像素点在全景图像中的对应位置；
通过双线性插值获取各原始图像中与全景图像每个点对应的像素点的像素值，并根据各原始图像之间的融合权重对各原始图像之间的重叠区域进行像素的融合，得到全景图像中各点的像素值，进而得到全景图像；
对全景图像中的障碍物进行检测，若检测的障碍物位于预设预警区域内，则进行警示。
优选地，在所述获取各车载相机拍摄的原始图像，加载查找表之前，所述方法还包括：
分别在车载相机的各个位置旋转棋盘格，获取各个车载相机的原始图像，进而通过标定得到车载相机的内参及畸变参数，以对各原始图像进行畸变校正；
通过标定得到车载相机的外参，然后根据车载相机的内参、外参及畸变校正后的原始图像得到单应性矩阵；
设置观察者视角，利用车载相机的内参和外参得到各车载相机在观察者视角下的重投影图像，并基于单应性矩阵以及畸变参数将重投影图像与对应的原始图像建立联系，保存重投影图像像素对应的原始图像的像素位置。
优选地，所述通过标定得到车载相机的外参，包括：
在车辆的对角线方向分别对称放置一个棋盘格，且要求各棋盘格在最近的两个车载相机中清晰可见，测量各个车载相机距离棋盘格的相对距离；
选取各棋盘格内点，由各个车载相机距离棋盘格的相对距离得到各棋盘格内点在世界坐标系下的坐标，其中，所述世界坐标系以车辆中心为坐标系原点，X轴指向车辆右侧，Y轴指向车辆正前方，棋盘格所在平面Z值为0；
由各棋盘格内点在世界坐标系下的坐标及各棋盘格内点对应的相机图像上的二维坐标，使用pnp算法进行外参旋转矩阵和平移向量的估计。
优选地，由
Figure BDA0002746982760000031
确定所述单应性矩阵，其中，K为相机内参，
Figure BDA0002746982760000032
为旋转矩阵中的值，
Figure BDA0002746982760000033
为平移向量中的值。
优选地，由p`u＝H`H-1pu确定重投影图像像素对应的原始图像的矫正图像的像素位置，其中，H`为观察者视角下的单应性矩阵，
Figure BDA0002746982760000034
Figure BDA0002746982760000035
R`为观察者视角下的相机旋转矩阵，T`为观察者视角下的相机平移矩阵，pu表示原始图像对应的矫正图像的像素坐标，p`u表示重投影后的像素坐标。
优选地，各原始图像之间的融合权重的获取方式为：
计算各车载相机之间的重叠区域，并根据重叠区域确定融合区域，对于融合区域内的任意像素点，计算该像素点与融合区域的第一边界之间的第一夹角及与融合区域的第二边界之间的第二夹角；
由所述第一夹角、所述第二夹角及所述第一边界与所述第二边界之间的夹角得到所述融合区域对应的两幅图像的融合权重。
优选地，由w1＝θ1/θ及w2＝θ2/θ分别得到所述融合区域对应的两幅图像的融合权重，其中，θ1表示所述第一夹角，θ2表示所述第二夹角，θ表示所述第一边界与所述第二边界之间的夹角。
优选地，由Iblend(u,v)＝w2*I1(u,v)+w1*I2(u,v)确定融合区域的像素值，其中，I1(u,v)表示融合区域对应的其中一幅图像中(u,v)位置处的像素点的像素值，I2(u,v)表示融合区域对应的另一幅图像中(u,v)位置处的像素点的像素值，Iblend(u,v)表示融合后的全景图像中相同位置处的像素值。
优选地，所述对全景图像中的障碍物进行检测，包括：
在YOLOV3的主干网络结构中融合Efficientnet主干网，以对全景图像中的障碍物进行检测，其中，YOLOV3网络的输入图像尺寸为416×416，通道数为3，主干网的宽度乘子为α＝0.75。
优选地，所述预设预警区域的获取方式为：
在车辆周围设置预警区域，根据所述预警区域的边界点，由P`c＝H`Pw得到所述边界点对应的全景图中的像素位置，并根据各所述边界点在全景图中的像素位置得到全景图中的预警区域，其中，P`c表示所述边界点对应的全景图中的像素位置，Pw表示所述边界点在世界坐标系下的位置。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
(1)可以在只标定少数特征点的情况下，进行外参的精确估计，标定过程灵活简单；
(2)通过设置预警区域，具有更加广的环视视野，左右可覆盖约两个车道，充足的观察距离能有效避免突发事故的发生；
(3)增加的障碍物及行人预警功能能够有效避免驾驶员注意力游走时的意外发生；
(4)运用深度学习算法，改进后的网络计算量小，能够有效的运用硬件资源，保证检测准确率。
附图说明
图1是本发明实施例提供的一种车用全景环视障碍物预警方法的流程示意图；
图2是本发明实施例提供的另一种车用全景环视障碍物预警方法的流程示意图；
图3是本发明实施例提供的一种棋盘格摆放示意图；
图4是本发明实施例提供的一种融合示意图；
图5是本发明实施例提供的一种预警区域设置示意图；
图6是本发明实施例提供的一种预警效果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
在本发明实例中，“第一”、“第二”等是用于区别不同的对象，而不必用于描述特定的顺序或先后次序。
本发明提供的一种车用全景环视障碍物预警方法，可以在采用若干个车载镜头的情况下，利用图像拼接技术生成观察视角较广的360度环视无死角的画面，帮助驾驶员观察车辆周围情况；使用深度学习的方法进行常见障碍物及行人检测，监控视角盲区并预警以保障行车安全。
如图1所示是本发明实施例提供的一种车用全景环视障碍物预警方法的流程示意图，包括以下步骤：
S1：获取各车载相机拍摄的原始图像，加载查找表，其中，查找表用于反映各车载相机拍摄的原始图像中的像素点在全景图像中的对应位置；
S2：通过双线性插值获取各原始图像中与全景图像每个点对应的像素点的像素值，并根据各原始图像之间的融合权重对各原始图像之间的重叠区域进行像素的融合，得到全景图像中各点的像素值，进而得到全景图像；
S3：对全景图像中的障碍物进行检测，若检测的障碍物位于预设预警区域内，则进行警示。
如图2所示是本发明实施例提供的另一种车用全景环视障碍物预警方法的流程示意图，涉及到相机的内参标定、装车之后的外参标定及图像融合技术等步骤。
(一)AVM流程
其中，相机个数n取值可以根据需要确定，优选为4、6、8。
本发明实施例中的AVM整个流程可分为离线与在线两个模块，离线模块用于计算鱼眼图像每个像素点在拼接图中的位置，每次摄像头位置有变更时，都需要重新计算查找表LUT，此过程比较耗时。在线模块用于在加载LUT后(只需要设备启动后加载一次)进行实时拼接，主要涉及到像素赋值，计算量较小，其中光照补偿步骤执行与否主要看硬件性能与效果之间的平衡。
具体方法步骤如下：
(1)鱼眼相机的离线标定：
分别在车载相机的各个位置旋转棋盘格，获取各个车载相机的原始图像，使用张正友标定法获取相机的内参及畸变参数。
(2)外参标定：
棋盘格的摆放如图3所示，其中棋盘格未直接画出，而是以灰色圆表示棋盘格的角点，以车辆中心建立如图3所示的世界坐标系，X轴指向车辆右侧，Y轴指向车辆正前方，棋盘格所在平面Z值为0。在车辆的对角线方向分别对称放置一个棋盘格，其中要求各棋盘格在最近的两个相机中清晰可见，测量各个相机距离棋盘格的相对距离。最后选取棋盘格内点(即图3中灰色圆所在位置)，得到棋盘格内点的3d点，即在世界坐标系下的坐标
Figure BDA0002746982760000071
手动标注对应图片上的2D点pi＝[ui vi]，1≤i≤6，再使用EPNP(Efficient Perspective-n-Point Camera Pose Estimation)算法进行旋转矩阵R和平移向量T的估计。
此过程只需获取上图中十二个灰色圆所在世界坐标即可，不用计算所有棋盘格角点的位置。
(3)单应性矩阵的计算
假设世界坐标是以车身中心为原点，Z轴高度为0，故可计算出世界坐标与畸变校正图像坐标之间的对应关系为下式：
Figure BDA0002746982760000072
其中
Figure BDA0002746982760000073
Pw表示世界坐标上的3D点，pu为校正图像的像素坐标；
K为相机内参，考虑到Z值为0，即Zw＝0，得到单应性矩阵H为：
Figure BDA0002746982760000074
(4)离线生成查询表
设置虚拟观察者欧拉角为θ＝(π 0 0)，世界坐标坐标为Pview＝(0 0 Zh)，并利用罗德里格旋转公式计算出观察者视角下的相机外参R`,T`，设虚拟观察者的内参与相机相同，由步骤(3)可知虚拟观察者的单应性矩阵为H`。
其中，
Figure BDA0002746982760000075
利用相机内外参得到每个相机画面在此视角下的重投影图像，并将重投影图像与鱼眼矫正图像建立联系，保存重投影图像像素对应的鱼眼矫正图像的像素位置。
设重投影后的像素坐标为p`u，则两者之间的关系如下：
Figure BDA0002746982760000081
即p`u＝H`H-1pu。
步骤(1)中已获得相机的鱼眼畸变参数D＝[1 d1 d2 d3 d4]，再计算出鱼眼矫正图像与鱼眼图像像素映射关系为：
Figure BDA0002746982760000082
其中，pd为鱼眼图像中像素位置。
(5)生成融合区域的权重
计算相机之间的重叠区域，在此基础上设置一个合适宽度，计算重合区域中的每个像素权重，采用alpha融合方法得到拼接图。如图4所示，虚线部分为两图之间的重叠区域，若直接采用此区域，较大的融合面积会造成一定程度的重影问题，影响拼接效果，比较AF与FC，假设AF>FC，减少AF为EF，以OE与OC之间的区域作为权重计算的融合区域。
在OE与OC区域内的像素坐标p，分别计算其与边界OE、OC的夹角θ1，θ2，OE、OC的夹角为θ，融合区域两幅图像对应像素的权重分别为w1＝θ1/θ,w2＝θ2/θ，此像素位置最终的融合像素值为：
Iblend(u,v)＝w2*I1(u,v)+w1*I2(u,v)
如图2所示，在线处理部分的具体实施方式为：
首先获取各相机的图像，然后加载查找表；
查找表存储格式为(xdst,ydst,id,xsrc,ysrc,w)，每行数据存储全景图中的像素位置(xdst,ydst)，对应相机拍摄的原始图像序号id，及该图像上的像素位置(xsrc,ysrc)，w表示融合区域权重，若在非融合区域，w＝1，否则根据w1或者w2计算的结果进行像素的融合。
因为已知道全景图像每个像素在原始图中的像素位置，故可以在原始图上对该点进行双线性插值，公式如下：
Figure BDA0002746982760000091
其中，int()表示取整操作，I(x,y)为坐标(x,y)处的像素值。
不同方向的画面进行拼接融合时，由于存在光照不均匀的情况，如果直接进行显示，会出现不自然的情形，例如逆光行驶时，前视与侧视会存在颜色断层，为了对颜色进行修正，采用如下公式进行修正：
Figure BDA0002746982760000092
Figure BDA0002746982760000093
Figure BDA0002746982760000094
其中，IR表示新的R通道值，
Figure BDA0002746982760000095
表示R通道平均值，
Figure BDA0002746982760000096
表示R通道标准差，IG表示新的G通道值，
Figure BDA0002746982760000097
表示G通道平均值，
Figure BDA0002746982760000098
表示G通道标准差，IB表示新的B通道值，
Figure BDA0002746982760000099
表示B通道平均值，
Figure BDA00027469827600000910
表示B通道标准差。
(二)障碍物及行人预警
更改原始YOLOV3的主干网络结构，融合Efficientnet主干网改进深度学习算法YOLOV3，其中，YOLOV3网络的输入图像尺寸为416×416，通道数为3，主干网的宽度乘子为α＝0.75，此网络在较小的计算代价下也能具有较好的特征学习能力，并且在保证速度的同时具有较高的检测精度。获取到环视拼接图以后，缩放至416*416，进行障碍物检测。
在车辆周围设置ROI区域，设置报警范围，离车身中心宽长为(roi_w,roi_h)，世界坐标系下的示意图如图5所示，已知左上角与右下角的点，再使用公式P`c＝H`Pw进行计算，得出该坐标对应全景图中的像素位置，并绘制全景图中的矩形预警区域。为了增加响应时间，增加预警距离，与设置ROI区域类似，可设置左右三个车道，前后近10m的检测距离。
若检测的障碍物出现在ROI区域内，则进行声音报警提醒驾驶员注意；在ROI区域外，只在屏幕上进行显示。效果图如图6所示。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种车用全景环视障碍物预警方法，其特征在于，包括：
获取各车载相机拍摄的原始图像，加载查找表，其中，所述查找表用于反映各车载相机拍摄的原始图像中的像素点在全景图像中的对应位置；
在所述获取各车载相机拍摄的原始图像，加载查找表之前，所述方法还包括：
分别在车载相机的各个位置旋转棋盘格，获取各个车载相机的原始图像，进而通过标定得到车载相机的内参及畸变参数，以对各原始图像进行畸变校正；
通过标定得到车载相机的外参，然后根据车载相机的内参、外参及畸变校正后的原始图像得到单应性矩阵；
设置观察者视角，利用车载相机的内参和外参得到各车载相机在观察者视角下的重投影图像，并基于单应性矩阵以及畸变参数将重投影图像与对应的原始图像建立联系，保存重投影图像像素对应的原始图像的像素位置；
所述通过标定得到车载相机的外参，包括：
在车辆的对角线方向分别对称放置一个棋盘格，且要求各棋盘格在最近的两个车载相机中清晰可见，测量各个车载相机距离棋盘格的相对距离；
选取各棋盘格内点，由各个车载相机距离棋盘格的相对距离得到各棋盘格内点在世界坐标系下的坐标，其中，所述世界坐标系以车辆中心为坐标系原点，X轴指向车辆右侧，Y轴指向车辆正前方，棋盘格所在平面Z值为0；
由各棋盘格内点在世界坐标系下的坐标及各棋盘格内点对应的相机图像上的二维坐标，使用pnp算法进行外参旋转矩阵和平移向量的估计；
通过双线性插值获取各原始图像中与全景图像每个点对应的像素点的像素值，并根据各原始图像之间的融合权重对各原始图像之间的重叠区域进行像素的融合，得到全景图像中各点的像素值，进而得到全景图像；
对全景图像中的障碍物进行检测，若检测的障碍物位于预设预警区域内，则进行警示。
2.根据权利要求1所述的方法，其特征在于，由
Figure FDA0003487458030000021
确定所述单应性矩阵，其中，K为相机内参，
Figure FDA0003487458030000022
为旋转矩阵中的值，
Figure FDA0003487458030000023
为平移向量中的值。
3.根据权利要求2所述的方法，其特征在于，由p`u=H`H-1pu确定重投影图像像素对应的原始图像的矫正图像的像素位置，其中，H`为观察者视角下的单应性矩阵，
Figure FDA0003487458030000024
Figure FDA0003487458030000025
R`为观察者视角下的相机旋转矩阵，T`为观察者视角下的相机平移矩阵，pu表示原始图像对应的矫正图像的像素坐标，p`u表示重投影后的像素坐标。
4.根据权利要求1所述的方法，其特征在于，各原始图像之间的融合权重的获取方式为：
计算各车载相机之间的重叠区域，并根据重叠区域确定融合区域，对于融合区域内的任意像素点，计算该像素点与融合区域的第一边界之间的第一夹角及与融合区域的第二边界之间的第二夹角；
由所述第一夹角、所述第二夹角及所述第一边界与所述第二边界之间的夹角得到所述融合区域对应的两幅图像的融合权重。
5.根据权利要求4所述的方法，其特征在于，由w1＝θ1/θ及w2＝θ2/θ分别得到所述融合区域对应的两幅图像的融合权重，其中，θ1表示所述第一夹角，θ2表示所述第二夹角，θ表示所述第一边界与所述第二边界之间的夹角。
6.根据权利要求5所述的方法，其特征在于，由Iblend(u，v)＝w2*I1(u，v)+w1*I2(u，v)确定融合区域的像素值，其中，I1(u，v)表示融合区域对应的其中一幅图像中(u，v)位置处的像素点的像素值，I2(u，v)表示融合区域对应的另一幅图像中(u，v)位置处的像素点的像素值，Iblend(u，v)表示融合后的全景图像中相同位置处的像素值。
7.根据权利要求1所述的方法，其特征在于，所述对全景图像中的障碍物进行检测，包括：
在YOLOV3的主干网络结构中融合Efficientnet主干网，以对全景图像中的障碍物进行检测，其中，YOLOV3网络的输入图像尺寸为416×416，通道数为3，主干网的宽度乘子为α＝0.75。
8.根据权利要求1所述的方法，其特征在于，所述预设预警区域的获取方式为：
在车辆周围设置预警区域，根据所述预警区域的边界点，由P`c＝H`Pw得到所述边界点对应的全景图中的像素位置，并根据各所述边界点在全景图中的像素位置得到全景图中的预警区域，其中，P`c表示所述边界点对应的全景图中的像素位置，Pw表示所述边界点在世界坐标系下的位置。
CN202011169918.0A 2020-10-28 2020-10-28 一种车用全景环视障碍物预警方法 Active CN112224132B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011169918.0A CN112224132B (zh) 2020-10-28 2020-10-28 一种车用全景环视障碍物预警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011169918.0A CN112224132B (zh) 2020-10-28 2020-10-28 一种车用全景环视障碍物预警方法

Publications (2)

Publication Number Publication Date
CN112224132A CN112224132A (zh) 2021-01-15
CN112224132B true CN112224132B (zh) 2022-04-19

Family

ID=74110710

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011169918.0A Active CN112224132B (zh) 2020-10-28 2020-10-28 一种车用全景环视障碍物预警方法

Country Status (1)

Country Link
CN (1) CN112224132B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112927303B (zh) * 2021-02-22 2023-01-24 中国重汽集团济南动力有限公司 一种基于车道线的自动驾驶车载相机位姿估计方法及***
CN113096187B (zh) * 2021-05-03 2022-05-17 湖北汽车工业学院 一种车辆与障碍物相对位置自动获取方法
CN113232585B (zh) * 2021-05-07 2023-02-10 广州小鹏汽车科技有限公司 车辆开门防碰撞方法、装置、车辆及存储介质
CN113313813A (zh) * 2021-05-12 2021-08-27 武汉极目智能技术有限公司 一种可主动预警的车载3d全景环视***
CN113538311B (zh) * 2021-07-22 2024-01-23 浙江赫千电子科技有限公司 基于人眼主观视觉效果车载冗余摄像头的图像融合方法
CN113705403B (zh) * 2021-08-18 2023-08-08 广州敏视数码科技有限公司 一种与全景成像***融合的前方目标车辆碰撞预警方法
CN114418862B (zh) * 2022-03-31 2022-07-29 苏州挚途科技有限公司 侧向图像的拼接方法、装置和***
CN114577233B (zh) * 2022-05-05 2022-07-29 腾讯科技（深圳）有限公司 一种车辆导航方法、装置及计算机设备、存储介质
CN115412676A (zh) * 2022-09-13 2022-11-29 清华大学 一种基于权重掩膜的全景环视***及全景图像融合方法
CN115661105B (zh) * 2022-11-05 2023-06-20 东莞市蒂安斯实业有限公司 基于人工智能的汽车模型视觉检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678787A (zh) * 2016-02-03 2016-06-15 西南交通大学 一种基于双目鱼眼摄像头的载重货车行驶障碍物检测及跟踪方法
CN106056536A (zh) * 2016-05-19 2016-10-26 温州大学城市学院 一种车载全景图像无缝拼接处理方法
CN106855999A (zh) * 2015-12-09 2017-06-16 宁波芯路通讯科技有限公司 汽车环视图像的生成方法及装置
CN107993264A (zh) * 2017-11-17 2018-05-04 广州市安晓科技有限责任公司 一种汽车环视全景的标定方法
CN108510445A (zh) * 2018-03-30 2018-09-07 长沙全度影像科技有限公司 一种全景图像拼接方法
CN108986172A (zh) * 2018-07-25 2018-12-11 西北工业大学 一种面向小景深***的单视图线性摄像机标定方法
CN111263951A (zh) * 2017-10-26 2020-06-09 哈曼国际工业有限公司 用于对全景视图中的重叠区进行快速图像融合的方法和***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106855999A (zh) * 2015-12-09 2017-06-16 宁波芯路通讯科技有限公司 汽车环视图像的生成方法及装置
CN105678787A (zh) * 2016-02-03 2016-06-15 西南交通大学 一种基于双目鱼眼摄像头的载重货车行驶障碍物检测及跟踪方法
CN106056536A (zh) * 2016-05-19 2016-10-26 温州大学城市学院 一种车载全景图像无缝拼接处理方法
CN111263951A (zh) * 2017-10-26 2020-06-09 哈曼国际工业有限公司 用于对全景视图中的重叠区进行快速图像融合的方法和***
CN107993264A (zh) * 2017-11-17 2018-05-04 广州市安晓科技有限责任公司 一种汽车环视全景的标定方法
CN108510445A (zh) * 2018-03-30 2018-09-07 长沙全度影像科技有限公司 一种全景图像拼接方法
CN108986172A (zh) * 2018-07-25 2018-12-11 西北工业大学 一种面向小景深***的单视图线性摄像机标定方法

Also Published As

Publication number Publication date
CN112224132A (zh) 2021-01-15

Similar Documents

Publication Publication Date Title
CN112224132B (zh) 一种车用全景环视障碍物预警方法
CN109741455B (zh) 一种车载立体全景显示方法、计算机可读存储介质及***
EP3565739B1 (en) Rear-stitched view panorama for rear-view visualization
US9858639B2 (en) Imaging surface modeling for camera modeling and virtual view synthesis
CN104851076B (zh) 用于商用车的全景环视泊车辅助***及摄像头安装方法
KR101389884B1 (ko) 차량 이미지를 처리하기 위한 동적 이미지 처리 방법 및 시스템
CN109948398A (zh) 全景泊车的图像处理方法及全景泊车装置
KR20170135952A (ko) 차량의 주변 영역을 표시하기 위한 방법
CN103617606A (zh) 用于辅助驾驶的车辆多视角全景生成方法
JP2011182236A (ja) カメラキャリブレーション装置
EP2079053A1 (en) Method and apparatus for calibrating a video display overlay
JP2002019556A (ja) 監視システム
US20200280678A1 (en) Using Real Time Ray Tracing for Lens Remapping
US11528453B2 (en) Sensor fusion based perceptually enhanced surround view
CN111179168A (zh) 一种车载360度全景环视监控***及方法
CN112215747A (zh) 无车底盲区的车载全景图的生成方法、装置及存储介质
CN110378836B (zh) 获取对象的3d信息的方法、***和设备
CN111768332A (zh) 一种车载环视实时3d全景图像的拼接方法及图形采集装置
US20160037154A1 (en) Image processing system and method
CN113421183B (zh) 车辆环视全景图的生成方法、装置、设备和存储介质
CN110428361A (zh) 一种基于人工智能的多路图像采集方法
CN112435161A (zh) 全景环视图像拼接方法及***、电子设备和存储介质
JP6855254B2 (ja) 画像処理装置、画像処理システム、及び、画像処理方法
CN111107303A (zh) 行车图像***及行车图像处理方法
JP7332716B2 (ja) 車両周辺部の画像を生成する方法ならびに車両周辺部の画像を生成する装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant