CN110866863A - 汽车a柱透视算法 - Google Patents

汽车a柱透视算法 Download PDF

Info

Publication number
CN110866863A
CN110866863A CN201810979006.6A CN201810979006A CN110866863A CN 110866863 A CN110866863 A CN 110866863A CN 201810979006 A CN201810979006 A CN 201810979006A CN 110866863 A CN110866863 A CN 110866863A
Authority
CN
China
Prior art keywords
cameras
automobile
area
points
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810979006.6A
Other languages
English (en)
Inventor
李天军
杨敏玲
栾昊
陈胜勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University of Technology
Original Assignee
Tianjin University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University of Technology filed Critical Tianjin University of Technology
Priority to CN201810979006.6A priority Critical patent/CN110866863A/zh
Publication of CN110866863A publication Critical patent/CN110866863A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种汽车A柱透视算法，包括如下步骤：①车内外各安装两个摄像头，调整车内两个摄像头视角为驾驶者的视角拍摄，调整车外两个摄像头角度使其拍摄范围与车内摄像头拍摄区域具有重叠区域；②通过第一帧所拍摄图像的信息计算被遮挡位置区域坐标，之后每隔一千帧重新计算一次被遮挡区域位置；③将两个摄像头在同一时间获取的两帧图像进行配准；④提取两帧图像的重叠区域；⑤实时输出遮挡区域，将遮挡区域坐标对应图像输出在A柱的显示屏中，达到A柱透视的效果。本发明使汽车在快速移动情况下仍旧具有鲁棒性，通过图像处理与机器视觉相结合对A柱遮挡区域进行检测并实时输出遮挡区域在A柱显示屏上，从而实现汽车A柱遮挡区域在车内显示屏实时复原。

Description

汽车A柱透视算法
技术领域
本发明属于机器视觉和数字图像处理领域，特别涉及一种汽车A柱透视算法。
背景技术
对于封闭式的承载式车身结构的汽车而言，A柱在车身结构件中起到承载正面撞击和车身翻滚对驾驶舱压迫的关键作用，对提高车身结构的稳定性和车身刚度以及安全驾驶起到重要作用。A柱的设计是出于动力学方面的考量，但存在另一方面的隐患，即会造成双目可视障碍，A柱对视线的遮挡不仅影响驾驶体验还存在驾驶安全性的不足。汽车设计工程师一直致力于权衡A柱的大小和可视障碍角的设计，在具有动力学安全性的基础上同时具备驾驶视角安全性，但这两者本身具有矛盾性，要满足汽车刚度安全性需求，A柱宽度必须设计较宽，这样会造成大视角遮挡。相反如果想拥有小可视障碍角，A柱则不能设计太宽。如何解决汽车A柱可视障碍角安全性问题是限制汽车安全性问题研究的关键，也是限制汽车发展的关键性因素。
发明内容
本发明的目的在于是提供一种汽车A柱透视算法，该算法使汽车在快速移动情况下仍旧具有鲁棒性，通过图像处理与机器视觉相结合对A柱遮挡区域进行检测并实时输出遮挡区域在A柱显示屏上，从而实现汽车A柱遮挡区域在车内显示屏实时复原。
为了实现上述目的，本发明的技术方案是：一种汽车A柱透视算法，其特征在于：包括如下步骤：
①车内外各安装两个摄像头，调整车内两个摄像头视角为驾驶者的视角进行拍摄，调整车外两个摄像头角度使其拍摄范围与车内摄像头拍摄区域具有重叠区域；
②通过第一帧所拍摄图像的信息计算被遮挡位置区域坐标，之后每隔一千帧重新计算一次被遮挡区域位置；
③将两个摄像头在同一时间获取的两帧图像进行配准；
④提取两帧图像的重叠区域；
⑤实时输出遮挡区域，将遮挡区域坐标对应图像输出在A柱的显示屏中，达到A柱透视的效果。
所述步骤②的具体步骤为：在A柱放置显示屏，使遮挡区域是一个矩形区域：
A.对输入图像预处理：将被遮挡的第一帧图像进行灰度转换、二值化；
B.提取矩形区域特征：特征包括图像景深、颜色、形状、大小四个特征，可以精准地定位目标的位置；
C.输出矩形区域顶点坐标：对上一步满足特征条件的区域绘制矩形，输出所绘制矩形的坐标。
所述步骤③的具体步骤为：
A.通过FAST特征检测算法对车内外摄像头同时拍摄到的两帧图像进行快速特征点检测：
Figure BDA0001778127030000021
其中V表示得分，t表示阈值；
以像素P为中心，半径为3的圆，在P附近有P1～P16个像素，分别计算P1、P5、P9、P13与中心点P的像素差，若它们差的绝对值有至少三个超过设定阈值，则作为候选点；若p是候选点，则计算p与p1到p16这16个点的像素差，若它们的像素差的绝对值有至少连续9个超过阈值，则是角点；然后进行极大值抑制，计算FAST得分；P点邻域所有像素点与P点像素差的绝对值总和是否为最大值决定P点保留或抑制，若邻域只有一个特征点则保留；
B.计算检测到的特征点BRIEF描述子：
对图像进行高斯滤波减少噪声干扰，以特征点为中心取31x31邻域窗口，在大窗口里再选取两个5x5子窗口，比较两个子窗口内的像素值，在大窗口中随机选取256个子窗口，重复上一步生成特征描述子，
Figure BDA0001778127030000031
其中，p(x)，p(y)分别随机点x＝(u1,v1),y＝(u2,v2)所在5x5子窗口的像素和；
C.利用BRIEF描述子的Hamming距离进行图像配准，通过BruteForce匹配特征点并提取前N个最优配对。
所述步骤④以步骤③提取的前N个最优配对对两帧图像进行配准来获取车外摄像头拍摄的图像到车内摄像头拍摄的图像的映射矩阵，计算重叠区域。
本发明的工作原理是：通过图像处理与机器视觉相结合，对A柱遮挡区域进行检测并实时输出遮挡区域在A柱显示屏。先通过图像预处理相关技术检测遮挡区域，检测结果作为视觉获取的图像重叠区域中精确遮挡区域定位的输入。在算法中加入了四个特征检测遮挡区域，当满足四个特征时，判定为遮挡区域。对摄像头同时拍摄的两帧图像配准，在全景图中将相应的遮挡区域提取，并以驾驶者的视角输出在显示屏中。
本发明使汽车在快速移动情况下仍旧具有鲁棒性，通过图像处理与机器视觉相结合对A柱遮挡区域进行检测并实时输出遮挡区域在A柱显示屏上，从而实现汽车A柱遮挡区域在车内显示屏实时复原。本发明在36km/h的车速情况下能实时将遮挡区域显示在车内显示屏中，两帧图像处理的速度约为20fps，可满足实时性要求。
具体实施方式：
一种汽车A柱透视算法，包括如下步骤：
1、在车内外各安装两个摄像头，调整车内两个摄像头视角为驾驶者的视角进行拍摄，调整车外两个摄像头角度使其拍摄范围与车内摄像头拍摄区域具有重叠区域，这里对左A柱进行分析，右A柱同理。
2、应用FAST特征检测算法检测两个摄像头同时拍摄到的两帧图像，对两帧图像进行实时配准，提取重叠区域，将驾驶者视角的被遮挡区域复原。具体步骤如下(我们约定车内摄像头拍摄为图像1，车外为图像2)：
(1)打开连接的两个摄像头，两个摄像头拍摄的场景具有重叠局域。
(2)通过第一帧信息计算被遮挡位置区域坐标，之后每隔一千帧重新计算一次被遮挡区域位置。我们在A柱放置显示屏，所以我们的遮挡区域是一个矩形区域。
①对输入图像预处理：将被遮挡的第一帧图像进行灰度转换、二值化；
②提取矩形区域特征：特征包括图像景深、颜色、形状、大小四个特征，可以精准地定位目标的位置；
③输出矩形区域顶点坐标：对上一步满足特征条件的区域绘制矩形，输出所绘制矩形的坐标。
(3)将两个摄像头在同一时间获取的两帧图像进行配准。
①通过FAST特征检测算法对车内外摄像头同时拍摄到的两帧图像进行快速特征点检测：
Figure BDA0001778127030000041
其中V表示得分，t表示阈值。
以像素P为中心，半径为3的圆，在P附近有P1～P16个像素，分别计算P1、P5、P9、P13与中心点P的像素差，若它们差的绝对值有至少三个超过设定阈值，则作为候选点。若p是候选点，则计算p与p1到p16这16个点的像素差，若它们的像素差的绝对值有至少连续9个超过阈值，则是角点。然后进行极大值抑制，计算FAST得分值。P点邻域所有像素点与P点像素差的绝对值总和是否为最大值决定P点保留或抑制。若邻域只有一个特征点则保留。
②计算检测到的特征点BRIEF描述子：
对图像进行高斯滤波减少噪声干扰。以特征点为中心取31x31邻域窗口，在大窗口里再选取两个5x5子窗口，比较两个子窗口内的像素值。在大窗口中随机选取256个子窗口，重复上一步生成特征描述子。
Figure BDA0001778127030000042
其中，p(x)，p(y)分别随机点x＝(u1,v1),y＝(u2,v2)所在5x5子窗口的像素和。
③利用BRIEF描述子的Hamming距离进行图像配准，通过BruteForce匹配特征点并提取前N个最优配对。
使用OpenCv的BFMatch尝试所有可能的特征点匹配，因此总能找到最佳匹配，进而选取最佳匹配前N个匹配对进行，在不影响配准效果和速度的前提下，本文选取最佳匹配对的前40个匹配对。
(4)提取两帧图像的重叠区域：以前40对最佳特征匹配对对两帧图像进行配准来获取图像2到图像1的映射矩阵。计算重叠区域。
(5)提取图像2ROI：以矩形遮挡区域的坐标在图像2中设置ROI。
(6)实时输出遮挡区域：将遮挡区域坐标对应图像输出在A柱的显示屏中，达到A柱透视的效果。
需要说明的是，以上所述仅为本发明优选实施例，仅仅是解释本发明，并非因此限制本发明专利范围。对属于本发明技术构思而仅仅显而易见的改动，同样在本发明保护范围之内。

Claims (4)

1.一种汽车A柱透视算法，其特征在于：包括如下步骤：
①车内外各安装两个摄像头，调整车内两个摄像头视角为驾驶者的视角进行拍摄，调整车外两个摄像头角度使其拍摄范围与车内摄像头拍摄区域具有重叠区域；
②通过第一帧所拍摄图像的信息计算被遮挡位置区域坐标，之后每隔一千帧重新计算一次被遮挡区域位置；
③将两个摄像头在同一时间获取的两帧图像进行配准；
④提取两帧图像的重叠区域；
⑤实时输出遮挡区域，将遮挡区域坐标对应图像输出在A柱的显示屏中，达到A柱透视的效果。
2.根据权利要求1所述的一种汽车A柱透视算法，其特征在于：所述步骤②的具体步骤为：在A柱放置显示屏，使遮挡区域是一个矩形区域：
A.对输入图像预处理：将被遮挡的第一帧图像进行灰度转换、二值化；
B.提取矩形区域特征：特征包括图像景深、颜色、形状、大小四个特征，可以精准地定位目标的位置；
C.输出矩形区域顶点坐标：对上一步满足特征条件的区域绘制矩形，输出所绘制矩形的坐标。
3.根据权利要求1所述的一种汽车A柱透视算法，其特征在于：所述步骤③的具体步骤为：
A.通过FAST特征检测算法对车内外摄像头同时拍摄到的两帧图像进行快速特征点检测：
Figure FDA0001778127020000011
其中V表示得分，t表示阈值；
以像素P为中心，半径为3的圆，在P附近有P1～P16个像素，分别计算P1、P5、P9、P13与中心点P的像素差，若它们差的绝对值有至少三个超过设定阈值，则作为候选点；若p是候选点，则计算p与p1到p16这16个点的像素差，若它们的像素差的绝对值有至少连续9个超过阈值，则是角点；然后进行极大值抑制，计算FAST得分；P点邻域所有像素点与P点像素差的绝对值总和是否为最大值决定P点保留或抑制，若邻域只有一个特征点则保留；
B.计算检测到的特征点BRIEF描述子：
对图像进行高斯滤波减少噪声干扰，以特征点为中心取31x31邻域窗口，在大窗口里再选取两个5x5子窗口，比较两个子窗口内的像素值，在大窗口中随机选取256个子窗口，重复上一步生成特征描述子，
Figure FDA0001778127020000021
其中，p(x)，p(y)分别随机点x＝(u1,v1),y＝(u2,v2)所在5x5子窗口的像素和；
C.利用BRIEF描述子的Hamming距离进行图像配准，通过BruteForce匹配特征点并提取前N个最优配对。
4.根据权利要求1所述的一种汽车A柱透视算法，其特征在于：所述步骤④以步骤③提取的前N个最优配对对两帧图像进行配准来获取车外摄像头拍摄的图像到车内摄像头拍摄的图像的映射矩阵，计算重叠区域。
CN201810979006.6A 2018-08-27 2018-08-27 汽车a柱透视算法 Pending CN110866863A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810979006.6A CN110866863A (zh) 2018-08-27 2018-08-27 汽车a柱透视算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810979006.6A CN110866863A (zh) 2018-08-27 2018-08-27 汽车a柱透视算法

Publications (1)

Publication Number Publication Date
CN110866863A true CN110866863A (zh) 2020-03-06

Family

ID=69650972

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810979006.6A Pending CN110866863A (zh) 2018-08-27 2018-08-27 汽车a柱透视算法

Country Status (1)

Country Link
CN (1) CN110866863A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914715A (zh) * 2020-07-24 2020-11-10 廊坊和易生活网络科技股份有限公司 一种基于仿生视觉的智能车目标实时检测与定位方法
CN113077503A (zh) * 2021-03-24 2021-07-06 浙江合众新能源汽车有限公司 盲区视频数据生成方法、***、设备和计算机可读介质
WO2023029122A1 (zh) * 2021-08-30 2023-03-09 歌尔股份有限公司 一种图像的遮挡区域还原方法、装置、设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007241274A (ja) * 2006-03-10 2007-09-20 Samsung Electronics Co Ltd 表示装置のピクセル修理装置
CN201385620Y (zh) * 2009-03-02 2010-01-20 徐胜 驾驶室视觉障碍消除装置
CN101984463A (zh) * 2010-11-02 2011-03-09 中兴通讯股份有限公司 全景图合成方法及装置
CN102855649A (zh) * 2012-08-23 2013-01-02 山东电力集团公司电力科学研究院 基于orb特征点的高压杆塔高清图像全景拼接方法
CN103358996A (zh) * 2013-08-13 2013-10-23 吉林大学 汽车a柱透视化车载显示装置
CN103679636A (zh) * 2013-12-23 2014-03-26 江苏物联网研究发展中心 基于点、线双重特征的快速图像拼接方法
CA2885880A1 (en) * 2014-04-04 2015-10-04 Image Searcher, Inc. Image processing including object selection
CN106886707A (zh) * 2017-03-21 2017-06-23 广东网金控股股份有限公司 一种图像鉴权的方法及装置
CN107481315A (zh) * 2017-06-29 2017-12-15 重庆邮电大学 一种基于Harris‑SIFT‑BRIEF算法的单目视觉三维环境重建方法
CN107580175A (zh) * 2017-07-26 2018-01-12 济南中维世纪科技有限公司 一种单镜头全景拼接的方法
CN107776488A (zh) * 2016-08-24 2018-03-09 京东方科技集团股份有限公司 汽车用辅助显示***、显示方法以及汽车

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007241274A (ja) * 2006-03-10 2007-09-20 Samsung Electronics Co Ltd 表示装置のピクセル修理装置
CN201385620Y (zh) * 2009-03-02 2010-01-20 徐胜 驾驶室视觉障碍消除装置
CN101984463A (zh) * 2010-11-02 2011-03-09 中兴通讯股份有限公司 全景图合成方法及装置
CN102855649A (zh) * 2012-08-23 2013-01-02 山东电力集团公司电力科学研究院 基于orb特征点的高压杆塔高清图像全景拼接方法
CN103358996A (zh) * 2013-08-13 2013-10-23 吉林大学 汽车a柱透视化车载显示装置
CN103679636A (zh) * 2013-12-23 2014-03-26 江苏物联网研究发展中心 基于点、线双重特征的快速图像拼接方法
CA2885880A1 (en) * 2014-04-04 2015-10-04 Image Searcher, Inc. Image processing including object selection
CN107776488A (zh) * 2016-08-24 2018-03-09 京东方科技集团股份有限公司 汽车用辅助显示***、显示方法以及汽车
CN106886707A (zh) * 2017-03-21 2017-06-23 广东网金控股股份有限公司 一种图像鉴权的方法及装置
CN107481315A (zh) * 2017-06-29 2017-12-15 重庆邮电大学 一种基于Harris‑SIFT‑BRIEF算法的单目视觉三维环境重建方法
CN107580175A (zh) * 2017-07-26 2018-01-12 济南中维世纪科技有限公司 一种单镜头全景拼接的方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914715A (zh) * 2020-07-24 2020-11-10 廊坊和易生活网络科技股份有限公司 一种基于仿生视觉的智能车目标实时检测与定位方法
CN111914715B (zh) * 2020-07-24 2021-07-16 廊坊和易生活网络科技股份有限公司 一种基于仿生视觉的智能车目标实时检测与定位方法
CN113077503A (zh) * 2021-03-24 2021-07-06 浙江合众新能源汽车有限公司 盲区视频数据生成方法、***、设备和计算机可读介质
WO2023029122A1 (zh) * 2021-08-30 2023-03-09 歌尔股份有限公司 一种图像的遮挡区域还原方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN107738612B (zh) 基于全景视觉辅助***的自动泊车停车位检测与识别***
US10452931B2 (en) Processing method for distinguishing a three dimensional object from a two dimensional object using a vehicular system
US11854272B2 (en) Hazard detection from a camera in a scene with moving shadows
EP1796043B1 (en) Object detection
US8005266B2 (en) Vehicle surroundings monitoring apparatus
CN110866863A (zh) 汽车a柱透视算法
CN104636724B (zh) 一种基于目标一致性的车载相机快速行人车辆检测方法
CN110189375B (zh) 一种基于单目视觉测量的图像目标识别方法
JP2017520133A (ja) 車両周辺イメージ生成装置および方法
CN112261390B (zh) 车载摄像设备及其图像优化装置和优化方法
CN111860270B (zh) 一种基于鱼眼相机的障碍物检测方法及装置
CN107993233B (zh) 一种坑区域的定位方法及装置
CN111881878A (zh) 一种环视复用的车道线识别方法
CN106971381A (zh) 一种具有重叠视域的广角相机视野分界线生成方法
Chen et al. Algorithm design of lane departure warning system based on image processing
CN116309780A (zh) 一种基于目标检测的水尺水位识别方法
CN113723432B (zh) 一种基于深度学习的智能识别、定位追踪的方法及***
CN114663860A (zh) 一种用于车道偏离***中的车道线识别***和方法
Ling et al. Motorcycle detection and counting using stereo camera, IR camera, and microphone array
CN111626165B (zh) 行人识别方法、装置、电子设备及存储介质
CN109886120B (zh) 一种斑马线检测方法及***
Ramirez et al. Go with the flow: Improving Multi-View vehicle detection with motion cues
CN113505811A (zh) 一种轮毂生产用机器视觉成像方法
CN105956589B (zh) 一种图像物体水平角度校正的方法
Hai-tao et al. Research on the building shadow extraction and elimination method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200306

RJ01 Rejection of invention patent application after publication