CN111626227B - 一种基于双目视觉车底透视全景***的实现方法 - Google Patents
一种基于双目视觉车底透视全景***的实现方法 Download PDFInfo
- Publication number
- CN111626227B CN111626227B CN202010470282.7A CN202010470282A CN111626227B CN 111626227 B CN111626227 B CN 111626227B CN 202010470282 A CN202010470282 A CN 202010470282A CN 111626227 B CN111626227 B CN 111626227B
- Authority
- CN
- China
- Prior art keywords
- image
- vehicle
- implementation method
- top view
- binocular vision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000013507 mapping Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000011524 similarity measure Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mechanical Engineering (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于双目视觉车底透视全景***的实现方法,是一种利用车前和车后两个摄像头产生的视频数据,结合车辆的瞬时速度和转向角数据,建立并生成车辆全景图像信息的方法。
Description
技术领域
本发明涉及视频图像处理技术领域,具体为一种基于双目视觉车底透视全景***的实现方法。
背景技术
汽车在行驶过程中常常会遇到各种道路障碍,使正常行驶受到影响。许多障碍隐蔽难以发觉,其中一些障碍由于汽车车身覆盖,更不容易准确判断它们的精确位置产生视觉盲区。传统的基于图像的倒车影像***只在车尾安装摄像头,只能覆盖车尾周围有限的区域,远远不能满足安全驾驶的需要,而全景环视***需要在汽车周围架设能覆盖车辆周边所有视场范围的4个广角摄像头,***安装调试复杂,整体造价较高。
发明内容
(一)解决的技术问题
针对现有技术的不足,本发明提供了一种基于双目视觉车底透视全景***的实现方法,解决了视野盲区或安装复杂昂贵的问题。
(二)技术方案
为实现上述目的,本发明提供如下技术方案:一种基于双目视觉车底透视全景***的实现方法,是一种利用车前和车后两个摄像头产生的视频数据,结合车辆的瞬时速度和转向角数据,建立并生成车辆全景图像信息的方法;其具体方法如下:
步骤S1:利用张正友的基于棋盘格的摄像头标定方法对***进行标定,获得摄像头内外参和畸变系数;
步骤S2:利用步骤S1中得到的摄像头内外参和畸变系数计算去畸变映射图,对原始图像利用去畸变映射图进行几何变换,得到畸变校正后的图像;
步骤S3:计算畸变校正后的图像变换到俯视图像的单应性矩阵;
步骤S4:利用步骤S3中得到的单应性矩阵,对去畸变图像进行透视投影变换,得到俯视图;
步骤S5:将传入的视频序列的相邻两帧图像利用以上步骤对图像进行预处理,得到两幅俯视图;
步骤S6:对步骤S5中的两幅俯视图,进行图像旋转;
步骤S7:对步骤S6中得到的两帧俯视图进行特征提取与模板匹配,从而得出含有车底信息的拼接图像;
步骤S8:重复以上步骤,直至实时显示包含车子周围信息、车底信息的完整全景图像。
优选的,所述步骤S6中,对步骤S5俯视图利用公式:
计算,对图像进行旋转。
优选的,两帧俯视图特征主要提取与模板匹配的具体方法如下:
步骤S701:提取特征,在步骤S7中上一帧图像中选取与图像区域宽度相同,高度为固定值的区域为匹配模板;
步骤S702:求解步骤S7中当前帧图像与步骤S701设置的匹配模板的最大相似性度量;
步骤S703:根据步骤S702所得的最优匹配位置,将当前帧图像和上一帧图像进行拼接融合;
步骤S704:利用步骤S703得到含有车子周围、车底的信息拼接图像。
优选的,在步骤S702中,相似性度量计算公式:
优选的,所述相似性度量是记录此时最优匹配位置,拼接区域高度为L, 若为后视,左下角为坐标原点,L公式:
优选的,所述相似性度量是记录此时最优匹配位置,若为前视,左上角为坐标原理,L公式:
(三)有益效果
本发明提供了一种基于双目视觉车底透视全景***的实现方法,具备以下有益效果:
本发明能实现获取包含车身周围和车底信息的全景图像,会减少安装复杂度、降低综合成本,并且节约汽车空间,同时能降低汽车在行驶过程中的安全隐患。
附图说明
图1为本发明的方法流程图;
图2为本发明的两帧俯视图特征主要提取与模板匹配方法流程图
图3为本发明的全景示意图;
图4为本发明的两帧俯视图特征主要提取与模板匹配原理图;
图5为本发明的车辆全景图像信息的效果图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1至图5所示,本发明提供一种技术方案:一种基于双目视觉车底透视全景***的实现方法,是一种利用车前和车后两个摄像头产生的视频数据,结合车辆的瞬时速度和转向角数据,建立并生成车辆全景图像信息的方法;其具体方法如下:
步骤S1:利用张正友的基于棋盘格的摄像头标定方法对***进行标定,获得摄像头内外参和畸变系数;
步骤S2:利用步骤S1中得到的摄像头内外参和畸变系数计算去畸变映射图,对原始图像利用去畸变映射图进行几何变换,得到畸变校正后的图像;
步骤S3:计算畸变校正后的图像变换到俯视图像的单应性矩阵;
步骤S4:利用步骤S3中得到的单应性矩阵,对去畸变图像进行透视投影变换,得到俯视图;
步骤S5:将传入的视频序列的相邻两帧图像利用以上步骤对图像进行预处理,得到两幅俯视图;
步骤S6:对步骤S5中的两幅俯视图,进行图像旋转;
步骤S7:对步骤S6中得到的两帧俯视图进行特征提取与模板匹配,从而得出含有车底信息的拼接图像;
步骤S8:重复以上步骤,直至实时显示包含车子周围信息、车底信息的完整全景图像。
所述步骤S6中,对步骤S5俯视图利用公式:
计算,对图像进行旋转;其中dstx,dstj分别为旋转后俯视图中像素的横纵坐标,x,y 分别为旋转前俯视图中像素横、纵坐标,xcenter、ycenter分别为俯视图中小车区域的中心坐标,θ为车轮的转向角;
如图4所示,两帧俯视图特征主要提取与模板匹配的具体方法如下:
步骤S701:提取特征,在步骤S7中上一帧图像中选取与图像区域宽度相同,高度为固定值的区域为匹配模板;
步骤S702:求解步骤S7中当前帧图像与步骤S601设置的匹配模板的最大相似性度量;
步骤S703:根据步骤S702所得的最优匹配位置,将当前帧图像和上一帧图像进行拼接融合;
步骤S704:利用步骤S703得到含有车子周围、车底的信息拼接图像,其效果图如图5所示。
在步骤S702中,相似性度量计算公式:
其中w1和h1分别当前帧图像的宽度和高度,w2和h2分别为匹配模板的宽度和高度,I1(x,y)为当前帧图像像素灰度值,I2(x,y)为模板区域的像素灰度值。
所述相似性度量是记录此时最优匹配位置,拼接区域高度为L,若为后视,左下角为坐标原点,L公式:
如图4所示;其中H和W分别为俯视图的高度和宽度,Lcar和Wcar分别为小车区域的长度和宽度,Ycar为车头到图像顶端的距离,对前视进行处理时图像左上角为坐标原点,对后视进行处理时左下角为坐标原点,v是当前车速。
所述相似性度量是记录此时最优匹配位置,若为前视,左上角为坐标原理,L公式:
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (6)
1.一种基于双目视觉车底透视全景***的实现方法,是一种利用车前和车后两个摄像头产生的视频数据,结合车辆的瞬时速度和转向角数据,建立并生成车辆全景图像信息的方法;其具体方法如下:
步骤S1:利用张正友的基于棋盘格的摄像头标定方法对***进行标定,获得摄像头内外参和畸变系数;
步骤S2:利用步骤S1中得到的摄像头内外参和畸变系数计算去畸变映射图,对原始图像利用去畸变映射图进行几何变换,得到畸变校正后的图像;
步骤S3:计算畸变校正后的图像变换到俯视图像的单应性矩阵;
步骤S4:利用步骤S3中得到的单应性矩阵,对去畸变图像进行透视投影变换,得到俯视图;
步骤S5:将传入的视频序列的相邻两帧图像利用以上步骤对图像进行预处理,得到两幅俯视图;
步骤S6:对步骤S5中的两幅俯视图,进行图像旋转;
步骤S7:对步骤S6中得到的两帧俯视图进行特征提取与模板匹配,从而得出含有车底信息的拼接图像;
步骤S8:重复以上步骤,直至实时显示包含车子周围信息、车底信息的完整全景图像。
2.根据权利要求1所述的一种基于双目视觉车底透视全景***的实现方法,其特征在于:所述步骤S6中,对步骤S5俯视图利用公式:
计算,对图像进行旋转;
其中,分别为旋转后俯视图中像素的横纵坐标,x,y分别为旋转前俯视图中像素横、纵坐标,、分别为俯视图中小车区域的中心坐标,为车轮的转向角。
3.根据权利要求1或2所述的一种基于双目视觉车底透视全景***的实现方法,其特征在于:所述两帧俯视图特征主要提取与模板匹配的具体方法如下:
S701:提取特征,在步骤S7中上一帧图像中选取与图像区域宽度相同,高度为固定值的区域为匹配模板;
S702:求解步骤S7中当前帧图像与步骤S701设置的匹配模板的最大相似性度量;
S703:根据步骤S702所得的最优匹配位置,将当前帧图像和上一帧图像进行拼接融合;
S704:利用步骤S703得到含有车子周围、车底的信息拼接图像。
4.根据权利要求3所述的一种基于双目视觉车底透视全景***的实现方法,其特征在于:在步骤S702中,相似性度量计算公式:
其中w1和h1分别当前帧图像的宽度和高度,w2和h2分别为匹配模板的宽度和高度,为当前帧图像像素灰度值,为模板区域的像素灰度值。
5.根据权利要求4所述的一种基于双目视觉车底透视全景***的实现方法,其特征在于:所述相似性度量是记录此时最优匹配位置,拼接区域高度为L,若为后视,左下角为坐标原点,L公式:
其中H和W分别为俯视图的高度和宽度,Lcar和Wcar分别为小车区域的长度和宽度,Ycar为车头到图像顶端的距离,对前视进行处理时图像左上角为坐标原点,对后视进行处理时左下角为坐标原点,v是当前车速。
6.根据权利要求5所述的一种基于双目视觉车底透视全景***的实现方法,其特征在于:所述相似性度量是记录此时最优匹配位置,若为前视,左上角为坐标原理,L公式:
。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010470282.7A CN111626227B (zh) | 2020-05-28 | 2020-05-28 | 一种基于双目视觉车底透视全景***的实现方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010470282.7A CN111626227B (zh) | 2020-05-28 | 2020-05-28 | 一种基于双目视觉车底透视全景***的实现方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111626227A CN111626227A (zh) | 2020-09-04 |
CN111626227B true CN111626227B (zh) | 2023-04-28 |
Family
ID=72259556
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010470282.7A Active CN111626227B (zh) | 2020-05-28 | 2020-05-28 | 一种基于双目视觉车底透视全景***的实现方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111626227B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112488995B (zh) * | 2020-11-18 | 2023-12-12 | 成都主导软件技术有限公司 | 列车自动化检修的智能判伤方法及*** |
CN113538283B (zh) * | 2021-07-22 | 2024-04-30 | 浙江赫千电子科技有限公司 | 一种冗余鱼眼摄像头拍摄图像的畸变矫正方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109131082A (zh) * | 2018-08-31 | 2019-01-04 | 深圳以恒科技有限公司 | 一种完全基于视觉的单目全景泊车影像***及其泊车方法 |
CN109389060A (zh) * | 2018-09-26 | 2019-02-26 | 福州大学 | 一种基于视觉的车周碰撞预警方法 |
-
2020
- 2020-05-28 CN CN202010470282.7A patent/CN111626227B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109131082A (zh) * | 2018-08-31 | 2019-01-04 | 深圳以恒科技有限公司 | 一种完全基于视觉的单目全景泊车影像***及其泊车方法 |
CN109389060A (zh) * | 2018-09-26 | 2019-02-26 | 福州大学 | 一种基于视觉的车周碰撞预警方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111626227A (zh) | 2020-09-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109435852B (zh) | 一种针对大型卡车的全景式辅助驾驶***及方法 | |
CN108263283B (zh) | 多编组变角度车辆全景环视***标定及拼接方法 | |
JP4695167B2 (ja) | 車両の後方視認システムの歪みを補正し且つ像を強調する方法及び装置 | |
CN107021015B (zh) | 用于图像处理的***及方法 | |
CN103177439B (zh) | 一种基于黑白格角点匹配的自动标定方法 | |
CN111559314B (zh) | 深度与图像信息融合的3d增强全景环视***及实现方法 | |
CN105678787A (zh) | 一种基于双目鱼眼摄像头的载重货车行驶障碍物检测及跟踪方法 | |
WO2019192145A1 (zh) | 全景图的视野调整方法及装置、存储介质、电子设备 | |
TWI599989B (zh) | 用於交通工具之影像處理方法及影像系統 | |
CN202035096U (zh) | 移动机械的移动操作监控*** | |
CN111626227B (zh) | 一种基于双目视觉车底透视全景***的实现方法 | |
CN110414385B (zh) | 一种基于单应性变换和特征窗口的车道线检测方法及*** | |
CN110363085B (zh) | 一种基于铰接角补偿的重型铰接车环视实现方法 | |
CN108944668B (zh) | 一种基于车载360度环视输入的辅助驾驶预警方法 | |
CN103204104B (zh) | 一种车辆全视角驾驶监控***及方法 | |
CN107066954A (zh) | 一种车载360度环视显示方法及*** | |
CN110099268B (zh) | 色彩自然匹配与显示区自然融合的盲区透视化显示方法 | |
CN111768332A (zh) | 一种车载环视实时3d全景图像的拼接方法及图形采集装置 | |
CN112348741A (zh) | 全景图像拼接方法、设备及存储介质和显示方法及*** | |
CN114757833B (zh) | 一种车辆侧面图像拼接方法及*** | |
CN114937090A (zh) | 一种智能电子前后视镜*** | |
US11377027B2 (en) | Image processing apparatus, imaging apparatus, driving assistance apparatus, mobile body, and image processing method | |
JP3588728B2 (ja) | 車両前方の路上線検出装置 | |
Santhanam et al. | Lens distortion correction and geometrical alignment for Around View Monitoring system | |
JPH0757200A (ja) | 走路認識装置および走路認識方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |