CN110288527A - 一种车载环视相机全景鸟瞰图生成方法 - Google Patents
一种车载环视相机全景鸟瞰图生成方法 Download PDFInfo
- Publication number
- CN110288527A CN110288527A CN201910549926.9A CN201910549926A CN110288527A CN 110288527 A CN110288527 A CN 110288527A CN 201910549926 A CN201910549926 A CN 201910549926A CN 110288527 A CN110288527 A CN 110288527A
- Authority
- CN
- China
- Prior art keywords
- camera
- eye view
- vehicle
- birds
- bird
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 title claims abstract description 29
- 239000011159 matrix material Substances 0.000 claims abstract description 21
- 230000004927 fusion Effects 0.000 claims abstract description 19
- 230000007704 transition Effects 0.000 claims abstract description 18
- 238000012937 correction Methods 0.000 claims description 12
- 238000012795 verification Methods 0.000 claims description 7
- 239000003550 marker Substances 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明实施例涉及一种车载环视相机全景鸟瞰图生成方法，包括：根据车辆建立标定场景；车辆上设有多个车载环视相机；根据相机在标定场景中设定相对应的棋盘格；棋盘格中设有多个角点；根据标定场景和相机内参得到每个相机图片至鸟瞰图的单应性转换矩阵；利用单应性转换矩阵将多个相机图片转换至鸟瞰图；对鸟瞰图中的重叠区域进行融合，并输出拼接后的环视鸟瞰图。本发明所设计的标定场景对于车辆的尺寸没有严格的限制，尤为适用于外场环境的标定；对于多张鸟瞰图的拼接和融合，本发明提供的方法对于计算资源的消耗低，易于在嵌入式平台上实现。
Description
技术领域
本发明涉及图像数据处理领域，尤其涉及一种车载环视相机全景鸟瞰图生成方法。
背景技术
车载环视相机***是在车辆周围架设能覆盖车辆周边所有视场范围的多个广角相机，对同一时刻采集到的多路视频影像进行处理，合成一幅车辆周边360度的车身鸟瞰图。该环视***可以为自动驾驶车辆提供更丰富的感知信息。
目前普遍的车载环视相机全景鸟瞰图生成方法主要分为单个相机鸟瞰图生成和多张鸟瞰图拼接这两个部分。
对于单个相机的鸟瞰图生成，需要布置特定的标定场景，通过选取多组标志点对建立图像到鸟瞰图的投影变化关系。标定场景的布置以及标志点对的选取方法则直接会影响到鸟瞰图的转换精度。现有的场景布置方案都较为复杂，标志点对的选取采用手动的方式，并且对于车辆的尺寸有一定限制。
对于多张鸟瞰图的拼接和融合，采用传统的图像拼接方法需要实时进行特征点的提取和图片配准，这些操作很复杂，需耗费大量的计算资源，不利于在嵌入式设备上进行实时计算。
发明内容
本发明的目的是针对现有技术的缺陷，提供一种车载环视相机全景鸟瞰图生成方法，包括一种简易、灵活的鸟瞰图标定场景，并基于该场景设计了一套用于生成车载环视相机全景鸟瞰图的方法，本发明所设计的标定场景对于车辆的尺寸没有严格的限制，尤为适用于外场环境的标定；对于多张鸟瞰图的拼接和融合，本发明提供的方法对于计算资源的消耗低，易于在嵌入式平台上实现。
有鉴于此，本发明实施例提供了一种车载环视相机全景鸟瞰图生成方法，包括：
根据车辆建立标定场景；所述车辆上设有多个车载环视相机；
根据所述相机的排布在所述标定场景中设定相对应的棋盘格；所述棋盘格中设有多个角点；
根据所述标定场景和相机内参得到每个相机图片至鸟瞰图的单应性转换矩阵；
利用所述单应性转换矩阵将多个相机图片转换至鸟瞰图；
对所述鸟瞰图中的重叠区域进行融合，并输出拼接后的环视鸟瞰图。
优选的，所述根据自动驾驶车辆建立标定场景具体包括：
根据所述车辆规划车辆占位框。
进一步优选的，所述根据所述相机在所述标定场景中设定相对应的棋盘格具体为：
根据所述相机和所述车辆占位框在所述标定场景中设定相对应的棋盘格。
进一步优选的，所述车辆的四周分别设有一个车载环视相机，每个所述相机对应两个棋盘格，且每个相机对应的两个棋盘格的间距相等；
在所述根据所述相机和所述车辆占位框在所述标定场景中设定相对应的棋盘格之后，所述方法还包括：
判断每个相机是否能采集到两个棋盘格；
如果不能重新规划车辆占位框。
进一步优选的，在所述根据所述相机在所述标定场景中设定相对应的棋盘格之后，所述方法还包括：
根据所述车辆占位框的尺寸得到第一配置参数；
根据所述棋盘格的位置得到第二配置参数；
根据所述车辆占位框和所述棋盘格的位置得到第三配置参数。
进一步优选的，所述根据所述标定场景和相机内参得到每个相机图片至鸟瞰图的单应性转换矩阵具体包括：
获取相机图片；
根据所述相机内参对所述相机图片进行图像畸变矫正，得到矫正后的相机图片；
在矫正后的相机图片中获取棋盘格角点，并获取标定场景中棋盘格角点在鸟瞰图中的预定义位置；
根据矫正后的相机图片中获取棋盘格角点、标定场景中棋盘格角点在鸟瞰图中的预定义位置以及第一配置参数、第二配置参数、第三配置参数得到所述相机图片至鸟瞰图的单应性转换矩阵。
进一步优选的，所述利用所述单应性转换矩阵将多个相机图片转换至鸟瞰图具体为：
利用所述单应性转换矩阵将所述矫正后的相机图片转换至鸟瞰图。
优选的，所述对所述鸟瞰图中的重叠区域进行融合具体包括：
根据预设算法对重叠区域每个像素点的RGB值进行融合；所述预设算法为：
α＝θ/90°
PIMG(融合)＝α*PIMG(1)+(1-α)*PIMG(2)
其中，θ为重叠区域中任意一点点P与X轴的夹角，PIMG(融合)为点P融合后的RGB值,PIMG(1)和PIMG(2)分别为重叠区域像素点的RGB值。
优选的，在所述输出拼接后的环视鸟瞰图之后，所述方法还包括：
对所述拼接后的环视鸟瞰图进行验证；
当验证结果满足预设条件时，验证通过；
当验证结果不满足预设条件时，重新进行鸟瞰图的生成。
进一步优选的，对所述拼接后的环视鸟瞰图进行验证具体包括：
在两个相机重叠的区域放置标志物；
在得到的环视鸟瞰图中检查所述标志物是否有重影现象。
本发明实施例提供的一种车载环视相机全景鸟瞰图生成方法，包括一种简易、灵活的鸟瞰图标定场景，并基于该场景设计了一套用于生成车载环视相机全景鸟瞰图的方法。本发明所设计的标定场景对于车辆的尺寸没有严格的限制，尤为适用于外场环境的标定；对于多张鸟瞰图的拼接和融合，本发明提供的方法对于计算资源的消耗低，易于在嵌入式平台上实现。
附图说明
图1为本发明实施例提供的一种车载环视相机全景鸟瞰图生成方法流程图；
图2为本发明实施例提供的环视相机鸟瞰图标定场景示意图；
图3为本发明实施例提供的棋盘格示意图；
图4为本发明实施例提供的单个鱼眼相机标定流程；
图5为本发明实施例提供的单个鱼眼相机标定后的鸟瞰图；
图6为本发明实施例提供的多张鸟瞰图融合原理图；
图7为本发明实施例提供的拼接和融合之后的鸟瞰图示例；
图8为本发明实施例提供的重影现象示意图。
具体实施方式
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
本发明实施例提供的车载环视相机全景鸟瞰图生成方法优选应用于自动驾驶车辆上，对自动驾驶车辆上设置的多个相机采集的图像进行处理融合，得到车辆周围的全景鸟瞰图，从而为自动驾驶车辆提供丰富的感知信息。
图1为本发明实施例提供的一种车载环视相机全景鸟瞰图生成方法流程图，如图1所示，所述方法包括：
步骤101，根据车辆建立标定场景。
这里的车辆是指自动驾驶车辆，在自动驾驶车辆上设有多个车载环视相机，在本例中相机优选为鱼眼相机，也可以是其它类型的相机，本领域技术人员可以根据需要对相机进行选择。
在进行环视相机鸟瞰图转换之前需要先进行标定场景的布置，步骤101和步骤102均属于标定场景布置，首先根据车辆的大小规划车辆占位框，图2为本发明实施例提供的环视相机鸟瞰图标定场景示意图，如图2所示，图中的实线框为车辆的占位框。
步骤102，根据相机的排布在标定场景中设定相对应的棋盘格。
具体而言，根据相机和车辆占位框在标定场景中设定相对应的棋盘格，首先根据相机的位置设定棋盘格的大***置，每个相机对应至少一个棋盘格，再根据车辆占位框的位置确定棋盘格的具***置，使棋盘格的一边与占位框相贴合。
图3为本发明实施例提供的棋盘格示意图，每个棋盘格中设有多个角点，在本例中，棋盘格标定板为90cm*80cm的规格(角点数为3*2)，单个黑白方块的尺寸为20cm*20cm。结合图2和图3所示，在车辆的四周，即前后左右分别安设有一个车载环视相机，每个相机对应两个棋盘格，也就是说，车辆的前方、后方、左方和右方各放置两块棋盘格标定板子，且每个相机对应的两个棋盘格的间距相等；优选的，车辆前后两组棋盘格的中心线与车辆占位框的横向中心线一致，车辆左右两组棋盘格的中心线与车辆左右后视镜的连线尽量一致，形成对称分布的形式。
需要说明的是，本领域技术人员可以根据需要对棋盘格中的格子数量进行设定，也可以根据需要对棋盘格之间的间距进行设定。
在设定棋盘格之后，方法还包括：判断每个相机是否能采集到两个棋盘格；如果不能重新规划车辆占位框，也就是说，本申请的车辆占位框没有固定的尺寸，只需要保证每个鱼眼相机都能够看到两张完整的棋盘格，这样能够保证图像融合结果的准确性，使车辆得到更准确的环境信息。在确保每个相机都能看到两个棋盘格后进行后续步骤。
在布置完成标定场景之后，根据车辆占位框的尺寸得到第一配置参数，根据棋盘格的位置得到第二配置参数，根据车辆占位框和棋盘格的位置得到第三配置参数，具体而言，需要将示意图中车辆占位框的长和宽(第一配置参数)，相邻两个棋盘格的间距(第二配置参数)，以及车辆左右两组棋盘格的中心线到车辆占位框的距离(第三配置参数)测量出来，作为配置参数输入量，用于后续单应性转换矩阵的计算。
步骤103，根据标定场景和相机内参得到每个相机图片至鸟瞰图的单应性转换矩阵。
如图4所示，首先，获取相机图片，这里的相机图片是指相机的原始图；然后获取相机内参其中，相机内参是指相机的预设内参矩阵和畸变参数，再根据相机内参对相机图片进行图像畸变矫正，得到矫正后的相机图片；在矫正后的相机图片中获取棋盘格角点，并获取标定场景中棋盘格角点在鸟瞰图中的预定义位置；根据矫正后的相机图片中获取的棋盘格角点、标定场景中棋盘格角点在鸟瞰图中的预定义位置以及第一配置参数、第二配置参数、第三配置参数进行计算得到相机图片至鸟瞰图的单应性转换矩阵，最终的输出值为将单个鱼眼相机转换为鸟瞰图所用的转换单应性矩阵。
步骤104，利用单应性转换矩阵将多个相机图片转换至鸟瞰图。
单个相机鸟瞰图生成就是将相机图像平面中的信息重投影到地平面上。具体的，利用上述得到单应性转换矩阵将矫正后的相机图片转换至鸟瞰图。
图5为本发明实施例提供的单个鱼眼相机标定后的鸟瞰图，成功完成四个方向鱼眼相机的鸟瞰图转换之后，可以将获得相应的一组转换参数，如下表1所示。该组参数则可以作为鸟瞰图拼接和融合模块的输入量。
表1标定参数定义
| 标定有效性 | 鸟瞰图投影单应性矩阵 | |
| 后相机 | 1(0) | H3*3(double) |
| 前相机 | 1(0) | H3*3(double) |
| 左相机 | 1(0) | H3*3(double) |
| 右相机 | 1(0) | H3*3(double) |
步骤105，对鸟瞰图中的重叠区域进行融合，并输出拼接后的环视鸟瞰图。
在完成了所有鱼眼相机的鸟瞰图转换之后即可进行多个鸟瞰图的拼接和融合，多个鸟瞰图拼接就是将多个相机图像的鸟瞰图进行拼接和融合，最终组合成一张车辆周围的全景鸟瞰图。多个图片的拼接和融合原理示意图如图6所示。四个朝向的鱼眼相机可以生成四张鸟瞰图，相邻两张鸟瞰图将有一部分重叠区域。因此鸟瞰图的拼接和融合任务则是对这四个重叠区域的融合。如图6所示，前方和右方的重叠区域为重叠区A，前方和左方的重叠区域为重叠区B，左方和后方的重叠区域为重叠区C，后方和右方的重叠区域为重叠区D。
本发明根据如下预设算法对重叠区域每个像素点的RGB值进行融合，最终即可获得一张完整的环视鸟瞰图。
α＝θ/90°
PIMG(融合)＝α*PIMG(1)+(1-α)*PIMG(2)
其中，图6中点P为重叠区域A中的任意一点，θ为点P与X轴的夹角，0≤α≤1，PIMG(融合)为点P融合后的RGB值,PIMG(1)和PIMG(2)分别为重叠区域像素点的RGB值，在重叠区域A中，PIMG(1)可以表示为PIMG(前)，PIMG(2)可以表示为PIMG(后)，拼接和融合之后的鸟瞰图效果如图7所示。
为确保融合效果，在完成环视鸟瞰图生成之后，对拼接后的环视鸟瞰图进行验证；当验证结果满足预设条件时，验证通过；当验证结果不满足预设条件时，重新进行鸟瞰图的生成。本领域技术人员可以根据需要对预设条件进行设定，在本发明中验证方法为在两个相机重叠的区域放置标志物，标志物可以为棋盘格等，然后在得到的环视鸟瞰图中检查标志物是否有重影现象，或者重影现象是否严重；当有重影现象时则重新进行鸟瞰图的生成。在一个具体的例子中，如图8所示，图8中的圆圈所示处即为出现了重影的现象，如果所生成的环视鸟瞰图精度达不到要求，可以重复之前的操作步骤重新进行鸟瞰图生成，从而保证融合准确性，为车辆提供准确的环境感知信息。
本发明实施例提供的一种车载环视相机全景鸟瞰图生成方法，包括一种简易、灵活的鸟瞰图标定场景，并基于该场景设计了一套用于生成车载环视相机全景鸟瞰图的方法。本发明所设计的标定场景对于车辆的尺寸没有严格的限制，尤为适用于外场环境的标定。对于多张鸟瞰图的拼接和融合，本发明提供的方法对于计算资源的消耗低，易于在嵌入式平台上实现。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RA车载环视相机全景鸟瞰图生成方法)、内存、只读存储器(RO车载环视相机全景鸟瞰图生成方法)、电可编程RO车载环视相机全景鸟瞰图生成方法、电可擦除可编程RO车载环视相机全景鸟瞰图生成方法、寄存器、硬盘、可移动磁盘、CD-RO车载环视相机全景鸟瞰图生成方法、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种车载环视相机全景鸟瞰图生成方法，其特征在于，所述方法包括：
根据车辆建立标定场景；所述车辆上设有多个车载环视相机；
根据所述相机的排布在所述标定场景中设定相对应的棋盘格；所述棋盘格中设有多个角点；
根据所述标定场景和相机内参得到每个相机图片至鸟瞰图的单应性转换矩阵；
利用所述单应性转换矩阵将多个相机图片转换至鸟瞰图；
对所述鸟瞰图中的重叠区域进行融合，并输出拼接后的环视鸟瞰图。
2.根据权利要求1所述的车载环视相机全景鸟瞰图生成方法，其特征在于，所述根据自动驾驶车辆建立标定场景具体包括：
根据所述车辆规划车辆占位框。
3.根据权利要求2所述的车载环视相机全景鸟瞰图生成方法，其特征在于，所述根据所述相机在所述标定场景中设定相对应的棋盘格具体为：
根据所述相机和所述车辆占位框在所述标定场景中设定相对应的棋盘格。
4.根据权利要求2所述的车载环视相机全景鸟瞰图生成方法，其特征在于，所述车辆的四周分别设有一个车载环视相机，每个所述相机对应两个棋盘格，且每个相机对应的两个棋盘格的间距相等；
在所述根据所述相机和所述车辆占位框在所述标定场景中设定相对应的棋盘格之后，所述方法还包括：
判断每个相机是否能采集到两个棋盘格；
如果不能重新规划车辆占位框。
5.根据权利要求2所述的车载环视相机全景鸟瞰图生成方法，其特征在于，在所述根据所述相机在所述标定场景中设定相对应的棋盘格之后，所述方法还包括：
根据所述车辆占位框的尺寸得到第一配置参数；
根据所述棋盘格的位置得到第二配置参数；
根据所述车辆占位框和所述棋盘格的位置得到第三配置参数。
6.根据权利要求5所述的车载环视相机全景鸟瞰图生成方法，其特征在于，所述根据所述标定场景和相机内参得到每个相机图片至鸟瞰图的单应性转换矩阵具体包括：
获取相机图片；
根据所述相机内参对所述相机图片进行图像畸变矫正，得到矫正后的相机图片；
在矫正后的相机图片中获取棋盘格角点，并获取标定场景中棋盘格角点在鸟瞰图中的预定义位置；
根据矫正后的相机图片中获取棋盘格角点、标定场景中棋盘格角点在鸟瞰图中的预定义位置以及第一配置参数、第二配置参数、第三配置参数得到所述相机图片至鸟瞰图的单应性转换矩阵。
7.根据权利要求6所述的车载环视相机全景鸟瞰图生成方法，其特征在于，所述利用所述单应性转换矩阵将多个相机图片转换至鸟瞰图具体为：
利用所述单应性转换矩阵将所述矫正后的相机图片转换至鸟瞰图。
8.根据权利要求1所述的车载环视相机全景鸟瞰图生成方法，其特征在于，所述对所述鸟瞰图中的重叠区域进行融合具体包括：
根据预设算法对重叠区域每个像素点的RGB值进行融合；所述预设算法为：
α＝θ/90°
PIMG(融合)＝α*PIMG(1)+(1-α)*PIMG(2)
其中，θ为重叠区域中任意一点点P与X轴的夹角，PIMG(融合)为点P融合后的RGB值,PIMG(1)和PIMG(2)分别为重叠区域像素点的RGB值。
9.根据权利要求1所述的车载环视相机全景鸟瞰图生成方法，其特征在于，在所述输出拼接后的环视鸟瞰图之后，所述方法还包括：
对所述拼接后的环视鸟瞰图进行验证；
当验证结果满足预设条件时，验证通过；
当验证结果不满足预设条件时，重新进行鸟瞰图的生成。
10.根据权利要求9所述的车载环视相机全景鸟瞰图生成方法，其特征在于，对所述拼接后的环视鸟瞰图进行验证具体包括：
在两个相机重叠的区域放置标志物；
在得到的环视鸟瞰图中检查所述标志物是否有重影现象。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910549926.9A CN110288527B (zh) | 2019-06-24 | 2019-06-24 | 一种车载环视相机全景鸟瞰图生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910549926.9A CN110288527B (zh) | 2019-06-24 | 2019-06-24 | 一种车载环视相机全景鸟瞰图生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110288527A true CN110288527A (zh) | 2019-09-27 |
| CN110288527B CN110288527B (zh) | 2023-10-24 |
Family
ID=68004679
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910549926.9A Active CN110288527B (zh) | 2019-06-24 | 2019-06-24 | 一种车载环视相机全景鸟瞰图生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110288527B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110910311A (zh) * | 2019-10-30 | 2020-03-24 | 同济大学 | 一种基于二维码的多路环视相机自动拼接方法 |
| CN112070886A (zh) * | 2020-09-04 | 2020-12-11 | 中车大同电力机车有限公司 | 矿用自卸车的影像监控方法及相关设备 |
| CN112069980A (zh) * | 2020-09-03 | 2020-12-11 | 三一专用汽车有限责任公司 | 障碍物识别方法、障碍物识别***和存储介质 |
| CN112802109A (zh) * | 2021-02-07 | 2021-05-14 | 的卢技术有限公司 | 一种汽车鸟瞰全景图生成方法 |
| CN113611143A (zh) * | 2021-07-29 | 2021-11-05 | 同致电子科技（厦门）有限公司 | 一种新型记忆泊车***及其建图*** |
| CN116029900A (zh) * | 2022-12-30 | 2023-04-28 | 小米汽车科技有限公司 | 图像处理方法、装置、存储介质以及车辆 |
| WO2023103679A1 (zh) * | 2021-12-09 | 2023-06-15 | 纵目科技（上海）股份有限公司 | 一种车载环视相机快速自动标定方法和装置 |
| CN117237237A (zh) * | 2023-11-13 | 2023-12-15 | 深圳元戎启行科技有限公司 | 一种车载360度全景影像的光度均衡方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6009190A (en) * | 1997-08-01 | 1999-12-28 | Microsoft Corporation | Texture map construction method and apparatus for displaying panoramic image mosaics |
| CN102629372A (zh) * | 2012-02-22 | 2012-08-08 | 北京工业大学 | 一种用于辅助车辆驾驶的360度全景鸟瞰图生成方法 |
| CN103035005A (zh) * | 2012-12-13 | 2013-04-10 | 广州致远电子股份有限公司 | 一种全景泊车的标定方法，及装置，一种自动标定方法 |
| CN105741296A (zh) * | 2016-02-02 | 2016-07-06 | 大连楼兰科技股份有限公司 | 一种360度全视角鸟瞰全景行车辅助标定方法 |
| CN105894549A (zh) * | 2015-10-21 | 2016-08-24 | 乐卡汽车智能科技（北京）有限公司 | 一种全景辅助泊车***、装置及全景图像显示方法 |
| CN106373091A (zh) * | 2016-09-05 | 2017-02-01 | 山东省科学院自动化研究所 | 全景泊车中鸟瞰图像的自动拼接方法、***及车辆 |
| CN106952311A (zh) * | 2017-03-02 | 2017-07-14 | 山东省科学院自动化研究所 | 基于全景拼接数据映射表的辅助泊车***及方法 |
| CN109064404A (zh) * | 2018-08-10 | 2018-12-21 | 西安电子科技大学 | 一种基于多相机标定的全景拼接方法、全景拼接*** |
-
2019
- 2019-06-24 CN CN201910549926.9A patent/CN110288527B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6009190A (en) * | 1997-08-01 | 1999-12-28 | Microsoft Corporation | Texture map construction method and apparatus for displaying panoramic image mosaics |
| CN102629372A (zh) * | 2012-02-22 | 2012-08-08 | 北京工业大学 | 一种用于辅助车辆驾驶的360度全景鸟瞰图生成方法 |
| CN103035005A (zh) * | 2012-12-13 | 2013-04-10 | 广州致远电子股份有限公司 | 一种全景泊车的标定方法，及装置，一种自动标定方法 |
| CN105894549A (zh) * | 2015-10-21 | 2016-08-24 | 乐卡汽车智能科技（北京）有限公司 | 一种全景辅助泊车***、装置及全景图像显示方法 |
| CN105741296A (zh) * | 2016-02-02 | 2016-07-06 | 大连楼兰科技股份有限公司 | 一种360度全视角鸟瞰全景行车辅助标定方法 |
| CN106373091A (zh) * | 2016-09-05 | 2017-02-01 | 山东省科学院自动化研究所 | 全景泊车中鸟瞰图像的自动拼接方法、***及车辆 |
| CN106952311A (zh) * | 2017-03-02 | 2017-07-14 | 山东省科学院自动化研究所 | 基于全景拼接数据映射表的辅助泊车***及方法 |
| CN109064404A (zh) * | 2018-08-10 | 2018-12-21 | 西安电子科技大学 | 一种基于多相机标定的全景拼接方法、全景拼接*** |
Non-Patent Citations (2)
| Title |
|---|
| 李剑等: "基于双目鱼眼相机的柱状投影全景行车记录仪", 《电子测量技术》 * |
| 李剑等: "基于双目鱼眼相机的柱状投影全景行车记录仪", 《电子测量技术》, no. 10, 31 October 2017 (2017-10-31) * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110910311A (zh) * | 2019-10-30 | 2020-03-24 | 同济大学 | 一种基于二维码的多路环视相机自动拼接方法 |
| CN110910311B (zh) * | 2019-10-30 | 2023-09-26 | 同济大学 | 一种基于二维码的多路环视相机自动拼接方法 |
| CN112069980A (zh) * | 2020-09-03 | 2020-12-11 | 三一专用汽车有限责任公司 | 障碍物识别方法、障碍物识别***和存储介质 |
| CN112069980B (zh) * | 2020-09-03 | 2022-01-25 | 三一专用汽车有限责任公司 | 障碍物识别方法、障碍物识别***和存储介质 |
| CN112070886A (zh) * | 2020-09-04 | 2020-12-11 | 中车大同电力机车有限公司 | 矿用自卸车的影像监控方法及相关设备 |
| CN112802109A (zh) * | 2021-02-07 | 2021-05-14 | 的卢技术有限公司 | 一种汽车鸟瞰全景图生成方法 |
| CN112802109B (zh) * | 2021-02-07 | 2024-05-10 | 的卢技术有限公司 | 一种汽车鸟瞰全景图生成方法 |
| CN113611143A (zh) * | 2021-07-29 | 2021-11-05 | 同致电子科技（厦门）有限公司 | 一种新型记忆泊车***及其建图*** |
| WO2023103679A1 (zh) * | 2021-12-09 | 2023-06-15 | 纵目科技（上海）股份有限公司 | 一种车载环视相机快速自动标定方法和装置 |
| CN116029900A (zh) * | 2022-12-30 | 2023-04-28 | 小米汽车科技有限公司 | 图像处理方法、装置、存储介质以及车辆 |
| CN117237237A (zh) * | 2023-11-13 | 2023-12-15 | 深圳元戎启行科技有限公司 | 一种车载360度全景影像的光度均衡方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110288527B (zh) | 2023-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110288527A (zh) | 一种车载环视相机全景鸟瞰图生成方法 | |
| US10127687B2 (en) | Calibration device, calibration method, optical device, image-capturing device, projection device, measuring system, and measuring method | |
| US9600863B2 (en) | Method for combining images | |
| CN106875339A (zh) | 一种基于长条形标定板的鱼眼图像拼接方法 | |
| CN109741455A (zh) | 一种车载立体全景显示方法、计算机可读存储介质及*** | |
| US6288689B1 (en) | Eyepiece image display apparatus | |
| KR100914211B1 (ko) | 왜곡 영상 보정 장치 및 방법 | |
| CN103996173B (zh) | 一种基于变长轴椭圆拟合的鱼眼图像校正方法 | |
| CN107464266B (zh) | 摄像机标定参数的校正方法、装置、设备和存储介质 | |
| CN105488766B (zh) | 鱼眼镜头图像校正方法及装置 | |
| CN105308503A (zh) | 利用短程相机校准显示***的***和方法 | |
| CN104574289A (zh) | 一种基于椭球面模型的鱼眼图像畸变校正算法 | |
| CN102143305B (zh) | 摄像方法及*** | |
| CN104657982A (zh) | 一种投影仪标定方法 | |
| CN107451976B (zh) | 一种图像处理方法及装置 | |
| KR101705558B1 (ko) | Avm 시스템의 공차 보정 장치 및 방법 | |
| CN108596982A (zh) | 一种简易的车载多目摄像机环视***标定方法及装置 | |
| Hugemann | Correcting lens distortions in digital photographs | |
| CN109242811A (zh) | 一种图像对齐方法及其装置、计算机可读存储介质和计算机设备 | |
| CN109959919A (zh) | 汽车及单目摄像头测距方法、装置 | |
| CN106603896A (zh) | 相机模块及制造该相机模块的方法 | |
| CN105865423B (zh) | 双目测距方法、装置和全景图像拼接方法及其*** | |
| CN109064392A (zh) | 确定单应矩阵的方法及其***以及图像转换方法及其*** | |
| CN107886039A (zh) | 泊车***全景视图生成方法和装置 | |
| US11284052B2 (en) | Method for automatically restoring a calibrated state of a projection system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhang Rong Inventor after: Xiong Qi Inventor after: Zhang Fang Inventor after: Li Xiaofei Inventor after: Zhang Dezhao Inventor after: Wang Xiao Inventor after: Huo Shuhao Inventor before: Zhang Rong Inventor before: Xiong Qi Inventor before: Zhang Fang Inventor before: Li Xiaofei Inventor before: Zhang Dezhao Inventor before: Wang Xiao Inventor before: Huo Shuhao |
|
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: B4-006, maker Plaza, 338 East Street, Huilongguan town, Changping District, Beijing 100096 Applicant after: Beijing Idriverplus Technology Co.,Ltd. Address before: B4-006, maker Plaza, 338 East Street, Huilongguan town, Changping District, Beijing 100096 Applicant before: Beijing Idriverplus Technology Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |