CN112203077A - 一种彩色微光多目立体视觉相机及其数据融合方法 - Google Patents
一种彩色微光多目立体视觉相机及其数据融合方法 Download PDFInfo
- Publication number
- CN112203077A CN112203077A CN202010850839.XA CN202010850839A CN112203077A CN 112203077 A CN112203077 A CN 112203077A CN 202010850839 A CN202010850839 A CN 202010850839A CN 112203077 A CN112203077 A CN 112203077A
- Authority
- CN
- China
- Prior art keywords
- camera
- light
- color
- low
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 13
- 238000005259 measurement Methods 0.000 claims abstract description 25
- 230000003287 optical effect Effects 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims description 18
- 238000013519 translation Methods 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 10
- 230000000712 assembly Effects 0.000 claims description 5
- 238000000429 assembly Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 4
- 238000005057 refrigeration Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 2
- 238000005286 illumination Methods 0.000 abstract description 20
- 230000000694 effects Effects 0.000 abstract description 3
- 238000004364 calculation method Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
本发明公开了一种彩色微光多目立体视觉相机及其数据融合方法，旨在解决传统立体视觉***在光照复杂的场景中容易受到光斑、阴影等的影响，应用在无人驾驶、辅助驾驶等领域时，难以应对夜间、隧道、强光等困难环境的问题，本发明的彩色微光多目立体视觉相机包括支架、外触发器、信号处理器以及两组相机组件；两组相机组件均设置于支架上；每组相机组件包括一台微光相机和一台彩色相机，四台相机的光轴相互平行；微光相机和彩色相机分别通过触发线与外触发器连接，且二者还分别通过数据线与信号处理器连接。本发明能够解决传统立体视觉***无法夜间工作以及在复杂光照环境下测距效果不佳的问题。
Description
技术领域
本发明涉及多目立体视觉相机，具体涉及一种彩色微光多目立体视觉相机及其数据融合方法。
背景技术
立体视觉已经广泛应用于工业测量，辅助驾驶，三维建模等领域，但是普通的立体视觉***通常由彩色或灰度的可见光相机组成，仅能在光照充足的环境下工作。此外，立体视觉***在光照复杂的场景中容易受到光斑、阴影等的影响，应用在无人驾驶、辅助驾驶等领域时，难以应对夜间、隧道、强光等困难环境。现有的无人驾驶***通常依靠激光雷达或者夜间补光的方式应对上述困难，但是在一些特殊的应用场合，要求***自身不能发出主动光照。因此，现亟需一种多目立体视觉相机进行环境感知，并采用自适应测距结果融合的方式来实现动态融合。
发明内容
本发明旨在解决现有技术中存在立体视觉***在光照复杂的场景中容易受到光斑、阴影等的影响，应用在无人驾驶、辅助驾驶等领域时，难以应对夜间、隧道、强光等困难环境的技术问题，而提供一种彩色微光多目立体视觉相机及其数据融合方法。
为达到上述目的，本发明所采用的技术方案为：
一种彩色微光多目立体视觉相机及其数据融合方法，包括支架、外触发器、信号处理器以及两组相机组件；
两组所述相机组件均设置于支架上；
每组所述相机组件包括一台微光相机和一台彩色相机，所述微光相机的光轴与彩色相机的光轴平行，并且两组相机组件中微光相机的光轴平行；
所述微光相机和彩色相机分别通过触发线与外触发器连接，且二者还分别通过数据线与信号处理器连接。
进一步地，所述微光相机为非制冷型相机。
进一步地，所述外触发器采用方波发生模块。
本发明还提供了一种彩色微光多目立体视觉相机的数据融合方法，其采用上述的一种彩色微光多目立体视觉相机，其特殊之处在于，包括以下步骤：
步骤1：搭建立体视觉相机
步骤1.1以一台彩色相机和一台微光相机为一组相机组件，将两组相机组件分别安装在支架的左方和右方；两个微光相机形成微光双目相机，两个彩色相机形成彩色双目相机；
步骤1.2将两组相机组件的数据线连接至信号处理器、触发线连接到外触发器；
步骤2：标定
2.1将标定板置于立体视觉相机的视场内，左右移动标定板并使其多角度变化，立体视觉相机中的两个彩色相机和两个微光相机分别同步采集多组标定图像；
2.2以左侧的彩色相机为基准，分别获取彩色双目相机和微光双目相机的标定参数；
2.3基于获取的标定参数以及同一时刻采集的其中一组标定图像中同一个特征点的位置，计算彩色双目相机和微光双目相机对同一特征点的测距结果；
2.4根据测距结果的差异，计算彩色双目相机和微光双目相机间的平移关系；
2.5对其他每一组标定图像，重复步骤2.3和步骤2.4，分别计算相应的平移关系，将计算的所有平移关系进行平均，获得彩色双目相机和微光双目相机的平均平移关系；
2.6基于获取的平均平移关系以及标定参数，将微光双目相机的外参数转换到彩色双目相机的坐标系中，并以该坐标系为全局坐标系，该全局坐标系以左侧的彩色相机为基准；
步骤3：动态判断工作环境；
3.1按照默认白天曝光时间分别设置彩色双目相机和微光双目相机的曝光时间；
3.2分别通过彩色双目相机和微光双目相机拍摄彩色图像和微光图像，将每一幅彩色图像和微光图像分为N×M个网格进行测试，N≥8，M≥8；
3.3在其中任意一幅彩色图像中，若有占比超过60％网格的平均DN值小于该图像中最大DN值的1/5，则判断为夜间场景，否则判断为白天场景；
3.3若判断为夜间场景，仅对微光双目相机的图像进行立体匹配，然后根据所述标定参数将匹配结果转换为最终的测距结果并输出；
若判断为白天场景，分别对微光双目相机和彩色双目相机的图像进行立体匹配，然后进行步骤4；
步骤4：融合
4.1将彩色双目相机和微光双目相机的立体匹配结果转换为在全局坐标系下的测距结果；
4.2选取其中一幅彩色图像，使用三通道平均法将其转化为灰度图像，并使用阈值法寻找饱和点和黑暗点，饱和点定义为图像中灰度值高于最大灰度值90％的点，黑暗点定义为图像中灰度值低于最大灰度值20％的点；
4.3取一个与步骤4.2中彩色图像大小相同的二值图像，将步骤4.3中寻找到的饱和点和黑暗点设置为1，其他设置为0；
4.4使用半径为k的圆形或边长为2k的方形算子对二值图像进行闭运算操作，得到彩色双目相机的不可靠区域图J1，k为二值图像宽度的1‰至3‰；
4.5对于微光图像，同样重复步骤4.2至步骤4.4相同程序的操作，得到不可靠区域图J2；
4.6对于J1和J2，分别利用步骤3.2中划分的N×M个网格计算DN值为0的像素比例，作为可信度；
4.7对于同一个网格，判断彩色图像和微光图像的可信度，若彩色图像的可信度达到90％以上，则选择彩色相机的测距结果作为该网格的测距结果；否则，选择彩色图像和微光图像中可信度较高一个的测距结果作为该网格的测距结果；
4.8根据步骤4.7得到所有网格的测距结果，输出整个场景的测距结果。
进一步地，步骤2.1中的标定板选用棋盘格标定板。
进一步地，步骤2.1中采集的标定图像数量至少为十组。
本发明的有益效果是：
1.本发明能够解决传统立体视觉***无法夜间工作以及在复杂光照环境下测距效果不佳的问题，降低其在光照复杂的场景中受到光斑、阴影等的影响，应用在无人驾驶、辅助驾驶等领域时，可以应对夜间、隧道、强光等困难环境。
2.本发明利用两种相机动态调整曝光时间的方式，实现对复杂光照环境中不同区域的同时清晰成像。
3.本发明通过自动判断强光、阴影的方法，将彩色和微光双目点云结果进行动态融合，克服了由于原始数据具有一定视差而难以直接融合的问题。
附图说明
图1是本发明一种彩色微光多目立体视觉相机的结构示意图；
图2是本发明中一对彩色相机白天采集的图像；
图3是本发明中一对微光相机夜间采集的图像；
图4是本发明中多目立体视觉相机联合标定的方案示意图；
图5是本发明中网格划分和测距结果融合示意图。
附图标记：
1-支架，2-外触发器，3-信号处理器，4-微光相机，5-彩色相机，6-触发线，7-数据线。
具体实施方式
为使本发明的目的、优点和特征更加清楚，以下结合附图和具体实施例对本发明提出的一种彩色微光多目立体视觉相机及其数据融合方法作进一步详细说明。根据下面具体实施方式，本发明的优点和特征将更清楚。需要说明的是：附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的；其次，附图所展示的结构往往是实际结构的一部分。
本发明的发明构思：
微光相机能够在夜间获取环境图像，可以用来搭建立体视觉***。但是仅由一对微光相机组成的立体视觉***存在两个缺点：首先微光相机在白天工作时不能获取彩色信息，这对于立体匹配的准确性和场景信息获取的丰富性都是不利的；其次微光相机由于灵敏度很高，白天更容易受到强光的影响。因此，将彩色和微光立体相机进行结合能够有效弥补二者的缺陷。在白天光照充分的情况下，利用彩色相机和微光相机两种相机进行环境感知时，需要对二者的数据进行融合以更好实现强光、阴影区域的测距。考虑到两台相机的视场差异，需要采用自适应测距结果融合的方式来实现动态融合。
为了满足全天时、复杂光照下立·体测距的需求，针对复杂光照环境问题，本发明提供一种彩色微光多目立体视觉相机，如图1所示，该彩色微光多目立体视觉相机的硬件***由两台彩色相机5、两台微光相机4、四套可见光镜头、支架1、外触发器2、信号处理器3组成。相机探测器通常选择usb接口，也可以选择网口等其他类型；微光相机4通常选择非制冷型的；支架1用于固定两台彩色相机5和两台微光相机4，确保两台彩色相机5和两台微光相机4的光轴平行；外触发器2可以选择适应于一般探测器的方波发生模块，例如NE555模块；信号处理器3为迷你工控机或者TX2等高集成化处理单元，根据具体情况适配usb3.0集线器或者千兆网交换机。
将一对彩色相机5和一对微光相机4固定于支架1上，四台相机的布局方式为：一台彩色相机5和一台微光相机4紧靠形成一组相机组件，两组相机自检分别安装在支架1的左方和右方，两组相机组件的间距可以根据测距精度要求以及支架1的尺寸进行调整，每一组相机组件中两台相机的左右顺序无特殊要求。将两组相机组件的数据线7连接至信号处理器3，触发线6连接到外触发器2。利用信号处理器3采集、存储和处理图像数据。
本发明一种彩色微光多目立体视觉相机的数据融合构思如下：
利用彩色微光多目立体视觉相机采集标定数据，采集环境为正常光照环境，标定板使用普通的棋盘格标定板。在外参标定数据采集的过程中，标定板置于四台相机的公共视场内，两个微光相机形成微光双目相机，两个彩色相机形成彩色双目相机；同步采集彩色双目相机和微光双目相机的图像。在外参标定过程中，通过对同步采集的标定板位置进行计算，将彩色双目相机和微光双目相机的外参统一到同一个坐标系下。在彩色相机中根据局部亮度检测高亮和阴影区域，动态判断工作环境并控制彩色双目相机和微光双目相机曝光时间调整。将彩色双目相机和微光双目相机的测距结果转换到全局坐标系中形成视差计算结果。根据彩色相机和微光相机的局部图像纹理丰富程度动态判断局部测距结果的可信度，将两组视差计算结果数据进行动态融合。
具体可按照如下步骤进行实现：
步骤1：搭建立体视觉相机
步骤1.1以一台彩色相机和一台微光相机为一组相机组件，将两组相机组件分别安装在支架的左方和右方；两个微光相机形成微光双目相机，两个彩色相机形成彩色双目相机；微光相机通常选择非制冷型的；支架用于固定四台相机确保四台相机光轴平行；
步骤1.2将两组相机组件的数据线连接至信号处理器、触发线连接到外触发器；将外触发器设置为适当的脉冲频率(对应相机帧频)，设置彩色相机和微光相机的光圈和曝光时间，彩色相机的光圈一般设置在中等大小，微光相机的光圈一般设置为最大。通过软件调节曝光时间，使彩色相机能够在晴天室外环境清晰成像，无明显饱和区域，将此曝光时间定为默认曝光时间t1；将微光相机夜晚室外清晰成像的曝光时间设置为默认曝光时间t2；微光相机白天室外清晰成像的曝光时间设为默认曝光时间t3。曝光时间设置一般不超过30ms，以避免动态视频拖尾现象。
步骤2：利用所搭建的***采集标定数据，采集环境为正常光照环境，
2.1：将标定板置于四台相机的公共视场(如图4所示)内，左右移动标定板并变化多种角度，采集不少于10组标定图像；其中一对彩色相机和一对微光相机的图像同步采集；
2.2：利用常规标定方法分别对彩色双目相机和微光双目相机的内参数和外参数进行标定，获得两套标定参数。
2.3：基于各自的标定参数，分别计算同一时刻标定板上同一个特征点的位置，得到彩色双目相机和微光双目相机对同一特征点的测距结果。
2.4：基于测距结果的差异，计算彩色双目相机和微光双目相机的平移关系。
2.5：基于多个时刻标定板以及多个特征点(建议共计不少于10个点)重复步骤2.3和步骤2.4，别计算相应的平移关系，将计算的所有平移关系进行平均，获得彩色双目相机和微光双目相机测距结果的平均平移关系。
2.6基于获取的平均平移关系以及标定参数，将微光双目相机的外参数转换到彩色双目相机的坐标系中，并以该坐标系为全局坐标系，该全局坐标系以左侧的彩色相机为基准；
步骤3：结合图2、图3所示，实际场景三维测量中，在彩色相机中根据局部亮度检测高亮和阴影区域，动态判断工作环境：
3.1：按照默认白天曝光时间分别设置每个彩色相机和每个微光相机的曝光时间，即步骤1.5中的t1和t3。
3.2：分别通过彩色双目相机和微光双目相机拍摄彩色图像和微光图像，将每一幅彩色图像和微光图像分为10x10共计100个网格进行测试；
3.3：在其中一幅彩色图像中，若100个网格中超过60个网格的平均DN值(三个通道平均计算)小于该图像中最大值得1/5(以8位量化最大值255的情况为例，该值可以取50)，则判断为夜间场景，否则判断为白天场景。(上述网格数量阈值60可以根据具体环境调整，城市环境取值60可以排除路灯等干扰，如果是野外光照均匀环境，该值可以提升值80或90)。
3.4：根据步骤3.3，若判断为夜间场景，则不处理彩色相机图像。仅对微光双目相机的图像进行立体匹配，然后根据所述标定参数将匹配结果转换为最终的测距结果并输出；将微光相机曝光时间设置为默认曝光时间t2，并在此基础上使用常见的自动曝光算法进行调整，使图像质量达到最优。
根据步骤3.3，若判断为白天场景，在每一帧中，则同时处理彩色相机和微光相机图像，即分别对微光双目相机和彩色双目相机的图像进行立体匹配；彩色双目匹配可以采用SGM等常用方法，微光双目匹配可以使用同样的方法，或者使用其他针对微光双目图像特殊设计的抗噪声立体匹配算法。并利用常见的自动曝光算法调整彩色相机和微光相机曝光时间，使图像纹理丰富。然后进行步骤4；
上述图像亮度判断以及曝光时间调整不需要逐帧进行，可以每隔1-3秒进行一次。
步骤4：融合
4.1将彩色双目相机和微光双目相机的立体匹配结果转换到全局坐标系中形成视差计算结果。根据步骤2.5中计算出测距结果的平均平移关系，将彩色相机计算的视差计算结果平移到微光相机的坐标系中。
4.2选取其中一幅彩色图像，使用三通道平均法将其转化为灰度图像，并使用阈值法寻找饱和点和黑暗点，饱和点定义为图像中灰度值高于最大灰度值90％的点，黑暗点定义为图像中灰度值低于最大灰度值20％的点，对于8位量化的情况，最大值为255，上述两个阈值可以分别取230和50。
4.3取一个与步骤4.2中彩色图像大小相同的二值图像，将步骤4.3中寻找到的饱和点和黑暗点设置为1，其他设置为0；
4.4使用半径为5的圆形或边长为10至20的方形算子对二值图像进行闭运算操作，得到彩色双目相机的不可靠区域图J1，
4.5对于微光图像，同样重复步骤4.2至步骤4.4相同程序的操作，得到不可靠区域图J2；
4.6对于J1和J2，分别利用步骤3.2中划分的100个网格计算DN值为0的像素比例，作为可信度；
4.7对于同一个网格，判断彩色图像和微光图像的可信度，若彩色图像的可信度达到90％以上，则选择彩色相机的测距结果作为该网格的测距结果；否则，选择彩色图像和微光图像中可信度较高一个的测距结果作为该网格的测距结果，如图5所示；
4.8根据步骤4.7得到所有网格的测距结果，输出整个场景的测距结果。
本发明能够在昼夜全天时成像和测距，所提出的数据融合方法能够提升所设计的多目立体视觉相机在复杂光照环境下的测距精度。可以在夜间和复杂光照场景下的获得较高的测距精度，能够应用在全天时车载环境感知领域，例如汽车、装甲车等的辅助驾驶、无人驾驶，车载三维场景建模等。
其核心技术在于使用彩色相机和微光相机同时构成立体视觉***实现全天时和复杂光照环境测距。本发明的彩色微光多目立体视觉相机的组成和结构，联合测距结果融合方法，能够解决传统立体视觉***无法夜间工作以及在复杂光照环境下测距效果不佳的问题；利用两种相机动态调整曝光时间的方式，实现对复杂光照环境中不同区域的同时清晰成像；通过自动判断强光、阴影的方法，将彩色和微光双目点云结果进行动态融合，克服了由于原始数据具有一定视差而难以直接融合的问题。
Claims (6)
1.一种彩色微光多目立体视觉相机，其特征在于：包括支架(1)、外触发器(2)、信号处理器(3)以及两组相机组件；
两组所述相机组件均设置于支架(1)上；
每组所述相机组件包括一台微光相机(4)和一台彩色相机(5)，所述微光相机(4)的光轴与彩色相机(5)的光轴平行，并且两组相机组件中微光相机(4)的光轴平行；
所述微光相机(4)和彩色相机(5)分别通过触发线(6)与外触发器(2)连接，且二者还分别通过数据线(7)与信号处理器(3)连接。
2.根据权利要求1所述的一种彩色微光多目立体视觉相机，其特征在于：
所述微光相机(4)为非制冷型相机。
3.根据权利要求1或2所述的一种彩色微光多目立体视觉相机，其特征在于：所述外触发器(2)采用方波发生模块。
4.一种彩色微光多目立体视觉相机的数据融合方法，其采用权利要求1所述的一种彩色微光多目立体视觉相机，其特征在于，包括以下步骤：
步骤1：搭建立体视觉相机
步骤1.1以一台彩色相机和一台微光相机为一组相机组件，将两组相机组件分别安装在支架的左方和右方；两个微光相机形成微光双目相机，两个彩色相机形成彩色双目相机；
步骤1.2将两组相机组件的数据线连接至信号处理器、触发线连接到外触发器；
步骤2：标定
2.1将标定板置于立体视觉相机的视场内，左右移动标定板并使其多角度变化，立体视觉相机中的两个彩色相机和两个微光相机分别同步采集多组标定图像；
2.2以左侧的彩色相机为基准，分别获取彩色双目相机和微光双目相机的标定参数；
2.3基于获取的标定参数以及同一时刻采集的其中一组标定图像中同一个特征点的位置，计算彩色双目相机和微光双目相机对同一特征点的测距结果；
2.4根据测距结果的差异，计算彩色双目相机和微光双目相机间的平移关系；
2.5对其他每一组标定图像，重复步骤2.3和步骤2.4，分别计算相应的平移关系，将计算的所有平移关系进行平均，获得彩色双目相机和微光双目相机的平均平移关系；
2.6基于获取的平均平移关系以及标定参数，将微光双目相机的外参数转换到彩色双目相机的坐标系中，并以该坐标系为全局坐标系，该全局坐标系以左侧的彩色相机为基准；
步骤3：动态判断工作环境；
3.1按照默认白天曝光时间分别设置彩色双目相机和微光双目相机的曝光时间；
3.2分别通过彩色双目相机和微光双目相机拍摄彩色图像和微光图像，将每一幅彩色图像和微光图像分为N×M个网格进行测试，N≥8，M≥8；
3.3在其中任意一幅彩色图像中，若有占比超过60％网格的平均DN值小于该图像中最大DN值的1/5，则判断为夜间场景，否则判断为白天场景；
3.3若判断为夜间场景，仅对微光双目相机的图像进行立体匹配，然后根据所述标定参数将匹配结果转换为最终的测距结果并输出；
若判断为白天场景，分别对微光双目相机和彩色双目相机的图像进行立体匹配，然后进行步骤4；
步骤4：融合
4.1将彩色双目相机和微光双目相机的立体匹配结果转换为在全局坐标系下的测距结果；
4.2选取其中一幅彩色图像，使用三通道平均法将其转化为灰度图像，并使用阈值法寻找饱和点和黑暗点，饱和点定义为图像中灰度值高于最大灰度值90％的点，黑暗点定义为图像中灰度值低于最大灰度值20％的点；
4.3取一个与步骤4.2中彩色图像大小相同的二值图像，将步骤4.3中寻找到的饱和点和黑暗点设置为1，其他设置为0；
4.4使用半径为k的圆形或边长为2k的方形算子对二值图像进行闭运算操作，得到彩色双目相机的不可靠区域图J1，k为二值图像宽度的1‰至3‰；
4.5对于微光图像，同样重复步骤4.2至步骤4.4相同程序的操作，得到不可靠区域图J2；
4.6对于J1和J2，分别利用步骤3.2中划分的N×M个网格计算DN值为0的像素比例，作为可信度；
4.7对于同一个网格，判断彩色图像和微光图像的可信度，若彩色图像的可信度达到90％以上，则选择彩色相机的测距结果作为该网格的测距结果；否则，选择彩色图像和微光图像中可信度较高一个的测距结果作为该网格的测距结果；
4.8根据步骤4.7得到所有网格的测距结果，输出整个场景的测距结果。
5.根据权利要求4所述的一种彩色微光多目立体视觉相机的数据融合方法，其特征在于：
步骤2.1中的标定板选用棋盘格标定板。
6.根据权利要求4或5所述的一种彩色微光多目立体视觉相机的数据融合方法，其特征在于：步骤2.1中采集的标定图像数量至少为十组。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010850839.XA CN112203077B (zh) | 2020-08-21 | 2020-08-21 | 一种彩色微光多目立体视觉相机及其数据融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010850839.XA CN112203077B (zh) | 2020-08-21 | 2020-08-21 | 一种彩色微光多目立体视觉相机及其数据融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112203077A true CN112203077A (zh) | 2021-01-08 |
| CN112203077B CN112203077B (zh) | 2021-12-14 |
Family
ID=74004946
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010850839.XA Active CN112203077B (zh) | 2020-08-21 | 2020-08-21 | 一种彩色微光多目立体视觉相机及其数据融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112203077B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115963917A (zh) * | 2022-12-22 | 2023-04-14 | 北京百度网讯科技有限公司 | 视觉数据处理设备及视觉数据处理方法 |
| CN116485906A (zh) * | 2023-03-31 | 2023-07-25 | 阿波罗智联(北京)科技有限公司 | 参数处理方法、装置、设备以及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107990878A (zh) * | 2017-11-08 | 2018-05-04 | 中国科学院西安光学精密机械研究所 | 基于微光双目相机的测距***和测距方法 |
| CN109035193A (zh) * | 2018-08-29 | 2018-12-18 | 成都臻识科技发展有限公司 | 一种基于双目立体相机的成像处理方法及成像处理*** |
| CN109029380A (zh) * | 2018-09-14 | 2018-12-18 | 中国科学院西安光学精密机械研究所 | 基于镀膜式多光谱相机的立体视觉***及其标定测距方法 |
| CN110221403A (zh) * | 2019-06-24 | 2019-09-10 | 云南北方光电仪器有限公司 | 一种大视场多波段立体视觉辅助驾驶仪 |
| CN111080724A (zh) * | 2019-12-17 | 2020-04-28 | 大连理工大学 | 一种红外和可见光的融合方法 |
-
2020
- 2020-08-21 CN CN202010850839.XA patent/CN112203077B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107990878A (zh) * | 2017-11-08 | 2018-05-04 | 中国科学院西安光学精密机械研究所 | 基于微光双目相机的测距***和测距方法 |
| CN109035193A (zh) * | 2018-08-29 | 2018-12-18 | 成都臻识科技发展有限公司 | 一种基于双目立体相机的成像处理方法及成像处理*** |
| CN109029380A (zh) * | 2018-09-14 | 2018-12-18 | 中国科学院西安光学精密机械研究所 | 基于镀膜式多光谱相机的立体视觉***及其标定测距方法 |
| CN110221403A (zh) * | 2019-06-24 | 2019-09-10 | 云南北方光电仪器有限公司 | 一种大视场多波段立体视觉辅助驾驶仪 |
| CN111080724A (zh) * | 2019-12-17 | 2020-04-28 | 大连理工大学 | 一种红外和可见光的融合方法 |
Non-Patent Citations (3)
| Title |
|---|
| ZHE BAI: "Study on the Technology of High-Dynamic-Range Low-Light-Level Remote-Sensing Camera", 《2019 3RD INTERNATIONAL CONFERENCE ON ELECTRONIC INFORMATION TECHNOLOGY AND COMPUTER ENGINEERING (EITCE)》 * |
| 冯花卉: "微光双目***低照度环境三维测量方法研究", 《中国科学院西安光学精密机械研究所硕士学位论文》 * |
| 钱惟贤: "紫外与微光双通道彩色立体融合***研究", 《南京理工大学硕士学位论文》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115963917A (zh) * | 2022-12-22 | 2023-04-14 | 北京百度网讯科技有限公司 | 视觉数据处理设备及视觉数据处理方法 |
| CN115963917B (zh) * | 2022-12-22 | 2024-04-16 | 北京百度网讯科技有限公司 | 视觉数据处理设备及视觉数据处理方法 |
| CN116485906A (zh) * | 2023-03-31 | 2023-07-25 | 阿波罗智联(北京)科技有限公司 | 参数处理方法、装置、设备以及存储介质 |
| CN116485906B (zh) * | 2023-03-31 | 2024-04-12 | 阿波罗智联(北京)科技有限公司 | 参数处理方法、装置、设备以及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112203077B (zh) | 2021-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107862293B (zh) | 基于对抗生成网络的雷达生成彩色语义图像***及方法 | |
| CN110335211B (zh) | 深度图像的校正方法、终端设备以及计算机存储介质 | |
| CN110244282B (zh) | 一种多相机***和激光雷达联合***及其联合标定方法 | |
| CN110657785B (zh) | 一种高效的场景深度信息获取方法及*** | |
| CN112203077B (zh) | 一种彩色微光多目立体视觉相机及其数据融合方法 | |
| CN107990878B (zh) | 基于微光双目相机的测距***和测距方法 | |
| CN111210481A (zh) | 多波段立体相机的深度估计加速方法 | |
| CN111027415B (zh) | 一种基于偏振图像的车辆检测方法 | |
| CN113643345A (zh) | 一种基于双光融合的多目道路智能识别方法 | |
| CN107147858A (zh) | 图像处理装置及其控制方法 | |
| JP2006060425A (ja) | 画像生成方法および装置 | |
| CN104834081A (zh) | 一种体视显微镜的快速自动聚焦方法 | |
| CN117784161A (zh) | 一种ros的相机和激光雷达融合目标检测方法 | |
| CN112714301A (zh) | 双模态图像信号处理器和图像传感器 | |
| JP2006033282A (ja) | 画像生成装置およびその方法 | |
| CN109495694B (zh) | 一种基于rgb-d的环境感知方法及装置 | |
| CN112702588B (zh) | 双模态图像信号处理器和双模态图像信号处理*** | |
| JPH09126758A (ja) | 車両用環境認識装置 | |
| CN104717419A (zh) | 自动对焦影像捕获设备与影像撷取方法 | |
| CN210201927U (zh) | 双鱼眼全景图像信息采集装置 | |
| CN110827230A (zh) | 一种利用tof提升rgb图像质量的方法和装置 | |
| CN210225540U (zh) | 双鱼眼全景图像信息融合的采集装置 | |
| CN115980042B (zh) | 一种基于多源图像配准的雷击路径监测***及方法 | |
| CN210201926U (zh) | 双鱼眼全景图像采集装置 | |
| CN114500870B (zh) | 图像处理方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |