CN113361544A - 图像采集设备及其外参修正方法、装置及存储介质 - Google Patents

图像采集设备及其外参修正方法、装置及存储介质 Download PDF

Info

Publication number
CN113361544A
CN113361544A CN202110656540.5A CN202110656540A CN113361544A CN 113361544 A CN113361544 A CN 113361544A CN 202110656540 A CN202110656540 A CN 202110656540A CN 113361544 A CN113361544 A CN 113361544A
Authority
CN
China
Prior art keywords
image
acquisition device
transformation matrix
image acquisition
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110656540.5A
Other languages
English (en)
Other versions
CN113361544B (zh
Inventor
邢彦文
薛静
郭羽鹏
王云
许汉荆
刘建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Greater Bay Area Institute of Integrated Circuit and System
Original Assignee
Guangdong Greater Bay Area Institute of Integrated Circuit and System
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Greater Bay Area Institute of Integrated Circuit and System filed Critical Guangdong Greater Bay Area Institute of Integrated Circuit and System
Priority to CN202110656540.5A priority Critical patent/CN113361544B/zh
Publication of CN113361544A publication Critical patent/CN113361544A/zh
Application granted granted Critical
Publication of CN113361544B publication Critical patent/CN113361544B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请提出一种图像采集设备及其外参修正方法、装置及存储介质，该图像采集设备的外参修正方法包括：将第一图像和第二图像分别输入训练好的深度神经网络模型，计算两张图像的变换矩阵；第一图像由采集位置未发生变化的第一图像采集装置获得，第二图像由采集位置发生变化的第二图像采集装置获得；根据变换矩阵和第一图像采集装置的外参，修正第二图像采集装置的外参。本申请能够对已经发生位置改变的图像采集装置进行快速地外参修正，以在重复纹理、弱纹理，以及夜视和大背景干扰等复杂情况下进行高效稳定、高精度地特征点提取以及图像匹配。

Description

图像采集设备及其外参修正方法、装置及存储介质
技术领域
本申请属于图像处理技术领域，具体涉及一种图像采集设备及其外参修正方法、装置及存储介质。
背景技术
目前，图像拼接、摄像机测距以及视觉定位技术已在多个领域中应用，比如全景相机***，汽车全景环视***，全景无人机***，智能安防巡检机器人***以及某些无人驾驶***等等。在上述应用场景下，大多通过下述方案实现全景图像的摄制、摄像机测距以及视觉定位：搭载图像采集装置(如摄像机)的载体在世界空间中移动，采用多路图像采集装置摄制载体周围的场景并能实时对多路场景图像进行拼接，输出载体周围的全景图像，或者对于检测到的周围环境的物体，估算该物体距离搭载摄像机载体的距离，或者估算搭载摄像机载体的空间位置，从而进行下一步的功能开发和展示。
然而，在搭载图像采集装置的载体运动和使用的过程中，由于某些不可预知的原因，比如载体运动振动使图像采集装置安装松动，载体和其他物体碰撞时碰撞到了图像采集装置，或者图像采集装置硬件损坏进行更换灯，都会导致图像采集装置的安装位置跟原先相比发生了变化，使得该图像采集装置的外参(通常用于表示世界坐标系与相机坐标系之间的关系)发生了改变，反应到拼接的全景图像上，即相邻图像采集装置采集的图像跟先前相比发生了拼接错位，或者估算物体距离搭载摄像机载体的距离发生错误，或者估算搭载摄像机载体的空间位置发生错误从而影响下一步的功能开发和视觉效果展示。
现有技术中，对于能够量产的全景相关产品，通常的情况下，出厂前会对装配好后的各个图像采集装置进行标定，同时将标定结果(一般是外参或者其等效参数，如标定棋盘格的角点以及其他特征)写入到配置文件中，使得下次启动电源使用时无需再重新标定即可实现实时输出所需的全景图像拼接的视效功能，以及准备测距和定位的功能。但是，若由于意外使得某个图像采集装置的安装位置跟出厂前发生了改变，则出厂前标定好的该图像采集装置的外参则不是该图像采集装置位置变化后的外参，因此，该图像采集装置所拍摄的图像跟相邻的位置没有改变的图像采集装置所拍摄的图像无法拼接在一起，从视效上看全景图像上的景物便发生了错位，或者测距以及定位发生错误，从而失去了产品本身定义的功能使得产品无法进行使用。此时，该设备需要返厂或到指定的产品维修场所进行重新标定，这对厂商来讲产生了巨大的售后成本，对用户来讲也存在着巨大的时间成本。
发明内容
本申请提出一种图像采集设备及其外参修正方法、装置及存储介质，能够对已经发生位置改变的图像采集装置进行快速地外参修正，以在重复纹理、弱纹理，以及夜视和大背景干扰等复杂情况下进行高效稳定、高精度地特征点提取以及图像匹配。
本申请第一方面实施例提出了一种图像采集设备的外参修正方法，所述方法包括：
将第一图像和第二图像分别输入训练好的深度神经网络模型，计算两张图像的变换矩阵；所述第一图像由采集位置未发生变化的第一图像采集装置获得，所述第二图像由采集位置发生变化的第二图像采集装置获得；
根据所述变换矩阵和所述第一图像采集装置的外参，修正所述第二图像采集装置的外参。
可选地，所述将第一图像和第二图像分别输入训练好的深度神经网络模型，得到两张图像的变换矩阵，包括：
将所述第一图像和所述第二图像输入训练好的深度神经网络模型，分别提取所述第一图像和所述第二图像的图像特征；
将提取的特征依次接入所述深度神经网络模型的两个全连接层；其中，最后接入的全连接层具有预设维度；
采用归一化函数输出所述第一图像和所述第二图像的变换矩阵。
可选地，所述提取所述第一图像和所述第二图像的图像特征，包括：
对所述第一图像和所述第二图像执行预设次数的特征提取操作，所述特征提取操作包括连续执行预设层数的卷积后执行一次池化。
可选地，所述采用归一化函数输出所述第一图像和所述第二图像的变换矩阵，包括：
采用归一化函数依次输出所述变换矩阵的各个元素，每个所述元素均包括符号位、第一预设数目个整数位和第二预设数目个小数位；
对于每个元素，根据所述符号位的置信度确定所述元素的正负，根据所述第一预设数目个整数位各自的置信度确定所述元素的整数部分，以及根据所述第二预设数目个小数位的置信度确定所述元素的小数部分。
可选地，所述根据所述变换矩阵和所述第一图像采集装置的外参，修正所述第二图像采集装置的外参，包括：
将所述变换矩阵和所述第一图像采集装置的外参的乘积用作所述第二图像采集装置的新外参。
可选地，所述将第一图像和第二图像分别输入训练好的深度神经网络模型，得到两张图像的变换矩阵之前，还包括：
根据所述第一图像和所述第二图像的所有图像类型，得到训练样本组；
通过所述训练样本组训练所述深度神经网络模型。
可选地，所述根据所述第一图像和所述第二图像的所有图像类型，得到训练样本组，包括：
根据所述第一图像和所述第二图像的所有图像类型，按照所述变换矩阵对预设的图像数据集中的相应图像数据进行修改，将修改后的图像数据作为训练样本。
本申请第二方面的实施例提供了一种图像采集设备的外参修正装置，所述装置包括：
计算模块，用于将第一图像和第二图像分别输入训练好的深度神经网络模型，计算两张图像的变换矩阵；所述第一图像由采集位置未发生变化的第一图像采集装置获得，所述第二图像由采集位置发生变化的第二图像采集装置获得；
修正模块，根据所述变换矩阵和所述第一图像采集装置的外参，修正所述第二图像采集装置的外参。
本申请第三方面的实施例提供了一种图像采集设备，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序以实现如第一方面所述的方法。
本申请第四方面的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行实现如第一方面所述的方法。
本申请实施例中提供的技术方案，至少具有如下技术效果或优点：
本申请实施例提供的图像采集设备的外参修正方法，将第一图像和第二图像分别输入训练好的深度神经网络模型，计算两张图像的变换矩阵，根据变换矩阵和第一图像采集装置的外参，修正第二图像采集装置的外参，如此，通过训练好的深度神经网络模型可得到由两个图像采集装置获得的两张图像之间的变换矩阵，通过该变换矩阵和其中一个图像采集装置的外参，可对另外一个图像采集装置的外参进行修正，已能够在重复纹理、弱纹理、大前景以及夜视等复杂场景下对两张图像进行高效、稳定以及高精度的特征点提取和特征匹配等，继而便于实现对第一图像和第二图像进行拼接，或者对标记物位置距离进行估算等应用。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。
在附图中：
图1示出了本申请实施例提供的图像采集设备的外参修正方法的流程示意图；
图2示出了本申请实施例提供的将两张图像输入深度神经网络模型的处理过程示意图；
图3示出了本申请实施例提供的变换矩阵中各元素的取值确定方法；
图4示出了本申请实施例提供的图像采集设备的外参修正装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施方式。虽然附图中显示了本申请的示例性实施方式，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。
下面结合附图来描述根据本申请实施例提出的一种图像采集设备及其外参修正方法、装置及存储介质。
为解决上述技术问题，本实施例对传统的自修正方法进行研究分析，发现：传统的自修正方法，通常采用相邻图像之间的特征点识别与特征点的描述子(用于描述特征点的参数集合)进行特征匹配的方法，来计算相邻图像之间的变换关系。其进行特征提取时，往往希望相邻图像之间的纹理相对丰富，以便于有效进行特征点提取以及描述子的计算。但是，对于有重复纹理的场景(比如很多建筑的窗户非常类似)，***可能检测出很多特征点，但进行匹配时却不能有效一一对应。比起重复纹理，弱纹理情况可能更加困难，比如，柏油马路，墙体或者天空等。对于没有什么特征纹理的场景，传统方法很难在这些部分找出特征点，进行有效的特征点匹配则更难。再者，当图像中出现大前景干扰时，无论是动态还是静态干扰，都会对***的鲁棒性造成很大挑战，因为这种情况下当画面视角稍加变化，受遮挡影响，画面中可能就会出现从未见过的新场景，从而导致上一帧图像已经匹配好的位置关系使得这一帧图像的匹配发生很大的偏差或者失效。另外，还有夜视情况下，其与无纹理情况类似，在夜景、噪声干扰下，***往往只能在各别区域检测出特征点，然而用该各别区域来对整张图像进行匹配，效果则往往不尽如人意。
鉴于上述研究发现，本申请实施例提供了一种图像采集设备的外参修正方法，该方法可应用于图像采集设备，该图像采集设备可以包括多个图像采集装置以及至少一个外参修正装置，其中，多个图像采集装置可用于拍摄组成全景图像的各个子图像(具体可用于其外参修正装置)，该外参修正装置用于对各图像采集装置的外参进行修正，以在能够重复纹理、弱纹理、大前景以及夜视等复杂场景下对两张图像进行高效、稳定以及高精度的特征点提取和特征匹配等。如图1所示，该方法包括以下步骤：
步骤S1，将第一图像和第二图像分别输入训练好的深度神经网络模型，计算两张图像的变换矩阵；第一图像由采集位置未发生变化的第一图像采集装置获得，第二图像由采集位置发生变化的第二图像采集装置获得。
可以理解的是，第一图像和第二图像通常为全景图像中由两个位置相邻的图像采集装置所采集的两张相邻(具有同一边界)的子图像(本实施例可不限于位置相邻的图像采集装置所采集的两张图像)。第一图像采集装置和第二图像采集装置即共同采集以生成全景图像的所有图像采集装置中任意相近的两个，且后者的位置相对图像采集前的位置发生变化。
具体地，图像采集装置(包括但不限于第一图像采集装置和第二图像采集装置)可以是任意能够进行图像采集的装置，本实施例对其不做具体限定，例如可以是手机、平板电脑、手提电脑等的全景相机***，汽车全景环视***，全景无人机***，智能安防巡检机器人***以及某些无人驾驶***等等，其可以包括摄像头或扫描仪等用于图像采集的功能模块。
训练好的深度神经网络模型可以理解为采用训练样本训练好的，能够用于计算两张图像之间特征的深度神经网络模型，本实施例对其具体结构不做具体限定，其可以但不限于VGG模型(如VGG16、VGG19)、GOOGLENET模型等。
具体地，步骤S1可以包括以下处理：将第一图像和第二图像输入训练好的深度神经网络模型，分别提取第一图像和第二图像的图像特征；将提取的特征依次接入深度神经网络模型的两个全连接层；其中，最后接入的全连接层具有预设维度；采用归一化函数输出第一图像和第二图像的变换矩阵。
其中，提取的特征可以包括图像的各位置处的色彩(包括但不限于颜色分布和深浅)、像素(包括但不限于像素大小、像素分布情况等)。
如图2所示，第一图像记作image1，第二图像记作image2，分别将image1和image2输入到训练好的深度神经网络中，该深度神经网络可以对这两张相邻的图像的特征进行自动提取，这里是以VGG16模型进行特征提取为例，即如图2所示，各卷积层的尺寸和维度也可如图2所示，在特征提取的过程中，可经过5次的特征提取，每次特征提取均包括连续2个卷积再接1个池化的操作，然后将提取特征的结果依次输入至两个全连接层(FC1～FC2)，且最后一个全连接层可以具有预设维度，以得到相应自由度的变换矩阵。
相应地，上述提取所述第一图像和所述第二图像的图像特征，可以包括以下处理：对所述第一图像和所述第二图像执行预设次数的特征提取操作，所述特征提取操作包括连续执行预设层数的卷积后执行一次池化。
需要说明的是，上述经过5次的连续2个卷积接1个池化的操作只是本实施例的一种实施方式，本实施例并不以此为限，例如，也可以设置更多或更少个卷积、池化以及总次数(大于或小于5次)等。
对于应用了全景拼接技术的产品，为了提高拼接的实时性即显示帧率，通常情况下会将标定的参数(通常是棋盘格角点的位置坐标)写入配置文件中。在产品开机时对产品初始化来计算每个摄像机的外参，然后使用外参进行实时的图像拼接。如果其中的一个摄像机位置发生了改变，则该摄像机先前写入配置文件中的角点坐标与其当前的位置便不再对应，从而使得在产品初始化的时候该摄像机外参的计算发生了错误。
在本实施例中，通常采用三行三列的矩阵来表示相邻两张图像的投影变换关系，如下所示：
Figure BDA0003113113940000071
由该矩阵公式可知，该变换矩阵只有8个自由度h1，h2，…，h8(hi，i＝1-8中的任意自然数)。假定hi的取值范围是-9999.9999～9999.9999，这里用一个81×1维的列向量来表示其中的一个数，则8个自由度的总维度则是648×1，如图2所示，最后接入的全连接层的预设维度即可以为648×1。
需要说明的是，上述648×1维度只是预设维度的一种较佳实施方式，本实施例并不以此为限，例如，当采用其他维度的向量表示变换矩阵中的元素hi时，相应地，预设维度也具有其他相应的数值。
于本实施例一具体实施方式中，上述采用归一化函数输出第一图像和第二图像的变换矩阵，可以包括以下处理：采用归一化函数依次输出变换矩阵的各个元素，每个元素均包括符号位、第一预设数目个整数位和第二预设数目个小数位；对于每个元素，根据符号位的置信度确定元素的正负，根据第一预设数目个整数位各自的置信度确定元素的整数部分，以及根据第二预设数目个小数位的置信度确定元素的小数部分。
其中，归一化函数可以但不限于为softmax函数，用于输出连续性的各元素值，以提高各元素数据及变换矩阵的准确性。
对于上述变换矩阵只有8个自由度h1，h2，…，h8，不失一般性，以h1的表示为例，如图3所示，上面矩形框中所列的数字表示数据的标识位，包括上述符号位、第一预设数目个整数位和第二预设数目个小数位，而下面黑色矩形中的数据c0，c1，c2...表示上面深度神经网络最后一个全连接层softmax后的最终输出结果，这些c0，c1，c2...数据表示取得对应标识位的置信度，它们的取值范围是0～1。比如，在符号位如果c0>0.5，则说明h1的值是正数，如果c0<0.5，则说明h1的值是负数。在千位这个区域，有c1～c10这10个置信度数据，如果c3是这10个数据最大的数且最大值必须要大于一份指定的阈值，这里可以但不限于定义为0.5，则说明h1的千位即为3。其他位百位、十位、个位以及小数点后面的各位取值均以此类推，如此，便可确定h1的数值。同理，可以依次确定h2，…，h8这几个元素的数值，继而确定变换矩阵H3×3。如此，在变换矩阵的计算过程中引入置信度，从而将回归问题转化为了分类问题，既提高了变换矩阵H3×3的准确性，又有效降低了计算量。
于本实施例另一具体实施方式中，图像采集设备的外参修正方法，在执行步骤S1之前，还可以包括深度神经网络模型的训练步骤，相应地，该深度神经网络模型的训练步骤可以包括以下处理：根据第一图像和第二图像的所有图像类型，得到训练样本组；通过训练样本组训练深度神经网络模型。
在本实施例中，由于没有历史数据作为训练样本，故可以专门制作形成训练样本，具体可根据第一图像和第二图像的所有图像类型，包括图像本身的类型(如风景图像、公路图、建筑图等)、第一图像和第二图像拼接时可能出现的缺陷类型等，得到训练样本组，然后通过得到的训练样本组训练深度神经网络模型。
进一步地，上述根据第一图像和第二图像的所有图像类型，得到训练样本组的步骤，可以包括以下处理：根据第一图像和第二图像的所有图像类型，按照变换矩阵对预设的图像数据集中的相应图像数据进行修改，将修改后的图像数据作为训练样本。
其中，预设的图像数据集可以包括正常情况(所有图像采集装置的位置均没有发生变化)下所有可能的第一图像和第二图像组成的多个数据组。按照变换矩阵对预设的图像数据集中的相应图像数据进行修改，可以理解为，对变换矩阵进行任意赋值，然后根据赋值得到的拟变换矩阵对预设的图像数据集中的所有数据组中一个进行相应变换，然后将数据组中未变换的和新变换的结果重新组成新数据组，采用该新数据组形成训练样本。
需要说明的是，上述形成训练样本的方式至少本实施例的一种实施方式，本实施例并不以此为限，例如，也可以采用图像采集装置模拟实际情况得到的发生位置变换的第二图像采集装置摄制的第二图像，和与该第二图像采集装置相邻的未发生位置改变的第一图像采集装置摄制的第一图像，将同一时刻下的第一图像和第二图像作为一个数据组，将不同时刻的数据组形成的数据集作为训练样本。
另外，在训练深度神经网络模型的过程中，当训练结果与实际不符时，可以采用损失函数对深度神经网络模型进行修正，直至达到训练结果与实际相当，以保证实际应用时获得较为准确的变换矩阵。优选地，该损失函数可以但不限于采用交叉熵，只要能对深度神经网络模型进行修正即可。
步骤S2，根据变换矩阵和第一图像采集装置的外参，修正第二图像采集装置的外参。
鉴于前述的全景相关产品根据写入到配置文件中的外参，实现实时输出全景图像的原理，可以根据变换矩阵和第一图像采集装置的外参，修正第二图像采集装置的外参，从而可根据第一图像采集装置的外参和第二图像采集装置修正后的外参，实现全景图像的实时输出。
于本实施例另一具体实施方式中，上述根据变换矩阵和第一图像采集装置的外参，修正第二图像采集装置的外参的步骤，可以包括以下处理：将变换矩阵和第一图像采集装置的外参的乘积用作第二图像采集装置的新外参。
在本实施例中，当第二图像采集装置的位置发生改变时，第一图像采集装置的位置并没有发生改变。则在按照上述方法计算出两个相邻图像采集装置的变换矩阵H3×3之后，可以将配置文件中未发生改变的第一图像采集装置的角点坐标与变换矩阵H3×3相乘，即可得到位置发生改变后的第二图像采集装置的更新后的棋盘格的角点坐标，然后将更新后的角点坐标更新到其配置文件中，如此，在产品初始化的时候该发生位置变化的第二图像采集装置的外参即得到了正确的修正。
于本实施例另一具体实施方式中，图像采集设备的外参修正方法，还可以包括以下步骤：根据第一图像采集装置的角点坐标和第二图像采集装置的新角点坐标，对第一图像和第二图像进行拼接。
本实施例提供的图像采集设备的外参修正方法，将第一图像和第二图像分别输入训练好的深度神经网络模型，计算两张图像的变换矩阵，根据变换矩阵和第一图像采集装置的外参，修正第二图像采集装置的外参，如此，通过训练好的深度神经网络模型可得到由两个图像采集装置获得的两张图像之间的变换矩阵，通过该变换矩阵和其中一个图像采集装置的外参，可对另外一个图像采集装置的外参进行修正，已能够在重复纹理、弱纹理、大前景以及夜视等复杂场景下对两张图像进行高效、稳定以及高精度的特征点提取和特征匹配等，继而便于实现对第一图像和第二图像进行拼接，或者对标记物位置距离进行估算等应用。
基于上述图像采集设备的外参修正方法实施例相同的构思，本实施例还提供一种图像采集设备的外参修正装置，该装置包括：
计算模块，用于将第一图像和第二图像分别输入训练好的深度神经网络模型，计算两张图像的变换矩阵；第一图像由采集位置未发生变化的第一图像采集装置获得，第二图像由采集位置发生变化的第二图像采集装置获得；
修正模块，根据变换矩阵和第一图像采集装置的外参，修正第二图像采集装置的外参。
本实施例提供的图像采集设备的外参修正装置，基于上述图像采集设备的外参修正方法实施例相同的构思，至少能够实现上述图像采集设备的外参修正方法所能实现的有益效果，在此不再赘述。
于本实施例一具体实施方式中，计算模块具体用于：
将第一图像和第二图像输入训练好的深度神经网络模型，分别提取第一图像和第二图像的图像特征；
将提取的特征依次接入深度神经网络模型的两个全连接层；其中，最后接入的全连接层具有预设维度；
采用归一化函数输出第一图像和第二图像的变换矩阵。
进一步地，计算模块可进一步用于：
采用归一化函数依次输出变换矩阵的各个元素，每个元素均包括符号位、第一预设数目个整数位和第二预设数目个小数位；
对于每个元素，根据符号位的置信度确定元素的正负，根据第一预设数目个整数位各自的置信度确定元素的整数部分，以及根据第二预设数目个小数位的置信度确定元素的小数部分。
于本实施例另一具体实施方式中，修正模块具体用于：
将变换矩阵和第一图像采集装置的外参的乘积用作第二图像采集装置的新外参。
于本实施例另一具体实施方式中，图像采集设备的外参修正装置还可以包括训练模块，该训练模块可用于：
根据第一图像和第二图像的所有图像类型，得到训练样本组；
通过训练样本组训练深度神经网络模型。
于本实施例另一具体实施方式中，该训练模块进一步用于：
根据第一图像和第二图像的所有图像类型，按照变换矩阵对预设的图像数据集中的相应图像数据进行修改，将修改后的图像数据作为训练样本。
基于上述图像采集设备的外参修正方法实施例相同的构思，本实施例还提供一种图像采集设备，包括处理器、存储器及存储在存储器上并能够在处理器上运行的计算机程序，处理器运行计算机程序以实现上述任意实施方式的图像采集设备的外参修正方法。
本实施例提供的图像采集设备，基于上述图像采集设备的外参修正方法实施例相同的构思，至少能够实现上述图像采集设备的外参修正方法所能实现的有益效果，在此不再赘述。
基于上述图像采集设备的外参修正方法实施例相同的构思，本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行实现上述任意实施方式的图像采集设备的外参修正方法。
本实施例提供的图像采集设备的计算机可读存储介质，基于上述图像采集设备的外参修正方法实施例相同的构思，至少能够实现上述图像采集设备的外参修正方法所能实现的有益效果，在此不再赘述。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种图像采集设备的外参修正方法，其特征在于，所述方法包括：
将第一图像和第二图像分别输入训练好的深度神经网络模型，计算两张图像的变换矩阵；所述第一图像由采集位置未发生变化的第一图像采集装置获得，所述第二图像由采集位置发生变化的第二图像采集装置获得；
根据所述变换矩阵和所述第一图像采集装置的外参，修正所述第二图像采集装置的外参。
2.根据权利要求1所述的方法，其特征在于，所述将第一图像和第二图像分别输入训练好的深度神经网络模型，得到两张图像的变换矩阵，包括：
将所述第一图像和所述第二图像输入训练好的深度神经网络模型，分别提取所述第一图像和所述第二图像的图像特征；
将提取的特征依次接入所述深度神经网络模型的两个全连接层；其中，最后接入的全连接层具有预设维度；
采用归一化函数输出所述第一图像和所述第二图像的变换矩阵。
3.根据权利要求2所述的方法，其特征在于，所述提取所述第一图像和所述第二图像的图像特征，包括：
对所述第一图像和所述第二图像执行预设次数的特征提取操作，所述特征提取操作包括连续执行预设层数的卷积后执行一次池化。
4.根据权利要求2所述的方法，其特征在于，所述采用归一化函数输出所述第一图像和所述第二图像的变换矩阵，包括：
采用归一化函数依次输出所述变换矩阵的各个元素，每个所述元素均包括符号位、第一预设数目个整数位和第二预设数目个小数位；
对于每个元素，根据所述符号位的置信度确定所述元素的正负，根据所述第一预设数目个整数位各自的置信度确定所述元素的整数部分，以及根据所述第二预设数目个小数位的置信度确定所述元素的小数部分。
5.根据权利要求1所述的方法，其特征在于，所述根据所述变换矩阵和所述第一图像采集装置的外参，修正所述第二图像采集装置的外参，包括：
将所述变换矩阵和所述第一图像采集装置的外参的乘积用作所述第二图像采集装置的新外参。
6.根据权利要求1所述的方法，其特征在于，所述将第一图像和第二图像分别输入训练好的深度神经网络模型，得到两张图像的变换矩阵之前，还包括：
根据所述第一图像和所述第二图像的所有图像类型，得到训练样本组；
通过所述训练样本组训练所述深度神经网络模型。
7.根据权利要求6所述的方法，其特征在于，所述根据所述第一图像和所述第二图像的所有图像类型，得到训练样本组，包括：
根据所述第一图像和所述第二图像的所有图像类型，按照所述变换矩阵对预设的图像数据集中的相应图像数据进行修改，将修改后的图像数据作为训练样本。
8.一种图像采集设备的外参修正装置，其特征在于，所述装置包括：
计算模块，用于将第一图像和第二图像分别输入训练好的深度神经网络模型，计算两张图像的变换矩阵；所述第一图像由采集位置未发生变化的第一图像采集装置获得，所述第二图像由采集位置发生变化的第二图像采集装置获得；
修正模块，根据所述变换矩阵和所述第一图像采集装置的外参，修正所述第二图像采集装置的外参。
9.一种图像采集设备，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序以实现如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行实现如权利要求1-7中任一项所述的方法。
CN202110656540.5A 2021-06-11 2021-06-11 图像采集设备及其外参修正方法、装置及存储介质 Active CN113361544B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110656540.5A CN113361544B (zh) 2021-06-11 2021-06-11 图像采集设备及其外参修正方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110656540.5A CN113361544B (zh) 2021-06-11 2021-06-11 图像采集设备及其外参修正方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN113361544A true CN113361544A (zh) 2021-09-07
CN113361544B CN113361544B (zh) 2024-04-19

Family

ID=77533966

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110656540.5A Active CN113361544B (zh) 2021-06-11 2021-06-11 图像采集设备及其外参修正方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN113361544B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108984481A (zh) * 2018-06-26 2018-12-11 华侨大学 一种基于卷积神经网络的单应性矩阵估计方法
CN111383287A (zh) * 2020-02-13 2020-07-07 湖北亿咖通科技有限公司 一种车载传感器的外参标定方法及装置
CN112200875A (zh) * 2020-12-02 2021-01-08 武汉光谷信息技术股份有限公司 非量测相机交叉耦合误差补偿与影像匹配纠正方法及***
CN112489113A (zh) * 2020-11-25 2021-03-12 深圳地平线机器人科技有限公司 相机外参标定方法、装置及相机外参标定***
CN112561947A (zh) * 2020-12-10 2021-03-26 中国科学院深圳先进技术研究院 一种图像自适应运动估计方法及应用

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108984481A (zh) * 2018-06-26 2018-12-11 华侨大学 一种基于卷积神经网络的单应性矩阵估计方法
CN111383287A (zh) * 2020-02-13 2020-07-07 湖北亿咖通科技有限公司 一种车载传感器的外参标定方法及装置
CN112489113A (zh) * 2020-11-25 2021-03-12 深圳地平线机器人科技有限公司 相机外参标定方法、装置及相机外参标定***
CN112200875A (zh) * 2020-12-02 2021-01-08 武汉光谷信息技术股份有限公司 非量测相机交叉耦合误差补偿与影像匹配纠正方法及***
CN112561947A (zh) * 2020-12-10 2021-03-26 中国科学院深圳先进技术研究院 一种图像自适应运动估计方法及应用

Also Published As

Publication number Publication date
CN113361544B (zh) 2024-04-19

Similar Documents

Publication Publication Date Title
CN108648194B (zh) 基于cad模型三维目标识别分割和位姿测量方法及装置
JP2022539422A (ja) 視覚標識に基づき標識マップを構築する方法、装置
CN111754579A (zh) 多目相机外参确定方法及装置
Eichhardt et al. Affine correspondences between central cameras for rapid relative pose estimation
CN115035235A (zh) 三维重建方法及装置
Redzuwan et al. Affine versus projective transformation for SIFT and RANSAC image matching methods
CN115830135A (zh) 一种图像处理方法、装置及电子设备
CN105787464A (zh) 一种大量图片在三维场景中的视点标定方法
Galego et al. Uncertainty analysis of the DLT-Lines calibration algorithm for cameras with radial distortion
CN111829522B (zh) 即时定位与地图构建方法、计算机设备以及装置
CN116576850B (zh) 一种位姿确定方法、装置、计算机设备及存储介质
CN114693782A (zh) 用于确定三维场景模型坐标系和物理坐标系的转换关系的方法及装置
RU2384882C1 (ru) Способ автоматической компоновки ландшафтных панорамных изображений
CN116128919A (zh) 基于极线约束的多时相图像异动目标检测方法及***
CN113361544B (zh) 图像采集设备及其外参修正方法、装置及存储介质
CN115456870A (zh) 基于外参估计的多图像拼接方法
CN117115434A (zh) 数据分割装置和方法
Arevalo et al. Improving piecewise linear registration of high-resolution satellite images through mesh optimization
CN109919998B (zh) 卫星姿态确定方法、装置和终端设备
CN114549650A (zh) 相机标定方法、装置、电子设备及可读存储介质
Liang et al. Semiautomatic registration of terrestrial laser scanning data using perspective intensity images
CN117726687B (zh) 一种融合实景三维与视频的视觉重定位方法
Wu et al. Spatio-temporal fish-eye image processing based on neural network
Coito et al. Building and evaluation of a mosaic of images using aerial photographs
CN117523010B (zh) 车辆的相机位姿确定方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant