CN117911634A - 一种基于数字图像重建的视觉呈像优化方法、***及设备 - Google Patents
一种基于数字图像重建的视觉呈像优化方法、***及设备 Download PDFInfo
- Publication number
- CN117911634A CN117911634A CN202410315706.0A CN202410315706A CN117911634A CN 117911634 A CN117911634 A CN 117911634A CN 202410315706 A CN202410315706 A CN 202410315706A CN 117911634 A CN117911634 A CN 117911634A
- Authority
- CN
- China
- Prior art keywords
- images
- image
- pixel
- pixel points
- corrected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000005457 optimization Methods 0.000 title claims abstract description 33
- 230000000007 visual effect Effects 0.000 title claims abstract description 33
- 238000003384 imaging method Methods 0.000 title claims description 8
- 238000003491 array Methods 0.000 claims abstract description 29
- 238000012937 correction Methods 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims description 13
- 238000003702 image correction Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000013519 translation Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 description 15
- 238000003860 storage Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000007476 Maximum Likelihood Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于数字图像重建的视觉呈像优化方法、***及设备，涉及图像视觉优化领域，方法包括：通过三个摄像机采集目标对象的三张图像；对三张图像进行估算，获得三个摄像机的畸变参数；根据畸变参数对三张图像进行矫正处理；按照从上到下的顺序识别矫正后的三张图像的每一行像素点，获得三个多维数组，基于三个多维数组对矫正后的三张图像进行水平线校正处理；根据像素区域检测出校正后的三张图像的差异像素点；依据差异像素点对校正后的三张图像的每个像素点进行校正匹配，获得完整的视差图；基于完整的视差图，计算出左侧图像、右侧图像和中间图像的第一物点坐标、第二物点坐标，取两个物点坐标的均值建立目标对象的三维坐标模型。
Description
技术领域
本发明涉及图像视觉优化领域，更具体地说，它涉及一种基于数字图像重建的视觉呈像优化方法、***及设备。
背景技术
基于数字图像的三维重建技术是通过视觉传感器（一台或多台摄像机） 获取图像序列，进而进行三维重建的一种技术。这种技术通过提取图像序列中有用的信息，对这些信息进行逆向工程建模，从而重建出物体的三维结构模型。该方法的优点是能够应用于各种复杂的环境中，对主动视觉法具有很好的补足。
目前，根据摄像机数量的不同，被动视觉的三维重建技术可以分为单目视觉、双目视觉和多目视觉。由于摄像机角度或者目标物体本身特征的干扰，双目视觉图像中存在某些被遮挡的像素点，遮挡点只能在一个摄像机中成像，而在另一幅摄像机图像中不存在匹配像素点，因此在匹配过程中必然会出现错误匹配，继而形成错误的视差图和深度图，产生误匹配幻影。
发明内容
本发明的目的是提供一种基于数字图像重建的视觉呈像优化方法、***及设备，用以解决双目视觉图像中存在遮挡的像素点和出现错误匹配的问题。
本申请的第一方面，提供了一种基于数字图像重建的视觉呈像优化方法，方法包括：
通过三个摄像机采集目标对象的三张初始图像，对三张初始图像进行预处理，获得三张图像；其中三张初始图像包括左侧图像、中间图像和右侧图像；
对三张图像进行估算，获得三个摄像机的畸变参数；
根据畸变参数对三张图像进行矫正处理，获得矫正后的三张图像；
按照从上到下的顺序识别矫正后的三张图像的每一行像素点，获得三个多维数组，基于三个多维数组对矫正后的三张图像进行水平线校正处理，使三张图像最多特征像素点的行处于同一水平线上；
选取三张图像最多特征像素点的方块，得到大小为n*m的像素区域，根据像素区域检测出校正后的三张图像的差异像素点，n、m均为正整数；
依据差异像素点对校正后的三张图像的每个像素点进行校正匹配，获得完整的视差图；
基于完整的视差图，计算出左侧图像和中间图像的第一物点坐标，右侧图像和中间图像的第二物点坐标，取第一物点坐标和第二物点坐标的均值建立目标对象的三维坐标模型。
在上述过程中，本发明通过三目的图像识别，获得左侧、中间及右侧三张图像，然后结合左右两侧的图像同时处理，进行图像像素的水平校正、差异像素点的检测，从而有效的避免了现有遮挡的像素点和出现错误匹配的情况，通过左右两侧分组对比，然后再结合差异像素点对校正后的三张图像的每个像素点进行校正匹配，对出现遮掩的像素点进行填补，使得识别的三维目标对象的精度更高。
在一种实现方式中，通过三个摄像机采集目标对象的三张初始图像，具体为：三个摄像机设置在同一条直线上，其中左侧边的摄像机到中间摄像机的距离，与右侧边摄像机到中间摄像头机的距离相同。
在一种实现方式中，对三张图像进行估算，获得三个摄像机的畸变参数，包括：
将一张棋盘格贴在一个平面上，作为标定物，将三张图像分别放在标定物上，分别识别出放在标定物上的三张图像的图像特征，采用最小二乘法对图像特征进行估算，得到存在径向畸变条件下的畸变参数。
在一种实现方式中，根据畸变参数对三张图像进行矫正处理，获得矫正后的三张图像，包括：
若在矫正处理的过程中没有出现相符的像素点时，对像素点进行插值处理，插值的像素点为像素点四周所有像素点的平均值；
当插值的像素点是在三张图像的边缘位置时，插值点的相邻像素只有一个，插值的像素点为相邻像素点的四周像素点的平均值。
在一种实现方式中，按照从上到下的顺序识别矫正后的三张图像的每一行像素点，获得三个多维数组，基于三个多维数组对矫正后的三张图像进行水平线校正处理，使三张图像最多特征像素点的行处于同一水平线上，包括：
将三张图像各自的每一行像素点对应存入到三个若干张数组行上，得到三个多维数组；
将三个多维数组的行像素点进行行与列的比较，得出三张图像的特征像素点，其中特征像素点是为三张图像的像素点连续相同的区域的像素；
在特征像素点最多的行进行画一根直线，把左侧图像和右侧图像进行旋转和平移变换，使得左侧图像、中间图像和右侧图像最多特征像素点的行在一根直线上，使三张图像最多特征像素点的行处于同一水平线上。
在一种实现方式中，根据像素区域检测出校正后的三张图像的差异像素点，包括：
以像素区域的边缘为发射起点，每个边缘的像素格有角的部分均将发射摄像往外延长，得到三张图像各自的i条像素延长射线，i为正整数；
将三张图像各自的i条像素延长射线进行像素比较，若出现任意一张图像与余下二张图像对应点的像素不同时，取余下二张图像的像素点填充至任意一张图像对应的位置，若出现三张图像上相同的像素延长射线的任意像素点的像素不同时，寻找相邻且平行的像素延长射线上的像素点进行比较，当在相邻且平行的像素延长射线上找到相似或者相同的像素点时，进行标记与对比，得到校正后的三张图像的差异像素点。
在一种实现方式中，依据差异像素点对校正后的三张图像的每个像素点进行校正匹配，获得完整的视差图，包括：当在相邻且平行的像素延长射线上找到相似或者相同的像素点时，匹配相似或者相同的像素点，将相匹配的像素点上下移动至同一条水平线上，去除一张图像出现不同的像素点，填充余下两张图像的像素点，依次进行，直至三张图像的每个像素点都完成像素点的去除与填充，获得完整的视差图。
在一种实现方式中，第一物点坐标和第二物点坐标分别是根据左侧图像与中间图像之间两点、右侧图像与中间图像之间两点计算得出的，其中两点在目标对象上是同一点。
本申请的第二方面，提供了一种基于数字图像重建的视觉呈像优化***，***包括：
图像获取模块，用于通过三个摄像机采集目标对象的三张初始图像，对三张初始图像进行预处理，获得三张图像；其中三张初始图像包括左侧图像、中间图像和右侧图像；
参数估算模块，用于对三张图像进行估算，获得三个摄像机的畸变参数；
图像矫正模块，用于根据畸变参数对三张图像进行矫正处理，获得矫正后的三张图像；
图像校正模块，用于按照从上到下的顺序识别矫正后的三张图像的每一行像素点，获得三个多维数组，基于三个多维数组对矫正后的三张图像进行水平线校正处理，使三张图像最多特征像素点的行处于同一水平线上；
差异像素点检测模块，用于选取三张图像最多特征像素点的方块，得到大小为n*m的像素区域，根据像素区域检测出校正后的三张图像的差异像素点，n、m均为正整数；
匹配模块，用于依据差异像素点对校正后的三张图像的每个像素点进行校正匹配，获得完整的视差图；
呈像优化模块，基于完整的视差图，计算出左侧图像和中间图像的第一物点坐标，右侧图像和中间图像的第二物点坐标，取第一物点坐标和第二物点坐标的均值建立目标对象的三维坐标模型。
本申请的第三方面，提供了一种电子设备，包括：存储器和处理器，所述存储器存储有计算机程序，所述处理器运行所述计算机程序执行如本申请的第一方面提供的一种基于数字图像重建的视觉呈像优化方法。
与现有技术相比，本发明具有以下有益效果：
本发明通过三目的图像识别，获得左侧、中间及右侧三张图像，然后结合左右两侧的图像同时处理，进行图像像素的水平校正、差异像素点的检测，从而有效的避免了现有遮挡的像素点和出现错误匹配的情况，通过左右两侧分组对比，然后再结合差异像素点对校正后的三张图像的每个像素点进行校正匹配，对出现遮掩的像素点进行填补，使得识别的三维目标对象的精度更高。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1示出了本发明实施例提供的一种基于数字图像重建的视觉呈像优化方法的流程示意图；
图2示出了本发明实施例提供的一种基于数字图像重建的视觉呈像优化***的结构示意图；
图3示出了本发明实施例提供的一种电子设备的结构示意图
附图中标记及对应的零部件名称：
210、图像获取模块；220、参数估算模块；230、图像矫正模块；240、图像校正模块；250、差异像素点检测模块；260、匹配模块；270、呈像优化模块；300、电子设备；310、处理器；320、存储器；330、通信接口；321、一个或多个程序。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
需说明的是，可在本申请的各种实施例中使用的术语“包括”或“可包括”指示所申请的功能、操作或元件的存在，并且不限制一个或更多个功能、操作或元件的增加。此外，如在本申请的各种实施例中所使用，术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
此外，诸如术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
请参考图1，图1示出了本发明实施例提供的一种基于数字图像重建的视觉呈像优化方法的流程示意图，如图1所示，方法包括：
S110，通过三个摄像机采集目标对象的三张初始图像，对三张初始图像进行预处理，获得三张图像；其中三张初始图像包括左侧图像、中间图像和右侧图像。
在本公开的实施例中，摄像机是目前非常成熟的图像采集设备，故此，在一个实例中，将三个摄像机设置在同一条直线上，其中左侧边的摄像机到中间摄像机的距离，与右侧边摄像机到中间摄像机的距离相同。然后对三个摄像机各自采集图像，得到三张初始图像。三个摄像机是在同一个平面上的，以一个竖直为标准平面，使得在两侧的摄像机在矩阵旋转的时候基本误差不大，然后再根据微调即可实现。
由于使用了三个摄像机分别捕捉目标物体的左侧边图像、中心图像和右侧边图像，这些图像将包含目标物体在不同角度下的视觉信息，对获取到的三个图像进行预处理，预处理过程具体包括：将输入的图像通过如下公式转换为灰度图像，灰度图像转换公式为：/>转换为灰度图像/>，可以减少后续处理的复杂性。对灰度图像/>通过减少噪声，其中，(x， y)表示图像中的像素坐标，(R， G， B)表示彩色图像的三个颜色通道，/>表示标准差，/>代表滤波后的图像，u和v均是积分变量，I(u，v)是原始图像。
S120，对三张图像进行估算，获得三个摄像机的畸变参数。
在本公开的实施例中，对于三个摄像机的畸变参数的获取，具体为：将一张棋盘格贴在一个平面上，作为标定物，将三张图像分别放在标定物上，分别识别出放在标定物上的三张图像的图像特征，采用最小二乘法对图像特征进行估算，得到存在径向畸变条件下的畸变参数。
具体而言，通过打印一张棋盘格，把棋盘格贴在一个平面上，作为标定物，然后将三张图像分别放到标定物上，然后分别识别放上标定物的图像特征，估算理想无畸变的情况下，获取五个内参和所有外参，应用最小二乘法进行估算获取实际存在径向畸变下的畸变系数，从而得到三个摄像机之间的内参数矩阵、外参数矩阵和畸变参数。估算理想无畸变的情况下，五个内参和所有外参。可通过极大似然法优化估计，提升估计精度。通过上述过程，即可获得了具有高估计精度的五个内参，三个外参和两个畸变系数。利用这些信息，即可以进行后续的畸变矫正、图像校正和最终的三维信息恢复。
对于畸变参数的获取，本实施例准备一个棋盘格作为标定物，棋盘格上的每个方格大小已知，通常为正方形，将棋盘格贴在一个平面上，并确保其在摄像机视野范围内清晰可见。使用三个摄像机分别捕捉包含棋盘格的图像。确保棋盘格在图像中占据足够大的区域，并且方格清晰可见。对于每个摄像机捕捉到的图像，应用角点检测算法来识别棋盘格上的角点，这些角点将用于后续的标定计算。对于每个摄像机，估算其内参数矩阵。
内参数矩阵包含了摄像机的焦距(f x ，f y )、主点坐标(c x ，c y )以及倾斜因子（为0），内参数矩阵(K)表示为：；其中，f x 和f y 是x和y方向上的焦距；c x 和c y 是摄像机主点在图像坐标系中的坐标。
外参数矩阵描述了摄像机坐标系与世界坐标系之间的相对位置关系，包括旋转矩阵(R)和平移向量(t)，外参数矩阵表示为：；其中，其中，R是一个3×3的旋转矩阵，t是一个3×1的平移向量，0T是1×3的零向量，用于保持矩阵的齐次性。
使用检测到的角点坐标和已知的棋盘格方格大小，结合摄像机模型（如针孔模型），可以构建一系列方程来估算内外参数和畸变系数，通过最小化重投影误差来实现，即最小化检测到的角点坐标与根据估算参数计算得到的坐标之间的差异。
使用极大似然法对初步估算得到的参数进行优化，以提高估计精度，优化过程中，不断调整内外参数和畸变系数，直到重投影误差达到最小。
最终，得到三个摄像机的内参数矩阵(K1，K2，K3)、外参数矩阵([R1| t1]， [R2|t2]， [R3| t3])以及畸变系数(k1，k2，…)；其中，K1、K2、K3分别为左侧边、中间、右侧边的摄像机的内参数矩阵，R1、R2和R3是旋转矩阵，分别表示三个摄像机坐标系与世界坐标系之间的旋转关系，每个矩阵都是3×3的正交矩阵，描述了从世界坐标系到摄像机坐标系的旋转变换；t1，t2和t3分别是左侧边、中间和右侧边的摄像机的平移向量。k1、k2和k3分别为左侧边、中间和右侧边的摄像机的畸变系数。在机器视觉和摄像机标定中，畸变系数是用来描述摄像机镜头引起的图像畸变的参数。由于摄像机镜头制造和装配的不完美，拍摄的图像往往会发生畸变，这种畸变会导致图像中的直线出现弯曲，影响测量的准确性，而畸变系数就是用来纠正这种畸变的。
S130，根据畸变参数对三张图像进行矫正处理，获得矫正后的三张图像。
在本公开的实施例中，若在矫正处理的过程中没有出现相符的像素点时，对像素点进行插值处理，插值的像素点为像素点四周所有像素点的平均值；当插值的像素点是在三张图像的边缘位置时，插值点的相邻像素只有一个，插值的像素点为相邻像素点的四周像素点的平均值。
需要说明的是，相符的像素点指的是在进行图像矫正处理时，一个图像的像素点在经过变换（如旋转、平移等）后，应该与另一个图像中的对应像素点对齐或匹配。换句话说，当从一个摄像机的视角看到的某个点与从另一个摄像机的视角看到的对应点应该是同一个三维空间中的点时，这两个像素点就是“相符的”。
具体而言，使用畸变参数对图像进行矫正处理，在矫正过程对出现没有相符的像素点时，进行插值处理，插值的像素点为四周所有像素点的平均值，当插值点是在边缘位置时，此时插值点的相邻像素只有一个，这个时候插值取相邻像素点的四周像素点的平均值。
S140，按照从上到下的顺序识别矫正后的三张图像的每一行像素点，获得三个多维数组，基于三个多维数组对矫正后的三张图像进行水平线校正处理，使三张图像最多特征像素点的行处于同一水平线上。
在本公开的实施例中，将三张图像各自的每一行像素点对应存入到三个若干张数组行上，得到三个多维数组；将三个多维数组的行像素点进行行与列的比较，得出三张图像的特征像素点，其中特征像素点是为三张图像的像素点连续相同的区域的像素；在特征像素点最多的行进行画一根直线，把左侧图像和右侧图像进行旋转和平移变换，使得左侧图像、中间图像和右侧图像最多特征像素点的行在一根直线上，使三张图像最多特征像素点的行处于同一水平线上。
具体而言，从上到下依次对矫正后的每张图像的每一行像素点进行识别，然后将每张图像的每一行像素存入到一个若干维数组的行上，得到三张图像对应的三个若干维数组，然后将三个若干行数组上的行像素点进行行和列进行比较，然后找到三个图像的特征像素点，然后在特征像素点最多的行进行画一根直线，然后把左侧图像和右侧图像进行旋转和平移变换，使得三个图像最多特征像素点的行在一根直线上，实现图像校正。
S150，选取三张图像最多特征像素点的方块，得到大小为n*m的像素区域，根据像素区域检测出校正后的三张图像的差异像素点，n、m均为正整数。
在本公开的实施例中，以像素区域的边缘为发射起点，每个边缘的像素格有角的部分均将发射摄像往外延长，得到三张图像各自的i条像素延长射线，i为正整数；将三张图像各自的i条像素延长射线进行像素比较，若出现任意一张图像与余下二张图像对应点的像素不同时，取余下二张图像的像素点填充至任意一张图像对应的位置，若出现三张图像上相同的像素延长射线的任意像素点的像素不同时，寻找相邻且平行的像素延长射线上的像素点进行比较，当在相邻且平行的像素延长射线上找到相似或者相同的像素点时，进行标记与对比，得到校正后的三张图像的差异像素点。
S160，依据差异像素点对校正后的三张图像的每个像素点进行校正匹配，获得完整的视差图。
在本公开的实施例中，当在相邻且平行的像素延长射线上找到相似或者相同的像素点时，匹配相似或者相同的像素点，将相匹配的像素点上下移动至同一条水平线上，去除一张图像出现不同的像素点，填充余下两张图像的像素点，依次进行，直至三张图像的每个像素点都完成像素点的去除与填充，获得完整的视差图。
具体而言，对标记好的相邻平行射线上的像素点进行匹配时，将相匹配的像素点上下移动到同一条水平线上，然后把一张出现不同的像素点去除，然后那另外两张对应的像素点进行填充，然后依次进行，直到将三张图像的每个像素点都进行校正匹配。通过选择两组图像之间的对比，然后选择三选二的模式进行周围有效像素中的次最小视差值对遮挡点进行填充，获得了完整的视差图，于是获得了目标对象在左右两侧图像中成像点的匹配关系。
S170，基于完整的视差图，计算出左侧图像和中间图像的第一物点坐标，右侧图像和中间图像的第二物点坐标，取第一物点坐标和第二物点坐标的均值建立目标对象的三维坐标模型。
在本公开的实施例中，第一物点坐标和第二物点坐标分别是根据左侧图像与中间图像之间两点、右侧图像与中间图像之间两点计算得出的，其中两点在目标对象上是同一点。
具体而言，根据相似三角形关系，在确定出左侧图像与中间图像之间两点，就可以求出第一物点坐标(X1，Y1，Z1)，然后由右侧图像与中间图像之间两点可以求出第二物点坐标(X2，Y2，Z2)，两点在目标物体上时同一点，然后将第一物点坐标(X1，Y1，Z1)与第二物点坐标(X2，Y2，Z2)取均值，即可得到目标对象的真实三维坐标模型，由三维坐标模型可依次求出目标对象的所有的三维坐标。
在上述实施例的过程中，本发明通过三目的图像识别，获得左侧、中间及右侧三张图像，然后结合左右两侧的图像同时处理，进行图像像素的水平校正、差异像素点的检测，从而有效的避免了现有遮挡的像素点和出现错误匹配的情况，通过左右两侧分组对比，然后再结合差异像素点对校正后的三张图像的每个像素点进行校正匹配，对出现遮掩的像素点进行填补，使得识别的三维目标对象的精度更高。
请参考图2，图2示出了本发明实施例提供的一种基于数字图像重建的视觉呈像优化***的结构示意图，如图2所示，***包括：
图像获取模块210，用于通过三个摄像机采集目标对象的三张初始图像，对三张初始图像进行预处理，获得三张图像；其中三张初始图像包括左侧图像、中间图像和右侧图像；
参数估算模块220，用于对三张图像进行估算，获得三个摄像机的畸变参数；
图像矫正模块230，用于根据畸变参数对三张图像进行矫正处理，获得矫正后的三张图像；
图像校正模块240，用于按照从上到下的顺序识别矫正后的三张图像的每一行像素点，获得三个多维数组，基于三个多维数组对矫正后的三张图像进行水平线校正处理，使三张图像最多特征像素点的行处于同一水平线上；
差异像素点检测模块250，用于选取三张图像最多特征像素点的方块，得到大小为n*m的像素区域，根据像素区域检测出校正后的三张图像的差异像素点，n、m均为正整数；
匹配模块260，用于依据差异像素点对校正后的三张图像的每个像素点进行校正匹配，获得完整的视差图；
呈像优化模块270，基于完整的视差图，计算出左侧图像和中间图像的第一物点坐标，右侧图像和中间图像的第二物点坐标，取第一物点坐标和第二物点坐标的均值建立目标对象的三维坐标模型。
本申请实施例中的一种基于数字图像重建的视觉呈像优化***，与上述图1所示的一种基于数字图像重建的视觉呈像优化方法是基于同一构思下的发明，通过上述实施例提供的一种基于数字图像重建的视觉呈像优化方法的详细描述，本领域技术人员可以清楚的了解本实施例中的一种基于数字图像重建的视觉呈像优化***的实施过程，所以为了说明书的简洁，在此不再赘述。
相应地，本实施例提供的一种基于数字图像重建的视觉呈像优化***，本发明通过三目的图像识别，获得左侧、中间及右侧三张图像，然后结合左右两侧的图像同时处理，进行图像像素的水平校正、差异像素点的检测，从而有效的避免了现有遮挡的像素点和出现错误匹配的情况，通过左右两侧分组对比，然后再结合差异像素点对校正后的三张图像的每个像素点进行校正匹配，对出现遮掩的像素点进行填补，使得识别的三维目标对象的精度更高。
请参考图3，图3示出了本申请实施例提供的一种电子设备的结构示意图。其中，电子设备300包括处理器310、存储器320、通信接口330和至少一个用于连接处理器310、存储器320、通信接口330的通信总线。存储器320包括但不限于是随机存储记忆体(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(PROM)或便携式只读存储器(CD-ROM)，该存储器320用于相关指令及数据。
通信接口330用于接收和发送数据。处理器310可以是一个或多个CPU，在处理器310是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。电子设备300中的处理器310用于读取存储器320中存储的一个或多个程序321，执行以下操作：通过三个摄像机采集目标对象的三张初始图像，对三张初始图像进行预处理，获得三张图像；其中三张初始图像包括左侧图像、中间图像和右侧图像；对三张图像进行估算，获得三个摄像机的畸变参数；根据畸变参数对三张图像进行矫正处理，获得矫正后的三张图像；按照从上到下的顺序识别矫正后的三张图像的每一行像素点，获得三个多维数组，基于三个多维数组对矫正后的三张图像进行水平线校正处理，使三张图像最多特征像素点的行处于同一水平线上；选取三张图像最多特征像素点的方块，得到大小为n*m的像素区域，根据像素区域检测出校正后的三张图像的差异像素点，n、m均为正整数；依据差异像素点对校正后的三张图像的每个像素点进行校正匹配，获得完整的视差图；基于完整的视差图，计算出左侧图像和中间图像的第一物点坐标，右侧图像和中间图像的第二物点坐标，取第一物点坐标和第二物点坐标的均值建立目标对象的三维坐标模型。
需要说明的是，各个操作的具体实现可以上述图1所示的方法实施例的相应描述，电子设备300可以用于执行本申请上述方法实施例的一种基于数字图像重建的视觉呈像优化方法，在此不再具体赘述。
本公开的实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括计算机设备中的内置存储介质，当然也可以包括计算机设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作***。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速 RAM 存储器，也可以是非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关一种基于数字图像重建的视觉呈像优化方法的相应步骤。本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于数字图像重建的视觉呈像优化方法，其特征在于，方法包括：
通过三个摄像机采集目标对象的三张初始图像，对三张初始图像进行预处理，获得三张图像；其中三张初始图像包括左侧图像、中间图像和右侧图像；
对三张图像进行估算，获得三个摄像机的畸变参数；
根据畸变参数对三张图像进行矫正处理，获得矫正后的三张图像；
按照从上到下的顺序识别矫正后的三张图像的每一行像素点，获得三个多维数组，基于三个多维数组对矫正后的三张图像进行水平线校正处理，使三张图像最多特征像素点的行处于同一水平线上；
选取三张图像最多特征像素点的方块，得到大小为n*m的像素区域，根据像素区域检测出校正后的三张图像的差异像素点，n、m均为正整数；
依据差异像素点对校正后的三张图像的每个像素点进行校正匹配，获得完整的视差图；
基于完整的视差图，计算出左侧图像和中间图像的第一物点坐标，右侧图像和中间图像的第二物点坐标，取第一物点坐标和第二物点坐标的均值建立目标对象的三维坐标模型。
2.根据权利要求1所述的一种基于数字图像重建的视觉呈像优化方法，其特征在于，通过三个摄像机采集目标对象的三张初始图像，具体为：三个摄像机设置在同一条直线上，其中左侧边的摄像机到中间摄像机的距离，与右侧边摄像机到中间摄像头机的距离相同。
3.根据权利要求1所述的一种基于数字图像重建的视觉呈像优化方法，其特征在于，对三张图像进行估算，获得三个摄像机的畸变参数，包括：
将一张棋盘格贴在一个平面上，作为标定物，将三张图像分别放在标定物上，分别识别出放在标定物上的三张图像的图像特征，采用最小二乘法对图像特征进行估算，得到存在径向畸变条件下的畸变参数。
4.根据权利要求1所述的一种基于数字图像重建的视觉呈像优化方法，其特征在于，根据畸变参数对三张图像进行矫正处理，获得矫正后的三张图像，包括：
若在矫正处理的过程中没有出现相符的像素点时，对像素点进行插值处理，插值的像素点为像素点四周所有像素点的平均值；
当插值的像素点是在三张图像的边缘位置时，插值点的相邻像素只有一个，插值的像素点为相邻像素点的四周像素点的平均值。
5.根据权利要求1所述的一种基于数字图像重建的视觉呈像优化方法，其特征在于，按照从上到下的顺序识别矫正后的三张图像的每一行像素点，获得三个多维数组，基于三个多维数组对矫正后的三张图像进行水平线校正处理，使三张图像最多特征像素点的行处于同一水平线上，包括：
将三张图像各自的每一行像素点对应存入到三个若干张数组行上，得到三个多维数组；
将三个多维数组的行像素点进行行与列的比较，得出三张图像的特征像素点，其中特征像素点是为三张图像的像素点连续相同的区域的像素；
在特征像素点最多的行进行画一根直线，把左侧图像和右侧图像进行旋转和平移变换，使得左侧图像、中间图像和右侧图像最多特征像素点的行在一根直线上，使三张图像最多特征像素点的行处于同一水平线上。
6.根据权利要求5所述的一种基于数字图像重建的视觉呈像优化方法，其特征在于，根据像素区域检测出校正后的三张图像的差异像素点，包括：
以像素区域的边缘为发射起点，每个边缘的像素格有角的部分均将发射摄像往外延长，得到三张图像各自的i条像素延长射线，i为正整数；
将三张图像各自的i条像素延长射线进行像素比较，若出现任意一张图像与余下二张图像对应点的像素不同时，取余下二张图像的像素点填充至任意一张图像对应的位置，若出现三张图像上相同的像素延长射线的任意像素点的像素不同时，寻找相邻且平行的像素延长射线上的像素点进行比较，当在相邻且平行的像素延长射线上找到相似或者相同的像素点时，进行标记与对比，得到校正后的三张图像的差异像素点。
7.根据权利要求6所述的一种基于数字图像重建的视觉呈像优化方法，其特征在于，依据差异像素点对校正后的三张图像的每个像素点进行校正匹配，获得完整的视差图，包括：当在相邻且平行的像素延长射线上找到相似或者相同的像素点时，匹配相似或者相同的像素点，将相匹配的像素点上下移动至同一条水平线上，去除一张图像出现不同的像素点，填充余下两张图像的像素点，依次进行，直至三张图像的每个像素点都完成像素点的去除与填充，获得完整的视差图。
8.根据权利要求1所述的一种基于数字图像重建的视觉呈像优化方法，其特征在于，第一物点坐标和第二物点坐标分别是根据左侧图像与中间图像之间两点、右侧图像与中间图像之间两点计算得出的，其中两点在目标对象上是同一点。
9.一种基于数字图像重建的视觉呈像优化***，其特征在于，***包括：
图像获取模块，用于通过三个摄像机采集目标对象的三张初始图像，对三张初始图像进行预处理，获得三张图像；其中三张初始图像包括左侧图像、中间图像和右侧图像；
参数估算模块，用于对三张图像进行估算，获得三个摄像机的畸变参数；
图像矫正模块，用于根据畸变参数对三张图像进行矫正处理，获得矫正后的三张图像；
图像校正模块，用于按照从上到下的顺序识别矫正后的三张图像的每一行像素点，获得三个多维数组，基于三个多维数组对矫正后的三张图像进行水平线校正处理，使三张图像最多特征像素点的行处于同一水平线上；
差异像素点检测模块，用于选取三张图像最多特征像素点的方块，得到大小为n*m的像素区域，根据像素区域检测出校正后的三张图像的差异像素点，n、m均为正整数；
匹配模块，用于依据差异像素点对校正后的三张图像的每个像素点进行校正匹配，获得完整的视差图；
呈像优化模块，基于完整的视差图，计算出左侧图像和中间图像的第一物点坐标，右侧图像和中间图像的第二物点坐标，取第一物点坐标和第二物点坐标的均值建立目标对象的三维坐标模型。
10.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器存储有计算机程序，所述处理器运行所述计算机程序执行如权利要求1至8任一项所述的一种基于数字图像重建的视觉呈像优化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410315706.0A CN117911634A (zh) | 2024-03-20 | 2024-03-20 | 一种基于数字图像重建的视觉呈像优化方法、***及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410315706.0A CN117911634A (zh) | 2024-03-20 | 2024-03-20 | 一种基于数字图像重建的视觉呈像优化方法、***及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117911634A true CN117911634A (zh) | 2024-04-19 |
Family
ID=90689360
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410315706.0A Pending CN117911634A (zh) | 2024-03-20 | 2024-03-20 | 一种基于数字图像重建的视觉呈像优化方法、***及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117911634A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115171218A (zh) * | 2022-07-29 | 2022-10-11 | 国网山西省电力公司物资分公司 | 一种基于图像识别技术的物资送样异常行为识别*** |
| CN115908684A (zh) * | 2022-11-30 | 2023-04-04 | 长春理工大学 | 视觉感知驱动的自适应三维场景渲染方法、***及设备 |
| CN117523007A (zh) * | 2023-12-13 | 2024-02-06 | 上汽大众汽车有限公司 | 一种车载摄像头的静态标定方法、装置、车辆及存储介质 |
| CN117611689A (zh) * | 2024-01-23 | 2024-02-27 | 凯多智能科技(上海)有限公司 | 标定参数校准方法、检测方法、装置、介质、设备及*** |
| CN117636447A (zh) * | 2023-11-30 | 2024-03-01 | 广西申能达智能技术有限公司 | 一种虹膜识别的方法及*** |
-
2024
- 2024-03-20 CN CN202410315706.0A patent/CN117911634A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115171218A (zh) * | 2022-07-29 | 2022-10-11 | 国网山西省电力公司物资分公司 | 一种基于图像识别技术的物资送样异常行为识别*** |
| CN115908684A (zh) * | 2022-11-30 | 2023-04-04 | 长春理工大学 | 视觉感知驱动的自适应三维场景渲染方法、***及设备 |
| CN117636447A (zh) * | 2023-11-30 | 2024-03-01 | 广西申能达智能技术有限公司 | 一种虹膜识别的方法及*** |
| CN117523007A (zh) * | 2023-12-13 | 2024-02-06 | 上汽大众汽车有限公司 | 一种车载摄像头的静态标定方法、装置、车辆及存储介质 |
| CN117611689A (zh) * | 2024-01-23 | 2024-02-27 | 凯多智能科技(上海)有限公司 | 标定参数校准方法、检测方法、装置、介质、设备及*** |
Non-Patent Citations (1)
| Title |
|---|
| 唐东林等: "爬壁机器人双目视觉障碍检测***", 《机械科学与技术》, vol. 39, no. 5, 9 September 2019 (2019-09-09), pages 765 - 772 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11272161B2 (en) | System and methods for calibration of an array camera | |
| JP6722323B2 (ja) | 撮像装置のモデリングおよび校正のためのシステムおよびその方法 | |
| CN110276808B (zh) | 一种单相机结合二维码测量玻璃板不平度的方法 | |
| CN112070845B (zh) | 双目相机的标定方法、装置及终端设备 | |
| CN112200203B (zh) | 斜视场下弱相关散斑图像的匹配方法 | |
| US20130272600A1 (en) | Range image pixel matching method | |
| CN112381847B (zh) | 管路端头空间位姿测量方法及*** | |
| CN110874854B (zh) | 一种基于小基线条件下的相机双目摄影测量方法 | |
| CN110349257B (zh) | 一种基于相位伪映射的双目测量缺失点云插补方法 | |
| CN111649694B (zh) | 一种隐式相位-视差映射的双目测量缺失点云插补方法 | |
| CN115456945A (zh) | 一种芯片引脚缺陷的检测方法、检测装置及设备 | |
| JP7432793B1 (ja) | 三次元点群に基づくマッピング方法、装置、チップ及びモジュール機器 | |
| CN116894907B (zh) | 一种rgbd相机纹理贴图优化方法及*** | |
| CN117911634A (zh) | 一种基于数字图像重建的视觉呈像优化方法、***及设备 | |
| CN113808070B (zh) | 一种双目数字散斑图像相关的视差测量方法 | |
| US11967111B2 (en) | Multi-view camera-based iterative calibration method for generation of 3D volume model | |
| CN112419383B (zh) | 一种深度图的生成方法、装置及存储介质 | |
| CN114998532A (zh) | 一种基于数字图像重建的三维影像视觉传达优化方法 | |
| CN111630569B (zh) | 双目匹配的方法、视觉成像装置及具有存储功能的装置 | |
| CN112822481A (zh) | 立体摄像机的校正品质的检测方法及检测*** | |
| CN112017138B (zh) | 一种基于场景三维结构的图像拼接方法 | |
| CN110211225B (zh) | 基于双目视觉的三维重建方法及*** | |
| CN110728714B (zh) | 图像处理方法和装置、存储介质、电子设备 | |
| KR20220085693A (ko) | 3차원 체적 모델의 생성을 위한 다시점 카메라 기반의 반복적 캘리브레이션 방법 | |
| CN117495737A (zh) | 基于相机扰动的图像处理方法、***、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |