CN112633300B - 一种多维交互的图像特征参数提取匹配方法 - Google Patents
一种多维交互的图像特征参数提取匹配方法 Download PDFInfo
- Publication number
- CN112633300B CN112633300B CN202011624298.5A CN202011624298A CN112633300B CN 112633300 B CN112633300 B CN 112633300B CN 202011624298 A CN202011624298 A CN 202011624298A CN 112633300 B CN112633300 B CN 112633300B
- Authority
- CN
- China
- Prior art keywords
- image
- dimensional
- points
- view
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000000605 extraction Methods 0.000 title claims abstract description 27
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 18
- 239000011159 matrix material Substances 0.000 claims description 68
- 239000013598 vector Substances 0.000 claims description 46
- 230000003287 optical effect Effects 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 27
- 230000003993 interaction Effects 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 7
- 238000005316 response function Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000015556 catabolic process Effects 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000006731 degradation reaction Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims 1
- 238000005457 optimization Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 5
- 238000005314 correlation function Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005311 autocorrelation function Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 229940050561 matrix product Drugs 0.000 description 2
- 239000000700 radioactive tracer Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20068—Projection on vertical or horizontal image axis
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了本发明一种多维交互的图像特征参数提取匹配方法，根据不同位置不同分辨率图像的特征提取与匹配，进而计算得到帧与帧之间相机的相对位姿，以及由特征点三维位置构成的三维稀疏点集，最后将所恢复的三维点集与相机的位姿联合起来进行集束优化调整，能够得到不同位置不同分辨率图像的间的匹配关系。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种多维交互的图像特征参数提取匹配方法。
背景技术
虚拟现实(Virtual Reality,VR)技术使得人和计算机很好地“融为一体”，打通了人机接口的最后一道屏障，给社会带来了巨大的经济利益、军事价值和社会效益。虚拟实现是利用宽视野立体显示技术，借助实时动作捕捉、跟踪定向技术、触觉、力觉、嗅觉等反馈技术，通过手柄、语音或动作等传达指令来实现虚拟呈现。
增强现实(AugmentedReality，AR)相比VR虚拟现实模块而言，可以使虚拟交互***实现更丰富的互动方式，可以在真实环境中叠加虚拟内容，扩展现实(ExtendedReality,XR)实现在虚拟场景中叠加真实环境，从而赋予***“生命力”，构建出一系列无法在现实中见到的“鲜活”模型和场景。
多维交互分布式***是综合运用平面显示、VR虚拟现实、AR增强现实、MR混合现实、XR扩展现实等技术，结合语音指令、眼睛指令、手势指令、控制手柄等人机交互方式，实现多传感器设备在自然空间、虚拟现实、增强现实、混合现实等空间动态视景交互呈现和实体行为操作，实现基于任务全过程的沉浸式、交互式、灵感式混合呈现和应用体验，是未来实现数字孪生***的现实基础和技术支撑。
在多维交互技术应用过程中，需要不同位置、不同分辨率的多副影像，形成对图的虚拟融合处理和应用。那么，实现不同位置不同分辨率图像的特征提取与匹配，并进而计算得到帧与帧之间相机的相对位姿，以及由特征点三维位置构成的三维稀疏点集，最后将所恢复的三维点集与相机的位姿联合起来进行集束优化调整，为得到精确的三维图像结构奠定基础。
发明内容
本发明的目的是提供一种多维交互的图像特征参数提取匹配方法，能够实现不同位置不同分辨率图像的特征提取与匹配。
本发明所采用的技术方案是，一种多维交互的图像特征参数提取匹配方法，具体按照以下步骤实施：
步骤1、根据设置在三维图像周边不同位姿相机，获取多个角度视图，根据多个角度视图参数、相机内参数，建立三维图像与各视图的关系模型；
步骤2、提取每个角度视图的图像特征矢量，根据任意两个角度视图的图像特征矢量构造图像联合特征矢量；
步骤3、根据图像联合特征矢量构造响应函数，确定选取特征点的移动方向；
步骤4、根据双视图图像特征提取匹配方法，提取任意多个角度视图中双视图特征点，对双视图的图像联合特征矢量进行精确配准，获得标记特征点；
步骤5、结合步骤4标记特征点提取方法以及步骤3确定的移动方向，提取所有三维点在不同图像上的特征点；
步骤6、根据三维图像与各视图的关系模型，求解所有三维点在不同图像上的特征点之间的匹配关系。
本发明的特点还在于：
步骤1中多个角度视图划分为多个双视图，则根据多个角度视图参数、相机内参数，建立三维图像与各视图的关系模型具体过程为：
取双视图为左视图、右视图，投影矩阵分别是P和P'，相机内参数矩阵分别是K和K'，以左视图为参考视图，则的投影矩阵表示为P＝K[I|0]，相机光心位置C＝0，右视图投影矩阵P'＝K'[R|t]，相机光心位置C'＝-RTt，R表示旋转矩阵，t表示平移向量；
设三维点X在左右视图上的投影点分别为x和x'，则齐次坐标表示为：
式(1)中，相机光心C'在左视图的投影点是极点e，相机光心C在右视图的投影点是极点e'，极点分别与相应的投影点连接形成极线，x和x'对应的极线分别为l和l'，根据点在线上建立的数学约束，将两个光心坐标代入式(1)，得到：
取光心位于投影矩阵的零向量，有PC＝0；光心C与x的射线上又一个自由度s，方向由定义
其中/>
是P矩阵的广义逆，即/>
其对应的三维点齐次坐标表示为：
对于矩阵P，取
由于相机光心C在右视图上的投影为极点e'，则P'C＝e'；
x和x'之间的几何关系为：
令
得到x'～sHx+e'；
极线l'经过e'和x'关系，即l'＝e'×x'；
设向量e'的3×3的斜对称矩阵[e']，即
[e']的行列式值为0；且[e']是秩为2的退化矩阵；
l'向量叉乘积表示为矩阵乘积：
l'＝e'×x'＝[e']x' (7)
将x'～sHx+e'和l'＝[e']x'联合，得到
l'＝[e'])sHx+e')＝s[e']Hx (8)
代入到式(7)，结合式(5)消去s，得到：
得到左视图、右视图上对应点的几何约束关系：
F＝[e']H；
该约束关系即为三维图像与各视图的关系模型。
步骤1中多个角度视图为三个视图，则根据多个角度视图参数、相机内参数，建立多维交互视图模型具体过程为：
取三个视图分别为C,C',C”，取空间直线L，则空间直线L在三个视图分别为C,C',C”的投影分别为投影线l,l',l”，每条投影线与空间直线L形成投影面，每条投影线与其相应的反向投影面的关系为：
将其中一个平面通过另外两个平面的线性组合，组合的约束关系为：
M＝[π,π',π”] (11)
即反向投影面组成的4×3矩阵M的秩为2；
该组合的约束关系即为基于三视图的多维交互视图模型。
步骤2具体过程为：
步骤2.1、假设对于第一幅图像中的像素i构造的图像特征矢量x(i)，对于第二幅图像中的相应像素i′构造的图像特征矢量x(i′)，则有：
x(i)＝[x(i-4),x(i-3),x(i-2),x(i-1),x(i),x(i+1),x(i+2),x(i+3),x(i+4)]T
x(i′)＝[x(i′-4),x(i′-3),x(i′-2),x(i′-1),x(i′),x(i′+1),x(i′+2),x(i′+3),x(i′+4)]T其中，x(i)表示像素i的图像特征矢量；
步骤2.2、根据每个视图的图像特征矢量构造图像联合特征矢量：
X(i)＝[x(i),x(i′)] (11)。
步骤3具体过程为：
利用图像的角点、边缘和平坦地区的特征，构造响应函数
η(i)＝detR(i)-k·traceR2(i) (18)
其中，k是一个常数(0.04～0.06)；
设定响应阈值，以像素点i为中心，在像素点i相邻外侧，对像素点i上、下、左、右、斜侧方依次进行标记，计算顺序是先上下左右，最后侧向方向分别计算响应值，跟据响应值与响应阈值的大小关系标记图像上的角点、边缘和平坦地区，标记的方向即为选取特征点时的移动方向。
步骤4具体过程为：
步骤4.1、根据双视图图像特征提取匹配方法，提取任意多个角度视图中双视图特征点，取其中一个图像上的特征点对应的像素点为i，则另外一个图像上相应的特征点为i′，对任意两个图像的图像联合特征矢量通过图像联合相干特征矩阵进行精确配准，图像联合相干特征矩阵表述为：
R(i)＝E[X(i)X(i)H] (12)
若图像联合相干特征矩阵中，只有对角块元素非零,其他非对角线元素全为零，则两个图像上的像素i与像素i′能够精确配准，否则不能精确配准；
步骤4.2、提取能够精确配准的像素点作为同一三维点在不同图像上的标记特征点。
步骤6具体过程为：
在所有三维点在不同图像上的特征点中，随机选取一个三维点，并标记在左视图和右视图中的投影分别为x＝(x1,x2,x3)T和x'＝(x′1,x'2,x'3)T，分别将三维坐标转换为二维坐标为：
构造矩阵Q，令Q＝(uu',uv',u,vu',vv',v,u',v',1)T，设fij表示矩阵F的第i行第j列的元素，根据三维图像与各视图的关系模型可获得：
当Q的秩为8时，f有且仅有一组非零解；
对f的非零解重构得到秩为2的重构矩阵F*，通过目标函数最小化求解参数间的匹配关系，即
其中，W表示自适应局部匹配权值；
对F*进行奇异值分解得到F*＝UDVT，其中D＝diag(α,β,γ)为对角阵且α≥β≥γ，F＝Udiag(α,β,γ)VT，即为三维点在双视图上的特征点之间的匹配关系。
自适应局部匹配权值的计算方法为：定义描述局部窗函数内各点对应于中心点相似度的权值，即自适应局部匹配权值W(i)，已知参考图像和匹配图像分别为I1(i)和I2(i')，定义像素点i的局部图像参数匹配模型为
其中，Wc(i,i')，Wd(i,i')分别是图像之间的关于像素i的颜色相似度系数和深度相似度系数，T表示矩阵转置；像素i的颜色相似度系数为
式中I1,c(i)和I2,c(i')分别为参考图像与匹配图像对应像素点的彩色值；
像素i的深度相似度系数为
式中，I1,d(i)和I2,d(i')分别表示采集的深度图像经过双线性插值和非局部权值滤波后得到的初始高分辨率深度值。
步骤6具体过程为：在所有三维点在不同图像上的特征点中，随机选取一个三维点，假设点Xj在空间直线L上，根据三视图的多维交互视图模型可知，点Xj与其在三个视图下的xij观测量的关系为：
xij＝PiXj,(i＝1,2,3)
式中，xij也是Xj在第i个视图下投影，Pi＝Ki[Qi|ti]代表第i个视图的投影矩阵，其中，Qi表示在第i视图上的旋转矩阵；
由公式(2)得，相近光心C′，C″相对于C在三维视图上形成极点为[e，e′，e″]，重构得到三视图矩阵F*，通过二维最小求解方法求解特征参数，该特征参数即为三维点在三视图上的特征点之间的匹配关系。
本发明有益效果是：
本发明一种多维交互的图像特征参数提取匹配方法，根据不同位置不同分辨率图像的特征提取与匹配，进而计算得到帧与帧之间相机的相对位姿，以及由特征点三维位置构成的三维稀疏点集，最后将所恢复的三维点集与相机的位姿联合起来进行集束优化调整，能够得到不同位置不同分辨率图像的间的匹配关系。
附图说明
图1是本发明中三维点在双视图中的投影几何关系图；
图2是本发明中三维点在三视图中的投影几何关系图；
图3是本发明中图像特征矢量提取示意图；
图4是本发明中两幅图像精确配准示意图；
图5是两幅图像不精确配准示意图；
图6是采用本发明方法进行特征参数提取的图像匹配效果图。
具体实施方式
下面结合具体实施方式对本发明进行详细说明。
本发明一种多维交互的图像特征参数提取匹配方法，可将采集的视图分为多个双视图处理或者多个三视图处理或者两者组合的方式，具体按照以下步骤实施：
步骤1、根据设置在三维图像周边不同位姿相机，获取多个角度视图，根据多个角度视图参数、相机内参数，建立三维图像与各视图的关系模型；
步骤1中多个角度视图划分为多个双视图，如图1所示，则根据多个角度视图参数、相机内参数，建立三维图像与各视图的关系模型具体过程为：
取双视图为左视图、右视图，投影矩阵分别是P和P'，相机内参数矩阵分别是K和K'，以左视图为参考视图，则的投影矩阵表示为P＝K[I|0]，相机光心位置C＝0，右视图投影矩阵P'＝K'[R|t]，相机光心位置C'＝-RTt，R表示旋转矩阵，t表示平移向量；
设三维点X在左右视图上的投影点分别为x和x'，则齐次坐标表示为：
式(1)中，相机光心C'在左视图的投影点是极点e，相机光心C在右视图的投影点是极点e'，极点分别与相应的投影点连接形成极线，x和x'对应的极线分别为l和l'，根据点在线上建立的数学约束，将两个光心坐标代入式(1)，得到：
考虑图像上的点x所对应的三维点坐标，根据光线的直线传播属性，所有光心C与x的射线上的点，都会成像于x。取光心位于投影矩阵的零向量，有PC＝0；光心C与x的射线上又一个自由度s，方向由定义
其中/>
是P矩阵的广义逆，即/>
其对应的三维点齐次坐标表示为：
两边乘以矩阵P
根据式(4)和投影矩阵的定义，可知上式成立，验证了(1)的正确性。
对于矩阵P，取
C＝(0,0,0,1)T；
由于相机光心C在右视图上的投影为极点e'，则P'C＝e'；
x和x'之间的几何关系为：
令
得到x'～sHx+e'；
极线l'经过e'和x'关系，即l'＝e'×x'；
为了算法的一致性，设向量e'的3×3的斜对称矩阵[e']，即
容易验证[e']的行列式值为0；且[e']是秩为2的退化矩阵；
l'向量叉乘积表示为矩阵乘积：
l'＝e'×x'＝[e']x' (7)
将x'～sHx+e'和l'＝[e']x'联合，得到
l'＝[e'](sHx+e')＝s[e']Hx (8)
代入到式(7)，结合式(5)消去s，得到：
得到左视图、右视图上对应点的几何约束关系：
F＝[e']H；
该约束关系即为三维图像与各视图的关系模型。
F矩阵描述了两张图像上对应点的几何约束关系，即x和x'与光心C和C'四点共面。容易证明F的各元素同时乘以一个非零常数，上式仍然成立，且F的秩为2，所以F是自由度为7秩为2的3×3矩阵。
步骤1中多个角度视图为三个视图，如图2所示，则根据多个角度视图参数、相机内参数，建立多维交互视图模型具体过程为：
取三个视图分别为C,C',C”，取空间直线L，则空间直线L在三个视图分别为C,C',C”的投影分别为投影线l,l',l”，每条投影线与空间直线L形成投影面，每条投影线与其相应的反向投影面的关系为：
对于三维视图空间多视图场景，投影线l1,l2,l3是空间统一直线L的不同方向的投影，因此，他们各自的反投影平面并不是相互线性独立，也就是说，其中一个平面通过另外两个平面的线性组合，组合的约束关系为：
M＝[π,π',π”] (11)
即反向投影面组成的4×3矩阵M的秩为2；
该组合的约束关系即为基于三视图的多维交互视图模型。
步骤2、提取每个角度视图的图像特征矢量，根据任意两个角度视图的图像特征矢量构造图像联合特征矢量；步骤2具体过程为：
步骤2.1、假设对于第一幅图像中的像素i构造的图像特征矢量x(i)，如图3所示，图像特征矢量是由一个像素点i及其周边的8个像素构成，对周边8个像素，对于第二幅图像中的相应像素i′构造的图像特征矢量x(i′)，则有：
x(i)＝[x(i-4),x(i-3),x(i-2),x(i-1),x(i),x(i+1),x(i+2),x(i+3),x(i+4)]T
x(i′)＝[x(i′-4),x(i′-3),x(i′-2),x(i′-1),x(i′),x(i′+1),x(i′+2),x(i′+3),x(i′+4)]T其中，x(i)表示像素i的图像特征矢量；
步骤2.2、根据每个视图的图像特征矢量构造图像联合特征矢量：
X(i)＝[x(i),x(i′)] (11)。
在图像预处理与特征提取过程中，判断一个像素是否是特征所对应的位置点，一般是根据该对应的像素点构成的自相关矩阵来确定的。对于一个设备上不同位姿的相机，所得的图像画面差别很大，有像素大小的差别，有也正面的、侧面的、广角的图像差别。为了得到融合处理后的图像，需要从不同位姿的图像进行特征提取，当前的许多方法是基于对应像素点构成的自相关矩阵来确定的，由于不同位姿的相机图像的差异，仅仅依靠当前像素点是不够的，有的特征点明晰容易分辨，有的模糊不容易发现，甚至有的特征点已经不能所做特征点，这样为后续处理带来极大的不便。
对于在不同方向、不同分辨率的图像中稳定地提取特征点，特征点需要满足旋转不变形性和尺度不变性。旋转不变性是指，物体发生旋转时，相关的特征仍能被准确地识别。主流的算法是对检测到的特征点周围的图像块计算一个主方向，通过计算特征点周围梯度值最大的点方向作为主方向，或对特征点周围梯度做一次高斯滤波，建立梯度直方图，将梯度直方图的峰值对应主方向，或者求解灰度质心得到主方向。
在理解尺度不变性前，主流方法是采用不同方差的高斯滤波器对图像进行卷积操作，作为图像的尺度空间，即
L(x,x',σ)＝Gσ(x,x')*X(x,x')
式中，Gσ(x,x')是方差为σ的零均值高斯函数。σ越大，图像越模糊，因此σ构成了通信的第三维度，称为图像的尺度空间。直观上来讲，σ的值大对应着大尺度、低分辨率、图像粗略的观测；σ的值小对应着小尺度、高分辨率、图像精细的观测。不同分辨率图像提取到的特征是由差异的，所谓尺度不变性，是试图提取到所有分辨率下的特征，这样当对象出现在不同分辨率的通信中时，都有最佳的特征与其匹配。
基于当前特征点，寻找下一个特征点时，是图像连续处理的基础，怎样寻找下一个特征点，在以往的算法中是计算比较当前点与相邻像素点的像素差，大于阈值则认为是下一个候选点，否则该中心非特征点。寻找满足旋转不变性、尺度不变性以及光照变化的特征点，进行特征点的连续提取，满足当前人工智能和深度学习的需求。
在发现特征点的过程中，主要发现的是亮点或者线段，其余是平坦区域。亮点主要是角点，线段就是边缘点，可以把角点和边缘点联系起来分析，即，角点是小的边缘线段的交点，边缘是角点依次相连接所经过的点集合，沿着梯度方向(即垂直边缘的方向)求点的梯度的局部最大值，随后将这些局部最大值所在点依次连接，就形成了边缘。
利用自相干函数可以描述图像特征，其特征值与自相干函数的主曲率成比例，当两个特征值不同方向相差不大时，其局部自相关函数是平面的，则窗口图像区域的强度近似恒定；当其中一个特征值较大，另一个也比较大时，局部自相关函数呈现脊形，则只沿着山脊(即边缘)移动变化不大，这表示边缘；若只有一个特征值都很大，其局部自相关函数急剧达到峰值，这表示为角点。
从图像中稳定地提取特征点，需要准确找到对应的特征点，但是从对于不同方向、不同分辨率的图像提取特征就很困难，为后续工作带来诸多麻烦。考虑到精确提取特征点的困难,我们的方法在对某一像素提取特征信息时,不仅要利用该像素的图像信息，而且还包含其相邻像素对的图像信息。
步骤3、根据图像联合特征矢量构造响应函数，确定选取特征点的移动方向；步骤3具体过程为：
利用图像的角点、边缘和平坦地区的特征，构造响应函数
η(i)＝detR(i)-k.traceR2(i) (18)
其中，k是一个常数(0.04～0.06)；
设定响应阈值，以像素点i为中心，在像素点i相邻外侧，对像素点i上、下、左、右、斜侧方依次进行标记，计算顺序是先上下，在左右，最后侧向方向分别计算响应值，跟据响应值与响应阈值的大小关系标记图像上的角点、边缘和平坦地区，标记的方向即为选取特征点时的移动方向。
步骤4、根据双视图图像特征提取匹配方法，提取任意多个角度视图中双视图特征点，对双视图的图像联合特征矢量进行精确配准，获得标记特征点；步骤4具体过程为：
步骤4.1、根据双视图图像特征提取匹配方法，提取任意多个角度视图中双视图特征点，取其中一个图像上的特征点对应的像素点为i，则另外一个图像上相应的特征点为i′，对任意两个图像的图像联合特征矢量通过图像联合相干特征矩阵进行精确配准，图像联合相干特征矩阵表述为：
R(i)＝E[X(i)X(i)H] (12)
若图像联合相干特征矩阵中，只有对角块元素非零,其他非对角线元素全为零，则两个图像上的像素i与像素i′能够精确配准，否则不能精确配准；
步骤4.2、提取能够精确配准的像素点作为同一三维点在不同图像上的标记特征点。精确配准的结果如图4所示，如果图像没有精确配准,则对角块中的非零元素会扩散到矩阵的其他元素中如图5所示。
由此得知，单像素提取特征信息的结果可知,当只用图像中的单个像素提取特征信息时,如果不能正确判断,其特性信息会丢失；而用一组像素联合处理时，矩阵中相应元素的特征信息就会丢失,但会转移到另一些元素里，从而有可能得到恢复。
步骤5、结合步骤4标记特征点提取方法以及步骤3确定的移动方向，提取所有三维点在不同图像上的特征点；
步骤6、根据三维图像与各视图的关系模型，求解所有三维点在不同图像上的特征点之间的匹配关系。
选用双视图作用投影的状况下：步骤6具体过程为：
在所有三维点在不同图像上的特征点中，随机选取一个三维点，并标记在左视图和右视图中的投影分别为x＝(x1,x2,x3)T和x'＝(x′1,x'2,x'3)T，分别将三维坐标转换为二维坐标为：
构造矩阵Q，令Q＝(uu',uv',u,vu',vv',v,u',v',1)T，设fij表示矩阵F的第i行第j列的元素，根据三维图像与各视图的关系模型可获得：
当Q的秩为8时，f有且仅有一组非零解；
对f的非零解重构得到秩为2的重构矩阵F*，通过目标函数最小化求解参数间的匹配关系，即
其中，W表示自适应局部匹配权值；
利用图像中像素点特征信息，怎样引导图像自适应匹配滤波和参数提取，自适应局部匹配权值的计算方法为：定义描述局部窗函数内各点对应于中心点相似度的权值，即自适应局部匹配权值W(i)，已知参考图像和匹配图像分别为I1(i)和I2(i')，定义像素点i的局部图像参数匹配模型为
其中，Wc(i,i')，Wd(i,i')分别是图像之间的关于像素i的颜色相似度系数和深度相似度系数，T表示矩阵转置；像素i的颜色相似度系数为
式中I1,c(i)和I2,c(i')分别为参考图像与匹配图像对应像素点的彩色值，若两幅图像的颜色相近，则权值较大，它们有相同视差的概率也越大；
像素i的深度相似度系数为
式中，I1,d(i)和I2,d(i')分别表示采集的深度图像经过双线性插值和非局部权值滤波后得到的初始高分辨率深度值，两幅图像的深度越相似，权值越大，它们有相同视差的概率也越大。通过计算图像之间局部匹配权值，决定图像匹配方向的选择和特征参数的准确性。
对F*进行奇异值分解得到F*＝UDVT，其中D＝diag(α,β,γ)为对角阵且α≥β≥γ，F＝Udiag(α,β,γ)VT，即为三维点在双视图上的特征点之间的匹配关系。
对于选用三视图作为投影的状况：
步骤6具体过程为：在所有三维点在不同图像上的特征点中，随机选取一个三维点，假设点Xj在空间直线L上，根据三视图的多维交互视图模型可知，点Xj与其在三个视图下的xij观测量的关系为：
xij＝PiXj,(i＝1,2,3)
式中，xij也是Xj在第i个视图下投影，Pi＝Ki[Qi|ti]代表第i个视图的投影矩阵，其中，Qi表示在第i视图上的旋转矩阵；
由公式(2)得，相近光心C′，C″相对于C在三维视图上形成极点为[e，e′，e″]，重构得到三视图矩阵F*，通过二维最小求解方法求解特征参数，该特征参数即为三维点在三视图上的特征点之间的匹配关系。
采用本发明的方法对三维图像的双视图进行特征参数提取匹配结果如图6所示。通过上述方式，本发明一种多维交互的图像特征参数提取匹配方法，局部对应像素点加权联合处理，保证了图像中相应像素的特征信息不会丢失，从而有可能得到恢复，在不同图像上的特征建立匹配关系后，经过对自适应局部匹配权值计算并获取像素点移动方向后，实现对特征参数提取，最终得到最佳特征点匹配。
Claims (9)
1.一种多维交互的图像特征参数提取匹配方法，其特征在于，具体按照以下步骤实施：
步骤1、根据设置在三维图像周边不同位姿相机，获取多个角度视图，根据多个角度视图参数、相机内参数，建立三维图像与各视图的关系模型；
步骤2、提取每个角度视图的图像特征矢量，根据任意两个角度视图的图像特征矢量构造图像联合特征矢量；
步骤3、根据图像联合特征矢量构造响应函数，确定选取特征点的移动方向；
步骤4、根据双视图图像特征提取匹配方法，提取任意多个角度视图中双视图特征点，对双视图的图像联合特征矢量进行精确配准，获得标记特征点；
步骤5、结合步骤4标记特征点提取方法以及步骤3确定的移动方向，提取所有三维点在不同图像上的特征点；
步骤6、根据三维图像与各视图的关系模型，求解所有三维点在不同图像上的特征点之间的匹配关系。
2.根据权利要求1所述一种多维交互的图像特征参数提取匹配方法，其特征在于，步骤1中所述多个角度视图划分为多个双视图，则根据多个角度视图参数、相机内参数，建立三维图像与各视图的关系模型具体过程为：
取双视图为左视图、右视图，投影矩阵分别是
和/>
，相机内参数矩阵分别是/>
和/>
，以左视图为参考视图，则投影矩阵表示为/>
，相机光心位置/>
，右视图投影矩阵/>
，相机光心位置/>
，R表示旋转矩阵，t表示平移向量；
设三维点X在左右视图上的投影点分别为x和
，则齐次坐标表示为：
式（1）中，相机光心
在左视图的投影点是极点e，相机光心C在右视图的投影点是极点
，极点分别与相应的投影点连接形成极线，x和/>
对应的极线分别为l和/>
，根据点在线上建立的数学约束，将两个光心坐标代入式（1），得到：
取光心位于投影矩阵的零向量，有PC=0；相机光心C与x的射线上一个自由度s，方向由定义
的投影矩阵的法线确定，其中/>
是P矩阵的广义逆，即/>
，其对应的三维点齐次坐标表示为：
对于矩阵P，取
；
由于相机光心C在右视图上的投影为极点
，则/>
；
令
，得到/>
；
极线
与/>
和/>
关系表示为，/>
；
设向量
的/>
的斜对称矩阵/>
，即
将
和/>
联合，得到
代入到式（7），结合式（5）消去s，得到：
得到左视图、右视图上对应点的几何约束关系：
该约束关系即为三维图像与各视图的关系模型。
3.根据权利要求1所述一种多维交互的图像特征参数提取匹配方法，其特征在于，步骤1中所述获取多个角度视图，根据多个角度视图参数、相机内参数，建立三维图像与各视图的关系模型具体过程为：
取三个视图分别为
，取空间直线L，则空间直线L在三个视图分别为/>
的投影分别为投影线/>
，每条投影线与空间直线L形成投影面，每条投影线与其相应的反向投影面的关系为：
将其中一个平面通过另外两个平面的线性组合，组合的约束关系为：
即反向投影面组成的4×3矩阵M的秩为2；该组合的约束关系即为三维图像与各视图的关系模型。
4.根据权利要求2或3所述一种多维交互的图像特征参数提取匹配方法，其特征在于，步骤2具体过程为：
步骤2.1、假设对于第一幅图像中的像素i构造的图像特征矢量x（i），对于第二幅图像中的相应像素
构造的图像特征矢量/>
，则有：
步骤2.2、根据每个视图的图像特征矢量构造图像联合特征矢量：
5.根据权利要求1所述一种多维交互的图像特征参数提取匹配方法，其特征在于，步骤3具体过程为：
利用图像的角点、边缘和平坦地区的特征，构造响应函数
其中，
是取值范围为0.04~0.06；
设定响应阈值，以像素点
为中心，在像素点i相邻外侧，对像素点i上、下、左、右、斜侧方依次进行标记，计算顺序是先上下，再左右，最后斜侧方分别计算响应值，根据响应值与响应阈值的大小关系标记图像上的角点、边缘和平坦地区，标记的方向即为选取特征点时的移动方向。
6.根据权利要求4所述一种多维交互的图像特征参数提取匹配方法，其特征在于，步骤4具体过程为：
步骤4.1、根据双视图图像特征提取匹配方法，提取任意多个角度视图中双视图特征点，取其中一个图像上的特征点对应的像素点为i，则另外一个图像上相应的特征点为
，对任意两个图像的图像联合特征矢量通过图像联合相干特征矩阵进行精确配准，图像联合相干特征矩阵表述为：
若图像联合相干特征矩阵中，只有对角块元素非零,其他非对角线元素全为零，则两个图像上的像素i与像素
能够精确配准，否则不能精确配准；
步骤4.2、提取能够精确配准的像素点作为同一三维点在不同图像上的标记特征点。
7.根据权利要求2所述一种多维交互的图像特征参数提取匹配方法，其特征在于，步骤6具体过程为：
在所有三维点在不同图像上的特征点中，随机选取一个三维点，并标记在左视图和右视图中的投影分别为
和/>
，分别将三维坐标转换为二维坐标为：
构造矩阵Q，令
，设/>
表示矩阵F的第i行第j列的元素，根据三维图像与各视图的关系模型可获得：
当Q的秩为8时，f有且仅有一组非零解；
对f的非零解重构得到秩为2的重构矩阵
，通过目标函数最小化求解参数间的匹配关系，即
其中，W表示自适应局部匹配权值；
对
进行奇异值分解得到/>
，其中/>
为对角阵且/>
，
，即为三维点在双视图上的特征点之间的匹配关系。
8.根据权利要求7所述一种多维交互的图像特征参数提取匹配方法，其特征在于，所述自适应局部匹配权值的计算方法为：定义描述局部窗函数内各点对应于中心点相似度的权值，即自适应局部匹配权值
，已知参考图像和匹配图像分别为/>
和/>
，定义像素点i的局部图像参数匹配模型为
其中，
，/>
分别是图像之间的关于像素i的颜色相似度系数和深度相似度系数，T表示矩阵转置；像素i的颜色相似度系数为
式中
和/>
分别为参考图像与匹配图像对应像素点的彩色值；
像素i的深度相似度系数为
式中，
和/>
分别表示采集的深度图像经过双线性插值和非局部权值滤波后得到的初始高分辨率深度值。
9.根据权利要求3所述一种多维交互的图像特征参数提取匹配方法，其特征在于，步骤6具体过程为：在所有三维点在不同图像上的特征点中，随机选取一个三维点，假设点X j在空间直线L上，根据三视图的多维交互视图模型可知，点X j与其在三个视图下的x ij观测量的关系为：
式中，x ij也是Xj在第i个视图下投影，
代表第i个视图的投影矩阵，其中，
表示在第i视图上的旋转矩阵；
由公式（2）得，相机光心
相对于C在三维视图上形成极点为/>
，重构得到三视图矩阵/>
，通过二维最小求解方法求解特征参数，该特征参数即为三维点在三视图上的特征点之间的匹配关系。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011624298.5A CN112633300B (zh) | 2020-12-30 | 2020-12-30 | 一种多维交互的图像特征参数提取匹配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011624298.5A CN112633300B (zh) | 2020-12-30 | 2020-12-30 | 一种多维交互的图像特征参数提取匹配方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112633300A CN112633300A (zh) | 2021-04-09 |
| CN112633300B true CN112633300B (zh) | 2023-06-20 |
Family
ID=75289690
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011624298.5A Active CN112633300B (zh) | 2020-12-30 | 2020-12-30 | 一种多维交互的图像特征参数提取匹配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112633300B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9460336B2 (en) * | 2011-01-13 | 2016-10-04 | Samsung Electronics Co., Ltd. | Apparatus and method for extracting feature of depth image |
| CN110266926A (zh) * | 2019-06-28 | 2019-09-20 | Oppo广东移动通信有限公司 | 图像处理方法、装置、移动终端以及存储介质 |
| CN110298884A (zh) * | 2019-05-27 | 2019-10-01 | 重庆高开清芯科技产业发展有限公司 | 一种适于动态环境中单目视觉相机的位姿估计方法 |
| CN111797269A (zh) * | 2020-07-21 | 2020-10-20 | 天津理工大学 | 基于多级视图关联卷积网络的多视图三维模型检索方法 |
-
2020
- 2020-12-30 CN CN202011624298.5A patent/CN112633300B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9460336B2 (en) * | 2011-01-13 | 2016-10-04 | Samsung Electronics Co., Ltd. | Apparatus and method for extracting feature of depth image |
| CN110298884A (zh) * | 2019-05-27 | 2019-10-01 | 重庆高开清芯科技产业发展有限公司 | 一种适于动态环境中单目视觉相机的位姿估计方法 |
| CN110266926A (zh) * | 2019-06-28 | 2019-09-20 | Oppo广东移动通信有限公司 | 图像处理方法、装置、移动终端以及存储介质 |
| CN111797269A (zh) * | 2020-07-21 | 2020-10-20 | 天津理工大学 | 基于多级视图关联卷积网络的多视图三维模型检索方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112633300A (zh) | 2021-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108416840A (zh) | 一种基于单目相机的三维场景稠密重建方法 | |
| Tian et al. | Depth estimation using a self-supervised network based on cross-layer feature fusion and the quadtree constraint | |
| CN107204010A (zh) | 一种单目图像深度估计方法与*** | |
| CN106462943A (zh) | 将全景成像与航拍成像对齐 | |
| JP2023545190A (ja) | 画像の視線補正方法、装置、電子機器、及びコンピュータプログラム | |
| CN114429555A (zh) | 由粗到细的图像稠密匹配方法、***、设备及存储介质 | |
| Shi et al. | Geometry-guided street-view panorama synthesis from satellite imagery | |
| da Silveira et al. | Dense 3d scene reconstruction from multiple spherical images for 3-dof+ vr applications | |
| CN112330813A (zh) | 一种基于单目深度摄像头的着装下三维人体模型重建方法 | |
| CN109613974A (zh) | 一种大场景下的ar家居体验方法 | |
| Wan et al. | Drone image stitching using local mesh-based bundle adjustment and shape-preserving transform | |
| CN117036612A (zh) | 一种基于神经辐射场的三维重建方法 | |
| CN117095128A (zh) | 一种无先验多视角人体服饰编辑方法 | |
| CN114494594A (zh) | 基于深度学习的航天员操作设备状态识别方法 | |
| Khan et al. | Towards monocular neural facial depth estimation: Past, present, and future | |
| CN112633300B (zh) | 一种多维交互的图像特征参数提取匹配方法 | |
| CN112116653B (zh) | 一种多张rgb图片的物体姿态估计方法 | |
| CN115482481A (zh) | 单视角三维人体骨骼关键点检测方法、装置、设备及介质 | |
| Chen et al. | End-to-end multi-view structure-from-motion with hypercorrelation volume | |
| CN115272450A (zh) | 一种基于全景分割的目标定位方法 | |
| Liu et al. | Binocular depth estimation using convolutional neural network with Siamese branches | |
| Aleksandrova et al. | 3D face model reconstructing from its 2D images using neural networks | |
| Dai | Modeling and simulation of athlete’s error motion recognition based on computer vision | |
| Yan et al. | Generating stereoscopic images with convergence control ability from a light field image pair | |
| CN117315152B (zh) | 双目立体成像方法及其*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |