CN111626307A - 一种基于l-orb算法的植株图像实时拼接方法 - Google Patents
一种基于l-orb算法的植株图像实时拼接方法 Download PDFInfo
- Publication number
- CN111626307A CN111626307A CN202010295534.7A CN202010295534A CN111626307A CN 111626307 A CN111626307 A CN 111626307A CN 202010295534 A CN202010295534 A CN 202010295534A CN 111626307 A CN111626307 A CN 111626307A
- Authority
- CN
- China
- Prior art keywords
- image
- algorithm
- points
- plant
- hash
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000004927 fusion Effects 0.000 claims abstract description 11
- 239000000523 sample Substances 0.000 claims abstract description 6
- 239000013598 vector Substances 0.000 claims description 63
- 230000006870 function Effects 0.000 claims description 30
- 239000011159 matrix material Substances 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000007526 fusion splicing Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000005764 inhibitory process Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 5
- 206010063385 Intellectualisation Diseases 0.000 abstract description 3
- 230000000750 progressive effect Effects 0.000 abstract description 2
- 238000011160 research Methods 0.000 abstract description 2
- 230000001737 promoting effect Effects 0.000 abstract 1
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 241000607479 Yersinia pestis Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000003337 fertilizer Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于L‑ORB算法的植株图像实时拼接方法，属于计算机视觉和图像拼接领域。首先通过RealSense D435传感器对植株的彩色和深度信息进行采集，利用改进的Mean‑shift算法与植株深度信息结合，获取彩色图像中的有效植株区域；采用L‑ORB算法对植株区域进行特征点提取，该算法优化了分割图像的特征检测区域以及简化ORB(Oriented FAST and Rotated BRIEF)算法对尺度和旋转不变形的支持；利用Multi‑Probe LSH(局部敏感Hash)算法进行特征点匹配，提高了特征匹配的运算速率；最后利用PROSAC(Progressive Sample Consensus，改进的样本一致性)算法消除误匹配，通过最佳缝合线的多分辨率融合算法对图像进行拼接。该项研究为实现图像的实时拼接提供新方法，也为促进农业智能化奠定了基础。
Description
技术领域
本发明主要涉及计算机视觉和图像拼接领域，具体涉及的是农业植株图像采集和图像拼接方法领域。
背景技术
近年来，随着信息科学技术和计算机图形学的发展，使得图像拼接已逐渐成为模拟计算视觉、图像处理、虛拟现实以及汽车领域等研究的热点问题，并广泛应用于军事、航空、地质、医学、通信等多个领域。随着农业智能化的进一步发展，图像拼接在农业果实植株的检测、田间管理、农用机器人导航等方面起到了重要的作用，提高了农田的管理效率、减轻了工作人员的负担，图像实时拼接能够实时进行图像采集、实时完成图像的拼接和输出，对实现农业智能化有重要作用。
SIFT(Scale Invariant Feature Transform)算法对于尺度缩放、平移旋转、光照变化都具有良好的不变形，对于图像的仿射变换及噪声也具有一定的稳定性，但其描述算子复杂，运行时间过长，满足不了实时行的要求。SURF(Speeded-Up Robust Features)算法的优点是速度远快于SIFT且稳定性好；在时间上，SURF运行的速度大约是SIFT的3倍。ORB(Oriented FAST and Rotated BRIEF)算法，其主要优点是运行速度大约是SIFT的100倍，是SURF的10倍，能满足实时性要求，但是尺度不变形不如SIFT，误匹配率高。L-ORB算法，其主要优点在于该算法优化了分割视频图像的特征，检测区域以及简化ORB算法对尺度和旋转不变性的支持，运行速度大约是SIFT算法的639倍，是传统ORB算法的11倍，有效提高了图像拼接的速率，满足了实时性的要求。
发明内容
本发明针对提高图像拼接实时性的要求，在图像采集上选用RealSense D435获取目标植株的彩色图像和深度数据；采用改进的Mean-shift算法结合采集到的植株深度数据来提取出彩色图像中植株的有效区域，采用L-ORB算法对植株区域进行特征点提取；利用Multi-Probe LSH(局部敏感Hash)算法进行特征点匹配；最后利用PROSAC(ProgressiveSample Consensus，改进的样本一致性)算法消除误匹配，通过最佳缝合线的多分辨率融合算法对图像进行拼接，从而提高图像拼接的速度与精度。
本发明的目的是：针对图像拼接中拼接速度慢以及精度低等情况，提出相应解决方案，从而达到提高图像拼接速度以及精度的目的。
本发明的技术方案是：一种基于L-ORB算法的植株图像实时拼接方法，包括以下步骤：
步骤1，通过RealSense D435传感器对植株的彩色和深度信息进行采集，利用改进的Mean-shift算法与植株深度信息结合，获取彩色图像中的有效植株区域；步骤2，采用L-ORB算法对预处理过的彩色图像进行特征点提取，该算法优化了分割图像的特征检测区域以及简化ORB算法对尺度和旋转不变形的支持，利用Multi-Probe LSH算法进行特征点匹配，提高了特征匹配的运算速率；步骤3，利用PROSAC算法消除误匹配，获取图像最佳单应矩阵，再通过最佳缝合线的多分辨率融合算法对图像进行拼接。
进一步，所述步骤1具体包括：
首先将RealSense D435传感器固定在小车上，将小车进行匀速运动，再把植株摆放在适当的位置，获取彩色图像与深度信息，然后根据获取到的深度信息进行范围限制重新获取多组彩色图像，再利用改进的Mean-shift算法提取出彩色图像中有效植株矩形区域。
进一步，利用改进的Mean-shift算法与植株的深度信息进行有效矩形区域的提取的具体过程是：
步骤1.1，迭代空间构建：以输入的彩色图像上任一像素点P0为圆心，建立物理空间上半径为sp，色彩空间上半径为sr的高维球形空间；
步骤1.2，考虑增加核函数和样本权重的条件下，求取并优化迭代空间的向量，并移动迭代空间球体后重新计算向量，直至收敛。在步骤1.1构建的球形空间中，求得所有像素点相对于中心像素点的色彩向量之和后，移动迭代空间的中心像素点到该向量的终点，并再次计算该球形空间中所有像素点的向量之和，如此迭代，直到在最后一个球体空间中所求得的向量和的终点就是该空间球体的中心像素点Pn，迭代结束；
步骤1.3，刷新输出图像上对应的初始原点P0的色彩值为Pn的色彩值，对输入图像上其它像素点，依次执行步骤1.1、1.2，遍历完所有像素点后，整张彩色图像均值偏移色彩滤波完成，从而提取出彩色图像中有效植株矩形区域。
进一步，所述步骤2的具体过程为：
步骤2.1，利用L-ORB算法对步骤1获取的有效图像进行特征提取；
步骤2.2，通过Multi-Probe LSH算法对特征点进行匹配；
步骤2.3，因为步骤1中RealSense D435传感器固定在小车上水平匀速移动，根据每个像素点的三维数据中的深度数据相同去除误匹配，提高特征点匹配精度。
进一步，所述的步骤2.1具体过程如下：
步骤2.1.1，粗提取：图像上选一像素点P，以P为圆心画一个半径为3像素的圆，若圆周上16个像素点中有连续12个像素点的灰度值与P点的灰度值相异，则认为P为特征点；
步骤2.1.2，计算角点：计算图像I(x，y)在X和Y两个方向的梯度Ix，Iy，并计算图像两个方向的乘积，使用高斯函数对
和Ixy进行高斯加权(取σ＝1)，计算原图像I的角点，计算角点的响应值R，并删除小于阈值t的角点；
其中(x，y)为像素位置坐标。
步骤2.1.3，选取前N个特征点：进行非极大值抑制，邻域内局部最大值点即为角点，对角点响应值从大到小排序，选取前N个特征点；
步骤2.1.4，特征点的尺度不变性：建立金字塔，设置一个比例因子ScalarFactor和金字塔的层数nlevels，将原图像I按比例因子缩小成nlevels幅图像，缩放后的图像I′为：I′＝I/ScaleFactorkk(k＝1，2，...，nlevels)，nlevels幅不同比例的图像提取特征点总和作为这幅图像的特征点；
步骤2.1.5，特征点的旋转不变形：使用矩阵法来确定特征点的方向，即通过矩来计算特征点以r为半径范围内的质心，特征点坐标到质心形成一个向量作为该特征点的方向，矩定义如下：
其中，p取0或1，q取0或1，I(x，y)为图像灰度表达式，该矩的质心C为：
设角点坐标0，则向量的角度θ即为该特征点的方向，计算公式如下为：
步骤2.1.6，建立300k个特征点测试集，对于测试集中的每个特征点，考虑其31x31邻域，穷举出所有可能的5x5的匹配子窗口，在300k个特征点的每个31x31邻域内按265356种方法取点对，比较点对大小，形成一个300kx265356的二进制矩阵Q，矩阵的每一列代表300k个点按某种取法得到的二进制数；
步骤2.1.7，对Q矩阵的每一列求取平均值，按照平均值到0.5的距离大小重新对Q矩阵的列向量排序，形成矩阵T，将T的第一列向量放到J中；
步骤2.1.8，取T的下一列向量和J中的所有列向量计算相关性，如果相关系数小于设定的阈值，则将T中的该列向量移至J中；
步骤2.1.9，按照步骤2.1.8的方式不断进行操作，直到J中的向量数量为256。
进一步，所述步骤2.2具体过程如下：
步骤2.2.1，使用多个独立的哈希表，设局部敏感哈希函数族H，每个哈希表由k个哈希函数h∈H创建；
步骤2.2.2，通过以下3种操作来提高特征匹配成功概率：AND操作；OR操作；级联AND和OR操作；
步骤2.2.3，AND操作从函数族H中随机选择t个哈希函数，构造gi(x)＝(h1(x)，h2(x)，...，ht(x))，每个数据向量经过gi(x)被映射成一个整型向量，当且仅当hi(x)＝hi(y)，i＝1，2，...，t时，gi(x)＝gi(y)。AND操作使得两个数据的t个哈希值都相同时，才会被投影到相同的桶内，该操作构造一个新的哈希函数族H′；
步骤2.2.4，OR操作构造L个哈希表，使得落在任何哈希表的结果作为候选结果。OR操作构造哈希函数族H″。AND和OR级联操作是先通过AND操作再进行OR操作，得到一个新的哈希函数族H。经过AND和OR级联操作，相似度为s的植株，可以被检索出来的概率为P＝1-(1-st)L；
步骤2.2.5，定义哈希扰动向量Δ＝(δ1，δ2，...，δT)，其中δi∈{-1，0，1}。给定植株查询向量q，基本的LSH检索gi(q)＝(h1(q)，h2(q)，...，hL(q))的桶中元素作为候选对象，顺序地探测哈希桶gi(q)+Δ；
步骤2.2.6，给定哈希桶探寻序列Δ1，Δ2，...，gi(q)+Δ1是应用扰动向量Δ1后产生的新哈希值，它指向表中一个新的哈希桶，通过使用扰动向量，可以获得多个与查询向量q指向的哈希桶邻近的桶，这些桶中含有与q邻近的元素的概率较高。
进一步，所述步骤3的具体过程为：
步骤3.1，用PROSAC算法消除误匹配，获取两幅图像最佳单应性矩阵，PROSAC算法先对数据点进行排序，然后在评价函数值最高的数据点子集中进行随机采样产生假定，假定集合的大小逐渐增大，然后在所有的数据点上验证这些假定，当存在更好解的概率低于5％的时候算法终止；
步骤3.2，基于最佳缝合线的多分辨率图像算法进行图像拼接：由投影变换矩阵可以得到两幅图像水平平移的像素量，两个位置的坐标系归一化到同一个坐标系中，将两幅图像重叠的部分作差运算生成一幅差值图像，对差值图像从重叠区域的第一行出发，向下扩展，对每行计算缝合线强度值到最后一行为止，然后将所有选中的点连接起来作为最佳缝合线，在求得最佳缝合线之后进行多分辨率融合拼接，得到最终需要的基于最佳缝合线的多分辨率融合图像。
进一步，在求得最佳缝合线之后进行多分辨率融合拼接，得到最终需要的基于最佳缝合线的多分辨率融合图像的具体步骤是：
步骤3.2.1，以拼接后图像的大小为尺寸，生成一幅模板图像M，将缝合线左侧填充0，右侧填充255，形成一副黑白模板图像；
步骤3.2.2，将图像A、B扩展到拼接后图像的大小，扩展部分填充0；
步骤3.2.3，生成模板R的高斯图像GR，以及经扩展的A、B的拉普拉斯图像LA、LB；
步骤3.2.4，在每一层上分别进行融合，求得融合后的拉普拉斯图像LF，像素值计算公式为：LF＝(GR2(i，j)LAl(i，j)+[255-GRl(i，j)]LBl(i，j))/255
其中，1代表第几层；(i，j)代表像素点坐标。
步骤3.2.5，对于融合后的拉普拉斯图像LF，从最高层开始差值扩展，并与其下一层图像相加，重复此过程直至与最后一层图像相加完为止，得到最终需要的基于最佳缝合线的多分辨率融合图像。
本发明的有益效果是：
传统的ORB算法的图像拼接方法匹配正确率较低，缺少尺度不变特性，图像拼接精度低等情况，基于Kinect传感器的图像拼接方法利用彩色和深度双源信息，能够有效避免图像缺失、亮暗差异、重影等拼接错误，但存在拼接时间较长和目标植株不明显的情况。本发明使用RealSense D435传感器，改进的Mean-shift算法对彩色图像进行预处理，有利于目标植株的提取与图像结构信息的表达，有利于降低处理对象规模和后续处理的计算复杂度；选择L-ORB算法来提取特征点，L-ORB图像特征提取算法首先对图像进行粗略的对齐，然后计算图像的视野重合部分，得出特征点的分布范围，减少了检测区域面积，L-ORB算法将FAST特征点与Harris角点度量方法相结合，并生成BRIEF特征描述因子，相对于原始的ORB算法简化了尺度、旋转不变性，使得效率大幅提升；Multi-Probe LSH算法是一种基于降维技术的高维快速匹配方法，可以减少Hash表的规模以降低内存占有量，加快搜索速度，提高了特征匹配的速率；使用PROSAC算法消除误匹配，得到帧图像拼接映射关系，传统的RANSAC算法随机抽取样本，忽略了样本之间的好坏差异，效率低下，PROSAC算法将样本按质量进行排序，从较高质量的数据子集中抽取样本，经过若干次的假设、验证后，得到最优解，效率为RANSAC的100倍且鲁棒性更高。本发明能有效解决光照亮暗差异带来的问题，且更能凸显出目标植株，图像匹配准确率高，更能满足室内外作业要求。该方法也可用于农业植株生长状态的监测、药物肥料的精准喷洒以及病虫害的及时防治等农田作业中。
附图说明：
图1为基于L—ORB算法的植株图像实时拼接方法整体程图。
具体实施方式：
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
图1为基于L—ORB算法的植株图像实时拼接方法整体流程图，具体实施方式的步骤如下：
步骤1：首先将RealSense D435传感器固定在小车上，将小车进行匀速运动，采集植株的深度信息和彩色信息，然后根据获取到的深度信息进行范围限制重新获取多组彩色图像，再利用改进的Mean-shift算法提取出彩色图像中有效植株矩形区域；
其中改进得Mean-shift算法主要过程如下：
1)迭代空间构建。以输入的彩色图像上任一像素点P0为圆心，建立物理空间上半径为sp，色彩空间上半径为sr的高维球形空间；
2)考虑增加核函数和样本权重的条件下，求取并优化迭代空间的向量，并移动迭代空间球体后重新计算向量，直至收敛。在1)中构建的球形空间中，求得所有像素点相对于中心像素点的色彩向量之和后，移动迭代空间的中心像素点到该向量的终点，并再次计算该球形空间中所有像素点的向量之和，如此迭代，直到在最后一个球体空间中所求得的向量和的终点就是该空间球体的中心像素点Pn，迭代结束；
3)刷新输出图像上对应的初始原点P0的色彩值为Pn的色彩值，对输入图像上其它像素点，依次执行步骤1)和步骤2)，遍历完所有像素点后，整张彩色图像均值偏移色彩滤波完成，从而提取出彩色图像中有效植株矩形区域。
步骤2：利用L-ORB算法对步骤1获取的植株有效彩色图像进行特征提取，通过Multi-Probe LSH算法对特征点进行匹配，因为步骤1中传感器水平移动，根据每个像素点的三维数据中的深度数据相同去除误匹配，提高特征点匹配精度。其中L-ORB算法主要过程如下：
1)粗提取：图像上选一像素点P，以P为圆心画一个半径为3像素的圆，若圆周上16个像素点中有连续12个像素点的灰度值与P点的灰度值相异，则认为P为特征点；
2)计算角点：计算图像I(x，y)在X和Y两个方向的梯度I x，Iy，并计算图像两个方向的乘积Ixy，使用高斯函数对
和Ixy进行高斯加权(取σ＝1)，计算原图像I的角点，计算角点的响应值R，并删除小于阈值t的角点；
其中(x，y)为像素位置坐标。
3)选取前N个特征点：进行非极大值抑制，邻域内局部最大值点即为角点，对角点响应值从大到小排序，选取前N个特征点；
4)特征点的尺度不变性：建立金字塔，设置一个比例因子ScalarFactor和金字塔的层数nlevels，将原图像I按比例因子缩小成nlevels幅图像，缩放后的图像I′为：I′＝I/ScaleFactorkk(k＝1，2，...，nlevels)，然后nlevels幅不同比例的图像提取特征点总和作为这幅图像特征点；
5)特征点的旋转不变形：使用矩阵法来确定特征点的方向，即通过矩来计算特征点以r为半径范围内的质心，特征点坐标到质心形成一个向量作为该特征点的方向，矩定义如下：
其中，p取0或1，q取0或1，I(x，y)为图像灰度表达式，该矩的质心C为：
设角点坐标0，则向量的角度θ即为该特征点的方向，计算公式如下为：
6)建立300k个特征点测试集，对于测试集中的每个特征点，考虑其31x31邻域，穷举出所有可能的5x5的匹配子窗口，在300k个特征点的每个31x31邻域内按265356种方法取点对，比较点对大小，形成一个300kx265356的二进制矩阵Q，矩阵的每一列代表300k个点按某种取法得到的二进制数；
7)对Q矩阵的每一列求取平均值，按照平均值到0.5的距离大小重新对Q矩阵的列向量排序，形成矩阵T，将T的第一列向量放到J中；
8)取T的下一列向量和J中的所有列向量计算相关性，如果相关系数小于设定的阈值，则将T中的该列向量移至J中；
9)按照步骤8)的方式不断进行操作，直到J中的向量数量为256。
其中Multi-Probe LSH算法主要过程如下：
1)使用多个独立的哈希表，设局部敏感哈希函数族H，每个哈希表由k个哈希函数h∈H创建；
2)通过以下3种操作来提高特征匹配成功概率：AND操作；OR操作；级联AND和OR操作；
3)AND操作从函数族H中随机选择t个哈希函数，构造gi(x)＝(h1(x)，h2(x)，...，ht(x))，每个数据向量经过gi(x)被映射成一个整型向量，当且仅当hi(x)＝hi(y)，i＝1，2，...，t时，gi(x)＝gi(y)。AND操作使得两个数据的t个哈希值都相同时，才会被投影到相同的桶内。该操作构造一个新的哈希函数族H′；
4)OR操作构造L个哈希表，使得落在任何哈希表的结果作为候选结果。OR操作构造哈希函数族H″。AND和OR级联操作是先通过AND操作再进行OR操作，得到一个新的哈希函数族H。经过AND和OR级联操作，相似度为s的植株，可以被检索出来的概率为P＝1-(1-st)L；
5)定义哈希扰动向量Δ＝(δ1，δ2，...，δT)，其中δi∈{-1，0，1}。给定植株查询向量q，基本的LSH检索gi(q)＝(h1(q)，h2(q)，...，hL(q))的桶中元素作为候选对象，顺序地探测哈希桶gi(q)+Δ；
6)给定哈希桶探寻序列Δ1，Δ2，...，gi(q)+Δ1是应用扰动向量Δ1后产生的新哈希值，它指向表中一个新的哈希桶，通过使用扰动向量，可以获得多个与查询向量q指向的哈希桶邻近的桶，这些桶中含有与q邻近的元素的概率较高。
步骤3：利用PROSAC算法消除误匹配，获取两幅图像最佳单应性矩阵，PROSAC算法先对数据点进行排序，然后在评价函数值最高的数据点子集中进行随机采样产生假定，假定集合的大小逐渐增大，然后在所有的数据点上验证这些假定，当存在更好解的概率低于5％的时候算法终止；基于最佳缝合线的多分辨率图像算法进行图像拼接：由投影变换矩阵可以得到两幅图像水平平移的像素量，两个位置的坐标系归一化到同一个坐标系中，将两幅图像重叠的部分作差运算生成一幅差值图形，对差值图像从重叠区域的第一行出发，向下扩展，对每行计算缝合线强度值到最后一行为止，然后将所有选中的点连接起来最为最佳缝合线，在求得最佳缝合线之后进行多分辨率融合拼接，得到最终需要的基于最佳缝合线的多分辨率融合图像。
其中多分辨率融合拼接算法的主要过程如下：
1)以拼接后图像的大小为尺寸，生成一幅模板图像M，将缝合线左侧填充0，右侧填充255，形成一副黑白模板图像；
2)将图像A、B扩展到拼接后图像的大小，扩展部分填充0；
3)生成模板R的高斯图像GR，以及经扩展的A、B的拉普拉斯图像LA、LB；
4)在每一层上分别进行融合，求得融合后的拉普拉斯图像LF，像素值计算公式为：
LF＝(GRl(i，j)LAl(i，j)+[255-GRi(i，j)]LBl(i，j))/255
其中，1代表第几层；(i，j)代表像素点坐标。
5)对于融合后的拉普拉斯图像LF，从最高层开始差值扩展，并与其下一层图像相加，重复此过程直至与最后一层图像相加完为止，得到最终需要的基于最佳缝合线的多分辨率融合图像。
综上，本发明的基于传统ORB算法的图像拼接方法，由于ORB算法匹配正确率较低，缺少尺度不变特性，图像拼接精度低等问题等。本发明使用改进的Mean-shift算法对彩色图像进行预处理，有利于目标植株的提取与图像结构信息的表达，有利于降低处理对象规模和后续处理的计算复杂度；选择L-ORB算法来提取特征点，L-ORB图像特征提取算法首先对图像进行粗略的对齐，然后计算图像的视野重合部分，得出特征点的分布范围，减少了检测区域面积，L-ORB算法将FAST特征点与Harris角点度量方法相结合，并生成BRIEF特征描述因子，相对于原始的ORB算法简化了尺度、旋转不变性，使得效率大幅提升；Multi-ProbeLSH算法是一种基于降维技术的高维快速匹配方法，可以减少Hash表的规模以降低内存占有量，加快搜索速度，提高了特征匹配速率；使用PROSAC算法消除误匹配，得到帧图像拼接映射关系，传统的RANSAC算法随机抽取样本，忽略了样本之间的好坏差异，效率低下，PROSAC算法将样本按质量进行排序，从较高质量的数据子集中抽取样本。经过若干次的假设、验证后，得到最优解，效率为RANSAC的100倍且鲁棒性更高。该方法对光照条件不同、分辨率低、尺度变化等均有良好的鲁棒性和稳定性，是一种耗时短、拼接效果良好的图像拼接方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (8)
1.一种基于L-ORB算法的植株图像实时拼接方法，其特征在于，包括以下步骤：
步骤1，利用RealSense D435传感器获取植株的彩色与深度信息，然后对图像进行预处理，主要利用Mean-shift算法与植株的深度信息进行有效矩形区域的提取；步骤2，利用L-ORB算法对预处理过的彩色图像进行特征点提取，通过Multi-Probe LSH算法对特征点进行匹配；步骤3，利用PROSAC算法消除误匹配，获得图像最佳单应性矩阵，并通过基于最佳缝合线的多分辨率算法进行图像拼接。
2.根据权利要求书1所述的一种基于L-ORB算法的植株图像实时拼接方法，其特征在于：所述步骤1具体包括：
首先将RealSense D435传感器固定在小车上，将小车进行匀速运动，再把植株摆放在适当的位置，获取彩色图像与深度信息，然后根据获取到的深度信息进行范围限制重新获取多组彩色图像，再利用改进的Mean-shift算法提取出彩色图像中有效植株矩形区域。
3.根据权利要求书2所述的一种基于L-ORB算法的植株图像实时拼接方法，其特征在于：利用改进的Mean-shift算法与植株的深度信息进行有效矩形区域的提取的具体过程是：
步骤1.1，迭代空间构建：以输入的彩色图像上任一像素点P0为圆心，建立物理空间上半径为sp，色彩空间上半径为sr的高维球形空间；
步骤1.2，考虑增加核函数和样本权重的条件下，求取并优化迭代空间的向量，并移动迭代空间球体后重新计算向量，直至收敛；在步骤1.1构建的球形空间中，求得所有像素点相对于中心像素点的色彩向量之和后，移动迭代空间的中心像素点到该向量的终点，并再次计算该球形空间中所有像素点的向量之和，如此迭代，直到在最后一个球体空间中所求得的向量和的终点就是该空间球体的中心像素点Pn，迭代结束；
步骤1.3，刷新输出图像上对应的初始原点P0的色彩值为Pn的色彩值，对输入图像上其他像素点，依次执行步骤1.1、1.2，遍历完所有像素点后，整张彩色图像均值偏移色彩滤波完成，从而提取出彩色图像中有效植株矩形区域。
4.根据权利要求1所述的基于L-ORB算法的植株图像实时拼接方法，其特征在于：所述步骤2的具体过程为：
步骤2.1，利用L-ORB算法对步骤1获取的有效图像进行特征提取；
步骤2.2，通过Multi-Probe LSH算法对特征点进行匹配；
步骤2.3，因为步骤1中RealSense D435传感器固定在小车上水平匀速移动，根据每个像素点的三维数据中的深度数据相同去除误匹配，提高特征点匹配精度。
5.根据权利要求书4所述的基于L-ORB算法的植株图像实时拼接方法，其特征在于：所述的步骤2.1具体过程如下：
步骤2.1.1，粗提取：图像上选一像素点P，以P为圆心画一个半径为3像素的圆，若圆周上16个像素点中有连续12个像素点的灰度值与P点的灰度值相异，则认为P为特征点；
步骤2.1.2，计算角点：计算图像I(x，y)在X和Y两个方向的梯度Ix，Iy，并计算图像两个方向的乘积Ixy，使用高斯函数对
和Ixy进行高斯加权(取σ＝1)，计算原图像I的角点，计算角点的响应值R，并删除小于阈值t的角点；其中(x，y)为像素位置坐标；
步骤2.1.3，选取前N个特征点：进行非极大值抑制，邻域内局部最大值点即为角点，对角点响应值从大到小排序，选取前N个特征点；
步骤2.1.4，特征点的尺度不变性：建立金字塔，设置一个比例因子ScalarFactor和金字塔的层数nlevels，将原图像I按比例因子缩小成nlevels幅图像，缩放后的图像I′为：I′＝I/ScaleFactork(k＝1，2，…，nlevels)，nlevels幅不同比例的图像提取特征点总和作为这幅图像的特征点；
步骤2.1.5，特征点的旋转不变形：使用矩阵法来确定特征点的方向，即通过矩来计算特征点以r为半径范围内的质心，特征点坐标到质心形成一个向量作为该特征点的方向，矩定义如下：
其中，p取0或1，q取0或1，I(x，y)为图像灰度表达式，该矩的质心C为：
设角点坐标0，则向量的角度θ即为该特征点的方向，计算公式如下为：
步骤2.1.6，建立300k个特征点测试集，对于测试集中的每个特征点，考虑其31x31邻域，穷举出所有可能的5x5的匹配子窗口，在300k个特征点的每个31x31邻域内按265356种方法取点对，比较点对大小，形成一个300kx265356的二进制矩阵Q，矩阵的每一列代表300k个点按某种取法得到的二进制数；
步骤2.1.7，对Q矩阵的每一列求取平均值，按照平均值到0.5的距离大小重新对Q矩阵的列向量排序，形成矩阵T，将T的第一列向量放到J中；
步骤2.1.8，取T的下一列向量和J中的所有列向量计算相关性，如果相关系数小于设定的阈值，则将T中的该列向量移至J中；
步骤2.1.9，按照步骤2.1.8的方式不断进行操作，直到J中的向量数量为256。
6.根据权利要求书4所述的基于L-ORB算法的植株图像实时拼接方法，其特征在于：所述的步骤2.2具体过程如下：
步骤2.2.1，使用多个独立的哈希表，设局部敏感哈希函数族H，每个哈希表由k个哈希函数h∈H创建；
步骤2.2.2，通过以下3种操作来提高特征匹配成功概率：AND操作；OR操作；级联AND和OR操作；
步骤2.2.3，AND操作从函数族H中随机选择t个哈希函数，构造函数gi(x)＝(h1(x)，hx(x)，…，ht(x))，每个数据向量经过gi(x)被映射成一个整型向量，当且仅当hi(x)＝hi(y)，i＝1，2，…，t时，gi(x)＝gi(y)，AND操作使得两个数据的t个哈希值都相同时，才会被投影到相同的桶内，该操作构造一个新的哈希函数族H'；
步骤2.2.4，OR操作构造L个哈希表，使得落在任何哈希表的结果作为候选结果；OR操作构造哈希函数族H”；AND和OR级联操作是先通过AND操作再进行OR操作，得到一个新的哈希函数族H，经过AND和OR级联操作，相似度为s的植株，可以被检索出来的概率为P＝1-(1-st)L；
步骤2.2.5，定义哈希扰动向量Δ＝(δ1，δ2，…，δT)，其中δi∈{-1，0，1}，给定植株查询向量q，基本的LSH检索gi(q)＝(h1(q)，h2(q)，…，hL(q))的桶中元素作为候选对象，顺序地探测哈希桶gi(q)+Δ；
步骤2.2.6，给定哈希桶探寻序列Δ1，Δ2，…，gi(q)+Δ1是应用扰动向量Δ1后产生的新哈希值，它指向表中一个新的哈希桶，通过使用扰动向量，可以获得多个与查询向量q指向的哈希桶邻近的桶，这些桶中含有与q邻近的元素的概率较高。
7.根据权利要求书1所述的基于L-ORB算法的植株图像实时拼接方法，其特征在于：所述步骤3的具体过程为：
步骤3.1，用改进的样本一致性(PROSAC)算法消除误匹配，获取两幅图像最佳单应性矩阵，PROSAC算法先对数据点进行排序，然后在评价函数值最高的数据点子集中进行随机采样产生假定，假定集合的大小逐渐增大，然后在所有的数据点上验证这些假定，当存在更好解的概率低于5％的时候算法终止；
步骤3.2，基于最佳缝合线的多分辨率图像算法进行图像拼接：由投影变换矩阵可以得到两幅图像水平平移的像素量，两个位置的坐标系归一化到同一个坐标系中，将两幅图像重叠的部分作差运算生成一幅差值图像，对差值图像从重叠区域的第一行出发，向下扩展，对每行计算缝合线强度值到最后一行为止，然后将所有选中的点连接起来作为最佳缝合线，在求得最佳缝合线之后进行多分辨率融合拼接，得到最终需要的基于最佳缝合线的多分辨率融合图像。
8.根据权利要求7所述的基于L-ORB算法的植株图像实时拼接方法，其特征在于：在求得最佳缝合线之后进行多分辨率融合拼接，得到最终需要的基于最佳缝合线的多分辨率融合图像的具体步骤是：
步骤3.2.1，以拼接后图像的大小为尺寸，生成一幅模板图像M，将缝合线左侧填充0，右侧填充255，形成一副黑白模板图像；
步骤3.2.2，将图像A、B扩展到拼接后图像的大小，扩展部分填充0；
步骤3.2.3，生成模板N的高斯图像GR，以及经扩展的A、B的拉普拉斯图像LA、LB；
步骤3.2.4，在每一层上分别进行融合，求得融合后的拉普拉斯图像LF，像素值计算公式为：LF＝(GRl(i，j)LAl(i，j)+[255-CRl(i，j)]LBl(i，j))/255
其中，l代表第几层；(i，j)代表像素点坐标；
步骤3.2.5，对于融合后的拉普拉斯图像LF，从最高层开始差值扩展，并与其下一层图像相加，重复此过程直至与最后一层图像相加完为止，得到最终需要的基于最佳缝合线的多分辨率融合图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010295534.7A CN111626307A (zh) | 2020-04-15 | 2020-04-15 | 一种基于l-orb算法的植株图像实时拼接方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010295534.7A CN111626307A (zh) | 2020-04-15 | 2020-04-15 | 一种基于l-orb算法的植株图像实时拼接方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111626307A true CN111626307A (zh) | 2020-09-04 |
Family
ID=72259826
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010295534.7A Pending CN111626307A (zh) | 2020-04-15 | 2020-04-15 | 一种基于l-orb算法的植株图像实时拼接方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111626307A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113191281A (zh) * | 2021-05-07 | 2021-07-30 | 南京云智控产业技术研究院有限公司 | 基于感兴趣区域及自适应半径的orb特征提取方法 |
| US20220215005A1 (en) * | 2021-01-01 | 2022-07-07 | Bank Of America Corporation | Trusted control automation platform |
| CN116016816A (zh) * | 2022-12-13 | 2023-04-25 | 之江实验室 | 一种改进l-orb算法的嵌入式gpu零拷贝全景图像拼接方法和*** |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108805812A (zh) * | 2018-06-04 | 2018-11-13 | 东北林业大学 | 用于图像拼接的多尺度不变orb算法 |
| CN110060199A (zh) * | 2019-03-12 | 2019-07-26 | 江苏大学 | 一种基于彩色和深度信息的植株图像快速拼接方法 |
-
2020
- 2020-04-15 CN CN202010295534.7A patent/CN111626307A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108805812A (zh) * | 2018-06-04 | 2018-11-13 | 东北林业大学 | 用于图像拼接的多尺度不变orb算法 |
| CN110060199A (zh) * | 2019-03-12 | 2019-07-26 | 江苏大学 | 一种基于彩色和深度信息的植株图像快速拼接方法 |
Non-Patent Citations (6)
| Title |
|---|
| 修春波等: "基于距离融合的图像特征点匹配方法" * |
| 杜承垚等: "GPU加速与L-ORB特征提取的全景视频实时拼接" * |
| 沈跃等: "基于K-means和近邻回归算法的Kinect植株深度图像修复" * |
| 沈跃等: "基于RealSense深度相机的多特征树干快速识别方法" * |
| 沈跃等: "基于彩色和深度信息结合K-means聚类算法快速拼接植株图像" * |
| 沈跃等: "基于深度和彩色双信息特征源的Kinect植物图像拼接" * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220215005A1 (en) * | 2021-01-01 | 2022-07-07 | Bank Of America Corporation | Trusted control automation platform |
| US11663180B2 (en) * | 2021-01-01 | 2023-05-30 | Bank Of America Corporation | Trusted control automation platform |
| CN113191281A (zh) * | 2021-05-07 | 2021-07-30 | 南京云智控产业技术研究院有限公司 | 基于感兴趣区域及自适应半径的orb特征提取方法 |
| CN116016816A (zh) * | 2022-12-13 | 2023-04-25 | 之江实验室 | 一种改进l-orb算法的嵌入式gpu零拷贝全景图像拼接方法和*** |
| CN116016816B (zh) * | 2022-12-13 | 2024-03-29 | 之江实验室 | 一种改进l-orb算法的嵌入式gpu零拷贝全景图像拼接方法和*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yang et al. | Multi-temporal remote sensing image registration using deep convolutional features | |
| Zhou et al. | Canny-vo: Visual odometry with rgb-d cameras based on geometric 3-d–2-d edge alignment | |
| CN108242079B (zh) | 一种基于多特征视觉里程计和图优化模型的vslam方法 | |
| CN104574347B (zh) | 基于多源遥感数据的在轨卫星图像几何定位精度评价方法 | |
| CN109740665A (zh) | 基于专家知识约束的遮挡图像船只目标检测方法及*** | |
| CN111626307A (zh) | 一种基于l-orb算法的植株图像实时拼接方法 | |
| CN109118429B (zh) | 一种中波红外-可见光多光谱影像快速生成方法 | |
| CN109101981B (zh) | 一种街景场景下基于全局图像条纹码的回环检测方法 | |
| CN104217459B (zh) | 一种球面特征提取方法 | |
| CN109766758A (zh) | 一种基于orb特征的视觉slam方法 | |
| Son et al. | A multi-vision sensor-based fast localization system with image matching for challenging outdoor environments | |
| CN109697696B (zh) | 用于全景视频的补盲方法 | |
| CN109117851A (zh) | 一种基于网格统计约束的视频图像匹配方法 | |
| Li et al. | RIFT2: Speeding-up RIFT with a new rotation-invariance technique | |
| CN114689038A (zh) | 基于机器视觉的果实检测定位与果园地图构建方法 | |
| CN110060199A (zh) | 一种基于彩色和深度信息的植株图像快速拼接方法 | |
| Zhao et al. | Learning probabilistic coordinate fields for robust correspondences | |
| CN116894876A (zh) | 基于实时图像的6-dof的定位方法 | |
| Yue et al. | SCFNet: Semantic correction and focus network for remote sensing image object detection | |
| Feng et al. | Sparse representation combined with context information for visual tracking | |
| CN116128919A (zh) | 基于极线约束的多时相图像异动目标检测方法及*** | |
| KR20200078723A (ko) | 다중해상도 영상등록 시 가변 원형템플릿을 이용한 특징정합 방법 | |
| Cheng et al. | An augmented reality image registration method based on improved ORB | |
| Yu et al. | SAR pixelwise registration via multiscale coherent point drift with iterative residual map minimization | |
| CN107341151B (zh) | 图像检索数据库生成方法、增强现实的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |