CN111354026B - 一种基于surf特征的改进列车图像精确配准方法和*** - Google Patents
一种基于surf特征的改进列车图像精确配准方法和*** Download PDFInfo
- Publication number
- CN111354026B CN111354026B CN202010121978.9A CN202010121978A CN111354026B CN 111354026 B CN111354026 B CN 111354026B CN 202010121978 A CN202010121978 A CN 202010121978A CN 111354026 B CN111354026 B CN 111354026B
- Authority
- CN
- China
- Prior art keywords
- image
- registered
- feature
- characteristic
- segmented
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012216 screening Methods 0.000 claims abstract description 33
- 238000001514 detection method Methods 0.000 claims abstract description 30
- 238000005070 sampling Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 description 8
- 230000009466 transformation Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 239000006096 absorbing agent Substances 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于SURF特征的改进列车图像精确配准方法,包括以下步骤:通过直方图,对参考图像和待配准图像,进行均衡化预处理;对预处理后的参考图像进行特征检测,提取出参考图像的特征点,对预处理后的待配准图像进行特征检测,提取出待配准图像的特征点;将参考图像的全部特征点和待配准图像的全部特征点进行一一匹配,形成多个特征点对;对特征点对进行筛选,删除匹配错误的特征点对;将筛选后的特征点对进行分段配准。本发明在现有技术基础上增加改进了特征筛选、分段线性化、插值配准等多个环节,实现了的高精度配准,在配准方法的精度、鲁棒性、适应性多个方面均得到了较大提升。
Description
技术领域
本发明涉及图像配准领域,具体一种基于SURF特征的改进列车图像精确配准方法和***。
背景技术
特征点分段配准算法快速、准确,因此该算法在各个领域的图像配准技术上应用较广,面向列车图像的配准也有很多应用的案例。该算法大致分为三部分,包括特征检测、特征匹配、分段变换。在第一步特征检测之前,对参考图像和待配准图像使用直方图均衡化预处理,此操作能在相同特征检测算法下得到更多的特征点。特征检测时采用SURF特征检测算法。检测图片后会得到每个特征点的坐标和特征点对应的描述子,描述子包括各个特征点的64维特征强度,用于下一步特征匹配。特征匹配时使用knn算法,算法将每个匹配项返回两个最相似的描述子,当最相似描述子相似度与次相似描述子相似度的比值大于阈值时,确定为匹配项。按照特征点位置对待配准图像和参考图像分段,然后将待配准图像每段按照参考图像对应每段的宽度进行伸缩。伸缩后将每段拼接起来得到配准图像。不难发现特征匹配得到的特征对数越多,相应的配准结果越准确,与此同时意味着需要更长的耗时。降低特征检测的阈值限制可以得到更多较弱的特征点,参与匹配的特征点数也会越多。在匹配过程中这些弱特征点会更容易被筛除或被错误匹配,因此特征点过多也会降低精度并大幅增加特征匹配时间。
发明内容
本发明所要解决的技术问题是现有列车图像配准技术中,提取的特征点过多引起的匹配耗时长和精度降低的问题,目的在于提供一种基于SURF特征的改进列车图像精确配准方法和***,解决如提取有效的特征点以缩短匹配时长,同时又保证配准精度的问题。
本发明通过下述技术方案实现:
一种基于SURF特征的改进列车图像精确配准方法,包括以下步骤:
S1:通过直方图,对参考图像和待配准图像,进行均衡化预处理;
S2:对预处理后的参考图像进行特征检测,提取出参考图像的特征点,对预处理后的待配准图像进行特征检测,提取出待配准图像的特征点;
S3:将所述参考图像的全部特征点和所述待配准图像的全部特征点进行一一匹配,形成多个特征点对,每个所述特征点对均包括:一个所述参考图像的特征点,和一个与所述参考图像的特征点相匹配的所述待配准图像的特征点;
S4:对所述特征点对进行筛选,删除匹配错误的特征点对;
S5:将筛选后的特征点对进行分段配准。
首先对列车的参考图像和采集的待配准图像进行均衡化预处理,使得参考图像和待配准图像的特征点,更易于检测和提取。然后将预处理后的参考图像和待配准图像进行特征检测,分别提取各自的特征点。在横坐标上,将参考图像的全部特征点和待配准图像的全部特征点进行一一匹配,形成多个特征点对,每个特征点对均包括一个参考图像的特征点和一个待配准图像的特征点。将特征点对中匹配错误的特征点对删除,即删除不满足特定匹配条件的特征点对,以保障筛选后的特征点对均是正确匹配的特征点对,得到一个筛选后的特征点对集。在横坐标上,将筛选后的正确匹配的所有特征点对,再进行分段配准,就得到精确人配准图像。
进一步的,步骤S4包括:
S41:按照所述特征点对在横坐标上的位置,将所述待配准图像和所述参考图像进行分段,所述待配准图像分段后的每段图像为待配准图像分段图像,所述待配准图像分段图像的端头为端头特征点,所述待配准图像分段图像的端尾为端尾特征点;
S42:将所述待配准图像分段图像,按照所述参考图像的每段宽度进行伸缩,得到伸缩比;
S43:当所述伸缩比不属于区间阈值时,认定所述端尾特征点的特征点对匹配错误,删除所述端尾特征点的特征点对。优选的,区间阈值为0.7-1.3。
列车图像中有高度相似的特征点,极可能导致匹配错误。由于列车在行进过程采集所得的图像特征点的伸缩比处于一个区间阈值,不会超出太多,因此可以通过局部伸缩比的变化,来判断特征点对是否错误匹配,从而删除匹配错误的特征点对的。
进一步的,在横坐标上,将所述待配准图像所有特征点进行排序,依次判断所述待配准图像的每个特征点,当所述待配准图像特征点与所述待配准图像特征点的上一个特征点的距离小于固定阈值时,认定所述待配准图像特征点对匹配错误,并删除错误的待配准图像特征点对。优选的,固定阈值为4个像素。通过对待配准图像特征点之间的宽度判断,来识别特征点是否过于密集,从而删除多余的特征点对。
进一步的,所述步骤S5包括以下子步骤:
S51:按照筛选后的特征点对在横坐标上的位置,将所述待配准图像重新进行分段,所述待配准图像重新分段后的每段图像为待配准图像筛选分段图像,所述待配准图像筛选分段图像的端头为筛选端头特征点,所述待配准图像筛选分段图像的端尾为筛选端尾特征点;
S52:根据所述筛选端头特征点的伸缩比和所述筛选端尾特征点的伸缩比,将所述待配准图像筛选分段图像进行伸缩比线性化处理,得到所述筛选后特征点对在横坐标上的线性化伸缩比;
S53:根据所述参考图像特征点在横坐标上的位置,按照所述线性化伸缩比,对所述待配准图像进行插值法采样,得到采样后的列图像;
S54:对所述采样后的列图像进行拼接,得到配准图像。
经过对错误匹配的特征点对的删除,使得筛选后的特征点对变得稀疏,通过上述线性插值采样的方式,丰富了特征点对集,特征点对集由稀疏变为密集,使得配准图像的细致度到亚像素级的精度。
进一步的,所述检测提取使用SURF算法。
进一步的,所述特征匹配使用Knn算法。
进一步的,一种基于SURF特征的改进列车图像精确配准***,包括:
预处理单元:对参考图像和待配准图像,通过直方图进行均衡化预处理;
检测提取单元:对预处理后的参考图像进行特征检测,提取出参考图像的特征点,对预处理后的待配准图像进行特征检测,提取出待配准图像的特征点;
匹配单元:将所述参考图像的全部特征点和所述待配准图像的全部特征点进行一一匹配,形成多个特征点对,每个所述特征点对均包括:一个所述参考图像的特征点,和一个与所述参考图像的特征点相匹配的所述待配准图像的特征点;
筛选单元:对所述特征点对进行筛选,删除匹配错误的特征点对;
配准单元:将筛选后的特征点对进行分段配准。
进一步的,所述筛选单元包括:按照所述特征点对在横坐标上的位置,将所述待配准图像和所述参考图像进行分段,所述待配准图像分段后的每段图像为待配准图像分段图像,所述待配准图像分段图像的端头为端头特征点,所述待配准图像分段图像的端尾为端尾特征点;将所述待配准图像分段图像,按照所述参考图像的每段宽度进行伸缩,得到伸缩比;当所述伸缩比不属于区间阈值时,认定所述端尾特征点的特征点对匹配错误,删除所述端尾特征点的特征点对;当所述待配准图像分段图像的宽度小于固定阈值时,认定所述端尾特征点的特征点对匹配错误,删除所述端尾特征点的特征点对。
本发明与现有技术相比,具有如下的优点和有益效果:
1、本发明实现了亚像素级的高精度配准,在配准方法的精度、鲁棒性、适应性多个方面均得到了较大提升。对比现有的图像配准深度学习算法,本发明提出的传统图像处理方法的精度更高、速度更快,也没有对样本数量的依赖。
2、本发明在现有技术基础上改进,加入了特征点筛选的操作,经过多个条件的反复筛选,去除明显的错误匹配。在不同的参数下,本发明方法的配准精度都有稳定较好的表现,没有明显的波动,且稳定时的精度超过现有技术。在实际不同车次配准时有更高的应用价值。
3、在现有技术基础上改进了特征点筛选后,在插值法配准之前,进一步加入了的分段线性化操作,改进后的方法拿配准精度有了进一步的提升。
4、本发明提出的方法在基于图像的列车故障检测的实际应用中,有着很高的实用价值,特别是不同车次配准时有更高的应用价值。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解,构成本申请的一部分,并不构成对本发明实施例的限定。在附图中:
图1为现有技术图像配准方法示意图。
图2为列车待配准图像示意图。
图3为第一实施例特征点对的筛选过程图。
图4为第二实施例伸缩比变化示意图。
图5为第二实施例列车图像配准方法示意图。
图6为本发明与现有技术的配准精度对比图。
图7为第三实施例采集图像畸变示意图。
图8为第三实施例配准流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施例和附图,对本发明作进一步的详细说明,本发明的示意性实施方式及其说明仅用于解释本发明,并不作为对本发明的限定。
现有技术的特征点分段算法如图1所示,本发明提出的特征点线性配准算法是基于现有技术中特征点分段算法改进而来。在前期的特征点检测和匹配中同样采用SURF特征点检测算法和knn特征点匹配算法。对于同样的一组图像,其特征匹配结果与特征点分段算法得到的结果相同。在此基础上添加了一系列后续算法,以大幅增加配准精度。后续操作主要分为特征点对筛选、分段线性化、亚像素级变换,三个部分。
实施例1
本实施例针对列车图像仅存在横向畸变且畸变幅度有限的特点,依据特征点横坐标对匹配的特征点进行了一系列严格的筛选。此举目的是筛除特征匹配结果中存在的错误匹配,提高算法自身的稳定性。在上千对匹配特征点中,只要存在个别错误的匹配,就会对后续的配准算法造成严重的影响,甚至因此会反而增大图像的变形。首先按照参考图像特征点横坐标对特征匹配结果进行排序,排序后很容易发现待配准图像特征点横坐标并不是完全按顺序排列,掺杂着很多较明显的异常值。观察排序后的特征匹配结果不难发现,其中主要有以下两个问题:
1)特征匹配出错:在一张图像中一种列车部件可能会出现不止一次,而这样的部件图像中就会存在大量高度匹配的特征点。如图2中的两个“转臂定位座”,分布在图像两侧,部件的外形、纹理、亮度等都相差无几,检测到的特征就会非常相似,在特征匹配时很容易匹配到一起。同理,图像中也不乏有“轴箱端盖”和“轴箱接地装置”这样的相似程度较高的部件,两者图像检测到的特征点也比较容易匹配上。另外,由于噪声、光照、污渍等因素影响,图像中也有个别特征点会被错误匹配。
解决方法:特征匹配出错会直接导致最后配准图像内容完全错乱,因此需要完全剔除上述情况的错误配对。特征匹配依据的描述子可能在第一个问题情况中非常相似,无法分辨是否匹配出错。但是通常情况下能根据特征点本身的横坐标较容易地辨别出。首先需要根据从左至右排列后的配对结果求出横坐标变化梯度,用每个坐标减去前一个坐标得到,在图像中的含义便是根据特征点对图像分段的每一段宽度。由于列车图像畸变导致的像素位置偏移会根据采集时间累积,反映到坐标上就是参考图像特征点坐标和待配准图像中对应特征点坐标的距离可能会很远,单独使用对应特征点横坐标无法提供可靠信息。然而,在列车运行这样的问题背景下,图像的畸变程度是有以一定的幅度限制的。换句话说,列车运行时通过采集点处时瞬时速度可能会存在小幅度变化,而CCD采集频率会不断跟随速度变化而做出调整来保证变形程度不会过大。因此图像的局部伸缩比是在一个有限的范围内变化的,图像不会被拉伸得过长,也不会被压缩得过短。相比正常情况下的伸缩比,错误匹配得图像段伸缩比就会很容易超出这个范围,甚至是负数。因此本发明提出使用图像段伸缩比来判定匹配是否正确,用横坐标变化梯度作为指标筛选配准结果。经过多次实验发现,伸缩比的范围为0.6时,即限制在0.7~1.3最合适,精度最高。
2)特征点分布不均匀:希望的是特征点在横向上尽量分布均匀,以一个合适的间隔值分布。如果分布间隔过大,那么在这段图像上就会缺少配准依赖的信息,将会降低配准在局部上的精度。相反如果分布间隔过小,甚至是重合,会增加不必要的运算负担,拖慢整个程序的计算速度,同时也会对后续的分段线性化操作,产生不利影响。图像中有的地方内容复杂、变化多样,会产生大量集中的特征点,也有的地方内容相似、横向没有变化,无法得到有效的特征点。所以在实际列车图像中经常会遇到特征点间隔过大过小的问题。这个问题虽然影响不是特别严重,但仍然会降低算法性能。
解决方法:对于图像局部区域特征距离过大的问题,只能想办法增加特征个数来改善局部特征密度过小,目前主要通过类似直方图均衡化的预处理手段。融合更多来源的特征也是一种解决办法,比如加入频域特征、角点特征、线特征等,也可以使用低层卷积神经网络来生成图片低层细节特征。此外,考虑到光照、污渍等影响,如果有条件获得多套标准参考图像,将相应车厢图片特征融合到一起能增加特征点个数,也能让程序在每次模板更新后仍能保持较高的稳定性。对于特征点距离过小的问题,使用图像分段宽度作为限制,可以直接删除过多的特征点对。如果特征点与上一个特征点横坐标距离小于某个阈值,则筛除此特征点所在的匹配。结合后续分段线性化操作需求和多次的实验发现,固定阈值取4个像素时最合适,此时精度最高。
将以上筛除特征匹配的两个操作放入循环中,循环依据两个条件进行筛选,直到不再能筛除不合格的特征匹配,如图3所示。
实施例2
在实施例1的基础上,得到了筛选后的特征点对匹配结果。如果此时使用筛选后的结果进行分段配准,已经能够达到更高的配准精度。但从配准原理上分析,普遍使用的特征点分段配准方法实际上是将每个图像分段按照同一个伸缩比来进行配准。而实际产生的畸变程度是在不断变化的,而且是非线性变化。使用分段定值的伸缩比来逼近非线性变化的伸缩比会产生较大误差。相对于用分段定值来逼近非线性的方法,使用分段线性来逼近非线性的方法将会有更小的误差。原本将整段图像直接伸缩变化的操作相当于是默认地让其中包含的像素列在横向上均匀分布,均匀分布密度由整体的伸缩比确定。要做的便是将这些映射坐标的相同间隔重新按照线性分布再重新计算一次,得到对应映射后的列坐标。为了更好地适应伸缩变换,伸缩比越大的局部参考图像映射到待配准图像后的列坐标应该越稀疏,相反伸缩比越小的局部参考图像映射后的列坐标应该越密集。因此在线性化操作计算坐标时依赖测量的伸缩比。
在此之前,利用模板匹配的方法,可以测量到各个特征点处的伸缩比,也就是分段图像两端处。具体步骤如图4所示,将每个特征点处的局部图像段提取出来单独计算。特别地,使用宽度为5的图像段来代表特征点邻域。由于特征点的坐标不是整数,需要使用线性插值法得到以该特征点为中心的这5列待配准图像。为了让测得的伸缩比更精确,达到亚像素精度,将这宽度为5的图像段拉伸为30个像素宽度。然后以拉伸后的图像段为基准,按照0.4范围再次进行伸缩变换到0.8~1.2倍宽度,得到一组相同内容、不同宽度的待配准图像段。实验中发现当变换得到7个图像段时精度最高,也就是说宽度30个像素的图像段伸缩成了一组宽度分别为24、26、28、30、32、34、36的图像段。与此同时,在对应参考图像特征点附近按照对应的亚像素位置提取相同宽度的一组图像段,计算对应宽度相同的参考图像段与待配准图像段之间的相似度。遵循模板匹配的思路,相似度最高的一组图像段对应的伸缩比就是此特征点处的伸缩比。通过上述算法,目前能得到所有特征点处的伸缩比了。
之后,就能按照线性变化的规律,计算出此段图像中所有列的伸缩比。求出此段所有伸缩比总和,然后按照每处伸缩比占伸缩比总和的比例算出各列的映射坐标。由于伸缩比按照线性变化,所以算得的各个列在待配准图像中的映射位置也是线性分布的,如图5所示。
特征点匹配之后通过特征点对筛选和分段线性化操作,便能得到参考图像与待配准图像之间每一列的映射关系。最后需要做的便是按照参考图像中每列图像对应到待配准图像中的位置采样出待配准列图像,将每个采样出来的列拼接得到最后输出的配准图像。由于线性化后,参考图像列映射到待配准图像中的横坐标不是整数,使用线性插值算法计算出待配准图像列的图像内容。这将是细致到亚像素级的精度,通常用肉眼已经基本不能分辨。
如图6对比发现,现有技术没有对特征点筛选,而直接进行分段配准(短虚线),在精度上低于本发明提出的两个实施例。在特征点较少时,配准精度随特征点增多而提高。但是随着特征点的进一步增加,精度出现大幅度波动,且波动位置不固定。主要是因为当特征点较少时,相应用SURF检测出来的是显著特征,不存在混淆的情况。而特征点个数较多时,则加入了一些不明显的特征,此时就会出现特征匹配出错的情况。在混入错误匹配的情况下,进行分段配准会产生严重的影响,这就是这个方法精度起伏不定的原因。波动后精度的回升主要是因为一些正确匹配的特征点的不断加入,弱化了错误匹配带来的影响。
在现有技术的基础上改进,加入了特征点筛选的操作(长虚线),即第一实施例,经过多个条件的反复筛选,去处理明显的错误匹配。由以上精度对比图可以发现,在不同的参数下,算法配准精度都有稳定较好的表现,没有明显的波动,且稳定时精度超过原方法。在实际不同车次配准时有更高的应用价值。
改进了特征点筛选后,在插值法配准之前,进一步加入了的分段线性化操作(实线),即第二实施例。由精度对比图可以发现,第二实施例改进后算法精度有了进一步的提升。在相同特征点数量下,其精度稳定高于前两者。
实施例3
在实施例2的基础上,进一步产生本实施例。目前越来越多的行业实现了自动化,人们的生活方式和生产方式变得越来越智能,用机器取代大量人工劳动力,减少了人类缺少创造的重复劳动,让工作更加高效、可靠。随着计算机视觉领域的不断发展,交通领域中日常检测列车部件故障的工作便有望实现机器自动检测。通过采集列车图像来判断零部件是否故障,将会为列车运维公司节约大量人力成本的同时又能有更高的检测效率。车站将线阵相机CCD部署在列车回库的道上,列车在通过采集点的时候有一定的运行速度,导致采集到的图像有一定程度的畸变,如图7所示。分析问题产生的具体原因主要有以下两点:
1)在进行精确的图像分析时不能将列车运动近似看成是刚体运动。由于车厢之间有减震器、车钩等连接部件,导致运行时车厢之间会有微小的相对运动,造成线阵相机采集到的列车图像在横向上有一定范围的畸变。生活中,在人们搭乘地铁的时候会有明显的感受,能够体会到车厢之间一直会有相对运动,尤其是在转弯和启停的时候。
2)线阵相机的采集频率控制不精确。整个列车图像是由CCD高频率采集的帧图像,按列拼接而成。也就是说,CCD的采集频率直接决定了实际列车上的横向采集位置。为了让采集位置有一个稳定的间隔,需要精确控制CCD采集频率跟随列车速度变化。列车速度由雷达测量。列车经过采集点的时候会匀速行驶,但速度仍然会有一定幅度的变化波动,导致使用雷达测量的瞬时速度存在微小误差。由于成像精度较高,此时依据雷达测速的结果来控制CCD采样频率,就必然会导致实际采样对应到列车上的位置分布不均匀。
图像的畸变会导致原列车图像部分拉伸和部分压缩,产生的位置偏移和形变失真将会对后续依据列车部件图像检测故障的工作产生较大的影响。此时,部件故障检测时将无法在畸变图像中精确定位关键部件,无法从中准确提取关键部件图像用于检测异常。其次,即使提取到目标部件图像,图像畸变带来的形变失真也会很大程度上影响检测准确率、误报率和漏报率。因此用列车图片检测关键部件异常之前进行图像配准是必不可少的,图像配准环节在列车关键部件故障检测中的位置如图8所示。
配准时,需要将一个没有畸变的标准图像(参考图像)作为模板提前制作好,并存储在***中可随时调用。将现场每次采集的畸变图像(待配准图像)参照参考图像进行变换,消除待配准图像畸变的同时保留下其图像内容。由于列车图像畸变的特殊性,仅有横向上的偏移,竖直方向上基本没有偏移,所以以列为单位从左到右依次进行配准变换将会节省大量时间。此外,考虑到不同车型的列车布局完全不同,同一车型、不同车次的列车之间存在大量的结构差异,提前制作的参考图像需要区分到车次,做到每个车次的列车至少有一个近期更新的标准模板。模板更新频率与同车次列车通过采集点的频率相关,如果更新频率较高,则可以考虑保留不同天气情况下的参考图像,以提升高反光、多污渍图像的配准准确性。
本发明提出了一种基于特征点的列车图像配准方法,在特征检测和特征匹配的基础上改进了特征筛选、分段线性化、插值法配准等多个算法环节,实现了亚像素级的高精度配准,在配准算法的精度、鲁棒性、适应性多个方面均得到了较大提升。本发明提出的方法在基于图像的列车故障检测的实际应用中,有着较高的实用价值。对比现有的图像配准深度学习算法,本发明提出的传统图像处理算法的精度更高、速度更快,也没有对样本数量的依赖。本发明提出的算法不一定仅适用于列车图像配准,在其他应用场景中,如果需要在单个方向上矫正畸变,本方法也能适用。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于SURF特征的改进列车图像精确配准方法,其特征在于,包括以下步骤:
S1:通过直方图,对参考图像和待配准图像,进行均衡化预处理;
S2:对预处理后的参考图像进行特征检测,提取出参考图像的特征点,对预处理后的待配准图像进行特征检测,提取出待配准图像的特征点;
S3:将所述参考图像的全部特征点和所述待配准图像的全部特征点进行一一匹配,形成多个特征点对,每个所述特征点对均包括:一个所述参考图像的特征点,和一个与所述参考图像的特征点相匹配的所述待配准图像的特征点;
S4:对所述特征点对进行筛选,删除匹配错误的特征点对;
S5:将筛选后的特征点对进行分段配准;
其中,所述步骤S4包括:
S41:按照所述特征点对在横坐标上的位置,将所述待配准图像和所述参考图像进行分段,所述待配准图像分段后的每段图像为待配准图像分段图像,所述待配准图像分段图像的端头为端头特征点,所述待配准图像分段图像的端尾为端尾特征点;
S42:将所述待配准图像分段图像,按照所述参考图像的每段宽度进行伸缩,得到伸缩比;
S43:当所述伸缩比不属于区间阈值时,认定所述端尾特征点的特征点对匹配错误,删除所述端尾特征点的特征点对。
2.根据权利要求1所述的基于SURF特征的改进列车图像精确配准方法,其特征在于,在横坐标上,将所述待配准图像所有特征点进行排序,依次判断所述待配准图像的每个特征点,当所述待配准图像特征点与所述待配准图像特征点的上一个特征点的距离小于固定阈值时,认定所述待配准图像特征点对匹配错误,并删除错误的待配准图像特征点对。
3.根据权利要求1所述的基于SURF特征的改进列车图像精确配准方法,其特征在于,所述区间阈值为0.7-1.3。
4.根据权利要求2所述的基于SURF特征的改进列车图像精确配准方法,其特征在于,所述固定阈值为4个像素。
5.根据权利要求2所述的基于SURF特征的改进列车图像精确配准方法,其特征在于,所述步骤S5包括以下子步骤:
S51:按照筛选后的特征点对在横坐标上的位置,将所述待配准图像重新进行分段,所述待配准图像重新分段后的每段图像为待配准图像筛选分段图像,所述待配准图像筛选分段图像的端头为筛选端头特征点,所述待配准图像筛选分段图像的端尾为筛选端尾特征点;
S52:根据所述筛选端头特征点的伸缩比和所述筛选端尾特征点的伸缩比,将所述待配准图像筛选分段图像进行伸缩比线性化处理,得到所述筛选后特征点对在横坐标上的线性化伸缩比;
S53:根据所述参考图像特征点在横坐标上的位置,按照所述线性化伸缩比,对所述待配准图像进行插值法采样,得到采样后的列图像;
S54:对所述采样后的列图像进行拼接,得到配准图像。
6.根据权利要求1-5任一所述的基于SURF特征的改进列车图像精确配准方法,其特征在于,所述检测提取使用SURF算法。
7.根据权利要求1-5任一所述的基于SURF特征的改进列车图像精确配准方法,其特征在于,所述特征匹配使用Knn算法。
8.一种基于SURF特征的改进列车图像精确配准***,其特征在于,包括:
预处理单元:对参考图像和待配准图像,通过直方图进行均衡化预处理;
检测提取单元:对预处理后的参考图像进行特征检测,提取出参考图像的特征点,对预处理后的待配准图像进行特征检测,提取出待配准图像的特征点;
匹配单元:将所述参考图像的全部特征点和所述待配准图像的全部特征点进行一一匹配,形成多个特征点对,每个所述特征点对均包括:一个所述参考图像的特征点,和一个与所述参考图像的特征点相匹配的所述待配准图像的特征点;
筛选单元:对所述特征点对进行筛选,删除匹配错误的特征点对;
配准单元:将筛选后的特征点对进行分段配准;
其中,所述筛选单元包括:
按照所述特征点对在横坐标上的位置,将所述待配准图像和所述参考图像进行分段,所述待配准图像分段后的每段图像为待配准图像分段图像,所述待配准图像分段图像的端头为端头特征点,所述待配准图像分段图像的端尾为端尾特征点;
将所述待配准图像分段图像,按照所述参考图像的每段宽度进行伸缩,得到伸缩比;
当所述伸缩比不属于区间阈值时,认定所述端尾特征点的特征点对匹配错误,删除所述端尾特征点的特征点对;
当所述待配准图像分段图像的宽度小于固定阈值时,认定所述端尾特征点的特征点对匹配错误,删除所述端尾特征点的特征点对。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010121978.9A CN111354026B (zh) | 2020-02-27 | 2020-02-27 | 一种基于surf特征的改进列车图像精确配准方法和*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010121978.9A CN111354026B (zh) | 2020-02-27 | 2020-02-27 | 一种基于surf特征的改进列车图像精确配准方法和*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111354026A CN111354026A (zh) | 2020-06-30 |
CN111354026B true CN111354026B (zh) | 2022-10-21 |
Family
ID=71195921
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010121978.9A Active CN111354026B (zh) | 2020-02-27 | 2020-02-27 | 一种基于surf特征的改进列车图像精确配准方法和*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111354026B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111932593B (zh) * | 2020-07-21 | 2024-04-09 | 湖南中联重科智能技术有限公司 | 基于触摸屏手势校正的图像配准方法、***及设备 |
CN112950493B (zh) * | 2021-02-01 | 2022-11-01 | 中车青岛四方车辆研究所有限公司 | 轨道列车线阵相机图像畸变校正方法及装置 |
CN112884821B (zh) * | 2021-02-05 | 2022-07-05 | 西南交通大学 | 一种超长列车模板图像制作方法 |
CN113514812B (zh) * | 2021-09-14 | 2021-12-14 | 北京海兰信数据科技股份有限公司 | 一种岸基雷达杂波抑制处理方法及*** |
CN113808049B (zh) * | 2021-09-23 | 2023-06-02 | 成都货安计量技术中心有限公司 | 一种列车线阵图像畸变校正方法及电子设备 |
CN115775269B (zh) * | 2023-02-10 | 2023-05-02 | 西南交通大学 | 一种基于线特征的列车图像精确配准方法 |
CN116664643A (zh) * | 2023-06-28 | 2023-08-29 | 哈尔滨市科佳通用机电股份有限公司 | 基于SuperPoint算法的铁路列车图像配准方法及设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104574421A (zh) * | 2015-01-29 | 2015-04-29 | 北方工业大学 | 一种大幅面小重合区域高精度多光谱图像配准方法及装置 |
CN107689058A (zh) * | 2017-09-01 | 2018-02-13 | 哈尔滨理工大学 | 一种基于surf特征提取的图像配准算法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110170784A1 (en) * | 2008-06-10 | 2011-07-14 | Tokyo Institute Of Technology | Image registration processing apparatus, region expansion processing apparatus, and image quality improvement processing apparatus |
-
2020
- 2020-02-27 CN CN202010121978.9A patent/CN111354026B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104574421A (zh) * | 2015-01-29 | 2015-04-29 | 北方工业大学 | 一种大幅面小重合区域高精度多光谱图像配准方法及装置 |
CN107689058A (zh) * | 2017-09-01 | 2018-02-13 | 哈尔滨理工大学 | 一种基于surf特征提取的图像配准算法 |
Non-Patent Citations (3)
Title |
---|
地面三维激光扫描技术在公路建模中的应用;张毅 等;《测绘科学》;20080930;第33卷(第5期);全文 * |
基于图像处理的车辆外形测量技术研究;闻江;《中国优秀博硕士学位论文全文数据库(硕士) 工程科技II辑》;20180215;37-49 * |
基于特征点匹配的图像配准研究;陶静 等;《现代电子技术》;20191015;第42卷(第20期);90-92 * |
Also Published As
Publication number | Publication date |
---|---|
CN111354026A (zh) | 2020-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111354026B (zh) | 一种基于surf特征的改进列车图像精确配准方法和*** | |
CN112434695B (zh) | 一种基于深度学习的上拉杆故障检测方法 | |
CN111191611B (zh) | 基于深度学习的交通标志标号识别方法 | |
CN111080650B (zh) | 铁路货车小部件轴承挡键螺母松动和丢失故障检测方法 | |
CN103310211A (zh) | 一种基于图像处理的填注标记识别方法 | |
CN115131348B (zh) | 一种纺织品表面缺陷的检测方法及*** | |
CN113870236B (zh) | 一种基于深度学习算法的复合材料缺陷无损探伤方法 | |
CN113989794B (zh) | 一种车牌检测和识别方法 | |
Zheng et al. | Rail detection based on LSD and the least square curve fitting | |
CN115100214A (zh) | 基于图像处理的纺织品质量检测方法 | |
CN113591831A (zh) | 一种基于深度学习的字体识别方法、***及存储介质 | |
CN111626145A (zh) | 一种简捷有效的残缺表格识别及跨页拼接方法 | |
CN112085723B (zh) | 一种货车摇枕弹簧窜出故障自动检测方法 | |
CN113516103A (zh) | 一种基于支持向量机的表格图像倾斜角度确定方法 | |
CN110826564A (zh) | 一种复杂场景图像中的小目标语义分割方法及*** | |
CN111881914A (zh) | 一种基于自学习阈值的车牌字符分割方法及*** | |
CN108734158B (zh) | 一种实时列车车号识别方法及装置 | |
CN111079598B (zh) | 一种基于图像纹理与机器学习的车道线检测方法 | |
CN111046876B (zh) | 基于纹理检测技术的车牌字符快速识别方法及其*** | |
JPH0256688A (ja) | 文字切出し装置 | |
CN112419208A (zh) | 一种基于施工图审查矢量图纸编译方法及*** | |
CN113781449A (zh) | 一种基于多尺度特征融合的纺织品瑕疵分类方法 | |
CN117522866B (zh) | 基于掩膜的荧光微丝试验图像中丝线锚点的判别方法 | |
CN114078106B (zh) | 基于改进Faster R-CNN的疵点检测方法 | |
CN112270323B (zh) | 智能医疗复检控制方法、***、介质、计算机设备及应用 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |