CN112884821A - 一种超长列车模板图像制作方法 - Google Patents

一种超长列车模板图像制作方法 Download PDF

Info

Publication number
CN112884821A
CN112884821A CN202110158020.1A CN202110158020A CN112884821A CN 112884821 A CN112884821 A CN 112884821A CN 202110158020 A CN202110158020 A CN 202110158020A CN 112884821 A CN112884821 A CN 112884821A
Authority
CN
China
Prior art keywords
image
train
features
images
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110158020.1A
Other languages
English (en)
Other versions
CN112884821B (zh
Inventor
黄德青
秦娜
刘子仪
张一鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Jiaotong University
Original Assignee
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Jiaotong University filed Critical Southwest Jiaotong University
Priority to CN202110158020.1A priority Critical patent/CN112884821B/zh
Publication of CN112884821A publication Critical patent/CN112884821A/zh
Application granted granted Critical
Publication of CN112884821B publication Critical patent/CN112884821B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种超长列车模板图像制作方法，具体为：采集待制作列车图像，以及导入已有的标准模板图像作为参考图像；调整图像，设置边界预览；利用SURF特征提取算法从图像中提取出特征，采用基于K‑近邻的暴力匹配算法将两张图像中的特征配对，得到待制作列车图像特征到参考图像特征的映射关系，按照其坐标信息调整图像内容；将制作好的图像结果与特征信息保存。本发明效率高、精度高、适用性强，不管参考图像差异多大，都能完成模板制作。为业内填补了列车模板图像制作这一空缺。

Description

一种超长列车模板图像制作方法
技术领域
本发明属于列车图像处理技术领域，尤其涉及一种超长列车模板图像制作方法。
背景技术
在使用计算机视觉对列车部件进行自动化的异常检查时，列车会以低速通过图像采集点获取图像。由于列车的非刚体运动等原因，采集到的图像在横向上存在畸变，需要先使用图像配准算法消除畸变。图像配准算法普遍采用模板匹配的思路，因此图像配准的结果依赖于模板图像的质量。对于每一辆新的列车，在使用图像配准算法之前，均需要先做一套完整的、清晰的、没有畸变的模板图像。
由于每一辆列车的第一张图像也存在畸变，因此在模板图像的制作过程中势必需要参考其他列车的图像。相似方案可以由其他车次标准图像作为参考图像，使用图像配准算法来直接制作该车次模板图像。图像配准算法有两个思路使用较普遍。一是按照模板匹配的思路，利用局部参考图像，在待配准图像中寻找对应关系，此方法优点在于速度较快，精度较高。二是按照特征映射的思路，先对参考图像和待配准图像特征提取，然后利用特征匹配算法对提取到的特征两两配对，形成映射关系，此方法优点在于适应性和鲁棒性较高。
如果直接使用图像配准算法获取当前列车的模板，由于其他列车与当前列车是不同的车次，甚至是不同车型，导致图像内容差异太大。在实际应用中，影响到图像内容差异的因素有很多，具体分析并分类罗列如下。
1、相机参数不同：两次图像采集可能在不同采集点，因此采集点环境不同，用于图像采集的线阵相机的参数也可能不同，如增益、曝光等。
2、光照条件不同：两次图像采集的时间不同，周围环境光源可能会影响图像中的亮度和反光区域。
3、车身污渍不同：列车清洗是周期性的，采集时间离清洗时间越久，车身上的灰尘会越厚，此外经过下雨路段的列车身上还会有污水。此类污渍会严重遮挡图像内容。
4、列车结构不同：通常两列不同列车的外观结构、部件位置、部件型号都有巨大差异。即使两列车是相同的车型，也有很多固有的差异存在。
在这样的情况下使用图像配准算法，会有大量局部不吻合的现象发生，容易造成配准的映射关系混乱而出现内容错位。即使能得到稀疏的匹配关系，也无法保证图像的准确性。
发明内容
针对上述问题，为了解决模板图像制作的问题，本发明提供一种超长列车模板图像制作方法。
本发明的一种超长列车模板图像制作方法，包括以下步骤：
步骤1：图像的采集与导入。
S11：列车图像由线阵相机横向扫描列车后将每一帧图像拼接得到，再将图像调整至长度180000像素、高度2048像素。
S12：图像采用分页显示，按照4000像素长度将整张列车图像切分成45张子图，将子图按从左到右的顺序依次编号分页页码，每次仅显示一张分页的子图。
S13：判断是否有标准模板图像中的列车车型，有则标准模板图像中的列车图像作为参考图像占用红色通道R和蓝色通道B并在图像中显示紫色，待制作列车图像占用绿色通道G并在图像中显示绿色，前端界面中显示通道叠加后的RGB彩色图像；否则，前端界面中仅显示待制作列车图像的灰度图。
步骤2：视图调整。
前端界面中子图左右两侧添加了边界预览图像，左边界预览图像显示上一页子图的末尾图像段，右边界预览图像显示下一页子图的开头图像段，第一页的左边界预览图和最后一页的右边界预览图像为空白图像，不显示内容。
步骤3：特征调整。
S31：利用SURF特征提取算法，从图像中提取出特征，包括点特征和除横线以外的线特征，得到特征的坐标、方向以及描述子，对特征进行增添、移动和删除操作。
S32：对有参考图像的待制作列车图像进行特征配对，参考图像和待制作列车图像中提取特征后，采用基于K-近邻的暴力匹配算法将两张图像中的特征配对，得到待制作列车图像特征到参考图像特征的映射关系；在每个配对中，待制作列车图像特征的坐标即为特征的初始坐标，参考图像对应特征的坐标即为特征的矫正坐标；按照其坐标信息调整图像内容。
步骤4：列车模板图像保存。
将制作好的图像结果与特征信息保存，其中，图像使用BMP位图格式保存；特征信息为模板图像的制作过程，即所有特征的初始坐标和矫正坐标，特征信息的保存格式为TXT文件。
进一步的，步骤2中边界预览设置预设范围，预设范围有1/2、1/3、1/4、1/8，能分别预览子图像的1/2、1/3、1/4、1/8长度。
进一步的，步骤3还包括S33：自动调整特征后，手动删除其中错误的特征匹配，再在特征稀疏区域增添并移动特征。
本发明的有益技术效果为：
本发明解决了业内无法准确制作配准模板的问题。在以往情况下，需要模板采集时硬件匀速扫描列车，在硬件无法达到要求时仅能使用图像配准算法矫正图像内容畸变来制作模板。由于图像配准算法制作模板时，参考图像差异通常较大，无法完全胜任制作工作，导致图像制作不准确，甚至内容错乱。本发明采用人机交互策略，配合使用模板制作交互界面来完成模板制作，此方法效率高、精度高、适用性强，不管参考图像差异多大，都能完成模板制作。为业内填补了列车模板图像制作这一空缺。
附图说明
图1为本发明超长列车模板图像制作方法流程图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步详细说明。
本发明的一种超长列车模板图像制作方法如图1所示，包括以下步骤：
步骤1：图像的采集与导入。
S11：列车图像由线阵相机横向扫描列车后将每一帧图像拼接得到，为了后续制作图像更标准，将图像调整至长度180000像素、高度2048像素。
S12：由于前端交互界面的显示区域有限，无法一次性显示所有图像内容，因此，图像采用分页显示，按照4000像素长度将整张列车图像切分成45张子图，将子图按从左到右的顺序依次编号分页页码，每次仅显示一张分页的子图。
S13：判断是否有标准模板图像中的列车车型，有则标准模板图像中的列车图像作为参考图像占用红色通道R和蓝色通道B并在图像中显示紫色，待制作列车图像占用绿色通道G并在图像中显示绿色，前端界面中显示通道叠加后的RGB彩色图像；否则，前端界面中仅显示待制作列车图像的灰度图。在后续的模板图像制作过程中，调整的内容均为绿色的待制作列车图像，保持紫色的参考图像不变。
步骤2：视图调整。
由于本发明使用了分页策略，每页子图都存在左右边界，当特征位于边界附近时，其邻域视图就会受到限制。例如，当调整一个位于子图像右边界附近的特征时，无法看到右边界以外的邻域图像内容，容易造成误判。针对上述问题，本发明前端界面中子图左右两侧添加了边界预览图像，左边界预览图像显示上一页子图的末尾图像段，右边界预览图像显示下一页子图的开头图像段，第一页的左边界预览图和最后一页的右边界预览图像为空白图像，不显示内容。边界预览设置预设范围，预设范围有1/2、1/3、1/4、1/8，能分别预览子图像的1/2、1/3、1/4、1/8长度。
步骤3：特征调整(本发明使用自动调整算法+人工手动调整)。
自动调整为：S31：利用SURF特征提取算法，从图像中提取出特征，包括点特征和除横线以外的线特征，得到特征的坐标、方向以及描述子，对特征进行增添、移动和删除操作。
S32：对有参考图像的待制作列车图像进行特征配对，参考图像和待制作列车图像中提取特征后，采用基于K-近邻的暴力匹配算法将两张图像中的特征配对，得到待制作列车图像特征到参考图像特征的映射关系；在每个配对中，待制作列车图像特征的坐标即为特征的初始坐标，参考图像对应特征的坐标即为特征的矫正坐标；按照其坐标信息调整图像内容。
使用自动调整算法处理大部分图像内容后，再配合使用手动调整的策略可使两种方法的优缺点互补。
S33：自动调整特征后，手动删除其中错误的特征匹配，再在特征稀疏区域增添并移动特征。
步骤4：列车模板图像保存。
将制作好的图像结果与特征信息保存，其中，图像使用BMP位图格式保存；特征信息为模板图像的制作过程，即所有特征的初始坐标和矫正坐标，特征信息的保存格式为TXT文件。在文件中每个单独的特征记录一行，每行特征信息的两个浮点型坐标默认通过空格隔开。在具有特征信息文件时，即使没有模板图像制作的结果，也能通过待制作图像和特征映射关系将模板图像恢复出来。因此，本发明设计了特征加载功能，通过待制作图像和前一次保存的特征信息文件，可恢复出前一次保存的中间结果，并在此基础上继续完成模板制作。

Claims (3)

1.一种超长列车模板图像制作方法，其特征在于，包括以下步骤：
步骤1：图像的采集与导入：
S11：列车图像由线阵相机横向扫描列车后将每一帧图像拼接得到，再将图像调整至长度180000像素、高度2048像素；
S12：图像采用分页显示，按照4000像素长度将整张列车图像切分成45张子图，将子图按从左到右的顺序依次编号分页页码，每次仅显示一张分页的子图；
S13：判断是否有标准模板图像中的列车车型，有则标准模板图像中的列车图像作为参考图像占用红色通道R和蓝色通道B并在图像中显示紫色，待制作列车图像占用绿色通道G并在图像中显示绿色，前端界面中显示通道叠加后的RGB彩色图像；否则，前端界面中仅显示待制作列车图像的灰度图；
步骤2：视图调整：
前端界面中子图左右两侧添加了边界预览图像，左边界预览图像显示上一页子图的末尾图像段，右边界预览图像显示下一页子图的开头图像段，第一页的左边界预览图和最后一页的右边界预览图像为空白图像，不显示内容；
步骤3：特征调整：
S31：利用SURF特征提取算法，从图像中提取出特征，包括点特征和除横线以外的线特征，得到特征的坐标、方向以及描述子，对特征进行增添、移动和删除操作；
S32：对有参考图像的待制作列车图像进行特征配对，参考图像和待制作列车图像中提取特征后，采用基于K-近邻的暴力匹配算法将两张图像中的特征配对，得到待制作列车图像特征到参考图像特征的映射关系；在每个配对中，待制作列车图像特征的坐标即为特征的初始坐标，参考图像对应特征的坐标即为特征的矫正坐标；按照其坐标信息调整图像内容；
步骤4：列车模板图像保存：
将制作好的图像结果与特征信息保存，其中，图像使用BMP位图格式保存；特征信息为模板图像的制作过程，即所有特征的初始坐标和矫正坐标，特征信息的保存格式为TXT文件。
2.根据权利要求1所述的一种超长列车模板图像制作方法，其特征在于，所述步骤2中边界预览设置预设范围，预设范围有1/2、1/3、1/4、1/8，能分别预览子图像的1/2、1/3、1/4、1/8长度。
3.根据权利要求1所述的一种超长列车模板图像制作方法，其特征在于，所述步骤3还包括S33：自动调整特征后，手动删除其中错误的特征匹配，再在特征稀疏区域增添并移动特征。
CN202110158020.1A 2021-02-05 2021-02-05 一种超长列车模板图像制作方法 Active CN112884821B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110158020.1A CN112884821B (zh) 2021-02-05 2021-02-05 一种超长列车模板图像制作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110158020.1A CN112884821B (zh) 2021-02-05 2021-02-05 一种超长列车模板图像制作方法

Publications (2)

Publication Number Publication Date
CN112884821A true CN112884821A (zh) 2021-06-01
CN112884821B CN112884821B (zh) 2022-07-05

Family

ID=76057331

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110158020.1A Active CN112884821B (zh) 2021-02-05 2021-02-05 一种超长列车模板图像制作方法

Country Status (1)

Country Link
CN (1) CN112884821B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115775269A (zh) * 2023-02-10 2023-03-10 西南交通大学 一种基于线特征的列车图像精确配准方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120236334A1 (en) * 2011-03-18 2012-09-20 Takeshi Suzuki Image processing apparatus, image processing method, and computer program product
US20130063741A1 (en) * 2011-09-14 2013-03-14 Ricoh Company, Limited Display processing apparatus, image forming system, and computer program product
CN104574339A (zh) * 2015-02-09 2015-04-29 上海安威士科技股份有限公司 一种用于视频监控的多尺度柱面投影全景图像生成方法
CN107948455A (zh) * 2013-11-28 2018-04-20 夏普株式会社 图像形成装置及图像形成装置的控制方法
CN111354026A (zh) * 2020-02-27 2020-06-30 广州运达智能科技有限公司 一种基于surf特征的改进列车图像精确配准方法和***
CN112102458A (zh) * 2020-08-31 2020-12-18 湖南盛鼎科技发展有限责任公司 基于激光雷达点云数据辅助的单镜头三维图像重构方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120236334A1 (en) * 2011-03-18 2012-09-20 Takeshi Suzuki Image processing apparatus, image processing method, and computer program product
US20130063741A1 (en) * 2011-09-14 2013-03-14 Ricoh Company, Limited Display processing apparatus, image forming system, and computer program product
CN107948455A (zh) * 2013-11-28 2018-04-20 夏普株式会社 图像形成装置及图像形成装置的控制方法
CN104574339A (zh) * 2015-02-09 2015-04-29 上海安威士科技股份有限公司 一种用于视频监控的多尺度柱面投影全景图像生成方法
CN111354026A (zh) * 2020-02-27 2020-06-30 广州运达智能科技有限公司 一种基于surf特征的改进列车图像精确配准方法和***
CN112102458A (zh) * 2020-08-31 2020-12-18 湖南盛鼎科技发展有限责任公司 基于激光雷达点云数据辅助的单镜头三维图像重构方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XI DAI: "Navigation of Simultaneous Localization and Mapping by Fusing RGB-D Camera and IMU on UAV", 《 2019 CAA SYMPOSIUM ON FAULT DETECTION, SUPERVISION AND SAFETY FOR TECHNICAL PROCESSES 》, 6 October 2020 (2020-10-06) *
吴琛: "基于图像处理的动车组走行部故障检测方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》, 15 October 2018 (2018-10-15) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115775269A (zh) * 2023-02-10 2023-03-10 西南交通大学 一种基于线特征的列车图像精确配准方法

Also Published As

Publication number Publication date
CN112884821B (zh) 2022-07-05

Similar Documents

Publication Publication Date Title
CN109325438B (zh) 实况全景交通标志的实时识别方法
CN110084241B (zh) 一种基于图像识别的电表自动读数方法
CN111127339B (zh) 一种文档图像的梯形畸变矫正方法及装置
CN103440629B (zh) 激光标记自动跟踪的视频引伸计的数字图像处理方法
CN109872309B (zh) 检测***、方法、装置及计算机可读存储介质
CN111932504B (zh) 一种基于边缘轮廓信息的亚像素定位方法及装置
CN108921804A (zh) 扭曲文档图像的校正方法
CN110363769B (zh) 一种高铁接触网支撑装置腕臂***图像分割方法
CN105701809B (zh) 一种基于线阵相机扫描的平场校正方法
CN112884821B (zh) 一种超长列车模板图像制作方法
CN106559658A (zh) 多通道投影融合带色彩自动平衡控制方法
CN113870267B (zh) 缺陷检测方法、装置、计算机设备及可读存储介质
CN116468640B (zh) 一种用于互联网教学的视频图像增强方法
CN105989588A (zh) 一种异形材料切割图像校正方法及***
CN114283434B (zh) 一种基于机器视觉的答题卡识别方法
CN107864365B (zh) 一种消除图像紫边的方法
CN111539421A (zh) 基于深度学习的铁路机车车号的识别方法
CN102592302A (zh) 数字化卡通智能动检***及动检方法
CN106815814B (zh) 一种应用于阅卷***的图像污染处理方法
CN112308773B (zh) 一种无人机航摄影像无损放大和拼接融合方法
CN113256563A (zh) 基于空间注意力机制的精品罐表面缺陷检测方法和***
CN116051681B (zh) 一种基于智能手表生成图像数据的处理方法及***
CN106815580A (zh) 一种车牌定位方法
CN110298347A (zh) 一种基于GrayWorld与PCA-CNN的汽车尾气分析仪屏幕的识别方法
CN110751690A (zh) 铣床刀头视觉定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant