CN113362338B - 铁轨分割方法、装置、计算机设备和铁轨分割处理*** - Google Patents

铁轨分割方法、装置、计算机设备和铁轨分割处理*** Download PDF

Info

Publication number
CN113362338B
CN113362338B CN202110565485.9A CN202110565485A CN113362338B CN 113362338 B CN113362338 B CN 113362338B CN 202110565485 A CN202110565485 A CN 202110565485A CN 113362338 B CN113362338 B CN 113362338B
Authority
CN
China
Prior art keywords
wavelet
rail
image
target
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110565485.9A
Other languages
English (en)
Other versions
CN113362338A (zh
Inventor
张斌
卓卉
李雅稚
孟宪洪
王宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Guoneng Shuohuang Railway Development Co Ltd
Original Assignee
Beihang University
Guoneng Shuohuang Railway Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University, Guoneng Shuohuang Railway Development Co Ltd filed Critical Beihang University
Priority to CN202110565485.9A priority Critical patent/CN113362338B/zh
Publication of CN113362338A publication Critical patent/CN113362338A/zh
Application granted granted Critical
Publication of CN113362338B publication Critical patent/CN113362338B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种铁轨分割方法、装置、计算机设备和铁轨分割处理***。该方法通过获取多个视角下的目标图像，这些目标图像中均包含铁轨，然后对各个视角下的目标图像均进行去噪处理，利用小波变换实现滤波，去除噪声信号，提高后续图像处理的数据处理有效性，提高处理效率；对于滤波后的图像，利用神经网络模型，得到不同空间分辨率的特征图，再对各个空间分辨率的特征图进行上采样得到具有目标空间分辨率的上采样特征图，利用神经网络学习能力，可以得到高质量的特征，再利用各卷积层级的上采样特征图进行特征融合，既可以保留高级别的语义信息，也可以更好地预测细节，获得更高的精度。

Description

铁轨分割方法、装置、计算机设备和铁轨分割处理***
技术领域
本申请涉及图像处理技术领域，特别是涉及一种铁轨分割方法、装置、计算机设备和铁轨分割处理***。
背景技术
铁轨图像的获取和分割对于进行铁轨伤损检测有着十分重要的意义。
传统的实施过程中，通常通过固定设置一个摄像机来采集某个视角下包括铁轨的图像。但是发明人发现，这种方式下获取的图像经过处理提取后，得到的铁轨分割图像效果差，与铁轨实际情况差异较大。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高铁轨分割图像精准度和特征度以及处理效率的铁轨分割方法、装置、计算机设备和铁轨分割处理***。
一种铁轨分割方法，该方法包括：
获取多个视角下的目标图像，目标图像是指包含铁轨的场景图像；
对各视角下的目标图像进行小波去噪处理，得到各视角下的滤波图像；
将滤波图像输入至神经网络模型中，得到具有多个不同空间分辨率的特征图；
对多个空间分辨率的特征图进行上采样，得到多个层级的具有目标空间分辨率的上采样特征图；
对各视角对应的上采样特征图进行特征融合和语义分割，得到铁轨分割结果。
在其中一个实施例中，对各视角下的目标图像进行小波去噪处理，得到各视角下的滤波图像的步骤包括：
对各视角下的目标图像进行小波分解，得到分解后的信号；
计算各视角下的小波阈值；
将各视角下的小波阈值的平均值作为最终阈值；
根据最终阈值对小波分解后的信号进行小波阈值去噪，并对去噪后的信号进行小波重构得到各视角下的滤波图像。
在其中一个实施例中，根据最终阈值对小波分解后的信号进行小波阈值去噪，得到各视角下的滤波图像的步骤包括：
去除小波系数值小于最终阈值的经小波分解后的信号，保留小波系数值大于最终阈值的经小波分解后的信号，生成各视角下的滤波图像。
在其中一个实施例中，将滤波图像输入至神经网络模型中，得到具有多个不同空间分辨率的特征图的步骤包括：
将各滤波图像统一处理为具有目标分辨率的特征图并输入至神经网络模型中；
采用预设的卷积模式对每个卷积层进行卷积并采用预设的池化函数进行降采样，得到多个不同空间分辨率的特征图；
对多个空间分辨率的特征图进行上采样，得到多个层级的具有目标空间分辨率的上采样特征图的步骤包括：
对多个不同空间分辨率的特征图进行上池化，对上池化处理结果进行卷积得到多个层级的具有目标空间分辨率的上采样特征图。
在其中一个实施例中，神经网络模型具有7个卷积层和5个池化层；多个不同空间分辨率的特征图包括1/8原图尺寸大小的特征图、1/16原图尺寸大小的特征图和1/32原图尺寸大小的特征图；
对多个不同空间分辨率的特征图进行上池化，对上池化处理结果进行卷积得到多个层级的具有目标空间分辨率的上采样特征图的步骤包括：
对1/16原图尺寸大小的特征图进行上采样，并将上采样结果与第四池化层相结合后再进行上采样为具有目标空间分辨率的上采样特征图；
对1/8原图尺寸大小的特征图进行上采样，并将上采样结果与第三池化层相结合后再进行上采样为具有目标空间分辨率的上采样特征图；
将1/32原图尺寸大小的特征图进行上采样为具有目标空间分辨率的上采样特征图。
在其中一个实施例中，对各视角对应的上采样特征图进行特征融合和语义分割，得到铁轨分割结果的步骤包括：
对多层级的具有目标空间分辨率的上采样特征图进行特征融合，得到特征融合图像；
利用分类模型确定特征融合图像的像素点中属于铁轨的像素点，并对属于铁轨的像素点进行标识；
将标识后的属于铁轨的像素点映射到目标图像中，得到铁轨分割结果。
在其中一个实施例中，利用分类模型确定特征融合图像的像素点中属于铁轨的像素点的步骤包括：
利用sigmoid函数将特征融合图像中的每个像素点映射到(0，1)；
然后根据映射后得到的值与分类阈值的大小关系，排除不属于铁轨的像素点得到属于铁轨的像素点。
一种铁轨分割装置，该装置包括：
图像获取模块，用于获取多个视角下的目标图像，目标图像是指包含铁轨的场景图像；
滤波模块，用于对各视角下的目标图像进行小波去噪处理，得到各视角下的滤波图像；
机器学习模块，用于将滤波图像输入至神经网络模型中，得到具有多个不同空间分辨率的特征图；
上采样模块，用于对多个空间分辨率的特征图进行上采样，得到多个层级的具有目标空间分辨率的上采样特征图；
铁轨分割执行模块，用于对各视角对应的上采样特征图进行特征融合和语义分割，得到铁轨分割结果。
一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述方法的步骤。
一种铁轨分割处理***，该***包括：
多图像采集平台，多图像采集平台用于采集不同视角下的目标图像，目标图像为包含铁轨的场景图像；
一种计算机设备，计算机设备与多图像采集平台通信连接，计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述方法的步骤。
上述铁轨分割方法、装置、计算机设备和铁轨分割处理***。其中，该铁轨分割方法，通过获取多个视角下的目标图像，这些目标图像中均包含铁轨，然后对各个视角下的目标图像均进行去噪处理，利用小波变换实现滤波，去除噪声信号，提高后续图像处理的数据处理有效性，提高处理效率；对于滤波后的图像，利用神经网络模型，得到多个不同层级的特征图(即不同空间分辨率的特征图，也就是不同尺寸的特征图)，再对各个空间分辨率的特征图进行上采样得到具有目标空间分辨率的上采样特征图，利用神经网络学习能力，可以得到高质量的特征，最后再利用各卷积层级的上采样特征图进行特征融合，既可以保留高级别的语义信息，也可以更好地预测细节，获得更高的精度，利用该特征融合后的图像进行语义分割，得到的铁轨分割结果(即从目标图像中分割出铁轨部分)精度高。
附图说明
图1为一个实施例中铁轨分割方法的应用环境图；
图2为一个实施例中铁轨分割方法的流程示意图；
图3为另一个实施例中铁轨分割方法的流程示意图；
图4为另一个实施例中神经网络的架构图和特征图层级选取的示意图；
图5为又一个实施例中铁轨分割方法的流程示意图；
图6为一个实施例中铁轨分割装置的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
现在小波去噪技术已经比较成熟，可以利用小波函数进行信号滤波，保留有用信号，滤除噪声信号。另外，对于图像处理过程中，可以采用特征融合，融合不同的特征，以提高分割性能。利用CNN(Convolutional Neural Networks，卷积神经网络)得到多层特征，利用高层特征语义强分辨率低，低层特征语义性低但细节特征多的特点，进行特征融合，既可以保证细节更多，也可以保证去噪效果。这些均可以用来提高铁轨分割实现过程中的精度。为解决上述背景技术中提出的问题结合铁轨所处场景的特点，本申请实施例提供了一种铁轨分割方法。
其中特征融合，按照融合与预测的先后顺序，可以分为早融合(Early fusion)和晚融合(Late fusion)。
早融合是指先融合多层的特征，然后在融合后的特征上训练预测器(只在完全融合之后，才统一进行检测)。这类方法也被称为skip connection，即采用concat、add操作：concat是指系列特征融合，直接将两个特征进行连接，两个输入特征x和y的维数若为p和q，输出特征z的维数为p+q；add则是并行策略，将这两个特征向量组合成复向量，对于输入特征x和y，z＝x+iy，其中i是虚数单位。这一思路的代表是Inside-Outside Net(ION)和HyperNet。
晚融合指通过结合不同层的检测结果改进检测性能(尚未完成最终的融合之前，在部分融合的层上就开始进行检测，会有多层的检测，最终将多个检测结果进行融合)。这一类研究思路的代表有两种：一是特征不融合，多尺度的特征分别进行预测，然后对预测结果进行综合，如Single Shot MultiBox Detector(SSD),Multi-scale CNN(MS-CNN)；二是特征进行金字塔融合，融合后进行预测，如Feature Pyramid Network(FPN)等。
而语义分割是在像素级别上的分类，属于同一类的像素都要被归为一类，因此语义分割是从像素级别来理解图像的。比如说人骑摩托车的照片，属于人的像素都要分成一类，属于摩托车的像素也要分成一类，除此之外还有背景像素也被分为一类。
早期的分割算法主要是灰度分割，条件随机场等一些较为传统的算法。在深度学习方法流行之前，TextonForest和基于随机森林分类器等语义分割方法是用得比较多的方法。与此同时随着深度学习技术的不断发展，深度学习在语义分割任务中大放异彩，取得了骄人的成绩。从第一篇真正意义上的深度学习方法语义分割模型FCN说起，语义分割发展了不足六年的时间，经典的SegNet，Deeplab系列，DenseASPP等等，再到近些年来研究热点的NAS方法。不断的刷新各个分割数据集的Leaberboard。
本申请提供的铁轨分割方法，可以应用于如图1所示的应用环境中。其中，多图像采集平台200通过网络与计算机设备400进行通信。根据铁轨600所处的具体环境，设置多图像采集平台200，可以在同一环境下设置多个多图像采集平台200，每个多图像采集平台200上可以包括多个相机，且各相机的拍摄角度有所差异。多图像采集平台200上的各相机，采集不同视角下的包含铁轨的图片，作为目标图像传输至计算机设备400，利用计算机设备400的图像处理能力，从目标图像中将铁轨部分的图像精准分割出来，为后续进行铁轨健康状态检测提供精准的数据依据。其中，计算机设备400可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，也可以是车站监控室中的集控设备，还可以是独立的服务器或者是多个服务器组成的服务器集群。利用多图像采集平台400协同配合，从不同角度对铁轨周边进行拍摄。
在其中一个实施例中，提供了一种铁轨分割方法，如图2所示，该方法包括：
S100：获取多个视角下的目标图像，目标图像是指包含铁轨的场景图像。
单一视角对事物的描述往往较为片面且局限，并不能很好地反映事物的全部特征。而由于多视角数据采集的来源领域不同、特征提取的方式也不同，使得不同视角之间既存在着一定的内在联系也互相独立，通过充分合理地挖掘利用多视角数据中的信息进行有效的学习，可以对铁轨及其所处背景的特征进行深入了解和分析，以实现图像分割。所以获取多个视角下的目标图像为解决该技术问题的重要一步。其中，正如上面介绍，目标图像是指包含铁轨的场景图像，该场景图像包括铁轨和铁轨所处的背景，通过获取这类包含铁轨的图像，可以使得后续的计算更具有针对性，排除无铁轨对象造成的计算资源浪费，从而减小无效计算量，提高计算效率，从整体上提高铁轨分割实现的效率。
S300：对各视角下的目标图像进行小波去噪处理，得到各视角下的滤波图像。
小波(wavelet)，即小区域的波，仅仅在非常有限的一段区间有非零值，而不是像正弦波和余弦波那样无始无终。小波可以沿时间轴前后平移，也可按比例伸展和压缩以获取低频和高频小波，构造好的小波函数可以用于滤波或压缩信号，从而可以提取出已含噪声信号中的有用信号。小波函数是具有波动性质的有限能量函数，可以通过伸缩平移，使其成为平方可积函数空间L2(R)的1组标准正交基。
此处的小波去噪处理是指利用小波函数对目标图像中的噪声信号进行滤除的过程。小波去噪处理过程可以是先对目标图像信号进行小波分解，然后对小波分解后的高频系数的阈值进行量化，通过设定合理的阈值，滤除噪声信号，最后根据小波分解的最后层级的低频系数和经过量化处理后的各层级的高频系数，进行去噪之后的图像信号的小波重构。经过小波去噪处理后的滤波图像，由于之前通过小波分解阈值选择，将图像里含噪的区域都进行了去噪处理，因此处理后的图像都是质量良好的区域。所以利用该滤波图像信号去进行后续的机器学习，可以保证提取的特征的高质量，从而提高计算精度和学习效果。
S500：将滤波图像输入至神经网络模型中，得到具有多个不同空间分辨率的特征图。
神经网络采用的是逐层级特征提取的结构，随着网络的加深特征，特征图(feature map)的空间分辨率不断降低(即特征图尺寸不断减小)。而低层级特征分辨率更高，包含更多位置、细节信息，但是由于经过的卷积更少，其语义性更低，噪声更多。高层级特征具有更强的语义信息，但是分辨率很低，对细节的感知能力较差。通过选择不同空间分辨率下的特征图可以既保留较好的语义性也可以保留更多的位置、细节信息，为后续的图像分割实现提供高级别的语义信息和足够的细节特征。
S700：对多个空间分辨率的特征图进行上采样，得到多个层级的具有目标空间分辨率的上采样特征图。
目标空间分辨率是指与神经网络输入图片的分辨率一致的空间分辨率，即将多个空间分辨率的特征图尺寸还原为神经网络输入图片的尺寸大小。为获得原来目标图像大小的特征图，需要对多个空间分辨率的特征图进行上采样，获得多个层级的具有目标分辨率的上采样特征图，其中，为了减小特征图直接上采样恢复为神经网络输入图片的尺寸大小所导致的信息损失过多的问题，可采用跳级连接的策略得到多个层级的具有目标空间分辨率的上采样特征图。使神经网络能够更好地预测细节，同时保留高级别的语义信息。
S900：对各视角对应的上采样特征图进行特征融合和语义分割，得到铁轨分割结果。
特征融合的目的，是把从图像中提取的特征，合并成一个比输入特征更具有判别能力的特征。在很多工作中，融合不同的特征是提高分割性能的一个重要手段。由于前序的神经网络学习过程中，充分考虑了高层级强语义信息和低层级的细节特征多的特点，保留了不同层级的上采样特征图，基于此特征融合图像进行语义分割，可以保证铁轨分割结果的精准度。
具体的，先采用获取多个视角下的目标图像，然后对各视角下的目标图像进行小波去噪处理去噪，利用去噪后的滤波图像进行机器学习，为了兼顾语义性能和特征细节丰富性，获取神经网络模型输出的多个不同空间分辨率的特征图。对各空间分辨率的特征图进行单独的上采样处理，得到不同层级特征图上采样处理后所得到的具有目标空间分辨率的上采样特征图，将这些上采样特征图进行特征融合，得到具有更多细节特征且具有高质量的语义信息的特征融合图像信号，对特征融合后的图像进行语义分割处理，可以保证铁轨分割结果的精准度和可靠性。
相较于传统技术中采用单个视角下拍摄的图像作为实现铁轨分割方法的数据来源的方式。本申请中通过多视角协同，利用多图像采集平台协同配合，从不同角度对铁轨周边进行拍摄。通过这种方式，可以得到多样化的不同视角下的带有铁轨的场景照片。这样，对于地面上的铁轨，可以确保其有足够多的视角的图片进行检测处理，对特征中含有的大量信息进行充分的研究。通过这种多图像采集平台协同配合的方式，可以大大提高语义分割结果的可靠性，同时通过对多个视角下采集的图像信号的充分利用，也达到了提高分割准确性的效果。同时，多视角特征信息的相互补足特性也使得分割的性能得以提升。在采集到的足量多视角图像基础上，可以获得更好的分割效果，提高工作效率。
小波阈值去噪的基本思想是将信号通过小波变换后，信号产生的小波系数含有信号的重要信息，将信号经小波分解后小波系数较大，噪声的小波系数较小，并且噪声的小波系数要小于信号的小波系数，通过选取一个合适的阈值，大于阈值的小波系数被认为是有用信号产生的，应予以保留，小于阈值的则认为是噪声产生的，置为零从而达到去噪的目的。
从信号学的角度看，小波去噪是一个信号滤波的问题。尽管在很大程度上小波去噪可以看成是低通滤波，但由于在去噪后，还能成功地保留信号特征，所以在这一点上又优于传统的低通滤波器。由此可见，小波去噪实际上是特征提取和低通滤波的综合。在其中一个实施例中，如图3所示，对各视角下的目标图像进行小波去噪处理，得到各视角下的滤波图像的步骤S300包括：
S310：对各视角下的目标图像进行小波分解，得到分解后的信号。
小波分解是指选择一个母小波并确定一个小波分解的层次N，然后对目标图像信号进行N层小波分解的计算过程。母小波函数是一组标准正交基，与众所周知的傅里叶变换有所不同的是，小波函数并非固定不变的，而是有众多可以选择的种类，因此需要选择最为合适的小波基来作为母小波。选定的母小波及它的平移和缩放应当可以构成一组规范的正交基。
在其中一个实施例中，该方法可以包括：从事先构建的小波库中选择合适的小波函数作为母小波，利用该母小波对各视角下的目标图像进行小波分解，得到分解后的信号。
这种根据已有小波构建小波库，从库中选取最为合适的函数的方式可称为检索法。选择合适的母小波的过程可以是：预先设定一小波库及某一参数，逐一计算观测到的染噪信号经过小波库中所有小波分解后的该参数值，从中选出最优小波作为母小波。此外，选择合适的母小波的过程还可以时基于相关系数的小波选取法(correlation basedwavelet selection，CBWS)，通过求出小波函数与观测信号之间的相关系数，并以之作为标准来选择相关系数最大值对应的小波作为母小波。
其中，母小波可以选用Haar小波(哈尔小波)、Daubechies小波(简写dbN，多贝西小波，N是小波的阶数)、Biorthogonal小波、Coiflets小波、Symlets小波、Morlet小波、Mexican Hat(mexh，墨西哥帽)小波、Meyer小波(收敛速度快)、Gaus小波、Dmeyer小波、ReverseBior小波、Cgau小波、Cmor小波、Fbsp小波或Shan小波等。
在其中一个实施例中，选用Haar小波基函数进行小波分解，Haar小波基函数如下：
Figure BDA0003080544740000121
用Haar小波进行j＝5的小波变换，则其展开原理如下：
Figure BDA0003080544740000122
Figure BDA0003080544740000123
dj(k)＝<f(x),ψj,k(x)>＝∫f(x)ψj,k(x)dx (4)
L2(R)表示平方可积函数空间，
Figure BDA0003080544740000124
为尺度系数函数，dj(k)为小波系数函数。
然后可利用一下公式求解尺度函数和小波函数：
Figure BDA0003080544740000125
Figure BDA0003080544740000126
Figure BDA0003080544740000127
综合公式(1)-(7)便可完成目标图像信号的小波分解，获得小波信号的小波系数。
S330：计算各视角下的小波阈值。
S350：将各视角下的小波阈值的平均值作为最终阈值。
对信号进行小波分解后，就需要设定一个阈值，以便对分解后的信号进行去噪。若分解后某信号的小波系数值大于该阈值，该信号为有用信号，进行信号保留；反之，如果分解后某信号的小波系数值小于该阈值，则认为该信号为噪声，进行去除。所以，选定合适的阈值就显得尤为重要。对于单视角而言，信号和噪声的区分边界对于特定的视角会受到特定的影响，比如光照、角度、纹理等，因此单视角求取的阈值并不能进行精确的区分，由此本发明引入多视角协同，综合多个视角也可以说是多种情况下的图像信息，在更为高的层次和维度上求解阈值。
在一个实施例中，可以采用一种基于Stein(史坦)的无偏似然估计(unbiasedrisk estimate)(二次方程)原理的自适应阈值选择方法。对每个阈值求出对应的风险值，风险最小的即为该视角下的所选阈值，即该视角下的小波阈值，最后将多个视角求取出的阈值进行平均得到最终的阈值。
在其中一个实施例中，最终阈值的计算过程可以是：
首先，把用来估计阈值的小波系数向量取绝对值(设其长度为n)，设视角数为m，对第t个视角，由小到大排序，然后将各元素平方，得到新的待估计向量It。
对待估计向量It的每个元素下标k，按下式计算其风险向量Riskt(k)：
Figure BDA0003080544740000131
求出风险向量Risk的最小点所对应的下标k值，从而得到t视角下图像所对应的去噪阈值Tt：
Figure BDA0003080544740000141
对多个视角的阈值求平均数得到最终阈值T：
Figure BDA0003080544740000142
S370：根据最终阈值对小波分解后的信号进行小波阈值去噪，并对去噪后的信号进行小波重构得到各视角下的滤波图像。最终，经过上述小波分解、最终阈值的选择，可以利用该最终的阈值对小波分解后的信号进行去噪，保留有用信号，即将图片内含噪的区域进行处理。去噪后的信号经过小波重构，得到滤除噪声后的图像，即滤波图像。
在实际工程中，需要将小波函数进行离散化处理，离散小波变换的分解和重构可以采用如下公式实现：
Figure BDA0003080544740000143
Figure BDA0003080544740000144
其中，aj[p]为第j层、第p个尺度系数，dj[p]为第j层、第p个小波系数，n为变，h[n-2p]表示低通滤波器系数，g[n-2p]表示高通滤波器系数，且
Figure BDA0003080544740000145
(镜像滤波器系数)＝h[-n]。据此可知，根据某层空间的尺度系数便可推断出下一层空间中的尺度系数和小波系数，如此重复直到指定层，便可求出所有层的尺度系数和小波系数。
对于层次为N的小波分解，小波分解后得到的高频系数的阈值量化过程，可以是对第1层到第N层的每一层高频系数(三个方向)，选择一个阈值进行阈值量化处理。阈值的选择与量化处理(即阈值函数的定义，阈值函数是修正小波系数的规则，不同的阈值函数体现了不同的处理小波系数的策略)对于铁轨分割结果有着十分重要的作用。直接影响去噪效果的一个重要因素就是阈值的选取，不同的阈值选取将有不同的去噪效果。目前主要有通用阈值(VisuShrink)、SureShrink阈值、Minimax阈值和BayesShrink阈值等。
量化处理的过程中最常用的阈值函数有硬阈值函数和软阈值函数。还有一种介于软、硬阈值函数之间的Garrote函数。硬阈值函数对小波系数采用“消除”或“保留”的策略，硬阈值函数的函数表达式为：
Figure BDA0003080544740000151
式中S[m]为所估计的小波系数。对于高频系数F[m]的绝对值小于阈值λsqt的置零，以实现去噪。除了硬阈值函数之外，Donoho又构造出另外一种阈值函数——软阈值函数ρs，软阈值函数的表达式为：
Figure BDA0003080544740000152
式中S[m]为所估计的小波系数，T为阈值。相比于硬阈值函数采取“消除”或“保留”的策略，软阈值函数则是采取了“收缩”或“保留”的策略。这两种是为最常见的阈值函数。一般认为，硬阈值方法可以很好地保留信号边缘等局部特征，软阈值处理相对要平滑，但会造成边缘模糊等失真现象。本领域技术人员可根据铁轨所处的实际场景进行选择。在其中一个实施例中，采用硬阈值函数进行小波阈值去噪。
在其中一个实施例中，根据最终阈值对小波分解后的信号进行小波阈值去噪的步骤S370包括：
去除小波系数值小于最终阈值的经小波分解后的信号，保留小波系数值大于最终阈值的经小波分解后的信号。通过将小波分解后的信号的小波系数与最终阈值比较，保留那些小波系数大于该最终阈值的信号，而将那些小波系数小于该最终阈值的信号置零，从而实现去噪。例如，结合上述硬阈值函数，利用最终阈值λsqt与小波系数的大小关系进行去噪实现。
在其中一个实施例中，将滤波图像输入至神经网络模型中，得到具有多个不同空间分辨率的特征图的步骤S500包括：
S510：将各滤波图像统一处理为具有目标分辨率的特征图并输入至神经网络模型中。
为了更好地说明本申请实施例中，如何得到不同空间分辨率的特征图，此处以神经网络模型中采用same卷积模式进行卷积运算为例进行说明。在基于特征融合的语义分割中，在输入时，可以将所有图片尺寸统一到224*224*3，即将所有滤波图像均处理为同一分辨率的特征图，经过网络学习，输出一个尺寸同样为224*224*3的特征图。
对于每一个卷积层，采用same卷积，通过Padding(内边距，元素边框与元素内容之间的空间)填充0运算保证卷积前后特征图大小不变，即W1＝W2(卷积前后特征图的宽度相等)、H1＝H2(卷积前后特征图的长度相等)。以W1为例，计算W2的公式为：
(W1-F+2P)/S+1＝W2 (11)
若令W1＝W2便则可计算填充0的Padding的值为多少。
S530：采用预设的卷积模式对每个卷积层进行卷积并采用预设的池化函数进行降采样，得到多个不同空间分辨率的特征图。
预设的卷积模式可以是same卷积模式。图像经过卷积层前后尺寸不发生变化，而神经网络池化层可以采用2×2的最大池化，每经过一个池化层图像的宽和高就变为原来的二分之一。在其中一个实施例中，如图4所示，可以使用有7个卷积层和5个池化层的神经网络。经过卷积层和池化层，可以得到多个不同空间分辨率，即不同尺寸大小的特征图。这些不同空间分辨率的特征图，既包括了语义性能高的信息部分，也包括了更多的细节特征。
对多个空间分辨率的特征图进行上采样，得到多个层级的具有目标空间分辨率的上采样特征图的步骤S700包括：
S710：对多个不同空间分辨率的特征图进行上池化(Unpooling)，对上池化处理结果进行卷积得到多个层级的具有目标空间分辨率的上采样特征图。
为了使得各个来源的feature map(特征图)恢复到原图的尺寸(输入神经网络模型的图像尺寸)，这里采用反卷积的方式，首先对特征图各神经元之间进行0填充，即上池化；然后再进行卷积运算，卷积运算的计算公式同上面公式(11)，同样可以推出Padding的值。
以有5个池化层(pool)和7个卷积层(conv)的神经网络为例，对于conv7输出的feauture map(特征图)，上采样步长为32，若一步将预测大小恢复为原图像大小(输入神经网络的图的尺寸大小)，这样做导致损失信息过多的信息，结果不够精细，为了解决此问题，采用跳级连接的策略。首先将最后一层卷积层上采样(具有目标空间分辨率的特征图的第一来源)；然后将最后一层卷积层和pool4的预测结合起来，结合后上采样恢复为原图大小，使网络能够更好地预测细节，同时保留高级别的语义信息(具有目标空间分辨率的特征图的第二来源)；同样的，将conv5的输出先上采样再结合pool3输出，将二者结合后的结果再上采样为原图大小(具有目标空间分辨率的特征图的第三来源)，可获得更高的精度。
最后将这三个来源的feature map(特征图)相融合，得到最终的feature map，即具有目标空间分辨率的上采样特征图。该神经网络的损失函数为最后一层中每个像素的softmax损失之和，运用梯度下降法进行反向传播训练，最后达到一个性能优秀的分类模型。
将最终得到的feature map(特征图)中的每一个像素点都单独输入该网络，利用sigmoid函数进行分类，由于这是一个二分类问题，阈值设定为0.5，用来判定其属于铁轨还是属于背景，并将属于相同类别的像素点赋予同一种颜色(即进行标识，标识的方式可不局限于颜色标识)，映射到其在原图中所对应的像素点中，完成铁轨的分割。
在其中一个实施例中，如图4-5所示，神经网络模型具有5个池化层和7个卷积层；多个不同空间分辨率的特征图包括1/8原图尺寸大小的特征图、1/16原图尺寸大小的特征图和1/32原图尺寸大小的特征图；
对多个不同空间分辨率的特征图进行上池化，对上池化处理结果进行卷积得到多个层级的具有目标空间分辨率的上采样特征图的步骤S710包括：
对1/16原图尺寸大小的特征图进行上采样，并将上采样结果与第四池化层相结合后再进行上采样为具有目标空间分辨率的上采样特征图；
对1/8原图尺寸大小的特征图进行上采样，并将上采样结果与第三池化层相结合后再进行上采样为具有目标空间分辨率的上采样特征图；
将1/32原图尺寸大小的特征图进行上采样为具有目标空间分辨率的上采样特征图。
假设获取了三个视角下的目标图像，则每个视角输入一帧，共输入三幅图像。
分别对这三张图片进行小波分解，将图像分解为小波信号的叠加，根据公式(8)-(10)分别计算出三个视角对应的去噪阈值，然后求取平均数，作为最终阈值。以特定的某张图像举例，依据所计算出的最终阈值进行信号和噪声的区分：小波分量系数大于该阈值的，视为有效信号进行保留；小波分量系数小于该阈值的，视为噪声，系数置零。由此完成小波去噪处理。
接下来将去噪后的滤波图片统一尺寸至224*224*3，输入卷积神经网络中，经过网络处理，输出一个尺寸同样为224*224*3的具有目标空间分辨率的上采样特征图。特征图的来源有三种：第一种是将conv7的输出(1/32原图尺寸大小的特征图)经过步长为32的采样恢复至224*224*3；第二种是将conv7的输出进行步长为2的上采样(1/16原图尺寸大小的特征图)，然后和pool4的预测结合起来，再进行步长为16的上采样恢复为原图大小；第三种是将conv5的输出(1/8原图尺寸大小的特征图)先进行步长为2的上采样再结合pool3输出，最后进行步长为8的上采样至原图大小。
需要说明的是，基于特征融合的语义分割实现过程中，不局限于采用如上几个层级的特征图，也可以其他层的特征图进行上采样后再融合，只要是能够充分保留细节特征和兼顾语义性能的层级选取均属于本申请所要保护的范围。
在其中一个实施例中，对各视角对应的上采样特征图进行特征融合和语义分割，得到铁轨分割结果的步骤包括：
对多层级的具有目标空间分辨率的上采样特征图进行特征融合，得到特征融合图像。
利用分类模型确定特征融合图像的像素点中属于铁轨的像素点，并对属于铁轨的像素点进行标识。
将标识后的属于铁轨的像素点映射到目标图像中，得到铁轨分割结果。
以分类模型为softmax函数，标识方式为颜色标识为例进行说明。将上面得到的各层级的上采样特征图进行特征融合，然后将融合后的特征图中的每一像素点都用softmax函数进行类别的判定，将属于铁轨的像素点赋予同样的颜色，即可完成铁轨的分割。
在其中一个实施例中，利用分类模型确定特征融合图像的像素点中属于铁轨的像素点的步骤包括：
利用sigmoid函数将特征融合图像中的每个像素点映射到(0，1)；
然后根据映射后得到的值与分类阈值的大小关系，排除不属于铁轨的像素点得到属于铁轨的像素点。
在其中一个实施例中，该分类阈值可以选用0.5。
本申请实施例提供的铁轨分割方法，通过获取多个视角下的目标图像，这些目标图像中均包含铁轨，然后对各个视角下的目标图像均进行去噪处理，利用小波变换实现滤波，去除噪声信号，提高后续图像处理的数据处理有效性，提高处理效率；对于滤波后的图像，利用神经网络模型，得到多个不同层级的特征图(即不同空间分辨率的特征图，也就是不同尺寸的特征图)，再对各个空间分辨率的特征图进行上采样得到具有目标空间分辨率的上采样特征图，利用神经网络学习能力，可以得到高质量的特征，最后再利用各卷积层级的上采样特征图进行特征融合，既可以保留高级别的语义信息，也可以更好地预测细节，获得更高的精度，利用该特征融合后的图像进行语义分割，得到的铁轨分割结果(即从目标图像中分割出铁轨部分)精度高。
应该理解的是，虽然图2、3、5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、3、5中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
一种铁轨分割装置，如图6所示，该装置包括：
图像获取模块10，用于获取多个视角下的目标图像，目标图像是指包含铁轨的场景图像；
滤波模块20，用于对各视角下的目标图像进行小波去噪处理，得到各视角下的滤波图像；
机器学习模块30，用于将滤波图像输入至神经网络模型中，得到具有多个不同空间分辨率的特征图；
上采样模块40，用于对多个空间分辨率的特征图进行上采样，得到多个层级的具有目标空间分辨率的上采样特征图；
铁轨分割执行模块50，用于对各视角对应的上采样特征图进行特征融合和语义分割，得到铁轨分割结果。
本申请实施例提供的铁轨分割装置中的各功能模块，除了可以执行这里列出的方法步骤，还可以执行上述任意铁轨分割方法中的其他方法步骤，以实现相应的有益效果，在此不再赘述。
关于铁轨分割装置的具体限定可以参见上文中对于铁轨分割方法的限定，在此不再赘述。上述铁轨分割装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过***总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储分类阈值、神经网络模型等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种铁轨分割方法。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
S100：获取多个视角下的目标图像，所述目标图像是指包含铁轨的场景图像；
S300：对各视角下的目标图像进行小波去噪处理，得到各视角下的滤波图像；
S500：将所述滤波图像输入至神经网络模型中，得到具有多个不同空间分辨率的特征图；
S700：对多个空间分辨率的特征图进行上采样，得到多个层级的具有目标空间分辨率的上采样特征图；
S900：对各视角对应的上采样特征图进行特征融合和语义分割，得到铁轨分割结果。
一种铁轨分割处理***，该***包括：
多图像采集平台200，多图像采集平台200用于采集不同视角下的目标图像，目标图像为包含铁轨600的场景图像；
一种计算机设备400，计算机设备400与多图像采集平台200通信连接，计算机设备400包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述方法的步骤。
其中，多图像采集平台200可以是设置有多个摄像角度的相机的平台，也可以是具有相机可以转动以获取不同视角下目标图像的装置。该铁轨分割处理***，通过利用计算机设备400的计算能力和多图像采集平台200的图像获取能力，利用多视角下的图像，挖掘更多的铁轨特征，并结合算法改进，实现图像较高语义性能和丰富细节特征的双重保证，从而提高铁轨图像分割结果的精准度。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
S100：获取多个视角下的目标图像，所述目标图像是指包含铁轨的场景图像；
S300：对各视角下的目标图像进行小波去噪处理，得到各视角下的滤波图像；
S500：将所述滤波图像输入至神经网络模型中，得到具有多个不同空间分辨率的特征图；
S700：对多个空间分辨率的特征图进行上采样，得到多个层级的具有目标空间分辨率的上采样特征图；
S900：对各视角对应的上采样特征图进行特征融合和语义分割，得到铁轨分割结果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种铁轨分割方法，其特征在于，所述方法包括：
获取多个视角下的目标图像，所述目标图像是指包含铁轨的场景图像；
对各视角下的目标图像进行小波去噪处理，得到各视角下的滤波图像；
将所述滤波图像输入至神经网络模型中，得到具有多个不同空间分辨率的特征图；
对多个空间分辨率的特征图进行上采样，得到多个层级的具有目标空间分辨率的上采样特征图；所述目标空间分辨率是指与神经网络输入图片的分辨率一致的空间分辨率；
对各视角对应的上采样特征图进行特征融合和语义分割，得到铁轨分割结果。
2.根据权利要求1所述的方法，其特征在于，所述对各视角下的目标图像进行小波去噪处理，得到各视角下的滤波图像的步骤包括：
对各视角下的目标图像进行小波分解，得到分解后的信号；
计算各视角下的小波阈值；
将各视角下的小波阈值的平均值作为最终阈值；
根据所述最终阈值对小波分解后的信号进行小波阈值去噪，并对去噪后的信号进行小波重构得到各视角下的滤波图像。
3.根据权利要求2所述的方法，其特征在于，所述根据所述最终阈值对小波分解后的信号进行小波阈值去噪的步骤包括：
去除小波系数值小于所述最终阈值的经小波分解后的信号，保留小波系数值大于所述最终阈值的经小波分解后的信号。
4.根据权利要求1所述的方法，其特征在于，所述将所述滤波图像输入至神经网络模型中，得到具有多个不同空间分辨率的特征图的步骤包括：
将各所述滤波图像统一处理为具有目标分辨率的特征图并输入至神经网络模型中；
采用预设的卷积模式对每个卷积层进行卷积并采用预设的池化函数进行降采样，得到多个不同空间分辨率的特征图；
所述对多个空间分辨率的特征图进行上采样，得到多个层级的具有目标空间分辨率的上采样特征图的步骤包括：
对所述多个不同空间分辨率的特征图进行上池化，对上池化处理结果进行卷积得到多个层级的具有目标空间分辨率的上采样特征图。
5.根据权利要求4所述的方法，其特征在于，所述神经网络模型具有7个卷积层和5个池化层；多个不同空间分辨率的特征图包括1/8原图尺寸大小的特征图、1/16原图尺寸大小的特征图和1/32原图尺寸大小的特征图；
所述对所述多个不同空间分辨率的特征图进行上池化，对上池化处理结果进行卷积得到多个层级的具有目标空间分辨率的上采样特征图的步骤包括：
对所述1/16原图尺寸大小的特征图进行上采样，并将上采样结果与第四池化层相结合后再进行上采样为具有目标空间分辨率的上采样特征图；
对所述1/8原图尺寸大小的特征图进行上采样，并将上采样结果与第三池化层相结合后再进行上采样为具有目标空间分辨率的上采样特征图；
将所述1/32原图尺寸大小的特征图进行上采样为具有目标空间分辨率的上采样特征图。
6.根据权利要求1-5中任一项所述的方法，其特征在于，所述对各视角对应的上采样特征图进行特征融合和语义分割，得到铁轨分割结果的步骤包括：
对多层级的具有目标空间分辨率的上采样特征图进行特征融合，得到特征融合图像；
利用分类模型确定特征融合图像的像素点中属于铁轨的像素点，并对所述属于所述铁轨的像素点进行标识；
将标识后的所述属于铁轨的像素点映射到所述目标图像中，得到铁轨分割结果。
7.根据权利要求6所述的方法，其特征在于，利用分类模型确定特征融合图像的像素点中属于铁轨的像素点的步骤包括：
利用sigmoid函数将所述特征融合图像中的每个像素点映射到(0，1)；
然后根据映射后得到的值与分类阈值的大小关系，排除不属于铁轨的像素点得到属于铁轨的像素点。
8.一种铁轨分割装置，其特征在于，所述装置包括：
图像获取模块，用于获取多个视角下的目标图像，所述目标图像是指包含铁轨的场景图像；
滤波模块，用于对各视角下的目标图像进行小波去噪处理，得到各视角下的滤波图像；
机器学习模块，用于将所述滤波图像输入至神经网络模型中，得到具有多个不同空间分辨率的特征图；
上采样模块，用于对多个空间分辨率的特征图进行上采样，得到多个层级的具有目标空间分辨率的上采样特征图；所述目标空间分辨率是指与神经网络输入图片的分辨率一致的空间分辨率；
铁轨分割执行模块，用于对各视角对应的上采样特征图进行特征融合和语义分割，得到铁轨分割结果。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种铁轨分割处理***，其特征在于，所述***包括：
多图像采集平台，所述多图像采集平台用于采集不同视角下的目标图像，所述目标图像为包含铁轨的场景图像；
计算机设备，所述计算机设备与所述多图像采集平台通信连接，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
CN202110565485.9A 2021-05-24 2021-05-24 铁轨分割方法、装置、计算机设备和铁轨分割处理*** Active CN113362338B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110565485.9A CN113362338B (zh) 2021-05-24 2021-05-24 铁轨分割方法、装置、计算机设备和铁轨分割处理***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110565485.9A CN113362338B (zh) 2021-05-24 2021-05-24 铁轨分割方法、装置、计算机设备和铁轨分割处理***

Publications (2)

Publication Number Publication Date
CN113362338A CN113362338A (zh) 2021-09-07
CN113362338B true CN113362338B (zh) 2022-07-29

Family

ID=77527422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110565485.9A Active CN113362338B (zh) 2021-05-24 2021-05-24 铁轨分割方法、装置、计算机设备和铁轨分割处理***

Country Status (1)

Country Link
CN (1) CN113362338B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821506A (zh) * 2022-05-11 2022-07-29 北京地平线机器人技术研发有限公司 多视角语义分割方法、装置、电子设备和存储介质
CN115049820A (zh) * 2022-05-11 2022-09-13 北京地平线机器人技术研发有限公司 遮挡区域的确定方法、装置和分割模型的训练方法
CN116563285B (zh) * 2023-07-10 2023-09-19 邦世科技(南京)有限公司 一种基于全神经网络的病灶特征识别与分割方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109389056A (zh) * 2018-09-21 2019-02-26 北京航空航天大学 一种空基多视角协同的轨道周边环境检测方法
CN110598166A (zh) * 2019-09-18 2019-12-20 河海大学 一种自适应确定小波分层级数的小波去噪方法
CN111104962A (zh) * 2019-11-05 2020-05-05 北京航空航天大学青岛研究院 图像的语义分割方法、装置、电子设备及可读存储介质
CN112183360A (zh) * 2020-09-29 2021-01-05 上海交通大学 高分辨率遥感影像的轻量化语义分割方法
CN112651973A (zh) * 2020-12-14 2021-04-13 南京理工大学 基于特征金字塔注意力和混合注意力级联的语义分割方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109118491A (zh) * 2018-07-30 2019-01-01 深圳先进技术研究院 一种基于深度学习的图像分割方法、***及电子设备
CN110276354B (zh) * 2019-05-27 2023-04-07 东南大学 一种高分辨率街景图片语义分割训练与实时分割方法
CN111028217A (zh) * 2019-12-10 2020-04-17 南京航空航天大学 一种基于全卷积神经网络的图像裂缝分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109389056A (zh) * 2018-09-21 2019-02-26 北京航空航天大学 一种空基多视角协同的轨道周边环境检测方法
CN110598166A (zh) * 2019-09-18 2019-12-20 河海大学 一种自适应确定小波分层级数的小波去噪方法
CN111104962A (zh) * 2019-11-05 2020-05-05 北京航空航天大学青岛研究院 图像的语义分割方法、装置、电子设备及可读存储介质
CN112183360A (zh) * 2020-09-29 2021-01-05 上海交通大学 高分辨率遥感影像的轻量化语义分割方法
CN112651973A (zh) * 2020-12-14 2021-04-13 南京理工大学 基于特征金字塔注意力和混合注意力级联的语义分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Feature Pyramid Networks for Object Detection;Tsung-Yi Lin .etc;《arXiv》;20170419;全文 *
Padding 权重化的卷积神经网络;刘之瑜 等;《新一代信息技术》;20201130;第3卷(第21期);全文 *

Also Published As

Publication number Publication date
CN113362338A (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
US12008797B2 (en) Image segmentation method and image processing apparatus
CN111047516B (zh) 图像处理方法、装置、计算机设备和存储介质
CN113362338B (zh) 铁轨分割方法、装置、计算机设备和铁轨分割处理***
CN110599401A (zh) 遥感图像超分辨率重建方法、处理装置及可读存储介质
CN111709895A (zh) 基于注意力机制的图像盲去模糊方法及***
CN111861894B (zh) 基于生成式对抗网络的图像去运动模糊方法
CN111105352A (zh) 超分辨率图像重构方法、***、计算机设备及存储介质
WO2022134971A1 (zh) 一种降噪模型的训练方法及相关装置
CN108694705A (zh) 一种多帧图像配准与融合去噪的方法
CN113450288B (zh) 基于深度卷积神经网络单图像去雨方法、***和存储介质
Wang et al. MAGAN: Unsupervised low-light image enhancement guided by mixed-attention
CN112634163A (zh) 基于改进型循环生成对抗网络去图像运动模糊方法
CN110809126A (zh) 一种基于自适应可变形卷积的视频帧插值方法及***
Zhu et al. PNEN: Pyramid non-local enhanced networks
CN116485741A (zh) 一种无参考图像质量评价方法、***、电子设备及存储介质
WO2022233252A1 (zh) 图像处理方法、装置、计算机设备和存储介质
CN112509144A (zh) 人脸图像处理方法、装置、电子设备及存储介质
CN107085826B (zh) 基于加权重叠非局部回归先验的图像超分辨率重建方法
CN115205136A (zh) 一种基于傅里叶先验的图像去雨方法
CN116977200A (zh) 视频去噪模型的处理方法、装置、计算机设备和存储介质
CN116385281A (zh) 一种基于真实噪声模型与生成对抗网络的遥感图像去噪方法
CN114092610B (zh) 一种基于生成对抗网络的人物视频生成方法
CN114841873A (zh) 一种基于生成对抗网络的图像运动模糊盲去除方法
Voronin et al. Video inpainting of complex scenes based on local statistical model
Chen et al. Infrared and visible image fusion with deep wavelet-dense network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant