CN116958825A - 一种移动式遥感图像采集方法及公路维护监测方法 - Google Patents

一种移动式遥感图像采集方法及公路维护监测方法 Download PDF

Info

Publication number
CN116958825A
CN116958825A CN202311088729.4A CN202311088729A CN116958825A CN 116958825 A CN116958825 A CN 116958825A CN 202311088729 A CN202311088729 A CN 202311088729A CN 116958825 A CN116958825 A CN 116958825A
Authority
CN
China
Prior art keywords
feature
network
diagnosis
image
constructing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311088729.4A
Other languages
English (en)
Other versions
CN116958825B (zh
Inventor
沈永飞
程向军
付二全
陈功
钱振宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inner Mongolia Hohhot New Airport Expressway Management Co ltd
China Highway Engineering Consultants Corp
CHECC Data Co Ltd
Original Assignee
Inner Mongolia Hohhot New Airport Expressway Management Co ltd
China Highway Engineering Consultants Corp
CHECC Data Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inner Mongolia Hohhot New Airport Expressway Management Co ltd, China Highway Engineering Consultants Corp, CHECC Data Co Ltd filed Critical Inner Mongolia Hohhot New Airport Expressway Management Co ltd
Priority to CN202311088729.4A priority Critical patent/CN116958825B/zh
Publication of CN116958825A publication Critical patent/CN116958825A/zh
Application granted granted Critical
Publication of CN116958825B publication Critical patent/CN116958825B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/182—Network patterns, e.g. roads or rivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种移动式遥感图像采集方法及公路维护监测方法，用于路面病害诊断，涉及道路检测技术领域，包括：采集图像数据并进行预处理；构建集成的特征提取网络A1，提取不同视角下的图像多视角特征表示，并输出第一特征；构建注意力特征融合模型，对所述多视角特征进行加权并与第一特征连接，得到第二特征；构建基于强化学习的诊断策略网络，经训练输出第一诊断结果；构建单一的特征提取网络A2，输出第二诊断结果；比较第一诊断结果和第二诊断结果的诊断精度，选择诊断精度最高的作为最终诊断结果。通过构建集成学习框架，融合多个卷积神经网络和树系集成学习模型，实现对路面图像的病害类别及损伤程度的精确判断，提高了路面病害的诊断精度。

Description

一种移动式遥感图像采集方法及公路维护监测方法
技术领域
本发明涉及道路检测技术领域，特别涉及一种移动式遥感图像采集方法及公路维护监测方法。
背景技术
随着社会经济的快速发展，各类交通设施建设不断完善，路网规模持续扩大，路面病害的发生频率和损伤程度也日益增加。路面病害不仅会降低行车舒适性，更会对行车安全产生重大隐患。因此，及时准确地诊断路面病害，进行科学维修保养，是保障道路安全质量的重要环节。
在相关技术中，比如中国专利文献CN114882474A中提供了基于卷积神经网络的道路病害检测方法及***，基于生成对抗网络的阴影去除模块去除待检测道路病害图像的阴影；基于去除阴影后的图像和目标检测模型检测得到道路病害类型；其中，所述目标检测模型的构建过程为：采用融合卷积注意力模块的Yolov5目标检测网络，分别在通道和空间维度上执行注意力机制，提取得到不同维度的特征图；基于特征双向融合的思想，采用自适应特征融合方法对不同维度的特征图进行加权融合得到融合的特征图。但是该方案至少存在如下技术问题：
生成对抗网络去除阴影模块易导致过度去噪，丢失部分病害特征，单一的目标检测网络结构，提取的特征表达能力和区分度有限，导致分类误判率较高，因此该方案的诊断精度有待提高。
发明内容
1.要解决的技术问题
针对现有技术中存在的路面病害诊断精度低的问题，本发明提供了一种移动式遥感图像采集方法及公路维护监测方法，通过构建集成学习框架，融合多个卷积神经网络和树系集成学习模型，实现对路面图像的病害类别及损伤程度的精确判断，大幅提高了路面病害的诊断精度。
2.技术方案
本发明的目的通过以下技术方案实现。
本说明书实施例提供一种移动式遥感图像采集方法及公路维护监测方法，用于路面病害诊断，包括：采集图像数据；对采集的图像数据进行预处理；构建集成的特征提取网络A1，输入预处理后的图像，提取不同视角下的图像多视角特征表示，并输出第一特征；构建注意力特征融合模型，输入多视角特征表示，对多视角特征进行加权并与第一特征连接，得到第二特征；构建基于强化学习的诊断策略网络，输入第二特征，经训练输出第一诊断结果；构建单一的特征提取网络A2，输入为预处理后的图像，输出第二诊断结果；比较第一诊断结果和第二诊断结果的诊断精度，选择诊断精度最高的作为最终诊断结果。
进一步地，预处理包括：对采集的原始图像进行高斯滤波，输出滤波后的图像B1；对图像B1进行基于对比度限制的自适应对比度增强，输出增强后的图像B2；根据摄像头参数和路面模型对图像B2进行畸变校正，输出校正后的图像B3；对图像B3进行图像分割，提取出路面区域图像B4；将图像B4进行颜色空间转换，输出转换到目标颜色空间的图像B5。
进一步地，构建集成的特征提取网络A包括：构建第一特征提取子网络，以预处理后的图像为输入，采用ResNet、DenseNet和Inception Net进行基础特征提取，输出基础特征图C1；构建第二特征提取子网络，以预处理后的图像为输入，采用ASFF网络和空间变换网络学习特征的多视角表示，输出多视角特征图C2；构建第三特征提取子网络，以C1和C2为输入，采用SENet进行特征选择与融合，输出第一特征；将第一特征提取子网络、第二特征提取子网络和第三特征提取子网络进行连接集成，构建集成的特征提取网络A1。
进一步地，获取第二特征表示包括：构建注意力特征融合模型，以多视角特征图C2为输入，并对C2进行加权，输出加权的多视角特征C2'；将加权的多视角特征C2'与第一特征进行连接，生成第二特征。
进一步地，获取加权的多视角特征C2'包括：将多视角特征图输入注意力特征融合模型；注意力特征融合模型通过自编码器结构学习重建输入特征图；获取输入特征图与重建特征图之间的均方误差作为重构损失；获取注意力权重系数，并计算注意力损失函数；联合最小化重构损失和注意力损失，通过反向传播算法更新注意力权重系数；利用更新后的注意力权重系数和多视角特征图，输出加权的多视角特征C2'。
进一步地，生成第二特征包括：定义第二特征的参数，参数同时关联第一特征和加权多视角特征；构建特征融合损失函数，包含第一特征的分类损失、加权多视角特征的重构损失和第二特征的注意力损失；通过反向传播算法训练第二特征的参数，最小化特征融合损失函数；根据训练后的第二特征的参数，基于第一特征和加权多视角特征计算生成第二特征。
进一步地，获取第一诊断结果包括：构建基于强化学习的诊断策略网络，输入第二特征；定义强化学习环境，将路面图像及对应疾病标签定义为环境状态，诊断策略网络定义为智能体；目标函数为最大化诊断过程的累计奖励；在定义的强化学习环境中，诊断策略网络以环境状态为输入，输出对路面图像的诊断分类结果；强化学习环境根据诊断分类结果，生成反馈奖励传回给诊断策略网络；利用深度Q网络进行经验回放；通过反向传播联合训练Q网络和诊断策略网络；利用训练后的诊断策略网络输出表示第一诊断结果的分类结果或置信度。
进一步地，获取第二诊断结果包括：构建卷积神经网络作为特征提取网络A2，输入为经过预处理后的图像；特征提取网络A2通过卷积层、池化层对输入图像进行特征提取，输出图像的特征表示；在特征提取网络A2后连接全连接层，全连接层对提取的特征进行处理，输出第二诊断结果；第二诊断结果表示特征提取网络A2对预处理后的图像进行的诊断预测结果。
进一步地，获取最终诊断结果包括：构建集成学习模型，输入为第一诊断结果和第二诊断结果；集成学习模型包含多个基学习器，基学习器分别对第一诊断结果和第二诊断结果进行训练；对验证集上的样本，利用基学习器对第一诊断结果和第二诊断结果进行预测，生成元预测；集成学习模型整合基学习器的元预测，生成第一集成预测结果和第二集成预测结果，比较第一集成预测结果和第二集成预测结果在验证集上的诊断性能指标；选择诊断性能指标最优的集成预测结果所对应的原始诊断结果，作为最终诊断结果。
进一步地，基学习器为梯度提升决策树或随机森林。
3.有益效果
相比于现有技术，本发明的优点在于：
(1)构建了融合多种卷积神经网络的集成诊断框架，不同网络在特征提取方面互补，可以学习到更加全面和抽象的路面病害特征表示，提高区分不同病害类别的能力，进而提高诊断精度；
(2)采用多种正则化策略优化网络结构，并使用验证集调节模型复杂度，可以获得更好的泛化性，适应未知的复杂道路环境，减少误诊，从而提供诊断精度；
(3)集成多个互补的基学习器，进行元学习预测，可以提高单个模型的诊断稳定性，不同模型可以相互校正偏差，输出更准确的综合诊断结果，因此从根本上提高了诊断精度。
附图说明
本说明书将以示例性实施例的方式进一步描述，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：
图1是根据本说明书一些实施例所示的一种移动式遥感图像采集方法及公路维护监测方法的示例性流程图；
图2是根据本说明书一些实施例所示的图像预处理的示意图；
图3是根据本说明书一些实施例所示的构建集成的特征提取网络A的示意图；
图4是根据本说明书一些实施例所示的生成第二特征的示意图；
图5是根据本说明书一些实施例所示的获取第一诊断结果的示意图；
图6是根据本说明书一些实施例所示的获取第二诊断结果的示意图；
图7是根据本说明书一些实施例所示的获取最终诊断结果的示意图。
名词解释
路面病害诊断，路面病害指的是道路路面在使用过程中出现的各种破损、变形、病害等情况，主要包括裂纹、坑洼、溢浆、龟裂等。这些路面病害会对道路的正常使用造成影响，需要及时进行检测和诊断，以便进行维修保养。
多视角特征，该技术方案中提出构建集成的特征提取网络，其中包含学***移图像来模拟不同视角，或者使用类似ASFF网络的多分支结构，在不同分支上学习各自的特征表示，并最终融合为全面的多视角特征描述。这种多视角的特征表达方式，可以捕捉目标的多维度信息，使特征表达更加丰富和全面。相比单一视角的特征，多视角特征可以更全面和立体化地表示目标，提高特征对目标的刻画能力。在路面病害诊断中，不同类型病害往往有方向性差异，因此使用多视角特征可以帮助网络学习这些细微差异，提高诊断***对各类路面病害的区分能力。
特征融合，该技术方案中提出了构建注意力特征融合模型，对提取的多视角特征进行加权和融合，生成更加表达能力强的特征表示。特征融合是指结合两个或多个特征表达，获得一个新的、更加丰富和全面的特征表示的过程。该方案采用注意力机制进行特征融合，其主要思想是：计算各个多视角特征的重要性权重，突出比较重要的特征；按照权重对各特征进行加权，使重要特征能够发挥更大的作用；将加权后的多视角特征与基础特征连接，获得融合的新特征。相比简单拼接特征，注意力融合可以突出对诊断更加敏感和重要的特征，生成更具判别性的特征表示。特征的高效融合，可以使网络集中关注对目标任务更加相关的特征，提高模型的表达能力。
高斯滤波，该技术方案中提到，在图像预处理环节使用高斯滤波对采集的原始图像进行滤波处理。高斯滤波是一种线性平滑滤波，可以用来减少图像中的高频噪声成分。高斯滤波的原理是：使用二维高斯函数作为滤波核，与图像做卷积，对图像进行加权平均。高斯滤波的特点是：能有效抑制噪声。高斯函数对近邻点赋予较高权重，对远离点赋予较低权重，因此有效平滑噪声；保留边缘信息。高斯核函数值由中心向两端递减，避免了边缘的模糊；无振铃现象，由于高斯函数在时域和频域都较为平滑，滤波后的信号没有明显的振铃现象；简单易实现。核函数可分离，计算过程较为简单。在该技术方案中，使用高斯滤波可以去除图像采集过程中的高频噪声，提升后续处理的图像质量，为特征提取和诊断提供清晰的图像输入，提高***稳定性。
对比度限制，该技术方案在图像预处理中使用了基于对比度限制的自适应对比度增强方法。对比度限制的目的是防止图像在增强对比度时出现失真。对比度增强会扩大图像亮度范围，如果不加以限制，可能导致：图像灰度超出表示范围，出现反转或饱和；噪声被过度放大；细节被过度增强产生反转。因此，对比度限制的自适应增强算法会：计算图像各区域的对比度分布；根据分布情况，设定各区域的对比度增强上下限；在限制范围内，自适应地提升对比度。这样可以避免对比度增强时引入新的失真，获得更自然的增强效果。在该技术方案中，采用这种增强方式可以提升图像对比度的同时保留原有细节，为后续的特征表达提供质量更高的图像输入，提高诊断性能。
自适应对比度增强，该技术方案在图像预处理中，使用了自适应对比度增强方法来提升图像对比度。自适应对比度增强的主要思想是：将图像分割成多个区域，每个区域计算自己的对比度分布；根据每个区域自己的分布情况，自动设定增强的对比度参数；在各区域内部分别增强对比度。这样不同区域可以有不同的增强程度，而不会因为某些区域对比度已经很高而出现反转等问题。自适应对比度增强的优点包括：保留了每个区域原有的对比度层次关系；避免了整体强度增强可能造成的饱和反转；增强效果自然，没有显著的分割痕迹；细节增强程度更高。在该技术方案中，使用自适应对比度增强，可以针对性提升图像的对比度，为后续处理提供质量更高的输入图像，以提高最终的诊断效果。
畸变校正，该技术方案在图像预处理中，提到根据摄像头参数和路面模型对图像进行畸变校正。在移动式图像采集中，由于摄像角度和距离变化，会导致采集图像出现各种几何畸变，主要包括：条纹畸变：图像出现不等间距平行线；顶点畸变：直线在图像上呈弯曲状；弓形畸变：直线成弓形；等距离畸变：图形形状扭曲。这会对后续的特征表达和分析产生负面影响。因此，需要根据摄像头内参和路面模型，构建图像的几何映射关系，并进行逆变换，将畸变的图像恢复到标准正视图，这就是畸变校正过程。该技术方案中使用畸变校正可以消除移动采集的视角影响，改善图像质量，提升后续处理的效果。
图像分割，该技术方案在图像预处理中提到进行图像分割，提取出路面区域图像。图像分割是指将图像按照特征或语义进行划分，使得不同目标、不同语义区域被分离开来。在该技术方案中，由于我们关注的是路面病害诊断，所以需要从整张图像中分割出路面的区域。常用的分割方法有：基于边缘检测和分水岭算法的分割；基于区域生长和分割的方法；基于深度学习的语义分割通过提取出路面区域，可以剔除无关区域的干扰信息，使后续处理更聚焦于路面特征。图像分割可以提高处理效率，也使诊断***更加符合人的语义认知。因此，该技术方案提出的图像分割处理是合理的。它为后续诊断提供了更清晰、聚焦的路面图像输入。
颜色空间转换，该技术方案在图像预处理中提到了进行RGB到HSI颜色空间的转换。颜色空间转换是指将图像从一个颜色***表示转换到另一个***。不同的颜色空间对图像颜色信息的描述侧重点不同。RGB空间直观对应红、绿、蓝三个通道。而HSI空间中的H通道表示色调，S表示饱和度，I表示强度。RGB到HSI的转换可以获得更加抽象的颜色特征表示。其中，H和S反映颜色属性，I反映明暗程度。相比RGB空间，HSI空间具有以下优点：更加接近人眼对颜色的感知；颜色信息独立于强度，更加鲁棒；有利于分离颜色特征和去除光照影响。因此，该技术方案通过RGB到HSI的转换，可以获得对颜色更加敏感的特征，用于提高路面病害的识别率，如裂纹、剥落等。
ResNet，该技术方案在构建特征提取网络时采用了ResNet(残差网络)作为子网络之一。ResNet是一个卷积神经网络结构，其特点是在网络中引入了残差连接。即在网络层之间添加按像素直接相加的跳过连接，实现跨层信息传递。相比普通的线性网络，ResNet有以下优点：残差连接实现梯度直传，缓解梯度消失问题，使网络训练更容易；引入了跨层通道，增加信息流动，提高特征学习能力；网络堆叠更深时参数量不会明显增加；在图像识别任务上表现优异。在该技术方案中，采用ResNet作为子网络，可以学习到路面图像的全局性特征，并使网络更易训练。
DenseNet，该技术方案在构建特征提取网络时采用了DenseNet(稠密连接网络)作为子网络之一。DenseNet的特点是网络中各层之间特征图是互连的，每层都直接获取前面所有层的特征图作为输入。这种稠密连接结构的优点包括：加强特征的再利用，避免重复学习；梯度可以直接反向传播，缓解梯度消失；特征互联集成有利于增强特征表达；参数利用效率高，模型尺寸小；在图像分类效果上非常优异。在该技术方案中，使用DenseNet可以学习到路面图像的细粒度特征，增强特征表达能力，为病害诊断提供丰富的特征表示。
InceptionNet，该技术方案在构建特征提取网络时采用了Inception Net作为子网络之一。InceptionNet的关键创新是提出了Inception模块，该模块通过在一个网络层中同时使用不同大小的卷积核来并行捕捉各种规模的特征。典型的Inception模块包含1x1，3x3，5x5卷积和3x3最大池化4种并行操作。这种结构的优势有：多尺度卷积能够同时学习全局和局部特征；提高了网络对尺度的适应性；不同卷积结果融合可以增强特征的表达能力；在图像分类任务上效果显著。在该技术方案中，应用InceptionNet可以同时学习路面图像的全局性和局部特征，提高特征表达的多样性，为病害诊断提供丰富的特征表示。
ASFF网络，该技术方案在构建特征提取网络时采用了ASFF(AttentionalStructure Feature Fusion)网络作为子网络之一。ASFF网络的关键创新是提出了一种多分支的注意力特征融合结构。具体包括：网络包含多个并行的特征提取分支，每个分支学习不同方向的特征；引入注意力模块，学习每个分支的注意力权重；根据权重将不同分支的特征进行加权融合。这种结构的优势有：多分支学习可以获得多方向的特征表达；注意力机制可以加强对重要特征的聚焦；特征融合提高了表达的多样性；在目标检测等任务上效果明显。在该技术方案中，ASFF网络可以学习路面图像的多视角特征，提高特征表达的全面性，为病害诊断提供丰富的多角度特征。
空间变换网络，该技术方案在构建特征提取网络时，提到了使用空间变换网络作为一个子网络。空间变换网络的关键思想是：利用空间变换模块对输入特征图进行仿射变换，得到多个变换后的特征图；将变换后的特征图和原图进行结合，得到增强的特征表达。常见的空间变换包括平移、旋转、拉伸等操作。这种结构的优点有：空间变换引入多样性，增强特征表达；结合原始特征和变换特征，信息更加丰富；提升了模型对空间变化的适应能力；在图像分类任务上效果明显。在该技术方案中，空间变换网络可以学习路面图像在变换下的特征变化，提高对空间表示的敏感性，为病害诊断提取更丰富的特征。
SENet，该技术方案在构建特征提取网络时采用了SENet(Squeeze—and—Excitation Networks)作为子网络之一。SENet的关键创新是在网络模块内引入了注意力机制，可以学到特征通道之间的相关性，进行特征重新校准。具体来说，SENet模块包含以下步骤：使用全局池化压缩每个通道特征图，获取通道描述符；学习通道描述符之间的关系，得到通道权重；根据通道权重进行特征调节，增强重要特征通道。这种结构的优势有：引入了注意力概念，可以学习通道之间的关联性；调节和强化对当前任务相关的特征通道；提升了模型的表达能力；在图像分类效果上非常突出。在该技术方案中，使用SENet可以增强对路面图像关键特征的学习和表达，为病害诊断提供更加聚焦的特征。
注意力特征融合模型，该技术方案在整体框架中，使用注意力机制进行了多网络特征的融合。具体来说，注意力特征融合模型包含以下步骤：从多个特征提取子网络中获得各自学习到的特征表示；计算每个特征的注意力权重，评估其对当前任务的重要性；根据权重的大小，对各特征进行重新加权和选择；将调整过的各特征进行融合，得到最终的特征表示。这种结构的优点是：可以评估不同特征的作用，进行重点强化；去除对当前任务不敏感或者冗余的特征；融合得到全面的特征表达；提升模型对特征集成的能力。在该技术方案中，注意力特征融合使不同子网络的特征更好结合，提供全面而针对性强的特征，以提高后续诊断的效果。
自编码器，该技术方案在图像预处理模块中使用了自编码器进行图像去噪。自编码器是一种无监督的深度学习模型，其结构包含编码器和解码器两个部分。自编码器的工作流程是：编码器将输入压缩为潜在表示；解码器尝试从潜在表示中重构原始输入。在训练过程中，自编码器学习输入数据的内在结构表示。自编码器的去噪应用利用了它可以学习输入数据分布的特点。具体为：在输入端加入噪声，获得噪声样本；自编码器学习降噪映射，输出去噪结果；得到可消除噪声的模型。在该技术方案中，使用自编码器可以降低图像采集过程的噪声，提高后续处理图像质量。
重构损失(Reconstruction Loss)该技术方案在训练特征提取网络时，使用了重构损失作为附加的监督信号。重构损失指的是通过输入图像和网络重构图像之间的差异，来评价网络重构能力好坏的一种损失函数。具体来说，重构过程包括：输入图像进入特征提取网络，输出深层特征；深层特征通过解码器网络反向映射，重构为图像；计算输入图像和重构图像的差异作为重构损失。引入重构损失的目的是增强网络对输入图像特征的学习表达能力。其优点是可以从像素重构的角度指导网络学习更好地特征表示，增强特征表达的整体性。在该技术方案中，重构损失的使用可以促进网络学习对路面图像更加全面的特征描述，提高特征表达的效果，为后续诊断提供更丰富的特征支持。
注意力权重系数，该技术方案在注意力特征融合模块中，引入了注意力权重系数来评估不同特征的重要性。注意力权重系数反映了不同特征对当前任务的敏感程度。其计算公式如下：αi＝σ(wxi)，其中，xi表示第i个特征，w为可学习的参数，σ为sigmoid激活函数。注意力权重αi满足以下特点：αi表示该特征的重要性；通过学习w来判别不同特征的作用；σ函数进行归一化，使权重可比较。引入注意力权重的优点有：可以区分不同特征对任务的贡献；权重共同学习可以取得最优组合；有利于提取对当前任务敏感的特征子集。在该技术方案中，注意力权重的学习可以获得最优的特征融合方式，提升病害诊断的效果。
注意力损失函数，该技术方案在优化注意力特征融合模型时，使用了注意力损失函数作为约束项。注意力损失函数的设计目的是避免注意力权重系数过于稀疏化，使注意力机制真正发挥作用。注意力损失函数的计算公式如下：L_att＝mean(log(αi))其中，αi是第i个特征的注意力权重。可以看出，注意力损失函数实际上惩罚了权重系数过小的情况。引入该损失函数的优点是：避免权重系数值过小，特征被完全过滤的情况；有利于获得较均衡分布的权重；保证注意力机制发挥作用。在该技术方案中，注意力损失函数的使用可以避免特征选择过于极端，保证注意力机制的效果。
反向传播算法(Back Propagation，BP)该技术方案中多次提到了使用反向传播算法来训练构建的神经网络模型。反向传播算法是训练多层神经网络的常用方法，其原理是：前馈计算，输入数据按层传递到输出层，得到输出结果；计算输出结果与真实标签的误差损失；反向层层传播误差信号，指导每个连接的权重更新；重复该过程，逐步最小化损失，完成模型训练。反向传播算法的优点包括：可以高效自动化训练多层网络模型；权重更新归纳整个网络的输出误差；计算过程可以实现向量化，加速训练；可应用于各类网络结构。在该技术方案中，反向传播算法的使用可以自动优化构建的深度网络，使其完成特征提取和病害诊断这一学习任务。
分类损失(Classification Loss)该技术方案在构建病害分类模型时，使用了分类损失来优化模型参数。分类损失是评估分类结果好坏的指标，通常计算样本预测类别与真实类别之间的差异。常见的分类损失函数包括：交叉熵损失：计算预测概率分布与真实分布差异；牵制损失：仅考虑预测错的样本贡献；边际损失：考虑样本距离决策边界的远近。分类损失函数的设计目标是：能够量化分类错误的程度；对错分样本给予更大惩罚；具有可导性，支持模型训练。在该技术方案中，分类损失的使用可以评估病害分类结果的正确性，指导模型自动学习以提高分类性能。
强化学习(Reinforcement Learning)该技术方案在训练诊断模型时，提到了引入强化学习的策略。强化学习是一种通过奖励驱动的机器学习方法，其主要思想是：智能体与环境进行交互，执行动作，获得反馈；动作获得正奖励，则增强该行为发生概率；负奖励减少对应动作选择概率；最终获得能最大化累积奖励的策略。应用于该技术方案时，可以构建以下流程：诊断模型为智能体，可选择不同病害类别；正确诊断获得正奖励，反之则惩罚；通过奖励驱动调整模型参数，提高诊断正确率。引入强化学习的优点包括：不需要完整训练集，可以从交互中学习；奖励机制符合实际的强化需求；可以获得全局最优策略。
诊断策略网络该技术方案在构建诊断模型时，使用了诊断策略网络来完成多类别病害的识别与分类。诊断策略网络的构建思路是：设置不同病害类别的判别器，形成多输出分支；每个分支负责对应病害的二分类判断；最终通过多个分支的综合结果，完成多类别诊断。这种结构的优点包括：每个二分类器侧重对应病害的学习；分治思想减轻模型学习负担；不同分支融合可以形成强大策略；灵活支持新增诊断类别。在该技术方案中，诊断策略网络的构建可以分而治之完成各病害判定，从而提升多类别诊断的整体效果和扩展性。
强化学***台。构建强化学习环境需要定义：状态空间：描述智能体可以观测到的环境状态；动作空间：智能体可以执行的动作集合；奖励函数：定义不同状态—动作对应的即时奖励；状态转移概率：执行动作导致环境状态变化的概率分布。应用于该技术方案时，可以构建如下强化学习环境：状态为待诊断图像的特征表示；动作为可能的诊断类别；正确诊断获得正奖励，反之则惩罚；状态转移随机产生新样本。通过这样的环境设置，诊断模型可以在识别过程中不断学习，持续优化诊断策略，从而提高诊断性能。
环境状态，该技术方案在构建强化学习环境时，需要定义环境的状态空间。环境状态是指智能体可以观测到的环境信息，是智能体进行决策的依据。在该技术方案的强化学习环境中，环境状态可以设置为：原始路面图像；图像经特征提取网络得到的特征表示两种设置各有优势：原始图像状态可以提供更丰富的环境信息；特征表达状态可以提高相关性，减少状态冗余设置环境状态需要考虑：包含足够信息支撑诊断决策；去除不相关因素，提高学习效率；维持一定状态复杂度和随机性无论选择哪种状态表示，都需要保证状态空间覆盖可能的路面情况，支持强化学习过程。
智能体，在强化学习设置中，智能体是可以对环境进行感知并执行动作的主体。在该技术方案的强化学习方法中，智能体即为路面病害诊断模型。诊断模型作为智能体，需要具备以下能力：感知环境状态，即识别输入图像的特征；根据状态判断采取的诊断动作，即判定病害类别；接收环境反馈，即是否正确诊断的奖励；根据反馈调整策略，提高诊断的预期奖励。强化学习的目标就是不断优化智能体的决策策略，以取得最大化的奖励。对诊断模型而言，通过强化学习，其可以在病害诊断过程中不断积累经验和改进策略，从而获得持续提高的诊断性能。
累计奖励，累计奖励(Cumulative Reward)在强化学习过程中，智能体的目标是最大化累计奖励。累计奖励指的是智能体在一个回合内所获得的总奖励。其计算公式为：R＝r1+r2+……+rt其中，rt表示在时间步t的即时奖励。相比直接考虑即时奖励，累计奖励更能反映长期效果。最大化累计奖励意味着：更看重持续稳定的效果，不只追求局部收益；考虑各时间步的关联性和策略整体性。对应到该技术方案，最大化累计奖励意味着：追求诊断模型在各种样本上持续高效正确；不只关注个例的诊断效果，也要兼顾模型的泛化能力。这将促进诊断模型学习更全面稳健地策略。综上，累计奖励机制契合强化学习的优化目标，可以获得更强大的诊断策略。
深度Q网络(Deep Q—Network，DQN)该技术方案中提到可以利用深度Q网络实现强化学习。深度Q网络是一种结合深度学习与Q学习的强化学习方法，其主要思想是：使用深层神经网络近似表示Q函数；通过经验回放记忆历史交互；迭代更新网络参数以最小化贝尔曼误差。深度Q网络的优点包括：深层网络拟合复杂Q函数；经验回放提高数据利用效率；可以端到端学习无需人工提取特征。对应到该技术方案，深度Q网络可以自动学习诊断策略，实现端到端的强化诊断模型优化。
经验回放(Experience Replay)该技术方案中提到，深度Q网络使用了经验回放来优化训练。经验回放的主要思想是：将智能体与环境交互的经验存储下来；在训练时从经验缓冲区中随机取出批量数据；使用取出的数据来更新模型。经验回放的优点包括：重复利用经验数据，提高数据利用效率；随机打乱数据分布，减少相关性；平滑训练过程，增加模型稳定性。在该技术方案中，经验回放可以存储成功和失败的诊断案例，形成训练数据以不断优化诊断模型。相比仅利用当前数据，它可以大幅拓展训练数据范围，增强模型泛化能力。综上，经验回放是提升深度强化学习效果的重要机制。
置信度(Confidence)该技术方案中提到，诊断模型输出的预测结果中包含预测类别和置信度。置信度是表示预测结果确信程度的评分，通常设置为[0，1]区间数值，其含义是：置信度越高，表示模型越确信该预测结果正确；置信度越低，则模型不敢完全确定该结果。设置置信度的优点包括：可以评估每个预测的可靠性；指导模型训练优先改进置信度较低样本；辅助判断模型可靠使用范围。在该技术方案中，置信度输出可以判断模型在不同样本上的适用性，指导模型进一步优化。
卷积神经网络(Convolutional Neural Network，CNN)该技术方案多次提到使用卷积神经网络进行特征提取和病害分类。卷积神经网络是一种含卷积计算的前馈神经网络，其主要特点是：使用卷积层提取空间局部特征；池化层减少参数，获得不变性；全连接层进行分类。卷积网络的优势包括：良好的图像特征学习能力；参数共享减少过拟合风险；内置翻译等变换不变性。在该技术方案中，使用卷积网络可以从路面图像中自动学习有效特征，并进行端到端的病害分类，避免人工特征工程。
卷积层是构成卷积神经网络的核心层之一。卷积层的主要特点是：使用卷积核对输入进行滑动窗卷积，提取局部特征；卷积核参数共享，大大降低参数量；可设置卷积核数量，提取多个特征图；常配合激活函数引入非线性；后续接池化层降维。卷积层的优点包括：卷积运算可提取空间局部特征；参数共享增加泛化能力；可并行计算，速度更快；各层协同学习形成层次特征。在该技术方案中，卷积层的应用可以高效学习路面图像的局部视觉模式，得到良好的特征表达。
池化层是卷积神经网络中常用的一种层类型，主要作用是进行空间降维。池化层的典型操作有：最大池化：提取感受野内的最大值；平均池化：提取感受野内的平均值。池化层的主要优点有：减少特征图大小，降低参数量；提取主要特征，增加鲁棒性；提供位置不变性。在该技术方案中，设置池化层可以：缩小特征图大小，减轻计算负担；提取最显著的视觉特征，抑制细微变化；增强模型对样本位置变化的适应力。综上，池化层是卷积网络重要的组成部分，可降维提特征。
全连接层是构成卷积神经网络的另一关键组成部分。全连接层的主要作用是：将上一层的特征图转换为一维特征向量；通过权重矩阵实现特征之间的全连接；引入非线性，提取高级语义特征；最终输出分类或回归结果。全连接层的优点包括：实现特征间全连接，增强特征综合；引入非线性，拟合复杂决策边界；可自定义节点数量，进行分类或回归。在该技术方案中，全连接层可以综合不同卷积层提取的低级特征，并进行病害类别预测，实现端到端的分类网络。
集成学习模型该技术方案提到采用集成学习的思想，集成多个模型以提高诊断性能。集成学习模型的主要思路是：训练多个不同的单模型；不同单模型具有各自的优势；对同一样本进行预测，获得各模型结果；综合每个模型的结果，得到最终预测。集成模型的优点包括：不同模型可以提供互补信息；集成决策可以减小单模型错误；提高模型的泛化性和鲁棒性。应用于该技术方案，集成多个诊断模型可以提供更全面和可靠的判断，降低过拟合风险，进而提升诊断性能。
基学习器(Base Learner)在集成学习模型中，基学习器指组成集成模型的各个单模型。基学习器的主要特征包括：数量一般为2—10个；类型可以是同质(全为决策树)或异质(决策树+神经网络)；个体模型性能较弱，但集成后效果显著提升；个体之间存在一定差异性和互补性。基学习器的选择原则：个体精度相对较高，但有一定差异；错误模式有所差异，可以相互校正；计算效率较高，便于构建集成模型。对应到该技术方案，可以选择不同的CNN网络作为基学习器，它们在图像特征提取方面存在互补，集成可以提供更全面的判断。
验证集(Validation Set)在机器学习和深度学习中，验证集是用于模型验证的数据集。其主要作用是：在训练过程中，测试模型在验证集上的效果；辅助判断模型的泛化能力；调参，选择合适的模型结构和超参数；避免过拟合，提前停止训练。验证集的设置原则：规模适中，如训练集的10％—20％；数据分布与训练集相近；与训练集互斥，不能重合。在该技术方案中，设置验证集可以帮助选择合适的模型参数，避免过拟合，提高模型在新数据上的泛化能力。
元预测(Meta Prediction)该技术方案提到使用元预测的集成方式。元预测是一种集成学习方法，其主要思想是：每个基模型输出预测类别及置信度；构建元模型，以基模型预测为输入特征；元模型综合各基模型结果，输出最终预测。元预测的主要优点：综合各模型置信度，评估预测可靠性；元模型可以学习集成策略；减少单模型错误传播风险。对应到该技术方案，元预测可以有效利用每个基模型的置信度，进行更可靠的病害诊断。相比简单投票，元预测可以实现更聪明的集成。综上，元预测是一种有效的集成学习方式，其应用于该技术方案可以提高诊断性能。
诊断性能指标是评价病害诊断模型效果的重要标准。该技术方案中常用的指标包括：精确率(Precision)：正确预测某类样本数占该类总预测数的比例。反映精确程度；召回率(Recall)：正确预测某类样本数占该类总实际数的比例。反映召回程度；F1值：精确率和召回率的调和平均数。综合判断精确和召回；AUC值：模型在不同阈值下的ROC曲线积分值。判断模型区分能力；IoU值：模型预测和实际的交集与并集比值。评价检测和分割效果。通过优化这些指标，可以从不同角度提高诊断模型的效果。
梯度提升决策树(Gradient Boosting Decision Tree，GBDT)梯度提升决策树是一种常用的集成学习算法，其核心思路是：基学习器选择决策树，每棵树进行逐步提升；后一棵树训练时，针对前树的残差进行拟合；最终结果为每个树输出的加权和。梯度提升决策树的主要优点：决策树模型简单，易于实现提升；分步训练，避免重拟合；可以自动学习特征交互；支持各类数据类型。在该技术方案中，梯度提升决策树可以作为集成模型的基学习器之一，结合CNN互补提升诊断效果。相比神经网络，它可以提供一定的模型解释性。综上，梯度提升决策树是一个高效灵活的集成学习方法。
随机森林(Random Forest)随机森林是一种基于决策树的著名集成学习算法，其主要特点是：基学习器为决策树，通过随机抽样原数据和特征构建多棵决策树；每棵决策树的训练数据和特征子空间有差异；最终分类结果通过多数表决融合各树输出。随机森林的主要优势：通过随机性减少模型相关性和过拟合；树结构简单，易于构建森林并行训练；支持高维稀疏特征空间；内置特征重要性评估。在该技术方案中，随机森林可以作为集成模型的一员，提供互补的决策空间，提升诊断性能。
具体实施方式
为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其他类似情景。除非从语言环境中显而易见或另作说明，图中相同标号代表相同结构或操作。
应当理解，本说明书中所使用的“***”“装置”“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”“一个”“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排他性的罗列，方法或者设备也可能包含其他的步骤或元素。
本说明书中使用了流程图用来说明根据本说明书的实施例的***所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
基于以上技术问题，本说明书提供一种移动式遥感图像采集方法及公路维护监测方法；对路面进行图像采集，获得原始图像；对原始图像进行高斯滤波去噪；采用自适应对比度提高提升图像质量；进行摄像畸变校正；提取出路面区域；构建集成的特征提取网络：基础特征提取子网络：采用Inception ResNet作为特征提取模型，输入预处理后的图像，输出基础特征图。多视角特征提取子网络：采用空间变换网络学习特征的多视角表示，输入预处理后的图像，输出多视角特征图。特征选择融合子网络：采用SENet进行特征选择与融合，输入基础特征图和多视角特征图，输出第一特征；构建注意力特征融合模型：模型采用编码器—解码器结构。编码器部分输入多视角特征图，解码器部分输出重建特征图。计算输入特征图和解码重建特征图的均方误差作为重构损失。同时学习注意力权重系数。反向传播更新注意力权重，得到加权的多视角特征；生成第二特征：定义第二特征的参数，关联第一特征和加权多视角特征。构建特征融合损失函数，包含各部分的损失。通过反向传播训练第二特征的参数。根据训练的参数，计算生成第二特征；构建基于诊断策略网络，以第二特征为输入，输出第一诊断结果；构建VGG卷积神经网络作为特征提取网络，输入预处理图像，输出第二诊断结果；构建集成学习模型，输入两种诊断结果。采用随机森林作为基学习器，生成元预测并整合；比较两种预测结果的诊断性能，选择性能最优的作为最终诊断结果。
下面结合附图对本说明书实施例提供的方法和***进行详细说明。
图1是根据本说明书一些实施例所示的一种移动式遥感图像采集方法及公路维护监测方法的示例性流程图，如图1所示，一种移动式遥感图像采集方法及公路维护监测方法，用于路面病害诊断，包括：
S110采集图像数据：使用移动载体上的图像采集设备，对道路进行图像信息的采集，获取原始路面图像数据。S120图像预处理：对采集的原始图像进行预处理，包括去噪、增强对比度等操作，去除图像噪声，提升后续处理的效果。S130构建集成特征提取网络：建立包含多个卷积神经网络的集成网络结构，输入预处理后的图像，网络可以从不同角度学习路面图像的特征表示，输出第一特征。S140构建注意力特征融合模型：引入注意力机制，对集成网络提取的多视角特征进行加权融合，与第一特征连接，形成第二特征。S150构建基于强化学习的诊断策略网络：以第二特征为输入，经网络训练输出第一诊断结果。该网络可以学习诊断策略，提高判断的准确性。S160构建单一特征提取网络：建立单一的卷积神经网络，输入预处理图像并输出第二诊断结果。S170诊断结果选择：比较上述两种方法的诊断精度，选择诊断效果优异的一种作为最终诊断结果。
其中，构建集成特征提取网络，可以从多个视角学习路面图像的全面特征，提高特征表达能力，增强模型对不同病害的区分能力；引入注意力机制进行特征融合，可以关注不同网络的重要特征，实现特征的精华提取，进一步提升特征的区分度；基于强化学习的诊断网络可以学习专家诊断策略，模拟人工诊断思维，提高判断正确率；构建单网络与集成网络并行诊断，可以相互验证评估，选择优异方案，提高诊断稳定性；深度网络结构优化提高模型泛化能力，应对未知复杂场景；验证集评估模型效果，选择合适复杂度，避免过拟合；多种数据集构建保证样本均衡性，防止模型偏差；定量指标评估诊断性能，保证改进明确量化；图像预处理为特征提取提供良好输入。
相比现有技术的单一模型诊断，本方案形成了***的诊断架构，全面提升了路面病害的诊断能力。
图2是根据本说明书一些实施例所示的图像预处理的示意图，如图2所示，图像预处理包括：
具体包括以下步骤：S121高斯滤波，使用高斯滤波平滑图像，消减噪声。S122自适应对比度增强：基于对比度限制的自适应算法，增强图像对比度。S123畸变校正，根据摄像头内参和路面模型，对图像进行畸变校正。S124图像分割，使用语义分割算法，提取出图像中的路面区域。S125颜色空间转换，将图像从RGB色彩空间转换到HSV空间，利于后续处理。
其中，高斯滤波可以平滑图像，去除采集过程中的噪声，提高后续处理的信噪比；自适应对比度增强可以强化路面细节特征，使病害更易识别，提高检出率；畸变校正可以消除移动载体运动带来的图像畸变，还原路面真实结构，避免产生误判；图像分割可以准确定位路面区域，去除无关背景，使模型更聚焦于路面目标；色彩空间转换利用HSV空间颜色信息更丰富的特点，可以提升病害特征的可分离性。综上，图像预处理通过滤波、增强、校正、分割、转换等手段，层层为后续病害识别、分类提供更优质的输入图像，减少图像本身的负面影响，使得诊断网络能更准确地学习路面特征，从而大幅提升了最终的诊断效果和精度。
综上所述，经过上述预处理，可以去除原始图像中的噪声，提升对比度，消除畸变，并提取出路面区域，为后续特征提取和诊断提供质量更高的输入图像。采用不同手段协同对图像进行预优化，可以提高特征表示和分析的效果，是影响最终诊断性能的重要环节。
图3是根据本说明书一些实施例所示的构建集成的特征提取网络A的示意图，如图3所示，具体来说，包括以下步骤：S131构建第一子网络，采用ResNet、DenseNet、InceptionNet等提取基础特征图。S132构建第二子网络，采用ASFF网络、空间变换网络等学习多视角特征表示。S133构建第三子网络，采用SENet进行特征选择和融合，输出第一特征。S134将上述三类子网络连接集成，构建集成特征提取网络。
其中，构建第一子网络，采用Inception ResNet作为骨干网络，提取基础特征图A；构建第二子网络，采用空间变换网络，输入图像经过空间变换模块学习多视角特征图B；构建第三子网络，采用SE—ResNeXt模块，输入基础特征A和多视角特征B，通过SE块学习注意力权重，进行特征选择和融合，输出第一特征C；三个子网络按照A→B→C的流程顺序连接：图像输入到第一子网络，输出基础特征图A，图像同时输入到第二子网络，输出多视角特征B，A和B一起输入到第三子网络，生成第一特征C5.通过这种连接方式，基础特征A提供全局内容信息，多视角特征B提供丰富的局部细节和视点。第三子网络learns注意力权重，进行选择、融合，输出更具判别能力的C；三类特征互补，子网络连接合理，可以充分发挥各自优势，提升特征表达效果。
具体的，ResNet引入残差结构，可以训练极深的网络，提取全面的底层特征，为后续提供丰富特征基础。DenseNet通过特征重用机制，可以有效利用前面层的特征，使得底层特征更全面完整。Inception Net使用多尺度卷积核并行提取特征，可以获取多尺度信息，更全面表示图像内容。三类网络在图像分类任务上效果显著和互补，可以提供高质量的基础特征。基础特征直接关系到后续特征表达能力，选择经典且互补的网络可以提供更全面稳定的基础特征。ResNet、DenseNet对图像几何特征更敏感，Inception Net更擅长色彩纹理特征，组合可以获得全方位特征。三网络结构相对简单，计算效率较高，适合作为基础特征提取器。综上，选择ResNet、DenseNet、InceptionNet作为基础特征提取器，可以为后续特征表示提供信息丰富、立体化的特征基础，从根本上提升特征表达能力，进而增强对路面病害的识别与分类能力，有利于提高诊断精度。
具体的，ASFF网络引入注意力机制，可以关注图像的不同位置，学习到同一场景在不同位置的特征变化，获得多视点信息。空间变换网络通过空间变换模块，可以获取图像不同位置变换后的特征，学习特征在空间维度的表征，获得多角度特征。路面图像的不同位置会出现不同病害情况，多视角可以更全面表示路面状态。单一视角的特征容易受视点限制，多视角可以克服视点局限，提高特征鲁棒性。多视角特征之间存在互补性，组合可以获得更丰富全面的特征表达。ASFF和空间变换网络在处理多视角特征上有明显优势和特长。多视角特征为后续的特征选择提供更充分的候选表示。综上，ASFF和空间变换网络可以有效学习路面图像的多视角特征，提供更全面和立体化的特征表达，增强特征对复杂路面情况的适应性，有利于提升后续病害识别和分类的效果。
具体的，SENet使用了通道注意力机制，可以学习每个通道特征的重要性，进行特征选择。通过特征选择，可以过滤掉一些冗余和无用的特征，提炼有效特征。注意力机制可以将不同特征按重要性进行加权融合，实现特征融合。特征选择和融合可以提高特征表达的鲁棒性和区分性。SENet在特征选择和融合方面效果显著，可以有效学习特征的重要性。前面网络学习到的多视角特征存在信息冗余，需要选择和融合来提效。特征选择融合作为最后一步，可以在前面特征基础上进一步提炼提高特征表达能力；输出的第一特征可以为后续诊断网络提供高质量的特征表示。综上，SENet通过选择和融合可以提炼前面网络学习到的特征精华，消除冗余，形成表达能力更强、更具区分性的特征表示，以提高后续对路面病害的识别和分类效果。
具体地，S134将上述三类子网络连接集成，构建集成特征提取网络的一种优化技术方案如下：在S131子网络中，利用Inception ResNet模型提取出基础特征图F1；在S132子网络中，利用空间变换网络模型学***均池化操作学习各通道的全局权重w。通过全连接层学习通道之间的关系，输出通道注意力向量a。将a通过sigmoid函数映射到[0，1]，得到最终注意力权重系数α；利用α与F进行特征重新加权：对F进行通道加权，得到F'＝F*α，F'即为注意力选择与融合后的特征图，作为第一特征输出；这样通过SE块学习不同子网络特征的重要性，对其进行加权融合，可以突出对图像分类任务更重要的特征通道，同时保留两类特征的表达，生成更具鉴别性的第一特征；网络结构合理、训练过程可控、特征表达能力强，该方案可以有效实现基础特征图和多视角特征图的加权融合，生成更优的第一特征。
综上所述，ResNet、DenseNet、InceptionNet等网络可以提取低层边缘、纹理、形状等基础视觉特征，提供基础表达。在基础特征基础上，ASFF网络通过注意力机制可以捕捉不同位置的特征，空间变换网络可以获取多角度特征，丰富特征的多样性。SENet可以评估前两网络不同通道特征的重要性，减少冗余信息，并进行加权融合，得到高级语义特征。基础特征提供稳定的特征基石，多视角特征提供多样性，融合特征进行提炼，使特征在不同语义层次都得到充分表达。前网络输出可直接使用，后网络在前网络输出基础上进行特征提升，实现深度特征的渐进学习。基础网络聚焦局部，多视角网络关注全局，融合网络进行统筹，使特征在局部和全局性都得到增强。连接方式使每个网络都发挥最大作用，输出特征表达能力逐层提升；这样可以对病害特征进行立体化表示，提高特征对复杂病害的区分表达能力；最后输出的语义特征，可以提高后续病害分类、识别网络的效果。
其中，第二特征的获取包括：构建注意力特征融合模型，对多视角特征图进行加权，输出加权特征。将加权特征与第一特征连接，生成第二特征。
具体的，构建注意力特征融合模型：建立编码器—解码器结构的自动编码器作为融合模型，编码器部分采用多层CNN，提取抽象特征表示，解码器部分采用反卷积网络，重构输入特征，定义注意力模块，生成通道注意力向量，在编码器多层特征上加入注意力模块；对多视角特征图进行加权：将多视角特征图输入到注意力特征融合模型，模型输出重构特征图和通道注意力向量，根据注意力向量对输入特征进行重新加权，计算重构特征图和输入特征图的重构误差作为损失，通过反向传播更新注意力向量；将加权特征与第一特征连接：将加权后的多视角特征图作为加权特征，将加权特征与第一子网络输出特征在通道维度上拼接，拼接特征作为第二特征输出。
综上所述，自动编码器结构可以学习特征的抽象表示并重构输入，用于融合不同特征信息，提高特征表达能力。CNN编码器提取空间局部特征，与路面图像的局部特征象关，可以提供局部特征供融合。反卷积网络解码器可以重构输入图，用于评估特征融合效果。注意力模块可以评估不同特征通道的重要性，进行特征选择和加权，提炼有效特征。在编码器***注意力模块可以获得多层次的注意力向量，进行细粒度加权。最小化重构误差可以获得对当前任务有效的特征加权方式。加权多视角特征可以增强对路面局部区域特征的表示；与第一特征拼接，可以融合不同层次的特征信息，提高特征表达能力；第二特征融合了局部、全局及多层次特征，可以更准确描述路面状态。通过该模块的设计，可以获得对路面病害更具代表性和区分性的特征表示，有利于提升后续诊断网络的效果。
其中，加权特征的获取包括：将多视角特征图输入注意力模型；模型利用自编码器结构重构特征图，计算重构损失；获取注意力权重，计算注意力损失；最小化损失，更新权重系数；利用更新后的权重系数进行加权，输出加权特征。
具体的，将多视角特征图输入注意力模型；模型利用编码器—解码器结构进行特征抽象和重构：编码器部分使用多层CNN提取抽象特征，解码器部分使用反卷积网络重构输入特征图；计算重构损失，计算重构特征图与原特征图的重构误差作为重构损失；获取注意力权重：在编码器中间层引入注意力模块，注意力模块生成每个特征通道的注意力权重；计算注意力损失：定义注意力损失来正则化注意力权重分布；最小化损失，更新注意力权重：设定总损失为重构损失与注意力损失之和，通过反向传播优化网络参数，最小化总损失；利用优化后的注意力权重进行特征加权：对多视角特征图进行通道级加权，输出加权后的特征图作为加权特征这样通过自动编码器结构学习特征重构，引入注意力正则化，可以学习到对当前任务有效的特征加权系数，实现自动特征选择与加权。
综上所述，通过编码器结构的特征评估，注意力的特征选择，相互制约来取得平衡和提升效果。得到的加权特征更具代表性，有利于提高诊断精度。
图4是根据本说明书一些实施例所示的生成第二特征的示意图，如图4所示，生成第二特征包括：
S141定义第二特征的参数，所述参数同时关联第一特征和加权多视角特征。设置编码器和解码器中的全连接层参数以及注意力模块参数。这些参数将关联第一特征和加权特征的提取。S142构建特征融合损失函数，包含以下三部分：第一特征的分类损失，用于监督第一特征的学习。加权多视角特征的重构损失，用于评估特征融合效果。第二特征的注意力损失，用于正则化注意力权重。S143通过反向传播算法训练第二特征的参数，以最小化特征融合损失函数。通过损失函数的优化训练网络参数。S144根据训练后的第二特征的参数，基于第一特征和加权多视角特征计算生成第二特征。输入第一特征和加权特征，通过训练好的网络计算第二特征。通过构建融合特征的损失函数，利用反向传播进行参数优化训练，可以获得对特征选择和表达更优化的第二特征。
具体的，S141定义第二特征的参数的技术方案如下：编码器中设置全连接层参数W1，用于编码多视角特征图；解码器中设置全连接层参数W2，用于从编码特征中解码出重建特征图；注意力模块中设置全连接层参数W3，用于学习注意力权重系数；定义第二特征参数：U1用于从第一特征中提取分类相关特征；U2用于从加权多视角特征中提取分类相关特征；U3用于融合上述两类特征；将编码器参数W1、解码器参数W2、注意力参数W3以及第二特征参数U1、U2、U3集合表示为U；使U既包含编码、解码、注意力模块的参数，也包含第二特征的特征提取和融合参数；通过反向传播算法训练U，最小化定义的特征融合损失函数；这样U中的参数既关联了第一特征和加权多视角特征的生成，也确定了第二特征的表达，实现了对二者的连接与融合；参数设置合理、表达能力强，可以充分学习两类特征之间的关系，生成更具分类判别力的第二特征。
具体的，定义网络参数X，包含编码器参数、解码器参数、注意力模块参数以及第二特征生成参数；构建特征融合损失函数L：L1为第一特征的分类损失，使用交叉熵损失，L2为加权多视角特征的重构损失，使用MSE损失，L3为注意力模块的注意力正则化项；表达式为：L＝L1+α*L2+β*L3通过Adam等优化算法训练参数X，以最小化损失L；训练完成后，固定X，输入第一特征F1和加权多视角特征F2；将F1和F2通过训练的网络映射，计算生成第二特征F'；该网络结构可学习特征之间的关联，损失函数设计合理；通过端到端的反向传播训练，可以获得对第二特征生成更优化的网络参数X；最终根据X，可以获得分类性能更强的第二特征F'。
其中，定义第二特征的参数，使其关联前两特征，可以建立二者之间的映射关系，进行特征融合。构建包含三部分损失的特征融合损失，使第二特征同时关注前两特征的语义信息和自身特征表达的有效性。第一特征的分类损失，驱动第一特征学***衡注意力分布，防止过拟合。通过反向传播训练第二特征的参数，实现对融合特征的最优化。三损失相互制约，取得特征融合的平衡；根据优化的参数生成第二特征，可以获得表达能力提升的特征；第二特征融合了第一特征和加权特征的优势，具有更强的特征表达和区分能力。以上步骤协同工作，可以获得融合了双源特征优势、对病害识别更具针对性的第二特征。
图5是根据本说明书一些实施例所示的获取第一诊断结果的示意图，如图5所示，获取第一诊断结果包括：
S151构建基于强化学习的诊断策略网络，以第二特征作为输入。S152定义强化学习环境：将路面图像及对应疾病标签作为环境状态，将诊断策略网络定义为智能体设置目标函数为最大化诊断过程的累计奖励。S153在定义的环境中，诊断策略网络以状态为输入，输出诊断分类结果。环境根据诊断结果，生成反馈奖励传回给诊断策略网络。S154利用深度Q网络进行经验回放。通过反向传播联合训练Q网络和诊断策略网络。S155利用训练后的诊断策略网络输出第一诊断结果的分类结果或置信度。通过构建强化学习框架，可以使诊断策略网络在与环境交互中不断优化，输出更准确的第一诊断结果。
具体的，构建强化学习环境的技术方案包括：将路面图像数据集D及对应的疾病标签集L定义为强化学习环境的状态空间S；每个样本(x，y)组成一个状态，x为图像，y为标签；定义智能体的行为空间A：0表示诊断行为a0，输出疾病预测，1表示等待行为a1，不进行诊断；定义奖励函数：当诊断正确时，奖励r＝1，当诊断错误时，奖励r＝—1，等待行为奖励r＝05.定义每个回合：智能体顺序处理数据集中的每个样本，对每个样本执行诊断行为或等待行为，累加每个行为的奖励；求解累计奖励最大化的策略π；这样将强化学习任务映射到诊断过程，可以通过试错学习最优的诊断策略π，提高诊断性能。
具体地，S154利用深度Q网络进行经验回放。通过反向传播联合训练Q网络和诊断策略网络包括：定义经验回放记忆库M，用于存储每次迭代的状态s，行为a和奖励r；在每次迭代过程中，从M中随机采样训练批次；构建Q网络，输入为状态s，输出为每个行为a对应的Q值；计算Q网络的目标值：对采样的经验，得到奖励r和新的状态s'计算s'的最大Q值作为目标Q5.计算Q网络输出的预测Q与目标Q之间的均方误差损失函数；将损失函数反向传播更新Q网络的参数；每隔一定迭代，将Q网络的参数复制给诊断策略网络；如此通过记忆历史经验并不断学习，可以使诊断策略网络逐步逼近最优策略；网络结构清晰，可以利用深度网络强大的逼近能力学习Q函数。
其中，第二特征作为输入提供了高质量的特征表示，为策略网络判别不同病害提供基础。定义环境和智能体，构建强化学习框架，使策略网络可以在交互中进行自我优化。目标函数设定引导策略网络学习有效的诊断策略。策略网络与环境交互生成诊断结果，获得反馈。环境的反馈奖励指导策略网络调整优化诊断策略。Q网络进行经验回放，使训练更稳定高效。联合训练Q网络和策略网络，使二者协同优化；优化后的策略网络可以取得更准确的诊断结果；第二特征提供表达能力，强化学习实现自我优化，相互促进。
通过构建强化学习框架，配合表达能力强的第二特征，可以使诊断策略网络在交互中持续提高自身诊断效果，输出更准确的结果。
图6是根据本说明书一些实施例所示的获取第二诊断结果的示意图，如图6所示，获取第二诊断结果包括：
S161构建卷积神经网络作为特征提取网络，输入为经过预处理后的图像。S162特征提取网络包含卷积层、池化层等，对输入图像进行特征提取，输出图像特征表示。S163在特征提取网络后接入全连接层，对提取到的特征进行处理。S164全连接层输出表示第二诊断结果的特征向量。S165第二诊断结果表示特征提取网络对预处理后图像进行的预测分类结果。通过构建卷积神经网络进行特征提取，可以获取输入图像的高级特征表示。全连接层处理这些特征，输出表达图像信息的诊断结果向量，作为第二诊断结果。
其中，使用卷积神经网络进行特征提取，可以学习到对输入图像信息高度抽象的特征表示，这些特征更具区分性。卷积层和池化层的设计通过学习提取滤波器提取输入的局部特征，形成层次化的特征表达。特征提取网络的层数和参数设定决定了特征的抽象程度，需要针对诊断任务进行调整。全连接层进行特征处理，将特征映射到诊断结果对应的向量空间，以表达诊断意义。预处理提高图像质量，有利于后续特征提取。卷积网络对局部特征的学习和全局信息的综合，提高特征表示的表达能力。特征向量表示融合了输入图像信息，提高后续诊断的判断依据；最终输出的第二诊断结果可以更准确表达输入图像的病害情况。
通过构建卷积神经网络进行特征学习和向量表示，可以获取更优的特征表示，从而提高诊断结果的准确度。
图7是根据本说明书一些实施例所示的获取最终诊断结果的示意图，如图7所示，获取最终诊断结果包括：
S171构建集成学习模型，输入为第一诊断结果和第二诊断结果。S172集成学习模型包含多个基学习器，分别对两诊断结果进行训练。S173在验证集上，基学习器对两诊断结果进行预测，生成元预测。S174集成学习模型整合元预测，生成第一和第二集成预测结果。S175比较两集成预测结果在验证集上的诊断性能指标。选择诊断性能指标最优的集成预测结果对应的原始诊断结果，作为最终诊断结果。基学习器可以是梯度提升决策树或随机森林。
具体的，输入第一诊断结果D1和第二诊断结果D2；构建集成学***均法，整合P2生成第二集成预测S2；计算S1和S2在验证集上的精确率、召回率、F1值；如果S1的诊断性能指标更优，选择第一诊断结果D1作为最终结果；如果S2更优，选择第二诊断结果D2作为最终结果。10.这样可以通过集成学习对两种诊断结果进行验证和选择，获得最终更准确的诊断。
其中，集成学习模型可以融合不同诊断结果的优势，提高诊断的稳定性。基学习器分别训练可以充分利用两种诊断结果的信息。在验证集上进行元预测，可以评估各模型的泛化能力。集成预测结果可以融合基学习器的优势，增强对样本的判别能力。比较验证集指标可以找到最佳的集成预测结果。选择诊断性能最优的结果作为最终输出，可以利用两种诊断的长处。梯度提升决策树和随机森林作为基学习器，可以提高模型的泛化能力；最终输出综合考虑了两种诊断结果的判别信息；集成学习实现对不同结果的融合利用，增强诊断的准确性和鲁棒性。通过集成学习的模型融合，可以提升判别性能，输出更准确可靠的最终诊断结果。
通过构建集成学习模型，整合两份诊断结果的优势，可以获取性能最优的最终诊断结果，提高诊断的准确性。
以上示意性地对本发明创造及其实施方式进行了描述，该描述没有限制性，在不背离本发明的精神或者基本特征的情况下，能够以其他的具体形式实现本发明。附图中所示的也只是本发明创造的实施方式之一，实际的结构并不局限于此，权利要求中的任何附图标记不应限制所涉及的权利要求。所以，如果本领域的普通技术人员受其启示，在不脱离本创造宗旨的情况下，不经创造性地设计出与该技术方案相似的结构方式及实施例，均应属于本专利的保护范围。此外，“包括”一词不排除其他元件或步骤，在元件前的“一个”一词不排除包括“多个”该元件。产品权利要求中陈述的多个元件也可以由一个元件通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (10)

1.一种移动式遥感图像采集方法及公路维护监测方法，用于路面病害诊断，包括：
采集图像数据；
对采集的图像数据进行预处理；
构建集成的特征提取网络A1，输入预处理后的图像，提取不同视角下的图像多视角特征表示，并输出第一特征；
构建注意力特征融合模型，输入所述多视角特征表示，对所述多视角特征进行加权并与第一特征连接，得到第二特征；
构建基于强化学习的诊断策略网络，输入第二特征，经训练输出第一诊断结果；
构建单一的特征提取网络A2，输入为预处理后的图像，输出第二诊断结果；
比较第一诊断结果和第二诊断结果的诊断精度，选择诊断精度最高的作为最终诊断结果。
2.根据权利要求1所述的方法，其特征在于：
预处理包括：
对采集的原始图像进行高斯滤波，输出滤波后的图像B1；
对图像B1进行基于对比度限制的自适应对比度增强，输出增强后的图像B2；
根据摄像头参数和路面模型对图像B2进行畸变校正，输出校正后的图像B3；
对图像B3进行图像分割，提取出路面区域图像B4；
将图像B4进行颜色空间转换，输出转换到目标颜色空间的图像B5。
3.根据权利要求1所述的方法，其特征在于：
构建集成的特征提取网络A包括：
构建第一特征提取子网络，以预处理后的图像为输入，采用ResNet、DenseNet和InceptionNet进行基础特征提取，输出基础特征图C1；
构建第二特征提取子网络，以预处理后的图像为输入，采用ASFF网络和空间变换网络学习特征的多视角表示，输出多视角特征图C2；
构建第三特征提取子网络，以C1和C2为输入，采用SENet进行特征选择与融合，输出第一特征；
将第一特征提取子网络、第二特征提取子网络和第三特征提取子网络进行连接集成，构建集成的特征提取网络A1。
4.根据权利要求3所述的方法，其特征在于：
获取第二特征表示包括：
构建注意力特征融合模型，以多视角特征图C2为输入，并对C2进行加权，输出加权的多视角特征C2'；
将加权的多视角特征C2'与第一特征进行连接，生成第二特征。
5.根据权利要求4所述的方法，其特征在于：
获取加权的多视角特征C2'包括：
将多视角特征图输入注意力特征融合模型；
注意力特征融合模型通过自编码器结构学习重建输入特征图；
获取输入特征图与重建特征图之间的均方误差作为重构损失；
获取注意力权重系数，并计算注意力损失函数；
联合最小化重构损失和注意力损失，通过反向传播算法更新注意力权重系数；
利用更新后的注意力权重系数和多视角特征图，输出加权的多视角特征C2'。
6.根据权利要求4所述的方法，其特征在于：
生成第二特征包括：
定义第二特征的参数，所述参数同时关联第一特征和加权多视角特征；
构建特征融合损失函数，包含第一特征的分类损失、加权多视角特征的重构损失和第二特征的注意力损失；
通过反向传播算法训练第二特征的参数，最小化特征融合损失函数；
根据训练后的第二特征的参数，基于第一特征和加权多视角特征计算生成第二特征。
7.根据权利要求1所述的方法，其特征在于：
获取第一诊断结果包括：
构建基于强化学习的诊断策略网络，输入第二特征；
定义强化学习环境，将路面图像及对应疾病标签定义为环境状态，诊断策略网络定义为智能体；
目标函数为最大化诊断过程的累计奖励；
在定义的强化学习环境中，诊断策略网络以环境状态为输入，输出对路面图像的诊断分类结果；
强化学习环境根据诊断分类结果，生成反馈奖励传回给诊断策略网络；
利用深度Q网络进行经验回放；
通过反向传播联合训练Q网络和诊断策略网络；
利用训练后的诊断策略网络输出表示第一诊断结果的分类结果或置信度。
8.根据权利要求1所述的方法，其特征在于：
获取第二诊断结果包括：
构建卷积神经网络作为特征提取网络A2，输入为经过预处理后的图像；
特征提取网络A2通过卷积层、池化层对输入图像进行特征提取，输出图像的特征表示；
在特征提取网络A2后连接全连接层，全连接层对提取的特征进行处理，输出第二诊断结果；
第二诊断结果表示特征提取网络A2对预处理后的图像进行的诊断预测结果。
9.根据权利要求1所述的方法，其特征在于：
获取最终诊断结果包括：
构建集成学习模型，输入为第一诊断结果和第二诊断结果；
集成学习模型包含多个基学习器，基学习器分别对第一诊断结果和第二诊断结果进行训练；
对验证集上的样本，利用基学习器对第一诊断结果和第二诊断结果进行预测，生成元预测；
集成学习模型整合基学习器的元预测，生成第一集成预测结果和第二集成预测结果，比较第一集成预测结果和第二集成预测结果在验证集上的诊断性能指标；
选择诊断性能指标最优的集成预测结果所对应的原始诊断结果，作为最终诊断结果。
10.根据权利要求9所述的方法，其特征在于：
基学习器为梯度提升决策树或随机森林。
CN202311088729.4A 2023-08-28 2023-08-28 一种移动式遥感图像采集方法及公路维护监测方法 Active CN116958825B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311088729.4A CN116958825B (zh) 2023-08-28 2023-08-28 一种移动式遥感图像采集方法及公路维护监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311088729.4A CN116958825B (zh) 2023-08-28 2023-08-28 一种移动式遥感图像采集方法及公路维护监测方法

Publications (2)

Publication Number Publication Date
CN116958825A true CN116958825A (zh) 2023-10-27
CN116958825B CN116958825B (zh) 2024-03-22

Family

ID=88462109

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311088729.4A Active CN116958825B (zh) 2023-08-28 2023-08-28 一种移动式遥感图像采集方法及公路维护监测方法

Country Status (1)

Country Link
CN (1) CN116958825B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117292119A (zh) * 2023-11-24 2023-12-26 国网智能科技股份有限公司 一种输电多尺度目标检测方法及***
CN117575009A (zh) * 2023-11-22 2024-02-20 浙江杉工智能科技有限公司 基于大语言模型进行桥梁病害诊断与养护措施推荐的方法
CN117592975A (zh) * 2024-01-18 2024-02-23 山东通维信息工程有限公司 基于云计算的高速公路机电设备运维决策处理方法及***
CN117789042A (zh) * 2024-02-28 2024-03-29 中国地质大学（武汉） 一种道路信息解译方法、***及存储介质
CN117907242A (zh) * 2024-03-15 2024-04-19 贵州省第一测绘院(贵州省北斗导航位置服务中心) 基于动态遥感技术的国土测绘方法、***及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210012199A1 (en) * 2019-07-04 2021-01-14 Zhejiang University Address information feature extraction method based on deep neural network model
CN113378763A (zh) * 2021-06-25 2021-09-10 长沙理工大学 一种面向sar图像的目标自动检测方法及***
CN114882474A (zh) * 2022-05-30 2022-08-09 山东大学 基于卷积神经网络的道路病害检测方法及***
CN115880563A (zh) * 2022-11-28 2023-03-31 国能铁路装备有限责任公司 车体破损检测方法、装置、电子设备及可读存储介质
CN116310785A (zh) * 2022-12-23 2023-06-23 兰州交通大学 基于YOLO v4的无人机影像路面病害检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210012199A1 (en) * 2019-07-04 2021-01-14 Zhejiang University Address information feature extraction method based on deep neural network model
CN113378763A (zh) * 2021-06-25 2021-09-10 长沙理工大学 一种面向sar图像的目标自动检测方法及***
CN114882474A (zh) * 2022-05-30 2022-08-09 山东大学 基于卷积神经网络的道路病害检测方法及***
CN115880563A (zh) * 2022-11-28 2023-03-31 国能铁路装备有限责任公司 车体破损检测方法、装置、电子设备及可读存储介质
CN116310785A (zh) * 2022-12-23 2023-06-23 兰州交通大学 基于YOLO v4的无人机影像路面病害检测方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117575009A (zh) * 2023-11-22 2024-02-20 浙江杉工智能科技有限公司 基于大语言模型进行桥梁病害诊断与养护措施推荐的方法
CN117292119A (zh) * 2023-11-24 2023-12-26 国网智能科技股份有限公司 一种输电多尺度目标检测方法及***
CN117292119B (zh) * 2023-11-24 2024-03-22 国网智能科技股份有限公司 一种输电多尺度目标检测方法及***
CN117592975A (zh) * 2024-01-18 2024-02-23 山东通维信息工程有限公司 基于云计算的高速公路机电设备运维决策处理方法及***
CN117789042A (zh) * 2024-02-28 2024-03-29 中国地质大学（武汉） 一种道路信息解译方法、***及存储介质
CN117789042B (zh) * 2024-02-28 2024-05-14 中国地质大学（武汉） 一种道路信息解译方法、***及存储介质
CN117907242A (zh) * 2024-03-15 2024-04-19 贵州省第一测绘院(贵州省北斗导航位置服务中心) 基于动态遥感技术的国土测绘方法、***及存储介质

Also Published As

Publication number Publication date
CN116958825B (zh) 2024-03-22

Similar Documents

Publication Publication Date Title
CN116958825B (zh) 一种移动式遥感图像采集方法及公路维护监测方法
CN109345538B (zh) 一种基于卷积神经网络的视网膜血管分割方法
CN113313657B (zh) 一种用于低光照图像增强的非监督学习方法和***
CN111950649B (zh) 基于注意力机制与胶囊网络的低照度图像分类方法
CN111242071B (zh) 一种基于锚框的注意力遥感图像目标检测方法
CN111507426B (zh) 基于视觉融合特征的无参考图像质量分级评价方法及装置
CN105917353A (zh) 用于生物认证的特征提取及匹配以及模板更新
CN114998220B (zh) 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法
CN111626969B (zh) 一种基于注意力机制的玉米病害图像处理方法
CN115761358A (zh) 一种基于残差胶囊网络对心肌纤维化进行分类的方法
CN117274662A (zh) 一种改进ResNeXt神经网络的轻量级多模态医学图像分类方法
CN117635418B (zh) 生成对抗网络的训练方法、双向图像风格转换方法和装置
Kora et al. Automatic segmentation of polyps using U-net from colonoscopy images
CN112330562B (zh) 一种异构遥感图像变换方法及***
CN113221683A (zh) 教学场景下基于cnn模型的表情识别方法
CN117253192A (zh) 用于桑蚕养殖的智能***及方法
Gao et al. Image Segmentation of Retinal Blood Vessels Based on Dual‐Attention Multiscale Feature Fusion
CN113313185B (zh) 一种基于自适应空谱特征提取的高光谱图像分类方法
CN115910385A (zh) 一种病理程度预测方法、***、介质、设备及终端
CN115358961A (zh) 一种基于深度学习的多焦点图像融合方法
Lin et al. Ml-capsnet meets vb-di-d: A novel distortion-tolerant baseline for perturbed object recognition
Cao et al. No-reference image quality assessment by using convolutional neural networks via object detection
CN113837062A (zh) 一种分类方法、装置、存储介质及电子设备
CN118229712B (zh) 基于增强多维特征感知的肝脏肿瘤图像分割***
Mukherjee et al. A min-max based hyperparameter estimation for domain-adapted segmentation of amoeboid cells

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant