CN114048790B - 一种基于耦合双向lstm和卷积结构网络的道路基层应变分析方法 - Google Patents

一种基于耦合双向lstm和卷积结构网络的道路基层应变分析方法 Download PDF

Info

Publication number
CN114048790B
CN114048790B CN202110877678.8A CN202110877678A CN114048790B CN 114048790 B CN114048790 B CN 114048790B CN 202110877678 A CN202110877678 A CN 202110877678A CN 114048790 B CN114048790 B CN 114048790B
Authority
CN
China
Prior art keywords
data
layer
road
strain
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110877678.8A
Other languages
English (en)
Other versions
CN114048790A (zh
Inventor
薛忠军
宋波
王佳妮
赵世博
吴雨晗
徐子金
刘卓
侯越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Road Engineering Quality Supervision Station (beijing Highway Engineering Quality Inspection Center)
Beijing University of Technology
Beijing University of Civil Engineering and Architecture
Original Assignee
Beijing Road Engineering Quality Supervision Station (beijing Highway Engineering Quality Inspection Center)
Beijing University of Technology
Beijing University of Civil Engineering and Architecture
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Road Engineering Quality Supervision Station (beijing Highway Engineering Quality Inspection Center), Beijing University of Technology, Beijing University of Civil Engineering and Architecture filed Critical Beijing Road Engineering Quality Supervision Station (beijing Highway Engineering Quality Inspection Center)
Priority to CN202110877678.8A priority Critical patent/CN114048790B/zh
Publication of CN114048790A publication Critical patent/CN114048790A/zh
Application granted granted Critical
Publication of CN114048790B publication Critical patent/CN114048790B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于耦合双向LSTM和卷积结构网络的道路基层应变分析方法,先对自动化道路监测***获取的长期监测数据进行原始数据预处理,在此基础上采用皮尔逊相关性分析,研究数据之间关系,以达到输入数据降维的目的,从而减少训练误差,提升模型的预测精度,最后挑选出合适时间段的数据一起输入到BiLSTM‑CNN网络模型进行训练,学习传感器数据之间的物理特征,针对每个时间段之间并不连续的问题,采用权重自迁移的训练方式,使得历史信息特征在下一时间段内相对更加明显,更易被模型学习,有助于加强模型的记忆效应,减少过拟合,提高模型的泛化能力。此外,本发明不仅可以节约人工和时间成本,还可以为后续的道路养护工作奠定基础。

Description

一种基于耦合双向LSTM和卷积结构网络的道路基层应变分析 方法
技术领域
本发明属于时序数据分析领域,涉及一种基于耦合双向LSTM和卷积结构网络的道路基层应变分析方法。本发明应用于利用多传感器融合的道路监测***获取的路面结构监测数据进行道路基层应变分析。
背景技术
近年来,随着我国的公路网已经基本形成,未来的公路基建投资将会逐渐指向道路养护管理事业。裂缝、车辙等病害在一定程度上影响行车的安全性和舒适性,需要及时对路面进行养护维修。因此,准确的基层应变分析结果可以最大程度上避免道路将来发生严重的结构性损坏,以及为后续的道路养护管理工作提供可靠、有效的技术支持。
目前传统的基层应变预测分析方法一般是基于有限元模拟、力学-经验模型和数理统计方法等对应力、应变数据本身进行分析和计算,这些传统方法通常会进行数据对照来修正模型参数以及简化三维模型,从而一定程度上影响分析结果,分析过程较为繁琐、耗时。受益于人工智能技术的发展,机器学习方法被逐渐应用于监测大数据分析领域,能够相对快速高效地对获得的数据进行分析和预测,节约时间,降低成本,而且得到的结果较为精确。
目前基于深度学习的道路基层应变预测分析经常面临输入数据维度大,以及监测数据的时间不连续等问题,进行数据的相关性分析来对输入端进行数据降维,并且在训练过程中采用“权重自迁移”可以带来可观的性能提升,提高准确性和稳定性,并减少过度拟合。
因此,本发明提出了一种基于耦合双向LSTM和卷积结构网络(BiLSTM-CNN)的道路基层应变分析方法。本发明首先将道路监测***收集的传感器数据进行原始数据预处理得到可以输入网络进行训练的数据集,再对数据集经过特征相关性分析求得皮尔逊相关性系数,从而去掉相关性系数较小的特征数据达到数据降维的目的,最后将BiLSTM-CNN对最终的数据集进行训练,从而对道路基层应变数据进行预测分析,以预先了解未来基层应变变化趋势,为之后的道路养护决策提供帮助。
发明内容
本发明的目的在于通过一种基于耦合双向LSTM和卷积结构网络的道路基层应变预测分析方法,对传感器获取的从2012年到2020年长达八年的路面监测数据进行分析,长期监测数据包括沥青应变、基层三向应变、土层应变、土压力、温度、渗透压、土壤水分,从而根据合适的影响因素对基层应变进行预测,且获取未来一段时间内的基层应变变化趋势。
一、耦合双向LSTM和卷积结构网络
本发明采用的耦合双向LSTM和卷积结构网络(Bidirectional LSTM and CNN,BiLSTM-CNN)由一个双向LSTM层和四个1D卷积层组成,如图1所示。利用CNN提取传感器获取的数据时间维度上的固定特征,实现对道路上各种传感器监测信号的特征提取;同时,选用双向LSTM神经网络对CNN部分输出的特征序列进行处理,挖掘数据中的时序信息,在时间维度上提取监测传感器的信号变化趋势和特征,并实现对路基基层应变的预测。
本发明采用的技术方案为一种基于耦合双向LSTM和卷积结构网络的道路基层应变预测分析方法,包括原始监测数据预处理、特征相关性分析、数据集制作、BiLSTM-CNN网络基层应变预测四大部分,如图2所示,具体步骤如下:
步骤一:原始监测数据预处理;
首先,将各种传感器获取的道路监测数据进行整合。
其次,根据道路监测***获取数据的时间跨度,选取合适时间段的数据之后进行删除数据重复值和跃变值,并将缺失值补充完毕,以防监测数据训练效果不佳。
最后,根据时序数据的特点,将所有数据点之间的时间间隔统一为1小时。
步骤二:特征相关性分析;
第一步,将处理过后每个传感器获取的前三个数据点进行相关性分析,根据皮尔逊相关性系数衡量特征之间的相关性。第二步,由于土层应变的相关性不大将其去除。
步骤三:数据集制作;
对沥青应变、渗透压、土壤水分和基层三向应变的所有监测数据点进行取平均值,则温度按照温度传感器的埋设位置,将划分为面层、基层和土基三部分进行取平均值。最终把监测数据集按照训练集和测试集比例约为8:2进行划分。
步骤四:BiLSTM-CNN网络基层应变预测;
BiLSTM-CNN网络由4层一维卷积层、一层双向LSTM和两层全连接层构成。一维卷积层的卷积核尺寸均为2,个数依次为18、36、72和144,每层卷积层后接一个大小为2、步幅为1最大池化层,双向LSTM单元数为256,以上每层均使用ReLU激活函数,最后的全连接层的单元数为95。将预处理和降维后的数据集作为时序卷积网络的输入,时间步长设为8。
本发明可以利用自动化道路监测***长期获取的路面传感器监测数据,通过深度学习方法,对长期且多维度的道路监测数据进行分析,从而对道路基层应变进行预测分析,同时将每一个时间段训练之后的学习权重迁移至下一个时间段的训练中,提高预测模型的准确性和稳定性,并减少过度拟合。此外,利用本发明可以有效减少人工成本和时间损耗,经过处理的数据可以为后续监测数据分析和挖掘、预测模型的训练奠定基础。
附图说明
图1为时序卷积网络结构示意图。
图2为方法实施步骤图。
图3为相关性分析热图。
图4为输入数据集描述图。
图5为耦合双向LSTM和CNN网络预测效果图。
具体实施方式
本发明所采用的原始路面传感器监测数据集为自动化道路监测***所获取的数据。具体实施步骤如下:
(1)原始监测数据预处理
由于监测数据传输时数据丢失、采集的设备的暂时性故障等***性误差的问题,原始数据会出现重复、缺失、跃变等问题对网络预测精度造成很大影响。因此,将传感器获取到的原始数据进行删除重复值和跃变值,补充缺失值。为了保证监测数据的时间连续性和一致性,选取了合适的九个时间段的数据,并将时间间隔统一为一小时,这样将更符合时序数据的特点,便于模型训练。
(2)特征相关性分析
位于基层部分的三向应变计监测的数据是预测目标数据的实测值——基层应变值,该监测***获得的所有数据包括了很多特征,探究这些特征之间的联系以及和预测目标之间的关联度是很关键的。本发明是初步设想通过沥青层应变、土压力、渗压、含水量、温度、土层应变这几个因素来预测基层应变,正确地减少一些特征数量将会为模型运算提供一定的帮助,例如提高精度、降低过拟合的风险等。因此,为模型喂入输入端数据之间有必要对这些数据特征进行相关性分析。首先,由于每个传感器获取的监测数据维度巨大,仅选取每个传感器获取的前三个监测位置的数据进行相关性分析;然后,利用皮尔逊相关性系数衡量特征之间的相关性,得相关性分析热图,如图3所示。皮尔逊相关性系数数值越接近1或-1,越具有正负相关性。最后,根据分析结果显示土层应变与其他特征的相关性很小,将其从输入端去除。
(3)数据集制作
为满足监督学习的需要,将路面监测数据集按照训练集和测试集比例约为8:2进行划分。输入数据集描述如图4所示。在训练过程中为了监测模型的训练效果,从训练集中划分20%作为验证集。
(5)BiLSTM-CNN网络基层应变预测分析
本发明采用的BiLSTM-CNN网络利用其一维卷积结构提取监测数据时间维度上的不变特征;利用其双向LSTM结构对历史数据的双向语义依赖关系进行捕捉并学习特征之间的映射关系,其可以对数据进行反转,隐藏层对正反向信息进行合成,使得网络内的细胞可以同时获得上下文信息。该发明将具有提取固定性质的卷积层和双向LSTM进行组合,从而较好的保留长期依赖关系和历史特征信息,改善模型训练效果,提高预测模型鲁棒性和精度。
BiLSTM-CNN网络由4层一维卷积层、一层双向LSTM和两层全连接层构成,一共有7层。一维卷积核尺寸均为2,个数依次为18、36、72和144,每层均使用ReLU激活函数,每个一维卷积层后接一个大小为2、步幅为1的最大池化层,四个一维卷积层后连接一个单元数为256的双向LSTM层。此时,输入数据经过每层的一维卷积后其内部的固定特征被网络提取,每层经过ReLU激活函数后,再经过一个步幅为2的上采样层(UpSampling),随后在双向LSTM结构中学习长期依赖关系和数据上下文的历史信息。最后在全连接层获得预测信息,输出端将依次获得的预测信息作为输出。最终预测效果如图5所示。
本发明使用的ReLU函数表示如下:
在耦合双向LSTM和卷积结构网络对路面监测数据的训练过程中,将输入多维数据与目标数据共同训练,从中不断学习数据特征和数据之间的物理关系,优化目标为最小化预测值与实测值的误差。以自适应学习率调整算法Adadelta(Adaptive Learning RateMethod)作为反向传播过程中梯度下降的优化算法,该算法的优势在于能够自适应调整梯度下降时的学习速率,而不需要手动设置。
对于学***稳目标方面具有两个优势。由于Adam可以很好地适用于广泛的非凸优化问题,所以在本发明中使用了它。
Adam保持过去的平均平方梯度vt在指数衰减的趋势。它也有一个指数衰减趋势的过去梯度mt的平均值,并在误差面有一个平坦的最小值的偏好。然后,计算过去的衰减平均值和过去的平方梯度mt和vt相应地如下:
mt=β1mt-1+(1-β1)gt (2)
其中mt和vt分别是梯度的第一阶矩(均值)和第二阶矩(无中心方差)的估计值。该算法保持多维数据随机梯度下降保持单一的学习率,更新时序卷积网络中的所有权重。
由于mt和vt初始化为0的向量,它们偏向于0,这些偏向可以计算为:
然后使用这些t并更新参数为:
β1默认值为0.9,β2的默认值为0.999,∈的默认值为10-8。每个epoch是神经网络训练一次遍历整个数据集的全过程,包括向前和向后。在本发明中学习率为0.002。
经观测,随着迭代次数的增加,损失值在不断下降,训练100代后,所使用的BiLSTM-CNN网络的预测值可以很好地与实测值进行拟合。

Claims (3)

1.一种基于耦合双向LSTM和卷积结构网络的道路基层应变分析方法,其特征在于:利用自动化道路监测***获取路面历史监测数据,结合深度学习方法进行关键数据预测,具体步骤如下:
步骤一:原始监测数据预处理;
首先,将各种传感器获取的道路监测数据进行整合;
其次,根据道路监测***获取数据的时间跨度,选取时间段的数据之后进行删除数据重复值和跃变值,并将缺失值补充完毕;
最后,将所有时序数据的数据点之间的时间间隔统一为1小时;
步骤二:特征相关性分析;
第一步,将处理过后每个传感器获取的前三个数据点进行相关性分析,根据皮尔逊相关性系数衡量特征之间的相关性;第二步,由于土层应变的相关性极小将其去除;
步骤三:数据集制作;
对沥青应变、渗透压、土壤水分和基层三向应变的所有监测数据点进行取平均值,则温度按照温度传感器的埋设位置,将划分为面层、基层和土基三部分进行取平均值;最终把监测数据集按照训练集和测试集比例为8:2进行划分;
步骤四:时序卷积网络基层应变预测;
采用的BiLSTM-CNN网络利用其一维卷积结构提取监测数据时间维度上的不变特征;BiLSTM-CNN网络由4层一维卷积层、一层双向LSTM和两层全连接层构成;一维卷积层的卷积核尺寸均为2,个数分别为18、36、72和144;后接一个大小为2、步幅为1的最大池化层,每层均使用ReLU激活函数;将预处理和降维后的数据集作为BiLSTM-CNN网络的输入,时间步长设为8。
2.根据权利要求1所述的一种基于耦合双向LSTM和卷积结构网络的道路基层应变分析方法,其特征在于,在BiLSTM-CNN网络对路面监测数据的训练过程中,将输入多维数据与目标数据共同训练,从中不断学习数据特征和数据之间的物理关系,优化目标为最小化预测值与实测值的误差;以自适应学习率调整算法Adadelta作为反向传播过程中梯度下降的优化算法。
3.根据权利要求1所述的一种基于耦合双向LSTM和卷积结构网络的道路基层应变分析方法,其特征在于,采用BiLSTM-CNN网络在对监测数据进行处理:(1)采用双向LSTM获取数据的上下文信息;(2)添加一维卷积层提取监测数据中的不变特征;(3)一维卷积层后接一个最大池化层;(4)所有层使用ReLU激活函数。
CN202110877678.8A 2021-08-01 2021-08-01 一种基于耦合双向lstm和卷积结构网络的道路基层应变分析方法 Active CN114048790B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110877678.8A CN114048790B (zh) 2021-08-01 2021-08-01 一种基于耦合双向lstm和卷积结构网络的道路基层应变分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110877678.8A CN114048790B (zh) 2021-08-01 2021-08-01 一种基于耦合双向lstm和卷积结构网络的道路基层应变分析方法

Publications (2)

Publication Number Publication Date
CN114048790A CN114048790A (zh) 2022-02-15
CN114048790B true CN114048790B (zh) 2024-05-24

Family

ID=80204457

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110877678.8A Active CN114048790B (zh) 2021-08-01 2021-08-01 一种基于耦合双向lstm和卷积结构网络的道路基层应变分析方法

Country Status (1)

Country Link
CN (1) CN114048790B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114413832B (zh) * 2021-12-02 2023-12-15 中国通信建设第三工程局有限公司 一种基于光纤传感的道路监测***及方法
CN115077474A (zh) * 2022-06-14 2022-09-20 天津华北地质勘查总院 一种基于机器学习的地面沉降趋势预测方法及***
CN115081706B (zh) * 2022-06-16 2023-04-28 中国安能集团第三工程局有限公司 基于双向lstm网络的黄土塌陷预测方法及装置
CN115329812B (zh) * 2022-08-10 2023-07-21 贵州桥梁建设集团有限责任公司 一种基于人工智能的桥梁基础设施异常监测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106355330A (zh) * 2016-08-31 2017-01-25 郑州航空工业管理学院 基于径向基神经网络预测模型的多响应参数优化方法
CN111209620A (zh) * 2019-12-30 2020-05-29 浙江大学 基于LSTM-cGAN的含裂纹结构剩余承载力及裂纹扩展路径的预测方法
CN112001177A (zh) * 2020-08-24 2020-11-27 浪潮云信息技术股份公司 融合深度学习与规则的电子病历命名实体识别方法及***
CN112069831A (zh) * 2020-08-21 2020-12-11 三峡大学 基于bert模型和增强混合神经网络的不实信息检测方法
CN112733442A (zh) * 2020-12-31 2021-04-30 交通运输部公路科学研究所 基于深度学习的路面长期性能预测模型及其构建方法
CN112747779A (zh) * 2020-12-23 2021-05-04 武汉理工光科股份有限公司 基于光纤光栅传感的沥青路面智能化监测***
CN112819136A (zh) * 2021-01-20 2021-05-18 南京邮电大学 基于cnn-lstm神经网络模型与arima模型的时间序列预测方法及***
CN112953862A (zh) * 2021-02-07 2021-06-11 哈尔滨工程大学 一种基于深度学习的高速铁路场景信道估计方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106355330A (zh) * 2016-08-31 2017-01-25 郑州航空工业管理学院 基于径向基神经网络预测模型的多响应参数优化方法
CN111209620A (zh) * 2019-12-30 2020-05-29 浙江大学 基于LSTM-cGAN的含裂纹结构剩余承载力及裂纹扩展路径的预测方法
CN112069831A (zh) * 2020-08-21 2020-12-11 三峡大学 基于bert模型和增强混合神经网络的不实信息检测方法
CN112001177A (zh) * 2020-08-24 2020-11-27 浪潮云信息技术股份公司 融合深度学习与规则的电子病历命名实体识别方法及***
CN112747779A (zh) * 2020-12-23 2021-05-04 武汉理工光科股份有限公司 基于光纤光栅传感的沥青路面智能化监测***
CN112733442A (zh) * 2020-12-31 2021-04-30 交通运输部公路科学研究所 基于深度学习的路面长期性能预测模型及其构建方法
CN112819136A (zh) * 2021-01-20 2021-05-18 南京邮电大学 基于cnn-lstm神经网络模型与arima模型的时间序列预测方法及***
CN112953862A (zh) * 2021-02-07 2021-06-11 哈尔滨工程大学 一种基于深度学习的高速铁路场景信道估计方法

Also Published As

Publication number Publication date
CN114048790A (zh) 2022-02-15

Similar Documents

Publication Publication Date Title
CN114048790B (zh) 一种基于耦合双向lstm和卷积结构网络的道路基层应变分析方法
CN115758212B (zh) 一种基于并行网络和迁移学习的机械设备故障诊断方法
CN111784070A (zh) 一种基于XGBoost算法的滑坡短临智能预警方法
CN112070322B (zh) 基于长短期记忆网络的高压电缆线路运行状态预测方法
CN115271186B (zh) 一种基于延时因子和PSO RNN Attention模型的水库水位预测预警方法
CN114169638A (zh) 一种水质预测方法及装置
CN113128113A (zh) 一种基于深度学习和迁移学习的贫乏信息建筑负荷预测方法
CN114399073A (zh) 一种基于深度学习的海洋表面温度场预测方法
CN115796059A (zh) 一种基于深度学习的电气设备寿命预测方法及***
CN113988210A (zh) 结构监测传感网失真数据修复方法、装置及存储介质
CN110851897B (zh) 一种多因素关联下的渡槽应力应变预测方法
CN117809164A (zh) 基于多模态融合的变电站设备故障检测方法及***
CN117521512A (zh) 一种基于多尺度贝叶斯卷积Transformer模型的轴承剩余使用寿命预测方法
CN110188399B (zh) 一种基于多相关序列的大坝安全监测单测点评价方法
CN112560252B (zh) 一种航空发动机剩余寿命预测方法
CN116662920B (zh) 钻爆法施工装备异常数据辨识方法、***、装备及介质
CN116663126A (zh) 一种基于通道注意力BiLSTM模型的桥梁温度效应预测方法
CN115455791B (zh) 一种基于数值模拟技术提高滑坡位移预测准确率的方法
CN116364203A (zh) 一种基于深度学习的水质预测方法、***和装置
CN115983333A (zh) 基于混合神经网络的盾构掘进速度智能预测方法
CN116070126A (zh) 基于对抗自监督的航空柱塞泵配油盘磨损检测方法及***
CN114048835A (zh) 一种基于时序卷积网络的道路基层应变分析方法
CN113591371A (zh) 基于时空关联模型的桥梁集群结构损伤定位方法
CN117709488B (zh) 基于RUN-XGBoost的大坝渗流预测方法
CN117421601B (zh) 一种海面蒸发波导临近期快速预报方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant