CN117093853A - 时序数据的处理方法、装置、计算机可读介质及电子设备 - Google Patents
时序数据的处理方法、装置、计算机可读介质及电子设备 Download PDFInfo
- Publication number
- CN117093853A CN117093853A CN202311349186.7A CN202311349186A CN117093853A CN 117093853 A CN117093853 A CN 117093853A CN 202311349186 A CN202311349186 A CN 202311349186A CN 117093853 A CN117093853 A CN 117093853A
- Authority
- CN
- China
- Prior art keywords
- data
- processed
- cosine
- sample
- time sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title abstract description 7
- 238000012545 processing Methods 0.000 claims abstract description 96
- 238000005070 sampling Methods 0.000 claims abstract description 80
- 238000000034 method Methods 0.000 claims abstract description 73
- 238000010586 diagram Methods 0.000 claims abstract description 27
- 238000000605 extraction Methods 0.000 claims description 85
- 238000012549 training Methods 0.000 claims description 72
- 230000008569 process Effects 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 7
- 230000003213 activating effect Effects 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 13
- 238000013473 artificial intelligence Methods 0.000 abstract description 11
- 238000004364 calculation method Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 11
- 238000012360 testing method Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 238000001994 activation Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
- G06F18/15—Statistical pre-processing, e.g. techniques for normalisation or restoring missing data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种时序数据的处理方法、装置、计算机可读介质以及电子设备,本申请实施例可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景。所述方法包括:对待处理时序数据进行多尺度采样,得到多个待处理数据;对各个待处理数据进行余弦特征提取,得到各个待处理数据对应的余弦特征,其中,不同待处理数据对应的余弦特征所对应的余弦周期不同;对多个待处理数据分别对应的余弦特征进行拼接,得到待处理时序数据对应的特征图;根据待处理时序数据对应的特征图进行时序数据的预测处理,得到预测时序数据。本申请技术方案将时序数据从时域空间转换至余弦空间进行处理,并融合多周期的特征图进行时序数据预测,提高了时序数据预测的准确性。
Description
技术领域
本申请属于数据处理技术领域,具体涉及一种时序数据的处理方法、装置、计算机可读介质以及电子设备。
背景技术
对现有的时间序列数据进行分析和研究来预测未来的数据变化在各个领域中有广泛应用,例如,基于历史的天气变化情况预测未来的天气变化情况。目前,常用的时间序列数据预测方法一般是针对具体应用场景下目标对象的运行机制构建机理模型,通过该机理模型进行时间序列数据的预测,该模型通常由一系列代数和微分方程组成。虽然这种方法可以较为准确地描述目标对象的运行情况,但其只能针对单一对象进行预测,而在实际环境中,对象所处环境和使用条件是变化的,这种方法的预测结果不够准确。
发明内容
本申请的目的在于提供一种时序数据的处理方法、装置、计算机可读介质以及电子设备,可以提高时序数据预测的准确性。
本申请的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本申请的实践而习得。
根据本申请实施例的一个方面,提供一种时序数据的处理方法,包括:
对待处理时序数据进行多尺度采样,得到多个待处理数据;
对各个待处理数据进行余弦特征提取,得到各个待处理数据对应的余弦特征,其中,不同待处理数据对应的余弦特征所对应的余弦周期不同;
对所述多个待处理数据分别对应的余弦特征进行拼接,得到所述待处理时序数据对应的特征图;
根据所述待处理时序数据对应的特征图进行时序数据的预测处理,得到预测时序数据。
根据本申请实施例的一个方面,提供一种时序数据的处理装置,包括:
数据采样模块,用于对待处理时序数据进行多尺度采样,得到多个待处理数据;
特征提取模块,用于对各个待处理数据进行余弦特征提取,得到各个待处理数据对应的余弦特征,其中,不同待处理数据对应的余弦特征所对应的余弦周期不同;
特征拼接模块,用于对所述多个待处理数据分别对应的余弦特征进行拼接,得到所述待处理时序数据对应的特征图;
预测模块,用于根据所述待处理时序数据对应的特征图进行时序数据的预测处理,得到预测时序数据。
在本申请的一个实施例中,特征提取模块具体用于:
对所述各个待处理数据进行归一化处理,得到所述各个待处理数据对应的归一化数据;
基于所述各个待处理数据对应的余弦周期对所述各个待处理数据对应的归一化数据进行余弦特征提取,得到所述各个待处理数据对应的余弦特征。
在本申请的一个实施例中,特征提取模块具体用于:
计算所述各个待处理数据中最大待处理数据和最小待处理数据之间的差值;
将所述待处理数据与所述差值的比值乘以预设系数,得到所述待处理数据对应的归一化数据,所述预设系数表征所述归一化数据的最大变化幅度。
在本申请的一个实施例中,数据采样模块具体用于:
基于预设长度的时间窗口从待处理时序数据中提取连续时序数据;
基于多个采样周期对所述连续时序数据进行多次采样,得到多个待处理数据。
在本申请的一个实施例中,特征提取模块具体用于:
基于所述各个待处理数据对应的余弦周期对各个待处理数据进行余弦空间转换,得到各个待处理数据对应的余弦数据;
对各个余弦数据进行多次特征提取,并将最后一次特征提取的输出数据作为各个余弦数据对应的余弦特征。
在本申请的一个实施例中,特征提取模块具体用于:
在第i次特征提取过程中,将第i-1次特征提取的输出数据作为第i次特征提取的输入数据;其中,2≤i≤K,K为预设特征提取次数;第1次特征提取的输入数据为所述余弦数据;
对所述第i次特征提取的输入数据进行卷积处理,得到卷积特征;
对所述第i次特征提取的输入数据和所述卷积特征的融合结果进行激活处理,得到所述第i次特征提取的输出数据。
在本申请的一个实施例中,所述装置还包括:
样本采样模块,用于基于多个预设时间窗口对样本时序数据进行多尺度采样,得到各个预设时间窗口对应的多个样本训练数据;
模型训练模块,用于通过各个预设时间窗口对应的多个样本训练数据对时序预测模型进行训练,得到训练好的时序预测模型;其中,在模型训练过程中,根据不同预设时间窗口对应的样本训练数据之间的相似度计算模型损失;所述训练好的时序预测模型用于对所述待处理数据进行余弦特征的提取,并用于对所述多个待处理数据分别对应的余弦特征进行拼接,以及根据所述待处理时序数据对应的特征图进行时序数据的预测处理。
在本申请的一个实施例中,样本采样模块具体用于:
基于多个预设时间窗口从样本时序数据中提取多个连续样本数据,其中,一个预设时间窗口对应于一个连续样本数据;
基于多个采样周期分别对各个连续样本数据进行多次采样,得到各个预设时间窗口对应的多个样本训练数据。
在本申请的一个实施例中,模型训练模块包括:
样本特征提取单元,用于对第一预设时间窗口和第二预设时间窗口对应的多个样本训练数据分别进行余弦特征提取,得到所述第一预设时间窗口和所述第二预设时间窗口分别对应的多个样本余弦特征;其中,所述第一预设时间窗口和所述第二预设时间窗口为所述多个预设时间窗口中不同的预设时间窗口;
第一损失计算单元,用于根据所述第一预设时间窗口和所述第二预设时间窗口分别对应的样本余弦特征之间的相似度计算第一模型损失;
样本特征拼接单元,用于对所述第一预设时间窗口对应的多个样本余弦特征进行拼接,得到样本特征图,并根据所述样本特征图进行时序预测,得到所述第一预设时间窗口对应的样本预测数据;
第二损失计算单元,用于根据所述第一预设时间窗口对应的预测标签数据和所述样本预测数据计算第二模型损失;
参数更新单元,用于根据所述第一模型损失和所述第二模型损失更新所述时序预测模型的模型参数。
在本申请的一个实施例中,所述第一损失计算单元具体用于:
确定与所述第一预设时间窗口对应的第一样本余弦特征具有相同采样位置的所述第二预设时间窗口对应的第二样本余弦特征;
将所述第一样本余弦特征和所述第二样本余弦特征之间的余弦相似度作为第一模型损失。
在本申请的一个实施例中,所述第二损失计算单元具体用于:将所述样本训练数据对应的预测标签数据和所述样本预测数据之间的均方差作为第二模型损失。
在本申请的一个实施例中,所述参数更新单元具体用于:
对所述第一模型损失和所述第二模型损失进行加权求和,得到目标模型损失;
根据所述目标模型损失更新所述时序预测模型的模型参数。
根据本申请实施例的一个方面,提供一种计算机可读介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如以上技术方案中的时序数据的处理方法。
根据本申请实施例的一个方面,提供一种电子设备,该电子设备包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器执行所述可执行指令使得所述电子设备执行如以上技术方案中的时序数据的处理方法。
根据本申请实施例的一个方面,提供一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行如以上技术方案中的时序数据的处理方法。
在本申请实施例提供的技术方案中,一方面,通过对待处理时序数据进行多尺度采样,可以使得时序数据预测基于多尺度特征进行,有利于提高时序数据预测的准确性。另一方面,通过对各个待处理数据进行余弦特征提取,得到各个待处理数据对应的余弦特征,相当于将时序数据从时域空间转换至余弦空间进行处理,余弦特征的信息表征能力更强,进而提高时序数据预测的准确性。进一步的,不同待处理数据转换至余弦空间后,得到不同余弦周期的余弦特征,进而根据融合多周期的特征图进行时序数据预测,进一步提高了时序数据预测的准确性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示意性地示出了应用本申请技术方案的示例性***架构框图。
图2示意性地示出了本申请一个实施例提供的时序数据的处理方法的流程图。
图3示意性地示出了本申请一个实施例提供的特征提取过程的示意图。
图4示意性地示出了本申请一个实施例提供的时序数据的处理方法的流程图。
图5示意性地示出了本申请一个实施例提供的模型训练过程的流程图。
图6示意性地示出了本申请一个实施例提供的时序预测模型训练过程的示意图。
图7示意性地示出了本申请一个实施例提供的时序数据的处理方法的流程图。
图8示意性地示出了本申请实施例提供的时序数据的处理装置的结构框图。
图9示意性示出了适于用来实现本申请实施例的电子设备的计算机***结构框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本申请将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本申请的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本申请的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
图1示意性地示出了应用本申请技术方案的示例性***架构框图。
如图1所示,***架构100可以包括终端设备110、网络120和服务器130。终端设备110可以包括智能手机、平板电脑、笔记本电脑、智能语音交互设备、智能家电、车载终端、飞行器等等。服务器130可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式***,还可以是提供云计算服务的云服务器。网络120可以是能够在终端设备110和服务器130之间提供通信链路的各种连接类型的通信介质,例如可以是有线通信链路或者无线通信链路。
根据实现需要,本申请实施例中的***架构可以具有任意数目的终端设备、网络和服务器。例如,服务器130可以是由多个服务器设备组成的服务器群组。另外,本申请实施例提供的技术方案可以应用于终端设备110,也可以应用于服务器130,或者可以由终端设备110和服务器130共同实施,本申请对此不做特殊限定。
本发明实施例可应用于各种场景,包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。人工智能(Artificial Intelligence, AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
示例性的,本申请技术方案可以应用于智慧交通领域的车流量预测,车流量是一种随着时间变化的数据,属于一种时间数序列数据,简称为时序数据。以当前已有的车流量数据作为待处理时序数据,由终端设备110或服务器130对当前已有的车流量数据进行多尺度采样,得到多个车流量待处理数据。终端设备110或服务器130对各个车流量待处理数据进行余弦特征提取,得到各个车流量待处理数据对应的车流量余弦特征,也即,将车流量待处理数据从时域空间转换至余弦空间并进行特征提取,得到车流量余弦特征,其中,不同车流量待处理数据对应的车流量余弦特征所对应的余弦周期不同。接下来,终端设备110或服务器130对多个车流量待处理数据分别对应的车流量余弦特征进行拼接,得到车流量数据对应的特征图,并根据该特征图进行时序预测,得到未来一段时间的车辆量数据。例如,可以基于当前已有的5天内的车流量数据预测未来1天或5天内的车流量数据,或者基于当前已有的5小时内的车流量数据预测未来1小时内的车流量数据。
又例如,本申请技术方案可以应用于天气情况的预测,例如,进行降雨量预测,降雨量属于一种时间序列数据。以当前已有的降雨量数据作为待处理时序数据,通过终端设备110或服务器130对已有降雨量数据进行多尺度采样、特征提取、特征拼接和预测处理后,得到未来一段时间的降雨量数据。例如,以距离当前时间5天内的历史降雨量数据作为待处理时序数据,预测未来几天内的降雨量数据,或以数小时内的历史降雨量数据预测未来几小时内的降雨量数据等。
在本申请的一个实施例中,本申请技术方案可以通过机器学习技术实现。机器学习(Machine Learning, ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
下面结合具体实施方式对本申请提供的时序数据的处理方法做出详细说明。
图2示意性地示出了本申请一个实施例提供的时序数据的处理方法的流程图,该方法可以通过本申请任意实施例提供的时序数据的处理装置实施,该装置可以配置于服务器或终端设备中,例如图1所示的终端设备110或服务器130,下面将以时序数据的处理装置作为执行主体来阐述时序数据的处理方法的具体实施过程。如图2所示,本申请实施例提供的时序数据的处理方法包括步骤210至步骤240,具体如下:
步骤210、对待处理时序数据进行多尺度采样,得到多个待处理数据。
具体地,待处理时序数据可以是历史时序数据、预测时序数据或者是历史时序数据与预测时序数据的组合。例如,时序数据的处理装置可以根据距离当前5小时内的历史车流量数据预测未来5小时内的车流量数据,此时待处理时序数据是历史车流量数据。又例如,时序数据的处理装置可以根据预测的未来5小时内的车流量数据继续预测下一个未来5小时内的车流量数据,此时待处理时序数据是预测车流量数据。又例如,时序数据的处理装置可以根据距离当前3小时内的历史车流量数据和预测的未来2小时内的车流量数据继续预测接下来的5小时内的车流量数据,此时待处理时序数据是历史车流量数据与预测车流量数据的组合。
多尺度采样是指采样后的待处理数据具有多种不同的长度。具体来说,待处理时序数据包括随时间序列排列的多个数据点,进行多尺度采样后,不同尺度采样得到的待处理数据所包含的数据点数量不同。示例性的,采样一次可以是从待处理时序数据中均匀采样设定数量的数据点,例如均匀采样10个数据点、采样50个数据点、采样100个数据点等。
在本申请的一个实施例中,采样得到的待处理数据的长度不超过待处理时序数据的长度,在本实施例中,时序数据的长度指时序数据所包含的数据点的个数,在其他情况下,时序数据的长度也可以指时序数据所对应时间序列的长度。当待处理数据的长度小于待处理时序数据的长度时,时序数据的处理装置可以基于同一个采样尺度对待处理时序数据进行多次采样,不同次采样得到的待处理数据之间可以存在部分重合内容,但不能够完全重合。当待处理数据的长度等于待处理时序数据的长度时,时序数据的处理装置仅能够进行一次采样,且采样得到的待处理数据与待处理时序数据相同。示例性的,假设待处理时序数据包括100个数据点,编号为1-100,采样后待处理数据的长度为50个数据点,那么在采样时,可以对数据点1-50采样得到一个待处理数据,对数据点51-100采样得到一个待处理数据,还可以对数据点5-54采样得到一个待处理数据,对数据点10-59采样得到一个待处理数据。
在本申请的一个实施例中,对待处理时序数据进行采样的过程具体包括:基于预设长度的时间窗口从待处理时序数据中提取连续时序数据;基于多个采样周期对连续时序数据进行多次采样,得到多个待处理数据。
具体地,时序数据的处理装置首先通过预设长度的时间窗口对待处理时序数据的长度进行限定,这样可以避免待处理时序数据过长或者无限长而造成后续数据处理量过多。对待处理时序数据长度进行限定时,时序数据的处理装置需根据时间窗口对应的预设长度,从待处理时序数据中提取长度为预设长度,并且时间序列上是连续的时间序列数据,记为连续时序数据。示例性的,假设待处理时序数据包括105个数据点,编号为1-105,时间窗口的长度为100个数据点,则时序数据的处理装置可以将数据点1-100、数据点2-101、数据点3-102、数据点4-103、数据点5-104和数据点6-105中的任意一个时序数据作为连续时序数据。又例如,假设待处理时序数据的时间长度是10分钟,时间窗口的长度是9分钟,则根据待处理时序数据中数据点的最小计量单位,时序数据的处理装置从待处理时序数据中提取时长为9分钟的连续时序数据。例如,待处理时序数据中数据点的最小计量单位是分钟,即每分钟对应一个数据点,则时序数据的处理装置将待处理时序数据中0-9分钟的数据段作为连续时序数据。又例如,待处理时序数据中数据点的最小计量单位是秒,即每秒钟对应一个数据点,则时序数据的处理装置可以将0’0”-8’59”的连续数据段作为连续时序数据,其中,8’59”表示8分59秒,或者时序数据的处理装置将0’30”-9’29”的连续数据段作为连续时序数据,或者时序数据的处理装置采样其他9分钟内连续的数据段作为连续时序数据。
在得到连续时序数据后,时序数据的处理装置在连续时序数据的基础上进行多尺度采样,得到多个待处理数据。多尺度采样是指基于多个采样周期对连续时序数据进行多次采样,采样周期表示每隔多少数据长度采样一次,采样周期也表示相邻两个待处理数据之间的数据点数量之差或者相邻两次采样之间的时间间隔。比如,采样周期为2秒、4秒、6秒等,表示每2秒、4秒、6秒对连续时序数据进行一次采样。
在本申请的一个实施例中,多尺度采样是指根据多个采样周期和各个采样周期对应的采样数据长度对连续时序数据进行多次采样。采样数据长度即表示每次采样时所得到的待处理数据的长度。示例性的,假设采样周期为5个数据点或5秒,采样数据长度为10个数据点或10秒,则采样过程是每隔5个数据点或5秒采样一次,得到一个具有10个数据点或10秒时长的待处理数据。
步骤220、对各个待处理数据进行余弦特征提取,得到各个待处理数据对应的余弦特征,其中,不同待处理数据对应的余弦特征所对应的余弦周期不同。
具体地,经过采样得到的待处理数据仍然是时间序列数据,其属于时域空间中的数据。本实施例中,时序数据的处理装置将时域空间的待处理数据转换至余弦空间,并在余弦空间进行特征提取,得到待处理数据对应的余弦特征。时序数据的处理装置通过余弦函数对待处理数据进行计算,从而将待处理数据从时域空间转换至余弦空间。对待处理数据进行转换的余弦函数的周期即为该待处理数据对应的余弦周期,也是该待处理数据经过余弦特征提取后得到的余弦特征所对应的余弦周期。例如,以余弦函数y=Acos(ωx+φ)为例,x表示待处理数据,y表示转换后的余弦空间数据,A表示幅值,ω表示周期(在一些情况下,用2π/|ω|表示周期,由于2π是固定值,周期仅随ω变化,故本实施例以ω代表周期),φ表示初始相位。本实施例中,为不同的待处理数据设置不同的余弦周期,进而可以得到不同余弦周期的余弦特征。
在本申请的一个实施例中,对待处理数据进行余弦特征提取的过程具体包括:对各个待处理数据进行归一化处理,得到各个待处理数据对应的归一化数据;基于各个待处理数据对应的余弦周期对各个待处理数据对应的归一化数据进行余弦特征提取,得到各个待处理数据对应的余弦特征。
具体地,为了使各个待处理数据处于相同的变化范围内,在进行余弦特征提取之前,对各个待处理数据归一化处理,得到归一化数据。归一化数据均处于相同的数据范围内,例如,归一化后的数据在0~1之间。
在本申请的一个实施例中,进行归一化处理的具体过程包括:计算各个待处理数据中最大待处理数据和最小待处理数据之间的差值;将待处理数据与差值的比值乘以预设系数,得到待处理数据对应的归一化数据,预设系数表征归一化数据的最大变化幅度。
假设以预设时长T的时间窗口对待处理时序数据进行多尺度采样后得到的n个待处理数据记为,第i个待处理数据/>的归一化方式如下式所示:
其中,表示第i个待处理数据/>对应的归一化数据,/>为各个待处理数据中的最大待处理数据,/>为各个待处理数据中的最小待处理数据,2π为预设系数。预设系数表征归一化数据的最大变化幅度。
在本申请的一个实施例中,对待处理数据进行余弦特征提取的过程具体包括:基于各个待处理数据对应的余弦周期对各个待处理数据进行余弦空间转换,得到各个待处理数据对应的余弦数据;对各个余弦数据进行多次特征提取,并将最后一次特征提取的输出数据作为各个余弦数据对应的余弦特征。
具体地,时序数据的处理装置首先将各个待处理数据从时域空间转换到余弦空间,可以参考下式进行转换:
其中,表示进行余弦空间转换后的第i个余弦数据,/>表示第i个待处理数据或者第i个待处理数据/>对应的归一化数据,/>表示第i个待处理数据或者第i个待处理数据对应的归一化数据对应的余弦周期。余弦周期/>实际上体现了转换后的余弦数据/>的维度,因此,可以根据需要调整/>,以得到/>维的余弦数据/>。
接下来,时序数据的处理装置对余弦数据进行多次特征提取,将最后一次特征提取得到的数据作为余弦数据对应的余弦特征。本实施例中,多次特征提取是多次串行连接的特征提取,即前一次特征提取的输出数据是后一次特征提取的输入数据。具体而言,在第i次特征提取过程中,首先将第i-1次特征提取的输出数据作为第i次特征提取的输入数据;其中,2≤i≤K,K为预设特征提取次数,第1次特征提取的输入数据为进行余弦空间转换得到的余弦数据。然后,对第i次特征提取的输入数据进行卷积处理,得到卷积特征。最后,对第i次特征提取的输入数据和卷积特征的融合结果进行激活处理,得到第i次特征提取的输出数据。
示例性的,图3示意性地示出了本申请一个实施例提供的特征提取过程的示意图。如图3所示,在第i次特征提取的过程中,通过两条支路对输入数据进行处理,其中第一条支路对输入数据进行卷积处理,得到卷积特征;第二条支路直接以输入数据作为输出数据。然后将第一条支路输出的卷积特征和第二支路输出的输入数据融合,得到融合结果。最后对融合结果进行激活处理,得到第i次特征提取的输出数据。
在一些情况下,卷积特征与输入数据之间的维度可能不同,那么此时可以在第二条支路上增加卷积层,通过卷积层来调节输入数据的维度,以使其维度与第一条支路输出的卷积特征的维度相同,进而可以进行融合。
在一些情况下,对输入数据进行卷积处理的具体过程可以包括多次卷积操作、归一化处理、激活处理、池化处理等步骤中的一种或多种。例如,输入数据依次经过卷积操作、归一化处理、激活处理、卷积操作和归一化处理后,得到卷积特征。
在本申请的一个实施例中,时序数据的处理装置使用特征编码器对通过余弦空间转换得到的余弦数据进行特征提取,不同余弦周期对应的余弦数据共用同一个特征编码器,从而使得各个余弦数据经过特征提取得到的余弦特征具有相同的维度。特征编码器F由3层一维卷积残差卷积块(block)组成,特征提取过程可以通过下式表示:
其中,表示第i个余弦数据,/>表示通过特征编码器F进行特征提取,表示特征提取得到的余弦特征。
步骤230、对多个待处理数据分别对应的余弦特征进行拼接,得到待处理时序数据对应的特征图。
具体地,特征拼接是将各个余弦特征拼接起来,构成一张特征图。各个余弦特征具有相同的维度,假设一个余弦特征的尺度表示为Mⅹ1,即表示余弦特征是一个M维的行向量,在进行特征拼接时,将一个余弦特征作为特征图中的一行,N个余弦特征按此方式拼接后,形成尺度为NⅹM的特征图。
步骤240、根据待处理时序数据对应的特征图进行时序数据的预测处理,得到预测时序数据。
具体地,本实施例采用回归器进行时序数据的预测处理,将待处理时序数据对应的特征图输入至回归器,回归器进行回归计算后输出预测时序数据。回归器可以采用的回归计算方式如线性回归、逻辑回归、岭回归等。
在本申请实施例提供的技术方案中,一方面,通过对待处理时序数据进行多尺度采样,可以使得时序数据预测基于多尺度特征进行,有利于提高时序数据预测的准确性。另一方面,通过对各个待处理数据进行余弦特征提取,得到各个待处理数据对应的余弦特征,相当于将时序数据从时域空间转换至余弦空间进行处理,余弦特征的信息表征能力更强,进而提高时序数据预测的准确性。进一步的,不同待处理数据转换至余弦空间后,得到不同余弦周期的余弦特征,进而根据融合多周期的特征图进行时序数据预测,进一步提高了时序数据预测的准确性。
图4示意性地示出了本申请一个实施例提供的时序数据的处理方法的流程图,本实施例是对上述实施例的进一步细化。如图4所示,本实施例提供的时序数据的处理方法包括步骤410至步骤460,具体如下:
步骤410、基于多个预设时间窗口对样本时序数据进行多尺度采样,得到各个预设时间窗口对应的多个样本训练数据。
具体地,样本时序数据是具有预测标签的样本数据,预测标签是指基于该样本时序数据生成的真实时序数据。为了使得模型能够学习到不同时间长度的样本时序数据的信息,从而达到对不同时间长度的待处理时序数据的时序预测处理,在对样本时序数据进行采样时,基于多个预设时间窗口对样本时序数据进行采样,每一个预设时间窗口对应的样本时序数据均需进行多尺度采样,从而得到各个预设时间窗口对应的多个样本训练数据。
在本申请的一个实施例中,样本时序数据的采样过程具体包括:基于多个预设时间窗口从样本时序数据中提取多个连续样本数据,其中,一个预设时间窗口对应于一个连续样本数据;基于多个采样周期分别对各个连续样本数据进行多次采样,得到各个预设时间窗口对应的多个样本训练数据。
具体地,多个预设时间窗口是指多个预设长度的时间窗口,各个预设时间窗口对应的窗口长度不同。针对每一个预设时间窗口,从样本时序数据中提取长度与该预设时间窗口的窗口长度相同的连续时间序列数据作为连续样本数据,其中,该连续样本数据的具体提取过程与前述实施例中连续时序数据的具体提取过程相同,在此不再赘述。
步骤420、通过各个预设时间窗口对应的多个样本训练数据对时序预测模型进行训练,得到训练好的时序预测模型;其中,在模型训练过程中,根据不同预设时间窗口对应的样本训练数据之间的相似度计算模型损失。
具体地,通过样本训练数据对时序预测模型进行训练,在模型训练过程中,根据不同预设时间窗口对应样本训练数据之间的相似度计算模型损失,以根据模型损失来更新模型参数。时序预测模型在对样本训练数据进行处理时,首先将样本训练数据转换至预先空间,得到样本余弦数据;然后对样本余弦数据进行特征提取,得到样本余弦特征;继而对多个样本余弦特征拼接,形成样本特征图,最后根据样本特征图进行时序预测,得到样本预测数据。在将样本训练数据从时域空间转换到余弦空间后,样本训练数据之间的相似度也就是对应的样本余弦特征之间的相似度。由于不同预设时间窗口对应的样本训练数据来自于同一样本时序数据或连续样本数据,故而不同预设时间窗口中样本训练数据对应的样本余弦特征应具有较高的相似性,通过根据不同预设时间窗口对应样本训练数据之间的相似度计算模型损失,可以对不同预设时间窗口对应的样本余弦特征进行约束,进而增强时序预测模型对待处理数据的余弦特征的提取效果,使得余弦特征的提取更加准确,有利于提高时序预测的准确性。
在本申请的一个实施例中,图5示意性地示出了本申请一个实施例提供的模型训练过程的流程图,如图5所示,模型训练过程步骤510至步骤550,具体如下:
步骤510、对第一预设时间窗口和第二预设时间窗口对应的多个样本训练数据分别进行余弦特征提取,得到第一预设时间窗口和第二预设时间窗口分别对应的多个样本余弦特征。
具体地,要计算不同预设时间窗口对应的样本训练数据之间的相似度,首先要从多个预设时间窗口选择两个不同的预设时间窗口作为计算对象,这两个不同的预设时间窗口分别记为第一预设时间窗口和第二预设时间窗口。时序预测模型对第一预设时间窗口和第二预设时间窗口对应的多个样本训练数据分别进行余弦特征提取,得到对应的样本余弦特征。具体来说,先将样本训练数据转换至余弦空间,得到样本余弦数据,然后通过特征编码器对样本余弦数据进行特征提取,得到样本余弦特征。
步骤520、根据第一预设时间窗口和第二预设时间窗口分别对应的样本余弦特征之间的相似度计算第一模型损失。
具体地,第一预设时间窗口对应的样本余弦特征和第二预设时间窗口对应的样本余弦特征之间的相似度,就是第一预设时间窗口对应的样本训练数据和第二预设时间窗口对应的样本训练数据之间的相似度。可以通过两个样本余弦特征之间的余弦相似度来表示两个样本余弦特征之间的相似度。
在本申请的一个实施例中,第一模型损失的计算包括具体包括:确定与第一预设时间窗口对应的第一样本余弦特征具有相同采样位置的第二预设时间窗口对应的第二样本余弦特征;将第一样本余弦特征和第二样本余弦特征之间的余弦相似度作为第一模型损失。具体而言,第一模型损失的计算可以参考下式:
其中,表示第m个预设时间窗口的第i个样本训练数据对应的样本余弦特征,可以将其视为第一预设时间窗口对应的第一样本余弦特征;/>表示第n个预设时间窗口的第i个样本训练数据对应的样本余弦特征,可以将其视为与第一预设时间窗口对应的第一样本余弦特征具有相同采样位置的第二预设时间窗口对应的第二样本余弦特征;/>表示第一模型损失。
步骤530、对第一预设时间窗口对应的多个样本余弦特征进行拼接,得到样本特征图,并根据样本特征图进行时序预测,得到第一预设时间窗口对应的样本预测数据。
具体地,时序预测模型同一预设时间窗口对应的多个样本余弦特征进行拼接,由于多个样本余弦特征对应于不同的余弦周期,故而拼接得到的样本特征图融合了多周期的样本余弦特征。然后基于样本特征图进行时序预测,得到样本预测数据。本步骤中,既可以是对第一预设时间窗口对应的样本余弦特征进行拼接和时序预测,也可以是对第二预设时间窗口对应的样本余弦特征进行拼接和时序预测。
步骤540、根据第一预设时间窗口对应的预测标签数据和样本预测数据计算第二模型损失。
具体地,第二模型损失主要体现预测标签数据和样本预测数据之间的差异。例如,可以将样本训练数据对应的预测标签数据和样本预测数据之间的均方差作为第二模型损失,第二模型损失的计算方式可以参考下式:
其中,表示i+1时刻的真实值,也就是预测标签数据;/>表示i+1时刻的真实值,也就是样本预测数据;/>表示第二模型损失;n表示已预审时间窗口所对应的样本训练数据总数。
步骤550、根据第一模型损失和第二模型损失更新时序预测模型的模型参数。
具体地,在得到第一模型损失和第二模型损失后,即可基于这两种模型损失更新模型参数,以便于通过新一批次的样本时序数据继续对时序预测模型进行训练。不断重复该训练过程,直至模型损失达到预设范围,或者训练次数达到预设次数,得到训练好的时序预测模型,接下来就可以使用训练好的时序预测模型对待处理时序数据进行预测。
在本申请的一个实施例中,在计算模型损失时,以第一模型损失和第二模型损失的加权求和结果作为目标模型损失,最后根据目标模型损失来更新模型参数。示例性的,目标模型损失的计算方式参考下式所示:
其中,表示目标模型损失,/>为第一模型损失对应的权重,/>为第二模型损失对应的权重。/>和/>的取值均在0到1之间,具体数值通过模型不断训练学习得到。
本申请技术方案将样本时序数据从时域信号转换到余弦空间,并使用第一模型损失对余弦空间的余弦特征进行约束,从而增强了模型对余弦特征的提取效果,有利于提高时序预测的准确性;同时,通过融合多周期余弦特征构成特征图,进一步提高了模型的预测准确率。
示例性的,图6示意性地示出了本申请一个实施例提供的时序预测模型训练过程的示意图。如图6所示,首先通过多个预设时间窗口从样本时序数据中提取连续样本数据,并对样本连续样本数据进行多尺度采样,得到多个样本训练数据,图6中的输入窗口信号可以表示多个样本训练数据构成的连续样本数据。然后对输入窗口信号进行余弦空间变换,将输入窗口信号包含的每个样本训练数据转换至余弦空间,得到对应的样本余弦数据,并将样本余弦数据输入至特征编码器,以通过特征编码器提取样本余弦特征。接下来,根据不同预设时间窗口对应的样本余弦特征计算第一模型损失Loss_Cosine。同时将同一预设时间窗口中不同余弦周期对应的样本余弦特征进行特征拼接,形成样本特征图。最后将样本特征图输入至回归器,得到样本时序数据的预测结果,记为样本预测数据。后续基于样本预测数据和对应的预测标签数据计算第二模型损失,并基于第一模型损失和第二模型损失更新模型参数。
示例性的,以交通领域的车流量时序数据和天气中的降雨量时序数据分别作为测试数据集对本申请技术方案、现有技术中的TimesNet模型和现有技术中的ETSformer模型进行测试验证,验证结果如下表所示:
其中,Traffic表示车流量时序数据集。Weather表示降雨量时序数据集。预测步长表示预测数据的时间长度,一般根据时间窗口的长度设定,比如预测步长是一个时间窗口的长度、两个时间窗口的长度等。TimesNet表示TimesNet模型对应的测试结果,ETSformer表示ETSformer模型对应的测试结果,Ours表示本申请技术方案的测试结果。测试结果以测试数据的真实值和预测值之间的均方差RESE(X,h)来表示,计算方式如下:
其中,m表示预测数据的长度,x表示预测值,y表示真实值,i为预测数据中的数据点编号。
可以看出,在两种数据集上本申请技术方案对应的均方差均低于现有TimesNet模型和ETSformer模型对应的均方差,即表明本申请技术方案的测试值与真实更加接近,本申请技术方案的时序预测准确性更高。同时在不同预测步长上,本申请技术方案的测试结果也明显优于现有TimesNet模型和ETSformer模型的测试结果,可见本申请技术方案在不同时间窗口长度上均可以有效提取数据特征。
步骤430、对待处理时序数据进行多尺度采样,得到多个待处理数据。
步骤440、通过训练好的时序预测模型对各个待处理数据进行余弦特征提取,得到各个待处理数据对应的余弦特征,其中,不同待处理数据对应的余弦特征所对应的余弦周期不同。
步骤450、通过训练好的时序预测模型对多个待处理数据分别对应的余弦特征进行拼接,得到待处理时序数据对应的特征图。
步骤460、通过训练好的时序预测模型根据待处理时序数据对应的特征图进行时序数据的预测处理,得到预测时序数据。
在本实施例中,步骤430至步骤460的具体执行过程与前述实施例中步骤210至步骤240的具体执行过程相同,在此不再赘述。
示例性的,图7示意性地示出了本申请一个实施例提供的时序数据的处理方法的流程图。如图7所示,待处理时序数据记为时序工况信号,首先时序工况信号通过预设长度的时间窗口进行多尺度采样,得到多个待处理数据。然后对多个待处理数据进行多维余弦空间转换,也就是基于多个不同的余弦周期将各个待处理数据转换至余弦空间,得到对应的余弦数据。接下来通过特征编码器对各个余弦数据进行特征提取,得到对应的余弦特征,进而对各个余弦特征进行特征拼接,生成特征图。最后将特征图输入至回归器,得到预测结果,也就是预设时序数据。
应当注意,尽管在附图中以特定顺序描述了本申请中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
以下介绍本申请的装置实施例,可以用于执行本申请上述实施例中的时序数据的处理方法。图8示意性地示出了本申请实施例提供的时序数据的处理装置的结构框图。如图8所示,本申请实施例提供的时序数据的处理装置包括:
数据采样模块810,用于对待处理时序数据进行多尺度采样,得到多个待处理数据;
特征提取模块820,用于对各个待处理数据进行余弦特征提取,得到各个待处理数据对应的余弦特征,其中,不同待处理数据对应的余弦特征所对应的余弦周期不同;
特征拼接模块830,用于对所述多个待处理数据分别对应的余弦特征进行拼接,得到所述待处理时序数据对应的特征图;
预测模块840,用于根据所述待处理时序数据对应的特征图进行时序数据的预测处理,得到预测时序数据。
在本申请的一个实施例中,特征提取模块820具体用于:
对所述各个待处理数据进行归一化处理,得到所述各个待处理数据对应的归一化数据;
基于所述各个待处理数据对应的余弦周期对所述各个待处理数据对应的归一化数据进行余弦特征提取,得到所述各个待处理数据对应的余弦特征。
在本申请的一个实施例中,特征提取模块820具体用于:
计算所述各个待处理数据中最大待处理数据和最小待处理数据之间的差值;
将所述待处理数据与所述差值的比值乘以预设系数,得到所述待处理数据对应的归一化数据,所述预设系数表征所述归一化数据的最大变化幅度。
在本申请的一个实施例中,数据采样模块810具体用于:
基于预设长度的时间窗口从待处理时序数据中提取连续时序数据;
基于多个采样周期对所述连续时序数据进行多次采样,得到多个待处理数据。
在本申请的一个实施例中,特征提取模块820具体用于:
基于所述各个待处理数据对应的余弦周期对各个待处理数据进行余弦空间转换,得到各个待处理数据对应的余弦数据;
对各个余弦数据进行多次特征提取,并将最后一次特征提取的输出数据作为各个余弦数据对应的余弦特征。
在本申请的一个实施例中,特征提取模块820具体用于:
在第i次特征提取过程中,将第i-1次特征提取的输出数据作为第i次特征提取的输入数据;其中,2≤i≤K,K为预设特征提取次数;第1次特征提取的输入数据为所述余弦数据;
对所述第i次特征提取的输入数据进行卷积处理,得到卷积特征;
对所述第i次特征提取的输入数据和所述卷积特征的融合结果进行激活处理,得到所述第i次特征提取的输出数据。
在本申请的一个实施例中,所述装置还包括:
样本采样模块,用于基于多个预设时间窗口对样本时序数据进行多尺度采样,得到各个预设时间窗口对应的多个样本训练数据;
模型训练模块,用于通过各个预设时间窗口对应的多个样本训练数据对时序预测模型进行训练,得到训练好的时序预测模型;其中,在模型训练过程中,根据不同预设时间窗口对应的样本训练数据之间的相似度计算模型损失;所述训练好的时序预测模型用于对所述待处理数据进行余弦特征的提取,并用于对所述多个待处理数据分别对应的余弦特征进行拼接,以及根据所述待处理时序数据对应的特征图进行时序数据的预测处理。
在本申请的一个实施例中,样本采样模块具体用于:
基于多个预设时间窗口从样本时序数据中提取多个连续样本数据,其中,一个预设时间窗口对应于一个连续样本数据;
基于多个采样周期分别对各个连续样本数据进行多次采样,得到各个预设时间窗口对应的多个样本训练数据。
在本申请的一个实施例中,模型训练模块包括:
样本特征提取单元,用于对第一预设时间窗口和第二预设时间窗口对应的多个样本训练数据分别进行余弦特征提取,得到所述第一预设时间窗口和所述第二预设时间窗口分别对应的多个样本余弦特征;其中,所述第一预设时间窗口和所述第二预设时间窗口为所述多个预设时间窗口中不同的预设时间窗口;
第一损失计算单元,用于根据所述第一预设时间窗口和所述第二预设时间窗口分别对应的样本余弦特征之间的相似度计算第一模型损失;
样本特征拼接单元,用于对所述第一预设时间窗口对应的多个样本余弦特征进行拼接,得到样本特征图,并根据所述样本特征图进行时序预测,得到所述第一预设时间窗口对应的样本预测数据;
第二损失计算单元,用于根据所述第一预设时间窗口对应的预测标签数据和所述样本预测数据计算第二模型损失;
参数更新单元,用于根据所述第一模型损失和所述第二模型损失更新所述时序预测模型的模型参数。
在本申请的一个实施例中,所述第一损失计算单元具体用于:
确定与所述第一预设时间窗口对应的第一样本余弦特征具有相同采样位置的所述第二预设时间窗口对应的第二样本余弦特征;
将所述第一样本余弦特征和所述第二样本余弦特征之间的余弦相似度作为第一模型损失。
在本申请的一个实施例中,所述第二损失计算单元具体用于:将所述样本训练数据对应的预测标签数据和所述样本预测数据之间的均方差作为第二模型损失。
在本申请的一个实施例中,所述参数更新单元具体用于:
对所述第一模型损失和所述第二模型损失进行加权求和,得到目标模型损失;
根据所述目标模型损失更新所述时序预测模型的模型参数。
本申请各实施例中提供的时序数据的处理装置的具体细节已经在对应的方法实施例中进行了详细的描述,此处不再赘述。
图9示意性地示出了用于实现本申请实施例的电子设备的计算机***结构框图。
需要说明的是,图9示出的电子设备的计算机***900仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图9所示,计算机***900包括中央处理器901(Central Processing Unit,CPU),其可以根据存储在只读存储器902(Read-Only Memory,ROM)中的程序或者从存储部分908加载到随机访问存储器903(Random Access Memory,RAM)中的程序而执行各种适当的动作和处理。在随机访问存储器903中,还存储有***操作所需的各种程序和数据。中央处理器901、在只读存储器902以及随机访问存储器903通过总线904彼此相连。输入/输出接口905(Input /Output接口,即I/O接口)也连接至总线904。
以下部件连接至输入/输出接口905:包括键盘、鼠标等的输入部分906;包括诸如阴极射线管(Cathode Ray Tube,CRT)、液晶显示器(Liquid Crystal Display,LCD)等以及扬声器等的输出部分907;包括硬盘等的存储部分908;以及包括诸如局域网卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至输入/输出接口905。可拆卸介质911,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器910上,以便于从其上读出的计算机程序根据需要被安装入存储部分908。
特别地,根据本申请的实施例,各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如,本申请的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分909从网络上被下载和安装,和/或从可拆卸介质911被安装。在该计算机程序被中央处理器901执行时,执行本申请的***中限定的各种功能。
需要说明的是,本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本申请实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (16)
1.一种时序数据的处理方法,其特征在于,包括:
对待处理时序数据进行多尺度采样,得到多个待处理数据;
对各个待处理数据进行余弦特征提取,得到各个待处理数据对应的余弦特征,其中,不同待处理数据对应的余弦特征所对应的余弦周期不同;
对所述多个待处理数据分别对应的余弦特征进行拼接,得到所述待处理时序数据对应的特征图;
根据所述待处理时序数据对应的特征图进行时序数据的预测处理,得到预测时序数据。
2.根据权利要求1所述的时序数据的处理方法,其特征在于,对各个待处理数据进行余弦特征提取,得到各个待处理数据对应的余弦特征,包括:
对所述各个待处理数据进行归一化处理,得到所述各个待处理数据对应的归一化数据;
基于所述各个待处理数据对应的余弦周期对所述各个待处理数据对应的归一化数据进行余弦特征提取,得到所述各个待处理数据对应的余弦特征。
3.根据权利要求2所述的时序数据的处理方法,其特征在于,对所述各个待处理数据进行归一化处理,得到所述各个待处理数据对应的归一化数据,包括:
计算所述各个待处理数据中最大待处理数据和最小待处理数据之间的差值;
将所述待处理数据与所述差值的比值乘以预设系数,得到所述待处理数据对应的归一化数据,所述预设系数表征所述归一化数据的最大变化幅度。
4.根据权利要求1所述的时序数据的处理方法,其特征在于,对待处理时序数据进行多尺度采样,得到多个待处理数据,包括:
基于预设长度的时间窗口从待处理时序数据中提取连续时序数据;
基于多个采样周期对所述连续时序数据进行多次采样,得到多个待处理数据。
5.根据权利要求1所述的时序数据的处理方法,其特征在于,对各个待处理数据进行余弦特征提取,得到各个待处理数据对应的余弦特征,包括:
基于所述各个待处理数据对应的余弦周期对各个待处理数据进行余弦空间转换,得到各个待处理数据对应的余弦数据;
对各个余弦数据进行多次特征提取,并将最后一次特征提取的输出数据作为各个余弦数据对应的余弦特征。
6.根据权利要求5所述的时序数据的处理方法,其特征在于,对各个余弦数据进行多次特征提取,包括:
在第i次特征提取过程中,将第i-1次特征提取的输出数据作为第i次特征提取的输入数据;其中,2≤i≤K,K为预设特征提取次数;第1次特征提取的输入数据为所述余弦数据;
对所述第i次特征提取的输入数据进行卷积处理,得到卷积特征;
对所述第i次特征提取的输入数据和所述卷积特征的融合结果进行激活处理,得到所述第i次特征提取的输出数据。
7.根据权利要求1所述的时序数据的处理方法,其特征在于,在对各个待处理数据进行余弦特征提取之前,所述方法还包括:
基于多个预设时间窗口对样本时序数据进行多尺度采样,得到各个预设时间窗口对应的多个样本训练数据;
通过各个预设时间窗口对应的多个样本训练数据对时序预测模型进行训练,得到训练好的时序预测模型;其中,在模型训练过程中,根据不同预设时间窗口对应的样本训练数据之间的相似度计算模型损失;所述训练好的时序预测模型用于对所述待处理数据进行余弦特征的提取,并用于对所述多个待处理数据分别对应的余弦特征进行拼接,以及根据所述待处理时序数据对应的特征图进行时序数据的预测处理。
8.根据权利要求7所述的时序数据的处理方法,其特征在于,对样本时序数据进行多尺度采样,得到多个样本训练数据,包括:
基于多个预设时间窗口从样本时序数据中提取多个连续样本数据,其中,一个预设时间窗口对应于一个连续样本数据;
基于多个采样周期分别对各个连续样本数据进行多次采样,得到各个预设时间窗口对应的多个样本训练数据。
9.根据权利要求8所述的时序数据的处理方法,其特征在于,通过所述多个样本训练数据对时序预测模型进行训练,包括:
对第一预设时间窗口和第二预设时间窗口对应的多个样本训练数据分别进行余弦特征提取,得到所述第一预设时间窗口和所述第二预设时间窗口分别对应的多个样本余弦特征;其中,所述第一预设时间窗口和所述第二预设时间窗口为所述多个预设时间窗口中不同的预设时间窗口;
根据所述第一预设时间窗口和所述第二预设时间窗口分别对应的样本余弦特征之间的相似度计算第一模型损失;
对所述第一预设时间窗口对应的多个样本余弦特征进行拼接,得到样本特征图,并根据所述样本特征图进行时序预测,得到所述第一预设时间窗口对应的样本预测数据;
根据所述第一预设时间窗口对应的预测标签数据和所述样本预测数据计算第二模型损失;
根据所述第一模型损失和所述第二模型损失更新所述时序预测模型的模型参数。
10.根据权利要求9所述的时序数据的处理方法,其特征在于,根据所述第一预设时间窗口和所述第二预设时间窗口分别对应的样本余弦特征之间的相似度计算第一模型损失,包括:
确定与所述第一预设时间窗口对应的第一样本余弦特征具有相同采样位置的所述第二预设时间窗口对应的第二样本余弦特征;
将所述第一样本余弦特征和所述第二样本余弦特征之间的余弦相似度作为第一模型损失。
11.根据权利要求9所述的时序数据的处理方法,其特征在于,根据所述样本训练数据对应的预测标签数据和所述样本预测数据计算第二模型损失,包括:
将所述样本训练数据对应的预测标签数据和所述样本预测数据之间的均方差作为第二模型损失。
12.根据权利要求9所述的时序数据的处理方法,其特征在于,根据所述第一模型损失和所述第二模型损失更新所述时序预测模型的模型参数,包括:
对所述第一模型损失和所述第二模型损失进行加权求和,得到目标模型损失;
根据所述目标模型损失更新所述时序预测模型的模型参数。
13.一种时序数据的处理装置,其特征在于,包括:
数据采样模块,用于对待处理时序数据进行多尺度采样,得到多个待处理数据;
特征提取模块,用于对各个待处理数据进行余弦特征提取,得到各个待处理数据对应的余弦特征,其中,不同待处理数据对应的余弦特征所对应的余弦周期不同;
特征拼接模块,用于对所述多个待处理数据分别对应的余弦特征进行拼接,得到所述待处理时序数据对应的特征图;
预测模块,用于根据所述待处理时序数据对应的特征图进行时序数据的预测处理,得到预测时序数据。
14.一种计算机可读介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至12中任意一项所述的时序数据的处理方法。
15.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器执行所述可执行指令使得所述电子设备执行权利要求1至12中任意一项所述的时序数据的处理方法。
16.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机指令,所述计算机指令存储在计算机可读存储介质中;
计算机设备的处理器从所述计算机可读存储介质读取并执行所述计算机指令,使得所述计算机设备执行权利要求1至12中任意一项所述的时序数据的处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311349186.7A CN117093853B (zh) | 2023-10-18 | 2023-10-18 | 时序数据的处理方法、装置、计算机可读介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311349186.7A CN117093853B (zh) | 2023-10-18 | 2023-10-18 | 时序数据的处理方法、装置、计算机可读介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117093853A true CN117093853A (zh) | 2023-11-21 |
CN117093853B CN117093853B (zh) | 2024-07-02 |
Family
ID=88773705
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311349186.7A Active CN117093853B (zh) | 2023-10-18 | 2023-10-18 | 时序数据的处理方法、装置、计算机可读介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117093853B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114490935A (zh) * | 2022-01-21 | 2022-05-13 | 腾讯科技(深圳)有限公司 | 异常文本的检测方法、装置、计算机可读介质及电子设备 |
CN114881331A (zh) * | 2022-05-09 | 2022-08-09 | 西安交通大学 | 一种面向在线教育的学习者异常学习状态预测方法 |
CN115909717A (zh) * | 2022-09-27 | 2023-04-04 | 上海电科智能***股份有限公司 | 一种基于深度学习的高速公路短时交通流预测方法 |
CN116738355A (zh) * | 2023-04-23 | 2023-09-12 | 武汉大学 | 一种考虑数据差异性的电力多模态特征级融合方法 |
-
2023
- 2023-10-18 CN CN202311349186.7A patent/CN117093853B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114490935A (zh) * | 2022-01-21 | 2022-05-13 | 腾讯科技(深圳)有限公司 | 异常文本的检测方法、装置、计算机可读介质及电子设备 |
CN114881331A (zh) * | 2022-05-09 | 2022-08-09 | 西安交通大学 | 一种面向在线教育的学习者异常学习状态预测方法 |
CN115909717A (zh) * | 2022-09-27 | 2023-04-04 | 上海电科智能***股份有限公司 | 一种基于深度学习的高速公路短时交通流预测方法 |
CN116738355A (zh) * | 2023-04-23 | 2023-09-12 | 武汉大学 | 一种考虑数据差异性的电力多模态特征级融合方法 |
Also Published As
Publication number | Publication date |
---|---|
CN117093853B (zh) | 2024-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111860573B (zh) | 模型训练方法、图像类别检测方法、装置和电子设备 | |
CN111737476B (zh) | 文本处理方法、装置、计算机可读存储介质及电子设备 | |
CN111784041B (zh) | 一种基于图卷积神经网络的风电功率预测方法及*** | |
CN113254785B (zh) | 推荐模型训练方法、推荐方法和相关设备 | |
CN111127246A (zh) | 一种输电线路工程造价的智能预测方法 | |
CN113326590A (zh) | 基于深度学习模型的滚动轴承寿命预测方法和装置 | |
CN115238909A (zh) | 一种基于联邦学习的数据价值评估方法及其相关设备 | |
CN116684330A (zh) | 基于人工智能的流量预测方法、装置、设备及存储介质 | |
CN114715145A (zh) | 一种轨迹预测方法、装置、设备及自动驾驶车辆 | |
CN113065634B (zh) | 一种图像处理方法、神经网络的训练方法以及相关设备 | |
CN116861262B (zh) | 一种感知模型训练方法、装置及电子设备和存储介质 | |
CN116993185B (zh) | 时间序列预测方法、装置、设备及存储介质 | |
CN112132269B (zh) | 模型处理方法、装置、设备及存储介质 | |
CN117093853B (zh) | 时序数据的处理方法、装置、计算机可读介质及电子设备 | |
CN116703466A (zh) | 基于改进灰狼算法的***访问量预测方法及其相关设备 | |
CN113723712B (zh) | 风电功率预测方法、***、设备及介质 | |
CN115795025A (zh) | 一种摘要生成方法及其相关设备 | |
CN116992947A (zh) | 模型训练方法、视频查询方法和装置 | |
CN111062477B (zh) | 一种数据处理方法、装置及存储介质 | |
CN114580623A (zh) | 模型的训练方法、多源多目标数据关联方法及装置 | |
CN112417260B (zh) | 本地化推荐方法、装置及存储介质 | |
CN114298290A (zh) | 一种基于自监督学习的神经网络编码方法及编码器 | |
CN113537372B (zh) | 一种地址识别方法、装置、设备及存储介质 | |
Chen et al. | A lightweight model using frequency, trend and temporal attention for long sequence time-series prediction | |
CN114199992B (zh) | 一种储油罐罐壁腐蚀检测方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |