CN115204535A - 基于动态多元时间序列的采购业务量预测方法及电子设备 - Google Patents

基于动态多元时间序列的采购业务量预测方法及电子设备 Download PDF

Info

Publication number
CN115204535A
CN115204535A CN202211126215.9A CN202211126215A CN115204535A CN 115204535 A CN115204535 A CN 115204535A CN 202211126215 A CN202211126215 A CN 202211126215A CN 115204535 A CN115204535 A CN 115204535A
Authority
CN
China
Prior art keywords
time
input
sequence
attention
stage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211126215.9A
Other languages
English (en)
Other versions
CN115204535B (zh
Inventor
卢华
陈晶
陈挚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Xintong Communication Co ltd
Original Assignee
Hubei Xintong Communication Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Xintong Communication Co ltd filed Critical Hubei Xintong Communication Co ltd
Priority to CN202211126215.9A priority Critical patent/CN115204535B/zh
Publication of CN115204535A publication Critical patent/CN115204535A/zh
Application granted granted Critical
Publication of CN115204535B publication Critical patent/CN115204535B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474—Sequence data queries, e.g. querying versioned data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Educational Administration (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Game Theory and Decision Science (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Finance (AREA)
  • Fuzzy Systems (AREA)
  • Accounting & Taxation (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于动态多元时间序列的采购业务量预测方法及电子设备，采用包括时间卷积模块，多阶段注意力模块，自回归模块的机器人流程自动化数据采集网络。本发明解决了采购业务量预测中人工提取特征不全面的问题，提出的时间卷积模块提取静态时间序列的非线性特征。本发明解决了采购业务量预测进行长周期时间序列预测时，由于时间间隔过长而导致的梯度消失和梯度***问题，提出的多阶段注意力模块自适应地选择重要的特征来建模长时间间隔的状态之间的依赖关系。本发明解决了非线性模块无法处理采购业务量预测中的动态时间序列的预测问题，提出的自回归模块处理周期不固定的动态时间序列。

Description

基于动态多元时间序列的采购业务量预测方法及电子设备
技术领域
本发明属于计算机学科中人工智能领域，涉及一种采购业务量预测方法及电子设备，具体涉及一种面向机器人流程自动化中基于动态多元时间序列的采购业务量预测方法及电子设备。
背景技术
近年来，采购管理和供应链管理在企业发展和竞争过程中发挥着极其重要的作用，传统采购流程中存在大量的采购业务量预测工作，采购业务量预测即基于采购流程中大批量的采购数据预测下一周期的采购业务量，高效、可靠的采购业务量预测能够帮助企业在下一周期做出更好的采购决策，从而节约成本，提高采购效率。然而采购业务量预测所需的采购数据往往种类丰富，多数为时间序列数据，持续时间长，且部分数据没有固定周期，属于动态多元时间序列数据。时间序列是指数据是指按照一定时间间隔收集的一系列数据，多元时间序列是指多变量时间序列，即多个按照时间记录的变量。动态多元时间序列数据是指周期不固定的、序列长度动态变化的多元时间序列数据。
传统采购业务量预测方法是人工进行特征选择，训练全连接神经网络进行预测。然而人工提取特征不全面的问题、全连接神经网络无法建模长周期时间序列的长期依赖关系，也无法处理动态时间序列数据，因此寻求面向机器人流程自动化中动态多元时间序列的采购业务量预测是众多企业所追求的目标之一。
机器人流程自动化（RPA）是一种新型的人工智能虚拟过程自动化机器人，通过特定的规则，可以在计算机界面上模拟人的操作，并根据规则自动执行相应的过程任务，取代或协助人完成相关的计算机操作。近年来各个行业对机器人流程自动化（RPA）的需求迅速增加，据估计，到2020年，多达90%的大中型组织选择机器人流程自动化（RPA）解决方案。机器人流程自动化（RPA）已广泛应用于各个领域，近年来，随着企业财务共享中心的出现和发展，机器人流程自动化（RPA）也逐渐被用于采购管理和供应链管理领域。机器人流程自动化（RPA）工作效率高、准确率高、可扩展性高、具有合规性和安全性，可以自动化简单任务，能够降低采购管理成本，又可为更具战略性的活动腾出空间。
发明内容
面对上述采购业务量预测中人工提取特征不全面的问题，采购业务量预测进行长周期时间序列预测时，由于时间间隔过长而导致的梯度消失和梯度***问题，以及对动态时间序列的采购业务量预测的需求，本发明提供了一种面向机器人流程自动化中基于动态多元时间序列的采购业务量预测方法及电子设备。
本发明的方法所采用的技术方案是：一种基于动态多元时间序列的采购业务量预测方法，将通过机器人流程自动化数据采集网络获得的数据，输入到机器人流程自动化采购业务量预测网络中，进行采购业务量预测；
所述机器人流程自动化数据采集网络，按照关键词表提取业务采购量所需指标数 据，将数据按照时间进行整理，得到N个指标的时间序列数据作为外部序列
Figure 100002_DEST_PATH_IMAGE001
，其中N表示指标的个数，T为外部序列的长度；每 个指标分别为一个变量，第n个指标的时间序列数据即为第n个单变量时间序列数据
Figure 100002_DEST_PATH_IMAGE002
为第n个指标的时间序列数据；所有指标 的时间序列数据组成动态多元时间序列数据作为所述机器人流程自动化采购业务量预测 网络的输入变量X；
所述机器人流程自动化采购业务量预测网络，包括时间卷积模块，多阶段注意力模块、全连接层和自回归模块；
所述时间卷积模块，由K个卷积核，每个卷积核大小为F×M，其中F为卷积核的宽 度，M为卷积核的深度，将除采购业务量指标的其他N个静态指标的时间序列数据作为输入 外部序列X输入卷积核后，最终得到大小为P×K的输出特征序列H，其中P为
Figure 183407DEST_PATH_IMAGE003
的维度，也为 单变量时间序列的长度；
所述多阶段注意力模块，包括顺序连接的第一阶段注意力层、第二阶段注意力层 和时间注意力层；所述输出变量H经过所述第一阶段注意力层，自适应选择外部序列进行学 习，并通过所述第二阶段注意力层将第一阶段注意力层的输出外部序列与对应时间的目标 序列连接，最后通过所述时间注意力层将前两层中的隐藏状态相结合学习到更长时间依赖 的特征，输出
Figure 100002_DEST_PATH_IMAGE004
；
所述自回归模块，将动态多元时间序列数据作为输入向量X，输出
Figure 897285DEST_PATH_IMAGE005
；
Figure 100002_DEST_PATH_IMAGE006
；
其中，
Figure 37542DEST_PATH_IMAGE007
为超参数，
Figure 100002_DEST_PATH_IMAGE008
为可学习的权重向量，X为输入向 量，U为输入权重矩阵，b为偏置向量，
Figure 229489DEST_PATH_IMAGE009
为t时刻的噪声，
Figure 100002_DEST_PATH_IMAGE010
为方差，与时间 无关；
所述机器人流程自动化数据采集网络，最终输出最小化采购业务量的预测值
Figure 902915DEST_PATH_IMAGE011
。
本发明的电子设备所采用的技术方案是：一种基于动态多元时间序列的采购业务量预测电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现所述的基于动态多元时间序列的采购业务量预测方法。
本发明相比现有技术，其优点和积极效果主要体现在以下几个方面：
（1）发明提出面向机器人流程自动化中动态多元时间序列的采购业务量预测方法，包括时间卷积模块，多阶段注意力模块，自回归模块。本发明解决了传统采购业务量预测过程中人工提取特征不全面的问题，提出的时间卷积模块提取静态时间序列的非线性特征。
（2）本发明解决了采购业务量预测进行长周期时间序列预测时，由于时间间隔过长而导致的梯度消失和梯度***问题，提出的多阶段注意力模块自适应地选择重要的特征来建模长时间间隔的状态之间的依赖关系。
（3）本发明解决了非线性模块无法处理采购业务量预测中所需的动态时间序列的预测问题，提出的自回归模块处理周期不固定的动态时间序列。
附图说明
图1为本发明实施例的方法整体框架图；
图2为本发明实施例的Purchases数据集模型损失示意图；
图3为本发明实施例的NASDAQ 100数据集模型损失示意图；
图4为本发明实施例的Purchases据集上模型预测结果示意图；
图5为本发明实施例的NASDAQ 100据集上模型预测结果示意图；
图6为本发明实施例的不同时间步长的预测效果示意图。
具体实施方式
为了便于本领域普遍技术人员的理解和实施本发明，下面结合附图及实施例对本发明作为进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
请见图1，本发明提供的一种基于动态多元时间序列的采购业务量预测方法，将通过机器人流程自动化数据采集网络获得的数据，输入到机器人流程自动化采购业务量预测网络中，进行采购业务量预测；
本实施例的机器人流程自动化数据采集网络，按照关键词表提取业务采购量所需 指标数据，将数据按照时间进行整理，得到N个指标的时间序列数据作为外部序列
Figure 100002_DEST_PATH_IMAGE012
，其中N表示指标的个数，T为外部序列的长 度；每个指标分别为一个变量，第n个指标的时间序列数据即为第n个单变量时间序列数据
Figure 20651DEST_PATH_IMAGE013
为第n个指标的时间序列数据；所有指标 的时间序列数据组成动态多元时间序列数据作为机器人流程自动化采购业务量预测网络 的输入变量X。
本实施例采用的关键词表见下表1；
表1
Figure 100002_DEST_PATH_IMAGE014
本实施例的机器人流程自动化采购业务量预测网络，包括时间卷积模块，多阶段注意力模块、全连接层和自回归模块；
本实施例的时间卷积模块，共有K个卷积核，每个卷积核大小为F×M，其中F为卷积核的宽度，M为卷积核的深度。
本实施例首先搭建卷积神经模块，设置卷积神经模块的卷积核，由K个卷积核，每 个卷积核大小为F×M，其中F为卷积核的宽度，M为卷积核的深度。将输入变量X依次输入K个 卷积核，将X输入到第k个卷积核得到的输出变量
Figure 350001DEST_PATH_IMAGE015
，其中 Wk为第k个卷积核的权重参数，*代表卷积运算，RELU为非线性激活函数，RELU函数定义为
Figure 100002_DEST_PATH_IMAGE016
；b k 为偏置向量。
本实施例将除采购业务量指标的其他N个静态指标的时间序列数据作为输入外部序列X输入卷积核后，最终得到大小为P×K的输出特征序列H，其中P为h k 的维度，也为单变量时间序列的长度。
本实施例的多阶段注意力模块，包括顺序连接的第一阶段注意力层、第二阶段注 意力层和时间注意力层；输出变量H经过第一阶段注意力层，自适应选择重要的外部序列进 行学习，并通过第二阶段注意力层将第一阶段注意力层的输出外部序列与对应时间的目标 序列连接，最后通过时间注意力层将前两层中的隐藏状态相结合学习到更长时间依赖的特 征，输出
Figure 407956DEST_PATH_IMAGE017
；
本实施例的第一阶段注意力层，将上一步的输出特征序列H作为本步骤的输入序 列X，不考虑目标序列y，根据长短期记忆网络（LSTM）t-1时刻的记忆单元状态St-1以及t-1时 刻的隐藏层状态ht-1构造第k个输入序列Xk在t时刻的注意力值
Figure 100002_DEST_PATH_IMAGE018
：
Figure 139151DEST_PATH_IMAGE019
；
其中，
Figure 100002_DEST_PATH_IMAGE020
是需要学习的参数，
Figure 696297DEST_PATH_IMAGE021
为状态 权重矩阵，u为隐藏层状态ht-1的维度，即长短期记忆网络（LSTM）的隐藏层节点数，U m 为输入 权重矩阵，b m 为偏置向量，tanh()为非线性激活函数，X k 为第k个输入序列，
Figure 100002_DEST_PATH_IMAGE022
；
根据t时刻的输入注意
Figure 247364DEST_PATH_IMAGE023
计算注意力权重
Figure 100002_DEST_PATH_IMAGE024
，计算第一 阶段注意力输出
Figure 843430DEST_PATH_IMAGE025
；和t时刻时的隐 藏状态
Figure 100002_DEST_PATH_IMAGE026
，其中
Figure 662088DEST_PATH_IMAGE027
为用作编码器的长短期记忆网络LSTM（LSTM）。
本实施例的第二阶段注意力层，构造第二注意力阶段在t时刻的输入序列，第k个 输入序列
Figure 100002_DEST_PATH_IMAGE028
，其中为y目标序列，
Figure 154250DEST_PATH_IMAGE029
表示矩阵的纵向连接；
计算第二阶段注意力层的中间状态
Figure 100002_DEST_PATH_IMAGE030
：
Figure 254930DEST_PATH_IMAGE031
；
其中
Figure 100002_DEST_PATH_IMAGE032
是需要学习的参数；
Figure 326791DEST_PATH_IMAGE033
为状态权 重矩阵，u为隐藏层状态ht-1的维度，即长短期记忆网络（LSTM）的隐藏层节点数，U s 为输入权 重矩阵，b s 为偏置向量，tanh ()为非线性激活函数；
根据中间状态
Figure 100002_DEST_PATH_IMAGE034
计算第二阶段权重
Figure 534043DEST_PATH_IMAGE035
：
Figure 100002_DEST_PATH_IMAGE036
；
根据输入注意力
Figure 931527DEST_PATH_IMAGE037
和权重
Figure 100002_DEST_PATH_IMAGE038
，计算第二阶段注意力层输出
Figure 519503DEST_PATH_IMAGE039
：
Figure 100002_DEST_PATH_IMAGE040
；
其中
Figure 893590DEST_PATH_IMAGE041
为超参数，
Figure 100002_DEST_PATH_IMAGE042
为第二阶段注意力权重，
Figure 453885DEST_PATH_IMAGE043
为第二阶段输入序列。
前两个阶段更关注时间序列中序列之间的关系，为了更好的预测目标值，需要学习到时间序列数据更长时间间隔的相关性。此阶段为时间注意力阶段，通过时间注意力层，基于前两个阶段的隐藏状态和带预测目标的隐藏状态来学习更长时间依赖关系。
本实施例的时间注意力层，首先计算中间状态
Figure 100002_DEST_PATH_IMAGE044
：
Figure 84586DEST_PATH_IMAGE045
；
其中，
Figure 100002_DEST_PATH_IMAGE046
为状态权重矩阵，
Figure 97541DEST_PATH_IMAGE047
为输入权重矩阵，
Figure 100002_DEST_PATH_IMAGE048
为偏置向量，作为解码 器的长短期记忆网络（LSTM）在t-1时刻的隐藏层状态
Figure 278249DEST_PATH_IMAGE049
，
Figure 100002_DEST_PATH_IMAGE050
为前两个阶段作为编码 器的长短期记忆网络（LSTM）在t-1时刻的记忆单元状态横向拼接而成，
Figure 693050DEST_PATH_IMAGE051
为当前阶段的 长短期记忆网络（LSTM）在k时刻的记忆单元状态，
Figure 100002_DEST_PATH_IMAGE052
为第二注意力阶段输出；
根据中间状态
Figure 494653DEST_PATH_IMAGE053
计算时间注意力权重
Figure 100002_DEST_PATH_IMAGE054
：
Figure 493439DEST_PATH_IMAGE055
；
根据时间注意力权重
Figure 100002_DEST_PATH_IMAGE056
计算上下文向量C t ：
Figure 710794DEST_PATH_IMAGE057
；
根据上下文向量C t ，计算
Figure 100002_DEST_PATH_IMAGE058
，
Figure 42418DEST_PATH_IMAGE059
，计算时间注意力阶段t时刻时作为解码器的长短期记忆网络（LSTM） 的隐藏层状态
Figure 100002_DEST_PATH_IMAGE060
，其中
Figure 218185DEST_PATH_IMAGE061
为用作解码器的长短期记忆网络 （LSTM），
Figure 100002_DEST_PATH_IMAGE062
为状态权重矩阵，
Figure 441618DEST_PATH_IMAGE063
为偏置向量；
计算多阶段注意力模块的最终输出
Figure 100002_DEST_PATH_IMAGE064
：
Figure 728243DEST_PATH_IMAGE065
；
其中，
Figure 100002_DEST_PATH_IMAGE066
为状态权重矩阵，
Figure 648794DEST_PATH_IMAGE067
为偏置向量，
Figure DEST_PATH_IMAGE068
为t时刻时解码器隐 藏状态，C t 为上下文向量。
本实施例的自回归模块，将动态多元时间序列数据作为输入向量X，输出
Figure DEST_PATH_IMAGE069
；
Figure DEST_PATH_IMAGE070
；
其中，
Figure DEST_PATH_IMAGE071
为超参数，
Figure DEST_PATH_IMAGE072
为可学习的权重向量，X为输入向 量，U为输入权重矩阵，b为偏置向量，
Figure DEST_PATH_IMAGE073
为t时刻的噪声，
Figure DEST_PATH_IMAGE074
为方差，与时间无 关；
本实施例的机器人流程自动化数据采集网络，最终输出最小化采购业务量的预测 值
Figure DEST_PATH_IMAGE075
。机器人流程自动化最后将预测结果存储到相应的位置。
本实施例的机器人流程自动化数据采集网络，为训练好的机器人流程自动化数据 采集网络；训练过程采用小批量随机梯度下降方法和ADAM优化器，目标函数为最小化采购 业务量的预测值y t 和真实值y之间的均方误差
Figure DEST_PATH_IMAGE076
。
以下通过实验对本发明所进一步的阐述。为了测试本发明的性能，使用了两种数据集，如表2所示。
表2
数据集 测试集 测试集 数据集说明
Purchases 40000 10000 购物数据
NASDAQ 100 32000 8560 股票价格数据
购物数据集（Purchases）：购物数据集（Purchases）是基于Kaggle的“获得有价值的购物者”挑战数据集，该数据集包含了数千个人的购物历史，每个用户记录包含一年多的交易，包括许多字段，如产品名、连锁店、数量和购买日期。在实验中，将数据按时间进行处理得到一个时间序列购物数据集(包含50000个样本)，其中4000个用作训练集，其余用作测试集。
纳斯达克100数据集（NASDAQ 100）：该数据集收集NASDAQ100指数中81家公司的股票价格作为驱动时间序列。NASDAQ100指数作为目标序列。在实验中，前32000个样本作为训练集，后8560个样本作为测试集。
为了衡量基于动态多元时间序列的采购业务量预测方法的有效性，在实验中使用 了两个评估指标：均方根误差（RMSE）和均方误差（MAE）。假设
Figure DEST_PATH_IMAGE077
是第i个样本在时刻t时的真 实值，
Figure DEST_PATH_IMAGE078
是第i个样本在时刻t时模型的预测值，RMSE定义为：
Figure DEST_PATH_IMAGE079
， MAE定义为：
Figure DEST_PATH_IMAGE080
，两者值越小说明预测效果越好，其中N为样本个数。 基于动态多元时间序列的采购业务量预测方法中有参数需要设置，如时间序列的时间步长 T。为了减少实验误差，重复进行了10次实验，并取10次实验的平均值作为最终结果。
如表3所示，基于动态多元时间序列的采购业务量预测方法在两个数据集上的RMSE和MAE都在0.3左右，效果优于传统方法（LSTM）。该方法对不同的数据集有不同的预测效果，因为不同数据集的数据特征不同。
表3评估结果
Figure DEST_PATH_IMAGE081
请见图2和图3，分别为Purchases数据集模型损失示意图和NASDAQ 100数据集模型损失示意图；从图2、图3可以看出，基于动态多元时间序列的采购业务量预测方法对两种不同的数据集的训练收敛效果都很好，证明该方法对周期和非周期时间序列均具有良好的预测性能。从图2、图3可以看出，模型的训练损失随着训练轮数的增加而减少，证明了模型预测时间序列的有效性。
为了观察模型预测效果，在图4、5中绘制了模型在两个不同数据集上的预测结果图。从图4、5中可以看出，当训练数据足够时，模型预测结果非常接近真实结果。此外，随着训练时间的增加，模型在两种数据集上的预测值与真实值的重叠效果越来越好。实线表示预测值，虚线表示真实值。
为了进一步优化模型的参数，对不同数据集上不同时间步长时的模型性能进行了实验。实验结果如图6所示，从图6可以看出，在Purchases数据集上，当时间步长为4时，模型的性能最佳；在NASDAQ 100s数据集上，当时间步长为9时，模型的性能最佳。
本发明提出的面向机器人流程自动化中基于动态多元时间序列的采购业务量预测方法，采用机器人流程自动化数据采集网络，包括时间卷积模块，多阶段注意力模块和自回归模块。本发明解决了采购业务量预测中人工提取特征不全面的问题，提出的时间卷积模块提取静态时间序列的非线性特征。本发明解决了采购业务量预测进行长周期时间序列预测时，由于时间间隔过长而导致的梯度消失和梯度***问题，提出的多阶段注意力模块自适应地选择重要的特征来建模长时间间隔的状态之间的依赖关系。本发明解决了非线性模块无法处理采购业务量预测中的动态时间序列的预测问题，提出的自回归模块处理周期不固定的动态时间序列。
本发明能够在人工智能，采购管理等更多领域，为使用者提供更准确、全面的采购业务量预测方法。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (7)

1.一种基于动态多元时间序列的采购业务量预测方法，其特征在于：将通过机器人流程自动化数据采集网络获得的数据，输入到机器人流程自动化采购业务量预测网络中，进行采购业务量预测；
所述机器人流程自动化数据采集网络，按照关键词表提取业务采购量所需指标数据， 将数据按照时间进行整理，得到N个指标的时间序列数据作为外部序列
Figure DEST_PATH_IMAGE001
，其中N表示指标的个数，T为外部序列的长度；每 个指标分别为一个变量，第n个指标的时间序列数据即为第n个单变量时间序列数据
Figure DEST_PATH_IMAGE002
为第n个指标的时间序列数据；所有指标 的时间序列数据组成动态多元时间序列数据作为所述机器人流程自动化采购业务量预测 网络的输入变量X；
所述机器人流程自动化采购业务量预测网络，包括时间卷积模块，多阶段注意力模块、全连接层和自回归模块；
所述时间卷积模块，由K个卷积核，每个卷积核大小为F×M，其中F为卷积核的宽度，M为 卷积核的深度，将除采购业务量指标的其他N个静态指标的时间序列数据作为输入外部序 列X输入卷积核后，最终得到大小为P×K的输出特征序列H，其中P为
Figure DEST_PATH_IMAGE003
的维度，也为单变量 时间序列的长度；
所述多阶段注意力模块，包括顺序连接的第一阶段注意力层、第二阶段注意力层和时 间注意力层；所述输出变量H经过所述第一阶段注意力层，自适应选择外部序列进行学习， 并通过所述第二阶段注意力层将第一阶段注意力层的输出外部序列与对应时间的目标序 列连接，最后通过所述时间注意力层将前两层中的隐藏状态相结合学习到更长时间依赖的 特征，输出
Figure DEST_PATH_IMAGE004
；
所述自回归模块，将动态多元时间序列数据作为输入向量X，输出
Figure DEST_PATH_IMAGE005
；
Figure DEST_PATH_IMAGE006
；
其中，
Figure DEST_PATH_IMAGE007
为超参数，
Figure DEST_PATH_IMAGE008
为可学习的权重向量，X为输入向量，U 为输入权重矩阵，b为偏置向量，
Figure DEST_PATH_IMAGE009
为t时刻的噪声，
Figure DEST_PATH_IMAGE010
为方差，与时间无关；
所述机器人流程自动化数据采集网络，最终输出最小化采购业务量的预测值
Figure DEST_PATH_IMAGE011
。
2.根据权利要求1所述的基于动态多元时间序列的采购业务量预测方法，其特征在于： 所述时间卷积模块中，将输入变量X依次输入K个卷积核，将X输入到第k个卷积核得到的输 出变量
Figure DEST_PATH_IMAGE012
，其中W k 为第k个卷积核的权重参数，*代表 卷积运算，RELU为非线性激活函数，RELU函数定义为
Figure DEST_PATH_IMAGE013
；b k 为偏置向量。
3.根据权利要求1所述的基于动态多元时间序列的采购业务量预测方法，其特征在于： 所述第一阶段注意力层，将上一步的输出特征序列H作为本步骤的输入序列X，不考虑目标 序列y，根据长短期记忆网络（LSTM）t-1时刻的记忆单元状态St-1以及t-1时刻的隐藏层状态 ht-1构造第k个输入序列Xk在t时刻的注意力值
Figure DEST_PATH_IMAGE014
：
Figure DEST_PATH_IMAGE015
；
其中，
Figure DEST_PATH_IMAGE016
是需要学习的参数，
Figure DEST_PATH_IMAGE017
为状态权重矩阵，u为隐藏层状态ht-1的维度，即长短期记忆网络LSTM的隐藏层节点数，U m 为 输入权重矩阵，b m 为偏置向量，
Figure DEST_PATH_IMAGE018
为非线性激活函数，X k 为第k个输入序列，
Figure DEST_PATH_IMAGE019
；
根据t时刻的输入注意
Figure DEST_PATH_IMAGE020
计算注意力权重
Figure DEST_PATH_IMAGE021
，计算第一阶段注 意力输出
Figure DEST_PATH_IMAGE022
；和t时刻时的 隐藏状态
Figure DEST_PATH_IMAGE023
，其中
Figure DEST_PATH_IMAGE024
为用作编码器的长短期记忆网络LSTM。
4.根据权利要求3所述的基于动态多元时间序列的采购业务量预测方法，其特征在于： 所述第二阶段注意力层，构造第二注意力阶段在t时刻的输入序列，第k个输入序列
Figure DEST_PATH_IMAGE025
，其中为y目标序列，
Figure DEST_PATH_IMAGE026
表示矩阵的纵向连接；
计算所述第二阶段注意力层的中间状态
Figure DEST_PATH_IMAGE027
：
Figure DEST_PATH_IMAGE028
；
其中
Figure DEST_PATH_IMAGE029
是需要学习的参数；
Figure DEST_PATH_IMAGE030
为 状态权重矩阵，u为隐藏层状态ht-1的维度，即长短期记忆网络LSTM的隐藏层节点数，U s 为输 入权重矩阵，b s 为偏置向量，tanh ()为非线性激活函数；
根据所述中间状态
Figure DEST_PATH_IMAGE031
计算第二阶段权重
Figure DEST_PATH_IMAGE032
：
Figure DEST_PATH_IMAGE033
；
根据输入注意力
Figure DEST_PATH_IMAGE034
和权重
Figure DEST_PATH_IMAGE035
，计算第二阶段注意力层输出
Figure DEST_PATH_IMAGE036
：
Figure DEST_PATH_IMAGE037
；
其中
Figure DEST_PATH_IMAGE038
为超参数，
Figure DEST_PATH_IMAGE039
为第二阶段注意力权重，
Figure DEST_PATH_IMAGE040
为第二阶段输入序列。
5.根据权利要求4所述的基于动态多元时间序列的采购业务量预测方法，其特征在于： 所述时间注意力层，首先计算中间状态
Figure DEST_PATH_IMAGE041
：
Figure DEST_PATH_IMAGE042
；
其中，
Figure DEST_PATH_IMAGE043
为状态权重矩阵，
Figure DEST_PATH_IMAGE044
为输入权重矩阵，
Figure DEST_PATH_IMAGE045
为偏置向量，作为解码器的 长短期记忆网络LSTM在t-1时刻的隐藏层状态
Figure DEST_PATH_IMAGE046
，
Figure DEST_PATH_IMAGE047
为前两个阶段作为编码器的长 短期记忆网络LSTM在t-1时刻的记忆单元状态横向拼接而成，
Figure DEST_PATH_IMAGE048
为当前阶段的长短期记 忆网络LSTM在k时刻的记忆单元状态，
Figure DEST_PATH_IMAGE049
为第二注意力阶段输出；
根据所述中间状态
Figure DEST_PATH_IMAGE050
计算时间注意力权重
Figure DEST_PATH_IMAGE051
：
Figure DEST_PATH_IMAGE052
；
根据时间注意力权重
Figure DEST_PATH_IMAGE053
计算上下文向量C t ：
Figure DEST_PATH_IMAGE054
；
根据上下文向量C t ，计算
Figure DEST_PATH_IMAGE055
，
Figure DEST_PATH_IMAGE056
，计算时间注意力阶段t时刻时作为解码器的长短期记忆网络LSTM的 隐藏层状态
Figure DEST_PATH_IMAGE057
，其中
Figure DEST_PATH_IMAGE058
为用作解码器的长短期记忆网络LSTM，
Figure DEST_PATH_IMAGE059
为状态权重矩阵，
Figure DEST_PATH_IMAGE060
为偏置向量；
计算多阶段注意力模块的最终输出
Figure DEST_PATH_IMAGE061
：
Figure DEST_PATH_IMAGE062
；
其中，
Figure DEST_PATH_IMAGE063
为状态权重矩阵，
Figure DEST_PATH_IMAGE064
为偏置向量，
Figure DEST_PATH_IMAGE065
为t时刻时解码器隐藏 状态，C t 为上下文向量。
6.根据权利要求1-5任意一项所述的基于动态多元时间序列的采购业务量预测方法， 其特征在于：所述机器人流程自动化数据采集网络，为训练好的机器人流程自动化数据采 集网络；训练过程采用小批量随机梯度下降方法和ADAM优化器，目标函数为最小化采购业 务量的预测值y t 和真实值y之间的均方误差
Figure DEST_PATH_IMAGE066
。
7.一种基于动态多元时间序列的采购业务量预测电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至6中任一项所述的基于动态多元时间序列的采购业务量预测方法。
CN202211126215.9A 2022-09-16 2022-09-16 基于动态多元时间序列的采购业务量预测方法及电子设备 Active CN115204535B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211126215.9A CN115204535B (zh) 2022-09-16 2022-09-16 基于动态多元时间序列的采购业务量预测方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211126215.9A CN115204535B (zh) 2022-09-16 2022-09-16 基于动态多元时间序列的采购业务量预测方法及电子设备

Publications (2)

Publication Number Publication Date
CN115204535A true CN115204535A (zh) 2022-10-18
CN115204535B CN115204535B (zh) 2022-12-06

Family

ID=83572324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211126215.9A Active CN115204535B (zh) 2022-09-16 2022-09-16 基于动态多元时间序列的采购业务量预测方法及电子设备

Country Status (1)

Country Link
CN (1) CN115204535B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090024491A1 (en) * 2007-07-18 2009-01-22 General Electric Company System and method to calculate procurement of assets
CN110163401A (zh) * 2018-02-12 2019-08-23 腾讯科技（深圳）有限公司 时间序列的预测方法、数据预测方法和装置
WO2021139251A1 (zh) * 2020-07-30 2021-07-15 平安科技（深圳）有限公司 服务***异常检测方法、装置、计算机设备和存储介质
US20210350225A1 (en) * 2020-05-08 2021-11-11 International Business Machines Corporation Determining multivariate time series data dependencies
WO2021257610A1 (en) * 2020-06-15 2021-12-23 Spartan Capital Intelligence, Llc Time series forecasting and visualization methods and systems
CN114493014A (zh) * 2022-01-28 2022-05-13 湖南大学 多元时间序列预测方法、***及计算机产品、存储介质
CN114818515A (zh) * 2022-06-24 2022-07-29 中国海洋大学 一种基于自注意力机制和图卷积网络的多维时序预测方法
CN114881354A (zh) * 2022-05-31 2022-08-09 支付宝(杭州)信息技术有限公司 预测多元时间序列的方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090024491A1 (en) * 2007-07-18 2009-01-22 General Electric Company System and method to calculate procurement of assets
CN110163401A (zh) * 2018-02-12 2019-08-23 腾讯科技（深圳）有限公司 时间序列的预测方法、数据预测方法和装置
US20210350225A1 (en) * 2020-05-08 2021-11-11 International Business Machines Corporation Determining multivariate time series data dependencies
WO2021257610A1 (en) * 2020-06-15 2021-12-23 Spartan Capital Intelligence, Llc Time series forecasting and visualization methods and systems
WO2021139251A1 (zh) * 2020-07-30 2021-07-15 平安科技（深圳）有限公司 服务***异常检测方法、装置、计算机设备和存储介质
CN114493014A (zh) * 2022-01-28 2022-05-13 湖南大学 多元时间序列预测方法、***及计算机产品、存储介质
CN114881354A (zh) * 2022-05-31 2022-08-09 支付宝(杭州)信息技术有限公司 预测多元时间序列的方法及装置
CN114818515A (zh) * 2022-06-24 2022-07-29 中国海洋大学 一种基于自注意力机制和图卷积网络的多维时序预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杜圣东等: "一种基于序列到序列时空注意力学习的交通流预测模型", 《计算机研究与发展》 *

Also Published As

Publication number Publication date
CN115204535B (zh) 2022-12-06

Similar Documents

Publication Publication Date Title
Guan et al. An adaptive neuro-fuzzy inference system based approach to real estate property assessment
CN111160968A (zh) Sku级别商品销量预测方法及装置
Li et al. Multi-factor based stock price prediction using hybrid neural networks with attention mechanism
CN109191276B (zh) 一种基于强化学习的p2p网络借贷机构风险评估方法
CN110175689A (zh) 一种概率预测的方法、模型训练的方法及装置
CN110264270A (zh) 一种行为预测方法、装置、设备和存储介质
CA3165582A1 (en) Data processing method and system based on similarity model
Dat et al. Hybrid online model based multi seasonal decompose for short-term electricity load forecasting using ARIMA and online RNN
Adeyemo et al. Effects of normalization techniques on logistic regression in data science
Zhou et al. Supply chain fraud prediction based on xgboost method
Goyal et al. A solution to forecast demand using long short-term memory recurrent neural networks for time series forecasting
Yarushev et al. Review of studies on time series forecasting based on hybrid methods, neural networks and multiple regression
Pardeshi et al. Stock market price prediction: a hybrid LSTM and sequential self-attention based approach
CN108765137A (zh) 一种信贷需求预测方法和***、存储介质
KR102409041B1 (ko) 액터 크리틱 모델을 이용한 포트폴리오 자산배분 강화학습방법
CN115204535B (zh) 基于动态多元时间序列的采购业务量预测方法及电子设备
CN111861002A (zh) 基于数据驱动高斯学习技术的建筑物冷热负荷预测方法
Pradhan et al. Application of neural network in prediction financial viability
CN107743071A (zh) 一种网络节点的增强表示方法及装置
AmirAskari et al. A modified fuzzy relational model approach to prediction of foreign exchange rates
Sun et al. Short-term stock price forecasting based on an SVD-LSTM model
CN114092188A (zh) 一种轻量级b2b电商平台的推荐***算法
Dendramis et al. Measuring the Default Risk of Small Business Loans: Improved Credit Risk Prediction using Deep Learning
Murthy et al. Model for Predicting Prospective Big-Mart Sales Based on Grid Search Optimization (GSO)
PhamToan et al. Improving forecasting model for fuzzy time series using the Self-updating clustering and Bi-directional Long Short Term Memory algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant