CN111696345A - 一种基于网络社区检测和gcn的耦合大规模数据流宽度学习快速预测智能算法 - Google Patents
一种基于网络社区检测和gcn的耦合大规模数据流宽度学习快速预测智能算法 Download PDFInfo
- Publication number
- CN111696345A CN111696345A CN202010383795.4A CN202010383795A CN111696345A CN 111696345 A CN111696345 A CN 111696345A CN 202010383795 A CN202010383795 A CN 202010383795A CN 111696345 A CN111696345 A CN 111696345A
- Authority
- CN
- China
- Prior art keywords
- network
- community
- node
- nodes
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种基于网络社区检测和GCN的耦合大规模数据流宽度学习快速预测智能算法,所述算法包括以下步骤:步骤一:社区检测;步骤二:时空特征提取:步骤三:宽度学习快速预测;步骤四:时空耦合宽度学习神经网络的大规模实时预测。与现有技术相比,本发明的有益效果在于:采用智能化社区检测,GCN特征提取,并结合宽度学习,解决了大规模节点预测问题,具有计算速率快,预测精度高、自适应能力强等优点。
Description
技术领域
本发明涉及复杂网络技术与机器学习领域,尤其涉及一种具有数据自动采集与运算功能的硬件设备与具有自主社区检测与预测功能的程序软件所构成的智能集成***。
背景技术
近年来,随着现代网络通信和社会媒体等技术的飞速发展,复杂网络成为多学科交叉研究的热点之一,社区检测是复杂网络中的一个重要问题,它是图形分析中广泛使用的操作,社区检测问题的目标是将顶点划分为“社区”。社区检测问题不同于经典的图划分问题,因为它既不知道社区的数目,也不知道其大小分布。由于能够发现结构上连贯的顶点模块,社区检测已经成为许多科学和工业应用中的结构发现工具,包括生物科学、社会网络、零售和金融网络以及文献挖掘等。社区检测本身是指从复杂网络中挖掘出有实际意义的模块或层次结构的过程,能够更加深刻地认识和分析复杂网络中不同个体间的多层次联系。社区检测提取出的网络结构特征,有助于理解和分析网络的拓扑特性、功能特性及动力学特性等,进而挖掘出网络中蕴含的深层次信息,并对网络行为进行预测。社区检测这一概念最初出现在Michelle Girvan和Mark Newman提出的GN算法中,其基本思想是不断的删除网络中具有相对于所有源节点的最大边介数的边,然后,再重新计算网络中剩余的边的相对于所有源节点的边介数,重复这个过程。这一算法原理简单,但缺少相关的标准检验社区检测结果的合理程度。为解决这一问题,Newman提出了模块度的概念,定义如下:
式中Q即为模块度,m为边的总数,Aij为原网络对应邻接矩阵中第i行第j列元素,ki为节点i对应的度,模块度表示确定了所有节点度的前提下,在当前社区划分中,社区内部的实际连通边数与社区内产生边数的随机期望的差值的归一化数值,因此Q值越大表示社区检测越合理。在此基础上,Newman提出了FN(FastNewman)算法,FN算法本身是一种聚合算法,是一种基于局部搜索的贪心算法思想的复杂网络社团划分算法,其目的就是最大化Q,算法的基本步骤如下(见附图1):
(1)将网络初始化为n(n为节点数目)个社团,也就是初始阶段将每一个节点看成一个独立的社团。初始元素eij和ai满足:
(2)对于任意社区Ci依次计算其与相邻社区合并后的模块度增量,根据贪婪算法原理,将社区Ci与合并后模块度增量最大的相邻社区合并,依次遍历所有社区,其中模块度增量的计算方法为
ΔQ=eij+eji-2aiaj
(3)不断合并社区,直到整个网络被合并成为一个社区。
整个算法完成后可以得到一个社团结构分解的树状图。再通过在不同位置断开可以得到不同的网络社团结构。在这些社团结构中,选择一个对应局部最大Q值的,就得到了较好的网络社团结构。
在此基础上进行网络划分后进行后续的针对小区的交通流量预测可以提升局部预测的准确度与预测效率。
近两年,又由于图卷积网络(Graph Convolutional Network,GCN)的兴起,数据流预测在效果上有了质的飞跃。图卷积网络是图神经网络的一个重要的分类,图卷积网络借鉴了卷积神经网络中卷积的思想,利用卷积来处理图结构数据的信息,得到了很好的信息特征。由于图结构的数据与图像等数据结构不同,是一种非欧几里得的数据结构,每个节点的邻居数量不同,不能直接利用卷积网络进行特征提取。利用图的拉普拉斯矩阵提出的基于图拉普拉斯矩阵的第一代图卷积网络,其结构为:Ht+1=σ(UgθUTHt),其中U是拉普拉斯矩阵的特征向量,H为隐藏层,g是需要训练的参数。此外,对训练参数利用切比雪夫多项式进行改良得到了第二代图卷积,将切比雪夫多项式参数化简得到了第三代的图卷积,极大简化了计算量其形式为:其中A是改进的邻接矩阵,D是改进的度矩阵。在第二代图卷积网络中通过对切比雪夫多项式的K值选取,在图数据中反应的是选取某个节点的K阶邻居来进行信息融合。空间域图卷积网络利用某个节点周围的邻居的信息来更新节点的信息。通过对邻居节点的筛选的补0,将节点的邻居个数统一之后采取卷积来提取图数据的信息。
在数据可迁移方面,GraphSage算法可实现图结构数据的可迁移学习,GraphSage利用节点的邻居信息通过聚合层聚合节点自身和邻居的信息来进行节点信息更新,由于聚合层不依赖节点邻居的数量,可以满足不同结构的图数据,实现了inductive任务。此外,图注意力网络GAT也可以实现图结构数据的可迁移学习,GAT将聚合层引入注意力机制,通过计算各邻居节点与中心节点的得分得到不同的权重来进行节点信息的更新具有很好的迁移性。
数据流快速预测目前主流的方法多是采用深度学习的方法,比如前馈神经网络、循环神经网络、卷积神经网络等,然而这些深度学习方法的预测精度依赖于模型的复杂度,随着网络层数的增加,这些神经网络可以提取处更为深层次的特征进而提高预测精度,然而随着网络层数的增加不可避免地带来巨大的计算量,使得预测速率大大降低,很难满足工程上的实时性要求。相对于“深度”结构来说,“宽度”结构由于没有层与层之间的耦合而非常简洁。同样,由于没有多层连接,宽度网络亦不需要利用梯度下降来更新权值,所以计算速度大大优于深度学习。在网络精度达不到要求时,可以通过增加网络的“宽度”来提升精度,而增加宽度所增加的计算量和深度网络增加层数相比,可以说是微乎其微。
宽度网络(见附图2)的实质是一种随机向量函数链接神经网络(RVFLNN),与CNN不同,该网络并不通过反向传递改变特征提取器的核,而是通过求伪逆计算每个特征节点和增强节点的权重。为了提高预测的速度和实时性,首先,获取多智能体(交通网络节点)的时序状态值,并通过图卷积操作提取智能体有向交互关联图的图特征。对于特征提取,可以采用“映射特征”作为RVFLNN的输入,这是由于BLS是基于将映射特征作为RVFLNN输入的思想设计的。然后,在设计BLS时,利用输入数据映射的特征作为网络的“特征节点”。其次,将映射的特征增强为随机生成权重的“增强节点”。最后,所有映射的特征和增强节点直接连接到输出端,对应的输出系数可以通过岭回归的伪逆得出。
发明内容
本发明的目的是针对城市级交通流预测问题,搭建一种基于网络社区检测和GCN的耦合大规模数据流宽度学习快速预测智能算法,本发明所要解决的技术问题是如何提取大规模网络的复杂特征,来降低预测误差并提高预测速度。
为了实现上述目的,本发明的技术方案如下:一种基于网络社区检测和GCN的耦合大规模数据流宽度学习快速预测智能算法,所述算法包括以下步骤:
步骤一:社区检测;
步骤二:时空特征提取:
步骤三:宽度学习快速预测;
步骤四:时空耦合宽度学习神经网络的大规模实时预测。
作为本发明的一种改进,所述步骤一社区检测,具体如下:
社区检测主要对原始的FN算法进行修正,得到了新的包含边权的改进FN算法,直观上看,模块度表示确定了所有节点度的前提下,在当前社区划分中,社区内部的实际连通边数与社区内产生边数的随机期望的差值的归一化数值,因此Q值越大表示社区检测越合理,而原始的模块度定义没有考虑到边的权重问题,这里我们直接给出包含边权的模块度定义如下:
其中,W表示整个网络的边权重之和,Wij表示连接节点i和j的边的权重,ωi=Σtwit表示连接节点i的边的权重之和,k是网络中划分的社区数目;在此基础上,即可给出下述包含边权的FN算法流程:
输入:网络结构图和交通流数据;
初始化:定义整个网络的总交通流(总权重)为W,两节点间的交通流(边权)为双向交通流之和,即节点A到节点B和节点B到节点A的交通流之和作为AB连边的权重
将每个节点视为一个社区,初始元素eij和ai满足:
步骤11:初始化i=1,将所有社区从1开始编号排序;
步骤12:对社区i试探搜索将其并入相邻社区,并计算社区合并后的模块度增量ΔQ,ΔQ计算公式如下:
ΔQ=eij+eji-2aiaj
步骤13:根据贪心算法原理,将社区i并入使模块度增量最大的相邻社区;
步骤14:i=i+1,返回步骤12直到遍历所有节点;
步骤15:社区压缩,将处于同一社区中的所有节点压缩成为一个节点,若两社区中有节点相连,则压缩后两节点之间有边相连,边的权重即为原本两社区间所有连边的权重之和;
步骤16:返回步骤11直到所有节点被并入同一社区;
步骤17:得到一个层级社区合并树状图,在此树状图上做任意分割即可得到一个社区划分结果,采用遍历的方法搜寻使得模块度最大的社区划分方案Pmax
输出:社区检测结果Pmax。
输出说明:包含连边权重的FN算法选取候选解采用一种局部搜索策略。从初始解开始(每个网络社团仅包含一个节点),在每次迭代过程中,FN算法选择且合并两个现有的网络社团使ΔQ值最大化,直到网络中只剩下一个网络社团。FN算法的时间复杂度为O((m+n)*n),其中m为网络的节点数,n为网络的边数。值得注意的是虽然某两个社团的合并会使Q值有所减少,但仍然有可能在以后的社团合并过程中得到一个更大的Q值,而且从算法步骤可以看出,FN算法每次迭代过程都是随机选择两个社团进行合并,直到所有的社团都合并后,然后比较△Q,选取使△Q最大的两个社团归入同一个社团,这种迭代步骤大大降低了迭代效率。在此基础上,后续的工作得以直接在节点联系更为显著、规模更小的社区内进行,同时由于不同的社区直接结构相对独立,可以进行并行运算,由此便可以在一定程度上提升局部预测准确度的同时降低算法的时间复杂度。
作为本发明的一种改进,所述步骤二:时空特征提取,具体如下:
步骤21:在传统的图卷积神经网络(GCN)基础上进入多图机制Multi-GCN,通过对多图进行独立分析,类似于multi-head机制,利用多图来增加交通网络空间图的信息,完成对交通流空间特征信息提取,其中多图来源于第一部分社区检测中的社区检测结果Pmax;
步骤22:将时序交通流数据作为输入,利用卷积操作代替矩阵乘法,对传统的seq2seq结构中增加attention机制和self-attention机制来进行时间信息的特征提取,attention机制保证了对短时间段的进一步特征提取,self-attention机制可进行网络权重的动态调整,从而实现对长时间段信息的特征提取;
步骤23:将GCN与循环神经网络(RNN)单元进行融合来改进传统的长短时记忆网络(LSTM),门控单元网络(GRU)单元,即将GCN的输出与交通流输入作为RNN的输入,并利用RNN的输出同时调节GCN与RNN的网络参数,形成了一种新的时空预测结构,同时使用图注意力机制等新型图卷积方式进行信息提取来强化训练结果。
作为本发明的一种改进,步骤三:宽度学习快速预测,具体如下:
实际中的许多***对预测速度都有一定的要求,比如在交通领域,智能交通***(ITS)是一个极其复杂的***,同时受到许多复杂因素的影响,致使ITS的模型参数量往往十分巨大。因此,在深度结构的基础上对ITS进行参数识别经常遇到困难。巨大参数量要求模型往更深层次发展,这就意味着其训练时间和预测时间都极其耗时,同时非常耗费ITS的计算资源。在计算资源有限,且对实施预测有一定要求的情况下,深度模型往往并不适用。相比之下,宽度学习***不是通过深化结构来改进预测,而是在宽的方向上扩展结构,允许通过更快的最小二乘方法进行训练,BLS的显著特征是增量式学习算法,当训练精度不够时,可以增加特征节点(feature nodes)或者增强节点(enhancement nodes),网络扩展时不需要完全重新训练,我们已有研究证明了BLS训练过程比所有深度测试算法快两到三个数量级(几十秒对数十万秒),允许实时能力。因此,利用宽度学习***来替换深度网络结构可以大幅提高预测算法的计算效率,提高预测算法在大规模网络中的适用性。
这里有几个重要的名词和变量将在后面的叙述中经常用到:
其中:N1为每个窗口的特征节点个数,
N2为特征节点的窗口个数,
N3为增强节点个数,
H'1(s×f)为交通流数据训练集,s表示样本数目,f表示特征数目;
步骤31:生成特征节点;
宽度学习的核心就是求特征节点和增强节点到目标值的伪逆,在这里,特征节点和增强节点相对应的是神经网络的输入,求得的逆矩阵相当于神经网络的权值;
1)首先,需要建立输入数据到特征节点的映射,对H'1进行z分数标准化,确保输入数据已经归一化到0到1之间;
3)开始为每个窗口生成特征节点:生成随机权重矩阵we:we是一个(f+1)×N1维的随机权重矩阵,其值呈高斯分布;将we放入中We{i},i表示迭代量,迭代次数为N2;A1=H1×we;把A1和H1展开表示就会发现对于每个样本(fj1,fj2,...,fjf),新特征都可以表示为:这体现了整个网络的特性:随机向量函数链接;
4)对A1进行行归一化;
5)对A1采用了lasso方法进行稀疏表示,此时有新生成的随机特征向量A1,维数为s×N1,还有之前增广之后的训练集H1,维数为s×(f+1),那么稀疏表示的目的就是找到一个稀疏矩阵W使得H1×W=A1,所要求得W可以通过最优化求解:最终生成一个窗口得特征节点T1:T1=normal(H1×W),其中normal表示归一化,每个窗口特征节点的归一化方法记为ps(i);对于N2个特征窗口,生成N1个特征节点,每个节点是s维特征向量,这样,对于整个网络,特征节点矩阵y就是一个维数为s×(N2×N1)的矩阵;
步骤32:生成增强节点;
宽度网络的另一特性,就是可以利用增强节点对随机的特征节点进行补充。通过上述可知,特征节点都是线性的,而引入增强节点的目的就是为了增加网络中的非线性因素。
1)与特征节点一样,对特征节点矩阵y进行标准化与增广,得到H2,与特征节点不同,增强节点的系数矩阵不是随机矩阵,而是经过正交规范化后的随机矩阵。假设N2×N1>N3,则增强节点的系数矩阵wh表示为(N2×N1)×N3维经过正交规范化的随机矩阵,目的是将特征节点通过非线性映射到一个高维的子空间,使得网络的表达能力更强以起到“增强”的目的。
2)对增强节点进行激活:这里的s被称作增强节点的缩放尺度,是网络中可调参数之一,tansig是BP神经网络中常用的一种激活函数,可以理解为神经网络中的激活操作,可以最大程度将增强节点所表达的特征进行激活。与特征节点相比,增强节点并不与要稀疏表示,也不需要进行窗口迭代。虽然正交化的迭代也会耗费一些计算时间,但增加增强节点所需的计算时间,往往少于增加特征节点。
步骤3:求伪逆;
作为本发明的一种改进,步骤四:时空耦合宽度学习神经网络的大规模实时预测,具体如下:
步骤41:对步骤二中的Multi-GCN与RNN,去掉部分深度网络层,并在剩余的部分深度网络层中添加增强节点,即增添上述介绍的宽度学习***BLS中的增强层,得到时空耦合宽度学习神经网络结构;
步骤42:同时利用深度学习的误差发向传播算法以及宽度学习的最小二乘法来自适应调节参数,完成对时空耦合宽度学习神经网络的训练;
步骤43:将大规模交通流数据(例如城市级交通流数据)输入至时空耦合宽度学习神经网络,并快速输出交通流预测结果,实现对交通流的大规模实时预测。
与现有技术相比,本发明的有益效果在于:1)该方案基于Newman快速算法进行网络划分来简化大规模网络结构,对于原本节点众多,结构复杂的大规模网络进行社区检测,将其内部关联较大的节点集划分为交通子区,最终将整个网络划分成为一系列的交通子区;对大规模网络所划分的每个社区区域,利用图卷积GCN来提取的区域空间信息特征,再利用循环神经网络RNN提取时间流信息特征,来挖掘区域数据流间的耦合关系;利用宽度学习***代替GCN与RNN中的深度网络结构,增加特征节点或者增强节点,使得网络扩展时不需要完全重新训练,实现增量式快速预测;
2)针对耦合数据流预测问题,本发明基于Newman快速算法进行网络划分,基于GCN与循环神经网络对数据流的时空耦合特征进行提取,基于宽度学习***进行增量式快速交通流预测,从而实现对耦合数据流的快速高精度预测;
3)通过FN算法对原有大规模网络进行划分,社区中的节点由于其本身具有较高的关联度和多层次联系,可以提升局部预测的精度,同时由于每个社区的规模小于原网络,可以在一定程度上降低算法的时间复杂度,因此该算法可适用于大规模***的数据预测,解决了大规模***预测精度低的问题;
4)结合区域划分以及宽度学习实现对耦合数据流的实时预测,解决了耦合数据流预测延迟问题,即由于预测过程耗时较长导致的预测结果过时的问题,同时提取数据流的时空耦合特征来保证交通流的预测精度,数据流的时空耦合特征同时还可被用于进行拥塞控制,安全预报,信号灯调节等;
5)预测算法具有一般性,具体来说,对于金融领域中的股票预测,可将股票市场中的股票因果关系图作为输入进行社区检测,再将股票数据作为输入进行股票走势预测;对于交通***中的交通流预测,可将交通***中的路口网络拓扑图作为输入进行社区检测,再将时序交通流数据作为输入进行交通流预测;对于智能电网中的负荷预测,可将电网***中的节点***图作为输入进行社区检测,再将发电与用电数据作为输入进行负荷预测。
附图说明
图1为本发明中的社区检测流程示意图;
图2为本发明中的宽度学习***图;
图3为本发明中的社区检测结果树状图;
图4为本发明中的图注意力机制示意图;
图5为本发明中的算法流程示意图。
具体实施方式
以下是本发明的具体实施例并结合附图,以城市交通***中的交通流预测为例,对本发明的技术方案作进一步的描述,但本发明并不限于这些实施例。
实施例1:参见图1-图5,一种基于网络社区检测和GCN的耦合大规模数据流宽度学习快速预测智能算法,所述算法包括以下步骤:
步骤一:社区检测;
步骤二:时空特征提取:
步骤三:宽度学习快速预测;
步骤四:时空耦合宽度学习神经网络的大规模实时预测。
具体如下:步骤一:社区检测;
本发明社区检测主要对原始的FN算法进行修正,得到了新的包含边权的改进FN算法。直观上看,模块度表示确定了所有节点度的前提下,在当前社区划分中,社区内部的实际连通边数与社区内产生边数的随机期望的差值的归一化数值,因此Q值越大表示社区检测越合理。而原始的模块度定义没有考虑到边的权重问题,这里我们直接给出包含边权的模块度定义如下:
其中,W表示整个网络的边权重之和,Wij表示连接节点i和j的边的权重,ωi=Σtwit表示连接节点i的边的权重之和,k是网络中划分的社区数目。在此基础上,即可给出下述包含边权的FN算法流程:
输入:网络结构图和交通流数据
初始化:定义整个网络的总交通流(总权重)为W,两节点间的交通流(边权)为双向交通流之和,即节点A到节点B和节点B到节点A的交通流之和作为AB连边的权重
将每个节点视为一个社区,初始元素eij和ai满足:
步骤11:初始化i=1,将所有社区从1开始编号排序
步骤12:对社区i试探搜索将其并入相邻社区,并计算社区合并后的模块度增量ΔQ,ΔQ计算公式如下:
ΔQ=eij+eji-2aiaj
步骤13:根据贪心算法原理,将社区i并入使模块度增量最大的相邻社区
步骤14:i=i+1,返回步骤12直到遍历所有节点
步骤15:社区压缩,将处于同一社区中的所有节点压缩成为一个节点,若两社区中有节点相连,则压缩后两节点之间有边相连,边的权重即为原本两社区间所有连边的权重之和;
步骤16:返回步骤11直到所有节点被并入同一社区
步骤17:得到一个层级社区合并树状图(如图3所示),在此树状图上做任意分割即可得到一个社区划分结果,采用遍历的方法搜寻使得模块度最大的社区划分方案Pmax
输出:社区检测结果Pmax。
输出说明:包含连边权重的FN算法选取候选解采用一种局部搜索策略。从初始解开始(每个网络社团仅包含一个节点),在每次迭代过程中,FN算法选择且合并两个现有的网络社团使ΔQ值最大化,直到网络中只剩下一个网络社团。FN算法的时间复杂度为O((m+n)*n),其中m为网络的节点数,n为网络的边数。值得注意的是虽然某两个社团的合并会使Q值有所减少,但仍然有可能在以后的社团合并过程中得到一个更大的Q值,而且从算法步骤可以看出,FN算法每次迭代过程都是随机选择两个社团进行合并,直到所有的社团都合并后,然后比较△Q,选取使△Q最大的两个社团归入同一个社团,这种迭代步骤大大降低了迭代效率。在此基础上,后续的工作得以直接在节点联系更为显著、规模更小的社区内进行,同时由于不同的社区直接结构相对独立,可以进行并行运算,由此便可以在一定程度上提升局部预测准确度的同时降低算法的时间复杂度。
步骤二:时空特征提取:
步骤21:在传统的图卷积神经网络(GCN)基础上进入多图机制Multi-GCN,通过对多图进行独立分析,类似于multi-head机制,利用多图来增加交通网络空间图的信息,完成对交通流空间特征信息提取,其中多图来源于第一部分社区检测中的社区检测结果Pmax;
步骤22:将时序交通流数据作为输入,利用卷积操作代替矩阵乘法,对传统的seq2seq结构中增加attention机制和self-attention机制来进行时间信息的特征提取,attention机制保证了对短时间段的进一步特征提取,self-attention机制可进行网络权重的动态调整,从而实现对长时间段信息的特征提取。
步骤23:将GCN与循环神经网络(RNN)单元进行融合来改进传统的长短时记忆网络(LSTM),门控单元网络(GRU)单元,即将GCN的输出与交通流输入作为RNN的输入,并利用RNN的输出同时调节GCN与RNN的网络参数,形成了一种新的时空预测结构,同时使用图注意力机制(见附图4)等新型图卷积方式进行信息提取来强化训练结果。
步骤三:宽度学习快速预测;
实际中的许多***对预测速度都有一定的要求,比如在交通领域,智能交通***(ITS)是一个极其复杂的***,同时受到许多复杂因素的影响,致使ITS的模型参数量往往十分巨大。因此,在深度结构的基础上对ITS进行参数识别经常遇到困难。巨大参数量要求模型往更深层次发展,这就意味着其训练时间和预测时间都极其耗时,同时非常耗费ITS的计算资源。在计算资源有限,且对实施预测有一定要求的情况下,深度模型往往并不适用。相比之下,宽度学习***不是通过深化结构来改进预测,而是在宽的方向上扩展结构,允许通过更快的最小二乘方法进行训练,BLS的显著特征是增量式学习算法,当训练精度不够时,可以增加特征节点(feature nodes)或者增强节点(enhancement nodes),网络扩展时不需要完全重新训练,我们已有研究证明了BLS训练过程比所有深度测试算法快两到三个数量级(几十秒对数十万秒),允许实时能力。因此,利用宽度学习***来替换深度网络结构可以大幅提高预测算法的计算效率,提高预测算法在大规模网络中的适用性。
这里有几个重要的名词和变量将在后面的叙述中经常用到:
N1为每个窗口的特征节点个数,
N2为特征节点的窗口个数,
N3为增强节点个数,
H'1(s×f)为交通流数据训练集,s表示样本数目,f表示特征数目。
步骤31:生成特征节点
宽度学习的核心就是求特征节点和增强节点到目标值的伪逆。在这里,特征节点和增强节点相对应的是神经网络的输入,求得的逆矩阵相当于神经网络的权值。
1)首先,需要建立输入数据到特征节点的映射。对H'1进行z分数标准化,这里必须确保输入数据已经归一化到0到1之间。
3)开始为每个窗口生成特征节点:生成随机权重矩阵we:we是一个(f+1)×N1维的随机权重矩阵,其值呈高斯分布;将we放入中We{i},i表示迭代量,迭代次数为N2;A1=H1×we;把A1和H1展开表示就会发现对于每个样本(fj1,fj2,...,fjf),新特征都可以表示为:这体现了整个网络的特性:随机向量函数链接;
4)对A1进行行归一化;
5)对A1采用了lasso方法进行稀疏表示,此时有新生成的随机特征向量A1,维数为s×N1,还有之前增广之后的训练集H1,维数为s×(f+1),那么稀疏表示的目的就是找到一个稀疏矩阵W使得H1×W=A1,所要求得W可以通过最优化求解:最终生成一个窗口得特征节点T1:T1=normal(H1×W),其中normal表示归一化,每个窗口特征节点的归一化方法记为ps(i)。对于N2个特征窗口,我们都生成N1个特征节点,每个节点是s维特征向量。这样,对于整个网络,特征节点矩阵y就是一个维数为s×(N2×N1)的矩阵。
步骤32:生成增强节点
宽度网络的另一特性,就是可以利用增强节点对随机的特征节点进行补充。通过上述可知,特征节点都是线性的,而引入增强节点的目的就是为了增加网络中的非线性因素。
1)与特征节点一样,对特征节点矩阵y进行标准化与增广,得到H2。与特征节点不同,增强节点的系数矩阵不是随机矩阵,而是经过正交规范化后的随机矩阵。假设N2×N1>N3,则增强节点的系数矩阵wh可以表示为(N2×N1)×N3维经过正交规范化的随机矩阵,目的是将特征节点通过非线性映射到一个高维的子空间,使得网络的表达能力更强以起到“增强”的目的。
2)对增强节点进行激活:这里的s被称作增强节点的缩放尺度,是网络中可调参数之一。tansig是BP神经网络中常用的一种激活函数,可以理解为神经网络中的激活操作,可以最大程度将增强节点所表达的特征进行激活。与特征节点相比,增强节点并不与要稀疏表示,也不需要进行窗口迭代。虽然正交化的迭代也会耗费一些计算时间,但增加增强节点所需的计算时间,往往少于增加特征节点。
步骤33:求伪逆
步骤四::时空耦合宽度学习神经网络的大规模实时预测
步骤41:对步骤二的Multi-GCN与RNN,去掉部分深度网络层,并在剩余的部分深度网络层中添加增强节点,即增添上述介绍的宽度学习***BLS中的增强层,得到时空耦合宽度学习神经网络结构;
步骤42:同时利用深度学习的误差发向传播算法以及宽度学习的最小二乘法来自适应调节参数,完成对时空耦合宽度学习神经网络的训练。
步骤43:将大规模交通流数据(例如城市级交通流数据)输入至时空耦合宽度学习神经网络,并快速输出交通流预测结果,实现对交通流的大规模实时预测。
需要说明的是上述实施例仅仅是本发明的较佳实施例,并没有用来限定本发明的保护范围,在上述技术方案的基础上做出的等同替换或者替代均属于本发明的保护范围。
Claims (5)
1.一种基于网络社区检测和GCN的耦合大规模数据流宽度学习快速预测智能算法,其特征在于:所述算法包括以下步骤:
步骤一:社区检测;
步骤二:时空特征提取:
步骤三:宽度学习快速预测;
步骤四:时空耦合宽度学习神经网络的大规模实时预测。
2.根据权利要求1所述的基于网络社区检测和GCN的耦合大规模数据流宽度学习快速预测智能算法,其特征在于:所述步骤一社区检测,具体如下:
社区检测主要对原始的FN算法进行修正,得到了新的包含边权的改进FN算法,模块度表示确定了所有节点度的前提下,在当前社区划分中,社区内部的实际连通边数与社区内产生边数的随机期望的差值的归一化数值,包含边权的模块度定义如下:
其中,W表示整个网络的边权重之和,Wij表示连接节点i和j的边的权重,ωi=Σtwit表示连接节点i的边的权重之和,k是网络中划分的社区数目;在此基础上,即可给出下述包含边权的FN算法流程:
输入:网络结构图和交通流数据;
初始化:定义整个网络的总交通流(总权重)为W,两节点间的交通流(边权)为双向交通流之和,即节点A到节点B和节点B到节点A的交通流之和作为AB连边的权重
将每个节点视为一个社区,初始元素eij和ai满足:
步骤11:初始化i=1,将所有社区从1开始编号排序;
步骤12:对社区i试探搜索将其并入相邻社区,并计算社区合并后的模块度增量ΔQ,ΔQ计算公式如下:
ΔQ=eij+eji-2aiaj
步骤13:根据贪心算法原理,将社区i并入使模块度增量最大的相邻社区;
步骤14:i=i+1,返回步骤12直到遍历所有节点;
步骤15:社区压缩,将处于同一社区中的所有节点压缩成为一个节点,若两社区中有节点相连,则压缩后两节点之间有边相连,边的权重即为原本两社区间所有连边的权重之和;
步骤16:返回步骤11直到所有节点被并入同一社区;
步骤17:得到一个层级社区合并树状图,在此树状图上做任意分割即可得到一个社区划分结果,采用遍历的方法搜寻使得模块度最大的社区划分方案Pmax
输出:社区检测结果Pmax。
3.根据权利要求1所述的基于网络社区检测和GCN的耦合大规模数据流宽度学习快速预测智能算法,其特征在于:所述步骤二:时空特征提取,具体如下:
步骤21:在传统的图卷积神经网络(GCN)基础上进入多图机制Multi-GCN,通过对多图进行独立分析,利用多图来增加交通网络空间图的信息,完成对交通流空间特征信息提取,其中多图来源于第一部分社区检测中的社区检测结果Pmax;
步骤22:将时序交通流数据作为输入,利用卷积操作代替矩阵乘法,对传统的seq2seq结构中增加attention机制和self-attention机制来进行时间信息的特征提取,attention机制保证了对短时间段的进一步特征提取,self-attention机制可进行网络权重的动态调整,从而实现对长时间段信息的特征提取;
步骤23:将GCN与循环神经网络(RNN)单元进行融合来改进传统的长短时记忆网络(LSTM),门控单元网络(GRU)单元,即将GCN的输出与交通流输入作为RNN的输入,并利用RNN的输出同时调节GCN与RNN的网络参数,形成了一种新的时空预测结构,同时使用图注意力机制等新型图卷积方式进行信息提取来强化训练结果。
4.根据权利要求1所述的基于网络社区检测和GCN的耦合大规模数据流宽度学习快速预测智能算法,其特征在于:步骤三:宽度学习快速预测,具体如下:
其中:N1为每个窗口的特征节点个数,
N2为特征节点的窗口个数,
N3为增强节点个数,
H'1(s×f)为交通流数据训练集,s表示样本数目,f表示特征数目;
步骤31:生成特征节点;
宽度学习的核心就是求特征节点和增强节点到目标值的伪逆,在这里,特征节点和增强节点相对应的是神经网络的输入,求得的逆矩阵相当于神经网络的权值;
1)首先,需要建立输入数据到特征节点的映射,对H'1进行z分数标准化,确保输入数据已经归一化到0到1之间;
3)开始为每个窗口生成特征节点:生成随机权重矩阵we:we是一个(f+1)×N1维的随机权重矩阵,其值呈高斯分布;将we放入中We{i},i表示迭代量,迭代次数为N2;A1=H1×we;把A1和H1展开表示就会发现对于每个样本(fj1,fj2,...,fjf),新特征都可以表示为:这体现了整个网络的特性:随机向量函数链接;
4)对A1进行行归一化;
5)对A1采用了lasso方法进行稀疏表示,此时有新生成的随机特征向量A1,维数为s×N1,还有之前增广之后的训练集H1,维数为s×(f+1),那么稀疏表示的目的就是找到一个稀疏矩阵W使得H1×W=A1,所要求得W可以通过最优化求解:最终生成一个窗口得特征节点T1:T1=normal(H1×W),其中normal表示归一化,每个窗口特征节点的归一化方法记为ps(i);对于N2个特征窗口,生成N1个特征节点,每个节点是s维特征向量,这样,对于整个网络,特征节点矩阵y就是一个维数为s×(N2×N1)的矩阵;
步骤32:生成增强节点;
1)与特征节点一样,对特征节点矩阵y进行标准化与增广,得到H2,假设N2×N1>N3,则增强节点的系数矩阵wh表示为(N2×N1)×N3维经过正交规范化的随机矩阵,
步骤3:求伪逆;
5.根据权利要求1所述的基于网络社区检测和GCN的耦合大规模数据流宽度学习快速预测智能算法,其特征在于:步骤四:时空耦合宽度学习神经网络的大规模实时预测,具体如下:
步骤41:对步骤二中的Multi-GCN与RNN,去掉部分深度网络层,并在剩余的部分深度网络层中添加增强节点,即增添上述介绍的宽度学习***BLS中的增强层,得到时空耦合宽度学习神经网络结构;
步骤42:同时利用深度学习的误差发向传播算法以及宽度学习的最小二乘法来自适应调节参数,完成对时空耦合宽度学习神经网络的训练;
步骤43:将大规模交通流数据输入至时空耦合宽度学习神经网络,并快速输出交通流预测结果,实现对交通流的大规模实时预测。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010383795.4A CN111696345A (zh) | 2020-05-08 | 2020-05-08 | 一种基于网络社区检测和gcn的耦合大规模数据流宽度学习快速预测智能算法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010383795.4A CN111696345A (zh) | 2020-05-08 | 2020-05-08 | 一种基于网络社区检测和gcn的耦合大规模数据流宽度学习快速预测智能算法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111696345A true CN111696345A (zh) | 2020-09-22 |
Family
ID=72477388
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010383795.4A Pending CN111696345A (zh) | 2020-05-08 | 2020-05-08 | 一种基于网络社区检测和gcn的耦合大规模数据流宽度学习快速预测智能算法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111696345A (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112085124A (zh) * | 2020-09-27 | 2020-12-15 | 西安交通大学 | 一种基于图注意力网络的复杂网络节点分类方法 |
CN112289467A (zh) * | 2020-11-17 | 2021-01-29 | 中山大学 | 一种面向低资源场景可迁移的医疗问诊对话***及方法 |
CN112487305A (zh) * | 2020-12-01 | 2021-03-12 | 重庆邮电大学 | 一种基于gcn的动态社交用户对齐方法 |
CN113098910A (zh) * | 2021-05-13 | 2021-07-09 | 福州大学 | 基于时空粒度和三宽度学习的网络入侵检测方法及*** |
CN113361269A (zh) * | 2021-06-11 | 2021-09-07 | 南京信息工程大学 | 一种用于文本情感分类的方法 |
CN113763193A (zh) * | 2021-01-25 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 群体检测方法、装置、电子设备和计算机存储介质 |
CN113784414A (zh) * | 2021-09-07 | 2021-12-10 | 南昌航空大学 | 一种采用图对比学习的机会网络节点嵌入方法 |
CN113988259A (zh) * | 2021-10-27 | 2022-01-28 | 河北工业大学 | 基于vae-gru的火电机组运行参数的实时异常检测方法 |
CN114023375A (zh) * | 2021-03-12 | 2022-02-08 | 浙江工业大学 | 一种基于全局采样子图的宽度学习酶蛋白检测方法及*** |
WO2022083549A1 (zh) * | 2020-10-20 | 2022-04-28 | 中兴通讯股份有限公司 | 流量信号转换方法、装置、电子设备及存储介质 |
CN114548532A (zh) * | 2022-02-09 | 2022-05-27 | 华南师范大学 | 一种基于vmd的tgcn-gru超短期负荷预测方法、装置和电子设备 |
CN115938103A (zh) * | 2022-11-01 | 2023-04-07 | 北京航空航天大学 | 基于增量学习的时空流式数据预测方法 |
CN115952934A (zh) * | 2023-03-15 | 2023-04-11 | 华东交通大学 | 基于增量输出分解循环神经网络的交通流预测方法及*** |
CN116758767A (zh) * | 2023-08-21 | 2023-09-15 | 中南大学 | 基于多策略强化学习的交通信号灯控制方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107967532A (zh) * | 2017-10-30 | 2018-04-27 | 厦门大学 | 融合区域活力的城市交通流量预测方法 |
US20190304092A1 (en) * | 2018-03-28 | 2019-10-03 | International Business Machines Corporation | Systems and methods for automatic detection of an indication of abnormality in an anatomical image |
CN110610232A (zh) * | 2019-09-11 | 2019-12-24 | 南通大学 | 一种基于深度学习的长期及短期交通流预测模型构建方法 |
-
2020
- 2020-05-08 CN CN202010383795.4A patent/CN111696345A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107967532A (zh) * | 2017-10-30 | 2018-04-27 | 厦门大学 | 融合区域活力的城市交通流量预测方法 |
US20190304092A1 (en) * | 2018-03-28 | 2019-10-03 | International Business Machines Corporation | Systems and methods for automatic detection of an indication of abnormality in an anatomical image |
CN110610232A (zh) * | 2019-09-11 | 2019-12-24 | 南通大学 | 一种基于深度学习的长期及短期交通流预测模型构建方法 |
Non-Patent Citations (1)
Title |
---|
LIU DI: "Broad Learning for Optimal Short-Term Traffic Flow Prediction", <LECTURE NOTES IN COMPUTER SCIENCE> * |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112085124B (zh) * | 2020-09-27 | 2022-08-09 | 西安交通大学 | 一种基于图注意力网络的复杂网络节点分类方法 |
CN112085124A (zh) * | 2020-09-27 | 2020-12-15 | 西安交通大学 | 一种基于图注意力网络的复杂网络节点分类方法 |
WO2022083549A1 (zh) * | 2020-10-20 | 2022-04-28 | 中兴通讯股份有限公司 | 流量信号转换方法、装置、电子设备及存储介质 |
CN112289467A (zh) * | 2020-11-17 | 2021-01-29 | 中山大学 | 一种面向低资源场景可迁移的医疗问诊对话***及方法 |
CN112487305A (zh) * | 2020-12-01 | 2021-03-12 | 重庆邮电大学 | 一种基于gcn的动态社交用户对齐方法 |
CN113763193A (zh) * | 2021-01-25 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 群体检测方法、装置、电子设备和计算机存储介质 |
CN114023375A (zh) * | 2021-03-12 | 2022-02-08 | 浙江工业大学 | 一种基于全局采样子图的宽度学习酶蛋白检测方法及*** |
CN113098910A (zh) * | 2021-05-13 | 2021-07-09 | 福州大学 | 基于时空粒度和三宽度学习的网络入侵检测方法及*** |
CN113361269A (zh) * | 2021-06-11 | 2021-09-07 | 南京信息工程大学 | 一种用于文本情感分类的方法 |
CN113361269B (zh) * | 2021-06-11 | 2023-07-18 | 南京信息工程大学 | 一种用于文本情感分类的方法 |
CN113784414A (zh) * | 2021-09-07 | 2021-12-10 | 南昌航空大学 | 一种采用图对比学习的机会网络节点嵌入方法 |
CN113784414B (zh) * | 2021-09-07 | 2023-05-05 | 南昌航空大学 | 一种采用图对比学习的机会网络节点嵌入方法 |
CN113988259A (zh) * | 2021-10-27 | 2022-01-28 | 河北工业大学 | 基于vae-gru的火电机组运行参数的实时异常检测方法 |
CN113988259B (zh) * | 2021-10-27 | 2024-05-14 | 河北工业大学 | 基于vae-gru的火电机组运行参数的实时异常检测方法 |
CN114548532A (zh) * | 2022-02-09 | 2022-05-27 | 华南师范大学 | 一种基于vmd的tgcn-gru超短期负荷预测方法、装置和电子设备 |
CN115938103A (zh) * | 2022-11-01 | 2023-04-07 | 北京航空航天大学 | 基于增量学习的时空流式数据预测方法 |
CN115938103B (zh) * | 2022-11-01 | 2024-06-18 | 北京航空航天大学 | 基于增量学习的时空流式数据预测方法 |
CN115952934B (zh) * | 2023-03-15 | 2023-06-16 | 华东交通大学 | 基于增量输出分解循环神经网络的交通流预测方法及*** |
CN115952934A (zh) * | 2023-03-15 | 2023-04-11 | 华东交通大学 | 基于增量输出分解循环神经网络的交通流预测方法及*** |
CN116758767A (zh) * | 2023-08-21 | 2023-09-15 | 中南大学 | 基于多策略强化学习的交通信号灯控制方法 |
CN116758767B (zh) * | 2023-08-21 | 2023-10-20 | 中南大学 | 基于多策略强化学习的交通信号灯控制方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111696345A (zh) | 一种基于网络社区检测和gcn的耦合大规模数据流宽度学习快速预测智能算法 | |
CN113053115B (zh) | 一种基于多尺度图卷积网络模型的交通预测方法 | |
CN113159239B (zh) | 一种量子图卷积神经网络处理图数据的方法 | |
Peng et al. | Dynamic network embedding via incremental skip-gram with negative sampling | |
CN114944053B (zh) | 一种基于时空超图神经网络的交通流预测方法 | |
CN114373101A (zh) | 基于进化策略的神经网络架构搜索的图像分类方法 | |
Xu et al. | Graph partitioning and graph neural network based hierarchical graph matching for graph similarity computation | |
Ni et al. | STGMN: A gated multi-graph convolutional network framework for traffic flow prediction | |
Shao et al. | The Traffic Flow Prediction Method Using the Incremental Learning‐Based CNN‐LTSM Model: The Solution of Mobile Application | |
CN116543554B (zh) | 基于动态相关性的时空Transformer交通流预测方法 | |
Huang et al. | Residual or gate? towards deeper graph neural networks for inductive graph representation learning | |
CN111597757A (zh) | 基于多目标加点准则的gp模型辅助slpso算法 | |
CN115018193A (zh) | 基于lstm-ga模型的时间序列风能数据预测方法 | |
Zheng et al. | Ddpnas: Efficient neural architecture search via dynamic distribution pruning | |
Hong et al. | Variational gridded graph convolution network for node classification | |
Liu et al. | STGHTN: Spatial-temporal gated hybrid transformer network for traffic flow forecasting | |
CN113326884B (zh) | 大规模异构图节点表示的高效学习方法及装置 | |
CN115080795A (zh) | 一种多充电站协同负荷预测方法及装置 | |
Liu et al. | Attention-based spatial-temporal graph convolutional recurrent networks for traffic forecasting | |
Ma et al. | Optimization of subsurface flow operations using a dynamic proxy strategy | |
CN116070763A (zh) | 基于梯度进化的新建风电场风电功率预测方法及*** | |
Aliyu et al. | Deep Learning for Multivariate Prediction of Building Energy Performance of Residential Buildings. | |
Chang et al. | Enhanced road information representation in graph recurrent network for traffic speed prediction | |
CN113111308A (zh) | 基于数据驱动遗传编程算法的符号回归方法及*** | |
Chen et al. | Generating robust real-time object detector with uncertainty via virtual adversarial training |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200922 |