CN113159371A - 基于跨模态数据融合的未知目标特征建模与需求预测方法 - Google Patents
基于跨模态数据融合的未知目标特征建模与需求预测方法 Download PDFInfo
- Publication number
- CN113159371A CN113159371A CN202110108200.9A CN202110108200A CN113159371A CN 113159371 A CN113159371 A CN 113159371A CN 202110108200 A CN202110108200 A CN 202110108200A CN 113159371 A CN113159371 A CN 113159371A
- Authority
- CN
- China
- Prior art keywords
- node
- facility
- facilities
- unknown target
- representation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000004927 fusion Effects 0.000 title claims abstract description 15
- 238000003062 neural network model Methods 0.000 claims abstract description 13
- 238000013277 forecasting method Methods 0.000 claims abstract description 4
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 230000000306 recurrent effect Effects 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 19
- 150000001875 compounds Chemical class 0.000 claims description 12
- 238000013135 deep learning Methods 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000012512 characterization method Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 101150049349 setA gene Proteins 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 230000001537 neural effect Effects 0.000 claims 1
- 230000002123 temporal effect Effects 0.000 claims 1
- 230000008901 benefit Effects 0.000 abstract description 4
- 238000011161 development Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013439 planning Methods 0.000 description 2
- 238000003915 air pollution Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000009440 infrastructure construction Methods 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000029305 taxis Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A30/00—Adapting or protecting infrastructure or their operation
- Y02A30/60—Planning or developing urban green infrastructure
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Theoretical Computer Science (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Educational Administration (AREA)
- Health & Medical Sciences (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于跨模态数据融合的未知目标特征建模与需求预测方法,包括:跨模态数据获取与预处理;构建描述跨模态的设施间关系的异构图结构;构造以未知目标设施为中心,其余节点为其他多模态设施的异构子图结构;采用关系图神经网络模型计算除中心节点以外的其他节点的高阶特征表示;提取未知目标设施的节点特征表示;提取时间相关性,将每个时间片段的目标设施的节点特征表示作为循环神经网络模型输入,预测未来目标设施的需求情况。本发明针对规划新建设施设备时,预测新设施可能效益的需求,融合现有相关的多种类设施设备数据,构造所规划的目标设施的特征表示形式,建立一种未知目标特征建模方法,并能应用于后续的时序需求预测任务。
Description
技术领域
本发明属于模式分析领域,特别涉及一种基于跨模态数据融合的未知目标特征建模与需求预测方法。
背景技术
随着全球城市化的加速发展,世界各地的城市规划机构开始将数字化视为解决城市问题的有效方案。据***估计,到2050年,全世界近66%的人口将居住在城市里。在这种背景下,智慧城市(Smart Cities,SC)的概念应运而生。智慧城市使用技术和数据来提高城市服务的效率,将城市感知、数据管理、数据分析和服务提供等联系起来,减少资源消耗和成本,不仅能够缓解诸如空气污染、能源浪费、交通堵塞等“大城市病”,更影响人们吃住行游购娱等日常生活,从而在不经意间持续地改善着人们的生活水平、城市运营***和生活环境。
随着智慧城市概念的不断发展成熟和信息、通信等技术的快速革新,基于智慧城市的各种应用***不断产生大规模的数据,在近些年的研究中,城市数据被认为是智慧城市部署中的重要资产。由于传感器和移动终端等智能产品的普及和空前的发展,如何综合利用这些海量、多源、异构的城市数据服务于城市居民出行模式分析,并对城市发展与基础设施建设给出指导性需求预测是当今的一个重要课题。
在城市计算方法中,研究人员使用的大数据全部来自不同的来源,例如气象站、出租车传感器、道速速度传感器等。此外,城市大数据显示不同的表示形式,例如文本、数字和符号。一方面,如何感知、获取和管理这些大数据是一个挑战。另一方面,如何分析和挖掘这些大数据的价值是另一个重大挑战。显然,如何高效利用具有多类特征的城市大数据是城市计算中亟待解决的关键问题。
在如今的信息化网络中,随着各种各样的设备(传感器和移动设备)和应用程序的日益成熟,数据可以从不同的领域以及不同的特征提取器中获得,因此数据呈现多源性且越来越常见。但是,由于不同源的数据描述了不同的数据观点,单独来看,单一源数据往往是不完整的,无法很好的反映多源数据的结构特征。由于共享单车等新兴交通方式的出现,滴滴打车等网约车等新型交通模式的兴起,在极大方便了人们出行的同时,也更能反映用户出行的特性和习惯。因此,联合使用交通和用户多源移动轨迹数据进行出行模式学习,对交通管理、文化推荐、商业推荐等应用变得更加有意义。在智慧城市计算研究领域中,单源数据存在数据收集不完善且只反映用户单一活动模式等问题,所以往往导致用户行为模式挖掘不充分,建模不完备。然而,随着智慧城市发展,用户在不同场景下的出行数据得到了有效收集。
随着机器学习与数据挖掘领域的发展,面向城市计算的交通预测研究已经取得了长足的进步。根据预测方法所使用的基本模型来分,这些方法可以大致分为如下两类:基于传统方法的流量预测和基于深度学习的流量预测。基于传统方法的流量预测主要包括经典统计方法和机器学习方法。但是基于传统机器学习的模型性能在挖掘复杂的时空模式相关性方面仍然能力不足,因为这些方法通常需要领域专家人工添加额外的特征,因此在这类方法中,特征工程的效果通常对预测结果的影响较大。模型很难直接从原始数据特征中学习数据的潜在模式用于流量预测。而基于深度学习方法的出现使得人工智能模型在交通预测领域展现出巨大的潜力。深度学习研究如何学习一个多层次结构模型来将原始输入直接映射到预期输出。一般来说,深度学习模型会堆叠基本的神经元结构,并以层的形式形成深度架构,并将整个网络进行端到端(End-to-End)的训练。
图神经网络(Graph Neural Network,GNN)是一类适用于图结构的新型神经网络模型,它通常包括两种类型的方法:基于频谱的方法和基于空间的方法,分别称为频域图卷积和空域图卷积。基于频谱的方法通过从图形信号处理的角度引入滤波器来定义图形卷积,其中图形卷积操作被解释为从图形信号中去除噪声。基于空间的方法将图卷积公式化为来自邻居的聚集特征信息。
虽然已经有大量的现有工作研究了设施的流量预测问题,但是仍然很少有针对未建立的规划中的目标设施进行潜在流量预测的方法,如文献“Potential Passenger FlowPrediction:A Novel Study for Urban Transportation Development”预测了未建立的地铁站的潜在客流量,但是它没有考虑跨模态数据的影响,即没有考虑如公交、出租车等其他交通方式流量的影响。
发明内容
本发明的目的在于针对规划新建设施设备时,预测新设施可能效益的需求,融合现有相关的多种类设施设备数据,提取跨模态的多类设备的时空相关性特征,构造所规划的目标设施的特征表示形式,建立一种未知目标特征建模方法,并能应用于后续的时序需求预测任务。
实现本发明目的的技术解决方案为:一种基于跨模态数据融合的未知目标特征建模与需求预测方法,所述方法包括以下步骤:
步骤2,构建描述跨模态的设施间关系的异构图结构;
步骤3,构造一个以未知目标设施为中心,其余节点为已有的其他多模态设施的异构子图结构;
步骤4,针对步骤3异构子图结构中的中心节点以外的具有节点特征表示的所有节点,采用关系图神经网络模型计算其高阶特征表示;
步骤5,采用深度学习架构,通过邻居节点特征聚合器有选择地提取子图中的特征信息,组成图的特征嵌入表示,作为中心的未知目标设施的节点特征表示;
步骤6,提取时间相关性,将每个时间片段学习到的未知目标设施的节点特征表示作为循环神经网络模型输入,预测未来未知目标设施的需求情况。
进一步地,步骤2所述构建描述跨模态的设施间关系的异构图结构,具体包括:
将不同模态的设施作为异构图结构的图节点,节点特征为步骤1中得到的特征表示;
计算跨模态的设施间的地理距离相近性与自身功能相似性,得到跨模态的设施间的多类异构关系,将该多类异构关系作为异构图结构的异构边。
进一步地,所述距离相近性的计算公式为:
所述功能相似性的计算公式为:
式中,表示设施i与设施j之间的功能相似性,Cos(Fi,Fj)表示设施i与设施j的POIs分布向量的余弦距离,N表示归一化函数,β表示两个设施之间有联系的余弦相似度的最小阈值,rPOI表示功能相似性的边类型。
进一步地,步骤3所述以所述未知目标设施为初始节点,构造一个未知目标设施为中心,其余节点为已有的其他多模态设施的异构子图结构,具体为:
以所述未知目标设施为初始节点,根据步骤2中计算得到的多类异构关系,采用基于广度优先搜索的子图构造方法,构造一个以未知目标设施为中心,其余节点为已有的其他多模态设施的异构子图结构,具体过程包括:
步骤3-1,输入子图节点的个数M,未知目标设施v0作为中心节点和初始节点,其他已有设施的节点表示vRe,以及时间t;
步骤3-2,初始化一个队列,将未知目标设施v0入队;
步骤3-3,从队列中出队一个设施vi,将该设施和与该设施有关的边加入最终子图中,计算所有其他已有设施vRe中设施vj与设施vi的距离相近性与功能相似性边权值,若边权值大于0,则按照边权值从大到小的顺序将该设施vj加入到队列中;
进一步地,步骤4所述针对步骤3异构子图结构中的中心节点以外的具有节点特征表示的所有节点,采用关系图神经网络模型计算其高阶特征表示,具体为:
步骤4-1,在异构子图结构上提取该节点vi的空间上的相关性:
式中,Nr(i)为节点vi的以r类型连接的邻居节点的集合,j表示该集合中任意一个节点的标号,|Nr(i)|表示该集合内的元素个数,εr,ij为设施vj与设施vi的边权值,为节点vj在关系图神经网络第l层的节点特征,与为第l层用于学习r类型连接的相关性的可学习参数,σ表示一类激活函数,为提取到的节点vi在第l+1层的r类型连接的相关性特征;
步骤4-2,在异构子图结构上提取该节点vi的空间上的差异性:
进一步地,步骤4-1与步骤4-2中涉及到的参数W与b,采用基于矩阵重构的正则化方法计算得出,表达式如下:
进一步地,步骤5所述采用深度学习架构,通过邻居节点特征聚合器有选择地提取子图中的特征信息,组成图的特征嵌入表示,作为中心的未知目标设施的节点特征表示,具体为:选取与中心的未知目标设施v0即中心目标节点关系最紧密的已有设施,采用加权连接得到最终的中心目标节点特征表示,具体包括:
之后采用邻居池化聚合器组成图的特征嵌入表示h:
将h作为未知目标设施v0在时间片段t的节点表示形式。
本发明与现有技术相比,其显著优点为:1)采用归纳学习方式,在每次预测新规划的未知设施时不用重新训练整个模型,而是用已经训练好的模型直接应用进行预测,提高了预测的效率;2)综合考虑了跨模态数据的相关性与差异性,从而更好地提取跨模态的多类设施间的空间相关性,用以构造更准确的未知设施的特征表示。
下面结合附图对本发明作进一步详细描述。
附图说明
图1为基于跨模态数据融合的未知目标特征建模与需求预测方法的流程图。
图2为基于跨模态数据融合的未知目标特征建模与需求预测方法的框架图。
图3为预测模型的深度学习架构图。
图4为典型应用的预测结果折线图,其中图(a)为2019年4月7日4点至2019 年4月15日4点纽约曼哈顿地区某地铁站点的真实人群流量与本方法的预测流量的曲线图,图(b)为2019年5月31日4点至2019年6月8日4点纽约火车站附近某公共自行车站点的真实骑行流量与本方法的预测流量的曲线图,图(c)为2019年10月24 日12点至2019年10月31日12点纽约某居民区附近的地铁站点的真实人群流量与本方法的预测流量的曲线图,图(d)为2019年8月19日12点至2019年8月27日12 点纽约某居民区附近的公共自行车站点的真实骑行流量与本方法的预测流量的曲线图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在一个实施例中,结合图1和图2,提供了一种基于跨模态数据融合的未知目标特征建模与需求预测方法,所述方法包括以下步骤:
这里,多类模态的不同设施包括与目标设施相关的同类型设施,如当目标设施为某交通基础设施时,属于不同交通方式p∈P的各个交通基础设施vp都视为与目标设施相关的同类型设施,其中每一类交通方式即一类模态,它们的数据表示的格式相同,但是内在模式不同。未知目标设施v0是仍在计划中未建的,本方法需要求出目标设施在t+1 时间的未来需求
步骤2,构建描述跨模态的设施间关系的异构图结构;
步骤3,构造一个以未知目标设施为中心,其余节点为已有的其他多模态设施的异构子图结构;
步骤4,针对步骤3异构子图结构中的中心节点以外的具有节点特征表示的所有节点,采用关系图神经网络模型计算其高阶特征表示;
步骤5,采用深度学习架构,通过邻居节点特征聚合器有选择地提取子图中的特征信息,组成图的特征嵌入表示,作为中心的未知目标设施的节点特征表示;
步骤6,提取时间相关性,将每个时间片段学习到的未知目标设施的节点特征表示作为循环神经网络模型输入,预测未来未知目标设施的需求情况。
进一步地,在其中一个实施例中,步骤2所述构建描述跨模态的设施间关系的异构图结构,具体包括:
将不同模态的设施作为异构图结构的图节点,节点特征为步骤1中得到的特征表示;
计算跨模态的设施间的地理距离相近性与自身功能相似性,得到跨模态的设施间的多类异构关系,将该多类异构关系作为异构图结构的异构边。
这里,计算每个跨模态的设施之间的两类相关性,如果计算得出两者之间存在某类相关性,则表示在图结构中两个对应节点之间存在一条该类型的边。
进一步地,在其中一个实施例中,所述距离相近性的计算公式为:
所述功能相似性的计算公式为:
式中,表示设施i与设施j之间的功能相似性,Cos(Fi,Fj)表示设施i与设施jPOIs(兴趣点)分布向量的余弦距离,N表示归一化函数,β表示两个设施之间有联系的余弦相似度的最小阈值,rPOI表示功能相似性的边类型。
进一步地,在其中一个实施例中,步骤3所述以所述未知目标设施为初始节点,构造一个未知目标设施为中心,其余节点为已有的其他多模态设施的异构子图结构,具体为:
以所述未知目标设施为初始节点,根据步骤2中计算得到的多类异构关系,采用基于广度优先搜索的子图构造方法,构造一个以未知目标设施为中心,其余节点为已有的其他多模态设施的异构子图结构,具体过程包括:
步骤3-1,输入子图节点的个数M,未知目标设施v0作为中心节点和初始节点,其他已有设施的节点表示vRe,以及时间t;
步骤3-2,初始化一个队列,将未知目标设施v0入队;
步骤3-3,从队列中出队一个设施vi,将该设施和与该设施有关的边加入最终子图中,计算所有其他已有设施vRe中设施vj与设施vi的距离相近性与功能相似性边权值,若边权值大于0,则按照边权值从大到小的顺序将该设施vj加入到队列中;
进一步地,在其中一个实施例中,步骤4所述针对步骤3异构子图结构中的中心节点以外的具有节点特征表示的所有节点,采用关系图神经网络模型计算其高阶特征表示,具体为:
步骤4-1,在异构子图结构上提取该节点vi的空间上的相关性:
式中,Nr(i)为节点vi的以r类型连接的邻居节点的集合,j表示该集合中任意一个节点的标号,|Nr(i)|表示该集合内的元素个数,εr,ij为设施vj与设施vi的边权值,为节点vj在关系图神经网络第l层的节点特征,与为第l层用于学习r类型连接的相关性的可学习参数,σ表示一类激活函数,为提取到的节点vi在第l+1层的r类型连接的相关性特征;
步骤4-2,在异构子图结构上提取该节点vi的空间上的差异性:
进一步地,在其中一个实施例中,步骤4-1与步骤4-2中涉及到的参数W与b,采用基于矩阵重构的正则化方法计算得出,表达式如下:
进一步地,在其中一个实施例中,步骤5所述采用深度学习架构如图3所示,通过邻居节点特征聚合器有选择地提取子图中的特征信息,组成图的特征嵌入表示,作为中心的未知目标设施的节点特征表示,具体为:选取与中心的未知目标设施v0即中心目标节点关系最紧密的已有设施,采用加权连接得到最终的中心目标节点特征表示,具体包括:
之后采用邻居池化聚合器组成图的特征嵌入表示h:
将h作为未知目标设施v0在时间片段t的节点表示形式(由于子图以目标设施v0为中心,且最终的特征表示h由与目标设施v0最相关的特征连接组成)。
进一步地,在其中一个实施例中,步骤6中所述提取时间相关性,具体采用长短期记忆网络LSTM提取。
示例性地,在两组典型应用,包括预测未来的自行车停放点与未来的地铁站点时,本发明的预测结果如图4所示,由图可以看出,该方法可以较好地拟合需求曲线,得到准确的需求预测结果。
本发明采用关系图卷积神经网络模型对与规划中的目标设施相关的已有设施的历史特征数据学习空间相关性提取其高阶特征表示,通过刻画这些已有设施与目标设置之间的联系,巧妙地建立一种独特的映射关系,将这些已有设施的高阶特征表示映射到未知的目标设施的特征表示,并可以将该特征表示用于时序的需求预测中。本发明通过深度学习准确地提取了未知目标在跨模态数据中的时空相关性特征,充分考虑了影响未知目标需求的因素,从而能够进行更为准确的未知目标特征建模与需求预测。
上述对实施例的描述是为便于该技术领域的普通技术人员能理解和使用发明专利。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改,并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此,本发明专利不限于上述实施例,本领域技术人员根据本发明专利的揭示,不脱离本发明专利范畴所做出的改进和修改都应该在本发明专利的保护范围之内。
Claims (8)
1.一种基于跨模态数据融合的未知目标特征建模与需求预测方法,其特征在于,所述方法包括以下步骤:
步骤2,构建描述跨模态的设施间关系的异构图结构;
步骤3,构造一个以未知目标设施为中心,其余节点为已有的其他多模态设施的异构子图结构;
步骤4,针对步骤3异构子图结构中的中心节点以外的具有节点特征表示的所有节点,采用关系图神经网络模型计算其高阶特征表示;
步骤5,采用深度学习架构,通过邻居节点特征聚合器有选择地提取子图中的特征信息,组成图的特征嵌入表示,作为中心的未知目标设施的节点特征表示;
步骤6,提取时间相关性,将每个时间片段学习到的未知目标设施的节点特征表示作为循环神经网络模型输入,预测未来未知目标设施的需求情况。
2.根据权利要求1所述的基于跨模态数据融合的未知目标特征建模与需求预测方法,其特征在于,步骤2所述构建描述跨模态的设施间关系的异构图结构,具体包括:
将不同模态的设施作为异构图结构的图节点,节点特征为步骤1中得到的特征表示;
计算跨模态的设施间的地理距离相近性与自身功能相似性,得到跨模态的设施间的多类异构关系,将该多类异构关系作为异构图结构的异构边。
4.根据权利要求3所述的基于跨模态数据融合的未知目标特征建模与需求预测方法,其特征在于,步骤3所述以所述未知目标设施为初始节点,构造一个未知目标设施为中心,其余节点为已有的其他多模态设施的异构子图结构,具体为:
以所述未知目标设施为初始节点,根据步骤2中计算得到的多类异构关系,采用基于广度优先搜索的子图构造方法,构造一个以未知目标设施为中心,其余节点为已有的其他多模态设施的异构子图结构,具体过程包括:
步骤3-1,输入子图节点的个数M,未知目标设施v0作为中心节点和初始节点,其他已有设施的节点表示vRe,以及时间t;
步骤3-2,初始化一个队列,将未知目标设施v0入队;
步骤3-3,从队列中出队一个设施vi,将该设施和与该设施有关的边加入最终子图中,计算所有其他已有设施vRe中设施vj与设施vi的距离相近性与功能相似性边权值,若边权值大于0,则按照边权值从大到小的顺序将该设施vj加入到队列中;
5.根据权利要求4所述的基于跨模态数据融合的未知目标特征建模与需求预测方法,其特征在于,步骤4所述针对步骤3异构子图结构中的中心节点以外的具有节点特征表示的所有节点,采用关系图神经网络模型计算其高阶特征表示,具体为:
步骤4-1,在异构子图结构上提取该节点vi的空间上的相关性:
式中,Nr(i)为节点vi的以r类型连接的邻居节点的集合,j表示该集合中任意一个节点的标号,|Nr(i)|表示该集合内的元素个数,εr,ij为设施vj与设施vi的边权值,为节点vj在关系图神经网络第l层的节点特征,与为第l层用于学习r类型连接的相关性的可学习参数,σ表示一类激活函数,为提取到的节点vi在第l+1层的r类型连接的相关性特征;
步骤4-2,在异构子图结构上提取该节点vi的空间上的差异性:
7.根据权利要求6所述的基于跨模态数据融合的未知目标特征建模与需求预测方法,其特征在于,步骤5所述采用深度学习架构,通过邻居节点特征聚合器有选择地提取子图中的特征信息,组成图的特征嵌入表示,作为中心的未知目标设施的节点特征表示,具体为:选取与中心的未知目标设施v0即中心目标节点关系最紧密的已有设施,采用加权连接得到最终的中心目标节点特征表示,具体包括:
之后采用邻居池化聚合器组成图的特征嵌入表示h:
将h作为未知目标设施v0在时间片段t的节点表示形式。
8.根据权利要求7所述的基于跨模态数据融合的未知目标特征建模与需求预测方法,其特征在于,步骤6中所述提取时间相关性,具体采用长短期记忆网络LSTM提取。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110108200.9A CN113159371B (zh) | 2021-01-27 | 2021-01-27 | 基于跨模态数据融合的未知目标特征建模与需求预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110108200.9A CN113159371B (zh) | 2021-01-27 | 2021-01-27 | 基于跨模态数据融合的未知目标特征建模与需求预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113159371A true CN113159371A (zh) | 2021-07-23 |
CN113159371B CN113159371B (zh) | 2022-05-20 |
Family
ID=76878891
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110108200.9A Active CN113159371B (zh) | 2021-01-27 | 2021-01-27 | 基于跨模态数据融合的未知目标特征建模与需求预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113159371B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115564013A (zh) * | 2021-08-09 | 2023-01-03 | 中山大学 | 提高网络表示学习表示能力的方法、模型训练方法和*** |
CN115618986A (zh) * | 2022-09-29 | 2023-01-17 | 北京骑胜科技有限公司 | 协调资源的方法和装置 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140236872A1 (en) * | 2013-02-15 | 2014-08-21 | The Charles Stark Draper Laboratory, Inc. | Method for integrating and fusing heterogeneous data types to perform predictive analysis |
CN104915509A (zh) * | 2015-06-19 | 2015-09-16 | 南京航空航天大学 | 基于神经网络的大变形柔性体动态受力测量信息转换方法 |
US20170191834A1 (en) * | 2016-01-05 | 2017-07-06 | Here Global B.V. | Road Segments with Multi-Modal Traffic Patterns |
CN107229695A (zh) * | 2017-05-23 | 2017-10-03 | 深圳大学 | 多平台航空电子大数据***及方法 |
CN107562812A (zh) * | 2017-08-11 | 2018-01-09 | 北京大学 | 一种基于特定模态语义空间建模的跨模态相似性学习方法 |
CN108734208A (zh) * | 2018-05-15 | 2018-11-02 | 重庆大学 | 基于多模态深度迁移学习机制的多源异构数据融合*** |
US20190228272A1 (en) * | 2018-01-23 | 2019-07-25 | Intelligent Fusion Technology, Inc | Methods, systems and media for joint manifold learning based heterogenous sensor data fusion |
CN111126324A (zh) * | 2019-12-25 | 2020-05-08 | 深圳力维智联技术有限公司 | 一种多源异构数据融合的方法、装置、产品及介质 |
CN111540199A (zh) * | 2020-04-21 | 2020-08-14 | 浙江省交通规划设计研究院有限公司 | 一种基于多模态融合和图注意力机制的高速交通流预测方法 |
CN111967511A (zh) * | 2020-08-04 | 2020-11-20 | 河海大学 | 一种基于异构特征融合网络的地基云图分类方法 |
CN112100256A (zh) * | 2020-08-06 | 2020-12-18 | 北京航空航天大学 | 一种数据驱动的城市精准深度画像***及方法 |
US20200410283A1 (en) * | 2019-06-28 | 2020-12-31 | Wipro Limited | Method and system of multi-modality classification using augmented data |
CN112200317A (zh) * | 2020-09-28 | 2021-01-08 | 西南电子技术研究所(中国电子科技集团公司第十研究所) | 多模态知识图谱构建方法 |
-
2021
- 2021-01-27 CN CN202110108200.9A patent/CN113159371B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140236872A1 (en) * | 2013-02-15 | 2014-08-21 | The Charles Stark Draper Laboratory, Inc. | Method for integrating and fusing heterogeneous data types to perform predictive analysis |
CN104915509A (zh) * | 2015-06-19 | 2015-09-16 | 南京航空航天大学 | 基于神经网络的大变形柔性体动态受力测量信息转换方法 |
US20170191834A1 (en) * | 2016-01-05 | 2017-07-06 | Here Global B.V. | Road Segments with Multi-Modal Traffic Patterns |
CN107229695A (zh) * | 2017-05-23 | 2017-10-03 | 深圳大学 | 多平台航空电子大数据***及方法 |
CN107562812A (zh) * | 2017-08-11 | 2018-01-09 | 北京大学 | 一种基于特定模态语义空间建模的跨模态相似性学习方法 |
US20190228272A1 (en) * | 2018-01-23 | 2019-07-25 | Intelligent Fusion Technology, Inc | Methods, systems and media for joint manifold learning based heterogenous sensor data fusion |
CN108734208A (zh) * | 2018-05-15 | 2018-11-02 | 重庆大学 | 基于多模态深度迁移学习机制的多源异构数据融合*** |
US20200410283A1 (en) * | 2019-06-28 | 2020-12-31 | Wipro Limited | Method and system of multi-modality classification using augmented data |
CN111126324A (zh) * | 2019-12-25 | 2020-05-08 | 深圳力维智联技术有限公司 | 一种多源异构数据融合的方法、装置、产品及介质 |
CN111540199A (zh) * | 2020-04-21 | 2020-08-14 | 浙江省交通规划设计研究院有限公司 | 一种基于多模态融合和图注意力机制的高速交通流预测方法 |
CN111967511A (zh) * | 2020-08-04 | 2020-11-20 | 河海大学 | 一种基于异构特征融合网络的地基云图分类方法 |
CN112100256A (zh) * | 2020-08-06 | 2020-12-18 | 北京航空航天大学 | 一种数据驱动的城市精准深度画像***及方法 |
CN112200317A (zh) * | 2020-09-28 | 2021-01-08 | 西南电子技术研究所(中国电子科技集团公司第十研究所) | 多模态知识图谱构建方法 |
Non-Patent Citations (2)
Title |
---|
JINGJING GU等: "Multiple moving targets surveillance based on a cooperative network for multi-UAV", 《IEEE COMMUNICATIONS MAGAZINE》 * |
文孟飞等: "一种基于深度学习的异构多模态目标识别方法", 《中南大学学报(自然科学版)》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115564013A (zh) * | 2021-08-09 | 2023-01-03 | 中山大学 | 提高网络表示学习表示能力的方法、模型训练方法和*** |
CN115564013B (zh) * | 2021-08-09 | 2024-02-09 | 中山大学 | 提高网络表示学习表示能力的方法、模型训练方法和*** |
CN115618986A (zh) * | 2022-09-29 | 2023-01-17 | 北京骑胜科技有限公司 | 协调资源的方法和装置 |
CN115618986B (zh) * | 2022-09-29 | 2023-04-07 | 北京骑胜科技有限公司 | 协调资源的方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113159371B (zh) | 2022-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Liu et al. | Urban traffic prediction from mobility data using deep learning | |
Yang et al. | Using graph structural information about flows to enhance short-term demand prediction in bike-sharing systems | |
CN109034448B (zh) | 基于车辆轨迹语义分析和深度信念网络的轨迹预测方法 | |
Huang et al. | An efficient passenger-hunting recommendation framework with multitask deep learning | |
Lim et al. | Understanding the linkages of smart-city technologies and applications: Key lessons from a text mining approach and a call for future research | |
Yan et al. | Spatial-temporal chebyshev graph neural network for traffic flow prediction in iot-based its | |
CN111860951A (zh) | 一种基于动态超图卷积网络的轨道交通客流预测方法 | |
Duan et al. | FDSA-STG: Fully dynamic self-attention spatio-temporal graph networks for intelligent traffic flow prediction | |
Zhao et al. | Predicting taxi and uber demand in cities: Approaching the limit of predictability | |
CN113763700B (zh) | 信息处理方法、装置、计算机设备及存储介质 | |
CN112598165B (zh) | 基于私家车数据的城市功能区转移流量预测方法及装置 | |
CN113159371B (zh) | 基于跨模态数据融合的未知目标特征建模与需求预测方法 | |
CN115204478A (zh) | 一种结合城市兴趣点和时空因果关系的公共交通流量预测方法 | |
CN113283581B (zh) | 多融合图网络协同多通道注意力模型及其应用和应用方法 | |
Dai et al. | Spatio-temporal deep learning framework for traffic speed forecasting in IoT | |
Zhang et al. | CGAIL: Conditional generative adversarial imitation learning—An application in taxi Drivers’ strategy learning | |
CN116052427B (zh) | 基于私家车出行轨迹数据的城市间跨区域移动性预测方法及装置 | |
Liu et al. | Modeling the interaction coupling of multi-view spatiotemporal contexts for destination prediction | |
Liu et al. | A method for short-term traffic flow forecasting based on GCN-LSTM | |
CN116307152A (zh) | 时空交互式动态图注意力网络的交通预测方法 | |
Yu et al. | Passenger flow prediction for new line using region dividing and fuzzy boundary processing | |
Huang et al. | A multi-mode traffic flow prediction method with clustering based attention convolution LSTM | |
CN115545758A (zh) | 城市服务设施自适应增量选址的方法和*** | |
Xu et al. | A taxi dispatch system based on prediction of demand and destination | |
Xiao et al. | Parking prediction in smart cities: A survey |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |