CN112883020B - 一种基于大数据应用的分析及管理*** - Google Patents
一种基于大数据应用的分析及管理*** Download PDFInfo
- Publication number
- CN112883020B CN112883020B CN202110228655.4A CN202110228655A CN112883020B CN 112883020 B CN112883020 B CN 112883020B CN 202110228655 A CN202110228655 A CN 202110228655A CN 112883020 B CN112883020 B CN 112883020B
- Authority
- CN
- China
- Prior art keywords
- data
- server
- big data
- traffic
- management
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 14
- 238000007726 management method Methods 0.000 claims abstract description 33
- 238000013523 data management Methods 0.000 claims abstract description 23
- 238000004891 communication Methods 0.000 claims abstract description 16
- 238000007405 data analysis Methods 0.000 claims abstract description 12
- 230000003993 interaction Effects 0.000 claims abstract description 8
- 238000007418 data mining Methods 0.000 claims description 20
- 238000013528 artificial neural network Methods 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 18
- 238000000034 method Methods 0.000 claims description 15
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 238000004140 cleaning Methods 0.000 claims description 4
- 238000007499 fusion processing Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 238000005065 mining Methods 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及大数据分析管理技术领域,且公开了一种基于大数据应用的分析及管理***,包括:运行有数据管理***软件且配置有NoSQLms数据库的管理服务器MSbda,运行有数据分析***软件的计算服务器CSbda,运行有交通数据应用***服务端软件且配置有NoSQLas数据库的应用服务器ASbda;管理服务器MSbda通过网络通讯设备与交通管控中心的服务器进行交通信息的数据交互;管理服务器MSbda通过数据线与计算服务器CSbda进行相互之间的通信连接,计算服务器CSbda通过数据线与应用服务器ASbda进行相互之间的通信连接;应用服务器ASbda通过网络通讯设备与外部交通业务***的服务器进行数据交互。本发明解决了如何针对交通大数据进行有效地分析及管理的技术问题。
Description
技术领域
本发明涉及大数据分析管理技术领域,具体为一种基于大数据应用的分析及管理***。
背景技术
由于越来越多的汽车、公交车等运输车辆安装定位***,管控中心的服务器不断收集这些定位***发送的数据,从而累计形成交通信息大数据,通过充分应用这些交通大数据不仅有助于大型项目工程的决策,而且有助于减少城市交通拥堵的情况。然而,这些直接产生的交通大数据是无法直接进行应用的,必须要经过一定的分析及管理之后才具有应用价值。
因此,如何针对交通大数据进行有效地分析及管理,成为能否应用交通大数据解决交通拥堵问题的一个非常重要的前提条件。
发明内容
(一)解决的技术问题
针对现有技术的不足,本发明提供一种基于大数据应用的分析及管理***,以解决如何针对交通大数据进行有效地分析及管理的技术问题。
(二)技术方案
为实现上述目的,本发明提供如下技术方案:
一种基于大数据应用的分析及管理***,包括:运行有数据管理***软件且配置有NoSQLms数据库的管理服务器MSbda,运行有数据分析***软件的计算服务器CSbda,运行有交通数据应用***服务端软件且配置有NoSQLas数据库的应用服务器ASbda;
管理服务器MSbda通过网络通讯设备与交通管控中心的服务器进行交通信息的数据交互;
管理服务器MSbda通过数据线与计算服务器CSbda进行相互之间的通信连接,计算服务器CSbda通过数据线与应用服务器ASbda进行相互之间的通信连接;
应用服务器ASbda通过网络通讯设备与外部交通业务***的服务器进行数据交互。
进一步的,所述数据管理***的数据管理方法如下:
Step1,数据管理***通过管理服务器MSbda将交通管控中心服务器中的交通大数据读取到NoSQLms数据库中;
Step2,数据管理***对读取的交通大数据进行筛选,清洗掉冗余数据信息,保存交通轨迹数据;
Step3,数据管理***对交通轨迹数据进行属性分辨,将同一属性的交通轨迹数据进行聚类融合处理;
Step4,将Step3处理完成的数据发送给运行在计算服务器CSbda上的数据分析***。
进一步的,所述数据分析***对数据管理***输入的数据进行分析处理,该分析处理方法包括:构建大数据挖掘的神经网络训练模型,该模型为分为3层,包括输入层、隐含层和输出层,其中输入节点实现原始数据信息特征的输入,输出节点实现大数据的挖掘特征信息的输出,按分布式线列结构排成一个节点的特征空间。
进一步的,所述神经网络训练模型的训练步骤如下:
Step1,给出数据库的分类和查询接口(即向量模式)的个数N及大数据挖掘神经网络的输入节点(即每个向量元素)的个数k,并将从神经网络的输出层节点i到输出节点j的自适应加权向量初始化;
置查询结果处理模块的自适应加权系数为随机向量数,令x(t)为训练序列,其中t=0,1,…,n-1;
置大数据挖掘过程中的初始化指针计数t=0;
Step2,对大数据挖掘的神经网络拓扑结构中,输入数据库规模样本数量,其中训练向量模式x(t)=(x0(t),x1(t),…,xk-1(t))T;
Step3,计算搜索查询结果x(t)与全部大数据聚类中心连接权向量wj的距离,表示为欧式距离
dj=∑i=0 k-1(xi(t)-wij(t))2;
式中,j=0,1,…,N-1,wj=(w0j,w1j,…,wk-1,j)T;
Step4,求出神经网络的动态惯性权重节点Nj*,dj*=min{dj};
Step5,调整大数据聚类中心矢量与输出节点Nj*的差分进化序列,与Nj*几何邻域NEj*(t)进行动态特性匹配,其中,自适应加权权重为:
wij(t+1)=wij(t)+α(t)(xi(t)-wij(t));
其中,Nj∈Ej*(t),0≤i≤k-1,0≤α(t)≤1是大数据挖掘的神经元进化过程中的本代学习速度,它和NEj*(t)具有同台匹配能力;
Step6,若还输入大数据挖掘的特征样本,则t=t+1,转到步骤Step2;
Step7,否则,训练结束。
(三)有益的技术效果
与现有技术相比,本发明具备以下有益的技术效果:
本发明通过通过管理服务器MSbda将交通管控中心服务器中的交通大数据读取到NoSQLms数据库中,对读取的交通大数据进行筛选,清洗掉冗余数据信息,对交通轨迹数据进行属性分辨,将同一属性的交通轨迹数据进行聚类融合处理,之后通过构建的大数据挖掘的神经网络训练模型对其进行数据挖掘,从而得到具有应用价值的交通大数据。
附图说明
图1为本发明的数据管理***的管理步骤流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
一种基于大数据应用的分析及管理***,包括:运行有数据管理***软件且配置有NoSQLms数据库的管理服务器MSbda,运行有数据分析***软件的计算服务器CSbda,运行有交通数据应用***服务端软件且配置有NoSQLas数据库的应用服务器ASbda;
管理服务器MSbda通过网络通讯设备与交通管控中心的服务器进行交通信息的数据交互;
管理服务器MSbda通过数据线与计算服务器CSbda进行相互之间的通信连接,计算服务器CSbda通过数据线与应用服务器ASbda进行相互之间的通信连接;
应用服务器ASbda通过网络通讯设备与外部交通业务***的服务器进行数据交互;
如图1所示,所述数据管理***的数据管理方法如下:
Step1,数据管理***通过管理服务器MSbda将交通管控中心服务器中的交通大数据读取到NoSQLms数据库中;
Step2,数据管理***对读取的交通大数据进行筛选,清洗掉冗余数据信息,保存交通轨迹数据;
Step3,数据管理***对交通轨迹数据进行属性分辨,将同一属性的交通轨迹数据进行聚类融合处理;
Step4,将Step3处理完成的数据发送给运行在计算服务器CSbda上的数据分析***;
所述数据分析***对数据管理***输入的数据进行分析处理,该分析处理方法如下:
构建大数据挖掘的神经网络训练模型,该模型为分为3层,包括输入层、隐含层和输出层,其中输入节点实现原始数据信息特征的输入,输出节点实现大数据的挖掘特征信息的输出,按分布式线列结构排成一个节点的特征空间;
根据模型进行大数据的学习训练,训练步骤如下:
Step1,给出数据库的分类和查询接口(即向量模式)的个数N及大数据挖掘神经网络的输入节点(即每个向量元素)的个数k,并将从神经网络的输出层节点i到输出节点j的自适应加权向量初始化;
置查询结果处理模块的自适应加权系数为随机向量数,令x(t)为训练序列,其中t=0,1,…,n-1;
置大数据挖掘过程中的初始化指针计数t=0;
Step2,对大数据挖掘的神经网络拓扑结构中,输入数据库规模样本数量,其中训练向量模式x(t)=(x0(t),x1(t),…,xk-1(t))T;
Step3,计算搜索查询结果x(t)与全部大数据聚类中心连接权向量wj的距离,表示为欧式距离
dj=∑i=0 k-1(xi(t)-wij(t))2;
式中,j=0,1,…,N-1,wj=(w0j,w1j,…,wk-1,j)T;
Step4,求出神经网络的动态惯性权重节点Nj*,dj*=min{dj};
Step5,调整大数据聚类中心矢量与输出节点Nj*的差分进化序列,与Nj*几何邻域NEj*(t)进行动态特性匹配,其中,自适应加权权重为:
wij(t+1)=wij(t)+α(t)(xi(t)-wij(t));
其中,Nj∈Ej*(t),0≤i≤k-1,0≤α(t)≤1是大数据挖掘的神经元进化过程中的本代学习速度,它和NEj*(t)具有同台匹配能力;
Step6,若还输入大数据挖掘的特征样本,则t=t+1,转到步骤Step2;
Step7,否则,训练结束。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (2)
1.一种基于大数据应用的分析及管理***,其特征在于,包括:运行有数据管理***软件且配置有NoSQLms数据库的管理服务器MSbda,运行有数据分析***软件的计算服务器CSbda,运行有交通数据应用***服务端软件且配置有NoSQLas数据库的应用服务器ASbda;
管理服务器MSbda通过网络通讯设备与交通管控中心的服务器进行交通信息的数据交互;
管理服务器MSbda通过数据线与计算服务器CSbda进行相互之间的通信连接,计算服务器CSbda通过数据线与应用服务器ASbda进行相互之间的通信连接;
应用服务器ASbda通过网络通讯设备与外部交通业务***的服务器进行数据交互;
所述数据分析***对数据管理***输入的数据进行分析处理,该分析处理方法包括:构建大数据挖掘的神经网络训练模型,该模型为分为3层,包括输入层、隐含层和输出层,其中输入节点实现原始数据信息特征的输入,输出节点实现大数据的挖掘特征信息的输出,按分布式线列结构排成一个节点的特征空间;
所述神经网络训练模型的训练步骤如下:
Step1,给出数据库的分类和查询接口的个数N及大数据挖掘神经网络的输入节点的个数k,并将从神经网络的输出层节点i到输出节点j的自适应加权向量初始化;
置查询结果处理模块的自适应加权系数为随机向量数,令x(t)为训练序列,其中t=0,1,…,n-1;
置大数据挖掘过程中的初始化指针计数t=0;
Step2,对大数据挖掘的神经网络拓扑结构中,输入数据库规模样本数量,其中训练向量模式x(t)=(x0(t),x1(t),…,xk-1(t))T;
Step3,计算搜索查询结果x(t)与全部大数据聚类中心连接权向量wj的距离,表示为欧式距离
dj=∑i=0 k-1(xi(t)-wij(t))2;
式中,j=0,1,…,N-1,wj=(w0j,w1j,…,wk-1,j)T;
wij(t+1)=wij(t)+α(t)(xi(t)-wij(t));
Step6,若还输入大数据挖掘的特征样本,则t=t+1,转到步骤Step2;
Step7,否则,训练结束。
2.根据权利要求1所述的基于大数据应用的分析及管理***,其特征在于,所述数据管理***的数据管理方法如下:
Step1,数据管理***通过管理服务器MSbda将交通管控中心服务器中的交通大数据读取到NoSQLms数据库中;
Step2,数据管理***对读取的交通大数据进行筛选,清洗掉冗余数据信息,保存交通轨迹数据;
Step3,数据管理***对交通轨迹数据进行属性分辨,将同一属性的交通轨迹数据进行聚类融合处理;
Step4,将Step3处理完成的数据发送给运行在计算服务器CSbda上的数据分析***。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110228655.4A CN112883020B (zh) | 2021-03-02 | 2021-03-02 | 一种基于大数据应用的分析及管理*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110228655.4A CN112883020B (zh) | 2021-03-02 | 2021-03-02 | 一种基于大数据应用的分析及管理*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112883020A CN112883020A (zh) | 2021-06-01 |
CN112883020B true CN112883020B (zh) | 2021-11-23 |
Family
ID=76055120
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110228655.4A Active CN112883020B (zh) | 2021-03-02 | 2021-03-02 | 一种基于大数据应用的分析及管理*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112883020B (zh) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110533112A (zh) * | 2019-09-04 | 2019-12-03 | 天津神舟通用数据技术有限公司 | 车联网大数据跨域分析融合方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170039250A1 (en) * | 2015-08-04 | 2017-02-09 | Stephen Obol Opiyo | Method of Generating Smart Outputs in Real Time from Aggregated Data Using Data Mining Algorithms |
CN106022614A (zh) * | 2016-05-22 | 2016-10-12 | 广州供电局有限公司 | 一种基于最近邻聚类的神经网络数据挖掘方法 |
CN106844585A (zh) * | 2017-01-10 | 2017-06-13 | 广东精规划信息科技股份有限公司 | 一种基于多源物联网位置感知的时空关系分析*** |
CN108648451B (zh) * | 2018-05-15 | 2021-07-30 | 北京数行健科技有限公司 | 一种交通数据处理设备和交通态势管理*** |
CN111444949A (zh) * | 2020-03-23 | 2020-07-24 | 中国人民解放军国防科技大学 | 一种基于规则优化的数据驱动粒度建模方法 |
CN112101527B (zh) * | 2020-09-15 | 2023-09-01 | 北京百度网讯科技有限公司 | 识别车道变化的方法和装置、电子设备和存储介质 |
-
2021
- 2021-03-02 CN CN202110228655.4A patent/CN112883020B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110533112A (zh) * | 2019-09-04 | 2019-12-03 | 天津神舟通用数据技术有限公司 | 车联网大数据跨域分析融合方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112883020A (zh) | 2021-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110097755B (zh) | 基于深度神经网络的高速公路交通流量状态识别方法 | |
Kong et al. | Big data‐driven machine learning‐enabled traffic flow prediction | |
CN113515368B (zh) | 结合大数据和边缘计算的数据整合方法及存储介质 | |
CN114202120A (zh) | 一种针对多源异构数据的城市交通行程时间预测方法 | |
CN111583031A (zh) | 一种基于集成学习的申请评分卡模型建立方法 | |
CN111598325A (zh) | 基于层次聚类和分层注意力机制的交通速度预测方法 | |
CN112270355A (zh) | 基于大数据技术与sae-gru的主动安全预测方法 | |
CN112685504A (zh) | 一种面向生产过程的分布式迁移图学习方法 | |
CN112418289A (zh) | 一种不完全标注数据的多标签分类处理方法及装置 | |
CN112508181A (zh) | 一种基于多通道机制的图池化方法 | |
US11410020B2 (en) | Machine learning models for predicting time in traffic | |
Liu et al. | An improved fuzzy trajectory clustering method for exploring urban travel patterns | |
Sun et al. | Fast transient stability prediction using grid-informed temporal and topological embedding deep neural network | |
CN112883020B (zh) | 一种基于大数据应用的分析及管理*** | |
CN113487103A (zh) | 模型更新方法、装置、设备及存储介质 | |
CN117542195A (zh) | 一种交通运行状态识别方法、装置、设备及介质 | |
CN112183820A (zh) | 基于线性规划的有向网络链路预测方法 | |
CN115102868A (zh) | 一种基于SOM聚类与深度自编码器的web服务QoS预测方法 | |
CN116151409A (zh) | 基于神经网络的城市日需水量预测的方法 | |
CN115827932A (zh) | 数据离群孤立点检测方法、***、计算机设备及存储介质 | |
CN112560213B (zh) | 基于模型***工程和超网络理论的体系建模方法及*** | |
CN114511905A (zh) | 一种基于图卷积神经网络的人脸聚类方法 | |
CN114881308A (zh) | 基于元学习的网联车辆速度预测方法 | |
CN114070438A (zh) | 一种5g基站电磁信号的检测方法及*** | |
CN113011512A (zh) | 基于rbf神经网络模型的交通生成预测方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |