CN104484410A - 应用于大数据***的数据融合方法及*** - Google Patents
应用于大数据***的数据融合方法及*** Download PDFInfo
- Publication number
- CN104484410A CN104484410A CN201410783093.XA CN201410783093A CN104484410A CN 104484410 A CN104484410 A CN 104484410A CN 201410783093 A CN201410783093 A CN 201410783093A CN 104484410 A CN104484410 A CN 104484410A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- fusion
- data fusion
- processing module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Algebra (AREA)
- Operations Research (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及大数据处理技术领域,具体地说是一种能够完成对多种数据处理结果的进一步挖掘分析融合的应用于大数据***的数据融合方法及***,其特征在于设有用于获取两个以上运算模型输出结果的数据获取模块;用于对数据获取模块获取数据进行有效范围筛选的筛选模块、用于对筛选后数据进行权值分配的权值分配模块、用于对分配权值后数据进行融合的数据融合算法模块以及用于输出数据融合结果的显示输出模块,本发明所述数据融合算法模块中设有加权平均法处理模块、卡尔曼滤波处理模块、统计决策处理模块以及神经网络处理模块,本发明与现有技术相比,能够将分别从不同属性角度进行分析获得的数据分析结果进行融合挖掘,从而得到潜在关键信息。
Description
技术领域:
本发明涉及大数据处理技术领域,具体地说是一种能够完成对多种数据处理结果的进一步挖掘分析融合的应用于大数据***的数据融合方法及***。
背景技术:
随着信息技术的高度发展,人们积累的数据量日益增长,如何从海量数据中快速的获得有效数据成为当务之急。大数据是指无法再当前条件下使用常规的工具对数据内容进行检索和管理的数据集,其具有数据量大、数据类型繁多、价值密度低、处理速度快等特点。
数据挖掘是一种透过算法来分析现存的大量资料、以找出关键信息的数据处理技术。现阶段为了对存储的资料进行有效利用,会采用多种不用的数据挖掘算法对数据进行多次挖掘,然后对处理结果进行校正后,汇总获得最终信息,然而由于多种挖掘模型侧重的挖掘属性不同,所获的结果无法快速有效的融合起来。
发明内容:
本发明针对现有技术中存在的缺点和不足,提出了一种能够将多种挖掘模型获得的不同属性的挖掘结果充分融合,进而方便进一步处理的应用于大数据***的数据融合方法及***。
本发明通过以下措施达到:
一种应用于大数据***的数据融合方法,其特征在于包括以下步骤:
步骤1:获取两个以上运算模型输出的运算结果;
步骤2:根据预先确定的对应于不同运算模型运算结果的有效范围对步骤1所获得的数据进行权值分配;
步骤3:运行融合算法,将步骤2中分配权值后的数据进行运算,获得融合结果。
本发明步骤3可以通过加权平均法实现。
本发明步骤3可以通过卡尔曼滤波法实现。
本发明步骤3可以通过统计决策理论法实现。
本发明步骤3可以通过神经网络法实现。
本发明还提出了一种应用于大数据***的数据融合***,其特征在于设有用于获取两个以上运算模型输出结果的数据获取模块;用于对数据获取模块获取数据进行有效范围筛选的筛选模块、用于对筛选后数据进行权值分配的权值分配模块、用于对分配权值后数据进行融合的数据融合算法模块以及用于输出数据融合结果的显示输出模块。
本发明所述数据融合算法模块中设有加权平均法处理模块、卡尔曼滤波处理模块、统计决策处理模块以及神经网络处理模块。
本发明与现有技术相比,能够将分别从不同属性角度进行分析获得的数据分析结果进行融合挖掘,从而得到潜在关键信息。
附图说明:
附图1是本发明的结构框图。
附图标记:数据获取模块1、筛选模块2、权值分配模块3、数据融合算法模块4、显示输出模块5、加权平均法处理模块6、卡尔曼滤波处理模块7、统计决策处理模块8、神经网络处理模块9。
具体实施方式:
下面结合附图对本发明作进一步的说明。
如附图1所示,本发明提出了一种应用于大数据***的数据融合方法,其特征在于包括以下步骤:
步骤1:获取两个以上运算模型输出的运算结果;
步骤2:根据预先确定的对应于不同运算模型运算结果的有效范围对步骤1所获得的数据进行权值分配;
步骤3:运行融合算法,将步骤2中分配权值后的数据进行运算,获得融合结果。
本发明步骤3可以通过加权平均法实现。
本发明步骤3可以通过卡尔曼滤波法实现。
本发明步骤3可以通过统计决策理论法实现。
本发明步骤3可以通过神经网络法实现。
本发明还提出了一种应用于大数据***的数据融合***,其特征在于设有用于获取两个以上运算模型输出结果的数据获取模块1;用于对数据获取模块1获取数据进行有效范围筛选的筛选模块2、用于对筛选后数据进行权值分配的权值分配模块3、用于对分配权值后数据进行融合的数据融合算法模块4以及用于输出数据融合结果的显示输出模块5。
本发明所述数据融合算法模块4中设有加权平均法处理模块6、卡尔曼滤波处理模块7、统计决策处理模块8以及神经网络处理模块9。
本发明与现有技术相比,能够将分别从不同属性角度进行分析获得的数据分析结果进行融合挖掘,从而得到潜在关键信息。
Claims (7)
1.一种应用于大数据***的数据融合方法,其特征在于包括以下步骤:
步骤1:获取两个以上运算模型输出的运算结果;
步骤2:根据预先确定的对应于不同运算模型运算结果的有效范围对步骤1所获得的数据进行权值分配;
步骤3:运行融合算法,将步骤2中分配权值后的数据进行运算,获得融合结果。
2.根据权利要求1所述的一种应用于大数据***的数据融合方法,其特征在于所述步骤3通过加权平均法实现。
3.根据权利要求1所述的一种应用于大数据***的数据融合方法,其特征在于步骤3可以通过卡尔曼滤波法实现。
4.根据权利要求1所述的一种应用于大数据***的数据融合方法,其特征在于步骤3可以通过统计决策理论法实现。
5.根据权利要求1所述的一种应用于大数据***的数据融合方法,其特征在于步骤3可以通过神经网络法实现。
6.一种应用于大数据***的数据融合***,其特征在于设有用于获取两个以上运算模型输出结果的数据获取模块;用于对数据获取模块获取数据进行有效范围筛选的筛选模块、用于对筛选后数据进行权值分配的权值分配模块、用于对分配权值后数据进行融合的数据融合算法模块以及用于输出数据融合结果的显示输出模块。
7.根据权利要求6所述的一种应用于大数据***的数据融合***,其特征在于所述数据融合算法模块中设有加权平均法处理模块、卡尔曼滤波处理模块、统计决策处理模块以及神经网络处理模块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410783093.XA CN104484410A (zh) | 2014-12-16 | 2014-12-16 | 应用于大数据***的数据融合方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410783093.XA CN104484410A (zh) | 2014-12-16 | 2014-12-16 | 应用于大数据***的数据融合方法及*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104484410A true CN104484410A (zh) | 2015-04-01 |
Family
ID=52758951
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410783093.XA Pending CN104484410A (zh) | 2014-12-16 | 2014-12-16 | 应用于大数据***的数据融合方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104484410A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104834813A (zh) * | 2015-04-28 | 2015-08-12 | 南京邮电大学 | 物联网多源异构数据统计分析处理方法和装置 |
CN106156790A (zh) * | 2016-06-08 | 2016-11-23 | 北京工业大学 | 一种应用于传感器网络的分布式协作算法和数据融合机制 |
WO2016184159A1 (zh) * | 2015-05-18 | 2016-11-24 | 中兴通讯股份有限公司 | 大数据计算的方法及*** |
CN106327231A (zh) * | 2015-07-01 | 2017-01-11 | 向莉妮 | 个性化商品匹配推荐***及方法 |
CN106649791A (zh) * | 2016-12-28 | 2017-05-10 | 芜湖乐锐思信息咨询有限公司 | 集约型信息管理*** |
CN106649785A (zh) * | 2016-12-28 | 2017-05-10 | 芜湖乐锐思信息咨询有限公司 | 适用于组织内需求的信息管理*** |
CN108804528A (zh) * | 2018-04-28 | 2018-11-13 | 北京猎户星空科技有限公司 | 一种数据融合方法及装置 |
CN109814444A (zh) * | 2019-01-03 | 2019-05-28 | 广州航海学院 | 基于船联网网关的信息融合引擎的信息融合方法及*** |
CN111581281A (zh) * | 2020-04-24 | 2020-08-25 | 贵州力创科技发展有限公司 | 一种数据融合方法和装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110258044A1 (en) * | 2004-04-28 | 2011-10-20 | Agnik, Llc | Onboard vehicle data mining, social networking, and pattern-based advertisement |
CN103473459A (zh) * | 2013-09-17 | 2013-12-25 | 恒东信息科技无锡有限公司 | 一种多***大数据的处理及融合方法 |
CN103678665A (zh) * | 2013-12-24 | 2014-03-26 | 焦点科技股份有限公司 | 一种基于数据仓库的异构大数据整合方法和*** |
-
2014
- 2014-12-16 CN CN201410783093.XA patent/CN104484410A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110258044A1 (en) * | 2004-04-28 | 2011-10-20 | Agnik, Llc | Onboard vehicle data mining, social networking, and pattern-based advertisement |
CN103473459A (zh) * | 2013-09-17 | 2013-12-25 | 恒东信息科技无锡有限公司 | 一种多***大数据的处理及融合方法 |
CN103678665A (zh) * | 2013-12-24 | 2014-03-26 | 焦点科技股份有限公司 | 一种基于数据仓库的异构大数据整合方法和*** |
Non-Patent Citations (1)
Title |
---|
刘洲洲: ""基于Kalman滤波的多传感器信息融合研究"", 《电子设计工程》 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104834813A (zh) * | 2015-04-28 | 2015-08-12 | 南京邮电大学 | 物联网多源异构数据统计分析处理方法和装置 |
CN104834813B (zh) * | 2015-04-28 | 2018-08-21 | 南京邮电大学 | 物联网多源异构数据统计分析处理方法和装置 |
WO2016184159A1 (zh) * | 2015-05-18 | 2016-11-24 | 中兴通讯股份有限公司 | 大数据计算的方法及*** |
CN106327231A (zh) * | 2015-07-01 | 2017-01-11 | 向莉妮 | 个性化商品匹配推荐***及方法 |
CN106156790A (zh) * | 2016-06-08 | 2016-11-23 | 北京工业大学 | 一种应用于传感器网络的分布式协作算法和数据融合机制 |
CN106156790B (zh) * | 2016-06-08 | 2020-04-14 | 北京工业大学 | 一种应用于传感器网络的分布式协作算法和数据融合机制 |
CN106649791A (zh) * | 2016-12-28 | 2017-05-10 | 芜湖乐锐思信息咨询有限公司 | 集约型信息管理*** |
CN106649785A (zh) * | 2016-12-28 | 2017-05-10 | 芜湖乐锐思信息咨询有限公司 | 适用于组织内需求的信息管理*** |
CN108804528A (zh) * | 2018-04-28 | 2018-11-13 | 北京猎户星空科技有限公司 | 一种数据融合方法及装置 |
CN109814444A (zh) * | 2019-01-03 | 2019-05-28 | 广州航海学院 | 基于船联网网关的信息融合引擎的信息融合方法及*** |
CN109814444B (zh) * | 2019-01-03 | 2021-07-13 | 广州航海学院 | 基于船联网网关的信息融合引擎的信息融合方法及*** |
CN111581281A (zh) * | 2020-04-24 | 2020-08-25 | 贵州力创科技发展有限公司 | 一种数据融合方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104484410A (zh) | 应用于大数据***的数据融合方法及*** | |
CN105160038B (zh) | 一种基于审计知识库的数据分析方法及*** | |
CN105512799B (zh) | 一种基于海量在线历史数据的电力***暂态稳定评估方法 | |
Li et al. | Automatic pavement crack recognition based on BP neural network | |
Tsai et al. | Multiscale crack fundamental element model for real-world pavement crack classification | |
CN104484412A (zh) | 基于多形式处理的大数据分析*** | |
CN102479229A (zh) | 一种兴趣点poi数据产生方法和*** | |
CN104951842A (zh) | 一种新的油田产量预测方法 | |
CN109815855B (zh) | 一种基于机器学习的电子设备自动测试方法及*** | |
Müller-Hansen et al. | A matrix clustering method to explore patterns of land-cover transitions in satellite-derived maps of the Brazilian Amazon | |
CN103077277A (zh) | 基于标准土层的岩土工程勘察图形化分层及数据处理方法 | |
CN103976468A (zh) | 一种烟叶分级方法 | |
CN111783812B (zh) | 违禁图像识别方法、装置和计算机可读存储介质 | |
CN107908807B (zh) | 一种基于贝叶斯理论的小子样可靠性评定方法 | |
CN109740890A (zh) | 一种质量影响因素相关性分析方法 | |
CN110443303B (zh) | 基于图像分割和分类的煤岩显微组分智能识别方法 | |
CN103902798A (zh) | 数据预处理方法 | |
CN111598700A (zh) | 一种金融风控***及方法 | |
CN109102486B (zh) | 基于机器学习的表面缺陷检测方法及装置 | |
Acosta et al. | City safety perception model based on visual content of street images | |
CN117097578A (zh) | 一种网络流量的安全监控方法、***、介质及电子设备 | |
CN105183612B (zh) | 服务器可用内存异常增长及运行状况的评估方法 | |
CN105468887B (zh) | 数据分析***以及方法 | |
CN109389972B (zh) | 语义云功能的质量测试方法、装置、存储介质和设备 | |
CN104731851A (zh) | 基于拓扑网络的大数据分析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20150401 |
|
RJ01 | Rejection of invention patent application after publication |