CN108737379A - 一种大数据传输处理算法 - Google Patents

一种大数据传输处理算法 Download PDF

Info

Publication number
CN108737379A
CN108737379A CN201810351534.7A CN201810351534A CN108737379A CN 108737379 A CN108737379 A CN 108737379A CN 201810351534 A CN201810351534 A CN 201810351534A CN 108737379 A CN108737379 A CN 108737379A
Authority
CN
China
Prior art keywords
data
characteristic point
classification
encrypted
data transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810351534.7A
Other languages
English (en)
Inventor
董增川
倪效宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN201810351534.7A priority Critical patent/CN108737379A/zh
Publication of CN108737379A publication Critical patent/CN108737379A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3236—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3247—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving digital signatures

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明提供了一种大数据传输处理算法，采用的数据处理方法效率高，安全性能高，而且在加密前进行数据分类，进一步提高了数据的安全性能；采用的数据分类方法能够提高数据的识别精确度，进而提高数据的分类精确度，避免出现分类误差；采用的加密方法大大提高数据加密的复杂度，使得数据破解难度加强，有效避免关键数据泄露，大大提高数据的安全性；本发明对数据的预处理方法增加了通过数据处理所获取的有用信息的准确性和稳定性。

Description

一种大数据传输处理算法
技术领域
本发明涉及数据处理技术领域，具体为一种大数据传输处理算法。
背景技术
“大数据”是指以多元形式，自许多来源搜集而来的庞大数据组，往往具有实时性。在企业对企业销售的情况下，这些数据可能得自社交网络、电子商务网站、顾客来访纪录，还有许多其他来源。这些数据，并非公司顾客关系管理数据库的常态数据组。
大数据是继云计算、物联网之后IT产业又一次颠覆性的技术变革。云计算主要为数据资产提供了保管、访问的场所和渠道，而数据才是真正有价值的资产。企业内部的经营交易信息、物联网世界中的商品物流信息，互联网世界中的人与人交互信息、位置信息等，其数量将远远超越现有企业IT架构和基础设施的承载能力，实时性要求也将大大超越现有的计算能力。大数据时代网民和消费者的界限正在消弭，企业的疆界变得模糊，数据成为核心的资产，并将深刻影响企业的业务模式，甚至重构其文化和组织。因此，大数据对国家治理模式、对企业的决策、组织和业务流程、对个人生活方式都将产生巨大的影响。
随着网络技术和信息技术的发展，各种数据信息得到广泛的应用，但同时也带来了数据安全性的问题。数据信息根据重要程度、隐私性等方面可以分为一般数据和敏感数据，其中敏感数据中可能包含用户的隐私信息、账户信息或其他可能威胁用户数据安全的数据，所以对敏感数据的保护需要更加全面。
发明内容
发明目的：本发明的目的在于针对现有技术的不足，提供一种大数据传输处理算法。
技术方案：本发明提供了一种大数据传输处理算法，包括以下步骤：
（1）数据采集器采集数据并保存至本地存储器内；
（2）对采集的数据进行分类，包括：
（21）设定特征点，然后对设定的特征点进行分类，得出特征点分类结果，其中，特征点包括数据容量、数据种类、数据传输速度；
（22）对数据进行预处理，判断滤杂去噪处理的数据含有的特征点；
（23）根据特征点分类结果对预处理后的数据含有的设定的特征点的类别进行区分，然后根据区分结果对数据进行分类，得出数据分类结果；
（3）对分类后的数据进行加密处理，包括：
（31）待加密数据进行数据清洗操作；
（32）对清洗后的数据进行HASH加密算法运算，得到加密后的密文数据；
（33）将密文数据传输至证书授权中心服务器，在证书授权中心服务器对密文数据进行签名，得到签名数据；
（34）对签名数据进行非对称ECC加密算法运算，对签名后的数据进行加密；
（4）加密后的数据传输至后台服务器，解密后对数据进行提取。
进一步，步骤（22）的预处理包括以下步骤：
（221）对原始数据进行滤波处理，将原始数据分解为趋势性数据和波动数据，保留趋势性数据并去除波动数据；
（222）对趋势性数据进行划分，以获取训练数据集；
（223）利用训练数据集来训练多个机器学习模型，其中，多个机器学习模型中每一个机器学习模型分别用于预测信号的趋势，以及基于经训练的多个机器学习模型和训练数据集来确定组合预测模型。
有益效果：1）本发明采用的数据处理方法效率高，安全性能高，而且在加密前进行数据分类，进一步提高了数据的安全性能；
2）本发明采用的数据分类方法能够提高数据的识别精确度，进而提高数据的分类精确度，避免出现分类误差；
3）本发明采用的加密方法大大提高数据加密的复杂度，使得数据破解难度加强，有效避免关键数据泄露，大大提高数据的安全性；
4）本发明对数据的预处理方法增加了通过数据处理所获取的有用信息的准确性和稳定性。
附图说明
图1为本发明方法流程图。
具体实施方式
下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。
如图1所示，一种大数据传输处理算法，包括以下步骤：
（1）数据采集器采集数据并保存至本地存储器内。
（2）对采集的数据进行分类，包括：
（21）设定特征点，然后对设定的特征点进行分类，得出特征点分类结果，其中，特征点包括数据容量、数据种类、数据传输速度；
（22）对数据进行预处理，判断滤杂去噪处理的数据含有的特征点；
（23）根据特征点分类结果对预处理后的数据含有的设定的特征点的类别进行区分，然后根据区分结果对数据进行分类，得出数据分类结果。
上述数据分类方法能够提高数据的识别精确度，进而提高数据的分类精确度，避免出现分类误差。
（3）对分类后的数据进行加密处理，包括：
（31）待加密数据进行数据清洗操作；
（32）对清洗后的数据进行HASH加密算法运算，得到加密后的密文数据；
（33）将密文数据传输至证书授权中心服务器，在证书授权中心服务器对密文数据进行签名，得到签名数据；
（34）对签名数据进行非对称ECC加密算法运算，对签名后的数据进行加密。
该加密方法采用多重加密，实现了数字签名和验证运算，提高了数据的安全性和保密性，大大提高数据加密的复杂度，使得数据破解难度加强，有效避免关键数据泄露，大大提高数据的安全性。
（4）加密后的数据传输至后台服务器，解密后对数据进行提取。
其中，步骤（22）的预处理包括以下步骤：
（221）对原始数据进行滤波处理，以获得趋势性数据，趋势性数据表示原始数据的信号的趋势性，其中，对原始数据进行滤波处理包括将原始数据分解为趋势性数据和波动数据，从而保留趋势性数据并去除波动数据；
（222）对趋势性数据进行划分，以获取训练数据集；
（223）利用训练数据集来训练多个机器学习模型，其中，多个机器学习模型中每一个机器学习模型分别用于预测信号的趋势，以及基于经训练的多个机器学习模型和训练数据集来确定组合预测模型。
多个机器学习模型可以根据原始数据的具体种类来确定。多个机器学习模型包括至少两种思维方式的模型，机器学习模型的思维方式是指机器学习模型对原始数据进行计算的计算方式。多个机器学习模型包括以下中的一个或多个：卷积神经网络模型、长短记忆神经网络模型、和随机森林支持向量机模型。关于卷积神经网络模型、长短记忆神经网络模型、和随机森林支持向量机模型的具体思维方式和优势：对于多个机器学习模型的每一个机器学习模型，利用调校数据集中的数据来调校模型的参数，并用检验数据集中的数据来检验参数调校的准确度，即，对原始数据的信号的预测的精度。由于检验数据集中的数据与调参数据集中的数据不同，因此，能够用检验数据集来检验通过调整数据集所调参的机器学习模型的效果。
因此本发明对数据的预处理方法增加了通过数据处理所获取的有用信息的准确性和稳定性。
对手机数据进行传输时，首先将待传输的数据保存至本地存储器，然后对待传输的数据进行分类，分类后形成具有多个特征的数据包，之后对每个数据包分别进行加密处理，提高数据保存的安全性，保存的数据进行传输时，先进行滤杂去噪处理，去除数据中的波动较大的数据，之后将处理后的数据传输至后台服务器，进行解密，即完成对手机数据的安全传输。
综上所述，本发明采用的大数据传输处理方法效率高，安全性能高，而且在加密前进行数据分类，进一步提高了数据的安全性能。

Claims (2)

1.一种大数据传输处理算法，其特征在于：包括以下步骤：
（1）数据采集器采集数据并保存至本地存储器内；
（2）对采集的数据进行分类，包括：
（21）设定特征点，然后对设定的特征点进行分类，得出特征点分类结果，其中，特征点包括数据容量、数据种类、数据传输速度；
（22）对数据进行预处理，判断滤杂去噪处理的数据含有的特征点；
（23）根据特征点分类结果对预处理后的数据含有的设定的特征点的类别进行区分，然后根据区分结果对数据进行分类，得出数据分类结果；
（3）对分类后的数据进行加密处理，包括：
（31）待加密数据进行数据清洗操作；
（32）对清洗后的数据进行HASH加密算法运算，得到加密后的密文数据；
（33）将密文数据传输至证书授权中心服务器，在证书授权中心服务器对密文数据进行签名，得到签名数据；
（34）对签名数据进行非对称ECC加密算法运算，对签名后的数据进行加密；
（4）加密后的数据传输至后台服务器，解密后对数据进行提取。
2.根据权利要求1所述的大数据传输处理算法，其特征在于：步骤（22）的预处理包括以下步骤：
（221）对原始数据进行滤波处理，将原始数据分解为趋势性数据和波动数据，保留趋势性数据并去除波动数据；
（222）对趋势性数据进行划分，以获取训练数据集；
（223）利用训练数据集来训练多个机器学习模型，其中，多个机器学习模型中每一个机器学习模型分别用于预测信号的趋势，以及基于经训练的多个机器学习模型和训练数据集来确定组合预测模型。
CN201810351534.7A 2018-04-19 2018-04-19 一种大数据传输处理算法 Pending CN108737379A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810351534.7A CN108737379A (zh) 2018-04-19 2018-04-19 一种大数据传输处理算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810351534.7A CN108737379A (zh) 2018-04-19 2018-04-19 一种大数据传输处理算法

Publications (1)

Publication Number Publication Date
CN108737379A true CN108737379A (zh) 2018-11-02

Family

ID=63939062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810351534.7A Pending CN108737379A (zh) 2018-04-19 2018-04-19 一种大数据传输处理算法

Country Status (1)

Country Link
CN (1) CN108737379A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109302420A (zh) * 2018-11-22 2019-02-01 杭州安恒信息技术股份有限公司 网络数据安全传输方法、***以及电子设备
CN110765337A (zh) * 2019-11-15 2020-02-07 中科院计算技术研究所大数据研究院 一种基于互联网大数据的服务提供方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100049674A1 (en) * 2005-04-17 2010-02-25 Rafael - Armament Development Authority Ltd. Generic classification system
CN103559504A (zh) * 2013-11-04 2014-02-05 北京京东尚科信息技术有限公司 图像目标类别识别方法及装置
CN106778914A (zh) * 2017-01-16 2017-05-31 湖南财政经济学院 一种大数据图像分类方法
CN107707577A (zh) * 2017-11-28 2018-02-16 四川正大新材料科技有限公司 基于加密传输***的多层数据加密方法
CN107707579A (zh) * 2017-11-28 2018-02-16 四川正大新材料科技有限公司 数据加密传输方法
CN107766888A (zh) * 2017-10-24 2018-03-06 众安信息技术服务有限公司 数据处理方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100049674A1 (en) * 2005-04-17 2010-02-25 Rafael - Armament Development Authority Ltd. Generic classification system
CN103559504A (zh) * 2013-11-04 2014-02-05 北京京东尚科信息技术有限公司 图像目标类别识别方法及装置
CN106778914A (zh) * 2017-01-16 2017-05-31 湖南财政经济学院 一种大数据图像分类方法
CN107766888A (zh) * 2017-10-24 2018-03-06 众安信息技术服务有限公司 数据处理方法和装置
CN107707577A (zh) * 2017-11-28 2018-02-16 四川正大新材料科技有限公司 基于加密传输***的多层数据加密方法
CN107707579A (zh) * 2017-11-28 2018-02-16 四川正大新材料科技有限公司 数据加密传输方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109302420A (zh) * 2018-11-22 2019-02-01 杭州安恒信息技术股份有限公司 网络数据安全传输方法、***以及电子设备
CN110765337A (zh) * 2019-11-15 2020-02-07 中科院计算技术研究所大数据研究院 一种基于互联网大数据的服务提供方法
CN110765337B (zh) * 2019-11-15 2021-04-06 中科院计算技术研究所大数据研究院 一种基于互联网大数据的服务提供方法

Similar Documents

Publication Publication Date Title
CN106371975B (zh) 一种运维自动化预警方法和***
US9330416B1 (en) Visualization of fraud patterns
CN108229963A (zh) 用户操作行为的风险识别方法及装置
US20070226095A1 (en) Method for generating predictive models for a business problem via supervised learning
CN109543373A (zh) 一种基于用户行为的信息识别方法及装置
CN111177250A (zh) 一种异常交易监测方法、***及存储介质
CN112036995A (zh) 基于区块链的大型企业财务数据管理方法、***和可读存储介质
CN112968872B (zh) 基于自然语言处理的恶意流量检测方法、***、终端
CN108737379A (zh) 一种大数据传输处理算法
CN114511330B (zh) 一种基于改进的cnn-rf的以太坊庞氏骗局检测方法及***
CN107229605B (zh) 文本相似度的计算方法及装置
CN106250398A (zh) 一种投诉事件的投诉内容分类判定方法及装置
CN110032912A (zh) 人脸验证方法和装置及计算机存储介质
CN114398685A (zh) 一种政务数据处理方法、装置、计算机设备及存储介质
CN113177851B (zh) 线上保险交易的存证方法、装置、电子设备及存储介质
CN113902039A (zh) 黑产用户识别方法、***、电子设备及存储介质
Guo Implementation of a blockchain-enabled federated learning model that supports security and privacy comparisons
CN108376140A (zh) 基于模糊匹配的政务数据梳理方法及装置
CN113746707B (zh) 一种基于分类器及网络结构的加密流量分类方法
CN109726589A (zh) 一种面向众智云环境的隐私数据访问方法
CN115801240A (zh) 一种终端设备指纹生成方法及装置
CN114971638A (zh) 基于风险识别的交易认证方法及装置
CN114282186A (zh) 一种大文件数据安全导出的方法及***
Tamtama et al. Increasing Accuracy of The Random Forest Algorithm Using PCA and Resampling Techniques with Data Augmentation for Fraud Detection of Credit Card Transaction
CN111914147A (zh) 一种企业疑似实际控制人征信方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181102

RJ01 Rejection of invention patent application after publication