CN112052366A - 一种计算机大数据存储*** - Google Patents

一种计算机大数据存储*** Download PDF

Info

Publication number
CN112052366A
CN112052366A CN202010935652.XA CN202010935652A CN112052366A CN 112052366 A CN112052366 A CN 112052366A CN 202010935652 A CN202010935652 A CN 202010935652A CN 112052366 A CN112052366 A CN 112052366A
Authority
CN
China
Prior art keywords
data
module
classification
group
storage system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010935652.XA
Other languages
English (en)
Inventor
任越美
李垒
赵莹
金梁
李江岱
朱西方
侯卓
杨伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan Polytechnic Institute
Original Assignee
Henan Polytechnic Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan Polytechnic Institute filed Critical Henan Polytechnic Institute
Priority to CN202010935652.XA priority Critical patent/CN112052366A/zh
Publication of CN112052366A publication Critical patent/CN112052366A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Bioethics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及计算机数据管理领域，具体涉及一种计算机大数据存储***,包括：数据特征提取模块，基于Transformer模型实现目标特征数据的提取；数据预分类模块，用于根据所述目标特征数据基于预设的分类规则实现数据的预分类，预分类结果包含正常数据组和异常数据组；数据储存模块，用于根据数据预分类的结果将正常数据组和异常数据组分别储存到对应的安全储存模块内；数据整理模块，用于根据所述正常数据组的目标特征数据在对应的安全储存模块中为其找到相似数据点，并建立其与相似数据点之间的关系。本发明实现了数据的自动分类，筛选整理，大大提高了数据的处理效果，同时保证了数据的安全性。

Description

一种计算机大数据存储***
技术领域
本发明涉及计算机数据管理领域，具体涉及一种计算机大数据存储***。
背景技术
近年来，互联网的发展越来越迅速，使用互联网的人也越来越普及，人们在使用互联网进行日常的活动的时候，例如网购，查看节目，信息，商品都会产生大量的数据。如何对获取的数据进行自动分类，筛选整理，并保证数据的安全性成为大数据存储中亟待解决的技术问题。
发明内容
为解决上述问题，本发明提供了一种计算机大数据存储***，实现了数据的自动分类，筛选整理，大大提高了数据的处理效果，同时保证了数据的安全性。
为实现上述目的，本发明采取的技术方案为：
一种计算机大数据存储***,包括：
数据特征提取模块，基于Transformer模型实现目标特征数据的提取；
数据预分类模块，用于根据所述目标特征数据基于预设的分类规则实现数据的预分类，预分类结果包含正常数据组和异常数据组；
数据储存模块，用于根据数据预分类的结果将正常数据组和异常数据组分别储存到对应的安全储存模块内；
数据整理模块，用于根据所述正常数据组的目标特征数据在对应的安全储存模块中为其找到相似数据点，并建立其与相似数据点之间的关系。
进一步地，每一组分类规则对应一BP神经网络模型，通过Hadoop同时运行所有BP神经网络模型实现数据的预分类。
进一步地，异常数据组单独配置一安全储存模块，用户进入该模块后，即可实现异常数据的查看审核，每一条异常数据均携带有其被剔除的原因，用户可以根据查看审核情况进行异常数据的清除或恢复或转存操作。
进一步地，通过用户生物特征的识别结果控制所述安全储存模块内载数据的访问权限，访问时，安全储存模块根据用户生物特征的识别结果释放对应权限内的数据，未在访问权限内的数据处于锁定隐藏状态。
进一步地，还包括：
访问记录登记模块，用于通过脚本录制的方式实现每一次的访问记录全过程的登记。
进一步地，还包括：
访问通道搭建模块，用于根据用户的账户信息搭建不同的访问通道，访问通道搭建后，用户方可进入生物特征数据识别模块完成生物特征数据的识别，生物特征数据的识别结果经加密模块加密后反馈至安全储存模块。
进一步地，所述数据整理模块基于预设的AGGCN模型实现数据点关系的构建。
本发明具有以下有益效果：
每一组分类规则对应一BP神经网络模型，通过Hadoop同时运行所有BP神经网络模型实现数据的预分类，从而实现了数据的自动分类和筛选，大大提高了数据处理的效率。
基于刻面技术来实现数据定位，并基于预设的AGGCN模型实现数据点关系的构建，在可以实现数据的自动整理的同时，可以将纷繁多样的海量农业数据转换成具有信息和商业价值的可用数据。
通过采用动态的访问通道结合通过用户生物特征的识别结果控制所述安全储存模块内载数据的访问权限，未在访问权限内的数据处于锁定隐藏状态的方式，保证了数据的安全性。
附图说明
图1为本发明实施例一种计算机大数据存储***的***框图。
具体实施方式
为了使本发明的目的及优点更加清楚明白，以下结合实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明实施例提供了一种计算机大数据存储***，包括：
数据特征提取模块，基于Transformer模型实现目标特征数据的提取；
数据预分类模块，用于根据所述目标特征数据基于预设的分类规则实现数据的预分类，预分类结果包含正常数据组和异常数据组；每一组分类规则对应一BP神经网络模型，通过Hadoop同时运行所有BP神经网络模型实现数据的预分类；
数据储存模块，用于根据数据预分类的结果将正常数据组和异常数据组分别储存到对应的安全储存模块内；
数据整理模块，用于根据所述正常数据组的目标特征数据在对应的安全储存模块中为其找到相似数据点，并建立其与相似数据点之间的关系；
安全储存模块，通过用户生物特征的识别结果控制所述安全储存模块内载数据的访问权限，访问时，安全储存模块根据用户生物特征的识别结果释放对应权限内的数据，未在访问权限内的数据处于锁定隐藏状态；
访问通道搭建模块，用于根据用户的账户信息搭建不同的访问通道，访问通道搭建后，用户方可进入生物特征数据识别模块完成生物特征数据的识别，生物特征数据的识别结果经加密模块加密后反馈至安全储存模块；
访问记录登记模块，用于通过脚本录制的方式实现每一次的访问记录全过程的登记；
中央处理模块，用于协调上述模块工作。
本实施例中，异常数据组单独配置一安全储存模块，用户进入该模块后，即可实现异常数据的查看审核，每一条异常数据均携带有其被剔除的原因，用户可以根据查看审核情况进行异常数据的清除或恢复或转存操作。
本实施例中，所述数据整理模块基于刻面技术来实现数据定位，通过计算不同数据术语间的刻面距离来定位数据，基于预设的AGGCN模型实现数据点关系的构建。在定位数据时，在已知刻面的约束下选择相应的术语，以此来完成对所需数据的描述，如果选择成功，则返回相应的数据；如果选择不成功，则***将根据同义词词典和概念距离图计算术语的相似性，形成新的定位信息。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种计算机大数据存储***,其特征在于，包括：
数据特征提取模块，基于Transformer模型实现目标特征数据的提取；
数据预分类模块，用于根据所述目标特征数据基于预设的分类规则实现数据的预分类，预分类结果包含正常数据组和异常数据组；
数据储存模块，用于根据数据预分类的结果将正常数据组和异常数据组分别储存到对应的安全储存模块内；
数据整理模块，用于根据所述正常数据组的目标特征数据在对应的安全储存模块中为其找到相似数据点，并建立其与相似数据点之间的关系。
2.如权利要求1所述的一种计算机大数据存储***,其特征在于，每一组分类规则对应一BP神经网络模型，通过Hadoop同时运行所有BP神经网络模型实现数据的预分类。
3.如权利要求1所述的一种计算机大数据存储***,其特征在于，异常数据组单独配置一安全储存模块，用户进入该模块后，即可实现异常数据的查看审核，每一条异常数据均携带有其被剔除的原因，用户可以根据查看审核情况进行异常数据的清除或恢复或转存操作。
4.如权利要求1所述的一种计算机大数据存储***,其特征在于，通过用户生物特征的识别结果控制所述安全储存模块内载数据的访问权限，访问时，安全储存模块根据用户生物特征的识别结果释放对应权限内的数据，未在访问权限内的数据处于锁定隐藏状态。
5.如权利要求1所述的一种计算机大数据存储***,其特征在于，还包括：
访问记录登记模块，用于通过脚本录制的方式实现每一次的访问记录全过程的登记。
6.如权利要求1所述的一种计算机大数据存储***,其特征在于，还包括：
访问通道搭建模块，用于根据用户的账户信息搭建不同的访问通道，访问通道搭建后，用户方可进入生物特征数据识别模块完成生物特征数据的识别，生物特征数据的识别结果经加密模块加密后反馈至安全储存模块。
7.如权利要求1所述的一种计算机大数据存储***,其特征在于，所述数据整理模块基于预设的AGGCN模型实现数据点关系的构建。
CN202010935652.XA 2020-09-08 2020-09-08 一种计算机大数据存储*** Withdrawn CN112052366A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010935652.XA CN112052366A (zh) 2020-09-08 2020-09-08 一种计算机大数据存储***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010935652.XA CN112052366A (zh) 2020-09-08 2020-09-08 一种计算机大数据存储***

Publications (1)

Publication Number Publication Date
CN112052366A true CN112052366A (zh) 2020-12-08

Family

ID=73609809

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010935652.XA Withdrawn CN112052366A (zh) 2020-09-08 2020-09-08 一种计算机大数据存储***

Country Status (1)

Country Link
CN (1) CN112052366A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107291911A (zh) * 2017-06-26 2017-10-24 北京奇艺世纪科技有限公司 一种异常检测方法和装置
CN107977710A (zh) * 2017-12-21 2018-05-01 南方电网科学研究院有限责任公司 用电异常数据检测方法和装置
CN111324782A (zh) * 2020-03-18 2020-06-23 清华大学 一种大数据存储***
CN111401416A (zh) * 2020-03-05 2020-07-10 支付宝(杭州)信息技术有限公司 异常网站的识别方法、装置和异常对抗行为的识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107291911A (zh) * 2017-06-26 2017-10-24 北京奇艺世纪科技有限公司 一种异常检测方法和装置
CN107977710A (zh) * 2017-12-21 2018-05-01 南方电网科学研究院有限责任公司 用电异常数据检测方法和装置
CN111401416A (zh) * 2020-03-05 2020-07-10 支付宝(杭州)信息技术有限公司 异常网站的识别方法、装置和异常对抗行为的识别方法
CN111324782A (zh) * 2020-03-18 2020-06-23 清华大学 一种大数据存储***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GUO ZHIJIANG等: "Attention Guided Graph Convolutional Networks for Relation Extraction", 《57TH ANNUAL MEETING OF THE ASSOCIATION FOR COMPUTATIONAL LINGUISTICS (ACL 2019)》 *

Similar Documents

Publication Publication Date Title
CN113706177B (zh) 一种基于大数据安防的威胁识别方法及数据安防服务器
CN106453033B (zh) 基于邮件内容的多层次邮件分类方法
CN110363510B (zh) 一种基于区块链的加密货币用户特征挖掘、异常用户检测方法
CN113011889B (zh) 账号异常识别方法、***、装置、设备及介质
CN108268886B (zh) 用于识别外挂操作的方法及***
Taghiyarrenani et al. Transfer learning based intrusion detection
CN101789113A (zh) 个人消费记录采集、查询***
CN113204603B (zh) 金融数据资产的类别标注方法及装置
JP6835713B2 (ja) 会計支援システム
CN112270553A (zh) 基于孤立森林算法的恶意注册企业行为识别方法及***
CN115879017A (zh) 一种电力敏感数据自动化分类分级方法、装置及存储介质
CN116401343A (zh) 一种数据合规分析方法
CN109858980B (zh) 基于开源ocr上的高速扫描增值税***勾选认证***及方法
CN111488501A (zh) 一种基于云平台的电商统计***
CN110197140A (zh) 基于文字识别的材料审核方法及设备
CN109472685A (zh) 大数据信贷app软件
CN112052366A (zh) 一种计算机大数据存储***
CN114817518B (zh) 基于大数据档案识别的证照办理方法、***及介质
CN111061779A (zh) 一种基于大数据平台的数据处理方法及装置
US11880471B2 (en) Password hardcoding checking method and apparatus based on PCA, and medium
CN114863430A (zh) 一种人口信息自动纠错方法、设备及其存储介质
CN107067222A (zh) 财务数据的管理方法、装置和***
CN113205442A (zh) 基于区块链的电子政务数据反馈管理方法及装置
CN112597379A (zh) 数据识别方法、装置和存储介质及电子装置
CN116881335B (zh) 多模态数据智能分析***与方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20201208

WW01 Invention patent application withdrawn after publication