CN110995815B - 一种基于Gaia大数据分析***的信息传输方法 - Google Patents
一种基于Gaia大数据分析***的信息传输方法 Download PDFInfo
- Publication number
- CN110995815B CN110995815B CN201911181992.1A CN201911181992A CN110995815B CN 110995815 B CN110995815 B CN 110995815B CN 201911181992 A CN201911181992 A CN 201911181992A CN 110995815 B CN110995815 B CN 110995815B
- Authority
- CN
- China
- Prior art keywords
- data
- server
- key
- gaia
- attribute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- PFFIDZXUXFLSSR-UHFFFAOYSA-N 1-methyl-N-[2-(4-methylpentan-2-yl)-3-thienyl]-3-(trifluoromethyl)pyrazole-4-carboxamide Chemical compound S1C=CC(NC(=O)C=2C(=NN(C)C=2)C(F)(F)F)=C1C(C)CC(C)C PFFIDZXUXFLSSR-UHFFFAOYSA-N 0.000 title claims abstract description 28
- 230000005540 biological transmission Effects 0.000 title claims abstract description 26
- 238000007405 data analysis Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000004891 communication Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 238000010801 machine learning Methods 0.000 abstract description 4
- 238000007418 data mining Methods 0.000 abstract description 3
- 230000008901 benefit Effects 0.000 abstract description 2
- 238000005457 optimization Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 230000004927 fusion Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000005111 flow chemistry technique Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000012517 data analytics Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/565—Conversion or adaptation of application format or content
- H04L67/5651—Reducing the amount or size of exchanged application data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/14—Session management
- H04L67/141—Setup of application sessions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/565—Conversion or adaptation of application format or content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
- H04L69/161—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields
- H04L69/162—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields involving adaptations of sockets based mechanisms
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/22—Parsing or analysis of headers
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Computer And Data Communications (AREA)
Abstract
一种基于Gaia大数据分析***的信息传输方法，属于大数据环境下的数据挖掘、机器学习和应用统计等分布式信息传输领域。技术要点是：在历史统计信息中，利用数据分析工具，将数据的关键属性标注出来；利用步骤S1中标注出来的关键属性，将带有关键属性的每一条数据的关键属性调到前面；客户端将步骤S2中调整顺序之后的数据发送到服务器；服务器端接收数据时先解析前几位关键属性，如果没有关键属性，则不继续解析，如果有关键属性就继续解析。有益效果：本发明通过调整客户端传输的每条数据中的属性的顺序，使得服务器在解析数据时，减少所需要解析数据的条数，只解析需要的数据，可以大大减少所需的时间。
Description
技术领域
本发明属于大数据环境下的数据挖掘、机器学习和应用统计等分布式信息传输领域，尤其涉及一种基于Gaia大数据分析***的信息传输方法。
背景技术
Gaia是一个面向多计算模型混合并存的高时效、可扩展的新一代大数据分析***。在自适应、可伸缩的大数据存储、批流融合大数据计算、高维大规模机器学习和高时效大数据智能交互向导等大数据分析***的几个核心层面，解决一系列关键技术问题，构建自主可控的高时效、可伸缩的新一代大数据分析***，掌握国际领先的大数据分析***核心技术。
该新型大数据计算***针对批流混合任务具有全周期多尺度优化和统一计算引擎。现有大数据计算***或依托自身计算引擎模拟另一类框架的行为，或定义一套通用接口屏蔽底层计算引擎的差异，对批流融合支持较弱。同时，其优化大多位于执行的特定时期或特定层级，且针对高复杂性任务的优化能力不足。针对以上问题，创新性地开发了基于统一计算引擎和全周期多\尺度优化的高性能批流融合大数据计算技术。该技术为批流融合处理提供统一表达逻辑支持，通过统一表达建模融合批流处理的计算模型、数据模型、变换模型和动作模型，实现批、流处理的真正融合。针对作业的多样性、持久性、迭代性等特点，提供面向多作业、多任务、迭代计算、持久计算等优化策略，优化针对性更强。同时，提供执行前和执行中的全周期优化，并细分为作业级、任务级、变换级等多个尺度，以实现极速响应和海量吞吐。
Gaia是一个面向分布式数据流处理和批量处理的开源计算平台，支持分布式并行计算，包括模型并行和数据并行。当今社会中大数据计算引擎十分常见，种类繁多，近年来包括Hadoop、Spark的通用计算框架还有TensorFlow这类专用计算框架。这是由于我们对计算模型需求的多样化的结果。此外还有一些基于资源管理、支撑服务、存储服务的大数据框架。大数据和人们的生存发展息息相关。在大数据引擎支持的内容上含有批处理、流计算、机器学习以及交互式分析等多种应用。
面向大数据的数据挖掘的特有两个最重要的任务。一是实时性，如此海量的数据规模需要实时分析并迅速反馈结果。二是准确性，需要我们从海量的数据中精准提取出隐含在其中的用户需要的有价值信息，再将挖掘所得到的信息转化成有组织的知识以模型等方式表示出来，从而将分析模型应用到现实生活中提高生产效率、优化营销方案等。
因此，无论是哪种大数据计算引擎，都要求一个快速响应、也就是低延迟，生活中有很多需要实时做出反馈的问题。在数据急速增长的情况下，做出一个高吞吐、低延迟的***至关重要。
Gaia集众多优点于一身，包括快速、可靠可扩展、完全兼容Hadoop、使用简便、表现卓越。利用基于内存的数据流，并将迭代处理算法深度集成到***的运行时中，这样，Gaia使得***能够以极快的速度处理数据密集型和迭代任务。Gaia还具有高可靠性和良好的可扩展性。并且能够兼容Hadoop。另外，Gaia包括基于Java的用于批量和基于流数据分析的API、优化器和具有自定义内存管理功能的分布式运行时等，因此可以完全兼容Hadoop。总而言之，Gaia具有分布式MapReduce一类平台的高效性、灵活性和扩展性，以及并行数据库查询优化方案，同时，它还支持批量和基于流的数据分析，而且提供了基于Java的API。总的来说，Gaia是一个高效的、分布式的、基于Java实现的通用大数据分析引擎。
Gaia一大重要特性就是低延迟，但是在信息传输过程中，原有的传输方法可能会浪费大量的资源。
发明内容
为了使各个节点能充分利用资源并且节省过滤信息的时间，本发明提供一种基于Gaia大数据分析***的信息传输方法，该方法能够使得在传输和过滤信息时节省时间，提高效率。
技术方案如下：
一种基于Gaia大数据分析***的信息传输方法，步骤如下：
S1、在历史统计信息中，利用数据分析工具，将数据的关键属性标注出来；
S2、利用步骤S1中标注出来的关键属性，将带有关键属性的每一条数据的关键属性调到前面；
S3、客户端将步骤S2中调整顺序之后的数据发送到服务器；
S4、服务器端接收数据时先解析前几位关键属性，如果没有关键属性，则不继续解析，如果有关键属性就继续解析。
进一步的，利用Socket套接字建立所述客户端和服务器的通信连接。
进一步的，客户端利用IO流向服务器端发送数据。
进一步的，所述数据分析工具是Python或者Mysql。
进一步的，如果有若干个关键属性，则按照调整之前的前后顺序，将所述若干个关键属性调整到前面。
本发明所述的基于Gaia大数据分析***的信息传输方法通过调整客户端传输的每条数据中的属性的顺序，使得服务器在解析数据时，减少所需要解析数据的条数，只解析需要的数据，可以大大减少所需的时间；可以将不需要的信息过滤掉，有效的节省传输信息的时间，大大提高了信息传输的效率，合理利用资源。
附图说明
图1为本发明具体实施方式中调整关键属性顺序过程图；
图2为本发明具体实施方式中信息传输的基本框架图。
具体实施方式
下面结合附图1-2对基于Gaia大数据分析***的信息传输方法做进一步说明。
实施例1
一种基于Gaia大数据分析***的信息传输方法，步骤如下：
S1、利用历史统计信息，数据分析工具，将数据的关键属性标注出来；
S2、利用步骤S1中分析出来的关键属性，将带有关键属性的每一条数据的关键属性调到前面；
S3、客户端将步骤S2中调整顺序之后的数据发送到服务器；
S4、服务器端，接收数据时先解析前几位关键属性，如果没有关键属性，则不继续解析，如果有关键属性就继续解析；
进一步的，所述数据分析工具是Python或者Mysql。
进一步的，如果有若干个关键属性，则按照调整之前的前后顺序，将所述若干个关键属性调整到前面。判断关键属性的标准是，不管其他的属性是什么，只要这几条属性可以标识这条数据的标签。比如一条数据中某个属性是1，那么不管其他的属性是什么，这条数据的标签都不会变。
进一步的，步骤S1中，客户端和服务器要建立连接，保证可以相互通信。
进一步的，步骤S2中，每一条数据都有能够判断这条信息标签的一个或几个关键属性。比如在一条入侵检测的数据中：2,tcp,smtp,SF,1684,363,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,1,1,0.00,0.00,0.00,0.00,1.00,0.00,0.00,104,66,0.63,0.03,0.01,0.00,0.00,0.00,0.00,0.00,normal。其中最后一个属性是标签，标注这条数据为normal(正常)类型，不是入侵，其中第11和12个属性只要是01这种组合，这条数据就是normal(正常)类型的。
如果第11和12位是其他的数字，比如这样一条数据：0,tcp,private,REJ,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,38,1,0.00,0.00,1.00,1.00,0.03,0.55,0.00,208,1,0.00,0.11,0.18,0.00,0.01,0.00,0.42,1.00,portsweep，这条数据就被标注为portsweep(一种攻击)类型。
进一步的，步骤S3中，客户端将新调整好序列的数据发送给服务器，其中的数据以S2中第一条数据为例，调整完成将要发送给服务器的数据为：0，1，2,tcp,smtp,SF,1684,363,0,0,0,0,,0,0,0,0,0,0,0,0,0,0,1,1,0.00,0.00,0.00,0.00,1.00,0.00,0.00,104,66,0.63,0.03,0.01,0.00,0.00,0.00,0.00,0.00。因为normal是标签，是之后标注上的，真实的数据是没有标注的，所以normal不需要发送到服务器端。
进一步的，步骤S4中，在服务器端解析过程中，以之前的入侵检测数据为例：0,1,2,tcp,smtp,SF,1684,363,0,0,0,0,,0,0,0,0,0,0,0,0,0,0,1,1,0.00,0.00,0.00,0.00,1.00,0.00,0.00,104,66,0.63,0.03,0.01,0.00,0.00,0.00,0.00,0.00，在服务器端解析到数据的前两位是0,1，然后继续解析整条数据，如果不是0,1，那么则不再解析剩余数据。
实施例2
Gaia支持高性能的管道信息传输。在信息传输过程中，客户端与服务器首先建立连接，客户端将每一条信息的关键属性调到前几位，然后向服务器发送调序后的数据。客户端首先解析前数据几位属性，如果前几位有关键属性则继续解析数据，否则不继续解析数据。
一种数据的传输方法，主要是由客户端在向服务器发送数据之前，将发送的每一条数据的关键属性调整到前面，然后服务器在解析时，可以先解析关键的属性，判断这条数据是不是需要的，如果不是需要的，则不用解析剩余的数据，从而节省时间，节约了资源，提高了效率。
本发明实施例以入侵检测中的信息传输为例进行描述，采用所述的基于Gaia***的信息传输方法，包括以下步骤：
步骤1：客户端服务器建立连接。在建立连接之后，客户端与服务器可以进行通信。
步骤2：调整每一条将要发送的信息的关键属性的顺序。将需要的能标识这条信息的关键属性调整到前列。
步骤3：发送信息。在前两步建立连接，调整关键属性顺序之后，向服务器发送信息。
步骤4：解析信息。客户端发来的信息之后，服务器首先解析信息的前几位关键属性，如果前几位有关键属性，则继续解析整条信息，否则不再解析信息。
实施例3
信息传输已经成为了大数据应用领域解决问题的一个重要途径，频繁地在大数据处理算法中使用，对于新型的大数据计算平台Gaia更为重要，Gaia一大重要特性就是低延迟，但是在信息传输过程中，原有的传输方法可能会浪费大量的资源，故采取本专利提出的信息传输方法，以减少信息传输的时间，提供一种合理的传输信息的方法。Gaia作为实时流处理***，它的并行机制的通过对节点的分片来进行，通过一个job作业来完成信息传输的任务。
本发明通过以下步骤完成信息的传输，如图2所示，具体步骤如下：
步骤1：建立服务器与客户端连接。利用Socket套接字建立服务器与客户端的连接。为了实现两台计算机的通信，必须要用一个网络线路连接两台计算机。服务器(Server)是指提供信息的计算机或程序，客户机(Client)是指请求信息的计算机或程序，而网络用于连接服务器与客户机，实现两者相互通信，使用Socket监听一个固定的端口。
步骤2：调整客户端发送信息的关键属性的顺序。在大量的信息中包含我们需要的和不需要的信息，在我们需要的信息中，必然有标记这条信息的关键属性。在向服务器发送这些信息之前，将这些关键属性调到前面。
步骤3：客户端向服务器发送信息。利用IO流，向服务器端发送数据。图1展示了发送数据之前,调整关键属性的过程。
步骤4：服务器解析信息。服务器首先解析信息的前几位，如果是关键属性，则继续解析整条数据，否则不继续解析。
在Gaia***中，信息传输的流程如图2所示。假设每条信息有1000个属性，有2个关键属性，这两个关键属性只要是我们需要的值，整条数据就是我们所需要的。首先解析前2位数据，如果前2位数据是需要的，则继续解析，否则不再解析。服务器解析信息的算法伪代码如下：
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (3)
1.一种基于Gaia大数据分析***的信息传输方法，其特征在于，步骤如下：
S1、在历史统计信息中，利用数据分析工具，将数据的关键属性标注出来：
在一条入侵检测的数据中，如果第11位和第12位为“01”，关键属性为数据的最后一个属性，将关键属性标注为正常类型；如果第11位和第12位为非“01”，关键属性为数据的最后一个属性，将关键属性标注为攻击类型；
S2、利用步骤S1中标注出来的关键属性，将第11位和第12位属性调整到数据的最前面；
S3、客户端将步骤S2中调整顺序之后的数据发送到服务器；利用Socket套接字建立所述客户端和服务器的通信连接；客户端利用IO流向服务器端发送数据；
S4、服务器端接收数据时先解析数据的前两位，如果是“01”，则继续解析整条数据；如果不是“01”，则不再解析剩余数据。
2.如权利要求1所述的基于Gaia大数据分析***的信息传输方法，其特征在于，所述数据分析工具是Python或者Mysql。
3.如权利要求1所述的基于Gaia大数据分析***的信息传输方法，其特征在于，如果有若干个关键属性，则按照调整之前的前后顺序，将所述若干个关键属性调整到前面。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911181992.1A CN110995815B (zh) | 2019-11-27 | 2019-11-27 | 一种基于Gaia大数据分析***的信息传输方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911181992.1A CN110995815B (zh) | 2019-11-27 | 2019-11-27 | 一种基于Gaia大数据分析***的信息传输方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110995815A CN110995815A (zh) | 2020-04-10 |
| CN110995815B true CN110995815B (zh) | 2022-08-05 |
Family
ID=70087334
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911181992.1A Active CN110995815B (zh) | 2019-11-27 | 2019-11-27 | 一种基于Gaia大数据分析***的信息传输方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110995815B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1412876A2 (en) * | 2001-03-19 | 2004-04-28 | International Business Machines Corporation | Using continuous optimization for ordering categorical data sets in a data processing system |
| CN102799682A (zh) * | 2012-05-10 | 2012-11-28 | 中国电力科学研究院 | 一种海量数据预处理方法及其*** |
| CN105183914A (zh) * | 2015-10-14 | 2015-12-23 | 合一网络技术(北京)有限公司 | 数据特征格式化方法及装置 |
| CN105447172A (zh) * | 2015-12-07 | 2016-03-30 | 北京先进数通信息技术股份公司 | 一种Hadoop平台下的数据处理方法和*** |
| CN105468995A (zh) * | 2015-12-15 | 2016-04-06 | 吉林大学 | 以Oracle为核心的基于数据挖掘入侵检测*** |
| CN105701161A (zh) * | 2015-12-31 | 2016-06-22 | 深圳先进技术研究院 | 实时大数据用户标签*** |
| CN107026764A (zh) * | 2016-02-02 | 2017-08-08 | 腾讯科技（深圳）有限公司 | 一种远程调试方法、设备、服务器及*** |
| CN107800787A (zh) * | 2017-10-23 | 2018-03-13 | 广州百兴网络科技有限公司 | 一种分布式大数据实时交换共享的计算机网络*** |
| CN108566364A (zh) * | 2018-01-15 | 2018-09-21 | 中国人民解放军国防科技大学 | 一种基于神经网络的入侵检测方法 |
| CN109698836A (zh) * | 2019-02-01 | 2019-04-30 | 重庆邮电大学 | 一种基于深度学习的无线局域网入侵检测方法和*** |
| CN109962909A (zh) * | 2019-01-30 | 2019-07-02 | 大连理工大学 | 一种基于机器学习的网络入侵异常检测方法 |
| CN110140126A (zh) * | 2016-12-30 | 2019-08-16 | 微软技术许可有限责任公司 | 对数据实时调整来建模管理属性 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106647724B (zh) * | 2017-02-15 | 2017-12-26 | 北京航空航天大学 | 一种基于车辆异常数据监测的t‑box信息安全检测及防护方法 |
-
2019
- 2019-11-27 CN CN201911181992.1A patent/CN110995815B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1412876A2 (en) * | 2001-03-19 | 2004-04-28 | International Business Machines Corporation | Using continuous optimization for ordering categorical data sets in a data processing system |
| CN1659546A (zh) * | 2001-03-19 | 2005-08-24 | 国际商业机器公司 | 在数据处理***中使用连续最优化对类属数据集排序 |
| CN102799682A (zh) * | 2012-05-10 | 2012-11-28 | 中国电力科学研究院 | 一种海量数据预处理方法及其*** |
| CN105183914A (zh) * | 2015-10-14 | 2015-12-23 | 合一网络技术(北京)有限公司 | 数据特征格式化方法及装置 |
| CN105447172A (zh) * | 2015-12-07 | 2016-03-30 | 北京先进数通信息技术股份公司 | 一种Hadoop平台下的数据处理方法和*** |
| CN105468995A (zh) * | 2015-12-15 | 2016-04-06 | 吉林大学 | 以Oracle为核心的基于数据挖掘入侵检测*** |
| CN105701161A (zh) * | 2015-12-31 | 2016-06-22 | 深圳先进技术研究院 | 实时大数据用户标签*** |
| CN107026764A (zh) * | 2016-02-02 | 2017-08-08 | 腾讯科技（深圳）有限公司 | 一种远程调试方法、设备、服务器及*** |
| CN110140126A (zh) * | 2016-12-30 | 2019-08-16 | 微软技术许可有限责任公司 | 对数据实时调整来建模管理属性 |
| EP3563287A1 (en) * | 2016-12-30 | 2019-11-06 | Microsoft Technology Licensing, LLC | Real time pivoting on data to model governance properties |
| CN107800787A (zh) * | 2017-10-23 | 2018-03-13 | 广州百兴网络科技有限公司 | 一种分布式大数据实时交换共享的计算机网络*** |
| CN108566364A (zh) * | 2018-01-15 | 2018-09-21 | 中国人民解放军国防科技大学 | 一种基于神经网络的入侵检测方法 |
| CN109962909A (zh) * | 2019-01-30 | 2019-07-02 | 大连理工大学 | 一种基于机器学习的网络入侵异常检测方法 |
| CN109698836A (zh) * | 2019-02-01 | 2019-04-30 | 重庆邮电大学 | 一种基于深度学习的无线局域网入侵检测方法和*** |
Non-Patent Citations (6)
| Title |
|---|
| "A Method for Real-Time Identification of Malformed BGP Messages";Masafumi Watari; Peng Jiang; Atsuo Tachibana; Shigehiro Ano;《2011 IEEE/IPSJ International Symposium on Applications and the Internet》;20110830;第508-512页 * |
| "Gaia Scheduler: A Kubernetes-Based Scheduler Framework";Shengbo Song;Lelai Deng;Jun Gong;Hanmei Luo，;《2018 IEEE Intl Conf on Parallel & Distributed Processing with Applications, Ubiquitous Computing & Communications, Big Data & Cloud Computing, Social Computing & Networking, Sustainable Computing & Communications》;20190321;第252-259页 * |
| "Investigation of network intrusion detection using data visualization methods";Viktoras Bulavas;《2018 59th International Scientific Conference on Information Technology and Management Science of Riga Technical University (ITMS)》;20181203;第878-984页 * |
| "KDD 99数据集的应用";zhangtian6691844;《CSDN论坛》;20161205;全文 * |
| "Parallel online sequential extreme learning machine based on MapReduce";BotaoWang n, ShanHuang,JunhaoQiu,YuLiu,GuorenWang;《Neurocomputing, 2015》;20150203;第224-232页 * |
| "基于关联规则的网络入侵检测技术的应用研究’";黄晓燕，许龙飞;《第二十三届中国数据库学术会议论文集-技术报告篇》;20061110;第245-248页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110995815A (zh) | 2020-04-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6112196A (en) | Method and system for managing connections to a database management system by reusing connections to a database subsystem | |
| CN108694221B (zh) | 数据实时分析方法、模块、设备和装置 | |
| US8812645B2 (en) | Query optimization in a parallel computer system with multiple networks | |
| CN110912782B (zh) | 一种数据采集方法、装置及存储介质 | |
| CN108228743A (zh) | 一种实时大数据搜索引擎*** | |
| CN114356971A (zh) | 数据处理方法、装置以及*** | |
| CN108509453B (zh) | 一种信息处理方法及装置 | |
| CN110705716A (zh) | 一种多模型并行训练方法 | |
| CN114402315A (zh) | 基于云的查询工作负载优化 | |
| CN114036183A (zh) | 一种数据etl处理方法、装置、设备及介质 | |
| CN117278661B (zh) | 一种工业物联网多协议解析方法及*** | |
| CN112182031B (zh) | 数据查询方法及装置、存储介质、电子装置 | |
| CN114253798A (zh) | 指标数据采集方法和装置、电子设备、存储介质 | |
| CN112883088B (zh) | 一种数据处理方法、装置、设备及存储介质 | |
| CN110891083B (zh) | 一种Gaia中支持多作业并行执行的代理方法 | |
| CN110995815B (zh) | 一种基于Gaia大数据分析***的信息传输方法 | |
| Bruda et al. | Real-time computation: A formal definition and its applications | |
| CN115048913B (zh) | 一种命令处理方法、装置和电子设备 | |
| CN110728118A (zh) | 跨数据平台的数据处理方法、装置、设备及存储介质 | |
| CN113886422A (zh) | 一种数据提取方法、装置、设备及存储介质 | |
| CN115168389A (zh) | 请求处理方法以及装置 | |
| CN111290855B (zh) | 分布式环境中多gpu服务器的gpu卡管理方法、***及存储介质 | |
| CN113934430A (zh) | 数据检索分析方法、装置、电子设备及存储介质 | |
| Ogboada et al. | A model for optimizing the runtime of GraphQL queries | |
| CN112564984A (zh) | 基于大数据的物联网的分布式安全运维的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |