CN110134711A - 大数据的处理方法、装置、设备及计算机可读存储介质 - Google Patents

大数据的处理方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN110134711A
CN110134711A CN201910272512.6A CN201910272512A CN110134711A CN 110134711 A CN110134711 A CN 110134711A CN 201910272512 A CN201910272512 A CN 201910272512A CN 110134711 A CN110134711 A CN 110134711A
Authority
CN
China
Prior art keywords
data
user
traffic
high amount
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910272512.6A
Other languages
English (en)
Inventor
陈怡伶
黄震
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hot Tea Cloud Technology (beijing) Co Ltd
Original Assignee
Hot Tea Cloud Technology (beijing) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hot Tea Cloud Technology (beijing) Co Ltd filed Critical Hot Tea Cloud Technology (beijing) Co Ltd
Publication of CN110134711A publication Critical patent/CN110134711A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G06F16/24554—Unary operations; Data partitioning operations
    • G06F16/24556—Aggregation; Duplicate elimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24568—Data stream processing; Continuous queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9035—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/604—Tools and structures for managing or administering access control systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Fuzzy Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种大数据的处理方法、装置、设备及计算机可读存储介质，该处理方法包括：获取与用户端相关联的大数据流，大数据流至少包括：用户行为数据和/或设备状态；解码大数据流，生成通用格式数据，并对通用格式数据进行计数；根据计数结果对通用格式数据进行聚合计算，生成聚合计算结果；根据聚合计算结果监测用户行为，执行交互操作。通过实施本发明，可以为用户提供更加开放、人性化的数据共享机制，同时，能够通过用户的身份认证保证用户自身数据的安全性；并且，基于共享平台提供相应的数据处理流程或处理算法，能够为用户量身定做各自的数据处理服务，提高用户的使用感受。

Description

大数据的处理方法、装置、设备及计算机可读存储介质
技术领域
本发明涉及大数据处理技术领域，具体涉及一种大数据的处理方法、装置、设备及计算机可读存储介质。
背景技术
在信息化时代，数据库的发展形成了利用数据建模归纳总结过去并对未来做预测的“计算科学”；而消费互联网/大数据年代，通过收集大量的数据，形成了让计算机去规律的学习并优化模型的“数据科学”。大数据(Bigdata)通常用来形容一个公司创造的大量非结构化数据和半结构化数据，随着产业互联网AI智能时代的来临，大数据(Bigdata)需要更有效的进化成数据密集型科学发现(ScientificDiscovery)。而任何一个科学发现，都需要满足Reproducible Result(可重复性结果)的要求。因为基于数据的结果，都是从数据->处理->结果(Data->Process->Result)这样一个过程，因此，要满足Reproducible Result的要求,则需要一种更智能、更灵活的实时(不单只面对用户)数据处理***对数据进行处理。
在消费互联网的时代，各大型技术平台所使用的数据处理***，是通过提供数据共享技术，将数据收集和存储在他们自己平台(中心化的和公有的云)上，并应用超级id机制，由平台提供商集中控制，对用户的自由使用，有较多的权限，这些使用限制给用户带来诸多不便，更大大拖慢了产业互联网过程去中心化所需要技术的发展进度。
发明内容
有鉴于此，本发明实施例提供了一种大数据的处理方法、装置、设备及计算机可读存储介质，以解决上述问题。
根据第一方面，本发明实施例提供了一种大数据的处理方法，包括：获取与用户端相关联的大数据流，所述大数据流至少包括：用户行为数据和/或设备状态；解码所述大数据流，生成通用格式数据，并对所述通用格式数据进行计数；根据计数结果对所述通用格式数据进行聚合计算，生成聚合计算结果；根据所述聚合计算结果监测用户行为，执行交互操作。
结合第一方面，在第一方面第一实施方式中，根据所述聚合计算结果监测用户行为，执行交互操作，包括：根据所述聚合计算结果检测所述用户行为的数量是否达到预设阈值；如果所述用户行为的数量达到所述预设阈值，则对被执行对象发起交互动作。
结合第一方面，在第一方面第二实施方式中，该处理方法还包括：获取用户输入的请求信息；根据所述请求信息从数据共享平台中下载预设的数据处理流程和/或预设机器学习算法。
结合第一方面第二实施方式，在第一方面第三实施方式中，该处理方法还包括：判断是否获取到数据处理通知信息；如果获取到所述数据处理通知信息，使用所述预设的数据处理流程和/或预设机器学习算法处理所述数据处理通知信息中的数据，根据处理后的数据配置所述用户端的用户数据及应用场景。
结合第一方面，在第一方面第四实施方式中，解码所述大数据流，生成通用格式数据，包括：使用flume*或kafka*技术解码所述大数据流，将所述大数据流解码为所述通用格式数据。
根据第二方面，本发明实施例提供了一种大数据的处理装置，包括：大数据流获取模块，用于获取与用户端相关联的大数据流，所述大数据流至少包括：用户行为数据和/或设备状态；数据处理模块，用于解码所述大数据流，生成通用格式数据，并对所述通用格式数据进行计数；聚合计算模块，用于根据计数结果对所述通用格式数据进行聚合计算，生成聚合计算结果；交互模块，用于根据所述聚合计算结果监测用户行为，执行交互操作。
结合第二方面，在第二方面第一实施方式中，所述交互模块包括：计数统计子模块，用于根据所述聚合计算结果检测所述用户行为的数量是否达到预设阈值；交互动作执行子模块，如果所述用户行为的数量达到所述预设阈值，所述交互动作执行子模块用于对被执行对象发起交互动作。
结合第二方面，在第二方面第二实施方式中，该处理装置还包括：请求信息获取模块，用于获取用户输入的请求信息；数据下载模块，用于根据所述请求信息从数据共享平台中下载预设的数据处理流程和/或预设机器学习算法。
结合第二方面第二实施方式，在第二方面第三实施方式中，该装置还包括：第一判断模块，用于判断是否获取到数据处理通知信息；配置模块，如果获取到所述数据处理通知信息，所述配置模块使用所述预设的数据处理流程和/或预设机器学习算法处理所述数据处理通知信息中的数据，根据处理后的数据配置所述用户端的用户数据及应用场景。
结合第二方面第一实施方式，在第二方面第四实施方式中，所述数据解码模块具体用于：使用flume*或kafka*技术解码所述大数据流，将所述大数据流解码为所述通用格式数据。
结合第二方面第一实施方式，在第二方面第二实施方式中，该装置还包括：下载请求获取模块，用于获取用户输入的下载请求；数据下载模块，用于根据所述下载请求从数据共享平台中下载预设的数据处理流程和/或所述预设机器学习算法。
根据第三方面，本发明实施例提供了一种大数据处理设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中所述的大数据处理方法。
根据第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的大数据处理方法。
本发明实施例所具备的有益效果在于，可以为用户提供更加开放、人性化的数据共享机制，同时，能够通过用户的身份认证保证用户自身数据的安全性；相对于现有的采用批处理的技术处理全量数据、流式计算处理实时增量数据的通用做法，本发明实施例提供的用户数据标签处理方法及装置，获取用户数据时只需要根据自己的业务逻辑管理所关注的用户行为数据，不管是全量数据还是增量数据，亦或是实时处理，都可以通过本发明实施例实现。并且，基于共享平台提供相应的数据处理流程或处理算法，能够为用户量身定做各自的数据处理服务，提高用户的使用感受。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：
图1示出了本发明实施例的大数据流处理方法的流程图；
图2示出了本发明实施例的大数据流处理装置的结构示意图；
图3示出了本发明实施例的大数据流处理设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种大数据的处理方法，如图1所示，主要包括以下步骤：
步骤S11：获取与用户端相关联的大数据流，该大数据流至少包括：用户行为数据和/或设备状态；
本发明实施例提供的大数据的处理方法，旨在帮助企业处理大数据流，该大数据流是来自Internet(企业防火墙外部)的，以及从物联网(IOT)设备生成的传感器数据或从移动设备生成的消费者行为数据等形式获取的大数据流等。这些大数据流代表数字企业与物理世界的交互反应，以及由不同场景提供的用户行为数据、设备状态或操作数据组成。
从Internet生成的大数据流可以来自许多不同的数据来源，也可以为一系列的数据对象。数据流中的序列是无界的，这意味着可以以任何速率连续生成数据流。
步骤S12：解码获取的大数据流，生成通用格式数据，并对通用格式数据进行计数；
具体地，可以是利用flume*/kafka*技术实现对有用户和设备产生的流数据进行实时处理，当数据接入时，将输入数据流解码为通用格式。并且，可以利用Cassandra计数器技术对转换为通用格式的数据进行计数。
步骤S13：根据计数结果对所述通用格式数据进行聚合计算，生成聚合计算结果；
步骤S14：根据所述聚合计算结果监测用户行为，执行交互操作。
具体地，是根据聚合计算结果检测用户行为的数量是否达到预设阈值，该预设阈值可以是用户预先设定好的阈值；如果用户行为的数量达到预设阈值，则对被执行对象发起交互动作(例如发送短信，电子邮件、APPLE Message信息、微信、LINE等)。
通过本发明实施例的大数据的处理方法，可以为用户提供更加开放、人性化的数据共享机制，同时，能够通过用户的身份认证保证用户自身数据的安全性；并且，基于共享平台提供相应的数据处理流程或处理算法，能够为用户量身定做各自的数据处理服务，提高用户的使用感受。
可选地，在本发明的一些实施例中，该大数据的处理方法可具体应用于一用户端设备中，通过该用户端设备除了可实现上述的大数据处理过程之外，还可实现复杂、定制的算法处理流程和自动机器学***台互联进行下载。实际应用中，是获取用户输入的请求信息(例如是下载请求等)；根据请求信息从数据共享平台中下载预设的数据处理流程和/或预设机器学习算法，供后续处理数据之用。
可选地，在本发明的一些实施例中，还可通过该用户端设备接收外接设备发来的数据通知信息，在此种情形下，该用户端设备可执行的大数据的处理方法还可包括：判断是否获取到数据处理通知信息；如果获取到数据处理通知信息，使用预设的数据处理流程和/或预设机器学习算法处理数据处理通知信息中的数据，根据处理后的数据配置用户端的用户数据及应用场景。
在实际应用中，该用户端设备具有以下功能及优势：
1.提供非常人性化的工作平台
数据分析和处理人员经过短期的培训就可以上手进行可视化的工作流开发。拖拽式的实现数据分析流开发。业务和数据分析人员可以灵活和有效地进行包括数据准备，数据转换，数据建模和数据评分在内的端到端的知识发掘和预测分析。该用户端设备可以对数据进行直接的操作，而不限制于独立变量的数量和数据类型的复杂程度。
2.该用户端设备大数据分析流程部署的完整性
该用户端设备提供非常方便的程序导出功能，用户可以将开发好的分析流程序直接导出，放置到预先指定的目录即可。配置定时触发或手工触发方式运行。导出的模型可以独立的执行在数据库上，从而进一步确保数据的可靠性和完整性，加速了模型和业务应用的整合。
3.该用户端设备大数据分析流程节点化部署使自定义算法模型导入标准化
很多用户的算法具有行业特征，用户自定义算法必不可少，该用户端设备提供的节点化部署(Process as a Orchestrated Series of Operators(节点)使自定义算法导入能有标准化功能。
通过与该用户端设备通信的云AI算法共享平台，用户可以对分析流程序发布和共享，发布功能采用B/S架构，用户直接通过网页方式进行模型的查看，修改和运行等操作,对共享商业模式提升标准化的支持。
此外，该用户端设备能够帮助企业编译成GDPR策略(《通用数据保护条例》，General Data Protection Regulation，简称GDPR)，该策略要求企业采取一切措施来存储和保护数据，这些数据是物理资产的数字复制品。该用户端设备设计允许企业编译为GDPR，通过与管理大数据流事件处理的云控制中心建立闭环***，使企业能够作为数字企业实时服务和行动。
可帮助企业遵守“GDPR”规则中对用户数据保密的要求。不会发布任何识别特定个人的信息，仅交换梳理流程而不交换任何数据，完全符合GDPR规则的要求，为企业提供了低延迟、高吞吐的数据交互服务。
本发明实施例还提供一种大数据的处理装置，如图2所示，该处理装置主要包括：
大数据流获取模块11，用于获取与用户端相关联的大数据流，大数据流至少包括：用户行为数据和/或设备状态；详细内容可参见上述方法实施例的步骤S11的相关描述。
数据处理模块12，用于解码大数据流，生成通用格式数据，并对通用格式数据进行计数；详细内容可参见上述方法实施例的步骤S12的相关描述。
聚合计算模块13，用于根据计数结果对通用格式数据进行聚合计算，生成聚合计算结果；详细内容可参见上述方法实施例的步骤S13的相关描述。
交互模块14，用于根据聚合计算结果监测用户行为，执行交互操作；该交互模块包括：计数统计子模块，用于根据聚合计算结果检测用户行为的数量是否达到预设阈值；交互动作执行子模块，如果用户行为的数量达到预设阈值，交互动作执行子模块用于对被执行对象发起交互动作。详细内容可参见上述方法实施例的步骤S14的相关描述。
可选地，在本发明的一些实施例中，该大数据的处理装置可具体应用于一用户端设备中，通过该用户端设备除了可实现上述的大数据处理过程之外，还可实现复杂、定制的算法处理流程和自动机器学***台互联进行下载。实际应用中，该处理装置还包括：请求信息获取模块，用于获取用户输入的请求信息(例如是下载请求等)；数据下载模块，用于根据请求信息从数据共享平台中下载预设的数据处理流程和/或预设机器学习算法，供后续处理数据之用。
可选地，在本发明的一些实施例中，还可通过该用户端设备接收外接设备发来的数据通知信息，在此种情形下，该用户端设备可执行的大数据的处理装置还可包括：第一判断模块，用于判断是否获取到数据处理通知信息；配置模块，如果获取到数据处理通知信息，该配置模块使用预设的数据处理流程和/或预设机器学习算法处理数据处理通知信息中的数据，根据处理后的数据配置用户端的用户数据及应用场景。
本发明实施例还提供一种大数据处理设备，如图3所示，该大数据处理设备可以包括处理器31和存储器32，其中处理器31和存储器32可以通过总线或者其他方式连接，图3中以通过总线连接为例。
处理器31可以为中央处理器(Central Processing Unit，CPU)。处理器31还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器32作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的大数据的处理方法对应的程序指令/模块(例如，图2所示的大数据流获取模块11、数据处理模块12、聚合计算模块13及交互模块14)。处理器31通过运行存储在存储器32中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的大数据的处理方法。
存储器32可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储处理器31所创建的数据等。此外，存储器32可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器32可选包括相对于处理器31远程设置的存储器，这些远程存储器可以通过网络连接至处理器31。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器32中，当被所述处理器31执行时，执行如图1所示实施例中的大数据的处理方法。
上述大数据处理设备具体细节可以对应参阅图1所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (12)

1.一种大数据的处理方法，其特征在于，包括：
获取与用户端相关联的大数据流，所述大数据流至少包括：用户行为数据和/或设备状态；
解码所述大数据流，生成通用格式数据，并对所述通用格式数据进行计数；
根据计数结果对所述通用格式数据进行聚合计算，生成聚合计算结果；
根据所述聚合计算结果监测用户行为，执行交互操作。
2.根据权利要求1所述的大数据的处理方法，其特征在于，根据所述聚合计算结果监测用户行为，执行交互操作，包括：
根据所述聚合计算结果检测所述用户行为的数量是否达到预设阈值；
如果所述用户行为的数量达到所述预设阈值，则对被执行对象发起交互动作。
3.根据权利要求1所述的大数据的处理方法，其特征在于，还包括：
获取用户输入的请求信息；
根据所述请求信息从数据共享平台中下载预设的数据处理流程和/或预设机器学习算法。
4.根据权利要求3所述的大数据的处理方法，其特征在于，还包括：
判断是否获取到数据处理通知信息；
如果获取到所述数据处理通知信息，使用所述预设的数据处理流程和/或预设机器学习算法处理所述数据处理通知信息中的数据，根据处理后的数据配置所述用户端的用户数据及应用场景。
5.根据权利要求1所述的大数据的处理方法，其特征在于，解码所述大数据流，生成通用格式数据，包括：
使用flume*或kafka*技术解码所述大数据流，将所述大数据流解码为所述通用格式数据。
6.一种大数据的处理装置，其特征在于，包括：
大数据流获取模块，用于获取与用户端相关联的大数据流，所述大数据流至少包括：用户行为数据和/或设备状态；
数据处理模块，用于解码所述大数据流，生成通用格式数据，并对所述通用格式数据进行计数；
聚合计算模块，用于根据计数结果对所述通用格式数据进行聚合计算，生成聚合计算结果；
交互模块，用于根据所述聚合计算结果监测用户行为，执行交互操作。
7.根据权利要求6所述的大数据的处理装置，其特征在于，所述交互模块包括：
计数统计子模块，用于根据所述聚合计算结果检测所述用户行为的数量是否达到预设阈值；
交互动作执行子模块，如果所述用户行为的数量达到所述预设阈值，所述交互动作执行子模块用于对被执行对象发起交互动作。
8.根据权利要求6所述的大数据的处理装置，其特征在于，还包括：
请求信息获取模块，用于获取用户输入的请求信息；
数据下载模块，用于根据所述请求信息从数据共享平台中下载预设的数据处理流程和/或预设机器学习算法。
9.根据权利要求8所述的大数据的处理装置，其特征在于，还包括：
第一判断模块，用于判断是否获取到数据处理通知信息；
配置模块，如果获取到所述数据处理通知信息，所述配置模块使用所述预设的数据处理流程和/或预设机器学习算法处理所述数据处理通知信息中的数据，根据处理后的数据配置所述用户端的用户数据及应用场景。
10.根据权利要求6所述的大数据的处理装置，其特征在于，所述数据解码模块具体用于：
使用flume*或kafka*技术解码所述大数据流，将所述大数据流解码为所述通用格式数据。
11.一种大数据处理设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如权利要求1-5中任一项所述的大数据的处理方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如权利要求1-5中任一项所述的大数据的处理方法。
CN201910272512.6A 2019-01-15 2019-04-04 大数据的处理方法、装置、设备及计算机可读存储介质 Pending CN110134711A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910037309 2019-01-15
CN2019100373090 2019-01-15

Publications (1)

Publication Number Publication Date
CN110134711A true CN110134711A (zh) 2019-08-16

Family

ID=67569442

Family Applications (5)

Application Number Title Priority Date Filing Date
CN201910272512.6A Pending CN110134711A (zh) 2019-01-15 2019-04-04 大数据的处理方法、装置、设备及计算机可读存储介质
CN201910273168.2A Pending CN110188144A (zh) 2019-01-15 2019-04-04 一种用户数据数字化处理方法、装置及设备
CN201910273174.8A Pending CN110175281A (zh) 2019-01-15 2019-04-04 一种用户数据处理、交互方法、装置及***
CN201910274370.7A Pending CN110188264A (zh) 2019-01-15 2019-04-04 一种用户数据交互方法及装置
CN201910274466.3A Pending CN110196933A (zh) 2019-01-15 2019-04-04 一种用户数据标签处理方法及装置

Family Applications After (4)

Application Number Title Priority Date Filing Date
CN201910273168.2A Pending CN110188144A (zh) 2019-01-15 2019-04-04 一种用户数据数字化处理方法、装置及设备
CN201910273174.8A Pending CN110175281A (zh) 2019-01-15 2019-04-04 一种用户数据处理、交互方法、装置及***
CN201910274370.7A Pending CN110188264A (zh) 2019-01-15 2019-04-04 一种用户数据交互方法及装置
CN201910274466.3A Pending CN110196933A (zh) 2019-01-15 2019-04-04 一种用户数据标签处理方法及装置

Country Status (1)

Country Link
CN (5) CN110134711A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114520815A (zh) * 2021-12-31 2022-05-20 乐爱创新(北京)科技有限公司 一种水环境大数据的处理方法、装置、设备和存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046382B (zh) * 2019-12-30 2024-04-02 武汉英迈信息科技有限公司 数据库审计方法、设备、存储介质及装置
CN111241081A (zh) * 2020-01-09 2020-06-05 杭州涂鸦信息技术有限公司 Iot平台数据收集方法及***、可读存储介质、计算机设备
CN111291267B (zh) * 2020-02-17 2024-04-12 中国农业银行股份有限公司 App用户行为分析方法及装置
CN112073367B (zh) * 2020-07-28 2022-12-09 智维云图(上海)智能科技有限公司 一种可视化的消防物联网数据的协议解析方法及***
CN112184103A (zh) * 2020-09-15 2021-01-05 苏州牧星智能科技有限公司 一种订单处理方法、装置及***
CN112287015B (zh) * 2020-10-14 2024-03-01 北京易观数智科技股份有限公司 画像生成***及其方法、电子设备及存储介质
CN112632597A (zh) * 2020-12-08 2021-04-09 国家计算机网络与信息安全管理中心 一种数据脱敏方法、装置可读存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504099A (zh) * 2015-09-07 2017-03-15 国家计算机网络与信息安全管理中心 一种构建用户画像的***
CN106528851A (zh) * 2016-11-24 2017-03-22 腾讯科技（深圳）有限公司 一种智能推荐方法及装置
CN107590224B (zh) * 2017-09-04 2021-11-30 北京京东尚科信息技术有限公司 基于大数据的用户偏好分析方法与装置
CN108415952B (zh) * 2018-02-02 2020-10-16 北京腾云天下科技有限公司 用户数据存储方法、标签计算方法及计算设备
CN108764663B (zh) * 2018-05-15 2020-10-16 广东电网有限责任公司信息中心 一种电力客户画像生成管理的方法及***

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114520815A (zh) * 2021-12-31 2022-05-20 乐爱创新(北京)科技有限公司 一种水环境大数据的处理方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN110196933A (zh) 2019-09-03
CN110188144A (zh) 2019-08-30
CN110188264A (zh) 2019-08-30
CN110175281A (zh) 2019-08-27

Similar Documents

Publication Publication Date Title
CN110134711A (zh) 大数据的处理方法、装置、设备及计算机可读存储介质
WO2020037918A1 (zh) 基于预测模型的风险控制策略的确定方法及相关装置
CN109067890B (zh) 一种基于docker容器的CDN节点边缘计算***
CN103403699B (zh) 估算流数据库应用中的负荷削减数据的***和方法
CN109709811A (zh) 一种面向智能制造的边缘计算控制器及其工作方法
CN106355319A (zh) 一种安全风险评估***和方法
CN107370806A (zh) Http状态码监控方法、装置、存储介质和电子设备
CN109685089A (zh) 评估模型性能的***及方法
CN108737243A (zh) 会话消息质检方法及装置
CN110225104A (zh) 数据获取方法、装置及终端设备
WO2017071341A1 (zh) 一种应用程序编程接口api的分享方法和装置
CN108255936A (zh) 一种网页的编辑方法、***及编辑器
CN108985461A (zh) 一种自主机器学习的方法、装置和终端设备
CN110781180A (zh) 一种数据筛选方法和数据筛选装置
CN111181757A (zh) 信息安全风险预测方法、装置以及计算设备、存储介质
CN107231647B (zh) 网络检测方法、网络检测装置及智能终端
CN112528108B (zh) 一种模型训练***、模型训练中梯度聚合的方法及装置
CN109992957A (zh) 模板化计算的方法、装置和***
CN107276856B (zh) 网络检测方法、网络检测装置及智能终端
CN107332739B (zh) 网络检测方法、网络检测装置及智能终端
CN116843395A (zh) 一种业务***的告警分级方法、装置、设备及存储介质
CN107360059B (zh) 网络检测方法、网络检测装置及智能终端
CN115480843A (zh) 业务处理方法、装置、电子设备及非易失性存储介质
CN107294812B (zh) 网络检测方法、网络检测装置及智能终端
CN109685628A (zh) 信息共享装置及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination