CN113656812A - 一种基于大数据技术的数据管理***和方法 - Google Patents

一种基于大数据技术的数据管理***和方法 Download PDF

Info

Publication number
CN113656812A
CN113656812A CN202110846525.7A CN202110846525A CN113656812A CN 113656812 A CN113656812 A CN 113656812A CN 202110846525 A CN202110846525 A CN 202110846525A CN 113656812 A CN113656812 A CN 113656812A
Authority
CN
China
Prior art keywords
data
module
real
time
management system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110846525.7A
Other languages
English (en)
Inventor
胥志鹏
陈鑫
周汉唐
曹磊
洪学海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute Of Big Data Cloud Computing Center Of Chinese Academy Shangrao
Original Assignee
Institute Of Big Data Cloud Computing Center Of Chinese Academy Shangrao
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute Of Big Data Cloud Computing Center Of Chinese Academy Shangrao filed Critical Institute Of Big Data Cloud Computing Center Of Chinese Academy Shangrao
Priority to CN202110846525.7A priority Critical patent/CN113656812A/zh
Publication of CN113656812A publication Critical patent/CN113656812A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种基于大数据技术的数据管理***和方法，包括：数据采集模块，用于读取数据库后台日志、数据库环境变量信息及读取***视图并根据业务数据的实时变化，通过数据解析程式分析后台日志和数据库***视图，通过数据采集需求业务表分析出实时增量数据；数据转置模块，用于按照所述数据采集模块配置的模板将所述实时增量数据接入到大数据环境；源端元数据感知模块，用于当所述实时增量数据的表结构发生变化时，自动感知到表结构的变化，调整数据消息的版本号，通知下游的***；监控预警模块，用于查看业务数据流的实时流量数量及数据延迟的情况，当数据流量发生异常或数据延迟较大时，设定预警策略；本申请能解决数据生产过程中质量问题。

Description

一种基于大数据技术的数据管理***和方法
技术领域
本发明涉及大数据技术领域，尤其涉及一种基于大数据技术的数据管理***和方法。
背景技术
目前大数据商用采集数据软件少，且都还存在一些不足，擅长于日志收集与擅长于RDBMS收集工具没有有效的统一整合并且时效性较差，没有统一的管理平台，而随着存量数据的增多，追踪数据的血缘关系，元数据的分析变得异常困难，而数据生产的过程中部可避免的会发生数据质量的问题，数据治理难度加大，大数据开发效率不高。数据与数据直接的血缘关系管理也越发困难，数据管理平台的主要目标是统一标准化企业内部数据的采集，转置，监控，元数据管理和数据分析管理，解决数据生产过程中容易出现数据质量问题。此外企业大数据落地存在困难,这些将阻碍企业数字化创新,不利于产业数字化升级。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于大数据技术的数据管理***和方法，能帮助企业构建数据采集平台的应用，并且提高开发效率，解决数据生产过程中的质量问题。
第一方面，本申请提供一种基于大数据技术的数据管理***，该***包括：
数据采集模块，用于读取数据库后台日志、数据库环境变量信息及读取***视图并根据业务数据的实时变化，通过数据解析程式分析后台日志和数据库***视图，通过数据采集需求业务表分析出实时增量数据；
数据转置模块，用于按照所述数据采集模块配置的模板将所述实时增量数据接入到大数据环境；
源端元数据感知模块，用于当所述实时增量数据的表结构发生变化时，自动感知到表结构的变化，调整数据消息的版本号，通知下游的***；
监控预警模块，用于查看业务数据流的实时流量数量及数据延迟的情况，当数据流量发生异常或数据延迟较大时，设定预警策略。
在一个可选的实现方式中，该***还包括登录模块，用于提供多租户管理、管理员有添加账号密码的权限，所述添加的账号和密码可供业务人员使用，所述业务人员通过所述添加的账号和密码登录到所述数据管理***。
在一个可选的实现方式中，该***还包括Web管理模块，所述Web管理模块用于以web***的形式将所述登录模块、数据采集模块、数据转置模块、源端元数据感知模块、数据脱敏模块，监控预警模块统一管理。
在一个可选的实现方式中，所述数据采集模块还用于对数据进行加密，形成加密数据文件；其中，根据数据采集需求业务表的业务量需求，如果业务需要全量数据采集，则在加密数据文件中开启程序全量采集配置，进行全量数据采集，采集完成后自动进行增量数据采集。
在一个可选的实现方式中，所述数据转置模块基于实时流高可用架构将实时增量数据导入到大数据环境。
在一个可选的实现方式中，数据脱敏模块，用于对所述实时增量数据中隐私敏感的数据进行实时的脱敏，所述隐私敏感的数据包括但不限于身份证、***金额、姓名、账号。
在一个可选的实现方式中，所述脱敏包括：直接替换、脱敏加盐、正则表达式以及支持开发人员自定义开发jar包个性化脱敏。
在一个可选的实现方式中，所述监控预警模块还用于当数据流量发生异常或数据延迟较大时，通过所述预警策略发送邮件或者短信报警并及时通知单责任人。
第二方面，本申请实施列提供了一种基于大数据技术的数据管理方法，包括步骤：
读取数据库后台日志、数据库环境变量信息及读取***视图并根据业务数据的实时变化，通过数据解析程式分析后台日志和数据库***视图，通过数据采集需求业务表分析出实时增量数据；
按照所述数据采集模块配置的模板将所述实时增量数据接入到大数据环境；当变化，调整数据消息的版本号，通知下游的***；
查看业务数据流的实时流量数量及数据延迟的情况，当数据流量发生异常或数据延迟较大时，设定预警策略。
第三方面，本申请实施例提供了一中计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第二方面所述的数据管理方法。
本发明提供一种基于大数据技术的数据管理***帮助企业构建数据采集平台应用，提高开发效率，帮助企业一站式解决大数据落地的难题，助力企业数字化创新，推动产业数字化升级，解决数据生产过程中的质量问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为所述实施例中一种基于大数据技术的数据管理***的框架示意图；
图2为所述实施例中一种基于大数据技术的数据管理***的登录界面示意图；
图3为所述实施例中一种基于大数据技术的数据管理方法流程图；
图4为所述实施例中一种基于大数据技术的数据管理***的电子设备示例框图；
图5为所述实施例中一种基于大数据技术的数据管理***的计算机可读存储介质。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见图1，图1是本发明实施例中提供的一种基于大数据技术的数据管理***100示意图，该数据管理***包括登录模块101、数据采集模块102、数据转置模块103、源端元数据感知模块104、数据脱敏模块105、监控预警模块106、 web管理模块107。
具体而言，登录模块101用于***管理员可以通过用户名和密码登录到数据采集平台。
通过利用由服务使用的相同登录过程，用户不需要进行不同于服务登录过程的单独登录过程以便登录到应用程序。一旦用户登录到应用程序中，所述应用程序便可代表用户执行关于服务的一或多个操作。所述操作可使用用户已经由“共享”登录过程而在应用程序内与其相关联的身份执行。
数据采集模块102用于读取数据库后台日志、数据库环境变量信息及读取***视图并根据业务数据的实时变化，通过数据解析程式分析后台日志和数据库***视图，通过数据采集需求业务表分析出实时增量数据，并且支持关系型数据库。
数据转置模块103用于大数据处理框架的流式计算方式，可对增量及全量的数据进行同步。同时还可以将实时增量数据接入到大数据环境。
源端元数据感知模块104用于数据源的表结构发生变化时，会自动感知到表结构的变化，调整数据消息的版本号，并通过kafka消息和邮件通知下游的***。
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java 编写。Kafka是一种高吞吐量的分布式发布订阅消息***，它可以处理消费者在网站中的所有动作流数据。这种动作(网页浏览，搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop一样的日志数据和离线分析***，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。
数据脱敏模块105用于身份证，***金额，姓名，账号对于数据消息中比较隐私敏感的数据进行实时的脱敏。数据脱敏是指对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护。借助数据脱敏技术，屏蔽敏感信息，并使屏蔽的信息保留其原始数据格式和属性，以确保***或应用程序可在使用脱敏数据的开发与测试、数据分析、数据试算过程中正常运行。其中数据脱敏可以直接替换，脱敏加盐，正则表达式，并且支持开发人员自定义开发jar包个性化脱敏。
监控预警模块106用于可以查看数据流的实时流量数量及数据延迟的情况，当数据流量发生异常，或数据延迟较大时，可以配置规则设定预警策略，将发送邮件或者短信报警并及时通知单责任人。
Web管理模块107用于web***的形式将登录模块，数据采集模块，数据转置模块，源端元数据动知模块，数据脱敏模块，监控预警模块管理。
请参见图2是本发明实施例中提供的一种基于大数据技术的数据管理***的登录方法参考示意图，如图2所示，用户或管理员可以通过用户名201和密码202的方式登录上大数据数据管理***平台进行操作，同时也可以让一些新用户通过注册203用户名和密码来登录204到大数据管理***平台进行操作。
可选的，提供的多租户管理不仅能够管理各个租户的资源，还能够向租户提供各种服务，而租户要想正常使用该租户管理提供的各项服务，首先需申请资源，例如：存储资源、计算资源等等，成功申请资源后才能正常使用租户管理提供的各项服务。基于上述情况，前述资源信息可以是目标租户请求的存储资源的资源量、计算资源的资源量等等信息，例如，数据库资源的资源量等等信息。
请参见图3是本发明实施例中提供的一种基于大数据技术的数据管理方法流程图，如图3所示，一种基于大数据技术的数据管理方法步骤如下：
步骤301：读取数据库后台日志、数据库环境变量信息及读取***视图并根据业务数据的实时变化，通过数据解析程式分析后台日志和数据库***视图，通过数据采集需求业务表分析出实时增量数据，，如果业务需要全量数据采集，则在加密数据文件中开启程序全量采集配置，进行全量数据采集，采集完成后自动进行增量数据采集，既能满足数据采集的需求，达到实时增量的数据备份，时延在秒级，又能为生产数据库提供数据级的备份。
步骤302：按照所述数据采集模块配置的模板将所述实时增量数据接入到大数据环境；当变化，调整数据消息的版本号，通知下游的***；
步骤303：查看业务数据流的实时流量数量及数据延迟的情况，当数据流量发生异常或数据延迟较大时，设定预警策略。当数据流量发生异常，或数据延迟较大时，可通过所述预警策略，将发送邮件或者短信报警并及时通知单责任人。
下面参照图4来描述根据本发明的这种实施方式的电子设备400。图4显示的电子设备400仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。如图4所示，电子设备400以通用计算设备的形式表现。电子设备 400的组件可以包括但不限于：上述至少一个处理单元410、上述至少一个存储单元420、连接不同***组件(包括存储单元420和处理单元410)的总线430。其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元410 执行，使得所述处理单元410执行本说明书上述“实施例方法”部分中描述的根据本发明各种示例性实施方式的步骤。存储单元420可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)421和/或高速缓存存储单元 422，还可以进一步包括只读存储单元(ROM)423。存储单元420还可以包括具有一组(至少一个)程序模块425的程序/实用工具424，这样的程序模块425 包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线430可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、***总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。电子设备400也可以与一个或多个外部设备 500(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备400交互的设备通信，和/或与使得该电子设备400能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口450进行。并且，电子设备400还可以通过网络适配器460与一个或者多个网络(例如局域网(LAN)，广域网(WAN) 和/或公共网络，例如因特网)通信。如图所示，网络适配器460通过总线430 与电子设备400的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备400使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
根据本公开的另一个方面，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
如图5所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品500，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子 (非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
该大数据管理平台着眼于大数据管理与应用开发、智能可视化分析等层面, 帮助企业一站式解决大数据落地的难题,助力企业数字化创新,推动产业数字化升级。其具有如下功能：
对于该大数据管理平台的工作站环境来说,分为硬件环境和软件环境。其中, 对于硬件环境来说,工作可以选择普通的PC电脑,基本配置为:1)CPU:Intel酷睿 i3以上:2)内存:1G以上:3)硬盘:100G以上:4)网卡:MODEM或10M/100M网卡。对于软件环境来说,工作站电脑内必须安装以下软件:1)Windows 2003/XP/7/8/8.1；2)IE 8.0以上(建议谷歌浏览器，要打开服务器操作才需要)。
综上所述，本实施例中一种基于大数据技术的数据管理***，通过设置的登录模块，数据采集模块，数据转置模块，源端元数据感知模块，数据脱敏模块，监控预警模块，Web管理模块。采用本发明实施例，能帮助企业构建数据采集平台应用，提高开发效率，帮助企业一站式解决大数据落地的难题、助力企业数字化创新、推动产业数字化升级解决数据生产过程中的质量问题。
以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (10)

1.一种基于大数据技术的数据管理***，其特征在于，包括：
数据采集模块，用于读取数据库后台日志、数据库环境变量信息及读取***视图并根据业务数据的实时变化，通过数据解析程式分析后台日志和数据库***视图，通过数据采集需求业务表分析出实时增量数据；
数据转置模块，用于按照所述数据采集模块配置的模板将所述实时增量数据接入到大数据环境；
源端元数据感知模块，用于当所述实时增量数据的表结构发生变化时，自动感知到表结构的变化，调整数据消息的版本号，通知下游的***；
监控预警模块，用于查看业务数据流的实时流量数量及数据延迟的情况，当数据流量发生异常或数据延迟较大时，设定预警策略。
2.根据权利要求1所述的数据管理***，其特征在于，还包括：
登录模块，用于提供多租户管理、管理员有添加账号密码的权限，所述添加的账号和密码可供业务人员使用，所述业务人员通过所述添加的账号和密码登录到所述数据管理***。
3.根据权利要求1所述的数据管理***，其特征在于，还包括：
Web管理模块，所述Web管理模块用于以web***的形式将所述登录模块、数据采集模块、数据转置模块、源端元数据感知模块、数据脱敏模块，监控预警模块统一管理。
4.根据权利要求1所述的数据管理***，其特征在于，所述数据采集模块还用于对数据进行加密，形成加密数据文件；其中，根据数据采集需求业务表的业务量需求，如果业务需要全量数据采集，则在加密数据文件中开启程序全量采集配置，进行全量数据采集，采集完成后自动进行增量数据采集。
5.根据权利要求1所述的数据管理***，其特征在于，所述数据转置模块基于实时流高可用架构将实时增量数据导入到大数据环境。
6.根据权利要求1所述的数据管理***，其特征在于，还包括：
数据脱敏模块，用于对所述实时增量数据中隐私敏感的数据进行实时的脱敏，所述隐私敏感的数据包括但不限于身份证、***金额、姓名、账号。
7.根据权利要求6所述的数据管理***，其特征在于，所述脱敏包括：直接替换、脱敏加盐、正则表达式以及支持开发人员自定义开发jar包个性化脱敏。
8.根据权利要求1至7任一项所述的数据管理***，其特征在于，所述监控预警模块还用于当数据流量发生异常或数据延迟较大时，通过所述预警策略发送邮件或者短信报警并及时通知单责任人。
9.一种基于大数据技术的数据管理方法，其特征在于，包括步骤：
读取数据库后台日志、数据库环境变量信息及读取***视图并根据业务数据的实时变化，通过数据解析程式分析后台日志和数据库***视图，通过数据采集需求业务表分析出实时增量数据；
按照所述数据采集模块配置的模板将所述实时增量数据接入到大数据环境；当变化，调整数据消息的版本号，通知下游的***；
查看业务数据流的实时流量数量及数据延迟的情况，当数据流量发生异常或数据延迟较大时，设定预警策略。
10.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求9所述的数据管理方法。
CN202110846525.7A 2021-07-26 2021-07-26 一种基于大数据技术的数据管理***和方法 Pending CN113656812A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110846525.7A CN113656812A (zh) 2021-07-26 2021-07-26 一种基于大数据技术的数据管理***和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110846525.7A CN113656812A (zh) 2021-07-26 2021-07-26 一种基于大数据技术的数据管理***和方法

Publications (1)

Publication Number Publication Date
CN113656812A true CN113656812A (zh) 2021-11-16

Family

ID=78478705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110846525.7A Pending CN113656812A (zh) 2021-07-26 2021-07-26 一种基于大数据技术的数据管理***和方法

Country Status (1)

Country Link
CN (1) CN113656812A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114500615A (zh) * 2022-04-18 2022-05-13 深圳日晨物联科技有限公司 基于物联传感技术的智能终端

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114500615A (zh) * 2022-04-18 2022-05-13 深圳日晨物联科技有限公司 基于物联传感技术的智能终端

Similar Documents

Publication Publication Date Title
US11449379B2 (en) Root cause and predictive analyses for technical issues of a computing environment
US9418085B1 (en) Automatic table schema generation
US11775276B2 (en) Methods and systems for application integration and macrosystem aware integration
US11748151B1 (en) Systems and methods for editing, assigning, controlling, and monitoring bots that automate tasks, including natural language processing
US10223329B2 (en) Policy based data collection, processing, and negotiation for analytics
CA3059709A1 (en) Risk analysis method, device and computer readable medium
US20220092607A1 (en) Management of programmatic and compliance workflows using robotic process automation
US20210385251A1 (en) System and methods for integrating datasets and automating transformation workflows using a distributed computational graph
CN113157545A (zh) 业务日志的处理方法、装置、设备及存储介质
US11546380B2 (en) System and method for creation and implementation of data processing workflows using a distributed computational graph
US20220405535A1 (en) Data log content assessment using machine learning
CN111200595B (zh) 一种访问容器的权限管理方法、装置和电子设备
US11676158B2 (en) Automatic remediation of non-compliance events
CN113535677B (zh) 数据分析查询管理方法、装置、计算机设备及存储介质
US10002181B2 (en) Real-time tagger
US20160379134A1 (en) Cluster based desktop management services
CN113656812A (zh) 一种基于大数据技术的数据管理***和方法
US11601347B2 (en) Identification of incident required resolution time
US11627193B2 (en) Method and system for tracking application activity data from remote devices and generating a corrective action data structure for the remote devices
CN115033574A (zh) 信息生成方法、信息生成装置、电子设备及存储介质
US20150268986A1 (en) Distributed batch job promotion within enterprise computing environments
CN115760013A (zh) 运维模型的构建方法、装置、电子设备及存储介质
CN114707961A (zh) 基于审批流配置的待审批任务执行方法、装置、设备、介质和程序产品
US20220188674A1 (en) Machine learning classifiers prediction confidence and explanation
CN113449886A (zh) 数据处理方法、处理装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination