CN110727532B - 一种数据修复方法、电子设备及存储介质 - Google Patents
一种数据修复方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN110727532B CN110727532B CN201910914112.0A CN201910914112A CN110727532B CN 110727532 B CN110727532 B CN 110727532B CN 201910914112 A CN201910914112 A CN 201910914112A CN 110727532 B CN110727532 B CN 110727532B
- Authority
- CN
- China
- Prior art keywords
- incomplete information
- information
- data
- incomplete
- storing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000008439 repair process Effects 0.000 claims abstract description 37
- 238000005516 engineering process Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000004364 calculation method Methods 0.000 claims abstract description 9
- 230000006399 behavior Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0793—Remedial or corrective actions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/548—Queue
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种数据修复方法、电子设备及存储介质，该方法包括：将由Flume采集到的残缺信息数据发送到Kafka消息队列，通过SparkStreaming对所述残缺信息进行修复处理；将修复完成的残缺信息存储到Elasticsearch集群，将未修复的残缺信息存储到HDFS集群；通过图计算关联技术对HDFS集群中的未修复的残缺信息进行修复提取，并将修复提取后的残缺信息存储至Redis数据库。通过该方案解决残缺数据修复效率低的问题，有效提高数据修复效率，保障海量数据实时修复处理。
Description
技术领域
本发明涉及信息安全领域，尤其涉及一种数据修复方法、电子设备及存储介质。
背景技术
对于企业级应用，常需要具备应对海量的数据访问处理能力，除了对用户请求做出实时反馈外，还需要获取用户的行为数据以便进行存储分析。然而，海量的用户访问数据一般行为数据条目较多，服务器端每次进行捕捉时行为数据要素信息不全，导致后续对缺失字段值的数据条目进行整合变得十分困难。
目前，已有的对不完整数据处理方式是将采集的行为数据放入Elasticsearch集群，通过遍历集群进行检索整合，但由于集群数据量庞大，且Elasticsearch集群在***中承担着数据的查询、删除等任务，因而基于Elasticsearch集群的用户行为数据修复处理效率会非常低。
发明内容
有鉴于此，本发明实施例提供了一种数据修复方法、电子设备及存储介质，以解决基于Elasticsearch集群遍历残缺数据修复效率低的问题。
在本发明实施例的第一方面，提供了一种方法，包括：
将由Flume采集到的残缺信息数据发送到Kafka消息队列，通过SparkStreaming对所述残缺信息进行修复处理；
将修复完成的残缺信息存储到Elasticsearch集群，将未修复的残缺信息存储到HDFS集群；
通过图计算关联技术对HDFS集群中的未修复的残缺信息进行修复提取，并将修复提取后的残缺信息存储至Redis数据库。
在本发明实施例的第二方面，提供了一种电子设备，包括：
第一修复模块，用于将由Flume采集到的残缺信息数据发送到Kafka消息队列，通过SparkStreaming对所述残缺信息进行修复处理；
存储模块，用于将修复完成的残缺信息存储到Elasticsearch集群，将未修复的残缺信息存储到HDFS集群；
第二修复模块，用于通过图计算关联技术对HDFS集群中的未修复的残缺信息进行修复提取，并将修复提取后的残缺信息存储至Redis数据库。
在本发明实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例第一方面所述方法的步骤。
在本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例第一方面提供的所述方法的步骤。
本发明实施例中，将由Flume采集的残缺信息发送到Kafka消息队列，通过SparkStreaming对残缺信息进行修复处理，并将修复好的数据存储至Elasticsearch集群，将未修复数据存储到HDFS集群，通过图计算关联技术对未修复数据进行修复，然后存储至Redis数据库，从而解决了残缺的用户行为数据修复效率低的问题，有效提高了数据修复效率，保障对用户身份不完整要素数据的实时处理，方便根据完整的要素数据对用户身份进行确认。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见地，下面描述的附图仅仅是本发明的一些实施例，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他附图。
图1为本发明的一个实施例提供的数据修复方法的流程示意图；
图2为本发明的一个实施例提供的数据修复方法的另一流程示意图；
图3为本发明的一个实施例提供的数据修复电子设备的结构示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明的说明书或权利要求书及上述附图中的术语“包括”以及其他相近意思表述，意指覆盖不排他的包含，如包含一系列步骤或单元的过程、方法或***、设备没有限定于已列出的步骤或单元。
针对海量网络访问数据中，可能存在数据要素不完整的问题，如某一要素对应字段值丢失，对于缺失的数据可以影响对用户身份(终端设备的身份)的认定。通过数据修复可以填充缺失部分数据，方便服务端根据修复后的数据进行用户身份的识别、分析。
请参阅图1，本发明实施例提供的一种数据修复方法的流程示意图，包括：
S101、将由Flume采集到的残缺信息数据发送到Kafka消息队列，通过SparkStreaming对所述残缺信息进行修复处理；
所述Flume可用于分布式的采集海量日志采集，通过定制各类数据发送方收集数据。用户端将网络访问数据发送至服务器后，可以基于Flume将各服务器中的日志信息收集。所述Kafka消息队列可以用来处理海量日志，实现消息生产与消费分离。在服务器端采集的海量日志中存在有用户身份信息，如IP、端口号、操作行为等，用户访问信息或身份信息中包含有残缺信息，即不完整的身份信息或访问信息。通过Kafka消息队列生成残缺信息修复任务，SparkStreaming可以对修复任务进行处理。所述SparkStreaming为一种流处理框架，可以对残缺消息进行批处理，修复填充残缺的元素。
可选的，根据Redis数据库已有的完整信息对所述残缺信息中残缺条目进行填充修复。在Redis数据库中存储有已修复的完整信息及捕捉完整的信息，根据当前残缺信息与完整信息的键值关系，比对后提取完整信息条目填充残缺信息。
优选的，基于Redis的残缺信息修复包括实施修复和离线修复，实时修复根据Redis中数据对残缺信息进行字段填充，离线修复根据获取到的完整身份信息数据，将需要修复的特定字段作为键，对应字段作为值，形成键值关联数据串，可以提高修复效率，同时减少内存占用。
S102、将修复完成的残缺信息存储到Elasticsearch集群，将未修复的残缺信息存储到HDFS集群；
经过SparkStreaming处理后的数据可以分为两部分：未修复的残缺信息和修复好的残缺信息。SparkStreaming为一个对实时数据流处理的高通量流式处理***，可以对多种数据源(如Flume、Kafk)进行类似Map、Reduce等处理，保存至外部文件***或数据库。所述Elasticsearch集群和HDFS集群均为外部的文件存储***，其中，Elasticsearch集群提供分布式实时的全文搜索引擎，HDFS集群为高容错、高吞吐的分布式文件***。
示例性的，以数据流中的一条残缺数据为例,获取到该残缺数据中的特定字段且含有数据值的字段作为Redis的key获取对应的value值,拿到对应的value值填充该条数据,将完成填充后的数据存储到Elasticsearch集群,如果没有获取到对应的value值,则将该条数据存储到HDFS的数据文件中。
将修复完成的数据存储至Elasticsearch集群，可以方便数据获取与分析，将未修复的存储至HDFS集群方便进行离线修复。
S103、通过图计算关联技术对HDFS集群中的未修复的残缺信息进行修复提取，并将修复提取后的残缺信息存储至Redis数据库。
所述图计算关联技术即基于对象间的关联关系，通过顶点和边的数据模型求解特定问题。对于HDFS集群中未修复的残缺信息，通过图计算关联技术进行求解，具体的，利用关联修复方式获取HDFS中历史完整条目，对当前的残缺信息进行修复，修复后可按键值对应关系存储至Redis数据库，并将Redis数据库中已修复完成的数据存储至Elasticsearch集群。
其中，对于HDFS集群中已修复完成的数据可以存储至Elasticsearch集群，为未修复成的数据追加至原数据文件中。
可选的，基于关联修复获取HDFS集群中历史数据，并提取所述历史数据中的可用信息，根据所述可用信息与所述残缺信息对应的关系，修复所述残缺信息，并按键值关系存储至Redis数据库。
优选的，根据Elasticsearch集群中修复完成的残缺信息及HDFS集群中修复提取后的残缺信息，获取用户操作行为并对终端用户身份进行分析识别。
在本发明另一个实施例中，如图2所示，示出了基于图计算关联技术修复残缺信息过程：
具体的，在S201中从HDFS中获取历史的残缺数据即源数据，假设源数据中开头第一个字段为ID,第二、三、四个字段为特定身份字段，可记作A,B、C，这四个字段中用`\N`代表残缺字段,即需要进行修复填充。在S202中根据源数据构建图的顶点数据和边数据,顶点数据的形式为(vertexId,vd),边的数据形式为Edge(srcId,dstId,0)，其中，顶点数据vertexId是根据原始数据每行的特定身份字段的非残缺值字段的哈希值得到，vd是非残缺值字段对应的信息，边数据srcId和dstId是由三个特定身份字段中的两个非残缺值字段的哈希值组成。在S203中基于顶点数据和边数据得到连通图顶点数据(vertexId,minVertexId)，其中，vertexId是连通图的某一顶点的vertexId，minVertexId是连通图中与该顶点连接的最小顶点的vertexId。基于原顶点数据和连通图顶点数据join整合后，数据形式表示为(minVertexId,attr)，其中，attr是最小顶点对应属性。在S204中将整合后的数据通过reduceByKey填充得数据形式为(minVertexId,三个特定字段值)的残缺数据中。经过滤提取的完整条目数据形式是包含三个特定字段的,即满足同时存在三个特定字段的数据都提取出来，进行转换后得到数据形式为(hashId,三个特定字段)的数据,其中，hashId表示特定字段的哈希值。在S205中将转换后得到的数据存入Redis集群，并和顶点数据进行join整合、去重得到完成修复后的数据(即源数据中可以修复全部特定身份字段的数据)，最后根据修复完成的数据ID(第一个字段)和源数据ID(第一个字段)建立差集整合得到未修复的数据(即未能修复残缺特定字段的数据)。
本实施例提供的方法，针对捕捉的用户信息要素不全的问题，对残缺的身份信息数据按预定规则进行实时修复整合，填充残缺的用户身份信息条目，保障数据的完整并实现实时存储，基于完整的用户身份信息可以对终端用户进行识别、分析，同时能准确画像。
应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定，
图2为本发明实施例一个提供的一种数据修复的电子设备的结构示意图，该电子设备包括：
第一修复模块210，用于将由Flume采集到的残缺信息数据发送到Kafka消息队列，通过SparkStreaming对所述残缺信息进行修复处理；
可选的，所述通过SparkStreaming对所述残缺信息进行修复处理具体为：
根据Redis数据库已有的完整信息对所述残缺信息中残缺条目进行填充修复。
存储模块220，用于将修复完成的残缺信息存储到Elasticsearch集群，将未修复的残缺信息存储到HDFS集群；
第二修复模块230，用于通过图计算关联技术对HDFS集群中的未修复的残缺信息进行修复提取，并将修复提取后的残缺信息存储至Redis数据库。
可选的，所述通过图计算关联技术对HDFS集群中的未修复的残缺信息进行修复提取包括：
基于关联修复获取HDFS集群中历史数据，并提取所述历史数据中的可用信息，根据所述可用信息与所述残缺信息对应的关系，修复所述残缺信息，并按键值关系存储至Redis数据库。
可选的，所述第二修复模块还包括：
分析模块，用于根据Elasticsearch集群中修复完成的残缺信息及HDFS集群中修复提取后的残缺信息，获取用户操作行为并对终端用户身份进行分析识别。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括步骤S101至S103，所述的存储介质包括如：ROM/RAM、磁碟、光盘等。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (6)
1.一种数据修复方法，其特征在于，包括：
将由Flume采集到的残缺信息数据发送到Kafka消息队列，通过SparkStreaming对所述残缺信息进行修复处理；
将修复完成的残缺信息存储到Elasticsearch集群，将未修复的残缺信息存储到HDFS集群；
通过图计算关联技术对HDFS集群中的未修复的残缺信息进行修复提取，并将修复提取后的残缺信息存储至Redis数据库；
所述通过图计算关联技术对HDFS集群中的未修复的残缺信息进行修复提取，并将修复提取后的残缺信息存储至Redis数据库，包括：
基于关联修复获取HDFS集群中历史数据，并提取所述历史数据中的可用信息，根据所述可用信息与所述残缺信息对应的关系，修复所述残缺信息，并按键值关系存储至Redis数据库，根据Elasticsearch集群中修复完成的残缺信息及HDFS集群中修复提取后的残缺信息，获取用户操作行为并对终端用户身份进行分析识别。
2.根据权利要求1所述的方法，其特征在于，所述通过SparkStreaming对所述残缺信息进行修复处理具体为：
根据Redis数据库已有的完整信息对所述残缺信息中残缺条目进行填充修复。
3.一种电子设备，其特征在于，包括：
第一修复模块，用于将由Flume采集到的残缺信息数据发送到Kafka消息队列，通过SparkStreaming对所述残缺信息进行修复处理；
存储模块，用于将修复完成的残缺信息存储到Elasticsearch集群，将未修复的残缺信息存储到HDFS集群；
第二修复模块，用于通过图计算关联技术对HDFS集群中的未修复的残缺信息进行修复提取，并将修复提取后的残缺信息存储至Redis数据库，
所述通过图计算关联技术对HDFS集群中的未修复的残缺信息进行修复提取，并将修复提取后的残缺信息存储至Redis数据库，包括：
基于关联修复获取HDFS集群中历史数据，并提取所述历史数据中的可用信息，根据所述可用信息与所述残缺信息对应的关系，修复所述残缺信息，并按键值关系存储至Redis数据库，根据Elasticsearch集群中修复完成的残缺信息及HDFS集群中修复提取后的残缺信息，获取用户操作行为并对终端用户身份进行分析识别。
4.根据权利要求3所述的电子设备，其特征在于，所述通过SparkStreaming对所述残缺信息进行修复处理具体为：
根据Redis数据库已有的完整信息对所述残缺信息中残缺条目进行填充修复。
5.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至2中任一项所述数据修复方法的步骤。
6.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至2任一项所述数据修复方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910914112.0A CN110727532B (zh) | 2019-09-25 | 2019-09-25 | 一种数据修复方法、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910914112.0A CN110727532B (zh) | 2019-09-25 | 2019-09-25 | 一种数据修复方法、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110727532A CN110727532A (zh) | 2020-01-24 |
| CN110727532B true CN110727532B (zh) | 2023-07-28 |
Family
ID=69219446
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910914112.0A Active CN110727532B (zh) | 2019-09-25 | 2019-09-25 | 一种数据修复方法、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110727532B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111475471B (zh) * | 2020-04-03 | 2020-12-15 | 深圳市欧蒙设计有限公司 | 一种用于工业设计资源共享的信息*** |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2886750B1 (fr) * | 2005-06-06 | 2007-09-07 | Boozter Technologies Sarl | Formant d'enregistrement de donnees et procedes l'utilisant. |
| CN101540755B (zh) * | 2008-03-18 | 2013-03-13 | 华为技术有限公司 | 一种修复数据的方法、***和装置 |
| US20100232654A1 (en) * | 2009-03-11 | 2010-09-16 | Harris Corporation | Method for reconstructing iris scans through novel inpainting techniques and mosaicing of partial collections |
| US11232108B2 (en) * | 2016-07-05 | 2022-01-25 | Sedarius Tekara Perrotta | Method for managing data from different sources into a unified searchable data structure |
| CN108197222B (zh) * | 2017-12-28 | 2020-03-24 | 北京中关村科金技术有限公司 | 一种异常流数据的修复方法、***及相关装置 |
| CN108536845A (zh) * | 2018-04-16 | 2018-09-14 | 中国刑事警察学院 | 残缺数据库文件检验方法 |
-
2019
- 2019-09-25 CN CN201910914112.0A patent/CN110727532B/zh active Active
Non-Patent Citations (1)
| Title |
|---|
| 基于机器学习算法的建筑能耗监测数据异常识别及修复方法;吴蔚沁;;建设科技(09);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110727532A (zh) | 2020-01-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109034993B (zh) | 对账方法、设备、***及计算机可读存储介质 | |
| CN108628929B (zh) | 用于智能存档和分析的方法和装置 | |
| US20210211471A1 (en) | Highly scalable four-dimensional web-rendering geospatial data system for simulated worlds | |
| CN109558400B (zh) | 数据处理方法、装置、设备和存储介质 | |
| Yang et al. | A system architecture for manufacturing process analysis based on big data and process mining techniques | |
| US10860962B2 (en) | System for fully integrated capture, and analysis of business information resulting in predictive decision making and simulation | |
| CN108073625B (zh) | 用于元数据信息管理的***及方法 | |
| CN104331435A (zh) | 一种基于Hadoop大数据平台的低影响高效率的海量数据抽取方法 | |
| CN111400288A (zh) | 数据质量检查方法及*** | |
| CN112749266A (zh) | 一种工业问答方法、装置、***、设备及存储介质 | |
| CN105072196A (zh) | 分布式数据包存储、回溯方法及*** | |
| CN112070416A (zh) | 基于ai的rpa流程的生成方法、装置、设备及介质 | |
| CN106407429A (zh) | 文件追踪方法、装置及*** | |
| Elagib et al. | Big data analysis solutions using MapReduce framework | |
| CN104796300A (zh) | 一种数据包特征提取方法及装置 | |
| CN113127307A (zh) | 溯源请求的处理方法、相关装置、***及存储介质 | |
| CN107871055B (zh) | 一种数据分析方法和装置 | |
| CN110727532B (zh) | 一种数据修复方法、电子设备及存储介质 | |
| US11568344B2 (en) | Systems and methods for automated pattern detection in service tickets | |
| CN110019152A (zh) | 一种大数据清洗方法 | |
| CN116303379A (zh) | 一种数据处理方法、***及计算机储存介质 | |
| CN106599244B (zh) | 通用的原始日志清洗装置及方法 | |
| CN110781232A (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
| CN106469086B (zh) | 事件处理方法和装置 | |
| CN112070487A (zh) | 基于ai的rpa流程的生成方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 430000, 1301, 13th Floor, Building 2, Phase I, Guanggu Optoelectronic Information Industry Innovation and Entrepreneurship Base, No. 2 Huanglongshan South Road, Donghu New Technology Development Zone, Wuhan City, Hubei Province Patentee after: WUHAN UPOWER INFORMATION TECHNOLOGY CO.,LTD. Country or region after: China Address before: 430000, No. 2, 5th Floor, Building 24, Zone 3, 3S Geospatial Information Industry Base, Wuda Science and Technology Park, Donghu Development Zone, Wuhan City, Hubei Province Patentee before: WUHAN UPOWER INFORMATION TECHNOLOGY CO.,LTD. Country or region before: China |
|
| CP03 | Change of name, title or address |