CN110489475A - 一种多源异构数据处理方法、***及相关装置 - Google Patents

一种多源异构数据处理方法、***及相关装置 Download PDF

Info

Publication number
CN110489475A
CN110489475A CN201910749404.3A CN201910749404A CN110489475A CN 110489475 A CN110489475 A CN 110489475A CN 201910749404 A CN201910749404 A CN 201910749404A CN 110489475 A CN110489475 A CN 110489475A
Authority
CN
China
Prior art keywords
source heterogeneous
data
heterogeneous data
data processing
pretreatment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910749404.3A
Other languages
English (en)
Other versions
CN110489475B (zh
Inventor
梁哲恒
龙震岳
曾纪钧
张金波
陈晓江
沈伍强
沈桂泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Power Grid Co Ltd
Information Center of Guangdong Power Grid Co Ltd
Original Assignee
Guangdong Power Grid Co Ltd
Information Center of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Power Grid Co Ltd, Information Center of Guangdong Power Grid Co Ltd filed Critical Guangdong Power Grid Co Ltd
Priority to CN201910749404.3A priority Critical patent/CN110489475B/zh
Publication of CN110489475A publication Critical patent/CN110489475A/zh
Application granted granted Critical
Publication of CN110489475B publication Critical patent/CN110489475B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请所提供的一种多源异构数据处理方法，包括：采集目标业务***端的多源异构数据，并建立对应的索引信息；查询预处理构件知识库，并确定预处理构件知识库中与索引信息相似度最高的案例；在预处理流程库中确定案例对应的预处理流程后，依据预处理流程对多源异构数据进行相应的预处理，并将预处理后的多源异构数据发送至终端进行数据处理。该方法查询并确定预处理构件知识库中与索引信息相似度最高的案例；确定案例对应的预处理流程后，依据预处理流程对多源异构数据进行相应的预处理，能够提高多源异构数据的处理效率，进而提高用户体验。本申请还提供一种多源异构数据处理***、服务器集群及计算机可读存储介质，均具有上述有益效果。

Description

一种多源异构数据处理方法、***及相关装置
技术领域
本申请涉及多源异构数据处理领域，特别涉及一种多源异构数据处理方法、***、服务器集群及计算机可读存储介质。
背景技术
在用户为王的当下，用户体验是不少企业的安身立命之根本。提升用户体验的关键点之一就是即时、随时解决用户的问题，为此越来越多的企业在服务软件中增加了“客户服务”等功能模块来随时响应客户需求。客户服务功能模块提出了及时、准确地关键字搜索的业务需求。由于电力企业业务处理复杂，各内部、外部***的架构各异，数据格式的多样，导致相关技术中多源异构数据处理的效率低下，用户体验较差。
因此，如何提高多源异构数据的处理效率，进而提高用户体验是本领域技术人员亟需解决的技术问题。
发明内容
本申请的目的是提供一种多源异构数据处理方法、***、服务器集群及计算机可读存储介质，能够提高多源异构数据的处理效率，进而提高用户体验。
为解决上述技术问题，本申请提供一种多源异构数据处理方法，包括：
采集目标业务***端的多源异构数据，并建立对应的索引信息；
查询预处理构件知识库，并确定所述预处理构件知识库中与所述索引信息相似度最高的案例；
在预处理流程库中确定所述案例对应的预处理流程后，依据所述预处理流程对所述多源异构数据进行相应的预处理，并将预处理后的多源异构数据发送至终端进行数据处理。
优选地，所述将预处理后的多源异构数据发送至终端进行数据处理之后，还包括：
将数据处理后的多源异构数据发送至服务器集群，并依据所述数据处理后的多源异构数据的数据特征进行关系型或非关系型数据存储；
将MongoDB中的GirdFS数据同步到SOLR引擎。
优选地，所述将MongoDB中的GirdFS数据同步到SOLR引擎，包括：
在判断所述GirdFS数据与所述SOLR引擎的同步状态后，将未同步的GirdFS数据进行GirdFS数据读取并转换为字符串格式的GirdFS数据；
将所述字符串格式的GirdFS数据同步到所述SOLR引擎，并更新所述同步状态。
优选地，所述采集目标业务***端的多源异构数据，并建立对应的索引信息，包括：
在采集所述多源异构数据后，对所述多源异构数据的数据类型、数据量大小进行标记得到标记信息，并将所述标记信息作为所述索引信息。
优选地，所述查询预处理构件知识库，并确定所述预处理构件知识库中与所述索引信息相似度最高的案例，包括：
查询所述预处理构件知识库，并依据所述数据类型、所述数据量大小确定所述预处理构件知识库中与所述索引信息相似度最高的所述案例。
优选地，若在所述预处理构件知识库中匹配到所述相似度低于预设阈值的案例，则依据未知结构方式对所述多源异构数据进行处理，并将相应的索引信息、预处理流程分别存储至所述预处理构件知识库、所述预处理流程库。
优选地，该多源异构数据处理方法还包括：
对所述预处理构件知识库、所述预处理流程库执行更新操作。
本申请还提供一种多源异构数据处理***，包括：
索引信息建立模块，用于采集目标业务***端的多源异构数据，并建立对应的索引信息；
案例确定模块，用于查询预处理构件知识库，并确定所述预处理构件知识库中与所述索引信息相似度最高的案例；
预处理模块，用于在预处理流程库中确定所述案例对应的预处理流程后，依据所述预处理流程对所述多源异构数据进行相应的预处理，并将预处理后的多源异构数据发送至终端进行数据处理。
本申请还提供一种服务器集群，包括：
存储器和处理器；其中，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序时实现上述所述的多源异构数据处理方法的步骤。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的多源异构数据处理方法的步骤。
本申请所提供的一种多源异构数据处理方法，包括：采集目标业务***端的多源异构数据，并建立对应的索引信息；查询预处理构件知识库，并确定所述预处理构件知识库中与所述索引信息相似度最高的案例；在预处理流程库中确定所述案例对应的预处理流程后，依据所述预处理流程对所述多源异构数据进行相应的预处理，并将预处理后的多源异构数据发送至终端进行数据处理。
该方法查询预处理构件知识库，并确定所述预处理构件知识库中与所述索引信息相似度最高的案例；在预处理流程库中确定所述案例对应的预处理流程后，依据所述预处理流程对所述多源异构数据进行相应的预处理，能够提高多源异构数据的处理效率，进而提高用户体验。本申请还提供一种多源异构数据处理***、服务器集群及计算机可读存储介质，均具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种多源异构数据处理方法的流程图；
图2为本申请实施例所提供的一种多源异构数据处理***的结构框图。
具体实施方式
本申请的核心是提供一种多源异构数据处理方法，能够提高多源异构数据的处理效率，进而提高用户体验。本申请的另一核心是提供一种多源异构数据处理***、服务器集群及计算机可读存储介质。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在用户为王的当下，用户体验是不少企业的安身立命之根本。提升用户体验的关键点之一就是即时、随时解决用户的问题，为此越来越多的企业在服务软件中增加了“客户服务”等功能模块来随时响应客户需求。客户服务功能模块提出了及时、准确地关键字搜索的业务需求。由于电力企业业务处理复杂，各内部、外部***的架构各异，数据格式的多样，导致相关技术中多源异构数据处理的效率低下，用户体验较差。本申请提供的一种多源异构数据处理方法，能够提高多源异构数据的处理效率，进而提高用户体验。具体请参考图1，图1为本申请实施例所提供的一种多源异构数据处理方法的流程图，该多源异构数据处理方法具体包括：
S101、采集目标业务***端的多源异构数据，并建立对应的索引信息；
本申请实施例对于多源异构数据的采集设备及对应的采集方式均不作具体限定，应由本领域技术人员根据实际情况作出相应的设定。在此对于建立多源异构数据的索引信息也不作具体限定，只要满足需求即可。上述目标业务***端即为一种业务***端，具体需根据实际情况而定。
进一步地，上述采集目标业务***端的多源异构数据，并建立对应的索引信息，通常包括：在采集多源异构数据后，对多源异构数据的数据类型、数据量大小进行标记得到标记信息，并将标记信息作为索引信息。
S102、查询预处理构件知识库，并确定预处理构件知识库中与索引信息相似度最高的案例；
在此对于预处理构件知识库不作具体限定，应由本领域技术人员根据实际情况作出相应的设定，该预处理构件知识库中存储各种索引信息对应的案例。本申请实施例中确定索引信息相似度最高的案例的标准是数值偏差总和最小。
进一步地，上述查询预处理构件知识库，并确定预处理构件知识库中与索引信息相似度最高的案例，通常包括：查询预处理构件知识库，并依据数据类型、数据量大小确定预处理构件知识库中与索引信息相似度最高的案例。
在一个实施例中，若在预处理构件知识库中匹配到相似度低于预设阈值的案例，则依据未知结构方式对多源异构数据进行处理，并将相应的索引信息、预处理流程分别存储至预处理构件知识库、预处理流程库。在此对于预设阈值不作具体限定，应由本领域技术人员根据实际情况作出相应的设定。
S103、在预处理流程库中确定案例对应的预处理流程后，依据预处理流程对多源异构数据进行相应的预处理，并将预处理后的多源异构数据发送至终端进行数据处理。
在此对于预处理流程库不作具体限定，应由本领域技术人员根据实际情况作出相应的设定，该预处理流程库中存储着各种案例对应的预处理流程，进而可以依据预处理流程对多源异构数据进行相应的预处理，并将预处理后的多源异构数据发送至终端进行数据处理。作为优选，整个数据处理中采用微服务方式，并根据业务负载进行横向扩展。
进一步地，上述将预处理后的多源异构数据发送至终端进行数据处理之后，通常还可以包括：将数据处理后的多源异构数据发送至服务器集群，并依据数据处理后的多源异构数据的数据特征进行关系型或非关系型数据存储；将MongoDB中的GirdFS数据同步到SOLR引擎。
SOLR引擎是一个高性能、采用Java5开发，基于Lucene的全文搜索服务器，为世界上许多大的互联网站点的搜索和导航功能提供支持，其具有高可靠性、可扩展性和容错性，可提供分布式索引、复制和负载均衡查询，自动故障转移和恢复、集中配置等优势。MongoDB是由C++语言编写的一个基于分布式文件存储的开源数据库***，其支持松散的数据结构，可存储复杂的数据类型，支持强大的查询语言，可以实现类似关系数据库单表查询的绝大部分功能，且支持对数据建立索引，其具有高性能、易部署、易使用，存储数据方便等特点。
进一步地，上述将MongoDB中的GirdFS数据同步到SOLR引擎，通常包括：在判断GirdFS数据与SOLR引擎的同步状态后，将未同步的GirdFS数据进行GirdFS数据读取并转换为字符串格式的GirdFS数据；将字符串格式的GirdFS数据同步到SOLR引擎，并更新同步状态。采用MongoDB与SOLR结合的方式进行关键字检索，实现了java环境下MongoDB的GirdFS数据与SOLR的自动化同步，提高了检索准确性，提升了用户体验度。本申请实施例可以有效减少处理多源异构数据的时间，并且实现MongoDB与SOLR引擎在大文件下的自动同步，实现在终端上快速处理的有益效果，大大的提高了效率。
进一步地，该多源异构数据处理方法通常还可以包括：对预处理构件知识库、预处理流程库执行更新操作。
整个方法中设计的部署架构为数据采集端-数据预处理端-数据接收端，数据采集端是采用心跳模式安装在业务***端的大量数据采集中间件；数据预处理端指的是与分布式部署的大批量预处理业务数据的服务器集群；数据接收端是存储预处理完成后数据，并进行数据库和搜索引擎定时同步的服务器集群。发生数据交换的场景为数据采集端到预处理端再到数据接收端，通过预处理环节可以预先判断出待处理的待处理数据的类型、结构，处理方法等，便可以参考知识库(过去的经验，以及历史积累的模式)进行处理。本申请实施例中将传统数据处理模式由发送端到接收端改为发送端到预处理再到接收端，可以有效加快数据处理效率，实现在终端上快速处理的有益效果，且结合了MongoDB和SOLR搜索引擎，建立了电力行业检索词库，实现了电力行业中文分词检索，且由于处理过程中采用动态扩展的方式，可有效解决处理瓶颈问题。
下面对本申请实施例提供的一种多源异构数据处理***、服务器集群及计算机可读存储介质进行介绍，下文描述的多源异构数据处理***、服务器集群及计算机可读存储介质与上文描述的多源异构数据处理方法可相互对应参照。
请参考图2，图2为本申请实施例所提供的一种多源异构数据处理***的结构框图；该多源异构数据处理***包括：
索引信息建立模块201，用于采集目标业务***端的多源异构数据，并建立对应的索引信息；
案例确定模块202，用于查询预处理构件知识库，并确定预处理构件知识库中与索引信息相似度最高的案例；
预处理模块203，用于在预处理流程库中确定案例对应的预处理流程后，依据预处理流程对多源异构数据进行相应的预处理，并将预处理后的多源异构数据发送至终端进行数据处理。
基于上述实施例，本实施例中该多源异构数据处理***通常还可以包括：
数据存储模块，用于将数据处理后的多源异构数据发送至服务器集群，并依据数据处理后的多源异构数据的数据特征进行关系型或非关系型数据存储；
数据同步模块，用于将MongoDB中的GirdFS数据同步到SOLR引擎。
基于上述实施例，本实施例中数据同步模块，通常包括：
格式转换单元，用于在判断GirdFS数据与SOLR引擎的同步状态后，将未同步的GirdFS数据进行GirdFS数据读取并转换为字符串格式的GirdFS数据；
数据同步单元，用于将字符串格式的GirdFS数据同步到SOLR引擎，并更新同步状态。
基于上述实施例，本实施例中索引信息建立模块201，通常包括：
索引信息建立单元，用于在采集多源异构数据后，对多源异构数据的数据类型、数据量大小进行标记得到标记信息，并将标记信息作为索引信息。
基于上述实施例，本实施例中案例确定模块202，通常包括：
案例确定单元，用于查询预处理构件知识库，并依据数据类型、数据量大小确定预处理构件知识库中与索引信息相似度最高的案例。
基于上述实施例，本实施例中该多源异构数据处理***通常还可以包括：
更新操作执行模块，用于对预处理构件知识库、预处理流程库执行更新操作。
本申请还提供一种服务器集群，包括：存储器和处理器；其中，存储器用于存储计算机程序，处理器用于执行计算机程序时实现上述任意实施例的多源异构数据处理方法的步骤。
本申请还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述任意实施例的多源异构数据处理方法的步骤。
该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例提供的***而言，由于其与实施例提供的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的一种多源异构数据处理方法、***、服务器集群及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (10)

1.一种多源异构数据处理方法，其特征在于，包括：
采集目标业务***端的多源异构数据，并建立对应的索引信息；
查询预处理构件知识库，并确定所述预处理构件知识库中与所述索引信息相似度最高的案例；
在预处理流程库中确定所述案例对应的预处理流程后，依据所述预处理流程对所述多源异构数据进行相应的预处理，并将预处理后的多源异构数据发送至终端进行数据处理。
2.根据权利要求1所述的多源异构数据处理方法，其特征在于，所述将预处理后的多源异构数据发送至终端进行数据处理之后，还包括：
将数据处理后的多源异构数据发送至服务器集群，并依据所述数据处理后的多源异构数据的数据特征进行关系型或非关系型数据存储；
将MongoDB中的GirdFS数据同步到SOLR引擎。
3.根据权利要求2所述的多源异构数据处理方法，其特征在于，所述将MongoDB中的GirdFS数据同步到SOLR引擎，包括：
在判断所述GirdFS数据与所述SOLR引擎的同步状态后，将未同步的GirdFS数据进行GirdFS数据读取并转换为字符串格式的GirdFS数据；
将所述字符串格式的GirdFS数据同步到所述SOLR引擎，并更新所述同步状态。
4.根据权利要求1所述的多源异构数据处理方法，其特征在于，所述采集目标业务***端的多源异构数据，并建立对应的索引信息，包括：
在采集所述多源异构数据后，对所述多源异构数据的数据类型、数据量大小进行标记得到标记信息，并将所述标记信息作为所述索引信息。
5.根据权利要求4所述的多源异构数据处理方法，其特征在于，所述查询预处理构件知识库，并确定所述预处理构件知识库中与所述索引信息相似度最高的案例，包括：
查询所述预处理构件知识库，并依据所述数据类型、所述数据量大小确定所述预处理构件知识库中与所述索引信息相似度最高的所述案例。
6.根据权利要求1所述的多源异构数据处理方法，其特征在于，若在所述预处理构件知识库中匹配到所述相似度低于预设阈值的案例，则依据未知结构方式对所述多源异构数据进行处理，并将相应的索引信息、预处理流程分别存储至所述预处理构件知识库、所述预处理流程库。
7.根据权利要求1至6任一项所述的多源异构数据处理方法，其特征在于，还包括：
对所述预处理构件知识库、所述预处理流程库执行更新操作。
8.一种多源异构数据处理***，其特征在于，包括：
索引信息建立模块，用于采集目标业务***端的多源异构数据，并建立对应的索引信息；
案例确定模块，用于查询预处理构件知识库，并确定所述预处理构件知识库中与所述索引信息相似度最高的案例；
预处理模块，用于在预处理流程库中确定所述案例对应的预处理流程后，依据所述预处理流程对所述多源异构数据进行相应的预处理，并将预处理后的多源异构数据发送至终端进行数据处理。
9.一种服务器集群，其特征在于，包括：
存储器和处理器；其中，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序时实现如权利要求1至7任一项所述的多源异构数据处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的多源异构数据处理方法的步骤。
CN201910749404.3A 2019-08-14 2019-08-14 一种多源异构数据处理方法、***及相关装置 Active CN110489475B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910749404.3A CN110489475B (zh) 2019-08-14 2019-08-14 一种多源异构数据处理方法、***及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910749404.3A CN110489475B (zh) 2019-08-14 2019-08-14 一种多源异构数据处理方法、***及相关装置

Publications (2)

Publication Number Publication Date
CN110489475A true CN110489475A (zh) 2019-11-22
CN110489475B CN110489475B (zh) 2021-01-26

Family

ID=68550984

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910749404.3A Active CN110489475B (zh) 2019-08-14 2019-08-14 一种多源异构数据处理方法、***及相关装置

Country Status (1)

Country Link
CN (1) CN110489475B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110990390A (zh) * 2019-12-02 2020-04-10 东莞中国科学院云计算产业技术创新与育成中心 数据协同处理方法、装置、计算机设备和存储介质
CN111431967A (zh) * 2020-02-25 2020-07-17 天宇经纬（北京）科技有限公司 基于业务规则的多源异构数据表示与分发方法、装置
CN112270600A (zh) * 2020-10-29 2021-01-26 广东通莞科技股份有限公司 一种多源数据的处理方法、***及相关装置
CN112883096A (zh) * 2021-03-11 2021-06-01 广东工业大学 一种数据预处理方法
CN113111503A (zh) * 2021-04-01 2021-07-13 重庆传晟酷德大数据科技有限公司 一种基于cad的多源异构数据构建方法
CN117195054A (zh) * 2023-09-15 2023-12-08 苏州优鲜生网络科技有限公司 基于集群的跨节点数据识别方法与***

Citations (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070055011A1 (en) * 2003-05-16 2007-03-08 Basf Aktiengesellschaft Method for producing aqueous polymer dispersions
CN101079034A (zh) * 2006-07-10 2007-11-28 腾讯科技（深圳）有限公司 消除文件存储***中冗余文件的***及方法
CN101089843A (zh) * 2006-06-15 2007-12-19 王刘忠 一种仅针对产品或服务供需信息的搜索方法
CN101094173A (zh) * 2007-06-28 2007-12-26 上海交通大学 分布式异构环境下的数据交换集成***
CN101136038A (zh) * 2007-10-18 2008-03-05 中国兵器工业第五九研究所 一种塑性成形数值模拟方法
CN101202902A (zh) * 2007-12-11 2008-06-18 西安交通大学 具有数字版权管理的p2p流媒体网络传输结构设计方法
CN101286161A (zh) * 2008-05-28 2008-10-15 华中科技大学 一种基于概念的智能中文问答***
CN101387582A (zh) * 2008-10-24 2009-03-18 西北工业大学 一种基于pda的故障诊断***及方法
CN101534021A (zh) * 2009-04-27 2009-09-16 北京四方继保自动化股份有限公司 应用于电力自动化***中的多态数据采集及处理方法
CN101742228A (zh) * 2008-11-19 2010-06-16 新奥特硅谷视频技术有限责任公司 一种应用于数字法庭中的预处理方法和***
CN101853291A (zh) * 2010-05-24 2010-10-06 合肥工业大学 基于数据流的车辆故障诊断方法
CN102073646A (zh) * 2009-11-23 2011-05-25 北京科技大学 一种面向博客群的主题倾向性处理方法及***
CN102098799A (zh) * 2011-01-26 2011-06-15 北京邮电大学 一种实现异构网络融合的智能认知无线网络***
CN102254030A (zh) * 2011-08-02 2011-11-23 中国科学院计算机网络信息中心 一种面向全球变化研究的空间科学数据自动汇聚方法
CN102495892A (zh) * 2011-12-09 2012-06-13 北京大学 一种网页信息抽取方法
CN102609512A (zh) * 2012-02-07 2012-07-25 北京中机科海科技发展有限公司 异构信息知识挖掘与可视化分析***及方法
CN102765643A (zh) * 2012-05-31 2012-11-07 天津大学 基于数据驱动的电梯故障诊断与预警方法
CN102855600A (zh) * 2012-07-23 2013-01-02 电子科技大学 一种移动互联网异构能力选择推荐方法
CN104679902A (zh) * 2015-03-20 2015-06-03 湘潭大学 一种结合跨媒体融合的信息摘要提取方法
US20150378567A1 (en) * 2010-12-17 2015-12-31 Microsoft Technology Licensing, Llc Data Feed Having Customizable Analytic and Visual Behavior
CN105760495A (zh) * 2016-02-17 2016-07-13 扬州大学 一种基于知识图谱针对bug问题进行探索性搜索方法
CN106372079A (zh) * 2015-07-22 2017-02-01 中国化工信息中心 一种专利信息处理及检索方法
CN106528786A (zh) * 2016-11-08 2017-03-22 国网山东省电力公司电力科学研究院 快速迁移多源异构电网大数据到HBase的方法及***
CN106611046A (zh) * 2016-12-16 2017-05-03 武汉中地数码科技有限公司 基于大数据技术的空间数据存储处理中间件框架
CN106611053A (zh) * 2016-12-26 2017-05-03 河南信安通信技术股份有限公司 一种数据清理、索引方法
CN106980618A (zh) * 2016-01-15 2017-07-25 航天信息股份有限公司 基于MongoDB分布式集群架构的文件存储方法和***
CN107330125A (zh) * 2017-07-20 2017-11-07 云南电网有限责任公司电力科学研究院 基于知识图谱技术的海量非结构化配网数据集成方法
CN107609154A (zh) * 2017-09-23 2018-01-19 浪潮软件集团有限公司 一种多源异构数据的处理方法及装置
CN108121828A (zh) * 2018-01-17 2018-06-05 清华大学 一种基于键值对数据库的多源异构数据管理方法及***
CN108446363A (zh) * 2018-03-13 2018-08-24 北京奇安信科技有限公司 一种kv引擎的数据处理方法及装置
CN109033387A (zh) * 2018-07-26 2018-12-18 广州大学 一种融合多源数据的物联网搜索***、方法及存储介质
CN109063063A (zh) * 2018-07-20 2018-12-21 泰华智慧产业集团股份有限公司 基于多源数据的数据处理方法及装置
CN109165202A (zh) * 2018-07-04 2019-01-08 华南理工大学 一种多源异构大数据的预处理方法
US10176259B1 (en) * 2009-05-15 2019-01-08 Donald Newton Cohen Use of virtual database technology for internet search and data integration
CN109471884A (zh) * 2018-09-12 2019-03-15 国网浙江省电力有限公司嘉兴供电公司 分布式新能源相关的多源异构数据处理方法
US10289629B1 (en) * 2016-06-22 2019-05-14 Amazon Technologies, Inc. Techniques for interruption-free partitioning
CN109918472A (zh) * 2019-02-27 2019-06-21 北京百度网讯科技有限公司 存储和查询数据的方法、装置、设备和介质
CN110069495A (zh) * 2019-03-13 2019-07-30 中科恒运股份有限公司 数据存储方法、装置和终端设备

Patent Citations (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070055011A1 (en) * 2003-05-16 2007-03-08 Basf Aktiengesellschaft Method for producing aqueous polymer dispersions
CN101089843A (zh) * 2006-06-15 2007-12-19 王刘忠 一种仅针对产品或服务供需信息的搜索方法
CN101079034A (zh) * 2006-07-10 2007-11-28 腾讯科技（深圳）有限公司 消除文件存储***中冗余文件的***及方法
CN101094173A (zh) * 2007-06-28 2007-12-26 上海交通大学 分布式异构环境下的数据交换集成***
CN101136038A (zh) * 2007-10-18 2008-03-05 中国兵器工业第五九研究所 一种塑性成形数值模拟方法
CN101202902A (zh) * 2007-12-11 2008-06-18 西安交通大学 具有数字版权管理的p2p流媒体网络传输结构设计方法
CN101286161A (zh) * 2008-05-28 2008-10-15 华中科技大学 一种基于概念的智能中文问答***
CN101387582A (zh) * 2008-10-24 2009-03-18 西北工业大学 一种基于pda的故障诊断***及方法
CN101742228A (zh) * 2008-11-19 2010-06-16 新奥特硅谷视频技术有限责任公司 一种应用于数字法庭中的预处理方法和***
CN101534021A (zh) * 2009-04-27 2009-09-16 北京四方继保自动化股份有限公司 应用于电力自动化***中的多态数据采集及处理方法
US10176259B1 (en) * 2009-05-15 2019-01-08 Donald Newton Cohen Use of virtual database technology for internet search and data integration
CN102073646A (zh) * 2009-11-23 2011-05-25 北京科技大学 一种面向博客群的主题倾向性处理方法及***
CN101853291A (zh) * 2010-05-24 2010-10-06 合肥工业大学 基于数据流的车辆故障诊断方法
US20150378567A1 (en) * 2010-12-17 2015-12-31 Microsoft Technology Licensing, Llc Data Feed Having Customizable Analytic and Visual Behavior
CN102098799A (zh) * 2011-01-26 2011-06-15 北京邮电大学 一种实现异构网络融合的智能认知无线网络***
CN102254030A (zh) * 2011-08-02 2011-11-23 中国科学院计算机网络信息中心 一种面向全球变化研究的空间科学数据自动汇聚方法
CN102495892A (zh) * 2011-12-09 2012-06-13 北京大学 一种网页信息抽取方法
CN102609512A (zh) * 2012-02-07 2012-07-25 北京中机科海科技发展有限公司 异构信息知识挖掘与可视化分析***及方法
CN102765643A (zh) * 2012-05-31 2012-11-07 天津大学 基于数据驱动的电梯故障诊断与预警方法
CN102855600A (zh) * 2012-07-23 2013-01-02 电子科技大学 一种移动互联网异构能力选择推荐方法
CN104679902A (zh) * 2015-03-20 2015-06-03 湘潭大学 一种结合跨媒体融合的信息摘要提取方法
CN106372079A (zh) * 2015-07-22 2017-02-01 中国化工信息中心 一种专利信息处理及检索方法
CN106980618A (zh) * 2016-01-15 2017-07-25 航天信息股份有限公司 基于MongoDB分布式集群架构的文件存储方法和***
CN105760495A (zh) * 2016-02-17 2016-07-13 扬州大学 一种基于知识图谱针对bug问题进行探索性搜索方法
US10289629B1 (en) * 2016-06-22 2019-05-14 Amazon Technologies, Inc. Techniques for interruption-free partitioning
CN106528786A (zh) * 2016-11-08 2017-03-22 国网山东省电力公司电力科学研究院 快速迁移多源异构电网大数据到HBase的方法及***
CN106611046A (zh) * 2016-12-16 2017-05-03 武汉中地数码科技有限公司 基于大数据技术的空间数据存储处理中间件框架
CN106611053A (zh) * 2016-12-26 2017-05-03 河南信安通信技术股份有限公司 一种数据清理、索引方法
CN107330125A (zh) * 2017-07-20 2017-11-07 云南电网有限责任公司电力科学研究院 基于知识图谱技术的海量非结构化配网数据集成方法
CN107609154A (zh) * 2017-09-23 2018-01-19 浪潮软件集团有限公司 一种多源异构数据的处理方法及装置
CN108121828A (zh) * 2018-01-17 2018-06-05 清华大学 一种基于键值对数据库的多源异构数据管理方法及***
CN108446363A (zh) * 2018-03-13 2018-08-24 北京奇安信科技有限公司 一种kv引擎的数据处理方法及装置
CN109165202A (zh) * 2018-07-04 2019-01-08 华南理工大学 一种多源异构大数据的预处理方法
CN109063063A (zh) * 2018-07-20 2018-12-21 泰华智慧产业集团股份有限公司 基于多源数据的数据处理方法及装置
CN109033387A (zh) * 2018-07-26 2018-12-18 广州大学 一种融合多源数据的物联网搜索***、方法及存储介质
CN109471884A (zh) * 2018-09-12 2019-03-15 国网浙江省电力有限公司嘉兴供电公司 分布式新能源相关的多源异构数据处理方法
CN109918472A (zh) * 2019-02-27 2019-06-21 北京百度网讯科技有限公司 存储和查询数据的方法、装置、设备和介质
CN110069495A (zh) * 2019-03-13 2019-07-30 中科恒运股份有限公司 数据存储方法、装置和终端设备

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110990390A (zh) * 2019-12-02 2020-04-10 东莞中国科学院云计算产业技术创新与育成中心 数据协同处理方法、装置、计算机设备和存储介质
CN110990390B (zh) * 2019-12-02 2024-03-08 东莞中国科学院云计算产业技术创新与育成中心 数据协同处理方法、装置、计算机设备和存储介质
CN111431967A (zh) * 2020-02-25 2020-07-17 天宇经纬（北京）科技有限公司 基于业务规则的多源异构数据表示与分发方法、装置
CN112270600A (zh) * 2020-10-29 2021-01-26 广东通莞科技股份有限公司 一种多源数据的处理方法、***及相关装置
CN112883096A (zh) * 2021-03-11 2021-06-01 广东工业大学 一种数据预处理方法
CN112883096B (zh) * 2021-03-11 2024-04-30 广东工业大学 一种数据预处理方法
CN113111503A (zh) * 2021-04-01 2021-07-13 重庆传晟酷德大数据科技有限公司 一种基于cad的多源异构数据构建方法
CN113111503B (zh) * 2021-04-01 2024-03-05 重庆传晟酷德大数据科技有限公司 一种基于cad的多源异构数据构建方法
CN117195054A (zh) * 2023-09-15 2023-12-08 苏州优鲜生网络科技有限公司 基于集群的跨节点数据识别方法与***
CN117195054B (zh) * 2023-09-15 2024-03-26 苏州优鲜生网络科技有限公司 基于集群的跨节点数据识别方法与***

Also Published As

Publication number Publication date
CN110489475B (zh) 2021-01-26

Similar Documents

Publication Publication Date Title
CN110489475A (zh) 一种多源异构数据处理方法、***及相关装置
US9619512B2 (en) Memory searching system and method, real-time searching system and method, and computer storage medium
CN109951323B (zh) 一种日志分析方法和***
CN106909595B (zh) 一种数据迁移方法及装置
CN106210163B (zh) 基于ip地址的定位方法及装置
CN104935658A (zh) 一种银行任务分配方法及装置
CN106777142A (zh) 基于移动互联网海量数据的服务层***及其方法
CN104267974B (zh) 业务接口的调用方法及装置
CN111597267A (zh) 一种基于多层服务引擎的数据中台及构建方法
CN109947729A (zh) 一种实时数据分析方法及装置
CN110134681A (zh) 数据存储与查询方法、装置、计算机设备及存储介质
CN110895591A (zh) 一种定位自提点的方法和装置
CN105227386B (zh) 用于分群体统计在线用户数的方法、装置及***
CN106250501A (zh) 报表处理方法及报表***
CN109145092A (zh) 一种数据库更新、智能问答管理方法、装置及其设备
CN117056565A (zh) 基于rpa及ai的电力信息处理方法、装置、设备及介质
CN111159213A (zh) 一种数据查询方法、装置、***和存储介质
CN115132186A (zh) 端到端语音识别模型训练方法、语音解码方法及相关装置
CN104572649B (zh) 分布式存储***的数据的处理方法、装置及***
CN111125383B (zh) 基于事件模型的媒资标签存储及检索的方法
CN109616156B (zh) 一种基因测序数据存储方法和装置
CN113360558A (zh) 数据处理方法、数据处理装置、电子设备及存储介质
CN107995301B (zh) 一种快速的基于互联网的数据收发方法
CN106980621A (zh) 基于MongoDB的事件归档和查询的方法和装置
CN117234694B (zh) 基于seda线程调度的数据治理方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant