CN115048359A - 一种多类型接入数据源的通用数据处理架构设计方法 - Google Patents

一种多类型接入数据源的通用数据处理架构设计方法 Download PDF

Info

Publication number
CN115048359A
CN115048359A CN202210802664.4A CN202210802664A CN115048359A CN 115048359 A CN115048359 A CN 115048359A CN 202210802664 A CN202210802664 A CN 202210802664A CN 115048359 A CN115048359 A CN 115048359A
Authority
CN
China
Prior art keywords
type
request information
dialect
layer
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210802664.4A
Other languages
English (en)
Inventor
许飞
陈波
宋杨
秦钢
花京武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Diji Intelligent Technology Co ltd
Original Assignee
Hangzhou Diji Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Diji Intelligent Technology Co ltd filed Critical Hangzhou Diji Intelligent Technology Co ltd
Priority to CN202210802664.4A priority Critical patent/CN115048359A/zh
Publication of CN115048359A publication Critical patent/CN115048359A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/211—Schema design and management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Stored Programmes (AREA)

Abstract

本申请涉及一种多类型接入数据源的通用数据处理架构设计方法，通过构建数据源的类型枚举集，并将所述类型枚举集保存在类型解析层中；基于所构建的所述数据源的类型枚举集，配置若干对应所述类型枚举集的方言解析器，并将所述方言解析器保存在方言解析层中；基于所构建的所述数据源的类型枚举集，配置若干对应所述类型枚举集的数据库，并将所述数据库保存在储存层中。使得处理多类型语言数据源的架构***能够兼容接入不同类型的数据源，通过枚举方式进行架构设计，使得处理***能够在接入时，不需要对服务进行重新构建和发布，节省用户、厂商研发时间和研发成本。

Description

一种多类型接入数据源的通用数据处理架构设计方法
技术领域
本公开涉及数据处理技术领域，尤其涉及一种多类型接入数据源的通用数据处理架构设计方法、适用于多类型接入数据源的通用数据处理架构、通用数据处理方法、装置及数据处理***。
背景技术
在一些业务场景中，需要用到多种数据源的情况，比如，在一些语言数据翻译、解析场景下，不同的客户，可能使用不同的数据库进行多类型数据源的解析处理、数据库执行等操作，比如常用的数据库有MySQL、Oracle等，以及一些其他的国产数据库。
现有技术中，通常多种数据源的业务处理方式，是通过布置的一对一的数据进行执行操作的。如公开号为CN112506888A的发明专利公开了一种基于HDFS不同数据源的数据处理方法，通过将在大数据集群中的不同节点中，部署应对不同的引擎，对不同类型的数据源实现在同一个大数据集群中处理不同类型的数据的需求。虽然该方案采用了在大数据集群中部署的不同的引擎应对不同类型的数据源，但是该方案并未公开实现不同类型数据源的处理构架，数据源在接入时，还需要对服务进行重新构建和发布，需要投入大量的研发时间和研发成本。
发明内容
为了解决上述问题，本申请提出一种多类型接入数据源的通用数据处理架构设计方法、适用于多类型接入数据源的通用数据处理架构、通用数据处理方法、装置及数据处理***。
本申请一方面，提出一种多类型接入数据源的通用数据处理架构设计方法，包括如下步骤：
构建数据源的类型枚举集，并将所述类型枚举集保存在类型解析层中；
基于所构建的所述数据源的类型枚举集，配置若干对应所述类型枚举集的方言解析器，并将所述方言解析器保存在方言解析层中；
基于所构建的所述数据源的类型枚举集，配置若干对应所述类型枚举集的数据库，并将所述数据库保存在储存层中。
作为本申请的一可选实施方案，可选地，构建数据源的类型枚举集，并将所述类型枚举集保存在类型解析层中，包括：
预设枚举原则；
根据所述枚举原则，建立不同数据源的类型枚举子集，并将所有的所述数据源的类型枚举子集，集合为所述类型枚举集；
将所述类型枚举集进行预处理，预处理后保存在所述类型解析层中。
作为本申请的一可选实施方案，可选地，基于所构建的所述数据源的类型枚举集，配置若干对应所述类型枚举集的方言解析器，并将所述方言解析器保存在方言解析层中，包括：
基于所述类型枚举集，获取所述类型枚举集中的数据源类型；
配置若干与所述数据源类型相对应的方言解析器，并将所配置的所述方言解析器与对应的所述数据源类型进行关联绑定；
将关联绑定后的所述方言解析器配置进行预处理，并保存在所述方言解析层中。
作为本申请的一可选实施方案，可选地，基于所构建的所述数据源的类型枚举集，配置若干对应所述类型枚举集的数据库，并将所述数据库保存在储存层中，包括：
基于所述类型枚举集，获取所述类型枚举集中的数据源类型；
配置若干与所述数据源类型相对应的数据库，并在所述数据库上设定与所述数据源类型相匹配的连接参数和数据库名，完成数据库配置；
将配置好的所述数据库进行预处理，并保存在储存层中。
本申请另一方面，提出一种适用于多类型接入数据源的通用数据处理架构，所述通用数据处理架构根据所述的多类型接入数据源的通用数据处理架构设计方法进行构建。
本申请另一方面，还提出一种通用数据处理方法，包括：
获取语言解析请求信息并上传至类型解析层；
通过所述类型解析层对所述语言解析请求信息进行解析，获取所述语言解析请求信息的请求信息，并同步将所述请求信息发送至方言解析层中；
根据所述请求信息，通过所述方言解析层对所述语言解析请求信息进行解析，得到语言解析结果，并将语音解析结果发送至储存层；
所述储存层接收所述语言解析结果，并根据与所述数据源类型相对应的数据库，储存所述语言解析结果。
作为本申请的一可选实施方案，可选地，通过所述类型解析层对所述语言解析请求信息进行解析，获取所述语言解析请求信息的请求信息，并同步将所述请求信息发送至方言解析层中，包括：
所述类型解析层接收所述语言解析请求信息；
解析所述语言解析请求信息，得到所述语言解析请求信息中的请求信息；其中，所述请求信息包括所述语言解析请求信息的数据源类型、连接参数和数据库名；
将所述请求信息发送至所述方言解析层。
作为本申请的一可选实施方案，可选地，根据所述请求信息，通过所述方言解析层对所述语言解析请求信息进行解析，得到语言解析结果，并将语音解析结果发送至储存层，包括：
所述方言解析层接收所述请求信息，并根据所述请求信息中的所述数据源类型，确定与所述数据源类型相对应的方言解析器；
所述方言解析层根据所述请求信息中的所述连接参数和数据库名，从储存层中确定与所述数据源类型相匹配的数据库；
通过所述方言解析层中确定的所述方言解析器，对所述语言解析请求信息中的数据进行解析，得到语音解析结果，并将语音解析结果发送至确定的所述数据库中。
本申请另一方面，还提出一种实现所述的通用数据处理方法的装置，包括：
请求单元，用于获取语言解析请求信息并上传至类型解析层；
类型解析单元，用于通过所述类型解析层对所述语言解析请求信息进行解析，获取所述语言解析请求信息的请求信息，并同步将所述请求信息发送至方言解析层中；
方言解析单元，用于根据所述请求信息，通过所述方言解析层对所述语言解析请求信息进行解析，得到语言解析结果，并将语音解析结果发送至储存层；
储存单元，用于通过所述储存层接收所述语言解析结果，并根据与所述数据源类型相对应的数据库，储存所述语言解析结果。
本申请另一方面，还提出一种数据处理***，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现所述的通用数据处理方法。
本申请另一方面，
本发明的技术效果：
本申请通过构建数据源的类型枚举集，并将所述类型枚举集保存在类型解析层中；基于所构建的所述数据源的类型枚举集，配置若干对应所述类型枚举集的方言解析器，并将所述方言解析器保存在方言解析层中；基于所构建的所述数据源的类型枚举集，配置若干对应所述类型枚举集的数据库，并将所述数据库保存在储存层中。使得处理多类型语言数据源的架构***能够兼容接入不同类型的数据源，通过枚举方式进行架构设计，使得处理***能够在接入时，不需要对服务进行重新构建和发布，节省用户、厂商研发时间和研发成本。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。
图1示出为本发明多类型接入数据源的通用数据处理架构设计方法的实施流程示意图；
图2示出为本发明构建架构的应用组成结构示意图；
图3示出为本发明通用数据处理方法的实施流程示意图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
本申请通过枚举方式进行架构设计，使得处理多类型语言数据源的架构***能够兼容接入不同类型的数据源，这样无论接收到的语言数据源的类型如何，皆可以通过本架构***进行语言解析。
本实施例汇总，不限制语言数据源的来源和种类等。各个架构层所涉及到的具体硬件层，本实施例不作限制，比如储存层中所配置的MySQL数据库Oracle数据库等，将由用户根据枚举的方式进行配置。本实施例的架构***，不仅仅限于所描述的应用***，只要可以通过架构***进行兼容配置的设施皆可用于本架构，以此用于语言数据源的处理。
首先，本实施例一种数据处理架构的构建、设计方法。
实施例1
如图1所示，本申请一方面，提出一种多类型接入数据源的通用数据处理架构设计方法，包括如下步骤：
S1、构建数据源的类型枚举集，并将所述类型枚举集保存在类型解析层中；
用于发起语言解析请求时，将上传语言数据包，比如MySQL格式的数据包。在发起语言解析请求时，将根据数据源的类型进行解析层的匹配，通过对应的构建进行处理。
而为了适用不同数据源，需要将不同的数据源类型进行保存，以及对应建立与类型相匹配的架构层。本实施例，采用类型枚举的方式，将不同的数据源类型通过枚举的方式构成一个类型集合，并将其配置在类型解析层中，这样可以在请求时，由类型解析层进行数据源的类型解析，并判断解析得到的类型是其储存的类型枚举集中的何种类型，以此进行下一步的解析处理。
作为本申请的一可选实施方案，可选地，构建数据源的类型枚举集，并将所述类型枚举集保存在类型解析层中，包括：
预设枚举原则；
根据所述枚举原则，建立不同数据源的类型枚举子集，并将所有的所述数据源的类型枚举子集，集合为所述类型枚举集；
将所述类型枚举集进行预处理，预处理后保存在所述类型解析层中。
枚举原则，是用户或者厂商根据语言数据源的具体应用类型设定的枚举方式/规则，通过该规则，可以建立枚举集合的构建条件，以此建立不同数据源的类型枚举子集，比如A类型数据源的类型枚举子集A1、B类型数据源的类型枚举子集B1，将所有子集进行集合，作为一个整体的类型枚举集，并保存在所述类型解析层中。
其中，在将所述类型枚举集进行预处理时，将类型枚举集中具有共性的子集进行合并，比如可以识别一个或者几个的类型枚举子集，可以合并为一个子集，这样可以节省储存空间以及简化架构硬件层结构。因为类型解析层中配置有该类型枚举集，所以在接收到不同类型的数据源语言请求时，可以通过类型枚举集进行识别该语言解析请求信息的数据源类型。比如SQL语言请求，当架构的SQL层(请求单元)接收到语言采集***或者用户传递过来的SQL语句时，SQL层对其进行语言预处理后，将其发送至类型解析层。类型解析层接收后，将通过解析引擎/器等对其进行解析，并从其中配置的类型枚举集中，获知该SQL请求数据的数据源类型。类型解析层其后，再根据该数据源类型对应的SQL请求数据以及解析信息发送至下一层。
类型解析层中配置有类型枚举集，通过上述类型枚举集，实现多种数据源的类型枚举识别，达到数据通用的类型识别效果。无论何种数据源接入，皆可进行类型识别。
S2、基于所构建的所述数据源的类型枚举集，配置若干对应所述类型枚举集的方言解析器，并将所述方言解析器保存在方言解析层中；
类型获知后，需要通过与数据源类型相匹配的方言解析器，对语言数据进行解析。
为了匹配该类型，本架构中，在方言解析层中，根据类型枚举集所包含的类型集合或者集合特征，搭建与类型枚举集相匹配的方言解析器，并将配置的方言解析器与对应的类型枚举集进行关联，使得不同类型的数据源匹配统一匹配一个方言解析器。其中，对于可以并发解析处理文本的数据源类型，可以对应配置一个方言解析器，达到一对多的解析模式。
作为本申请的一可选实施方案，可选地，基于所构建的所述数据源的类型枚举集，配置若干对应所述类型枚举集的方言解析器，并将所述方言解析器保存在方言解析层中，包括：
基于所述类型枚举集，获取所述类型枚举集中的数据源类型；
配置若干与所述数据源类型相对应的方言解析器，并将所配置的所述方言解析器与对应的所述数据源类型进行关联绑定；
将关联绑定后的所述方言解析器配置进行预处理，并保存在所述方言解析层中。
方言解析层由一系列的方言解析器组成，遵循模版方法的设计模式从而设计，当SQL交由到特定的方言解析器处理时，方言解析器在对SQL进行处理之后，交由数据库进行执行，执行完成后，返回相应的结果集。
方言解析层是实现通用的多种类型数据源接入的关键层，通过解析引擎，解析数据源，得到新的接入数据源。首先需要，在类型解析层增加类型枚举，其次需要增加相应的数据库和方言解析器，根据模版方法实现相应的数据源特定的操作，就可以完成数据源接入。以MySQL为例，经过类型解析层之后，得到了MySQL类型的数据源枚举，此时进入到方言解析层后，会使用MySQL的枚举去查找对应的方言解析器，从而执行后续跟数据库的相关交互。
上述在方言解析层中，根据数据源类型配置方言解析器的方法，本处不再赘述，方言解析器的类型，本实施例不限于行业统一标准，只要能够进行语言解析的引擎等，皆可用于本申请的实施。上述预处理，可以是具有同类型语言解析功能的方言解析器的合并处理。
S3、基于所构建的所述数据源的类型枚举集，配置若干对应所述类型枚举集的数据库，并将所述数据库保存在储存层中。
同理，在构建好类型解析、语言解析后，最终需要进行数据保存或者执行比如翻译等，需要同样配置相对应的数据库，以此构建储存层。
作为本申请的一可选实施方案，可选地，基于所构建的所述数据源的类型枚举集，配置若干对应所述类型枚举集的数据库，并将所述数据库保存在储存层中，包括：
基于所述类型枚举集，获取所述类型枚举集中的数据源类型；
配置若干与所述数据源类型相对应的数据库，并在所述数据库上设定与所述数据源类型相匹配的连接参数和数据库名，完成数据库配置；
将配置好的所述数据库进行预处理，并保存在储存层中。
本实施例，设定为将语言数据源进行方言解析后得到所述语言数据源的语言(具体方言)解析结果、连接参数和数据库名。连接参数和数据库名，用于方言解析器查找并连接到具体的数据库。
因此，在根据数据源类型配置响应的数据库时，是需要为每个数据库设定连接参数和数据库的名称的，数据库名比如进行数据库编号、连接参数可以是数据库的属性参数等，具体由用户进行设置。
数据库设定完毕，可以采用归一处理方式，将具有同类型的执行功能和储存功能的数据库进行合并，选择一个数据库进行保留。
设定好连接参数和数据库名后，为每个数据库进行标记。发送解析请求时，用户将同步上传所选择数据库的连接参数和数据库名，这样便于进行连接，将解析数据保存至对应的数据库中进行储存或者数据执行比如线上实时翻译。
这样，通过上述架构设计，利用枚举方式，构建适用于多种接入数据源的语言通用数据处理架构，一种数据源接入后，将通过类型解析层进行解析、获得数据源的类型；其后方言解析层根据类型所对应的方言解析器进行数据解析，得到解析结果，方言解析层根据上传的连接参数和数据库名选择储存层中的数据库，将解析的结果进行储存。
在数据库中进行数据储存或者数据执行的方式，本实施例不作详述。
基于上述架构设计方法，本申请另一方面，提出一种适用于多类型接入数据源的通用数据处理架构，所述通用数据处理架构根据所述的多类型接入数据源的通用数据处理架构设计方法进行构建。
通用数据处理架构，具体如图2所示，图中，从上到下依次是请求层(比如获取原始SQL语言解析请求信息的架构层)、类型解析层(图中为类型解析器)、方言解析层(图中为方言解析器)和储存层(图中为数据库)。各个应用层之间的通信方式，本实施例不作描述，将由架构工程师根据架构方案设计各个应用层之间的通信方案。
采用上述架构，本实施例，对应提供接入数据源的通用数据处理方法。本实施例，将以原始SQL类型的数据源为例。
如图3所示，本申请另一方面，还提出一种通用数据处理方法，包括：
S11、获取语言解析请求信息并上传至类型解析层；
用户通过***或者语言平台采集语言数据源并上传语言解析请求信息，其中，语言解析请求信息中，包含有数据源比如方言数据的语音文本信息、数据源类型、连接参数和数据库名等信息。采集方式不限制。
S21、通过所述类型解析层对所述语言解析请求信息进行解析，获取所述语言解析请求信息的请求信息，并同步将所述请求信息发送至方言解析层中；
类型解析层接收到语言解析请求信息后，将确定数据源类型，其发送至方言解析层，方言解析层根据类型匹配选择具体的方言解析器进行解析，最后根据连接参数和数据库名确定数据库，进行解析数据的储存执行(储存层)。
作为本申请的一可选实施方案，可选地，通过所述类型解析层对所述语言解析请求信息进行解析，获取所述语言解析请求信息的请求信息，并同步将所述请求信息发送至方言解析层中，包括：
所述类型解析层接收所述语言解析请求信息；
解析所述语言解析请求信息，得到所述语言解析请求信息中的请求信息；其中，所述请求信息包括所述语言解析请求信息的数据源类型、连接参数和数据库名；
将所述请求信息发送至所述方言解析层。
类型解析层主要由一个类型解析器存在，他的功能主要负责将SQL解析，分析该SQL所属的数据库类型，从而决定将该SQL交由哪个方言解析器进行处理。以MySQL为例，该层会维护类型枚举，当SQL相关数据解析后，可判定为MySQL类型的数据源。
具体解析等，不再赘述。
S31、根据所述请求信息，通过所述方言解析层对所述语言解析请求信息进行解析，得到语言解析结果，并将语音解析结果发送至储存层；
方言解析层由一系列的方言解析器组成，遵循模版方法的设计模式从而设计，当SQL交由到特定的方言解析器处理时，方言解析器在对SQL进行处理之后，交由数据库进行执行，执行完成后，返回相应的结果集。
作为本申请的一可选实施方案，可选地，根据所述请求信息，通过所述方言解析层对所述语言解析请求信息进行解析，得到语言解析结果，并将语音解析结果发送至储存层，包括：
所述方言解析层接收所述请求信息，并根据所述请求信息中的所述数据源类型，确定与所述数据源类型相对应的方言解析器；
所述方言解析层根据所述请求信息中的所述连接参数和数据库名，从储存层中确定与所述数据源类型相匹配的数据库；
通过所述方言解析层中确定的所述方言解析器，对所述语言解析请求信息中的数据进行解析，得到语音解析结果，并将语音解析结果发送至确定的所述数据库中。
方言解析层是实现通用的多种类型数据源接入的关键层，增加新的数据源接入。首先，在类型解析层通过类型枚举集确认了类型，其次对应由相应的数据库和方言解析器进行后续处理，完成数据源接入。
以MySQL为例，经过类型解析层之后，得到了MySQL类型的数据源枚举，此时进入到方言解析层后，会使用MySQL的枚举去查找对应的方言解析器(解析并生成语音解析结果)，从而执行后续跟数据库(通过连接参数和数据库名进行匹配查找)的相关交互。
S41、所述储存层接收所述语言解析结果，并根据与所述数据源类型相对应的数据库，储存所述语言解析结果。
方言解析层通过连接参数和数据库名，从储存层中进行匹配查找，得到对应的数据库，将解析数据发送至对应的数据库。
解析信息将在数据库中进行保存或者进行执行。
上述解析方式，包括解析引擎、规则等，将由用户或者厂商或者所选择的硬件设施进行确定，本实施例不作描述。
需要说明的是，尽管以MySQL作为示例介绍了如上，但本领域技术人员能够理解，本公开应不限于此。事实上，用户完全可根据实际应用场景灵活设定数据源的接入类型，只要可以按照上述技术方法实现本申请的技术功能即可。
实施例2
基于实施例1的实施原理，本实施例，本申请另一方面，还提出一种实现所述的通用数据处理方法的装置，包括：
请求单元，用于获取语言解析请求信息并上传至类型解析层；
类型解析单元，用于通过所述类型解析层对所述语言解析请求信息进行解析，获取所述语言解析请求信息的请求信息，并同步将所述请求信息发送至方言解析层中；
方言解析单元，用于根据所述请求信息，通过所述方言解析层对所述语言解析请求信息进行解析，得到语言解析结果，并将语音解析结果发送至储存层；
储存单元，用于通过所述储存层接收所述语言解析结果，并根据与所述数据源类型相对应的数据库，储存所述语言解析结果。
上述请求单元、类型解析单元、方言解析单元和储存单元的具体功能、实施原理以及硬件构架说明书，参见实施例1的描述，本实施例不再赘述。
显然，本领域的技术人员应该明白，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各控制方法的实施例的流程。
上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各控制方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(FlashMemory)、硬盘(HardDiskDrive，缩写：HDD)或固态硬盘(Solid-StateDrive，SSD)等；存储介质还可以包括上述种类的存储器的组合。
实施例3
更进一步地，本申请另一方面，还提出一种数据处理***，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现实施例2所述的通用数据处理方法。
本公开实施例来数据处理***包括处理器以及用于存储处理器可执行指令的存储器。其中，处理器被配置为执行可执行指令时实现前面任一所述的通用数据处理方法。
此处，应当指出的是，处理器的个数可以为一个或多个。同时，在本公开实施例的数据处理***中，还可以包括输入装置和输出装置。其中，处理器、存储器、输入装置和输出装置之间可以通过总线连接，也可以通过其他方式连接，此处不进行具体限定。
存储器作为一计算机可读存储介质，可用于存储软件程序、计算机可执行程序和各种模块，如：本公开实施例的一种通用数据处理方法所对应的程序或模块。处理器通过运行存储在存储器中的软件程序或模块，从而执行数据处理***的各种功能应用及数据处理。
输入装置可用于接收输入的数字或信号。其中，信号可以为产生与设备/终端/服务器的用户设置以及功能控制有关的键信号。输出装置可以包括显示屏等显示设备。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种多类型接入数据源的通用数据处理架构设计方法，其特征在于，包括如下步骤：
构建数据源的类型枚举集，并将所述类型枚举集保存在类型解析层中；
基于所构建的所述数据源的类型枚举集，配置若干对应所述类型枚举集的方言解析器，并将所述方言解析器保存在方言解析层中；
基于所构建的所述数据源的类型枚举集，配置若干对应所述类型枚举集的数据库，并将所述数据库保存在储存层中。
2.根据权利要求1所述的一种多类型接入数据源的通用数据处理架构设计方法，其特征在于，构建数据源的类型枚举集，并将所述类型枚举集保存在类型解析层中，包括：
预设枚举原则；
根据所述枚举原则，建立不同数据源的类型枚举子集，并将所有的所述数据源的类型枚举子集，集合为所述类型枚举集；
将所述类型枚举集进行预处理，预处理后保存在所述类型解析层中。
3.根据权利要求1所述的一种多类型接入数据源的通用数据处理架构设计方法，其特征在于，基于所构建的所述数据源的类型枚举集，配置若干对应所述类型枚举集的方言解析器，并将所述方言解析器保存在方言解析层中，包括：
基于所述类型枚举集，获取所述类型枚举集中的数据源类型；
配置若干与所述数据源类型相对应的方言解析器，并将所配置的所述方言解析器与对应的所述数据源类型进行关联绑定；
将关联绑定后的所述方言解析器配置进行预处理，并保存在所述方言解析层中。
4.根据权利要求1所述的一种多类型接入数据源的通用数据处理架构设计方法，其特征在于，基于所构建的所述数据源的类型枚举集，配置若干对应所述类型枚举集的数据库，并将所述数据库保存在储存层中，包括：
基于所述类型枚举集，获取所述类型枚举集中的数据源类型；
配置若干与所述数据源类型相对应的数据库，并在所述数据库上设定与所述数据源类型相匹配的连接参数和数据库名，完成数据库配置；
将配置好的所述数据库进行预处理，并保存在储存层中。
5.一种适用于多类型接入数据源的通用数据处理架构，其特征在于，所述通用数据处理架构根据权利要求1-4中任一项所述的多类型接入数据源的通用数据处理架构设计方法进行构建。
6.基于权利要求1-4中任一项所述的一种多类型接入数据源的通用数据处理架构设计方法的通用数据处理方法，其特征在于，包括：
获取语言解析请求信息并上传至类型解析层；
通过所述类型解析层对所述语言解析请求信息进行解析，获取所述语言解析请求信息的请求信息，并同步将所述请求信息发送至方言解析层中；
根据所述请求信息，通过所述方言解析层对所述语言解析请求信息进行解析，得到语言解析结果，并将语音解析结果发送至储存层；
所述储存层接收所述语言解析结果，并根据与所述数据源类型相对应的数据库，储存所述语言解析结果。
7.根据权利要求6所述的通用数据处理方法，其特征在于，通过所述类型解析层对所述语言解析请求信息进行解析，获取所述语言解析请求信息的请求信息，并同步将所述请求信息发送至方言解析层中，包括：
所述类型解析层接收所述语言解析请求信息；
解析所述语言解析请求信息，得到所述语言解析请求信息中的请求信息；其中，所述请求信息包括所述语言解析请求信息的数据源类型、连接参数和数据库名；
将所述请求信息发送至所述方言解析层。
8.根据权利要求7所述的通用数据处理方法，其特征在于，根据所述请求信息，通过所述方言解析层对所述语言解析请求信息进行解析，得到语言解析结果，并将语音解析结果发送至储存层，包括：
所述方言解析层接收所述请求信息，并根据所述请求信息中的所述数据源类型，确定与所述数据源类型相对应的方言解析器；
所述方言解析层根据所述请求信息中的所述连接参数和数据库名，从储存层中确定与所述数据源类型相匹配的数据库；
通过所述方言解析层中确定的所述方言解析器，对所述语言解析请求信息中的数据进行解析，得到语音解析结果，并将语音解析结果发送至确定的所述数据库中。
9.一种实现权利要求6-8中任一项所述的通用数据处理方法的装置，其特征在于，包括：
请求单元，用于获取语言解析请求信息并上传至类型解析层；
类型解析单元，用于通过所述类型解析层对所述语言解析请求信息进行解析，获取所述语言解析请求信息的请求信息，并同步将所述请求信息发送至方言解析层中；
方言解析单元，用于根据所述请求信息，通过所述方言解析层对所述语言解析请求信息进行解析，得到语言解析结果，并将语音解析结果发送至储存层；
储存单元，用于通过所述储存层接收所述语言解析结果，并根据与所述数据源类型相对应的数据库，储存所述语言解析结果。
10.一种数据处理***，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现权利要求6至8中任一项所述的通用数据处理方法。
CN202210802664.4A 2022-07-07 2022-07-07 一种多类型接入数据源的通用数据处理架构设计方法 Pending CN115048359A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210802664.4A CN115048359A (zh) 2022-07-07 2022-07-07 一种多类型接入数据源的通用数据处理架构设计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210802664.4A CN115048359A (zh) 2022-07-07 2022-07-07 一种多类型接入数据源的通用数据处理架构设计方法

Publications (1)

Publication Number Publication Date
CN115048359A true CN115048359A (zh) 2022-09-13

Family

ID=83164457

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210802664.4A Pending CN115048359A (zh) 2022-07-07 2022-07-07 一种多类型接入数据源的通用数据处理架构设计方法

Country Status (1)

Country Link
CN (1) CN115048359A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115827703A (zh) * 2023-02-10 2023-03-21 美云智数科技有限公司 枚举数据查询方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115827703A (zh) * 2023-02-10 2023-03-21 美云智数科技有限公司 枚举数据查询方法及装置

Similar Documents

Publication Publication Date Title
CN104572122B (zh) 一种软件应用数据的生成装置及方法
JP5298117B2 (ja) 分散コンピューティングにおけるデータマージング
CN110351325B (zh) 一种数据处理方法及相关设备
CN111881042B (zh) 自动化测试脚本的生成方法、装置和电子设备
CN111241182A (zh) 数据处理方法和装置、存储介质和电子装置
CN111522728A (zh) 自动化测试用例的生成方法、电子设备及可读存储介质
CN111125064B (zh) 一种生成数据库模式定义语句的方法和装置
US20210124752A1 (en) System for Data Collection, Aggregation, Storage, Verification and Analytics with User Interface
EP3336726B1 (en) Systems and methods for facilitating data transformation
CN115048359A (zh) 一种多类型接入数据源的通用数据处理架构设计方法
CN112559525B (zh) 数据检查***、方法、装置和服务器
JP7346332B2 (ja) データベースマイグレーション方法、データベースマイグレーションシステム、及びデータベースマイグレーションプログラム
CN116594887A (zh) 一种基于cfd软件的自动化测试方法及***
CN115422202A (zh) 业务模型的生成方法、业务数据查询方法、装置及设备
CN114610803A (zh) 一种数据处理方法、装置、电子设备和存储介质
CN115357625A (zh) 结构化数据比对方法、装置、电子设备及存储介质
CN114358596A (zh) 指标计算方法及装置
CN114371866A (zh) 业务***的版本重构测试方法、装置和设备
CN113377801A (zh) 数据检验方法、装置、电子设备及计算机存储介质
CN113504912B (zh) 实时任务的处理方法和装置、存储介质及电子装置
CN116431677B (zh) 基于内存数据库的数据路由方法、***和可读存储介质
CN116680203B (zh) 面向多租户的SaaS平台的测试方法、装置、设备和介质
CN113568682B (zh) 规则数据校验方法、装置、计算机设备和存储介质
CN113434409B (zh) 微服务测试方法及装置
CN116909692A (zh) 一种接口处理方法、装置、设备和计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination