CN111488391A - 数据处理方法及装置 - Google Patents

数据处理方法及装置 Download PDF

Info

Publication number
CN111488391A
CN111488391A CN202010274532.XA CN202010274532A CN111488391A CN 111488391 A CN111488391 A CN 111488391A CN 202010274532 A CN202010274532 A CN 202010274532A CN 111488391 A CN111488391 A CN 111488391A
Authority
CN
China
Prior art keywords
database
data
data operation
target database
statement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010274532.XA
Other languages
English (en)
Inventor
张鑫
赵思琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Ltd
Original Assignee
Bank of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Ltd filed Critical Bank of China Ltd
Priority to CN202010274532.XA priority Critical patent/CN111488391A/zh
Publication of CN111488391A publication Critical patent/CN111488391A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/252Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/448Execution paradigms, e.g. implementations of programming paradigms
    • G06F9/4482Procedural

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供了一种数据处理方法及装置,其中,所述数据处理方法,包括:通过应用程序接口接收前端发送的数据操作信息;其中,所述数据操作信息至少包括:操作命令、操作参数、数据库标识;将所述数据操作信息拼装为符合预设格式的通用执行语句;利用预先配置的目标数据库对应的解析信息,对所述通用执行语句进行解析,得到符合所述目标数据库对应的格式要求的数据操作语句;其中,所述目标数据库为所述数据库标识对应的数据库;将所述数据操作语句传输给所述目标数据库,以触发所述目标数据库执行所述数据操作语句。从而实现了一种可以有效地将关系型数据库和非关系型数据库的优势相结合的数据处理方法。

Description

数据处理方法及装置
技术领域
本申请涉及数据处理技术领域,特别涉及一种数据处理方法及装置。
背景技术
在这个信息技术飞速发展的时代,每天都会产生体量非常庞大的数据。在云计算、移动化、大数据等新兴技术的推动下,企业纷纷加速向数据时代迁移,这使得对于数据的管理越来越高。
因为关系型数据库可以实现复杂的关联查询,所以在许多领域中,尤其在金融领域中的银行、保险等企业大多都选择关系型数据库管理***进行数据管理。但是,数据表的存储量、横向可扩展能力和纵向数据可承受能力都是有限的,海量数据的涌入,会使查询时间会呈指数级别增长,并且关系型数据库也无法很好地应对每秒上万次的读写请求。所以,对于目前大热的网页、移动客户端等数据量、访问量较大的应用场景下,通常会选择基于非关系型数据库进行数据管理,其读写性能优异、数据模型灵活、易于扩展,但是却无法实现复杂的关联查询。
但是现今对于数据管理需求,既需要可以实现具有关系型数据库复杂的关联查询功能,又需要具有非关系型数据库优异的数据读写性能,而对于一个企业,也不能同时设置两个管理***,因为这不仅不便于数据的管理和使用,而且还增加了成本。所以,如何有效地结合关系型数据库和非关系型数据库的优势显得尤为重要。
发明内容
基于上述现有技术的不足,本发明提供了一种数据处理方法及装置,以解决如何有效地将关系型数据库和非关系型数据库的优势的进行结合的问题。
为了实现上述目的,本发明提供了以下技术方案:
本申请第一方面提供了一种数据处理方法,包括:
通过应用程序接口接收前端发送的数据操作信息;其中,所述数据操作信息至少包括:操作命令、操作参数、数据库标识;
将所述数据操作信息拼装为符合预设格式的通用执行语句;
利用预先配置的目标数据库对应的解析信息,对所述通用执行语句进行解析,得到符合所述目标数据库对应的格式要求的数据操作语句;其中,所述目标数据库为所述数据库标识对应的数据库;
将所述数据操作语句传输给所述目标数据库,以触发所述目标数据库执行所述数据操作语句。
可选地,在上述的数据处理方法中,所述将所述数据操作语句传输给所述目标数据库,包括:
从数据库连接池中确定出所述目标数据库对应的目标连接,并通过所述目标连接将所述数据操作语句传输给所述目标数据库。
可选地,在上述的数据处理方法中,所述将所述数据操作语句传输给所述目标数据库,以触发所述目标数据库执行所述数据操作语句之后,还包括:
接收所述目标数据库反馈的数据操作结果;
利用预先配置的所述目标数据库对应的结果封装信息,将所述数据操作结果封装为统一格式的响应消息;
将所述响应消息通过所述应用程序接口反馈给所述前端。
可选地,在上述的数据处理方法中,还包括:
获取支持新增数据库的架包;其中,所述架包用于实现与所述新增数据库间的交互;
生成所述新增数据库对应的配置文件,并部署支持所述新增数据库的插件;其中,所述配置文件包括所述解析信息以及所述结果封装信息。
可选地,在上述的数据处理方法中,所述通过应用程序接口接收前端发送的数据操作信息,包括:
通过被调用的所述应用程序接口接收前端发送的数据操作信息;其中,所述应用程序接口至少包括数据查询接口、数据新增接口、数据更新接口、数据删除接口;每种所述应用程序接口用于统一接收一种数据操作类型的数据操作信息。
本申请第二方面提供了一种数据处理装置,包括:
第一接收单元,用于通过应用程序接口接收前端发送的数据操作信息;其中,所述数据操作信息至少包括:操作命令、操作参数、数据库标识;
第一封装单元,用于将所述数据操作信息拼装为符合预设格式的通用执行语句;
解析单元,用于利用预先配置的目标数据库对应的解析信息,对所述通用执行语句进行解析,得到符合所述目标数据库对应的格式要求的数据操作语句;其中,所述目标数据库为所述数据库标识对应的数据库;
传输单元,用于将所述数据操作语句传输给所述目标数据库,以触发所述目标数据库执行所述数据操作语句。
可选地,在上述的数据处理装置中,所述传输单元,包括:
传输子单元,用于从数据库连接池中确定出所述目标数据库对应的目标连接,并通过所述目标连接将所述数据操作语句传输给所述目标数据库。
可选地,在上述的数据处理装置中,还包括:
第二接收单元,用于接收所述目标数据库反馈的数据操作结果;
第二封装单元,用于利用预先配置的所述目标数据库对应的结果封装信息,将所述数据操作结果封装为统一格式的响应消息;
反馈单元,用于将所述响应消息通过所述应用程序接口反馈给所述前端。
可选地,在上述的数据处理装置中,还包括:
获取单元,用于获取支持新增数据库的架包;其中,所述架包用于实现与所述新增数据库间的交互;
生成单元,用于生成所述新增数据库对应的配置文件,并部署支持所述新增数据库的插件;其中,所述配置文件包括所述解析信息以及所述结果封装信息。
可选地,在上述的数据处理装置中,第一接收单元,包括:
第一接收子单元,用于通过被调用的所述应用程序接口接收前端发送的数据操作信息;其中,所述应用程序接口至少包括数据查询接口、数据新增接口、数据更新接口、数据删除接口;每种所述应用程序接口用于统一接收一种数据操作类型的数据操作信息。
本申请提供的一种数据处理方法,通过向前端提供统一的应用程序接口,以通过统一的接口的接收数据操作信息,然后将数据操作信息拼装为符合预设格式的通用执行语句,从而对前端屏蔽了不同数据库间的差异。其中,数据操作信息至少包括:操作命令、操作参数以及数据库标识。后续将数据库标识对应的数据库作为目标数据库,并利用预先配置的目标数据库对应的解析信息,对通用执行语句进行解析,得到符合目标数据库对应的格式要求的数据操作语句,从而实现了根据不同的解析信息,将通用执行语句动态地解析为多种数据库对应的数据操作语句。最后,将数据操作语句传输给目标数据库,以触发目标数据库指向数据操作语句。从而实现了一种可以同时基于多种数据库进行数据处理的方法,因此可以在同时基于关系型数据库和非关系型数据库进行数据存取等操作,有效地结合了关系型数据库和非关系型数据库的优势。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1本申请实施例提供的一种数据处理框架的结构示意图;
图2为本申请另一实施例提供的一种数据处理方法的流程示意图;
图3为本申请另一实施例提供的一种反馈数据操作结果的方法的流程示意图;
图4为本申请另一实施例提供的一种新增数据库的方法的流程示意图;
图5为本申请另一实施例提供的一种数据处理装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本申请中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本申请实施例提供了一种数据处理方法,以解决如何有效地将关系型数据库和非关系型数据库的优势进行结合的问题。
首先需要说明的是,为了实现本申请提供的数据处理方法,本申请实施例提供了一种数据处理框架,如图1所示,主要包括:接口层模块101、基础支撑层模块102以及数据处理层模块103。
其中,接口层模块101主要用于向前端提供统一的应用程序接口,从而屏蔽不同数据库的接口的区别,便于用户通过调用应用程序接口,提供统一格式数据操作信息就可以实现数据处理。其中,统一的应用程序接口主要包括四个统一的应用程序接口,具体为:数据查询接口,数据新增接口,数据更新接口,数据删除接口。
需要说明的是对于每个数据库单独使用时,为了实现最基本的数据的增删改查,所以设置有数据查询接口,数据新增接口,数据更新接口,数据删除接口,但是不同类型的数据库,或者不同的数据库的用于实现相同功能的接口的配置存在差异。所以,为屏蔽不同数据库的接口的区别,本申请分别针对实现每个功能的接口,通过获取所要支持的各个数据库的同一种的接口的配置信息,并封装为统一的应用程序接口。
基础支撑层模块102,主要用于管理关系型数据和非关系型数据库的连接池,加载并解析各个数据库的配置文件,并将解析得到的信息提供给数据处理层模块103用于数据处理,以及当前端通过调用应用程序接口传入数据操作信息时,将各个数据操作信息拼装成通用执行语句,并传递给数据处理层模块103。并且,还用于缓存数据库返回的数据,便于后续能提供查询效率。
数据处理层模块103,主要用于根据基础支撑层模块102加载解析的信息,将通用执行语句解析成本次进行数据操作的目标数据库所对应的数据操作语句,并通过参数配置功能,对解析后数据操作语句进行参数赋值,得到最终的数据操作语句。然后根据基础支撑层模块102管路的数据库连接池中选择目标数据库对应的连接,传递给目标数据库。数据库单条或者批量执行数据操作语句,并将数据处理结果反馈给数据处理层模块103,所以数据处理层模块103还用于将数据处理结果封装为统一格式的响应消息,并将相应消息返回给接口层模块101,以提供给前端。
可选地,由于已存在有对关系型数据库持久化的框架,所以在开发数据处理框架时,可以直接通过引入对象关系映射框架Hibernate,实现对关系型数据库持久化的支持,从而能在一定程度上提高开发的效率,当然也可以采用其他的框架。
基于上述提供的数据处理框架,本申请另一实施例提供了一种数据处理方法,如图2所示,包括:
S201、通过应用程序接口接收前端发送的数据操作信息。
其中,数据操作信息至少包括:操作命令、操作参数、数据库标识。可选地,操作命令至少包括:数据写入、数据查询、数据修改以及数据删除四种命令。其中,当操作命令为数据写入或数据修改时,数据操作信息中还应该包含有所要写入的数据库中的数据。
可选地,本申请另一实施例中,步骤S201的一种具体实施方法,具体为:通过被调用的所述应用程序接口接收前端发送的数据操作信息。
其中,应用程序接口至少包括数据查询接口、数据新增接口、数据更新接口、数据删除接口,并且每种应用程序接口用于统一接收一种数据操作类型的数据操作信息。其中,数据操作类型包括数据查询、数据新增、数据更新、数据删除。数据库标识可以为预先为各个数据库配置的唯一标识。
具体的,在本申请实施例中,为了实现可以同时支持多个关系型数据库和非关系型数据库的增删改查,向前端不同数据的接口区别,预先分别针对数据查询接口、数据新增接口、数据更新接口、数据删除接口中的一种接口,根据所要支持的各个数据库的接口配置信息,统一封装得到相应的应用程序接口。然后通过接口层模块提供给前端调用,所以当前端响应用户的操作时,会根据用户的操作调用相应的应用程序接口进行数据操作。
S202、将数据操作信息拼装为符合预设格式的通用执行语句。
由于是通过统一的接口接收前端上传的数据操作信息,所以相应地所接收到的数据操作信息会自动被拼装为一种统一格式的通用执行语句。
S203、利用预先配置的目标数据库对应的解析信息,对通用执行语句进行解析,得到符合目标数据库对应的格式要求的数据操作语句,目标数据库为数据库标识对应的数据库。
由于,各个数据库所支持的执行语句有着相应的格式要求,不同的格式要求所要求的参数以及参数类型等都存在一定的区别,所以数据库并不能直接执行通用执行语句,需要先将通用执行语句转换为符合数据库对应要求的执行语句。
需要说明的是,本申请实施例中,预先配置好各个数据库所对应的解析信息。其中,解析信息中包含了符合数据库对应要求的执行语句的参数配置要求、各个参数与通用执行语句中的各个参数的映射关系以及参数的类型转换的对应关系等。所以,后续可以根据不同的解析信息,将通用执行语句动态地解析为多种数据库的数据操作语句,从而充分地发挥各个数据库的优势,提供数据的存取性能。
可选地,可以将解析信息通过配置文件的方式进行配置,其中,配置文件可以采用可扩展标记语言模式(XML schema),然后增加相应的加载器对配置文件进行加载解析。具体的,在启动数据处理框架时,基础支撑层模块加载并解析数据库的执行语句的配置文件,得到解析信息,并将解析信息提供给数据处理层模块进行调用。
具体的,数据处理层模块在接收到通用执行语句后,先根据数据库标识确定响应本次数据操作的数据库,即先将与数据库标识对应的数据库确定为目标数据库,然后调用目标数据库对应的配置信息对通用执行语句进行参数映射以及参数格式转换、参数赋值等操作,从而将通用执行语句动态解析成目标数据库所能执行的数据操作语句。例如,目标数据库为关系型数据库mysql,则将通用执行语句解析为结构化查询语言(Structured QueryLanguage,SQL)。
需要说明的是,因为部分相同类型的数据库的执行语句的格式要求是相同的。例如,许多的关系型数据库采用的都是结构化查询语言进行数据操作,所以不同的数据库可以对应相同的解析信息。
S204、将数据操作语句传输给目标数据库,以触发目标数据库执行数据操作语句。
在将通过执行语句解析为数据操作语句后,就相当于单独使用目标数据库时接收到执行语句,此时只需要将数据操作语句传输给目标数据库,将触发目标数据库执行数据操作语句,从而在目标数据库中相应数据操作。其中,可选地,数据库可以单条执行数据操作语句也可以批量执行数据操作语句。
可选地,本申请另一实施例中,步骤S204的一种实施方式,具体为:从数据库连接池中确定出目标数据库对应的目标连接,并通过目标连接将数据操作语句传输给目标数据库。
需要说明的是,由于数据处理框架同时支持多个数据库,所以本申请通过基础支持层模块来管理包含各个数据库连接的数据库连接池。所以,可以在基础支撑层模块中增加数据库的连接。因此数据处理层模块可以从基础支持层模块提供的数据库连接池中,选择相应的数据库连接作为目标连接,然后通过目标连接将数据操作语句传输给目标数据库。
目标数据在执行数据操作语句后,会向数据处理框架返回数据操作结果。同理,不同数据库反馈的数据操作结果的格式不相同,所以数据处理框架要通过统一的应用程序接口返回数据操作结果,同样需要先将数据操作结果转换为统一的格式。
可选地,本申请另一实施例中提供了反馈数据操作结果的方法,如图3所示,包括:
S301、接收目标数据库反馈的数据操作结果。
S302、利用预先配置的目标数据库对应的结果封装信息,将数据操作结果封装为统一格式的响应消息。
同解析信息一样,结果封装信息中包含数据库反馈的数据操作结果中各个结果与统一格式的响应消息的各个结构的映射关系以及结果的类型转换的对应关系等,从而可以利用不同数据库对应的结果封装信息,将不同数据库反馈的数据操作结果封装为一种统一格式的响应消息。
同样,结果封装信息也通过配置文件的方式进行配置,所以结果封装信息和解析信息可以通过同一个配置文件进行配置,在启动数据处理框架时,基础支撑层模块加载并解析配置文件,得到解析信息和结果封装信息,并提供给数据处理层模块进行调用。
S303、将响应消息通过应用程序接口反馈给前端。
需要说明的是,为了便于后续的数据查询,在本申请实施例中,若响应消息中包括有反馈数据时,则复制响应消息中的反馈数据,并进行缓存,从而后续若再次请求查询该反馈数据时,直接将缓存的反馈数据反馈给前端。
具体的,若本次数据操作为数据读取操作,则当数据处理层模块将响应消息反馈给接口层模块时,基础支撑层模块拷贝反馈数据,并进行缓存。
还需要说明的是,在起初开发数据处理框架时,可以将对一些常用的关系型数据库和非关系型数据库进行配置。当然,本申请实施例提供的数据处理框架,也允许后续用户基于该框架执行扩展所要支持数据库。
可选地,本申请另一实施例中,提供了一种新增数据库的方法,如图4所示,具体包括:
S401、获取支持新增数据库的架包,架包用于实现与新增数据库间的交互。
具体的,在新增数据库时,为了实现与新增数据间的交互,则需要获取数据库支持Java编程语言的jar包,所以需要将新增数据库对应的jar包引入数据处理框架中。
S402、生成新增数据库对应的配置文件,并部署支持新增数据库的插件,配置文件包括解析信息以及结果封装信息。
由于,在具体使用过程中,在将通过执行语句解析为数据库对应的数据操作语句时需要解析信息,而将数据操作结果反馈给前端时,需要结果封装信息,所以需要相应用户的配置生成新增数据库对应的配置文件。然后,部署支持新增数据库的插件,例如配置解析器,用于解析配置文件,从而实现了将新增数据库引入到了数据处理框架中。
本申请实施例提供的一种数据处理方法,通过向前端提供统一的应用程序接口,以通过统一的接口的接收数据操作信息,然后将数据操作信息拼装为符合预设格式的通用执行语句,从而对于前端屏蔽了数据库间的差异。其中,数据操作信息至少包括:操作命令、操作参数以及数据库标识。后续则可以利用预先配置的目标数据库对应的解析信息,对通用执行语句进行解析,得到符合目标数据库对应的格式要求的数据操作语句,从而实现了根据不同的解析信息,将通用执行语句动态地解析为多种数据库对应的数据操作语句。最后,将数据操作语句传输给目标数据库,以触发目标数据库指向数据操作语句。从而实现了一种可以同时基于多种数据库进行数据处理的方法,因此可以在同时基于关系型数据库和非关系型数据库进行数据存取等操作,有效地结合了关系型数据库和非关系型数据库的优势。
本申请另一实施例提供了一种数据处理装置,如图5所示,包括:
第一接收单元501,用于通过应用程序接口接收前端发送的数据操作信息。
其中,数据操作信息至少包括:操作命令、操作参数、数据库标识。
第一封装单元502,用于将数据操作信息拼装为符合预设格式的通用执行语句。
解析单元503,用于利用预先配置的目标数据库对应的解析信息,对通用执行语句进行解析,得到符合目标数据库对应的格式要求的数据操作语句。
其中,目标数据库为数据库标识对应的数据库。
传输单元504,用于将数据操作语句传输给目标数据库,以触发目标数据库执行数据操作语句。
需要说明的是,本申请实施例中的上述单元的具体工作过程可相应地参考上述方法实施例中的步骤S201~步骤S204,此处不再赘述。
可选地,本申请另一实施例提供的数据处理装置中,传输单元504包括:
传输子单元,用于从数据库连接池中确定出目标数据库对应的目标连接,并通过目标连接将数据操作语句传输给目标数据库。
可选地,本申请另一实施例提供的数据处理装置中,还可以进一步包括:
第二接收单元,用于接收目标数据库反馈的数据操作结果。
第二封装单元,用于利用预先配置的目标数据库对应的结果封装信息,将数据操作结果封装为统一格式的响应消息。
反馈单元,用于将响应消息通过应用程序接口反馈给前端。
需要说明的是,本申请实施例中的上述单元的具体工作过程可相应地参考上述方法实施例中的步骤S301~步骤S303,此处不再赘述。
可选地,本申请另一实施例提供的数据处理装置中,还可以进一步包括:
获取单元,用于获取支持新增数据库的架包。
其中,该架包用于实现与新增数据库间的交互。
生成单元,用于生成新增数据库对应的配置文件,并部署支持新增数据库的插件。
其中,配置文件包括解析信息以及结果封装信息。
需要说明的是,本申请实施例中的上述单元的具体工作过程可相应地参考上述方法实施例中的步骤S401~步骤S402,此处不再赘述。
可选地,本申请另一实施例提供的数据处理装置中,第一接收单元501,包括:
第一接收子单元,用于通过被调用的应用程序接口接收前端发送的数据操作信息。
其中,应用程序接口至少包括数据查询接口、数据新增接口、数据更新接口、数据删除接口。每种应用程序接口用于统一接收一种数据操作类型的数据操作信息。
本申请提供的一种数据处理装置,第一接收单元通过统一的应用程序接口的接收数据操作信息,然后第一封装单元将数据操作信息拼装为符合预设格式的通用执行语句,从而对前端屏蔽了不同数据库间的差异。其中,数据操作信息至少包括:操作命令、操作参数以及数据库标识。后续将数据库标识对应的数据库作为目标数据库,并由解析单元利用预先配置的目标数据库对应的解析信息对通用执行语句进行解析,得到符合目标数据库对应的格式要求的数据操作语句,从而根据不同的解析信息,实现了将通用执行语句动态地解析为多种数据库对应的数据操作语句。最后,传输单元将数据操作语句传输给目标数据库,以触发目标数据库指向数据操作语句。从而实现了一种可以同时基于多种数据库进行数据处理的方法,因此可以在同时基于关系型数据库和非关系型数据库进行数据存取等操作,有效地结合了关系型数据库和非关系型数据库的优势。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据处理方法,其特征在于,包括:
通过应用程序接口接收前端发送的数据操作信息;其中,所述数据操作信息至少包括:操作命令、操作参数、数据库标识;
将所述数据操作信息拼装为符合预设格式的通用执行语句;
利用预先配置的目标数据库对应的解析信息,对所述通用执行语句进行解析,得到符合所述目标数据库对应的格式要求的数据操作语句;其中,所述目标数据库为所述数据库标识对应的数据库;
将所述数据操作语句传输给所述目标数据库,以触发所述目标数据库执行所述数据操作语句。
2.根据权利要求1所述的方法,其特征在于,所述将所述数据操作语句传输给所述目标数据库,包括:
从数据库连接池中确定出所述目标数据库对应的目标连接,并通过所述目标连接将所述数据操作语句传输给所述目标数据库。
3.根据权利要求1所述的方法,其特征在于,所述将所述数据操作语句传输给所述目标数据库,以触发所述目标数据库执行所述数据操作语句之后,还包括:
接收所述目标数据库反馈的数据操作结果;
利用预先配置的所述目标数据库对应的结果封装信息,将所述数据操作结果封装为统一格式的响应消息;
将所述响应消息通过所述应用程序接口反馈给所述前端。
4.根据权利要求3所述的方法,其特征在于,还包括:
获取支持新增数据库的架包;其中,所述架包用于实现与所述新增数据库间的交互;
生成所述新增数据库对应的配置文件,并部署支持所述新增数据库的插件;其中,所述配置文件包括所述解析信息以及所述结果封装信息。
5.根据权利要求1所述的方法,其特征在于,所述通过应用程序接口接收前端发送的数据操作信息,包括:
通过被调用的所述应用程序接口接收前端发送的数据操作信息;其中,所述应用程序接口至少包括数据查询接口、数据新增接口、数据更新接口、数据删除接口;每种所述应用程序接口用于统一接收一种数据操作类型的数据操作信息。
6.一种数据处理装置,其特征在于,包括:
第一接收单元,用于通过应用程序接口接收前端发送的数据操作信息;其中,所述数据操作信息至少包括:操作命令、操作参数、数据库标识;
第一封装单元,用于将所述数据操作信息拼装为符合预设格式的通用执行语句;
解析单元,用于利用预先配置的目标数据库对应的解析信息,对所述通用执行语句进行解析,得到符合所述目标数据库对应的格式要求的数据操作语句;其中,所述目标数据库为所述数据库标识对应的数据库;
传输单元,用于将所述数据操作语句传输给所述目标数据库,以触发所述目标数据库执行所述数据操作语句。
7.根据权利要求6所述的装置,其特征在于,所述传输单元,包括:
传输子单元,用于从数据库连接池中确定出所述目标数据库对应的目标连接,并通过所述目标连接将所述数据操作语句传输给所述目标数据库。
8.根据权利要求6所述的装置,其特征在于,还包括:
第二接收单元,用于接收所述目标数据库反馈的数据操作结果;
第二封装单元,用于利用预先配置的所述目标数据库对应的结果封装信息,将所述数据操作结果封装为统一格式的响应消息;
反馈单元,用于将所述响应消息通过所述应用程序接口反馈给所述前端。
9.根据权利要求8所述的装置,其特征在于,还包括:
获取单元,用于获取支持新增数据库的架包;其中,所述架包用于实现与所述新增数据库间的交互;
生成单元,用于生成所述新增数据库对应的配置文件,并部署支持所述新增数据库的插件;其中,所述配置文件包括所述解析信息以及所述结果封装信息。
10.根据权利要求6所述的装置,其特征在于,第一接收单元,包括:
第一接收子单元,用于通过被调用的所述应用程序接口接收前端发送的数据操作信息;其中,所述应用程序接口至少包括数据查询接口、数据新增接口、数据更新接口、数据删除接口;每种所述应用程序接口用于统一接收一种数据操作类型的数据操作信息。
CN202010274532.XA 2020-04-09 2020-04-09 数据处理方法及装置 Pending CN111488391A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010274532.XA CN111488391A (zh) 2020-04-09 2020-04-09 数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010274532.XA CN111488391A (zh) 2020-04-09 2020-04-09 数据处理方法及装置

Publications (1)

Publication Number Publication Date
CN111488391A true CN111488391A (zh) 2020-08-04

Family

ID=71798744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010274532.XA Pending CN111488391A (zh) 2020-04-09 2020-04-09 数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN111488391A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818049A (zh) * 2021-01-28 2021-05-18 中国人寿保险股份有限公司上海数据中心 一种信息***性能全链路分析***及其方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6226649B1 (en) * 1997-06-23 2001-05-01 Oracle Corporation Apparatus and method for transparent access of foreign databases in a heterogeneous database system
CN101158975A (zh) * 2007-11-21 2008-04-09 金蝶软件(中国)有限公司 一种访问不同类型数据库的方法和***
CN103823815A (zh) * 2012-11-19 2014-05-28 中国联合网络通信集团有限公司 服务器及数据库访问方法
CN104573115A (zh) * 2015-02-04 2015-04-29 新余兴邦信息产业有限公司 支持多类型数据库操作的集成接口的实现方法及***
CN106897467A (zh) * 2017-04-24 2017-06-27 成都四方伟业软件股份有限公司 一种大数据分析引擎的数据库适配方法
CN107798026A (zh) * 2016-09-05 2018-03-13 北京京东尚科信息技术有限公司 数据查询方法和装置
CN109766352A (zh) * 2018-11-19 2019-05-17 成都四方伟业软件股份有限公司 一种对异构数据源统一处理的方法及***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6226649B1 (en) * 1997-06-23 2001-05-01 Oracle Corporation Apparatus and method for transparent access of foreign databases in a heterogeneous database system
CN101158975A (zh) * 2007-11-21 2008-04-09 金蝶软件(中国)有限公司 一种访问不同类型数据库的方法和***
CN103823815A (zh) * 2012-11-19 2014-05-28 中国联合网络通信集团有限公司 服务器及数据库访问方法
CN104573115A (zh) * 2015-02-04 2015-04-29 新余兴邦信息产业有限公司 支持多类型数据库操作的集成接口的实现方法及***
CN107798026A (zh) * 2016-09-05 2018-03-13 北京京东尚科信息技术有限公司 数据查询方法和装置
CN106897467A (zh) * 2017-04-24 2017-06-27 成都四方伟业软件股份有限公司 一种大数据分析引擎的数据库适配方法
CN109766352A (zh) * 2018-11-19 2019-05-17 成都四方伟业软件股份有限公司 一种对异构数据源统一处理的方法及***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818049A (zh) * 2021-01-28 2021-05-18 中国人寿保险股份有限公司上海数据中心 一种信息***性能全链路分析***及其方法
CN112818049B (zh) * 2021-01-28 2024-04-16 中国人寿保险股份有限公司上海数据中心 一种信息***性能全链路分析***及其方法

Similar Documents

Publication Publication Date Title
CN108037961B (zh) 一种应用程序配置方法、装置、服务器和存储介质
CN109840429B (zh) 智能合约部署、调用方法和装置
CN110069572B (zh) 基于大数据平台的hive任务调度方法、装置、设备及存储介质
US5327559A (en) Remote and batch processing in an object oriented programming system
CN109840144B (zh) 一种针对跨机构批量服务请求的信息服务调度方法及***
CN109032631B (zh) 应用程序补丁包获取方法、装置、计算机设备及存储介质
CN111125064B (zh) 一种生成数据库模式定义语句的方法和装置
CN111949693A (zh) 一种数据处理装置、数据处理方法、存储介质及电子设备
CN111414350A (zh) 一种服务生成方法及装置
CN113467972A (zh) 通信接口构造方法、装置以及计算机设备、存储介质
CN113641700A (zh) 一种基于Spring boot框架的数据处理方法及装置
CN110457013B (zh) 程序组件配置装置及方法
EP2904520B1 (en) Reference data segmentation from single to multiple tables
CN110221840B (zh) 应用程序的功能实现方法及装置、设备及存储介质
CN114968192A (zh) 一种项目创建方法、装置、计算机设备及存储介质
CN111488391A (zh) 数据处理方法及装置
CN110620819B (zh) 区块链交互方法、装置、计算机设备及可读存储介质
CN112346774A (zh) 一种应用安装包的生成方法和装置
CN115934537A (zh) 接口测试工具生成方法、装置、设备、介质及产品
CN113094429B (zh) 数据处理方法、数据查询方法、计算机设备和存储介质
CN115344614A (zh) 数据处理方法、装置、存储介质及电子设备
CN112182083A (zh) 文件生成方法、装置、设备及存储介质
WO2021243665A1 (zh) 编译方法、编译装置、编译***、存储介质与电子设备
CN114840574A (zh) 数据查询方法、服务器、节点及存储介质
CN113239014A (zh) 维护用sql记录的管理装置及应用***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination