CN110334141A - 数据转换的方法、装置、计算机设备和存储介质 - Google Patents
数据转换的方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN110334141A CN110334141A CN201910463020.5A CN201910463020A CN110334141A CN 110334141 A CN110334141 A CN 110334141A CN 201910463020 A CN201910463020 A CN 201910463020A CN 110334141 A CN110334141 A CN 110334141A
- Authority
- CN
- China
- Prior art keywords
- data
- database
- format
- type
- data type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 126
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000009466 transformation Effects 0.000 claims abstract description 75
- 238000004590 computer program Methods 0.000 claims description 15
- 238000007789 sealing Methods 0.000 claims description 6
- 238000013508 migration Methods 0.000 description 8
- 230000005012 migration Effects 0.000 description 8
- 230000001360 synchronised effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 3
- 238000004904 shortening Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请中提供了一种数据转换的方法、装置、计算机设备和存储介质，包括源端服务器读取任一第一数据库中所有数据的第一数据类型；在预设的第一转换代码数据库中，根据预设的第一数据类型‑转换代码列表，获取第一数据类型对应的第一转换格式代码；通过第一转换格式代码，将第一数据库中的所有数据转换成至少一种数据格式的第一数据；将不同数据格式的第一数据发送至中间平台上对应数据格式的指定数据库中存储。通过在源端服务器中利用代码对所管理的数据库中的所有数据进行转换，并传送至中间平台上存储，无需针对每一数据进行多次转换，节省成本，缩短时间。
Description
技术领域
本申请涉及计算机技术领域，特别涉及一种数据转换的方法、装置、计算机设备和存储介质。
背景技术
在大数据的场景当中，经常需要将多个源数据库的数据同步到一个目标库，或将一个源数据库数据同步到多个目标库等，并且需要长期、持续的将数据从源数据库数据写入到目标库。而目前针对大数据的数据转换，转换的成本过高，且转换效率低。
发明内容
本申请的主要目的为提供一种数据转换的方法、装置、计算机设备和存储介质，旨在提高转换率的问题。
为实现上述目的，本申请提供了一种数据转换的方法，应用于源端服务器，包括以下步骤：
源端服务器读取任一第一数据库中所有数据的第一数据类型，其中，所述第一数据库中各数据的数据类型一致；
在预设的第一转换代码数据库中，根据预设的第一数据类型-转换代码列表，获取所述第一数据类型对应的第一转换格式代码；
通过所述第一转换格式代码，将所述第一数据库中的所有数据转换成至少一种数据格式的第一数据；
将不同数据格式的所述第一数据发送至中间平台上对应数据格式的指定数据库中存储，以供所述目标端服务器从所述中间平台上读取和解析所述第一数据。
进一步地，所述读取任一第一数据库中所有数据的第一数据类型的步骤，包括：
识别所述第一数据库的所属数据类型，其中所述数据类型包括关系型数据类型和非关系型数据类型；
获取所述第一数据库中任意所选择的一个数据的数据子类型；
判断所述数据子类型是否属于所述第一数据库所属数据类型的子类型；
若属于，则将获取到的数据子类型确定为所述第一数据库对应的第一数据类型。
进一步地，所述判断所述数据子类型是否属于所述第一数据库所属数据类型的子类型的步骤之后，还包括：
若不属于，则获取所述数据子类型属于的数据类型，以及获取所述第一数据库中的其他数据所属的数据子类型；
判定所述第一数据库中所有的数据分别所属的数据子类型是否一致；
若一致，则判定所述第一数据库的所属数据类型有误，若不一致，则判定所述其他数据所属的数据子类型是否属于所述第一数据库所属数据类型；
若所述其他数据所属的数据子类型存在属于所述第一数据库所属数据类型的子类型，则判定不属于所述第一数据库所属数据类型的所述第一数据库的数据为有误数据，并标记。
进一步地，所述在预设的第一转换代码数据库中，根据预设的第一数据类型-转换代码列表，获取所述第一数据类型对应的第一转换格式代码的步骤之前，还包括：
接收所述预设的第一数据类型-转换代码列表以及对应不同的数据类型的所述第一转换格式代码，其中，所述第一数据类型-转换代码列表是根据所述源端服务器所需读取的所述第一数据类型以及所需转换成的数据格式生成。
进一步地，所述通过所述第一转换格式代码，将所述第一数据库中的所有数据转换成至少一种数据格式的第一数据的步骤，包括：
通过所述第一转换格式代码，将所述第一数据库中的所有数据进行转换，打包成指定数据格式的密封的第一数据；
对所有所述第一数据打上数据标签，以供将所述第一数据分类存储于所述中间平台。
本申请还提供了一种数据转换的方法，应用于目标端服务器，包括以下步骤：
目标端服务器根据需要从中间平台的指定数据库中读取所有数据，以及获取所述指定数据库中存储的数据的第二数据类型，其中，所述指定数据库中的所有数据为源端服务器所管理的至少一个数据库中的所有数据转换的数据，所述指定数据库中存储的各数据的数据类型一致；
在预设的第二转换代码数据库中，根据预设的第二数据类型-转换代码列表，获取所述第二数据类型对应的第二转换格式代码；
通过所述第二转换格式代码，将所述指定数据库中的所有数据转换成对应格式的所述第二数据，并存储于所述目标端服务器对应数据格式的数据库中。
本发明提出了一种数据转换的装置，应用于源端服务器，所述源端服务器包括：
第一获取模块，用于读取任一第一数据库中所有数据的第一数据类型，其中，所述第一数据库中各数据的数据类型一致；
第二获取模块，用于在预设的第一转换代码数据库中，根据预设的第一数据类型-转换代码列表，获取所述第一数据类型对应的第一转换格式代码；
第一转换模块，用于通过所述第一转换格式代码，将所述第一数据库中的所有数据转换成至少一种数据格式的第一数据；
发送模块，用于将不同数据格式的所述第一数据发送至中间平台上对应数据格式的指定数据库中存储，以供所述目标端服务器从所述中间平台上读取和解析所述第一数据。
本发明还提出了一种数据转换的装置，应用于目标端服务器，所述目标端服务器包括：
读取模块，用于根据需要从中间平台的指定数据库中读取所有数据，以及获取所述指定数据库中存储的数据的第二数据类型，其中，所述指定数据库中的所有数据为源端服务器所管理的至少一个数据库中的所有数据转换的数据，所述指定数据库中存储的各数据的数据类型一致；
第三获取模块，用于在预设的第二转换代码数据库中，根据预设的第二数据类型-转换代码列表，获取所述第二数据类型对应的第二转换格式代码；
第二转换模块，用于通过所述第二转换格式代码，将所述指定数据库中的所有数据转换成对应格式的所述第二数据，并存储于所述目标端服务器对应数据格式的数据库中。
本申请还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请还提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请中提供的数据转换的方法、装置、计算机设备和存储介质，具有以下有益效果：
本申请中提供的数据转换的方法、装置、计算机设备和存储介质，通过在源端服务器中利用代码对所管理的数据库中的所有数据进行转换，并传送至中间平台上存储，以便目标端服务器可以订阅存储于中间平台上的数据，再次转换以便得到所需要的数据，转换简单，无需针对每一数据进行多次转换，节省成本，缩短时间。
附图说明
图1是本申请一实施例中数据转换的方法步骤示意图；
图2是本申请另一实施例中数据转换的方法步骤示意图；
图3是本申请一实施例中数据转换的装置结构框图；
图4是本申请另一实施例中数据转换的装置结构框图；
图5是本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，为本申请一实施例中提供了一种数据转换的方法，应用于源端服务器，包括以下步骤：
步骤S1，源端服务器读取任一第一数据库中所有数据的第一数据类型，其中，所述第一数据库中各数据的数据类型一致；
步骤S2，在预设的第一转换代码数据库中，根据预设的第一数据类型-转换代码列表，获取所述第一数据类型对应的第一转换格式代码；
步骤S3，通过所述第一转换格式代码，将所述第一数据库中的所有数据转换成至少一种数据格式的第一数据；
步骤S4，将不同数据格式的所述第一数据发送至中间平台上对应数据格式的指定数据库中存储，以供所述目标端服务器从所述中间平台上读取和解析所述第一数据。
以上步骤中，源端服务器读取其所管理的第一数据库中存储的所有数据，以及获取所述第一数据库中存储的数据的第一数据类型，其中，所述第一数据库中存储的各数据的数据类型一致；如所管理的源端数据库中包括有RDBMS关系型数据库，如Oracle、Mysql、PostgreSQL、SQL Server等等，用户预先编写好需要读取的第一数据库的第一转换格式代码，在预设的第一转换代码数据库中，根据预设的第一数据类型-转换代码列表，获取到所述第一数据类型对应的第一转换格式代码；当获取到第一数据库中的所有数据后，通过第一转换格式代码将所有数据转换成至少一种格式的第一数据，将不同数据格式的所有所述第一数据发送至中间平台上对应数据格式的指定数据库中存储，即源端服务器将转换后的第一数据发送到中间平台上存储，以供目标端服务器从所述中间平台上读取和解析所述第一数据，以便目标端服务器需要读取第一数据后，对所述第一数据进行解析得到所需存储格式的数据，减少学习成本，缩短开发周期。
在本实施例中，预先根据需要转换的数据库的数据以及目标端服务器所需应用的格式，用户设置有多种将数据转换成指定格式的代码程序，可以根据转换需求提前设置好对应的转换逻辑，以便根据指定的代码程序转换成对应格式的数据，发送并存储于中间平台中。如在一具体实施例中，需要将源端服务器的某一数据库中的数据的姓名、身份证号码进行转换成指定格式的数据存储于中间平台中，以供目标端服务器从中间平台中读取对应的数据，并进行解析得到对应格式的姓名、身份证号码，存储于目标端服务器对应的数据库中，即可完成数据的读取转换，其他目标端服务器需要该数据时，同样可以从中间平台上进行读取和解析，以得到所需格式要求的数据存储到目标端服务器对应的数据库中。
当源端服务器需读取多个管理的数据库中的第一数据，则可根据提前预设的代码程序对应将每一第一数据进行对应的转换，其中，每一数据库设置有标签，当将数据库中的所有第一数据进行转换成对应格式后，携带有对应的数据标签存储于中间平台上，以便目标端服务器在中间平台上订阅指定的数据。例如：产险理赔有一单报案A001的数据，存储在源端PG数据库中，需要分别被目标端报表***、报价***使用，其中报表***、报价***分别使用Mysql,Oracle数据库，那么数据转换流程应该为：PG Source-->中间平台-->(MysqlSink，Oracle Sink)-->Mysql，Oracle源端服务器需要实现数据的迁移和转换，以便将数据转移至目标端服务器的数据库中。由于读取和写入(解析)的逻辑是分开实现的，不同的存储产品有不同的读/写接口类，源端服务器主程序在启动时会扫描类路径下继承XXSource和XXSink接口类的处理类，并多线程调用，如源端服务器需要继承PGSource接口类，并在source(…)方法中自定义读取数据的逻辑，目标端服务器需要继承MysqlSink和OracleSink接口类，并在sink(…)方法中自定义解析、组装写入数据的逻辑。
不同的接入***需要根据预先设置的逻辑实现读取和写入逻辑，根据所使用的存储产品继承中间平台提供的接口类；中间平台提供了源端和目标端两个客户端包，源端提供了接口类，接入***需要继承接口并自定义读取数据的逻辑，再由源端服务器的kafkaconnect上送至中间平台的kafka服务端，同时目标端服务器中也提供了接口类，也需要由接入***继承实现解析、组装写入数据的逻辑。
在一实施例中，所述读取任一第一数据库中所有数据的第一数据类型的步骤S1，包括：
步骤S11，识别所述第一数据库的所属数据类型，其中所述数据类型包括关系型数据类型和非关系型数据类型；
步骤S12，获取所述第一数据库中任意所选择的一个数据的数据子类型；
步骤S13，判断所述数据子类型是否属于所述第一数据库所属数据类型的子类型；
步骤S14，若属于，则将获取到的数据子类型确定为所述第一数据库对应的第一数据类型。
以上步骤中，识别第一数据库的所述数据类型，其中，数据类型包括有关系型数据类型和非关系型数据类型，在所述第一数据库中任意选择其中一个数据，识别其所属的数据子类型，根据所属的数据子类型，判断是否属于所述第一数据库所属数据类型的子类型，如RDBMS关系型数据库，包括有Oracle、Mysql、PostgreSQL、SQL Server等等，若属于，则获取到的数据子类型确定为第一数据库对应的第一数据类型。
一般情况下，在所述第一数据库中任意识别其中一个数据的数据类型，由于所述第一数据库中存储的各数据的数据类型一致，依据识别到的所述第一数据库中任意一个数据的数据类型，可以确定所述第一数据库对应的所述第一数据类型。
在一实施例中，所述判断所述数据子类型是否属于所述第一数据库所属数据类型的子类型的步骤S13之后，还包括：
步骤S131，若不属于，则获取所述数据子类型属于的数据类型，以及获取所述第一数据库中的其他数据所属的数据子类型；
步骤S132，判定所述第一数据库中所有的数据分别所属的数据子类型是否一致；
步骤S133，若一致，则判定所述第一数据库的所属数据类型有误，若不一致，则判定所述其他数据所属的数据子类型是否属于所述第一数据库所属数据类型；
步骤S134，若所述其他数据所属的数据子类型存在属于所述第一数据库所属数据类型的子类型，则判定不属于所述第一数据库所属数据类型的所述第一数据库的数据为有误数据，并标记。
以上步骤中，若判定所述数据子类型不属于所述第一数据库所属的所述数据类型的子类型，则获取所述数据子类型属于的数据类型，以及获取所述第一数据库中的其他数据所属的数据子类型；以进一步判定所述第一数据库中所有的数据分别所属的数据子类型是否一致，若一致，则判定所述第一数据库的所属数据类型有误，若不一致，则再次判定第一数据库中的其他数据所属的数据子类型是否存在属于所述第一数据库的所属数据类型，如果所述其他数据所属的数据子类型存在属于所述第一数据库所属数据类型的子类型，则判定不属于所述第一数据库所属数据类型的所述第一数据库的数据为有误数据，并标记，将标记的数据显示，以便于告知后台第一数据库的数据存在问题，需二次检查。
在一实施例中，在预设的第一转换代码数据库中，根据预设的第一数据类型-转换代码列表，获取所述第一数据类型对应的第一转换格式代码的步骤S2之前，还包括：
步骤S201，接收所述预设的第一数据类型-转换代码列表以及对应不同的数据类型的所述第一转换格式代码，其中，所述第一数据类型-转换代码列表是根据所述源端服务器所需读取的所述第一数据类型以及所需转换成的数据格式生成。
以上步骤中，用户需提前预设好每一代码程序进行转换的第一数据类型-转换代码列表以及所述第一转换格式代码，并发送到源端服务器，以便当源端服务器需转换其所管理的第一数据库中的所有数据时，可以从预设的第一数据类型-转换代码列表获取到所述第一数据类型对应的第一转换格式代码。所述第一数据类型-转换代码列表是根据所述源端服务器所需读取的所述第一数据类型以及所需转换成的数据格式生成。
在一具体实施例中，用户***需要将源端服务器中Mysql数据库中的用户登录记录分别同步到PostgreSQL和Elastic Search，只需要将Mysql数据库中的所有数据转换到指定格式后，发送到中间平台，以便后续目标端服务器再通过PostgreSQL和ElasticSearch的接收目标端服务器从中间平台中获取数据。
在一实施例中，所述通过所述第一转换格式代码，将所述第一数据库中的所有数据转换成至少一种数据格式的第一数据的步骤S3，包括：
步骤S31，通过所述第一转换格式代码，将所述第一数据库中的所有数据进行转换，打包成指定数据格式的密封的第一数据；
步骤S32，对所有所述第一数据打上数据标签，以供将所述第一数据分类存储于所述中间平台。
以上步骤中，预先通过第一转换格式代码将对应的第一数据库中的数据进行转换打包成密封数据，实现将源端服务器的数据库中的数据转换成指定格式的第一数据的方式，对所有所述第一数据打上数据标签，以供将所述第一数据分类存储于所述中间平台。在本实施例中，存在增量同步和一次性迁移的迁移方式，其中，增量同步，是一种持续增量的数据转换过程，适用于源数据有变化的场景，同时还有数据量大，并发量高，数据源高写、高读、高读写等状况。一次性迁移，适用于源数据无态化的转换，数据是不会出现变化的场景。
在一具体实施例中，增量同步包括短信中间件***需要将每条请求日志记录，同步到Elastic Search***，为全文分词搜索提供基础数据，这种场景其数据量是不断增加的，并且由于是短信中间件***，日志记录的数量也会非常的大，数据会持续不断的上送到kafka服务端，并保存一个时间段(可以配置)，目标端服务器则会持续的订阅数据，并解析存储于目标端服务器对应的存储库中。
在另一实施例中，车险理赔***的数据转换的一次性迁移，由于业务线的不断增长，***原有的数据库产品Mysql已经无法支撑现有的业务规模，需要更换为Oracle，由于需要切换数据库，升级期间需停止***一段时间，以用于迁移数据到Oracle，由于车险理赔的数据量是非常大的，无法将数据全部迁移到Oracle，这时可以通过中间平台，接入***将数据库切换，重启应用将数据通过异步方式同步到Oracle。
综上所述，为本申请实施例中提供的数据转换的方法，通过在源端服务器中利用代码对所管理的数据库中的所有数据进行转换，并传送至中间平台上存储，以便目标端服务器可以订阅存储于中间平台上的数据，再次转换以便得到所需要的数据，转换简单，无需针对每一数据进行多次转换，节省成本，缩短时间。
参照图2，本申请一实施例中还提供了一种平台数据转换的方法，应用于目标端服务器，包括以下步骤：
步骤S100，目标端服务器根据需要从中间平台的指定数据库中读取所有数据，以及获取所述指定数据库中存储的数据的第二数据类型，其中，所述指定数据库中的所有数据为源端服务器所管理的至少一个数据库中的所有数据转换的数据，所述指定数据库中存储的各数据的数据类型一致；
步骤S200，在预设的第二转换代码数据库中，根据预设的第二数据类型-转换代码列表，获取所述第二数据类型对应的第二转换格式代码；
步骤S300，通过所述第二转换格式代码，将所述指定数据库中的所有数据转换成对应格式的所述第二数据，并存储于所述目标端服务器对应数据格式的数据库中。
以上步骤中，目标端服务器根据需要从中间平台的指定数据库中读取所有数据，该指定数据库中的所有数据为需转换存储于目标端服务器的数据库中的数据，目标服务器从所述中间平台上的指定数据库中读取数据，以及获取该指定数据库中存储的数据的第二数据类型，其中，指定数据库中的所有数据为源端服务器所管理的至少一个数据库中的所有数据转换的数据，且所述指定数据库中存储的各数据的数据类型一致；根据第二数据类型，在预设第二转换代码数据库中，根据预设的第二数据类型-转换代码列表，获取第二数据类型对应的第二转换格式代码，并通过第二转换格式代码将指定数据库中的所有数据转换成对应格式的第二数据，将该第二数据存储于目标端服务器对应数据格式的数据库中。
在本实施例中，根据需要转换存储于目标端服务器的数据库的数据格式，用户预先设置好用于将数据转换成指定格式的代码程序，可以根据转换需求提前设置好对应的转换逻辑，以便根据指定的第二转换格式代码转换成对应格式的第二数据，用于存储于目标端存储库中，减少学习成本，缩短开发周期。
在所述指定数据库中任意识别其中一个数据的数据类型，由于所述指定数据库中存储的各数据的数据类型一致，依据识别到的所述指定数据库中任意一个数据的数据类型，可以确定所述指定数据库对应的数据的所述第二数据类型。
在一实施例中，所述在预设的第二转换代码数据库中，根据预设的第二数据类型-转换代码列表，获取所述第二数据类型对应的第二转换格式代码的步骤S200之前，包括：
步骤S201，接收所述预设的第二数据类型-转换代码列表以及对应不同的数据类型的所述第二转换格式代码，其中，所述第二数据类型-转换代码列表是根据所述目标端服务器所需读取的所述第一数据类型以及所需转换成的数据格式生成。
以上步骤中，用户需提前预设好每一代码程序进行转换的第二数据类型-转换代码列表以及所述第而二转换格式代码，并发送到目标端服务器，以便当目标端服务器需转换读取到的指定数据库中的所有数据时，可以从预设的第二数据类型-转换代码列表获取到所述第二数据类型对应的第二转换格式代码，所述第二数据类型-转换代码列表是根据所述目标端服务器所需读取的所述第一数据类型以及所需转换成的数据格式生成。
综上所述，为本申请另一实施例中提供的数据转换的方法，通过在目标端服务器中利用代码对读取到的数据库中的所有数据进行转换并存储，转换简单，节省成本，缩短时间。
参照图3，本申请一实施例中还提供了一种数据转换的装置，应用于源端服务器，所述源端服务器包括：
第一获取模块10，用于读取任一第一数据库中所有数据的第一数据类型，其中，所述第一数据库中各数据的数据类型一致；
第二获取模块20，用于在预设的第一转换代码数据库中，根据预设的第一数据类型-转换代码列表，获取所述第一数据类型对应的第一转换格式代码；
第一转换模块30，用于通过所述第一转换格式代码，将所述第一数据库中的所有数据转换成至少一种数据格式的第一数据；
发送模块40，用于将不同数据格式的所述第一数据发送至中间平台上对应数据格式的指定数据库中存储，以供所述目标端服务器从所述中间平台上读取和解析所述第一数据。
在本实施例中，源端服务器的第一获取模块10读取其所管理的第一数据库中存储的所有数据，以及获取所述第一数据库中存储的数据的第一数据类型，其中，所述第一数据库中存储的个数据的数据类型一直；如所管理的源端数据库中包括有RDBMS关系型数据库，如Oracle、Mysql、PostgreSQL、SQL Server等等，用户预先编写好需要读取的第一数据库的第一转换格式代码，在预设的第一转换代码数据库中，根据预设的第一数据类型-转换代码列表，第二获取模块20获取到所述第一数据类型对应的第一转换格式代码；当获取到第一数据库中的所有数据后，第一转换模块30通过第一转换格式代码将所有数据转换成至少一种格式的第一数据，发送模块40将不同数据格式的所述第一数据发送至中间平台上对应数据格式的指定数据库中存储，即源端服务器将转换后的第一数据发送到中间平台上存储，以供目标端服务器从所述中间平台上读取和解析所述第一数据，以便目标端服务器需要读取第一数据后，对所述第一数据进行解析得到所需存储格式的数据，减少学习成本，缩短开发周期。
在本实施例中，预先根据需要转换的数据库的数据以及目标端服务器所需应用的格式，用户设置有多种将数据转换成指定格式的代码程序，可以根据转换需求提前设置好对应的转换逻辑，以便根据指定的代码程序转换成对应格式的数据，发送并存储于中间平台中。如在一具体实施例中，需要将源端服务器的某一数据库中的数据的姓名、身份证号码进行转换成指定格式的数据存储于中间平台中，以供目标端服务器从中间平台中读取对应的数据，并进行解析得到对应格式的姓名、身份证号码，存储于目标端服务器对应的数据库中，即可完成数据的读取转换，其他目标端服务器需要该数据时，同样可以从中间平台上进行读取和解析，以得到所需格式要求的数据存储到目标端服务器对应的数据库中。
当源端服务器需读取多个管理的数据库中的第一数据，则可根据提前预设的代码程序对应将每一第一数据进行对应的转换，其中，每一数据库设置有标签，当将数据库中的所有第一数据进行转换成对应格式后，携带有对应的数据标签存储于中间平台上，以便目标端服务器在中间平台上订阅指定的数据。例如：产险理赔有一单报案A001的数据，存储在源端PG数据库中，需要分别被目标端报表***、报价***使用，其中报表***、报价***分别使用Mysql,Oracle数据库，那么数据转换流程应该为：PG Source-->中间平台-->(MysqlSink，Oracle Sink)-->Mysql，Oracle源端服务器需要实现数据的迁移和转换，以便将数据转移至目标端服务器的数据库中。由于读取和写入(解析)的逻辑是分开实现的，不同的存储产品有不同的读/写接口类，源端服务器主程序在启动时会扫描类路径下继承XXSource和XXSink接口类的处理类，并多线程调用，如源端服务器需要继承PGSource接口类，并在source(…)方法中自定义读取数据的逻辑，目标端服务器需要继承MysqlSink和OracleSink接口类，并在sink(…)方法中自定义解析、组装写入数据的逻辑。
不同的接入***需要根据预先设置的逻辑实现读取和写入逻辑，根据所使用的存储产品继承中间平台提供的接口类；中间平台提供了源端和目标端两个客户端包，源端提供了接口类，接入***需要继承接口并自定义读取数据的逻辑，再由源端服务器的kafkaconnect上送至中间平台的kafka服务端，同时目标端服务器中也提供了接口类，也需要由接入***继承实现解析、组装写入数据的逻辑。
在一实施例中，第一获取模块10包括：
第一识别单元，用于识别所述第一数据库的所属数据类型，其中所述数据类型包括关系型数据类型和非关系型数据类型；
第一获取单元，用于获取所述第一数据库中任意所选择的一个数据的数据子类型；
第一判断单元，用于判断所述数据子类型是否属于所述第一数据库所属的所述数据类型的子类型；
第一执行单元，用于若属于，则将获取到的数据子类型确定为所述第一数据库对应的第一数据类型。
在本实施例中，第一识别单元识别第一数据库的所述数据类型，其中，数据类型包括有关系型数据类型和非关系型数据类型，在所述第一数据库中任意选择其中一个数据，识别其所属的数据子类型，根据所属的数据子类型，第一判断单元判断是否属于所述第一数据库所属的数据类型的子类型，如RDBMS关系型数据库，包括有Oracle、Mysql、PostgreSQL、SQL Server等等，若属于，则第一执行单元获取到的数据子类型确定为第一数据库对应的第一数据类型。
一般情况下，第一识别单元在所述第一数据库中任意识别其中一个数据的数据类型，由于所述第一数据库中存储的各数据的数据类型一致，依据识别到的所述第一数据库中任意一个数据的数据类型，可以确定所述第一数据库对应的所述第一数据类型。
在一实施例中，第一获取模块10还包括：
第二获取单元，用于若不属于，则获取所述数据子类型属于的数据类型，以及获取所述第一数据库中的其他数据所属的数据子类型；
第一判定单元，用于判定所述第一数据库中所有的数据分别所属的数据子类型是否一致；
第二执行单元，用于若一致，则判定所述第一数据库的所属数据类型有误，若不一致，则判定所述其他数据所属的数据子类型是否属于所述第一数据库的所属数据类型；
第二判定单元，用于若所述其他数据所属的数据子类型存在属于所述第一数据库所属数据类型的子类型，则判定不属于所述第一数据库所属数据类型的所述第一数据库的数据为有误数据，并标记。
在本实施例中，若判定所述数据子类型不属于所述第一数据库所属的所述数据类型的子类型，则第二获取单元获取所述数据子类型属于的数据类型，以及获取所述第一数据库中的其他数据所属的数据子类型；第一判定单元以进一步判定所述第一数据库中所有的数据分别所属的数据子类型是否一致，若一致，则第二执行单元判定所述第一数据库的所属数据类型有误，若不一致，则再次判定第一数据库中的其他数据所属的数据子类型是否存在属于所述第一数据库的所属数据类型，如果所述其他数据所属的数据子类型存在属于所述第一数据库所属数据类型，则第二判定单元判定不属于所述第一数据库所属数据类型的所述第一数据库的数据为有误数据，并标记，将标记的数据显示，以便于告知后台第一数据库的数据存在问题，需二次检查。
在一实施例中，数据转换的装置还包括：
第一接收模块，用于接收所述预设的第一数据类型-转换代码列表以及对应不同的数据类型的所述第一转换格式代码，其中，所述第一数据类型-转换代码列表是根据所述源端服务器所需读取的所述第一数据类型以及所需转换成的数据格式生成。
在本实施例中，第一接收模块接收到用户提前预设好每一代码程序进行转换的第一数据类型-转换代码列表以及所述第一转换格式代码，并发送到源端服务器，以便当源端服务器需转换其所管理的第一数据库中的所有数据时，可以从预设的第一数据类型-转换代码列表获取到所述第一数据类型对应的第一转换格式代码。所述第一数据类型-转换代码列表是根据所述源端服务器所需读取的所述第一数据类型以及所需转换成的数据格式生成。
在一具体实施例中，用户***需要将源端服务器中Mysql数据库中的用户登录记录分别同步到PostgreSQL和Elastic Search，只需要将Mysql数据库中的所有数据转换到指定格式后，发送到中间平台，以便后续目标端服务器再通过PostgreSQL和ElasticSearch的接收目标端服务器从中间平台中获取数据。
在一实施例中，第一转换模块30包括：
第一转换单元，用于通过所述第一转换格式代码，将所述第一数据库中的所有数据进行转换，打包成指定数据格式的密封的第一数据；
存储单元，用于对所有所述第一数据打上数据标签，以供将所述第一数据分类存储于所述中间平台
在本实施例中，第一转换单元预先通过第一转换格式代码将对应的第一数据库中的数据进行转换打包成密封数据，实现将源端服务器的数据库中的数据转换成指定格式的第一数据的方式，存储单元对所有所述第一数据打上数据标签，以供将所述第一数据分类存储于所述中间平台在本实施例中，存在增量同步和一次性迁移的迁移方式，其中，增量同步，是一种持续增量的数据转换过程，适用于源数据有变化的场景，同时还有数据量大，并发量高，数据源高写、高读、高读写等状况。一次性迁移，适用于源数据无态化的转换，数据是不会出现变化的场景。
在一具体实施例中，增量同步包括短信中间件***需要将每条请求日志记录，同步到Elastic Search***，为全文分词搜索提供基础数据，这种场景其数据量是不断增加的，并且由于是短信中间件***，日志记录的数量也会非常的大，数据会持续不断的上送到kafka服务端，并保存一个时间段(可以配置)，目标端服务器则会持续的订阅数据，并解析存储于目标端服务器对应的存储库中。
在另一实施例中，车险理赔***的数据转换的一次性迁移，由于业务线的不断增长，***原有的数据库产品Mysql已经无法支撑现有的业务规模，需要更换为Oracle，由于需要切换数据库，升级期间需停止***一段时间，以用于迁移数据到Oracle，由于车险理赔的数据量是非常大的，无法将数据全部迁移到Oracle，这时可以通过中间平台，接入***将数据库切换，重启应用将数据通过异步方式同步到Oracle。
综上所述，为本申请实施例中提供的数据转换的装置，通过在源端服务器中利用代码对所管理的数据库中的所有数据进行转换，并传送至中间平台上存储，以便目标端服务器可以订阅存储于中间平台上的数据，再次转换以便得到所需要的数据，转换简单，无需针对每一数据进行多次转换，节省成本，缩短时间。
参照图4，本申请另一实施例中还提供了一种数据转换的装置，应用于目标端服务器，所述目标端服务器包括：
读取模块100，用于根据需要从中间平台的指定数据库中读取所有数据，以及获取所述指定数据库中存储的数据的第二数据类型，其中，所述指定数据库中的所有数据为源端服务器所管理的至少一个数据库中的所有数据转换的数据，所述指定数据库中存储的各数据的数据类型一致；
第三获取模块200，用于在预设的第二转换代码数据库中，根据预设的第二数据类型-转换代码列表，获取所述第二数据类型对应的第二转换格式代码；
第二转换模块300，用于通过所述第二转换格式代码，将所述指定数据库中的所有数据转换成对应格式的所述第二数据，并存储于所述目标端服务器对应数据格式的数据库中。
本一实施例中，目标端服务器的读取模块100根据需要从中间平台的指定数据库中读取所有数据，该指定数据库中的所有数据为需转换存储于目标端服务器的数据库中的数据，目标服务器从所述中间平台上的指定数据库中读取数据，以及获取该指定数据库中存储的数据的第二数据类型，其中，指定数据库中的所有数据为源端服务器所管理的至少一个数据库中的所有数据转换的数据，且所述指定数据库中存储的各数据的数据类型一致；根据第二数据类型，在预设第二转换代码数据库中，根据预设的第二数据类型-转换代码列表，第三获取模块200获取第二数据类型对应的第二转换格式代码，第二转换模块300并通过第二转换格式代码将指定数据库中的所有数据转换成对应格式的第二数据，将该第二数据存储于目标端服务器对应数据格式的数据库中。
在另一实施例中，根据需要转换存储于目标端服务器的数据库的数据格式，用户预先设置好用于将数据转换成指定格式的代码程序，可以根据转换需求提前设置好对应的转换逻辑，以便根据指定的第二转换格式代码转换成对应格式的第二数据，用于存储于目标端存储库中，减少学习成本，缩短开发周期。
在所述指定数据库中任意识别其中一个数据的数据类型，由于所述指定数据库中存储的各数据的数据类型一致，依据识别到的所述指定数据库中任意一个数据的数据类型，可以确定所述指定数据库对应的所述第二数据类型。
在一实施例中，数据转换的装置还包括：
第二接收模块，用于接收所述预设的第二数据类型-转换代码列表以及对应不同的数据类型的所述第二转换格式代码，其中，所述第二数据类型-转换代码列表是根据所述源端服务器所需读取的所述第二数据类型以及所需转换成的数据格式生成。
在一实施例中用户需提前预设好每一代码程序进行转换的第二数据类型-转换代码列表以及所述第二转换格式代码，并发送到目标端服务器，以便当目标端服务器需转换读取到的指定数据库中的所有数据时，可以从预设的第二数据类型-转换代码列表获取到所述第二数据类型对应的第二转换格式代码。
综上所述，为本申请另一实施例中提供的数据转换的装置，通过在目标端服务器中利用代码对读取到的数据库中的所有数据进行转换并存储，转换简单，节省成本，缩短时间。
参照图5，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图5所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储转换代码等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据转换的方法。
上述处理器执行上述数据转换的方法，应用于源端服务器，包括的步骤：
源端服务器读取任一第一数据库中所有数据的第一数据类型，其中，所述第一数据库中各数据的数据类型一致；
在预设的第一转换代码数据库中，根据预设的第一数据类型-转换代码列表，获取所述第一数据类型对应的第一转换格式代码；
通过所述第一转换格式代码，将所述第一数据库中的所有数据转换成至少一种数据格式的第一数据；
将不同数据格式的所述第一数据发送至中间平台上对应数据格式的指定数据库中存储，以供所述目标端服务器从所述中间平台上读取和解析所述第一数据。
在一实施例中，所述处理器读取任一第一数据库中所有数据的第一数据类型的步骤，包括：
识别所述第一数据库的所属数据类型，其中所述数据类型包括关系型数据类型和非关系型数据类型；
获取所述第一数据库中任意所选择的一个数据的数据子类型；
判断所述数据子类型是否属于所述第一数据库所属的所述数据类型的子类型；
若属于，则将获取到的数据子类型确定为所述第一数据库对应的第一数据类型。
在一实施例中，所述处理器判断所述数据子类型是否属于所述第一数据库所属的所述数据类型的子类型的步骤之后，还包括：
若不属于，则获取所述数据子类型属于的数据类型，以及获取所述第一数据库中的其他数据所属的数据子类型；
判定所述第一数据库中所有的数据分别所属的数据子类型是否一致；
若一致，则判定所述第一数据库的所属数据类型有误，若不一致，则判定所述其他数据所属的数据子类型是否属于所述第一数据库的所属数据类型；
若所述其他数据所属的数据子类型存在属于所述第一数据库所属数据类型的子类型，则判定不属于所述第一数据库所属数据类型的所述第一数据库的数据为有误数据，并标记。
在一实施例中，所述处理器在预设的第一转换代码数据库中，根据预设的第一数据类型-转换代码列表，获取所述第一数据类型对应的第一转换格式代码的步骤之前，还包括：
接收所述预设的第一数据类型-转换代码列表以及对应不同的数据类型的所述第一转换格式代码，其中，所述第一数据类型-转换代码列表是根据所述源端服务器所需读取的所述第一数据类型以及所需转换成的数据格式生成。
上述处理器执行上述数据转换的方法，应用于目标端服务器，包括的步骤：
目标端服务器根据需要从中间平台的指定数据库中读取所有数据，以及获取所述指定数据库中存储的数据的第二数据类型，其中，所述指定数据库中的所有数据为源端服务器所管理的至少一个数据库中的所有数据转换的数据，所述指定数据库中存储的各数据的数据类型一致；
在预设的第二转换代码数据库中，根据预设的第二数据类型-转换代码列表，获取所述第二数据类型对应的第二转换格式代码；
通过所述第二转换格式代码，将所述指定数据库中的所有数据转换成对应格式的所述第二数据，并存储于所述目标端服务器对应数据格式的数据库中。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。
本申请一实施例还提供一种计算机存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种数据转换的方法，应用于源端服务器，具体为：
源端服务器读取任一第一数据库中所有数据的第一数据类型，其中，所述第一数据库中各数据的数据类型一致；
在预设的第一转换代码数据库中，根据预设的第一数据类型-转换代码列表，获取所述第一数据类型对应的第一转换格式代码；
通过所述第一转换格式代码，将所述第一数据库中的所有数据转换成至少一种数据格式的第一数据；
将不同数据格式的所述第一数据发送至中间平台上对应数据格式的指定数据库中存储，以供所述目标端服务器从所述中间平台上读取和解析所述第一数据。
在一实施例中，所述处理器读取任一第一数据库中所有数据的第一数据类型的步骤，包括：
识别所述第一数据库的所属数据类型，其中所述数据类型包括关系型数据类型和非关系型数据类型；
获取所述第一数据库中任意所选择的一个数据的数据子类型；
判断所述数据子类型是否属于所述第一数据库所属的所述数据类型的子类型；
若属于，则将获取到的数据子类型确定为所述第一数据库对应的第一数据类型。
在一实施例中，所述处理器判断所述数据子类型是否属于所述第一数据库所属的所述数据类型的子类型的步骤之后，还包括：
若不属于，则获取所述数据子类型属于的数据类型，以及获取所述第一数据库中的其他数据所属的数据子类型；
判定所述第一数据库中所有的数据分别所属的数据子类型是否一致；
若一致，则判定所述第一数据库的所属数据类型有误，若不一致，则判定所述其他数据所属的数据子类型是否属于所述第一数据库的所属数据类型；
若所述其他数据所属的数据子类型存在属于所述第一数据库所属数据类型的子类型，则判定不属于所述第一数据库所属数据类型的所述第一数据库的数据为有误数据，并标记。
在一实施例中，所述处理器在预设的第一转换代码数据库中，根据预设的第一数据类型-转换代码列表，获取所述第一数据类型对应的第一转换格式代码的步骤之前，还包括：
接收所述预设的第一数据类型-转换代码列表以及对应不同的数据类型的所述第一转换格式代码，其中，所述第一数据类型-转换代码列表是根据所述源端服务器所需读取的所述第一数据类型以及所需转换成的数据格式生成。
本申请另一实施例还提供一种计算机存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种数据转换的方法，应用于目标端服务器，具体为：
目标端服务器根据需要从中间平台的指定数据库中读取所有数据，以及获取所述指定数据库中存储的数据的第二数据类型，其中，所述指定数据库中的所有数据为源端服务器所管理的至少一个数据库中的所有数据转换的数据，所述指定数据库中存储的各数据的数据类型一致；
在预设的第二转换代码数据库中，根据预设的第二数据类型-转换代码列表，获取所述第二数据类型对应的第二转换格式代码；
通过所述第二转换格式代码，将所述指定数据库中的所有数据转换成对应格式的所述第二数据，并存储于所述目标端服务器的数据库中。
综上所述，为本申请实施例中提供的数据转换的方法、装置、计算机设备和存储介质，通过在源端服务器中利用代码对所管理的数据库中的所有数据进行转换，并传送至中间平台上存储，以便目标端服务器可以订阅存储于中间平台上的数据，再次转换以便得到所需要的数据，转换简单，无需针对每一数据进行多次转换，节省成本，缩短时间。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储与一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM通过多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种数据转换的方法，应用于源端服务器，其特征在于，包括以下步骤：
源端服务器读取任一第一数据库中所有数据的第一数据类型，其中，所述第一数据库中各数据的数据类型一致；
在预设的第一转换代码数据库中，根据预设的第一数据类型-转换代码列表，获取所述第一数据类型对应的第一转换格式代码；
通过所述第一转换格式代码，将所述第一数据库中的所有数据转换成至少一种数据格式的第一数据；
将不同数据格式的所述第一数据发送至中间平台上对应数据格式的指定数据库中存储，以供目标端服务器从所述中间平台上读取和解析所述第一数据。
2.根据权利要求1所述的数据转换的方法，其特征在于，所述读取任一第一数据库中所有数据的第一数据类型的步骤，包括：
识别所述第一数据库的所属数据类型，其中所述数据类型包括关系型数据类型和非关系型数据类型；
获取所述第一数据库中任意所选择的一个数据的数据子类型；
判断所述数据子类型是否属于所述第一数据库所属数据类型的子类型；
若属于，则将获取到的数据子类型确定为所述第一数据库对应的第一数据类型。
3.根据权利要求2所述的数据转换的方法，其特征在于，所述判断所述数据子类型是否属于所述第一数据库所属数据类型的子类型的步骤之后，还包括：
若不属于，则获取所述数据子类型属于的数据类型，以及获取所述第一数据库中的其他数据所属的数据子类型；
判定所述第一数据库中所有的数据分别所属的数据子类型是否一致；
若一致，则判定所述第一数据库的所属数据类型有误，若不一致，则判定所述其他数据所属的数据子类型是否属于所述第一数据库所属数据类型；
若所述其他数据所属的数据子类型存在属于所述第一数据库所属数据类型的子类型，则判定不属于所述第一数据库所属数据类型的所述第一数据库的数据为有误数据，并标记。
4.根据权利要求1所述的数据转换的方法，其特征在于，所述在预设的第一转换代码数据库中，根据预设的第一数据类型-转换代码列表，获取所述第一数据类型对应的第一转换格式代码的步骤之前，还包括：
接收所述预设的第一数据类型-转换代码列表以及对应不同的数据类型的所述第一转换格式代码，其中，所述第一数据类型-转换代码列表是根据所述源端服务器所需读取的所述第一数据类型以及所需转换成的数据格式生成。
5.根据权利要求1所述的数据转换的方法，其特征在于，所述通过所述第一转换格式代码，将所述第一数据库中的所有数据转换成至少一种数据格式的第一数据的步骤，包括：
通过所述第一转换格式代码，将所述第一数据库中的所有数据进行转换，打包成指定数据格式的密封的第一数据；
对所有所述第一数据打上数据标签，以供将所述第一数据分类存储于所述中间平台。
6.一种数据转换的方法，应用于目标端服务器，其特征在于，包括以下步骤：
目标端服务器根据需要从中间平台的指定数据库中读取所有数据，以及获取所述指定数据库中存储的数据的第二数据类型，其中，所述指定数据库中的所有数据为源端服务器所管理的至少一个数据库中的所有数据转换的数据，所述指定数据库中存储的各数据的数据类型一致；
在预设的第二转换代码数据库中，根据预设的第二数据类型-转换代码列表，获取所述第二数据类型对应的第二转换格式代码；
通过所述第二转换格式代码，将所述指定数据库中的所有数据转换成对应格式的所述第二数据，并存储于所述目标端服务器对应数据格式的数据库中。
7.一种数据转换的装置，其特征在于，应用于源端服务器，所述源端服务器包括：
第一获取模块，用于读取任一第一数据库中所有数据的第一数据类型，其中，所述第一数据库中各数据的数据类型一致；
第二获取模块，用于在预设的第一转换代码数据库中，根据预设的第一数据类型-转换代码列表，获取所述第一数据类型对应的第一转换格式代码；
第一转换模块，用于通过所述第一转换格式代码，将所述第一数据库中的所有数据转换成至少一种数据格式的第一数据；
发送模块，用于将不同数据格式的所述第一数据发送至中间平台上对应数据格式的指定数据库中存储，以供所述目标端服务器从所述中间平台上读取和解析所述第一数据。
8.一种数据转换的装置，其特征在于，应用于目标端服务器，所述目标端服务器包括：
读取模块，用于根据需要从中间平台的指定数据库中读取所有数据，以及获取所述指定数据库中存储的数据的第二数据类型，其中，所述指定数据库中的所有数据为源端服务器所管理的至少一个数据库中的所有数据转换的数据，所述指定数据库中存储的各数据的数据类型一致；
第三获取模块，用于在预设的第二转换代码数据库中，根据预设的第二数据类型-转换代码列表，获取所述第二数据类型对应的第二转换格式代码；
第二转换模块，用于通过所述第二转换格式代码，将所述指定数据库中的所有数据转换成对应格式的所述第二数据，并存储于所述目标端服务器的数据库中。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-3或4-6中任一项所述方法的步骤。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-3或4-6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910463020.5A CN110334141B (zh) | 2019-05-30 | 2019-05-30 | 数据转换的方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910463020.5A CN110334141B (zh) | 2019-05-30 | 2019-05-30 | 数据转换的方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110334141A true CN110334141A (zh) | 2019-10-15 |
| CN110334141B CN110334141B (zh) | 2023-11-21 |
Family
ID=68140695
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910463020.5A Active CN110334141B (zh) | 2019-05-30 | 2019-05-30 | 数据转换的方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110334141B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111427938A (zh) * | 2020-03-18 | 2020-07-17 | 中国建设银行股份有限公司 | 数据转存的方法和装置 |
| CN112874315A (zh) * | 2021-01-13 | 2021-06-01 | 深圳市奇虎智能科技有限公司 | 平衡车的运动控制方法、装置、设备及存储介质 |
| CN112995258A (zh) * | 2019-12-17 | 2021-06-18 | 南京品尼科自动化有限公司 | 一种机房环境监测前置机 |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1324031A (zh) * | 2000-02-25 | 2001-11-28 | 株式会社东芝 | 多平台环境下的字符码转换***以及计算机可读记录介质 |
| US20050149537A1 (en) * | 2003-09-26 | 2005-07-07 | Dmitry Balin | Apparatus and method for database migration |
| US20050253739A1 (en) * | 2004-05-14 | 2005-11-17 | Oracle International Corporation | Cross platform transportable tablespaces |
| US7290003B1 (en) * | 2004-08-19 | 2007-10-30 | Sun Microsystems, Inc. | Migrating data using an intermediate self-describing format |
| US20090287726A1 (en) * | 2006-04-07 | 2009-11-19 | Mag Productions Holding B.V. | Method and system for synchronization of databases |
| US20110060719A1 (en) * | 2009-09-05 | 2011-03-10 | Vivek Kapoor | Method for Transforming Setup Data in Business Applications |
| CN102970112A (zh) * | 2012-11-30 | 2013-03-13 | 中国电子科技集团公司第十五研究所 | 一种传输***数据的***及方法 |
| CN103226545A (zh) * | 2013-04-19 | 2013-07-31 | 中国建设银行股份有限公司 | 数据格式转换的***、批量导入贷款信息的方法和*** |
| CN103914526A (zh) * | 2014-03-27 | 2014-07-09 | 神华集团有限责任公司 | 一种用于sap erp***与oracle erp***的接口方法和装置 |
| CN104376062A (zh) * | 2014-11-11 | 2015-02-25 | 中国有色金属长沙勘察设计研究院有限公司 | 一种异构数据库平台数据的同步方法 |
| CN105205117A (zh) * | 2015-09-09 | 2015-12-30 | 郑州悉知信息科技股份有限公司 | 一种数据表迁移方法和装置 |
| WO2016101752A1 (zh) * | 2014-12-22 | 2016-06-30 | 北京奇虎科技有限公司 | 数据同步方法及装置 |
| CN106202111A (zh) * | 2015-05-06 | 2016-12-07 | 阿里巴巴集团控股有限公司 | 数据库数据的校验方法和装置 |
| US20170060695A1 (en) * | 2015-08-31 | 2017-03-02 | Paypal, Inc. | Data replication between databases with heterogenious data platforms |
| CN106649788A (zh) * | 2016-12-28 | 2017-05-10 | 深圳启润德管理咨询有限公司 | 一种数据库数据传输方法与装置 |
| CN108021661A (zh) * | 2017-12-04 | 2018-05-11 | 北京锐安科技有限公司 | 一种数据格式转换方法及*** |
| CN108121757A (zh) * | 2017-11-10 | 2018-06-05 | 广州优视网络科技有限公司 | 一种数据同步方法、装置、***、计算设备及存储介质 |
| CN108399256A (zh) * | 2018-03-06 | 2018-08-14 | 北京慧萌信安软件技术有限公司 | 异构数据库内容同步方法、装置及中间件 |
| US10248736B1 (en) * | 2016-09-19 | 2019-04-02 | Sprint Communications Company L.P. | Data loader and mapper tool |
-
2019
- 2019-05-30 CN CN201910463020.5A patent/CN110334141B/zh active Active
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1324031A (zh) * | 2000-02-25 | 2001-11-28 | 株式会社东芝 | 多平台环境下的字符码转换***以及计算机可读记录介质 |
| US20050149537A1 (en) * | 2003-09-26 | 2005-07-07 | Dmitry Balin | Apparatus and method for database migration |
| US20050253739A1 (en) * | 2004-05-14 | 2005-11-17 | Oracle International Corporation | Cross platform transportable tablespaces |
| US7290003B1 (en) * | 2004-08-19 | 2007-10-30 | Sun Microsystems, Inc. | Migrating data using an intermediate self-describing format |
| US20090287726A1 (en) * | 2006-04-07 | 2009-11-19 | Mag Productions Holding B.V. | Method and system for synchronization of databases |
| US20110060719A1 (en) * | 2009-09-05 | 2011-03-10 | Vivek Kapoor | Method for Transforming Setup Data in Business Applications |
| CN102970112A (zh) * | 2012-11-30 | 2013-03-13 | 中国电子科技集团公司第十五研究所 | 一种传输***数据的***及方法 |
| CN103226545A (zh) * | 2013-04-19 | 2013-07-31 | 中国建设银行股份有限公司 | 数据格式转换的***、批量导入贷款信息的方法和*** |
| CN103914526A (zh) * | 2014-03-27 | 2014-07-09 | 神华集团有限责任公司 | 一种用于sap erp***与oracle erp***的接口方法和装置 |
| CN104376062A (zh) * | 2014-11-11 | 2015-02-25 | 中国有色金属长沙勘察设计研究院有限公司 | 一种异构数据库平台数据的同步方法 |
| WO2016101752A1 (zh) * | 2014-12-22 | 2016-06-30 | 北京奇虎科技有限公司 | 数据同步方法及装置 |
| CN106202111A (zh) * | 2015-05-06 | 2016-12-07 | 阿里巴巴集团控股有限公司 | 数据库数据的校验方法和装置 |
| US20170060695A1 (en) * | 2015-08-31 | 2017-03-02 | Paypal, Inc. | Data replication between databases with heterogenious data platforms |
| CN105205117A (zh) * | 2015-09-09 | 2015-12-30 | 郑州悉知信息科技股份有限公司 | 一种数据表迁移方法和装置 |
| US10248736B1 (en) * | 2016-09-19 | 2019-04-02 | Sprint Communications Company L.P. | Data loader and mapper tool |
| CN106649788A (zh) * | 2016-12-28 | 2017-05-10 | 深圳启润德管理咨询有限公司 | 一种数据库数据传输方法与装置 |
| CN108121757A (zh) * | 2017-11-10 | 2018-06-05 | 广州优视网络科技有限公司 | 一种数据同步方法、装置、***、计算设备及存储介质 |
| CN108021661A (zh) * | 2017-12-04 | 2018-05-11 | 北京锐安科技有限公司 | 一种数据格式转换方法及*** |
| CN108399256A (zh) * | 2018-03-06 | 2018-08-14 | 北京慧萌信安软件技术有限公司 | 异构数据库内容同步方法、装置及中间件 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112995258A (zh) * | 2019-12-17 | 2021-06-18 | 南京品尼科自动化有限公司 | 一种机房环境监测前置机 |
| CN112995258B (zh) * | 2019-12-17 | 2023-12-29 | 南京品尼科自动化有限公司 | 一种机房环境监测前置机 |
| CN111427938A (zh) * | 2020-03-18 | 2020-07-17 | 中国建设银行股份有限公司 | 数据转存的方法和装置 |
| CN111427938B (zh) * | 2020-03-18 | 2023-08-29 | 中国建设银行股份有限公司 | 数据转存的方法和装置 |
| CN112874315A (zh) * | 2021-01-13 | 2021-06-01 | 深圳市奇虎智能科技有限公司 | 平衡车的运动控制方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110334141B (zh) | 2023-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110399293B (zh) | ***测试方法、装置、计算机设备和存储介质 | |
| CN110334141A (zh) | 数据转换的方法、装置、计算机设备和存储介质 | |
| US9165047B2 (en) | Data synchronization system and method | |
| US8990536B2 (en) | Systems and methods for journaling and executing device control instructions | |
| US7904488B2 (en) | Time stamp methods for unified plant model | |
| CN108874926A (zh) | 海量数据查询方法、装置、计算机设备和存储介质 | |
| CN110290212A (zh) | 服务调用记录方法、装置、计算机设备和存储介质 | |
| CN102360308A (zh) | 组件的分布式部署***和方法 | |
| US20080010535A1 (en) | Automated and configurable system for tests to be picked up and executed | |
| CN101145163A (zh) | 从多个数据源获取数据的方法及*** | |
| CN103164323A (zh) | 数据自动生成方法以及数据自动生成*** | |
| CN102333108A (zh) | 分布式缓存同步***及方法 | |
| CN101371230B (zh) | 向网络报告信息 | |
| CN109241184A (zh) | 数据同步方法、装置、计算机设备和存储介质 | |
| CN108363612A (zh) | 基于类装载器实现的j2ee模块热部署及调用信息统计方法 | |
| CN110109712A (zh) | 业务组件加载方法、装置、计算机设备和存储介质 | |
| CN101800661B (zh) | 网元开通的方法及*** | |
| CN113542390B (zh) | 一种采用内存数据模型的物联网设备管理方法及*** | |
| CN110213067B (zh) | 业务请求的跟踪信息处理方法、装置和*** | |
| US20070168912A1 (en) | Program creating system, program creating program, and program creating module | |
| CN112948491A (zh) | 数据同步的方法、装置、终端设备及计算机可读存储介质 | |
| CN110209717B (zh) | 基础数据库的封装方法、装置、计算机设备和存储介质 | |
| Tobler | Camera base | |
| CN101976255B (zh) | 网页信息批量导出生成word文档的方法和装置 | |
| CN102486731A (zh) | 增强软件的软件调用栈的可视化的方法、设备和*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |