CN110737645B - 一种不同***间数据迁移方法、数据迁移***及相关设备 - Google Patents
一种不同***间数据迁移方法、数据迁移***及相关设备 Download PDFInfo
- Publication number
- CN110737645B CN110737645B CN201910978951.9A CN201910978951A CN110737645B CN 110737645 B CN110737645 B CN 110737645B CN 201910978951 A CN201910978951 A CN 201910978951A CN 110737645 B CN110737645 B CN 110737645B
- Authority
- CN
- China
- Prior art keywords
- data
- page
- data packet
- target data
- packet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明实施例提供了一种不同***间数据迁移方法、数据迁移***及相关设备，用于提高数据迁移的效率。本发明实施例中，数据迁移***可以在导出***的客户端中进行目标数据的浏览操作过程中获取导出***的客户端向服务器发送的数据包以及服务器返回的浏览页面信息，解析数据包中的***参数信息以及浏览页面信息得到目标数据的页码范围，最后采用导出爬虫程序根据***参数信息自动模拟生成目标数据的每一个页码对应的请求数据包，并根据请求数据包获取并保存目标数据每一个页码对应的数据；采用导入爬虫程序将目标数据每一个页码对应的数据存至导入***，无需人工逐项导入，提高了数据迁移的效率。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种不同***间数据迁移方法、数据迁移***及相关设备。
背景技术
随着SAAS(软件即服务)技术的迅速发展，在线的财务***越来越多。基于商业和技术的一些原因，客户需要在不同财务***之间迁移数据。
现有的数据迁移方式，客户需要手工逐项导出数据，然后将数据逐项重新导入新的财务***。
现有方案中，采用人工逐项导入与导出，效率低下且数据的完整性容易受人为因素影响。
发明内容
本发明实施例提供了一种不同***间数据迁移方法、数据迁移***及相关设备，用于提高数据迁移的效率。
本发明实施例第一方面提供了一种不同***间数据迁移方法，其特征在于，包括：
接收数据迁移请求，所述数据迁移请求中包含导出***中的登录信息；
根据所述登录信息登录存储所述目标数据的导出***对应的客户端，并在所述导出***的客户端中进行所述目标数据的浏览操作过程中，获取所述导出***的客户端向服务器发送的数据包；
获取所述服务器返回的浏览页面信息；
解析所述数据包中的***参数信息；
解析所述浏览页面信息得到所述目标数据的页码范围；
采用导出爬虫程序根据所述***参数信息自动模拟生成所述目标数据的每一个页码对应的请求数据包，并向所述服务器发送所述请求数据包以获取所述目标数据每一个页码对应的数据；
采用导入爬虫程序将所述目标数据每一个页码对应的数据存至导入***。
可选的，作为一种可能的实施方式，本发明实施例中，所述数据包遵循超文本传输HTTP协议，所述解析所述数据包中的***参数信息包括：
识别所述数据包中的分页请求包，所述分页请求包用于向所述服务器请求浏览所述目标数据的指定页码中对应的内容；
解析所述分页请求包中的***参数信息。
可选的，作为一种可能的实施方式，本发明实施例中，所述数据包遵循HTTP协议，所述解析所述数据包中的***参数信息包括：
识别所述数据包中的操作指令数据包，所述操作指令数据包为根据当前页面预设位置的点击生成的操作指令，所述操作指令用于指示所述服务器返回所述目标数据的指定页码中对应的内容；
解析所述操作指令数据包中的***参数信息。
可选的，作为一种可能的实施方式，本发明实施例中，当接收到多个用户的数据迁移请求时，根据用户的优先级或时间先后顺序对各个用户的数据迁移请求进行排序。
可选的，作为一种可能的实施方式，本发明实施例中的不同***间数据迁移方法还可以包括：
获取所述导出***对所有业务数据的分类信息；
构建WEB页面展示所述导出***对所有业务数据的分类信息；
根据所述WEB页面的交互操作生成数据迁移请求。
可选的，作为一种可能的实施方式，本发明实施例中的不同***间数据迁移方法还可以包括：
将所述目标数据每一个页码对应的数据写入通用格式文件中。
本发明实施例第二方面提供了一种数据迁移***，其特征在于，包括：
接收单元，用于接收数据迁移请求，所述数据迁移请求中包含导出***中的登录信息；
获取单元，用于根据所述登录信息登录存储所述目标数据的导出***对应的客户端，并在所述导出***的客户端中进行所述目标数据的浏览操作过程中，获取所述导出***的客户端向服务器发送的数据包以及所述服务器返回的浏览页面信息；
第一解析单元，用于解析所述数据包中的***参数信息；
第二解析单元，用于解析所述浏览页面信息得到所述目标数据的页码范围；
配置单元，用于采用导出爬虫程序根据所述***参数信息自动模拟生成所述目标数据的每一个页码对应的请求数据包，并向所述服务器发送所述请求数据包以获取所述目标数据每一个页码对应的数据；
导入单元，用于采用导入爬虫程序将所述目标数据每一个页码对应的数据存至导入***。
可选的，作为一种可能的实施方式，本发明实施例中，所述数据包遵循HTTP协议，所述第一解析单元包括：
第一识别模块，用于识别所述数据包中的分页请求包，所述分页请求包用于向所述服务器请求浏览所述目标数据的指定页码中对应的内容；
第一解析模块，用于解析所述分页请求包中的***参数信息。
可选的，作为一种可能的实施方式，本发明实施例中，所述数据包遵循HTTP协议，所述第一解析单元包括：
第二识别模块，用于识别所述数据包中的操作指令数据包，所述操作指令数据包为根据当前页面预设位置的点击生成的操作指令，所述操作指令用于指示所述服务器返回所述目标数据的指定页码中对应的内容；
第二解析模块，用于解析所述操作指令数据包中的***参数信息。
本申请实施例第三方面提供了一种计算机装置，其特征在于，所述计算机装置包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如第一方面及第一方面中任意一种可能的实施方式中的步骤。
本申请实施例第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如第一方面及第一方面中任意一种可能的实施方式中的步骤。
从以上技术方案可以看出，本发明实施例具有以下优点：
本发明实施例中，数据迁移***可以登录存储目标数据的导出***对应的客户端，并在导出***的客户端中进行目标数据的浏览操作过程中获取导出***的客户端向服务器发送的数据包以及服务器返回的浏览页面信息，解析数据包中的***参数信息以及浏览页面信息得到目标数据的页码范围，最后采用导出爬虫程序根据***参数信息自动模拟生成目标数据的每一个页码对应的请求数据包，并根据请求数据包获取并保存目标数据每一个页码对应的数据；采用导入爬虫程序将目标数据每一个页码对应的数据存至导入***，无需人工逐项导入，提高了数据迁移的效率。
附图说明
图1为本发明实施例中一种不同***间数据迁移方法的一个实施例示意图；
图2为本发明实施例中一种不同***间数据迁移方法的一个具体运用实例中的时序图；
图3为本发明实施例中一种数据迁移***的一个实施例示意图；
图4为本发明实施例中一种计算机装置的一个实施例示意图。
具体实施方式
本发明实施例提供了一种不同***间数据迁移方法、数据迁移***及相关设备，用于提高数据迁移的效率。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了便于理解，下面对本发明实施例中的具体流程进行描述，请参阅图1，本发明实施例中一种不同***间数据迁移方法的一个实施例可包括：
101、接收数据迁移请求；
当用户需要将不同***间数据进行迁移时，可以根据数据迁移***提供的交互界面提交数据迁移请求，该数据迁移请求中包含导出***中的登录信息。其中，导出***是指当前存储被选中的目标数据的存储***，例如存储账套数据(账套基本信息、科目、余额、凭证、辅助核算、固定资产、工资等)的财务***，导入***与导出***两个独立不同的存储***。登录信息可以是用户名及密码的组合，也可以是其它用于验证用户身份的数据信息，例如指纹数据、面部特征数据等等，具体此处不做限定。
可以理解的是，一个数据迁移请求中可以包含一个或多个目标数据的类型字段，以完成多个类型的目标数据的迁移，例如，财务***中可以同时选择迁移一个账套中的所有类型的数据，具体的目标数据的数量此处不做限定。
102、根据登录信息登录存储目标数据的导出***对应的客户端，并在导出***的客户端中进行目标数据的浏览操作过程中，获取导出***的客户端向服务器发送的数据包以及服务器返回的浏览页面信息；
本发明实施例中，申请人注意到在导出***中进行数据浏览操作过程中，服务器会将存储于服务器中的数据传输至客户端。有鉴于此，为了获取存储于导出***的目标数据，需要在获取到数据迁移请求之后，可以根据登录信息登录存储目标数据的导出***对应的客户端，并根据目标数据的类型字段在导出***的客户端中查询目标数据，进行目标数据的浏览操作，以使得服务器将目标数据发送至本地客户端。其中，导出***的客户端可以是基于浏览器实现的WEB网页客户端，也可以是单独的APP客户端，具体客户端的类型此处不做限定。
在进行目标数据的浏览操作过程中，导出***的客户端会与对应的服务器进行交互，交互过程中会向服务器发送数据包，数据迁移***可以获取本地客户端发送的数据包，以及服务器返回的浏览页面信息，该浏览页面信息用于在客户端构建浏览页面以供用户浏览查看。
可以理解的是，数据浏览的过程可以是人工操作，也可以是数据迁移***自动操作，例如，可以提供交互页面，该交互页面中包含用户选中的导出***的字段、导入***的字段，将用户的选中的目标数据的类型字段写入数据迁移请求中，根据用户选择的目标数据的类型字段自动发起数据浏览操作。
103、解析数据包中的***参数信息；
在获取到本地客户端发送的数据包之后，数据迁移***可以解析数据包中的***参数信息，以便于后续模拟该数据包进行数据的自动提取，具体的，***参数信息用于指示服务器返回目标数据的浏览操作对应的浏览页面信息，可以包含***参数类型以及参数配置格式，具体***参数信息由导出***进行设定，具体此处不做限定。
实际运用中，客户端在需要获取目标数据时，可能通过向服务器发送两种类型的数据包达到该目的。一种是分页请求包，另一种是操作指令数据包。其中，该分页请求数据包用于向服务器请求浏览目标数据的指定页码中对应的内容，该分页请求数据包中往往包含存储目标数据的统一资源定位符URL地址及指定页码的标识字段，例如在浏览文档时，客户端当前显示页面的会存在页码选项，输入选择的页码时，客户端回向服务器发送分页请求包，即可使服务器返回所选页码的内容。另一种是操作指令数据包，该操作指令数据包为根据当前页面预设位置的点击生成的操作指令，操作指令用于指示服务器返回目标数据的指定页码中对应的内容，例如在浏览文档时，客户端当前显示页面的预设位置存在“下一页”选项，点击该选项时，客户端会生成操作指令数据包，并向服务器发送该操作指令数据包。
可选的，为了便于数据解析，数据包需要遵循公开的传输协议，例如超文本传输协议HTTP协议，作为一种可能的实时方式，解析数据包中的***参数信息包括：识别数据包中的分页请求包，分页请求包用于向服务器请求浏览目标数据的指定页码中对应的内容；解析分页请求包中的***参数信息。
可选的，数据包遵循HTTP协议，作为一种可能的实时方式，解析数据包中的***参数信息包括：识别数据包中的操作指令数据包，操作指令数据包为根据当前页面预设位置的点击生成的操作指令，操作指令用于指示服务器返回目标数据的指定页码中对应的内容；解析操作指令数据包中的***参数信息。
104、解析浏览页面信息得到目标数据的页码范围；
在进行数据浏览过程中，目标数据往往是逐页进行浏览，服务器返回的浏览页面信息也包含有总体页码范围标识及当前页码标识，数据迁移***可以解析浏览页面信息得到目标数据的页码范围。
105、采用导出爬虫程序根据***参数信息自动模拟生成目标数据的每一个页码对应的请求数据包，并发送给导出***的客户端向服务器，以获取并保存目标数据每一个页码对应的数据；
为了提高数据导出的效率，可以调用导出爬虫程序根据***参数信息自动模拟生成目标数据的每一个页码对应的请求数据包，并发送给导出***的客户端向服务器，以获取并保存目标数据每一个页码对应的数据。
具体的，当采用分页请求包时，只需要调用爬虫程序调用服务器对应的接口，依次发送目标数据的每一个页码对应的请求数据包即可获取到目标数据的每一个页码对应的数据。当采用操作指令数据包时，需要调用爬虫程序在服务器返回上一页码对应的数据之后，向服务器发送一个操作指令数据包，用于指示服务器返回当前页码的下一页码中的数据，直到最后一页为止。
106、采用导入爬虫程序将目标数据每一个页码对应的数据存至导入***。
数据迁移***可以调用导入爬虫程序将目标数据每一个页码对应的数据存至导入***。具体的，可以根据用户输入的导入***的登录信息登录导入***自动完成数据的存入。实际运用中还可以根据不同存储***的格式要求进行格式转换，具体可以根据需求进行合理的设置，此处不做限定。
可以理解的是，在本发明的各种实施例中，上述各步骤的序号的大小并不意味着执行顺序的先后，各步骤的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。例如，步骤104与步骤103的实施顺序可以互换。
本发明实施例中，数据迁移***可以登录存储目标数据的导出***对应的客户端，并在导出***的客户端中进行目标数据的浏览操作过程中获取导出***的客户端向服务器发送的数据包以及服务器返回的浏览页面信息，解析数据包中的***参数信息以及浏览页面信息得到目标数据的页码范围，最后采用导出爬虫程序根据***参数信息自动模拟生成目标数据的每一个页码对应的请求数据包，并根据请求数据包获取并保存目标数据每一个页码对应的数据；采用导入爬虫程序将目标数据每一个页码对应的数据存至导入***，无需人工逐项导入，提高了数据迁移的效率。
可选的，在上述图1所示的实施例的基础上，为了提高与用户的交互效率，作为一种可能的实施方式，数据迁移***可以预先构建用于交互的WEB页面，具体包括：获取导出***对所有业务数据的分类信息；构建WEB页面展示导出***对所有业务数据的分类信息；根据WEB页面的交互操作生成数据迁移请求。
示例性的，以财务***为例，数据迁移***可以调用爬虫程序根据用户提供的登录信息登录财务***，在财务***中账套数据(账套基本信息、科目、余额、凭证、辅助核算、固定资产、工资等)，构建WEB页面展示财务***中账套数据及可选的导入***，并根据用户在WEB页面的点击操作生成数据迁移请求。
可选的，在上述图1所示的实施例的基础上，为了提高数据转移任务的执行效率，需要对多个数据转移任务的先后执行顺序进行管理，作为一种可能的实施方式，当接收到多个用户的数据迁移请求时，根据用户的优先级或时间先后顺序对各个用户的数据迁移请求进行排序。例如可以设置账号的等级，账号等级越高其对应的数据转移任务执行的顺序越靠前，同级别的账号根据任务提交的时间进行排序。
可选的，在上述图1所示的实施例的基础上，当导入***维护期间暂时不支持导入时，可以将目标数据每一个页码对应的数据写入通用格式文件(例如XML格式文件)中，等待导入***恢复之后进行重新导入操作。
为了便于理解，下面将结合具体的运用实例对本发明实施例中的不同***间数据迁移方法的进行说明。请参阅图2中的时序图，数据迁移***可以包括WEB界面交互程序、导出爬虫及导入爬虫。导出网站与导入网站均支持HTTP传输协议，以将账套中的账套基本信息、科目、余额、凭证、辅助核算、固定资产、工资等导出为例。
由于在线SAAS(软件即服务)***一般都使用HTTP/HTTPS协议来访问，HTTP/HTTPS协议作为一个公开的协议，目前有很多工具可以进行详细的协议分析，因此可以不依赖于原***的文档来了解HTTP接口及数据包的细节。
具体的实现流程如下：用户根据提供的WEB界面交互程序显示的界面选择导入/导出的产品，WEB界面交互程序调用爬虫获取导出网站、导入网站的登录元素，根据导出网站、导入网站返回的登录界面设置参数构建并显示导出网站、导入网站的登录页面。用户在登录页面输入导出网站及导入网站的登录信息(例如用户名及密码)之后，导出爬虫调用导出网站的登录和获取账套列表的接口以获取账套列表给WEB界面交互程序，由WEB界面交互程序在交互页面显示出可供选择的账套列表。在用户选择所需导出的账套数据之后，通过分析导出网站各个业务请求的HTTP请求数据包的***参数信息，编写财务数据的导出爬虫，然后分析导入网站各个业务请求的HTTP数据包的***参数信息，编写财务数据的导入爬虫WEB界面交互程序可以调用导出爬虫自动向出网站、导入网站发送模拟得到的HTTP请求数据包，以自动获取导出网站返回的账套基本信息、科目、余额、凭证、辅助核算、固定资产、工资等数据，无需用户逐项点击操作。可选的，WEB界面交互程序可以将导出网站返回的账套基本信息、科目、余额、凭证、辅助核算、固定资产、工资等数据保存至通用格式文件，例如标准XML文件，也可以无需中间转存，直接调用导入爬虫程序将数据存储至导入网站。
本发明实施例中，将SAAS财务***的数据分解成基本信息、科目、凭证、辅助核算项、余额、固定资产、工资等，然后用标准的XML格式定义，可以给到其他产品或公众使用，这样可以将导出、导入两部分分开，集中大家的资源来快速完成客户的需求，并使得***有较长的生命力。其次，通过分析导出/导入网站HTTP协议，分析清楚导出/导入网站的各个数据访问接口，使用爬虫程序将数据导出/导入保存，提高了不同***之间数据迁移的效率。
请参阅图3，本发明实施例中还提供了一种数据迁移***，可包括：
接收单元301，用于接收数据迁移请求，数据迁移请求中包含导出***中的登录信息；
获取单元302，用于根据登录信息登录存储目标数据的导出***对应的客户端，并在导出***的客户端中进行目标数据的浏览操作过程中，获取导出***的客户端向服务器发送的数据包以及服务器返回的浏览页面信息；
第一解析单元303，用于解析数据包中的***参数信息；
第二解析单元304，用于解析浏览页面信息得到目标数据的页码范围；
配置单元305，用于采用导出爬虫程序根据***参数信息自动模拟生成目标数据的每一个页码对应的请求数据包，并向服务器发送请求数据包以获取目标数据每一个页码对应的数据；
导入单元306，用于采用导入爬虫程序将目标数据每一个页码对应的数据存至导入***。
本发明实施例中，数据迁移***可以登录存储目标数据的导出***对应的客户端，并在导出***的客户端中进行目标数据的浏览操作过程中获取导出***的客户端向服务器发送的数据包以及服务器返回的浏览页面信息，解析数据包中的***参数信息以及浏览页面信息得到目标数据的页码范围，最后采用导出爬虫程序根据***参数信息自动模拟生成目标数据的每一个页码对应的请求数据包，并根据请求数据包获取并保存目标数据每一个页码对应的数据；采用导入爬虫程序将目标数据每一个页码对应的数据存至导入***，无需人工逐项导入，提高了数据迁移的效率。
可选的，作为一种可能的实施方式，本发明实施例中的数据包遵循超文本传输协议HTTP协议，第一解析单元包括：
第一识别模块，用于识别数据包中的分页请求包，分页请求包用于向服务器请求浏览目标数据的指定页码中对应的内容；
第一解析模块，用于解析分页请求包中的***参数信息。
可选的，作为一种可能的实施方式，本发明实施例中的数据包遵循HTTP协议，第一解析单元包括：
第二识别模块，用于识别数据包中的操作指令数据包，操作指令数据包为根据当前页面预设位置的点击生成的操作指令，操作指令用于指示服务器返回目标数据的指定页码中对应的内容；
第二解析模块，用于解析操作指令数据包中的***参数信息。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供了一种计算机装置，如图4所示，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。参考图4，计算机装置4包括：存储器410、处理器420、有线或无线网络模块430以及存储在存储器中并可在处理器上运行的计算机程序。处理器执行计算机程序时实现上述各个不同***间数据迁移方法实施例中的步骤，例如图1所示的步骤101至106。或者，处理器执行计算机程序时实现上述各装置实施例中各模块或单元的功能。
本申请实施例中的一些实施例中，处理器用于执行存储器中存储的计算机程序时实现如下步骤：
接收数据迁移请求，数据迁移请求中包含导出***中的登录信息；
根据登录信息登录存储目标数据的导出***对应的客户端，并在导出***的客户端中进行目标数据的浏览操作过程中，获取导出***的客户端向服务器发送的数据包；
获取服务器返回的浏览页面信息；
解析数据包中的***参数信息；
解析浏览页面信息得到目标数据的页码范围；
采用导出爬虫程序根据***参数信息自动模拟生成目标数据的每一个页码对应的请求数据包，并向服务器发送请求数据包以获取目标数据每一个页码对应的数据；
采用导入爬虫程序将目标数据每一个页码对应的数据存至导入***。
可选的，本申请的一些实施例中，处理器还可以用于实现如下步骤：
识别数据包中的分页请求包，分页请求包用于向服务器请求浏览目标数据的指定页码中对应的内容；
解析分页请求包中的***参数信息。
可选的，本申请的一些实施例中，处理器还可以用于实现如下步骤：
识别数据包中的操作指令数据包，操作指令数据包为根据当前页面预设位置的点击生成的操作指令，操作指令用于指示服务器返回目标数据的指定页码中对应的内容；
解析操作指令数据包中的***参数信息。
可选的，本申请的一些实施例中，处理器还可以用于实现如下步骤：
当接收到多个用户的数据迁移请求时，根据用户的优先级或时间先后顺序对各个用户的数据迁移请求进行排序。
可选的，本申请的一些实施例中，处理器还可以用于实现如下步骤：
获取导出***对所有业务数据的分类信息；
构建WEB页面展示导出***对所有业务数据的分类信息；
根据WEB页面的交互操作生成数据迁移请求。
可选的，本申请的一些实施例中，处理器还可以用于实现如下步骤：
将目标数据每一个页码对应的数据写入通用格式文件中。
本领域技术人员可以理解，图4中示出的结构并不构成对计算机装置的限定，计算机装置4可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，例如计算机装置还可以包括输入输出设备、总线等。
所称处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现计算机装置的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(SmartMedia Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本申请还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，可以实现如下步骤：
接收数据迁移请求，数据迁移请求中包含导出***中的登录信息；
根据登录信息登录存储目标数据的导出***对应的客户端，并在导出***的客户端中进行目标数据的浏览操作过程中，获取导出***的客户端向服务器发送的数据包；
获取服务器返回的浏览页面信息；
解析数据包中的***参数信息；
解析浏览页面信息得到目标数据的页码范围；
采用导出爬虫程序根据***参数信息自动模拟生成目标数据的每一个页码对应的请求数据包，并向服务器发送请求数据包以获取目标数据每一个页码对应的数据；
采用导入爬虫程序将目标数据每一个页码对应的数据存至导入***。
可选的，本申请的一些实施例中，处理器还可以用于实现如下步骤：
识别数据包中的分页请求包，分页请求包用于向服务器请求浏览目标数据的指定页码中对应的内容；
解析分页请求包中的***参数信息。
可选的，本申请的一些实施例中，处理器还可以用于实现如下步骤：
识别数据包中的操作指令数据包，操作指令数据包为根据当前页面预设位置的点击生成的操作指令，操作指令用于指示服务器返回目标数据的指定页码中对应的内容；
解析操作指令数据包中的***参数信息。
可选的，本申请的一些实施例中，处理器还可以用于实现如下步骤：
当接收到多个用户的数据迁移请求时，根据用户的优先级或时间先后顺序对各个用户的数据迁移请求进行排序。
可选的，本申请的一些实施例中，处理器还可以用于实现如下步骤：
获取导出***对所有业务数据的分类信息；
构建WEB页面展示导出***对所有业务数据的分类信息；
根据WEB页面的交互操作生成数据迁移请求。
可选的，本申请的一些实施例中，处理器还可以用于实现如下步骤：
将目标数据每一个页码对应的数据写入通用格式文件中。
在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (7)
1.一种不同***间数据迁移方法，其特征在于，包括：
接收数据迁移请求，所述数据迁移请求中包含导出***中的登录信息；
根据所述登录信息登录存储目标数据的导出***对应的客户端，并在所述导出***的客户端中进行所述目标数据的浏览操作过程中，获取所述导出***的客户端向服务器发送的数据包；
获取所述服务器返回的浏览页面信息；
解析所述数据包中的***参数信息；
解析所述浏览页面信息得到所述目标数据的页码范围；
采用导出爬虫程序根据所述***参数信息自动模拟生成所述目标数据的每一个页码对应的请求数据包，并向所述服务器发送所述请求数据包以获取所述目标数据每一个页码对应的数据；
采用导入爬虫程序将所述目标数据每一个页码对应的数据存至导入***；
其中，所述数据包遵循超文本传输HTTP协议；
所述解析所述数据包中的***参数信息包括：
识别所述数据包中的分页请求包，所述分页请求包用于向所述服务器请求浏览所述目标数据的指定页码中对应的内容；
解析所述分页请求包中的***参数信息；
或者，所述解析所述数据包中的***参数信息包括：
识别所述数据包中的操作指令数据包，所述操作指令数据包为根据当前页面预设位置的点击生成的操作指令，所述操作指令用于指示所述服务器返回所述目标数据的指定页码中对应的内容；
解析所述操作指令数据包中的***参数信息。
2.根据权利要求1所述的方法，其特征在于，当接收到多个用户的数据迁移请求时，根据用户的优先级或时间先后顺序对各个用户的数据迁移请求进行排序。
3.根据权利要求1所述的方法，其特征在于，还包括：
获取所述导出***对所有业务数据的分类信息；
构建WEB页面展示所述导出***对所有业务数据的分类信息；
根据所述WEB页面的交互操作生成数据迁移请求。
4.根据权利要求1所述的方法，其特征在于，还包括：
将所述目标数据每一个页码对应的数据写入通用格式文件中。
5.一种数据迁移***，其特征在于，包括：
接收单元，用于接收数据迁移请求，所述数据迁移请求中包含导出***中的登录信息；
获取单元，用于根据所述登录信息登录存储目标数据的导出***对应的客户端，并在所述导出***的客户端中进行所述目标数据的浏览操作过程中，获取所述导出***的客户端向服务器发送的数据包以及所述服务器返回的浏览页面信息；
第一解析单元，用于解析所述数据包中的***参数信息；
第二解析单元，用于解析所述浏览页面信息得到所述目标数据的页码范围；
配置单元，用于采用导出爬虫程序根据所述***参数信息自动模拟生成所述目标数据的每一个页码对应的请求数据包，并向所述服务器发送所述请求数据包以获取所述目标数据每一个页码对应的数据；
导入单元，用于采用导入爬虫程序将所述目标数据每一个页码对应的数据存至导入***；
其中，所述数据包遵循HTTP协议；
所述第一解析单元包括：
第一识别模块，用于识别所述数据包中的分页请求包，所述分页请求包用于向所述服务器请求浏览所述目标数据的指定页码中对应的内容；
第一解析模块，用于解析所述分页请求包中的***参数信息；
或者，所述第一解析单元包括：
第二识别模块，用于识别所述数据包中的操作指令数据包，所述操作指令数据包为根据当前页面预设位置的点击生成的操作指令，所述操作指令用于指示所述服务器返回所述目标数据的指定页码中对应的内容；
第二解析模块，用于解析所述操作指令数据包中的***参数信息。
6.一种计算机装置，其特征在于，所述计算机装置包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至4中任意一项所述方法的步骤。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1至4中任意一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910978951.9A CN110737645B (zh) | 2019-10-15 | 2019-10-15 | 一种不同***间数据迁移方法、数据迁移***及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910978951.9A CN110737645B (zh) | 2019-10-15 | 2019-10-15 | 一种不同***间数据迁移方法、数据迁移***及相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110737645A CN110737645A (zh) | 2020-01-31 |
| CN110737645B true CN110737645B (zh) | 2022-09-27 |
Family
ID=69268901
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910978951.9A Active CN110737645B (zh) | 2019-10-15 | 2019-10-15 | 一种不同***间数据迁移方法、数据迁移***及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110737645B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113609427B (zh) * | 2021-08-06 | 2023-09-08 | 山东鸿业信息科技有限公司 | 一种无接口情况下的***数据资源提取方法及*** |
| CN114640974B (zh) * | 2022-05-16 | 2022-10-21 | 荣耀终端有限公司 | 数据迁移方法、设备及存储介质 |
| CN117271482B (zh) * | 2023-11-23 | 2024-02-27 | 成方金融信息技术服务有限公司 | 历史数据迁移方法、装置、电子设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102662766A (zh) * | 2012-03-23 | 2012-09-12 | 北京邮电大学 | 基于Web Element机制的微博与社交网络信息同步***与方法 |
| CN105224420A (zh) * | 2015-10-08 | 2016-01-06 | 惠州Tcl移动通信有限公司 | 一种自动解析终端异常的分析方法及*** |
| US9736246B1 (en) * | 2015-02-19 | 2017-08-15 | Amazon Technologies, Inc. | Cross-device synchronization system for account-level information |
| CN107734019A (zh) * | 2017-09-29 | 2018-02-23 | 中国石油化工股份有限公司 | 勘探开发容器在线迁移的***和方法 |
| CN108090091A (zh) * | 2016-11-23 | 2018-05-29 | 北京国双科技有限公司 | 网页爬取方法和装置 |
| CN108667809A (zh) * | 2018-04-13 | 2018-10-16 | 三维通信股份有限公司 | 一种多***das web界面账户信息同步管理的实现方法 |
| CN109428877A (zh) * | 2017-09-01 | 2019-03-05 | 百度在线网络技术（北京）有限公司 | 一种用于通过用户设备访问业务***的方法和装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104104653B (zh) * | 2013-04-03 | 2018-02-23 | ***通信集团公司 | 一种页面信息同步的方法、设备和*** |
| CN103927384A (zh) * | 2014-04-30 | 2014-07-16 | 国家电网公司 | 利用html脚本解析的异构***间多层级数据同步方法及*** |
| CN103955517B (zh) * | 2014-05-05 | 2017-05-03 | 中国工商银行股份有限公司 | 将文档型数据库的数据转换至关系型数据库的方法及*** |
-
2019
- 2019-10-15 CN CN201910978951.9A patent/CN110737645B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102662766A (zh) * | 2012-03-23 | 2012-09-12 | 北京邮电大学 | 基于Web Element机制的微博与社交网络信息同步***与方法 |
| US9736246B1 (en) * | 2015-02-19 | 2017-08-15 | Amazon Technologies, Inc. | Cross-device synchronization system for account-level information |
| CN105224420A (zh) * | 2015-10-08 | 2016-01-06 | 惠州Tcl移动通信有限公司 | 一种自动解析终端异常的分析方法及*** |
| CN108090091A (zh) * | 2016-11-23 | 2018-05-29 | 北京国双科技有限公司 | 网页爬取方法和装置 |
| CN109428877A (zh) * | 2017-09-01 | 2019-03-05 | 百度在线网络技术（北京）有限公司 | 一种用于通过用户设备访问业务***的方法和装置 |
| CN107734019A (zh) * | 2017-09-29 | 2018-02-23 | 中国石油化工股份有限公司 | 勘探开发容器在线迁移的***和方法 |
| CN108667809A (zh) * | 2018-04-13 | 2018-10-16 | 三维通信股份有限公司 | 一种多***das web界面账户信息同步管理的实现方法 |
Non-Patent Citations (1)
| Title |
|---|
| 一种通用远程数据迁移汇总方案与实现;郭晓云;《电脑编程技巧与维护》;20150228(第2期);47-50 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110737645A (zh) | 2020-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107895009B (zh) | 一种基于分布式的互联网数据采集方法及*** | |
| CN107402880B (zh) | 一种测试方法及电子设备 | |
| CN110737645B (zh) | 一种不同***间数据迁移方法、数据迁移***及相关设备 | |
| CN110798445B (zh) | 公共网关接口测试方法、装置、计算机设备及存储介质 | |
| CN111176963B (zh) | 一种服务评价信息的处理方法及装置 | |
| US20160012074A1 (en) | System and method for providing contextual analytics data | |
| CN105260447A (zh) | 一种网页数据分析方法及*** | |
| CN108932640B (zh) | 用于处理订单的方法和装置 | |
| CN104301148A (zh) | 一种基于网站访问的用户行为记录方法 | |
| CN103399968B (zh) | 一种微博信息采集方法及*** | |
| CN111953766A (zh) | 一种网络数据采集的方法及其*** | |
| CN109862074B (zh) | 一种数据采集方法、装置、可读介质及电子设备 | |
| CN107368407A (zh) | 信息处理方法和装置 | |
| CN108011936A (zh) | 用于推送信息的方法和装置 | |
| CN107634942A (zh) | 识别恶意请求的方法和装置 | |
| CN105335470B (zh) | 用户登录信息展现方法和装置 | |
| CN111124858A (zh) | 无埋点插码数据处理方法、***、终端设备及存储介质 | |
| CN107798085B (zh) | 基于插件的业务处理方法及装置 | |
| CN110633432A (zh) | 一种获取数据的方法、装置、终端设备及介质 | |
| CN115291762A (zh) | 业务项目的触发方法及装置、存储介质、计算机设备 | |
| CN112749975B (zh) | 自动处理退费请求的方法、自动处理平台 | |
| CN112527991A (zh) | 信息处理方法、装置及介质 | |
| CN115640325A (zh) | 内容推荐方法、装置、可读介质及电子设备 | |
| CN113297358A (zh) | 数据处理方法、装置、服务器和计算机可读存储介质 | |
| CN113672497A (zh) | 无埋点事件的生成方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |