CN113051329B - 基于接口的数据采集方法、装置、设备及存储介质 - Google Patents
基于接口的数据采集方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113051329B CN113051329B CN202110386300.8A CN202110386300A CN113051329B CN 113051329 B CN113051329 B CN 113051329B CN 202110386300 A CN202110386300 A CN 202110386300A CN 113051329 B CN113051329 B CN 113051329B
- Authority
- CN
- China
- Prior art keywords
- data
- database
- data acquisition
- target
- interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000013500 data storage Methods 0.000 claims abstract description 18
- 238000013480 data collection Methods 0.000 claims description 40
- 238000001514 detection method Methods 0.000 claims description 8
- 230000007246 mechanism Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 description 17
- 230000005856 abnormality Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000001960 triggered effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013075 data extraction Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 235000004936 Bromus mango Nutrition 0.000 description 1
- 241000234435 Lilium Species 0.000 description 1
- 240000007228 Mangifera indica Species 0.000 description 1
- 235000014826 Mangifera indica Nutrition 0.000 description 1
- 235000009184 Spondias indica Nutrition 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及大数据技术领域，公开了一种基于接口的数据采集方法、装置、设备及存储介质。所述方法包括：若当前满足数据采集作业的触发条件，则读取触发条件对应的数据采集作业，其中，数据采集作业包括数据采集作业参数、源数据库接口参数、目的数据库参数；根据数据采集作业参数，生成数据采集接口，并通过源数据库接口参数，建立与源数据库之间的数据连接；接收从源数据库采集的目标数据并进行结构化处理，得到结构化目标数据；根据预置采集数据存储规则和目的数据库参数，生成结构化目标数据对应的批量数据库操作语句并执行，以将结构化目标数据存储至对应目的数据库。本发明能灵活地配置数据采集接口，从而进行高效的数据采集。
Description
技术领域
本发明涉及大数据技术领域，尤其涉及一种基于接口的数据采集方法、装置、设备及存储介质。
背景技术
随着大数据的发展，数据即是价值，在做数据分析和数据挖掘时，都需要进行不同目的的数据采集，而数据采集的方式一般是通过接口的形式访问数据源数据库，从而获得源数据库的数据。
目前基于接口的数据采集方式过于简单，而日益复杂的业务场景要求数据采集作业需要具备多种功能，如令牌器、断点续传、定时触发、内置字段生成等，如今的数据采集方式不能同时对这些需求进行灵活处理，使得数据采集作业的效率低下，无法满足业务需求。
发明内容
本发明的主要目的在于解决基于接口的数据采集方式功能单一且灵活性低的技术问题。
本发明第一方面提供了一种基于接口的数据采集方法，包括：
检测当前是否满足数据采集作业的触发条件；
若满足数据采集作业的触发条件，则读取所述触发条件对应的数据采集作业，其中，所述数据采集作业包括数据采集作业参数、源数据库接口参数、目的数据库参数；
根据所述数据采集作业参数，生成数据采集接口，并通过所述源数据库接口参数，建立所述数据采集接口与预置源数据库之间的数据连接；
接收所述数据采集接口从所述源数据库采集的目标数据，并对所述目标数据进行结构化处理，得到结构化目标数据；
根据预置采集数据存储规则和所述目的数据库参数，生成所述结构化目标数据对应的批量数据库操作语句并执行，以将所述结构化目标数据存储至对应目的数据库。
可选的，在本发明第一方面的第一种实现方式中，所述检测当前是否满足数据采集作业的触发条件包括：
判断当前数据采集作业是否包含令牌认证任务；
若包含令牌认证任务，则调用预置令牌生成机制，生成所述数据采集作业的令牌器；
所述根据所述数据采集作业参数，生成数据采集接口包括：
根据所述数据采集作业的令牌器，生成带令牌的数据采集接口。
可选的，在本发明第一方面的第二种实现方式中，所述检测当前是否满足数据采集作业的触发条件包括：
判断所述数据采集作业是否采用增量采集方式；
若采用增量采集方式，则读取上一轮数据采集作业对应的数据采集日志文件，并判断所述数据采集日志文件中是否存在采集断点记录；
若存在采集断点记录，则提取所述采集断点记录中的断点所在页码；
所述根据所述数据采集作业参数，生成数据采集接口包括：
根据所述断点所在页码，生成从所述断点所在页码开始的增量采集的数据采集接口。
可选的，在本发明第一方面的第三种实现方式中，所述接收所述数据采集接口从所述源数据库采集的目标数据，并对所述目标数据进行结构化处理，得到结构化目标数据包括：
接收所述数据采集接口从所述源数据库采集的目标数据，并采用二分法计算所述目标数据中各字段的字段长度；
分别判断各所述字段长度是否超过预置阈值；
若超过预置阈值，则将所述目标数据保存到本地文件中，并以预置段落数分段读取所述本地文件中的数据，得到多段分段数据；
依次解析各所述分段数据，得到结构化目标数据。
可选的，在本发明第一方面的第四种实现方式中，所述根据预置采集数据存储规则和所述目的数据库参数，生成所述结构化目标数据对应的批量数据库操作语句并执行包括：
判断所述数据采集作业是否包括内置字段生成规则；
若包括内置字段生成规则，则根据所述内置字段生成规则，生成第一数据库操作语句，其中，所述第一数据库操作语句用于将内置字段***目的数据库；
根据所述源数据库与所述目的数据库的预置字段对应关系，生成第二数据库操作语句，其中，所述第二数据库操作语句用于将源数据库对应字段的数据***目的数据库；
根据所述目的数据库的主键信息，判断所述结构化目标数据是否存在于所述目的数据库中；
若所述结构化目标数据存在于所述目的数据库中，则生成第三数据库操作语句，否则生成第四数据库操作语句，其中，所述第三数据库操作语句用于将所述结构化目标数据***所述目的数据库，所述第四数据库操作语句用于更新所述目的数据库中与所述主键信息对应的数据；
根据所述目的数据库的数据库类型以及所述第一数据库操作语句、所述第二数据库操作语句、所述第三数据库操作语句、所述第四数据库操作语句，生成批量数据库操作语句并执行。
可选的，在本发明第一方面的第五种实现方式中，在所述根据预置采集数据存储规则和所述目的数据库参数，生成所述结构化目标数据对应的批量数据库操作语句并执行之后，还包括：
根据所述批量数据库操作语句的执行结果，判断所述数据采集作业是否完成；
若所述数据采集作业完成，则停止数据采集，否则将所述执行结果对应的断点数据写入所述日志文件的采集断点记录中，其中，所述断点数据包括所述断点所在页码。
本发明第二方面提供了一种基于接口的数据采集装置，包括：
检测模块，用于检测当前是否满足数据采集作业的触发条件；
读取模块，用于若满足数据采集作业的触发条件，则读取所述触发条件对应的数据采集作业，其中，所述数据采集作业包括数据采集作业参数、源数据库接口参数、目的数据库参数；
连接模块，用于根据所述数据采集作业参数，生成数据采集接口，并通过所述源数据库接口参数，建立所述数据采集接口与预置源数据库之间的数据连接；
接收模块，用于接收所述数据采集接口从所述源数据库采集的目标数据，并对所述目标数据进行结构化处理，得到结构化目标数据；
存储模块，用于根据预置采集数据存储规则和所述目的数据库参数，生成所述结构化目标数据对应的批量数据库操作语句并执行，以将所述结构化目标数据存储至对应目的数据库。
可选的，在本发明第二方面的第一种实现方式中，所述检测模块用于：
判断当前数据采集作业是否包含令牌认证任务；
若包含令牌认证任务，则调用预置令牌生成机制，生成所述数据采集作业的令牌器；
所述连接模块用于：
根据所述数据采集作业的令牌器，生成带令牌的数据采集接口。
可选的，在本发明第二方面的第二种实现方式中，所述检测模块用于：
判断所述数据采集作业是否采用增量采集方式；
若采用增量采集方式，则读取上一轮数据采集作业对应的数据采集日志文件，并判断所述数据采集日志文件中是否存在采集断点记录；
若存在采集断点记录，则提取所述采集断点记录中的断点所在页码；
所述连接模块用于：
根据所述断点所在页码，生成从所述断点所在页码开始的增量采集的数据采集接口。
可选的，在本发明第二方面的第三种实现方式中，所述接收模块具体用于：
接收所述数据采集接口从所述源数据库采集的目标数据，并采用二分法计算所述目标数据中各字段的字段长度；
分别判断各所述字段长度是否超过预置阈值；
若超过预置阈值，则将所述目标数据保存到本地文件中，并以预置段落数分段读取所述本地文件中的数据，得到多段分段数据；
依次解析各所述分段数据，得到结构化目标数据。
可选的，在本发明第二方面的第四种实现方式中，所述存储模块具体用于：
判断所述数据采集作业是否包括内置字段生成规则；
若包括内置字段生成规则，则根据所述内置字段生成规则，生成第一数据库操作语句，其中，所述第一数据库操作语句用于将内置字段***目的数据库；
根据所述源数据库与所述目的数据库的预置字段对应关系，生成第二数据库操作语句，其中，所述第二数据库操作语句用于将源数据库对应字段的数据***目的数据库；
根据所述目的数据库的主键信息，判断所述结构化目标数据是否存在于所述目的数据库中；
若所述结构化目标数据存在于所述目的数据库中，则生成第三数据库操作语句，否则生成第四数据库操作语句，其中，所述第三数据库操作语句用于将所述结构化目标数据***所述目的数据库，所述第四数据库操作语句用于更新所述目的数据库中与所述主键信息对应的数据；
根据所述目的数据库的数据库类型以及所述第一数据库操作语句、所述第二数据库操作语句、所述第三数据库操作语句、所述第四数据库操作语句，生成批量数据库操作语句并执行。
可选的，在本发明第二方面的第五种实现方式中，所述基于接口的数据采集装置，还包括：
断点记录模块，用于根据所述批量数据库操作语句的执行结果，判断所述数据采集作业是否完成；若所述数据采集作业完成，则停止数据采集，否则将所述执行结果对应的断点数据写入所述日志文件的采集断点记录中，其中，所述断点数据包括所述断点所在页码。
本发明第三方面提供了一种基于接口的数据采集设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于接口的数据采集设备执行上述的基于接口的数据采集方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的基于接口的数据采集方法。
本发明提供的技术方案中，为了灵活地进行数据采集，首先创建可并行的数据采集作业，通过检测当前数据采集作业的触发条件，触发对应的数据采集作业，然后，根据数据采集作业中的参数，建立源数据库与目的数据库之间的数据连接，通过数据连接采集源数据库中的数据，最后对采集到的数据进行结构化处理后，使目标数据符合目的数据库的存储要求后，将结构化数据存储到目的数据库中。本发明能灵活地配置数据采集接口，从而进行高效的数据采集。
附图说明
图1为本发明实施例中基于接口的数据采集方法的第一个实施例示意图；
图2为本发明实施例中基于接口的数据采集方法的第二个实施例示意图；
图3为本发明实施例中基于接口的数据采集装置的第一个实施例示意图；
图4为本发明实施例中基于接口的数据采集装置的第二个实施例示意图；
图5为本发明实施例中基于接口的数据采集设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种基于接口的数据采集方法、装置、设备及存储介质。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中基于接口的数据采集方法的第一个实施例包括：
101、检测当前是否满足数据采集作业的触发条件；
可以理解的是，本发明的执行主体可以为基于接口的数据采集装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
本实施例中，为了提高数据采集的灵活性，提供可视化的数据采集平台供用户进行数据采集管理，用户可以在平台上创建数据采集作业，并设置数据采集作业的相关参数，根据用户设置的数据采集作业的相关参数，创建不同应用场景的数据采集作业，进行数据采集，可以理解的是，有些数据采集作业需要令牌认证、有些数据采集作业需要增量采集、有些可能需要生成内置字段，不同的需求创建不同的数据采集作业，使得本发明适用的范围更广。
本实施例中，数据采集作业的触发条件可以是定时触发，也可以是手动触发，具体的触发条件根据具体的应用场景而定。通过后台轮询，检测当前是否满足数据采集作业的触发条件，其中后台可以轮询当前时间，或当前数据采集作业任务列表，来判断是否触发相应的数据采集作业，进行对应的数据采集任务。这样使得可以进行多线程的数据采集作业，不同的数据采集作业可以同时进行，且互不影响，提高了数据采集的效率。
本实施例中，数据采集作业可以是在同应用***内进行的数据采集，例如ETL(Extract-Transform-Load，数据仓库技术)过程中的Extract数据抽取部分，也可以是在不同应用***之间进行数据传递，在某些环境条件限制下不能将数据从一个***直接移到另一个***，只能借助文本来作为中间媒介传递数据，且文本的生成有时间窗口的限制，所以对数据采集即数据抽取的性能有一定的要求，而通过增量采集的方法就能提高数据采集的性能及效率。
可选的，在一实施例中，所述检测当前是否满足数据采集作业的触发条件包括：
判断当前数据采集作业是否包含令牌认证任务；
若包含令牌认证任务，则调用预置令牌生成机制，生成所述数据采集作业的令牌器；
所述根据所述数据采集作业参数，生成数据采集接口包括：
根据所述数据采集作业的令牌器，生成带令牌的数据采集接口。
本可选实施例中，令牌是指在计算机身份认证中的Token，代表执行操作的权利对象，也是安全对象，一般作为邀请、登录***使用。令牌是用来描述进程或线程安全上下文的对象，令牌所包含的信息是与该用户账户相关的进程或线程的身份和权限信息。当用户登录时，***通过将用户输入的密码与储存在安全数据库中的密码进行对比。若密码正确，***此时会为用户生成一个访问令牌。之后，该用户执行的每个进程都会拥有一个该访问令牌的拷贝，作为对应进程的安全认证，当线程和一个安全对象交互时或者线程试图执行一个需要权限的***任务时，***使用访问令牌来辨别用户。
本可选实施例中，令牌生成机制所采用的令牌生成方法可以是：定时发送带令牌获取权限参数的网络请求到令牌生成端，令牌生成端通过权限验证后将返回数据访问令牌，所述数据访问令牌就能用于数据采集过程中的身份认证，其中，令牌获取权限参数可以是用户登陆的ID和密码，令牌生成端可以是源数据库，网络请求可以是HTTP请求。具体的，令牌生成机制可以理解为是模拟用户登陆，通过模拟用户登陆来获取数据访问权限，而数据访问权限的载体就是令牌。
可选的，在一实施例中，所述检测当前是否满足数据采集作业的触发条件包括：
判断所述数据采集作业是否采用增量采集方式；
若采用增量采集方式，则读取上一轮数据采集作业对应的数据采集日志文件，并判断所述数据采集日志文件中是否存在采集断点记录；
若存在采集断点记录，则提取所述采集断点记录中的断点所在页码；
所述根据所述数据采集作业参数，生成数据采集接口包括：
根据所述断点所在页码，生成从所述断点所在页码开始的增量采集的数据采集接口。
本可选实施例中，数据采集作业有时候会因为网络异常或源数据库异常等问题导致采集中断，这个时候重新采集就会浪费之前已经采集完的数据以及所花费的时间，因此，为了提高数据采集的效率，在源数据库支持增量采集的情况下，采用增量采集的方式，从而支持断点续传的功能，来减少重新采集的时间。
本可选实施例中，如果数据采集作业支持增量采集，则可以通过分页多次请求的方式采集数据，在增量采集之前，先读取上一轮数据采集作业对应的数据采集日志文件，如果未读取到对应的数据采集日志文件，则说明当前数据采集作业为首轮数据采集作业，那么就将页码参数设置为1，作为首轮数据采集作业的初始页码参数，若读取到对应的数据采集日志文件，则说明当前数据采集作业为非首轮数据采集作业，那么就从日志文件中的断点所在页码开始，进行增量数据采集。
本可选实施例中，增量数据采集的方式是定时发送分页请求，从初始页码或断点所在页码开始，携带每页请求数据量，在每次请求后页码数加1，直到所发出的请求返回的数据为空或者返回的数据量小于每页请求数据量为止，停止发送数据采集请求。通过分页请求的方式实现断点续传功能，也就是***记录当前请求的页码数，如果采集失败，则下次采集从采集失败的页码开始，从而避免了每次采集都从第一页开始所造成的时间浪费。
102、若满足数据采集作业的触发条件，则读取所述触发条件对应的数据采集作业，其中，所述数据采集作业包括数据采集作业参数、源数据库接口参数、目的数据库参数；
本实施例中，不同线程的数据采集作业对应不同参数，其中包括：数据采集作业参数、源数据库接口参数、目的数据库参数。数据采集作业参数包括：数据采集作业名称、作业ID、分页参数、触发条件等，源数据库接口参数包括：源数据库IP地址、源数据库端口号、源数据库的访问令牌、源数据库各字段名称等，目的数据库参数包括：目的数据库IP地址、目的数据库端口号、目的数据库各字段名称、内置字段生成规则等。
本实施例中，数据采集作业中的参数可以是用户在平台上输入的参数，也可以是后台自动解析的参数，例如分页参数，可以读取上一轮的数据采集作业的日志文件，提取日志文件中的断点参数进行设置，例如源数据库接口参数可以通过解析源数据库接口来提取IP地址、端口号，而源数据库各字段名称则可以通过发送源数据库接口获取接口返回的数据来确定，这些都无需人工设置，提高了数据采集的效率。
103、根据所述数据采集作业参数，生成数据采集接口，并通过所述源数据库接口参数，建立所述数据采集接口与预置源数据库之间的数据连接；
本实施例中，数据采集接口提供但不限于RPC(Remote Procedure Call,远程过程调用)、RMI(Remote Methods Invoke，远程方法调用)或HTTP(Hypertext TransferProtocol,超文本传输协议)等方式，这些方法的底层通讯实现都是基于soket(套接字)，都可以实现远程调用，都可以实现服务调用服务，本方案不做具体限制，使数据采集接口的配置更加灵活，以适应不同的应用场景。以HTTP为例，在建立与源数据库的连接时，只需要发送HTTP接口请求，就能得到接口的响应结果。
104、接收所述数据采集接口从所述源数据库采集的目标数据，并对所述目标数据进行结构化处理，得到结构化目标数据；
本实施例中，接收采集到的目标数据后，还包括判断目标数据的数据格式，根据所述数据格式，对所述目标数据进行结构化处理，其中，数据格式包括JSON、字符串、数字等。
本实施例中，数据采集接口与源数据库建立连接之后，会将采集到的目标数据回传，回传的数据格式一般为字符串或者是JSON，需要进行结构化处理，才能进一步地存储到目的数据库中。由于本方案是基于JAVA语言实现的，那么对于JSON/字符串的结构化处理过程就是将JSON/字符串解析为JAVA对象的过程，采用JAVA的ObjectMapper可以根据JSON文件的格式，逐层创建所有的类，得到符合存储要求的结构化数据。
105、根据预置采集数据存储规则和所述目的数据库参数，生成所述结构化目标数据对应的批量数据库操作语句并执行，以将所述结构化目标数据存储至对应目的数据库。
本实施例中，数据库操作语句(SQL，Structure Query Language)，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库***，也就是对数据库数据进行增、删、改、查的程序语言。为了对数据进行高效的操作，在单条数据库操作语句的基础上，生成批量操作语句，可以理解为是数据批量操作脚本，用于对数据进行批量处理。
本发明实施例中，为了灵活地进行数据采集，首先创建可并行的数据采集作业，通过检测当前数据采集作业的触发条件，触发对应的数据采集作业，然后，根据数据采集作业中的参数，建立源数据库与目的数据库之间的数据连接，通过数据连接采集源数据库中的数据，最后对采集到的数据进行结构化处理后，使目标数据符合目的数据库的存储要求后，将结构化数据存储到目的数据库中。本发明能灵活地配置数据采集接口，从而进行高效的数据采集。
请参阅图2，本发明实施例中基于接口的数据采集方法的第二个实施例包括：
201、检测当前是否满足数据采集作业的触发条件；
202、若满足数据采集作业的触发条件，则读取所述触发条件对应的数据采集作业，其中，所述数据采集作业包括数据采集作业参数、源数据库接口参数、目的数据库参数；
203、根据所述数据采集作业参数，生成数据采集接口，并通过所述源数据库接口参数，建立所述数据采集接口与预置源数据库之间的数据连接；
204、接收所述数据采集接口从所述源数据库采集的目标数据，并采用二分法计算所述目标数据中各字段的字段长度；
205、分别判断各所述字段长度是否超过预置阈值；
206、若超过预置阈值，则将所述目标数据保存到本地文件中，并以预置段落数分段读取所述本地文件中的数据，得到多段分段数据；
207、依次解析各所述分段数据，得到结构化目标数据；
208、根据预置采集数据存储规则和所述目的数据库参数，生成所述结构化目标数据对应的批量数据库操作语句并执行，以将所述结构化目标数据存储至对应目的数据库。
本实施例中，由于数据库存储数据的字段长度都是预先设置的，因此，在将采集到的数据***到目的数据库之前，需要对采集到的数据字段长度进行预估，避免出现字段长度不够用的情况出现。本发明采用二分法预估字段长度，二分法即一分为二的方法，是通过不断缩小解可能存在的范围，从而求得问题最优解的方法。很适合用在数据量大的数据查找过程中。
本实施例中，如果数据采集作业不支持增量采集，则需要考虑数据量过大可能导致内存溢出的情况，主要的解决方法：首先将返回的数据保存到本地文件中，然后再逐段读取文件中的信息，通过每次读取的数据内容，根据数据格式解析成JAVA对象，然后再根据不同的数据库类型生成相应的批量***数据SQL，最后在目的数据库执行这个批量***SQL。
可选的，在一实施例中，所述根据预置采集数据存储规则和所述目的数据库参数，生成所述结构化目标数据对应的批量数据库操作语句并执行包括：
判断所述数据采集作业是否包括内置字段生成规则；
若包括内置字段生成规则，则根据所述内置字段生成规则，生成第一数据库操作语句，其中，所述第一数据库操作语句用于将内置字段***目的数据库；
根据所述源数据库与所述目的数据库的预置字段对应关系，生成第二数据库操作语句，其中，所述第二数据库操作语句用于将源数据库对应字段的数据***目的数据库；
根据所述目的数据库的主键信息，判断所述结构化目标数据是否存在于所述目的数据库中；
若所述结构化目标数据存在于所述目的数据库中，则生成第三数据库操作语句，否则生成第四数据库操作语句，其中，所述第三数据库操作语句用于将所述结构化目标数据***所述目的数据库，所述第四数据库操作语句用于更新所述目的数据库中与所述主键信息对应的数据；
根据所述目的数据库的数据库类型以及所述第一数据库操作语句、所述第二数据库操作语句、所述第三数据库操作语句、所述第四数据库操作语句，生成批量数据库操作语句并执行。
本可选实施例中，有些业务场景需要把接口数据采集到目的数据库的同时生成一些额外字段的值，即内置字段，如记录当前的***时间、固定值、区域名称等，通过预设的内置字段生成规则，生成对应的第一数据库操作语句。所述第一数据库操作语句可以将生成的内置字段和结构化目标数据合并存储到目的数据库中，提高了数据存储的效率。
本可选实施例中，源数据库与目的数据库各字段的对应关系可以通过源数据库接口返回的数据中各字段名称来定义与目的数据库对应字段的关系，例如，源数据库中返回的数据为{name：Lily；age：22}，目的数据库即将存储这些数据的字段名分别为Name和Age，那么字段的对应关系就为name->Name，age->Age。根据字段之间的对应关系，生成将数据存储在相应的字段名的数据库操作语句，使数据存储更规范。
本可选实施例中，对于新旧数据的判断则在存储之前通过主键值的查找来确定，若某一待***的数据通过主键查找确定已存在于目的数据库中，那么则生成更新语句、否则生成***语句。
本可选实施例中，数据库类型繁多，例如有MySql、Mango、MariaDB等，不同的数据库类型(目的数据库)对应不同的操作语句，在最后，结合上述已生成的操作语句，生成批量数据库操作语句或脚本，用于数据的批量操作。
可选的，在一实施例中，在所述根据预置采集数据存储规则和所述目的数据库参数，生成所述结构化目标数据对应的批量数据库操作语句并执行之后，还包括：
根据所述批量数据库操作语句的执行结果，判断所述数据采集作业是否完成；
若所述数据采集作业完成，则停止数据采集，否则将所述执行结果对应的断点数据写入所述日志文件的采集断点记录中，其中，所述断点数据包括所述断点所在页码。
本可选实施例中，为了实现增量采集，可以增设断点自动记录的功能，以使得数据采集作业能够应对更多的异常情况，例如，当发生网络异常造成与源数据库的数据连接断开时，数据采集作业记录当前采集到的页码，例如已经采集到第10页，那么，则将参数10记录到日志文件的采集断点记录中，数据采集作业从第10页开始继续请求与源数据库的数据连接，直到满足数据采集作业的停止条件为止，这样，即使发生异常，也无需人工介入，进一步地实现了自动化数据采集。
本发明实施例中，由于数据采集作业可能将要进行大数据量的采集，为了避免大数据量导致的内存溢出，首先将采集到的目标数据保存到本地文件中，然后再逐段读取本地文件中的数据，通过每次读取的数据内容，根据数据格式解析成结构化的目标数据，最后存储到目的数据库中，这样，就能将数据分割成多段，避免内存溢出的情况发生。本发明实施例能够分段读取数据，从而减少数据采集过程中出现异常，提高数据采集的稳定性。
上面对本发明实施例中基于接口的数据采集方法进行了描述，下面对本发明实施例中基于接口的数据采集装置进行描述，请参阅图3，本发明实施例中基于接口的数据采集装置第一个实施例包括：
检测模块301，用于检测当前是否满足数据采集作业的触发条件；
读取模块302，用于若满足数据采集作业的触发条件，则读取所述触发条件对应的数据采集作业，其中，所述数据采集作业包括数据采集作业参数、源数据库接口参数、目的数据库参数；
连接模块303，用于根据所述数据采集作业参数，生成数据采集接口，并通过所述源数据库接口参数，建立所述数据采集接口与预置源数据库之间的数据连接；
接收模块304，用于接收所述数据采集接口从所述源数据库采集的目标数据，并对所述目标数据进行结构化处理，得到结构化目标数据；
存储模块305，用于根据预置采集数据存储规则和所述目的数据库参数，生成所述结构化目标数据对应的批量数据库操作语句并执行，以将所述结构化目标数据存储至对应目的数据库。
可选的，在一实施例中，所述检测模块301用于：
判断当前数据采集作业是否包含令牌认证任务；
若包含令牌认证任务，则调用预置令牌生成机制，生成所述数据采集作业的令牌器；
所述连接模块304用于：
根据所述数据采集作业的令牌器，生成带令牌的数据采集接口。
可选的，在一实施例中，所述检测模块301用于：
判断所述数据采集作业是否采用增量采集方式；
若采用增量采集方式，则读取上一轮数据采集作业对应的数据采集日志文件，并判断所述数据采集日志文件中是否存在采集断点记录；
若存在采集断点记录，则提取所述采集断点记录中的断点所在页码；
所述连接模块304用于：
根据所述断点所在页码，生成从所述断点所在页码开始的增量采集的数据采集接口。
本发明实施例中，为了灵活地进行数据采集，首先创建可并行的数据采集作业，通过检测当前数据采集作业的触发条件，触发对应的数据采集作业，然后，根据数据采集作业中的参数，建立源数据库与目的数据库之间的数据连接，通过数据连接采集源数据库中的数据，最后对采集到的数据进行结构化处理后，使目标数据符合目的数据库的存储要求后，将结构化数据存储到目的数据库中。本发明能灵活地配置数据采集接口，从而进行高效的数据采集。
请参阅图4，本发明实施例中基于接口的数据采集装置的第二个实施例包括：
检测模块301，用于检测当前是否满足数据采集作业的触发条件；
读取模块302，用于若满足数据采集作业的触发条件，则读取所述触发条件对应的数据采集作业，其中，所述数据采集作业包括数据采集作业参数、源数据库接口参数、目的数据库参数；
连接模块303，用于根据所述数据采集作业参数，生成数据采集接口，并通过所述源数据库接口参数，建立所述数据采集接口与预置源数据库之间的数据连接；
接收模块304，用于接收所述数据采集接口从所述源数据库采集的目标数据，并对所述目标数据进行结构化处理，得到结构化目标数据；
存储模块305，用于根据预置采集数据存储规则和所述目的数据库参数，生成所述结构化目标数据对应的批量数据库操作语句并执行，以将所述结构化目标数据存储至对应目的数据库。
可选的，在一实施例中，所述接收模块304具体用于：
接收所述数据采集接口从所述源数据库采集的目标数据，并采用二分法计算所述目标数据中各字段的字段长度；
分别判断各所述字段长度是否超过预置阈值；
若超过预置阈值，则将所述目标数据保存到本地文件中，并以预置段落数分段读取所述本地文件中的数据，得到多段分段数据；
依次解析各所述分段数据，得到结构化目标数据。
可选的，在一实施例中，所述存储模块305具体用于：
判断所述数据采集作业是否包括内置字段生成规则；
若包括内置字段生成规则，则根据所述内置字段生成规则，生成第一数据库操作语句，其中，所述第一数据库操作语句用于将内置字段***目的数据库；
根据所述源数据库与所述目的数据库的预置字段对应关系，生成第二数据库操作语句，其中，所述第二数据库操作语句用于将源数据库对应字段的数据***目的数据库；
根据所述目的数据库的主键信息，判断所述结构化目标数据是否存在于所述目的数据库中；
若所述结构化目标数据存在于所述目的数据库中，则生成第三数据库操作语句，否则生成第四数据库操作语句，其中，所述第三数据库操作语句用于将所述结构化目标数据***所述目的数据库，所述第四数据库操作语句用于更新所述目的数据库中与所述主键信息对应的数据；
根据所述目的数据库的数据库类型以及所述第一数据库操作语句、所述第二数据库操作语句、所述第三数据库操作语句、所述第四数据库操作语句，生成批量数据库操作语句并执行。
可选的，在一实施例中，所述基于接口的数据采集装置，还包括：
断点记录模块306，用于根据所述批量数据库操作语句的执行结果，判断所述数据采集作业是否完成；若所述数据采集作业完成，则停止数据采集，否则将所述执行结果对应的断点数据写入所述日志文件的采集断点记录中，其中，所述断点数据包括所述断点所在页码。
本发明实施例中，由于数据采集作业可能将要进行大数据量的采集，为了避免大数据量导致的内存溢出，首先将采集到的目标数据保存到本地文件中，然后再逐段读取本地文件中的数据，通过每次读取的数据内容，根据数据格式解析成结构化的目标数据，最后存储到目的数据库中，这样，就能将数据分割成多段，避免内存溢出的情况发生。本发明实施例能够分段读取数据，从而减少数据采集过程中出现异常，提高数据采集的稳定性。
上面图3和图4从模块化功能实体的角度对本发明实施例中的基于接口的数据采集装置进行详细描述，下面从硬件处理的角度对本发明实施例中基于接口的数据采集设备进行详细描述。
图5是本发明实施例提供的一种基于接口的数据采集设备的结构示意图，该基于接口的数据采集设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对基于接口的数据采集设备500中的一系列指令操作。更进一步地，处理器510可以设置为与存储介质530通信，在基于接口的数据采集设备500上执行存储介质530中的一系列指令操作。
基于接口的数据采集设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作***531，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图5示出的基于接口的数据采集设备结构并不构成对基于接口的数据采集设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种基于接口的数据采集设备，所述基于接口的数据采集设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述基于接口的数据采集方法的步骤。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述基于接口的数据采集方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (7)
1.一种基于接口的数据采集方法，其特征在于，所述基于接口的数据采集方法包括：
检测当前是否满足数据采集作业的触发条件；
若满足数据采集作业的触发条件，则读取所述触发条件对应的数据采集作业，其中，所述数据采集作业包括数据采集作业参数、源数据库接口参数、目的数据库参数；
根据所述数据采集作业参数，生成数据采集接口，并通过所述源数据库接口参数，建立所述数据采集接口与预置源数据库之间的数据连接；
接收所述数据采集接口从所述源数据库采集的目标数据，并对所述目标数据进行结构化处理，得到结构化目标数据；
所述接收所述数据采集接口从所述源数据库采集的目标数据，并对所述目标数据进行结构化处理，得到结构化目标数据包括：
接收所述数据采集接口从所述源数据库采集的目标数据，并采用二分法计算所述目标数据中各字段的字段长度；
分别判断各所述字段长度是否超过预置阈值；
若超过预置阈值，则将所述目标数据保存到本地文件中，并以预置段落数分段读取所述本地文件中的数据，得到多段分段数据；
依次解析各所述分段数据，得到结构化目标数据；
根据预置采集数据存储规则和所述目的数据库参数，生成所述结构化目标数据对应的批量数据库操作语句并执行，以将所述结构化目标数据存储至对应目的数据库；
所述根据预置采集数据存储规则和所述目的数据库参数，生成所述结构化目标数据对应的批量数据库操作语句并执行包括：
判断所述数据采集作业是否包括内置字段生成规则；
若包括内置字段生成规则，则根据所述内置字段生成规则，生成第一数据库操作语句，其中，所述第一数据库操作语句用于将内置字段***目的数据库；
根据所述源数据库与所述目的数据库的预置字段对应关系，生成第二数据库操作语句，其中，所述第二数据库操作语句用于将源数据库对应字段的数据***目的数据库；
根据所述目的数据库的主键信息，判断所述结构化目标数据是否存在于所述目的数据库中；
若所述结构化目标数据存在于所述目的数据库中，则生成第三数据库操作语句，否则生成第四数据库操作语句，其中，所述第三数据库操作语句用于将所述结构化目标数据***所述目的数据库，所述第四数据库操作语句用于更新所述目的数据库中与所述主键信息对应的数据；
根据所述目的数据库的数据库类型以及所述第一数据库操作语句、所述第二数据库操作语句、所述第三数据库操作语句、所述第四数据库操作语句，生成批量数据库操作语句并执行。
2.根据权利要求1所述的基于接口的数据采集方法，其特征在于，所述检测当前是否满足数据采集作业的触发条件包括：
判断当前数据采集作业是否包含令牌认证任务；
若包含令牌认证任务，则调用预置令牌生成机制，生成所述数据采集作业的令牌器；
所述根据所述数据采集作业参数，生成数据采集接口包括：
根据所述数据采集作业的令牌器，生成带令牌的数据采集接口。
3.根据权利要求1所述的基于接口的数据采集方法，其特征在于，所述检测当前是否满足数据采集作业的触发条件包括：
判断所述数据采集作业是否采用增量采集方式；
若采用增量采集方式，则读取上一轮数据采集作业对应的数据采集日志文件，并判断所述数据采集日志文件中是否存在采集断点记录；
若存在采集断点记录，则提取所述采集断点记录中的断点所在页码；
所述根据所述数据采集作业参数，生成数据采集接口包括：
根据所述断点所在页码，生成从所述断点所在页码开始的增量采集的数据采集接口。
4.根据权利要求1-3中任一项所述的基于接口的数据采集方法，其特征在于，在所述根据预置采集数据存储规则和所述目的数据库参数，生成所述结构化目标数据对应的批量数据库操作语句并执行之后，还包括：
根据所述批量数据库操作语句的执行结果，判断所述数据采集作业是否完成；
若所述数据采集作业完成，则停止数据采集，否则将所述执行结果对应的断点数据写入日志文件的采集断点记录中，其中，所述断点数据包括所述断点所在页码。
5.一种基于接口的数据采集装置，其特征在于，所述基于接口的数据采集装置执行如权利要求1-4中任一项所述的基于接口的数据采集方法，所述基于接口的数据采集装置包括：
检测模块，用于检测当前是否满足数据采集作业的触发条件；
读取模块，用于若满足数据采集作业的触发条件，则读取所述触发条件对应的数据采集作业，其中，所述数据采集作业包括数据采集作业参数、源数据库接口参数、目的数据库参数；
连接模块，用于根据所述数据采集作业参数，生成数据采集接口，并通过所述源数据库接口参数，建立所述数据采集接口与预置源数据库之间的数据连接；
接收模块，用于接收所述数据采集接口从所述源数据库采集的目标数据，并对所述目标数据进行结构化处理，得到结构化目标数据；
所述接收所述数据采集接口从所述源数据库采集的目标数据，并对所述目标数据进行结构化处理，得到结构化目标数据包括：
接收所述数据采集接口从所述源数据库采集的目标数据，并采用二分法计算所述目标数据中各字段的字段长度；
分别判断各所述字段长度是否超过预置阈值；
若超过预置阈值，则将所述目标数据保存到本地文件中，并以预置段落数分段读取所述本地文件中的数据，得到多段分段数据；
依次解析各所述分段数据，得到结构化目标数据；
存储模块，用于根据预置采集数据存储规则和所述目的数据库参数，生成所述结构化目标数据对应的批量数据库操作语句并执行，以将所述结构化目标数据存储至对应目的数据库；
所述根据预置采集数据存储规则和所述目的数据库参数，生成所述结构化目标数据对应的批量数据库操作语句并执行包括：
判断所述数据采集作业是否包括内置字段生成规则；
若包括内置字段生成规则，则根据所述内置字段生成规则，生成第一数据库操作语句，其中，所述第一数据库操作语句用于将内置字段***目的数据库；
根据所述源数据库与所述目的数据库的预置字段对应关系，生成第二数据库操作语句，其中，所述第二数据库操作语句用于将源数据库对应字段的数据***目的数据库；
根据所述目的数据库的主键信息，判断所述结构化目标数据是否存在于所述目的数据库中；
若所述结构化目标数据存在于所述目的数据库中，则生成第三数据库操作语句，否则生成第四数据库操作语句，其中，所述第三数据库操作语句用于将所述结构化目标数据***所述目的数据库，所述第四数据库操作语句用于更新所述目的数据库中与所述主键信息对应的数据；
根据所述目的数据库的数据库类型以及所述第一数据库操作语句、所述第二数据库操作语句、所述第三数据库操作语句、所述第四数据库操作语句，生成批量数据库操作语句并执行。
6.一种基于接口的数据采集设备，其特征在于，所述基于接口的数据采集设备包括：存储器和至少一个处理器，所述存储器中存储有指令；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于接口的数据采集设备执行如权利要求1-4中任一项所述的基于接口的数据采集方法。
7.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-4中任一项所述的基于接口的数据采集方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110386300.8A CN113051329B (zh) | 2021-04-12 | 2021-04-12 | 基于接口的数据采集方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110386300.8A CN113051329B (zh) | 2021-04-12 | 2021-04-12 | 基于接口的数据采集方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113051329A CN113051329A (zh) | 2021-06-29 |
| CN113051329B true CN113051329B (zh) | 2024-03-15 |
Family
ID=76519448
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110386300.8A Active CN113051329B (zh) | 2021-04-12 | 2021-04-12 | 基于接口的数据采集方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113051329B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108846076A (zh) * | 2018-06-08 | 2018-11-20 | 山大地纬软件股份有限公司 | 支持接口适配的海量多源异构数据etl方法及*** |
| CN111241177A (zh) * | 2019-12-31 | 2020-06-05 | 中国联合网络通信集团有限公司 | 数据采集方法、***及网络设备 |
| CN111858658A (zh) * | 2020-07-23 | 2020-10-30 | 中国平安财产保险股份有限公司 | 数据采集方法、装置、设备及存储介质 |
| CN112579705A (zh) * | 2019-09-27 | 2021-03-30 | 北京国双科技有限公司 | 元数据采集方法、装置、计算机设备和存储介质 |
-
2021
- 2021-04-12 CN CN202110386300.8A patent/CN113051329B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108846076A (zh) * | 2018-06-08 | 2018-11-20 | 山大地纬软件股份有限公司 | 支持接口适配的海量多源异构数据etl方法及*** |
| CN112579705A (zh) * | 2019-09-27 | 2021-03-30 | 北京国双科技有限公司 | 元数据采集方法、装置、计算机设备和存储介质 |
| CN111241177A (zh) * | 2019-12-31 | 2020-06-05 | 中国联合网络通信集团有限公司 | 数据采集方法、***及网络设备 |
| CN111858658A (zh) * | 2020-07-23 | 2020-10-30 | 中国平安财产保险股份有限公司 | 数据采集方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113051329A (zh) | 2021-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110569214B (zh) | 用于日志文件的索引构建方法、装置及电子设备 | |
| EP3251031B1 (en) | Techniques for compact data storage of network traffic and efficient search thereof | |
| US10552293B2 (en) | Logging as a service | |
| US7913233B2 (en) | Performance analyzer | |
| CN111324610A (zh) | 一种数据同步的方法及装置 | |
| RU2005134203A (ru) | Система и способ для ограниченного доступа пользователя к сетевому документу | |
| CN109450969B (zh) | 从第三方数据源服务器中获取数据的方法、装置和服务器 | |
| CN111949856B (zh) | 基于web的对象存储查询方法及装置 | |
| CN113535677B (zh) | 数据分析查询管理方法、装置、计算机设备及存储介质 | |
| CN111125213A (zh) | 数据采集的方法、装置及其*** | |
| CA2734207C (en) | Electronic file comparator | |
| CN106529281A (zh) | 一种可执行文件处理方法及装置 | |
| CN113051329B (zh) | 基于接口的数据采集方法、装置、设备及存储介质 | |
| CN113672233B (zh) | 一种基于Redfish的服务器带外管理方法、装置及设备 | |
| CN114330278A (zh) | 一种判断返回数据一致性的方法及设备 | |
| CN113448965A (zh) | 一种全表扫描的结构化查询语句的确定方法、装置和设备 | |
| CN109067726B (zh) | 建站***识别方法、装置、电子设备及存储介质 | |
| KR100906449B1 (ko) | 데이터베이스 툴 식별 장치 및 방법 | |
| CN116702146B (zh) | 一种Web服务器的注入漏洞扫描方法和*** | |
| JP7470769B1 (ja) | クラウドのａｐｉの変更を分析する方法 | |
| CN113553320B (zh) | 数据质量监控方法及装置 | |
| CN113553587B (zh) | 一种文件检测方法、装置、设备及可读存储介质 | |
| CN115705294B (zh) | 用于获取函数调用信息的方法、装置、电子设备和介质 | |
| CN116647412B (zh) | 一种Web服务器的安全防御方法和*** | |
| CN116881880B (zh) | 时空数据管理***及时空数据服务化资源协同调度方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |