CN109977157A - 一种基于数据平台将数据导入目标目录的方法和电子设备 - Google Patents
一种基于数据平台将数据导入目标目录的方法和电子设备 Download PDFInfo
- Publication number
- CN109977157A CN109977157A CN201910145387.2A CN201910145387A CN109977157A CN 109977157 A CN109977157 A CN 109977157A CN 201910145387 A CN201910145387 A CN 201910145387A CN 109977157 A CN109977157 A CN 109977157A
- Authority
- CN
- China
- Prior art keywords
- data
- target
- target directory
- script file
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开一种基于数据平台将数据导入目标目录的方法和电子设备，方法包括：通过数据迁移工具将目标数据从关系型数据库导入至大数据引擎数据库中；在所述大数据引擎数据库中运行预先编辑的脚本文件，使得所述大数据引擎数据库自动生成多个数据分区，以及将所述数据分区的数据存储于所述目标目录中，其中，所述数据分区中均含有目标数据，所述脚本文件包含目标目录和分区规则。通过本发明提供的方法，能够将目标数据导入至大数据引擎数据库中，再通过云顶运行编辑的脚本文件，使得所述大数据引擎数据库生成多个数据分区，从而将数据分区内的数据存储于所述目标目录中，从而大大提高了数据上传的效率，节约了时间。
Description
技术领域
本发明涉及数据传输领域，尤其涉及一种基于数据平台将数据导入目标目录的方法和电子设备。
背景技术
数据传输是指依照适当的规程，经过一条或多条链路，在数据源和数据宿之间传送数据的过程。也表示借助信道上的信号将数据从一处送往另一处的操作。
例如，将文字或者图片上传至服务器中，或者从服务器中下载文字或者图片。
再例如，数据平台从关系型数据库中导入海量数据到HDFS(Hadoop File System)文件***中，然后将导入的数据添加到HIve(SQL引擎)数据库中的各个表里面。
然而，数据导入到文件***后，需要对Hive数据表进行手动指定每个文件目录，并添加各个分区。
也就是说，现有技术中无法自动选择文件目录，数据导入的效率过于低下。
因此，现有技术还有待于改进和发展。
发明内容
鉴于上述现有技术的不足，本发明的目的在于提供一种基于数据平台将数据导入目标目录的方法和电子设备，旨在解决现有技术中无法自动选择文件目录或数据导入的效率过于低下问题。
本发明的技术方案如下：
一种基于数据平台将数据导入目标目录的方法，其包括步骤：
A、通过数据迁移工具将目标数据从关系型数据库导入至大数据引擎数据库中；
B、在所述大数据引擎数据库中运行预先编辑的脚本文件，使得所述大数据引擎数据库自动生成多个数据分区，以及将所述数据分区的数据存储于所述目标目录中，其中，所述数据分区中均含有目标数据，所述脚本文件包含目标目录和分区规则。
所述的基于数据平台将数据导入目标目录的方法，其中，所述步骤A中，所述数据迁移工具为sqoop。
所述的基于数据平台将数据导入目标目录的方法，其中，所述步骤B中，所述脚本文件具体为包含同步命令的shell脚本文件，且所述shell脚本文件的后缀名为“sh”。
所述的基于数据平台将数据导入目标目录的方法，其中，所述shell脚本文件具体包括：目标目录、关系型数据库用户名、关系型数据库密码、查询语句、执行语句、大数据引擎数据库库名、大数据引擎数据库表名、数据分区名称和数据分区值。
所述的基于数据平台将数据导入目标目录的方法，其中，所述步骤B具体包括：
B1、运行所述脚本文件，以获取脚本文件中的分区规则和目标目录；
B2、根据分区规则对所述大数据引擎数据库进行分区，得到数据分区；
B3、将数据分区内的目标数据存储于所述目标目录中，完成目标数据的导入。
所述的基于数据平台将数据导入目标目录的方法，其中，所述步骤B包括：
指定所述目标目录的位置，以及指定数据分区名称对应的数据值。
所述的基于数据平台将数据导入目标目录的方法，其中，所述步骤B之后包括：
C、接收用户删除目标数据的指令，删除目标目录中的目标数据，以及删除所述关系型数据库中对应的目标数据。
本发明还包括一种电子设备，其包括：
处理器，适于实现各指令，以及
存储设备，适于存储多条指令，所述指令适于由处理器加载并执行：
通过数据迁移工具将目标数据从关系型数据库导入至大数据引擎数据库中；
在所述大数据引擎数据库中运行预先编辑的脚本文件，使得所述大数据引擎数据库自动生成多个数据分区，以及将所述数据分区的数据存储于所述目标目录中，其中，所述数据分区中均含有目标数据，所述脚本文件包含目标目录和分区规则。
本发明还包括一种计算机程序产品，其中，计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被处理器执行时，使所述处理器执行所述的基于数据平台将数据导入目标目录的方法。
本发明还包括一种非易失性计算机可读存储介质，其中，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行所述的基于数据平台将数据导入目标目录的方法。
有益效果：通过本发明提供的方法，能够将目标数据导入至大数据引擎数据库中，再通过云顶运行编辑的脚本文件，使得所述大数据引擎数据库生成多个数据分区，从而将数据分区内的数据存储于所述目标目录中。这样，便可以自动将用户上传的数据存储于目标目录中，无需人工或手动选择存储目录，大大提高了数据上传的效率，节约了时间。
附图说明
图1为本发明基于数据平台将数据导入目标目录的方法较佳实施例的流程图。
图2为本发明电子设备较佳实施例的结构框图。
具体实施方式
本发明提供一种基于数据平台将数据导入目标目录的方法和电子设备，为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参阅图1，一种基于数据平台将数据导入目标目录的方法，其包括步骤：
S1、通过数据迁移工具将目标数据从关系型数据库导入至大数据引擎数据库中；
S2、在所述大数据引擎数据库中运行预先编辑的脚本文件，使得所述大数据引擎数据库自动生成多个数据分区，以及将所述数据分区的数据存储于所述目标目录中，其中，所述数据分区中均含有目标数据，所述脚本文件包含目标目录和分区规则。
通过本发明提供的方法，能够有效并且快速的将目标数据导入至大数据引擎数据库中，此时，所述大数据引擎数据库能够自动生成多个数据分区，从而将目标数据存储于目标分区内。这样，便可以省去诸多选取目标文件夹的繁琐步骤，大大提高了效率，节约了时间。
所述步骤S1中，目标数据是指需要进行上传或者导入的数据，目标数据可以是文字，也可以是图片或者是视频。
所述数据迁移工具是指一种能够传输目标数据的工具。
所述关系型数据库具体是指Mysql。Mysql是一种关系数据库管理***，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。
所述大数据引擎数据库具体是指Hive。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
优选的，所述步骤S1中，所述数据迁移工具为sqoop。
Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(Mysql或postgresql)间进行数据的传递，可以将一个关系型数据库(例如：Mysql，Oracle或Postgres等)中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
这样，便可以通过Sqoop将Mysql中目标数据迁移至Hive中。
所述步骤S2中，所述脚本文件具体是指JS代码。JS代码即Javascript，Javascript是一种由Netscape的LiveScript发展而来的脚本语言(文件)，主要目的是为了解决服务器终端语言。更具体的说，创建的脚本文件具体为：config.js，其能够被任意的网页识别，或者说，能通过任意的网页打开该脚本文件。
通过运行脚本文件能够使大数据引擎数据库进行自动生成多个数据分区的操作，例如，使大数据引擎数据库自动生成4个数据获取或者使大数据引擎数据库自动生成5个数据等等。
优选的，所述步骤S2中，所述脚本文件具体为包含同步命令的shell脚本文件，且所述shell脚本文件的后缀名为“sh”。
更具体的说，所述脚本文件为含有Sqoop同步命令的sheell脚本demo.sh。
优选的，所述shell脚本文件具体包括：目标目录、关系型数据库用户名、关系型数据库密码、查询语句、执行语句、大数据引擎数据库库名、大数据引擎数据库表名、数据分区名称和数据分区值。
其中，所述目标目录具体是指target-dir，通过目标目录能够指定目标路径，即数据存储的位置。
所述关系型数据库用户名具体是指uesrname，通过关系型数据库用户名能够明确使用者的ID。
所述关系型数据库密码具体实施password，通过关系型数据库密码能够提高安全性，保证用户的合法性，避免不法人员恶意登录。
所述查询语句具体是指query。
所述执行语句具体是指hive-import，其能够执行目标数据导入至Hive的操作。
所述大数据引擎数据库库名具体是指hive-database，通过hive-database能够指定Hive数据库的库名。
所述大数据引擎数据库表名具体是指hive-table，通过hive-table能够指定Hive数据库的表名。
所述数据分区名称具体是指hive-partition-key，通过hive-partition-key能够指定Hive的分区名称。
所述数据分区值具体是指hive-partition-value，通过hive-partition-value能够指定Hive的分区值。
优选的，所述步骤S2包括：
指定所述目标目录的位置，以及指定数据分区名称对应的数据值。
所述步骤S2的关键在于指定关系型数据库Mysql及Hive数据库的库名称以及表名称，以及指定目标目录(target-dir)的位置，同时指定数据分区名称(数据分区是Hive对数据进行分类存储的一种实现方法)及数据分区对应的具体值。例如，target-dir的值可以是/user/hive/warehouse/xxx.db/table-a/分区名称＝分区值value。
优选的，所述步骤S2具体包括：
S21、运行所述脚本文件，以获取脚本文件中的分区规则和目标目录；
S22、根据分区规则对所述大数据引擎数据库进行分区，得到数据分区；
S23、将数据分区内的目标数据存储于所述目标目录中，完成目标数据的导入。
所述步骤S21中，所述大数据引擎数据库自动执行(运行)所述脚本文件，所述脚本文件中包含预先编辑的分区规则和所述目标目录。
其中，所述分区规则可以是按照数据分区的存储空间进行划分，也可以是按照时间的先后顺序进行划分。
所述目标目录是指目标数据最终的存储位置，即所述目标目录是指一种文件夹。
所述步骤S22中，在运行脚本文件后，所述大数据引擎数据库便可以读取分区规则，从而对所述大数据引擎数据库进行分区，得到数据分区。
所述步骤S23中，根据读取得到目标目录的地址，以及数据分区内的目标数据，从而数据分区内的目标数据导入至所述目标目录中，从而完成目标数据的导入。
优选的，所述步骤S2中，包括：
Hive数据库中的table-a将会导入分区值是value的数据。
这样，便可以准确而有效将输入导入至指定目录(目标目录)中，并且，用户需要进行手动选择目标目录的操作，大大提高了效率，节约了时间。
优选的，所述步骤S2之后包括：
S3、接收用户删除目标数据的指令，删除目标目录中的目标数据，以及删除所述关系型数据库中对应的目标数据。
由于现有的数据传输方法还存在一个弊端，当删除Hive表数据分区的时，数据分区对应的HDFS目标目录无法自动删除，必须再进行手动删除的操作，用户如果忘记删除，那么目标目录将会占用过多的存储空间，最终导致电子设备卡顿，运行不流畅。
所述步骤S3中，当需要删除某部分数据分区的数据时，只需要删除相应的数据分区，数据分区对应的target-dir目录也将会删除。例如，执行alter table drop if existspartition(分区名称＝分区值)就可以删除相应的目标数据和目标目录。
也就是说，本发明除了能够实现自动选择目标目录进行上传目标数据，还能够自动删除目标数据对应的目标分区。
请参阅图2，本发明还提供一种电子设备10，其包括：
处理器110，适于实现各指令，以及
存储设备120，适于存储多条指令，所述指令适于由处理器加载并执行：
通过数据迁移工具将目标数据从关系型数据库导入至大数据引擎数据库中；
在所述大数据引擎数据库中运行预先编辑的脚本文件，使得所述大数据引擎数据库自动生成多个数据分区，以及将所述数据分区的数据存储于所述目标目录中，其中，所述数据分区中均含有目标数据，所述脚本文件包含目标目录和分区规则。
所述处理器110可以为通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、单片机、ARM(Acorn RISC Machine)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。还有，处理器还可以是任何传统处理器、微处理器或状态机。处理器也可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP核、任何其它这种配置。
存储设备120作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的基于数据平台将数据导入目标目录的方法对应的程序指令。处理器通过运行存储在存储设备中的非易失性软件程序、指令以及单元，从而执行基于数据平台将数据导入目标目录的各种功能应用以及数据处理，即实现上述方法实施例中的基于数据平台将数据导入目标目录的方法。
关于上述电子设备10的具体技术细节，已在上述步骤中详述，故此不做赘述。
优选的，所述数据迁移工具为sqoop。
优选的，所述脚本文件具体为包含同步命令的shell脚本文件，且所述shell脚本文件的后缀名为“sh”。
优选的，所述shell脚本文件具体包括：目标目录、关系型数据库用户名、关系型数据库密码、查询语句、执行语句、大数据引擎数据库库名、大数据引擎数据库表名、数据分区名称和数据分区值。
优选的，所述在所述大数据引擎数据库中运行预先编辑的脚本文件，使得所述大数据引擎数据库自动生成多个数据分区，以及将所述数据分区的数据存储于所述目标目录中，其中，所述数据分区中均含有目标数据，所述脚本文件包含目标目录和分区规则的步骤包括：
指定所述目标目录的位置，以及指定数据分区名称对应的数据值。
优选的，所述在所述大数据引擎数据库中运行预先编辑的脚本文件，使得所述大数据引擎数据库自动生成多个数据分区，以及将所述数据分区的数据存储于所述目标目录中，其中，所述数据分区中均含有目标数据，所述脚本文件包含目标目录和分区规则的步骤具体包括：
运行所述脚本文件，以获取脚本文件中的分区规则和目标目录；
根据分区规则对所述大数据引擎数据库进行分区，得到数据分区；
将数据分区内的目标数据存储于所述目标目录中，完成目标数据的导入。
本发明还提供一种计算机程序产品，其中，计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被处理器执行时，使所述处理器执行所述的基于数据平台将数据导入目标目录的方法。
本发明还提供一种非易失性计算机可读存储介质，其中，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行所述的基于数据平台将数据导入目标目录的方法。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (10)
1.一种基于数据平台将数据导入目标目录的方法，其特征在于，包括步骤：
A、通过数据迁移工具将目标数据从关系型数据库导入至大数据引擎数据库中；
B、在所述大数据引擎数据库中运行预先编辑的脚本文件，使得所述大数据引擎数据库自动生成多个数据分区，以及将所述数据分区的数据存储于所述目标目录中，其中，所述数据分区中均含有目标数据，所述脚本文件包含目标目录和分区规则。
2.根据权利要求1所述基于数据平台将数据导入目标目录的方法，其特征在于，所述步骤A中，所述数据迁移工具为sqoop。
3.根据权利要求1所述基于数据平台将数据导入目标目录的方法，其特征在于，所述步骤B中，所述脚本文件具体为包含同步命令的shell脚本文件，且所述shell脚本文件的后缀名为“sh”。
4.根据权利要求3所述基于数据平台将数据导入目标目录的方法，其特征在于，所述shell脚本文件具体包括：目标目录、关系型数据库用户名、关系型数据库密码、查询语句、执行语句、大数据引擎数据库库名、大数据引擎数据库表名、数据分区名称和数据分区值。
5.根据权利要求4所述基于数据平台将数据导入目标目录的方法，其特征在于，所述步骤B包括：
指定所述目标目录的位置，以及指定数据分区名称对应的数据值。
6.根据权利要求1所述基于数据平台将数据导入目标目录的方法，其特征在于，所述步骤B具体包括：
B1、运行所述脚本文件，以获取脚本文件中的分区规则和目标目录；
B2、根据分区规则对所述大数据引擎数据库进行分区，得到数据分区；
B3、将数据分区内的目标数据存储于所述目标目录中，完成目标数据的导入。
7.根据权利要求1所述基于数据平台将数据导入目标目录的方法，其特征在于，所述步骤B之后包括：
C、接收用户删除目标数据的指令，删除目标目录中的目标数据，以及删除所述关系型数据库中对应的目标数据。
8.一种电子设备，其特征在于，包括：
处理器，适于实现各指令，以及
存储设备，适于存储多条指令，所述指令适于由处理器加载并执行：
通过数据迁移工具将目标数据从关系型数据库导入至大数据引擎数据库中；
在所述大数据引擎数据库中运行预先编辑的脚本文件，使得所述大数据引擎数据库自动生成多个数据分区，以及将所述数据分区的数据存储于所述目标目录中，其中，所述数据分区中均含有目标数据，所述脚本文件包含目标目录和分区规则。
9.一种计算机程序产品，其特征在于，计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被处理器执行时，使所述处理器执行权利要求1-7任一项所述的基于数据平台将数据导入目标目录的方法。
10.一种非易失性计算机可读存储介质，其特征在于，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行权利要求1-7任一项所述的基于数据平台将数据导入目标目录的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910145387.2A CN109977157A (zh) | 2019-02-27 | 2019-02-27 | 一种基于数据平台将数据导入目标目录的方法和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910145387.2A CN109977157A (zh) | 2019-02-27 | 2019-02-27 | 一种基于数据平台将数据导入目标目录的方法和电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109977157A true CN109977157A (zh) | 2019-07-05 |
Family
ID=67077450
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910145387.2A Pending CN109977157A (zh) | 2019-02-27 | 2019-02-27 | 一种基于数据平台将数据导入目标目录的方法和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109977157A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110505088A (zh) * | 2019-08-20 | 2019-11-26 | 北京市燃气集团有限责任公司 | 存储授权变更方法和装置 |
| CN111966687A (zh) * | 2020-08-18 | 2020-11-20 | 中国银行股份有限公司 | 一种大型机db2数据库表分区方法和装置 |
| CN112069261A (zh) * | 2020-09-09 | 2020-12-11 | 携程计算机技术（上海）有限公司 | 基于分布式***的数据同步方法、***、设备及存储介质 |
| CN116992065A (zh) * | 2023-09-26 | 2023-11-03 | 之江实验室 | 一种图数据库数据导入方法、***、电子设备、介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103176860A (zh) * | 2011-12-21 | 2013-06-26 | 腾讯科技（深圳）有限公司 | 数据备份方法和*** |
| CN107704597A (zh) * | 2017-10-13 | 2018-02-16 | 携程旅游网络技术（上海）有限公司 | 关系型数据库至Hive的ETL脚本创建方法 |
| CN107967316A (zh) * | 2017-11-22 | 2018-04-27 | 平安科技（深圳）有限公司 | 一种数据同步方法、设备及计算机可读存储介质 |
| CN109213746A (zh) * | 2018-09-28 | 2019-01-15 | 北京赛博贝斯数据科技有限责任公司 | Pb级历史数据和在线数据的实时计算的可视化建模方法 |
| CN109388676A (zh) * | 2018-08-21 | 2019-02-26 | 中国平安人寿保险股份有限公司 | 数据同步生成方法、装置、计算机设备以及存储介质 |
-
2019
- 2019-02-27 CN CN201910145387.2A patent/CN109977157A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103176860A (zh) * | 2011-12-21 | 2013-06-26 | 腾讯科技（深圳）有限公司 | 数据备份方法和*** |
| CN107704597A (zh) * | 2017-10-13 | 2018-02-16 | 携程旅游网络技术（上海）有限公司 | 关系型数据库至Hive的ETL脚本创建方法 |
| CN107967316A (zh) * | 2017-11-22 | 2018-04-27 | 平安科技（深圳）有限公司 | 一种数据同步方法、设备及计算机可读存储介质 |
| CN109388676A (zh) * | 2018-08-21 | 2019-02-26 | 中国平安人寿保险股份有限公司 | 数据同步生成方法、装置、计算机设备以及存储介质 |
| CN109213746A (zh) * | 2018-09-28 | 2019-01-15 | 北京赛博贝斯数据科技有限责任公司 | Pb级历史数据和在线数据的实时计算的可视化建模方法 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110505088A (zh) * | 2019-08-20 | 2019-11-26 | 北京市燃气集团有限责任公司 | 存储授权变更方法和装置 |
| CN110505088B (zh) * | 2019-08-20 | 2021-07-27 | 北京市燃气集团有限责任公司 | 存储授权变更方法和装置 |
| CN111966687A (zh) * | 2020-08-18 | 2020-11-20 | 中国银行股份有限公司 | 一种大型机db2数据库表分区方法和装置 |
| CN111966687B (zh) * | 2020-08-18 | 2024-04-16 | 中国银行股份有限公司 | 一种大型机db2数据库表分区方法和装置 |
| CN112069261A (zh) * | 2020-09-09 | 2020-12-11 | 携程计算机技术（上海）有限公司 | 基于分布式***的数据同步方法、***、设备及存储介质 |
| CN112069261B (zh) * | 2020-09-09 | 2023-07-07 | 携程计算机技术（上海）有限公司 | 基于分布式***的数据同步方法、***、设备及存储介质 |
| CN116992065A (zh) * | 2023-09-26 | 2023-11-03 | 之江实验室 | 一种图数据库数据导入方法、***、电子设备、介质 |
| CN116992065B (zh) * | 2023-09-26 | 2024-01-12 | 之江实验室 | 一种图数据库数据导入方法、***、电子设备、介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109977157A (zh) | 一种基于数据平台将数据导入目标目录的方法和电子设备 | |
| CN106897322B (zh) | 一种数据库和文件***的访问方法和装置 | |
| CN109857803B (zh) | 数据同步方法、装置、设备、***及计算机可读存储介质 | |
| US11036699B2 (en) | Method for computing distinct values in analytical databases | |
| CN110990447B (zh) | 一种数据探查方法、装置、设备及存储介质 | |
| CN105786808A (zh) | 一种用于分布式执行关系型计算指令的方法与设备 | |
| CN113220657B (zh) | 数据处理方法、装置及计算机设备 | |
| CN107480205A (zh) | 一种进行数据分区的方法和装置 | |
| US20190266024A1 (en) | Selective and piecemeal data loading for computing efficiency | |
| CN110019298A (zh) | 数据处理方法和装置 | |
| CN108268468A (zh) | 一种大数据的分析方法及*** | |
| CN105843899A (zh) | 一种可简化编程的大数据自动化解析方法及*** | |
| CN113157676A (zh) | 一种数据质量管理方法、***、装置及存储介质 | |
| CN116775599A (zh) | 数据迁移方法、装置、电子设备、存储介质 | |
| CN117093619A (zh) | 一种规则引擎处理方法、装置、电子设备及存储介质 | |
| US9607021B2 (en) | Loading data with complex relationships | |
| CN110866085A (zh) | 数据反馈方法与装置 | |
| CN115757174A (zh) | 一种数据库的差异检测方法及装置 | |
| US9852166B2 (en) | Task handling in a multisystem environment | |
| CN115495420A (zh) | 一种项目文件的完整性检查方法、装置、设备及存储介质 | |
| US10963490B2 (en) | Text extraction and processing | |
| CN110830358B (zh) | 信息的交互方法及装置、存储介质及处理器 | |
| CN112966029A (zh) | 一种信息显示和发送方法、装置、设备和可读介质 | |
| CN110019296B (zh) | 数据库查询脚本的生成方法、装置、存储介质及处理器 | |
| CN111090670A (zh) | 一种数据预聚合的方法、***、计算设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190705 |