CN114722109A - 数据导入方法、***、设备及存储介质 - Google Patents
数据导入方法、***、设备及存储介质 Download PDFInfo
- Publication number
- CN114722109A CN114722109A CN202210388409.XA CN202210388409A CN114722109A CN 114722109 A CN114722109 A CN 114722109A CN 202210388409 A CN202210388409 A CN 202210388409A CN 114722109 A CN114722109 A CN 114722109A
- Authority
- CN
- China
- Prior art keywords
- data
- service
- data carrier
- updated
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008676 import Effects 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000004044 response Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 7
- 230000003313 weakening effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 239000000969 carrier Substances 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了数据导入方法、***、设备及存储介质，数据导入方法包括：从数据载体中读取不同业务类数据之间的业务引用关系中的至少一个业务属性值，采用业务***算法对应业务属性值生成全局标识，利用不同业务类数据之间的业务引用关系和全局标识生成更新业务引用关系，将全局标识和更新业务引用关系写入数据载体，得到更新数据载体，并将更新数据载体中的业务数据导入数据库。由于在导入数据库之前，数据载体中基于该全局标识的更新业务引用关系两端的键值具有唯一性，能够解决数据载体中原始的业务引用关系不唯一的问题，使得所对应数据库中表之间的引用关系也具有唯一性和可引用性，这无需取消数据库约束，从而能够保持数据质量不减弱。
Description
技术领域
本发明涉及计算机技术领域，具体地说，涉及数据导入方法、***、设备及存储介质。
背景技术
数据导入是把存储在数据载体中的业务数据，导入数据库***中，所谓“数据库”是以一定方式储存在一起、能予多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。
需要说明的是，上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
针对现有技术中的问题，本发明的目的在于提供数据导入方法、***、设备及存储介质，克服了现有技术的困难，能够提升数据库中的数据质量。
本发明的实施例提供一种数据导入方法，其包括：
从数据载体中读取不同业务类数据之间的业务引用关系中的至少一个业务属性值；
采用业务***算法对应业务属性值生成全局标识，利用不同业务类数据之间的业务引用关系和全局标识生成更新业务引用关系；
将全局标识和更新业务引用关系写入数据载体，得到更新数据载体，并将更新数据载体中的业务数据导入数据库。
在可选实施例中，在从数据载体中读取不同业务类数据之间的业务引用关系中的至少一个业务属性值之前，数据导入方法还包括：
将数据载体设置为命名空间。
在可选实施例中，业务***算法是业务***在响应于用户在界面的输入生成业务类数据时使用的算法。
在可选实施例中，从数据载体中读取不同业务类数据之间的业务引用关系中的至少一个业务属性值，包括：
逐条遍历数据载体中的业务数据，从数据载体中读取不同业务类数据之间的业务引用关系中的至少一个业务属性值。
在可选实施例中，利用不同业务类数据之间的业务引用关系和全局标识生成更新业务引用关系，包括：
逐条遍历数据载体中的业务数据，在不同业务类数据之间的业务引用关系中增加使用全局标识的更新业务引用关系。
在可选实施例中，将更新数据载体中的业务数据导入数据库，包括：
按照指定顺序逐条遍历更新数据载体中的业务数据，并依次导入数据库中。
在可选实施例中，利用不同业务类数据之间的业务引用关系和全局标识生成更新业务引用关系，包括：
利用不同业务类数据之间的业务引用关系和全局标识生成数据库全局的引用关系。
在可选实施例中，利用不同业务类数据之间的业务引用关系和全局标识生成数据库全局的业务引用关系，包括：
利用全局标识对不同业务类数据之间的业务引用关系生成基于全局标识的外键关联。
本公开实施例还提供一种数据导入***，其包括：
数据读取模块，从数据载体中读取不同业务类数据之间的业务引用关系中的至少一个业务属性值；
业务引用关系更新模块，采用业务***算法对应业务属性值生成全局标识，利用不同业务类数据之间的业务引用关系和全局标识生成更新业务引用关系；
写入模块，将全局标识和更新业务引用关系写入数据载体，得到更新数据载体；
导入模块，将更新数据载体中的业务数据导入数据。
本发明的实施例还提供一种数据导入设备，其包括：
处理器；
存储器，其中存储有处理器的可执行指令；
其中，处理器配置为经由执行可执行指令来执行上述数据导入方法的步骤。
本发明的实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现上述数据导入方法的步骤。
本发明的目的在于提供数据导入方法、***、设备及存储介质，通过从数据载体中读取不同业务类数据之间的业务引用关系中的至少一个业务属性值，采用业务***算法对应业务属性值生成全局标识，利用不同业务类数据之间的业务引用关系和全局标识生成更新业务引用关系，将全局标识和更新业务引用关系写入数据载体，得到更新数据载体，并将更新数据载体中的业务数据导入数据库。
在本公开实施例中，全局标识即为数据库键值。在将数据导入数据库中，不同业务类数据之间的业务级别的引用关系映射成数据库中多个表之间的引用关系。由于在导入数据库之前，将新生成的全局标识写入数据载体，使得数据载体中基于该全局标识的更新业务引用关系两端的键值具有唯一性，能够解决数据载体中原始的业务引用关系不唯一的问题。
在这种情况下，更新数据载体中的更新引用关系所对应数据库中表之间的引用关系也具有唯一性和可引用性，数据载体与数据库中数据保持一致。本公开实施例无需取消数据库约束，从而能够保持数据质量不减弱。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。
图1是本发明的数据导入方法的实施例之一的流程图；
图2是本发明的数据导入方法的实施例之二的流程图；
图3是本发明的数据导入***的实施例之一的模块示意图；
图4是本发明的数据导入***的实施例之二的模块示意图；
图5是本发明的数据导入***运行的示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式。相反，提供这些实施方式使本发明全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
附图仅为本发明的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件转发模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
此外，附图中所示的流程仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤可以分解，有的步骤可以合并或部分合并，且实际执行的顺序有可能根据实际情况改变。具体描述时使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。需要说明的是，在不冲突的情况下，本发明的实施例及不同实施例中的特征可以相互组合。
相关技术中涉及对相同业务类数据及不同业务类数据的数据导入情况，业务类是指相应业务数据所描述对象类型，如用户信息、产品信息、订单类型等，在此不做例举。
其中，与披露导入相同业务类的数据不同，不同业务类数据之间存在业务级别的业务引用关系，因此如果把一批不同业务类型的业务数据导入到数据库中，需要确保业务引用关系两端的键值已经存在、且唯一。
在相关技术中，在导入不同业务类数据时，考虑到表之间的关系十分复杂，尤其是是存在各种外键关系，需要暂时取消数据库约束检查，如主键约束检查和外键约束检查，数据库约束是对表的行和列的数据做出约束，确保表中数据的完整性和唯一性。
但是，由于数据库约束检查被取消，相关技术出现了数据库中业务级别业务引用关系两端的键值不唯一的情况，导致数据质量下降。
本公开实施例针对相关技术存在的技术问题，提出数据导入方案，其发明思想是，通过采用业务***算法对应业务属性值生成全局标识，利用不同业务类数据之间的业务引用关系和全局标识生成更新业务引用关系，将全局标识和更新业务引用关系写入数据载体，得到更新数据载体，并将更新数据载体中的业务数据导入数据库。
其中，业务属性值位于不同业务类业务引用关系中的一端，在数据载体中的业务引用关系是指相应数据记录引用该业务属性值。在导入数据库的过程中，不同业务类数据之间的业务级别的引用关系映射成数据库中多个表之间的引用关系。由于在导入数据库之前，通过全局标识实现不同业务类数据之间业务引用关系两端的键值唯一性，所对应数据库中表之间的引用关系也是唯一性和可引用性，数据载体与数据库中数据保持一致，能够解决数据载体中原始的业务引用关系不唯一的问题。
在这种情况下，无需取消数据库约束，从而能够保持数据质量不减弱。
图1为本公开实施例提供的数据导入方法的流程图，如图1所示，数据导入方法包括如下步骤：
步骤110：从数据载体中读取不同业务类数据之间的业务引用关系中的至少一个业务属性值；
步骤120：采用业务***算法对应业务属性值生成全局标识，利用不同业务类数据之间的业务引用关系和全局标识生成更新业务引用关系；
步骤130：将全局标识和更新业务引用关系写入数据载体，得到更新数据载体，并将更新数据载体中的业务数据导入数据库。
在本公开实施例中，全局标识即为数据库键值。在将数据导入数据库中，不同业务类数据之间的业务级别的引用关系映射成数据库中多个表之间的引用关系。由于在导入数据库之前，将新生成的全局标识写入数据载体，使得数据载体中基于该全局标识的更新业务引用关系两端的键值具有唯一性，能够解决数据载体中原始的业务引用关系不唯一的问题。
在这种情况下，更新数据载体中的更新引用关系所对应数据库中表之间的引用关系也具有唯一性和可引用性，数据载体与数据库中数据保持一致。本公开实施例无需取消数据库约束，从而能够保持数据质量不减弱。
在本公开实施例中，将更新数据库中的业务数据导入数据库，其中业务数据包括实体数据以及实体数据之间的业务引用关系，该实体数据之间的引用关系包括更新业务引用关系。
在本公开实施例中，数据载体为可以为excel文件、csv文件等，在此不作具体限定。其中，对于数据载体来说，其在当前数据库导入阶段存在基于全局标识的更新业务引用关系的导入，以及导出数据到数据库。
在本公开实施例中，本数据导入方法接收业务维度组织的实体数据和引用关系数据，有利于确保业务人员对数据的可读性和可理解性，并保持业务人员对数据业务正确性、完整性的判断力。
在本公开实施例中，在从数据载体中读取不同业务类数据之间的业务引用关系中的至少一个业务属性值之前，数据导入方法还包括：
将数据载体设置为命名空间。
其中命名空间(英语：Namespace)，也称名字空间、名称空间等，它表示着一个业务属性值(identifier)的可见范围。一个业务属性值可在多个命名空间中定义，它在不同命名空间中的含义是互不相干的。这样，在一个新的命名空间中可定义任何业务属性值，它们不会与任何已有的业务属性值发生冲突，因为已有的定义都处于其他名字空间中。
例如，设Bill是X公司的员工，工号为123，而John是Y公司的员工，工号也是123。由于两人在不同的公司工作，可以使用相同的工号来标识而不会造成混乱，这里每个公司就表示一个独立的命名空间。
因此，通过将数据载体本身设置为命名空间，则命名空间内可以确保某个业务属性值(名称或编码)或某几个业务属性组合值的唯一性。在数据载体中的业务级别引用关系是引用这个(些)业务属性值。
在本公开实施例中，业务***算法是业务***在响应于用户在界面的输入生成业务类数据时使用的算法。也即是说，数据载体中的业务数据是业务***利用业务***算法，对用户在界面输入的内容生成的。因此，本公开实施例利用业务***算法来生成全局标识，能够为数据载体所识别，从而可以写入数据载体中。
其中全局标识又称全局唯一标识符(英语：Globally Unique Identifier，缩写：GUID)，是一种由算法生成的唯一标识，GUID的主要目的是产生完全唯一的数字。全局标识即是一键值，其被写入数据载体及数据库，用来生成更新业务引用关系，从而利用其唯一性及可引用性，实现数据载体及数据库中业务数据之间的正常引用，提升数据质量。
在本公开实施例中，利用不同业务类数据之间的业务引用关系和全局标识生成更新业务引用关系，包括：
利用不同业务类数据之间的业务引用关系和全局标识生成数据库全局的业务引用关系，该数据库全局的业务引用关系即上述更新业务引用关系。
本公开实施例通过使用了上述“一个或多个业务属性值”的业务引用关系，结合生成的全局标识，生成数据库全局的引用关系。这实现在基于业务属性值的数据库局部的业务引用关系基础上，生成了数据库全局的引用关系。
在这种情况下，接着把新增的全局标识和数据库全局的引用关系写入到本次批量导入导出数据的数据载体中，并把实体和引用关系按照指定顺序写入到数据库中。
在本公开实施例中，利用不同业务类数据之间的业务引用关系和全局标识生成数据库全局的业务引用关系，包括：
利用全局标识对不同业务类数据之间的业务引用关系生成基于全局标识的外键关联。
外键，一句话概括：如果一个表A的主键还存在于另一个表B中，那么B中这个字端可以作为A表的外键。外键关联是数据库全局的业务引用关系的具体方式。
具体地，数据载体中的全局标识映射到数据库中，构成一张数据表的主键，而该全局标识还存在于数据库中另一种数据表，则后一张表中的全局标识作为前一张被引用数据表的外键，两者构成外键关联。
图2为本公开另一实施例提供的数据导入方法的流程图，如图2所示，该数据导入方法可以包括如下步骤：
步骤210：逐条遍历数据载体中的业务数据，从数据载体中读取不同业务类数据之间的业务引用关系中的至少一个业务属性值，并采用业务***算法对应业务属性值生成全局标识，利用不同业务类数据之间的业务引用关系和全局标识生成更新业务引用关系；
步骤220：逐条遍历数据载体中的业务数据，在不同业务类数据之间的业务引用关系中增加使用全局标识的更新业务引用关系；
步骤230：按照指定顺序逐条遍历更新数据载体中的业务数据，并依次导入数据库中。
利用本实施例，可以实现一次批量导入数据载体中的业务数据。具体地，批量导入时通过分析业务引用关系，生成基于全局标识的外键关联，该外键关联即为上文更新业务引用关系，将上述全局标识和外键关联写入数据载体。
本公开实施例在确保约束强度一致前提下，提供批量化导入的手段，提高输入效率。
图3为本公开实施例提供的数据导入***的一种实施例的模块示意图。如图3所示，本发明的数据导入***包括但不限于：
数据读取模块310，从数据载体中读取不同业务类数据之间的业务引用关系中的至少一个业务属性值；
业务引用关系更新模块320，采用业务***算法对应业务属性值生成全局标识，利用不同业务类数据之间的业务引用关系和全局标识生成更新业务引用关系；
写入模块330，将全局标识和更新业务引用关系写入数据载体，得到更新数据载体，并将更新数据载体中的业务数据导入数据。
上述模块的实现原理参见数据导入方法中的相关介绍，此处不再赘述。
本公开实施例在将数据导入数据库中，不同业务类数据之间的业务级别的引用关系映射成数据库中多个表之间的引用关系。由于在导入数据库之前，将新生成的全局标识写入数据载体，使得数据载体中基于该全局标识的更新业务引用关系两端的键值具有唯一性，能够解决数据载体中原始的业务引用关系不唯一的问题。
在这种情况下，更新数据载体中的更新引用关系所对应数据库中表之间的引用关系也具有唯一性和可引用性，数据载体与数据库中数据保持一致。本公开实施例无需取消数据库约束，从而能够保持数据质量不减弱。
可选地，业务***算法是业务***在响应于用户在界面的输入生成业务类数据时使用的算法。
可选地，数据读取模块310具体用于：
逐条遍历数据载体中的业务数据，从数据载体中读取不同业务类数据之间的业务引用关系中的至少一个业务属性值。
可选地，业务引用关系更新模块320具体用于：
逐条遍历数据载体中的业务数据，在不同业务类数据之间的业务引用关系中增加使用全局标识的更新业务引用关系。
可选地，写入模块330具体用于：
按照指定顺序逐条遍历更新数据载体中的业务数据，并依次导入数据库中。
可选地，业务引用关系更新模块320具体用于：
利用不同业务类数据之间的业务引用关系和全局标识生成数据库全局的引用关系。
可选地，业务引用关系更新模块320具体还用于：
利用全局标识对不同业务类数据之间的业务引用关系生成基于全局标识的外键关联。
可选地，与图3不同，图4所示数据导入***还包括如下模块：
命名空间设置模块410，在从数据载体中读取不同业务类数据之间的业务引用关系中的至少一个业务属性值之前，将数据载体设置为命名空间。
本发明实施例还提供一种数据导入设备，包括处理器。存储器，其中存储有处理器的可执行指令。其中，处理器配置为经由执行可执行指令来执行的数据导入方法的步骤。
如上所示，本公开实施例的数据导入设备能够在将数据导入数据库中，不同业务类数据之间的业务级别的引用关系映射成数据库中多个表之间的引用关系。由于在导入数据库之前，将新生成的全局标识写入数据载体，使得数据载体中基于该全局标识的更新业务引用关系两端的键值具有唯一性，能够解决数据载体中原始的业务引用关系不唯一的问题。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为***、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。
图5是本发明的数据导入设备的结构示意图。下面参照图5来描述根据本发明的这种实施方式的电子设备500。图5显示的电子设备500仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，电子设备500以通用计算设备的形式表现。电子设备500的组件可以包括但不限于：至少一个处理单元510、至少一个存储单元520、连接不同平台组件(包括存储单元520和处理单元510)的总线530、显示单元540等。
其中，存储单元存储有程序代码，程序代码可以被处理单元510执行，使得处理单元510执行本说明书上述数据导入方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元510可以执行如图1-2中所示的步骤。
存储单元520可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)521和/或高速缓存存储单元522，还可以进一步包括只读存储单元(ROM)523。
存储单元520还可以包括具有一组(至少一个)程序模块525的程序/实用工具524，这样的程序模块525包括但不限于：处理***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线530可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、***总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备500也可以与一个或多个外部设备570(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备500交互的设备通信，和/或与使得该电子设备500能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口550进行。
并且，电子设备500还可以通过网络适配器560与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器560可以通过总线530与电子设备500的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备500使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储平台等。
本发明实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现的数据导入方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述数据导入方法部分中描述的根据本发明各种示例性实施方式的步骤。
根据本发明的实施方式的用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明处理的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
综上，本发明的目的在于提供数据导入方法、***、设备及存储介质，在将数据导入数据库中，不同业务类数据之间的业务级别的引用关系映射成数据库中多个表之间的引用关系。由于在导入数据库之前，将新生成的全局标识写入数据载体，使得数据载体中基于该全局标识的更新业务引用关系两端的键值具有唯一性，能够解决数据载体中原始的业务引用关系不唯一的问题。
在这种情况下，更新数据载体中的更新引用关系所对应数据库中表之间的引用关系也具有唯一性和可引用性，数据载体与数据库中数据保持一致。本公开实施例无需取消数据库约束，从而能够保持数据质量不减弱。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (11)
1.一种数据导入方法，其特征在于，包括：
从数据载体中读取不同业务类数据之间的业务引用关系中的至少一个业务属性值；
采用业务***算法对应所述业务属性值生成全局标识，利用所述不同业务类数据之间的业务引用关系和所述全局标识生成更新业务引用关系；
将所述全局标识和更新业务引用关系写入所述数据载体，得到更新数据载体，并将所述更新数据载体中的业务数据导入数据库。
2.根据权利要求1所述的数据导入方法，其特征在于，在从数据载体中读取不同业务类数据之间的业务引用关系中的至少一个业务属性值之前，所述数据导入方法还包括：
将所述数据载体设置为命名空间。
3.根据权利要求1所述的数据导入方法，其特征在于，所述业务***算法是业务***在响应于用户在界面的输入生成业务类数据时使用的算法。
4.根据权利要求1所述的数据导入方法，其特征在于，从数据载体中读取不同业务类数据之间的业务引用关系中的至少一个业务属性值，包括：
逐条遍历所述数据载体中的业务数据，从数据载体中读取不同业务类数据之间的业务引用关系中的至少一个业务属性值。
5.根据权利要求4所述的数据导入方法，其特征在于，利用所述不同业务类数据之间的业务引用关系和所述全局标识生成更新业务引用关系，包括：
逐条遍历所述数据载体中的业务数据，在所述不同业务类数据之间的业务引用关系中增加使用所述全局标识的更新业务引用关系。
6.根据权利要求5所述的数据导入方法，其特征在于，将所述更新数据载体中的业务数据导入数据库，包括：
按照指定顺序逐条遍历所述更新数据载体中的业务数据，并依次导入所述数据库中。
7.根据权利要求1所述的数据导入方法，其特征在于，所述利用所述不同业务类数据之间的业务引用关系和所述全局标识生成更新业务引用关系，包括：
利用所述不同业务类数据之间的业务引用关系和所述全局标识生成数据库全局的引用关系。
8.根据权利要求7所述的数据导入方法，其特征在于，所述利用所述不同业务类数据之间的业务引用关系和所述全局标识生成数据库全局的业务引用关系，包括：
利用所述全局标识对所述不同业务类数据之间的业务引用关系生成基于所述全局标识的外键关联。
9.一种数据导入***，其特征在于，包括：
数据读取模块，从数据载体中读取不同业务类数据之间的业务引用关系中的至少一个业务属性值；
业务引用关系更新模块，采用业务***算法对应所述业务属性值生成全局标识，利用所述不同业务类数据之间的业务引用关系和所述全局标识生成更新业务引用关系；
写入模块，将所述全局标识和更新业务引用关系写入所述数据载体，得到更新数据载体；
导入模块，将所述更新数据载体中的业务数据导入数据。
10.一种数据导入设备，其特征在于，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至8任意一项所述数据导入方法的步骤。
11.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被处理器执行时实现权利要求1至8任意一项所述数据导入方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210388409.XA CN114722109B (zh) | 2022-04-13 | 2022-04-13 | 数据导入方法、***、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210388409.XA CN114722109B (zh) | 2022-04-13 | 2022-04-13 | 数据导入方法、***、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114722109A true CN114722109A (zh) | 2022-07-08 |
| CN114722109B CN114722109B (zh) | 2024-02-06 |
Family
ID=82244582
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210388409.XA Active CN114722109B (zh) | 2022-04-13 | 2022-04-13 | 数据导入方法、***、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114722109B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103605782A (zh) * | 2013-11-29 | 2014-02-26 | 北京国双科技有限公司 | 数据表的数据***方法和装置 |
| CN104317974A (zh) * | 2014-11-21 | 2015-01-28 | 武汉理工大学 | 一种可重构的erp***中多源数据导入方法 |
| CN104573100A (zh) * | 2015-01-29 | 2015-04-29 | 无锡江南计算技术研究所 | 一种带自增量标识的分步式数据库同步方法 |
| CN104598610A (zh) * | 2015-01-29 | 2015-05-06 | 无锡江南计算技术研究所 | 一种分步式数据库数据分发上传同步方法 |
| CN107220266A (zh) * | 2016-03-22 | 2017-09-29 | 阿里巴巴集团控股有限公司 | 一种创建业务数据库、业务数据存储和确定业务数据的方法及装置 |
| CN107368593A (zh) * | 2017-07-25 | 2017-11-21 | 万帮充电设备有限公司 | 数据导入方法、装置及服务器 |
| CN107870979A (zh) * | 2017-09-30 | 2018-04-03 | 平安科技（深圳）有限公司 | 电子装置、提取数据表的数据的方法及存储介质 |
| CN107908637A (zh) * | 2017-09-26 | 2018-04-13 | 北京百度网讯科技有限公司 | 一种基于知识库的实体更新方法及*** |
| WO2019096191A1 (zh) * | 2017-11-16 | 2019-05-23 | 四川长虹电器股份有限公司 | 基于xbrl标准的主数据管理***的设计方法 |
| CN110555078A (zh) * | 2019-09-02 | 2019-12-10 | 上海摩库数据技术有限公司 | 分布式id生成 |
| CN111538774A (zh) * | 2020-04-23 | 2020-08-14 | 上海携程商务有限公司 | 数据存储及展示方法、***、设备及存储介质 |
-
2022
- 2022-04-13 CN CN202210388409.XA patent/CN114722109B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103605782A (zh) * | 2013-11-29 | 2014-02-26 | 北京国双科技有限公司 | 数据表的数据***方法和装置 |
| CN104317974A (zh) * | 2014-11-21 | 2015-01-28 | 武汉理工大学 | 一种可重构的erp***中多源数据导入方法 |
| CN104573100A (zh) * | 2015-01-29 | 2015-04-29 | 无锡江南计算技术研究所 | 一种带自增量标识的分步式数据库同步方法 |
| CN104598610A (zh) * | 2015-01-29 | 2015-05-06 | 无锡江南计算技术研究所 | 一种分步式数据库数据分发上传同步方法 |
| CN107220266A (zh) * | 2016-03-22 | 2017-09-29 | 阿里巴巴集团控股有限公司 | 一种创建业务数据库、业务数据存储和确定业务数据的方法及装置 |
| CN107368593A (zh) * | 2017-07-25 | 2017-11-21 | 万帮充电设备有限公司 | 数据导入方法、装置及服务器 |
| CN107908637A (zh) * | 2017-09-26 | 2018-04-13 | 北京百度网讯科技有限公司 | 一种基于知识库的实体更新方法及*** |
| CN107870979A (zh) * | 2017-09-30 | 2018-04-03 | 平安科技（深圳）有限公司 | 电子装置、提取数据表的数据的方法及存储介质 |
| WO2019096191A1 (zh) * | 2017-11-16 | 2019-05-23 | 四川长虹电器股份有限公司 | 基于xbrl标准的主数据管理***的设计方法 |
| CN110555078A (zh) * | 2019-09-02 | 2019-12-10 | 上海摩库数据技术有限公司 | 分布式id生成 |
| CN111538774A (zh) * | 2020-04-23 | 2020-08-14 | 上海携程商务有限公司 | 数据存储及展示方法、***、设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| BALKASH, A.; WANISS, A.M.Y.; MOUSSA, A.A.: "Designing a Computer Program to Complete Final Exams In Saudi Universities using MS Excel", INTERNATIONAL JOURNAL OF COMPUTER AND INFORMATION TECHNOLOGY, pages 99 - 107 * |
| WEIXIN_48223794: "将Excel中数据导入到数据库中，并且修改外键的值", pages 1 - 5, Retrieved from the Internet <URL:https://blog.csdn.net/weixin_48223794/article/details/115177999> * |
| 陈立;彭复员;: "联机事务处理在电信经营中的应用", 计算机时代, no. 03, pages 32 - 34 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114722109B (zh) | 2024-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11119988B2 (en) | Performing logical validation on loaded data in a database | |
| CN110750654A (zh) | 知识图谱获取方法、装置、设备和介质 | |
| US7904491B2 (en) | Data mapping and import system | |
| US20140067803A1 (en) | Data Enrichment Using Business Compendium | |
| US9996521B2 (en) | Validation of formulas with external sources | |
| CN114328574A (zh) | 一种数据查询方法、装置、电子设备及计算机可读存储介质 | |
| CA2852948C (en) | System and method for optimizing the loading of data submissions | |
| CN112612794A (zh) | 一种关系型数据库的辅助生成方法、装置、计算机设备及存储介质 | |
| CN112039975A (zh) | 一种报文字段的处理方法、装置、设备及存储介质 | |
| CN110765069A (zh) | 一种数据迁移方法、装置及*** | |
| US10664653B2 (en) | Automated structured cloud datatester | |
| US9002772B2 (en) | Scalable rule-based processing system with trigger rules and rule evaluator | |
| CN108182628B (zh) | 旅游下单的方法、***、设备及存储介质 | |
| CN114722109B (zh) | 数据导入方法、***、设备及存储介质 | |
| CN113687827B (zh) | 基于微件的数据列表生成方法、装置、设备及存储介质 | |
| CN114925050A (zh) | 基于知识库的数据核查方法、装置、电子设备及存储介质 | |
| CN114371832A (zh) | 基于语义分析的业务代码生成方法、装置和存储介质 | |
| US8874435B2 (en) | Automated glossary creation | |
| CN112114811A (zh) | 一种编译方法、装置和设备 | |
| CN116595963B (zh) | 基于模板配置的单据生成方法、装置、设备及介质 | |
| CN112347122B (zh) | Sql工作流处理方法、装置、电子设备和存储介质 | |
| US20240086409A1 (en) | Techniques for pre-assignment validation of data managed by a data processing system | |
| CN114385671A (zh) | 异常注册账号识别方法、装置、设备及存储介质 | |
| CN115470222A (zh) | 一种数据字典修改方法、装置、设备及存储介质 | |
| CN117421305A (zh) | 一种数据标准化处理***、方法、电子设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |