CN106991100A - 数据导入方法及装置 - Google Patents

数据导入方法及装置 Download PDF

Info

Publication number
CN106991100A
CN106991100A CN201610041954.6A CN201610041954A CN106991100A CN 106991100 A CN106991100 A CN 106991100A CN 201610041954 A CN201610041954 A CN 201610041954A CN 106991100 A CN106991100 A CN 106991100A
Authority
CN
China
Prior art keywords
data
kettle
files
data source
importing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610041954.6A
Other languages
English (en)
Other versions
CN106991100B (zh
Inventor
李飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201610041954.6A priority Critical patent/CN106991100B/zh
Publication of CN106991100A publication Critical patent/CN106991100A/zh
Application granted granted Critical
Publication of CN106991100B publication Critical patent/CN106991100B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开是关于一种数据导入方法及装置，方法包括：指定预先创建的用于作为数据导入模板的KETTLE文件；根据所述KETTLE文件中预设的需要重新配置的信息设置配置信息；根据所述配置信息对所述KETTLE文件进行动态解析，以自动进行数据导入。本公开的技术方案能够将变化放在ETL工具使用上，与业务耦合度低，易于扩展，不需频繁更新代码，能实现个性化需求，支持热部署。

Description

数据导入方法及装置
技术领域
本公开涉及计算机应用技术领域，尤其涉及一种数据导入方法及装置。
背景技术
数据导入功能在WEB应用当中是最常见的功能之一，基本上所有WEB应用当中都会有这样的需求。
相关技术通常通过程序代码实现相关功能。以通过WEB服务器导入EXCEL文件为例，相关技术通过JAVA提供的开源的POI工具包(Apache POI，ApachePOI是Apache软件基金会的开放源码函式库，POI提供API给Java程序对Microsoft Office格式档案读和写的功能)，通过采用POI工具包提供的用于实现EXCEL文件导入功能的API来实现将EXCEL文件导入WEB服务器中。
然而在实际开发当中，当需求不断变更时，上述方式需要频繁修改代码满足需求，对于更有个性化的需求，需要在一个导出功能上实现多个功能按钮，甚至会更有***之间的交互，其校验逻辑非常复杂，实现起来也更为复杂，性能上也可能存在瓶颈。可见，上述这种直接利用数据导入功能的API来导入数据的方式在需求变更时需要频繁更新代码，个性化需求实现难度较高，与业务耦合度较高。
发明内容
为克服相关技术中存在的问题，，本公开提供一种数据导入方法及装置。
根据本公开实施例的第一方面，提供一种数据导入方法，包括：
指定预先创建的用于作为数据导入模板的KETTLE文件；
根据所述KETTLE文件中预设的需要重新配置的信息设置配置信息；
根据所述配置信息对所述KETTLE文件进行动态解析，以自动进行数据导入。
进一步地，所述KETTLE文件为预先采用用于生成KETTLE文件的工具，按照将第一预设类型的数据源根据设定逻辑导入第二预设类型的数据库所生成的KETTLE文件。
进一步地，所述第一预设类型的数据源为EXCEL文件。
进一步地：
所述KETTLE文件中需要重新配置的信息包括数据源；
所述预设的需要重新配置的信息包括所述KETTLE文件中涉及的数据源。
进一步地，所述KETTLE文件包括：数据源输入部分、JavaScript代码部分、表输入部分、流查询部分、增加常量部分、排序去重部分、字段选择部分、表输出部分、和/或空操作部分；
所述数据源输入部分，包括上传的需求文件；
所述JavaScript代码部分，包括JavaScript脚本，所述JavaScript脚本用于将上传文件中的单元格进行数据校验和数据格式转换；
所述表输入部分，用于获取一个数据源的数据，包括查询语句；
所述流查询部分，用于将表输入获取的数据和数据源里面的列字段进行比较；
所述增加常量部分，用于对数据库默认的字段赋值；
所述排序去重部分，用于对数据源中指定行记录进行重复记录校验；
所述字段选择部分，用于选择要***数据库的列；
所述表输出部分，用于选定业务表，指定要***的列进行数据***；
所述空操作部分，用于***异常处理。
进一步地，自动进行数据导入的操作包括：通过WEB服务器自动进行数据导入。
根据本公开实施例的第二方面，提供一种数据导入装置，包括：
KETTLE文件指定单元，用于指定预先创建的用于作为数据导入模板的KETTLE文件；
配置信息设置单元，用于根据所述KETTLE文件中预设的需要重新配置的信息设置配置信息；
服务单元，用于根据所述配置信息对所述KETTLE文件进行动态解析，以自动进行数据导入。
进一步地，所述KETTLE文件为预先采用用于生成KETTLE文件的工具，按照将第一预设类型的数据源根据设定逻辑导入第二预设类型的数据库所生成的KETTLE文件。
进一步地，所述第一预设类型的数据源为EXCEL文件。
进一步地：
所述KETTLE文件中需要重新配置的信息包括数据源；
所述预设的需要重新配置的信息包括所述KETTLE文件中涉及的数据源。
进一步地，所述KETTLE文件包括：数据源输入部分、JavaScript代码部分、表输入部分、流查询部分、增加常量部分、排序去重部分、字段选择部分、表输出部分、和/或空操作部分；
所述数据源输入部分，包括上传的需求文件；
所述JavaScript代码部分，包括JavaScript脚本，所述JavaScript脚本用于将上传文件中的单元格进行数据校验和数据格式转换；
所述表输入部分，用于获取一个数据源的数据，包括查询语句；
所述流查询部分，用于将表输入获取的数据和数据源里面的列字段进行比较；
所述增加常量部分，用于对数据库默认的字段赋值；
所述排序去重部分，用于对数据源中指定行记录进行重复记录校验；
所述字段选择部分，用于选择要***数据库的列；
所述表输出部分，用于选定业务表，指定要***的列进行数据***；
所述空操作部分，用于***异常处理。
进一步地，所述服务单元用于，通过WEB服务器自动进行数据导入。
本公开的实施例提供的技术方案可以包括以下有益效果：
将变化的需求通过KTL文件体现，将变化放在ETL工具使用上，与业务耦合度低，易于扩展，不需频繁更新代码，能实现个性化需求，支持热部署。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种数据导入方法的流程图；
图2是根据一示例性实施例示出的一种数据导入***架构图；
图3是根据一示例性实施例示出的将EXCEL文件按照导入逻辑生成KETTLE文件的逻辑实现流程图；
图4是根据一示例性实施例示出的解析所述KETTLE文件的方法流程图；
图5是根据一示例性实施例示出的一种数据导入装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
图1示例性示出了一种数据导入***的架构图，如图1所示，本实施例所述的实现方法可涉及业务***110、KETTLE服务120、以及导入的目标数据库130。其中业务***110负责KETTLE文件编写，生成可执行的KETTLE文件111，以及负责数据源配置112，KETTLE服务120负责动态数据库配置以及解析KETTLE文件，以将数据导入数据库130中。
图2是根据一示例性实施例示出的一种数据导入方法的流程图，本实施例可适用于导入数据的情况。如图2所示，本实施例所述的数据导入方法包括：
在步骤S210中，指定预先创建的用于作为数据导入模板的KETTLE文件。
KETTLE是“Kettle E.T.T.L Environment”的缩写，是一套国外开源的ETL工具，纯java编写，在数据抽取上高效稳定。它允许管理不同数据源的数据，通过提供一个图形化的界面来实现你想完成的功能。本实施例将通过KETTLE工具生成的.ktr文件称为KETTLE文件。
所述KETTLE文件可为预先采用用于生成KETTLE文件的工具，按照将第一预设类型的数据源根据设定逻辑导入第二预设类型的数据库所生成的KETTLE文件。
例如，将EXCEL文件中的数据通过WEB服务器导入目标数据库中，通过KETTLE工具实现该导入功能需要的节点可包括：EXCEL输入、流输入、JavaScript代码、值映射、排序去重、表输出、空操作等。
图3是根据一示例性实施例示出的将EXCEL文件按照导入逻辑生成KETTLE文件的逻辑实现流程图,如图3所示，实现该功能所创建的KETTLE文件包括：
A、EXCEL输入：主要是上传的需求文件，对于源数据为EXCEL文件来说，可以是.xls或.xlsx。
需要说明的是，该步骤为必要步骤，由于此处以导入EXCEL文件为例，所以为EXCEL输入，但本实施例可导入的源数据包括但不限于EXCEL文件，例如还可以是TXT文本文件、SQLServer数据库、ORACLE数据库、MySQL数据库等。
B、JavaScript代码：该步骤为可选步骤。JavaScript代码中可以编写JS脚本，在实际应用过程中可以将上传文件中每个单元格进行数据校验和数据格式转换。比如：数值型数据校验、日期格式校验、以及字符串拆分、字符串与其他数据类型之间的转换。这样能大大降低在程序中通过代码的校验。
C、表输入：该步骤为可选步骤，主要用于流查询，当需要进行流查询时，获取一个数据源的数据，节点里面是一个SELECT语句，主要用来数据的校验和对导入数据完整性匹配。在实际业务需求中，一个业务字段需要校验数据在是否存在，来校验数据是否可以导入。更有一些业务字段是需要关联业务字段的标识进行***，那么该节点就可以很好取得业务字段数据，也可以是外部***数据源，比其他方案简单明了。
C、流查询：是将表输入获取的数据和EXCEL里面的列字段进行比对，主要是校验数据的完成性和准确性。该节点是基于表输入和EXCEL数据的比对，是基于内存的比较。
D、增加常量：该步骤为可选步骤，是针对数据库默认的字段赋值。常量是指在数据导入时，有些字段的默认值。例如：记录的状态、时间等等。
E、排序记录与去除重复记录：该步骤为可选步骤，但是通常很有必要。对EXCEL中指定行记录重复记录做校验。排序去重是对导入所有记录按照业务要求做去重或去重校验，在传统代码中，需要写代码去处理，在该方案中，只需指出业务去重字段即可。
F、字段选择：用于选择要***数据库的列，主要是导入时进行字段映射。
G、表输出：该步骤为必要步骤，用于选定业务表、指定要***的列，***数据。该节点可以指定是批量***还是单条***，也可以指定是否在同一个事务中处理。
H、空操作：该步骤为必要步骤，用于***的异常处理。该节点是对***异常的处理，主要是否忽略异常，如果忽略异常，则遇到***异常之后跳过，否则直接回滚。在KETTLE工具中，包括两种回滚类型供选择，当表记录出现异常时，可通过回滚类型的选择，选择回滚到整个数据导入之前，或者回滚到异常记录之前并继续执行跳过该异常记录。
本步骤用于在一个KETTLE文件中临时配置一个或一个以上的数据源，以在解析KETTLE文件中将所述临时数据源用配置信息中指定的数据源动态地赋值，达到每次只需给定不同的配置信息向不同的数据库中导入数据的目的。
例如，若图3所述的流程图中，在KETTLE文件创建过程中，表输入所指定的临时数据库为A数据库，表输出所指定的临时数据库为B数据库，配置信息中，指定临时数据库A配置为实际对应C数据库，临时数据库B配置为实际对应D数据库，则在后续的动态解析KETTLE文件时，动态地根据该配置信息将A数据库用C数据库替换，将B数据库用D数据库替换。
需要说明的是，所述配置信息中的数据源可为任意类型的KETTLE项目能支持的数据源，例如SQLServer数据库、ORACLE数据库、MySQL数据库等。
在步骤S220中，根据所述KETTLE文件中预设的需要重新配置的信息设置配置信息。
本实施例用于生成KETTLE文件的工具是指KETTLE工具。本步骤主要通过将变化的需求放在可视化的图形文件(KETTLE文件)当中，通过KETTLE工具将步骤S110中所配置的数据源按照导入所述待导入数据的逻辑生成KETTLE文件。该可视化的图形文件中的每个节点是处理导入业务的步骤，逻辑更加清晰，编辑完成之后保存文件，将文件上传到WEB服务器相应目录下，触发导入功能，其实是利用KETTLE提供的API解析所述KETTLE文件(即.ktr文件)向WEB服务器导入所述待导入数据。需要说明的是，可根据生成所述KETTLE文件所采用的KETTLE图形节点依据所述API封装解析类引擎，利用所述解析类引擎解析所述KETTLE文件向WEB服务器导入所述待导入数据。
相关技术中，KETTLE文件主要被设计用来帮助实现ETTL需要，通常用于数据的抽取、转换、清洗等操作，根据上述功能生成KETTLE文件之后，直接在KETTLE工具里面执行即可完成上述数据的抽取、转换、清洗等操作，各配置信息，特别是KETTLE文件里面涉及到的数据源(包括源数据库、目标数据库、和/或用于流查询时表输入所涉及的数据库)，均是直接按照KETTLE文件里面配置好的信息来执行。而本实施例创新性地采用KETTLE文件用来作为数据导入模板，主要通过KETTLE文件实现数据导入时的操作逻辑，其涉及的各配置信息，特别是KETTLE文件里面涉及到的数据源(包括源数据库、目标数据库、和/或用于流查询时表输入所涉及的数据库)作为创建KETTLE文件的临时信息，在实际数据导入过程中，根据所述KETTLE文件中预设的需要重新配置的信息设置配置信息，以执行所述KETTLE文件时，动态地用所述配置信息替换KETTLE文件里面的临时信息。
在步骤S230中，根据所述配置信息对所述KETTLE文件进行动态解析，以自动进行数据导入。
本步骤用于通过动态读取配置数据库配置的数据源，动态解析KETTLE文件完成向WEB服务器导入数据。
本步骤可利用KETTLE提供的API解析所述KETTLE文件向WEB服务器导入所述待导入数据。具体地可根据生成所述KETTLE文件所采用的KETTLE图形节点依据所述API封装解析类引擎，利用所述解析类引擎解析所述KETTLE文件向WEB服务器导入所述待导入数据。
图4是根据一示例性实施例示出的根据生成所述KETTLE文件所采用的KETTLE图形节点依据所述API封装解析类引擎，利用所述解析类引擎解析所述KETTLE文件向WEB服务器导入所述待导入数据的方法流程图，如图4所示，上述解析所述KETTLE文件的方法可包括：
在步骤S410中，调用执行引擎。
KETTL工具提供了一些API，本实施例基于对这些API进行封装形成自定义的解析类的执行引擎，根据配置信息动态解析KETTLE文件。本实施例解析KETTLE文件时，首先调用该执行引擎。
在步骤S420中，调用KettleHander。
本步骤包括使用KETTL工具提供的API：KettleEnvironment.init()、EnvUtil.environmentInit()等。
在步骤S430中，初始化资源信息，创建转换对象。
即对所配置的数据源信息进行初始化，创建转换对象Transformation。
在步骤S440中，解析KETTLE文件中配置的数据源。
即配置信息里面为转换对象指定的实际数据源。
在步骤S450中，将配置信息里的参数动态赋值给转换对象。
本实施例所述的转换对象是指KETTLE文件中预设的需要重新配置的信息，例如KETTLE文件中涉及的数据源。
在步骤S460中，执行execute()。
该步骤实际执行的是将KETTLE文件中预设的需要重新配置的信息替换为配置信息里指定的对应信息之后的执行结果。
在步骤S470中，导入。
至此，即实现了对KETTLE文件根据配置文件动态地解析，进行数据导入的过程，实现以不变的代码应对变化的需求。
本实施例通过根据配置信息对预先创建的KETTLE文件进行动态解析，以自动进行数据导入，将变化的需求通过KETTLE文件体现，并根据实际导入需求设置配置信息，本实施例所述的数据导入方法与业务耦合度低，易于扩展，不需频繁更新代码，能实现个性化需求，支持热部署。
图5是根据一示例性实施例示出的一种数据导入装置的框图，如图5所示，本实施例所述的数据导入装置包括KETTLE文件指定单元510、配置信息设置单元520、以及服务单元530。
该KETTLE文件指定单元510被配置为，用于指定预先创建的用于作为数据导入模板的KETTLE文件；
该配置信息设置单元520被配置为，用于根据所述KETTLE文件中预设的需要重新配置的信息设置配置信息；
该服务单元530被配置为，用于根据所述配置信息对所述KETTLE文件进行动态解析，以自动进行数据导入。
进一步地，所述KETTLE文件为预先采用用于生成KETTLE文件的工具，按照将第一预设类型的数据源根据设定逻辑导入第二预设类型的数据库所生成的KETTLE文件。
进一步地，所述第一预设类型的数据源为EXCEL文件。
进一步地：
所述KETTLE文件中需要重新配置的信息包括数据源；
所述预设的需要重新配置的信息包括所述KETTLE文件中涉及的数据源。
进一步地，所述KETTLE文件包括：数据源输入部分、JavaScript代码部分、表输入部分、流查询部分、增加常量部分、排序去重部分、字段选择部分、表输出部分、和/或空操作部分；
所述数据源输入部分，包括上传的需求文件；
所述JavaScript代码部分，包括JavaScript脚本，所述JavaScript脚本用于将上传文件中的单元格进行数据校验和数据格式转换；
所述表输入部分，用于获取一个数据源的数据，包括查询语句；
所述流查询部分，用于将表输入获取的数据和数据源里面的列字段进行比较；
所述增加常量部分，用于对数据库默认的字段赋值；
所述排序去重部分，用于对数据源中指定行记录进行重复记录校验；
所述字段选择部分，用于选择要***数据库的列；
所述表输出部分，用于选定业务表，指定要***的列进行数据***；
所述空操作部分，用于***异常处理。
进一步地，所述服务单元530用于，通过WEB服务器自动进行数据导入。
关于上述实施例中的装置，其中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本实施例提供的数据导入装置可执行本发明数据导入方法的实施例所提供的数据导入方法，具备执行方法相应的功能模块和有益效果。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种数据导入方法，其特征在于，包括：
指定预先创建的用于作为数据导入模板的KETTLE文件；
根据所述KETTLE文件中预设的需要重新配置的信息设置配置信息；
根据所述配置信息对所述KETTLE文件进行动态解析，以自动进行数据导入。
2.根据权利要求1所述的方法，其特征在于，所述KETTLE文件为预先采用用于生成KETTLE文件的工具，按照将第一预设类型的数据源根据设定逻辑导入第二预设类型的数据库所生成的KETTLE文件。
3.根据权利要求1至2任一项所述的方法，其特征在于：
所述KETTLE文件中需要重新配置的信息包括数据源；
所述预设的需要重新配置的信息包括所述KETTLE文件中涉及的数据源。
4.根据权利要求1所述的方法，其特征在于，所述KETTLE文件包括：数据源输入部分、JavaScript代码部分、表输入部分、流查询部分、增加常量部分、排序去重部分、字段选择部分、表输出部分、和/或空操作部分；
所述数据源输入部分，包括上传的需求文件；
所述JavaScript代码部分，包括JavaScript脚本，所述JavaScript脚本用于将上传文件中的单元格进行数据校验和数据格式转换；
所述表输入部分，用于获取一个数据源的数据，包括查询语句；
所述流查询部分，用于将表输入获取的数据和数据源里面的列字段进行比较；
所述增加常量部分，用于对数据库默认的字段赋值；
所述排序去重部分，用于对数据源中指定行记录进行重复记录校验；
所述字段选择部分，用于选择要***数据库的列；
所述表输出部分，用于选定业务表，指定要***的列进行数据***；
所述空操作部分，用于***异常处理。
5.根据权利要求1所述的方法，其特征在于，自动进行数据导入的操作包括：通过WEB服务器自动进行数据导入。
6.一种数据导入装置，其特征在于，包括：
KETTLE文件指定单元，用于指定预先创建的用于作为数据导入模板的KETTLE文件；
配置信息设置单元，用于根据所述KETTLE文件中预设的需要重新配置的信息设置配置信息；
服务单元，用于根据所述配置信息对所述KETTLE文件进行动态解析，以自动进行数据导入。
7.根据权利要求6所述的装置，其特征在于，所述KETTLE文件为预先采用用于生成KETTLE文件的工具，按照将第一预设类型的数据源根据设定逻辑导入第二预设类型的数据库所生成的KETTLE文件。
8.根据权利要求6至7任一项所述的装置，其特征在于：
所述KETTLE文件中需要重新配置的信息包括数据源；
所述预设的需要重新配置的信息包括所述KETTLE文件中涉及的数据源。
9.根据权利要求6所述的装置，其特征在于，所述KETTLE文件包括：数据源输入部分、JavaScript代码部分、表输入部分、流查询部分、增加常量部分、排序去重部分、字段选择部分、表输出部分、和/或空操作部分；
所述数据源输入部分，包括上传的需求文件；
所述JavaScript代码部分，包括JavaScript脚本，所述JavaScript脚本用于将上传文件中的单元格进行数据校验和数据格式转换；
所述表输入部分，用于获取一个数据源的数据，包括查询语句；
所述流查询部分，用于将表输入获取的数据和数据源里面的列字段进行比较；
所述增加常量部分，用于对数据库默认的字段赋值；
所述排序去重部分，用于对数据源中指定行记录进行重复记录校验；
所述字段选择部分，用于选择要***数据库的列；
所述表输出部分，用于选定业务表，指定要***的列进行数据***；
所述空操作部分，用于***异常处理。
10.根据权利要求6所述的装置，其特征在于，所述服务单元用于，通过WEB服务器自动进行数据导入。
CN201610041954.6A 2016-01-21 2016-01-21 数据导入方法及装置 Active CN106991100B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610041954.6A CN106991100B (zh) 2016-01-21 2016-01-21 数据导入方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610041954.6A CN106991100B (zh) 2016-01-21 2016-01-21 数据导入方法及装置

Publications (2)

Publication Number Publication Date
CN106991100A true CN106991100A (zh) 2017-07-28
CN106991100B CN106991100B (zh) 2021-10-01

Family

ID=59413621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610041954.6A Active CN106991100B (zh) 2016-01-21 2016-01-21 数据导入方法及装置

Country Status (1)

Country Link
CN (1) CN106991100B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679251A (zh) * 2017-11-02 2018-02-09 成都信息工程大学 大数据环境下基于Spoon的通用数据库抽取方法
CN108182963A (zh) * 2017-12-14 2018-06-19 山东浪潮云服务信息科技有限公司 一种医疗数据处理方法及装置
CN108256087A (zh) * 2018-01-22 2018-07-06 北京腾云天下科技有限公司 一种基于位图结构的数据导入、查询及处理方法
CN109875521A (zh) * 2019-04-18 2019-06-14 厦门纳龙科技有限公司 一种心电图数据分析以及***
WO2019205415A1 (zh) * 2018-04-22 2019-10-31 平安科技（深圳）有限公司 数据导入管理方法、装置、移动终端和存储介质
CN110958292A (zh) * 2019-09-17 2020-04-03 平安银行股份有限公司 文件上传方法、电子装置、计算机设备及存储介质
CN111625581A (zh) * 2020-04-28 2020-09-04 四川省金科成地理信息技术有限公司 采用Kettle启动服务的***数据处理方法
WO2024020163A3 (en) * 2022-07-20 2024-05-02 Lyght Ai System, method and apparatuses for improved script creation

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101655873A (zh) * 2009-08-28 2010-02-24 金蝶软件（中国）有限公司 单点登录***及其数据导入导出方法和装置
CN103309945A (zh) * 2013-05-15 2013-09-18 上海证券交易所 一种将数据导入数据库的装置
CN104361139A (zh) * 2014-12-10 2015-02-18 用友软件股份有限公司 数据导入装置和方法
US20150220502A1 (en) * 2014-01-31 2015-08-06 Yahoo! Inc. Compressed serialization of data for communication from a client-side application
CN105068770A (zh) * 2015-08-28 2015-11-18 国家电网公司 数据整合方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101655873A (zh) * 2009-08-28 2010-02-24 金蝶软件（中国）有限公司 单点登录***及其数据导入导出方法和装置
CN103309945A (zh) * 2013-05-15 2013-09-18 上海证券交易所 一种将数据导入数据库的装置
US20150220502A1 (en) * 2014-01-31 2015-08-06 Yahoo! Inc. Compressed serialization of data for communication from a client-side application
CN104361139A (zh) * 2014-12-10 2015-02-18 用友软件股份有限公司 数据导入装置和方法
CN105068770A (zh) * 2015-08-28 2015-11-18 国家电网公司 数据整合方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
徐济惠: ""一个数据共享***的实现"", 《一个数据共享***的实现》 *
王伟: ""干货放送：基于Kettle的数据处理实践"", 《HTTP ://TECH.ITL68.COM/A2015/1201/1783/000001783611.SHTML》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679251A (zh) * 2017-11-02 2018-02-09 成都信息工程大学 大数据环境下基于Spoon的通用数据库抽取方法
CN108182963A (zh) * 2017-12-14 2018-06-19 山东浪潮云服务信息科技有限公司 一种医疗数据处理方法及装置
CN108256087A (zh) * 2018-01-22 2018-07-06 北京腾云天下科技有限公司 一种基于位图结构的数据导入、查询及处理方法
WO2019205415A1 (zh) * 2018-04-22 2019-10-31 平安科技（深圳）有限公司 数据导入管理方法、装置、移动终端和存储介质
CN109875521A (zh) * 2019-04-18 2019-06-14 厦门纳龙科技有限公司 一种心电图数据分析以及***
CN110958292A (zh) * 2019-09-17 2020-04-03 平安银行股份有限公司 文件上传方法、电子装置、计算机设备及存储介质
CN111625581A (zh) * 2020-04-28 2020-09-04 四川省金科成地理信息技术有限公司 采用Kettle启动服务的***数据处理方法
WO2024020163A3 (en) * 2022-07-20 2024-05-02 Lyght Ai System, method and apparatuses for improved script creation

Also Published As

Publication number Publication date
CN106991100B (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
CN106991100A (zh) 数据导入方法及装置
TWI746690B (zh) 自然語言問句答案的產生方法、裝置及伺服器
CN101174240B (zh) 一种软件测试管理方法及其***
CN106649100B (zh) 一种自动化测试方法及***
US8612939B2 (en) Multi trace parser
CN105608088B (zh) 一种基于配置文件的数据库自动创建与数据动态记录方法
CN108399130A (zh) 自动生成测试案例的方法、装置、设备及可读存储介质
CN111782265B (zh) 基于字段级血缘关系的软件资源***及其建立方法
CN110059176B (zh) 一种基于规则的通用文本信息抽取和信息生成方法
CN106648587A (zh) 一种基于注解的Web应用代码生成方法
CN110399294A (zh) 测试用例生成方法、装置、计算机设备和存储介质
CN113887173B (zh) 一种基于xml的协议动态组包和解析方法
CN108509199A (zh) 自动生成中文注释的方法、装置、设备及存储介质
CN109933671A (zh) 构建个人知识图谱的方法、装置、计算机设备和存储介质
CN116661756B (zh) 一种基于低代码dsl的对象解析方法及装置
CN113110832A (zh) 一种智能高效代码生成方法、装置及存储介质
KR101073816B1 (ko) 시나리오 기반의 데이터베이스 시험 자동화 방법 및 시스템
CN109992585A (zh) 用于办公管理***的数据导入方法
CN112947896A (zh) 一种基于有向图的组件依赖分析方法
Rahman et al. A DSL for importing models in a requirements management system
CN109254774A (zh) 软件开发***中代码的管理方法和装置
Gonzalez-Barahona et al. Repositories with public data about software development
CN116303641A (zh) 一种支持多数据源可视化配置的实验室报告管理方法
CN115809290A (zh) 生成数据持久层入参方法、装置、设备及介质
CN116880826B (zh) 一种可视化代码生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant