CN107992498B - 一种将数据导入数据仓库的方法及*** - Google Patents

一种将数据导入数据仓库的方法及*** Download PDF

Info

Publication number
CN107992498B
CN107992498B CN201610954546.XA CN201610954546A CN107992498B CN 107992498 B CN107992498 B CN 107992498B CN 201610954546 A CN201610954546 A CN 201610954546A CN 107992498 B CN107992498 B CN 107992498B
Authority
CN
China
Prior art keywords
data
user
import
target path
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610954546.XA
Other languages
English (en)
Other versions
CN107992498A (zh
Inventor
阮华
何瑞
曾凡
万志颖
李家昌
史晓茸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201610954546.XA priority Critical patent/CN107992498B/zh
Publication of CN107992498A publication Critical patent/CN107992498A/zh
Application granted granted Critical
Publication of CN107992498B publication Critical patent/CN107992498B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2358—Change logging, detection, and notification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/162—Delete operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种将数据导入数据仓库的方法及***。通过封装数据导入的过程，并向用户提供支持数据导入功能的网页，使得用户能够不必知晓数据导入细节即可实现数据导入，从而使得数据导入变得简单易行，增强用户体验。在数据导入过程中，以网站服务器接收并存储用户上传的数据包，接口机和数据仓库均与数据处理服务器通讯，在数据处理服务器的调度下实现将接口机中的数据导入数据仓库的技术效果，网站服务器、数据处理服务器、接口机和数据仓库各司其职，使得***的耦合度降低，稳定性提高，一旦出现数据导入失败，也能快速定位失败的原因。

Description

一种将数据导入数据仓库的方法及***
技术领域
本发明涉及数据处理领域，尤其涉及一种将数据导入数据仓库的方法及***。
背景技术
分布式数据仓库中存储有海量的数据，相比于传统的数据仓库，分布式数据仓库的数据处理存储和处理能力更为强大，性能优异的分布式数据仓库能够支持百PB级数据的存储和计算，从而为各种业务提供海量、高效、稳定的专业级大数据平台支撑和决策支持。
然而，由于数据仓库具有较强的专业性和严谨性，故向数据仓库导入数据较为困难。通常情况下，向数据仓库导入数据的方法为：通过能够与数据仓库进行直接通讯的交互式客户端采集数据，并通过命令行或者发包的形式将数据传输至数据仓库。
可见，现有的将数据导入数据仓库的方法不够便捷，并且对于执行数据导入的人员的要求较高，对与数据仓库进行交互的相关逻辑不熟悉的人员难以将数据导入数据仓库。
发明内容
为了解决上述技术问题，本发明提出了一种将数据导入数据仓库的方法及***。本发明具体是以如下技术方案实现的：
一种将数据导入数据仓库的方法，所述方法包括：
接收网站服务器转发的数据包；所述网站服务器响应于用户的上传数据请求，接收并转发用户上传的数据包，所述数据包包括数据基本信息和用于存储数据的数据文件；所述数据基本信息包括用于存储数据的数据库的库名和用于存储数据的数据表的表名；
在数据仓库中构建用于存储数据的数据表；
根据所述用户的基本信息和所述数据基本信息得到接口机中的目标路径，并将所述数据文件转存至所述目标路径下；
将存储于接口机中目标路径下的数据文件中的数据导入所述数据表。
进一步地，所述网站服务器还执行下述步骤：
存储所述数据包；
根据所述用户的基本信息和所述数据基本信息生成数据转发请求；
发送所述数据转发请求并等待响应；
根据所述响应判断是否允许转发所述数据包：
若是，则转发所述数据包；
否则，通知用户数据导入失败。
进一步地，所述在数据仓库中构建用于存储数据的数据表包括：
根据所述数据基本信息和结构化查询语言生成用于创建数据表的指令；
在数据仓库中执行所述用于创建数据表的指令。
进一步地，还包括：
得到所述用于创建数据表的指令的执行结果；
判断执行是否成功：
若否，则通知用户数据导入失败。
进一步地，所述根据所述用户的基本信息和所述数据基本信息得到接口机中的目标路径，并将所述数据文件转存至所述目标路径下还包括：
获得所述数据文件的存储格式；
判断所述存储格式是否合法；
若否，则：
以合法的存储格式重新存储所述数据文件中的数据，得到新的数据文件；
删除非法的所述数据文件；
将所述新的数据文件转存至所述目标路径下。
进一步地，所述根据所述用户的基本信息和数据基本信息得到接口机中的目标路径，并将所述数据文件转存至所述目标路径下还包括：
判断所述数据文件转存至所述目标路径是否成功：
若否，则通知用户数据导入失败。
进一步地，所述将存储于接口机中目标路径下的数据文件中的数据导入所述数据表包括：
得到数据仓库的导入数据接口，所述导入数据接口用于将存储于接口机中的数据导入所述数据表；
根据所述数据基本信息和所述目标路径为所述导入数据接口的形式参数赋值；
调用所述导入数据接口。
进一步地，所述将存储于接口机中目标路径下的数据文件中的数据导入所述数据表还包括：
获取所述导入数据接口的调用结果：
判断调用是否失败：
若是，则通知用户数据导入失败；
若否，则通知用户数据导入成功。
一种将数据导入数据仓库的***，包括网站服务器、数据处理服务器、接口机和数据仓库；所述数据仓库和所述接口机均与所述数据处理服务器通讯连接；所述网站服务器与所述数据处理服务器通讯连接；
所述网站服务器包括：
监测模块，用于监测上传数据请求；
请求处理模块，用于接收用户上传的数据包并将所述数据包转发至数据处理服务器；
所述数据处理服务器包括：
接收模块，用于接收网站服务器转发的数据包；
构建模块，用于在所述数据仓库中构建用于存储数据的数据表；
转存模块，用于根据所述用户的基本信息和数据基本信息得到接口机中的目标路径，并将所述数据文件转存至所述目标路径下；
导入模块，用于将存储于接口机中目标路径下的数据文件中的数据导入所述数据表。
进一步地，所述请求处理模块包括：
存储单元，用于存储所述数据包；
数据转发请求生成单元，用于根据用户的基本信息和数据基本信息生成数据转发请求；
数据转发单元，用于发送所述数据转发请求并等待响应；
响应结果第一判断单元，用于判断数据处理服务器是否允许转发数据包；
响应结果第一处理单元，用于根据响应结果第一判断单元的输出结果进行处理。
进一步地，所述构建模块包括：
指令生成单元，用于根据所述数据基本信息和结构化查询语言生成用于创建数据表的指令；
执行单元，用于在数据仓库中执行所述用于创建数据表的指令。
进一步地，所述构建模块还包括：
响应结果第二判断单元，用于得到用于创建数据表的指令的执行结果；
响应结果第二处理单元，用于根据响应结果第二判断单元的输出结果进行处理。
进一步地，所述转存模块包括：
目标路径获取单元，用于根据用户的基本信息和数据基本信息得到接口机中的目标路径；
转存单元，用于将数据包转存至所述目标路径下。
进一步地，所述转存模块还包括：
存储格式获取单元，用于获得数据文件的存储格式；
合法性判断单元，用于判断数据文件的存储格式是否合法；
合法性处理单元，用于以合法的存储格式重新存储数据文件中的数据，得到新的数据文件；
删除单元，用于删除非法的数据文件。
进一步地，所述转存模块还包括：
响应结果第三判断单元，用于判断将数据包转存至所述目标路径是否成功；
响应结果第三处理单元，用于根据响应结果第三判断单元的输出结果进行处理。
进一步地，所述导入模块包括：
获取单元，用于得到数据仓库的导入数据接口；
赋值单元，用于根据数据基本信息和目标路径为所述导入数据接口的形式参数赋值；
调用单元，用于调用所述导入数据接口。
进一步地，所述导入模块还包括：
结果获取单元，用于获取导入数据接口的调用结果；
响应结果第四判断单元，用于判断导入数据接口的调用是否失败；
响应结果第四处理单元，用于根据响应结果第四判断单元的输出结果进行处理。
本发明提供了一种将数据导入数据仓库的方法及***，具有如下有益效果：
(1)通过封装数据导入的过程，并向用户提供支持数据导入功能的网页，使得用户能够不必知晓数据导入细节即可实现数据导入，从而使得数据导入变得简单易行，增强用户体验；
(2)数据导入过程中，以网站服务器接收并存储用户上传的数据包，接口机和数据仓库均与数据处理服务器通讯，在数据处理服务器的调度下实现将接口机中的数据导入数据仓库的技术效果，网站服务器、数据处理服务器、接口机和数据仓库各司其职，使得***的耦合度降低，稳定性提高，一旦出现数据导入失败，也能快速定位失败的原因。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本发明实施例1提供的将数据导入数据仓库的方法流程图；
图2是本发明实施例2提供的数据基本信息填写的网页示意图；
图3是本发明实施例2提供的网站服务器转发数据包的方法的流程图；
图4是本发明实施例2提供的数据转发响应生成方法的流程图；
图5是本发明实施例2提供的数据文件转存方法的流程图；
图6是本发明实施例3提供的创建数据表方法的流程图；
图7是本发明实施例3提供的数据导入方法流程图；
图8是本发明实施例4提供的将数据导入数据仓库的***的框图；
图9是本发明实施例4提供的网站服务器框图；
图10是本发明实施例4提供的数据处理服务器框图；
图11是本发明实施例4提供的构建模块框图；
图12是本发明实施例4提供的转存模块框图；
图13是本发明实施例4提供的导入模块框图；
图14是本发明实施例6提供的终端框图；
图15是本发明实施例7提供的服务器的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
本发明实施例提供一种将数据导入数据仓库的方法，如图1所示，所述方法包括：
S101.接收网站服务器转发的数据包。
所述网站服务器响应于用户的上传数据请求，接收并转发用户上传的数据包，所述数据包包括数据基本信息和用于存储数据的数据文件。
所述网站服务器是指驻留于因特网上的服务器，可以向浏览器等网站客户端提供文档，也可以放置网站文件以供网站客户端浏览或下载，目前主流的三种网站服务器是Apache、Nginx和IIS。
网站服务器向用户展示支持数据导入功能的网页，用户访问所述网站服务器提供的网页地址即可打开所述支持数据导入功能的网页，在所述网页中填写数据基本信息和输入数据文件地址，即可将数据基本信息和用户本地的数据文件以数据包的形式上传至网站服务器。
所述数据基本信息包括用于存储数据的数据库的库名和用于存储数据的数据表的表名。所述库名和表名为实现数据导入的核心字段，必须是非空的。用于指出数据导入至数据仓库中具体哪个数据库中的哪个数据表，是在数据仓库中构建数据表的必需字段。
S102.在数据仓库中构建用于存储所述数据包的数据表。
普通的数据仓库和分布式数据仓库通常都基于数据库存储数据。以分布式数据仓库为例，分布式数据仓可以基于开源软件进行定制，所述开源软件包括但不限于Hadoop、Hive、PostgreSQL。
Hadoop是一个由Apache基金会所开发的分布式***基础架构，允许用户在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件***(Hadoop Distributed File System)，简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的(low-cost)硬件上；而且它提供高吞吐量(high throughput)来访问应用程序的数据，适合有着超大数据集(large data set)的应用程序。HDFS可以以流的形式访问(streaming access)文件***中的数据。Hadoop分布式文件***HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。
Hive提供对存储在分布式中的大型数据集的查询和管理，它本身建立在Hadoop之上。PostgreSQL是性能优异的对象关系型数据库管理***，参与数据仓库的组成并以数据表的形式管理数据仓库中的数据。数据仓库依赖于数据库进行数据管理，数据库以数据表的形式存储数据，因此，为将S101中的数据导入数据仓库，有必要在数据仓库中构建用于存储所述数据的数据表。
S103.根据所述用户的基本信息和所述数据基本信息得到接口机中的目标路径，并将所述数据文件转存至所述目标路径下。
接口机是数据仓库中分布式文件***HDFS用于存放文件和数据的节点，能够用于把数据导入数据仓库中的数据表和将从数据仓库中获取的计算结果导出。
S104.将存储于接口机中目标路径下的数据文件中的数据导入所述数据表。
将S103中存储于接口机中的数据存入S102中在数据仓库中创建的数据表，即可实现数据的导入。本实施例中S102-S104中的过程均被封装，只向用户暴露S101中提供的支持数据导入功能的网页，用户不需要关注数据如何被导入数据仓库，只需要提供待导入的数据和数据基本信息即可。
本实施例提供了一种将数据导入数据仓库的方法，用户不再需要知悉数据导入数据仓库的相关逻辑即可进行数据导入，对于用户的要求显著降低，并且显著提升了数据导入数据仓库的便捷性和易用性。
实施例2：
本发明实施例提供一种将数据导入数据仓库的方法，所述方法包括：
S201.接收网站服务器转发的数据包。
所述网站服务器响应于用户的上传数据请求，接收并转发用户上传的数据包，所述数据包包括数据基本信息和用于存储数据的数据文件。所述数据基本信息包括用于存储数据的数据库的库名和用于存储数据的数据表的表名。所述库名和表名为实现数据导入的核心字段，必须是非空的。用于指出数据导入至数据仓库中具体哪个数据库中的哪个数据表，是在数据仓库中构建数据表的必需字段。
网站服务器向用户展示支持数据导入功能的网页，用户访问所述网站服务器提供的网页地址即可打开所述支持数据导入功能的网页，其中的数据基本信息填写的网页如图2所示，除必填内容外，本实施例的网页中还提供表中文名、所属业务、最大保存天数、负责人以及数据说明等其它供用户填写的内容，这些内容有助于数据仓库管理用户上传的数据。
进一步地，所述网站服务器如图3所示，还执行下述步骤：
A1.存储所述数据包。
A2.根据所述用户的基本信息和所述数据基本信息生成数据转发请求。
A3.发送所述数据转发请求并等待响应。
具体地，数据包的接受方判断是否允许接收所述数据包。判断方法如图4所示，包括：
B1.校验用户是否有上传数据包的权限；
B2.若否，则不允许转发所述数据包，返回请求失败响应；
B3.否则校验表名是否已经在数据仓库中存在；
B4.若是，则不允许转发所述数据包，返回请求失败响应；
B5.否则校验是否存在用于放置所述数据包的合法位置；
B6.若否，则不允许转发所述数据包，返回请求失败响应；
B7.否则允许转发所述数据包，返回请求成功响应。
所述请求失败响应中均携带用于标识请求失败原因的参数，所述网站服务器根据所述参数向用户显示失败原因。
A4.根据所述响应判断是否允许转发所述数据包。
A5.若是，则转发所述数据包。
A6.否则，通知用户数据导入失败，并显示导入失败的原因。
S202.在数据仓库中构建用于存储所述数据包的数据表。
S203.根据所述用户的基本信息和所述数据基本信息得到接口机中的目标路径，并将所述数据文件转存至所述目标路径下。
S204.将存储于接口机中目标路径下的数据文件中的数据导入所述数据表。
本实施例中具体支持三种数据包导入数据仓库，分别为号码包、IP地址包和自定义数据包。
(1)号码包
在某些应用场景下，比如需要分析某些号码是否为非法号码，获取或变更跟某些号码相关的信息，均需要查询数据仓库的数据对于某些号码的覆盖情况，即需要向数据仓库中导入号码，所述号码包括但不限于登录各种***的ID号以及用于通讯的电话号和传真号。
若导入的数据包为号码包，则除库名和表名两个必需字段外，构建的数据库表中还包括号码字段，字段类型可定义为字符串类型。数据文件可以为文本文件，每个号码之间用换行符隔开。
(2)IP地址包
在某些应用场景下，比如需要分析某些IP地址是否为非法IP地址，获取或变更跟某些IP地址相关的信息，均需要查询数据仓库的数据对于某些IP地址的覆盖情况，即需要向数据仓库导入IP地址。
若导入的数据包为IP地址包，则除库名和表名两个必需字段外，构建的数据库表中还包括IP地址字段，字段类型可定义为字符串类型。数据文件可以为文本文件，每个号码之间用换行符隔开。
(3)自定义数据包
在某些应用场景下，比如需要分析国家、城市、企业等其它数据量较小的信息，需要向数据仓库导入自定义数据包。
若导入的数据包为自定义数据包，则本实施例数据文件可以为CSV文件形式和普通文本文件形式。CSV文件由任意数目的记录组成，记录间以某种换行符分隔；每条记录由字段组成，字段间的分隔符是其它字符或字符串，最常见的是逗号或制表符普通文本文件使用UTF-8(8-bit Unicode Transformation Format是一种针对Unicode的可变长度字符编码，又称万国码)编码。本实施例中自定义数据包中的数据文件可以存放字符串类型、整型和浮点型三种数据。
自定义数据包中的数据文件需遵循预设的标准组织数据，比如均使用换行符间隔数据或均使用制表符间隔数据。目的是为了保证数据文件中存储的数据能够被正确地解析，从而被正确地导入数据表。
进一步地，在S203中，如图5所示，还包括：
S2031.获得所述数据文件的存储格式；
S2032.判断所述存储格式是否合法；
S2033.若否，则：
S2034.以合法的存储格式重新存储所述数据文件中的数据，得到新的数据文件；
S2035.删除非法的所述数据文件；
S2036.将所述新的数据文件转存至所述目标路径下。
接口机能够接收的数据文件格式可能与用户上传的数据文件的格式不同，只有在接口机中转存成功的文件才能在步骤S204中被导入数据仓库。因此，本实施例中在对数据文件进行转存之前还提供对数据文件的合法性检查的步骤，并对非法的数据文件进行及时转换，提升导入数据仓库的成功率。
本实施例提供了另一数据导入数据仓库的方法，本实施例中能够向数据仓库上传多种数据，并且对数据文件进行合法性检查，提升了数据导入数据仓库这一技术方案的兼容性和鲁棒性。
实施例3：
本发明实施例提供一种将数据导入数据仓库的方法，所述方法包括：
S301.接收网站服务器转发的数据包。
所述网站服务器响应于用户的上传数据请求，接收并转发用户上传的数据包，所述数据包包括数据基本信息和用于存储数据的数据文件。所述数据基本信息包括用于存储数据的数据库的库名和用于存储数据的数据表的表名。
网站服务器向用户展示支持数据导入功能的网页，用户访问所述网站服务器提供的网页地址即可打开所述支持数据导入功能的网页，在所述网页中填写数据基本信息和输入数据文件地址，即可将数据基本信息和用户本地的数据文件以数据包的形式上传至网站服务器。
S302.在数据仓库中构建用于存储所述数据包的数据表。
具体地，本实施例中通过与数据仓库进行交互，进而创建数据表，如图6所示，包括下述步骤：
S3021.根据所述数据基本信息和结构化查询语言生成用于创建数据表的指令。
所述数据基本信息中有库名和表名，还可能包括若干字段信息，根据这些内容和结构化查询语言((Structured Query Language，SQL)的语法构建用于创建数据表的SQL语句。
S3022.通过与数据仓库交互，在数据仓库中执行所述用于创建数据表的指令。
本实施例中可以使用交互式客户端以输入命令的形式与数据仓库进行交互，当然，也可以使用其它方式与数据仓库进行交互，比如CGI请求。CGI是外部应用程序(CGI程序)与Web服务器之间的接口标准，是服务器与其它机器上的程序进行交互的一种工具。
S3023.获取所述用于创建数据表的指令的执行情况；
S2034.判断是否执行成功，并反馈执行结果。
具体地，判断执行是否成功：若否，则通知网站服务器数据导入失败，由网站服务器通知用户数据导入失败及失败的原因。
S303.根据所述用户的基本信息和所述数据基本信息得到接口机中的目标路径，并将所述数据文件转存至所述目标路径下。
本实施例中，接口机上为拥有上传数据权限的用户开通账号，每个用户对应一个根目录，根据所述用户的基本信息可以得到所述根目录；根据数据基本信息可以得到根目录中的具***置，由根目录和所述具***置即可拼接出目标路径。
比如，根目录为hdfs://ip:端口/xxxxx/xxxx，所述数据基本信息中的库名是：test_db，表名也是：test_tb，则目标路径为hdfs://ip:端口/xxxxx/xxxx/test_db/test_tb
具体地，通过Hadoop命令把用户上传的数据文件上传到接口机中的目标路径。所述Hadoop命令为Hadoop提供的用于操纵Hadoop中文件的接口。
具体地，还包括判断所述数据文件转存至所述目标路径是否成功：
若否，则通知网站服务器数据导入失败，由网站服务器通知用户数据导入失败及失败的原因。
S304.将存储于接口机中目标路径下的数据文件中的数据导入所述数据表。
具体地，如图7所示，包括：
S3041.得到数据仓库的导入数据接口，所述导入数据接口用于将存储于接口机中的数据导入所述数据表；
S3042.根据所述数据基本信息和所述目标路径为所述导入数据接口的形式参数赋值；
S3043.调用所述导入数据接口。
S3044.获取所述导入数据接口的调用结果：
S3045.判断调用是否失败：
S3046.若是，则通知网站服务器数据导入失败，由网站服务器通知用户数据导入失败及失败的原因；
S3047.若否，则通知网站服务器数据导入成功，由网站服务器通知用户数据导入成功。
本实施例提供了数据导入数据仓库的方法，实现了数据仓库中小数据的快速导入，向用户提供了一键式导入数据的功能。
实施例4：
本实施例提供了一种将数据导入数据仓库的***，如图8所示，包括网站服务器401、数据处理服务器402、接口机403和数据仓库404；所述数据仓库404和所述接口机403均与所述数据处理服务器402通讯连接；所述网站服务器401与所述数据处理服务器402通讯连接。
所述网站服务器401如图9所示，包括：
监测模块4011，用于监测上传数据请求；
请求处理模块4012，用于接收用户上传的数据包并将所述数据包转发至数据处理服务器。
所述网站服务器401用于由监测模块4011接收用户请求并通过请求处理模块4012处理用户请求。
进一步地，所述请求处理模块4012包括：
存储单元40121，用于存储所述数据包；
数据转发请求生成单元40122，用于根据用户的基本信息和数据基本信息生成数据转发请求；
数据转发单元40123，用于发送所述数据转发请求并等待响应；
响应结果第一判断单元40124，用于判断数据处理服务器402是否允许转发数据包；
响应结果第一处理单元40125，用于根据响应结果第一判断单元40124的输出结果进行处理。
具体地，请求处理模块4012用于向数据处理服务器402转发数据包，并根据与数据处理服务器402的交互结果进行数据处理。
数据处理服务器402如图10所示，包括：
接收模块4021，用于接收网站服务器转发的数据包。
构建模块4022，用于在所述数据仓库中构建用于存储数据的数据表。
所述构建模块4022如图11所示，包括：
指令生成单元40221，用于根据所述数据基本信息和结构化查询语言生成用于创建数据表的指令；
执行单元40222，用于在数据仓库中执行所述用于创建数据表的指令。
响应结果第二判断单元40223，用于得到用于创建数据表的指令的执行结果；
响应结果第二处理单元40224，用于根据响应结果第二判断单元40223的输出结果进行处理。
转存模块4023，用于根据所述用户的基本信息和数据基本信息得到接口机中的目标路径，并将所述数据文件转存至所述目标路径下。
所述转存模块4023如图12所示，包括：
目标路径获取单元40231，用于根据用户的基本信息和数据基本信息得到接口机中的目标路径；
转存单元40232，用于将数据包转存至所述目标路径下。
存储格式获取单元40233，用于获得数据文件的存储格式；
合法性判断单元40234，用于判断数据文件的存储格式是否合法；
合法性处理单元40235，用于以合法的存储格式重新存储数据文件中的数据，得到新的数据文件；
删除单元40236，用于删除非法的数据文件。
响应结果第三判断单元40237，用于判断将数据包转存至所述目标路径是否成功；
响应结果第三处理单元40238，用于根据响应结果第三判断单元40237的输出结果进行处理。
具体地，存储格式获取单元40233、合法性判断单元40234、合法性处理单元40235和删除单元40236用于保证向接口机403传输合法的数据文件，从而保证数据导入的成功率。
导入模块4024，用于将存储于接口机中目标路径下的数据文件中的数据导入所述数据表。
进一步地，所述导入模块4024如图13所示，包括：
获取单元40241，用于得到数据仓库的导入数据接口；
赋值单元40242，用于根据数据基本信息和目标路径为所述导入数据接口的形式参数赋值；
调用单元40243，用于调用所述导入数据接口。
结果获取单元40244，用于获取导入数据接口的调用结果；
响应结果第四判断单元40245，用于判断导入数据接口的调用是否失败；
响应结果第四处理单元40246，用于根据响应结果第四判断单元40245的输出结果进行处理。
本实施例与方法实施例均基于同样地发明构思，提供了一种将数据导入数据仓库的***，本实施例能够用于实现上述实施例中提供的将数据导入数据仓库的方法。本实施例与方法实施例均提供基于数据仓库的数据快速导入功能，实际上是通过技术手段封装了具体的数据导入过程，从而提供了面向用户一键式导入数据的功能。
实施例5：
本发明的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于保存上述实施例用于实现数据导入数据仓库方法所执行的程序代码。
可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：
第一步，接收网站服务器转发的数据包；所述网站服务器响应于用户的上传数据请求，接收并转发用户上传的数据包，所述数据包包括数据基本信息和和用于存储数据的数据文件；所述数据基本信息包括用于存储数据的数据库的库名和用于存储数据的数据表的表名；
第二步，在数据仓库中构建用于存储数据的数据表；
第三步，根据所述用户的基本信息和所述数据基本信息得到接口机中的目标路径，并将所述数据文件转存至所述目标路径下。
第四步，将存储于接口机中目标路径下的数据文件中的数据导入所述数据表。
可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：
第一步，存储所述数据包；
第二步，根据所述用户的基本信息和所述数据基本信息生成数据转发请求；
第三步，发送所述数据转发请求并等待响应；
第四步，根据所述响应判断是否允许转发所述数据包：
第五步，若是，则转发所述数据包；
第六步，否则，通知用户数据导入失败。
可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：
所述在数据仓库中构建用于存储数据的数据表包括：
第一步，根据所述数据基本信息和结构化查询语言生成用于创建数据表的指令；
第二步，在数据仓库中执行所述用于创建数据表的指令。
可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：
第三步，得到所述用于创建数据表的指令的执行结果；
第四步，判断执行是否成功：
第五步，若否，则通知用户数据导入失败。
可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：
所述根据所述用户的基本信息和所述数据基本信息得到接口机中的目标路径，并将所述数据文件转存至所述目标路径下还包括：
第一步，获得所述数据文件的存储格式；
第二步，判断所述存储格式是否合法；
第三步，若否，则：
第四步，以合法的存储格式重新存储所述数据文件中的数据，得到新的数据文件；
第五步，删除非法的所述数据文件；
第六步，将所述新的数据文件转存至所述目标路径下。
可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：
所述根据所述用户的基本信息和数据基本信息得到接口机中的目标路径，并将所述数据文件转存至所述目标路径下还包括：
第七步，判断所述数据文件转存至所述目标路径是否成功：
第八步，若否，则通知用户数据导入失败。
可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：
所述将存储于接口机中目标路径下的数据文件中的数据导入所述数据表包括：
第一步，得到数据仓库的导入数据接口，所述导入数据接口用于将存储于接口机中的数据导入所述数据表；
第二步，根据所述数据基本信息和所述目标路径为所述导入数据接口的形式参数赋值；
第三步，调用所述导入数据接口。
可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：
所述将存储于接口机中目标路径下的数据文件中的数据导入所述数据表还包括：
第四步，获取所述导入数据接口的调用结果：
第五步，判断调用是否失败：
第六步，若是，则通知用户数据导入失败；
第七步，若否，则通知用户数据导入成功。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
实施例6：
参见图14，本发明实施例提供了一种终端，该终端可以用于实施上述实施例中提供的数据导入数据仓库的方法。具体来讲：
所述终端可以包括RF(Radio Frequency，射频)电路110、包括有一个或一个以上计算机可读存储介质的存储器120、输入单元130、显示单元140、传感器150、音频电路160、WiFi(wireless fidelity，无线保真)模块170、包括有一个或者一个以上处理核心的处理器180、以及电源190等部件。本领域技术人员可以理解，图14中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
RF电路110可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器180处理；另外，将涉及上行的数据发送给基站。通常，RF电路110包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM)卡、收发信机、耦合器、LNA(LowNoiseAmplifier，低噪声放大器)、双工器等。此外，RF电路110还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议，包括但不限于GSM(Global System ofMobile communication，全球移动通讯***)、GPRS(General Packet Radio Service，通用分组无线服务)、CDMA(CodeDivision MultipleAccess，码分多址)、WCDMA(Wideband Code DivisionMultipleAccess,宽带码分多址)、LTE(Long Term Evolution,长期演进)、电子邮件、SMS(Short Messaging Service，短消息服务)等。
存储器120可用于存储软件程序以及模块，处理器180通过运行存储在存储器120的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器120可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、功能所需的应用程序等；存储数据区可存储根据所述终端的使用所创建的数据等。此外，存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器120还可以包括存储器控制器，以提供处理器180和输入单元130对存储器120的访问。
输入单元130可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，输入单元130可包括触敏表面131以及其他输入设备132。触敏表面131，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面131上或在触敏表面131附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面131可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器180，并能接收处理器180发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面131。除了触敏表面131，输入单元130还可以包括其他输入设备132。具体地，其他输入设备132可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元140可用于显示由用户输入的信息或提供给用户的信息以及所述终端的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元140可包括显示面板141，可选的，可以采用LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板141。进一步的，触敏表面131可覆盖显示面板141，当触敏表面131检测到在其上或附近的触摸操作后，传送给处理器180以确定触摸事件的类型，随后处理器180根据触摸事件的类型在显示面板141上提供相应的视觉输出。虽然在图14中，触敏表面131与显示面板141是作为两个独立的部件来实现输入和输入功能，但是在某些实施例中，可以将触敏表面131与显示面板141集成而实现输入和输出功能。
所述终端还可包括至少一种传感器150，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板141的亮度，接近传感器可在所述终端移动到耳边时，关闭显示面板141和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于所述终端还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路160、扬声器161，传声器162可提供用户与所述终端之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号，传输到扬声器161，由扬声器161转换为声音信号输出；另一方面，传声器162将收集的声音信号转换为电信号，由音频电路160接收后转换为音频数据，再将音频数据输出处理器180处理后，经RF电路110以发送给比如另一终端，或者将音频数据输出至存储器120以便进一步处理。音频电路160还可能包括耳塞插孔，以提供外设耳机与所述终端的通信。
WiFi属于短距离无线传输技术，所述终端通过WiFi模块170可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图14示出了WiFi模块170，但是可以理解的是，其并不属于所述终端的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器180是所述终端的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器120内的软件程序和/或模块，以及调用存储在存储器120内的数据，执行所述终端的各种功能和处理数据，从而对终端进行整体监控。可选的，处理器180可包括一个或多个处理核心；优选的，处理器180可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器180中。
所述终端还包括给各个部件供电的电源190(比如电池)，优选的，电源可以通过电源管理***与处理器180逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源190还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出，所述终端还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，终端的显示单元是触摸屏显示器，终端还包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行述一个或者一个以上程序包含用于进行以下操作的指令：
第一步，接收网站服务器转发的数据包；所述网站服务器响应于用户的上传数据请求，接收并转发用户上传的数据包，所述数据包包括数据基本信息和和用于存储数据的数据文件；所述数据基本信息包括用于存储数据的数据库的库名和用于存储数据的数据表的表名；
第二步，在数据仓库中构建用于存储数据的数据表；
第三步，根据所述用户的基本信息和所述数据基本信息得到接口机中的目标路径，并将所述数据文件转存至所述目标路径下。
第四步，将存储于接口机中目标路径下的数据文件中的数据导入所述数据表。
进一步地，终端的存储器中，还包含用于执行以下操作的指令：
第一步，存储所述数据包；
第二步，根据所述用户的基本信息和所述数据基本信息生成数据转发请求；
第三步，发送所述数据转发请求并等待响应；
第四步，根据所述响应判断是否允许转发所述数据包：
第五步，若是，则转发所述数据包；
第六步，否则，通知用户数据导入失败。
进一步地，终端的存储器中，还包含用于执行以下操作的指令：
所述在数据仓库中构建用于存储数据的数据表包括：
第一步，根据所述数据基本信息和结构化查询语言生成用于创建数据表的指令；
第二步，在数据仓库中执行所述用于创建数据表的指令。
进一步地，终端的存储器中，还包含用于执行以下操作的指令：
第三步，得到所述用于创建数据表的指令的执行结果；
第四步，判断执行是否成功：
第五步，若否，则通知用户数据导入失败。
进一步地，终端的存储器中，还包含用于执行以下操作的指令：
所述根据所述用户的基本信息和所述数据基本信息得到接口机中的目标路径，并将所述数据文件转存至所述目标路径下还包括：
第一步，获得所述数据文件的存储格式；
第二步，判断所述存储格式是否合法；
第三步，若否，则：
第四步，以合法的存储格式重新存储所述数据文件中的数据，得到新的数据文件；
第五步，删除非法的所述数据文件；
第六步，将所述新的数据文件转存至所述目标路径下。
进一步地，终端的存储器中，还包含用于执行以下操作的指令：
所述根据所述用户的基本信息和数据基本信息得到接口机中的目标路径，并将所述数据文件转存至所述目标路径下还包括：
第七步，判断所述数据文件转存至所述目标路径是否成功：
第八步，若否，则通知用户数据导入失败。
进一步地，终端的存储器中，还包含用于执行以下操作的指令：
所述将存储于接口机中目标路径下的数据文件中的数据导入所述数据表包括：
第一步，得到数据仓库的导入数据接口，所述导入数据接口用于将存储于接口机中的数据导入所述数据表；
第二步，根据所述数据基本信息和所述目标路径为所述导入数据接口的形式参数赋值；
第三步，调用所述导入数据接口。
进一步地，终端的存储器中，还包含用于执行以下操作的指令：
所述将存储于接口机中目标路径下的数据文件中的数据导入所述数据表还包括：
第四步，获取所述导入数据接口的调用结果：
第五步，判断调用是否失败：
第六步，若是，则通知用户数据导入失败；
第七步，若否，则通知用户数据导入成功。
综上，本发明实施例提供的终端，提供基于数据仓库的数据快速导入功能，实际上是通过技术手段封装了具体的数据导入过程，从而提供了面向用户一键式导入数据的功能。
实施例7：
参见图15，本发明实施例提供一种服务器。该服务器700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以***处理器(central processing units，CPU)722(例如，一个或一个以上处理器)和存储器732，一个或一个以上存储应用程序742或数据744的存储介质730(例如一个或一个以上海量存储设备)。其中，存储器732和存储介质730可以是短暂存储或持久存储。存储在存储介质730的程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器722可以设置为与存储介质730通信，在服务器700上执行存储介质730中的一系列指令操作。服务器700还可以包括一个或一个以上电源726，一个或一个以上有线或无线网络接口750，一个或一个以上输入输出接口758，和/或，一个或一个以上操作***741，例如WindowsServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。上述方法实施例所执行的步骤可以基于该图15所示的服务器结构。
需要说明的是：上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (19)

1.一种将数据导入数据仓库的方法，其特征在于，应用于数据处理服务器，所述方法包括：
接收网站服务器转发的数据包；所述网站服务器响应于用户的上传数据请求，接收并转发用户上传的数据包，所述数据包包括数据基本信息和用于存储数据的数据文件；所述数据基本信息包括用于存储数据的数据库的库名和用于存储数据的数据表的表名；
在数据仓库中构建用于存储数据的数据表；
确定接口机中与所述用户的基本信息对应的目标根目录，所述接口机是所述数据仓库中分布式文件***用于存放文件和数据的节点，并且所述接口机中每个用户对应一个根目录；
根据所述数据基本信息确定所述目标根目录中的具***置；
根据所述目标根目录和所述具***置，拼接出目标路径，并将所述数据文件转存至所述目标路径下；
将存储于所述接口机中所述目标路径下的数据文件中的数据导入所述数据表。
2.根据权利要求1所述的方法，其特征在于，所述网站服务器还执行下述步骤：
存储所述数据包；
根据所述用户的基本信息和所述数据基本信息生成数据转发请求；
发送所述数据转发请求并等待响应；
根据所述响应判断是否允许转发所述数据包：
若是，则转发所述数据包；
否则，通知用户数据导入失败。
3.根据权利要求1所述的方法，其特征在于，所述在数据仓库中构建用于存储数据的数据表包括：
根据所述数据基本信息和结构化查询语言生成用于创建数据表的指令；
在数据仓库中执行所述用于创建数据表的指令。
4.根据权利要求3所述的方法，其特征在于，还包括：
得到所述用于创建数据表的指令的执行结果；
判断执行是否成功：
若否，则通知用户数据导入失败。
5.根据权利要求1所述的方法，其特征在于，所述根据所述用户的基本信息和所述数据基本信息得到接口机中的目标路径，并将所述数据文件转存至所述目标路径下还包括：
获得所述数据文件的存储格式；
判断所述存储格式是否合法；
若否，则：
以合法的存储格式重新存储所述数据文件中的数据，得到新的数据文件；
删除非法的所述数据文件；
将所述新的数据文件转存至所述目标路径下。
6.根据权利要求5所述的方法，其特征在于，所述根据所述用户的基本信息和数据基本信息得到接口机中的目标路径，并将所述数据文件转存至所述目标路径下还包括：
判断所述数据文件转存至所述目标路径是否成功：
若否，则通知用户数据导入失败。
7.根据权利要求1所述的方法，其特征在于，所述将存储于接口机中目标路径下的数据文件中的数据导入所述数据表包括：
得到数据仓库的导入数据接口，所述导入数据接口用于将存储于接口机中的数据导入所述数据表；
根据所述数据基本信息和所述目标路径为所述导入数据接口的形式参数赋值；
调用所述导入数据接口。
8.根据权利要求7所述的方法，其特征在于，所述将存储于接口机中目标路径下的数据文件中的数据导入所述数据表还包括：
获取所述导入数据接口的调用结果：
判断调用是否失败：
若是，则通知用户数据导入失败；
若否，则通知用户数据导入成功。
9.一种将数据导入数据仓库的***，其特征在于，包括网站服务器、数据处理服务器、接口机和数据仓库；所述数据仓库和所述接口机均与所述数据处理服务器通讯连接；所述网站服务器与所述数据处理服务器通讯连接；
所述网站服务器包括：
监测模块，用于监测上传数据请求；
请求处理模块，用于接收用户上传的数据包并将所述数据包转发至数据处理服务器；
所述数据处理服务器包括：
接收模块，用于接收网站服务器转发的数据包；
构建模块，用于在所述数据仓库中构建用于存储数据的数据表；
转存模块，用于确定接口机中与所述用户的基本信息对应的目标根目录，所述接口机是所述数据仓库中分布式文件***用于存放文件和数据的节点，并且所述接口机中每个用户对应一个根目录；根据所述数据基本信息确定所述目标根目录中的具***置；根据所述目标根目录和所述具***置，拼接出目标路径，并将数据文件转存至所述目标路径下；
导入模块，用于将存储于所述接口机中所述目标路径下的数据文件中的数据导入所述数据表。
10.根据权利要求9所述的***，其特征在于，所述请求处理模块包括：
存储单元，用于存储所述数据包；
数据转发请求生成单元，用于根据用户的基本信息和数据基本信息生成数据转发请求；
数据转发单元，用于发送所述数据转发请求并等待响应；
响应结果第一判断单元，用于判断数据处理服务器是否允许转发数据包；
响应结果第一处理单元，用于根据响应结果第一判断单元的输出结果进行处理。
11.根据权利要求9所述的***，其特征在于，所述构建模块包括：
指令生成单元，用于根据所述数据基本信息和结构化查询语言生成用于创建数据表的指令；
执行单元，用于在数据仓库中执行所述用于创建数据表的指令。
12.根据权利要求11所述的***，其特征在于，所述构建模块还包括：
响应结果第二判断单元，用于得到用于创建数据表的指令的执行结果；
响应结果第二处理单元，用于根据响应结果第二判断单元的输出结果进行处理。
13.根据权利要求9所述的***，其特征在于，所述转存模块包括：
目标路径获取单元，用于根据用户的基本信息和数据基本信息得到接口机中的目标路径；
转存单元，用于将数据包转存至所述目标路径下。
14.根据权利要求13所述的***，其特征在于，所述转存模块还包括：
存储格式获取单元，用于获得数据文件的存储格式；
合法性判断单元，用于判断数据文件的存储格式是否合法；
合法性处理单元，用于以合法的存储格式重新存储数据文件中的数据，得到新的数据文件；
删除单元，用于删除非法的数据文件。
15.根据权利要求14所述的***，其特征在于，所述转存模块还包括：
响应结果第三判断单元，用于判断将数据包转存至所述目标路径是否成功；
响应结果第三处理单元，用于根据响应结果第三判断单元的输出结果进行处理。
16.根据权利要求9所述的***，其特征在于，所述导入模块包括：
获取单元，用于得到数据仓库的导入数据接口；
赋值单元，用于根据数据基本信息和目标路径为所述导入数据接口的形式参数赋值；
调用单元，用于调用所述导入数据接口。
17.根据权利要求16所述的***，其特征在于，所述导入模块还包括：
结果获取单元，用于获取导入数据接口的调用结果；
响应结果第四判断单元，用于判断导入数据接口的调用是否失败；
响应结果第四处理单元，用于根据响应结果第四判断单元的输出结果进行处理。
18.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储的指令由所述处理器加载并执行，以实现如权利要求1-8任一项所述的一种将数据导入数据仓库的方法。
19.一种计算机存储介质，其特征在于，所述存储介质中存储的指令由处理器加载，以用于执行权利要求1-8任一项所述的一种将数据导入数据仓库的方法。
CN201610954546.XA 2016-10-27 2016-10-27 一种将数据导入数据仓库的方法及*** Active CN107992498B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610954546.XA CN107992498B (zh) 2016-10-27 2016-10-27 一种将数据导入数据仓库的方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610954546.XA CN107992498B (zh) 2016-10-27 2016-10-27 一种将数据导入数据仓库的方法及***

Publications (2)

Publication Number Publication Date
CN107992498A CN107992498A (zh) 2018-05-04
CN107992498B true CN107992498B (zh) 2021-10-22

Family

ID=62028561

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610954546.XA Active CN107992498B (zh) 2016-10-27 2016-10-27 一种将数据导入数据仓库的方法及***

Country Status (1)

Country Link
CN (1) CN107992498B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165194B (zh) * 2018-08-13 2021-10-29 腾讯科技（深圳）有限公司 一种数据转存方法、装置、电子设备及存储介质
CN110928869A (zh) * 2018-09-04 2020-03-27 深圳市超脑云信息技术有限公司 一种数据仓库表自生长方法、终端及介质
CN112148513B (zh) * 2019-06-28 2023-08-01 北京百度网讯科技有限公司 单点服务数据的转储方法、装置及存储介质
CN111639062B (zh) * 2020-05-29 2023-07-28 京东方科技集团股份有限公司 一种数据仓库一键搭建的方法、***及存储介质
CN111680092A (zh) * 2020-06-05 2020-09-18 深圳市卡数科技有限公司 数据导入hive表的方法、***、服务器和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1862543A (zh) * 2006-06-21 2006-11-15 千乡万才科技(中国)有限公司 一种浏览器/服务器***中的数据导入与导出方法
CN101719126A (zh) * 2009-12-07 2010-06-02 中国科学院新疆生态与地理研究所 地质矿产空间数据的快速转换技术方法
CN102236672A (zh) * 2010-05-06 2011-11-09 深圳市腾讯计算机***有限公司 一种数据导入方法及装置
CN102999537A (zh) * 2011-09-19 2013-03-27 阿里巴巴集团控股有限公司 一种数据迁移***和方法
CN103605663A (zh) * 2013-10-22 2014-02-26 芜湖大学科技园发展有限公司 通用的数据库校验及元数据导入方法
CN104462119A (zh) * 2013-09-18 2015-03-25 腾讯科技（深圳）有限公司 数据迁移方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1862543A (zh) * 2006-06-21 2006-11-15 千乡万才科技(中国)有限公司 一种浏览器/服务器***中的数据导入与导出方法
CN101719126A (zh) * 2009-12-07 2010-06-02 中国科学院新疆生态与地理研究所 地质矿产空间数据的快速转换技术方法
CN102236672A (zh) * 2010-05-06 2011-11-09 深圳市腾讯计算机***有限公司 一种数据导入方法及装置
CN102999537A (zh) * 2011-09-19 2013-03-27 阿里巴巴集团控股有限公司 一种数据迁移***和方法
CN104462119A (zh) * 2013-09-18 2015-03-25 腾讯科技（深圳）有限公司 数据迁移方法及装置
CN103605663A (zh) * 2013-10-22 2014-02-26 芜湖大学科技园发展有限公司 通用的数据库校验及元数据导入方法

Also Published As

Publication number Publication date
CN107992498A (zh) 2018-05-04

Similar Documents

Publication Publication Date Title
CN107992498B (zh) 一种将数据导入数据仓库的方法及***
US10055220B2 (en) Method, apparatus, and system for processing desktop data of mobile terminal
US10304461B2 (en) Remote electronic service requesting and processing method, server, and terminal
CN108156508B (zh) 弹幕信息处理的方法、装置、移动终端、服务器及***
CN111178012A (zh) 一种表单渲染方法、装置、设备及存储介质
CN108039963B (zh) 一种容器配置方法、装置及存储介质
CN107766358B (zh) 一种页面分享的方法及相关装置
CN109933381B (zh) 一种内核的加载方法及装置
CN106843868B (zh) 一种多账号登录的方法、装置以及移动终端
CN106293738B (zh) 一种表情图像的更新方法及装置
CN104142868A (zh) 建立连接的方法及装置
EP2869604B1 (en) Method, apparatus and device for processing a mobile terminal resource
CN104580177A (zh) 资源提供方法、装置和***
WO2015003636A1 (zh) 一种页面元素的拦截方法和装置
TW201502986A (zh) 使用於瀏覽器網頁的應用程式訊息通知顯示方法、相關設備與系統
CN108809805B (zh) 一种信息交互方法、***及公众账号客户端
CN109146446A (zh) 一种虚拟物品发放方法、装置及***
CN107277031A (zh) 一种网络视频下载方法、装置、存储介质和终端
CN108287706A (zh) 数据处理方法及装置
CN104536782A (zh) 引导内容展示方法、文件生成方法及装置
CN106502833A (zh) 数据备份方法及装置
CN107465646B (zh) 一种应用下载方法、***及相关设备
CN107577712A (zh) 一种加载页面的方法、装置及计算机设备
CN104391629A (zh) 定向发送消息的方法、显示消息的方法、服务器及终端
CN105631059A (zh) 数据处理方法、数据处理装置及数据处理***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant