CN107239548B - 基于SQL Server和HIVE的报表处理方法 - Google Patents
基于SQL Server和HIVE的报表处理方法 Download PDFInfo
- Publication number
- CN107239548B CN107239548B CN201710415130.5A CN201710415130A CN107239548B CN 107239548 B CN107239548 B CN 107239548B CN 201710415130 A CN201710415130 A CN 201710415130A CN 107239548 B CN107239548 B CN 107239548B
- Authority
- CN
- China
- Prior art keywords
- data
- sql server
- order
- hive
- refunded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
- G06F16/24532—Query optimisation of parallel queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
Abstract
本发明公开了一种基于SQL Server和HIVE的报表处理方法,包括:SQL Server获取财务报表的订单数据,并将订单数据同步到HIVE中,每个订单数据均包括第一类数据和第二类数据;SQL Server处理每个订单的第一类数据生成第一处理结果,同时,HIVE处理每个订单的第二类数据生成第二处理结果,再将第二处理结果同步到SQL Server中;SQL Server根据第一处理结果和第二处理结果生成结果列表。本发明将财务报表中的订单数据按照数据的特性分给SQL Server和HIVE同时处理,充分发挥HIVE处理大数据与SQL Server索引查询数据快的优点,缩短结果生成的总时长。
Description
技术领域
本发明涉及一种基于SQL Server(关系型数据库管理***)和HIVE(数据仓库工具)的报表处理方法。
背景技术
当前财务报表使用SQL Server处理,采用的是顺序模式处理数据,后续处理必须等前面处理完成才执行,串行生成最终报表所需的数据。目前亿以上级别的数据处理使用现有的串行处理的方式已无法满足快速处理的性能需求。
发明内容
本发明要解决的技术问题是为了克服现有技术中SQL Server处理财务报表数据采用顺序模式,串行生成最终报表结果数据,导致结果生成时间过长的缺陷,提供了一种基于SQL Server和HIVE的报表处理方法。
本发明是通过下述技术方案来解决上述技术问题:
一种基于SQL Server和HIVE的报表处理方法,包括:
S1、SQL Server获取财务报表的订单数据,并将所述订单数据同步到HIVE中,每个订单数据均包括第一类数据和第二类数据;
S2、SQL Server处理每个订单的第一类数据生成第一处理结果,同时,HIVE处理每个订单的第二类数据生成第二处理结果,再将所述第二处理结果同步到SQL Server中;
S3、SQL Server根据所述第一处理结果和所述第二处理结果生成结果列表。
本方案中,财务报表中的订单数据按照数据的特性分别用SQL Server和HIVE同时处理,充分发挥HIVE处理大数据与SQL Server索引查询数据快的优点,从而达到缩短财务报表结果生成的总时长。
较佳地,步骤S1之前还包括:
将历史订单数据更新到数据库中,所述历史订单数据更新完成后生成一信号量;
SQL Server根据所述信号量从所述数据库中获取所述历史订单数据生成财务报表。
较佳地,所述订单为机票订单。
较佳地,所述第一类数据包括已出票应收款数据、已退票应收款数据、已出票实收款数据、已退票实收款数据、已出票应退款数据、已出票实退款数据、已退票实退款数据和应收款调整数据,所述第一处理结果包括第一应收金额数据、实收金额数据、第一应退金额数据和实退金额数据。
较佳地,SQL Server还用于将所述第一应收金额数据同步到HIVE中。
较佳地,所述第二类数据包括已出票未收款数据、已退票未收款数据、未退票已退款数据、已退票应退款数据、应退保险数据和应收保险数据,所述第二处理结果包括第二应收金额数据和第二应退金额数据。
较佳地,步骤S2中SQL Server并行处理相互独立的所述第一类数据。
本方案中,处理对象为机票订单,每天会将今天之前的机票订单的收款退款流水记录更新到数据库中,更新完成后生成一信号量,这里的信号量用于确保更新到数据库中的订单数据的完整性,防止某个订单出现数据缺失的情况,再按照数据的特性将机票订单数据分类分别给SQL Server和HIVE处理,其中,SQL Server中相互独立的第一类数据并行处理,进一步提升处理速度,另外,SQL Server处理生成的第一应收金额数据需同步到HIVE中进一步处理。
本发明的积极进步效果在于:利用HIVE与SQL Server的特性,充分发挥HIVE处理大数据与SQL Server索引查询数据快的优点,将原有的串行处理根据数据的特性分给HIVE和SQL Server共同处理,且SQL Server中将相互独立的数据并行处理,不需相互等待运行,此种处理方式大幅度缩短财务报表结果生成的总时长。
附图说明
图1为本发明实施例1基于SQL Server和HIVE的报表处理方法的流程图。
图2为本发明实施例2基于SQL Server和HIVE的报表处理方法的流程图。
具体实施方式
下面通过实施例的方式进一步说明本发明,但并不因此将本发明限制在所述的实施例范围之中。
实施例1
一种基于SQL Server和HIVE的报表处理方法,具体如图1所示,包括:
步骤101、SQL Server获取财务报表的订单数据,并将所述订单数据同步到HIVE中,每个订单数据均包括第一类数据和第二类数据;
步骤102、SQL Server处理每个订单的第一类数据生成第一处理结果,同时,HIVE处理每个订单的第二类数据生成第二处理结果,再将所述第二处理结果同步到SQL Server中;
步骤103、SQL Server根据所述第一处理结果和所述第二处理结果生成结果列表。
本实施例中,财务报表中的订单数据按照数据的特性分别用SQL Server和HIVE同时处理,充分发挥HIVE处理大数据与SQL Server索引查询数据快的优点,从而达到缩短财务报表结果生成的总时长。
实施例2
本实施例的报表处理方法是在实施例1的基础上进一步改进,具体如图2所示,所述订单为机票订单,步骤101之前还包括:
步骤100、将历史订单数据更新到数据库中,所述历史订单数据更新完成后生成一信号量;SQL Server根据所述信号量从所述数据库中获取所述历史订单数据生成财务报表。
其中,第一类数据包括已出票应收款数据、已退票应收款数据、已出票实收款数据、已退票实收款数据、已出票应退款数据、已出票实退款数据、已退票实退款数据和应收款调整数据,第二类数据包括已出票未收款数据、已退票未收款数据、未退票已退款数据、已退票应退款数据、应退保险数据和应收保险数据;其中,SQL Server并行处理相互独立的所述第一类数据。
所述第一处理结果包括第一应收金额数据、实收金额数据、第一应退金额数据和实退金额数据,第二处理结果包括第二应收金额数据和第二应退金额数据,SQL Server还用于将所属第一处理结果中的所述第一应收金额数据同步到HIVE中,以进一步计算得出HIVE中处理得到的所述第二应收金额数据。
本实施例中,以机票订单为处理对象,每天会将今天之前的机票订单的收款退款流水记录更新到数据库中,再按照订单数据的特性将机票订单数据分类分给SQL Server和HIVE处理,其中,SQL Server中相互独立的第一类数据并行处理,进一步提升处理速度。
虽然以上描述了本发明的具体实施方式,但是本领域的技术人员应当理解,这些仅是举例说明,本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下,可以对这些实施方式做出多种变更或修改,但这些变更和修改均落入本发明的保护范围。
Claims (7)
1.一种基于SQL Server和HIVE的报表处理方法,其特征在于,包括:
S1、SQL Server获取财务报表的订单数据,并将所述订单数据同步到HIVE中,每个订单数据均包括第一类数据和第二类数据;
S2、SQL Server处理每个订单的第一类数据生成第一处理结果,同时,HIVE处理每个订单的第二类数据生成第二处理结果,再将所述第二处理结果同步到SQL Server中;
S3、SQL Server根据所述第一处理结果和所述第二处理结果生成结果列表。
2.如权利要求1所述的报表处理方法,其特征在于,步骤S1之前还包括:
将历史订单数据更新到数据库中,所述历史订单数据更新完成后生成一信号量;
SQL Server根据所述信号量从所述数据库中获取所述历史订单数据生成财务报表。
3.如权利要求1所述的报表处理方法,其特征在于,所述订单为机票订单。
4.如权利要求1所述的报表处理方法,其特征在于,所述第一类数据包括已出票应收款数据、已退票应收款数据、已出票实收款数据、已退票实收款数据、已出票应退款数据、已出票实退款数据、已退票实退款数据和应收款调整数据,所述第一处理结果包括第一应收金额数据、实收金额数据、第一应退金额数据和实退金额数据。
5.如权利要求4所述的报表处理方法,其特征在于,SQL Server还用于将所述第一应收金额数据同步到HIVE中。
6.如权利要求1所述的报表处理方法,其特征在于,所述第二类数据包括已出票未收款数据、已退票未收款数据、未退票已退款数据、已退票应退款数据、应退保险数据和应收保险数据,所述第二处理结果包括第二应收金额数据和第二应退金额数据。
7.如权利要求1所述的报表处理方法,其特征在于,步骤S2中SQL Server并行处理相互独立的所述第一类数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710415130.5A CN107239548B (zh) | 2017-06-05 | 2017-06-05 | 基于SQL Server和HIVE的报表处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710415130.5A CN107239548B (zh) | 2017-06-05 | 2017-06-05 | 基于SQL Server和HIVE的报表处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107239548A CN107239548A (zh) | 2017-10-10 |
CN107239548B true CN107239548B (zh) | 2020-04-07 |
Family
ID=59984937
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710415130.5A Active CN107239548B (zh) | 2017-06-05 | 2017-06-05 | 基于SQL Server和HIVE的报表处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107239548B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109947828B (zh) * | 2019-03-15 | 2021-05-25 | 优信拍(北京)信息科技有限公司 | 一种处理报表数据的方法和装置 |
CN110119426A (zh) * | 2019-03-27 | 2019-08-13 | 携程计算机技术(上海)有限公司 | 酒店订单报表数据同步的方法及*** |
CN111107137B (zh) * | 2019-12-06 | 2022-08-02 | 携程旅游信息技术(上海)有限公司 | 通信数据同步及处理方法和*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103123652A (zh) * | 2013-03-14 | 2013-05-29 | 曙光信息产业(北京)有限公司 | 数据查询方法和集群数据库*** |
CN105373563A (zh) * | 2014-08-28 | 2016-03-02 | 北京奇虎科技有限公司 | 数据库切换方法及装置 |
CN105989150A (zh) * | 2015-03-02 | 2016-10-05 | ***通信集团四川有限公司 | 一种基于大数据环境的数据查询方法及装置 |
CN106528853A (zh) * | 2016-11-28 | 2017-03-22 | 中国工商银行股份有限公司 | 数据交互管理装置、跨库数据交互处理装置及方法 |
CN106649503A (zh) * | 2016-10-11 | 2017-05-10 | 北京集奥聚合科技有限公司 | 一种基于sql的查询方法及*** |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040181522A1 (en) * | 2003-01-16 | 2004-09-16 | Jardin Cary A. | Shared memory router system and method for node communication in a distributed system |
US9411845B2 (en) * | 2013-06-13 | 2016-08-09 | Sap Se | Integration flow database runtime |
CN106504076A (zh) * | 2016-11-23 | 2017-03-15 | 杭州先手科技有限公司 | 分布式订单处理方法、装置及订单处理*** |
-
2017
- 2017-06-05 CN CN201710415130.5A patent/CN107239548B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103123652A (zh) * | 2013-03-14 | 2013-05-29 | 曙光信息产业(北京)有限公司 | 数据查询方法和集群数据库*** |
CN105373563A (zh) * | 2014-08-28 | 2016-03-02 | 北京奇虎科技有限公司 | 数据库切换方法及装置 |
CN105989150A (zh) * | 2015-03-02 | 2016-10-05 | ***通信集团四川有限公司 | 一种基于大数据环境的数据查询方法及装置 |
CN106649503A (zh) * | 2016-10-11 | 2017-05-10 | 北京集奥聚合科技有限公司 | 一种基于sql的查询方法及*** |
CN106528853A (zh) * | 2016-11-28 | 2017-03-22 | 中国工商银行股份有限公司 | 数据交互管理装置、跨库数据交互处理装置及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107239548A (zh) | 2017-10-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9589041B2 (en) | Client and server integration for replicating data | |
CN110489445B (zh) | 一种基于多形态复合的海量数据快速查询方法 | |
CN107239548B (zh) | 基于SQL Server和HIVE的报表处理方法 | |
CN105138501B (zh) | 一种可配置的动态报表生成方法及*** | |
CN103164449B (zh) | 一种搜索结果的展现方法与装置 | |
CN110442579B (zh) | 一种状态树数据存储方法、同步方法及设备和存储介质 | |
CN106611064B (zh) | 分布式关系数据库的数据处理方法和装置 | |
CN103246745B (zh) | 一种基于数据仓库的数据处理装置及方法 | |
CN102752372A (zh) | 一种基于文件的数据库同步方法 | |
CN103530284A (zh) | 短句切分装置、机器翻译***及对应切分方法和翻译方法 | |
CN111737355B (zh) | 基于MongoDB元数据管理的异构数据源同步的方法及*** | |
CN102467525A (zh) | 单据关联方法及*** | |
US9305067B2 (en) | Creation of change-based data integration jobs | |
CN111367951A (zh) | 一种流数据处理的方法及装置 | |
CN104008199A (zh) | 一种数据查询方法 | |
CN105740410A (zh) | 一种基于Hbase二级索引的数据统计方法 | |
CN104063468A (zh) | 一种数据报表自动生成及提取方法及装置 | |
CN105760485A (zh) | 财务数据抽取方法及*** | |
CN110895547A (zh) | 基于db2联邦特性的多源异构数据库数据同步***及方法 | |
CN110704442A (zh) | 一种大数据的实时获取方法及装置 | |
WO2021057515A1 (zh) | 日切数据卸载方法、装置、设备及介质 | |
CN110046341B (zh) | 用于对信息进行匹配的方法和*** | |
CN106874341A (zh) | 一种数据库同步方法 | |
CN111966650A (zh) | 一种运维大数据共享数据表的处理方法、装置及存储介质 | |
CN114625799A (zh) | 一种用于数据库灰度发布的方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |