CN110147352A - 一种数据处理方法和装置 - Google Patents

一种数据处理方法和装置 Download PDF

Info

Publication number
CN110147352A
CN110147352A CN201710904814.1A CN201710904814A CN110147352A CN 110147352 A CN110147352 A CN 110147352A CN 201710904814 A CN201710904814 A CN 201710904814A CN 110147352 A CN110147352 A CN 110147352A
Authority
CN
China
Prior art keywords
data
dimension
file
combination
report
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710904814.1A
Other languages
English (en)
Inventor
葛婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Gridsum Technology Co Ltd
Original Assignee
Beijing Gridsum Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Gridsum Technology Co Ltd filed Critical Beijing Gridsum Technology Co Ltd
Priority to CN201710904814.1A priority Critical patent/CN110147352A/zh
Publication of CN110147352A publication Critical patent/CN110147352A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/16File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/174Form filling; Merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种数据处理方法和装置,方法包括:接收至少两个数据文件;基于至少一种维度组合方式对所述至少两个数据文件中的数据进行聚合,生成与所述维度组合方式对应的数据报告;其中,所述维度组合方式包括不同数据维度的组合。由此可见,本申请能够基于不同的数据文件自动生成与维度组合方式对应数据报告,无需人工统计,提高了工作效率。

Description

一种数据处理方法和装置
技术领域
本申请涉及数据处理技术领域,更具体的涉及一种数据处理方法和装置。
背景技术
目前,在数据处理领域,很多数据均是以文件的形式进行存储的,例如以excel文件来存储数据,因此,存在将不同文件中的数据进行统计的需求。
例如,在搜索引擎营销(Search Engine Marketing,SEM)的技术领域中,针对某一任务生成的前端数据和后端数据存储在不同的文件中,在生成数据报告时,需要基于前端数据和后端数据进行统计。其中,前端数据主要是从媒体方获取的数据,如百度、360、今日头条等等。后端数据主要通过监测获取的数据。
而在现有技术中,需要人工统计来自不同文件的数据,非常耗费人力和时间,降低工作效率。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种数据处理方法和装置。
一种数据处理方法,包括:
接收至少两个数据文件;
基于至少一种维度组合方式对所述至少两个数据文件中的数据进行聚合,生成与所述维度组合方式对应的数据报告;其中,所述维度组合方式包括不同数据维度的组合。
优选的,所述至少两个数据文件包括相同的数据维度;
该方法还包括:
基于从所述至少两个数据文件的相同数据维度中预先指定的数据维度将所述至少两个数据文件合并为一个数据文件;
相应的,所述基于至少一种维度组合方式对所述至少两个数据文件中的数据进行聚合,生成与所述维度组合方式对应的数据报告,包括:
基于至少一种维度组合方式对合并后的数据文件中的数据进行聚合,生成与所述维度组合方式对应的数据报告。
优选的,所述维度组合方式包括第一数据维度和第二数据维度按照第三数据维度的组合方式;
所述基于至少一种维度组合方式对所述至少两个数据文件中的数据进行聚合,生成与所述维度组合方式对应的数据报告,包括:
基于所述至少两个数据文件,建立所述第一数据维度下的数据,所述第二数据维度下的数据与所述第三数据维度下的数据的对应关系;其中,每一对应关系具有唯一性;
在每一对应关系下,对所述至少两个数据文件中区别于所述第一数据维度、所述第二数据维度和所述第三数据维度的其他数据维度下的数据进行汇总,生成所述第一数据维度和所述第二数据维度关于所述第三数据维度的数据报告。
优选的,还包括:
生成所述第一数据维度和所述第二数据维度的汇总数据报告。
一种数据处理装置,包括:
接收文件单元,用于接收至少两个数据文件;
生成报告单元,用于基于至少一种维度组合方式对所述至少两个数据文件中的数据进行聚合,生成与所述维度组合方式对应的数据报告;其中,所述维度组合方式包括不同数据维度的组合。
优选的,所述至少两个数据文件包括相同的数据维度;该装置还包括:
文件合并单元,用于基于从所述至少两个数据文件的相同数据维度中预先指定的数据维度将所述至少两个数据文件合并为一个数据文件;
相应的,所述生成报告单元具体用于基于至少一种维度组合方式对合并后的数据文件中的数据进行聚合,生成与所述维度组合方式对应的数据报告。
优选的,所述维度组合方式包括第一数据维度和第二数据维度按照第三数据维度的组合方式;
所述生成报告单元,包括:
第一建立模块,用于基于所述至少两个数据文件,建立所述第一数据维度下的数据,所述第二数据维度下的数据与所述第三数据维度下的数据的对应关系;其中,每一对应关系具有唯一性;
第一生成模块,用于在每一对应关系下,对所述至少两个数据文件中区别于所述第一数据维度、所述第二数据维度和所述第三数据维度的其他数据维度下的数据进行汇总,生成所述第一数据维度和所述第二数据维度关于所述第三数据维度的数据报告。
优选的,所述生成报告单元还包括:
第二生成模块,用于生成所述第一数据维度和所述第二数据维度的汇总数据报告。
一种存储介质,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行如上任一项所述的一种数据处理方法。
一种处理器,所述处理器用于运行程序,所述程序运行时执行如上任一项所述的一种数据处理方法。
借由上述技术方案,本发明提供了一种数据处理方法,包括:接收至少两个数据文件,基于维度组合方式对所述至少两个数据文件中的数据进行聚合,生成与所述维度组合方式对应的数据报告;其中,该维度组合方式包括不同数据维度的组合;由此可见,本申请能够基于不同的数据文件自动生成与维度组合方式对应数据报告,无需人工统计,提高了工作效率。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的考符号表示相同的部件。在附图中:
图1示出了本发明一个实施例公开的一种数据处理方法的流程示意图;
图2示出了本发明另一实施例提供的一种数据处理方法的流程示意图;
图3示出了本发明又一实施例提供的一种数据处理方法的流程示意图;
图4示出了本发明一个实施例提供的一种数据处理装置的结构示意图;
图5示出了本发明另一实施例提供的一种数据处理装置的结构示意图;
图6示出了本发明又一实施例提供的一种数据处理装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明一个实施例公开了一种数据处理方法,如图1所示,该方法包括以下步骤:
步骤101:接收至少两个数据文件;
每一数据文件均存储有数据,不同数据文件所存储的数据可以部分相同,也可以完全不同。
可选的,每一数据文件下所存储的数据可以按照数据维度与数据的对应关系进行存储。其中,数据维度可以指代为数据的属性。该数据文件的格式本发明并不限定,如可以为Word文件、Excel文件等等。
以excel数据文件存储数据为例,如表1所示,该数据文件具有的数据维度为日期、关键词以及点击量,在每一数据维度下均具有对应的数据。
表1
日期 关键词 点击量
9月1日 晒后修复 7
9月2日 脸部晒后修改 5
9月3日 皮肤晒后修复 8
可选的,接收至少两个数据文件,包括:接收具有第一数据的第一数据文件以及具有第二数据的第二数据文件。
以SEM(Search Engine Marketing,媒体搜索营销)数据为例,第一数据文件为具有前端数据的文件,第二数据文件为具有后端数据的文件。
需说明的是,前端数据为从媒体搜索引擎获取的数据,如从百度、360、搜狗、今日头条等搜索引擎获取的数据。前端数据一般存储在excel文件中,包括账户结构、设备端、展现次数、点击量、消费额度等数据维度的数据中的至少一种。
其中,账户结构包括关键词、账户名称、计划名称、单元名称等。设备端包括PC端、手机端等。
后端数据为通过监测或者接收到的数据,后端数据一般存储在excel文件中,包括账户结构、设备端、订单金额、订单量等数据维度的数据中的至少一种。其中,账户结构包括关键词、账户名称、计划名称、单元名称等。设备端包括PC端、手机端等。
步骤102:基于至少一种维度组合方式对所述至少两个数据文件中的数据进行聚合,生成与所述维度组合方式对应的数据报告。
其中,维度组合方式包括不同数据维度的组合,至少为两种数据维度的组合。例如,一种维度组合方式为账户名称与日期的组合方式,另一种维度组合方式为账户名称、设备端与日期的组合方式。
一种维度组合方式对应一个数据报告,当生成至少两个数据报告时,该两个数据报告可以分别存储在不同的数据文件中,当然也存储在同一数据文件中。以数据报告为数据报表为例,每一数据报表可以对应一excel文件,或者,多个数据报告存储在一个excel文件中的不同sheet中。以数据报告为数据文档为例,每一数据文档可以对应一word文件,或者,多个数据文档存储在一个word文件中的不同页中。
本实施例公开了一种数据处理方法,包括:接收至少两个数据文件,基于维度组合方式对所述至少两个数据文件中的数据进行聚合,生成与所述维度组合方式对应的数据报告;其中,该维度组合方式包括不同数据维度的组合;由此可见,本申请能够基于不同的数据文件自动生成与维度组合方式对应数据报告,无需人工统计,提高了工作效率。
本发明另一实施例公开了一种数据处理方法,如图2所示,该方法包括以下步骤:
步骤201:接收至少两个数据文件;
其中,所述至少两个数据文件包括相同的数据维度。例如,接收包含第一数据的第一数据文件和包含第二数据的第二数据文件,第一数据文件所存储的第一数据和第二数据文件所存储的第二数据均具有账户名称、日期以及设备端等相同的数据维度。
步骤202:基于从所述至少两个数据文件的相同数据维度中预先指定的数据维度将所述至少两个数据文件合并为一个数据文件;
在本发明中,预先指定的数据维度包括至少一个,优选的,可以将所述至少两个数据文件的相同的数据维度均作为预先指定的数据维度。该预先指定的数据维度可以由***默认设置,或者由用户自定义,即在***开始运行时由用户指定,由于是从至少两个数据文件中相同数据维度中预先指定的数据维度,因此在至少两个数据文件中均具有该指定的数据维度。
可选的,基于从所述至少两个数据文件的相同数据维度中预先指定的数据维度将所述至少两个数据文件合并为一个数据文件包括:将至少两个数据文件中指定的数据维度合并为一个数据维度,而其他未被指定的数据维度仍单独作为一个数据维度,从而生成包含所述至少两个数据文件中的数据的另一数据文件。其中,合并后的数据文件包含的指定的数据维度下的数据并不会重复。
例如,第一数据文件和第二数据文件中均具有的数据维度为账户名称,第一数据文件还具有的数据维度为点击量,第二数据文件还具有的数据维度为订单量,那么,在基于账户名称将第一数据文件和第二数据文件合并后,在新生成的数据文件中,第一数据文件和第二数据文件的账户名称合并为一个账户名称,而点击量仍单独作为一个数据维度,订单量也单独作为一个数据维度。假设将第一数据文件和第二数据文件合并后生成了第三数据文件,那么第三数据文件中包括的数据维度有账户名称、点击量以及订单量,由于第一数据文件和第二数据文件是按照账户名称进行合并的,因此第三数据文件中仅具有一个关于账户名称的数据维度。
通过将上述接收到的至少两个数据文件合并,以使得***能够基于合并后的数据文件中的数据进行聚合,从而生成数据报告。具体的,可以采用与数据文件格式对应的合并方式来合并上述至少两个数据文件。当数据文件为excel文件时,可以采用与vlookup函数类似的功能将所述至少两个数据文件合并。
需说明的是,合并后的数据文件并未在前端显示,而仅是***在后台将至少两个数据文件合并后在进行数据聚合时所使用的数据文件。如果具有前端显示的需求,在本发明另一实施例中,该方法还可以包括:将合并后的数据文件显示在前端。
步骤203:基于至少一种维度组合方式对合并后的数据文件中的数据进行聚合,生成与所述维度组合方式对应的数据报告。
其中,所述维度组合方式包括不同数据维度的组合。
本实施例中,通过接收至少两个数据文件,基于从所述至少两个数据文件的相同数据维度中预先指定的数据维度将所述至少两个数据文件合并为一个数据文件,基于至少一种维度组合方式对合并后的数据文件中的数据进行聚合,生成与所述维度组合方式对应的数据报告,其中,该维度组合方式包括不同数据维度的组合;由此可见,本申请能够基于不同的数据文件自动生成与维度组合方式对应数据报告,无需人工统计,提高了工作效率。
本发明又一实施例公开了一种数据处理方法,如图3所示,该方法包括以下步骤:
步骤301:接收至少两个数据文件;
步骤302:基于所述至少两个数据文件,建立所述第一数据维度下的数据,所述第二数据维度下的数据与所述第三数据维度下的数据的对应关系;
其中,每一对应关系具有唯一性。可以理解的是,由于该对应关系为第一数据维度下的数据、第二数据维度下的数据和第三数据维度下数据的对应关系,因此该唯一性指代为不同的对应关系中同时存在三种相同的数据是唯一的。但是,不同的对应关系中,可以存在一个或两个相同的数据。后文会以具体实例进行解释。
需说明的是,如果在进行数据聚合前,已经将至少两个数据文件合并为一个数据文件,那么直接在合并后的数据文件中建立所述第一数据维度下的数据,所述第二数据维度下的数据与所述第三数据维度下的数据的对应关系即可。
步骤303:在每一对应关系下,对所述至少两个数据文件中区别于所述第一数据维度、所述第二数据维度和所述第三数据维度的其他数据维度下的数据进行汇总,生成所述第一数据维度和所述第二数据维度关于所述第三数据维度的数据报告。
其中,维度组合方式包括第一数据维度和第二数据维度按照日期的组合方式。
在本实施例中,维度组合方式为第一数据维度、第二数据维度以及第三数据维度组合的方式。那么,基于该维度组合方式可以生成第一数据维度和第二数据维度关于第三数据维度的数据报告。
以前文实施例所描述的前端数据和后端数据为例,第一数据维度可以为设备端、第二数据维度可以为账户名称,第三数据维度为日期,即生成设备端-账户名称关于日期的分日数据报告。或者,第一数据维度可以为词类、第二数据维度可以为账户名称、第三数据维度为日期,即生成词类-账户名称关于日期的分日数据报告。
需说明的是,如果在进行数据聚合前,已经将至少两个数据文件合并为一个数据文件,那么在每一对应关系下,直接对合并后的数据文件中区别于所述第一数据维度、所述第二数据维度和所述第三数据维度的其他数据维度下的数据进行汇总,生成所述第一数据维度和所述第二数据维度关于所述第三数据维度的数据报告即可。
在本发明另一实施例中,该方法还包括:
步骤304:生成所述第一数据维度和所述第二数据维度的汇总数据报告。
需说明的是,在生成数据报告时,可以仅汇总合并后的数据文件中区别于所述第一数据维度、所述第二数据维度和所述第三数据维度的其他数据维度下的数值数据,而并不汇总其他非数值数据。
以第一数据维度可以为设备端、第二数据维度可以为账户名称为例,即生成设备端-账户名称的汇总数据报告。或者,第一数据维度可以为词类、第二数据维度可以为账户名称,即生成词类-账户名称的汇总数据报告。
为便于理解,本发明以表2-表5为例进行说明,表2-表5如下所示:
表2
表3
表4
表5
汇总数据
设备 账户 展现 点击
MOB ***-001 23 51
PC ***-002 21 65
具体的,一种数据处理方法包括以下过程:
(1)接收表2和表3所对应的数据文件;
在表2所对应的数据文件中具有的数据维度包括:日期、关键词、单元名称、计划名称、展现次数、点击量、账户名称以及设备端。
在表3所对应的数据文件中具有的数据维度包括:账户名称、日期、计划名称、单元名称、关键词、设备端以及点击量。
(2)将表2和表3所对应的数据文件按照日期、账户名称、设备端、计划名称、单元名称、关键词合并。
(3)在合并后的数据文件中,建立设备端下的数据,所述账户名称下的数据与所述日期下的数据的对应关系。
该对应关系具有唯一性,由表4生成可以看出,在设备端、账户名称和日期下的数据中,MOB、***-001以及2017/8/1的对应关系,MOB、***-001以及2017/8/2的对应关系,MOB、***-001以及2017/8/3的对应关系,PC、***-001以及2017/8/1的对应关系,PC、***-001以及2017/8/2的对应关系、PC、***-001以及2017/8/3的对应关系具是唯一存在的。
(4)在每一对应关系下,对合并后的数据文件中的展现、点击下的数据进行汇总,生成设备端和账户名称关于日期的分日数据报告。具体如表4所示。
(5)生成设备端-账户名称的汇总数据报告,具体如表5所示。
与上述一种数据处理方法对应的,本发明还公开了一种数据处理装置,以下通过几个实施例进行说明,具体的:
本发明一个实施例公开了一种数据处理装置,如图4所示,该装置包括:接收文件单元401以及生成报告单元402;其中:
接收文件单元401,用于接收至少两个数据文件;
每一数据文件均存储有数据,不同数据文件所述存储的数据可以部分相同,也可以完全不同。
其中,每一数据文件下所存储的数据可以按照数据维度与数据的对应关系进行存储。其中,数据维度可以指代为数据的属性。该数据文件的格式本发明并不限定,如可以为Word文件、Excel文件等等。
可选的,接收至少两个数据文件,包括:接收具有第一数据的第一数据文件以及具有第二数据的第二数据文件。
以SEM(Search Engine Marketing,媒体搜索营销)数据为例,第一数据文件为具有前端数据的文件,第二数据文件为具有后端数据的文件。
需说明的是,前端数据为从媒体搜索引擎获取的数据,如从百度、360、搜狗、今日头条等搜索引擎获取的数据。前端数据一般存储在excel文件中,包括账户结构、设备端、展现次数、点击量、消费额度等数据维度的数据中的至少一种。
其中,账户结构包括关键词、账户名称、计划名称、单元名称等。设备端包括PC端、手机端等。
后端数据为通过监测或者接收到的数据,后端数据一般存储在excel文件中,包括账户结构、设备端、订单金额、订单量等数据维度的数据中的至少一种。其中,账户结构包括关键词、账户名称、计划名称、单元名称等。设备端包括PC端、手机端等。
生成报告单元402,用于基于至少一种维度组合方式对所述至少两个数据文件中的数据进行聚合,生成与所述维度组合方式对应的数据报告。
其中,维度组合方式包括不同数据维度的组合,至少为两种数据维度的组合。例如,一种维度组合方式为账户名称与日期的组合方式,一种维度组合方式为账户名称、设备端与日期的组合方式。
一种维度组合方式对应一个数据报告,当生成至少两个数据报告时,该两个数据报告可以分别存储在不同的数据文件中,当然也存储在同一数据文件中。以数据报告为数据报表为例,每一数据报表可以对应一excel文件,或者,多个数据报告存储在一个excel文件中的不同sheet中。以数据报告为数据文档为例,每一数据文档可以对应一word文件,或者,多个数据文档存储在一个word文件中的不同页中。
本实施例中,通过接收至少两个数据文件,基于维度组合方式对所述至少两个数据文件中的数据进行聚合,来生成与所述维度组合方式对应的数据报告;其中,该维度组合方式包括不同数据维度的组合;由此可见,本申请能够基于不同的数据文件自动生成与维度组合方式对应数据报告,无需人工统计,提高了工作效率。
本发明另一实施例公开了一种数据处理装置,如图5所示,该装置包括:接收文件单元501、文件合并单元502以及生成报告单元503;具体的:
接收文件单元501,用于接收至少两个数据文件;
其中,至少两个数据文件包括相同的数据维度。。例如,接收文件单元用于接收包含第一数据的第一数据文件和包含第二数据的第二数据文件,第一数据文件所存储的第一数据和第二数据文件所存储的第二数据均具有账户名称、日期以及设备端等相同的数据维度。
文件合并单元503,用于基于从所述至少两个数据文件的相同的数据维度中预先指定的数据维度将所述至少两个数据文件合并为一个数据文件;
在本发明中,预先指定的数据维度包括至少一个,优选的,可以将所述至少两个数据文件的相同的数据维度均作为预先指定的数据维度。该预先指定的数据维度可以由***默认设置,或者由用户自定义,即在***开始运行时由用户指定合并的数据维度,由于是从至少两个数据文件中相同的数据维度预先指定的数据维度,因此在至少两个数据文件中均具有该指定的数据维度。
可选的,文件合并单元具体可以用于将至少两个数据文件中指定的数据维度合并为一个数据维度,而其他未被指定的数据维度仍单独作为一个数据维度,从而生成包好所述至少两个数据文件中的数据的另一数据文件。其中,合并后的数据文件包含的指定的数据维度下的数据并不会重复。
需说明的是,合并后的数据文件并未在前端显示,而仅是***在后台将至少两个数据文件合并后在进行数据聚合时所使用的数据文件。如果具有前端显示的需求,在本发明另一实施例中,该装置还可以包括:文件显示单元,用于将合并后的数据文件显示在前端。
生成报告单元504,用于基于至少一种维度组合方式对合并后的数据文件中的数据进行聚合,生成与所述维度组合方式对应的数据报告。
本实施例中,通过接收至少两个数据文件,基于从所述至少两个数据文件的相同数据维度中预先指定的数据维度将所述至少两个数据文件合并为一个数据文件,基于至少一种维度组合方式对合并后的数据文件中的数据进行聚合,生成与所述维度组合方式对应的数据报告,其中,该维度组合方式包括不同数据维度的组合;由此可见,本申请能够基于不同的数据文件自动生成与维度组合方式对应数据报告,无需人工统计,提高了工作效率。
本发明又一实施例公开了一种数据处理装置,如图6所示,该装置包括:接收文件单元601以及生成报告单元602,其中,生成报告单元602:包括第一建立模块6021和第一生成模块6022;具体的:
接收文件单元601,用于接收至少两个数据文件;
第一建立模块6021,用于基于所述至少两个数据文件,建立所述第一数据维度下的数据,所述第二数据维度下的数据与所述第三数据维度下的数据的对应关系;
其中,每一对应关系具有唯一性。可以理解的是,由于该对应关系为第一数据维度下的数据、第二数据维度下的数据和第三数据维度下数据的对应关系,因此该唯一性指代为不同的对应关系中同时存在三种相同的数据是唯一的。但是,不同的对应关系中,可以存在一个或两个相同的数据。
维度组合方式包括第一数据维度和第二数据维度按照第三数据维度的组合方式。
需说明的是,如果该装置包括文件合并单元,那么第一建立模块具体可以用于在合并后的数据文件中建立所述第一数据维度下的数据,所述第二数据维度下的数据与所述第三数据维度下的数据的对应关系。
第一生成模块6022,用于在每一对应关系下,对所述至少两个数据文件中区别于所述第一数据维度、所述第二数据维度和所述第三数据维度的其他数据维度下的数据进行汇总,生成所述第一数据维度和所述第二数据维度关于所述第三数据维度的数据报告。
其中,维度组合方式包括第一数据维度和第二数据维度按照日期的组合方式。
在本实施例中,维度组合方式为第一数据维度、第二数据维度以及第三数据维度组合的方式。那么,基于该维度组合方式可以生成第一数据维度和第二数据维度关于第三数据维度的数据报告。
以前文实施例所描述的前端数据和后端数据为例,第一数据维度可以为设备端、第二数据维度可以为账户名称,第三数据维度为日期,即生成设备端-账户名称关于日期的分日数据报告。或者,第一数据维度可以为词类、第二数据维度可以为账户名称、第三数据维度为日期,即生成词类-账户名称关于日期的分日数据报告。
需说明的是,如果该装置包括文件合并单元,那么第一生成模块具体可以用于在每一对应关系下,对合并后的数据文件中区别于所述第一数据维度、所述第二数据维度和所述第三数据维度的其他数据维度下的数据进行汇总,生成所述第一数据维度和所述第二数据维度关于所述第三数据维度的数据报告。
在本发明又一实施例中,生成报告单元还包括第二生成模块6023,用于生成所述第一数据维度和所述第二数据维度的汇总数据报告。
需说明的是,在生成数据报告时,生成报告单元可以仅汇总合并后的数据文件中区别于所述第一数据维度、所述第二数据维度和所述第三数据维度的其他数据维度下的数值数据,而并不汇总其他非数值数据。
所述一种数据处理装置包括处理器和存储器,上述接收文件单元、文件合并单元、生成报告单元均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来自动生成与维度组合方式对应数据报告,无需人工统计,提高了工作效率。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质,其上存储有程序,该程序被处理器执行时实现所述一种数据处理方法。具体的,存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行所述的一种数据处理方法
本发明实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行所述一种数据处理方法。
本发明实施例提供了一种设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:
接收至少两个数据文件;
基于至少一种维度组合方式对所述至少两个数据文件中的数据进行聚合,生成与所述维度组合方式对应的数据报告;其中,所述维度组合方式包括不同数据维度的组合。
可选的,所述至少两个数据文件包括相同的数据维度;处理器执行程序时还实现以下步骤:
基于从所述至少两个数据文件的相同数据维度中预先指定的数据维度将所述至少两个数据文件合并为一个数据文件;
相应的,所述基于至少一种维度组合方式对所述至少两个数据文件中的数据进行聚合,生成与所述维度组合方式对应的数据报告,包括:
基于至少一种维度组合方式对合并后的数据文件中的数据进行聚合,生成与所述维度组合方式对应的数据报告。
可选的,所述维度组合方式包括第一数据维度和第二数据维度按照第三数据维度的组合方式;
所述基于至少一种维度组合方式对所述至少两个数据文件中的数据进行聚合,生成与所述维度组合方式对应的数据报告,包括:
基于所述至少两个数据文件,建立所述第一数据维度下的数据,所述第二数据维度下的数据与所述第三数据维度下的数据的对应关系;其中,每一对应关系具有唯一性;
在每一对应关系下,对所述至少两个数据文件中区别于所述第一数据维度、所述第二数据维度和所述第三数据维度的其他数据维度下的数据进行汇总,生成所述第一数据维度和所述第二数据维度关于所述第三数据维度的数据报告。
可选的,处理器执行程序时还实现以下步骤:
生成所述第一数据维度和所述第二数据维度的汇总数据报告。
本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:
接收至少两个数据文件;
基于至少一种维度组合方式对所述至少两个数据文件中的数据进行聚合,生成与所述维度组合方式对应的数据报告;其中,所述维度组合方式包括不同数据维度的组合。
可选的,所述至少两个数据文件包括相同的数据维度;还具有如下方法步骤的程序:
基于从所述至少两个数据文件的相同数据维度中预先指定的数据维度将所述至少两个数据文件合并为一个数据文件;
相应的,所述基于至少一种维度组合方式对所述至少两个数据文件中的数据进行聚合,生成与所述维度组合方式对应的数据报告,包括:
基于至少一种维度组合方式对合并后的数据文件中的数据进行聚合,生成与所述维度组合方式对应的数据报告。
可选的,所述维度组合方式包括第一数据维度和第二数据维度按照第三数据维度的组合方式;
所述基于至少一种维度组合方式对所述至少两个数据文件中的数据进行聚合,生成与所述维度组合方式对应的数据报告,包括:
基于所述至少两个数据文件,建立所述第一数据维度下的数据,所述第二数据维度下的数据与所述第三数据维度下的数据的对应关系;其中,每一对应关系具有唯一性;
在每一对应关系下,对所述至少两个数据文件中区别于所述第一数据维度、所述第二数据维度和所述第三数据维度的其他数据维度下的数据进行汇总,生成所述第一数据维度和所述第二数据维度关于所述第三数据维度的数据报告。
可选的,还具有如下方法步骤的程序:
生成所述第一数据维度和所述第二数据维度的汇总数据报告。
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、***或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种数据处理方法,其特征在于,包括:
接收至少两个数据文件;
基于至少一种维度组合方式对所述至少两个数据文件中的数据进行聚合,生成与所述维度组合方式对应的数据报告;其中,所述维度组合方式包括不同数据维度的组合。
2.根据权利要求1所述的方法,其特征在于,所述至少两个数据文件包括相同的数据维度;
该方法还包括:
基于从所述至少两个数据文件的相同数据维度中预先指定的数据维度将所述至少两个数据文件合并为一个数据文件;
相应的,所述基于至少一种维度组合方式对所述至少两个数据文件中的数据进行聚合,生成与所述维度组合方式对应的数据报告,包括:
基于至少一种维度组合方式对合并后的数据文件中的数据进行聚合,生成与所述维度组合方式对应的数据报告。
3.根据权利要求1所述的方法,其特征在于,所述维度组合方式包括第一数据维度和第二数据维度按照第三数据维度的组合方式;
所述基于至少一种维度组合方式对所述至少两个数据文件中的数据进行聚合,生成与所述维度组合方式对应的数据报告,包括:
基于所述至少两个数据文件,建立所述第一数据维度下的数据,所述第二数据维度下的数据与所述第三数据维度下的数据的对应关系;其中,每一对应关系具有唯一性;
在每一对应关系下,对所述至少两个数据文件中区别于所述第一数据维度、所述第二数据维度和所述第三数据维度的其他数据维度下的数据进行汇总,生成所述第一数据维度和所述第二数据维度关于所述第三数据维度的数据报告。
4.根据权利要求3所述的方法,其特征在于,还包括:
生成所述第一数据维度和所述第二数据维度的汇总数据报告。
5.一种数据处理装置,其特征在于,包括:
接收文件单元,用于接收至少两个数据文件;
生成报告单元,用于基于至少一种维度组合方式对所述至少两个数据文件中的数据进行聚合,生成与所述维度组合方式对应的数据报告;其中,所述维度组合方式包括不同数据维度的组合。
6.根据权利要求5所述的装置,其特征在于,所述至少两个数据文件包括相同的数据维度;该装置还包括:
文件合并单元,用于基于从所述至少两个数据文件的相同数据维度中预先指定的数据维度将所述至少两个数据文件合并为一个数据文件;
相应的,所述生成报告单元具体用于基于至少一种维度组合方式对合并后的数据文件中的数据进行聚合,生成与所述维度组合方式对应的数据报告。
7.根据权利要求5所述的装置,其特征在于,所述维度组合方式包括第一数据维度和第二数据维度按照第三数据维度的组合方式;
所述生成报告单元,包括:
第一建立模块,用于基于所述至少两个数据文件,建立所述第一数据维度下的数据,所述第二数据维度下的数据与所述第三数据维度下的数据的对应关系;其中,每一对应关系具有唯一性;
第一生成模块,用于在每一对应关系下,对所述至少两个数据文件中区别于所述第一数据维度、所述第二数据维度和所述第三数据维度的其他数据维度下的数据进行汇总,生成所述第一数据维度和所述第二数据维度关于所述第三数据维度的数据报告。
8.根据权利要求5所述的装置,其特征在于,所述生成报告单元还包括:
第二生成模块,用于生成所述第一数据维度和所述第二数据维度的汇总数据报告。
9.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行如权利要求1-4中任一项所述的一种数据处理方法。
10.一种处理器,其特征在于,所述处理器用于运行程序,所述程序运行时执行如权利要求1-4中任一项所述的一种数据处理方法。
CN201710904814.1A 2017-09-29 2017-09-29 一种数据处理方法和装置 Pending CN110147352A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710904814.1A CN110147352A (zh) 2017-09-29 2017-09-29 一种数据处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710904814.1A CN110147352A (zh) 2017-09-29 2017-09-29 一种数据处理方法和装置

Publications (1)

Publication Number Publication Date
CN110147352A true CN110147352A (zh) 2019-08-20

Family

ID=67588028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710904814.1A Pending CN110147352A (zh) 2017-09-29 2017-09-29 一种数据处理方法和装置

Country Status (1)

Country Link
CN (1) CN110147352A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020158A (zh) * 2012-11-26 2013-04-03 中兴通讯股份有限公司 一种报表创建方法、装置和***
CN104484398A (zh) * 2014-12-12 2015-04-01 北京国双科技有限公司 数据表中的数据聚合方法和装置
US20150161185A1 (en) * 2013-12-09 2015-06-11 Linkedin Corporation Enabling and performing count-distinct queries on a large set of data
CN106528511A (zh) * 2016-09-30 2017-03-22 东软集团股份有限公司 表单的分析方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020158A (zh) * 2012-11-26 2013-04-03 中兴通讯股份有限公司 一种报表创建方法、装置和***
US20150161185A1 (en) * 2013-12-09 2015-06-11 Linkedin Corporation Enabling and performing count-distinct queries on a large set of data
CN104484398A (zh) * 2014-12-12 2015-04-01 北京国双科技有限公司 数据表中的数据聚合方法和装置
CN106528511A (zh) * 2016-09-30 2017-03-22 东软集团股份有限公司 表单的分析方法和装置

Similar Documents

Publication Publication Date Title
CN106952072A (zh) 一种数据处理的方法及***
US20130006996A1 (en) Clustering E-Mails Using Collaborative Information
CN103345484A (zh) 基于动态域的报表处理***及方法
CN107391532B (zh) 数据过滤的方法和装置
WO2016101811A1 (zh) 一种信息排序方法及装置
WO2017133568A1 (zh) 一种目标特征数据的挖掘方法和装置
CN110069676A (zh) 关键词推荐方法和装置
CN107729330B (zh) 获取数据集的方法和装置
CN110457182A (zh) 一种负载均衡集群实例运行指标监控***
CN108255628A (zh) 一种数据处理方法及装置
CN106815274A (zh) 基于Hadoop的日志数据挖掘方法及***
US11144793B2 (en) Incremental clustering of a data stream via an orthogonal transform based indexing
CN110019298A (zh) 数据处理方法和装置
CN109598171A (zh) 一种基于二维码的数据处理方法、装置及***
CA3017606A1 (en) Rule based hierarchical configuration
CN102932416A (zh) 一种信息流任务的中间数据存储方法、处理方法及装置
CN107391533A (zh) 生成图形数据库查询结果的方法及装置
CN110069453A (zh) 运维数据处理方法和装置
CN106570005A (zh) 清理数据库的方法和装置
WO2017065795A1 (en) Incremental update of a neighbor graph via an orthogonal transform based indexing
CN112465564A (zh) 一种供应商推荐方法、装置、终端
US20170235625A1 (en) Data mining using categorical attributes
CN107038193A (zh) 一种文本信息的处理方法和装置
CN110147352A (zh) 一种数据处理方法和装置
CN109582476A (zh) 数据处理方法、装置及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information

Address after: 100080 No. 401, 4th Floor, Haitai Building, 229 North Fourth Ring Road, Haidian District, Beijing

Applicant after: BEIJING GRIDSUM TECHNOLOGY Co.,Ltd.

Address before: 100086 Beijing city Haidian District Shuangyushu Area No. 76 Zhichun Road cuigongfandian 8 layer A

Applicant before: BEIJING GRIDSUM TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190820

RJ01 Rejection of invention patent application after publication