CN110489476A - 数据处理方法、***及服务器 - Google Patents

数据处理方法、***及服务器 Download PDF

Info

Publication number
CN110489476A
CN110489476A CN201910782976.1A CN201910782976A CN110489476A CN 110489476 A CN110489476 A CN 110489476A CN 201910782976 A CN201910782976 A CN 201910782976A CN 110489476 A CN110489476 A CN 110489476A
Authority
CN
China
Prior art keywords
data
dimension
operation result
permission
quantized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910782976.1A
Other languages
English (en)
Inventor
高风
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Golden Melon Seed Technology Development (beijing) Co Ltd
Original Assignee
Golden Melon Seed Technology Development (beijing) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Golden Melon Seed Technology Development (beijing) Co Ltd filed Critical Golden Melon Seed Technology Development (beijing) Co Ltd
Priority to CN201910782976.1A priority Critical patent/CN110489476A/zh
Publication of CN110489476A publication Critical patent/CN110489476A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种数据处理方法、***及服务器,该方法包括:接收初始数据,按照所述初始数据的类型对所述初始数据进行量化处理,得到所述初始数据对应的量化数据;查找与所述初始数据的类型对应的运算处理方式,基于所述运算处理方式对所述量化数据进行运算处理,得到所述量化数据的运算结果;获取预设的展示维度,基于所述展示维度展示所述量化数据和所述运算结果。本发明可以有效降低统一管理数据所需成本。

Description

数据处理方法、***及服务器
技术领域
本发明涉及互联网技术领域,尤其是涉及一种数据处理方法、***及服务器。
背景技术
数据可以用来表现各种信息,能较好的应用于销售统计或业绩计算等诸多业务场景,但是由于经济市场的发展,数据量逐渐庞大,导致需要将各种类型的数据保存至不同数据库中,但是由于各个数据库使用的语言、逻辑或数据保存格式等各有不同,因此现有技术为了实现对存储于各个数据库的数据进行统一管理,采用针对各个数据库分别设计专用处理模板的方式,以通过各个数据库对应的专用处理模板对数据进行处理。但是若数据库较多或存在新增数据库,则额外设计专用处理模板需要耗费较多成本。
发明内容
有鉴于此,本发明的目的在于提供一种数据处理方法、***及服务器,可以有效降低统一管理数据所需成本。
第一方面,本发明实施例提供了一种数据处理方法,包括:接收初始数据,按照所述初始数据的类型对所述初始数据进行量化处理,得到所述初始数据对应的量化数据;查找与所述初始数据的类型对应的运算处理方式,基于所述运算处理方式对所述量化数据进行运算处理,得到所述量化数据的运算结果;获取预设的展示维度,基于所述展示维度展示所述量化数据和所述运算结果。
结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方式,其中,所述接收初始数据的步骤,包括:通过数据接口接收外设数据库发送的初始数据;其中,所述外设数据库的类型包括用于存储实时数据的实时数据库和/或用于存储离线数据的离线数据库;所述初始数据携带有外设数据库的类型标识。
结合第一方面的第一种可能的实施方式,本发明实施例提供了第一方面的第二种可能的实施方式,其中,所述查找与所述初始数据的类型对应的运算处理方式,基于所述运算处理方式对所述量化数据进行运算处理,得到所述量化数据的运算结果的步骤,包括:如果所述外设数据库的类型包括实时数据库,确定所述初始数据包括实时数据,查找与所述初始数据的类型对应的实时运算公式,并在第一时长内利用所述实时运算公式计算所述量化数据的实时运算结果;如果所述外设数据库的类型包括离线数据库,确定所述初始数据包括离线数据,查找与所述初始数据的类型对应的离线运算公式,并在第二时长内利用所述离线运算公式计算所述量化数据的离线运算结果;其中,所述第二时长大于所述第一时长。
结合第一方面的第一种可能的实施方式,本发明实施例提供了第一方面的第三种可能的实施方式,其中,所述展示维度包括时间维度和/或权限维度;所述获取预设的展示维度,基于所述展示维度展示所述量化数据和所述运算结果的步骤,包括:如果所述展示维度包括时间维度,确定所述量化数据和所述运算结果所处的时间区间,并基于所述时间区间展示所述量化数据和所述运算结果;如果所述展示维度包括权限维度,将所述权限维度、所述量化数据和所述运算结果进行关联,并基于所述权限维度展示与所述权限维度关联的所述量化数据和所述运算结果。
结合第一方面的第三种可能的实施方式,本发明实施例提供了第一方面的第四种可能的实施方式,其中,所述初始数据携带有时间字段;所述确定所述量化数据和所述运算结果所处的时间区间的步骤,包括:获取预设时间分区;其中,所述时间分区包括多个时间区间;基于所述初始数据携带的时间字段,在所述时间分区中确定所述量化数据和所述运算结果所处的时间区间。
结合第一方面的第三种可能的实施方式,本发明实施例提供了第一方面的第五种可能的实施方式,其中,所述权限维度是基于预设的组织架构划分的维度;所述组织架构包括多个不同的组织,每个所述组织对应一种权限;所述将所述权限维度、所述量化数据和所述运算结果进行关联,并基于所述权限维度展示与所述权限维度关联的所述量化数据和所述运算结果的步骤,包括:获取预设的组织架构;其中,所述组织架构包括多个权限区间;在所述组织架构中确定所述量化数据所处的权限区间,并确定所述运算结果所处的权限区间;所述量化数据和所述量化数据所处的权限区间进行关联,并将所述运算结果和所述运算结果所处的权限区间进行关联;接收到数据展示指令时,提取所述数据展示指令携带的用户身份信息;基于所述用户身份信息和所述组织架构确定所述数据展示指令对应的权限区间;展示与所述数据展示指令对应的权限区间关联的量化数据和运算结果。
结合第一方面,本发明实施例提供了第一方面的第六种可能的实施方式,其中,所述方法还包括:按照预设数据格式展示所述运算结果;其中,所述预设数据格式包括整数格式、小数格式或百分比格式中的一种或多种。
结合第一方面的第三种可能的实施方式,本发明实施例提供了第一方面的第七种可能的实施方式,其中,在所述将所述权限维度、所述量化数据和所述运算结果进行关联的步骤之后,所述方法还包括:将关联后的所述展示维度、所述量化数据和所述运算结果发送至目标***,以使所述目标***基于所述权限维度展示与所述权限维度关联的所述量化数据和所述运算结果。
第二方面,本发明实施例还提供一种数据处理***,包括:依次连接的量化模块、运算模块和展示模块;其中,所述量化模块用于接收初始数据,按照所述初始数据的类型对所述初始数据进行量化处理,得到所述初始数据对应的量化数据;所述运算模块用于查找与所述初始数据的类型对应的运算处理方式,基于所述运算处理方式对所述量化数据进行运算处理,得到所述量化数据的运算结果;所述展示模块用于获取预设的展示维度,基于所述展示维度展示所述量化数据和所述运算结果。
第三方面,本发明实施例还提供一种服务器,包括处理器和存储器;所述存储器上存储有计算机程序,所述计算机程序在被所述处理器运行时执行如第一方面至第一方面的第七种可能的实施方式任一项所述的方法。
第四方面,本发明实施例还提供一种计算机存储介质,用于储存为第一方面至第一方面的第七种可能的实施方式任一项所述方法所用的计算机软件指令。
本发明实施例提供的一种数据处理方法、***及服务器,在接收到初始数据后按照初始数据的类型对初始数据进行量化处理,从而得到初始数据对应的量化数据,再根据与初始数据类型对应的运算处理方式对量化数据进行运算处理,以得到量化数据的运算结果,最后基于预设的展示维度展示上述量化数据和运算结果。本发明实施例在初始数据类型的基础上依次执行量化处理和运算处理,即可得到最终用于展示的运算结果,从而实现了对初始数据的统一管理,而无需针对初始数据对应的数据库设计专用处理模板,相较于现有技术中利用各数据库的专用处理模板对初始数据进行处理,本发明实施例有效降低了统一管理数据所需成本。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种数据处理方法的流程示意图;
图2为本发明实施例提供的另一种数据处理方法的流程示意图;
图3为本发明实施例提供的一种时间维度的示意图;
图4为本发明实施例提供的另一种时间维度的示意图;
图5为本发明实施例提供的一种权限维度的示意图;
图6为本发明实施例提供的另一种权限维度的示意图;
图7为本发明实施例提供的一种数据处理***的结构示意图;
图8为本发明实施例提供的一种数据处理***的配置方法的流程示意图;
图9为本发明实施例提供的一种数据处理***的结构示意图;
图10为本发明实施例提供的一种服务器的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合实施例对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
考虑到通过设计各数据库专用处理模板实现数据统一管理的方式消耗成本较多,为改善此问题,本发明实施提供了一种数据处理方法、***及服务器,可以有效降低统一管理数据所需成本。
为便于对本实施例进行理解,首先对本发明实施例所公开的一种数据处理方法进行详细介绍,参见图1所示的一种数据处理方法的流程示意图,该方法可以包括以下步骤:
步骤S102,接收初始数据,按照初始数据的类型对初始数据进行量化处理,得到初始数据对应的量化数据。
其中,初始数据可以为各个外设数据库发送的初始数据,如用于表征销量的初始数据,例如,外设数据库A发送的初始数据为文字类初始数据:“2018年1月1日销售10个A类商品”,外设数据库B发送的初始数据为编号类初始数据“2018/1/2-15-B”;初始数据的类型可基于初始数据的应用场景确定,例如,在销售统计场景初始数据的类型可以销售量或商品类型;量化处理也即将初始数据包含的各种信息量化到具体数值;量化数据可以理解为初始数据经量化处理后得到的具体数值。例如,初始数据为“2018年1月1日销售10个A类商品”,初始数据的类型为销售量,则在对初始数据进行量化处理后即可得到量化数据为“10”。
步骤S104,查找与初始数据的类型对应的运算处理方式,基于运算处理方式对量化数据进行运算处理,得到量化数据的运算结果。
其中,运算处理方式可以包括计算公式、计算函数或运算模型(如,回归模型)中的一种或多种,在一种实施方式中,可对初始数据的类型对应的运算处理方式预先进行配置,当接收到初始数据后,即可得知初始数据的类型,进而可以查找与初始数据类型对应的运算处理方式。例如,初始数据的类型为销售量,且销售量对应的运算处理方式为“求和”则对各初始数据对应的量化数据进行求和处理,得到量化数据的和值,并将量化数据的和值作为运算结果;若销售量对应的运算处理方式为“确定最大值”,则在量化数据中选取出数值最大的量化数据,并将最大量化数据作为运算结果。
步骤S106,获取预设的展示维度,基于展示维度展示量化数据和运算结果。
展示维度可以理解为运算结果的展示方式,在一些实施方式中,可以按照时间展示运算结果,或按照人事关系展示运算结果,还可以按照其他方式展示运算结果,具体可根据实际需求而灵活设定,在此不进行限制。以基于人事关系展示量化数据和运算结果为例,若人事关系包括一级部门和二级部门,则一级部门的用户仅能浏览一级部门对应的量化数据和运算结果,二级部门的用户仅能浏览二级部门对应的量化数据和运算结果。
本发明实施例提供的上述数据处理方法,在接收到初始数据后按照初始数据的类型对初始数据进行量化处理,从而得到初始数据对应的量化数据,再根据与初始数据类型对应的运算处理方式对量化数据进行运算处理,以得到量化数据的运算结果,最后基于预设的展示维度展示上述量化数据和运算结果。本发明实施例在初始数据类型的基础上依次执行量化处理和运算处理,即可得到最终用于展示的运算结果,从而实现了对初始数据的统一管理,而无需针对初始数据对应的数据库设计专用处理模板,相较于现有技术中利用各数据库的专用处理模板对初始数据进行处理,本发明实施例有效降低了统一管理数据所需成本。
为便于对上述实施例提供的数据处理方法进一步理解,本发明实施例还提供了另一种数据处理方法,参见图2所示的另一种数据处理方法的流程示意图,该方法可以包括以下步骤:
步骤S202,通过数据接口接收外设数据库发送的初始数据。
其中,外设数据库的类型包括用于存储实时数据的实时数据库和/或用于存储离线数据的离线数据库,并且外设数据库发送的初始数据携带有外设数据库的类型标识。例如,通过Presto数据库存储离线数据,通过Impala数据库存储实时数据,另外,Presto数据库、Impala数据库和MySQL(My-Structured Query Language,多线程SQL)数据库使用的逻辑语言也存在差异。外设数据库的类型标识可以表征外设数据库的类型,用于后续确定初始数据为实时数据或离线数据。在具体实现时,可以按照预先定制的接口建立规则建立数据接口,以实现通过同一数据接口接收各个外设数据库发送的初始数据。
步骤S204,按照初始数据的类型对初始数据进行量化处理,得到初始数据对应的量化数据。
在一种实施方式中,可以预先设置统一的量化处理规则,在接收到初始数据后即可基于该量化处理规则对初始数据进行量化处理,以得到初始数据对应的量化数据。
步骤S206,如果外设数据库的类型包括实时数据库,确定初始数据包括实时数据,查找与初始数据的类型对应的实时运算公式,并在第一时长内利用实时运算公式计算量化数据的实时运算结果。
其中,实时数据库与离线数据库的差别主要体现在数据的更新频率,通常情况下,实时数据库的更新频率更快,并且对实时数据库发送的实时数据进行运算处理时具有更高的时效性要求;而离线数据库的更新频率较慢,且运算处理的时效性要求较低。另外,可基于业务需求对实时运算公式预先进行配置,并在规定的第一时长内计算出量化数据的实时运算结果。在一种实施方式中,考虑到实时数据的时效性要求更高,因此计算速率也应较快。
步骤S208,如果外设数据库的类型包括离线数据库,确定初始数据包括离线数据,查找与初始数据的类型对应的离线运算公式,并在第二时长内利用离线运算公式计算量化数据的离线运算结果。
可以理解的,离线数据库发送的初始数据为离线数据。另外,可基于业务需求离线运算公式进行配置,并在规定的第二时长内计算出量化数据的离线运算结果。由于离线数据的时效性要求不高,因此第二时长可略大于第一时长。
在一种实施方式中,上述实时运算公式和离线运算公式均可包括去重运算、求和运算、最大值计算以及最小值计算等多种运算公式。
上述接口建立规则、量化处理规则以及运算处理方式均可以理解为指标构建规则,通过设置统一的指标构建规范对初始数据进行量化处理和运算处理,即可得到量化数据和运算结果,且量化数据和运算结果均可理解为在指标构建规范基础上得到的指标,基于指标可以反映出不同的业务场景,例如,售车量指标可以反映售车业务的业绩,收车量指标可以反映收车数量,通过将初始数据规范化到指标上可以实现对不同外设数据库(也即,数据源)的数据进行统一管理。
步骤S210,获取预设的展示维度。
其中,展示维度包括时间维度和/或权限维度,为便于对展示维度进行理解,本发明实施例以时间维度为例进行说明,运算结果按照时间顺序进行排列,可参见图3所示的一种时间维度的示意图,图3中的时间维度处于聚合状态下,当用户点击8月1号时,8月1号对应的节点将展开,如图4所示的另一种时间维度的示意图,用户即可浏览8月1号的量化数据和运算结果。同理,参见图5所示的一种权限维度的示意图,图5中的权限维度处于聚合状态,包括一级部门A、二级部门B和一级部门C,当用户点击一级部门A下的二级部门B时,用户即可浏览一级部门A下的二级部门B对应的量化数据和运算结果,具体可参见图6所示的另一种权限维度的示意图。
步骤S212,如果展示维度包括时间维度,确定量化数据和运算结果所处的时间区间,并基于时间区间展示量化数据和运算结果。
为便于对步骤S212进行理解,本发明实施例提供了一种确定量化数据和运算结果所处的时间区间的方法,该方法可以包括如下步骤:(1)获取预设时间分区,其中,时间分区包括多个时间区间,例如,按照月份划分时间区间或按照小时划分区域,例如0:00至2:00为一个时间区间。(2)基于初始数据携带的时间字段,在时间分区中确定量化数据和运算结果所处的时间区间。在一种实施方式中,初始数据携带有时间字段,因此可基于初始数据携带的时间字段直接确定量化数据和运算结果所在的时间分区,其中,该时间字段可以为表征各类数据保存至外设数据库时间的字段。通过按照时间维度展示量化数据和运算结果,可以展示出量化数据和运算结果的变化趋势,基于变化趋势可以对量化数据和运算结果作进一步研究。
步骤S214,如果展示维度包括权限维度,将权限维度、量化数据和运算结果进行关联,并基于权限维度展示与权限维度关联的量化数据和运算结果。
其中,权限维度是基于预设的组织架构划分的维度;组织架构包括多个不同的组织,每个组织对应一种权限,组织架构可以理解为一个公司的多种架构型态,在一些实施方式中,可以根据不同的业务线来建立组织架构,例如基于市场部、研发部和流程部等多个部门建立组织架构;也可以基于前述人事关系建立组织架构,例如经理、组长和员工等多个职别建立组织架构。
为便于对步骤S214进行理解,本发明实施例还提供了一种将权限维度、量化数据和运算结果进行关联,并基于权限维度展示与权限维度关联的量化数据和运算结果的具体实施方法,该方法可参见如下步骤1-步骤6所示:
步骤1,获取预设的组织架构。其中,组织架构包括多个权限区间,并且不同权限区间可浏览的量化数据和运算结果各有不同。例如,经理可以浏览与经理、组长和员工等各权限区间关联的量化数据和运算结果,组长可以浏览与组长和员工等权限区间关联的量化数据和运算结果,员工仅可浏览与员工权限区间关联的量化数据和运算结果。
步骤2,在组织架构中确定量化数据所处的权限区间,并确定运算结果所处的权限区间。在具体实现时,可预先对各权限区间的权限信息进行配置,例如,将外设数据库与权限区间相关联,即外设数据库A对应权限区间1,则基于外设数据库发送的初始数据得到得的量化数据和运算结果均处于权限区间1;或者可以将量化数据和运算结果分别与不同的权限区间对应。
步骤3,将量化数据和量化数据所处的权限区间进行关联,并将运算结果和运算结果所处的权限区间进行关联。考虑到基于时间维度展示量化数据和运算结果时,可基于初始数据携带的时间字段直接确定量化数据和运算结果所处的时间区间,而在基于权限维度展示量化数据和运算结果时,由于无法直接确定量化数据和运算结果所处的权限区间,因此将量化数据和量化数据所处的权限区间进行关联,以及将运算结果和运算结果所处的权限区间进行关联,可以便于用户查找和浏览各权限区间关联的量化数据和运算结果。
步骤4,当接收到数据展示指令时,提取数据展示指令携带的用户身份信息。数据展示指令可以在用户点击权限区间对应的节点时获取,并且该数据展示指令将携带有用户身份信息,通过用户身份信息可以确定该用户对应的权限区间,其中,用户身份信息与权限区间的对应关系可以预先设置。
步骤5,基于用户身份信息和组织架构确定数据展示指令对应的权限区间。例如,当用户身份信息为组长信息时,在组织架构中查找与组长信息对应的组长权限区间和员工权限区间。
步骤6,展示与数据展示指令对应的权限区间关联的量化数据和运算结果。
在一种实施方式中,可以针对不同的业务场景自行设计所需的展示维度,此处不加以限定。另外,针对上述实时数据和离线数据,可预先设置量化数据和运算结果的更新时间,在具体实现时,实时数据的更新时间可以设置为分钟级别,例如,每5分钟更新一次实时数据对应的量化数据和运算结果;离线数据的更新时间可以设置为天级别,例如,每天更新一次离线数据对应的量化数据和运算结果。通过对实时数据和离线数据设置更新时间,可以较好的提高实时数据和离线数据的时效性。
在一种实施方式中,本发明实施例还可以按照预设数据格式展示运算结果。其中,预设数据格式包括整数格式、小数格式或百分比格式中的一种或多种。通过基于预设数据格式展示运算结果,可以较好的满足用户的多种业务需求,从而较好的提高用户体验度。
另外,本发明实施例还可以将关联后的展示维度、量化数据和运算结果发送至目标***,以使目标***基于权限维度展示与权限维度关联的量化数据和运算结果。其中,目标***可以为数据展示平台,是本发明实施例提供的数据处理方法的下游和使用方,由本发明实施例提供的数据处理方法为目标***提供数据支持,数据展示台可以通过如表格或趋势图等形式展示前述量化数据和运算结果。
本发明实施例通过预先设置接口建立规则、量化处理规则以及运算处理方式,实现对不同外设数据库发送的初始数据进行量化处理和运算处理,从而实现对初始数据进行统一的抽象、管理以及分析处理等,而无需针对不同外设数据库设计专用处理模板,从而可以有效统一管理数据所需成本。另外,本发明实施例关联有组织架构,可以实现对数据进行权限控制;进一步的,本发明实施例可以针对实时数据和离线数据进行不同的处理,以满足不同数据的时效性要求,可以更好的满足不同业务场景的需求;而且本发明实施例还对数据格式进行规范,可以提供给用户更为多样的数据展现形式。综上所述,本发明实施例可以有效的降低统一管理数据所需的成本,而且较好的对各外设数据库的初始数据进行统一管理,同时还可以有效提高用户体验度。
对于前述实施例提供的数据处理方法,本发明实施例还提供了一种数据处理***,参见图7所示的一种数据处理***的结构示意图,该***包括依次相连的数据接口、指标单元和维度单元,其中,数据接口用于与MySQL数据库、Presto数据库、Impala数据库或Palo数据库等外设数据库连接,并接收外设数据库发送的初始数据,指标单元用于对初始数据进行量化处理和运算处理,得到量化数据以及量化数据对应的运算结果,维度单元用于基于组织架构展示量化数据和运算结果。该数据处理***还可以与目标***连接,为目标***提供数据支持,以使目标***展示上述量化数据和运算结果。
在基于图7所示的数据处理***执行数据处理方法前,需要对数据处理***进行配置,在一种实施方式中,可以基于预设的数据处理体系完成数据处理模型的配置,参见图8所示的一种数据处理***的配置方法的流程示意图,该方法可以包括以下步骤:
步骤S802,对数据处理体系进行配置。其中,对数据处理体系进行配置的内容包括前述指标构建规则和展示维度。由于数据源的不同,初始数据的处理方式也无法统一,因此需要建立统一的数据处理体系来对初始数据进行量化处理和运算处理。
步骤S804,对指标单元进行配置。在具体实现时,需要对接口建立规则、量化处理规则、实时运算公式和离线运算公式等指标构建规则进行配置,同时还可以对实时数据的更新时间、离线数据的更新时间和数据格式进行配置。
步骤S806,对实时指标和离线指标进行配置。其中,实时指标即为前述实时运算公式和实时数据的更新时间等;离线指标即为前述离线运算公式和离线数据的更新时间等。
步骤S808,对数据格式进行配置。
步骤S810,对维度单元进行配置。例如,配置数据处理***的时间维度或权限维度。
步骤S812,判断是否基于组织架构配置维度单元。如果是,执行步骤S814;如果否,执行步骤S816。
步骤S814,从预设的多个组织架构中选取目标组织架构。
步骤S816,基于其他维度配置维度单元。例如,基于时间维度配置维度单元。
步骤S818,将指标单元与维度单元进行关联,数据处理***配置完成。
为便于对前述实施例提供的数据处理装置进行理解,本发明实施例提供了另一种数据处理***,参见图9所示的一种数据处理***的结构示意图,该***包括依次连接的量化模块902、运算模块904和展示模块906。
量化模块902用于接收初始数据,按照初始数据的类型对初始数据进行量化处理,得到初始数据对应的量化数据;
运算模块904用于查找与初始数据的类型对应的运算处理方式,基于运算处理方式对量化数据进行运算处理,得到量化数据的运算结果;
展示模块906用于获取预设的展示维度,基于展示维度展示量化数据和运算结果。
本发明实施例提供的上述数据处理***,在量化模块接收到初始数据后按照初始数据的类型对初始数据进行量化处理,从而得到初始数据对应的量化数据,再由运算模块根据与初始数据类型对应的运算处理方式对量化数据进行运算处理,以得到量化数据的运算结果,最后展示模块基于预设的展示维度展示上述量化数据和运算结果。本发明实施例在初始数据类型的基础上依次执行量化处理和运算处理,即可得到最终用于展示的运算结果,从而实现了对初始数据的统一管理,而无需针对初始数据对应的数据库设计专用处理模板,相较于现有技术中利用各数据库的专用处理模板对初始数据进行处理,本发明实施例有效降低了统一管理数据所需成本。
在一种实施方式中,上述量化模块902还用于:通过数据接口接收外设数据库发送的初始数据;其中,外设数据库的类型包括用于存储实时数据的实时数据库和/或用于存储离线数据的离线数据库;初始数据携带有外设数据库的类型标识。
在一种实施方式中,上述运算模块904还用于:如果外设数据库的类型包括实时数据库,确定初始数据包括实时数据,查找与初始数据的类型对应的实时运算公式,并在第一时长内利用实时运算公式计算量化数据的实时运算结果;如果外设数据库的类型包括离线数据库,确定初始数据包括离线数据,查找与初始数据的类型对应的离线运算公式,并在第二时长内利用离线运算公式计算量化数据的离线运算结果;其中,第二时长大于第一时长。
在一种实施方式中,上述展示维度包括时间维度和/或权限维度。上述展示模块906还用于:如果展示维度包括时间维度,确定量化数据和运算结果所处的时间区间,并基于时间区间展示量化数据和运算结果;如果展示维度包括权限维度,将权限维度、量化数据和运算结果进行关联,并基于权限维度展示与权限维度关联的量化数据和运算结果。
在一种实施方式中,上述初始数据携带有时间字段。上述展示模块906还用于:获取预设时间分区;其中,时间分区包括多个时间区间;基于初始数据携带的时间字段,在时间分区中确定量化数据和运算结果所处的时间区间。
在一种实施方式中,上述权限维度是基于预设的组织架构划分的维度;组织架构包括多个不同的组织,每个组织对应一种权限。上述展示模块906还用于:获取预设的组织架构;其中,组织架构包括多个权限区间;在组织架构中确定量化数据所处的权限区间,并确定运算结果所处的权限区间;量化数据和量化数据所处的权限区间进行关联,并将运算结果和运算结果所处的权限区间进行关联;接收到数据展示指令时,提取数据展示指令携带的用户身份信息;基于用户身份信息和组织架构确定数据展示指令对应的权限区间;展示与数据展示指令对应的权限区间关联的量化数据和运算结果。
在一种实施方式中,上述数据处理***还包括格式展示单元,用于:按照预设数据格式展示运算结果;其中,预设数据格式包括整数格式、小数格式或百分比格式中的一种或多种。
在一种实施方式中,上述数据处理***还包括发送模块,用于:将关联后的展示维度、量化数据和运算结果发送至目标***,以使目标***基于权限维度展示与权限维度关联的量化数据和运算结果。
本发明实施例所提供的***,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
该设备为一种服务器,具体的,该服务器包括处理器和存储装置;存储装置上存储有计算机程序,计算机程序在被所述处理器运行时执行如上所述实施方式的任一项所述的方法。
图10为本发明实施例提供的一种服务器的结构示意图,该服务器包括:处理器100,存储器101,总线102和通信接口103,所述处理器100、通信接口103和存储器101通过总线102连接;处理器100用于执行存储器101中存储的可执行模块,例如计算机程序。
其中,存储器101可能包含高速随机存取存储器(RAM,Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该***网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。
总线102可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图10中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器101用于存储程序,所述处理器100在接收到执行指令后,执行所述程序,前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器100中,或者由处理器100实现。
处理器100可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器100中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器100可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DigitalSignal Processing,简称DSP)、专用集成电路(Application Specific IntegratedCircuit,简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器101,处理器100读取存储器101中的信息,结合其硬件完成上述方法的步骤。
本发明实施例所提供的可读存储介质的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见前述方法实施例,在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (11)

1.一种数据处理方法,其特征在于,包括:
接收初始数据,按照所述初始数据的类型对所述初始数据进行量化处理,得到所述初始数据对应的量化数据;
查找与所述初始数据的类型对应的运算处理方式,基于所述运算处理方式对所述量化数据进行运算处理,得到所述量化数据的运算结果;
获取预设的展示维度,基于所述展示维度展示所述量化数据和所述运算结果。
2.根据权利要求1所述的方法,其特征在于,所述接收初始数据的步骤,包括:
通过数据接口接收外设数据库发送的初始数据;其中,所述外设数据库的类型包括用于存储实时数据的实时数据库和/或用于存储离线数据的离线数据库;所述初始数据携带有外设数据库的类型标识。
3.根据权利要求2所述的方法,其特征在于,所述查找与所述初始数据的类型对应的运算处理方式,基于所述运算处理方式对所述量化数据进行运算处理,得到所述量化数据的运算结果的步骤,包括:
如果所述外设数据库的类型包括实时数据库,确定所述初始数据包括实时数据,查找与所述初始数据的类型对应的实时运算公式,并在第一时长内利用所述实时运算公式计算所述量化数据的实时运算结果;
如果所述外设数据库的类型包括离线数据库,确定所述初始数据包括离线数据,查找与所述初始数据的类型对应的离线运算公式,并在第二时长内利用所述离线运算公式计算所述量化数据的离线运算结果;其中,所述第二时长大于所述第一时长。
4.根据权利要求2所述的方法,其特征在于,所述展示维度包括时间维度和/或权限维度;
所述获取预设的展示维度,基于所述展示维度展示所述量化数据和所述运算结果的步骤,包括:
如果所述展示维度包括时间维度,确定所述量化数据和所述运算结果所处的时间区间,并基于所述时间区间展示所述量化数据和所述运算结果;
如果所述展示维度包括权限维度,将所述权限维度、所述量化数据和所述运算结果进行关联,并基于所述权限维度展示与所述权限维度关联的所述量化数据和所述运算结果。
5.根据权利要求4所述的方法,其特征在于,所述初始数据携带有时间字段;
所述确定所述量化数据和所述运算结果所处的时间区间的步骤,包括:
获取预设时间分区;其中,所述时间分区包括多个时间区间;
基于所述初始数据携带的时间字段,在所述时间分区中确定所述量化数据和所述运算结果所处的时间区间。
6.根据权利要求4所述的方法,其特征在于,所述权限维度是基于预设的组织架构划分的维度;所述组织架构包括多个不同的组织,每个所述组织对应一种权限;
所述将所述权限维度、所述量化数据和所述运算结果进行关联,并基于所述权限维度展示与所述权限维度关联的所述量化数据和所述运算结果的步骤,包括:
获取预设的组织架构;其中,所述组织架构包括多个权限区间;
在所述组织架构中确定所述量化数据所处的权限区间,并确定所述运算结果所处的权限区间;
将所述量化数据和所述量化数据所处的权限区间进行关联,并将所述运算结果和所述运算结果所处的权限区间进行关联;
当接收到数据展示指令时,提取所述数据展示指令携带的用户身份信息;
基于所述用户身份信息和所述组织架构确定所述数据展示指令对应的权限区间;
展示与所述数据展示指令对应的权限区间关联的量化数据和运算结果。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
按照预设数据格式展示所述运算结果;其中,所述预设数据格式包括整数格式、小数格式或百分比格式中的一种或多种。
8.根据权利要求4所述的方法,其特征在于,在所述将所述权限维度、所述量化数据和所述运算结果进行关联的步骤之后,所述方法还包括:
将关联后的所述展示维度、所述量化数据和所述运算结果发送至目标***,以使所述目标***基于所述权限维度展示与所述权限维度关联的所述量化数据和所述运算结果。
9.一种数据处理***,其特征在于,包括:依次连接的量化模块、运算模块和展示模块;其中,
所述量化模块用于接收初始数据,按照所述初始数据的类型对所述初始数据进行量化处理,得到所述初始数据对应的量化数据;
所述运算模块用于查找与所述初始数据的类型对应的运算处理方式,基于所述运算处理方式对所述量化数据进行运算处理,得到所述量化数据的运算结果;
所述展示模块用于获取预设的展示维度,基于所述展示维度展示所述量化数据和所述运算结果。
10.一种服务器,其特征在于,包括处理器和存储器;
所述存储器上存储有计算机程序,所述计算机程序在被所述处理器运行时执行如权利要求1至8任一项所述的方法。
11.一种计算机存储介质,其特征在于,用于储存为权利要求1至8任一项所述方法所用的计算机软件指令。
CN201910782976.1A 2019-08-22 2019-08-22 数据处理方法、***及服务器 Pending CN110489476A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910782976.1A CN110489476A (zh) 2019-08-22 2019-08-22 数据处理方法、***及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910782976.1A CN110489476A (zh) 2019-08-22 2019-08-22 数据处理方法、***及服务器

Publications (1)

Publication Number Publication Date
CN110489476A true CN110489476A (zh) 2019-11-22

Family

ID=68553131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910782976.1A Pending CN110489476A (zh) 2019-08-22 2019-08-22 数据处理方法、***及服务器

Country Status (1)

Country Link
CN (1) CN110489476A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102801775A (zh) * 2012-04-17 2012-11-28 杭州群核信息技术有限公司 一种实时处理远程监控信息的云计算平台
CN105677836A (zh) * 2016-01-05 2016-06-15 北京汇商融通信息技术有限公司 一种同时支持离线数据和实时在线数据的大数据处理解决***
US9501585B1 (en) * 2013-06-13 2016-11-22 DataRPM Corporation Methods and system for providing real-time business intelligence using search-based analytics engine
CN106600103A (zh) * 2016-11-04 2017-04-26 国网江苏省电力公司 面向规划计划决策的统计数据模型构建方法
CN107133342A (zh) * 2017-05-16 2017-09-05 广州舜飞信息科技有限公司 一种IndexR实时数据分析库
US10109027B1 (en) * 2010-09-01 2018-10-23 Brian T. Stack Database access and community electronic medical records system
CN109597842A (zh) * 2018-12-14 2019-04-09 深圳前海微众银行股份有限公司 数据实时计算方法、装置、设备及计算机可读存储介质
CN109739912A (zh) * 2018-12-19 2019-05-10 国家电网有限公司 数据分析方法及***
CN109947818A (zh) * 2019-03-12 2019-06-28 银清科技(北京)有限公司 基于支付***的数据报表展示方法和装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10109027B1 (en) * 2010-09-01 2018-10-23 Brian T. Stack Database access and community electronic medical records system
CN102801775A (zh) * 2012-04-17 2012-11-28 杭州群核信息技术有限公司 一种实时处理远程监控信息的云计算平台
US9501585B1 (en) * 2013-06-13 2016-11-22 DataRPM Corporation Methods and system for providing real-time business intelligence using search-based analytics engine
CN105677836A (zh) * 2016-01-05 2016-06-15 北京汇商融通信息技术有限公司 一种同时支持离线数据和实时在线数据的大数据处理解决***
CN106600103A (zh) * 2016-11-04 2017-04-26 国网江苏省电力公司 面向规划计划决策的统计数据模型构建方法
CN107133342A (zh) * 2017-05-16 2017-09-05 广州舜飞信息科技有限公司 一种IndexR实时数据分析库
CN109597842A (zh) * 2018-12-14 2019-04-09 深圳前海微众银行股份有限公司 数据实时计算方法、装置、设备及计算机可读存储介质
CN109739912A (zh) * 2018-12-19 2019-05-10 国家电网有限公司 数据分析方法及***
CN109947818A (zh) * 2019-03-12 2019-06-28 银清科技(北京)有限公司 基于支付***的数据报表展示方法和装置

Similar Documents

Publication Publication Date Title
CN110400103B (zh) 补货量确定方法、装置、计算机装置及存储介质
US20210067410A1 (en) Systems and methods for management of cloud computing resources for information systems
Hou et al. How does the trust affect the topology of supply chain network and its resilience? An agent-based approach
Park et al. An analysis of the ripple effect for disruptions occurring in circular flows of a supply chain network
US20170329837A1 (en) Digital analytics system
CN109118296A (zh) 活动推送方法、装置及电子设备
CN111046237B (zh) 用户行为数据处理方法、装置、电子设备及可读介质
CA3007940A1 (en) Systems and methods of utilizing multiple forecast models in forecasting customer demands for products at retail facilities
CN110322093B (zh) 信息处理方法、信息显示方法、装置及计算设备
Pereira et al. An integrative heuristic method for detailed operations scheduling in assembly job shop systems
Mazzuto et al. Supply chain modelling and managing, using timed coloured Petri nets: a case study
Li et al. Optimal batch ordering policies for assembly systems with guaranteed service
Pan et al. A stochastic approximation approach for managing appointments in the presence of unpunctual patients, multiple servers and no-shows
CN110852559A (zh) 资源的分配方法和装置、存储介质、电子装置
CN117035687A (zh) 一种电网业务固定资产流程配置方法、***及计算机存储介质
CN112036631A (zh) 采购量确定方法、装置、设备及存储介质
CN108304591A (zh) 一种标签的定制方法、***及终端设备
CN110717095B (zh) 服务项目的推送方法及装置
CN110489476A (zh) 数据处理方法、***及服务器
CN110930103A (zh) 服务单审核方法及***、介质和计算机***
CN107688581B (zh) 数据模型的处理方法及装置
CN112085566B (zh) 基于智能决策的产品推荐方法、装置及计算机设备
CN113869859A (zh) 事件审批人员的替换方法、装置、终端设备和存储介质
CN108537654B (zh) 客户关系网络图的渲染方法、装置、终端设备及介质
Hung et al. Application extensions from the stochastic capacity rationing decision approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191122

RJ01 Rejection of invention patent application after publication