CN114090583A - 一种跨业务***订单数据分析方法和装置 - Google Patents

一种跨业务***订单数据分析方法和装置 Download PDF

Info

Publication number
CN114090583A
CN114090583A CN202111404947.5A CN202111404947A CN114090583A CN 114090583 A CN114090583 A CN 114090583A CN 202111404947 A CN202111404947 A CN 202111404947A CN 114090583 A CN114090583 A CN 114090583A
Authority
CN
China
Prior art keywords
order data
data
cross
business
database management
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111404947.5A
Other languages
English (en)
Inventor
张鹏
张雄盼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Ltd
Original Assignee
Bank of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Ltd filed Critical Bank of China Ltd
Priority to CN202111404947.5A priority Critical patent/CN114090583A/zh
Publication of CN114090583A publication Critical patent/CN114090583A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/221—Column-oriented storage; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种跨业务***订单数据分析方法和装置，属于大数据，该方法包括：根据业务人员的输入信息，确定订单数据查询任务；将订单数据查询任务分发至不同的业务***，查询获取每个业务***的订单数据；将每个业务***的订单数据聚合为跨***订单数据集合，存入列式数据库管理***；在列式数据库管理***对跨***订单数据集合进行分析，确定跨业务***订单数据分析结果。本发明可以显著提升业务人员进行跨***业务分析效率，能够加快市场反应速度、产品迭代速率、增强产品竞争力。

Description

一种跨业务***订单数据分析方法和装置
技术领域
本发明涉及计算机数据处理技术领域，尤其涉及一种跨业务***订单数据分析方法和装置。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
传统方式中，由于业务人员往往不具备或只具备很少的开发能力，往往使得业务人员在整个开发周期中需要开发人员的帮助，占用了有限的开发资源，拖累整体开发进度。同时，传统的批处理的方法处理时间较长且无法做到关键字搜索等近实时查询；对于基于单一***的搜索方法，则存在查询语言复杂且原生不支持跨业务集群搜索的问题。
因此，如何提供一种新的方案，其能够解决上述技术问题是本领域亟待解决的技术难题。
发明内容
本发明实施例提供一种跨业务***订单数据分析方法，本发明可以显著提升业务人员进行跨***业务分析效率，能够加快市场反应速度、产品迭代速率、增强产品竞争力，包括：
根据业务人员的输入信息，确定订单数据查询任务；
将订单数据查询任务分发至不同的业务***，查询获取每个业务***的订单数据；
将每个业务***的订单数据聚合为跨***订单数据集合，存入列式数据库管理***；
在列式数据库管理***对跨***订单数据集合进行分析，确定跨业务***订单数据分析结果。
本发明实施例还提供一种跨业务***订单数据分析装置，包括：
订单数据查询任务确定模块，用于根据业务人员的输入信息，确定订单数据查询任务；
每个业务***的订单数据获取模块，用于将订单数据查询任务分发至不同的业务***，查询获取每个业务***的订单数据；
跨***订单数据集合聚合模块，用于将每个业务***的订单数据聚合为跨***订单数据集合，存入列式数据库管理***；
跨业务***订单数据分析结果确定模块，用于在列式数据库管理***对跨***订单数据集合进行分析，确定跨业务***订单数据分析结果。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种跨业务***订单数据分析方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述一种跨业务***订单数据分析方法。
本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述一种跨业务***订单数据分析方法。
本发明实施例提供的一种跨业务***订单数据分析方法和装置，包括：首先根据业务人员的输入信息，确定订单数据查询任务；然后将订单数据查询任务分发至不同的业务***，查询获取每个业务***的订单数据；接着将每个业务***的订单数据聚合为跨***订单数据集合，存入列式数据库管理***；最后在列式数据库管理***对跨***订单数据集合进行分析，确定跨业务***订单数据分析结果。本发明实施例将业务人员的输入信息转换为订单数据查询任务，经过任务调度，将转换后的查询任务分发至不同业务***进行查询处理实现跨***，聚合为跨***订单数据集合，存入列式数据库管理***，利用数据分析手段对跨***订单数据集合进行分析，得到跨业务***订单数据分析结果，使业务人员能够快速地进行跨***订单业务数据分析。本发明实施例提供了一种易用、支持关键字搜索、能够跨业务***、近实时的数据分析方法，通过快速的跨业务***订单数据分析与决策，本发明可以显著提升业务人员进行跨***业务分析效率，能够加快市场反应速度、产品迭代速率、增强产品竞争力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例一种跨业务***订单数据分析方法示意图。
图2为本发明实施例一种跨业务***订单数据分析方法的确定订单数据查询任务过程示意图。
图3为本发明实施例一种跨业务***订单数据分析方法的查询获取每个业务***的订单数据过程示意图。
图4为本发明实施例一种跨业务***订单数据分析方法的跨***订单数据集合聚合生成过程示意图。
图5为运行本发明实施的一种跨业务***订单数据分析方法的计算机装置示意图。
图6为本发明实施例一种跨业务***订单数据分析装置示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
本发明属于大数据技术，图1为本发明实施例一种跨业务***订单数据分析方法示意图，如图1所示，本发明实施例提供一种跨业务***订单数据分析方法，本发明可以显著提升业务人员进行跨***业务分析效率，能够加快市场反应速度、产品迭代速率、增强产品竞争力，包括：
步骤101：根据业务人员的输入信息，确定订单数据查询任务；
步骤102：将订单数据查询任务分发至不同的业务***，查询获取每个业务***的订单数据；
步骤103：将每个业务***的订单数据聚合为跨***订单数据集合，存入列式数据库管理***；
步骤104：在列式数据库管理***对跨***订单数据集合进行分析，确定跨业务***订单数据分析结果。
本发明实施例提供的一种跨业务***订单数据分析方法，包括：首先根据业务人员的输入信息，确定订单数据查询任务；然后将订单数据查询任务分发至不同的业务***，查询获取每个业务***的订单数据；接着将每个业务***的订单数据聚合为跨***订单数据集合，存入列式数据库管理***；最后在列式数据库管理***对跨***订单数据集合进行分析，确定跨业务***订单数据分析结果。本发明实施例将业务人员的输入信息转换为订单数据查询任务，经过任务调度，将转换后的查询任务分发至不同业务***进行查询处理实现跨***，聚合为跨***订单数据集合，存入列式数据库管理***，利用数据分析手段对跨***订单数据集合进行分析，得到跨业务***订单数据分析结果，使业务人员能够快速地进行跨***订单业务数据分析。本发明实施例提供了一种易用、支持关键字搜索、能够跨业务***、近实时的数据分析方法，通过快速的跨业务***订单数据分析与决策，本发明可以显著提升业务人员进行跨***业务分析效率，能够加快市场反应速度、产品迭代速率、增强产品竞争力。
在订单数据分析中，当前数据挖掘***普遍基于Spark批处理或ElasticSearch。对于Spark批处理，处理时间较长且无法做到关键字搜索等近实时查询；对于ES，则存在查询语言复杂且原生不支持跨集群搜索。
ElasticSearch是一个开源的分布式、RESTful风格的搜索和数据分析引擎，它的底层是开源库Apache Lucene。ES可属于一个分布式的实时文档存储，每个字段可以被索引与搜索；还属于一个分布式实时分析搜索引擎，能胜任上百个服务节点的扩展，并支持PB级别的结构化或者非结构化数据。
ClickHouse是一个用于联机分析处理的列式数据库。
具体实施本发明实施例提供的一种跨业务***订单数据分析方法时，在一个实施例中，可以包括：
根据业务人员的输入信息，确定订单数据查询任务；
将订单数据查询任务分发至不同的业务***，查询获取每个业务***的订单数据；
将每个业务***的订单数据聚合为跨***订单数据集合，存入列式数据库管理***；
在列式数据库管理***对跨***订单数据集合进行分析，确定跨业务***订单数据分析结果。
上述对跨***订单数据集合进行分析的过程是用适当的统计分析方法对收集来的大量数据进行分析，将它们加以汇总和理解并消化，以求最大化地开发数据的功能，发挥数据的作用。
图2为本发明实施例一种跨业务***订单数据分析方法的确定订单数据查询任务过程示意图，如图2所示，具体实施本发明实施例提供的一种跨业务***订单数据分析方法时，在一个实施例中，根据业务人员的输入信息，确定订单数据查询任务，包括：
步骤201：根据业务人员的输入信息，确定数据查询语言；
步骤202：执行数据查询语言，确定订单数据查询任务。
实施例中，由于业务人员对技术语言的掌握程度不同，因此需要根据业务人员不同方式的输入信息，确定数据查询语言，进而执行数据查询语言，确定订单数据查询任务。
具体实施本发明实施例提供的一种跨业务***订单数据分析方法时，在一个实施例中，当输入信息的生成方式是点选拖曳式操作时，根据业务人员输入的信息，确定数据查询语言，包括：
根据业务人员的点选拖曳式操作对应生成操作指令；
执行操作指令，选择预设置的数据查询方法组合构建数据查询范围；
利用数据查询范围，对应生成数据查询语言。
实施例中，通过页面显示集群中数据的数据结构，对于点选拖曳式操作，用户通过选择预置的数据查询方法组合来构建想要查询的数据范围，具体过程为：首先根据业务人员的点选拖曳式操作对应生成操作指令；然后执行操作指令，选择预设置的数据查询方法组合构建数据查询范围；最后利用数据查询范围，对应生成数据查询语言。
具体实施本发明实施例提供的一种跨业务***订单数据分析方法时，在一个实施例中，当输入信息的生成方式是输入SQL语句时，根据业务人员输入的信息，确定数据查询语言，包括：
分析业务人员输入的SQL语句，确定数据查询范围；
将SQL语句拆分为不可再分的原子功能，利用数据搜索分析引擎实现各原子功能，并进行功能整合，转换为数据查询语言。
实施例中，对于使用SQL语言的业务人员，则接收用户输入的SQL语句，该SQL语句即包含了用户想要实现的数据查询范围，具体过程为：首先分析业务人员输入的SQL语句，确定数据查询范围；然后，将SQL语句拆分为不可再分的原子功能，利用数据搜索分析引擎实现各原子功能，并进行功能整合，转换为数据查询语言。
SQL语言是大部分业务人员熟练掌握的语言，而ES的DSL语言则相对复杂，并且因ES为新兴大数据技术，掌握该种语言的往往是专业技术人员而非业务人员。接收业务人员输入的SQL语句，分析该SQL语句中包含的条件(即想要查询的数据范围)，将其拆分为不可再分的原子功能，继而使用ES的DSL语言实现各原子功能，并进行功能整合，以此实现语言转换。
本方法的底层存储基于ES与ClickHouse。提供SQL语言转换功能以及可视化页面，经过任务调度，将转换后的查询任务分发至不同业务***的ES集群进行处理，随后将结果整合存储入ClickHouse，在ClickHouse之上提供数据分析手段。通过ES与ClickHouse的有机结合，使业务人员能够快速地进行业务数据分析。
本发明对于使用约定进行处理与存储的数据，通过对查询语句的转化与适配、集群间的任务调度，使ElasticSearch与ClickHouse有机结合，构建快速有效的数据挖掘分析方案，只需业务人员在可视化页面上进行点选操作，或只进行SQL语言级别的操作，即可实现多业务平台数据的检索、统计、导出等操作，能够加快市场反应速度、产品迭代速率、增强产品竞争力。
图3为本发明实施例一种跨业务***订单数据分析方法的查询获取每个业务***的订单数据过程示意图，如图3所示，具体实施本发明实施例提供的一种跨业务***订单数据分析方法时，在一个实施例中，将订单数据查询任务分发至不同的业务***，查询获取每个业务***的订单数据，包括：
步骤301：对订单数据查询任务按照业务***进行拆分，生成对应不同业务***的多个订单数据查询子任务；
步骤302：将订单数据查询子任务分发至对应的业务***，查询获取每个业务***的订单数据。
查询获取每个业务***的订单数据的过程，主要包括：首先，对订单数据查询任务按照业务***进行拆分，生成对应不同业务***的多个订单数据查询子任务；然后，将订单数据查询子任务分发至对应的业务***，查询获取每个业务***的订单数据。
本发明实施例中需要聚合多个业务***的订单数据，因此需查询不同业务***ES集群中的数据。该模块对输入命令进行解析，拆分命令为不同集群需要执行的命令，并分发至各集群执行。
图4为本发明实施例一种跨业务***订单数据分析方法的跨***订单数据集合聚合生成过程示意图，如图4所示，具体实施本发明实施例提供的一种跨业务***订单数据分析方法时，在一个实施例中，将每个业务***的订单数据聚合为跨***订单数据集合，存入列式数据库管理***，包括：
步骤401：将每个业务***的订单数据进行格式转换和字段名重映射，确定规范统一的多个业务***的订单数据；
步骤402：将所述规范统一的多个业务***的订单数据进行聚合，以列结构的方式存入列式数据库管理***。
实施例中，跨***订单数据集合的聚合过程，包括：首先将每个业务***的订单数据进行格式转换和字段名重映射，确定规范统一的多个业务***的订单数据；然后，将所述规范统一的多个业务***的订单数据进行聚合，以列结构的方式存入列式数据库管理***。
将不同业务***的ES集群上生成的数据进行整合及进行初步加工，存储入ClickHouse之中；不同集群中数据分别抽取后，需汇总至一处以方便分析处理。若不同集群中数据格式不相同，还需进行数据格式的转换。将不同集群中的数据进行格式转换、字段名重映射，最终进行存储。因为ClickHouse杰出的联机分析(OLAP)性能，该模块以CLickHouse作为底层存储。
为防止不同集群中抽取的数据量超过了本模块的吞吐量，本模块还提供数据缓存功能，具体实施本发明实施例提供的一种跨业务***订单数据分析方法时，在一个实施例中，该方法还包括：将跨***订单数据集合存入列式数据库管理***之前，还包括：
比对跨***订单数据集合的数据量与列式数据库管理***的数据吞吐量最大值；
若跨***订单数据集合的数据量大于列式数据库管理***的数据吞吐量最大值，则将跨***订单数据集合拆分为设定个数的多个有序数据子集存入缓存；其中，每一个有序数据子集的数据量均小于列式数据库管理***的数据吞吐量最大值；
从缓存中按照设定顺序将多个有序数据子集存依次存入列式数据库管理***；
在最后一个有序数据子集存入列式数据库管理***完成后，在列式数据库管理***中将多个有序数据子集合并为跨***订单数据集合。
通过上述数据缓存过程，可以实现防止不同集群中抽取的数据量超过了本模块的吞吐量，将跨***订单数据集合稳定的存入列式数据库管理***。
数据分析时，提供常用统计、数据分析方法，供业务人员页面拖曳式调用对查询结果数据进行处理。
对于业务人员来说，往往不清楚具体该使用哪种统计、分析方法，需通过比对才能选出最适用的方式方法，预置了常用统计、分析等方法，当使用某种方法时，从配置自动生成模块中获取预置参数，继而对数据进行分析。
可视化页面功能，显示各功能模块与数据可视化。
该模块对集群中数据的数据格式、预置的数据加工方法、获取的原始数据、经统计分析加工得到的结果数据进行展示。
数据导出功能，包含MySql、Kafka、HDFS、文本等多种导出方式；该模块预置常用的数据导出方式，如文本、图片、数据库等方式，也预留输出接口，可供其他外部程序调用。
本发明实施例实现了一个易用、支持关键字搜索、能够跨业务***、近实时的数据分析方法，提升市场反应速度、市场决策速度、产品迭代速度。
本方法的底层存储基于ES与ClickHouse。提供SQL语言转换功能以及可视化页面，经过任务调度，将转换后的查询任务分发至不同业务***的ES集群进行处理，随后将结果整合存储入ClickHouse，在ClickHouse之上提供数据分析手段。通过ES与ClickHouse的有机结合，使业务人员能够快速地进行业务数据分析。
本发明对于使用约定进行处理与存储的数据，通过对查询语句的转化与适配、集群间的任务调度，使ElasticSearch与ClickHouse有机结合，构建快速有效的数据挖掘分析方案，只需业务人员在可视化页面上进行点选操作，或只进行SQL语言级别的操作，即可实现多业务平台数据的检索、统计、导出等操作，能够加快市场反应速度、产品迭代速率、增强产品竞争力。
以当前常用的基于批处理的数据分析方法为基准，该***的处理速度快10～100倍，并且支持基于关键字搜索的准实时处理，通过快速订单数据分析与决策，本发明可以显著提升业务人员进行业务分析效率，能够加快市场反应速度、产品迭代速率、增强产品竞争力。
下面结合具体场景，对本发明实施例提供的一种跨业务***订单数据分析方法进行简要描述：
本专利旨在实现一个易用、支持关键字搜索、能够跨业务***、近实时的数据分析***，提升市场反应速度、市场决策速度、产品迭代速度。
本方法和装置底层存储基于ES与ClickHouse。提供SQL语言转换功能以及可视化页面，经过任务调度，将转换后的查询任务分发至不同业务***的ES集群进行处理，随后将结果整合存储入ClickHouse，在ClickHouse之上提供数据分析手段。通过ES与ClickHouse的有机结合，使业务人员能够快速地进行业务数据分析。
本发明对于使用约定进行处理与存储的数据，通过对查询语句的转化与适配、集群间的任务调度，使ElasticSearch与ClickHouse有机结合，构建快速有效的数据挖掘分析方案，只需业务人员在可视化页面上进行点选操作，或只进行SQL语言级别的操作，即可实现多业务平台数据的检索、统计、导出等操作，能够加快市场反应速度、产品迭代速率、增强产品竞争力。SQL语言或页面操作解析转换为ES的查询语言；跨集群的任务调度分发***；多集群数据的整合与加工。
本发明实施还提供一种跨业务***订单数据分析方法的模块化实例，包括：
语言转换模块：将SQL语言或页面操作转换为ES的查询语言；
(1)SQL语言是大部分业务人员熟练掌握的语言，而ES的DSL语言则相对复杂，并且因ES为新兴大数据技术，掌握该种语言的往往是专业技术人员而非业务人员。
(2)该模块接收业务人员输入的SQL语句，分析该SQL语句中包含的条件(即想要查询的数据范围)，将其拆分为不可再分的原子功能，继而使用ES的DSL语言实现各原子功能，并进行功能整合，以此实现语言转换。
任务调度分发模块：将语言转换模块生成的任务分发至不同业务***的ES集群之上；
(1)方案中需要聚合多个业务***的订单数据，因此需查询不同业务***ES集群中的数据。
(2)该模块对输入命令进行解析，拆分命令为不同集群需要执行的命令，并分发至各集群执行。
数据整合存储模块：将不同业务***的ES集群上生成的数据进行整合及进行初步加工，存储入ClickHouse之中；
(1)不同集群中数据分别抽取后，需汇总至一处以方便分析处理。若不同集群中数据格式不相同，还需进行数据格式的转换。
(2)该模块负责将不同集群中的数据进行格式转换、字段名重映射，最终进行存储。为防止不同集群中抽取的数据量超过了本模块的吞吐量，本模块还提供数据缓存功能。因为ClickHouse杰出的联机分析(OLAP)性能，该模块以CLickHouse作为底层存储。
数据分析模块：提供常用统计、数据分析方法，供业务人员页面拖曳式调用对查询结果数据进行处理。
(1)对于业务人员来说，往往不清楚具体该使用哪种统计、分析方法，需通过比对才能选出最适用的方式方法。
(2)该模块预置了常用统计、分析等方法，当使用某种方法时，从配置自动生成模块中获取预置参数，继而对数据进行分析。
可视化页面模块：显示各功能模块与数据可视化。
该模块对集群中数据的数据格式、预置的数据加工方法、获取的原始数据、经统计分析加工得到的结果数据进行展示。
数据导出模块：包含MySql、Kafka、HDFS、文本等多种导出方式
该模块预置常用的数据导出方式，如文本、图片、数据库等方式，也预留输出接口，可供其他外部程序调用。
上述一种跨业务***订单数据分析方法的模块化实例的执行过程，包括：
1.可视化操作页面接收操作人员在***页面上的操作或输入的SQL语句等数据；(页面显示ES集群中数据的数据结构，对于点选拖曳式操作，用户通过选择预置的数据查询方法组合来构建想要查询的数据范围；对于使用SQL语言的业务人员，则接收用户输入的SQL语句，该SQL语句即包含了用户想要实现的数据查询范围)
2.语言转换模块接收第1步的数据进行语言转换；(步骤1或2实现的功能都是通过限定条件，从ES集群中获取到满足条件的数据，取出该数据后，数据被暂存到某处(如数据库、文件)，供步骤4进行使用)
3.任务调度分发模块接收第2步的数据进行任务分解并分发至不同业务***的ES集群中；
4.数据整合存储模块接收第3步中不同ES集群产生的数据进行整合及初步加工，并将数据存储入ClickHouse中；
5.数据分析模块接收第4步的数据并进行数据分析与展示；
SQL语言或页面操作解析转换为ES的查询语言；跨集群的任务调度分发***；多集群数据的整合与加工。最优方案增加了数据缓存***。如业务***ES集群中产生的数据量过大，超过了ClickHouse的写入速度，引入缓存***后可解决数据量不匹配造成的数据丢失的问题。
关键点：SQL语言或页面操作解析转换为ES的查询语言；跨集群的任务调度分发***；多集群数据的整合与加工。以当前常用的基于批处理的数据分析方法为基准，该***的处理速度快10～100倍，并且支持基于关键字搜索的准实时处理，通过快速订单数据分析与决策，本发明可以显著提升业务人员进行业务分析效率，能够加快市场反应速度、产品迭代速率、增强产品竞争力。
图5为运行本发明实施的一种跨业务***订单数据分析方法的计算机装置示意图，如图5所示，本发明实施例还提供一种计算机设备500，包括存储器510、处理器520及存储在存储器上并可在处理器上运行的计算机程序530，所述处理器执行所述计算机程序时实现上述一种跨业务***订单数据分析方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述一种跨业务***订单数据分析方法。
本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述一种跨业务***订单数据分析方法。
本发明实施例中还提供了一种跨业务***订单数据分析装置，如下面的实施例所述。由于该装置解决问题的原理与一种跨业务***订单数据分析方法相似，因此该装置的实施可以参见一种跨业务***订单数据分析方法的实施，重复之处不再赘述。
图6为本发明实施例一种跨业务***订单数据分析装置示意图，如图6所示，本发明实施例还提供一种跨业务***订单数据分析装置，具体实施时可以包括：
订单数据查询任务确定模块601，用于根据业务人员的输入信息，确定订单数据查询任务；
每个业务***的订单数据获取模块602，用于将订单数据查询任务分发至不同的业务***，查询获取每个业务***的订单数据；
跨***订单数据集合聚合模块603，用于将每个业务***的订单数据聚合为跨***订单数据集合，存入列式数据库管理***；
跨业务***订单数据分析结果确定模块604，用于在列式数据库管理***对跨***订单数据集合进行分析，确定跨业务***订单数据分析结果。
具体实施本发明实施例提供的一种跨业务***订单数据分析装置时，在一个实施例中，订单数据查询任务确定模块，具体用于：
根据业务人员的输入信息，确定数据查询语言；
执行数据查询语言，确定订单数据查询任务。
具体实施本发明实施例提供的一种跨业务***订单数据分析装置时，在一个实施例中，当输入信息的生成方式是点选拖曳式操作时，订单数据查询任务确定模块，用于：
根据业务人员的点选拖曳式操作对应生成操作指令；
执行操作指令，选择预设置的数据查询方法组合构建数据查询范围；
利用数据查询范围，对应生成数据查询语言。
具体实施本发明实施例提供的一种跨业务***订单数据分析装置时，在一个实施例中，当输入信息的生成方式是输入SQL语句时，订单数据查询任务确定模块，用于：
分析业务人员输入的SQL语句，确定数据查询范围；
将SQL语句拆分为不可再分的原子功能，利用数据搜索分析引擎实现各原子功能，并进行功能整合，转换为数据查询语言。
具体实施本发明实施例提供的一种跨业务***订单数据分析装置时，在一个实施例中，每个业务***的订单数据获取模块，具体用于：
对订单数据查询任务按照业务***进行拆分，生成对应不同业务***的多个订单数据查询子任务；
将订单数据查询子任务分发至对应的业务***，查询获取每个业务***的订单数据。
具体实施本发明实施例提供的一种跨业务***订单数据分析装置时，在一个实施例中，跨***订单数据集合聚合模块，具体用于：
将每个业务***的订单数据进行格式转换和字段名重映射，确定规范统一的多个业务***的订单数据；
将所述规范统一的多个业务***的订单数据进行聚合，以列结构的方式存入列式数据库管理***。
具体实施本发明实施例提供的一种跨业务***订单数据分析装置时，在一个实施例中，将跨***订单数据集合存入列式数据库管理***之前，跨***订单数据集合聚合模块，还用于：
比对跨***订单数据集合的数据量与列式数据库管理***的数据吞吐量最大值；
若跨***订单数据集合的数据量大于列式数据库管理***的数据吞吐量最大值，则将跨***订单数据集合拆分为设定个数的多个有序数据子集存入缓存；其中，每一个有序数据子集的数据量均小于列式数据库管理***的数据吞吐量最大值；
从缓存中按照设定顺序将多个有序数据子集存依次存入列式数据库管理***；
在最后一个有序数据子集存入列式数据库管理***完成后，在列式数据库管理***中将多个有序数据子集合并为跨***订单数据集合。
综上，本发明实施例提供的一种跨业务***订单数据分析方法和装置，包括：首先根据业务人员的输入信息，确定订单数据查询任务；然后将订单数据查询任务分发至不同的业务***，查询获取每个业务***的订单数据；接着将每个业务***的订单数据聚合为跨***订单数据集合，存入列式数据库管理***；最后在列式数据库管理***对跨***订单数据集合进行分析，确定跨业务***订单数据分析结果。本发明实施例将业务人员的输入信息转换为订单数据查询任务，经过任务调度，将转换后的查询任务分发至不同业务***进行查询处理实现跨***，聚合为跨***订单数据集合，存入列式数据库管理***，利用数据分析手段对跨***订单数据集合进行分析，得到跨业务***订单数据分析结果，使业务人员能够快速地进行跨***订单业务数据分析。本发明实施例提供了一种易用、支持关键字搜索、能够跨业务***、近实时的数据分析方法，通过快速的跨业务***订单数据分析与决策，本发明可以显著提升业务人员进行跨***业务分析效率，能够加快市场反应速度、产品迭代速率、增强产品竞争力。
本发明实施例实现了一个易用、支持关键字搜索、能够跨业务***、近实时的数据分析方法，提升市场反应速度、市场决策速度、产品迭代速度。
本方法的底层存储基于ES与ClickHouse。提供SQL语言转换功能以及可视化页面，经过任务调度，将转换后的查询任务分发至不同业务***的ES集群进行处理，随后将结果整合存储入ClickHouse，在ClickHouse之上提供数据分析手段。通过ES与ClickHouse的有机结合，使业务人员能够快速地进行业务数据分析。
本发明对于使用约定进行处理与存储的数据，通过对查询语句的转化与适配、集群间的任务调度，使ElasticSearch与ClickHouse有机结合，构建快速有效的数据挖掘分析方案，只需业务人员在可视化页面上进行点选操作，或只进行SQL语言级别的操作，即可实现多业务平台数据的检索、统计、导出等操作，能够加快市场反应速度、产品迭代速率、增强产品竞争力。
以当前常用的基于批处理的数据分析方法为基准，该***的处理速度快10～100倍，并且支持基于关键字搜索的准实时处理，通过快速订单数据分析与决策，本发明可以显著提升业务人员进行业务分析效率，能够加快市场反应速度、产品迭代速率、增强产品竞争力。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (17)

1.一种跨业务***订单数据分析方法，其特征在于，包括：
根据业务人员的输入信息，确定订单数据查询任务；
将订单数据查询任务分发至不同的业务***，查询获取每个业务***的订单数据；
将每个业务***的订单数据聚合为跨***订单数据集合，存入列式数据库管理***；
在列式数据库管理***对跨***订单数据集合进行分析，确定跨业务***订单数据分析结果。
2.如权利要求1所述的方法，其特征在于，根据业务人员的输入信息，确定订单数据查询任务，包括：
根据业务人员的输入信息，确定数据查询语言；
执行数据查询语言，确定订单数据查询任务。
3.如权利要求2所述的方法，其特征在于，当输入信息的生成方式是点选拖曳式操作时，根据业务人员输入的信息，确定数据查询语言，包括：
根据业务人员的点选拖曳式操作对应生成操作指令；
执行操作指令，选择预设置的数据查询方法组合构建数据查询范围；
利用数据查询范围，对应生成数据查询语言。
4.如权利要求2所述的方法，其特征在于，当输入信息的生成方式是输入SQL语句时，根据业务人员输入的信息，确定数据查询语言，包括：
分析业务人员输入的SQL语句，确定数据查询范围；
将SQL语句拆分为不可再分的原子功能，利用数据搜索分析引擎实现各原子功能，并进行功能整合，转换为数据查询语言。
5.如权利要求1所述的方法，其特征在于，将订单数据查询任务分发至不同的业务***，查询获取每个业务***的订单数据，包括：
对订单数据查询任务按照业务***进行拆分，生成对应不同业务***的多个订单数据查询子任务；
将订单数据查询子任务分发至对应的业务***，查询获取每个业务***的订单数据。
6.如权利要求1所述的方法，其特征在于，将每个业务***的订单数据聚合为跨***订单数据集合，存入列式数据库管理***，包括：
将每个业务***的订单数据进行格式转换和字段名重映射，确定规范统一的多个业务***的订单数据；
将所述规范统一的多个业务***的订单数据进行聚合，以列结构的方式存入列式数据库管理***。
7.如权利要求1所述的方法，其特征在于，还包括：将跨***订单数据集合存入列式数据库管理***之前，还包括：
比对跨***订单数据集合的数据量与列式数据库管理***的数据吞吐量最大值；
若跨***订单数据集合的数据量大于列式数据库管理***的数据吞吐量最大值，则将跨***订单数据集合拆分为设定个数的多个有序数据子集存入缓存；其中，每一个有序数据子集的数据量均小于列式数据库管理***的数据吞吐量最大值；
从缓存中按照设定顺序将多个有序数据子集存依次存入列式数据库管理***；
在最后一个有序数据子集存入列式数据库管理***完成后，在列式数据库管理***中将多个有序数据子集合并为跨***订单数据集合。
8.一种跨业务***订单数据分析装置，其特征在于，包括：
订单数据查询任务确定模块，用于根据业务人员的输入信息，确定订单数据查询任务；
每个业务***的订单数据获取模块，用于将订单数据查询任务分发至不同的业务***，查询获取每个业务***的订单数据；
跨***订单数据集合聚合模块，用于将每个业务***的订单数据聚合为跨***订单数据集合，存入列式数据库管理***；
跨业务***订单数据分析结果确定模块，用于在列式数据库管理***对跨***订单数据集合进行分析，确定跨业务***订单数据分析结果。
9.如权利要求8所述的装置，其特征在于，订单数据查询任务确定模块，具体用于：
根据业务人员的输入信息，确定数据查询语言；
执行数据查询语言，确定订单数据查询任务。
10.如权利要求9所述的装置，其特征在于，当输入信息的生成方式是点选拖曳式操作时，订单数据查询任务确定模块，用于：
根据业务人员的点选拖曳式操作对应生成操作指令；
执行操作指令，选择预设置的数据查询方法组合构建数据查询范围；
利用数据查询范围，对应生成数据查询语言。
11.如权利要求9所述的装置，其特征在于，当输入信息的生成方式是输入SQL语句时，订单数据查询任务确定模块，用于：
分析业务人员输入的SQL语句，确定数据查询范围；
将SQL语句拆分为不可再分的原子功能，利用数据搜索分析引擎实现各原子功能，并进行功能整合，转换为数据查询语言。
12.如权利要求8所述的装置，其特征在于，每个业务***的订单数据获取模块，具体用于：
对订单数据查询任务按照业务***进行拆分，生成对应不同业务***的多个订单数据查询子任务；
将订单数据查询子任务分发至对应的业务***，查询获取每个业务***的订单数据。
13.如权利要求8所述的装置，其特征在于，跨***订单数据集合聚合模块，具体用于：
将每个业务***的订单数据进行格式转换和字段名重映射，确定规范统一的多个业务***的订单数据；
将所述规范统一的多个业务***的订单数据进行聚合，以列结构的方式存入列式数据库管理***。
14.如权利要求8所述的装置，其特征在于，将跨***订单数据集合存入列式数据库管理***之前，跨***订单数据集合聚合模块，还用于：
比对跨***订单数据集合的数据量与列式数据库管理***的数据吞吐量最大值；
若跨***订单数据集合的数据量大于列式数据库管理***的数据吞吐量最大值，则将跨***订单数据集合拆分为设定个数的多个有序数据子集存入缓存；其中，每一个有序数据子集的数据量均小于列式数据库管理***的数据吞吐量最大值；
从缓存中按照设定顺序将多个有序数据子集存依次存入列式数据库管理***；
在最后一个有序数据子集存入列式数据库管理***完成后，在列式数据库管理***中将多个有序数据子集合并为跨***订单数据集合。
15.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述方法。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至7任一所述方法。
17.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现权利要求1至7任一所述方法。
CN202111404947.5A 2021-11-24 2021-11-24 一种跨业务***订单数据分析方法和装置 Pending CN114090583A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111404947.5A CN114090583A (zh) 2021-11-24 2021-11-24 一种跨业务***订单数据分析方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111404947.5A CN114090583A (zh) 2021-11-24 2021-11-24 一种跨业务***订单数据分析方法和装置

Publications (1)

Publication Number Publication Date
CN114090583A true CN114090583A (zh) 2022-02-25

Family

ID=80304070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111404947.5A Pending CN114090583A (zh) 2021-11-24 2021-11-24 一种跨业务***订单数据分析方法和装置

Country Status (1)

Country Link
CN (1) CN114090583A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117035946A (zh) * 2023-10-09 2023-11-10 深圳依时货拉拉科技有限公司 订单分流方法、装置、计算机设备及计算机可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117035946A (zh) * 2023-10-09 2023-11-10 深圳依时货拉拉科技有限公司 订单分流方法、装置、计算机设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
Begoli et al. Design principles for effective knowledge discovery from big data
CN109582647B (zh) 一种面向非结构化证据文件的分析方法及***
US20180165386A1 (en) Chaining analytic models in tenant-specific space for a cloud-based architecture
CN112286957B (zh) 基于结构化查询语言的bi***的api应用方法及***
CN114416855A (zh) 一种基于电力大数据的可视化平台及方法
CN111414380A (zh) 一种中文数据库sql语句生成方法、设备及存储介质
CN113741883B (zh) 一种rpa轻量级数据中台***
Bala et al. P-ETL: Parallel-ETL based on the MapReduce paradigm
CN102446167B (zh) 一种基于逻辑模板对复杂字符串逻辑处理的方法和装置
CN114036183A (zh) 一种数据etl处理方法、装置、设备及介质
Yu et al. Design and implementation of curriculum system based on knowledge graph
CN114090583A (zh) 一种跨业务***订单数据分析方法和装置
TWI436222B (zh) Real - time multi - dimensional analysis system and method on cloud
Fisher et al. Tempe: an interactive data science environment for exploration of temporal and streaming data
US8918410B2 (en) System and method for fast identification of variable roles during initial data exploration
Almeida et al. A comprehensive overview of open source big data platforms and frameworks
CN115857918A (zh) 数据处理方法、装置、电子设备及存储介质
Lushbough et al. BioExtract server—an integrated workflow-enabling system to access and analyze heterogeneous, distributed biomolecular data
US20180189701A1 (en) Distributed cache cleanup for analytic instance runs processing operating data from industrial assets
Stahr et al. Design and implementation knowledge graph for curriculum system in university
US11822566B2 (en) Interactive analytics workflow with integrated caching
US11762874B2 (en) Interactive workflow for data analytics
CN114003620A (zh) 一种业务数据分析装置及其工作方法
Byelas et al. Introducing Data Provenance and Error Handling for NGS Workflows within the MOLGENIS Computational Framework.
Guo Research on Big Data Analysis and Prediction System Based on Deep Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination