CN114722075A - 数据流处理方法及装置、服务器、存储介质 - Google Patents

数据流处理方法及装置、服务器、存储介质 Download PDF

Info

Publication number
CN114722075A
CN114722075A CN202110003316.6A CN202110003316A CN114722075A CN 114722075 A CN114722075 A CN 114722075A CN 202110003316 A CN202110003316 A CN 202110003316A CN 114722075 A CN114722075 A CN 114722075A
Authority
CN
China
Prior art keywords
path
paths
information
final
scheduling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110003316.6A
Other languages
English (en)
Inventor
蒲承祖
刘毅
袁鲲
张康
樊昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Group Shandong Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Group Shandong Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Group Shandong Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202110003316.6A priority Critical patent/CN114722075A/zh
Publication of CN114722075A publication Critical patent/CN114722075A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24568—Data stream processing; Continuous queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供一种数据流处理方法及装置、服务器、存储介质，其中数据流处理方法包括获取来源表的信息和最终表的信息，并将所述来源表的信息和最终表的信息记录到初始化表中，获取所述初始化表中的具有第一标志位的目标最终表，根据数据流向树获取由所述来源表到所述目标最终表的所有路径，分别计算所述所有路径的路径消耗值，并将所有路径的路径消耗值中的最小值对应的路径作为最优路径。通过路径优化算法选择资源消耗较小的路径作为数据通道，减少了资源的消耗，提升了***运行效率。

Description

数据流处理方法及装置、服务器、存储介质
技术领域
本申请涉及通信技术领域，尤其涉及一种数据流处理方法及装置、服务器、存储介质。
背景技术
目前运营商现有数据分析***的数据流处理通常采用人工写程序的方式完成，同一个任务的数据流程序，由于个人的能力、经验等差异，其质量亦参差不齐，使得***数据流整体处于一种无序混乱的状态，随着数据源的增加，数据流的不断增多，这个问题将日益突出，会引发越来越多的数据问题，当问题出现时，问题的定位和处理也更加困难，不仅耗费工作量，同时增加了***风险。
发明内容
本申请实施例提供一种数据流处理方法及装置、服务器、存储介质，其中通过数据流处理方法通过路径优化算法选择资源消耗较小的路径作为数据通道，减少了资源的消耗，提升了***运行效率。
第一方面，本申请实施例提供一种数据流处理方法，包括：
获取来源表的信息和最终表的信息，并将所述来源表的信息和最终表的信息记录到初始化表中；
获取所述初始化表中的具有第一标志位的目标最终表，根据数据流向树获取由所述来源表到所述目标最终表的所有路径；以及
分别计算所述所有路径的路径消耗值，并将所有路径的路径消耗值中的最小值对应的路径作为最优路径。
进一步地，计算一个路径的路径消耗值的过程包括：
获取所述路径的指标信息，所述指标信息包括节点数A、路径深度B和耗费资源的值C；
并根据以下第一公式计算所述路径的路径消耗值：
L＝(A*W1)+(B*W2)+(C*W3)
其中，L表示路径的路径消耗值，W1表示所述节点数对应的权重值、W2表示所述路径深度对应的权重值，W3表示所述耗费资源对应的权重值。
进一步地，在所述将将所有路径的路径消耗值中的最小值对应的路径作为最优路径后，还包括：
将所述最优路径的血缘关系保存在数据流向关系表后生成可执行程序，并将所述初始化表中的所述目标最终表的所述第一标志位改为第二标志位。
进一步地，所述方法还包括：
在程序调度过程中，获取调度失败的最终表的信息，并获取得到所述调度失败的最终表的所有路径；
计算所述调度失败的最终表的所有路径的路径消耗值，并将所有路径的路径消耗值中的最小值对应的路径作为所述调度失败的最终表的最优路径；以及
将所述最优路径的血缘关系保存在数据流向关系表后生成可执行的程序，并执行所述可执行程序。
进一步地，在所述获取调度失败的最终表的信息，并获取得到所述调度失败的最终表的所有路径之后，还包括：
删除所述调度失败的最终表的所有路径中的当前调度失败路径。
进一步地，在所述获取调度失败的最终表的信息，并获取得到所述调度失败的最终表的所有路径之后，还包括：
为所述调度失败的最终表的所有路径中的当前调度失败路径设置不可执行标签，并生成相应的告警信息。
第二方面，本申请实施例还提供一种数据流处理装置，包括：
处理器和存储器，所述存储器用于存储至少一条指令，所述指令由所述处理器加载并执行时以实现第一方面提供的数据流处理方法。
第三方面，本申请实施例还提供一种服务器，该服务器包括第二方面提供的数据流处理装置。
第四方面，本申请实施例还提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面提供的数据流处理方法。
通过上述技术方案，获取来源表的信息和最终表的信息，并将所述来源表的信息和最终表的信息记录到初始化表中，获取所述初始化表中的具有第一标志位的目标最终表，根据数据流向树获取由所述来源表到所述目标最终表的所有路径，分别计算所述所有路径的路径消耗值，并将所有路径的路径消耗值中的最小值对应的路径作为最优路径。通过路径优化算法选择资源消耗较小的路径作为数据通道，减少了资源的消耗，提升了***运行效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一个实施例提供的程序创建流程示意图；
图2为本申请一个实施例提供的数据流处理模型的架构图；
图3为本申请一个实施例提供的数据流管控方法的流程示意图；
图4为本申请一个实施例提供的血缘关系的示例图；
图5为本申请一个实施例提供的路径示例图；
图6为本申请一个实施例提供的调度容错处理流程图；
图7为本申请一个实施例提供的数据流处理装置的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本申请一个实施例提供的程序创建流程示意图，如图1所示，程序创建包括以下步骤：
步骤101：将最终表和对应的来源表信息记录到数据流向树中，并为所述最终表设置第一标志位(标志位为0)；
步骤102：获取来源表信息，遍历数据流向树，构造完整数据流信息。
步骤103：将最终表字段信息在业务元数据库中进行遍历，获取维度字段、指标字段。
步骤104：查询指标集获取指标字段对应的算法及代码。
步骤105：根据数据流信息、最终表维度字段信息以及指标算法创建程序，并将该最终表的标志位改为第二标志位(标志位为1)。
其中，上述第一标志位(标志位为0)表示当前状态为程序未创建，上述第二标志位(标志位为1)表示当前状态为程序已创建。
基于图1所示实施例提供程序创建流程，提供一种数据流自迭代优化方法，该方法可以通过不断优化整个数据流，提升程序运行效率并降低数据流复杂度，具体地，可以提供相应的数据流处理模型，图2为本申请一个实施例提供的数据流处理模型的架构图，如图2所示，该数据流处理模型采用维度建模，纵向划分为三层结构，数据流下至上流动，即，数据流由基础层流动到仓库层，最后流动到集市层。
如图2所示，整个数据流模型由基础层、仓库层、集市层构成，该基础层根据接口规范接入原始数据，确定事实实体。该仓库层由维度实体(记录维度信息数据)与实时实体(记录指标数据)构成。该集市层根据业务需求确定事实实体。
该数据流模型通过明确各自边界及职责来避免数据流的无序、混乱等问题的发生，同时限制了整个数据流的深度，有效降低数据流的复杂性，解决***演进过程中由于数据流过于复杂引起的数据问题不易定位、不易处理的问题，减少运维人员的工作量。
进一步地，该数据流自迭代优化方法中还提供相应的路径优化方式，具体可以根据数据流的深度与每个接电耗费资源的情况下选取一个最优路径，具体地本申请还提供一种数据流管控方法，图3为本申请一个实施例提供的数据流管控方法的流程示意图，如图3所示该数据流管控方法包括以下步骤：
步骤301：获取来源表的信息和最终表的信息，并将所述来源表的信息和最终表的信息记录到初始化表中。
其中，该初始化表可以如表一所示:
表一
表名 来源表 标志位
最终表1 来源表1 0
最终表1 来源表2 0
最终表1 来源表3 0
下面先对相应术语进行简单说明：
来源表：是指接入数据的表，属于基础层。
中间表：是指完成计算和处理业务逻辑的表，属于仓库层。
最终表：是指结果存放的表，属于集市层。
数据表的血缘关系：是指以数据表中的数据来源表作为起点，以数据表自身作为终点，按照表之间的数据流向构建的关系。以图4为例，将源表1，2的数据抽取到中间表1，源表3的数据抽取到中间表2，中间表1，2的数据经过处理计算抽取到最终表1。即以源表1,2,3作为起始点，以最终表1作为终点，按照数据流向逐层扩展，形成图3所示的最终表1的血缘关系。
步骤302：获取所述初始化表中的具有第一标志位的目标最终表，根据数据流向树获取由所述来源表到所述目标最终表的所有路径。
图5为本申请一个实施例提供的路径示例图，如图5所示，来源表到所述目标最终表的所有路径包括第一路径和第二路径，其中，该第一路径为将来源表1和来源表2的数据抽取到中间表1，将来源表3的数据抽取到中间表2，进而中间表1和中间表2的数据经过处理计算后抽取到最终表1。即以看来源表1,2,3作为起始点，以最终表1作为终点。该第二路径为将来源表1中的数据抽取到中间表1中，中间表1中的数据经过处理计算后抽取到中间表3中，将来源表2和来源表3的数据抽取到中间表2中，进而中间表2和中间表3的数据经过处理计算后抽取到最终表1。同样的是以来源表1,2,3作为起始点，以最终表1作为终点。
步骤303：分别计算所述所有路径的路径消耗值，并将所有路径的路径消耗值中的最小值对应的路径作为最优路径。
其中，计算一个路径的路径消耗值的过程包括：
获取该目标路径的指标信息，该指标信息包括该目标路径的节点数A、路径深度B和耗费资源的值C；
并根据以下第一公式计算所述路径的路径消耗值：
L＝(A*W1)+(B*W2)+(C*W3)……第一公式
其中，L表示路径的路径消耗值，W1表示所述节点数对应的权重值、W2表示所述路径深度对应的权重值，W3表示所述耗费资源对应的权重值。
举例来说，目标最终表(最终表1)的所有路径包括图5所示的第一路径和第二路径，进而可以确定最终表1的第一路径和第二路径的指标信息如表二所示：
表二
表名 路径 节点数(A1) 路径深度(B1) 耗费资源(C1)
最终表1 第一路径 6 2 10
最终表1 第二路径 7 3 8
进而可以通过上述第一公式计算得到最终表1的第一路径的路径消耗值L1:
L1＝(6*W1)+(2*W2)+(10*W3)
进一步通过上述第一公式计算得到最终表1的第二路径的路径消耗值L2:
L2＝(6*W1)+(2*W2)+(10*W3)
根据上述计算结果，在最终表1的第一路径的路径消耗值L1和最终表1的第二路径的路径消耗值L2中选取最小值，若L1＜L2，则将第二路径作为最终表1的最优路径。
步骤304：将所述最优路径的血缘关系保存在数据流向关系表后生成可执行程序，并将所述初始化表中的所述目标最终表的所述第一标志位改为第二标志位。
其中，保存最优路径的血缘关系的数据流向关系表如表三所示：
表三
分类 表名 来源表
集市层 最终表1 中间表1
集市层 最终表1 中间表2
仓库层 中间表1 源表1
仓库层 中间表1 源表2
仓库层 中间表2 源表3
基础层 源表1
基础层 源表2
基础层 源表3
通过维度建模与路径优化算法结合实现数据流自迭代，解决***演进过程中由于数据流过于复杂引起的数据问题不易定位、不易处理的问题，降低***复杂度，提升***运行效率，减少人工投入。
进而可以在业务元数据表(如表四)中获取最终表1及中间表的字段及算法信息构造代码，生成可执行的程序，并将初始化表中标志位置位改为1。
表四
Figure BDA0002882442100000051
生成代码：
INSERT INTO最终表1
SELECT字段A，SUM(字段C*字段D)
FROM中间表1，中间表2
GROUP BY字段A
本申实施例还提供的数据流处理方法还包括在程序调度过程中的调度容错处理方法，图6为本申请一个实施例提供的调度容错处理流程图，如图6所示，该调度容错处理包括以下操作步骤：
步骤601：在程序调度过程中，获取调度失败的最终表的信息，并获取得到所述调度失败的最终表的所有路径。
步骤602：删除所述调度失败的最终表的所有路径中的当前调度失败路径。
在本实施例中，还可以在获取调度失败的最终表的信息，并获取得到所述调度失败的最终表的所有路径之后，为所述调度失败的最终表的所有路径中的当前调度失败路径设置不可执行标签，并生成相应的告警信息。
步骤603：计算所述调度失败的最终表的所有路径的路径消耗值，并将所有路径的路径消耗值中的最小值对应的路径作为所述调度失败的最终表的最优路径。
步骤604：将所述最优路径的血缘关系保存在数据流向关系表后生成可执行的程序，并执行该程序。
通过数据流向树实现调度容错处理，解决任务调度过程中由于数据流中间节点问题导致任务失败的问题，提高***容错性。
图7为本申请实施例提供的本申请一个实施例提供的数据流处理装置的结构示意图，如图7所示，该装置包括：处理器701和存储器702，所述存储器702用于存储至少一条指令，所述指令由所述处理器701加载并执行时以实现以下步骤操作：
获取来源表的信息和最终表的信息，并将所述来源表的信息和最终表的信息记录到初始化表中；
获取所述初始化表中的具有第一标志位的目标最终表，根据数据流向树获取由所述来源表到所述目标最终表的所有路径；以及
分别计算所述所有路径的路径消耗值，并将所有路径的路径消耗值中的最小值对应的路径作为最优路径。
进一步地，计算一个路径的路径消耗值的过程包括：
获取所述路径的指标信息，所述指标信息包括节点数A、路径深度B和耗费资源的值C；
并根据以下第一公式计算所述路径的路径消耗值：
L＝(A*W1)+(B*W2)+(C*W3)
其中，L表示路径的路径消耗值，W1表示所述节点数对应的权重值、W2表示所述路径深度对应的权重值，W3表示所述耗费资源对应的权重值。
进一步地，在所述将将所有路径的路径消耗值中的最小值对应的路径作为最优路径后，还包括：
将所述最优路径的血缘关系保存在数据流向关系表后生成可执行程序，并将所述初始化表中的所述目标最终表的所述第一标志位改为第二标志位。
进一步地，所述方法还包括：
在程序调度过程中，获取调度失败的最终表的信息，并获取得到所述调度失败的最终表的所有路径；
计算所述调度失败的最终表的所有路径的路径消耗值，并将所有路径的路径消耗值中的最小值对应的路径作为所述调度失败的最终表的最优路径；以及
将所述最优路径的血缘关系保存在数据流向关系表后生成可执行的程序，并执行所述可执行程序。
进一步地，在所述获取调度失败的最终表的信息，并获取得到所述调度失败的最终表的所有路径之后，还包括：
删除所述调度失败的最终表的所有路径中的当前调度失败路径。
进一步地，在所述获取调度失败的最终表的信息，并获取得到所述调度失败的最终表的所有路径之后，还包括：
为所述调度失败的最终表的所有路径中的当前调度失败路径设置不可执行标签，并生成相应的告警信息。
本申请实施例还提供一种服务器，该服务器可以包括图7所示实施例提供的数据流处理装置。
本申请实施例还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例提供的数据流处理方法。
可以理解的是，所述应用可以是安装在终端上的应用程序(nativeApp)，或者还可以是终端上的浏览器的一个网页程序(webApp)，本发明实施例对此不进行限定。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(Processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (9)

1.一种数据流处理方法，其特征在于，所述方法包括：
获取来源表的信息和最终表的信息，并将所述来源表的信息和最终表的信息记录到初始化表中；
获取所述初始化表中的具有第一标志位的目标最终表，根据数据流向树获取由所述来源表到所述目标最终表的所有路径；以及
分别计算所述所有路径的路径消耗值，并将所有路径的路径消耗值中的最小值对应的路径作为最优路径。
2.根据权利要求1所述的方法，其特征在于，计算一个路径的路径消耗值的过程包括：
获取所述路径的指标信息，所述指标信息包括节点数A、路径深度B和耗费资源的值C；
并根据以下第一公式计算所述路径的路径消耗值：
L＝(A*W1)+(B*W2)+(C*W3)
其中，L表示路径的路径消耗值，W1表示所述节点数对应的权重值、W2表示所述路径深度对应的权重值，W3表示所述耗费资源对应的权重值。
3.根据权利要求1所述的方法，其特征在于，在所述将将所有路径的路径消耗值中的最小值对应的路径作为最优路径后，还包括：
将所述最优路径的血缘关系保存在数据流向关系表后生成可执行程序，并将所述初始化表中的所述目标最终表的所述第一标志位改为第二标志位。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在程序调度过程中，获取调度失败的最终表的信息，并获取得到所述调度失败的最终表的所有路径；
计算所述调度失败的最终表的所有路径的路径消耗值，并将所有路径的路径消耗值中的最小值对应的路径作为所述调度失败的最终表的最优路径；以及
将所述最优路径的血缘关系保存在数据流向关系表后生成可执行的程序，并执行所述可执行程序。
5.根据权利要求4所述的方法，其特征在于，在所述获取调度失败的最终表的信息，并获取得到所述调度失败的最终表的所有路径之后，还包括：
删除所述调度失败的最终表的所有路径中的当前调度失败路径。
6.根据权利要求4所述的方法，其特征在于，在所述获取调度失败的最终表的信息，并获取得到所述调度失败的最终表的所有路径之后，还包括：
为所述调度失败的最终表的所有路径中的当前调度失败路径设置不可执行标签，并生成相应的告警信息。
7.一种数据流处理装置，其特征在于，所述装置包括：
处理器和存储器，所述存储器用于存储至少一条指令，所述指令由所述处理器加载并执行时以实现如权利要求1-6中任意一项所述的数据流处理方法。
8.一种服务器，其特征在于，所述服务器包括：权利要求7所述的数据流处理装置。
9.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6任意一项所述的数据流处理方法。
CN202110003316.6A 2021-01-04 2021-01-04 数据流处理方法及装置、服务器、存储介质 Pending CN114722075A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110003316.6A CN114722075A (zh) 2021-01-04 2021-01-04 数据流处理方法及装置、服务器、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110003316.6A CN114722075A (zh) 2021-01-04 2021-01-04 数据流处理方法及装置、服务器、存储介质

Publications (1)

Publication Number Publication Date
CN114722075A true CN114722075A (zh) 2022-07-08

Family

ID=82234252

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110003316.6A Pending CN114722075A (zh) 2021-01-04 2021-01-04 数据流处理方法及装置、服务器、存储介质

Country Status (1)

Country Link
CN (1) CN114722075A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107135158A (zh) * 2017-07-11 2017-09-05 北京工业大学 一种多路径传输中最优路径选择方法
CN107239335A (zh) * 2017-06-09 2017-10-10 中国工商银行股份有限公司 分布式***的作业调度***及方法
CN107291672A (zh) * 2016-03-31 2017-10-24 阿里巴巴集团控股有限公司 数据表的处理方法和装置
CN108848250A (zh) * 2018-05-07 2018-11-20 北京奇点机智科技有限公司 路径更新方法、装置及设备
WO2019020032A1 (zh) * 2017-07-25 2019-01-31 新华三技术有限公司 数据流传输

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107291672A (zh) * 2016-03-31 2017-10-24 阿里巴巴集团控股有限公司 数据表的处理方法和装置
CN107239335A (zh) * 2017-06-09 2017-10-10 中国工商银行股份有限公司 分布式***的作业调度***及方法
CN107135158A (zh) * 2017-07-11 2017-09-05 北京工业大学 一种多路径传输中最优路径选择方法
WO2019020032A1 (zh) * 2017-07-25 2019-01-31 新华三技术有限公司 数据流传输
CN108848250A (zh) * 2018-05-07 2018-11-20 北京奇点机智科技有限公司 路径更新方法、装置及设备

Similar Documents

Publication Publication Date Title
CN106034160B (zh) 分布式计算***和方法
CN110472068A (zh) 基于异构分布式知识图谱的大数据处理方法、设备及介质
US10268749B1 (en) Clustering sparse high dimensional data using sketches
CN104202176B (zh) 光网络拓扑计算机自动构建方法
CN106339274A (zh) 一种数据快照获取的方法及***
CN104317928A (zh) 一种基于分布式数据库的业务etl方法及***
CN110781311B (zh) 一种企业一致行动人运算***及方法
CN114202027B (zh) 执行配置信息的生成方法、模型训练方法和装置
CN106202092A (zh) 数据处理的方法及***
CN105787058B (zh) 一种用户标签***及基于用户标签***的数据推送***
CN105677763A (zh) 一种基于Hadoop的图像质量评估***
CN102158533B (zh) 基于QoS的分布式web服务选择方法
CN106055590A (zh) 基于大数据及图数据库的电力网络数据处理方法和***
CN104268243B (zh) 一种位置数据处理方法及装置
CN106375360A (zh) 一种图数据更新方法、装置及***
CN105205052A (zh) 一种数据挖掘方法及装置
CN103678360A (zh) 一种分布式文件***的数据存储方法和装置
CN103793401B (zh) 建立多个数据库表的共享索引的方法及装置
CN106131134B (zh) 一种消息内容合并去重方法及***
CN106708609A (zh) 一种特征生成方法及***
CN110991803B (zh) 一种支持分布式计算的企业实际控制人及控制路径计算方法
CN114722075A (zh) 数据流处理方法及装置、服务器、存储介质
KR20180077830A (ko) 비공유 아키텍처 기반의 분산 스트림 처리 엔진에서 관계형 질의를 처리하는 방법, 이를 수행하기 위한 기록 매체 및 장치
CN107203554A (zh) 一种分布式检索方法及装置
CN114185938B (zh) 基于数字金融及大数据溯源的项目溯源分析方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination